KR102206303B1 - System and Method for Discriminating Status and Estimating Posture Using Deep Learning - Google Patents

System and Method for Discriminating Status and Estimating Posture Using Deep Learning Download PDF

Info

Publication number
KR102206303B1
KR102206303B1 KR1020190137873A KR20190137873A KR102206303B1 KR 102206303 B1 KR102206303 B1 KR 102206303B1 KR 1020190137873 A KR1020190137873 A KR 1020190137873A KR 20190137873 A KR20190137873 A KR 20190137873A KR 102206303 B1 KR102206303 B1 KR 102206303B1
Authority
KR
South Korea
Prior art keywords
camera
posture
transfer unit
state
transfer
Prior art date
Application number
KR1020190137873A
Other languages
Korean (ko)
Inventor
이용구
이성재
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020190137873A priority Critical patent/KR102206303B1/en
Application granted granted Critical
Publication of KR102206303B1 publication Critical patent/KR102206303B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Abstract

Disclosed are a system and method for determining a state and estimating a posture. According to one aspect of the present invention, the system for determining a state and estimating a posture, which determines a state of an object, classifies a class, and estimates a posture, comprises: a first transfer unit for transferring an object; a camera for recognizing a position of the object transferred from the first transfer unit, and recognizing a state of all surfaces of the object and a posture of the object; a robot arm for gripping the object transferred by the first transfer unit to move the same to a position separated from the camera by a predetermined distance, and rotating the gripped object in place to allow the camera to recognize all surfaces of the object; and a control unit for controlling the robot arm to be moved to the position of the object recognized by the camera to grip and move the object to the position separated from the camera by the predetermined distance, classifying a class of the object on the basis of information recognized by the camera using deep learning, and estimating a posture of the object.

Description

딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법{System and Method for Discriminating Status and Estimating Posture Using Deep Learning}System and Method for Discriminating Status and Estimating Posture Using Deep Learning}

본 실시예는 딥러닝을 이용하여 대상물의 상태를 판별하고 대상물의 자세를 추정하여 적절히 배치하기 위한 시스템 및 방법에 관한 것이다.The present embodiment relates to a system and method for determining a state of an object using deep learning, estimating a posture of the object, and placing it appropriately.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the present embodiment and does not constitute the prior art.

종래에는 사과와 같은 과수나 기타 다양한 대상물들의 상태를 판별하고 분류하기 위해 다음과 같은 공정을 거쳤다.Conventionally, the following processes were performed to determine and classify the condition of fruit trees such as apples and other various objects.

예를 들어, 대상물이 사과인 것을 가정하면, 수확된 사과는 세척과정을 거친 후 크기나 무게를 기준으로 다양하게 분류되었다. 분류과정을 거친 각 사과들은 외상이 있는지, 분류된 사과가 사과와 유사한 이물질이 아닌지 또는 사과가 적절하게 분류되었는지 등 사과의 상태의 검수과정을 거치며, 이후 포장과정 등을 거쳐 판매된다.For example, assuming that the object is an apple, harvested apples were classified in various ways based on their size or weight after washing. Each apple that has undergone the classification process goes through an inspection process of the condition of the apple, such as whether there is any trauma, whether the classified apple is a foreign substance similar to the apple, or whether the apple is properly classified, and is then sold through packaging.

이때, 세척과정을 거친 사과를 특정 기준으로 분류하는 과정은 이미 자동화가 되어 기계적으로 특정 기준에 따라 분류가 가능하였으나, 상태의 검수는 여전히 자동화가 진행되지 않아 수작업으로 일일이 진행하여야만 했다. 또한, 상태의 검수가 진행된 사과들을 각각 포장함에 있어, 사과들의 사과꼭지가 상방을 향하도록 배치된 채 포장되어야 사과의 손상을 최소화할 수 있기에, 포장과정의 전처리 과정으로서 사과의 자세를 일일이 특정 방향으로 배치하여야만 했다. 즉, 사과의 상태판단과 분류 및 사과의 자세 배치를 일일이 수작업으로 수행해왔기 때문에, 상당한 인력이 투입되거나 오랜 시간 동안 작업이 진행되어야 하여 사과(대상물)의 생산단가가 상당히 상승하는 문제가 있었다.At this time, the process of classifying the washed apples according to specific criteria has already been automated and mechanically can be classified according to specific criteria, but the inspection of the condition is still not automated, so it has to be done manually. In addition, when packing each apple that has been inspected, the apples must be packaged with the apples' top facing upwards to minimize damage to the apples. Had to be deployed. In other words, since the judgment and classification of apples and the arrangement of the positions of the apples have been manually performed, there is a problem that the production cost of apples (objects) is considerably increased due to the input of considerable manpower or the need for work for a long time.

본 발명의 일 실시예는, 대상물의 상태를 판별, 등급 분류 및 대상물이 배치된 자세를 추정하여 정방향으로 배치하는 모든 과정을 자동화한 상태 판별 및 자세 추정 시스템과 방법을 제공하는 데 일 목적이 있다.An object of the present invention is to provide a system and method for determining a state of an object, classifying an object, and estimating a position in which an object is placed and placing it in the forward direction. .

본 실시예의 일 측면에 의하면, 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 상태 판별 및 자세 추정 시스템에 있어서, 상기 대상물을 이송하는 제1 이송부와 상기 제1 이송부로부터 이송되는 대상물의 위치를 인식하고, 상기 대상물의 모든 면(面)에서의 상태와 상기 대상물의 자세를 인식하는 카메라와 상기 제1 이송부에 의해 이송되는 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키며, 상기 카메라가 상기 대상물의 모든 면(面)을 인식할 수 있도록 파지한 대상물을 제자리에서 회전시키는 로봇암 및 상기 카메라가 인식한 대상물의 위치로 이동하여 상기 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키도록 상기 로봇암을 제어하며, 딥러닝을 이용하여 상기 카메라가 인식한 정보를 토대로 상기 대상물의 등급을 분류하고 상기 대상물의 자세를 추정하는 제어부를 포함하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템을 제공한다.According to an aspect of the present embodiment, in a state determination and posture estimation system for determining a state of an object, classifying a class, and estimating a posture, a first transfer unit transferring the object and a position of the object transferred from the first transfer unit A camera for recognizing a state on all surfaces of the object and a posture of the object and an object transported by the first transfer unit are gripped and moved to a position separated by a preset distance from the camera, A robot arm that rotates the object held in place so that the camera can recognize all surfaces of the object, and a robot arm that moves to the position of the object recognized by the camera to hold the object by a preset distance from the camera. And a control unit for controlling the robot arm to move to a distant location, classifying the object based on information recognized by the camera using deep learning, and estimating the attitude of the object. And a posture estimation system.

본 실시예의 일 측면에 의하면, 상기 상태 판별시스템은 분류된 대상물을 이송하는 복수의 제2 이송부를 더 포함하는 것을 특징으로 한다.According to an aspect of the present embodiment, the state determination system is characterized in that it further comprises a plurality of second transfer units for transferring the classified object.

본 실시예의 일 측면에 의하면, 상기 로봇암은 상기 제어부의 제어에 따라, 등급이 분류된 대상물을 등급에 따라 서로 다른 제2 이송부에 배치하는 것을 특징으로 한다.According to an aspect of the present embodiment, the robot arm is characterized in that, according to the control of the control unit, the classified object is arranged in different second transfer units according to the grade.

본 실시예의 일 측면에 의하면, 상기 카메라는 기 설정된 각도의 시야각(Field of View)을 갖는 것을 특징으로 한다.According to an aspect of the present embodiment, the camera is characterized in that it has a field of view of a preset angle.

본 실시예의 일 측면에 의하면, 상기 시야각은 상기 제1 이송부와 상기 제2 이송부가 모두 보이는 각도인 것을 특징으로 한다.According to an aspect of the present embodiment, the viewing angle is characterized in that the viewing angle of both the first transfer unit and the second transfer unit.

본 실시예의 일 측면에 의하면, 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 방법에 있어서, 이송되는 대상물의 위치를 확인하는 과정과 확인된 대상물을 파지하여 기 설정된 거리 상에서 회전시키며, 상기 대상물의 모든 면(面)에서의 상태와 자세를 확인하는 과정과 확인된 대상물의 상태에 따라 등급을 분류하는 과정 및 상기 대상물의 등급과 자세를 고려하여 이송하는 과정을 포함하는 것을 특징으로 하는 상태 판별 및 등급 분류 방법을 제공한다.According to an aspect of the present embodiment, in the method of determining the state of the object, classifying the class, and estimating the posture by the state determination and posture estimation system, the process of confirming the position of the object to be transferred and holding the confirmed object Rotating over a set distance, the process of checking the state and posture on all sides of the object, the process of classifying the grade according to the state of the identified object, and the process of transferring the object considering the grade and posture It provides a state determination and class classification method comprising the.

이상에서 설명한 바와 같이 본 실시예의 일 측면에 따르면, 대상물의 상태를 판별하고 등급을 분류하며 대상물이 배치된 자세를 추정하여 정방향으로 배치하는데 필요한 모든 과정을 자동화함으로써, 인력 투입으로 인해 발생하는 비용을 최소화할 수 있는 장점이 있다.As described above, according to an aspect of the present embodiment, by automating all the processes necessary for determining the state of the object, classifying the class, estimating the position in which the object is placed, and placing the object in the forward direction, the cost incurred by the input of manpower There is an advantage that can be minimized.

도 1은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 판별 결과를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하는 방법을 도시한 순서도이다.1 is a diagram showing the configuration of a state determination and posture estimation system according to an embodiment of the present invention.
2 is a diagram illustrating a result of determination of a state determination and posture estimation system according to an embodiment of the present invention.
3 is a flowchart illustrating a method of determining a state of an object by a state determination and posture estimation system according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.In the present invention, various changes may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terms used in the present application are used only to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "include" or "have" should be understood as not precluding the possibility of existence or addition of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification. .

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless otherwise defined, all terms, including technical or scientific terms, used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.In addition, each configuration, process, process, or method included in each embodiment of the present invention may be shared within a range not technically contradicting each other.

도 1은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 구성을 도시한 도면이다.1 is a diagram showing the configuration of a state determination and posture estimation system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템(100)은 제1 이송부(110), 카메라(120), 로봇암(130), 제2 이송부(140, 144, 148), 제어부(미도시) 및 데이터베이스(미도시)를 포함한다.Referring to FIG. 1, the state determination and posture estimation system 100 according to an embodiment of the present invention includes a first transfer unit 110, a camera 120, a robot arm 130, and a second transfer unit 140, 144, 148), a control unit (not shown), and a database (not shown).

제1 이송부(110)는 상태가 판별되어야 할 대상물(115)들을 로봇암이 파지할 수 있는 위치로 이송한다. 제1 이송부(110)로 세척과정 등을 거친 대상물(115)들이 유입되며, 제1 이송부(110)는 유입된 대상물(115)들을 로봇암(130)이 위치한 방향으로 이송한다. 제1 이송부(110)는 유입된 대상물(115)들을 일시에 모두 이송할 수도 있고, 유입되는 순서에 따라 차례로 이송할 수도 있다. 제1 이송부(110)는 예를 들어 컨베이어 밸트로 구현될 수 있으나 반드시 이에 한정되는 것은 아니고, 복수의 대상물(115)을 일시에 또는 순차적으로 이송할 수 있는 구성이면 어떠한 것으로 대체되어도 무방하다.The first transfer unit 110 transfers the objects 115 whose state is to be determined to a position where the robot arm can grip. Objects 115 that have undergone a cleaning process or the like are introduced into the first transport unit 110, and the first transport unit 110 transports the introduced objects 115 in the direction in which the robot arm 130 is located. The first transfer unit 110 may transfer all of the introduced objects 115 at a time, or may transfer them sequentially according to the order in which they are introduced. The first transfer unit 110 may be implemented as, for example, a conveyor belt, but is not limited thereto, and any configuration capable of transferring a plurality of objects 115 at once or sequentially may be substituted.

도 1에는 대상물(115)이 사과로 도시되어 있으나 반드시 이에 한정되는 것은 아니며, 다양한 과수나 품질 또는 크기 등 일정 기준에 따라 분류되는 모든 물체로 대체될 수 있다In FIG. 1, the object 115 is shown as an apple, but is not necessarily limited thereto, and may be replaced with all objects classified according to certain criteria such as various fruits, quality, or size.

카메라(120)는 기 설정된 시야각(FOV: Field of View)을 가져, 각 이송부로 이송되는 대상물과 로봇암(130)이 파지한 대상물을 인식한다.The camera 120 has a preset field of view (FOV) and recognizes an object transported to each transfer unit and an object gripped by the robot arm 130.

카메라(120)는 RBG 카메라 등 대상물을 인식하는 카메라와 함께, 대상물과의 거리까지 파악하는 뎁스(Depth) 카메라를 포함한다. 이에, 카메라(120)는 대상물을 인식함과 함께 대상물 또는 대상물의 특정 위치까지의 거리도 파악할 수 있다.The camera 120 includes a camera that recognizes an object, such as an RBG camera, and a depth camera that recognizes a distance to the object. Accordingly, the camera 120 may recognize the object and also determine the distance to the object or a specific location of the object.

카메라(120)는 기 설정된 시야각을 가져, 각 이송부로 이송되는 대상물을 인식한다. 카메라(120)는 제1 이송부(110)와 제2 이송부(140, 144, 148)를 모두 인식할 수 있는 시야각을 가져, 제1 이송부(110)에서 이송되어 오는 대상물, 로봇암(130)이 파지한 대상물 및 제2 이송부(140, 144, 148) 각각에 배치되어 이송될 대상물 모두를 인식한다. The camera 120 has a preset viewing angle and recognizes an object transferred to each transfer unit. The camera 120 has a viewing angle capable of recognizing both the first transfer unit 110 and the second transfer unit 140, 144, 148, so that the object transported from the first transfer unit 110, the robot arm 130 Both the gripped object and the object to be transported by being disposed on each of the second transfer units 140, 144 and 148 are recognized.

카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물들을 인식하여 배치된 대상물들의 좌표를 인식한다. 제1 이송부(110)로부터 이송되어 오는 대상물을 로봇암(130)이 파지하여야 하기 때문에, 로봇암(130)이 파지할 수 있도록 카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물들 각각의 좌표를 인식하여 제어부(미도시)로 전달한다.The camera 120 recognizes the objects transferred from the first transfer unit 110 and recognizes coordinates of the arranged objects. Since the robot arm 130 must grip the object transferred from the first transfer unit 110, the camera 120 is the objects transferred from the first transfer unit 110 so that the robot arm 130 can grip the object. Each coordinate is recognized and transmitted to the control unit (not shown).

카메라(120)는 로봇암(130)이 파지하여 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 가져오는 대상물의 상태와 자세를 인식한다. 로봇암(130)이 제1 이송부(110)로부터 이송되어 오는 대상물을 파지한 후 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 가져올 경우, 카메라(120)는 로봇암(130)이 가져온 대상물의 상태를 정밀하게 인식한다. 여기서, 대상물의 상태란 원하는 대상물이거나 이물질인지 여부, 대상물의 크기 또는 표면에의 외상 유무 등 대상물의 품질에 영향을 주는 모든 것을 의미한다. 대상물의 자세란 대상물 내 기 설정된 부위가 위치한 면이 어느 방향을 향하고 있는지를 의미한다. 여기서, 기 설정된 부위는 대상물이 이송부 상이나 포장 과정에서 배치되어야 할 방향을 정하는데 중요한 기준이 되는 부위로서, 예를 들어, 대상물이 사과일 경우 기 설정된 부위는 사과 꼭지일 수 있다. 카메라(120)는 로봇암(130)이 파지하여 근접하게 가져온 대상물의 상태와 자세를 정밀하게 인식하고 이를 제어부(미도시)로 전달한다.The camera 120 recognizes the state and posture of the object that is grasped by the robot arm 130 and brought to a position distant from the camera 120 by a preset distance. When the robot arm 130 grasps the object transported from the first transport unit 110 and then brings it to a position away from the camera 120 by a preset distance, the camera 120 Be aware of the condition precisely. Here, the state of the object means anything that affects the quality of the object, such as whether it is a desired object or a foreign substance, the size of the object, or the presence or absence of trauma to the surface. The posture of the object means in which direction the surface on which the predetermined part of the object is located is facing. Here, the preset part is a part that becomes an important criterion for determining the direction in which the object should be placed on the conveying part or in the packaging process. For example, when the object is an apple, the preset part may be an apple spout. The camera 120 accurately recognizes the state and posture of the object that is brought close by the robot arm 130 and transmits it to a control unit (not shown).

카메라(120)는 제2 이송부(140, 144, 148)에 배치된 대상물들을 인식한다. 제어부(미도시)는 카메라(120)가 정밀하게 인식한 대상물의 상태를 토대로 대상물을 분류하게 되며, 분류 결과에 따라 해당 대상물은 제2 이송부(140, 144, 148) 중 어느 하나로 배치되어 이송된다. 이때, 상태가 분류된 대상물이 제2 이송부 내 적절한 위치에 정확히 배치되어야, 기 배치된 다른 대상물들과의 충돌 또는 제2 이송부로부터의 이탈 등으로 인한 대상물의 파손이 방지될 수 있다. 카메라(120)는 제2 이송부(140, 144, 148)에 배치된 각 대상물들을 인식하여, 상태가 분류된 대상물이 배치될 위치를 인식한다. 예를 들어, 배치될 위치는 제2 이송부로부터 추락위험이 없으면서 다른 대상물들이 배치되지 않은 위치일 수 있다. 카메라(120)는 인식 결과를 제어부(미도시)로 전달한다.The camera 120 recognizes objects disposed on the second transfer units 140, 144, and 148. The control unit (not shown) classifies the object based on the state of the object accurately recognized by the camera 120, and the object is disposed and transferred to any one of the second transfer units 140, 144, 148 according to the classification result. . In this case, the object whose state is classified must be accurately disposed at an appropriate position in the second transport unit, so that damage of the object due to collision with other previously arranged objects or separation from the second transport unit can be prevented. The camera 120 recognizes each object disposed on the second transfer unit 140, 144, and 148, and recognizes a position where the object classified in the state is to be placed. For example, the position to be disposed may be a position in which other objects are not disposed while there is no risk of falling from the second transfer unit. The camera 120 transmits the recognition result to a control unit (not shown).

로봇암(130)은 파지부(미도시)와 암(Arm, 미도시)을 포함하여, 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송시키며, 분류 결과에 따라 대상물(115)을 적절한 제2 이송부 상으로 배치한다.The robot arm 130 includes a gripping unit (not shown) and an arm (not shown), grips the object 115 transferred from the first transfer unit 110, and a preset distance from the camera 120 It is transferred to a location that is separated by a distance, and the object 115 is disposed on an appropriate second transfer unit according to the classification result.

로봇암(130)은 대상물(115)을 파지하기 위한 파지부(미도시)와 파지부의 위치를 조정하는 암(미도시)을 포함한다. The robot arm 130 includes a gripping part (not shown) for gripping the object 115 and an arm (not shown) for adjusting the position of the gripping part.

파지부(미도시)는 대상물(115)을 파지하여 로봇암(130)이 대상물(115)을 특정 위치에서 원하는 위치로 이동시킬 때까지 대상물(115)의 이탈을 방지하는 구성이다. 파지부(미도시)는 대상물(115)을 움켜쥐는 구성 또는 대상물(115)을 흡입하는 구성 등 대상물(115)을 파손없이 고정시킬 수 있는 구성이면 어떠한 것으로 구현되어도 무방하다. The gripping unit (not shown) is a component that grips the object 115 and prevents the object 115 from being separated until the robot arm 130 moves the object 115 from a specific position to a desired position. The gripping unit (not shown) may be implemented with any configuration that can fix the object 115 without damage, such as a configuration for gripping the object 115 or a configuration for sucking the object 115.

암(미도시)은 파지부(미도시)와 연결부(미도시)로 연결되어 파지부(미도시)의 위치를 조정한다. 암(미도시)은 다각도로 회전할 수 있는 피봇(미도시)을 포함하여 파지부(미도시)를 다양한 방향으로 회전시킨다. 예를 들어, 암(미도시)은 파지부(미도시)를 제1 이송부(110)로부터 카메라(120)로 또는 카메라(120)로부터 제2 이송부(140, 144, 148)로 회전시킬 수 있다. 또한, 암(미도시)은 관절(미도시)을 포함하거나 신축되어 파지부(미도시)의 위치를 이동시킬 수 있다. 예를 들어, 암(미도시)은 제1 이송부(110)에서 이송되는 대상물을 파지하기 위한 위치까지 파지부(미도시)를 이동시키거나, 파지부(미도시)를 제1 이송부(110)로부터 카메라(120) 방향으로 회전시킨 뒤 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치까지 이동시킬 수 있다. The arm (not shown) is connected by a gripping part (not shown) and a connecting part (not shown) to adjust the position of the gripping part (not shown). The arm (not shown) includes a pivot (not shown) capable of rotating at multiple angles to rotate the gripping unit (not shown) in various directions. For example, the arm (not shown) may rotate the gripping unit (not shown) from the first transfer unit 110 to the camera 120 or from the camera 120 to the second transfer unit 140, 144, 148. . In addition, the arm (not shown) may include a joint (not shown) or may be stretched to move the position of the gripping unit (not shown). For example, the arm (not shown) moves the gripping unit (not shown) to a position for gripping the object transferred from the first transfer unit 110, or moves the gripping unit (not shown) to the first transfer unit 110 After rotating in the direction of the camera 120 from, it may be moved to a position distant from the camera 120 by a preset distance.

파지부(미도시)와 암(미도시)을 연결하는 연결부(미도시), 역시, 모든 방향으로 회전하여 파지부(미도시)를 회전시킬 수 있다. 카메라(120)는 로봇암(130)에 의해 이동된 대상물(115)을 정밀하게 인식하기 위해, 대상물(115)의 모든 면(面)을 인식할 수 있어야 한다. 특히, 카메라(120)가 대상물(115)의 외상 유무와 대상물(115)의 기 설정된 부위가 어느 면에 위치하고 있는지를 판단하기 위해서는 필수적으로 대상물(115)의 모든 면을 인식하여야 한다. 이를 위해, 파지부(미도시)와 암(미도시)을 연결하는 연결부(미도시)는 피봇 형태로 구현되어, 모든 방향으로 회전하여 파지부(미도시)를 회전시킬 수 있다. 이에 따라, 파지부(미도시)에 의해 고정된 대상물 역시 모든 방향으로 회전하며, 카메라(120)로 모든 면을 노출할 수 있다.A connection part (not shown) connecting the gripping part (not shown) and the arm (not shown) may also rotate in all directions to rotate the gripping part (not shown). The camera 120 must be able to recognize all surfaces of the object 115 in order to accurately recognize the object 115 moved by the robot arm 130. In particular, in order for the camera 120 to determine the presence or absence of trauma on the object 115 and on which surface a preset portion of the object 115 is located, it must recognize all surfaces of the object 115. To this end, a connection part (not shown) connecting the gripping part (not shown) and the arm (not shown) is implemented in a pivot shape, and can rotate in all directions to rotate the gripping part (not shown). Accordingly, the object fixed by the gripping unit (not shown) also rotates in all directions, and all surfaces can be exposed with the camera 120.

로봇암(130)은 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한다. 카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물을 인식할 수 있으나, 상대적으로 거리가 멀어 위치(좌표) 정도까지만 인식할 수 있으며 대상물의 상태와 자세까지 인식하기는 곤란하다. 로봇암(130)은 제어부(미도시)의 제어에 따라 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 파지한 대상물을 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치까지 이송시킨다. 카메라(120)는 로봇암(130)의 전술한 동작으로 대상물의 모든 면을 정밀하게 인식할 수 있다. 로봇암(130)은 전술한 구성을 구비하기에, 파지한 대상물을 해당 위치로 이송할 수 있으며 대상물의 모든 면이 카메라(120)에 노출되도록 대상물을 회전시킬 수 있다.The robot arm 130 grips the object 115 transferred from the first transfer unit 110 and transfers it to a position away from the camera 120 by a preset distance. The camera 120 can recognize the object transported from the first transfer unit 110, but the distance is relatively far, so it can only recognize the position (coordinate), and it is difficult to recognize the state and posture of the object. The robot arm 130 grips the object 115 transferred from the first transfer unit 110 under the control of a control unit (not shown), and transfers the gripped object to a position away from the camera 120 by a preset distance. Let it. The camera 120 may accurately recognize all surfaces of the object through the above-described operation of the robot arm 130. Since the robot arm 130 has the above-described configuration, it is possible to transfer the gripped object to a corresponding position and rotate the object so that all surfaces of the object are exposed to the camera 120.

로봇암(130)은 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한 대상물을 분류 결과에 따라 적절한 제2 이송부 상으로 배치한다. 로봇암(130)은 대상물을 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한 후, 제어부(미도시)의 등급 분류가 완료되면 분류 결과에 따른 적절한 제2 이송부로 대상물을 이송한다. 제어부의 제어에 따라, 로봇암(130)은 분석된 대상물의 자세를 고려하여, 대상물이 자세(기 설정된 부위의 방향)가 적절한 자세를 가지며 제2 이송부 상에 배치되도록 한다.The robot arm 130 arranges the object transferred to a position away from the camera 120 by a predetermined distance onto an appropriate second transfer unit according to the classification result. The robot arm 130 transfers the object to a location away from the camera 120 by a predetermined distance, and then transfers the object to a second transfer unit suitable according to the classification result when classification by the control unit (not shown) is completed. Under the control of the controller, the robot arm 130 considers the posture of the analyzed object, so that the object has an appropriate posture (direction of a preset part) and is disposed on the second transfer unit.

제2 이송부(140, 144, 148)는 각 등급의 대상물을 이송한다. 제2 이송부(140, 144, 148)는 분류하고자 하는 등급의 개수만큼 복수 개가 구비될 수 있으며, 로봇암(130)으로부터 분류되어 이송되는 각 등급의 대상물을 특정 위치, 예를 들어, 대상물을 포장하기 위한 장소 또는 장치로 이송한다. 제2 이송부(140, 144, 148)는 제2 이송부 상에 대상물을 직접 안착시켜 이송할 수도 있고, 별도로 복수의 대상물을 수납하기 위한 물체를 안착시켜 대상물을 수납한 물체를 이송할 수도 있다.The second transfer unit (140, 144, 148) transfers the object of each grade. The second transfer unit 140, 144, 148 may be provided with as many as the number of grades to be classified, and the object of each grade classified and transported from the robot arm 130 is packaged at a specific location, for example, the object. To a place or device for The second transfer units 140, 144, and 148 may transfer the object by directly mounting the object on the second transfer unit, or may transfer the object containing the object by separately mounting an object for receiving a plurality of objects.

제어부(미도시)는 상태 판별 및 자세 추정 시스템(100) 내 각 구성의 동작을 제어하며, 대상물의 상태를 판별하여 등급을 분류하고 대상물의 자세를 추정(분석)한다.The control unit (not shown) controls the operation of each component in the state determination and posture estimation system 100, classifies the class by determining the state of the object, and estimates (analyzes) the posture of the object.

제어부(미도시)는 카메라(120)가 인식한 제1 이송부(110)로부터 이송되어 오는 대상물들을 토대로, 제1 이송부(110)와 로봇암(130)을 제어한다. 제어부(미도시)는 카메라(120)가 인식한 정보를 토대로, 제1 이송부(110)로부터 이송되어 오는 대상물들이 각각 상태 판별 및 자세 추정 시스템(100)에서 분류하고자 하는 대상물인지 또는 이물질인지 여부를 분석하고, 분류하고자 하는 대상물들만의 위치를 파악하여 로봇암(130)이 해당 대상물을 파지할 수 있도록 제어한다. 또한, 로봇암(130)의 동작 상태와 제1 이송부(110)로부터 이송되어 오는 대상물들의 개수를 고려하여, 제어부(미도시)는 제1 이송부(110)의 대상물의 이송을 정지하거나 동작시킨다. The control unit (not shown) controls the first transfer unit 110 and the robot arm 130 based on objects transferred from the first transfer unit 110 recognized by the camera 120. Based on the information recognized by the camera 120, the controller (not shown) determines whether the objects transferred from the first transfer unit 110 are objects to be classified by the state determination and posture estimation system 100 or are foreign objects. By analyzing and grasping the positions of only the objects to be classified, the robot arm 130 controls the object to be gripped. In addition, in consideration of the operation state of the robot arm 130 and the number of objects transferred from the first transfer unit 110, the control unit (not shown) stops or operates the transfer of the object by the first transfer unit 110.

제어부(미도시)는 카메라가 인식한 대상물의 정보를 토대로 딥러닝을 수행함으로써, 대상물의 상태를 판별하여 등급을 분류하고 대상물의 자세를 추정한다. 제어부(미도시)는 데이터베이스(미도시)에 저장된 대상물에 대한 수많은 데이터를 토대로 딥러닝을 수행하여, 로봇암(130)이 파지하여 카메라(120)가 인식한 대상물의 정보로부터 대상물의 상태와 자세를 판별한다. 제어부가 판별한 결과는 도 2에 도시되어 있다.The controller (not shown) determines the state of the object by performing deep learning based on the information of the object recognized by the camera, classifies the class, and estimates the attitude of the object. The control unit (not shown) performs deep learning based on a number of data on the object stored in the database (not shown), and the state and posture of the object from the information of the object that the robot arm 130 grasps and recognizes the camera 120 To determine The result determined by the control unit is shown in FIG. 2.

도 2는 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 판별 결과를 도시한 도면이다.2 is a diagram illustrating a result of determination of a state determination and posture estimation system according to an embodiment of the present invention.

제어부(미도시)는 카메라가 인식한 대상물의 정보로부터 딥러닝을 수행하여, 대상물의 상태를 판별한다. 판별하는 대상물의 상태정보에는 대상물의 크기, 표면에 외상이 존재하는지 여부 및 찾고자 하는 기 설정된 부위가 대상물의 어느 면에 위치하고 있는지 여부를 판단한다. 여기서, 기 설정된 부위는 제2 이송부(140, 144, 148)를 이용하여 대상물을 이송함에 있어, 대상물이 배치되어야 할 방향을 정하는데 중요한 기준이 되는 부위일 수 있다. 예를 들어, 도 2에 도시된 것처럼 대상물(115)이 사과일 경우, 기 설정된 부위는 사과 꼭지(220)일 수 있다. 기 설정된 부위가 사과 꼭지(220)인 경우, 대상물은 해당 부위가 연직상방을 향하도록 배치되는 것이 바람직하다. 이러한 이유로 제어부(미도시)는 기 설정된 부위가 어느 면에 위치하고 있는지를 판단한다. 데이터베이스(미도시)에는 수많은 대상물과 그 대상물들의 기 설정된 부위에 관한 정보가 저장되어 있어, 제어부(미도시)는 이를 이용하여 딥러닝을 수행함으로써, 대상물의 전술한 정보를 획득할 수 있다.The control unit (not shown) determines the state of the object by performing deep learning from the information of the object recognized by the camera. In the state information of the object to be determined, it is determined whether the size of the object, whether there is a trauma on the surface, and on which side of the object a preset part to be found is located. Here, the preset portion may be a portion that becomes an important criterion in determining the direction in which the object is to be placed when transferring the object using the second transfer unit 140, 144, 148. For example, as illustrated in FIG. 2, when the object 115 is an apple, the predetermined portion may be the apple tip 220. When the predetermined portion is the apple stem 220, it is preferable that the object is disposed so that the corresponding portion faces vertically upward. For this reason, the control unit (not shown) determines on which surface the preset portion is located. A database (not shown) stores information on a number of objects and preset portions of the objects, and the controller (not shown) can obtain the above-described information on the object by performing deep learning using this.

도 2(a)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 대상물이 분류하고자 하는 대상물인지와 대상물의 크기를 판별한다. 판단 결과, 대상물이 분류하고자 하는 대상물인 경우, 제어부(미도시)는 카메라가 인식한 거리정보를 이용하여 대상물(115)의 크기정보를 분석한다. 제어부(미도시)는 대상물(115)의 최외곽부를 이은 직선으로 대상물(115)을 포함하는 블럭박스(210)를 생성하여 대상물(115)을 직관적으로 판별한다.2(a), the controller (not shown) performs deep learning based on information on one of all surfaces of the object 115 recognized by the camera to determine whether the object is the object to be classified and the size of the object. To determine As a result of the determination, if the object is an object to be classified, the controller (not shown) analyzes the size information of the object 115 using distance information recognized by the camera. The control unit (not shown) intuitively identifies the object 115 by creating a block box 210 including the object 115 in a straight line connecting the outermost portion of the object 115.

도 2(b)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 기 설정된 부위(220)가 어느 면에 위치하였는지를 판별한다. 제어부(미도시)는 기 설정된 부위(220)에 대해서도 역시 마찬가지로, 기 설정된 부위의 최외곽부를 포함하는 블럭박스(220)를 생성하여 기 설정된 부위(220)를 직관적으로 판별한다. 제어부(미도시)는 블럭박스(220)를 이용하여 간단하게 대상물(115)의 어느 면에 기 설정된 부위가 위치하고 있는지를 인식할 수 있고, 로봇암(130)이 대상물을 제2 이송부(140, 144, 148)로 배치할 때 대상물의 자세를 적절히 배치하도록(기 설정된 부위가 특정 방향을 향하도록) 제어할 수 있다.Referring to FIG. 2(b), the controller (not shown) performs deep learning based on information on one of all surfaces of the object 115 recognized by the camera to locate a preset part 220 on which surface. Determine whether or not. The control unit (not shown) also intuitively determines the preset region 220 by creating a block box 220 including the outermost part of the preset region 220 as well as for the preset region 220. The control unit (not shown) can simply recognize on which side of the object 115 a predetermined part is located using the block box 220, and the robot arm 130 transfers the object to the second transfer unit 140, When placing the object at 144 and 148, it is possible to control the posture of the object to be appropriately placed (a predetermined portion faces a specific direction).

도 2(c)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 표면에 외상이 발생한 부분(230)이 있는지와 있을 경우 어느 면에 있는지를 판별한다. 제어부(미도시)는 외상이 발생한 부분(230)에 대해서도 역시 마찬가지로, 외상이 발생한 부분의 최외곽부를 포함하는 블럭박스(230)를 생성하여 외상이 발생한 부분(230)을 직관적으로 인식한다.Referring to FIG. 2(c), the controller (not shown) performs deep learning based on information on one of all surfaces of the object 115 recognized by the camera to determine if there is a part 230 where the surface has a trauma. If so, determine which side it is on. The control unit (not shown) intuitively recognizes the trauma-occurring portion 230 by creating a block box 230 including the outermost portion of the trauma-prone portion 230 as well.

다시 도 1을 참조하면, 제어부(미도시)는 판별한 정보를 토대로, 각 대상물의 등급을 분류한다. 예를 들어, 3가지 등급(이 경우, 제2 이송부도 3개로 구현될 수 있음)으로 대상물을 분류할 경우, 제어부(미도시)는 크기가 기준을 초과하고 표면에 외상도 없는 것들을 최상급으로, 크기가 기준치에 근접하였으며 표면에 외상이 없거나 아주 작은 외상만이 있는 것들을 중급으로, 크기가 기준치에 미치지 못하거나 아주 큰 외상이 있는 것들을 하급으로 분류할 수 있다. Referring back to FIG. 1, the controller (not shown) classifies the grade of each object based on the determined information. For example, when classifying an object into three grades (in this case, the second conveying unit can be implemented as three), the control unit (not shown) is the highest level for those whose size exceeds the standard and has no trauma on the surface, Those whose size is close to the standard value and there is no trauma on the surface or only very small trauma can be classified as intermediate, and those whose size does not meet the standard or have very large trauma can be classified as low-level.

제어부(미도시)는 분류된 등급에 따라 적절한 제2 이송부로 대상물을 이송하도록 로봇암(130)을 제어한다. 각 제2 이송부는 이송할 대상물의 등급이 정해져 있다. 따라서, 제어부(미도시)는 로봇암(130)을 제어하여 해당 대상물을 그것의 등급에 맞는 제2 이송부에 배치한다. The controller (not shown) controls the robot arm 130 to transfer the object to the appropriate second transfer unit according to the classified grade. Each second transfer unit has a class of objects to be transferred. Accordingly, the control unit (not shown) controls the robot arm 130 to place the object in the second transfer unit suitable for its grade.

이때, 제어부(미도시)는 로봇암(130)을 제어하여 기 설정된 부위가 포함된 면이 적절한 방향을 향하도록 대상물을 회전시킨 후 제2 이송부에 배치한다. 전술한 예에서와 같이, 대상물이 사과이며 기 설정된 부위가 사과꼭지일 경우, 기 설정된 부위를 포함한 면이 연직상방을 향하도록 사과를 회전시킨 후 제2 이송부에 배치할 수 있다. 이러한 과정을 거치며, 상태 판별 및 자세 추정 시스템(100)은 대상물의 상태를 판별하여 자동으로 등급을 분류하는 것은 물론, 대상물이 배치되어야 할 방향(자세)까지 조정하여 배치할 수 있다. At this time, the control unit (not shown) controls the robot arm 130 to rotate the object so that the surface including the preset portion faces an appropriate direction, and then arranges it in the second transfer unit. As in the above example, when the object is an apple and the predetermined portion is an apple spigot, the apple may be rotated so that the surface including the predetermined portion faces vertically upward, and then placed in the second transfer unit. Through this process, the state determination and posture estimation system 100 determines the state of the object and automatically classifies the class, as well as adjusts and arranges the direction (position) in which the object is to be placed.

또한, 제어부(미도시)는 제2 이송부(140, 144, 148) 각각에 배치되어 이송될 대상물을 토대로, 대상물이 배치될 제2 이송부 상의 위치를 분석한다. 각 제2 이송부 상에는 등급을 분류하여 배치할 대상물 외에 기 분류되어 배치된 다른 대상물들이 존재할 수 있다. 이에, 제어부(미도시)는 카메라(120)가 인식한 정보를 분석하여, 기 배치된 다른 대상물들과의 충돌이 발생하지 않거나 제2 이송부로부터의 이탈되지 않을 위치를 파악한다. 제어부(미도시)는 파악한 위치를 토대로 로봇암(130)을 제어하여, 선정된 제2 이송부 상의 해당 위치로 대상물을 배치하도록 한다.In addition, the control unit (not shown) analyzes a position on the second transfer unit where the object is to be disposed based on the object to be transferred by being disposed on each of the second transfer units 140, 144, and 148. On each second transfer unit, in addition to the objects to be classified and arranged, other objects previously classified and arranged may exist. Accordingly, the control unit (not shown) analyzes the information recognized by the camera 120 to determine a position where collision with other previously arranged objects does not occur or where the second transfer unit is not separated. The control unit (not shown) controls the robot arm 130 based on the identified position to place the object at a corresponding position on the selected second transfer unit.

데이터베이스(미도시)는 대상물(115)과 동종의 대상물의 상태에 관한 수많은 데이터를 저장한다. 데이터베이스(미도시)는 다양한 크기의 대상물, 대상물 내 기 설정된 부위 및 대상물 내 외상이 발생한 부분에 관한 데이터를 저장하여, 제어부(미도시)가 저장된 데이터를 토대로 딥러닝을 수행할 수 있도록 한다.The database (not shown) stores a number of data on the state of the object 115 and the same object. The database (not shown) stores data on objects of various sizes, preset portions within the object, and parts in which trauma occurs within the object, so that the controller (not shown) can perform deep learning based on the stored data.

도 3은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하는 방법을 도시한 순서도이다.3 is a flowchart illustrating a method of determining a state of an object by a state determination and posture estimation system according to an exemplary embodiment of the present invention.

카메라(120)는 유입되는 대상물의 위치를 확인한다(S310). The camera 120 checks the location of the incoming object (S310).

로봇암(130)은 확인된 대상물을 파지하여 회전시키며, 제어부(미도시)는 대상물의 모든면에서의 상태와 자세를 확인한다(S320). 로봇암(130)은 확인된 대상물을 파지하여 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이동시켜, 카메라(120)에 대상물의 모든면에서의 상태와 자세를 확인시킨다. 제어부(미도시)는 카메라(120)가 인식한 정보를 토대로 대상물의 모든면에서의 상태와 자세를 확인한다.The robot arm 130 grasps and rotates the identified object, and the controller (not shown) checks the state and posture on all surfaces of the object (S320). The robot arm 130 grasps the identified object and moves it to a position away from the camera 120 by a preset distance, and makes the camera 120 check the state and posture on all surfaces of the object. The controller (not shown) checks the state and posture on all sides of the object based on the information recognized by the camera 120.

제어부(미도시)는 확인된 대상물의 상태에 따라 등급을 분류한다(S330).The control unit (not shown) classifies the grade according to the state of the identified object (S330).

로봇암(130)은 대상물의 등급과 자세를 고려하여 적절한 제2 이송부에 배치한다(S340).The robot arm 130 is disposed in an appropriate second transfer unit in consideration of the class and posture of the object (S340).

도 3에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 3, it is described that each process is sequentially executed, but this is merely illustrative of the technical idea of an embodiment of the present invention. In other words, a person of ordinary skill in the art to which an embodiment of the present invention belongs can change the order shown in FIG. 3 and execute one or more of each process without departing from the essential characteristics of the embodiment of the present invention. Since it is executed in parallel and can be applied by various modifications and variations, FIG. 3 is not limited to a time series order.

한편, 도 3에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIG. 3 can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. That is, the computer-readable recording medium includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.). In addition, the computer-readable recording medium can be distributed over a computer system connected through a network to store and execute computer-readable codes in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those of ordinary skill in the technical field to which the present embodiment belongs will be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are not intended to limit the technical idea of the present embodiment, but to explain the technical idea, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.

100: 상태 판별 및 자세 추정 시스템
110: 제1 이송부
115: 대상물
120: 카메라
130: 로봇암
140, 144, 148: 제2 이송부
210: 블럭박스
220: 기 설정된 부위
230: 외상이 발생한 부분100: state determination and posture estimation system
110: first transfer unit
115: object
120: camera
130: robot arm
140, 144, 148: second transfer unit
210: block box
220: preset part
230: where the trauma occurred

Claims (6)

대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 상태 판별 및 자세 추정 시스템에 있어서,
상기 대상물을 이송하는 제1 이송부;
상기 제1 이송부로부터 이송되는 대상물의 위치를 인식하고, 상기 대상물의 모든 면(面)에서의 상태와 상기 대상물의 자세를 인식하는 카메라;
상기 제1 이송부에 의해 이송되는 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키며, 상기 카메라가 상기 대상물의 모든 면(面)을 인식할 수 있도록 파지한 대상물을 제자리에서 회전시키는 로봇암;
상기 카메라가 인식한 대상물의 위치로 이동하여 상기 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키도록 상기 로봇암을 제어하며, 딥러닝을 이용하여 상기 카메라가 인식한 정보를 토대로 상기 대상물의 등급을 분류하고 상기 대상물의 자세를 추정하는 제어부; 및
분류하고자 하는 등급의 개수만큼 복수 개가 구비되어, 상기 제어부에서 등급이 분류되어 이송되는 각 등급의 대상물을 해당 위치에 배치하여 이송하는 복수의 제2 이송부를 포함하되,
상기 제어부는,
상기 카메라가 인식한 거리 정보를 이용하여 대상물의 크기 정보를 분석하고, 대상물의 최외곽부를 이은 직선으로 대상물을 포함하는 블럭박스를 생성하여 기설정된 부위를 판별하고, 상기 판별된 기설정된 부위를 중심으로 대상물의 자세를 추정하여 상기 제2 이송부에 배치될 대상물의 자세를 제어하며, 상기 대상물의 모든 면에서의 상태 정보에 기초하여 대상물의 크기와 표면 외상을 포함한 대상물의 품질에 관련된 대상물의 등급을 분류하는 것을 포함하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.In the state determination and posture estimation system that determines the state of the object, classifies the class, and estimates the posture
A first transfer unit for transferring the object;
A camera that recognizes a position of an object to be transported from the first transfer unit, and recognizes a state on all surfaces of the object and a posture of the object;
A robot that grasps the object transported by the first transfer unit and moves it to a position distant from the camera by a preset distance, and rotates the object held in place so that the camera can recognize all surfaces of the object cancer;
The robot arm is controlled to move to the position of the object recognized by the camera, grip the object, and move it to a position away from the camera by a preset distance, and based on the information recognized by the camera using deep learning A control unit for classifying a grade of an object and estimating a posture of the object; And
A plurality of second transfer units are provided as many as the number of grades to be classified, and the control unit includes a plurality of second transfer units to arrange and transfer the objects of each grade to be classified and transported at a corresponding position,
The control unit,
Analyzes the size information of the object using the distance information recognized by the camera, and creates a block box containing the object with a straight line connecting the outermost part of the object to determine a preset part, and centers on the determined preset part. The attitude of the object to be placed in the second transfer unit is controlled by estimating the attitude of the object, and the grade of the object related to the quality of the object including the size of the object and surface trauma is determined based on state information on all sides of the object. State determination and posture estimation system comprising classifying. 삭제delete 제1항에 있어서,
상기 로봇암은,
상기 제어부의 제어에 따라, 등급이 분류된 대상물을 등급에 따라 서로 다른 제2 이송부에 배치하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.The method of claim 1,
The robot arm,
According to the control of the control unit, the class-classified object is arranged in different second transfer units according to the class, the state determination and posture estimation system. 제1항에 있어서,
상기 카메라는,
기 설정된 각도의 시야각(Field of View)을 갖는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.The method of claim 1,
The camera,
State determination and posture estimation system, characterized in that it has a field of view of a predetermined angle. 제4항에 있어서,
상기 시야각은,
상기 제1 이송부와 상기 제2 이송부가 모두 보이는 각도인 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.The method of claim 4,
The viewing angle is,
State determination and posture estimation system, characterized in that both the first transfer unit and the second transfer unit are visible angles. 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 방법에 있어서,
카메라를 이용하여 이송되는 대상물의 위치를 확인하는 과정;
확인된 대상물을 파지하여 기 설정된 거리 상에서 회전시키며, 상기 카메라가 인식한 대상물의 모든 면(面)에서의 일면 정보를 토대로 기 설정된 부위를 포함한 대상물의 최외곽부를 연결한 블럭박스를 생성하고, 상기 블럭박스를 이용하여 대상물의 상태를 확인하고, 상기 블럭박스를 이용하여 기설정된 부위의 위치를 판별하여 대상물의 자세를 확인하는 과정;
확인된 대상물의 상태에 따라 딥러닝을 수행하여 대상물의 크기와 표면 외상을 포함한 대상물의 품질에 관련된 대상물의 등급을 분류하는 과정; 및
상기 대상물의 등급이 분류되면 각 등급의 대상물을 등급별 해당 위치에 배치하여 이송하기 위해 기설정된 부위를 중심으로 대상물이 배치되어야 할 방향을 결정하여 대상물의 자세를 제어하여 이송하는 과정
을 포함하는 것을 특징으로 하는 상태 판별 및 등급 분류 방법.In the method of determining the state of the object, classifying the class, and estimating the posture by the state determination and posture estimation system,
Checking the location of the object to be transported using a camera;
The identified object is gripped and rotated over a preset distance, and a block box is created that connects the outermost part of the object including a preset portion based on information on one side of the object recognized by the camera, and the Checking a state of an object using a block box and determining a position of a predetermined portion using the block box to confirm a posture of the object;
Classifying an object's grade related to the object's quality including the object's size and surface trauma by performing deep learning according to the identified object's condition; And
When the grade of the object is classified, the process of transferring the object by controlling the attitude of the object by determining the direction in which the object should be placed around a preset area in order to transfer the object of each grade at the corresponding position for each grade
State determination and class classification method comprising a.
KR1020190137873A 2019-10-31 2019-10-31 System and Method for Discriminating Status and Estimating Posture Using Deep Learning KR102206303B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190137873A KR102206303B1 (en) 2019-10-31 2019-10-31 System and Method for Discriminating Status and Estimating Posture Using Deep Learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190137873A KR102206303B1 (en) 2019-10-31 2019-10-31 System and Method for Discriminating Status and Estimating Posture Using Deep Learning

Publications (1)

Publication Number Publication Date
KR102206303B1 true KR102206303B1 (en) 2021-01-22

Family

ID=74309824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137873A KR102206303B1 (en) 2019-10-31 2019-10-31 System and Method for Discriminating Status and Estimating Posture Using Deep Learning

Country Status (1)

Country Link
KR (1) KR102206303B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113524172A (en) * 2021-05-27 2021-10-22 中国科学院深圳先进技术研究院 Robot, article grabbing method thereof and computer-readable storage medium
CN115092716A (en) * 2022-07-11 2022-09-23 合肥美亚光电技术股份有限公司 Conveying device and sorting equipment
WO2023054819A1 (en) * 2021-09-28 2023-04-06 이현 Product checkout device using automatic barcode scanning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075730A (en) * 2007-02-13 2008-08-19 한국과학기술연구원 Method for esrimating location using objectionrecognition of a robot
WO2018087546A1 (en) * 2016-11-08 2018-05-17 Dogtooth Technologies Limited A robotic fruit picking system
KR20180107391A (en) * 2017-03-20 2018-10-02 전자부품연구원 Learning-based Logistics Automation System, Device and Method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075730A (en) * 2007-02-13 2008-08-19 한국과학기술연구원 Method for esrimating location using objectionrecognition of a robot
WO2018087546A1 (en) * 2016-11-08 2018-05-17 Dogtooth Technologies Limited A robotic fruit picking system
KR20180107391A (en) * 2017-03-20 2018-10-02 전자부품연구원 Learning-based Logistics Automation System, Device and Method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113524172A (en) * 2021-05-27 2021-10-22 中国科学院深圳先进技术研究院 Robot, article grabbing method thereof and computer-readable storage medium
WO2023054819A1 (en) * 2021-09-28 2023-04-06 이현 Product checkout device using automatic barcode scanning
CN115092716A (en) * 2022-07-11 2022-09-23 合肥美亚光电技术股份有限公司 Conveying device and sorting equipment

Similar Documents

Publication Publication Date Title
KR102206303B1 (en) System and Method for Discriminating Status and Estimating Posture Using Deep Learning
CN114585576B (en) Coordinating multiple robots to satisfy workflows and avoid conflicts
US20220410372A1 (en) Systems and methods for processing objects including a zone gantry system
US10360531B1 (en) Robot implemented item manipulation
US10471597B1 (en) Adaptive perception for industrial robotic systems
US10335947B1 (en) Robotic system with piece-loss management mechanism
US10822177B2 (en) Method and system for manipulating articles
JP5558585B2 (en) Work picking device
CN113351522B (en) Article sorting method, device and system
JP2019509559A (en) Box location, separation, and picking using a sensor-guided robot
US20200361091A1 (en) A robotic system with a coordinated transfer mechanism
US20200346351A1 (en) Systems and methods for picking up and transferring items using a robotic device
TW202241669A (en) Adaptive robotic singulation system
KR20230112359A (en) Multi-joint robot having vision inspection fuction
TWM535875U (en) Automatic IC transporting system with image recognition function
TWI626704B (en) Automatic ic transporting system with image recognition function and transporting method thereof
CN111410045A (en) Container handling method and device
US11981518B2 (en) Robotic tools and methods for operating the same
WO2023120306A1 (en) Classification device, classification method, and classification system
US11893718B2 (en) Image recognition method and image recognition device
US20220135346A1 (en) Robotic tools and methods for operating the same
WO2017042760A1 (en) System for grain sorting
US20230364787A1 (en) Automated handling systems and methods
WO2024038323A1 (en) Item manipulation system and methods
CN115258510A (en) Robot system with object update mechanism and method for operating the robot system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant