KR102206303B1 - System and Method for Discriminating Status and Estimating Posture Using Deep Learning - Google Patents
System and Method for Discriminating Status and Estimating Posture Using Deep Learning Download PDFInfo
- Publication number
- KR102206303B1 KR102206303B1 KR1020190137873A KR20190137873A KR102206303B1 KR 102206303 B1 KR102206303 B1 KR 102206303B1 KR 1020190137873 A KR1020190137873 A KR 1020190137873A KR 20190137873 A KR20190137873 A KR 20190137873A KR 102206303 B1 KR102206303 B1 KR 102206303B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- posture
- transfer unit
- state
- transfer
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0063—Using robots
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
Description
본 실시예는 딥러닝을 이용하여 대상물의 상태를 판별하고 대상물의 자세를 추정하여 적절히 배치하기 위한 시스템 및 방법에 관한 것이다.The present embodiment relates to a system and method for determining a state of an object using deep learning, estimating a posture of the object, and placing it appropriately.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the present embodiment and does not constitute the prior art.
종래에는 사과와 같은 과수나 기타 다양한 대상물들의 상태를 판별하고 분류하기 위해 다음과 같은 공정을 거쳤다.Conventionally, the following processes were performed to determine and classify the condition of fruit trees such as apples and other various objects.
예를 들어, 대상물이 사과인 것을 가정하면, 수확된 사과는 세척과정을 거친 후 크기나 무게를 기준으로 다양하게 분류되었다. 분류과정을 거친 각 사과들은 외상이 있는지, 분류된 사과가 사과와 유사한 이물질이 아닌지 또는 사과가 적절하게 분류되었는지 등 사과의 상태의 검수과정을 거치며, 이후 포장과정 등을 거쳐 판매된다.For example, assuming that the object is an apple, harvested apples were classified in various ways based on their size or weight after washing. Each apple that has undergone the classification process goes through an inspection process of the condition of the apple, such as whether there is any trauma, whether the classified apple is a foreign substance similar to the apple, or whether the apple is properly classified, and is then sold through packaging.
이때, 세척과정을 거친 사과를 특정 기준으로 분류하는 과정은 이미 자동화가 되어 기계적으로 특정 기준에 따라 분류가 가능하였으나, 상태의 검수는 여전히 자동화가 진행되지 않아 수작업으로 일일이 진행하여야만 했다. 또한, 상태의 검수가 진행된 사과들을 각각 포장함에 있어, 사과들의 사과꼭지가 상방을 향하도록 배치된 채 포장되어야 사과의 손상을 최소화할 수 있기에, 포장과정의 전처리 과정으로서 사과의 자세를 일일이 특정 방향으로 배치하여야만 했다. 즉, 사과의 상태판단과 분류 및 사과의 자세 배치를 일일이 수작업으로 수행해왔기 때문에, 상당한 인력이 투입되거나 오랜 시간 동안 작업이 진행되어야 하여 사과(대상물)의 생산단가가 상당히 상승하는 문제가 있었다.At this time, the process of classifying the washed apples according to specific criteria has already been automated and mechanically can be classified according to specific criteria, but the inspection of the condition is still not automated, so it has to be done manually. In addition, when packing each apple that has been inspected, the apples must be packaged with the apples' top facing upwards to minimize damage to the apples. Had to be deployed. In other words, since the judgment and classification of apples and the arrangement of the positions of the apples have been manually performed, there is a problem that the production cost of apples (objects) is considerably increased due to the input of considerable manpower or the need for work for a long time.
본 발명의 일 실시예는, 대상물의 상태를 판별, 등급 분류 및 대상물이 배치된 자세를 추정하여 정방향으로 배치하는 모든 과정을 자동화한 상태 판별 및 자세 추정 시스템과 방법을 제공하는 데 일 목적이 있다.An object of the present invention is to provide a system and method for determining a state of an object, classifying an object, and estimating a position in which an object is placed and placing it in the forward direction. .
본 실시예의 일 측면에 의하면, 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 상태 판별 및 자세 추정 시스템에 있어서, 상기 대상물을 이송하는 제1 이송부와 상기 제1 이송부로부터 이송되는 대상물의 위치를 인식하고, 상기 대상물의 모든 면(面)에서의 상태와 상기 대상물의 자세를 인식하는 카메라와 상기 제1 이송부에 의해 이송되는 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키며, 상기 카메라가 상기 대상물의 모든 면(面)을 인식할 수 있도록 파지한 대상물을 제자리에서 회전시키는 로봇암 및 상기 카메라가 인식한 대상물의 위치로 이동하여 상기 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키도록 상기 로봇암을 제어하며, 딥러닝을 이용하여 상기 카메라가 인식한 정보를 토대로 상기 대상물의 등급을 분류하고 상기 대상물의 자세를 추정하는 제어부를 포함하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템을 제공한다.According to an aspect of the present embodiment, in a state determination and posture estimation system for determining a state of an object, classifying a class, and estimating a posture, a first transfer unit transferring the object and a position of the object transferred from the first transfer unit A camera for recognizing a state on all surfaces of the object and a posture of the object and an object transported by the first transfer unit are gripped and moved to a position separated by a preset distance from the camera, A robot arm that rotates the object held in place so that the camera can recognize all surfaces of the object, and a robot arm that moves to the position of the object recognized by the camera to hold the object by a preset distance from the camera. And a control unit for controlling the robot arm to move to a distant location, classifying the object based on information recognized by the camera using deep learning, and estimating the attitude of the object. And a posture estimation system.
본 실시예의 일 측면에 의하면, 상기 상태 판별시스템은 분류된 대상물을 이송하는 복수의 제2 이송부를 더 포함하는 것을 특징으로 한다.According to an aspect of the present embodiment, the state determination system is characterized in that it further comprises a plurality of second transfer units for transferring the classified object.
본 실시예의 일 측면에 의하면, 상기 로봇암은 상기 제어부의 제어에 따라, 등급이 분류된 대상물을 등급에 따라 서로 다른 제2 이송부에 배치하는 것을 특징으로 한다.According to an aspect of the present embodiment, the robot arm is characterized in that, according to the control of the control unit, the classified object is arranged in different second transfer units according to the grade.
본 실시예의 일 측면에 의하면, 상기 카메라는 기 설정된 각도의 시야각(Field of View)을 갖는 것을 특징으로 한다.According to an aspect of the present embodiment, the camera is characterized in that it has a field of view of a preset angle.
본 실시예의 일 측면에 의하면, 상기 시야각은 상기 제1 이송부와 상기 제2 이송부가 모두 보이는 각도인 것을 특징으로 한다.According to an aspect of the present embodiment, the viewing angle is characterized in that the viewing angle of both the first transfer unit and the second transfer unit.
본 실시예의 일 측면에 의하면, 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 방법에 있어서, 이송되는 대상물의 위치를 확인하는 과정과 확인된 대상물을 파지하여 기 설정된 거리 상에서 회전시키며, 상기 대상물의 모든 면(面)에서의 상태와 자세를 확인하는 과정과 확인된 대상물의 상태에 따라 등급을 분류하는 과정 및 상기 대상물의 등급과 자세를 고려하여 이송하는 과정을 포함하는 것을 특징으로 하는 상태 판별 및 등급 분류 방법을 제공한다.According to an aspect of the present embodiment, in the method of determining the state of the object, classifying the class, and estimating the posture by the state determination and posture estimation system, the process of confirming the position of the object to be transferred and holding the confirmed object Rotating over a set distance, the process of checking the state and posture on all sides of the object, the process of classifying the grade according to the state of the identified object, and the process of transferring the object considering the grade and posture It provides a state determination and class classification method comprising the.
이상에서 설명한 바와 같이 본 실시예의 일 측면에 따르면, 대상물의 상태를 판별하고 등급을 분류하며 대상물이 배치된 자세를 추정하여 정방향으로 배치하는데 필요한 모든 과정을 자동화함으로써, 인력 투입으로 인해 발생하는 비용을 최소화할 수 있는 장점이 있다.As described above, according to an aspect of the present embodiment, by automating all the processes necessary for determining the state of the object, classifying the class, estimating the position in which the object is placed, and placing the object in the forward direction, the cost incurred by the input of manpower There is an advantage that can be minimized.
도 1은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 판별 결과를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하는 방법을 도시한 순서도이다.1 is a diagram showing the configuration of a state determination and posture estimation system according to an embodiment of the present invention.
2 is a diagram illustrating a result of determination of a state determination and posture estimation system according to an embodiment of the present invention.
3 is a flowchart illustrating a method of determining a state of an object by a state determination and posture estimation system according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.In the present invention, various changes may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terms used in the present application are used only to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "include" or "have" should be understood as not precluding the possibility of existence or addition of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification. .
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless otherwise defined, all terms, including technical or scientific terms, used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.In addition, each configuration, process, process, or method included in each embodiment of the present invention may be shared within a range not technically contradicting each other.
도 1은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 구성을 도시한 도면이다.1 is a diagram showing the configuration of a state determination and posture estimation system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템(100)은 제1 이송부(110), 카메라(120), 로봇암(130), 제2 이송부(140, 144, 148), 제어부(미도시) 및 데이터베이스(미도시)를 포함한다.Referring to FIG. 1, the state determination and posture estimation system 100 according to an embodiment of the present invention includes a first transfer unit 110, a
제1 이송부(110)는 상태가 판별되어야 할 대상물(115)들을 로봇암이 파지할 수 있는 위치로 이송한다. 제1 이송부(110)로 세척과정 등을 거친 대상물(115)들이 유입되며, 제1 이송부(110)는 유입된 대상물(115)들을 로봇암(130)이 위치한 방향으로 이송한다. 제1 이송부(110)는 유입된 대상물(115)들을 일시에 모두 이송할 수도 있고, 유입되는 순서에 따라 차례로 이송할 수도 있다. 제1 이송부(110)는 예를 들어 컨베이어 밸트로 구현될 수 있으나 반드시 이에 한정되는 것은 아니고, 복수의 대상물(115)을 일시에 또는 순차적으로 이송할 수 있는 구성이면 어떠한 것으로 대체되어도 무방하다.The first transfer unit 110 transfers the
도 1에는 대상물(115)이 사과로 도시되어 있으나 반드시 이에 한정되는 것은 아니며, 다양한 과수나 품질 또는 크기 등 일정 기준에 따라 분류되는 모든 물체로 대체될 수 있다In FIG. 1, the
카메라(120)는 기 설정된 시야각(FOV: Field of View)을 가져, 각 이송부로 이송되는 대상물과 로봇암(130)이 파지한 대상물을 인식한다.The
카메라(120)는 RBG 카메라 등 대상물을 인식하는 카메라와 함께, 대상물과의 거리까지 파악하는 뎁스(Depth) 카메라를 포함한다. 이에, 카메라(120)는 대상물을 인식함과 함께 대상물 또는 대상물의 특정 위치까지의 거리도 파악할 수 있다.The
카메라(120)는 기 설정된 시야각을 가져, 각 이송부로 이송되는 대상물을 인식한다. 카메라(120)는 제1 이송부(110)와 제2 이송부(140, 144, 148)를 모두 인식할 수 있는 시야각을 가져, 제1 이송부(110)에서 이송되어 오는 대상물, 로봇암(130)이 파지한 대상물 및 제2 이송부(140, 144, 148) 각각에 배치되어 이송될 대상물 모두를 인식한다. The
카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물들을 인식하여 배치된 대상물들의 좌표를 인식한다. 제1 이송부(110)로부터 이송되어 오는 대상물을 로봇암(130)이 파지하여야 하기 때문에, 로봇암(130)이 파지할 수 있도록 카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물들 각각의 좌표를 인식하여 제어부(미도시)로 전달한다.The
카메라(120)는 로봇암(130)이 파지하여 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 가져오는 대상물의 상태와 자세를 인식한다. 로봇암(130)이 제1 이송부(110)로부터 이송되어 오는 대상물을 파지한 후 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 가져올 경우, 카메라(120)는 로봇암(130)이 가져온 대상물의 상태를 정밀하게 인식한다. 여기서, 대상물의 상태란 원하는 대상물이거나 이물질인지 여부, 대상물의 크기 또는 표면에의 외상 유무 등 대상물의 품질에 영향을 주는 모든 것을 의미한다. 대상물의 자세란 대상물 내 기 설정된 부위가 위치한 면이 어느 방향을 향하고 있는지를 의미한다. 여기서, 기 설정된 부위는 대상물이 이송부 상이나 포장 과정에서 배치되어야 할 방향을 정하는데 중요한 기준이 되는 부위로서, 예를 들어, 대상물이 사과일 경우 기 설정된 부위는 사과 꼭지일 수 있다. 카메라(120)는 로봇암(130)이 파지하여 근접하게 가져온 대상물의 상태와 자세를 정밀하게 인식하고 이를 제어부(미도시)로 전달한다.The
카메라(120)는 제2 이송부(140, 144, 148)에 배치된 대상물들을 인식한다. 제어부(미도시)는 카메라(120)가 정밀하게 인식한 대상물의 상태를 토대로 대상물을 분류하게 되며, 분류 결과에 따라 해당 대상물은 제2 이송부(140, 144, 148) 중 어느 하나로 배치되어 이송된다. 이때, 상태가 분류된 대상물이 제2 이송부 내 적절한 위치에 정확히 배치되어야, 기 배치된 다른 대상물들과의 충돌 또는 제2 이송부로부터의 이탈 등으로 인한 대상물의 파손이 방지될 수 있다. 카메라(120)는 제2 이송부(140, 144, 148)에 배치된 각 대상물들을 인식하여, 상태가 분류된 대상물이 배치될 위치를 인식한다. 예를 들어, 배치될 위치는 제2 이송부로부터 추락위험이 없으면서 다른 대상물들이 배치되지 않은 위치일 수 있다. 카메라(120)는 인식 결과를 제어부(미도시)로 전달한다.The
로봇암(130)은 파지부(미도시)와 암(Arm, 미도시)을 포함하여, 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송시키며, 분류 결과에 따라 대상물(115)을 적절한 제2 이송부 상으로 배치한다.The
로봇암(130)은 대상물(115)을 파지하기 위한 파지부(미도시)와 파지부의 위치를 조정하는 암(미도시)을 포함한다. The
파지부(미도시)는 대상물(115)을 파지하여 로봇암(130)이 대상물(115)을 특정 위치에서 원하는 위치로 이동시킬 때까지 대상물(115)의 이탈을 방지하는 구성이다. 파지부(미도시)는 대상물(115)을 움켜쥐는 구성 또는 대상물(115)을 흡입하는 구성 등 대상물(115)을 파손없이 고정시킬 수 있는 구성이면 어떠한 것으로 구현되어도 무방하다. The gripping unit (not shown) is a component that grips the
암(미도시)은 파지부(미도시)와 연결부(미도시)로 연결되어 파지부(미도시)의 위치를 조정한다. 암(미도시)은 다각도로 회전할 수 있는 피봇(미도시)을 포함하여 파지부(미도시)를 다양한 방향으로 회전시킨다. 예를 들어, 암(미도시)은 파지부(미도시)를 제1 이송부(110)로부터 카메라(120)로 또는 카메라(120)로부터 제2 이송부(140, 144, 148)로 회전시킬 수 있다. 또한, 암(미도시)은 관절(미도시)을 포함하거나 신축되어 파지부(미도시)의 위치를 이동시킬 수 있다. 예를 들어, 암(미도시)은 제1 이송부(110)에서 이송되는 대상물을 파지하기 위한 위치까지 파지부(미도시)를 이동시키거나, 파지부(미도시)를 제1 이송부(110)로부터 카메라(120) 방향으로 회전시킨 뒤 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치까지 이동시킬 수 있다. The arm (not shown) is connected by a gripping part (not shown) and a connecting part (not shown) to adjust the position of the gripping part (not shown). The arm (not shown) includes a pivot (not shown) capable of rotating at multiple angles to rotate the gripping unit (not shown) in various directions. For example, the arm (not shown) may rotate the gripping unit (not shown) from the first transfer unit 110 to the
파지부(미도시)와 암(미도시)을 연결하는 연결부(미도시), 역시, 모든 방향으로 회전하여 파지부(미도시)를 회전시킬 수 있다. 카메라(120)는 로봇암(130)에 의해 이동된 대상물(115)을 정밀하게 인식하기 위해, 대상물(115)의 모든 면(面)을 인식할 수 있어야 한다. 특히, 카메라(120)가 대상물(115)의 외상 유무와 대상물(115)의 기 설정된 부위가 어느 면에 위치하고 있는지를 판단하기 위해서는 필수적으로 대상물(115)의 모든 면을 인식하여야 한다. 이를 위해, 파지부(미도시)와 암(미도시)을 연결하는 연결부(미도시)는 피봇 형태로 구현되어, 모든 방향으로 회전하여 파지부(미도시)를 회전시킬 수 있다. 이에 따라, 파지부(미도시)에 의해 고정된 대상물 역시 모든 방향으로 회전하며, 카메라(120)로 모든 면을 노출할 수 있다.A connection part (not shown) connecting the gripping part (not shown) and the arm (not shown) may also rotate in all directions to rotate the gripping part (not shown). The
로봇암(130)은 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한다. 카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물을 인식할 수 있으나, 상대적으로 거리가 멀어 위치(좌표) 정도까지만 인식할 수 있으며 대상물의 상태와 자세까지 인식하기는 곤란하다. 로봇암(130)은 제어부(미도시)의 제어에 따라 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 파지한 대상물을 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치까지 이송시킨다. 카메라(120)는 로봇암(130)의 전술한 동작으로 대상물의 모든 면을 정밀하게 인식할 수 있다. 로봇암(130)은 전술한 구성을 구비하기에, 파지한 대상물을 해당 위치로 이송할 수 있으며 대상물의 모든 면이 카메라(120)에 노출되도록 대상물을 회전시킬 수 있다.The
로봇암(130)은 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한 대상물을 분류 결과에 따라 적절한 제2 이송부 상으로 배치한다. 로봇암(130)은 대상물을 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한 후, 제어부(미도시)의 등급 분류가 완료되면 분류 결과에 따른 적절한 제2 이송부로 대상물을 이송한다. 제어부의 제어에 따라, 로봇암(130)은 분석된 대상물의 자세를 고려하여, 대상물이 자세(기 설정된 부위의 방향)가 적절한 자세를 가지며 제2 이송부 상에 배치되도록 한다.The
제2 이송부(140, 144, 148)는 각 등급의 대상물을 이송한다. 제2 이송부(140, 144, 148)는 분류하고자 하는 등급의 개수만큼 복수 개가 구비될 수 있으며, 로봇암(130)으로부터 분류되어 이송되는 각 등급의 대상물을 특정 위치, 예를 들어, 대상물을 포장하기 위한 장소 또는 장치로 이송한다. 제2 이송부(140, 144, 148)는 제2 이송부 상에 대상물을 직접 안착시켜 이송할 수도 있고, 별도로 복수의 대상물을 수납하기 위한 물체를 안착시켜 대상물을 수납한 물체를 이송할 수도 있다.The second transfer unit (140, 144, 148) transfers the object of each grade. The
제어부(미도시)는 상태 판별 및 자세 추정 시스템(100) 내 각 구성의 동작을 제어하며, 대상물의 상태를 판별하여 등급을 분류하고 대상물의 자세를 추정(분석)한다.The control unit (not shown) controls the operation of each component in the state determination and posture estimation system 100, classifies the class by determining the state of the object, and estimates (analyzes) the posture of the object.
제어부(미도시)는 카메라(120)가 인식한 제1 이송부(110)로부터 이송되어 오는 대상물들을 토대로, 제1 이송부(110)와 로봇암(130)을 제어한다. 제어부(미도시)는 카메라(120)가 인식한 정보를 토대로, 제1 이송부(110)로부터 이송되어 오는 대상물들이 각각 상태 판별 및 자세 추정 시스템(100)에서 분류하고자 하는 대상물인지 또는 이물질인지 여부를 분석하고, 분류하고자 하는 대상물들만의 위치를 파악하여 로봇암(130)이 해당 대상물을 파지할 수 있도록 제어한다. 또한, 로봇암(130)의 동작 상태와 제1 이송부(110)로부터 이송되어 오는 대상물들의 개수를 고려하여, 제어부(미도시)는 제1 이송부(110)의 대상물의 이송을 정지하거나 동작시킨다. The control unit (not shown) controls the first transfer unit 110 and the
제어부(미도시)는 카메라가 인식한 대상물의 정보를 토대로 딥러닝을 수행함으로써, 대상물의 상태를 판별하여 등급을 분류하고 대상물의 자세를 추정한다. 제어부(미도시)는 데이터베이스(미도시)에 저장된 대상물에 대한 수많은 데이터를 토대로 딥러닝을 수행하여, 로봇암(130)이 파지하여 카메라(120)가 인식한 대상물의 정보로부터 대상물의 상태와 자세를 판별한다. 제어부가 판별한 결과는 도 2에 도시되어 있다.The controller (not shown) determines the state of the object by performing deep learning based on the information of the object recognized by the camera, classifies the class, and estimates the attitude of the object. The control unit (not shown) performs deep learning based on a number of data on the object stored in the database (not shown), and the state and posture of the object from the information of the object that the
도 2는 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 판별 결과를 도시한 도면이다.2 is a diagram illustrating a result of determination of a state determination and posture estimation system according to an embodiment of the present invention.
제어부(미도시)는 카메라가 인식한 대상물의 정보로부터 딥러닝을 수행하여, 대상물의 상태를 판별한다. 판별하는 대상물의 상태정보에는 대상물의 크기, 표면에 외상이 존재하는지 여부 및 찾고자 하는 기 설정된 부위가 대상물의 어느 면에 위치하고 있는지 여부를 판단한다. 여기서, 기 설정된 부위는 제2 이송부(140, 144, 148)를 이용하여 대상물을 이송함에 있어, 대상물이 배치되어야 할 방향을 정하는데 중요한 기준이 되는 부위일 수 있다. 예를 들어, 도 2에 도시된 것처럼 대상물(115)이 사과일 경우, 기 설정된 부위는 사과 꼭지(220)일 수 있다. 기 설정된 부위가 사과 꼭지(220)인 경우, 대상물은 해당 부위가 연직상방을 향하도록 배치되는 것이 바람직하다. 이러한 이유로 제어부(미도시)는 기 설정된 부위가 어느 면에 위치하고 있는지를 판단한다. 데이터베이스(미도시)에는 수많은 대상물과 그 대상물들의 기 설정된 부위에 관한 정보가 저장되어 있어, 제어부(미도시)는 이를 이용하여 딥러닝을 수행함으로써, 대상물의 전술한 정보를 획득할 수 있다.The control unit (not shown) determines the state of the object by performing deep learning from the information of the object recognized by the camera. In the state information of the object to be determined, it is determined whether the size of the object, whether there is a trauma on the surface, and on which side of the object a preset part to be found is located. Here, the preset portion may be a portion that becomes an important criterion in determining the direction in which the object is to be placed when transferring the object using the
도 2(a)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 대상물이 분류하고자 하는 대상물인지와 대상물의 크기를 판별한다. 판단 결과, 대상물이 분류하고자 하는 대상물인 경우, 제어부(미도시)는 카메라가 인식한 거리정보를 이용하여 대상물(115)의 크기정보를 분석한다. 제어부(미도시)는 대상물(115)의 최외곽부를 이은 직선으로 대상물(115)을 포함하는 블럭박스(210)를 생성하여 대상물(115)을 직관적으로 판별한다.2(a), the controller (not shown) performs deep learning based on information on one of all surfaces of the
도 2(b)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 기 설정된 부위(220)가 어느 면에 위치하였는지를 판별한다. 제어부(미도시)는 기 설정된 부위(220)에 대해서도 역시 마찬가지로, 기 설정된 부위의 최외곽부를 포함하는 블럭박스(220)를 생성하여 기 설정된 부위(220)를 직관적으로 판별한다. 제어부(미도시)는 블럭박스(220)를 이용하여 간단하게 대상물(115)의 어느 면에 기 설정된 부위가 위치하고 있는지를 인식할 수 있고, 로봇암(130)이 대상물을 제2 이송부(140, 144, 148)로 배치할 때 대상물의 자세를 적절히 배치하도록(기 설정된 부위가 특정 방향을 향하도록) 제어할 수 있다.Referring to FIG. 2(b), the controller (not shown) performs deep learning based on information on one of all surfaces of the
도 2(c)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 표면에 외상이 발생한 부분(230)이 있는지와 있을 경우 어느 면에 있는지를 판별한다. 제어부(미도시)는 외상이 발생한 부분(230)에 대해서도 역시 마찬가지로, 외상이 발생한 부분의 최외곽부를 포함하는 블럭박스(230)를 생성하여 외상이 발생한 부분(230)을 직관적으로 인식한다.Referring to FIG. 2(c), the controller (not shown) performs deep learning based on information on one of all surfaces of the
다시 도 1을 참조하면, 제어부(미도시)는 판별한 정보를 토대로, 각 대상물의 등급을 분류한다. 예를 들어, 3가지 등급(이 경우, 제2 이송부도 3개로 구현될 수 있음)으로 대상물을 분류할 경우, 제어부(미도시)는 크기가 기준을 초과하고 표면에 외상도 없는 것들을 최상급으로, 크기가 기준치에 근접하였으며 표면에 외상이 없거나 아주 작은 외상만이 있는 것들을 중급으로, 크기가 기준치에 미치지 못하거나 아주 큰 외상이 있는 것들을 하급으로 분류할 수 있다. Referring back to FIG. 1, the controller (not shown) classifies the grade of each object based on the determined information. For example, when classifying an object into three grades (in this case, the second conveying unit can be implemented as three), the control unit (not shown) is the highest level for those whose size exceeds the standard and has no trauma on the surface, Those whose size is close to the standard value and there is no trauma on the surface or only very small trauma can be classified as intermediate, and those whose size does not meet the standard or have very large trauma can be classified as low-level.
제어부(미도시)는 분류된 등급에 따라 적절한 제2 이송부로 대상물을 이송하도록 로봇암(130)을 제어한다. 각 제2 이송부는 이송할 대상물의 등급이 정해져 있다. 따라서, 제어부(미도시)는 로봇암(130)을 제어하여 해당 대상물을 그것의 등급에 맞는 제2 이송부에 배치한다. The controller (not shown) controls the
이때, 제어부(미도시)는 로봇암(130)을 제어하여 기 설정된 부위가 포함된 면이 적절한 방향을 향하도록 대상물을 회전시킨 후 제2 이송부에 배치한다. 전술한 예에서와 같이, 대상물이 사과이며 기 설정된 부위가 사과꼭지일 경우, 기 설정된 부위를 포함한 면이 연직상방을 향하도록 사과를 회전시킨 후 제2 이송부에 배치할 수 있다. 이러한 과정을 거치며, 상태 판별 및 자세 추정 시스템(100)은 대상물의 상태를 판별하여 자동으로 등급을 분류하는 것은 물론, 대상물이 배치되어야 할 방향(자세)까지 조정하여 배치할 수 있다. At this time, the control unit (not shown) controls the
또한, 제어부(미도시)는 제2 이송부(140, 144, 148) 각각에 배치되어 이송될 대상물을 토대로, 대상물이 배치될 제2 이송부 상의 위치를 분석한다. 각 제2 이송부 상에는 등급을 분류하여 배치할 대상물 외에 기 분류되어 배치된 다른 대상물들이 존재할 수 있다. 이에, 제어부(미도시)는 카메라(120)가 인식한 정보를 분석하여, 기 배치된 다른 대상물들과의 충돌이 발생하지 않거나 제2 이송부로부터의 이탈되지 않을 위치를 파악한다. 제어부(미도시)는 파악한 위치를 토대로 로봇암(130)을 제어하여, 선정된 제2 이송부 상의 해당 위치로 대상물을 배치하도록 한다.In addition, the control unit (not shown) analyzes a position on the second transfer unit where the object is to be disposed based on the object to be transferred by being disposed on each of the
데이터베이스(미도시)는 대상물(115)과 동종의 대상물의 상태에 관한 수많은 데이터를 저장한다. 데이터베이스(미도시)는 다양한 크기의 대상물, 대상물 내 기 설정된 부위 및 대상물 내 외상이 발생한 부분에 관한 데이터를 저장하여, 제어부(미도시)가 저장된 데이터를 토대로 딥러닝을 수행할 수 있도록 한다.The database (not shown) stores a number of data on the state of the
도 3은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하는 방법을 도시한 순서도이다.3 is a flowchart illustrating a method of determining a state of an object by a state determination and posture estimation system according to an exemplary embodiment of the present invention.
카메라(120)는 유입되는 대상물의 위치를 확인한다(S310). The
로봇암(130)은 확인된 대상물을 파지하여 회전시키며, 제어부(미도시)는 대상물의 모든면에서의 상태와 자세를 확인한다(S320). 로봇암(130)은 확인된 대상물을 파지하여 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이동시켜, 카메라(120)에 대상물의 모든면에서의 상태와 자세를 확인시킨다. 제어부(미도시)는 카메라(120)가 인식한 정보를 토대로 대상물의 모든면에서의 상태와 자세를 확인한다.The
제어부(미도시)는 확인된 대상물의 상태에 따라 등급을 분류한다(S330).The control unit (not shown) classifies the grade according to the state of the identified object (S330).
로봇암(130)은 대상물의 등급과 자세를 고려하여 적절한 제2 이송부에 배치한다(S340).The
도 3에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 3, it is described that each process is sequentially executed, but this is merely illustrative of the technical idea of an embodiment of the present invention. In other words, a person of ordinary skill in the art to which an embodiment of the present invention belongs can change the order shown in FIG. 3 and execute one or more of each process without departing from the essential characteristics of the embodiment of the present invention. Since it is executed in parallel and can be applied by various modifications and variations, FIG. 3 is not limited to a time series order.
한편, 도 3에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIG. 3 can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. That is, the computer-readable recording medium includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.). In addition, the computer-readable recording medium can be distributed over a computer system connected through a network to store and execute computer-readable codes in a distributed manner.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those of ordinary skill in the technical field to which the present embodiment belongs will be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are not intended to limit the technical idea of the present embodiment, but to explain the technical idea, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.
100: 상태 판별 및 자세 추정 시스템
110: 제1 이송부
115: 대상물
120: 카메라
130: 로봇암
140, 144, 148: 제2 이송부
210: 블럭박스
220: 기 설정된 부위
230: 외상이 발생한 부분100: state determination and posture estimation system
110: first transfer unit
115: object
120: camera
130: robot arm
140, 144, 148: second transfer unit
210: block box
220: preset part
230: where the trauma occurred
Claims (6)
상기 대상물을 이송하는 제1 이송부;
상기 제1 이송부로부터 이송되는 대상물의 위치를 인식하고, 상기 대상물의 모든 면(面)에서의 상태와 상기 대상물의 자세를 인식하는 카메라;
상기 제1 이송부에 의해 이송되는 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키며, 상기 카메라가 상기 대상물의 모든 면(面)을 인식할 수 있도록 파지한 대상물을 제자리에서 회전시키는 로봇암;
상기 카메라가 인식한 대상물의 위치로 이동하여 상기 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키도록 상기 로봇암을 제어하며, 딥러닝을 이용하여 상기 카메라가 인식한 정보를 토대로 상기 대상물의 등급을 분류하고 상기 대상물의 자세를 추정하는 제어부; 및
분류하고자 하는 등급의 개수만큼 복수 개가 구비되어, 상기 제어부에서 등급이 분류되어 이송되는 각 등급의 대상물을 해당 위치에 배치하여 이송하는 복수의 제2 이송부를 포함하되,
상기 제어부는,
상기 카메라가 인식한 거리 정보를 이용하여 대상물의 크기 정보를 분석하고, 대상물의 최외곽부를 이은 직선으로 대상물을 포함하는 블럭박스를 생성하여 기설정된 부위를 판별하고, 상기 판별된 기설정된 부위를 중심으로 대상물의 자세를 추정하여 상기 제2 이송부에 배치될 대상물의 자세를 제어하며, 상기 대상물의 모든 면에서의 상태 정보에 기초하여 대상물의 크기와 표면 외상을 포함한 대상물의 품질에 관련된 대상물의 등급을 분류하는 것을 포함하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.In the state determination and posture estimation system that determines the state of the object, classifies the class, and estimates the posture
A first transfer unit for transferring the object;
A camera that recognizes a position of an object to be transported from the first transfer unit, and recognizes a state on all surfaces of the object and a posture of the object;
A robot that grasps the object transported by the first transfer unit and moves it to a position distant from the camera by a preset distance, and rotates the object held in place so that the camera can recognize all surfaces of the object cancer;
The robot arm is controlled to move to the position of the object recognized by the camera, grip the object, and move it to a position away from the camera by a preset distance, and based on the information recognized by the camera using deep learning A control unit for classifying a grade of an object and estimating a posture of the object; And
A plurality of second transfer units are provided as many as the number of grades to be classified, and the control unit includes a plurality of second transfer units to arrange and transfer the objects of each grade to be classified and transported at a corresponding position,
The control unit,
Analyzes the size information of the object using the distance information recognized by the camera, and creates a block box containing the object with a straight line connecting the outermost part of the object to determine a preset part, and centers on the determined preset part. The attitude of the object to be placed in the second transfer unit is controlled by estimating the attitude of the object, and the grade of the object related to the quality of the object including the size of the object and surface trauma is determined based on state information on all sides of the object. State determination and posture estimation system comprising classifying.
상기 로봇암은,
상기 제어부의 제어에 따라, 등급이 분류된 대상물을 등급에 따라 서로 다른 제2 이송부에 배치하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.The method of claim 1,
The robot arm,
According to the control of the control unit, the class-classified object is arranged in different second transfer units according to the class, the state determination and posture estimation system.
상기 카메라는,
기 설정된 각도의 시야각(Field of View)을 갖는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.The method of claim 1,
The camera,
State determination and posture estimation system, characterized in that it has a field of view of a predetermined angle.
상기 시야각은,
상기 제1 이송부와 상기 제2 이송부가 모두 보이는 각도인 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.The method of claim 4,
The viewing angle is,
State determination and posture estimation system, characterized in that both the first transfer unit and the second transfer unit are visible angles.
카메라를 이용하여 이송되는 대상물의 위치를 확인하는 과정;
확인된 대상물을 파지하여 기 설정된 거리 상에서 회전시키며, 상기 카메라가 인식한 대상물의 모든 면(面)에서의 일면 정보를 토대로 기 설정된 부위를 포함한 대상물의 최외곽부를 연결한 블럭박스를 생성하고, 상기 블럭박스를 이용하여 대상물의 상태를 확인하고, 상기 블럭박스를 이용하여 기설정된 부위의 위치를 판별하여 대상물의 자세를 확인하는 과정;
확인된 대상물의 상태에 따라 딥러닝을 수행하여 대상물의 크기와 표면 외상을 포함한 대상물의 품질에 관련된 대상물의 등급을 분류하는 과정; 및
상기 대상물의 등급이 분류되면 각 등급의 대상물을 등급별 해당 위치에 배치하여 이송하기 위해 기설정된 부위를 중심으로 대상물이 배치되어야 할 방향을 결정하여 대상물의 자세를 제어하여 이송하는 과정
을 포함하는 것을 특징으로 하는 상태 판별 및 등급 분류 방법.In the method of determining the state of the object, classifying the class, and estimating the posture by the state determination and posture estimation system,
Checking the location of the object to be transported using a camera;
The identified object is gripped and rotated over a preset distance, and a block box is created that connects the outermost part of the object including a preset portion based on information on one side of the object recognized by the camera, and the Checking a state of an object using a block box and determining a position of a predetermined portion using the block box to confirm a posture of the object;
Classifying an object's grade related to the object's quality including the object's size and surface trauma by performing deep learning according to the identified object's condition; And
When the grade of the object is classified, the process of transferring the object by controlling the attitude of the object by determining the direction in which the object should be placed around a preset area in order to transfer the object of each grade at the corresponding position for each grade
State determination and class classification method comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190137873A KR102206303B1 (en) | 2019-10-31 | 2019-10-31 | System and Method for Discriminating Status and Estimating Posture Using Deep Learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190137873A KR102206303B1 (en) | 2019-10-31 | 2019-10-31 | System and Method for Discriminating Status and Estimating Posture Using Deep Learning |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102206303B1 true KR102206303B1 (en) | 2021-01-22 |
Family
ID=74309824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190137873A KR102206303B1 (en) | 2019-10-31 | 2019-10-31 | System and Method for Discriminating Status and Estimating Posture Using Deep Learning |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102206303B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113524172A (en) * | 2021-05-27 | 2021-10-22 | 中国科学院深圳先进技术研究院 | Robot, article grabbing method thereof and computer-readable storage medium |
CN115092716A (en) * | 2022-07-11 | 2022-09-23 | 合肥美亚光电技术股份有限公司 | Conveying device and sorting equipment |
WO2023054819A1 (en) * | 2021-09-28 | 2023-04-06 | 이현 | Product checkout device using automatic barcode scanning |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080075730A (en) * | 2007-02-13 | 2008-08-19 | 한국과학기술연구원 | Method for esrimating location using objectionrecognition of a robot |
WO2018087546A1 (en) * | 2016-11-08 | 2018-05-17 | Dogtooth Technologies Limited | A robotic fruit picking system |
KR20180107391A (en) * | 2017-03-20 | 2018-10-02 | 전자부품연구원 | Learning-based Logistics Automation System, Device and Method |
-
2019
- 2019-10-31 KR KR1020190137873A patent/KR102206303B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080075730A (en) * | 2007-02-13 | 2008-08-19 | 한국과학기술연구원 | Method for esrimating location using objectionrecognition of a robot |
WO2018087546A1 (en) * | 2016-11-08 | 2018-05-17 | Dogtooth Technologies Limited | A robotic fruit picking system |
KR20180107391A (en) * | 2017-03-20 | 2018-10-02 | 전자부품연구원 | Learning-based Logistics Automation System, Device and Method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113524172A (en) * | 2021-05-27 | 2021-10-22 | 中国科学院深圳先进技术研究院 | Robot, article grabbing method thereof and computer-readable storage medium |
WO2023054819A1 (en) * | 2021-09-28 | 2023-04-06 | 이현 | Product checkout device using automatic barcode scanning |
CN115092716A (en) * | 2022-07-11 | 2022-09-23 | 合肥美亚光电技术股份有限公司 | Conveying device and sorting equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102206303B1 (en) | System and Method for Discriminating Status and Estimating Posture Using Deep Learning | |
CN114585576B (en) | Coordinating multiple robots to satisfy workflows and avoid conflicts | |
US12064873B2 (en) | Systems and methods for processing objects including a zone gantry system | |
US10360531B1 (en) | Robot implemented item manipulation | |
US10471597B1 (en) | Adaptive perception for industrial robotic systems | |
CN113351522B (en) | Article sorting method, device and system | |
US10822177B2 (en) | Method and system for manipulating articles | |
JP5558585B2 (en) | Work picking device | |
US10766141B1 (en) | Robotic system with a coordinated transfer mechanism | |
JP2019509559A (en) | Box location, separation, and picking using a sensor-guided robot | |
US11981518B2 (en) | Robotic tools and methods for operating the same | |
TW202241669A (en) | Adaptive robotic singulation system | |
TWI626704B (en) | Automatic ic transporting system with image recognition function and transporting method thereof | |
US20230364787A1 (en) | Automated handling systems and methods | |
TWM535875U (en) | Automatic IC transporting system with image recognition function | |
CN111410045A (en) | Container handling method and device | |
WO2023120306A1 (en) | Classification device, classification method, and classification system | |
US11893718B2 (en) | Image recognition method and image recognition device | |
WO2017042760A1 (en) | System for grain sorting | |
US20230256474A1 (en) | System and method for quality control of wood pieces to be packaged | |
WO2023166350A1 (en) | Surveillance system and methods for automated warehouses | |
WO2024038323A1 (en) | Item manipulation system and methods | |
CN115258510A (en) | Robot system with object update mechanism and method for operating the robot system | |
CN118343510A (en) | Unstacking method, system, device, equipment and storage medium | |
JP2019185204A (en) | Image processing system, robot system, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |