WO2024122838A1 - 그리퍼의 파지 시스템 및 방법 - Google Patents

그리퍼의 파지 시스템 및 방법 Download PDF

Info

Publication number
WO2024122838A1
WO2024122838A1 PCT/KR2023/015191 KR2023015191W WO2024122838A1 WO 2024122838 A1 WO2024122838 A1 WO 2024122838A1 KR 2023015191 W KR2023015191 W KR 2023015191W WO 2024122838 A1 WO2024122838 A1 WO 2024122838A1
Authority
WO
WIPO (PCT)
Prior art keywords
gripping
gripping area
final
gripper
area
Prior art date
Application number
PCT/KR2023/015191
Other languages
English (en)
French (fr)
Inventor
신동인
전세웅
부이민트렁
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2024122838A1 publication Critical patent/WO2024122838A1/ko

Links

Images

Definitions

  • the present invention relates to a gripping system and method for a gripper, and more specifically, to a gripping system and method for a gripper capable of stably gripping various objects when they are located together.
  • Robots have been widely used in factory automation because they can accurately perform repetitive tasks. Recently, as logistics centers have become larger, much research has been conducted on ways to use robots in logistics centers.
  • One of the main tasks robots perform in factories or distribution centers is picking up and moving objects.
  • a two-terrain gripper may be used.
  • the outer edge was mainly gripped, and if there was an empty area within the object, the inner edge was gripped by recognizing the round part of the object or the pose of the object.
  • Patent Document 1 KR10-2317041 B1
  • the purpose of the present invention is to solve such conventional problems and to provide a gripping system and method for a gripper that can grip the outer edge and inner edge of an object even when various objects are located together.
  • the above object is, according to the present invention, to provide a system for gripping each object between various objects with a gripper, comprising: a camera unit for acquiring an RGB image and a depth image of each object; an outer gripping area deriving unit that recognizes objects and spaces between objects in the image acquired by the camera unit to derive an outer edge gripping area; an inner gripping area deriving unit that recognizes an empty space inside the object in the image acquired by the camera unit and derives an inner edge gripping area; and a final gripping area selection unit that selects one of the outer edge gripping area derived from the outer gripping area deriving part and the inner edge gripping area derived from the inner gripping area deriving part as the final gripping area.
  • the gripping system of the gripper comprising a. is achieved by
  • the outer gripping area deriving unit includes an outer gripping area candidate deriving unit that derives candidates for possible outer edge gripping areas, and a final outer gripping area deriving part that derives one of the candidates for the outer edge gripping area as a final outer edge gripping area.
  • the outer gripping area candidate derivation unit determines the position at which the bounding box intersects the object in a state where both ends of the bounding box containing the projection image of the gripper are located in the space between the objects as the outer edge gripping area. Candidates can be derived.
  • the final outer gripping area derivation unit calculates the gripping possibility using a model learned by setting the case where the bounding box intersects the object at a right angle as true and the case where it is located parallel to the object as false.
  • the gripping area can be derived.
  • the final outer gripping region deriving unit may derive the final outer edge gripping region at a location where the cluster density of candidates for the outer edge gripping region whose gripping probability is greater than a predetermined value is higher than at other locations.
  • the final outer gripping area deriving unit may derive the candidate at the position with the smallest depth value as the final outer edge gripping area among candidates for the outer edge gripping area with a gripping probability of a predetermined value or more.
  • the inner gripping area deriving unit includes an inner gripping area candidate deriving part that derives candidates for possible inner edge gripping areas, and a final inner gripping area deriving part that derives one of the candidates for the inner edge gripping area as a final inner edge gripping area.
  • the inner gripping area candidate derivation unit may derive several areas with different angles based on the center point of the empty space inside the object as candidates for the inner edge gripping area.
  • the final inner gripping area deriving unit may derive the position where the width of the empty space inside the object is smaller than the maximum width of the gripper and larger than the minimum width of the gripper as the final inner edge gripping area.
  • the final inner gripping area deriving unit may derive a candidate with an intersection angle between the end of the inner edge gripping area and the inner edge of the object close to 90° as the final inner edge gripping area.
  • the final gripping area selection unit may select the inner edge gripping area as the final gripping area.
  • a method for gripping each object between various objects with a gripper comprising: an image acquisition step of acquiring an RGB image and a depth image of each object with a camera unit; An inner and outer gripping area derivation step in which the outer edge gripping area is derived by recognizing the object and the space between the objects in the image acquired in the image acquisition step, and the inner edge gripping area is derived by recognizing the empty space inside the object. ; and a final gripping area selection step of selecting one of the outer edge gripping area and the inner edge gripping area derived in the inner/outer gripping area deriving step as the final gripping area.
  • a gripping method of a gripper including a step is provided.
  • the inner edge gripping area can be selected as the final gripping region in the final gripping area selection step.
  • the gripping method of the gripper according to the present invention is performed after the final gripping area selection step, and includes a gripper operation step of gripping and moving an object in the final gripping area selected in the final gripping area selection step with the gripper; And it may further include a repeating step of sequentially performing the image acquisition step, the inner and outer gripping area deriving step, the final gripping area selection step, and the gripper operating step.
  • both the outer edge gripping area and the inner edge gripping area can be derived using the RGB image and the depth image, so that each object can be effectively gripped even when various types of objects are present together. It is possible to move it.
  • This effect can be said to be particularly effective in environments where new objects or multiple objects are crowded, such as a logistics environment.
  • each object can be moved while minimizing interference with other objects.
  • FIG. 1 is an explanatory diagram of a gripper to which the gripping system of the gripper according to the present invention is applied;
  • Figure 2 is a schematic configuration diagram of the gripping system of the gripper according to the present invention.
  • FIGS 3 and 4 are explanatory diagrams of the operation of the outer gripping area candidate derivation unit that constitutes the gripping system of the gripper according to the present invention
  • Figure 5 is an explanatory diagram of the operation of the final outer gripping area derivation part that constitutes the gripping system of the gripper according to the present invention
  • Figure 6 is an explanatory diagram of the operation of the inner gripping area candidate derivation unit that constitutes the gripping system of the gripper according to the present invention.
  • Figure 7 is an explanatory diagram of the operation of the final inner gripping area derivation part that constitutes the gripping system of the gripper according to the present invention.
  • Figure 8 is a flow chart of the gripping method of the gripper according to the present invention.
  • the present invention relates to a system and method for gripping an object between various objects using a two-finger gripper.
  • the two-finger gripper (G) is formed so that the gap between each finger (f) is adjustable. And the two-finger gripper grips the object by grabbing the outer edge of the object, as shown in (b) of Figure 1, or in the case of an object with an inner edge, such as a ring type, (c) of Figure 1. As shown, the object can be grasped by pinching the inner edge of the object.
  • Figure 2 shows a schematic configuration diagram of the gripping system 1 of the gripper according to the present invention.
  • the gripping system 1 of the gripper largely includes a camera unit 10, an outer gripping area deriving part 20, an inner gripping area deriving part 30, and a final gripping area selection part 40. .
  • the camera unit 10 acquires RGB images and depth images of each object.
  • the camera unit 10 may be, for example, an RGB-D camera.
  • RGB images and depth images the three-dimensional shapes and colors of various objects can be known, so each object can be easily distinguished and recognized.
  • the outer gripping area derivation unit 20 derives the outer edge gripping area by recognizing objects and the space between the objects in the image acquired by the camera unit 10. In order for the gripper to grip the outer edge of an object, the objects must be recognized separately and a space must be secured around the object for each finger of the gripper to approach. Therefore, the outer gripping area derivation unit 20 is used to separate the objects and secure the space between the objects. Check the space.
  • the inner gripping area deriving unit 30 recognizes the empty space inside the object from the image acquired by the camera unit 10 and derives the inner edge gripping area. In order for the gripper to grasp the inner edge of an object, the objects must be recognized separately and a space must be secured inside one object for each finger of the gripper to access. Therefore, the inner gripping area derivation unit 30 is used to separate the objects from one object and secure the inner edge of the object. Recognize empty space.
  • the final gripping area selection unit 40 selects one of the outer edge gripping area derived from the outer gripping area deriving part 20 and the inner edge gripping area derived from the inner gripping area deriving part 30 as the final gripping area. If only one of the outer edge gripping area and the outer edge gripping area is derived, the derived one is selected as the final gripping area. If both the outer edge gripping area and the outer edge gripping area are selected, gripping is easier than the two. One can be selected as the final gripping area.
  • the gripper moves to the corresponding area, grips and moves the object, and the gripping system 1 of the gripper according to the present invention performs final gripping again on the remaining objects.
  • An area is selected.
  • both the outer edge gripping area and the inner edge gripping area can be derived using the RGB image and the depth image, so even when various types of objects are present together, each object It is possible to effectively grasp and move.
  • This effect can be said to be particularly effective in environments where new objects or multiple objects are crowded, such as a logistics environment.
  • the outer gripping area deriving unit 20 includes an outer gripping area candidate deriving unit 21 and a final outer gripping area deriving unit 22.
  • the outer gripping area candidate deriving unit 21 derives candidates for possible outer edge gripping areas, and the final outer gripping area deriving unit 22 derives one of the candidates for the outer edge gripping area as the final outer edge gripping area.
  • the outer gripping area candidate deriving unit 21 determines the position at which the bounding box intersects the object when both ends of the bounding box containing the projection image of the gripper are located in the space between the objects. is derived as a candidate for the outer border gripping region.
  • FIG. 3 illustrates exemplary candidates for the outer edge gripping area for an object.
  • the bounding box may be, for example, a rectangle containing a planar image of the finger portion of the gripper, and its size may vary depending on the spacing of each finger, as shown in FIG. 4 . That is, the horizontal length of the bounding box ( ) and vertical length ( ) can be set as follows.
  • width of the silver finger is the vertical width of the finger.
  • the vertical length of the bounding box is constant, but the horizontal length can vary depending on the spacing between fingers, so candidates for possible outer edge gripping areas are derived from bounding boxes of various sizes.
  • Each finger of the gripper must be located in the space outside the object with the object in between to grip the object. Therefore, both ends of the bounding box must be located in the space between the objects and the bounding box must intersect with the object to be held by the bounding box. The gripper can grip the object.
  • the outer gripping area candidate derivation unit 21 may also derive candidates for the outer edge gripping area by changing the bounding box to various angles based on its center point. For example, candidates for the outer edge gripping area can be derived by rotating the bounding box by 10° between 0° and 180°.
  • the final outer gripping area deriving unit 22 can derive the final outer edge gripping area using artificial intelligence learning. Specifically, as shown in part 'a' of Figure 5, the case where the bounding box intersects the object at right angles is considered true ('1'), and as shown in part 'b' of Figure 5, the case where the bounding box is parallel to the object is considered true ('1').
  • the possibility of grasping can be calculated using the learned model by setting the case where it is located as false ('0').
  • the final outer gripping area derivation unit 22 may use, for example, a Resnet model among deep learning models.
  • the final outer gripping area derivation unit 22 can derive the final outer edge gripping area from a location where the cluster density of candidates for the outer edge gripping region whose gripping probability is greater than a predetermined value is higher than other locations.
  • grippable parts there may be multiple grippable parts for one object, and when multiple objects are located together, there may be grippable parts for each object.
  • candidates for the outer border gripping region for example, those with the top 10% gripping potential are selected.
  • candidates for the outer border gripping region with a high possibility of grasping are more dense than in other places, so a cluster may appear, and from this cluster, for example, 1 to 3 can be selected. If multiple clusters appear because there are multiple objects that can be grasped, 1 to 3 objects can be selected from each cluster.
  • the final outer gripping area deriving unit 22 may derive the candidate at the position with the smallest depth value as the final outer edge gripping area among the candidates for the outer edge gripping area whose gripping probability is more than a predetermined value.
  • this embodiment can be applied when the outer edge gripping area selected because there are multiple objects that can be gripped is not compressed into one.
  • the highest object When several objects are stacked, the highest object must be grasped first to minimize interference with surrounding objects during the gripping process. Therefore, the outer edge gripping area of the highest object, that is, the position with the smallest depth value, should be grasped first. It is selected as the final outer border gripping area.
  • the inner gripping area deriving unit 30 includes an inner gripping area candidate deriving part 31 and a final inner gripping area deriving part 32.
  • the inner gripping area candidate deriving unit 31 derives candidates for possible inner edge gripping areas, and the final inner gripping area deriving part 32 derives one of the inner edge gripping area candidates as the final inner edge gripping area.
  • the inner gripping area candidate derivation unit 31 derives several areas with different angles based on the center point of the empty space inside the object as candidates for the inner edge gripping area.
  • the inner gripping area candidate deriving unit 31 can recognize the empty space inside the object using the depth value of the depth image, as shown in (a) of FIG. 6.
  • Empty space can be recognized using, for example, Mask-RCNN among deep learning models.
  • candidates for the inner edge gripping area of various angles are generated with the center point of the empty space inside the object as the center and the length of which is determined by the inner edge of the object. Unlike when gripping the outer rim of an object, when gripping the inner rim of an object, the gripper only needs to be able to enter the inner rim of the object. Therefore, candidates for the inner rim gripping area are identified by a line crossing the empty space inside the object. Possibility of grasping can be determined.
  • the final inner gripping area derivation unit 32 may derive the position where the width of the empty space inside the object is smaller than the maximum width of the gripper and greater than the minimum width of the gripper as the final inner edge gripping area.
  • the gripper must be able to enter the empty space inside the object when the gap between each finger is minimal and must be able to contact the inner edge of the object when the gap between each finger is maximum to grip the object, so the final inner edge Length of border gripping area ( ) must satisfy the following conditions.
  • the final inner gripping area deriving unit 32 may derive, among candidates for the inner edge gripping area, the one with an intersection angle between the end of the inner edge gripping area and the inner edge of the object that is close to 90° as the final inner edge gripping area.
  • Figure 7 shows an explanatory diagram regarding this.
  • the contact angle between the outer surface of the gripper and the inner edge of the object does not change even if the entry angle of the gripper into the empty space changes.
  • the empty space inside the object is a polygon such as a square, if the entry angle of the gripper into the empty space changes, the contact angle between the outer surface of the gripper and the inner edge of the object may vary, and accordingly, depending on the entry angle of the gripper, The object may not be held reliably.
  • candidates for the inner edge gripping area at a specific angle are derived as the final inner edge gripping area.
  • the inner edge gripping area where the intersection angle between the end of the inner edge gripping area and the inner edge of the object (or the tangent if the inner edge is curved) is close to 90° is selected as the final inner edge gripping area.
  • the angle at which the end of the inner edge gripping area intersects the inner edge of the object is always 90°, and if the empty space inside the object is rectangular, it depends on the entry angle of the gripper.
  • the angle at which the end of the inner edge gripping area intersects the inner edge of the object may vary. Therefore, when the empty space inside the object is rectangular, the gripper must enter the empty space at an angle perpendicular to one side of the empty space inside the object to stably grip the object.
  • the final gripping area selection unit 40 may select the inner edge gripping area as the final gripping area.
  • the gripper When gripping the inner edge of an object, the gripper is less likely to interfere with other objects compared to gripping the outer edge of the object. Therefore, when both the outer edge gripping area and the inner edge gripping area are derived, the object having the inner edge gripping area is first gripped by the gripper and moved.
  • the object with the outer edge gripping area can be moved.
  • Each component of the gripping system 1 of the gripper according to the present invention may be implemented through one or more hardware or software.
  • the gripping system 1 of the gripper according to the present invention includes a control unit (not shown) that controls each component, and a storage unit in which the data generated in each component is stored and a program for the operation of each component is stored. (not shown), a communication unit (not shown) for data transmission between each component, and a display unit (not shown) that displays images of the operation status of each component.
  • Figure 8 shows a flow chart of the gripping method of the gripper according to the present invention.
  • the gripping method of the gripper according to the present invention includes an image acquisition step (S10), an inner and outer gripping area derivation step (S20), and a final gripping area selection step (S30).
  • the RGB image and depth image of each object are acquired by the camera unit 10.
  • the outer edge gripping area is derived by recognizing the object and the space between the objects in the image acquired in the image acquisition step (S10), and the inner edge gripping area is recognized by recognizing the empty space inside the object. Derive the border gripping area.
  • candidates for possible outer border gripping areas can be derived, and then one of the candidates can be derived as the final outer border gripping area.
  • Candidates for the outer edge gripping area can be derived by deriving the position where the bounding box intersects the object while both ends of the bounding box containing the projected image of the gripper are located in the space between the objects.
  • the final outer edge gripping area can be derived by calculating the gripping possibility using a model learned with the case where the bounding box intersects the object at a right angle as true and the case where it is located parallel to the object as false.
  • the final outer border gripping area is derived from a location where the cluster density of candidates for the outer border gripping area with a predetermined gripping probability is higher than other locations, and when multiple clusters appear, the final outer border gripping area is derived from the location with the smallest depth value.
  • the border gripping area can be derived.
  • candidates for possible inner border gripping areas can be derived, and then one of the candidates can be derived as the final inner border gripping area.
  • Candidates for the inner edge gripping area can be derived by deriving several areas with different angles based on the center point of the empty space inside the object.
  • the final inner gripping area can be derived by deriving a position where the width of the empty space inside the object is smaller than the maximum width of the gripper and larger than the minimum width of the gripper. Additionally, the angle at which the end of the inner edge gripping area intersects the inner edge of the object is close to 90°, which can be derived as the final inner edge gripping area.
  • one of the outer and inner edge gripping areas derived in the inner and outer gripping area derivation step (S20) is selected as the final gripping region.
  • the inner edge gripping area can be selected as the final gripping region in the final gripping area selection step (S30).
  • the gripper can grip the object while minimizing interference with other objects.
  • Inner and outer gripping area derivation step (S20) If only one of the outer and inner edge gripping areas is derived, it is natural that the corresponding gripping area should be selected as the final gripping area.
  • the gripping method of the gripper according to the present invention may further include a gripper operation step (S40) and a repeat step.
  • the gripper operation step (S40) and the repetition step are performed after the final gripping area selection step (S30).
  • the object in the final gripping area selected in the final gripping area selection step (S30) is held by the gripper. It is gripped and moved, and in the repetition stage, the image acquisition step (S10), the inner and outer gripping area derivation step (S20), the final gripping area selection step (S30), and the gripper operation step (S40) are sequentially performed again.
  • each object can be moved while minimizing interference with other objects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Multimedia (AREA)

Abstract

본 발명은 그리퍼의 파지 시스템 및 방법에 관한 것으로서, 본 발명에 따른 그리퍼의 파지 시스템은, 그리퍼로 다양한 물체들 사이에서 각 물체를 파지하기 위한 시스템에 있어서, 각 물체의 RGB 이미지와 깊이(depth) 이미지를 획득하는 카메라부; 상기 카메라부가 획득한 이미지에서 물체, 그리고 물체들 사이의 공간을 인식하여 외측 테두리 파지영역을 도출하는 외측 파지영역 도출부; 상기 카메라부가 획득한 이미지에서 물체 내부의 빈 공간을 인식하여 내측 테두리 파지영역을 도출하는 내측 파지영역 도출부; 및 상기 외측 파지영역 도출부에서 도출된 외측 테두리 파지영역과 상기 내측 파지영역 도출부에서 도출된 내측 테두리 파지영역 중 하나를 최종 파지영역으로 선정하는 최종 파지영역 선정부;를 포함하는 것을 특징으로 한다.

Description

그리퍼의 파지 시스템 및 방법
본 발명은 그리퍼의 파지 시스템 및 방법에 관한 것으로서, 보다 상세하게는 다양한 물체가 함께 위치하는 경우에 각 물체를 안정적으로 파지하는 것이 가능한 그리퍼의 파지 시스템 및 방법에 관한 것이다.
로봇은 반복적인 작업을 정확하게 수행할 수 있기 때문에 공장 자동화에 많이 사용되었는데, 최근에는 물류센터가 대형화되면서 로봇을 물류센터에서 사용할 수 있는 방안에 대한 연구가 많이 진행되고 있다.
공장이나 물류센터 등에서 로봇이 주로 하는 작업 중의 하나는 물체를 집어 이동시키는 것이다. 이러한 작업에는 예를 들어, 2지형 그리퍼가 사용될 수 있다.
종래에는 2지형 그리퍼를 이용하여 물체를 파지할 때 주로 외측 테두리를 파지하였으며, 물체 내에 빈 영역이 있는 경우에는 물체의 둥근 부분을 인식하거나 물체의 포즈를 인식하여 내측 테두리를 파지하였다.
그런데 다양한 물체가 함께 있는 경우에는 각 물체를 파지하는 것이 쉽지 않고, 특히 물체의 포즈를 인식하기 어려워 내측 테두리를 파지하는 것이 쉽지 않은 문제점이 있다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) KR10-2317041 B1
따라서, 본 발명의 목적은 이와 같은 종래의 문제점을 해결하기 위한 것으로서, 다양한 물체가 함께 위치하는 경우에도 물체의 외측 테두리 파지와 내측 테두리 파지를 할 수 있는 그리퍼의 파지 시스템 및 방법을 제공함에 있다.
본 발명이 해결하고자 하는 과제는 위에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적은, 본 발명에 따라, 그리퍼로 다양한 물체들 사이에서 각 물체를 파지하기 위한 시스템에 있어서, 각 물체의 RGB 이미지와 깊이(depth) 이미지를 획득하는 카메라부; 상기 카메라부가 획득한 이미지에서 물체, 그리고 물체들 사이의 공간을 인식하여 외측 테두리 파지영역을 도출하는 외측 파지영역 도출부; 상기 카메라부가 획득한 이미지에서 물체 내부의 빈 공간을 인식하여 내측 테두리 파지영역을 도출하는 내측 파지영역 도출부; 및 상기 외측 파지영역 도출부에서 도출된 외측 테두리 파지영역과 상기 내측 파지영역 도출부에서 도출된 내측 테두리 파지영역 중 하나를 최종 파지영역으로 선정하는 최종 파지영역 선정부;를 포함하는 그리퍼의 파지 시스템에 의해 달성된다.
상기 외측 파지영역 도출부는, 가능한 외측 테두리 파지영역의 후보들을 도출하는 외측 파지영역 후보 도출부, 및 외측 테두리 파지영역의 후보들 중 하나를 최종 외측 테두리 파지영역으로 도출하는 최종 외측 파지영역 도출부를 포함하고, 상기 외측 파지영역 후보 도출부는, 그리퍼의 사영(projection) 이미지를 포함하는 바운딩 박스의 양 단부가 물체들 사이의 공간에 위치하는 상태에서 바운딩 박스가 물체와 교차하게 되는 위치를 외측 테두리 파지영역의 후보로 도출할 수 있다.
상기 최종 외측 파지영역 도출부는, 바운딩 박스가 물체와 직각으로 교차하는 경우를 트루(true)로 하고 평행하게 위치하는 경우를 폴스(false)로 하여 학습한 모델을 이용해 파지 가능성을 산정함으로써 최종 외측 테두리 파지영역을 도출할 수 있다.
상기 최종 외측 파지영역 도출부는, 파지 가능성이 소정치 이상인 외측 테두리 파지영역의 후보의 군집 밀도가 다른 곳보다 높은 곳에서 최종 외측 테두리 파지영역을 도출할 수 있다.
상기 최종 외측 파지영역 도출부는, 파지 가능성이 소정치 이상인 외측 테두리 파지영역의 후보들 중 깊이 값이 가장 작은 위치의 것을 최종 외측 테두리 파지영역으로 도출할 수 있다.
상기 내측 파지영역 도출부는, 가능한 내측 테두리 파지영역의 후보들을 도출하는 내측 파지영역 후보 도출부, 및 내측 테두리 파지영역의 후보들 중 하나를 최종 내측 테두리 파지영역으로 도출하는 최종 내측 파지영역 도출부를 포함하고, 상기 내측 파지영역 후보 도출부는, 물체 내부의 빈 공간의 중심점을 기준으로 각도가 다른 여러 영역을 내측 테두리 파지영역의 후보로 도출할 수 있다.
상기 최종 내측 파지영역 도출부는, 물체 내부의 빈 공간의 폭이 그리퍼의 최대 폭보다 작고 그리퍼 최소 폭보다 큰 위치를 최종 내측 테두리 파지영역으로 도출할 수 있다.
상기 최종 내측 파지영역 도출부는, 내측 테두리 파지영역의 후보들 중, 내측 테두리 파지영역의 단부와 물체의 내측 테두리가 교차하는 각도가 90°에 가까운 것을 최종 내측 테두리 파지영역으로 도출할 수 있다.
상기 최종 파지영역 선정부는, 외측 테두리 파지영역과 내측 테두리 파지영역이 모두 도출된 경우, 내측 테두리 파지영역을 최종 파지영역으로 선정할 수 있다.
본 발명의 다른 실시예에 의하면, 그리퍼로 다양한 물체들 사이에서 각 물체를 파지하기 위한 방법에 있어서, 카메라부로 각 물체의 RGB 이미지와 깊이(depth) 이미지를 획득하는 이미지 획득단계; 상기 이미지 획득단계에서 획득한 이미지에서 물체, 그리고 물체들 사이의 공간을 인식하여 외측 테두리 파지영역을 도출하고, 물체 내부의 빈 공간을 인식하여 내측 테두리 파지영역을 도출하는 내·외측 파지영역 도출단계; 및 상기 내·외측 파지영역 도출단계에서 도출된 외측 테두리 파지영역과 내측 테두리 파지영역 중 하나를 최종 파지영역으로 선정하는 최종 파지영역 선정단계;를 포함하는 그리퍼의 파지 방법이 제공된다.
상기 내·외측 파지영역 도출단계에서 외측 테두리 파지영역과 내측 테두리 파지영역이 모두 도출된 경우, 상기 최종 파지영역 선정단계에서는, 내측 테두리 파지영역을 최종 파지영역으로 선정할 수 있다.
본 발명에 의한 그리퍼의 파지 방법은, 상기 최종 파지영역 선정단계 후에 진행되는 것으로서, 그리퍼로 상기 최종 파지영역 선정단계에서 선정된 최종 파지영역의 물건을 파지하여 이동시키는 그리퍼 동작단계; 및 상기 이미지 획득단계, 상기 내·외측 파지영역 도출단계, 상기 최종 파지영역 선정단계 및 상기 그리퍼 동작단계를 다시 차례대로 진행하는 반복단계;를 더 포함할 수 있다.
본 발명에 의한 그리퍼의 파지 시스템에 의하면, RGB 이미지와 깊이 이미지를 이용하여 외측 테두리 파지영역과 내측 테두리 파지영역을 모두 도출할 수 있으므로, 다양한 종류의 물체들이 함께 있는 경우에도 각 물체를 효과적으로 파지하여 이동시키는 것이 가능하다.
이러한 효과는 특히 물류 환경과 같이 새로운 물체나 다수의 물체가 밀집된 환경에서 유효하다고 할 수 있다.
그리고 여러 물체가 위치하는 경우에 다른 물체들과의 간섭을 최소화하면서 각 물체를 이동시킬 수 있다.
도 1은 본 발명에 의한 그리퍼의 파지 시스템이 적용되는 그리퍼에 대한 설명도,
도 2는 본 발명에 의한 그리퍼의 파지 시스템의 개략적인 구성도,
도 3 및 도 4는 본 발명에 의한 그리퍼의 파지 시스템을 구성하는 외측 파지영역 후보 도출부의 동작에 대한 설명도,
도 5는 본 발명에 의한 그리퍼의 파지 시스템을 구성하는 최종 외측 파지영역 도출부의 동작에 대한 설명도,
도 6은 본 발명에 의한 그리퍼의 파지 시스템을 구성하는 내측 파지영역 후보 도출부의 동작에 대한 설명도,
도 7은 본 발명에 의한 그리퍼의 파지 시스템을 구성하는 최종 내측 파지영역 도출부의 동작에 대한 설명도,
도 8은 본 발명에 의한 그리퍼의 파지 방법의 순서도이다.
이하에서는 본 발명의 구체적인 실시예에 대하여 도면을 참고하여 자세하게 설명하도록 한다.
본 발명은 2지 그리퍼를 이용하여 다양한 물체들 사이에서 각 물체를 파지하기 위한 시스템 및 방법에 관한 것이다.
2지 그리퍼(G)는 도 1의 (a)에 도시되어 있는 바와 같이, 각 핑거(f) 사이의 간격이 조절 가능하게 형성된다. 그리고 2지 그리퍼는 도 1의 (b)에 도시되어 있는 바와 같이 물체의 외측 테두리를 집는 방식으로 물체를 파지하거나, 예를 들어 링형과 같이 내측 테두리를 가지는 물체의 경우에는 도 1의 (c)에 도시되어 있는 바와 같이 물체의 내측 테두리를 집는 방식으로 물체를 파지할 수 있다.
도 2에는 본 발명에 의한 그리퍼의 파지 시스템(1)의 개략적인 구성도가 도시되어 있다.
본 발명에 의한 그리퍼의 파지 시스템(1)은 크게, 카메라부(10), 외측 파지영역 도출부(20), 내측 파지영역 도출부(30) 및 최종 파지영역 선정부(40)를 포함하여 이루어진다.
카메라부(10)는 각 물체의 RGB 이미지와 깊이(depth) 이미지를 획득한다. 카메라부(10)는 예를 들어, RGB-D 카메라일 수 있다. RGB 이미지와 깊이 이미지를 이용하는 경우, 여러 물체의 입체적인 형상을 알 수 있고 색상을 알 수 있기 때문에 물체 각각을 쉽게 구분하여 인식할 수 있다.
외측 파지영역 도출부(20)는 카메라부(10)가 획득한 이미지에서 물체, 그리고 물체들 사이의 공간을 인식함으로써 외측 테두리 파지영역을 도출한다. 그리퍼가 물체의 외측 테두리를 파지하기 위해서는 물체를 구분하여 인식하고 물체의 주변으로 그리퍼의 각 핑거가 접근할 수 있는 공간이 확보되어야 하므로, 외측 파지영역 도출부(20)는 물체, 그리고 물체들 사이의 공간을 확인한다.
내측 파지영역 도출부(30)는 카메라부(10)가 획득한 이미지에서 물체 내부의 빈 공간을 인식하여 내측 테두리 파지영역을 도출한다. 그리퍼가 물체의 내측 테두리를 파지하기 위해서는 물체를 구분하여 인식하고 한 물체 내부에서 그리퍼의 각 핑거가 접근할 수 있는 공간이 확보되어야 하므로, 내측 파지영역 도출부(30)는 한 물체에서 그 내부의 빈 공간을 인식한다.
최종 파지영역 선정부(40)는 외측 파지영역 도출부(20)에서 도출된 외측 테두리 파지영역과 내측 파지영역 도출부(30)에서 도출된 내측 테두리 파지영역 중 하나를 최종 파지영역으로 선정한다. 외측 테두리 파지영역과 외측 테두리 파지영역 중 어느 하나만이 도출된 경우에는 그 도출된 하나를 최종 파지영역으로 선정하고, 외측 테두리 파지영역과 외측 테두리 파지영역 모두가 선정된 경우에는 둘 중 보다 파지가 용이한 것을 최종 파지영역으로 선정할 수 있다.
그리퍼는 최종 파지영역 선정부(40)가 최종 파지영역을 선정하면 해당 영역으로 이동하여 물건을 파지하여 이동시키고, 본 발명에 의한 그리퍼의 파지 시스템(1)은 남아있는 물건들에 대해 다시 최종 파지영역을 선정하게 된다.
이러한 본 발명에 의한 그리퍼의 파지 시스템(1)에 의하면, RGB 이미지와 깊이 이미지를 이용하여 외측 테두리 파지영역과 내측 테두리 파지영역을 모두 도출할 수 있으므로, 다양한 종류의 물체들이 함께 있는 경우에도 각 물체를 효과적으로 파지하여 이동시키는 것이 가능하다.
이러한 효과는 특히 물류 환경과 같이 새로운 물체나 다수의 물체가 밀집된 환경에서 유효하다고 할 수 있다.
이하에서는 본 발명에 의한 그리퍼의 파지 시스템(1)의 각 구성에 대해 보다 자세하게 설명한다.
외측 파지영역 도출부(20)는 외측 파지영역 후보 도출부(21)와 최종 외측 파지영역 도출부(22)를 포함한다.
외측 파지영역 후보 도출부(21)는 가능한 외측 테두리 파지영역의 후보들을 도출하며, 최종 외측 파지영역 도출부(22)는 외측 테두리 파지영역의 후보들 중 하나를 최종 외측 테두리 파지영역으로 도출한다.
외측 파지영역 후보 도출부(21)는 보다 구체적으로, 그리퍼의 사영(projection) 이미지를 포함하는 바운딩 박스의 양 단부가 물체들 사이의 공간에 위치하는 상태에서, 바운딩 박스가 물체와 교차하게 되는 위치를 외측 테두리 파지영역의 후보로 도출한다. 도 3에는 예시적으로 한 물체에 대한 외측 테두리 파지영역의 후보들에 대한 설명도가 도시되어 있다.
바운딩 박스는 예를 들어 그리퍼의 핑거 부분의 평면 이미지를 포함하는 사각형일 수 있으며, 도 4에 도시되어 있는 바와 같이 각 핑거의 간격에 따라 크기가 달라질 수 있다. 즉, 바운딩 박스의 가로 길이(
Figure PCTKR2023015191-appb-img-000001
)와 세로 길이(
Figure PCTKR2023015191-appb-img-000002
)는 아래와 같이 설정될 수 있다.
Figure PCTKR2023015191-appb-img-000003
Figure PCTKR2023015191-appb-img-000004
여기에서,
Figure PCTKR2023015191-appb-img-000005
은 핑거의 가로 폭,
Figure PCTKR2023015191-appb-img-000006
은 핑거들 사이의 최대 간격,
Figure PCTKR2023015191-appb-img-000007
은 핑거들 사이의 최소 간격,
Figure PCTKR2023015191-appb-img-000008
은 핑거의 세로 폭을 나타낸다.
Figure PCTKR2023015191-appb-img-000009
는 인터벌(interval) 값으로 2 또는 4 등으로 임의의 값으로 설정할 수 있다. 예를 들어,
Figure PCTKR2023015191-appb-img-000010
= 2,
Figure PCTKR2023015191-appb-img-000011
= 10,
Figure PCTKR2023015191-appb-img-000012
= 2 이면,
Figure PCTKR2023015191-appb-img-000013
을 의미한다.
바운딩 박스의 세로 길이는 일정하지만 가로 길이는 핑거들 사이의 간격에 따라 달라질 수 있으므로, 여러 크기의 바운딩 박스로 가능한 외측 테두리 파지영역의 후보들을 도출한다. 그리퍼의 각 핑거는 물체를 사이에 두고 물체 외측의 공간에 위치하여야 물체를 파지하는 것이 가능하므로, 바운딩 박스의 양 단부가 물체들 사이의 공간에 위치하고 바운딩 박스가 물체와 교차하여야 해당 바운딩 박스에 의해 그리퍼가 물체를 파지할 수 있다.
파지하고자 하는 물체들이 일정한 각도로 위치하지 않을 수 있으므로, 외측 파지영역 후보 도출부(21)는 또한 바운딩 박스를 그 중심점을 기준으로 여러 각도로 변경하면서 외측 테두리 파지영역의 후보를 도출할 수 있다. 예를 들어, 바운딩 박스를 0°와 180° 사이에서 10°씩 회전시키면서 외측 테두리 파지영역의 후보를 도출할 수 있다.
최종 외측 파지영역 도출부(22)는 인공지능학습을 이용하여 최종 외측 테두리 파지영역을 도출할 수 있다. 구체적으로 도 5의 'a' 부분에서와 같이 바운딩 박스가 물체와 직각으로 교차하는 경우를 트루(true)('1')로 하고 도 5의 'b' 부분에서와 같이 바운딩 박스가 물체와 평행하게 위치하는 경우를 폴스(false)('0')로 하여 학습한 모델을 이용해 파지 가능성을 산정할 수 있다.
물체의 외측 테두리를 파지하는 경우, 그리퍼가 물체와 직각으로 교차하도록 위치하여야 물체를 가장 쉽고 확실하게 파지할 가능성이 높으므로, 바운딩 박스가 물체와 직각으로 교차하는 경우를 트루로 설정한다.
학습 모델을 이용해 산정된 파지 가능성이 1에 가까울수록 파지 가능성이 높은 것이다.
최종 외측 파지영역 도출부(22)는 예를 들어, 딥러닝 모델 중 Resnet 모델을 이용할 수 있다.
최종 외측 파지영역 도출부(22)는 파지 가능성이 소정치 이상인 외측 테두리 파지영역의 후보의 군집 밀도가 다른 곳보다 높은 곳에서 최종 외측 테두리 파지영역을 도출할 수 있다.
한 물체에 대해서도 파지 가능한 부분은 다수일 수 있고, 여러 물체가 함께 위치하는 경우에는 각 물체에 대해 파지 가능한 부분이 있을 수 있다.
따라서, 외측 테두리 파지영역의 후보들 중 예를 들어 상위 10%의 파지 가능성을 가지는 것을 선정한다. 파지에 적합한 곳에서는 파지 가능성이 높은 외측 테두리 파지영역의 후보들이 다른 곳에서보다 밀집하여 군집이 나타날 수 있는데, 이 군집에서 예를 들어, 1 ~ 3개를 선정할 수 있다. 파지 가능한 물체가 다수 개인 이유로 여러 개의 군집이 나타나는 경우 각 군집에서 1 ~ 3개를 선정할 수 있다.
최종 외측 파지영역 도출부(22)는 파지 가능성이 소정치 이상인 외측 테두리 파지영역의 후보들 중 깊이 값이 가장 작은 위치의 것을 최종 외측 테두리 파지영역으로 도출할 수 있다.
본 실시예는 상기한 바와 같이 파지 가능한 물체가 다수 개인 이유로 선정된 외측 테두리 파지영역이 하나로 압축되지 않는 경우에 적용될 수 있다.
여러 물체가 쌓인 상태로 위치하는 경우, 가장 위에 위치하는 물체를 먼저 파지하여야 파지 과정에서 주변 물체와의 간섭이 적으므로, 가장 높이 위치하는 물체 즉, 깊이 값이 가장 작은 위치의 외측 테두리 파지영역을 최종 외측 테두리 파지영역으로 선정한다.
내측 파지영역 도출부(30)는 내측 파지영역 후보 도출부(31)와 최종 내측 파지영역 도출부(32)를 포함한다.
내측 파지영역 후보 도출부(31)는 가능한 내측 테두리 파지영역의 후보들을 도출하고, 최종 내측 파지영역 도출부(32)는 내측 테두리 파지영역의 후보들 중 하나를 최종 내측 테두리 파지영역으로 도출한다.
내측 파지영역 후보 도출부(31)는 보다 구체적으로, 물체 내부의 빈 공간의 중심점을 기준으로 각도가 다른 여러 영역을 내측 테두리 파지영역의 후보로 도출한다.
내측 파지영역 후보 도출부(31)는 먼저 도 6의 (a)에 도시되어 있는 바와 같이, 깊이 이미지의 깊이 값을 이용하여 물체 내부의 빈 공간을 인식할 수 있다. 빈 공간은 예를 들어, 딥러닝 모델 중 Mask-RCNN을 이용하여 인식할 수 있다.
그리고 도 6의 (b)에 도시되어 있는 바와 같이, 물체 내부의 빈 공간의 중심점을 중심으로 하고 물체의 내측 테두리에 의해 길이가 정해지는 여러 각도의 내측 테두리 파지영역의 후보를 생성한다. 물체의 외측 테두리를 파지하는 경우와 달리 물체의 내측 테두리를 파지하는 경우에는 그리퍼가 물체의 내측 테두리 내로만 들어갈 수 있으면 되므로, 내측 테두리 파지영역의 후보는 물체 내부의 빈 공간을 가로지르는 선에 의해 파지 가능성을 판단할 수 있다.
최종 내측 파지영역 도출부(32)는 물체 내부의 빈 공간의 폭이 그리퍼의 최대 폭보다 작고 그리퍼 최소 폭보다 큰 위치를 최종 내측 테두리 파지영역으로 도출할 수 있다.
즉, 그리퍼는 각 핑거 사이의 간격이 최소일 때 물체 내부의 빈 공간으로 들어갈 수 있어야 하고 각 핑거 사이의 간격이 최대일 때 물체의 내측 테두리에 접촉할 수 있어야 물체를 파지할 수 있으므로, 최종 내측 테두리 파지영역의 길이(
Figure PCTKR2023015191-appb-img-000014
)는 아래의 조건을 만족하여야 한다.
Figure PCTKR2023015191-appb-img-000015
Figure PCTKR2023015191-appb-img-000016
최종 내측 파지영역 도출부(32)는, 내측 테두리 파지영역의 후보들 중,내측 테두리 파지영역의 단부와 물체의 내측 테두리가 교차하는 각도가 90°에 가까운 것을 최종 내측 테두리 파지영역으로 도출할 수 있다. 도 7에는 이에 관한 설명도가 도시되어 있다.
물체 내부의 빈 공간이 원형에 가까운 경우에는 빈 공간에 대한 그리퍼의 진입 각도가 달라지는 경우에도 그리퍼의 외측면과 물체의 내측 테두리 사이의 접촉 각도가 달라지지 않는다. 그런데 물체 내부의 빈 공간이 사각형 등과 같은 다각형인 경우에는 빈 공간에 대한 그리퍼의 진입 각도가 달라지면 그리퍼의 외측면과 물체의 내측 테두리 사이의 접촉 각도가 달라질 수 있고, 이에 따라 그리퍼의 진입 각도에 따라 물체의 파지가 안정적으로 이루어지지 못할 수 있다.
따라서, 특정한 각도의 내측 테두리 파지영역의 후보를 최종 내측 테두리 파지영역으로 도출한다.
즉, 내측 테두리 파지영역의 단부와 물체의 내측 테두리(내측 테두리가 곡선인 경우에는 접선)가 교차하는 각도가 90°에 가까운 경우의 내측 테두리 파지영역을 최종 내측 테두리 파지영역으로 선정한다.
예를 들어, 물체 내부의 빈 공간이 원형인 경우 내측 테두리 파지영역의 단부와 물체의 내측 테두리가 교차하는 각도가 항상 90°이며, 물체 내부의 빈 공간이 직사각형인 경우에는 그리퍼의 진입 각도에 따라 내측 테두리 파지영역의 단부와 물체의 내측 테두리가 교차하는 각도가 달라질 수 있다. 따라서, 물체 내부의 빈 공간이 직사각형인 경우에는 그리퍼가 물체 내부의 빈 공간의 한 변과 직각을 이루는 각도로 빈 공간 내에 진입하여야 물체를 안정적으로 파지할 수 있다.
최종 파지영역 선정부(40)는 외측 테두리 파지영역과 내측 테두리 파지영역이 모두 도출된 경우, 내측 테두리 파지영역을 최종 파지영역으로 선정할 수 있다.
물체의 내측 테두리를 파지하는 경우, 물체의 외측 테두리를 파지하는 경우에 비하여 그리퍼가 다른 물체와 간섭할 가능성이 적다. 따라서, 외측 테두리 파지영역과 내측 테두리 파지영역이 모두 도출된 경우에는 먼저 내측 테두리 파지영역을 가지는 물체를 그리퍼로 파지하여 이동시킨다.
내측 테두리 파지영역을 가지는 물체가 모두 이동하면 외측 테두리 파지영역을 가지는 물체를 이동시킬 수 있다.
본 발명에 의한 그리퍼의 파지 시스템(1)의 각 구성들은 하나 또는 다수의 하드웨어 또는 소프트웨어를 통해 구현될 수 있다. 그리고 본 발명에 의한 그리퍼의 파지 시스템(1)은 상기한 것과 같은 구성 외에도, 각 구성들을 제어하는 제어부(미도시), 각 구성들에서 생성된 데이터는 각 구성들의 동작을 위한 프로그램이 저장된 저장부(미도시), 각 구성들 간의 데이터 전송을 위한 통신부(미도시) 및 각 구성들의 동작 상황에 대한 이미지를 디스플레이하는 디스플레이부(미도시) 등을 포함할 수 있다.
이하에서는 본 발명에 의한 그리퍼의 파지 방법에 대해 설명한다. 본 발명에 의한 그리퍼의 파지 방법에 대해 설명하면서 본 발명에 의한 그리퍼의 파지 시스템(1)의 설명시 언급한 사항에 대해서는 자세한 설명을 생략할 수 있다.
도 8에는 본 발명에 의한 그리퍼의 파지 방법에 대한 순서도가 도시되어 있다.
본 발명에 의한 그리퍼의 파지 방법은, 이미지 획득단계(S10), 내·외측 파지영역 도출단계(S20) 및 최종 파지영역 선정단계(S30)를 포함하여 이루어진다.
이미지 획득단계(S10)에서는 카메라부(10)로 각 물체의 RGB 이미지와 깊이(depth) 이미지를 획득한다.
내·외측 파지영역 도출단계(S20)에서는 이미지 획득단계(S10)에서 획득한 이미지에서 물체, 그리고 물체들 사이의 공간을 인식하여 외측 테두리 파지영역을 도출하고, 물체 내부의 빈 공간을 인식하여 내측 테두리 파지영역을 도출한다.
외측 테두리 파지영역의 도출시에는, 가능한 외측 테두리 파지영역의 후보들을 도출한 후 후보들 중 하나를 최종 외측 테두리 파지영역으로 도출할 수 있다. 외측 테두리 파지영역의 후보들은, 그리퍼의 사영 이미지를 포함하는 바운딩 박스의 양단부가 물체들 사이의 공간에 위치하는 상태에서 바운딩 박스가 물체와 교차하게 되는 위치를 도출하는 방법으로 도출할 수 있다. 그리고 최종 외측 테두리 파지영역은, 바운딩 박스가 물체와 직각으로 교차하는 경우를 트루로 하고 평행하게 위치하는 경우를 폴스로 하여 학습한 모델을 이용해 파지 가능성을 산정함으로써 도출할 수 있다. 또한, 파지 가능성이 소정치 이상인 외측 테두리 파지영역의 후보의 군집 밀도가 다른 곳보다 높은 곳에서 최종 외측 테두리 파지영역을 도출하고, 여러 개의 군집이 나타난 경우 깊이 값이 가장 작은 위치의 곳에서 최종 외측 테두리 파지영역을 도출할 수 있다.
내측 테두리 파지영역의 도출시에는, 가능한 내측 테두리 파지영역의 후보들을 도출한 후 후보들 중 하나를 최종 내측 테두리 파지영역으로 도출할 수 있다. 내측 테두리 파지영역의 후보들은, 물체 내부의 빈 공간의 중심점을 기준으로 각도가 다른 여러 영역을 도출하는 방법으로 도출할 수 있다. 그리고 최종 내측 파지영역은 물체 내부의 빈 공간의 폭이 그리퍼의 최대 폭보다 작고 그리퍼의 최소 폭보다 큰 위치를 도출하는 방법으로 도출할 수 있다. 또한, 내측 테두리 파지영역의 단부가 물체의 내측 테두리와 교차하는 각도가, 90°에 가까운 것을 최종 내측 테두리 파지영역으로 도출할 수 있다.
최종 파지영역 선정단계(S30)에서는 내·외측 파지영역 도출단계(S20)에서 도출된 외측 테두리 파지영역과 내측 테두리 파지영역 중 하나를 최종 파지영역으로 선정한다.
내·외측 파지영역 도출단계(S20)에서 외측 테두리 파지영역과 내측 테두리 파지영역이 모두 도출된 경우, 최종 파지영역 선정단계(S30)에서는 내측 테두리 파지영역을 최종 파지영역으로 선정할 수 있다.
이에 따라, 그리퍼가 다른 물체와의 간섭을 최소화하면서 물체를 파지할 수 있다.
내·외측 파지영역 도출단계(S20) 외측 테두리 파지영역과 내측 테두리 파지영역 중 하나만이 도출된 경우에는 해당 파지영역을 최종 파지영역으로 선정하여야 하는 것은 당연하다.
본 발명에 의한 그리퍼의 파지 방법은 그리퍼 동작단계(S40)와 반복단계를 더 포함할 수 있다.
그리퍼 동작단계(S40)와 반복단계는 최종 파지영역 선정단계(S30) 후에 진행되는 것으로서, 그리퍼 동작단계(S40)에서는 그리퍼로 상기 최종 파지영역 선정단계(S30)에서 선정된 최종 파지영역의 물건을 파지하여 이동시키고, 반복단계에서는 이미지 획득단계(S10), 내·외측 파지영역 도출단계(S20), 최종 파지영역 선정단계(S30) 및 그리퍼 동작단계(S40)를 다시 차례대로 진행한다.
이미지 획득단계(S10) 등을 반복하면서 예를 들어, 내측 테두리 파지영역을 가지는 물체, 외측 테두리 파지영역을 가지는 물체들 중 상대적으로 위에 위치하는 것, 그리고 외측 테두리 파지영역을 가지는 물체들 중 다음으로 위에 위치하는 것을 차례대로 그리퍼로 이동시킬 수 있다.
이에 따라, 다른 물체들과의 간섭을 최소화하면서 각 물체를 이동시킬 수 있다.
본 발명의 권리범위는 상술한 실시예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.
[부호의 설명]
1 : 그리퍼의 파지 시스템
10 : 카메라부
20 : 외측 파지영역 도출부
21 : 외측 파지영역 후보 도출부
22 : 최종 외측 파지영역 도출부
30 : 내측 파지영역 도출부
31 : 내측 파지영역 후보 도출부
32 : 최종 내측 파지영역 도출부
40 : 최종 파지영역 선정부

Claims (12)

  1. 그리퍼로 다양한 물체들 사이에서 각 물체를 파지하기 위한 시스템에 있어서,
    각 물체의 RGB 이미지와 깊이(depth) 이미지를 획득하는 카메라부;
    상기 카메라부가 획득한 이미지에서 물체, 그리고 물체들 사이의 공간을 인식하여 외측 테두리 파지영역을 도출하는 외측 파지영역 도출부;
    상기 카메라부가 획득한 이미지에서 물체 내부의 빈 공간을 인식하여 내측 테두리 파지영역을 도출하는 내측 파지영역 도출부; 및
    상기 외측 파지영역 도출부에서 도출된 외측 테두리 파지영역과 상기 내측 파지영역 도출부에서 도출된 내측 테두리 파지영역 중 하나를 최종 파지영역으로 선정하는 최종 파지영역 선정부;를 포함하는 그리퍼의 파지 시스템.
  2. 제1항에 있어서,
    상기 외측 파지영역 도출부는,
    가능한 외측 테두리 파지영역의 후보들을 도출하는 외측 파지영역 후보 도출부, 및
    외측 테두리 파지영역의 후보들 중 하나를 최종 외측 테두리 파지영역으로 도출하는 최종 외측 파지영역 도출부를 포함하고,
    상기 외측 파지영역 후보 도출부는,
    그리퍼의 사영(projection) 이미지를 포함하는 바운딩 박스의 양 단부가 물체들 사이의 공간에 위치하는 상태에서 바운딩 박스가 물체와 교차하게 되는 위치를 외측 테두리 파지영역의 후보로 도출하는 것을 특징으로 하는 그리퍼의 파지 시스템.
  3. 제2항에 있어서,
    상기 최종 외측 파지영역 도출부는,
    바운딩 박스가 물체와 직각으로 교차하는 경우를 트루(true)로 하고 평행하게 위치하는 경우를 폴스(false)로 하여 학습한 모델을 이용해 파지 가능성을 산정함으로써 최종 외측 테두리 파지영역을 도출하는 것을 특징으로 하는 그리퍼의 파지 시스템.
  4. 제3항에 있어서,
    상기 최종 외측 파지영역 도출부는,
    파지 가능성이 소정치 이상인 외측 테두리 파지영역의 후보의 군집 밀도가 다른 곳보다 높은 곳에서 최종 외측 테두리 파지영역을 도출하는 것을 특징으로 하는 그리퍼의 파지 시스템.
  5. 제3항에 있어서,
    상기 최종 외측 파지영역 도출부는,
    파지 가능성이 소정치 이상인 외측 테두리 파지영역의 후보들 중 깊이 값이 가장 작은 위치의 것을 최종 외측 테두리 파지영역으로 도출하는 것을 특징으로 하는 그리퍼의 파지 시스템.
  6. 제1항에 있어서,
    상기 내측 파지영역 도출부는,
    가능한 내측 테두리 파지영역의 후보들을 도출하는 내측 파지영역 후보 도출부, 및
    내측 테두리 파지영역의 후보들 중 하나를 최종 내측 테두리 파지영역으로 도출하는 최종 내측 파지영역 도출부를 포함하고,
    상기 내측 파지영역 후보 도출부는,
    물체 내부의 빈 공간의 중심점을 기준으로 각도가 다른 여러 영역을 내측 테두리 파지영역의 후보로 도출하는 것을 특징으로 하는 그리퍼의 파지 시스템.
  7. 제6항에 있어서,
    상기 최종 내측 파지영역 도출부는,
    물체 내부의 빈 공간의 폭이 그리퍼의 최대 폭보다 작고 그리퍼 최소 폭보다 큰 위치를 최종 내측 테두리 파지영역으로 도출하는 것을 특징으로 하는 그리퍼의 파지 시스템.
  8. 제7항에 있어서,
    상기 최종 내측 파지영역 도출부는,
    내측 테두리 파지영역의 후보들 중, 내측 테두리 파지영역의 단부와 물체의 내측 테두리가 교차하는 각도가 90°에 가까운 것을 최종 내측 테두리 파지영역으로 도출하는 것을 특징으로 하는 그리퍼의 파지 시스템.
  9. 제1항에 있어서,
    상기 최종 파지영역 선정부는,
    외측 테두리 파지영역과 내측 테두리 파지영역이 모두 도출된 경우, 내측 테두리 파지영역을 최종 파지영역으로 선정하는 것을 특징으로 하는 그리퍼의 파지 시스템.
  10. 그리퍼로 다양한 물체들 사이에서 각 물체를 파지하기 위한 방법에 있어서,
    카메라부로 각 물체의 RGB 이미지와 깊이(depth) 이미지를 획득하는 이미지 획득단계;
    상기 이미지 획득단계에서 획득한 이미지에서 물체, 그리고 물체들 사이의 공간을 인식하여 외측 테두리 파지영역을 도출하고, 물체 내부의 빈 공간을 인식하여 내측 테두리 파지영역을 도출하는 내·외측 파지영역 도출단계; 및
    상기 내·외측 파지영역 도출단계에서 도출된 외측 테두리 파지영역과 내측 테두리 파지영역 중 하나를 최종 파지영역으로 선정하는 최종 파지영역 선정단계;를 포함하는 그리퍼의 파지 방법.
  11. 제10항에 있어서,
    상기 내·외측 파지영역 도출단계에서 외측 테두리 파지영역과 내측 테두리 파지영역이 모두 도출된 경우,
    상기 최종 파지영역 선정단계에서는, 내측 테두리 파지영역을 최종 파지영역으로 선정하는 것을 특징으로 하는 그리퍼의 파지 방법.
  12. 제10항에 있어서,
    상기 최종 파지영역 선정단계 후에 진행되는 것으로서,
    그리퍼로 상기 최종 파지영역 선정단계에서 선정된 최종 파지영역의 물건을 파지하여 이동시키는 그리퍼 동작단계; 및
    상기 이미지 획득단계, 상기 내·외측 파지영역 도출단계, 상기 최종 파지영역 선정단계 및 상기 그리퍼 동작단계를 다시 차례대로 진행하는 반복단계;를 더 포함하는 것을 특징으로 하는 그리퍼의 파지 방법.
PCT/KR2023/015191 2022-12-06 2023-10-04 그리퍼의 파지 시스템 및 방법 WO2024122838A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0168383 2022-12-06
KR1020220168383A KR20240084587A (ko) 2022-12-06 2022-12-06 그리퍼의 파지 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2024122838A1 true WO2024122838A1 (ko) 2024-06-13

Family

ID=91379614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/015191 WO2024122838A1 (ko) 2022-12-06 2023-10-04 그리퍼의 파지 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20240084587A (ko)
WO (1) WO2024122838A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365009A1 (en) * 2013-06-11 2014-12-11 Somatis Sensor Solutions LLC Systems and Methods for Sensing Objects
KR20200077145A (ko) * 2018-12-20 2020-06-30 전자부품연구원 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법
US20200311956A1 (en) * 2019-03-25 2020-10-01 Dishcraft Robotics, Inc. Automated Manipulation Of Transparent Vessels
KR102317041B1 (ko) * 2019-12-03 2021-10-26 한국전자기술연구원 물체 파지 장치 및 방법
KR20210136067A (ko) * 2019-04-05 2021-11-16 덱스테러티, 인크. 자율적인 미지의 물체의 픽 앤드 플레이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365009A1 (en) * 2013-06-11 2014-12-11 Somatis Sensor Solutions LLC Systems and Methods for Sensing Objects
KR20200077145A (ko) * 2018-12-20 2020-06-30 전자부품연구원 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법
US20200311956A1 (en) * 2019-03-25 2020-10-01 Dishcraft Robotics, Inc. Automated Manipulation Of Transparent Vessels
KR20210136067A (ko) * 2019-04-05 2021-11-16 덱스테러티, 인크. 자율적인 미지의 물체의 픽 앤드 플레이스
KR102317041B1 (ko) * 2019-12-03 2021-10-26 한국전자기술연구원 물체 파지 장치 및 방법

Also Published As

Publication number Publication date
KR20240084587A (ko) 2024-06-14

Similar Documents

Publication Publication Date Title
WO2012057394A1 (ko) 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
WO2013183938A1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2015012441A1 (en) Digital device and control method thereof
WO2013002473A1 (ko) 부피 특징 벡터와 3차원 하르-유사 필터를 이용한 물체 검출 방법 및 장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2023054819A1 (ko) 바코드 자동 스캔을 이용한 상품 계산 장치
WO2018151503A2 (ko) 제스처 인식 방법 및 장치
WO2022149839A1 (en) Depalletizer system and controlling method for the same
WO2024122838A1 (ko) 그리퍼의 파지 시스템 및 방법
WO2019216474A1 (ko) 빈 피킹을 위한 빈 모델링 방법 및 그 장치
WO2023027268A1 (ko) 카메라-라이다 캘리브레이션 장치 및 방법
WO2019045147A1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
WO2021045481A1 (ko) 물체 인식 시스템 및 방법
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2020111327A1 (ko) 비접촉식 물건속성 인식장치 및 방법
WO2016035924A1 (ko) 달리기 감지 방법 및 시스템
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2013187587A1 (ko) 데이터 샘플링 방법 및 장치
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2019124602A1 (ko) 객체 추적 방법 및 이를 수행하는 장치들
WO2020101121A1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
WO2018072172A1 (zh) 图像中的形状识别方法、装置、设备及计算机存储介质
WO2021020883A1 (ko) 3차원 스캐닝 장치 및 방법
WO2019151555A1 (ko) 물체 검출 방법 및 로봇 시스템
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템