KR101260367B1 - Method for detecting grasping points using category recognition and computer readable record medium thereof - Google Patents
Method for detecting grasping points using category recognition and computer readable record medium thereof Download PDFInfo
- Publication number
- KR101260367B1 KR101260367B1 KR1020110096764A KR20110096764A KR101260367B1 KR 101260367 B1 KR101260367 B1 KR 101260367B1 KR 1020110096764 A KR1020110096764 A KR 1020110096764A KR 20110096764 A KR20110096764 A KR 20110096764A KR 101260367 B1 KR101260367 B1 KR 101260367B1
- Authority
- KR
- South Korea
- Prior art keywords
- grasping
- candidate
- type
- points
- image data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 (1) 대상 물체의 영상데이터 수신 및 3D 윤곽을 획득하는 단계와 (2) 상기 영상데이터 및 상기 3D 윤곽을 이용하여 상기 대상 물체의 기본 파지 타입 및 기능 파지 타입을 탐색하는 단계와 (3) 상기 설정된 각각의 파지 타입에 대하여 파지큐(Grasping Cue)를 추출하고, 이를 통해 1 이상의 후보 파지영역(Grasping Region)을 생성하는 단계와 (4) 상기 각각의 후보 파지영역별로 파지점 후보쌍들을 추출하는 단계 및 (5) 상기 각각의 파지 타입별로 상기 후보 파지영역 중에서 하나의 파지영역을 선택하고, 상기 선택된 파지영역 내의 후보쌍들 중에서 하나의 파지점쌍을 선택하는 단계를 포함하는 범주 인식에 의한 파지점 생성방법 및 그 방법에 대한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로서 본 발명에 따르면 로봇 스스로 동일한 범주에 속하나 형상이 다른 다양한 물체를 인식하여 파지할 수 있게 되는 효과가 있다. (1) obtaining image data and 3D outline of a target object; (2) searching a basic grip type and a functional grip type of the target object using the image data and the 3D outline; and 3) extracting a grasping cue for each of the set grasping types to generate at least one candidate grasping region; and 4) Selecting one of the candidate regions from among the candidate regions in the selected region, and (5) selecting one of the candidate regions from among the candidate regions in the selected region, And a computer-readable recording medium storing a program for the method. According to the present invention, Sokhana the state has the effect of being able to grip the shape recognizing a variety of other objects.
Description
본 발명은 파지점 생성방법에 관한 것으로서, 보다 상세하게는 물체를 파지할 수 있는 파지점을 생성하는데 있어서 범주 인식 기술을 활용하여 다양한 물체의 파지점을 생성할 수 있도록 하는 범주 인식에 의한 파지점 생성방법 및 그 방법에 대한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.More particularly, the present invention relates to a method of creating a wave point capable of holding an object by using a category recognition technique to generate a wave point of various objects, And a computer-readable recording medium storing a program for the method.
로봇 기술에서 중점적으로 연구되는 기술 중에 하나로서 로봇이 스스로 물체를 인식하여 로봇팔을 이용하여 물체를 집어서 원하는 위치로 이동시키는 기술이 종래로부터 연구되어 왔다.As one of technologies that are being studied in robot technology, there has been conventionally been studied a technology in which a robot recognizes an object by itself and moves an object to a desired position by using a robot arm.
여기에는 물체인식 기술과, 인식된 물체를 분석하여 로봇팔이 파지할 수 있도록하는 기술이 필수적으로 포함된다. 물체인식 기술의 경우 3차원 물체 및 환경의 데이터 획득, 인식, 위치 및 자세 추정, 모델링 등의 핵심 기술로서, 로봇뿐만 아니라 컴퓨터 과학 분야에서 전반적으로 많이 연구되고 있다. This includes object recognition technology and techniques for analyzing recognized objects so that robot arms can grasp them. Object recognition technology is a core technology for data acquisition, recognition, position and attitude estimation, and modeling of three-dimensional objects and environments, and has been studied extensively in the field of computer science as well as robots.
이러한 연구의 일환으로, Lowe(David G. Lowe , " Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004.)는 물체의 appearance 정보에 기반하여 스케일 및 시점변화에 강건한 물체인식 방법 등이 제안되었다. 그러나 상기와 같은 물체인식 방법의 경우 특정한 텍스쳐 성분을 가지는 개별 물체에 대한 인식에 적합하며, 같은 범주에 속하지만 다양한 텍스쳐 특성을 가질 수 있는 범주 물체에 대한 인식에는 적합하지 않은 문제가 있었다.As part of this research, Lowe ( David G. Lowe , " Distinctive Image Features (2), pp. 91-110, 2004.) proposed an object recognition method that is robust against scale and viewpoint changes based on appearance information of an object However, in the case of the object recognition method described above, there is a problem that it is not suitable for recognition of a categorical object which is suitable for recognizing an individual object having a specific texture component and belongs to the same category but has various texture characteristics.
그리고, 종래 로봇팔을 이용하여 인식된 물체를 파지하는 기술의 경우 특정한 물체의 이미지를 제시하고 그 물체의 어느 부분을 파지할 것인지 파지점에 대한 데이터를 로봇에 주입하였으며, 이를 통해 로봇을 학습시켜 입력된 데이터와 유사한 물체를 인식한 경우 로봇은 단순히 입력된 데이터에 따라서 파지점을 생성하하도록 하는 것이었다. 따라서, 동일한 범주에 속하는 물체라도 해당 데이터가 제공된 특정 물체와 유사하지 않다면 로봇 스스로 물체를 파지할 수 없는 문제가 있었다. In the conventional technique of gripping an object recognized using a robot arm, data on a point where a specific object is to be gripped is presented to the robot, and the robot is learned When an object similar to the input data is recognized, the robot merely generates a wave point in accordance with the input data. Therefore, even if an object belonging to the same category does not resemble the specific object provided with the data, the robot can not grasp the object by itself.
본 발명은 상기와 같은 문제점을 해결하기 위하여 창안된 것으로서, 로봇 스스로 동일한 범주에 속하는 물체를 인식할 수 있도록 하고, 인식된 물체로부터 스스로 파지점을 생성하도록 함으로써 파지점에 대한 데이터를 별도로 주지 않아도 물체를 인식하여 파지할 수 있도록 하는 범주 인식에 의한 파지점 생성방법 및 그 방법에 대한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a robot that can recognize an object belonging to the same category by itself and generate a wave point from a recognized object, And a computer-readable recording medium on which a program for the method is recorded.
상술한 과제를 해결하기 위한 수단으로서 본 발명은,As a means for solving the above-mentioned problems,
(1) 대상 물체의 영상데이터 수신 및 3D 윤곽을 획득하는 단계; (2) 상기 영상데이터 및 상기 3D 윤곽을 이용하여 상기 대상 물체의 기본 파지 타입 및 기능 파지 타입을 탐색하는 단계; (3) 상기 설정된 각각의 파지 타입에 대하여 파지큐(Grasping Cue)를 추출하고, 이를 통해 1 이상의 후보 파지영역(Grasping Region)을 생성하는 단계; (4) 상기 각각의 후보 파지영역별로 파지점 후보쌍들을 추출하는 단계; 및 (5) 상기 각각의 파지 타입별로 상기 후보 파지영역 중에서 하나의 파지영역을 선택하고, 상기 선택된 파지영역 내의 후보쌍들 중에서 하나의 파지점쌍을 선택하는 단계;를 포함하고, 상기 (2) 단계에서, 상기 기본 파지 타입은 영상 인식방향(Intact) 파지 타입과 상기 대상 물체의 정면(Front) 파지 타입, 사이드(Side) 파지 타입 및 리프트 업(Lift-up) 파지 타입으로 탐색되며, 상기 기능 파지 타입은 기저장된 상기 대상 물체의 기능 정보를 토대로 탐색되고, 상기 (3) 단계에서, 상기 기능 파지 타입을 탐색하는 것은 범주 물체 인식 방법에 의해 상기 대상 물체의 범주를 인식하여 탐색하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.(1) acquiring image data and 3D outline of a target object; (2) searching for a basic gripping type and a functional gripping type of the object using the image data and the 3D outline; (3) extracting a grasping cue for each of the set types of grasping, and creating at least one candidate grasping region through the grasping cue; (4) extracting wave point candidate pairs for each of the candidate finger regions; And (5) selecting one of the candidate regions from among the candidate regions, and selecting one of the pair of candidate regions in the selected region, The basic pager type is searched for an image pager type and a front pager type, a side pager type, and a lift-up pager type of the target object, The method according to claim 1, wherein, in the step (3), searching for the function type is performed by recognizing the category of the object by the category object recognition method A method of generating a wave point by recognizing a category is provided.
여기서, 상기 (5) 단계 이후에, (6) 상기 각각의 파지 타입별로 선택된 상기 파지점쌍들을 조합하여 하나의 파지점 매니폴드를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, after step (5), (6) combining the wave point pairs selected for each of the grasping types to generate one wave point manifold It provides a method of generating point.
여기서, 상기 범주 물체 인식 방법은, (2-1) 상기 영상데이터의 윤곽선을 검출하는 단계; (2-2) 상기 윤곽선의 특징점을 추출하여 형태기술자 벡터를 산출하는 단계; (2-3) 윤곽선의 특징점이 추출된 모델데이터와 상기 영상데이터 간에 스펙트럴 정합(spectral matching)을 수행하는 단계; (2-4) 상기 스펙트럴 정합 결과를 개선하는 단계; 및 (2-5) 상기 영상데이터 중에서 정합 위치를 추정하여 범주 물체를 인식하는 단계;를 포함하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, the categorized object recognition method may further include: (2-1) detecting a contour of the image data; (2-2) extracting feature points of the contour line and calculating a shape descriptor vector; (2-3) performing spectral matching between the extracted model data and the image data; (2-4) improving the spectral matching result; And (2-5) estimating a matching position from the image data to recognize a categorical object. According to the present invention, there is provided a method of generating a wave point by category recognition.
여기서, 상기 (2-1) 단계는, 모서리를 검출하여 상기 모서리가 기설정된 범위 이내이고, 법선 벡터의 방향이 기설정된 범위 이내인 모서리 픽셀들을 병합하여 윤곽선을 검출하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, in the step (2-1), contour lines are detected by detecting edges, and edge pixels within the predetermined range and the direction of the normal vector within the predetermined range are merged. The method comprising:
여기서, 상기 형태기술자 벡터는, 상기 특징점의 쌍의 법선 벡터, 상기 특징점의 쌍 사이의 거리, 상기 특징점의 곡률 또는 상기 특징점의 위치 벡터 중 적어도 하나를 이용하여 정의되는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, the shape descriptor vector is defined using at least one of a normal vector of the pair of feature points, a distance between the pair of feature points, a curvature of the feature point, or a position vector of the feature point. It provides a method of generating point.
여기서, 상기 (2-3) 단계는, 상기 모델데이터와 상기 영상데이터의 특징점 쌍간에 변형을 측정하는 단계;를 포함하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, the step (2-3) may include measuring distortion between a pair of feature points of the model data and the image data.
여기서, 상기 (2-3) 단계는, 상기 특징점의 쌍에 대한 기하학적인 유사도를 측정하여 행렬을 구성하고, 상기 행렬의 가장 큰 고유값에 대응되는 고유 벡터를 계산하여 기하학적인 유사도가 큰 특징점들의 군집을 구하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.In the step (2-3), a matrix is constructed by measuring geometric similarities of pairs of the minutiae points, and an eigenvector corresponding to the largest eigenvalue of the matrix is calculated to determine the feature points having large geometric similarities The method of generating a wave point by category recognition is provided.
여기서, 상기 (2-4) 단계는, 상기 스펙트럴 정합에 의한 대응점들에 대해서 RANSAC(RANdom SAmple Consensus) 알고리즘을 적용하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, in the step (2-4), a RANSAC algorithm is applied to the corresponding points by the spectral matching, and a method of generating a wave point by category recognition is provided.
여기서, 상기 RANSAC 알고리즘의 적용은, 2차원 호모그래피 변환을 추정하고 대칭전달오차를 이용하여 윤곽선을 제거하여 새로운 대응점을 탐색하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, the application of the RANSAC algorithm provides a method of generating a wave point by category recognition, in which a two-dimensional homography transformation is estimated and a contour is removed using a symmetric propagation error to search for a new correspondence point.
여기서, 상기 영상데이터는 스테레오 카메라(Stereo Camera)를 사용하여 획득하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, the image data is acquired using a stereo camera. The method of generating a wave point by category recognition is provided.
여기서, 상기 파지큐(Grasping Cue)를 추출하는 것은, 상기 3D 윤곽으로부터 2D 프로젝션 이미지를 생성하고, 상기 2D 프로젝션 이미지를 주변부의 폴리라인(polyline)으로 형성하여 추출하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, the extraction of the grasping cue may include generating a 2D projection image from the 3D contour, and forming the 2D projection image into a polyline of a peripheral portion and extracting the 2D projection image. It provides a method of generating point.
여기서, 상기 후보 파지영역을 생성하는 것은, 상기 파지큐(Grasping Cue) 내부에 스켈레톤 세그먼트(skeleton segment)를 형성하여 상기 스켈레톤 세그먼트(skeleton segment)로부터 평행하게 위치한 파지큐의 부분을 둘러싸도록 직사각형의 영역을 생성함으로써 이루어지는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.The generating of the candidate grasping region may include forming a skeleton segment in the grasping cue so as to surround a portion of the parchment located parallel to the skeleton segment, And generating a wave point based on the category recognition.
여기서, 상기 후보쌍을 추출하는 단계는 상기 각각의 후보 파지영역별로 상기 3D 윤곽을 1 이상의 파지층(Grasping Layer)으로 나누고 상기 파지층들에 속하는 모든 점들 중에서 로봇팔의 구조상 실제로 파지할 수 있는 점들의 쌍들만을 후보쌍으로 추출하는 것을 특징으로 하고, 상기 로봇팔의 구조는 기저장되어 있는 데이터나 별도로 입력된 데이터에 의해 주어지는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.Here, the extracting of the candidate pair may include dividing the 3D contour into at least one grasping layer for each of the candidate grasping areas, and selecting, from among all the points belonging to the grasping layers, Of the robot arm are extracted as a candidate pair, and the structure of the robot arm is given by previously stored data or separately inputted data.
여기서, 상기 (5) 단계에서 상기 하나의 파지영역을 선택하는 것은, GReg는 상기 후보 파지영역, ht는 상기 후보 파지영역의 높이 또는 길이 값, std는 상기 후보 파지영역 내의 파지점 후보쌍들 사이의 거리를 나타내는 표준편차, stdth는 std의 평균값, G* Reg는 상기 하나의 파지영역이라고 할 때,Here, the selecting the one of the gripping area in the step (5), G Reg is the candidate gripping area, ht is the height or length values, std is gripping point candidate pair in the candidate gripping area of the candidate gripping area Std th is an average value of std, and G * Reg is a standard deviation indicating a distance between the two grids ,
수학식에Equation on
의해 선택하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법을 제공한다.The method comprising the steps of: (a) generating a wave point by a category recognition;
한편, 상기 어느 하나의 범주 인식에 의한 파지점 생성방법에 대한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.A computer-readable recording medium on which a program for a wave point generating method by any one of the above categories is recorded is provided.
본 발명에 따르면 로봇 스스로 동일한 범주에 속하는 물체를 인식하여 파지점을 생성할 수 있게 되므로, 별도의 학습이 단계가 필요하지 않게 되고, 이를 통해 동일한 범주에 속하나 형상이 다른 다양한 물체를 인식하여 파지할 수 있게 되는 효과가 있다. According to the present invention, since the robot itself can recognize an object belonging to the same category and generate wave points, a separate learning step becomes unnecessary, thereby recognizing and holding various objects belonging to the same category but having different shapes There is an effect that can be done.
도 1은 본 발명의 범주 인식에 의한 파지점 생성방법의 흐름도,
도 2는 도 1의 방법을 처리하는 중앙처리장치의 블록도,
도 3은 범주 물체 인식 방법의 흐름도,
도 4는 대상 물체의 파지 타입의 예시도,
도 5는 대상 물체의 3D 윤곽을 2D로 프로젝션한 예시도,
도 6은 파지큐 추출 및 파지영역 생성 예시도,
도 7은 스켈레톤을 이용한 파지큐 부분 생성 예시도,
도 8은 로봇 동작에 의한 대상 물체 파지 과정 예시도,
도 9는 다양한 대상 물체 파지 실험 데이터,
도 10은 다양한 대상 물체 파지 실험 데이터.1 is a flowchart of a wave point generating method according to the category recognition of the present invention,
Figure 2 is a block diagram of a central processing unit that processes the method of Figure 1;
3 is a flowchart of a categorical object recognition method,
4 is an illustration of an example of a gripping type of a target object,
FIG. 5 is an example of a 2D projection of a 3D contour of a target object,
FIG. 6 is a diagram illustrating an example of parchyque extraction and generation of a grip region,
Fig. 7 is a view showing an example of generation of a parchment part using a skeleton,
8 is a diagram illustrating an example of a process of gripping a target object by a robot operation,
Fig. 9 is a graph showing various object grasping experiment data,
Fig. 10 shows various experimental data of gripping objects. Fig.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms, and the inventor should appropriately interpret the concepts of the terms appropriately The present invention should be construed in accordance with the meaning and concept consistent with the technical idea of the present invention.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
Therefore, the embodiments described in this specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.
도 1은 본 발명의 범주 인식에 의한 파지점 생성방법의 흐름도이며, 도 2는 범주 인식에 의한 파지점 생성방법을 처리하는 중앙처리장치의 블록도이고, 도 3은 범주 물체 인식 방법의 흐름도이다.FIG. 2 is a block diagram of a central processing unit for processing a wave point generating method by category recognition, and FIG. 3 is a flowchart of a category object recognizing method .
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 범주 인식에 의한 파지점 생성방법은 (1) 대상 물체의 영상데이터 수신 및 3D 윤곽을 획득하는 단계(S10)와 (2) 상기 영상데이터 및 상기 3D 윤곽을 이용하여 상기 대상 물체의 기본 파지 타입 및 기능 파지 타입을 탐색하는 단계(S20)와 (3) 상기 설정된 각각의 파지 타입에 대하여 파지큐(Grasping Cue)를 추출하고, 이를 통해 1 이상의 후보 파지영역(Grasping Region)을 생성하는 단계(S30)와 (4) 상기 각각의 후보 파지영역별로 파지점 후보쌍들을 추출하는 단계(S40)와 (5) 상기 각각의 파지 타입별로 상기 후보 파지영역 중에서 파지영역을 하나를 선택하고, 상기 선택된 최적의 파지영역 내의 후보쌍들 중에서 파지점쌍 하나를 선택하는 단계(S50) 및 (6) 상기 각각의 파지 타입별로 선택된 상기 파지점쌍들을 조합하여 하나의 파지점 매니폴드를 생성하는 단계(S60)를 포함하여 구성된다.
As shown in FIG. 1, a method of generating a wave point by category recognition according to an embodiment of the present invention includes the steps of (1) acquiring image data of a target object and obtaining a 3D outline (S10) and (2) Searching for a basic grasp type and a function grasp type of the target object using the 3D outline (S20); and (3) extracting a grasping cue for each of the set grasp types, A step (S30) of generating a candidate grasping region and (4) a step (S40) of extracting wave point candidate pairs for each of the candidate grasping regions and (5) (S50) selecting one of the pair of finger points from among the candidate pairs in the selected optimal finger area, and (6) combining the pair of finger points selected for each of the finger type The far point is configured to include a step (S60) for generating a manifold.
여기서, 상기 (1) 대상 물체의 영상데이터 수신 및 3D 윤곽을 획득하는 단계(S10)는, 중앙처리장치(100)에서 카메라와 같은 영상 획득 장치로부터 전송된 대상 물체의 형상을 영상데이터로 수신하고, 이로부터 3D 윤곽을 획득하는 단계가 된다. 카메라는 대상 물체의 각 부분까지 거리를 측정할 수 있는 스테레오 카메라를 사용하는 것이 바람직하며 이를 통해 물체의 영상데이터로부터 3D 윤곽을 획득할 수 있다. 구체적으로 3D 윤곽은 영상데이터에서 에지 부분을 추출하고 이를 표준 편차의 필터링된 이미지의 에지 부분과 서로 겹침으로써 획득할 수 있다. 스테레오 카메라에 의해 획득된 각 부분까지의 거리정보를 이용하여 2D 윤곽의 각 픽셀로부터 3D 포인트를 계산하여 3D 윤곽을 획득하게 된다.
Here, the step (S10) of receiving the image data and 3D outline of the object (1) receives the shape of the object transmitted from the image acquiring device such as a camera in the
그 다음, (2) 단계는, 중앙처리장치(100)에서 기본 파지 타입과 기능 파지 타입으로 나누어 상기 대상 물체를 파지할 수 있는 방향을 탐색하는 단계(S20)이다.Next, in step (2), the
기본 파지 타입의 경우 일반적으로 물체를 파지하는 타입으로서 인식방향(Intact) 파지 타입, 정면(Front) 파지 타입, 사이드(Side) 파지 타입 및 리프트 업(Lift-up) 파지 타입으로 탐색된다. 인식방향 파지 타입은 도 4에 녹색 선으로 도시된 바와 같이 카메라 등에 의해 대상물체의 영상을 획득할 때의 방향으로 파지하는 타입을 의미한다. 정면 파지 타입은 도 4에 파란색 선으로 도시된 바와 같이 정면 방향으로 파지하는 타입이 된다. 사이드 파지 타입은 도 4에 검은색 선으로 도시된 바와 같이 측면에서 파지하는 타입이 된다. 반대 측면의 경우 도시되지는 않았으나 사이드 파지 타입은 반대편에서도 당연히 가능하므로 2개의 파지 타입으로 구성될 수 있다. 리프트 업 파지 타입의 경우 도 4에 붉은색 선으로 도시된 바와 같이 대상 물체를 들어올리는 경우의 파지 타입이 된다. 이때 리프트 업 파지 타입은 대상물체를 장축 방향으로 들어올리는 것과 단축 방향으로 들어올리는 것으로 나뉘어 질 수 있다.In the case of the basic phage type, generally, an object is gripped and detected as an intact phage type, a front phage type, a side phage type, and a lift-up phage type. The recognition direction gripping type refers to a type of gripping in a direction when an image of a target object is acquired by a camera or the like as shown by a green line in Fig. The front grip type is of the type that grasps in the front direction as shown by the blue line in Fig. The side gripping type is a type of gripping from the side as shown by the black line in Fig. Although not shown in the opposite side, the side gripping type is naturally also possible on the opposite side, so that it can be composed of two gripping types. In the case of the lift-up phage type, as shown by the red line in Fig. 4, it is a grip type when the object is lifted. At this time, the lift-up phage type can be divided into lifting the object in the major axis direction and lifting it in the minor axis direction.
기능 파지 타입의 경우에는 범주 물체 인식 방법에 의하여 물체의 범주를 인식하여 파지하는 것을 의미한다. 예를 들어 손잡이가 달린 컵이 있는 경우 그러한 범주에 속하는 컵에 대해서는 손잡이 부분을 대상 물체의 기능적인 부분으로 탐색하여 손잡이에 대한 기능 파지 타입을 기본 파지 타입과 별도로 생성하는 것이다. 이를 위해서는 범주 물체 인식 방법이 적용된다.In the case of the functional phage type, it means that the category of the object is recognized and grasped by the category object recognition method. For example, if there is a cup with a handle, for a cup belonging to that category, the handle is searched as a functional part of the object and a function grip type for the handle is created separately from the basic grip type. To do this, a categorical object recognition method is applied.
범주 물체 인식 방법은 도 3에 도시된 바와 같이 세부적으로 (2-1) 상기 영상데이터의 윤곽선을 검출하는 단계(S210)와 (2-2) 상기 윤곽선의 특징점을 추출하여 형태기술자 벡터를 산출하는 단계(S220)와 (2-3) 윤곽선의 특징점이 추출된 모델데이터와 상기 영상데이터 간에 스펙트럴 정합(spectral matching)을 수행하는 단계(S230)와 (2-4) 상기 스펙트럴 정합 결과를 개선하는 단계(S240) 및 (2-5) 상기 영상데이터 중에서 정합 위치를 추정하여 범주 물체를 인식하는 단계(S250)를 포함하여 구성된다. As shown in FIG. 3, the category object recognizing method may include the steps of (2-1) detecting the contour of the image data (S210) and (2-2) extracting the characteristic points of the contour line to calculate a shape descriptor vector Steps (S220) and (2-3) Perform spectral matching between the extracted model data and the image data (S230) and (2-4) to improve the spectral matching result (S240) and (2-5) recognizing a category object by estimating a matching position from the image data (S250).
상기 범주 물체 인식 방법은 중앙처리장치(100)에 포함된 범주물체인식부(200)를 통해 실시될 수 있으며, 상기 범주물체인식부(200)는 상기 (2-1)단계의 영상데이터의 윤곽선을 검출하는 윤곽선검출부(210), (2-2)단계의 윤곽선의 특징점을 추출하여 형태기술자 벡터를 산출하는 특징추출부(220), (2-3)단계의 윤곽선의 특징점이 추출된 모델데이터와 상기 영상데이터 간에 스펙트럴 정합을 수행하는 스펙트럴정합부(230),(2-4)단계의 스펙트럴정합부(230)의 정합 결과를 개선하는 정합결과개선부(240) 및 (2-5)단계의 영상데이터 중에서 정합 위치를 추정하여 범주 물체를 인식하는 정합위치추정부(250)를 포함하여 구성될 수 있다.The categorical object recognition method may be implemented through a categorical
이하에서는, 범주 물체 인식 방법의 각 단계에 대해서 설명한다. In the following, each step of the categorical object recognition method will be described.
(2-1) 단계는, 상기 윤곽선검출부(210)에서 영상데이터의 윤곽선을 검출하는 단계(S210)로서, 모서리를 검출하여 상기 모서리가 기설정된 범위 이내이고, 법선 벡터의 방향이 기설정된 범위 이내이면 모서리 픽셀들을 병합하여 윤곽선을 검출한다. 이때, 윤곽선 검출은 Canny edge 검출기를 이용할 수 있다. 기설정된 범위 이내의 모서리 및 기설정된 범위 이내의 법선 벡터를 통하여 거리가 가깝고 법선 벡터의 방향이 비슷한 모서리 픽셀들을 찾을 수 있다. The step (2-1) of detecting the contour of the image data by the contour detecting unit 210 (S210) is a step of detecting the edge and detecting the edge within the preset range and the direction of the normal vector within the predetermined range The edge pixels are merged to detect the contour line. At this time, contour detection can use a Canny edge detector. Edge pixels within a predetermined range and normal vectors within a predetermined range can be found.
(2-2) 단계는, 상기 특징추출부(220)에서 상기 윤곽선검출부(210)에서 검출된 윤곽선을 샘플링하여 특징점을 추출하고, 특징점 쌍에 대한 형태기술자 벡터를 계산하는 단계(S220)이다. In step (2-2), the
상기 형태기술자 벡터는 상기 특징점의 쌍의 법선 벡터, 상기 특징점의 쌍 사이의 거리, 상기 특징점의 곡률 또는 상기 특징점의 위치 벡터 중 적어도 하나를 이용하여 정의될 수 있다. 예를 들어, 특징점 쌍(i,j)에 대한 형태기술자 벡터 eij는 하기의 수학식 1로 정의된다. The shape descriptor vector may be defined using at least one of a normal vector of the pair of feature points, a distance between the pair of feature points, a curvature of the feature point, or a position vector of the feature point. For example, the shape descriptor vector e ij for the feature point pair (i, j) is defined by the following equation (1).
여기서 Θi와 Θj를 상기 특징점의 쌍인 (i, j)의 법선 벡터라 할때, 상기 Θij는 Θi와 Θj의 차의 절대치, dij는 특징점 쌍 (i,j) 사이의 거리, ki, kj는 상기 i, j의 곡률을 의미하고, σij는 특징점 j에 대해서 특징점 i의 위치벡터를 기준으로 특징점 i의 방향성을 측정한 것으로 하기의 수학식 2로 정의된다. The distance between when the normal vector d of the pair of the feature point (i, j) to Θ i and Θ j, wherein Θ ij is the absolute value, d ij of Θi and Θj car feature point pair (i, j), k i and k j are curvatures of the i and j, and ij is the directionality of the feature point i based on the position vector of the feature point i with respect to the feature point j, which is defined by the following equation (2).
여기서 상기 (xi, yi), (xj, yj)는 i, j의 각각의 위치를 의미한다. 마찬가지 방법으로 σji를 정의하여 Θi, Θj 및 σij, σji 사이의 기하학적인 관계를 구할 수 있다. 도 2는 본 발명에 따른 물체의 시점 변화에 강건한 윤곽선 기반의 범주 물체 인식 장치를 이용하여 휴대폰의 범주 물체 인식을 하는 실시예를 도시한 것으로, 휴대폰에서의 Θi, Θj 및 σij, σji 사이의 기하학적인 관계를 나타내었다. Here, (x i , y i ) and (x j , y j ) represent positions of i and j, respectively. In the same way, we define σ ji so that Θ i , Θ j, and σ ij , σ ji . Figure 2 Θ i of the mobile phone that uses a strong contour-based object recognition category at the time of change of an object according to the present invention showing an embodiment in which a recognition object category of the cellular phone, and, Θ j, and σ ij , σ ji .
특징점 쌍에 대한 형태기술자 벡터는 법선 벡터 등을 이용함으로써 개개의 특징점의 방향성에 독립적이다. 또한, 특징점 쌍 사이의 상대적인 물리량에 기반하여 정의되기 때문에 평행이동 및 평면내 회전에 불변이고 어파인변환에 강건하게 동작한다. 따라서 물체의 시점에 대한 가정 없이도 다양한 시점에서의 범주 물체를 인식하게 해준다. The shape descriptor vector for the feature point pair is independent of the orientation of the individual feature points by using a normal vector or the like. Also, since it is defined based on the relative physical quantity between the pair of feature points, it is invariant to parallel movement and rotation in the plane, and operates robustly to the ape transform. Thus, it enables recognition of categorical objects at various viewpoints without assumptions about the viewpoint of the object.
한편, 컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 얻어지게 된다. 영상 정합(image registration)은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상이 어떻게 대응되는지 알 수 있다. On the other hand, when a scene or an object is photographed at a different time or viewpoint in the computer vision, the image is obtained in a different coordinate system. Image registration is a processing technique that transforms these different images into one coordinate system. Through matching, we can see how images obtained through different measurement methods correspond.
(2-3) 단계는, 상기 스펙트럴정합부(230)에서 상기 특징추출부(220)에서 계산된 특징점 쌍에 대한 형태기술자 벡터를 이용하여 스펙트럴 정합을 수행하는 단계(S230)이다. 즉, 상기 특징점 쌍에 대한 기하학적인 유사도를 측정하여 행렬을 구성하고, 상기 행렬의 가장 큰 고유값에 대응되는 고유 벡터를 계산하여 기하학적인 유사도가 큰 특징점들의 군집을 구한다. In the step (2-3), spectral matching is performed using the shape descriptor vector for the pair of feature points calculated by the
이때, 정합을 위한 스코어 함수 Ef는 하기의 수학식 3과 같이 정의된다. At this time, the score function E f for matching is defined as Equation (3) below.
여기서 (i,j) 및 (a,b)는 각각 모델데이터 및 영상데이터의 특징점 쌍을 의미하며, tia 및 tjb는 각각 i와 a, j와 b의 정합 강도를 의미하며 서로 정합이 될 때 1의 값을 가지고 그 이외의 경우는 0의 값을 가진다. Gia : jb는 (i,j)와 (a,b)에서 특징점 쌍에 대한 형태기술자 벡터를 기반으로, 서로 대응되는 특징점 쌍 사이의 유사도를 계산하는 포텐셜 함수로서 하기의 수학식 4와 같이 정의된다. Here, (i, j) and (a, b) represent feature point pairs of the model data and the image data, respectively, and t ia and t jb denote the matching strengths of i and a, j and b, When the value is 1, the value is 0 otherwise. G ia : jb is a potential function for calculating a similarity between pairs of feature points corresponding to each other based on a shape descriptor vector for a pair of feature points in (i, j) and (a, b) do.
상기 ρ는 페널티 상수, 상기 vij는 i, j의 신뢰도라고 할 때에, 상기 vij는 하시의 수학식 5에 의해 정의된다. (여기서 VAR은 분산을 의미한다.)Is a penalty constant, and v ij is the reliability of i, j, v ij is defined by Equation (5). (Where VAR means dispersion).
상기 스펙트럴정합부(230)는 상기 포텐셜 함수를 계산할 때, 상기 모델데이터와 상기 영상데이터의 특징점 쌍이 각각 같은 윤곽선 위에 존재하는 경우에 대한 페널티 상수(ρ)를 부여한다. (i,j) 및 (a,b)가 각각 같은 윤곽선 위에 존재하는 경우에 0.8의 값을 가지고 그 이외의 경우는 1의 값을 가진다. 곡률이 일정한 윤곽선으로부터 특징점들이 추출되는 경우 특징점 쌍 사이의 기하학적인 관계가 유사한 경우가 다수 발생할 수 있기 때문에, 이 방법을 통하여 모호한 특징점 쌍들이 포텐셜 함수에 대한 기여를 제한할 수 있다. 즉, 상기 페널티 상수가 부여된 특징점의 쌍들에 대해서만 윤곽선을 구성하도록 한다. When calculating the potential function, the
한편, 상기 스펙트럴정합부(230)는 상기 모델데이터와 상기 영상데이터의 특징점 쌍간에 변형을 측정할 수 있다. gij(a,b)는 (i,j)와 (a,b) 사이의 변형을 측정하는 벡터로, 특징점 쌍에 대한 형태기술자 벡터를 기반으로 아래 수학식 6과 같이 정의한다. Meanwhile, the
여기서, 상기 dij는 특징점 쌍 (i,j) 사이의 거리를, ε1 내지 ε6은 (i,j)와 (a,b)에서 정의된 6차원의 형태기술자 벡터의 차벡터의 각 원소를 의미할 때에, 상기 γ는 하기의 수학식 7에 의해 정의된다. Here, d ij denotes a distance between the pair of feature points (i, j), and ε 1 to ε 6 denote the distance between each element of the difference vector of the 6-dimensional shape descriptor vector defined by (i, j) , The gamma is defined by the following equation (7).
또한, 상기 Cia, Cjb는 i와 a, j와 b 사이의 지역적인 형태 히스토그램의 차이를 의미하는 것으로 하기의 수학식 8에 의해 정의된다. In addition, C ia and C jb denote the difference of the regional form histogram between i and a, j and b, and are defined by the following equation (8).
여기서 상기 hi(k)와 ha(k)는 평면 내 회전에 독립적인 측정을 위하여 각각 i와 a에서의 법선 벡터의 방향을 기준으로 정렬된 shape context 히스토그램의 bin을 의미한다. Where h i (k) and h a (k) denote the bins of the shape context histograms aligned with respect to the direction of the normal vector at i and a, respectively, for measurements independent of in-plane rotation.
또한, 상기 스코어 함수 Ef(수학식 3)는 특징점의 대응쌍 i와 a를 인덱스로 하는 벡터와 행렬 형태로 하기의 수학식 9와 같이 표현할 수 있다. Further, the score function E f (Equation 3) can be expressed by the following equation (9) in the form of a matrix and a vector having the corresponding pair i and a of the minutiae as indexes.
여기서, t는 지표 벡터로 하기의 수학식 10과 같이 정의된다. Here, t is defined as an index vector as shown in Equation (10) below.
또한, 상기 G는 포텐셜 행렬로 하기의 수학식 11과 같이 정의된다. The above G is a potential matrix and is defined by Equation (11) below.
본 발명에서는 상기 수학식 9의 정합 스코어 함수를 최대로 하는 지표 벡터 t를 빠르게 찾기 위하여 스펙트럴 정합 방법을 적용한다. In the present invention, the spectral matching method is applied to quickly find the index vector t that maximizes the matching score function of Equation (9).
(2-4) 단계는, 상기 정합결과개선부(240)에서 상기 스펙트럴정합부(230)에서 계산된 대응점들을 이용하여 RANSAC(RANdom SAmple Consensus) 알고리즘을 적용하는 단계(S240)이다. The step (2-4) is a step (S240) of applying a RANSAC algorithm consensus (RANSAC) algorithm using the corresponding points calculated by the
어떤 현상을 설명하는 이론 모델을 만들고자 하면 현상에서 관측데이터를 모아야 한다. 그런데 관측 데이터는 모델에 대한 잘못된 가정이나 측정 장비의 오차 등에서 생기는 여러가지 형태의 노이즈가 들어있기 마련이다. 이러한 노이즈는 모델을 정확히 예측하는 것을 방해하므로, 이와 같이 모델 파라미터의 예측을 방해하는 데이터가 들어있는 관측데이터로부터 어떻게 하면 모델을 구축할 수 있는가라는 질문에 대한 답을 RANSAC 알고리즘이 제공한다. If you want to create a theoretical model that describes a phenomenon, you have to collect observational data from the phenomena. Observation data, however, contain various types of noise caused by incorrect assumptions about the model and errors in measuring equipment. This noise prevents accurate prediction of the model, so the RANSAC algorithm provides the answer to the question of how to construct a model from observed data containing data that interferes with the prediction of the model parameters.
이러한 RANSAC 알고리즘을 본 발명에 적용함으로써, 2차원 호모그래피(homography) 변환을 추정하고 대칭전달오차를 이용하여 윤곽선을 제거한다. 또한, 새로운 대응점을 탐색하는데, 이를 위하여 모델데이터와 영상데이터의 대응점 i, a에 대한 오차를 측정하기 위한 척도로서 대칭전달오차를 이용하여 하기의 수학식 12로 정의한다. By applying the RANSAC algorithm to the present invention, a two-dimensional homography transformation is estimated and a contour is removed using a symmetric transfer error. Also, a new correspondence point is searched. For this purpose, a symmetric transfer error is used as a scale for measuring an error with respect to the corresponding point i, a of the model data and the image data, and is defined by the following equation (12).
여기서, pi, qa는 각각 동차좌표계에서의 i,a의 위치 벡터이고, H는 2차원 호모그래피 변환 행렬을 의미하여 d(·)는 L2-norm을 의미한다. Where p i and q a are the position vectors of i and a in the homogeneous coordinate system, H means the two-dimensional homography transformation matrix, and d (·) means L2-norm.
상기 대칭전달오차가 하기의 수학식 13을 만족시키는 경우, 해당 대응점은 윤곽선으로 판단하여 제거한다. When the symmetric transfer error satisfies Equation (13), the corresponding point is determined to be a contour line and removed.
여기서 dtransfer는 문턱값으로 상기 특징추출부(220)에서 특징점을 추출할 때의 윤곽선 샘플링 간격과 동일하게 정의한다. 또한, 대응관계를 가지지 못한 모델데이터의 특징점들에 대하여 RANSAC 알고리즘에서 계산된 2차원 호모그래피 변환 행렬을 적용하여 새로운 대응점을 탐색한다. 대응관계를 가지지 못한 모델데이터의 특징점이 대응관계를 가지지 못한 영상데이터의 특징점과의 대칭전달오차가 상기 수학식 13을 만족시키는 경우, 새로운 대응점으로 결정한다. 복수의 특징점들이 동시에 상기 수학식 13을 만족시키는 경우에는, 그 중 대칭변환오차가 가장 작은 점을 대응점으로 결정한다. Here, d transfer is defined as a threshold value equal to the contour sampling interval when the
(2-5) 단계는, 상기 정합위치추정부(250)에서 상기 정합결과개선부(240)에서 확정된 대응점들에서 정합 위치를 계산하는 단계이다. 인식된 범주 물체의 위치는 하기의 수학식 14와 수학식 15와 같이 대응점들을 포함하는 사각형 영역으로 결정한다. The step (2-5) is a step of calculating a matching position at corresponding points determined by the matching
여기서 (xtl ytl), (xbr, ybr)은 각각 사각형의 왼쪽 위 꼭지점과 오른쪽 아래 꼭지점을 의미하고, (xm, ym)은 확정된 대응점들의 위치를 의미하며, l은 상기 특징추출부(220)에서 특징점을 추출할 때의 윤곽선 샘플링 간격과 동일하게 정의된 상수이다. Here, (x tl y t1 ), (x br , y br ) means the upper left vertex and the lower right vertex of the rectangle, (x m , y m ) Is a constant defined in the same manner as the contour sampling interval when the
이러한 과정을 통해 같은 범주에 속하는 다른 형상의 물체를 인식할 수 있게 된다. 컵의 손잡이를 예로 들면, 상기와 같은 범주 인식을 통해 손잡이 부분을 탐색하고 해당 손잡이 부분에 대한 3D 윤곽의 포인트를 이용하여 PCA(Principal Component Analysis)를 통해 그 축을 계산할 수 있게 된다.
Through this process, objects of different shapes belonging to the same category can be recognized. As an example of the handle of the cup, it is possible to calculate the axis through PCA (Principal Component Analysis) using the above-described recognition of the handle and the 3D contour point of the handle.
그 다음, (3) 상기 설정된 각각의 파지 타입에 대하여 파지큐(Grasping Cue)를 추출하고, 상기 파지큐 각각에 대한 후보 파지영역(Grasping Region)을 생성하는 단계(S30)가 실시된다. (1) 단계(S20)와 (2) 단계(S20)를 통해 기본 파지 타입(intact, front, side, lift-up) 각각과 기능 파지 타입의 탐색이 이루어졌으므로 이하의 (3) 단계(S30)에서는 이를 통해 후보 파지영역을 생성하는 것이다.Next, (3) a grasping cue is extracted for each of the set grasping types, and a candidate grasping region for each of the grasping cues is generated (S30). (3) step (S30) because the basic grasp types intact, front, side, and lift-up have been searched through (1) S20 and (2) The candidate finger area is created through the above process.
우선, 중앙처리장치(100)에서는 상기에서 탐색된 각각의 파지 타입별로 파지큐(Grasping Cue)를 추출하게 된다. 이를 위해서 우선 도 4 및 도 5에 도시된 바와 같이 3D 윤곽으로부터 파지 타입별로 2D 프로젝션 이미지를 획득하게 된다. 특정 타입에 대한 실시예로서 도 6에 도시된 바와 같이, 영상 인식방향(Intact) 파지 타입의 경우, 도 6의 (a)는 영상데이터를 나타내고, (b)는 영상 인식방향(Inatact)의 3D 윤곽을 나타내며, 이로부터 획득한 (c)는 2D 프로젝션 이미지를 나타낸다. 이때 (c) 영상 인식방향(intact) 타입의 경우 프로젝션 방향은 카메라의 광축이 된다. 이러한 2D 프로젝션 이미지로부터 (d)와 같이 외곽부분을 맞추고 덮는 과정을 거처, 도 6의 (e)에 도시된 바와 같이 주변부의 폴리라인(polyline)으로 단순화시킴으로써 파지큐(Grasping Cue)를 추출하게 된다. 도 6의 경우 영상 인식방향(Intact) 파지 타입에 관한 것만 도시되어 있으나, 정면 파지 타입, 사이드 파지 타입, 리프트 업 파지 타입 및 기능 파지 타입에 대해서도 각각 상기와 같이 파지큐를 추출하게 된다. 이렇게 추출된 파지큐(Grasping Cue)는 대상 물체에서 굴곡이 그대로 드러난 상세 영상데이터를 대신하여 에지 부분의 윤곽을 나타내게 된다.First, in the
그리고, 중앙처리장치(100)에서는 상기 추출된 파지큐로부터 도 7 (a) 같은 2D 스켈레톤(skeleton) 이미지를 획득하고 이러한 스켈레톤 이미지를 도 7 (b)와 같이 노드(node)가 없는 각각의 스켈레톤 세그먼트(skeleton segment)로 분해한다. 이러한 스켈레톤 세그먼트(skeleton segment) 중 매우 짧거나 사소한 부분은 제외하고 이를 단순화시킨다. 이렇게 스켈레톤 세그먼트(skeleton segment)를 단순화시키는 것은 논문 <Dougla, D. and T. Peucker(1973). Algorithm for the reduction of number of points required to represent a digitized line or its caricature. The Canadian Cartographer, 10(2), 112-122.> 등으로 이미 알려져 있다.Then, the
그 다음 도 7 (c)에 도시된 바와 같이, 이렇게 단순화된 스켈레톤 세그먼트(skeleton segment)를 이용하여 그로부터 대략 평행한 파지큐(Grasping Cue) 부분(붉은색 부분)을 쌍으로 선택한다. 그 다음 선택된 파지큐 쌍을 둘러싸는 직사각형의 영역을 생성하게 되면 이 영역이 도 5 (f), (g)와 같은 후보 파지영역(Grasping region)이 생성된다.Then, as shown in Fig. 7 (c), the simplified simplified skeleton segment is used to select a pair of roughly parallel Grasping Cue portions (red portions) from the simplified skeleton segment. When a rectangular area surrounding the selected parquiche pair is generated, a candidate grasping region as shown in Figs. 5 (f) and 5 (g) is generated in this area.
한편, 단순화된 스켈레톤 세그먼트(skeleton segment)가 여려 개 존재하는 경우 하나의 파지 타입에서도 다수의 후보 파지영역(Grasping Region)이 생성될 수 있다.
On the other hand, when there are a plurality of simplified skeleton segments, a plurality of candidate grasping regions can be generated in one of the grasping types.
그 다음 (4) 단계는 중앙처리장치(100)에서 상기 (3)단계(S30)에서 생성된 후보 파지영역별로 파지점이 될 가능성이 있는 파지점 후보쌍의 점들을 추출하는 단계(S30)이다.The subsequent step (4) is a step (S30) of extracting points of the wave point candidate pair which are likely to be gripping points for each of the candidate grip regions generated in the step (S30) in the
이를 위해서 다양한 방법이 가능하나, 본 발명에서는 파지점 후보쌍을 추출하기 위한 방법으로써, 상기 3D 윤곽을 여러 개의 파지층(Grasping Layer)으로 나누는 파지플레인(Grasp Plane)을 정의하여 추출한다. 영상데이터의 3D 윤곽에 대해 각 파지타입별로 후보 파지영역(Grasping region)이 1 이상 생성되었는바 이에 대응하여 상기 3D 윤곽을 각 파지타입에 따라 파지플레인(Grasp Plane)으로 여러 파지층(Grasping Layer)으로 나누는 것이다. 즉, 영상 인식방향(Intact) 파지 타입, 정면 파지 타입, 사이드 파지 타입, 리프트업 파지 타입 및 기능 파지 타입 각각에 대해 파지플레인을 설정하여 여러 개의 서로 다른 파지층(Grasping Layer)으로 나누게 된다. 따라서, 리프트 업 파지 타입을 제외한 나머지 파지 타입들의 경우에는 파지플레인(Grasp Plane)이 상기 파지영역(Grasping region)의 세로축에 수직이 되고, 리프트 업 파지 타입의 경우에는 이와 달리 파지플레인(Grasp Plane)이 상기 파지영역(Grasping region)의 가로축에 수직이 된다. 이는 PCA(Principal Component Analysis)를 통해 식별될 수 있다.Various methods are available for this purpose. In the present invention, a grasp plane dividing the 3D contour into a plurality of grasping layers is defined and extracted. The 3D outline of the 3D outline of the image data is generated by one or more candidate grasping regions for each of the respective types of grasping, and the 3D outline is divided into a plurality of grasping layers according to the respective grasping planes, . That is, the gripping plane is set for each of the image recognition direction (Intact) type, the front side type, the side side type, the lift type, and the function type, and is divided into several different grasping layers. Therefore, in the case of the other grasping types except for the lift-up grasping type, the grasp plane is perpendicular to the longitudinal axis of the grasping region. In the case of the lift-up grasping type, Is perpendicular to the horizontal axis of the grasping region. This can be identified through Principal Component Analysis (PCA).
두 개의 평행한 파지플레인(Grasp Plane) 사이에 존재하는 3D 윤곽의 점들의 집합이 하나의 파지층(Grasping Layer)을 형성하게 된다.A set of 3D contour points between two parallel grasp planes forms a grasping layer.
여기에서 파지점 후보쌍을 추출하기 위해서는 로봇 손가락의 파지 가능 너비와 깊이 등 로봇 메카닉적 요소가 고려된다. 즉, 도 4 또는 도 8에 도시된 바와 같이 로봇이 집을 수 있는 대상 물체의 너비는 한계가 있고, 로봇 손가락의 길이도 한정되어 있으므로 파지층 내부의 모든 점을 로봇이 실제로 집을 수 있는 것이 아니기 때문이다. 따라서 메카닉적으로 로봇의 손가락 너비 등을 고려하여 집을 수 있는 점들을 파지점 후보쌍으로 추출하게 된다. 이러한 로봇의 메카닉적 정보는 별도의 데이터로 입력하거나 저장할 수 있다.
Here, in order to extract the wave point candidate pair, the robot mechanic factor such as the feasible width and depth of the robot finger is considered. That is, as shown in FIG. 4 or 8, since the width of the object to be picked up by the robot is limited and the length of the robot finger is limited, the robot can not actually pick up all points inside the gripping layer to be. Therefore, considering the robot finger width and the like mechanically, points that can be picked up are extracted as a pair of point candidates. The mechanistic information of such a robot can be inputted or stored as separate data.
그 다음 (5) 중앙처리장치(100)에서 상기 각각의 파지 타입별로 상기 후보 파지영역 중에서 파지영역을 하나를 선택하고, 상기 선택된 최적의 파지영역 내의 후보쌍들 중에서 파지점쌍 하나를 선택하는 단계(S50)를 실시한다. (5) selecting one of the grasping regions from among the candidate grasping regions for each of the grasping types in the
이를 위해서 파지영역과 파지점쌍을 선택하는 방법은 랜덤으로 선택하는 등 다양하게 제시될 수 있으나, 본 발명에서는 바람직한 하나의 방법으로서 파지영역을 선택하고 그 파지영역 내부에 존재하는 파지점 후보쌍 중에서 하나를 파지점쌍을 선택하도록 하는 방법을 제공한다. For this purpose, a method of selecting a grasping region and a pair of wave points may be variously presented, such as selecting randomly. However, as a preferred method in the present invention, a grasping region is selected and a pair of wave point candidates existing within the grasping region Provides a way to select one wave point pair.
상기 (3) 단계(S30)에서 살펴본 바와 같이 하나의 파지 타입(예를 들어, 정면 파지 타입)에서도 다수의 후보 파지영역(Grasping Region)이 생성될 수 있으므로, 이를 고려하여 다수의 후보 파지영역 중에서 하나의 파지영역을 선택하도록 한다. Since a plurality of candidate grasping regions may be generated in one of the grasping types (for example, the front grasping type) as described in (3) step S30, Select one finger area.
그 방법중 하나로서 i) 후보 파지영역 중 길이(높이)가 가장 길고, ii) 후보 파지영역 내의 후보쌍들의 표준편차가 가장 작은 파지영역을 선택하는 것이다.As one of the methods, i) the length (height) of the candidate gripping region is the longest, and ii) the gripping region having the smallest standard deviation of the candidate pairs in the candidate gripping region is selected.
i)은 구체적으로 파지 타입 중 intact 파지 타입이나 정면 파지 타입 또는 사이드 파지 타입 또는 기능 파지 타입의 경우에는 각 후보 파지영역의 세로축 길이를 비교하고, 리프트 업 파지 타입의 경우에는 각 후보 파지영역의 가로축 길이를 비교하여, 가장 긴 길이를 가지는 파지영역을 각 파지 타입별로 탐색하는 조건이 될 수 있다. 예를 들어 정면 파지 타입의 경우 세로축 길이(높이)가 가장 긴 파지영역(즉, 파지층이 가장 많은 파지영역)이 실제로 로봇에 의해 집어들게 되었을 때 가장 안정적으로 집을 수 있는 조건이 되기 때문이다.Specifically, in the case of the intact gripping type, the front gripping type, the side gripping type, or the function gripping type among the gripping types, the vertical axis lengths of the respective candidate gripping areas are compared. Specifically, in the case of the lift-up gripping type, It is possible to compare the lengths and to search for each of the holding types having the longest length by each of the holding types. For example, in the case of the frontal grip type, the most stable gripping area is obtained when the gripping area having the longest vertical axis (height) is actually picked up by the robot.
그리고, ii)는 후보 파지영역에 속하는 후보쌍들의 표준편차가 가장 작은 것을 탐색하는 조건이다. 여기서 표준편차는 후보쌍들 사이의 거리를 나타내는 것으로서, 표준편차가 가장 작다는 것은 로봇이 대상 물체를 집어들었을 때 이를 미끄러져 놓칠 염려가 적다는 것을 의미한다.And ii) is a condition for searching for the smallest standard deviation of the candidate pairs belonging to the candidate gripping region. Here, the standard deviation represents the distance between the candidate pairs, and the smallest standard deviation means that the robot is less likely to slip off the object when picked up.
따라서, i)과 ii)의 조건을 모두 고려하여 후보 파지영역 중 최적의 파지영역을 선택하게 된다.Therefore, the optimum grasping region is selected among the candidate grasping regions in consideration of the conditions of i) and ii).
이러한 최적의 파지영역 선택 방법은 하기와 같이 수학식으로 나타낼 수 있다.This optimal method of selecting a phage region can be expressed by the following equation.
상기 GReg는 파지층의 개수를 나타내는 높이 또는 길이 값인 ht를 파라미터로 포함하는 파지영역 후보를 나타낸다. std는 표준편차로서, 파지영역내의 파지점 후보쌍들 사이의 거리를 나타낸다. stdth는 표준편차의 평균값을 나타낸다. 상기 G* Reg는 안정적이고 효율적인 파지 가능한 최적의 파지영역을 나타낸다.The Greg represents a holding region candidate including a parameter ht, which is a height or a length value indicating the number of gripping layers. and std is the standard deviation, which represents the distance between pairs of wave point candidates in the grip region. std th represents the average value of the standard deviation. The G * Reg represents an optimal grip area that can be stably and efficiently gripped.
그 다음 상기에서 선택된 최적의 파지영역에 존재하는 다수의 후보쌍들 중에서 하나의 파지점쌍을 추출하게 된다. 이 역시 다양한 방법이 제시될 수 있으나 본 발명에서는 바람직한 방법 중 하나로서 파지영역에 속하는 파지층 중 가장 중간에 위치한 파지층의 후보쌍을 최종적으로 하나의 파지점쌍으로 선택한다.
Then, one pair of wave points is extracted from among a plurality of candidate pairs existing in the optimal grasp region selected in the above. However, in the present invention, the candidate pair of the gripping layer positioned at the very middle of the gripping layers belonging to the gripping area is finally selected as one pair of the pointing point.
그 다음 (6) 중앙처리장치(100)에서 상기 각각의 파지 타입별로 선택된 상기 파지점쌍들을 조합하여 하나의 파지점 매니폴드를 생성하는 단계(S60)를 포함할 수 있다.Next, (6) combining the wave-point pairs selected for each of the gripping types in the
기본 파지 타입(intact, front, side, lift-up) 각각과 기능 파지 타입에 대해 각각 하나씩 파지점쌍들이 추출되어, 최종적으로는 5개의 파지점쌍들이 추출될 수 있으므로 이를 전부 조합하여 하나의 파지점 매니폴드를 생성하게 된다.
Since the wave point pairs are extracted one by one for each of the basic grasp types (intact, front, side, lift-up) and function grasp type, and finally five wave point pairs can be extracted, Thereby generating a branch manifold.
한편, 본 발명은 상기에서 설명한 (1)단계(S10) 내지 (6)단계(S60)에 의한 범주 인식에 의한 파지점 생성방법에 대한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
Meanwhile, the present invention provides a computer-readable recording medium on which a program for a wave point generation method by category recognition by the above-described (1) step (S10) to (6) step (S60) is recorded.
도 8은 본 발명에 따른 범주 인식에 의한 파지점 생성방법에 따라 로봇을 제어하여 테스트를 수행하는 것을 나타내는 것이고, 도 9은 그 테스트 결과를 나타내며, 도 10은 다양한 형상에 대해 테스트한 결과 파지 성공률을 나타낸다. 도 9 내지 도 10 에 나타나 있는 바와 같이 본 발명에 따르면 다양한 형상의 물체에 대해 별도로 그 형상에 대한 파지 학습을 하지 않더라도 로봇 스스로 인식하여 파지할 수 있게 되는 효과가 있다.
FIG. 8 shows test results by controlling the robot according to the method of generating a wave point by category recognition according to the present invention. FIG. 9 shows test results thereof. FIG. 10 shows test results . As shown in FIGS. 9 to 10, according to the present invention, there is an effect that the robot itself can recognize and grasp the shape of an object having various shapes, even if the grip is not learned about the shape of the object.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It is to be understood that various modifications and changes may be made without departing from the scope of the appended claims.
100: 중앙처리장치 200: 범주물체인식부
210: 윤곽선검출부 220: 특징추출부
230: 스펙트럴정합부 240: 정합결과개선부
250: 정합위치추정부100: Central processing unit 200: Category object recognition unit
210: contour detection unit 220: feature extraction unit
230: spectral matching unit 240: matching result improving unit
250: matching position estimating unit
Claims (15)
(2) 상기 영상데이터 및 상기 3D 윤곽을 이용하여 상기 대상 물체의 기본 파지 타입 및 기능 파지 타입을 탐색하는 단계;
(3) 탐색된 상기 대상 물체의 기본 파지 타입 및 기능 파지 타입 각각에 대하여 파지큐(Grasping Cue)를 추출하고, 이를 통해 1 이상의 후보 파지영역(Grasping Region)을 생성하는 단계;
(4) 상기 각각의 후보 파지영역별로 파지점 후보쌍들을 추출하는 단계; 및
(5) 상기 각각의 파지 타입별로 상기 후보 파지영역 중에서 하나의 파지영역을 선택하고, 상기 선택된 파지영역 내의 후보쌍들 중에서 하나의 파지점쌍을 선택하는 단계;를 포함하고,
상기 (2) 단계에서, 상기 기본 파지 타입은 영상 인식방향(Intact) 파지 타입과 대상 물체의 정면(Front) 파지 타입, 사이드(Side) 파지 타입 및 리프트 업(Lift-up) 파지 타입으로 탐색되며, 상기 기능 파지 타입은 기저장된 대상 물체의 기능 정보를 토대로 탐색되고,
상기 (2) 단계에서, 상기 기능 파지 타입을 탐색하는 것은 범주 물체 인식 방법에 의해 상기 대상 물체의 범주를 인식하여 탐색하되,
상기 (5) 단계 이후에,
(6) 상기 각각의 파지 타입별로 선택된 상기 파지점쌍들을 조합하여 하나의 파지점 매니폴드를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.(1) acquiring image data and 3D outline of a target object;
(2) searching for a basic gripping type and a functional gripping type of the object using the image data and the 3D outline;
(3) extracting a grasping cue for each of the basic grasping type and the functional grasping type of the searched object, and creating at least one candidate grasping region through the grasping cue;
(4) extracting wave point candidate pairs for each of the candidate finger regions; And
(5) selecting one of the candidate regions from among the candidate regions in each of the plurality of candidate regions, and selecting one of the candidate regions in the selected region,
In the step (2), the basic pager type is searched for an intact pager type and a front pager type, a side pager type, and a lift-up pager type of a target object, , The function grasp type is searched based on the function information of the previously stored object,
In the step (2), searching for the functional grip type recognizes the category of the object by the category object recognition method,
After the step (5)
(6) combining the wave point pairs selected for each of the plurality of grasping types to generate one wave point manifold.
상기 범주 물체 인식 방법은,
(2-1) 상기 영상데이터의 윤곽선을 검출하는 단계;
(2-2) 상기 윤곽선의 특징점을 추출하여 형태기술자 벡터를 산출하는 단계;
(2-3) 윤곽선의 특징점이 추출된 모델데이터와 상기 영상데이터 간에 스펙트럴 정합(spectral matching)을 수행하는 단계;
(2-4) 상기 스펙트럴 정합 결과를 개선하는 단계; 및
(2-5) 상기 영상데이터 중에서 정합 위치를 추정하여 범주 물체를 인식하는 단계;를 포함하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.3. The method of claim 2,
The categorical object recognition method includes:
(2-1) detecting a contour of the image data;
(2-2) extracting feature points of the contour line and calculating a shape descriptor vector;
(2-3) performing spectral matching between the extracted model data and the image data;
(2-4) improving the spectral matching result; And
(2-5) A method of generating a wave point by category recognition, comprising the steps of: estimating a matching position from among the image data and recognizing a category object.
상기 (2-1) 단계는,
모서리를 검출하여 상기 모서리가 기설정된 범위 이내이고, 법선 벡터의 방향이 기설정된 범위 이내인 모서리 픽셀들을 병합하여 윤곽선을 검출하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.The method of claim 3,
The step (2-1)
Wherein edge detection is performed by detecting an edge and merging edge pixels whose edge is within a predetermined range and direction of a normal vector is within a predetermined range.
상기 형태기술자 벡터는,
상기 특징점의 쌍의 법선 벡터, 상기 특징점의 쌍 사이의 거리, 상기 특징점의 곡률 또는 상기 특징점의 위치 벡터 중 적어도 하나를 이용하여 정의되는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.The method of claim 3,
The shape descriptor vector,
A normal vector of the pair of feature points, a distance between the pair of feature points, a curvature of the feature point, or a position vector of the feature point.
상기 (2-3) 단계는,
상기 모델데이터와 상기 영상데이터의 특징점 쌍간에 변형을 측정하는 단계;를 포함하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.The method of claim 3,
The step (2-3)
And measuring deformation between a pair of feature points of the model data and the image data.
상기 (2-3) 단계는,
상기 특징점의 쌍에 대한 기하학적인 유사도를 측정하여 행렬을 구성하고, 상기 행렬의 가장 큰 고유값에 대응되는 고유 벡터를 계산하여 기하학적인 유사도가 큰 특징점들의 군집을 구하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.The method of claim 3,
The step (2-3)
A matrix of feature points is calculated by measuring the geometric similarity of the pair of feature points and an eigenvector corresponding to the largest eigenvalue of the matrix is calculated to obtain a cluster of feature points having large geometric similarities, How to create wave points.
상기 (2-4) 단계는,
상기 스펙트럴 정합에 의한 대응점들에 대해서 RANSAC(RANdom SAmple Consensus) 알고리즘을 적용하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.The method of claim 3,
The step (2-4)
And a RANSAC algorithm consensus is applied to the corresponding points by the spectral matching.
상기 RANSAC 알고리즘의 적용은,
2차원 호모그래피 변환을 추정하고 대칭전달오차를 이용하여 윤곽선을 제거하여 새로운 대응점을 탐색하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.9. The method of claim 8,
The application of the RANSAC algorithm,
Dimensional homography transformation and removing a contour using a symmetric propagation error to search for a new correspondence point.
상기 영상데이터는 스테레오 카메라(Stereo Camera)를 사용하여 획득하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.3. The method of claim 2,
Wherein the image data is acquired using a stereo camera. ≪ RTI ID = 0.0 > 11. < / RTI >
상기 파지큐(Grasping Cue)를 추출하는 것은,
상기 3D 윤곽으로부터 2D 프로젝션 이미지를 생성하고, 상기 2D 프로젝션 이미지를 주변부의 폴리라인(polyline)으로 형성하여 추출하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.3. The method of claim 2,
In extracting the grasping cue,
Generating a 2D projection image from the 3D contour, and forming the 2D projection image into a polyline of a periphery and extracting the 2D projection image.
상기 후보 파지영역을 생성하는 것은,
상기 파지큐(Grasping Cue) 내부에 스켈레톤 세그먼트(skeleton segment)를 형성하여 상기 스켈레톤 세그먼트(skeleton segment)로부터 평행하게 위치한 파지큐의 부분을 둘러싸도록 직사각형의 영역을 생성함으로써 이루어지는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.12. The method of claim 11,
The generating of the candidate grasping area comprises:
Wherein a skeleton segment is formed in the grasping cue to create a rectangular area so as to surround a portion of the parchment located parallel to the skeleton segment. A method of generating a wave point by means of.
상기 후보쌍을 추출하는 단계는
상기 각각의 후보 파지영역별로 상기 3D 윤곽을 1 이상의 파지층(Grasping Layer)으로 나누고 상기 파지층들에 속하는 모든 점들 중에서 로봇팔의 구조상 실제로 파지할 수 있는 점들의 쌍들만을 후보쌍으로 추출하는 것을 특징으로 하고,
상기 로봇팔의 구조는 기저장되어 있는 데이터나 별도로 입력된 데이터에 의해 주어지는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.13. The method of claim 12,
The step of extracting the candidate pair
Dividing the 3D contour into at least one grasping layer for each of the candidate grasping regions and extracting only pairs of points that can be actually grasped in the structure of the robot arm among all the points belonging to the grasping layers as candidate pairs With features,
Wherein the structure of the robot arm is given by stored data or separately inputted data.
상기 (5) 단계에서 상기 하나의 파지영역을 선택하는 것은,
GReg는 상기 후보 파지영역, ht는 상기 후보 파지영역의 높이 또는 길이 값, std는 상기 후보 파지영역 내의 파지점 후보쌍들 사이의 거리를 나타내는 표준편차, stdth는 std의 평균값, G* Reg는 상기 하나의 파지영역이라고 할 때,
수학식에
의해 선택하는 것을 특징으로 하는 범주 인식에 의한 파지점 생성방법.14. The method of claim 13,
In the step (5), selecting one of the grip areas may include:
G Reg is the candidate gripping area, ht is the height or length of the said candidate gripping area, std is the standard deviation, std th is the average value of the std that is the distance between the gripping point candidate pair in the candidate gripping area, G * Reg Is the one holding region,
Equation on
And selecting one of the plurality of wave points by category recognition.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110096764A KR101260367B1 (en) | 2011-09-26 | 2011-09-26 | Method for detecting grasping points using category recognition and computer readable record medium thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110096764A KR101260367B1 (en) | 2011-09-26 | 2011-09-26 | Method for detecting grasping points using category recognition and computer readable record medium thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130032990A KR20130032990A (en) | 2013-04-03 |
KR101260367B1 true KR101260367B1 (en) | 2013-05-07 |
Family
ID=48435588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110096764A KR101260367B1 (en) | 2011-09-26 | 2011-09-26 | Method for detecting grasping points using category recognition and computer readable record medium thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101260367B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190113140A (en) * | 2018-03-27 | 2019-10-08 | 한국철도기술연구원 | Auto picking system and method for automatically picking using the same |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102109696B1 (en) * | 2017-12-12 | 2020-05-13 | 한국로봇융합연구원 | Robot hand for grasping unknown object and control method thereof |
KR102067878B1 (en) * | 2017-12-12 | 2020-01-17 | 한국로봇융합연구원 | Robot hand for performing task using regrasping and control method thereof |
KR102109697B1 (en) * | 2017-12-12 | 2020-05-13 | 한국로봇융합연구원 | Robot hand for grasping object by using visual information and tactual information and control method thereof |
KR102317041B1 (en) * | 2019-12-03 | 2021-10-26 | 한국전자기술연구원 | Gripping System of object and method thereof |
JP7342676B2 (en) * | 2019-12-13 | 2023-09-12 | トヨタ自動車株式会社 | Remote control system and remote control method |
CN116309442B (en) * | 2023-03-13 | 2023-10-24 | 北京百度网讯科技有限公司 | Method for determining picking information and method for picking target object |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001155155A (en) | 1999-11-29 | 2001-06-08 | Hitachi Zosen Corp | Method and device for recognizing object and device for selecting object |
JP2005169564A (en) * | 2003-12-11 | 2005-06-30 | Toyota Motor Corp | Method for gripping object of optional shape by robot |
KR100975512B1 (en) | 2007-03-09 | 2010-08-11 | 오므론 가부시키가이샤 | Recognition processing method and image processing device using the same |
JP2011017611A (en) | 2009-07-09 | 2011-01-27 | National Institute Of Advanced Industrial Science & Technology | Three-dimensional curved surface recognition method and manipulation system |
-
2011
- 2011-09-26 KR KR1020110096764A patent/KR101260367B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001155155A (en) | 1999-11-29 | 2001-06-08 | Hitachi Zosen Corp | Method and device for recognizing object and device for selecting object |
JP2005169564A (en) * | 2003-12-11 | 2005-06-30 | Toyota Motor Corp | Method for gripping object of optional shape by robot |
KR100975512B1 (en) | 2007-03-09 | 2010-08-11 | 오므론 가부시키가이샤 | Recognition processing method and image processing device using the same |
JP2011017611A (en) | 2009-07-09 | 2011-01-27 | National Institute Of Advanced Industrial Science & Technology | Three-dimensional curved surface recognition method and manipulation system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190113140A (en) * | 2018-03-27 | 2019-10-08 | 한국철도기술연구원 | Auto picking system and method for automatically picking using the same |
KR102043898B1 (en) * | 2018-03-27 | 2019-11-12 | 한국철도기술연구원 | Auto picking system and method for automatically picking using the same |
Also Published As
Publication number | Publication date |
---|---|
KR20130032990A (en) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101260367B1 (en) | Method for detecting grasping points using category recognition and computer readable record medium thereof | |
US10083366B2 (en) | Edge-based recognition, systems and methods | |
JP6681729B2 (en) | Method for determining 3D pose of object and 3D location of landmark point of object, and system for determining 3D pose of object and 3D location of landmark of object | |
CN105574527B (en) | A kind of quick object detecting method based on local feature learning | |
CN105243374B (en) | Three-dimensional face identification method, system and the data processing equipment using it | |
Sirmacek et al. | A probabilistic framework to detect buildings in aerial and satellite images | |
CN105740780B (en) | Method and device for detecting living human face | |
CN104392223B (en) | Human posture recognition method in two-dimensional video image | |
CN106530297A (en) | Object grabbing region positioning method based on point cloud registering | |
US20110286628A1 (en) | Systems and methods for object recognition using a large database | |
Holz et al. | Towards semantic scene analysis with time-of-flight cameras | |
CN104615998B (en) | A kind of vehicle retrieval method based on various visual angles | |
CN109272577B (en) | Kinect-based visual SLAM method | |
CN111914642A (en) | Pedestrian re-identification method, device, equipment and medium | |
JP5262705B2 (en) | Motion estimation apparatus and program | |
CN110895683B (en) | Kinect-based single-viewpoint gesture and posture recognition method | |
KR101460313B1 (en) | Apparatus and method for robot localization using visual feature and geometric constraints | |
Nahar et al. | Fingerprint classification using deep neural network model resnet50 | |
CN112668374A (en) | Image processing method and device, re-recognition network training method and electronic equipment | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN111598172A (en) | Dynamic target grabbing posture rapid detection method based on heterogeneous deep network fusion | |
CN110008902B (en) | Finger vein recognition method and system fusing basic features and deformation features | |
KR101184588B1 (en) | A method and apparatus for contour-based object category recognition robust to viewpoint changes | |
KR101528757B1 (en) | Texture-less object recognition using contour fragment-based features with bisected local regions | |
CN110210342A (en) | Face image matching method and system and readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160401 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170403 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180409 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190423 Year of fee payment: 7 |