KR100526018B1 - Method for recognizing and tracking an object - Google Patents
Method for recognizing and tracking an object Download PDFInfo
- Publication number
- KR100526018B1 KR100526018B1 KR10-2003-0064170A KR20030064170A KR100526018B1 KR 100526018 B1 KR100526018 B1 KR 100526018B1 KR 20030064170 A KR20030064170 A KR 20030064170A KR 100526018 B1 KR100526018 B1 KR 100526018B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- model
- input image
- moment
- zenike
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
Abstract
본 발명은 컴퓨터 비전 혹은 로봇 비전에서 물체를 인식하여 물체에 대한 정보를 얻고 이를 바탕으로 물체의 위치를 추적하는 방법에 관한 것이다.The present invention relates to a method of recognizing an object in computer vision or robot vision to obtain information about the object and to track the position of the object based on the information.
본 발명에 따른 물체 인식 및 추적방법은, 물체를 촬영한 모델영상과 상기 물체의 외형인 캐드모델 사이의 대응관계를 설정하고, 상기 모델영상의 제니케모멘트를 계산하여 데이터베이스로 구축하는 데이터베이스구축단계와; 물체가 포함된 영상이 입력되면, 상기 입력영상의 제니케모멘트를 계산하는 입력영상처리단계와; 상기 데이터베이스에 구축된 모델영상의 제니케모멘트와 상기 입력영상의 제니케모멘트 사이의 매칭확률을 계산하여, 상기 입력영상에 포함된 물체를 인식하는 물체인식단계와; 상기 입력영상에 캐드모델을 매칭시켜서 초기 자세를 추정하는 초기자세추정단계와; 상기 입력영상과 상기 캐드모델의 대응쌍으로부터 상기 물체의 움직임을 추적하는 물체추적단계를 포함한다.In the object recognition and tracking method according to the present invention, a database construction step of establishing a correspondence relationship between a model image photographing an object and a CAD model, which is an external appearance of the object, and calculating a Jenny's moment of the model image to construct a database. Wow; An input image processing step of calculating a Zenike moment of the input image when an image including an object is input; An object recognition step of recognizing an object included in the input image by calculating a matching probability between the Zenike moment of the model image constructed in the database and the Zenike moment of the input image; An initial posture estimation step of estimating an initial posture by matching a CAD model with the input image; An object tracking step of tracking the movement of the object from the corresponding pair of the input image and the CAD model.
Description
본 발명은 컴퓨터 비전 혹은 로봇 비전에서 물체 인식방법에 관한 것으로서, 보다 상세하게 설명하면 일반 환경(사무실 내, 가정, 복도)에서 복잡한 물체를 인식하여 물체에 대한 정보를 얻고 이를 바탕으로 3차원 캐드모델의 초기자세를 추정 및 위치 추적하는 방법에 관한 것이다.The present invention relates to a method of object recognition in computer vision or robot vision, and more specifically, to recognize a complex object in a general environment (office, home, corridor) to obtain information about the object and based on the three-dimensional CAD model It relates to a method of estimating and tracking the initial posture of the.
본 발명은 앞으로 상용화될 서비스 로봇의 두뇌부에 해당하는 기술로서, 로봇이 주어진 임무를 수행하기 위해서는 물체인식이 필수적이다. 예컨대, 로봇에게 "냉장고에 가서 콜라캔을 가져오라"는 명령을 할 경우, 냉장고 인식, 손잡이 인식, 콜라캔 인식 등과 같은 물체인식과정이 필요하다.The present invention is a technology corresponding to the brain of a service robot to be commercialized in the future, and object recognition is essential for the robot to perform a given task. For example, when a robot is instructed to "go to the refrigerator and get a coke can", an object recognition process such as a refrigerator recognition, a handle recognition, a coke can recognition, etc. is required.
물체인식기술은 1970년대 컴퓨터가 본격적으로 나오면서부터 활발히 연구되어 왔다. 1980년대에 물체인식기술은 2차원 모양 매칭에 기반한 기술로 주로 산업비전에서 부품검사 등에 이용되었으며, 1980년대 말부터 3차원 모델 기반 물체인식기술이 활발히 연구되었다. 특히, 3차원 다면체 인식을 위해 얼라인먼트(Alignment) 기법이 성공적으로 적용되었다. 1990년 중반부터 영상기반기법이 서서히 대두되면서 좀 더 본격적인 물체인식연구가 진행되었는데, PCA와 같은 주성분 분석기법을 이용한 물체인식기법이 그 중 한 예이다.Object recognition technology has been actively studied since computers came out in the 1970s. In the 1980s, object recognition technology was based on two-dimensional shape matching. It was mainly used for inspection of parts in industrial vision, and three-dimensional model-based object recognition technology was actively studied since the late 1980s. In particular, the alignment technique has been successfully applied for 3D polyhedral recognition. As image-based techniques gradually emerged in the mid-1990s, more full-scale object recognition research has been conducted. For example, object recognition techniques using principal component analysis techniques such as PCA are one example.
그러나, 종래의 얼라인먼트(Alignment) 기법은 직선성분이 잘 나오는 다면체에만 작동하는 한계가 있었으며, 영상기반방법은 픽셀값을 바로 인식에 사용하기 때문에 조명 변화 등과 같이 환경에 민감하다는 문제가 있다. 특히 종래의 방법들은 전체 모양 매칭을 근간으로 하기 때문에 가려짐이나 배경잡음에 민감하고, 물체인식과 추적을 별개로 생각하여 인식 따로 추적 따로 하기 때문에 처리 효율이 매우 떨어지는 문제가 있다.However, the conventional alignment technique has a limitation of operating only a polyhedron having a linear component well, and an image-based method has a problem in that it is sensitive to the environment, such as a change in illumination, because a pixel value is directly used for recognition. In particular, the conventional methods are sensitive to occlusion and background noise because they are based on the overall shape matching, and the processing efficiency is very low because the recognition of objects is separately recognized and the tracking is separately detected.
상기한 종래기술의 문제점을 해결하기 위하여 안출된 본 발명의 목적은, 일반환경을 촬영한 영상으로부터 강인 특징량과 확률적 매칭에 기반하여 자동으로 물체를 인식 및 검증하고, 인식한 물체의 3차원 자세를 자동으로 추정 및 실시간으로 위치 추적하는 방법을 제공하기 위한 것이다.An object of the present invention devised to solve the above problems of the prior art is to automatically recognize and verify an object based on a robust feature amount and stochastic matching from an image of a general environment, and to recognize a three-dimensional object. It is intended to provide a method for automatically estimating posture and tracking the position in real time.
상기한 목적을 달성하기 위한 본 발명에 따른 물체 인식방법은, 상기 물체를 촬영한 모델영상으로부터 특징점을 추출하고 상기 모델영상의 특징점에서 제니케모멘트를 계산하여 데이터베이스로 구축하는 데이터베이스구축단계와;상기 물체가 포함된 영상이 입력되면, 상기 입력영상으로부터 특징점을 추출하고 상기 입력영상의 특징점에서 제니케모멘트를 계산하는 입력영상처리단계와;상기 데이터베이스에 구축된 모델영상의 제니케모멘트와 상기 입력영상의 제니케모멘트 사이의 매칭확률을 계산하며 매칭확률이 높은 모델영상을 후보 모델영상으로 설정하는 후보설정단계와;상기 후보 모델영상과 입력영상에 대해 두 영상간 특징점들의 최적의 대응쌍을 구하는 대응쌍검색단계와;상기 최적의 대응쌍에 대해 영상 호모그래피를 구하고, 상기 영상 호모그래피를 이용하여 상기 후보 모델영상에 대응하는 상기 입력영상의 점을 찾아서 상기 물체를 판단하는 검증단계를 포함한 것을 특징으로 한다.The object recognition method according to the present invention for achieving the above object comprises: a database construction step of extracting a feature point from the model image of the object and constructing a database by calculating the Zenike moment from the feature point of the model image; An input image processing step of extracting a feature point from the input image and calculating a Zenike moment from the feature point of the input image when an image including an object is input; the Zenike moment of the model image constructed in the database and the input image A candidate setting step of calculating a matching probability between Jenny Keen moments and setting a model image having a high matching probability as a candidate model image; obtaining a corresponding pair of feature points between two images with respect to the candidate model image and the input image; Pair searching; obtaining image homography for the optimal corresponding pair, And a verification step of determining the object by finding a point of the input image corresponding to the candidate model image using mutual homography.
또한, 본 발명에 따른 물체 추적방법은, 상기 물체를 촬영한 모델영상과 상기 물체의 외형인 캐드모델 사이의 대응관계를 설정하고, 상기 모델영상으로부터 특징점을 추출하고 상기 모델영상의 특징점에서 제니케모멘트를 계산하여 데이터베이스로 구축하는 데이터베이스구축단계와;상기 물체가 포함된 영상이 입력되면, 상기 입력영상으로부터 특징점을 추출하고 상기 입력영상의 특징점에서 제니케모멘트를 계산하는 입력영상처리단계와;상기 데이터베이스에 구축된 모델영상의 제니케모멘트와 상기 입력영상의 제니케모멘트로부터 상기 입력영상에 포함된 물체의 모델영상을 인식하는 물체인식단계와;상기 인식된 모델영상의 물체의 외곽점에 대응하는 입력영상의 물체의 외곽점을 찾고, 상기 입력영상의 물체에 상기 물체의 캐드모델을 대응시켜서 상기 물체의 초기 자세를 추정하는 초기자세추정단계와;연속된 입력영상으로부터 상기 물체의 캐드모델을 적용하여 상기 물체의 자세와 움직임을 추적하는 물체추적단계를 포함한 것을 특징으로 한다.In addition, the object tracking method according to the present invention, setting the correspondence between the model image of the object and the CAD model that is the appearance of the object, extracts the feature point from the model image and Jennyke from the feature point of the model image A database construction step of calculating moments and constructing a database; an input image processing step of extracting a feature point from the input image and calculating a Zenike moment at the feature point of the input image when the image including the object is input; An object recognition step of recognizing a model image of an object included in the input image from the jenike moment of the model image and the input image generated in the database; and corresponding to an outer point of the object of the recognized model image. Find the outer point of the object of the input image, and correspond to the CAD model of the object to the object of the input image Characterized in that by applying the CAD model of the object from a series of input images including the object-tracking method comprising: tracking the position and movement of the object, by turning on the initial position estimate and the step of estimating the initial position of the object.
또한, 본 발명에 따르면 컴퓨터에, 상술한 바와 같은 물체 인식방법 및 물체 추적방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to the present invention, there is also provided a computer-readable recording medium having recorded thereon a program for executing the object recognition method and the object tracking method as described above.
이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 물체 인식 및 추적방법을 설명하면 다음과 같다.Hereinafter, an object recognition and tracking method according to an embodiment of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 한 실시예에 따른 3차원 물체 인식 및 추적방법을 수행하는 시스템을 도시한다. 이는 영상입력부(11)와 물체모델생성부(12)와 물체모델데이터베이스(13)와 물체인식부(14)와 물체추적부(15)를 구비한다. 본 발명은 지역적으로 생성된 제니케모멘트를 사용하여 복잡한 물체를 확률적으로 인식하고, 인식의 결과로 얻어진 호모그래피(homography)를 통해 3차원 캐드모델의 초기 자세를 추정한다.1 shows a system for performing a three-dimensional object recognition and tracking method according to an embodiment of the present invention. It includes an image input unit 11, an object model generation unit 12, an object model database 13, an object recognition unit 14 and an object tracking unit 15. The present invention stochastically recognizes complex objects using locally generated Zenike moments, and estimates the initial pose of the three-dimensional CAD model through homography resulting from the recognition.
영상입력부(11)는 일반 칼라 CCD 카메라, 흑백 CCD 카메라 혹은 적외선 카메라로서, 물체의 영상을 획득한다.The image input unit 11 is a general color CCD camera, a monochrome CCD camera or an infrared camera, and acquires an image of an object.
물체모델생성부(12)는 인식하고자 하는 물체에 대해 데이터베이스를 구축하는 장치로서, 물체의 영상모델과 2차원 캐드모델 또는 3차원 캐드모델 사이의 대응점을 정합하여 물체모델데이터베이스(13)에 저장하고, 영상모델에서 추출된 특징점에서 제니케모멘트를 계산하여 물체모델데이터베이스(13)에 저장한다.The object model generation unit 12 is a device for constructing a database for an object to be recognized. The object model generation unit 12 matches a corresponding point between an image model of an object and a 2D CAD model or a 3D CAD model, and stores it in the object model database 13. In addition, the Jenny moment is calculated from the feature points extracted from the image model and stored in the object model database 13.
물체인식부(14)는 입력영상의 특징점에서 제니케모멘트를 계산하고 확률적 보팅을 통해 물체 인식을 수행한다. 또한, 영상모델 특징량을 입력영상에 정합하여 물체인식결과를 검증하고, 영상모델과 입력영상 사이의 대응점 관계를 나타내는 호모그래피를 계산한다.The object recognition unit 14 calculates the Zenike moment at the feature point of the input image and performs object recognition through probabilistic voting. In addition, the object recognition result is verified by matching the image model feature amount to the input image, and a homography indicating a correspondence point between the image model and the input image is calculated.
물체추적부(15)는 물체인식부(14)가 계산한 호모그래피를 이용하여 입력영상에서 인식된 물체과 매칭되는 3차원 캐드모델의 초기 자세를 추정하고, 모션을 계산하여 인식된 물체를 연속적으로 추적한다.The object tracking unit 15 estimates the initial pose of the 3D CAD model matching the object recognized in the input image by using the homography calculated by the object recognition unit 14, and calculates the motion to continuously recognize the recognized object. To track.
도 2는 본 발명의 한 실시예에 따른 물체모델생성부(12)의 물체모델데이터베이스 구축과정을 도시한 동작 흐름도이다.2 is a flowchart illustrating an object model database construction process of the object model generator 12 according to an exemplary embodiment of the present invention.
본 발명에서 물체인식부(14)는 영상모델을 이용하고 물체추적부(15)는 3차원 캐드모델(또는 2차원 캐드모델)을 이용한다. 따라서, 물체모델생성부(12)는 임의의 물체에 대해 영상모델과 3차원 캐드모델을 획득하고, 이 영상모델과 3차원 캐드모델 사이의 관계를 설정한다.In the present invention, the object recognition unit 14 uses an image model, and the object tracking unit 15 uses a three-dimensional CAD model (or a two-dimensional CAD model). Therefore, the object model generation unit 12 obtains an image model and a three-dimensional CAD model for an arbitrary object, and sets the relationship between the image model and the three-dimensional CAD model.
도 2를 참조하면, 사용자로부터 물체모델데이터베이스 구축 요청이 입력되면(S201), 구축하고자 하는 물체가 3차원 물체인 지를 확인한다(S202). 단계 S202의 확인 결과, 3차원 물체에 대한 물체모델데이터베이스 구축이면, 3차원 물체의 모든 특징면에 대해서 영상을 획득하고(S203), 각 획득된 영상에서 모델영상의 외곽점과 그에 해당하는 3차원 캐드모델의 외곽점 사이의 좌표와 대응관계를 설정한다(S204). 이때, 3차원 물체 중 박스 같은 육면체는 6방향에서의 영상을 획득하고 각 모델영상과 3차원 캐드모델 사이의 대응점을 설정한다.Referring to FIG. 2, when an object model database construction request is input from a user (S201), it is checked whether an object to be constructed is a three-dimensional object (S202). If it is confirmed in step S202 that the object model database is constructed for the three-dimensional object, an image is acquired for all feature surfaces of the three-dimensional object (S203), and the outer point of the model image and the corresponding three-dimensional image in each acquired image are obtained. Coordinates and correspondences between the outer points of the CAD model are set (S204). At this time, a cube-like cube among three-dimensional objects acquires images in six directions and sets corresponding points between each model image and the three-dimensional CAD model.
한편, 단계 S202의 확인 결과, 얇은 책이나 지폐와 같은 2차원 물체에 대한 물체모델데이터베이스 구축이면, 2차원 물체의 정면에 대한 영상을 획득하고(S205), 획득한 영상에서 모델영상의 외곽점과 2차원 캐드모델의 외곽점 사이의 대응관계를 설정한다(S206). 물체인식시에는 모델영상을 이용하고 물체추적시에는 캐드모델을 이용하기 때문에, 물체추적없이 물체인식만을 하고자 하는 경우에는 인식하고자 하는 면에 대한 모델영상만을 획득한다.On the other hand, as a result of confirming in step S202, if an object model database is constructed for a two-dimensional object such as a thin book or a bill, an image of the front of the two-dimensional object is acquired (S205), and the outer point of the model image is obtained from the acquired image. A correspondence relationship between the outer points of the two-dimensional CAD model is set (S206). Since the model image is used for object recognition and the CAD model is used for object tracking, when only object recognition is desired without object tracking, only the model image of the surface to be recognized is obtained.
그리고 영상인식을 위하여, 영상모델을 스케일스페이스로 표현(S207)한 후 특징점을 추출하고(S208), 이 추출된 특징점 주변에서의 평균밝기로 정규화된 제니케모멘트를 계산한다(S209).Then, for image recognition, the image model is expressed in a scale space (S207), and then feature points are extracted (S208), and the Zenike moment normalized to the average brightness around the extracted feature points is calculated (S209).
본 발명의 물체인식부는 인간시각시스템(HVS)이 물체를 인식하는 동안 시각을 특징점에 의식적으로 집중한다는 사실에 기초한다. 물체의 특징점은 언제나 반복적으로 추출된다. 따라서, 물체에 대한 영상모델의 특징점과 입력영상의 특징점은 동일하게 추출된다. 본 발명에서는 특징점을 추출할 때 반복성 특성이 우수한 해리스(Harris) 코너 검출기를 사용한다.The object recognition part of the present invention is based on the fact that the human visual system (HVS) consciously focuses the sight on the feature point while recognizing the object. The feature points of an object are always extracted repeatedly. Therefore, the feature points of the image model of the object and the feature points of the input image are equally extracted. In the present invention, a Harris corner detector having excellent repeatability characteristics is used when extracting feature points.
그리고, 영상모델에서 추출된 특징점을 중심으로 지역 고유특성을 나타내기 위해 제니케모멘트를 이용하는데, 이 제니케모멘트는 수학식 1과 같이 단위 디스크 상에 있는 영상을 서로 직교하는 기저함수에 사영하여 얻는다.In addition, Jenny's moment is used to express local inherent characteristics around the feature points extracted from the image model. The Jenny's moment is projected on the basis function of orthogonal to the images on the unit disk as shown in Equation 1 Get
여기서, f(x,y)는 영상, Vnm(x,y)는 기저함수를 나타낸다.Here, f (x, y) represents an image, and V nm (x, y) represents a basis function.
도 3은 제니케모멘트의 차수에 따른 방사다항식의 모양을 도시한 그래프이다. 일반적인 제니케모멘트는 도 3과 같은 직교방사다항식을 이용해 계산되기 때문에 모멘트의 절대값은 회전불변특성이 있으며, 특히 영상표현능력, 정보중복도, 잡음특성이 다른 모멘트에 비해 우수하다.3 is a graph showing the shape of the radial polynomial according to the order of the Zenike moment. Since the general Zenike moment is calculated using the orthogonal polynomial as shown in Fig. 3, the absolute value of the moment has a rotational invariant characteristic, and in particular, the image expression ability, information duplication, and noise characteristics are superior to other moments.
그러나, 제니케모멘트는 크기와 조명에 민감한 단점이 있다. 본 발명에서는 제니케모멘트의 크기 문제를 해결하기 위하여 영상모델을 스케일스페이스로 표현한 후 특징점을 추출한다. 이러한 스케일스페이스 방법은 피라미드기법을 이용하는 경우보다 코너를 보다 효과적으로 추출할 수 있다. 한편, 지역조명변화를 스케일조명변화로 모델링할 경우, 모멘트를 평균밝기로 정규화하면 수학식 2와 같이 조명에 불변 특성을 갖는 제니케모멘트를 얻는다.However, there is a drawback that the Zenike moment is sensitive to size and lighting. In the present invention, in order to solve the size problem of the Jenny Keen moment, the feature model is extracted after representing the image model in the scale space. This scale space method can extract corners more effectively than when using the pyramid technique. On the other hand, when modeling the local lighting change as the scale lighting change, normalizing the moment to the average brightness to obtain a Jenny Keenim moment that has an invariant characteristic in the lighting as shown in Equation 2.
여기서, f(x,y)는 영상, f'(x,y)는 새로운 밝기 영상, aL은 지역조명변화율, mf는 지역영상의 평균밝기, 그리고 Z는 제니케모멘트값이다.Where f (x, y) is the image, f '(x, y) is the new brightness image, a L is the local lighting change rate, m f is the average brightness of the local image, and Z is the Zenike moment value.
도 4는 본 발명에 따른 평균밝기로 정규화된 제니케모멘트의 조명에 따른 변화를 나타낸 도면으로서, 도 4a는 실제 조명 밝기에 따른 영상을 도시하고, 도 4b는 평균밝기로 정규화된 제니케모멘트를 적용했을 때의 제니케모멘트값을 도시한 그래프이며, 도 4c는 본 발명과 같이 평균밝기로 정규화된 제니케모멘트를 적용했을 때의 제니케모멘트값을 도시한 그래프이다.4 is a view showing a change according to the illumination of the Zenike Moment normalized to the average brightness according to the present invention, Figure 4a shows an image according to the actual illumination brightness, Figure 4b shows the Zenike Moment normalized to the average brightness Fig. 4C is a graph showing the Zenike moment values when the Zenike moments normalized to the average brightness are applied as in the present invention.
도 4b와 도 4c를 비교하면, 본 발명과 같이 평균밝기로 정규화된 제니케모멘트를 적용하면 영상의 조명스케일이 변화하더라도 거의 동일한 제니케모멘트값이 얻어짐을 알 수 있다.Comparing FIG. 4B with FIG. 4C, it can be seen that when the Zenike moment normalized to the average brightness is applied as in the present invention, almost the same Zenike moment value is obtained even if the illumination scale of the image changes.
이렇게 얻어진 모델영상과 3차원 캐드모델과 제니케모멘트값을 물체모델데이트베이스에 저장한다.The model image, 3D CAD model, and Jennyke moment value thus obtained are stored in the object model database.
도 5는 본 발명의 한 실시예에 따른 물체인식부의 물체인식과정을 도시한 동작 흐름도이다.5 is a flowchart illustrating an object recognition process of the object recognition unit according to an exemplary embodiment of the present invention.
임의의 물체에 대한 영상과 물체인식요청이 입력되면(S501), 입력영상을 스케일스페이스로 표현하고(S502), 입력영상의 특징점을 추출하며(S503), 평균밝기로 정규화된 제니케모멘트를 계산한다(S504). 여기서, 입력영상의 특징점은 해리스(Harris) 코너 검출기를 이용하여 검출하고, 수학식 2를 이용하여 평균밝기로 정규화된 제니케모멘트를 계산한다.When an image and an object recognition request for an arbitrary object are input (S501), the input image is represented in a scale space (S502), the feature points of the input image are extracted (S503), and the normalized moment of normalized brightness by average brightness is calculated. (S504). Here, the feature points of the input image are detected using a Harris corner detector, and the Zenikee moment normalized to the average brightness is calculated using Equation 2.
그리고, 입력영상의 제니케모멘트와 물체모델데이터베이스에 구축된 영상모델의 제니케모멘트 사이의 매칭확률을 계산한다(S505). 즉, 본 발명은 두 제니케모멘트의 안정도와 유사도를 확률적으로 반영하여 물체를 인식하는 확률적 물체인식방법을 이용한다. 입력영상과 i번째 영상모델과의 매칭확률, P(S|Mi)을 수학식 3을 이용하여 계산한다.Then, the matching probability between the Zenike moment of the input image and the Zenike moment of the image model constructed in the object model database is calculated (S505). That is, the present invention uses a stochastic object recognition method that recognizes objects by probabilistically reflecting the stability and similarity of two Zenike moments. The matching probability, P (S | M i ), between the input image and the i-th image model is calculated using Equation 3.
여기서, ωS는 수학식 4에 정의된 영상모델의 제니케모멘트의 안정도이고, ωD는 수학식 5에 정의된 영상모델과 입력영상의 제니케모멘트 사이의 유사도를 나타낸다.Here, ω S is the stability of the Zenike moment of the image model defined in Equation 4, ω D represents the similarity between the image model defined in Equation 5 and the Zenike moment of the input image.
여기서, 안정도는 특징점의 영상잡음 특성을 반영한 것으로 잡음에 의해 특징점이 변할 경우, 제니케모멘트의 표준편차가 작을수록 확률값을 더 많이 부여한다. 유사도는 입력영상 제니케모멘트와 영상모델 제니케모멘트 사이의 유클리드 거리로써, 값이 작을수록 유사도가 커지므로 확률값이 커진다.Here, the stability reflects the image noise characteristic of the feature point. When the feature point is changed by noise, the smaller the standard deviation of the Zenike moment, the more probability value is given. The similarity is the Euclidean distance between the input image Zenike moment and the image model Zenike moment. The smaller the value, the greater the similarity.
다음, 수학식 3의 확률적 보팅만을 이용하여 물체를 인식한다면 배경잡음에 의해 잘못 매칭될 확률이 있기 때문에, 매칭확률이 높은 영상모델에 대한 인식결과를 대응쌍을 통해 전역 매칭으로 검증한다. 최적의 대응쌍은 어파인(affine) 변환에 불변인 면적비를 이용하여 이상점을 제거하는 것으로 얻는다. 즉, 도 6에 도시된 바와 같이 매칭된 네 점(P1, P2, P3, P4), (P'1, P'2, P'3, P'4)이 있을 때, 영상모델의 면적비 와, 입력영상의 면적비 사이의 비가 문턱치와 다른 경우 네 번째 점을 이상점으로 간주하고 버린다. 이때, 앞 세 점은 정확하게 매칭되었다고 가정한다.Next, if the object is recognized using only the probabilistic voting of Equation 3, since there is a possibility that the object is mismatched due to background noise, the recognition result for the image model having a high matching probability is verified through the matching pair through global matching. The best matched pair is obtained by eliminating outliers using the area ratio invariant to the affine transformation. That is, when there are four matching points (P 1 , P 2 , P 3 , P 4 ), (P ' 1 , P' 2 , P ' 3 , P' 4 ) as shown in FIG. Area ratio of Area ratio of input image If the ratio between is different from the threshold, the fourth point is considered an outlier and discarded. In this case, it is assumed that the first three points match exactly.
이렇게 하여 입력영상과 영상모델 사이에 최적의 대응쌍이 만들어지면, 입력영상과 매칭 영상모델 사이의 영상 호모그래피를 계산한다. 즉, 임의의 뽑은 대응쌍으로부터 초기 호모그래피를 계산하고, 모든 대응쌍에 대해 LMedS 기법을 적용하여 최적의 호모그래피를 얻는다. 이 호모그래피는 3차원 캐드모델의 초기 자세를 얻는데 사용된다. n개의 영상모델의 점 Xm=(um,vm,1)T 과 대응하는 입력영상의 점 Xs=(us,vs,1)T가 주어질 경우, 두 대응점은 과 같은 관계식이 성립하며 H는 호모그래피로서, 의 수식이 성립한다. 따라서, 이렇게 영상모델의 점과 입력영상의 점 사이의 호모그래피가 구해지면, 이로부터 영상모델에 대응하는 입력영상의 점을 얻을 수 있다.In this way, when an optimal pair is created between the input image and the image model, the image homography between the input image and the matching image model is calculated. In other words, the initial homography is calculated from any matched pair and the LMedS technique is applied to all pairs to obtain an optimal homography. This homography is used to obtain the initial pose of the 3D CAD model. Given a point X m = (u m , v m , 1) T of n image models and a point X s = (u s , v s , 1) T of the input image, the two correspondence points The relational expression is established and H is homography, The formula of is established. Therefore, when homography between the point of the image model and the point of the input image is obtained, the point of the input image corresponding to the image model can be obtained from this.
도 7은 자세추적부의 물체추적방법을 도시한 동작 흐름도이다. 물체인식부의 물체인식과정에서 구한 입력영상과 매칭 영상모델의 호모그래피를 이용하여 인식된 물체의 3차원 캐드모델의 초기자세를 자동으로 계산하고, 모션을 계산하여 물체의 위치를 연속적으로 추적한다.7 is a flowchart illustrating an object tracking method of the posture tracking unit. The initial position of the three-dimensional CAD model of the recognized object is automatically calculated by using the input image obtained from the object recognition part and the homography of the matching image model, and the motion is continuously tracked by calculating the motion.
즉, 앞서 구한 호모그래피를 이용하여 미리 설정된 영상모델의 외곽점과 대응되는 입력영상의 외곽점을 계산한다(S71). 그리고, 3차원 캐드모델의 외곽점과 입력영상의 외곽점을 대응시키고 3차원 캐드모델을 입력영상의 카메라 좌표계로 변환한다(S72). 그리고, 3차원 캐드모델과 입력영상의 대응쌍으로부터 회전, 이동행렬을 계산하여 물체의 모션을 계산함으로써, 물체를 연속적으로 추적한다(S73). 이때, 물체는 라이(Lie) 대수학을 적용하여 실시간 추적한다.That is, the outer point of the input image corresponding to the outer point of the preset image model is calculated using the homography obtained above (S71). The outer point of the 3D CAD model corresponds to the outer point of the input image, and the 3D CAD model is converted into a camera coordinate system of the input image (S72). The object is continuously tracked by calculating the motion of the object by calculating the rotation and movement matrix from the corresponding pair of the 3D CAD model and the input image (S73). At this time, the object is tracked in real time by applying the Lie algebra.
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.Although the technical spirit of the present invention has been described above with reference to the accompanying drawings, it is intended to exemplarily describe the best embodiment of the present invention, but not to limit the present invention. In addition, it is obvious that any person skilled in the art may make various modifications and imitations without departing from the scope of the technical idea of the present invention.
본 발명에 따르면, 다양한 환경에서 인식이 강인하게 되므로 서비스 로봇과 같은 응용분야에서 인식 성능이 우수하다. 아울러, 본 발명은 서비스 로봇뿐만 아니라 군용 분야에서 무인 병기의 핵심기술로 이용될 수 있으며, 순항 미사일의 말단 유도나 무인 전차의 적기지 인식 등에 이용될 수도 있다. 또한, 본 발명은 영상 특징점의 강인한 매칭에 기반하기 때문에 항공영상 혹은 위성영상을 정합하는데 이용될 수 있다. According to the present invention, the recognition is robust in various environments, so the recognition performance is excellent in an application field such as a service robot. In addition, the present invention can be used as a core technology of an unmanned weapon in the military field as well as a service robot, it can be used for the guidance of the end of the cruise missile or the recognition of the enemy enemy of the drone. In addition, the present invention can be used to match aerial imagery or satellite imagery based on robust matching of image feature points.
도 1은 본 발명의 한 실시예에 따른 3차원 물체 인식 및 추적방법을 수행하는 시스템을 도시한 도면,1 is a diagram showing a system for performing a three-dimensional object recognition and tracking method according to an embodiment of the present invention,
도 2는 본 발명의 한 실시예에 따른 물체모델생성부의 물체모델데이터베이스 구축과정을 도시한 동작 흐름도,2 is an operation flowchart illustrating an object model database construction process of an object model generation unit according to an embodiment of the present invention;
도 3은 제니케모멘트의 차수에 따른 방사다항식의 모양을 도시한 그래프,3 is a graph showing the shape of the radial polynomial according to the order of the Zenike moment;
도 4는 본 발명에 따른 평균밝기로 정규화된 제니케모멘트의 조명에 따른 변화를 나타낸 도면으로서, 도 4a는 실제 조명 밝기에 따른 영상, 도 4b는 평균밝기로 정규화된 제니케모멘트를 적용했을 때의 제니케모멘트값을 도시한 그래프, 도 4c는 본 발명과 같이 평균밝기로 정규화된 제니케모멘트를 적용했을 때의 제니케모멘트값을 도시한 그래프,4 is a view showing a change according to the illumination of the Zenike Moment normalized to the average brightness according to the present invention, Figure 4a is an image according to the actual illumination brightness, Figure 4b when applying the Zenike Moment normalized to the average brightness 4C is a graph showing the Zenike moment values when the Zenike moments normalized to the average brightness are applied as in the present invention.
도 5는 본 발명의 한 실시예에 따른 물체인식부의 물체인식과정을 도시한 동작 흐름도,5 is an operation flowchart illustrating an object recognition process of an object recognition unit according to an embodiment of the present invention;
도 6은 본 발명에 따른 인식검증과정을 도시한 도면,6 is a diagram illustrating a recognition verification process according to the present invention;
도 7은 자세추적부의 물체추적방법을 도시한 동작 흐름도,7 is a flowchart illustrating an object tracking method of the posture tracking unit;
도 8은 본 발명에서 물체 인식을 위해 데이터베이스로 구축된 영상모델들을 도시한 도면,8 is a view showing image models constructed as a database for object recognition in the present invention;
도 9는 물체인식과정으로서, (a)는 입력영상, (b)는 지역적 제니케모멘트에 의한 특징점 추출, (c)는 확률적 보팅, (d)는 인식결과,9 is an object recognition process, (a) input image, (b) feature point extraction by local Zenike moment, (c) probabilistic voting, (d) recognition result,
도 10은 입력영상의 크기 변화에 따른 인식결과를 도시한 도면,10 is a diagram illustrating a recognition result according to a change in size of an input image;
도 11은 입력영상의 평면 회전에 따른 인식결과를 도시한 도면이다.11 is a diagram illustrating a recognition result according to plane rotation of an input image.
<도면의 주요 부분에 대한 부호의 간단한 설명><Brief description of symbols for the main parts of the drawings>
11; 영상입력부 12; 물체모델생성부11; An image input unit 12; Object model generator
13; 물체모델데이터베이스 14; 물체인식부13; Object model database 14; Object recognition part
15; 물체추적부15; Object tracking unit
Claims (21)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2003-0064170A KR100526018B1 (en) | 2003-09-16 | 2003-09-16 | Method for recognizing and tracking an object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2003-0064170A KR100526018B1 (en) | 2003-09-16 | 2003-09-16 | Method for recognizing and tracking an object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050027796A KR20050027796A (en) | 2005-03-21 |
| KR100526018B1 true KR100526018B1 (en) | 2005-11-08 |
Family
ID=37384992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2003-0064170A KR100526018B1 (en) | 2003-09-16 | 2003-09-16 | Method for recognizing and tracking an object |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100526018B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101068465B1 (en) | 2009-11-09 | 2011-09-28 | 한국과학기술원 | system and method of 3D object recognition using a tree structure |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100846167B1 (en) * | 2007-08-08 | 2008-07-14 | 주식회사 래도 | Apparatus and method for displaying output information of variable message sign board |
| KR100930626B1 (en) * | 2007-08-23 | 2009-12-09 | 전자부품연구원 | Object Posture Recognition Method of Robot with Stereo Camera |
| KR101031542B1 (en) * | 2008-04-28 | 2011-04-27 | 한양대학교 산학협력단 | Semantic active object recognition |
| KR100933957B1 (en) * | 2008-05-16 | 2009-12-28 | 전남대학교산학협력단 | 3D Human Body Pose Recognition Using Single Camera |
| KR20110064197A (en) | 2009-12-07 | 2011-06-15 | 삼성전자주식회사 | Object recognition system and method the same |
| KR101129328B1 (en) * | 2010-03-03 | 2012-03-26 | 광주과학기술원 | Apparatus and method for tracking target |
| KR101247220B1 (en) * | 2011-03-10 | 2013-03-25 | 서울대학교산학협력단 | Image processing apparatus and method using repetitive patterns |
| KR101165335B1 (en) * | 2011-04-19 | 2012-07-18 | 전남대학교산학협력단 | Exponential re-sampling method and moving object tracking using pateicle filter |
| KR101279484B1 (en) * | 2012-04-18 | 2013-06-27 | 한국항공우주연구원 | Apparatus and method for processing image |
| KR102306162B1 (en) * | 2017-03-21 | 2021-09-29 | 엘지전자 주식회사 | Method of configuring blocking region by indentifying blocking apparatus and robot implementing thereof |
-
2003
- 2003-09-16 KR KR10-2003-0064170A patent/KR100526018B1/en not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101068465B1 (en) | 2009-11-09 | 2011-09-28 | 한국과학기술원 | system and method of 3D object recognition using a tree structure |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050027796A (en) | 2005-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Walch et al. | Image-based localization using lstms for structured feature correlation | |
| JP6430064B2 (en) | Method and system for aligning data | |
| WO2019157924A1 (en) | Real-time detection method and system for three-dimensional object | |
| JP4644248B2 (en) | Simultaneous positioning and mapping using multi-view feature descriptors | |
| Liu et al. | Global localization with object-level semantics and topology | |
| US8467596B2 (en) | Method and apparatus for object pose estimation | |
| Gao et al. | Robust RGB-D simultaneous localization and mapping using planar point features | |
| US10554957B2 (en) | Learning-based matching for active stereo systems | |
| JP2018536244A (en) | Relocation system and method | |
| CN108229416B (en) | Robot SLAM method based on semantic segmentation technology | |
| KR100526018B1 (en) | Method for recognizing and tracking an object | |
| Gedik et al. | 3-D rigid body tracking using vision and depth sensors | |
| Cieslewski et al. | Matching features without descriptors: implicitly matched interest points | |
| Streiff et al. | 3D3L: Deep learned 3D keypoint detection and description for lidars | |
| Qian et al. | 3D object recognition by geometric context and Gaussian-mixture-model-based plane classification | |
| Ramisa et al. | Mobile robot localization using panoramic vision and combinations of feature region detectors | |
| Ashraf et al. | Motion retrieval using consistency of epipolar geometry | |
| Yousif et al. | 3D SLAM in texture-less environments using rank order statistics | |
| Bagchi et al. | Reg3DFacePtCd: registration of 3D point clouds using a common set of landmarks for alignment of human face images | |
| Mou et al. | Efficient visual odometry estimation using stereo camera | |
| Figueroa et al. | A combined approach toward consistent reconstructions of indoor spaces based on 6D RGB-D odometry and KinectFusion | |
| Ladjailia et al. | Automated detection of similar human actions using motion descriptors | |
| WO2017042852A1 (en) | Object recognition appratus, object recognition method and storage medium | |
| Yamada et al. | Pose estimation of a simple-shaped object based on poseclass using RGBD camera | |
| Li et al. | An RGBD-SLAM with Bi-directional PnP Method and Fuzzy Frame Detection Module |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080930 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |