KR101374726B1 - Feature descriptor generating device and method, image object recognition device and method using the same - Google Patents

Feature descriptor generating device and method, image object recognition device and method using the same Download PDF

Info

Publication number
KR101374726B1
KR101374726B1 KR1020120091137A KR20120091137A KR101374726B1 KR 101374726 B1 KR101374726 B1 KR 101374726B1 KR 1020120091137 A KR1020120091137 A KR 1020120091137A KR 20120091137 A KR20120091137 A KR 20120091137A KR 101374726 B1 KR101374726 B1 KR 101374726B1
Authority
KR
South Korea
Prior art keywords
descriptor
feature
feature point
image
generating
Prior art date
Application number
KR1020120091137A
Other languages
Korean (ko)
Other versions
KR20140001062A (en
Inventor
우운택
장영균
김주환
문승건
남택진
권동수
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20140001062A publication Critical patent/KR20140001062A/en
Application granted granted Critical
Publication of KR101374726B1 publication Critical patent/KR101374726B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인식하고자하는 객체의 형상, 객체 주변의 환경변화 및 객체 회전에 의한 인식 능력 저하를 보완할 수 있는 객체특징점 및 특징 기술자를 생성하고, 생성된 특징 기술자를 이용하여, 영상 객체를 인식하는 기술에 관한 것으로, 본 발명에 따른 특징 기술자 생성 장치는 영상 객체의 형상으로부터 설정된 기준값 이상의 객체특징점을 생성하는 특징점생성부 및 상기 특징점생성부에서 생성된 상기 객체특징점을 식별하는 특징 기술자를 생성하는 특징기술자 생성부를 포함하는 것을 기술적 특징으로 한다.The present invention generates an object feature point and feature descriptor that can compensate for the degradation of the recognition ability due to the shape of the object to be recognized, the environment change around the object and the rotation of the object, and recognizes an image object using the generated feature descriptor. According to an aspect of the present disclosure, a feature descriptor generating apparatus according to the present invention is characterized by generating a feature descriptor generating an object feature point of a predetermined reference value or more from a shape of an image object and a feature descriptor identifying the object feature point generated by the feature point generator. Technical features include a descriptor generation unit.

Description

특징 기술자 생성 장치 및 방법, 그를 이용한 영상 객체 인식 장치 및 방법{Feature descriptor generating device and method, image object recognition device and method using the same}Feature descriptor generating device and method, image object recognition device and method using the same

본 발명은 영상 객체 인식 기술에 관한 것으로, 인식하고자하는 객체의 형상, 객체 주변의 환경변화 및 객체 회전에 의한 인식 능력 저하를 보완할 수 있는 특징 기술자를 생성하고, 생성된 특징 기술자를 이용하여, 영상 객체를 인식할 수 있는 장치에 관한 것이다.The present invention relates to an image object recognition technology, and to generate a feature descriptor that can compensate for the degradation of the recognition ability due to the shape of the object to be recognized, the environment changes around the object and the rotation of the object, by using the generated feature descriptor, The present invention relates to a device capable of recognizing an image object.

일반적으로, 증강현실(增强現實, Augmented Reality)은 사용자의 현실 세계에 3차원 가상물체를 겹쳐 보여주는 것으로서, 현실 세계에 컴퓨터 기술로 만든 가상물체 및 정보를 융합, 보완해주는 기술을 말한다. 현실 세계에 실시간으로 부가 정보를 갖는 가상 세계를 더해 하나의 영상을 보여주므로, 혼합현실(MR: Mixed Reality)이라고도 한다. In general, Augmented Reality (Augmented Reality) is a superimposed three-dimensional virtual object in the user's real world, a technology that fuses and complements virtual objects and information made of computer technology in the real world. It is also referred to as mixed reality (MR) because it displays a single image by adding a virtual world having additional information in real time to the real world.

최근 2000년대 중반 이후 스마트폰의 등장 및 활성화됨에 따라 이 기술을 적용하면서 주목받기 시작했다. 가상현실(VR: Virtual Reality) 기술이 컴퓨터 그래픽이 만든 가상환경에서 사용자를 몰입하도록 함으로써 실제 환경을 볼 수 없는데 비해, 증강현실 기술은 실제 환경에 가상의 객체를 혼합하여 사용자가 실제 환경에서 보다 실감나는 부가 정보를 제공받을 수 있다. Recently, since the mid-2000s, with the advent and activation of smart phones, the technology began to attract attention. Virtual Reality (VR) technology immerses the user in the virtual environment created by computer graphics, making it impossible to see the real world, whereas augmented reality technology mixes virtual objects in the real world to make the user feel more real. I can be provided with additional information.

예를 들면 길을 가다 스마트폰 카메라로 주변을 비추면 근처에 있는 상점의 위치 및 전화번호, 지도 등의 정보가 입체영상으로 표시되고, 하늘을 비추면 날씨정보가 나타나는 등 다양한 분야에 적용되고 있다. For example, if you illuminate the street with a smartphone camera, information such as the location, phone number, and map of nearby stores is displayed in three-dimensional images, and the weather information is displayed when the sky is illuminated. .

하지만, 증강현실에서 객체를 인식함에 있어, 객체의 다양한 환경 변화 및 객체의 회전 등의 다양한 시점 변화에 강건한 객체 인식을 지원하지 못하고 있다. 특징점을 기반으로 하는 기술자(Descriptor)의 특성상 무늬가 부족한 객체, 객체의 3차원 회전, 객체가 놓인 환경의 변화 등에 강건하지 못하는 문제점이 있다.However, in recognizing an object in augmented reality, it does not support robust object recognition in various viewpoint changes such as various environment changes and object rotation of the object. Due to the characteristics of a descriptor based on a feature point, there is a problem that the object lacks a pattern, a three-dimensional rotation of the object, and a change in the environment in which the object is placed.

이와 관련하여, 한국공개특허(공개번호: 2011-0052962)는 객체 인식 방법 및 장치에 관한 것으로서, 에지의 방향성에 따라 에지 강도를 누적하는 에지 히스토그램을 이용하여 객체 영상을 표현하고 특징 벡터를 추출하는 방법에 대해 개시하고 있으나, 그 구체적인 방법에 있어서, 무늬가 부족한 객체나 객체가 3차원적으로 회전된 경우, 객체를 인식하는 기술에 대해서는 개시하고 있지 않다.In this regard, Korean Unexamined Patent Application Publication No. 2011-0052962 relates to an object recognition method and apparatus, which expresses an object image and extracts a feature vector using an edge histogram that accumulates edge strength according to the directionality of an edge However, in the specific method, there is not disclosed a technique of recognizing an object when an insufficient object or an object is three-dimensionally rotated.

대한민국 등록특허 공보 10-2011-0052962A, 2010. 05. 19.Republic of Korea Patent Publication 10-2011-0052962A, 2010. 05. 19.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 특징 기술자 생성 장치의 목적은, 영상 객체 형상의 에지로부터 기준값 이상의 객체특징점을 생성하고, 생성된 객체특징점에서 특징 기술자를 생성하는 장치를 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been proposed to solve the above-described problems, and an object of the feature descriptor generating apparatus according to the present invention is to generate an object feature point of a reference value or more from an edge of an image object shape, and generate the feature descriptor from the generated object feature point. It is to provide an apparatus for generating a.

다른 목적은, 기본특징점이 기준값을 미달할 경우, 보완특징점을 추가로 생성하여, 객체 인식 작업을 위한 객체특징점을 제공하는데 있다.Another object of the present invention is to provide an object feature point for object recognition by additionally generating supplementary feature points when the basic feature points fall below a reference value.

또 다른 목적은, 객체특징점의 위치에서 변화도 방향과 컬러 값을 고려한 특징 기술자를 생성하여, 객체특징점의 식별이 용이하도록 하는데 있다.Another object is to generate a feature descriptor in consideration of the gradient direction and color value at the position of the object feature point to facilitate identification of the object feature point.

또 다른 목적은, 특징기술자 라벨링부를 더 포함하여, 특징 기술자를 객체와 상응하도록 기호로 라벨링하여, 관리하도록 하는데 있다.
Still another object is to further include a feature descriptor labeling unit to label and manage a feature descriptor to correspond to an object.

본 발명에 따른 특징 기술자 생성 방법의 목적은, 영상에서 객체특징점을 생성하고, 이를 이용하여, 객체 인식이 가능한 특징 기술자를 생성하는 방법을 제공하는데 있다.An object of the method of generating a feature descriptor according to the present invention is to provide a method of generating an object feature point from an image and using the same, to generate a feature descriptor capable of object recognition.

다른 목적은, 기본특징점의 수가 기준값 이상인지 여부를 판단하고, 미달인 경우, 보완특징점을 생성하여, 객체 인식을 위한 기준값 이상의 객체특징점을 확보하는데 있다.Another object of the present invention is to determine whether the number of basic feature points is greater than or equal to the reference value, and if not, generate complementary feature points to secure the object feature points more than the reference value for object recognition.

또 다른 목적은, 입력된 영상에서 객체 영역을 분리하여, 객체 영역에 위치한 에지를 샘플링하여, 보완특징점을 추가 생성하는데 있다.Another object is to separate an object region from an input image, sample edges located in the object region, and further generate complementary features.

또 다른 목적은, 생성된 객체특징점의 위치에서 패치 영상을 획득하고, 패치 영상에서 각 컬러 성분의 스페이스에 해당하는 히스토그램 값으로 컬러 기술자를 생성하는데 있다.
Still another object is to acquire a patch image at the position of the generated object feature point and generate a color descriptor with a histogram value corresponding to the space of each color component in the patch image.

본 발명에 따른 영상 객체 인식 장치의 목적은, 객체 영상의 객체특징점 및 특징 기술자를 생성하고, 생성된 특징 기술자로 코드북 학습을 수행하여, 무늬가 적은 객체나 주변환경 또는 객체의 크기 변화에 안정적으로 인식 작업이 가능하도록 하는데 있다.An object of an image object recognition apparatus according to the present invention is to stably generate an object feature point and a feature descriptor of an object image and perform codebook learning with the generated feature descriptor, thereby stably responding to a small pattern of objects, a surrounding environment, or a change in size of the object. It is to make recognition work.

다른 목적은, 객체인식 분석부를 더 포함하여, 현재 입력된 객체의 코드북 결과와 기존에 저장된 객체의 코드북 결과를 매칭하여, 일치 여부를 판단하는데 있다.Another object is to further include an object recognition analysis unit, to match the codebook results of the currently input object and the codebook results of the existing object, to determine whether the match.

또 다른 목적은, 코드북학습부를 포함하여, 각 객체의 특징 기술자를 분기 함수로 정의하고, 분기된 각 노드의 히스토그램 값으로 구성된 백 오브 워드(BoW-Bag of Word)를 생성하는데 있다.Another purpose is to define a feature descriptor of each object as a branch function, including a codebook learning unit, and generate a BoW-Bag of Word composed of histogram values of each branched node.

또 다른 목적은, 기본특징점과 보완특징점을 포함한 객체특징점을 기준값 이상으로 제공하는데 있다.
Another object is to provide an object feature point including a basic feature point and a complementary feature point above a reference value.

본 발명에 따른 영상 객체 인식 방법은, 기본 객체의 코드북 학습 결과와 현재 입력된 객체의 코드북 학습 결과를 매칭하여, 객체 인식 결과를 제공할 수 있는 방법을 제공하는데 있다.The object recognition method according to the present invention provides a method for providing an object recognition result by matching a codebook learning result of a basic object with a codebook learning result of an object currently input.

본 발명에 따른 특징 기술자 생성 장치는 영상 객체 형상의 에지로부터 설정된 기준값 이상의 객체특징점을 생성하는 특징점생성부 및 상기 특징점생성부에서 생성된 상기 객체특징점을 식별하는 특징 기술자를 생성하는 특징기술자 생성부를 포함하는 것을 특징으로 한다.The apparatus for generating a feature descriptor according to the present invention includes a feature point generator that generates an object feature point of a predetermined reference value or more from an edge of an image object shape, and a feature descriptor generator that generates a feature descriptor that identifies the object feature point generated by the feature point generator. Characterized in that.

또한, 본 발명에 따른 특징 기술자 생성 장치에 있어서, 특징점생성부는 영상 객체의 빠른 코너 탐색(Fast Corner Detection)으로 기본특징점을 생성하는 기본특징점 생성부, 생성된 상기 기본특징점의 수가 기준치 이상인지 여부를 판단하는 특징점기준 판단부 및 상기 기본특징점 이외에 상기 영상 객체의 에지 샘플링으로 보완특징점을 생성하는 보완특징점 생성부를 포함하는 것을 기술적 특징으로 한다.In the apparatus for generating a feature descriptor according to the present invention, the feature point generation unit may include a basic feature point generation unit for generating a basic feature point by fast corner detection of an image object, and whether the number of generated basic feature points is greater than or equal to a reference value. And a complementary feature point generator for generating a supplementary feature point by edge sampling of the image object in addition to the feature point reference determiner and the basic feature point to be determined.

또한, 본 발명에 따른 특징 기술자 생성 장치에 있어서, 특징기술자 생성부는 상기 객체특징점의 위치에서 변화도 방향의 값에 따른 변화도 방향 기술자를 생성하는 변화도방향기술자 생성부, 상기 객체특징점의 위치에서 패치 영상을 추출하여, 컬러 값에 따른 컬러 기술자를 생성하는 컬러기술자 생성부 및 상기 객체특징점에서 생성된 상기 방향 기술자와 상기 컬러 기술자의 값을 통합하여, 특징 기술자를 생성하는 특징기술자 통합부를 포함하는 것을 특징으로 한다.
Also, in the feature descriptor generating apparatus according to the present invention, the feature descriptor generator is a gradient descriptor descriptor for generating a gradient descriptor according to a value of the gradient direction at the position of the object feature point, at the position of the object feature point. And a feature descriptor integrator for extracting a patch image, generating a color descriptor according to a color value, and integrating a value of the direction descriptor and the color descriptor generated at the object feature point to generate a feature descriptor. It is characterized by.

본 발명에 따른 특징 기술자 생성 방법은 (a) 영상입력부를 이용하여, 인식 대상인 객체의 영상 프레임을 입력하는 단계, (b) 특징점생성부를 이용하여, 입력된 영상 객체의 객체특징점을 기준값 이상 생성하는 단계 및 (c) 특징기술자 생성부를 이용하여, 생성된 상기 객체특징점의 특징 기술자를 생성하는 단계를 포함하는 것을 특징으로 한다.The method of generating a feature descriptor according to the present invention includes (a) inputting an image frame of an object to be recognized using an image input unit, and (b) generating an object characteristic point of an input image object by a feature point generator or more by a reference value or more. And (c) generating a feature descriptor of the generated object feature point using the feature descriptor generator.

또한, 본 발명에 따른 특징 기술자 생성 방법에 있어서, (b) 단계는 (b-1) 기본특징점 생성부를 이용하여, 빠른 코너 탐색 방식으로 영상 객체의 기본특징점을 생성하는 단계, (b-2) 특징점기준 판단부를 이용하여, 상기 기본특징점의 수가 기준치 이상인지 여부를 판단하는 단계 및 (b-3) 상기 (b-2) 단계에서 상기 기본특징점의 수가 기준치 이상이 아니라고 판단될 경우, 보완특징점 생성부를 이용하여, 영상 객체의 보완특징점을 생성하는 단계를 포함하는 것을 특징으로 한다.Also, in the method for generating a feature descriptor according to the present invention, step (b) includes: (b-1) generating a basic feature point of the image object by a quick corner search method using the basic feature point generation unit, (b-2) Determining whether the number of the basic feature points is greater than or equal to the reference value using the feature point criterion determination unit; and (b-3) if it is determined in step (b-2) that the number of the basic feature points is not greater than the reference value, generating the supplementary feature points. And generating a complementary feature point of the image object using the unit.

또한, 본 발명에 따른 특징 기술자 생성 방법에 있어서, (b-3) 단계는 (b-3-1) 객체 영상을 세그먼테이션하여, 배경 영역과 객체 영역을 분리하는 단계, (b-3-2) 영상 전체의 에지 중에 배경 영역에 둘러싸인 에지를 제거하여, 객체 영역의 에지를 추출하는 단계 및 (b-3-3) 상기 객체 영역에 위치한 에지의 랜덤한 위치에서 보완특징점을 생성하는 단계를 포함하는 것을 특징으로 한다. In the method of generating a feature descriptor according to the present invention, the step (b-3) may include (b-3-1) segmenting the object image to separate the background area and the object area, and (b-3-2) Extracting an edge of the object region by removing the edge surrounded by the background region among the edges of the entire image, and (b-3-3) generating a complementary feature point at a random position of the edge located in the object region. It is characterized by.

또한, 본 발명에 따른 특징 기술자 생성 방법에 있어서, (c) 단계는 (c-1) 변화도방향기술자 생성부를 이용하여, 상기 (b) 단계에서 생성된 상기 객체특징점의 위치에서 변화도 방향 기술자를 생성하는 단계, (c-2) 컬러기술자 생성부를 이용하여, 상기 객체특징점의 위치에서 컬러 기술자를 생성하는 단계 및 (c-3) 특징기술자 통합부를 이용하여, 상기 변화도 방향 기술자와 상기 컬러 기술자의 값을 통합하여, 특징기술자를 생성하는 단계를 포함하는 것을 특징으로 한다.
In addition, in the method for generating a feature descriptor according to the present invention, step (c) is a change degree direction descriptor at the position of the object feature point generated in step (b) using the change degree direction descriptor generation unit. Generating a color descriptor, (c-2) using a color descriptor generator, and generating a color descriptor at a position of the object feature point, and (c-3) using a feature descriptor integrator, the gradient diagram descriptor and the color descriptor. Incorporating the values of the descriptors, thereby generating the feature descriptors.

본 발명에 따른 영상 객체 인식 장치는 인식 대상인 객체의 영상을 취득하는 영상취득부, 상기 영상취득부에서 전달된 영상의 객체 인식 작업을 제어하는 객체인식 제어부, 상기 영상에서 객체특징점을 생성하고, 상기 객체특징점의 위치에서 특징 기술자를 생성하는 특징기술자 생성장치부, 상기 특징 기술자를 입력받아 랜덤 포레스트 코드북 학습을 수행하는 코드북학습부 및 상기 특징 기술자 및 상기 코드북 학습의 결과 정보를 각 객체별 정보로 저장하는 객체정보 저장부를 포함하는 것을 특징으로 한다.
In accordance with another aspect of the present invention, an apparatus for recognizing an image object includes an image acquisition unit for acquiring an image of an object to be recognized, an object recognition controller for controlling an object recognition operation of an image transferred from the image acquisition unit, and generating an object characteristic point from the image. Feature descriptor generation unit for generating a feature descriptor at the location of the object feature point, a codebook learning unit for receiving the feature descriptor to perform a random forest codebook learning and storing the result information of the feature descriptor and the codebook learning as information for each object Characterized in that it comprises an object information storage unit.

본 발명에 따른 영상 객체 인식 방법은 (d) 영상취득부(10)를 이용하여, 인식 대상인 객체의 영상 프레임을 취득하는 단계, (e) 특징기술자 생성장치부(100)를 이용하여, 상기 (d) 단계에서 취득된 영상 프레임 상의 객체 특징 기술자를 생성하는 단계, (f) 코드북학습부(300)를 이용하여, 객체 특징 기술자를 코드북 학습하여, 객체의 BoW 히스토그램을 생성하는 단계 및 (g) 객체인식 분석부(500)를 이용하여, 상기 (f) 단계에서 생성된 객체의 BoW 히스토그램 정보와 기존에 저장된 기본 객체의 BoW 히스토그램 정보를 매칭하여, 객체의 일치 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.In accordance with another aspect of the present invention, there is provided a method of recognizing an image object using (d) acquiring an image frame of an object to be recognized using the image acquisition unit 10, (e) using the feature descriptor generating unit 100, generating an object feature descriptor on the image frame obtained in step d); (f) using the codebook learning unit 300 to codebook learn the object feature descriptor to generate a BoW histogram of the object; and (g) And matching the BoW histogram information of the object generated in the step (f) with the BoW histogram information of the existing basic object by using the object recognition analyzer 500, and determining whether the objects match. It features.

이상에서 설명한 바와 같이, 본 발명에 따른 특징 기술자 생성 장치는, 영상 객체 형상의 에지로부터 기준값 이상의 객체특징점을 생성하고, 생성된 객체특징점에서 특징 기술자를 생성하는 장치를 제공하여, 객체 인식 작업의 성능을 향상시킬 수 있는 효과가 있다.As described above, the feature descriptor generating apparatus according to the present invention provides an apparatus for generating an object feature point of a reference value or more from an edge of an image object shape and generating a feature descriptor at the generated object feature point, thereby performing performance of an object recognition operation. There is an effect to improve.

또한, 기본특징점이 기준값을 미달할 경우, 보완특징점을 추가로 생성함으로써, 객체 인식 작업을 위한 객체특징점을 제공할 수 있어, 다양한 형상의 객체 인식 작업에 적용할 수 있는 효과가 있다. In addition, when the basic feature point is less than the reference value, by additionally creating a supplementary feature point, it is possible to provide an object feature point for the object recognition operation, there is an effect that can be applied to the object recognition operation of various shapes.

또한, 객체특징점의 위치에서 변화도 방향과 컬러 값을 고려한 특징 기술자를 생성하여, 각 객체특징점의 식별이 용이하며, 나아가 각 객체의 식별력을 향상시킬 수 있는 효과가 있다.In addition, by generating a feature descriptor in consideration of the degree of change and the color value at the position of the object feature point, it is easy to identify each object feature point, and further has the effect of improving the identification of each object.

또한, 특징기술자 라벨링부를 더 포함하여, 특징 기술자를 객체와 상응하도록 기호로 라벨링하여, 각 객체별 특징 기술자를 체계적으로 관리할 수 있는 효과가 있다.
In addition, a feature descriptor labeling unit may be further included, so that the feature descriptor may be labeled with a symbol to correspond to the object, so that the feature descriptor for each object may be systematically managed.

본 발명에 따른 특징 기술자 생성 방법은, 영상에서 객체특징점을 생성하고, 이를 이용하여, 객체 인식이 가능한 특징 기술자를 생성할 수 있는 방법을 제공할 수 있는 효과가 있으며, 이러한 특징 기술자를 이용한 객체 인식 기능을 증강현실 분야에 다양하게 응용할 수 있는 효과가 있다.The feature descriptor generation method according to the present invention has an effect of providing a method for generating an object feature point from an image and using the feature descriptor to generate a feature descriptor capable of object recognition, and using the feature descriptor to recognize an object. There is an effect that can be applied to a variety of functions in the field of augmented reality.

또한, 기본특징점의 수가 기준값 이상인지 여부를 판단하고, 미달인 경우, 보완특징점을 생성함으로써, 무늬가 적은 객체에 관해서도 객체 인식을 위한 기준값 이상의 객체특징점을 확보할 수 있는 효과가 있다.In addition, by determining whether the number of basic feature points is greater than or equal to the reference value, and when the number of basic feature points is less than or equal to, generating complementary feature points, there is an effect that an object feature point equal to or greater than the reference value for object recognition can be secured even for an object having a small pattern.

또한, 입력된 영상에서 객체 영역을 분리하여, 객체 영역에 위치한 에지를 샘플링하여, 보완특징점을 추가 생성할 수 있는 효과가 있다.In addition, by separating the object region from the input image, by sampling the edge located in the object region, there is an effect that can additionally create a complementary feature point.

또한, 객체특징점의 위치에서 패치 영상을 획득하고, 패치 영상에서 각 컬러 성분의 스페이스에 해당하는 히스토그램 값으로 컬러 기술자를 생성하여, 제공할 수 있는 효과가 있다.In addition, it is possible to obtain a patch image at the position of the object feature point, generate a color descriptor with a histogram value corresponding to the space of each color component in the patch image, and provide the same.

또한, 특징 기술자를 객체와 상응하는 기호로 라벨링하여, 각 객체별 특징 기술자를 체계적으로 관리할 수 있으며, 각 객체별 특징 기술자를 분석하기 용이한 효과가 있다.
Also, by labeling feature descriptors with symbols corresponding to objects, feature descriptors for each object can be managed systematically, and feature descriptors for each object can be easily analyzed.

본 발명에 따른 영상 객체 인식 장치는, 객체 영상의 객체특징점 및 특징 기술자를 생성하고, 생성된 특징 기술자로 코드북 학습을 수행함으로써, 무늬가 적은 객체나 주변환경 또는 객체의 크기 변화에 안정적으로 객체 인식 작업이 가능한 효과가 있다.The image object recognition apparatus according to the present invention generates object feature points and feature descriptors of an object image, and performs codebook learning with the generated feature descriptors, thereby stably recognizing objects with a small pattern of objects, an environment, or a change in size of the object. Work is possible.

또한, 객체인식 분석부를 더 포함함으로써, 현재 입력된 객체의 코드북 결과와 기존에 저장된 객체의 코드북 결과를 매칭하여, 일치 여부를 정확하고 신속하게 판단할 수 있는 효과가 있다.In addition, by further including an object recognition analysis unit, by matching the codebook results of the currently input object and the codebook results of the previously stored object, it is possible to determine whether the match is accurate and quickly.

또한, 코드북학습부를 포함함으로써, 각 객체의 특징 기술자를 분기 함수로 정의하고, 분기된 각 노드의 히스토그램 값으로 구성된 백 오브 워드(BoW-Bag of Word)를 생성할 수 있는 효과가 있다.
In addition, by including a codebook learning unit, it is possible to define a feature descriptor of each object as a branch function, and generate a BoW-Bag of Word composed of histogram values of each branched node.

본 발명에 따른 영상 객체 인식 방법은, 기본 객체의 코드북 학습 결과와 현재 입력된 객체의 코드북 학습 결과를 매칭함으로써, 객체 유사도 판별에 의한 정확한 객체 인식 결과를 제공할 수 있는 효과가 있다.The image object recognition method according to the present invention has an effect of providing an accurate object recognition result by object similarity determination by matching the codebook learning result of the basic object with the codebook learning result of the currently input object.

도 1은 본 발명에 따른 특징 기술자 생성 장치의 전체 구성을 나태는 도면.
도 2는 본 발명에 따른 특징 기술자 생성 장치에 있어서, 특징점생성부의 상세 구성을 나타내는 도면.
도 3a 내지 도 3d는 본 발명에 따른 특징 기술자 생성 장치에 있어서, 객체 특징점 생성 영상의 실시예를 나타내는 영상 프레임들.
도 4는 본 발명에 따른 특징 기술자 생성 장치에 있어서, 특징점생성부의 성능과 종래 기술의 성능을 비교하는 결과 그래프.
도 5는 본 발명에 따른 특징 기술자 생성 장치에 있어서, 특징기술자 생성부의 상세 구성을 나타내는 도면.
도 6은 본 발명에 따른 특징 기술자 생성 장치에 있어서, 컬러 기술자 생성을 설명하는 개념도.
도 7은 본 발명에 따른 특징 기술자 생성 방법의 전체 흐름도.
도 8은 본 발명에 따른 특징 기술자 생성 방법에 있어서, S40 단계의 상세 흐름도.
도 9a 및 도 9b는 본 발명에 따른 특징 기술자 생성 방법에 있어서, S40 단계의 일실시예를 나타내는 영상 프레임.
도 10은 본 발명에 따른 특징 기술자 생성 방법에 있어서, S50 단계의 상세 흐름도.
도 11은 본 발명에 따른 영상 객체 인식 장치의 전체 구성을 나타내는 도면.
도 12a 내지 도 12b는 본 발명에 따른 영상 객체 인식 장치에 있어서, 코드북학습부의 실행 개념을 설명하는 개념도.
도 13은 본 발명에 따른 영상 객체 인식 장치에 있어서, 학습된 기본 객체 영상 및 각 객체별 매칭 영상의 실시예를 나타내는 영상 프레임들.
도 14는 본 발명에 따른 영상 객체 인식 방법의 전체 흐름도.1 is a diagram showing the overall configuration of a feature descriptor generating device according to the present invention;
Fig. 2 is a diagram showing a detailed configuration of a feature point generator in the feature descriptor generating device according to the present invention.
3A to 3D are image frames illustrating an embodiment of an object feature point generation image in the apparatus for generating a feature descriptor according to the present invention.
Figure 4 is a result graph comparing the performance of the feature point generation unit and the performance of the prior art in the feature descriptor generating apparatus according to the present invention.
Fig. 5 is a diagram showing the detailed configuration of a feature descriptor generating unit in the feature descriptor generating device according to the present invention.
Fig. 6 is a conceptual diagram illustrating color descriptor generation in the feature descriptor generating apparatus according to the present invention.
7 is a general flow diagram of a method for generating a feature descriptor in accordance with the present invention.
8 is a detailed flowchart of step S40 in the method for generating a feature descriptor according to the present invention;
9A and 9B are image frames illustrating an embodiment of step S40 in the method for generating a feature descriptor according to the present invention.
10 is a detailed flowchart of step S50 in the method for generating a feature descriptor according to the present invention;
11 is a view showing the overall configuration of the image object recognition apparatus according to the present invention.
12A to 12B are conceptual views illustrating an execution concept of a codebook learning unit in the image object recognition apparatus according to the present invention.
FIG. 13 is a view illustrating image frames representing an embodiment of a learned basic object image and a matching image for each object in the image object recognition apparatus according to the present invention. FIG.
14 is a flowchart of an image object recognition method according to the present invention;

이하, 본 발명에 따른 특징 기술자 생성 장치 및 방법, 그를 이용한 영상 객체 인식 장치 및 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
Hereinafter, a detailed description for implementing the feature descriptor generating apparatus and method, the image object recognition apparatus and the method using the same according to the present invention will be described.

[도 1]은 본 발명에 따른 특징 기술자 생성 장치의 구성을 나타내는 도면으로, 영상입력부(110), 특징점생성부(120) 및 특징기술자 생성부(130)를 포함한다.1 is a diagram illustrating a configuration of a feature descriptor generating apparatus according to the present invention, and includes an image input unit 110, a feature point generator 120, and a feature descriptor generator 130.

상기 영상입력부(110)는 인식 대상인 객체를 포함하는 영상 프레임을 입력하는 역할을 하며, 상기 영상입력부(110)에서 입력된 영상 프레임은 상기 특징점생성부(120)에 전달된다.The image input unit 110 serves to input an image frame including an object to be recognized, and the image frame input from the image input unit 110 is transmitted to the feature point generator 120.

상기 특징점생성부(120)는 상기 영상입력부(110)에서 입력된 영상 프레임의 객체 형상으로부터 설정된 기준값 이상의 객체특징점을 생성하는 역할을 하며, 본 발명에 있어서, 상기 객체특징점은 영상 내 위치한 객체 고유의 형상 특징점이라 정의할 수 있으며, 빠른 코너 탐색(Fast Corner Detection)으로 생성된 기본특징점과 객체영역의 에지 샘플링으로 생성된 보완특징점을 포함한다.The feature point generator 120 may generate an object feature point of a predetermined reference value or more from an object shape of an image frame input from the image input unit 110. In the present invention, the object feature point may be unique to an object located in an image. It can be defined as a shape feature point and includes basic feature points generated by fast corner detection and complementary feature points generated by edge sampling of an object region.

본 발명에 따른 상기 특징점생성부(120)는 [도 2]에 도시된 바와 같이, 기본특징점 생성부(121), 특징점기준 판단부(122) 및 보완특징점 생성부(123)를 포함한다.The feature point generator 120 according to the present invention includes a basic feature point generator 121, a feature point reference determiner 122, and a complementary feature point generator 123, as shown in FIG. 2.

상기 기본특징점 생성부(121)는 빠른 코너 탐색으로 영상 객체의 기본특징점을 생성하는 역할을 하며, 본 발명의 실시예에서 빠른 코너 탐색으로 생성된 상기 기본특징점은 [도 3a]에 도시된 노란점이다. The basic feature point generation unit 121 serves to generate the basic feature point of the image object by the quick corner search, and the basic feature point generated by the quick corner search in the embodiment of the present invention is a yellow dot shown in FIG. 3A. to be.

상기 기본특징점 생성부(121)에서 생성된 기본특징점은 영상 객체의 형상에 따라 그 수가 달라지며, 객체의 형상이 단조로울 경우, 객체를 인식할 수 있는 기본특징점을 확보하기 어려울 수 있다.The number of basic feature points generated by the basic feature point generator 121 varies depending on the shape of the image object, and when the shape of the object is monotonous, it may be difficult to secure the basic feature point for recognizing the object.

상기 특징점기준 판단부(122)는 상기 기본특징점 생성부(121)에서 생성된 상기 기본특징점의 수가 기준치 이상 즉, 객체를 인식할 수 있는 기본적인 객체특징점의 수를 만족하는지 여부를 판단하는 역할을 하며, 상기 특징점기준 판단부(122)에서 상기 기본특징점의 수가 기준치 미만이라 판단될 경우, 상기 보완특징점 생성부(123)를 통해 보완특징점을 생성 신호를 전달하게 된다.The feature point reference determiner 122 determines whether the number of basic feature points generated by the basic feature point generator 121 satisfies or exceeds a reference value, that is, the number of basic object feature points that can recognize an object. When the feature point reference determiner 122 determines that the number of the basic feature points is less than the reference value, the feature point generation signal is transmitted through the complementary feature point generator 123.

상기 보완특징점 생성부(123)는 상기 특징점기준 판단부(122)의 제어신호에 따라 영상 객체의 보완특징점을 생성하는 역할을 하며, 본 발명에 따른 상기 보완특징점은 영상 객체의 에지를 샘플링하여 생성한다.The complementary feature point generator 123 serves to generate a supplementary feature point of an image object according to a control signal of the feature point reference determiner 122. The complementary feature point according to the present invention is generated by sampling an edge of an image object. do.

[도 3b] 내지 [도 3d]는 본 발명에 따른 상기 보완특징점 생성부(123)의 보완특징점의 생성을 나타내는 일실시예로, 상기 보완특징점 생성부(123)는 [도 3b]의 (a)에 도시된 바와 같이, 세그먼테이션(segmentation)으로 배경영역과 객체 영역을 분리한다.3B to 3D illustrate an embodiment of generating a supplementary feature point of the supplementary feature point generator 123 according to the present invention. The supplementary feature point generator 123 is shown in FIG. 3B. As shown in Fig. 2), the background region and the object region are separated by segmentation.

즉, 본 발명에 따른 세그먼테이션은 인식 대상인 객체가 영상 프레임의 중앙에 위치한다고 가정 후, 영상의 가장자리 부분의 1픽셀(pixel) 영역의 컬러값을 검사하여, 배경영역의 컬러값 범위를 설정하게 된다.That is, in the segmentation according to the present invention, after assuming that the object to be recognized is located in the center of the image frame, the color value of the background area is set by inspecting the color value of the 1 pixel area of the edge of the image and setting the color value range of the background area. .

또한, [도 3c]의 (a)에 도시된 바와 같이, 영상의 바깥쪽부터 안쪽 방향으로 각 픽셀의 컬러값이 설정된 배경영역의 컬러값 범위에 있는지 여부를 판별하여, (b)와 같이, 객체영역과 배경영역을 분리하는 것이다.In addition, as shown in (a) of FIG. 3C, it is determined whether the color value of each pixel is in the color value range of the set background area from the outside of the image to the inward direction, as shown in (b), It is to separate object area and background area.

더불어, 영상 전체에 걸쳐서 생성된 에지 중에 [도 3c]의 (a)에 도시된 바와 같이, 에지의 주변 8방향이 모두 배경영역으로 둘러싸인 경우, 제거하고, (b)에 도시된 바와 같이, 에지의 주변 8방향 중 절반 이상 또는 전체가 객체영역으로 둘러싸인 경우, 남겨 놓아 최종적으로 객체영역의 에지만을 추출하게 된다.In addition, as shown in (a) of FIG. 3C among the edges generated throughout the image, when all eight peripheral directions of the edge are surrounded by the background area, the edge is removed, and as shown in (b), the edge is removed. If more than half or all of the surrounding eight directions are surrounded by the object area, only the edge of the object area is finally extracted.

이때, 본 발명에 따른 상기 보완특징점 생성부(123)는 상기 객체영역 상에 위치한 에지의 랜덤 위치에서 객체특징점을 생성하는데 이러한 객체특징점이 상기 보완특징점이며, 본 발명의 실시예에서는 [도 3a]에 도시된 바와 같이, 빨간점으로 표시하였다. At this time, the complementary feature point generation unit 123 according to the present invention generates an object feature point at a random position of an edge located on the object area. The object feature point is the complementary feature point, and in the embodiment of the present invention [FIG. 3A]. As shown in, red dots are indicated.

[도 4]는 종래 빠른 코너 탐색으로 특징점을 생성한 결과와 본 발명에 따른 빠른 코너 탐색과 랜덤 에지 탐색으로 객체특징점을 생성한 결과를 비교할 수 있는 그래프로, 본 발명에 따른 상기 특징점생성부(120)를 통해, 기본특징점과 보완특징점을 포함한 기준치 이상의 객체특징점을 생성함으로써, 종래 빠른 코너 탐색만을 수행하는 데 비해 객체의 형상에 구애받지 않고, 객체를 인식할 수 있는 객체특징점을 충분히 확보할 수 있음을 확인할 수 있다.4 is a graph that can compare the result of generating a feature point by the conventional fast corner search and the result of generating the object feature point by the fast corner search and the random edge search according to the present invention, the feature point generation unit according to the present invention ( Through 120), by generating an object feature point above the reference value including the basic feature and the supplementary feature, it is possible to secure an object feature that can recognize the object sufficiently regardless of the shape of the object, compared to the conventional fast corner search. It can be confirmed.

상기 특징기술자 생성부(130)는 상기 특징점생성부(120)와 연결되어, 상기 특징점생성부(120)에서 생성된 객체특징점을 식별하는 특징 기술자를 생성하는 역할을 하며, 본 발명에 따른 상기 특징 기술자는 각 객체특징점의 변화도 방향의 값을 기반으로 하는 변화도 방향 기술자와 각 객체특징점의 컬러 값을 기반으로 하는 컬러 기술자를 포함한다.The feature descriptor generator 130 is connected to the feature point generator 120 to generate a feature descriptor for identifying the object feature point generated by the feature point generator 120. The descriptor includes a gradient direction descriptor based on the gradient direction value of each object feature point and a color descriptor based on the color value of each object feature point.

본 발명에 따른 특징기술자 생성부(130)는 [도 5]에 도시된 바와 같이, 변화도방향기술자 생성부(131), 컬러기술자 생성부(132), 특징기술자 통합부(133) 및 특징기술자 라벨링부(134)를 포함한다.Feature descriptor generation unit 130 according to the present invention, as shown in Figure 5, the gradient direction descriptor generation unit 131, color descriptor generation unit 132, feature descriptor integration unit 133 and feature descriptor And a labeling unit 134.

상기 변화도방향기술자 생성부(131)는 상기 특징점생성부(120)에서 생성된 상기 객체특징점의 위치에서 변화도 방향의 값에 따른 변화도 방향 기술자를 생성하는 역할을 하며, 본 발명의 실시예에서 상기 변화도 방향 기술자는 그레이 값 변화도방향 값을 SURF(Speeded Up Robust Feature) 기술자로 생성하였다. The gradient direction descriptor generator 131 generates a gradient degree descriptor according to a gradient degree value at the position of the object feature point generated by the feature point generator 120. The gradient direction descriptor generated a gray value gradient direction value by a speeded up robust feature (SURF) descriptor.

상기 컬러기술자 생성부(132)는 상기 객체특징점의 위치에서 일정 영역의 패치 영상을 추출하여, 상기 패치 영상의 컬러 값으로 컬러 기술자를 생성하는 역할을 하며, 본 발명의 실시예에서 상기 컬러기술자 생성부(132)는 [도 6]에 도시된 바와 같이, 상기 객체특징점의 위치에서 10ㅧ10의 패치 영상을 생성하고, 생성된 상기 패치 영상 안에서 R, G, B 스페이스에 해당하는 히스토그램을 생성하였으며, 각 컬러당 히스토그램의 bin 수를 30개로 설정하여, 하나의 객체특징점에 관한 패치 영상에 관해 총 90개의 컬러 히스토그램 값을 생성하였다.The color descriptor generation unit 132 extracts a patch image of a predetermined region from the position of the object feature point, and generates a color descriptor using color values of the patch image. In the embodiment of the present invention, the color descriptor generation is performed. As shown in FIG. 6, the unit 132 generates a 10 × 10 patch image at the position of the object feature point, and generates a histogram corresponding to R, G, and B spaces in the generated patch image. The number of bins of the histograms per color was set to 30 to generate a total of 90 color histogram values for the patch image of one object feature point.

본 발명의 실시예에서 상기 컬러 기술자 생성 작업에 RGB 히스토그램을 이용하였지만, 이에 한정되지 않고, YUV, YCbCr, HSV 등 다양한 컬러 히스토그램의 적용이 가능하다.In the embodiment of the present invention, the RGB histogram is used to generate the color descriptor. However, the present invention is not limited thereto, and various color histograms such as YUV, YCbCr, and HSV may be applied.

상기 특징기술자 통합부(133)는 상기 변화도 방향 기술자와 상기 컬러 기술자의 값을 통합하여, 특징 기술자를 생성하는 역할을 하며, 본 발명의 실시예에서는 변화도 방향과 컬러값을 고려한 154차원의 값을 가지는 특징 기술자를 생성한다. 이러한 본 발명에 따른 특징 기술자를 통해 영상 객체에서 생성된 각 객체특징점을 정확하게 식별할 수 있는 것이다.The feature descriptor integrating unit 133 integrates the values of the gradient descriptors and the color descriptors to generate feature descriptors. In an embodiment of the present invention, the feature descriptor integration unit 133 has a 154-dimensional Create a feature descriptor with a value. Through the feature descriptor according to the present invention, it is possible to accurately identify each object feature point generated from the image object.

상기 특징기술자 라벨링부(134)는 상기 특정기술자통합부(133)에서 생성된 상기 특징 기술자를 각 객체를 식별하는 기호로 라벨링하는 역할을 하며, 본 발명에 따른 상기 특징기술자 라벨링부(134)를 통해 각 객체의 특징 기술자를 체계적으로 관리할 수 있는 효과가 있는 것이다.
The feature descriptor labeling unit 134 serves to label the feature descriptor generated by the specific descriptor integration unit 133 with a symbol for identifying each object, and the feature descriptor labeling unit 134 according to the present invention. Through this, the feature descriptor of each object can be managed systematically.

이상에서 설명한 바와 같이, 본 발명에 따른 특징 기술자 생성 장치를 적용 시, 영상 객체 형상의 에지로부터 기준값 이상의 객체특징점을 생성하고, 생성된 객체특징점에서 변화도 방향 및 컬러 값을 고려한 특징 기술자를 생성하는 장치를 제공하여, 객체 인식 작업의 성능을 향상시킬 수 있는 효과를 누릴 수 있다.
As described above, when the feature descriptor generating apparatus according to the present invention is applied, an object feature point that is greater than or equal to a reference value is generated from an edge of an image object shape, and a feature descriptor that considers the gradient direction and color values is generated from the generated object feature point. By providing a device, it is possible to enjoy the effect of improving the performance of the object recognition operation.

이러한 본 발명에 따른 특징 기술자 생성 방법을 설명하면 다음과 같다.Referring to the feature descriptor generation method according to the present invention as follows.

[도 7]은 본 발명에 따른 특징 기술자 생성 방법의 전체 흐름을 나타내는 도면으로, 상기 영상입력부(110)를 이용하여, 인식 대상인 객체의 영상 프레임을 입력하는 단계(S10)를 수행한다.7 is a diagram illustrating the overall flow of the method for generating a feature descriptor according to the present invention, and using the image input unit 110, inputting an image frame of an object to be recognized (S10).

다음으로, 입력된 상기 영상 프레임은 상기 특징점생성부(120)로 전달되며, 상기 특징점생성부(120)의 기본특징점 생성부를 이용하여, 영상 객체의 기본 특징점을 생성하는 단계(S20)를 수행한다.Next, the input image frame is transmitted to the feature point generator 120, and a basic feature point of the image object is generated using the basic feature point generator of the feature point generator 120 (S20). .

상기 S20 단계는 빠른 코너 탐색으로 영상 객체의 기본특징점을 생성하는 단계를 말한다.
The step S20 refers to a step of generating basic feature points of the image object by fast corner search.

다음으로, 상기 특징점기준 판단부(122)를 이용하여, 상기 S20 단계에서 생성된 상기 기본특징점이 기준치 이상인지 여부를 판단하는 단계(S30)를 수행한다.Next, by using the feature point reference determination unit 122, it is determined whether the basic feature point generated in the step S20 is greater than or equal to the reference value (S30).

상기 S30 단계에서 상기 기준치는 영상 객체를 인식하는 기본적인 객체특징점의 수를 말하며, 상기 S20 단계에서 생성된 기본 특징점의 수가 객체 특징점의 기준치 이상을 만족하지 않는 경우, 상기 보완특징점 생성부(123)를 이용하여, 영상 객체의 보완특징점을 생성하는 단계(S40)를 수행한다.In the step S30, the reference value refers to the number of basic object feature points for recognizing the image object. When the number of basic feature points generated in the step S20 does not satisfy the reference value of the object feature point, the complementary feature point generator 123 is generated. In operation S40, the complementary feature point of the image object is generated.

상기 S40 단계는 객체 인식을 위한 기본적인 객체특징점을 확보하기 위해 객체영역의 에지 샘플링으로 추가적인 보완특징점을 생성하는 단계를 말하며, 이를 위해서는 [도 8]에 도시된 상세 흐름도와 같이, 상기 보완특징점 생성부(123)를 이용하여, 세그먼테이션으로 배경영역과 객체영역을 분리하는 단계(S41)를 수행한다.The step S40 refers to a step of generating an additional complementary feature point by edge sampling of an object region to secure a basic object feature point for object recognition, and for this purpose, as shown in the detailed flowchart shown in FIG. In operation S41, the background area and the object area are separated by segmentation.

상기 S41 단계는 인식 대상인 객체가 영상 프레임의 중앙에 위치한다고 가정 후, 영상의 가장자리 부분의 1픽셀 영역의 컬러값을 검사하여, 배경영역의 컬러값 범위를 설정하고, 영상의 바깥쪽부터 안쪽 방향으로 각 픽셀의 컬러값이 설정된 배경영역의 컬러값 범위에 있는지 여부를 판별하여, [도 9a]에 도시된 실시예와 같이, 객체영역과 배경영역을 분리하는 단계를 말한다.In the step S41, assuming that the object to be recognized is located in the center of the image frame, the color value of the 1-pixel area of the edge of the image is examined, the color value range of the background area is set, and from the outside of the image to the inward direction. By determining whether the color value of each pixel is in the color value range of the set background area, and as shown in the embodiment shown in Fig. 9a, separating the object area and the background area.

다음으로, 영상 프레임 전체에 위치한 에지 중에 상기 객체영역에 위치한 에지를 추출하는 단계(S43)를 수행한다.Next, the step S43 of extracting the edge located in the object area among the edges located in the entire image frame is performed.

본 발명에 있어서, 상기 S43단계는 영상 프레임 전체의 에지 중에 주변 8방향이 모두 배경영역으로 둘러싸인 경우는 에지를 제거하고, 에지의 주변 8방향 중 절반 이상 또는 전체가 객체영역으로 둘러싸인 경우, 남겨 놓아 최종적으로 객체영역의 에지만을 추출하는 단계를 말한다.In the present invention, in step S43, the edges of the entire edge of the image frame are all surrounded by the background area, and the edge is removed. Finally, the step of extracting only the edge of the object area.

다음으로, 추출된 에지의 랜덤 위치에서 보완특징점을 생성하는 단계(S45)를 수행한다.Next, a step of generating a complementary feature point at a random position of the extracted edge is performed (S45).

이러한 본 발명에 따른 S40 단계를 통해서 기본특징점 및 보완특징점을 포함한 객체특징점을 기준치 이상 확보할 수 있는 효과가 있다.
Through the S40 step according to the present invention there is an effect that can secure the object feature points, including the basic feature points and complementary feature points more than the reference value.

다음으로, 상기 특징기술자 생성부(130)를 이용하여, 생성된 상기 객체특징점의 특징 기술자를 생성하는 단계(S50)를 수행한다.Next, by using the feature descriptor generator 130, a feature descriptor of the generated object feature point is generated (S50).

상기 S50 단계는 상기 S20 내지 S40 단계를 통해 생성된 객체특징점을 식별할 수 있는 특징 기술자를 생성하는 단계를 말하며, [도 10]에 도시된 상세 흐름과 같이, 상기 변화도방향기술자 생성부(131)를 이용하여, 상기 객체특징점의 변화도 방향 기술자를 생성하는 단계(S51)를 수행한다.The step S50 refers to a step of generating a feature descriptor capable of identifying the object feature point generated through the steps S20 to S40. As shown in the detailed flow shown in FIG. 10, the gradient direction descriptor generation unit 131 In step S51, the change degree of the object feature point is generated using a).

상기 S51단계는 상기 변화도 방향 기술자는 그레이 값 변화도방향 값을 SURF 기술자로 생성하는 단계를 말한다. The step S51 refers to the step of generating a gray value gradient direction value by the gradient diagram descriptor as a SURF descriptor.

다음으로, 상기 컬러기술자 생성부(132)를 이용하여, 상기 객체특징점의 위치에서 컬러 기술자를 생성하는 단계(S53)를 수행한다.Next, using the color descriptor generation unit 132, a step of generating a color descriptor at the position of the object feature point (S53) is performed.

상기 S53 단계는 [도 9b]에 도시된 실시예와 같이, 상기 객체특징점의 위치에서 10ㅧ10의 패치 영상을 생성하고, 생성된 상기 패치 영상 안에서 컬러 스페이스에 해당하는 히스토그램을 생성하는 단계를 말하며, 본 발명의 실시예에서는 R, G, B의 각 컬러당 히스토그램의 bin 수를 30개로 설정하여, 하나의 객체특징점에 관한 패치 영상에 관해 총 90개의 컬러 히스토그램 값을 생성하였다.The step S53 refers to a step of generating a 10 × 10 patch image at the position of the object feature point and generating a histogram corresponding to a color space in the generated patch image as in the embodiment of FIG. 9B. In the embodiment of the present invention, the number of bins of histograms for each color of R, G, and B is set to 30 to generate a total of 90 color histogram values for the patch image of one object feature point.

다음으로, 상기 특징기술자 통합부(133)를 이용하여, 상기 변화도 방향 기술자와 상기 컬러 기술자의 값을 통합하여, 특징기술자를 생성하는 단계(S55)를 수행한다.Next, by using the feature descriptor integrator 133, the values of the gradient descriptor and the color descriptor are integrated to generate a feature descriptor (S55).

상기 S55단계는 변화도 방향과 컬러값을 일반화하여, 통합된 154차원의 값을 가지는 특징 기술자를 생성하는 단계를 말하며, 상기 S55 단계를 통해, 생성된 특징 기술자를 통해 영상 객체에서 생성된 각 객체특징점을 정확하게 식별이 가능하다.The step S55 refers to a step of generating a feature descriptor having an integrated 154-dimensional value by generalizing the gradient direction and color values, and in step S55, each object generated from the image object through the generated feature descriptor. Feature points can be identified accurately.

다음으로, 상기 특징기술자 라벨링부(134)를 이용하여, 상기 특징 기술자를 객체와 상응하는 기호로 라벨링하는 단계(S57)를 수행한다.Next, by using the feature descriptor labeling unit 134, the feature descriptor is labeled with a symbol corresponding to the object (S57).

상기 S57 단계는 상기 S55 단계에서 통합된 특징 기술자를 각 객체별로 식별이 가능한 기호로 라벨링하는 단계를 말하며, 본 발명에 따른 상기 S57 단계를 통해 각 객체의 특징 기술자를 체계적으로 관리할 수 있는 효과가 있는 것이다.
The step S57 refers to labeling the feature descriptor integrated in the step S55 by a symbol that can be identified for each object, and has an effect of systematically managing the feature descriptor of each object through the step S57 according to the present invention. It is.

[도 11]은 본 발명에 따른 영상 객체 인식 장치의 구성을 나타내는 도면으로, 본 발명에 따른 영상 객체 인식 장치(1000)는 영상취득부(10), 특징기술자 생성장치부(100), 객체인식 제어부(200), 코드북학습부(300), 객체정보 저장부(400) 및 객체인식 분석부(500)를 포함한다.11 is a diagram illustrating a configuration of an image object recognition apparatus according to the present invention. The image object recognition apparatus 1000 according to the present invention includes an image acquisition unit 10, a feature descriptor generating unit 100, and object recognition. The controller 200, the codebook learning unit 300, the object information storage unit 400, and the object recognition analyzing unit 500 are included.

상기 영상취득부(10)는 인식 대상인 객체를 포함하는 영상 프레임을 취득하는 장치이며, 다양한 카메라 및 동영상 촬영기기로 구현이 가능하며, 상기 영상취득부(10)에서 취득된 영상 프레임은 영상의 객체 인식 작업을 제어하는 상기 객체인식 제어부(200)를 통해 상기 특징기술자 생성장치부(100)에 입력된다.
The image acquisition unit 10 is an apparatus for acquiring an image frame including an object to be recognized, and can be implemented by various cameras and video recording devices, and the image frame acquired by the image acquisition unit 10 is an object of an image. It is input to the feature descriptor generating device unit 100 through the object recognition control unit 200 that controls the recognition operation.

상기 특징기술자 생성장치부(100)는 입력된 상기 영상 프레임에서 기준치 이상의 객체특징점을 생성하고, 상기 객체특징점의 위치에서 특징 기술자를 생성하는 역할을 한다. The feature descriptor generating unit 100 generates an object feature point of at least a reference value from the input image frame and generates a feature descriptor at the position of the object feature point.

본 발명에 따른 상기 객체특징점은 영상 객체의 빠른 코너 탐색으로 생성된 기본특징점 및 상기 영상 객체의 에지 샘플링으로 생성된 보완특징점을 포함하며, 상기 특징기술자는 상기 객체특징점 위치에서 생성된 방향 기술자와 상기 컬러 기술자의 값을 통합한 기술자이다.The object feature point according to the present invention includes a basic feature point generated by a quick corner search of an image object and a complementary feature point generated by edge sampling of the image object. The feature descriptor includes a direction descriptor generated at the object feature point position and the A descriptor that incorporates the value of a color descriptor.

본 발명에 따른 상기 특징기술자 생성장치부(100)는 상기 특징 기술자 생성 장치와 동일한 구성이므로, 상세 구성 및 그 기능은 상기에서 설명한 바와 같다. Since the feature descriptor generating apparatus 100 according to the present invention has the same configuration as the feature descriptor generating apparatus, the detailed configuration and the function thereof are as described above.

상기 특징기술자 생성장치부(100)에서 생성된 특징 기술자는 상기 객체인식 제어부(200)를 통해 상기 객체정보 저장부(400)에 저장된다.
The feature descriptor generated by the feature descriptor generating unit 100 is stored in the object information storage unit 400 through the object recognition controller 200.

상기 코드북학습부(300)는 상기 객체인식 제어부(200)와 연결되어, 상기 특징기술자 생성장치부(100)에서 생성된 상기 특징 기술자를 입력받아 랜덤 포레스트 코드북 학습을 수행하는 역할을 한다.The codebook learning unit 300 is connected to the object recognition control unit 200 and serves to perform random forest codebook learning by receiving the feature descriptor generated by the feature descriptor generating unit 100.

본 발명에 따른 상기 코드북학습부(300)는 상기 특징 기술자를 분기 함수로 정의하여, [도 12a]에 도시된 바와 같이, 트리 방식으로 각 히스토그램 값의 잎새 노드로 할당되도록 하여, [도 12b]에 도시된 바와 같이, 각 객체를 하나의 백 오브 워드(BoW-Bag of Word) 히스토그램을 생성한다.
The codebook learning unit 300 according to the present invention defines the feature descriptor as a branch function, so that the histogram value of each histogram value is assigned to the leaf node as shown in FIG. 12A. As shown in FIG. 1, each object generates one histogram of a BoW-Bag of Word.

상기 객체정보 저장부(400)는 생성된 특징 기술자를 각 객체별로 라벨링된 정보, 상기 코드북학습부(300)에서 생성된 객체별 BoW 히스토그램 정보 및 객체 인식 결과 정보를 저장하는 역할을 한다. The object information storage unit 400 stores the generated feature descriptors labeled for each object, BoW histogram information for each object generated by the codebook learning unit 300, and object recognition result information.

이러한 본 발명에 따른 상기 객체정보 저장부(400)는 객체별 샘플 영상 프레임으로 생성된 특징 기술자의 코드북 학습을 통해 생성된 기본 객체의 BoW 히스토그램을 저장하여, 기본 객체 정보를 저장 관리할 수 있으며, 기본 객체의 BoW 히스토그램과 매칭되는 다양한 객체의 BoW 히스토그램을 저장 관리할 수 있다.
The object information storage unit 400 according to the present invention may store and manage the basic object information by storing the BoW histogram of the basic object generated through the codebook learning of the feature descriptor generated as a sample image frame for each object, You can save and manage BoW histograms of various objects that match the BoW histograms of base objects.

상기 객체인식 분석부(500)는 상기 객체인식 제어부(200)와 연결되어, 상기 객체정보 저장부(400) 저장된 기본 객체 정보 즉, 기본 객체의 코드북 학습한 결과와 현재 인식 대상 객체의 코드북 학습 결과를 매칭하여, 영상 객체의 일치 여부를 판단하는 역할을 한다.The object recognition analysis unit 500 is connected to the object recognition control unit 200, and the object information storage unit 400 stored the basic object information, that is, the codebook learning result of the basic object and the current codebook learning result of the object to be recognized To match, it determines the match of the image object.

이러한 본 발명에 따른 상기 객체인식 분석부(500)는 상기 코드북학습부(300)에서 생성된 백오브 워드 히스토그램의 유사도를 매칭하여, 객체의 일치 여부를 판단하게 되며, 객체 인식 결과 정보는 상기 객체정보 저장부(400)에 저장된다.The object recognition analysis unit 500 according to the present invention matches the similarity of the back-of-word histogram generated by the codebook learning unit 300 to determine whether the objects match, and the object recognition result information is the object It is stored in the information storage unit 400.

또한, 상기 객체정보 저장부(400)에 현재 인식 객체의 코드북 학습 결과와 일치하는 기본 객체 정보가 존재하지 않을 경우, 현재 인식 객체 정보를 추가적인 기본 객체 정보로 추가 저장하는 것이 바람직하다.In addition, when there is no basic object information that matches the codebook learning result of the current recognized object in the object information storage unit 400, it is preferable to additionally store the current recognized object information as additional basic object information.

또한, 본 발명에 따른 [도 11]의 상세 구성은 소프트웨어 모듈로 구현이 가능하다.
In addition, the detailed configuration of Figure 11 according to the present invention can be implemented as a software module.

[도 13]은 본 발명에 따른 영상 객체 인식 장치의 성능 평가를 위해 입력된 영상 프레임이며, (a)는 본 발명의 실시예에서 기본 객체로 입력된 영상 프레임을 나열한 것으로, 좌측부터 첫 번째와 두번째 영상 프레임은 사람과 악어의 레고 로봇 객체 영상이며, 세 번째와 네 번째 영상 프레임은 전자기기의 부분과 복사 종이 객체 영상이며, 다섯 번째와 여섯 번째 영상 프레임은 검정색 및 흰색의 스니커즈 객체 영상이며, 일곱 번째와 여덟 번째 영상 프레임은 궁과 다보탑 미니어처 객체 영상이며, 아홉 번째와 열 번째 영상 프레임은 검정색과 흰색의 공구 박스 객체 영상이다.FIG. 13 is an image frame input for performance evaluation of an image object recognition apparatus according to the present invention, and (a) lists image frames input as a basic object in an embodiment of the present invention. The second image frame is the LEGO robot object image of humans and crocodiles, the third and fourth image frames are parts of electronic devices and copy paper object images, and the fifth and sixth image frames are black and white sneaker object images. The seventh and eighth image frames are the Palace and Tabo miniature object images, and the ninth and tenth image frames are black and white toolbox object images.

또한, [도 13]의 (b) 내지 (d)는 각 기본 객체와 매칭되는 영상 프레임을 나열한 것으로 상기 (b)는 조잡한 배경을 포함하는 각 객체 영상 프레임이며, (c)는 각 객체의 크기의 변화가 있는 영상프레임이며, (d)는 조명의 변화가 있는 각 객체의 영상 프레임을 나타낸다. Also, (b) to (d) of FIG. 13 list image frames matching each basic object, wherein (b) is each object image frame including a coarse background, and (c) is the size of each object. (D) shows an image frame of each object having a change in illumination.

[표 1]은 각 객체의 기본 영상 프레임과 배경, 객체 크기, 조명 상태가 변화된 각 객체의 영상프레임에 관하여, 기존의 기술자를 이용하여 매칭한 객체 인식률 결과와 본 발명에 따른 본 발명에 따른 영상 객체 인식 장치를 이용하여, 매칭한 객체 인식률을 나타낸 것으로, 본 발명에 따른 영상 객체 인식 장치의 객체평균인식률이 73.66%로 향상된 것을 확인할 수 있으며, 특히 조잡한 배경에서 객체 인식률은 기존의 기술자를 이용한 객체 인식률에 비해 약 18% 이상 향상된 것을 확인할 수 있다.[Table 1] shows the result of object recognition rate matched using existing descriptors and the image according to the present invention with respect to the basic image frame of each object and the image frame of each object whose background, object size and lighting state are changed. By using the object recognition device, the matching object recognition rate is shown, and it can be seen that the object average recognition rate of the image object recognition device according to the present invention is improved to 73.66%. It can be seen that the recognition rate is improved by about 18% or more.

Figure 112012066926017-pat00001
Figure 112012066926017-pat00001

이상에서 설명한 바와 같이, 본 발명에 따른 영상 객체 인식 장치를 적용 시, 객체 영상의 객체특징점 및 특징 기술자를 생성하고, 생성된 특징 기술자로 코드북 학습을 수행함으로써, 무늬가 적은 객체나 주변환경 또는 객체의 크기 변화에 안정적으로 객체 인식 작업이 가능한 효과를 누릴 수 있다.
As described above, when the image object recognition apparatus according to the present invention is applied, an object feature point and feature descriptor of an object image are generated, and codebook learning is performed with the generated feature descriptor, so that a pattern object or a surrounding environment or an object is small. The object recognition work can be stably effected on the size change of.

[도 14]는 본 발명에 따른 영상 객체 인식 방법의 전체 흐름을 나타내는 도면으로, 영상취득부(10)를 이용하여, 인식 대상인 객체의 영상 프레임을 취득하는 단계(S100)를 수행하고, 상기 특징기술자 생성장치부(100)를 이용하여, 취득된 영상 프레임 상의 객체 특징 기술자를 생성하는 단계(S200)를 수행한다.FIG. 14 is a diagram illustrating an overall flow of a method for recognizing an image object according to the present invention. The method acquires an image frame of an object to be recognized using the image acquisition unit 10 (S100). Using the descriptor generator 100, an object feature descriptor on the acquired image frame is generated (S200).

상기 S200단계는 상기에서 설명한 특징 기술자 생성 방법(S10 내지 S50) 단계와 동일하다.The step S200 is the same as that of the feature descriptor generation method S10 to S50 described above.

다음으로, 상기 코드북학습부(300)를 이용하여, 객체 특징 기술자에 관하여, 코드북 학습을 진행하여, 객체의 BoW 히스토그램을 생성하는 단계(S300)를 수행한다. Next, using the codebook learning unit 300, the object feature descriptor is performed, the codebook learning is performed to generate a BoW histogram of the object (S300).

다음으로, 객체인식 분석부(500)를 이용하여, 상기 S300 단계에서 생성된 객체의 BoW 히스토그램 정보와 기존에 저장된 기본 객체의 BoW 히스토그램 정보를 매칭하여, 객체의 일치 여부를 판단하는 단계(S400)를 수행하며, 객체 인식 결과 정보를 상기 객체정보 저장부(400)에 저장하는 단계(S500)를 수행한다.Next, using the object recognition analysis unit 500, by matching the BoW histogram information of the object created in the step S300 and the BoW histogram information of the existing basic object stored, and determining whether the objects match (S400) In operation S500, object recognition result information is stored in the object information storage unit 400.

본 발명에 따른 영상 객체 인식 방법에 있어서, 상기 S400 단계에서 현재 생성된 객체의 BoW 히스토그램 정보가 기존에 저장된 기본 객체의 BoW 히스토그램 정보와 일치하지 않을 경우, 현재 생성된 객체를 추가적인 기본 객체로 인식하여, 저장하는 것이 바람직하다.
In the image object recognition method according to the present invention, if the BoW histogram information of the object currently created in step S400 does not match the BoW histogram information of the existing base object, the currently generated object is recognized as an additional basic object. It is desirable to store.

한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 특징 기술자 생성 장치 및 방법, 그를 이용한 영상 객체 인식 장치 및 방법으로 구현할 수 있다.
Although the embodiments of the present invention have been described above, the technical idea of the present invention is not limited to the above embodiments, and various feature descriptor generating apparatuses and methods, and image object recognition apparatuses and methods using the same without departing from the technical idea of the present invention. Can be implemented.

10 : 영상취득부
100 : 특징기술자 생성장치부
110 : 영상입력부
120 : 특징점생성부
121 : 기본특징점 생성부
122 : 특징점기준 판단부
123 : 보완특징점 생성부
130 : 특징기술자 생성부
131 : 변화도방향기술자 생성부
132 : 컬러기술자 생성부
133 : 특징기술자 통합부
134 : 특징기술자 라벨링부
200 : 객체인식 제어부
300 : 코드북학습부
400 : 객체정보 저장부
500 : 객체인식 분석부
1000 : 영상 객체 인식 장치 10: image acquisition unit
100: feature engineer generating unit
110: video input unit
120: feature point generation unit
121: basic feature point generation unit
122: feature point reference determination unit
123: complementary feature point generation unit
130: feature engineer generator
131: change direction descriptor generator
132: color descriptor generation unit
133: integrated feature technician
134: Feature engineer labeling unit
200: object recognition control unit
300: Codebook Learning Department
400: object information storage unit
500: object recognition analysis unit
1000: image object recognition device

Claims (18)

영상 객체의 형상으로부터 설정된 기준값 이상의 객체특징점을 생성하는 특징점생성부 및
상기 특징점생성부에서 생성된 상기 객체특징점을 식별하는 특징 기술자를 생성하는 특징기술자 생성부를 포함하는 특징 기술자 생성 장치.
Feature point generation unit for generating an object feature point more than the reference value set from the shape of the image object;
And a feature descriptor generator for generating a feature descriptor for identifying the object feature point generated by the feature point generator.
제1항에 있어서,
상기 특징점생성부는,
영상 객체의 빠른 코너 탐색(Fast Corner Detection)으로 기본특징점을 생성하는 기본특징점 생성부;
생성된 상기 기본특징점의 수가 기준치 이상인지 여부를 판단하는 특징점기준 판단부 및
상기 기본특징점 이외에 상기 영상 객체의 에지 샘플링으로 보완특징점을 생성하는 보완특징점 생성부를 포함하는 특징 기술자 생성 장치.
The method of claim 1,
The feature point generation unit,
A basic feature point generator for generating a basic feature point by fast corner detection of an image object;
A feature point criterion determination unit for determining whether the number of generated basic feature points is greater than or equal to a reference value;
And a supplementary feature point generator for generating a supplementary feature point by edge sampling of the image object in addition to the basic feature point.
제2항에 있어서,
상기 보완특징점은,
세그먼테이션(segmentation)으로 배경 영역과 분리된 객체 영역에 위치한 에지의 랜덤 위치에서 추가로 생성한 객체특징점인 것을 특징으로 하는 특징 기술자 생성 장치.
3. The method of claim 2,
The complementary feature is,
And an object feature point additionally generated at a random position of an edge located in an object region separated from a background region by segmentation.
제1항에 있어서,
상기 특징기술자 생성부는,
상기 객체특징점의 위치에서 변화도 방향의 값에 따른 변화도 방향 기술자를 생성하는 변화도방향기술자 생성부;
상기 객체특징점의 위치에서 패치 영상을 추출하여, 컬러 값에 따른 컬러 기술자를 생성하는 컬러기술자 생성부 및
상기 객체특징점에서 생성된 상기 방향 기술자와 상기 컬러 기술자의 값을 통합하여, 특징 기술자를 생성하는 특징기술자 통합부를 포함하는 특징 기술자 생성 장치.
The method of claim 1,
The feature descriptor generator,
A gradient direction descriptor generator for generating a gradient direction descriptor according to a gradient degree value at a position of the object feature point;
A color descriptor generation unit which generates a color descriptor according to a color value by extracting a patch image from the position of the object feature point;
And a feature descriptor integrator which generates a feature descriptor by integrating values of the direction descriptor and the color descriptor generated at the object feature point.
제4항에 있어서,
상기 컬러 기술자는,
RGB, YUV, YCbCr, HSV 중 적어도 하나의 컬러 히스토그램 값인 것을 특징으로 하는 특징 기술자 생성 장치.
5. The method of claim 4,
The color descriptor,
And a color histogram value of at least one of RGB, YUV, YCbCr, and HSV.
제4항에 있어서,
상기 특징기술자 생성부는,
상기 특징기술자 통합부와 연결되어, 생성된 상기 특징 기술자를 각 객체를 식별하는 기호로 라벨링하는 특징기술자 라벨링부를 더 포함하는 특징 기술자 생성 장치.
5. The method of claim 4,
The feature descriptor generator,
And a feature descriptor labeling unit connected to the feature descriptor integration unit to label the generated feature descriptors with symbols identifying each object.
(a) 영상입력부를 이용하여, 인식 대상인 객체의 영상 프레임을 입력하는 단계;
(b) 특징점생성부를 이용하여, 입력된 영상 객체의 객체특징점을 기준값 이상 생성하는 단계 및
(c) 특징기술자 생성부를 이용하여, 생성된 상기 객체특징점의 특징 기술자를 생성하는 단계를 포함하는 특징 기술자 생성 방법.
(a) inputting an image frame of an object to be recognized using an image input unit;
(b) generating an object feature point of the input image object by a reference value or more using the feature point generator;
(c) generating a feature descriptor of the generated object feature point by using the feature descriptor generator.
제7항에 있어서,
상기 (b) 단계는,
(b-1) 기본특징점 생성부를 이용하여, 빠른 코너 탐색 방식으로 영상 객체의 기본특징점을 생성하는 단계;
(b-2) 특징점기준 판단부를 이용하여, 상기 기본특징점의 수가 기준치 이상인지 여부를 판단하는 단계 및
(b-3) 상기 (b-2) 단계에서 상기 기본특징점의 수가 기준치 이상이 아니라고 판단될 경우, 보완특징점 생성부를 이용하여, 영상 객체의 보완특징점을 생성하는 단계를 포함하는 특징 기술자 생성 방법.
8. The method of claim 7,
The step (b)
(b-1) generating a basic feature point of the image object by a quick corner search method using the basic feature point generator;
(b-2) determining whether the number of the basic feature points is greater than or equal to the reference value by using the feature point reference determination unit;
(b-3) if it is determined in step (b-2) that the number of basic feature points is not equal to or greater than a reference value, generating a complementary feature point of an image object using a supplementary feature point generator.
제8항에 있어서, 상기 (b-3) 단계는,
(b-3-1) 객체 영상을 세그먼테이션하여, 배경 영역과 객체 영역을 분리하는 단계;
(b-3-2) 영상 전체의 에지 중에 배경 영역에 둘러싸인 에지를 제거하여, 객체 영역의 에지를 추출하는 단계 및
(b-3-3) 상기 객체 영역에 위치한 에지의 랜덤한 위치에서 보완특징점을 생성하는 단계를 포함하는 특징 기술자 생성 방법.
The method of claim 8, wherein (b-3),
(b-3-1) segmenting the object image to separate the background area and the object area;
(b-3-2) extracting an edge of the object region by removing an edge surrounded by the background region among the edges of the entire image; and
(b-3-3) generating a complementary feature point at a random position of an edge located in the object region.
제7항에 있어서,
상기 (c) 단계는,
(c-1) 변화도방향기술자 생성부를 이용하여, 상기 (b) 단계에서 생성된 상기 객체특징점의 위치에서 변화도 방향 기술자를 생성하는 단계;
(c-2) 컬러기술자 생성부를 이용하여, 상기 객체특징점의 위치에서 컬러 기술자를 생성하는 단계 및
(c-3) 특징기술자 통합부를 이용하여, 상기 변화도 방향 기술자와 상기 컬러 기술자의 값을 통합하여, 특징기술자를 생성하는 단계를 포함하는 특징 기술자 생성 방법.
8. The method of claim 7,
The step (c)
(c-1) generating a gradient direction descriptor at the position of the object feature point generated in the step (b) using a gradient degree descriptor generation unit;
(c-2) generating a color descriptor at a position of the object feature point using a color descriptor generating unit;
(c-3) generating a feature descriptor by integrating values of the gradient direction descriptor and the color descriptor using a feature descriptor integrator.
제10항에 있어서,
상기 (c-2) 단계는,
(c-2-1) 객체특징점의 위치에서 설정된 크기의 패치 영상을 획득하는 단계 및
(c-2-2) 상기 패치 영상에서 컬러 성분의 스페이스에 해당하는 히스토그램을 생성하는 단계를 포함하는 특징 기술자 생성 방법.
11. The method of claim 10,
Step (c-2),
(c-2-1) acquiring a patch image having a set size at the position of the object feature point; and
(c-2-2) generating a histogram corresponding to a space of color components in the patch image.
제10항에 있어서,
상기 (c-3) 단계 이후에,
(c-4) 특징기술자 라벨링부를 이용하여, 상기 특징 기술자를 객체와 상응하는 기호로 라벨링하는 단계를 더 포함하는 특징 기술자 생성 방법.
11. The method of claim 10,
After the step (c-3),
(c-4) using the feature descriptor labeling unit, labeling the feature descriptor with a symbol corresponding to an object.
인식 대상인 객체의 영상을 취득하는 영상취득부;
상기 영상취득부에서 전달된 영상의 객체 인식 작업을 제어하는 객체인식 제어부;
상기 영상에서 객체특징점을 생성하고, 상기 객체특징점의 위치에서 특징 기술자를 생성하는 특징기술자 생성장치부;
상기 특징 기술자를 입력받아 랜덤 포레스트 코드북 학습을 수행하는 코드북학습부 및
상기 특징 기술자 및 상기 코드북 학습의 결과 정보를 각 객체별 정보로 저장하는 객체정보 저장부를 포함하는 영상 객체 인식 장치.
An image acquisition unit which acquires an image of an object to be recognized;
An object recognition control unit controlling an object recognition operation of the image transferred from the image acquisition unit;
A feature descriptor generating device unit generating an object feature point from the image and generating a feature descriptor at a position of the object feature point;
A codebook learning unit configured to receive the feature descriptor and perform random forest codebook learning;
And an object information storage unit for storing the feature descriptor and the result information of the codebook learning as information for each object.
제13항에 있어서,
상기 객체인식 제어부와 연결되어, 기존에 저장된 객체의 특징 기술자를 코드북 학습 결과와 현재 생성된 객체 특징 기술자의 코드북 학습 결과를 매칭하여, 영상 객체의 일치 여부를 판단하는 객체인식 분석부를 더 포함하는 영상 객체 인식 장치.
14. The method of claim 13,
And an object recognition analyzer connected to the object recognition controller to match a feature descriptor of an object stored previously with a codebook learning result of the currently generated object feature descriptor, and determine whether the image object matches. Object Recognition Device.
제13항에 있어서,
상기 코드북학습부는,
상기 특징 기술자를 분기 함수로 정의하여, 트리 방식으로 각 히스토그램 값의 잎새 노드로 할당되도록 하여, 하나의 백 오브 워드(BoW-Bag of Word) 히스토그램으로 생성하는 것을 특징으로 하는 영상 객체 인식 장치.
14. The method of claim 13,
The codebook learning unit,
And defining the feature descriptor as a branch function, assigning the feature descriptor to a leaf node of each histogram value in a tree form, and generating a single histogram of a BoW-Bag of Word.
제13항에 있어서,
상기 특징 기술자는,
객체특징점 위치에서 생성된 방향 기술자와 컬러 기술자의 값을 통합한 것을 특징으로 하는 영상 객체 인식 장치.
14. The method of claim 13,
The feature descriptor,
An image object recognition apparatus incorporating values of a direction descriptor and a color descriptor generated at an object feature point location.
제16항에 있어서,
상기 객체특징점은,
영상 객체의 빠른 코너 탐색으로 생성된 기본특징점 및 상기 영상 객체의 에지 샘플링으로 생성된 보완특징점을 포함하는 것을 특징으로 하는 영상 객체 인식 장치.
17. The method of claim 16,
The object feature is,
And a complementary feature point generated by edge sampling of the image object and a basic feature point generated by fast corner search of the image object.
(d) 영상취득부(10)를 이용하여, 인식 대상인 객체의 영상 프레임을 취득하는 단계;
(e) 특징기술자 생성장치부(100)를 이용하여, 상기 (d) 단계에서 취득된 영상 프레임 상의 객체 특징 기술자를 생성하는 단계;
(f) 코드북학습부(300)를 이용하여, 객체 특징 기술자를 코드북 학습하여, 객체의 BoW 히스토그램을 생성하는 단계 및
(g) 객체인식 분석부(500)를 이용하여, 상기 (f) 단계에서 생성된 객체의 BoW 히스토그램 정보와 기존에 저장된 기본 객체의 BoW 히스토그램 정보를 매칭하여, 객체의 일치 여부를 판단하는 단계를 포함하는 영상 객체 인식 방법.(d) acquiring an image frame of an object to be recognized using the image acquisition unit 10;
(e) generating an object feature descriptor on the image frame obtained in the step (d) by using the feature descriptor generating unit 100;
(f) using the codebook learning unit 300, learning the object feature descriptor codebook, generating a BoW histogram of the object, and
(g) matching the BoW histogram information of the object created in the step (f) and the BoW histogram information of the existing basic object, by using the object recognition analyzer 500, and determining whether the objects match. Image object recognition method comprising.
KR1020120091137A 2012-06-27 2012-08-21 Feature descriptor generating device and method, image object recognition device and method using the same KR101374726B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120069219 2012-06-27
KR20120069219 2012-06-27

Publications (2)

Publication Number Publication Date
KR20140001062A KR20140001062A (en) 2014-01-06
KR101374726B1 true KR101374726B1 (en) 2014-03-17

Family

ID=50138762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120091137A KR101374726B1 (en) 2012-06-27 2012-08-21 Feature descriptor generating device and method, image object recognition device and method using the same

Country Status (1)

Country Link
KR (1) KR101374726B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101727432B1 (en) 2016-05-24 2017-04-14 (주)베라시스 Apparatus and method for improving the performance of object recognition function using an image in Multi-Step

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442042B1 (en) * 2013-06-21 2014-09-23 한국과학기술원 Method and apparatus for recognizing 3d object using descriptor based on complementary feature point
KR101643550B1 (en) * 2014-12-26 2016-07-29 조선대학교산학협력단 System and method for detecting and describing color invariant features using fast explicit diffusion in nonlinear scale spaces
KR101645517B1 (en) 2015-04-01 2016-08-05 주식회사 씨케이앤비 Apparatus and method for extracting keypoint and image matching system for analyzing distribution state of contents using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073749A (en) * 2008-12-23 2010-07-01 고려대학교 산학협력단 Apparatus and method for extracting feature point based on sift, and face recognition system using thereof
KR100972849B1 (en) 2009-10-16 2010-07-28 주식회사 쓰리디누리 Method of object recognition
KR20100137268A (en) * 2009-06-22 2010-12-30 (주)로봇에버 Method and system for recognizing self-position
KR20110087620A (en) * 2010-01-26 2011-08-03 광주과학기술원 Layout based page recognition method for printed medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073749A (en) * 2008-12-23 2010-07-01 고려대학교 산학협력단 Apparatus and method for extracting feature point based on sift, and face recognition system using thereof
KR20100137268A (en) * 2009-06-22 2010-12-30 (주)로봇에버 Method and system for recognizing self-position
KR100972849B1 (en) 2009-10-16 2010-07-28 주식회사 쓰리디누리 Method of object recognition
KR20110087620A (en) * 2010-01-26 2011-08-03 광주과학기술원 Layout based page recognition method for printed medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101727432B1 (en) 2016-05-24 2017-04-14 (주)베라시스 Apparatus and method for improving the performance of object recognition function using an image in Multi-Step

Also Published As

Publication number Publication date
KR20140001062A (en) 2014-01-06

Similar Documents

Publication Publication Date Title
CN110543892B (en) Part identification method based on multilayer random forest
CN105447499B (en) A kind of books interactive approach, device and equipment
Chung et al. Efficient shadow detection of color aerial images based on successive thresholding scheme
CN112052186B (en) Target detection method, device, equipment and storage medium
CN105404886B (en) Characteristic model generation method and characteristic model generating means
US9519660B2 (en) Information processing apparatus, clustering method, and recording medium storing clustering program
CN106096542B (en) Image video scene recognition method based on distance prediction information
CN110222686B (en) Object detection method, object detection device, computer equipment and storage medium
CN105574550A (en) Vehicle identification method and device
KR101606760B1 (en) Apparatus and Method of Transforming Emotion of Image based on Object in Image
CN103971126A (en) Method and device for identifying traffic signs
CN113673305A (en) Image marking using geodesic features
JP2009086749A (en) Pattern identification method, parameter learning method for identification and device
EP3006551B1 (en) Image processing device, image processing method, program, and storage medium
KR101374726B1 (en) Feature descriptor generating device and method, image object recognition device and method using the same
CN112381104A (en) Image identification method and device, computer equipment and storage medium
JP4946878B2 (en) Image identification apparatus and program
CN110196917B (en) Personalized LOGO format customization method, system and storage medium
CN110727816A (en) Method and device for determining interest point category
CN111126393A (en) Vehicle appearance refitting judgment method and device, computer equipment and storage medium
DK2447884T3 (en) A method for the detection and recognition of an object in an image and an apparatus and a computer program therefor
JP2017117019A (en) Image processing device, image processing method, and program
Gupta et al. A robust model for salient text detection in natural scene images using MSER feature detector and Grabcut
Amato et al. Moving cast shadows detection methods for video surveillance applications
CN108647703B (en) Saliency-based classification image library type judgment method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 5

R401 Registration of restoration