KR101265694B1 - Image recognition system for DB efficiency and providing method thereof - Google Patents

Image recognition system for DB efficiency and providing method thereof Download PDF

Info

Publication number
KR101265694B1
KR101265694B1 KR1020110086999A KR20110086999A KR101265694B1 KR 101265694 B1 KR101265694 B1 KR 101265694B1 KR 1020110086999 A KR1020110086999 A KR 1020110086999A KR 20110086999 A KR20110086999 A KR 20110086999A KR 101265694 B1 KR101265694 B1 KR 101265694B1
Authority
KR
South Korea
Prior art keywords
point
points
matching
image
feature
Prior art date
Application number
KR1020110086999A
Other languages
Korean (ko)
Other versions
KR20130023903A (en
Inventor
박현근
Original Assignee
위드로봇 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 위드로봇 주식회사 filed Critical 위드로봇 주식회사
Priority to KR1020110086999A priority Critical patent/KR101265694B1/en
Publication of KR20130023903A publication Critical patent/KR20130023903A/en
Application granted granted Critical
Publication of KR101265694B1 publication Critical patent/KR101265694B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

DB 효율화를 통한 영상 인식 시스템 및 그 제공방법이 개시된다. 상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 영상 인식 시스템이 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하는 단계, 상기 영상 인식 시스템이 추출된 특징점들 중 서로 매칭되는 매칭 점들을 추출하는 단계, 상기 영상 인식 시스템이 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계, 및 상기 영상 인식 시스템이 상기 복수의 인식대상 이미지들 각각의 특징 점들에서 상기 매칭 점들을 상기 결합 점으로 대체하여 DB에 저장하는 단계를 포함한다.Disclosed are an image recognition system through DB efficiency and a method of providing the same. In the method of providing an image recognition system through the DB efficiency, the image recognition system extracts feature points of each of a plurality of recognition target images corresponding to a recognition object, and the image recognition system matches matching points that match each other among the extracted feature points. Extracting, generating, by the image recognition system, a combination point corresponding to the extracted matching points, and the image recognition system replacing the matching points in the feature points of each of the plurality of recognition target images. Storing in the DB.

Description

ＤＢ 효율화를 통한 영상 인식 시스템 및 그 제공방법{Image recognition system for DB efficiency and providing method thereof}Image recognition system for DB efficiency and providing method thereof

본 발명은 영상 인식 시스템 및 그 제공방법에 관한 것으로, 보다 상세하게는 동일한 인식 대상이 복수의 이미지 피쳐(feature)를 가질 수 있을 때, 이를 효율적으로 인식할 수 있는 시스템 및 그 제공방법에 관한 것이다.
The present invention relates to an image recognition system and a method for providing the same, and more particularly, to a system and a method for providing the same, when the same recognition object can have a plurality of image features (feature). .

영상 인식 알고리즘이나 이를 위한 시스템 등이 널리 공지되어 있다. 일반적으로 영상 인식 알고리즘은 특정 DB에 존재하는 레퍼런스 데이터에서 인풋 데이터 즉, 인풋 이미지가 존재하는지를 판단한다.Image recognition algorithms and systems therefor are well known. In general, an image recognition algorithm determines whether input data, that is, an input image, exists from reference data existing in a specific DB.

예컨대, SIFT(Scale Invariant Feature Transform) 알고리즘 등과 같은 영상 인식 알고리즘은 레퍼런스 이미지에 포함된 특정 피쳐(feature)를 인식하거나 검색하는 알고리즘으로 컴퓨터 비젼(computer vision) 분야에서는 널리 알려져 있는 알고리즘이다. For example, an image recognition algorithm such as a scale invariant feature transform (SIFT) algorithm is an algorithm that recognizes or retrieves a specific feature included in a reference image and is widely known in the field of computer vision.

본 발명의 기술적 사상이 반드시 SIFT에 한정되어서 적용되는 것은 아니지만, 본 명세서에서는 설명의 편의를 위해 SIFT 알고리즘을 위주로 설명하기로 한다.Although the technical idea of the present invention is not necessarily limited to SIFT, the present specification will be described based on the SIFT algorithm for convenience of description.

SIFT 알고리즘은 1999년에 David Lowe에 의해 제안된 알고리즘으로, 논문 "Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision. 2. pp. 1150-1157. doi:10.1109/ICCV.1999.790410" 및 "Lowe, D. G., “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004" 등에 의해 공지된바 있다. 상기의 논문들은 본 명세서의 레퍼런스로 포함될 수 있다.The SIFT algorithm is an algorithm proposed by David Lowe in 1999. The paper "Lowe, David G. (1999)." Object recognition from local scale-invariant features ". Proceedings of the International Conference on Computer Vision. 2. pp. Doi: 10.1109 / ICCV.1999.790410 "and" Lowe, DG, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 60, 2, pp. 91-110, 2004, etc. It has been done. The above articles may be incorporated by reference herein.

상기 논문들에 공지되어 있다시피, SIFT 알고리즘은 소정의 피쳐들을 스케일 및 오리엔테이션에 무관하게 인식할 수 있는 알고리즘이다. SIFT 알고리즘은 인식대상의 특징점(keypoint)을 레퍼런스 데이터 즉, 레퍼런스 이미지의 특징점과 매칭을 수행하여 상기 인식대상을 인식하는 방식의 알고리즘이다.As is known in the above papers, an SIFT algorithm is an algorithm that can recognize certain features regardless of scale and orientation. The SIFT algorithm is a type of algorithm that recognizes the recognition object by matching a keypoint of the object to be recognized with reference data, that is, the feature point of the reference image.

이때, 상기 인식대상이 소정의 이미지 등과 같이 디지털화된 데이터인 경우에는 인식대상별로 유니크(unique) 한 특징점들의 그룹이 추출되게 된다. In this case, when the recognition object is digitized data such as a predetermined image, a group of unique feature points is extracted for each recognition object.

하지만, 인식대상이 자연상태에 존재하는 객체 즉, 자연객체인 경우, 동일한 인식대상에 대해서도 다양한 변환 피쳐(feature)가 존재할 수 있게 된다. However, when the object to be recognized is a natural object, that is, a natural object, various transform features may exist for the same object.

도 1은 인식대상이 자연객체인 경우 영상 인식의 어려움을 설명하기 위한 도면인데, 도 1을 참조하면, 소정의 인식대상이 자연객체(예컨대, 표식물)인 경우, 상기 인식대상은 외부환경이나 상기 인식대상에 대한 이미지를 획득하는 수단의 상태 또는 각도에 따라 다양한 복수의 이미지로 표현이 될 수 있다. 예컨대, 도 1에 도시된 바와 같이 동일한 인식대상을 나타내는 이미지는 어느 하나의 이미지(10)뿐만 아니라, 상기 이미지(10)가 3D 또는 2D로 변환된 다양한 이미지(예컨대, 11, 12, 11-1, 12-1)로 변환된 이미지로 표현이 가능할 수 있다. 1 is a view for explaining the difficulty of image recognition when the recognition object is a natural object. Referring to FIG. 1, when a predetermined recognition object is a natural object (eg, a marker), the recognition object may be an external environment or the According to the state or angle of the means for acquiring the image for the object to be recognized may be represented by a plurality of images. For example, as shown in FIG. 1, the image representing the same object is not only one image 10 but also various images in which the image 10 is converted to 3D or 2D (eg, 11, 12, 11-1). , 12-1) may be represented as an image converted.

즉, 특정 인식대상에 상응하는 어느 하나의 이미지(10)가 레퍼런스 데이터(예컨대, 이미지(10) 또는 상기 이미지(10)의 특징점들)로 소정의 DB에 존재하는 경우에도, 상기 레퍼런스 데이터만 존재하는 경우에는 자연객체인 상기 인식대상의 인식률은 낮아질 수밖에 없다. 왜냐하면, 자연객체인 상기 인식대상을 나타내는 이미지는 도 1에 도시된 바와 같이 상기 이미지(10)만 존재하는 것이 아니라, 상기 이미지(10)의 2D 및/또는 3D 변환이 된 다양한 이미지들(예컨대, 11, 12, 11-1, 12-1)이 존재할 수 있고, 이러한 변환이 된 이미지들(예컨대, 11, 12, 11-1, 12-1) 중 어느 하나가 인풋 이미지로 입력될 수 있기 때문이다.That is, even when any one image 10 corresponding to a specific recognition object exists in a predetermined DB as reference data (for example, the image 10 or the feature points of the image 10), only the reference data exists. In this case, the recognition rate of the recognition object, which is a natural object, is inevitably lowered. Because the image representing the object of recognition as a natural object does not exist only in the image 10 as illustrated in FIG. 1, various images (eg, 2D and / or 3D transformations of the image 10) are provided. 11, 12, 11-1, 12-1), and any one of these converted images (eg, 11, 12, 11-1, 12-1) may be input as an input image. to be.

따라서, 이러한 문제점을 방지하기 위해선 특정 인식대상에 대해 미리 상기 인식대상을 나타내는 다양한 이미지(또는 이미지의 특징점)를 레퍼런스 데이터로 미리 입력해두는 방식이 존재할 수 있다.Accordingly, in order to prevent such a problem, there may exist a method of previously inputting various images (or feature points of the image) representing the recognition object as reference data in advance for a specific recognition object.

도 2는 특정 인식대상에 상응하는 복수의 이미지들 각각을 레퍼런스 데이터에 포함시키는 경우의 문제점을 설명하기 위한 도면인데, 도 2에 도시된 바와 같이 자연객체인 특정 인식대상에 상응하는 이미지들(예컨대, 10, 11, 12 등)은 다수일 수 있다. 그리고, 이러한 다수의 이미지들(예컨대, 10, 11, 12)에 상응하는 특징점들(즉, 소정의 특징점 추출알고리즘에 의해 추출된 특징점들)은 각각 다를 수 있는데, 각각의 이미지들(예컨대, 10, 11, 12)에 상응하는 특징점들을 단순히 레퍼런스 데이터를 저장하는 DB에 저장하는 경우, 상기 DB에 저장된 데이터의 양이 너무 많아져서 영상 인식을 수행하는데 속도의 저하 및 리소스의 낭비를 가져올 수 있다.FIG. 2 is a diagram illustrating a problem when each of a plurality of images corresponding to a specific recognition object is included in reference data. As illustrated in FIG. 2, images corresponding to a specific recognition object which is a natural object (for example, FIG. , 10, 11, 12, etc.) may be multiple. In addition, feature points corresponding to the plurality of images (eg, 10, 11, and 12) (that is, feature points extracted by a predetermined feature extraction algorithm) may be different from each other. , 11, and 12) are simply stored in a DB storing reference data, the amount of data stored in the DB may be too large, resulting in a decrease in speed and waste of resources in performing image recognition.

따라서, 복수의 다양한 이미지들로 표현될 수 있는 자연상태의 객체인 인식대상에 대해서도, DB를 효율적으로 구축하여 인식률을 높임과 동시에 리소스의 낭비를 방지할 수 있는 방법 및 시스템이 요구된다.
Accordingly, there is a need for a method and a system capable of efficiently constructing a DB to prevent recognition of resources and at the same time preventing waste of resources for objects to be recognized as objects of a natural state that can be represented by a plurality of various images.

따라서, 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 및 그 제공방법은 DB를 효율화(또는 최적화)하여 DB에 저장된 데이터의 양을 줄이면서도 인식대상의 인식률이 높아질 수 있도록 하는 시스템 및 방법을 제공하는 것이다.
Accordingly, an image recognition system and a method of providing the same through DB efficiency according to an embodiment of the present invention provide a system and method for increasing the recognition rate of an object to be recognized while reducing (or optimizing) the amount of data stored in the DB. To provide.

상기 기술적 과제를 달성하기 위한 DB 효율화를 통한 영상 인식 시스템 제공방법은 영상 인식 시스템이 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하는 단계, 상기 영상 인식 시스템이 추출된 특징점들 중 서로 매칭되는 매칭 점들을 추출하는 단계, 상기 영상 인식 시스템이 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계, 및 상기 영상 인식 시스템이 상기 복수의 인식대상 이미지들 각각의 특징 점들에서 상기 매칭 점들을 상기 결합 점으로 대체하여 DB에 저장하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of providing an image recognition system through DB efficiency, in which an image recognition system extracts feature points of each of a plurality of recognition target images corresponding to an object to be recognized. Extracting matching points matching each other, generating a coupling point corresponding to the extracted matching points, and the image recognition system at the feature points of each of the plurality of recognition target images. Replacing them with the coupling point and storing them in a DB.

상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 매칭되지 않는 비매칭 점에 대한 정보를 추출하는 단계 및 상기 비매칭 점을 상기 DB에서 삭제하는 단계를 더 포함할 수 있다.The method of providing an image recognition system through the DB efficiency may include extracting information on mismatched points that do not match feature points extracted from other images among points stored in the DB, and deleting the mismatched points from the DB. It may further include.

상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 미리 설정된 회수 이하로 매칭되는 특정점에 대한 정보를 추출하는 단계 및 추출된 상기 특정점에 대한 정보를 상기 DB에서 삭제하는 단계를 더 포함할 수 있다.The method of providing an image recognition system through the DB efficiency may include extracting information on a specific point that matches feature points extracted from another image among the points stored in the DB up to a predetermined number of times and information on the extracted specific point. It may further include the step of deleting from the DB.

상기 영상 인식 시스템은 어느 하나의 점과 최근접 거리에 해당하는 최근접점의 거리와 상기 어느 하나의 점과 차근접 거리를 갖는 차근접 점과의 거리의 비율이 일정 문턱 값(threshold) 값 이하인 경우에 상기 최근접점이 상기 어느 하나의 점과 매칭된다고 판단할 수 있다.The image recognition system, when the ratio of the distance between the closest point corresponding to any one point and the closest distance and the closest point of the vehicle having a close proximity distance with any one point is less than a predetermined threshold value (threshold value) It may be determined that the closest point of contact matches any one point.

상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 상기 영상 인식 시스템이 입력 영상의 입력 특징점을 추출하는 단계 및 추출된 상기 입력 특징점과 상기 DB에 저장된 점들을 소정의 매칭방식을 통해 매칭하여 상기 입력 영상에서 상기 인식대상을 인식하는 단계를 더 포함할 수 있다.The method of providing an image recognition system through the DB efficiency may include extracting, by the image recognition system, an input feature point of an input image, and matching the extracted input feature point and the points stored in the DB through a predetermined matching method in the input image. The method may further include recognizing the object to be recognized.

상기 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계는 상기 매칭 점들 각각의 속성(descriptor) 값의 대표 값을 속성 값으로 갖는 상기 결합 점을 생성하는 단계 또는 상기 매칭 점들 중 어느 하나를 상기 결합 점으로 결정하는 단계 중 어느 하나의 단계를 포함할 수 있다.Generating a coupling point corresponding to the extracted matching points may include generating the coupling point having a representative value of an attribute value of each of the matching points as an attribute value or combining one of the matching points. It may include any one of the steps to determine the point.

상기 영상 인식 시스템은 SIFT(Scale Invarian Feature Transform) 알고리즘을 이용하여 영상 인식을 수행하는 것을 특징으로 할 수 있다.The image recognition system may perform image recognition by using a scale invarian feature transform (SIFT) algorithm.

상기 기술적 과제를 해결하기 위한 DB 효율화를 통한 영상 인식 시스템 제공방법은 영상 인식 시스템이 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하는 단계, 상기 영상 인식 시스템이 상기 특징점들 중 다른 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 비매칭 점 또는 미리 설정된 회수 이하로 매칭되는 특정점에 대한 정보를 추출하는 단계, 및 상기 특징점들에서 상기 비매칭 점 또는 상기 특정점 중 적어도 하나를 제거한 점들을 DB에 저장하는 단계를 포함한다.According to an aspect of the present disclosure, there is provided a method of providing an image recognition system through DB efficiency, in which an image recognition system extracts feature points of each of a plurality of recognition target images corresponding to an object to be recognized. Extracting information about a non-matching point that has never matched the feature points extracted from the image or a specific point that is matched up to a predetermined number of times, and at least one of the mismatching point or the specific point in the feature points Saving the removed points in the DB.

상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 프로그램을 기록한 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.The image recognition system providing method through the DB efficiency may be stored in a computer-readable recording medium recording a program.

상기 기술적 과제를 해결하기 위한 DB 효율화를 통한 영상 인식 시스템은 DB, 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하기 위한 특징점 추출모듈, 상기 특징점 추출모듈에 의해 추출된 특징점들 중 서로 매칭되는 매칭점들을 추출하기 위한 매칭모듈, 및 상기 매칭모듈에 의해 추출된 매칭 점들에 대응되는 결합 점을 생성하고, 상기 복수의 인식대상 이미지들 각각의 특징점들에서 상기 매칭점들을 상기 결합 점으로 대체하여 상기 DB에 저장하기 위한 제어모듈을 포함한다.The image recognition system through the DB efficiency to solve the technical problem is a DB, a feature point extraction module for extracting the feature points of each of the plurality of recognition target images corresponding to the recognition object, among the feature points extracted by the feature point extraction module A matching module for extracting matching points that are matched with each other, and a matching point corresponding to the matching points extracted by the matching module, and generating the matching points in the feature points of each of the plurality of recognition target images. Substitute the control module for storing in the DB.

상기 매칭 모듈은 상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 매칭되지 않는 비매칭 점에 대한 정보를 추출하고, 상기 제어모듈은 상기 비매칭 점을 상기 DB에서 삭제하는 것을 특징으로 할 수 있다.The matching module may extract information about mismatched points that do not match the feature points extracted from other images among the points stored in the DB, and the control module may delete the mismatched points from the DB. have.

상기 매칭 모듈은 상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 일정 회수 이하로 매칭되는 특정점에 대한 정보를 추출하고, 상기 제어모듈은 추출된 상기 특정점에 대한 정보를 상기 DB에서 삭제할 수 있다.The matching module extracts information on a specific point that matches a feature point extracted from another image among the points stored in the DB for a predetermined number of times or less, and the control module deletes the extracted information about the specific point from the DB. Can be.

상기 기술적 과제를 해결하기 위한 DB 효율화를 통한 영상 인식 시스템은 DB, 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하기 위한 특징점 추출모듈, 상기 특징점 추출모듈에 의해 추출된 특징점들 중 다른 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 비매칭 점에 대한 정보 또는 일정 회수 이하로 매칭되는 특정 점에 대한 정보를 추출하기 위한 매칭모듈, 및 상기 특징점들 중 상기 비매칭 점 또는 상기 특정 점 중 적어도 하나를 제거하여 상기 DB에 저장하기 위한 제어모듈을 포함한다.
The image recognition system through the DB efficiency to solve the technical problem is a DB, a feature point extraction module for extracting the feature points of each of the plurality of recognition target images corresponding to the recognition object, among the feature points extracted by the feature point extraction module Matching module for extracting information about a non-matching point that does not match the feature points extracted from another image or information about a specific point that is matched up to a predetermined number of times, and the mismatching point or the specific of the feature points It includes a control module for removing at least one of the points to store in the DB.

본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 및 그 제공방법은 인식대상에 상응하는(인식대상을 나타내는) 복수의 이미지가 존재할 수 있는 경우, 상기 복수의 이미지를 레퍼런스 데이터에 포함시킬 수 있으므로 인식률이 높아지는 효과가 있다. According to an embodiment of the present invention, an image recognition system through DB efficiency and a method of providing the same may include the plurality of images in reference data when there may be a plurality of images (representing a recognition target) corresponding to the recognition target. Therefore, the recognition rate is increased.

또한, 복수의 이미지를 레퍼런스 데이터에 포함시킴으로써 발생할 수 있는 DB의 비대화를 방지할 수 있으므로, DB의 용량 증가로 인한 비용의 낭비 및 DB에 저장된 데이터 양의 현격한 증가로 인해 인식 시간이 늘어나는 등의 인식 성능의 열화를 방지할 수 있는 효과가 있다.In addition, it is possible to prevent the DB from bloating due to the inclusion of a plurality of images in the reference data, so that the recognition time is increased due to the waste of cost due to the increase of the capacity of the DB and the dramatic increase in the amount of data stored in the DB. There is an effect that can prevent degradation of the recognition performance.

또한, 어느 특징점의 매칭점을 최근접 이웃(nearest neighbor) 방식으로 탐색하는 영상 인식 알고리즘의 경우, 특히 차근접 이웃과 최근접 이웃간의 비율을 고려하는 탐색 방식의 경우, 동일한 인식대상에 상응하는 복수의 이미지들의 특징점을 모두 레퍼런스 데이터로 사용하면 유사한 특징점들이 존재할 확률이 높은데, 이러한 경우 오히려 인식률이 낮아질 수 있으므로, 유사한 특징점들(서로 매칭되는 특징점들을) 결합하여 하나의 점(즉, 결합점)으로 생성함으로써 DB 용량을 줄임과 동시에 인식률을 높일 수 있는 효과가 있다.In addition, in the case of an image recognition algorithm that searches for matching points of a feature point in a nearest neighbor method, particularly in the case of a search method that considers a ratio between the next-neighbor neighbor and the nearest neighbor, a plurality corresponding to the same recognition object If all the feature points of the images are used as reference data, there is a high probability that similar feature points exist. In this case, the recognition rate may be lowered. Therefore, similar feature points (matching feature points matched with each other) may be combined into one point (that is, a combination point). By reducing the DB capacity, the recognition rate can be increased.

또한, 동일한 인식대상에 대해 복수의 이미지들이 존재하는 경우, 상기 복수의 이미지들에 상응하는 특징점들 중 다른 이미지에 상응하는 특징점과 매칭여부 또는 매칭 회수에 따라 레퍼런스 데이터의 크기를 조절할 수 있으므로, DB의 크기를 줄이면서도 일정한 인식률을 보장할 수 있는 효과가 있다.
In addition, when a plurality of images exist for the same recognition object, the size of the reference data can be adjusted according to whether or not the number of matching and the number of matching the feature point corresponding to the other image among the feature points corresponding to the plurality of images, DB While reducing the size of the has the effect of ensuring a constant recognition rate.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 인식대상이 자연객체인 경우 영상 인식의 어려움을 설명하기 위한 도면이다.
도 2는 특정 인식대상에 상응하는 복수의 이미지들 각각을 레퍼런스 데이터에 포함시키는 경우의 문제점을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템의 개략적인 구성을 나타내는 도면이다.
도 4 내지 도 5는 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법에서 매칭되는 특징점을 결합점으로 생성하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법을 통해 인식률이 더 높아질 수 있음을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법을 통해 매칭여부 또는 회수에 따라 DB의 크기를 줄이는 개념을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법에 의해 줄어든 DB의 크기 및 이에 따른 이미지 인식률의 관계를 나타내는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS In order to better understand the drawings cited in the detailed description of the invention, a brief description of each drawing is provided.
1 is a view for explaining the difficulty of image recognition when the recognition object is a natural object.
FIG. 2 is a diagram for describing a problem when each of a plurality of images corresponding to a specific recognition object is included in reference data.
3 is a diagram illustrating a schematic configuration of an image recognition system through DB efficiency according to an embodiment of the present invention.
4 to 5 are diagrams for explaining a concept of generating a matching point as a coupling point in the image recognition system providing method through the DB efficiency according to an embodiment of the present invention.
6 is a view for explaining that a recognition rate may be increased through a method of providing an image recognition system through DB efficiency according to an embodiment of the present invention.
7 is a view for explaining the concept of reducing the size of the DB according to whether or not matching through the image recognition system providing method through the DB efficiency according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a relationship between a size of a DB reduced by the method of providing an image recognition system through DB efficiency and a corresponding image recognition rate according to an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. Also, in this specification, when any one element 'transmits' data to another element, the element may transmit the data directly to the other element, or may be transmitted through at least one other element And may transmit the data to the other component.

반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.Conversely, when one element 'directly transmits' data to another element, it means that the data is transmitted to the other element without passing through another element in the element.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.

본 발명의 기술적 사상은 SIFT, SURF(Speeded Up Robust Features) 등 특징점을 이용하여 레퍼런스 이미지(데이터)에서 인식하고자 하는 이미지(데이터)를 매칭하여 영상 인식을 수행하는 모든 알고리즘에 적용될 수 있다. 하지만, 설명의 편의를 위해 본 명세서에서는 SIFT 알고리즘을 위주로 설명을 하기로 한다.The technical idea of the present invention can be applied to all algorithms that perform image recognition by matching images (data) to be recognized in reference images (data) using feature points such as SIFT and Speeded Up Robust Features (SURF). However, for the convenience of description, the description will be made based on the SIFT algorithm.

도 3은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)의 개략적인 구성을 나타낸다.3 illustrates a schematic configuration of an image recognition system 100 through DB efficiency according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)은 제어모듈(110), 특징점 추출모듈(120), 매칭모듈(130), 및 DB(140)를 포함한다.3, the image recognition system 100 through the DB efficiency according to the embodiment of the present invention, the image recognition system 100 through the DB efficiency according to the embodiment of the present invention is the control module 110, feature point extraction Module 120, matching module 130, and DB 140.

상기 DB 효율화를 통한 영상 인식 시스템(100)은 본 발명의 기술적 사상에 따른 이미지 인식 시스템 제공방법을 수행할 수 있는 소정의 데이터 프로세싱 장치(예컨대, 컴퓨터, 서버, 또는 모바일 단말기 등)로 구현될 수 있다. The image recognition system 100 through the DB efficiency may be implemented as a predetermined data processing apparatus (for example, a computer, a server, a mobile terminal, etc.) capable of performing the method of providing an image recognition system according to the technical idea of the present invention. have.

이를 위해 상기 DB 효율화를 통한 영상 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 영상 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 영상 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 구현 예에 따라서는, 상기 영상 인식 시스템(100)에 포함된 각각의 구성 역시 서로 이격된 장치에 설치된 하드웨어 및/또는 소프트웨어의 결합에 의해 구현될 수 있다. 예컨대, 상기 제어모듈(110)은 서로 다른 복수의 물리적 장치 각각에 설치된 하드웨어 및/또는 소프트웨어들이 네트워크를 통해 유기적으로 결합되어 본 명세서에서 정의되는 기능들을 수행하는 구성을 의미할 수 있다.To this end, the image recognition system 100 through the DB efficiency may include hardware resources and / or software necessary to implement the technical idea of the present invention, and may necessarily mean one physical component or one. Does not mean the device of. That is, the image recognition system 100 may refer to a logical combination of hardware and / or software provided to implement the technical idea of the present invention. If necessary, the image recognition system 100 may be installed in devices spaced apart from each other. It may be implemented as a set of logical configurations for implementing the technical idea of the present invention by performing. In addition, the image recognition system 100 may refer to a set of components separately implemented for each function or role for implementing the technical idea of the present invention. According to an embodiment, each component included in the image recognition system 100 may also be implemented by a combination of hardware and / or software installed in devices spaced apart from each other. For example, the control module 110 may refer to a configuration in which hardware and / or software installed in each of a plurality of different physical devices are organically coupled through a network to perform the functions defined herein.

또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.In addition, the term "module" in the present specification may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the module may refer to a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean a physically connected code or a kind of hardware. Can be easily deduced to the average expert in the field of the present invention.

상기 제어모듈(110)은 상기 DB 효율화를 통한 영상 인식 시스템(100)에 포함된 다른 구성(예컨대, 상기 특징점 추출모듈(120), 상기 매칭모듈(130), 및/또는 상기 DB(140) 등)의 기능 및/또는 리소스를 제어할 수 있다. The control module 110 may include other components (eg, the feature point extraction module 120, the matching module 130, and / or the DB 140) included in the image recognition system 100 through the DB efficiency. Control functions and / or resources.

상기 특징점 추출모듈(120)은 소정의 이미지로부터 특징점(key point)을 추출할 수 있다. The feature point extraction module 120 may extract key points from a predetermined image.

상기 특징점은 특정한 이미지를 특징지울 수 있는 점을 의미할 수 있으며, 영상 인식 알고리즘의 종류에 따라 소정의 이미지에서 특징점을 추출하는 방식은 다를 수 있다. 예컨대, 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)은 SIFT 알고리즘을 통해 영상 인식을 수행할 수 있다. 그러면, 상기 특징점 추출모듈(120)은 SIFT 알고리즘에서 사용하는 특징점 추출방식을 이용해 소정의 이미지로부터 특징점을 추출할 수 있다. 이처럼 SIFT 알고리즘이 특징점을 추출하는 방식에 대해서는 상기의 논문들에 상세히 개시되어 있으므로 본 명세서에서는 상세한 설명은 생략하도록 한다. 간략히만 설명하면, 상기 특징점 추출모듈(120)은 상기의 논문들과 같이 스케일 스페이스 익스트리마(scale-space extrema)를 검출하고, 특징점 로컬라이제이션(keypoint localization)을 통해 소정의 이미지에서 적어도 하나의 특징점을 추출할 수 있다. The feature point may mean a point capable of characterizing a specific image, and a method of extracting the feature point from a predetermined image may vary according to the type of image recognition algorithm. For example, the image recognition system 100 through DB efficiency according to an embodiment of the present invention may perform image recognition through an SIFT algorithm. Then, the feature point extraction module 120 may extract a feature point from a predetermined image using the feature point extraction method used in the SIFT algorithm. As described above, the method of extracting the feature points by the SIFT algorithm is described in detail in the above papers, and thus the detailed description thereof will be omitted. In brief, the feature point extraction module 120 detects a scale-space extrema as in the above papers, and uses at least one feature point in a predetermined image through keypoint localization. Can be extracted.

본 발명의 기술적 사상에 따르면, 상기 특징점 추출모듈(120)은 특정 인식대상에 상응하는 복수의 이미지들 각각으로부터 특징점들을 추출할 수 있다. 각각의 이미지로부터 적어도 하나의 특징점이 추출될 수 있으며, 추출된 특징점들은 상기 DB(140)에 임시로 저장될 수 있다. According to the spirit of the present invention, the feature point extraction module 120 may extract feature points from each of a plurality of images corresponding to a specific recognition object. At least one feature point may be extracted from each image, and the extracted feature points may be temporarily stored in the DB 140.

그러면, 상기 매칭모듈(130)은 상기 DB(140)에 저장된 특징점들 중 서로 매칭되는 점들 즉, 매칭점들에 대한 정보를 추출할 수 있다. Then, the matching module 130 may extract information about matching points, that is, matching points, among the feature points stored in the DB 140.

그러면, 상기 제어모듈(110)은 상기 매칭점들에 대응되는 결합 점을 생성하고, 결합점을 상기 매칭점들과 대체하여 상기 DB(140)에 저장할 수 있다. Then, the control module 110 may generate a coupling point corresponding to the matching points, and store the coupling point in the DB 140 by replacing the coupling point with the matching points.

이러한 과정은 도 4 내지 도 5를 참조하여 설명하도록 한다. This process will be described with reference to FIGS. 4 to 5.

도 4 내지 도 5는 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법에서 매칭되는 특징점을 결합점으로 생성하는 개념을 설명하기 위한 도면이다.4 to 5 are diagrams for explaining a concept of generating a matching point as a coupling point in the image recognition system providing method through the DB efficiency according to an embodiment of the present invention.

먼저, 도 4를 참조하면, 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)에서 특징점 추출모듈(120)은 동일한 인식대상(예컨대, 자연표식물)에 상응하는 두 개의 이미지에 대해 각각 적어도 하나의 특징점을 추출하고, 추출된 특징점들을 DB(140)에 저장할 수 있다. 상기 DB(140)에 저장된 특징점들은 인풋 이미지의 특징점들과 비교의 대상이 되는 레퍼런스 데이터로 이용될 수 있다. First, referring to FIG. 4, in the image recognition system 100 through DB efficiency according to an embodiment of the present invention, the feature point extraction module 120 includes two images corresponding to the same recognition target (for example, a natural marker). Each of the at least one feature point may be extracted, and the extracted feature points may be stored in the DB 140. The feature points stored in the DB 140 may be used as reference data to be compared with the feature points of the input image.

도 4에서는 상기 인식대상에 상응하는 제1이미지(10)에서 추출된 특징점은 검은색으로 표시되고, 제2이미지(20)에서 추출된 특징점은 녹색으로 표시되고 있다.In FIG. 4, the feature points extracted from the first image 10 corresponding to the recognition object are displayed in black, and the feature points extracted from the second image 20 are displayed in green.

이렇게 상기 특징점 추출모듈(120)에 의해 각각의 이미지(10, 20)로부터 추출된 추출점들이 상기 DB(140)에 저장되면, 상기 DB(140)의 크기(즉, DB(140)에 저장된 데이터의 양)는 제1이미지(10)에서 추출된 특징점들의 수와 제2이미지(20)에서 추출된 특징점들의 수의 합이 된다. 따라서, 상기 인식대상에 상응하는 다수의 이미지가 존재하고, 인식률을 높이기 위해 이러한 다수의 이미지를 레퍼런스 데이터로 사용하고자 하는 경우, 레퍼런스 데이터로 사용될 이미지의 수에 따라 상기 DB(140)의 크기는 계속해서 증가하게 된다. 그로 인해 DB(140) 용량으로 인한 비용이 증가하게 되고, DB(140)에 저장된 데이터가 많으므로 실제 인식할 대상을 포함하고 있는 이미지 즉, 인풋 이미지가 입력되어 특징점 매칭이 이루어지는 경우, 매칭에 많은 시간이 걸리게 된다. 따라서, 인식 속도가 현격하게 줄어드는 효과가 있다. When the extraction points extracted from the respective images 10 and 20 by the feature point extraction module 120 are stored in the DB 140, the size of the DB 140 (that is, data stored in the DB 140) Is the sum of the number of feature points extracted from the first image 10 and the number of feature points extracted from the second image 20. Therefore, when there are a plurality of images corresponding to the object to be recognized and wants to use the plurality of images as reference data to increase the recognition rate, the size of the DB 140 continues according to the number of images to be used as reference data. Will increase. As a result, the cost due to the capacity of the DB 140 increases, and since there is a lot of data stored in the DB 140, when an image including an object to be recognized, that is, an input image is input and feature point matching is performed, a lot of matching occurs. It takes time. Therefore, there is an effect that the recognition speed is significantly reduced.

하지만, 본 발명의 기술적 사상에 의하면, 다수의 이미지를 레퍼런스 데이터로 이용하는 경우에도 DB(140)의 크기를, 다수의 이미지 각각으로부터 추출된 특징점들을 단순히 합친 것에 비해, 일정 정도 줄이면서도 오히려 인식률을 높일 수 있는 기술적 사상을 제공한다. However, according to the technical idea of the present invention, even when using a plurality of images as reference data, the size of the DB 140 is reduced to a certain degree, but rather to increase the recognition rate, compared to simply combining the feature points extracted from each of the plurality of images. Provide technical ideas that can be

이를 위해 상기 매칭모듈(130)은 상기 제1이미지(10) 및 상기 제2이미지(20) 각각에서 추출되어 상기 DB(140)에 저장되어 있는 특징점들 중 서로 매칭되는 매칭점들(예컨대, 11 및 21, 12 및 22)을 추출할 수 있다. To this end, the matching module 130 is extracted from each of the first image 10 and the second image 20 and matching points (eg, 11) among the feature points stored in the DB 140. And 21, 12, and 22).

이때, 상기 매칭모듈(130)은 서로 매칭되는 매칭점들을 찾기 위해 상기 영상 인식 시스템(100)이 사용하는 알고리즘의 매칭방식을 그대로 이용할 수 있다. 예컨대, 상기 영상 인식 시스템(100)이 SIFT 알고리즘을 사용하는 경우, 상기 매칭모듈(130)은 SIFT 알고리즘이 특징점들을 매칭하는 방식을 그대로 이용할 수 있다.In this case, the matching module 130 may use a matching method of an algorithm used by the image recognition system 100 to find matching points that match each other. For example, when the image recognition system 100 uses the SIFT algorithm, the matching module 130 may use a method in which the SIFT algorithm matches feature points.

예컨대, 상기 매칭모듈(130)은 어느 하나의 점과 최근접 거리에 해당하는 최근접점을 상기 어느 하나의 점과 매칭되는 점으로 결정할 수 있다. 이때, 상기 상기 어느 하나의 점과 상기 최근접점의 거리와 상기 어느 하나의 점과 차근접 거리를 갖는 차근접 점과의 거리의 비율이 일정 문턱 값(threshold) 값 이하인 경우에만 상기 어느 하나의 점과 상기 최근접점은 서로 매칭되는 매칭점들이라고 판단할 수 있다. 따라서, 상기 비율이 일정 문턱 값 이상인 경우, 즉 최근접점과의 거리와 차근접점의 거리의 차이가 별로 없는 경우에는 상기 어느 하나의 점과 매칭되는 점이 없다고 판단할 수 있다. 이러한 방식은 상기의 SIFT 알고리즘과 관련된 논문들에 상세히 개시되어 있으므로 상세한 설명은 생략하도록 한다.For example, the matching module 130 may determine a closest point corresponding to any one point and the nearest distance as a point that matches the one point. In this case, the one of the points only when the ratio of the distance between the one of the points and the nearest contact point and the distance between the one of the points and the vehicle proximity point having the vehicle proximity distance is less than a predetermined threshold value (threshold value) And the nearest point may be determined as matching points matching each other. Accordingly, when the ratio is greater than or equal to a predetermined threshold value, that is, when there is not much difference between the distance between the nearest contact point and the next vehicle contact point, it may be determined that there is no match with any one point. This method is described in detail in the papers related to the SIFT algorithm, and thus the detailed description thereof will be omitted.

결국, 상기 매칭모듈(130)은 동일한 복수의 특징점들(즉, 속성 값, 디스크립터(descrioptor)의 값이 동일한 특징점들)을 추출하는 것이 아니라, 서로 다른 복수의 특징점들을 매칭점으로 추출할 수 있다. As a result, the matching module 130 may extract a plurality of different feature points as matching points, rather than extracting the same feature points (ie, feature points having the same attribute value and descriptor value). .

특히, 본 발명의 기술적 사상과 같이 동일한 인식대상에 상응하는 복수의 이미지들은 매칭되는 특징점들이 존재할 확률이 많게 된다. 따라, 매칭되는 특징점들 즉, 매칭점들을 하나의 점 즉, 결합점으로 대체하게 되면 상기 DB(140)에 저장되는 특징점들의 개수는 줄어들게 된다. 예컨대, 도 4에서 매칭점들(11 및 21)은 결합점(31)으로 대체되고, 매칭점들(12 및 22)는 결합점(32)로 대체될 수 있다.In particular, as in the technical spirit of the present invention, a plurality of images corresponding to the same recognition object are likely to have matching feature points. Accordingly, when the matching feature points, that is, the matching points are replaced with one point, that is, the coupling point, the number of feature points stored in the DB 140 is reduced. For example, in FIG. 4, the matching points 11 and 21 may be replaced by the coupling point 31, and the matching points 12 and 22 may be replaced by the coupling point 32.

한편, 상기 매칭모듈(130)은 전술한 바와 같이 특정한 점에 대해 최근접점과 차근접점의 거리의 비율이 일정한 문턱 값 이하가 되어야 상기 최근접점을 상기 특정한 점의 매칭점으로 결정할 수 있다. 이러한 방식의 매칭 방식을 이용하는 알고리즘에서는 유사한 속성 값(예컨대, 디스크립터 값)을 갖는 특징점들이 레퍼런스에 많이 포함되어 있는 경우, 오히려 인식대상의 인식률이 떨어질 수 있다. 특히, 동일한 인식대상에 대하여 유사한 복수의 이미지들(예컨대, 도 4의 제1이미지(10), 및 제2이미지(20) 등)로부터 각각 특징점들을 추출하는 경우에는, 유사한 속성 값을 갖는 특징점들이 존재할 확률이 높게 된다. Meanwhile, as described above, the matching module 130 may determine the closest contact as the matching point of the specific point only when the ratio of the distance between the closest point and the closest point of contact with respect to the specific point is equal to or less than a predetermined threshold value. In an algorithm using a matching method of this type, when the feature points having similar attribute values (eg, descriptor values) are included in the reference, the recognition rate of the recognition object may be lowered. In particular, when feature points are extracted from a plurality of similar images (eg, the first image 10, the second image 20, etc. of FIG. 4) with respect to the same recognition object, the feature points having similar attribute values may be extracted. The probability of existence is high.

예컨대, 특징점(11)과 특징점(21)이 상기 DB(140)에 같이 존재하는 경우에는, 인풋 이미지에서 추출된 소정의 인풋 특징점에 매칭되는 특징점이 상기 DB(140)에 존재하지 않는다고 판단될 수 있다. 반면에 상기 특징점(11) 또는 상기 특징점(21) 중 어느 하나만 상기 DB(140)에 존재하거나, 상기 특징점(11) 및 상기 특징점(21)을 대체하는 어느 하나의 특징점(즉, 결합점(31))만이 상기 DB(140)에 존재하는 경우에는 상기 인풋 특징점은 상기 특징점(11), 상기 특징점(21), 또는 상기 결합점(31) 중 어느 하나와 매칭된다고 판단될 수 있다. 이는 레퍼런스 이미지의 특징점과 인풋 이미지의 특징점을 매칭하여 영상 인식을 수행하는 알고리즘이 전술한 바와 같이 최근접점과 차근접점의 거리의 비율을 고려하여 매칭여부를 판단할 때 빈번히 일어날 수 있다. 이러한 일 예는 도 6을 참조하여 설명하도록 한다.For example, when the feature point 11 and the feature point 21 exist together in the DB 140, it may be determined that the feature point matching the predetermined input feature point extracted from the input image does not exist in the DB 140. have. On the other hand, any one of the feature point 11 or the feature point 21 exists in the DB 140 or replaces the feature point 11 and the feature point 21. When only)) is present in the DB 140, the input feature point may be determined to match any one of the feature point 11, the feature point 21, or the coupling point 31. This may occur frequently when an algorithm for performing image recognition by matching the feature point of the reference image and the feature point of the input image to determine the matching in consideration of the ratio of the distance between the closest point and the closest point as described above. Such an example will be described with reference to Fig.

도 6은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법을 통해 인식률이 더 높아질 수 있음을 설명하기 위한 도면이다.6 is a view for explaining that a recognition rate may be increased through a method of providing an image recognition system through DB efficiency according to an embodiment of the present invention.

도 6을 참조하면, 특정 인식대상에 상응하는 서로 유사한 복수의 이미지들로부터 특징점들을 각각 추출하여 단순히 DB(140)에 저장하는 경우, 서로 유사한 특징점들이 상기 DB(140)에 저장되어 있을 확률이 상대적으로 높게 된다. Referring to FIG. 6, when feature points are extracted from a plurality of similar images corresponding to a specific recognition object and simply stored in the DB 140, the probability that similar feature points are stored in the DB 140 is relatively high. Becomes high.

만약, 이렇게 서로 유사한 특징점들(40, 41)이 같이 상기 DB(140)에 저장된 상태에서 소정의 인풋 이미지로부터 추출된 특징점인 인풋 특징점(50)의 상대적인 위치가 도 6에 도시된 바와 같을 수 있다. 그러면, 상기 유사한 특징점들(40,41)이 상기 DB(140)에 같이 존재하는 경우, 인풋 특징점(50)에서 최근접 점 및 차근접 점은 각각 점(40) 및 점(41)이 될 수 있고, 상기 인풋 특징점(50)에서 상기 최근접 점 및 차근접 점까지의 거리 각각(예컨대, r1, r2)은 큰 차이가 없을 수 있다. 즉, 상기 매칭모듈(130)이 상기 인풋 특징점(50)의 최근접 점(40)이 상기 인풋 특징점(50)과 매칭되는 점인지 판단하는 기준인 수식( r1 / r2 < a )(여기서 a는 소정의 문턱 값)을 만족하지 않게 될 수 있다. 결국, 상기 매칭모듈(130)은 상기 DB(140)에는 상기 인풋 특징점(50)과 매칭되는 특징점이 존재하지 않는다고 판단할 수 있다. 하지만, 상기 인풋 특징점(50)은 상기 특징점들(40, 41)과 실제로는 동일한 인식대상의 동일한 한 포인트에 해당하는 특징점일 수 있다. 예컨대, 특징점(40)에 해당하는 인식대상의 한 점이 조도, 촬영각도, 기타 외부상황에 의해서 변환된 점이 상기 특징점(41) 또는 상기 인풋 특징점(50)일 수 있다. 따라서, 상기 인풋 특징점(50)은 상기 특징점(40 또는 41) 중 어느 하나와 매칭되는 것이 바람직할 수 있다.If the similar feature points 40 and 41 are stored in the DB 140 together, the relative positions of the input feature points 50, which are feature points extracted from a predetermined input image, may be as shown in FIG. 6. . Then, when the similar feature points 40 and 41 exist together in the DB 140, the closest point and the closest point in the input feature point 50 may be the point 40 and the point 41, respectively. The distances from the input feature point 50 to the nearest point and the closest point (eg, r1 and r2) may not be significantly different. That is, the matching module 130 determines whether the closest point 40 of the input feature point 50 is matched with the input feature point 50, and a formula (r1 / r2 <a), where a is May not satisfy a predetermined threshold value). As a result, the matching module 130 may determine that there is no feature point matching the input feature point 50 in the DB 140. However, the input feature point 50 may be a feature point corresponding to the same one point of the same recognition object as the feature points 40 and 41. For example, one point of the recognition object corresponding to the feature point 40 may be the feature point 41 or the input feature point 50 converted by illuminance, photographing angle, or other external situation. Thus, the input feature point 50 may be matched with either of the feature points 40 or 41.

따라서, 상기 유사한 특징점들(40,41)을 어느 하나의 점 즉, 결합점으로 대체하는 경우에는 오히려 상기 인풋 특징점(50)과 상기 결합점이 매칭될 수 있는 확률이 높아질 수 있다. 그리고 결국, 인식대상의 인식률이 높아질 수 있다.Therefore, when the similar feature points 40 and 41 are replaced with any one point, that is, the coupling point, the probability that the input feature point 50 and the coupling point can match may be increased. As a result, the recognition rate of the object to be recognized may be increased.

예컨대, 도 6에서 유사한 특징점들(40, 41)이 결합점(예컨대, 40)으로 대체되면, 상기 인풋 특징점(50)과 최근접 점은 상기 결합점(예컨대, 40)이 될 수 있고, 차근접 점은 점(60)이 될 수 있다. 이러한 경우, 상기 인풋 특징점(50)과 상기 결합점(40)과의 거리(r1) 및 상기 인풋 특징점(50)과 상기 점(60)과의 거리(r2)는 상기 수식( r1 / r2 < a )을 만족할 수 있다. 즉, 상기 매칭모듈(130)은 상기 인풋 특징점(50)과 상기 결합점(40)이 서로 매칭된다고 판단할 수 있다.For example, if similar features 40, 41 in FIG. 6 are replaced by a coupling point (eg, 40), the input feature point 50 and the nearest point may be the coupling point (eg, 40), and the difference The proximity point may be point 60. In this case, the distance r1 between the input feature point 50 and the coupling point 40 and the distance r2 between the input feature point 50 and the point 60 are represented by the equation (r1 / r2 <a ) Can be satisfied. That is, the matching module 130 may determine that the input feature point 50 and the coupling point 40 match each other.

결국, 본 발명의 기술적 사상에 의하면, 서로 유사한 특징점들(즉, 서로 매칭되는 특징점들)을 결합점으로 대체함으로써, 상기 DB(140)의 크기를 줄임과 동시에 상기 DB(140)를 레퍼런스 데이터로 영상 인식을 수행하는 경우, 더 정확한 인식률을 얻을 수 있는 효과가 있다.As a result, according to the technical concept of the present invention, by replacing similar feature points (that is, feature points matched with each other) with a coupling point, the size of the DB 140 is reduced and the DB 140 is referred to as reference data. When image recognition is performed, a more accurate recognition rate can be obtained.

다시 도 4를 참조하면, 상기 매칭모듈(130)에 의해 상기 제1이미지(10) 및 상기 제2이미지(20) 각각으로부터 추출된 다수의 특징점들 중 서로 매칭되는 매칭점들이 추출되면, 상기 제어모듈(110)은 상기 매칭점들(예컨대, 11 및 21, 12 및 22)을 소정의 결합점(31, 32)로 대체할 수 있다. Referring back to FIG. 4, when matching points that match each other among a plurality of feature points extracted from each of the first image 10 and the second image 20 are extracted by the matching module 130, the control is performed. The module 110 may replace the matching points (eg, 11 and 21, 12 and 22) with predetermined coupling points 31 and 32.

상기 제어모듈(110)이 상기 매칭점들(예컨대, 11 및 21, 12 및 22)을 상기 결합점(예컨대, 31, 32)으로 대체하는 방식은 다양할 수 있다. 예컨대, 상기 제어모듈(110)은 상기 매칭점들(예컨대, 11 및 21) 중 어느 하나(예컨대, 11 또는 21)를 결합점으로 결정할 수도 있다. 또는, 상기 매칭점들(예컨대, 11 및 21) 각각의 속성 값의 대표값(예컨대, 평균값, 중간값 등)을 속성으로 갖는 소정의 점을 상기 결합점으로 생성할 수도 있다. 예컨대, 상기 영상 인식 시스템(100)인 SIFT알고리즘을 이용하는 경우, 상기 매칭점들(예컨대, 11 및 21) 각각은 128개의 속성 값을 가질 수 있고, 각각의 속성 값은 0~255의 값을 가질 수 있다. 따라서, 상기 결합점(예컨대, 31)의 속성 값 각각은 상기 매칭점들(예컨대, 11 및 21) 각각의 속성 값의 대표 값을 갖도록 생성될 수 있다.The control module 110 may replace the matching points (eg, 11 and 21, 12, and 22) with the coupling points (eg, 31 and 32). For example, the control module 110 may determine any one of the matching points (eg, 11 and 21) (eg, 11 or 21) as a coupling point. Alternatively, a predetermined point having a representative value (eg, an average value, a median value, etc.) of the attribute values of each of the matching points (eg, 11 and 21) may be generated as the coupling point. For example, when the SIFT algorithm, which is the image recognition system 100, is used, each of the matching points (eg, 11 and 21) may have 128 attribute values, and each attribute value may have a value of 0 to 255. Can be. Accordingly, each attribute value of the coupling point (eg, 31) may be generated to have a representative value of the attribute value of each of the matching points (eg, 11 and 21).

이에 따라 상기 적어도 하나의 매칭점들(예컨대, 11 및 21)은 어느 하나의 결합점(예컨대, 31)로 대체될 수 있다. 물론, 상기 결합점(예컨대, 31)이 다른 특징점과 매칭되는 경우에는 다시 다른 결합점으로 대체될 수도 있다. 따라서, 상기 DB(140)의 크기는 특정 인식대상에 상응하는 복수의 이미지들 각각으로부터 추출된 특징점들을 단순히 합친 것에 비해 월등히 줄어들 수가 있다. 또한, 동일한 이미지로부터 추출된 특징점끼리는 서로 결합되지 않도록 구현될 수 있지만 반드시 이에 한정되는 것은 아니다.Accordingly, the at least one matching point (eg, 11 and 21) may be replaced by any one coupling point (eg, 31). Of course, when the coupling point (eg, 31) matches another feature point, it may be replaced by another coupling point. Therefore, the size of the DB 140 can be significantly reduced compared to simply combining feature points extracted from each of a plurality of images corresponding to a specific object of recognition. In addition, feature points extracted from the same image may be implemented not to be combined with each other, but are not necessarily limited thereto.

도 5를 참조하면, 특정 인식대상에 상응하는 복수의 이미지들 각각으로부터 추출된 특징점들 중 서로 매칭되는 매칭점들이 결합점으로 대체될 수 있음을 용이하게 알 수 있다. 또한, 이를 통해 단순히 상기 특징점들이 DB(140)에 저장되는 것에 비해 서로 매칭되는 매칭점들이 결합됨으로써 DB(140)의 크기가 현저히 들어줄 수 있음을 알 수 있다. 이러한 효과는 동일한 인식대상에 상응하는 이미지들을 다수 레퍼런스 데이터로 이용하는 경우에 더 극대화될 수 있다. Referring to FIG. 5, it may be easily understood that matching points matching each other among feature points extracted from each of a plurality of images corresponding to a specific recognition object may be replaced with a coupling point. In addition, it can be seen that the size of the DB 140 can be remarkably entered by combining matching points that are matched with each other as compared with simply storing the feature points in the DB 140. This effect may be further maximized when using images corresponding to the same object as multiple reference data.

결국, 본 발명의 기술적 사상에 의하면, 특정 인식대상에 대해 외부상황이나 이미지 촬영각도 또는 기타 다양한 상황별로 상기 특정 인식대상에 상응하는 이미지를 다수 확보하고 이를 모두 레퍼런스 데이터로 사용하면서도 상기 DB(140)의 크기를 일정 정도 줄이면서 인식률을 높일 수 있는 효과가 있다.As a result, according to the technical idea of the present invention, while obtaining a plurality of images corresponding to the specific recognition object for each external situation, an image photographing angle, or other various situations for a specific recognition object and all of them are used as reference data, the DB 140 It is possible to increase the recognition rate by reducing the size of the circuit to some extent.

한편, 전술한 바와 같이 매칭점들을 결합점으로 대체한 상기 DB(140)에 포함된 특징점들 중에는 다른 이미지로부터 추출된 특징점들과 매칭이 된 특징점일 수도 있고, 매칭이 전혀 수행되지 않은 특징점일 수도 있다. 또한, 매칭이 된 특징점 중에는 수회 매칭된 특징점일 수도 있고, 한 번만 매칭된 특징점일 수도 있다. 매칭이 여러 번 되는 특징점일수록, 상기 인식대상이 다수의 이미지로 표현되어도 상기 다수의 이미지에 공통적으로 포함된 특징을 나타내는 점일 확률이 높을 수 있다. Meanwhile, among the feature points included in the DB 140 replacing the matching points with the coupling points as described above, the feature points may be matched with the feature points extracted from other images, or may be feature points that have not been matched at all. have. Also, among the matched feature points, the feature points may be matched several times or may be matched feature points only once. As the feature points are matched several times, even if the recognition object is represented by a plurality of images, it may be more likely that the points represent features commonly included in the plurality of images.

이와는 반대로 상기 인식대상이 다수의 이미지로 표현될 수 있는데, 그 중에 어느 하나의 이미지에만 특징점이 되고, 나머지 이미지에서는 해당 특징점과 매칭되는 특징점이 존재하지 않는다는 것은, 상기 특징점은 해당 이미지에서만 특징적인 점을 의미할 수 있으며, 이는 인식대상 고유의 특징을 표현하는 점이 아님을 의미할 수 있다. On the contrary, the recognition object may be represented as a plurality of images, and only one of the images may be a feature point, and in the remaining images, there is no feature point that matches the feature point. It may mean that it is not a point that expresses the characteristics unique to the recognition object.

따라서, 본 발명에 의하면, 전술한 바와 같이 매칭점들을 결합점으로 대체한 결과의 DB(140)에서 다른 이미지로부터 추출된 특징점들과의 매칭여부 및 매칭회수에 따라 상기 DB(140)의 크기를 보다 효율적으로 줄이면서도 어느 정도의 인식률을 유지할 수 있는 기술적 사상을 제공한다.Therefore, according to the present invention, the size of the DB 140 according to the number of matching and the number of matching with the feature points extracted from the other image in the DB 140 as a result of replacing the matching points with the coupling point as described above It provides a technical idea that can be reduced more efficiently and maintain a certain recognition rate.

이는 도 7을 참조하여 설명하도록 한다.This will be described with reference to FIG. 7.

도 7은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법을 통해 매칭여부 또는 회수에 따라 DB의 크기를 줄이는 개념을 설명하기 위한 도면이다.7 is a view for explaining the concept of reducing the size of the DB according to whether or not matching through the image recognition system providing method through the DB efficiency according to an embodiment of the present invention.

도 7을 참조하면, 상기 매칭모듈(130)은 상기 매칭점들을 결합점으로 대체한 결과의 DB(140)에서 소정의 테스트 이미지를 통해 상기 DB(140)에 저장된 특징점들의 매칭여부 및/또는 매칭회수를 판단할 수 있다. 상기 테스트 이미지는 상기 DB(140)에 레퍼런스 데이터로 포함된 복수의 이미지들 중 적어도 하나일 수도 있고, 상기 레퍼런스 데이터로 포함되지는 않았지만 상기 특정 인식대상에 상응하는 이미지일 수도 있다. Referring to FIG. 7, the matching module 130 matches and / or matches feature points stored in the DB 140 through a predetermined test image in the DB 140 of the result of replacing the matching points with the coupling points. The number of times can be determined. The test image may be at least one of a plurality of images included as reference data in the DB 140 or may be an image corresponding to the specific recognition object although not included as the reference data.

상기 매칭모듈(130)은 복수의 테스트 이미지들(즉, 동일한 인식대상에 상응하는 이미지)을 이용하여 복수 번 상기 DB(140)에 저장된 특징점들 각각의 매칭회수를 카운트할 수 있다. 그 결과는 도 7의 우측에 도시된 바와 같은 도표로 나타날 수 있다. 도 7에 도시된 도표의 x축은 매칭 회수로 정렬된 특징점의 번호를 의미하며, y축은 매칭회수를 의미한다. 도 7에 도시된 바와 같은 도표를 참조하면, 상기 DB(140)에 저장된 특징점들 약 265개의 특징점들 중 약 90개(예컨대, 177~265)의 특징점들은 다른 이미지로부터 추출된 특징점과는 한 번도 매칭되지 않음을 알 수 있다. 따라서, 이러한 특징점들 즉, 비매칭점을 삭제하는 경우에는 DB(140)의 크기를 더 줄일 수 있고, 도 6에서 설명한 바와 같이 인식률을 오히려 높일 수도 있다. 상기 제어모듈(110)은 상기 DB(140)에서 상기 비매칭점을 삭제할 수 있다. The matching module 130 may count the number of matching times of each of the feature points stored in the DB 140 using a plurality of test images (ie, images corresponding to the same recognition object). The results can be shown in a diagram as shown on the right side of FIG. The x-axis of the diagram shown in FIG. 7 represents the number of feature points arranged by the number of matching, and the y-axis represents the number of matching times. Referring to the diagram as shown in FIG. 7, about 90 (eg, 177 to 265) feature points of about 265 feature points stored in the DB 140 may be different from feature points extracted from other images. It can be seen that there is no match. Accordingly, in the case of deleting such feature points, that is, the mismatching point, the size of the DB 140 may be further reduced, and the recognition rate may be increased as described with reference to FIG. 6. The control module 110 may delete the mismatching point from the DB 140.

구현 예에 따라서는, 상기 제어모듈(110)은 상기 DB(140)에 저장된 특징점들 중 1회 또는 미리 정해진 회수 이하로 매칭되는 점들을 삭제할 수도 있다. 바람직하게는 1회 매칭되는 특징점들을 상기 DB(140)에서 삭제할 수 있다. According to an embodiment of the present disclosure, the control module 110 may delete points that are matched by one time or less than a predetermined number of feature points stored in the DB 140. Preferably, the feature points matched once may be deleted from the DB 140.

이처럼 매칭점들을 결합점으로 대체하거나, 이후 매칭여부 및/또는 회수에 따라 상기 특징점들을 추가로 DB(140)에서 삭제하는 경우의 DB의 크기 및 인식률에 대한 시뮬레이션 결과는 도 8에 도시된다.As shown in FIG. 8, simulation results of the size and recognition rate of the DB when the matching points are replaced with the coupling points or the feature points are additionally deleted from the DB 140 according to the matching and / or the number of matching points are illustrated in FIG. 8.

도 8은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법에 의해 줄어든 DB의 크기 및 이에 따른 이미지 인식률의 관계를 나타내는 도면이다.FIG. 8 is a diagram illustrating a relationship between a size of a DB reduced by the method of providing an image recognition system through DB efficiency and a corresponding image recognition rate according to an embodiment of the present invention.

도 8은 특정 인식대상에 상응하는 10개의 서로 다른 이미지를 이용하여 테스트를 수행한 결과를 나타낸다.8 illustrates a result of a test using ten different images corresponding to a specific object to be recognized.

또한, 특징점 통합의 경우는 전술한 바와 같이 매칭점들을 결합점으로 대체한 경우를 나타내며, 결합점으로 대체한 DB(140)에서 특징점을 제거한 경우는 한 번도 매칭되지 않는 특징점들(상기 DB(140)에 저장된 특징점의 약 37%)을 제거한 경우를 나타낸다.In addition, the feature point integration refers to a case in which matching points are replaced with a coupling point as described above, and the feature points are not matched once when the feature point is removed from the DB 140 replaced with the coupling point (the DB 140). ), About 37% of the feature points stored in) are removed.

또한, 특정점을 제거한 경우는 한 번 매칭된 특징점들(상기 DB(140)에 저장된 특징점의 약 58%)를 제거한 경우를 나타낸다.In addition, the case where the specific point is removed indicates a case where the matched feature points (about 58% of the feature points stored in the DB 140) are removed once.

이러한 경우, 단순 누적한 DB를 이용하여 상기 특정 인식대상에 상응하는 소정의 이미지를 매칭한 경우, 매칭점의 수에 비해 매칭점들을 결합점으로 대체한 DB(140)를이용하는 경우 월등히 인식률이 높아짐을 알 수 있다. 또한, 결합점으로 대체한 DB(140)에서 비매칭점들을 제거한 경우, DB(140)의 크기가 줄어들면서도 인식률은 오히려 높아짐을 알 수 있다. 특정점들(예컨대, 한 번만 매칭되는 특징점들)을 제거한 경우에는 다소 인식률이 줄어들지만 DB(140)의 크기는 현저히 줄어들어서 인식속도가 빨라질 수 있는 효과가 있음을 알 수 있다. In this case, when matching a predetermined image corresponding to the specific recognition target using a simple cumulative DB, the recognition rate is significantly higher when using the DB 140 that replaced the matching points with the coupling point compared to the number of matching points. It can be seen. In addition, when the non-matching points are removed from the DB 140 replaced by the coupling point, it can be seen that the recognition rate is rather high while the size of the DB 140 is reduced. When the specific points (eg, feature points that are matched only once) are removed, the recognition rate may be slightly reduced, but the size of the DB 140 may be significantly reduced, so that the recognition speed may be increased.

따라서, 도 8에서 확인할 수 있듯이 매칭점들을 결합점으로 대체하지 않고, 비매칭점을 제거하거나 특정점(예컨대, 한 번만 매칭되는 특징점들)을 제거하여도 DB의 크기를 현저히 줄이면서 인식률을 높이거나 어느 정도 인식률을 유지할 수 있는 효과가 있음을 알 수 있다.Accordingly, as shown in FIG. 8, even if the matching points are not replaced with the coupling points, the matching size is significantly reduced and the recognition rate is increased even if the non-matching points are removed or the specific points (eg, only one matching feature points) are removed. Or it can be seen that there is an effect that can maintain the recognition rate to some extent.

본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.According to an embodiment of the present invention, a method for providing an image recognition system through DB efficiency may be implemented as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, optical data storage, and the like, and also in the form of carrier waves (e.g., transmission over the Internet). It also includes implementations. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Although the present invention has been described with reference to the embodiments illustrated in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

Claims (13)

영상 인식 시스템이 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하는 단계;
상기 영상 인식 시스템이 추출된 특징점들 중 서로 매칭되는 매칭 점들을 추출하는 단계;
상기 영상 인식 시스템이 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계; 및
상기 영상 인식 시스템이 상기 복수의 인식대상 이미지들 각각의 특징 점들에서 상기 매칭 점들을 상기 결합 점으로 대체하여 DB에 저장하는 단계를 포함하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
Extracting, by the image recognition system, feature points of each of the plurality of recognition target images corresponding to the recognition target;
Extracting matching points that match each other among extracted feature points by the image recognition system;
Generating a coupling point corresponding to the extracted matching points by the image recognition system; And
And the image recognition system storing the matching points in the DB by replacing the matching points in the feature points of each of the plurality of recognition target images in the DB.
제 1항에 있어서, 상기 DB 효율화를 통한 영상 인식 시스템 제공방법은,
상기 DB에 저장된 점들 중 비매칭 점에 대한 정보를 추출하는 단계; 및
상기 비매칭 점을 상기 DB에서 삭제하는 단계를 더 포함하며,
상기 비매칭 점은,
상기 복수의 인식대상 이미지들 중 상기 비매칭 점이 추출된 인식대상 이미지와는 다른 인식대상 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 점인 것을 특징으로 하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The method of claim 1, wherein the image recognition system is provided through DB efficiency.
Extracting information on mismatched points among points stored in the DB; And
Deleting the mismatching point from the DB;
The mismatch point,
And wherein the mismatching point of the plurality of recognition target images does not match the feature points extracted from the recognition target image that is different from the extracted recognition target image.
제 2항에 있어서, 상기 DB 효율화를 통한 영상 인식 시스템 제공방법은,
상기 DB에 저장된 점들 중 특정점에 대한 정보를 추출하는 단계; 및
추출된 상기 특정점에 대한 정보를 상기 DB에서 삭제하는 단계를 더 포함하며,
상기 특정점은,
상기 복수의 인식대상 이미지들 중 상기 특정점이 추출된 인식대상 이미지와는 다른 인식대상 이미지로부터 추출된 특징점들과 미리 설정된 회수 이하로 매칭되는 점인 것을 특징으로 하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The method of claim 2, wherein the image recognition system is provided through DB efficiency.
Extracting information on a specific point among points stored in the DB; And
Deleting the extracted information about the specific point in the DB,
The specific point,
And a feature point extracted from a recognition target image which is different from the recognition target image from which the specific point is extracted from the plurality of recognition target images.
제 1항 내지 제3항 중 어느 한 항에 있어서, 상기 영상 인식 시스템은,
어느 하나의 점과 최근접 거리에 해당하는 최근접점의 거리와 상기 어느 하나의 점과 차근접 거리를 갖는 차근접 점과의 거리의 비율이 일정 문턱 값(threshold) 미만인 경우에 상기 최근접점이 상기 어느 하나의 점과 매칭된다고 판단하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
According to any one of claims 1 to 3, The image recognition system,
When the ratio of the distance between the closest point corresponding to any one point and the closest distance and the closest point with the one point and the close proximity distance is less than a predetermined threshold, the closest point is said. A method of providing an image recognition system through DB efficiency that determines that any one point is matched.
제 1항 내지 제3항 중 어느 한 항에 있어서, 상기 DB 효율화를 통한 영상 인식 시스템 제공방법은,
상기 영상 인식 시스템이 입력 영상의 입력 특징점을 추출하는 단계; 및
추출된 상기 입력 특징점과 상기 DB에 저장된 점들을 소정의 매칭방식을 통해 매칭하여 상기 입력 영상에서 상기 인식대상을 인식하는 단계를 더 포함하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The method according to any one of claims 1 to 3, wherein the image recognition system is provided through DB efficiency.
Extracting, by the image recognition system, input feature points of an input image; And
And matching the extracted feature points with the points stored in the DB through a predetermined matching method to recognize the recognition object in the input image.
제 1항에 있어서, 상기 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계는,
상기 매칭 점들 각각의 속성(descriptor) 값의 대표 값을 속성 값으로 갖는 상기 결합 점을 생성하는 단계; 또는
상기 매칭 점들 중 어느 하나를 상기 결합 점으로 결정하는 단계 중 어느 하나의 단계를 포함하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The method of claim 1, wherein the generating of the coupling point corresponding to the extracted matching points comprises:
Generating the coupling point having a representative value of an attribute value of each of the matching points as an attribute value; or
Method of providing an image recognition system through the DB efficiency comprising any one of the step of determining any one of the matching points as the coupling point.
제1항에 있어서, 상기 영상 인식 시스템은,
SIFT(Scale Invarian Feature Transform) 알고리즘을 이용하여 영상 인식을 수행하는 것을 특징으로 하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The system of claim 1, wherein the image recognition system comprises:
A method of providing an image recognition system through DB efficiency, characterized in that image recognition is performed by using a scale invarian feature transform (SIFT) algorithm.
영상 인식 시스템이 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하는 단계;
상기 영상 인식 시스템이 상기 특징점들 중 다른 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 비매칭 점 또는 미리 설정된 회수 이하로 매칭되는 특정점에 대한 정보를 추출하는 단계; 및
상기 특징점들에서 상기 비매칭 점 또는 상기 특정점 중 적어도 하나를 제거한 점들을 DB에 저장하는 단계를 포함하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
Extracting, by the image recognition system, feature points of each of the plurality of recognition target images corresponding to the recognition target;
Extracting, by the image recognition system, information about a non-matching point that is not matched with feature points extracted from another image among the feature points or a specific point that is matched up to a preset number of times; And
And storing points in which at least one of the mismatching point or the specific point is removed from the feature points in a DB.
제 1항, 제2항, 제 3항, 또는 제 8항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
A computer-readable recording medium having recorded thereon a program for performing the method according to any one of claims 1, 2, 3 or 8.
DB;
인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하기 위한 특징점 추출모듈;
상기 특징점 추출모듈에 의해 추출된 특징점들 중 서로 매칭되는 매칭점들을 추출하기 위한 매칭모듈; 및
상기 매칭모듈에 의해 추출된 매칭 점들에 대응되는 결합 점을 생성하고, 상기 복수의 인식대상 이미지들 각각의 특징점들에서 상기 매칭점들을 상기 결합 점으로 대체하여 상기 DB에 저장하기 위한 제어모듈을 포함하는 DB 효율화를 통한 영상 인식 시스템.
DB;
A feature point extraction module for extracting feature points of each of a plurality of recognition target images corresponding to the recognition target;
A matching module for extracting matching points that match each other among the feature points extracted by the feature point extraction module; And
And a control module for generating a coupling point corresponding to the matching points extracted by the matching module, and replacing the matching points with the coupling point in the feature points of each of the plurality of recognition target images and storing the matching points in the DB. Image recognition system through DB efficiency.
제 10항에 있어서, 상기 매칭 모듈은,
상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 매칭되지 않는 비매칭 점에 대한 정보를 추출하고,
상기 제어모듈은,
상기 비매칭 점을 상기 DB에서 삭제하는 것을 특징으로 하는 DB 효율화를 통한 영상 인식 시스템.
The method of claim 10, wherein the matching module,
Extracts information about mismatched points that do not match feature points extracted from other images among points stored in the DB,
The control module includes:
The image recognition system through the DB efficiency, characterized in that for deleting the mismatching point in the DB.
제 10항에 있어서, 상기 매칭 모듈은,
상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 일정 회수 이하로 매칭되는 특정점에 대한 정보를 추출하고,
상기 제어모듈은,
추출된 상기 특정점에 대한 정보를 상기 DB에서 삭제하는 DB 효율화를 통한 영상 인식 시스템.
The method of claim 10, wherein the matching module,
Extracts information on a specific point that matches a feature point extracted from another image among points stored in the DB for a predetermined number or less,
The control module includes:
Image recognition system through the DB efficiency to delete the extracted information on the specific point in the DB.
DB;
인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하기 위한 특징점 추출모듈;
상기 특징점 추출모듈에 의해 추출된 특징점들 중 다른 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 비매칭 점에 대한 정보 또는 일정 회수 이하로 매칭되는 특정 점에 대한 정보를 추출하기 위한 매칭모듈; 및
상기 특징점들 중 상기 비매칭 점 또는 상기 특정 점 중 적어도 하나를 제거하여 상기 DB에 저장하기 위한 제어모듈을 포함하는 DB 효율화를 통한 영상 인식 시스템.
DB;
A feature point extraction module for extracting feature points of each of a plurality of recognition target images corresponding to the recognition target;
A matching module for extracting information on non-matching points that are not matched with feature points extracted from other images among the feature points extracted by the feature point extraction module or information about a specific point that is matched up to a predetermined number of times; And
And a control module for removing at least one of the mismatching point or the specific point among the feature points and storing the at least one of the specific points in the DB.
KR1020110086999A 2011-08-30 2011-08-30 Image recognition system for DB efficiency and providing method thereof KR101265694B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110086999A KR101265694B1 (en) 2011-08-30 2011-08-30 Image recognition system for DB efficiency and providing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110086999A KR101265694B1 (en) 2011-08-30 2011-08-30 Image recognition system for DB efficiency and providing method thereof

Publications (2)

Publication Number Publication Date
KR20130023903A KR20130023903A (en) 2013-03-08
KR101265694B1 true KR101265694B1 (en) 2013-05-21

Family

ID=48176068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110086999A KR101265694B1 (en) 2011-08-30 2011-08-30 Image recognition system for DB efficiency and providing method thereof

Country Status (1)

Country Link
KR (1) KR101265694B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102149274B1 (en) 2013-11-29 2020-08-28 한화테크윈 주식회사 Method for image matching using a feature matching of the image
KR101715649B1 (en) * 2014-04-22 2017-03-15 위드로봇 주식회사 Image recognition system using transformed images
KR101850315B1 (en) * 2018-01-22 2018-05-31 주식회사 엑사스코프 Apparatus for self-checkout applied to hybrid product recognition

Also Published As

Publication number Publication date
KR20130023903A (en) 2013-03-08

Similar Documents

Publication Publication Date Title
Cozzolino et al. Copy-move forgery detection based on patchmatch
JP5527555B2 (en) Image database creation method, creation program, and image search method
US9747308B2 (en) Method and apparatus for searching an image, and computer-readable recording medium for executing the method
US9208399B2 (en) Method of extracting visual descriptor using feature selection and system for the same
KR101836811B1 (en) Method, apparatus and computer program for matching between the images
KR101329102B1 (en) augmented reality - image retrieval system using layout descriptor and image feature.
US8064705B2 (en) Image processing apparatus and control method thereof
Khan et al. Automatic target recognition in infrared imagery using dense hog features and relevance grouping of vocabulary
US20180247152A1 (en) Method and apparatus for distance measurement
JP2015111339A (en) Image search system, image search apparatus, search server device, image search method, and image search program
Kim et al. Adaptive weighted fusion with new spatial and temporal fingerprints for improved video copy detection
Soni et al. Keypoints based enhanced multiple copy‐move forgeries detection system using density‐based spatial clustering of application with noise clustering algorithm
KR101265694B1 (en) Image recognition system for DB efficiency and providing method thereof
KR102367859B1 (en) Appratus and method for classifying data using feature vector
CN103999097A (en) System and method for compact descriptor for visual search
JP2019028700A (en) Verification device, method, and program
Maigrot et al. Tampering detection and localization in images from social networks: A CBIR approach
US10853972B2 (en) Apparatus for processing image and method thereof
JP5004082B2 (en) Document image search method, document image registration method, program and apparatus thereof
JP6789175B2 (en) Image recognizers, methods, and programs
KR102452511B1 (en) Method and apparatus for detection element image in drawings
WO2013084731A1 (en) Image identifying system
KR101127793B1 (en) System for image recognition and providing method thereof
KR101758869B1 (en) Classification apparatus and method of multi-media contents
WO2013154062A1 (en) Image recognition system, image recognition method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160513

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180514

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 7