KR101265694B1 - Image recognition system for DB efficiency and providing method thereof - Google Patents
Image recognition system for DB efficiency and providing method thereof Download PDFInfo
- Publication number
- KR101265694B1 KR101265694B1 KR1020110086999A KR20110086999A KR101265694B1 KR 101265694 B1 KR101265694 B1 KR 101265694B1 KR 1020110086999 A KR1020110086999 A KR 1020110086999A KR 20110086999 A KR20110086999 A KR 20110086999A KR 101265694 B1 KR101265694 B1 KR 101265694B1
- Authority
- KR
- South Korea
- Prior art keywords
- point
- points
- matching
- image
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
DB 효율화를 통한 영상 인식 시스템 및 그 제공방법이 개시된다. 상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 영상 인식 시스템이 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하는 단계, 상기 영상 인식 시스템이 추출된 특징점들 중 서로 매칭되는 매칭 점들을 추출하는 단계, 상기 영상 인식 시스템이 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계, 및 상기 영상 인식 시스템이 상기 복수의 인식대상 이미지들 각각의 특징 점들에서 상기 매칭 점들을 상기 결합 점으로 대체하여 DB에 저장하는 단계를 포함한다.Disclosed are an image recognition system through DB efficiency and a method of providing the same. In the method of providing an image recognition system through the DB efficiency, the image recognition system extracts feature points of each of a plurality of recognition target images corresponding to a recognition object, and the image recognition system matches matching points that match each other among the extracted feature points. Extracting, generating, by the image recognition system, a combination point corresponding to the extracted matching points, and the image recognition system replacing the matching points in the feature points of each of the plurality of recognition target images. Storing in the DB.
Description
본 발명은 영상 인식 시스템 및 그 제공방법에 관한 것으로, 보다 상세하게는 동일한 인식 대상이 복수의 이미지 피쳐(feature)를 가질 수 있을 때, 이를 효율적으로 인식할 수 있는 시스템 및 그 제공방법에 관한 것이다.
The present invention relates to an image recognition system and a method for providing the same, and more particularly, to a system and a method for providing the same, when the same recognition object can have a plurality of image features (feature). .
영상 인식 알고리즘이나 이를 위한 시스템 등이 널리 공지되어 있다. 일반적으로 영상 인식 알고리즘은 특정 DB에 존재하는 레퍼런스 데이터에서 인풋 데이터 즉, 인풋 이미지가 존재하는지를 판단한다.Image recognition algorithms and systems therefor are well known. In general, an image recognition algorithm determines whether input data, that is, an input image, exists from reference data existing in a specific DB.
예컨대, SIFT(Scale Invariant Feature Transform) 알고리즘 등과 같은 영상 인식 알고리즘은 레퍼런스 이미지에 포함된 특정 피쳐(feature)를 인식하거나 검색하는 알고리즘으로 컴퓨터 비젼(computer vision) 분야에서는 널리 알려져 있는 알고리즘이다. For example, an image recognition algorithm such as a scale invariant feature transform (SIFT) algorithm is an algorithm that recognizes or retrieves a specific feature included in a reference image and is widely known in the field of computer vision.
본 발명의 기술적 사상이 반드시 SIFT에 한정되어서 적용되는 것은 아니지만, 본 명세서에서는 설명의 편의를 위해 SIFT 알고리즘을 위주로 설명하기로 한다.Although the technical idea of the present invention is not necessarily limited to SIFT, the present specification will be described based on the SIFT algorithm for convenience of description.
SIFT 알고리즘은 1999년에 David Lowe에 의해 제안된 알고리즘으로, 논문 "Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision. 2. pp. 1150-1157. doi:10.1109/ICCV.1999.790410" 및 "Lowe, D. G., “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004" 등에 의해 공지된바 있다. 상기의 논문들은 본 명세서의 레퍼런스로 포함될 수 있다.The SIFT algorithm is an algorithm proposed by David Lowe in 1999. The paper "Lowe, David G. (1999)." Object recognition from local scale-invariant features ". Proceedings of the International Conference on Computer Vision. 2. pp. Doi: 10.1109 / ICCV.1999.790410 "and" Lowe, DG, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 60, 2, pp. 91-110, 2004, etc. It has been done. The above articles may be incorporated by reference herein.
상기 논문들에 공지되어 있다시피, SIFT 알고리즘은 소정의 피쳐들을 스케일 및 오리엔테이션에 무관하게 인식할 수 있는 알고리즘이다. SIFT 알고리즘은 인식대상의 특징점(keypoint)을 레퍼런스 데이터 즉, 레퍼런스 이미지의 특징점과 매칭을 수행하여 상기 인식대상을 인식하는 방식의 알고리즘이다.As is known in the above papers, an SIFT algorithm is an algorithm that can recognize certain features regardless of scale and orientation. The SIFT algorithm is a type of algorithm that recognizes the recognition object by matching a keypoint of the object to be recognized with reference data, that is, the feature point of the reference image.
이때, 상기 인식대상이 소정의 이미지 등과 같이 디지털화된 데이터인 경우에는 인식대상별로 유니크(unique) 한 특징점들의 그룹이 추출되게 된다. In this case, when the recognition object is digitized data such as a predetermined image, a group of unique feature points is extracted for each recognition object.
하지만, 인식대상이 자연상태에 존재하는 객체 즉, 자연객체인 경우, 동일한 인식대상에 대해서도 다양한 변환 피쳐(feature)가 존재할 수 있게 된다. However, when the object to be recognized is a natural object, that is, a natural object, various transform features may exist for the same object.
도 1은 인식대상이 자연객체인 경우 영상 인식의 어려움을 설명하기 위한 도면인데, 도 1을 참조하면, 소정의 인식대상이 자연객체(예컨대, 표식물)인 경우, 상기 인식대상은 외부환경이나 상기 인식대상에 대한 이미지를 획득하는 수단의 상태 또는 각도에 따라 다양한 복수의 이미지로 표현이 될 수 있다. 예컨대, 도 1에 도시된 바와 같이 동일한 인식대상을 나타내는 이미지는 어느 하나의 이미지(10)뿐만 아니라, 상기 이미지(10)가 3D 또는 2D로 변환된 다양한 이미지(예컨대, 11, 12, 11-1, 12-1)로 변환된 이미지로 표현이 가능할 수 있다. 1 is a view for explaining the difficulty of image recognition when the recognition object is a natural object. Referring to FIG. 1, when a predetermined recognition object is a natural object (eg, a marker), the recognition object may be an external environment or the According to the state or angle of the means for acquiring the image for the object to be recognized may be represented by a plurality of images. For example, as shown in FIG. 1, the image representing the same object is not only one
즉, 특정 인식대상에 상응하는 어느 하나의 이미지(10)가 레퍼런스 데이터(예컨대, 이미지(10) 또는 상기 이미지(10)의 특징점들)로 소정의 DB에 존재하는 경우에도, 상기 레퍼런스 데이터만 존재하는 경우에는 자연객체인 상기 인식대상의 인식률은 낮아질 수밖에 없다. 왜냐하면, 자연객체인 상기 인식대상을 나타내는 이미지는 도 1에 도시된 바와 같이 상기 이미지(10)만 존재하는 것이 아니라, 상기 이미지(10)의 2D 및/또는 3D 변환이 된 다양한 이미지들(예컨대, 11, 12, 11-1, 12-1)이 존재할 수 있고, 이러한 변환이 된 이미지들(예컨대, 11, 12, 11-1, 12-1) 중 어느 하나가 인풋 이미지로 입력될 수 있기 때문이다.That is, even when any one
따라서, 이러한 문제점을 방지하기 위해선 특정 인식대상에 대해 미리 상기 인식대상을 나타내는 다양한 이미지(또는 이미지의 특징점)를 레퍼런스 데이터로 미리 입력해두는 방식이 존재할 수 있다.Accordingly, in order to prevent such a problem, there may exist a method of previously inputting various images (or feature points of the image) representing the recognition object as reference data in advance for a specific recognition object.
도 2는 특정 인식대상에 상응하는 복수의 이미지들 각각을 레퍼런스 데이터에 포함시키는 경우의 문제점을 설명하기 위한 도면인데, 도 2에 도시된 바와 같이 자연객체인 특정 인식대상에 상응하는 이미지들(예컨대, 10, 11, 12 등)은 다수일 수 있다. 그리고, 이러한 다수의 이미지들(예컨대, 10, 11, 12)에 상응하는 특징점들(즉, 소정의 특징점 추출알고리즘에 의해 추출된 특징점들)은 각각 다를 수 있는데, 각각의 이미지들(예컨대, 10, 11, 12)에 상응하는 특징점들을 단순히 레퍼런스 데이터를 저장하는 DB에 저장하는 경우, 상기 DB에 저장된 데이터의 양이 너무 많아져서 영상 인식을 수행하는데 속도의 저하 및 리소스의 낭비를 가져올 수 있다.FIG. 2 is a diagram illustrating a problem when each of a plurality of images corresponding to a specific recognition object is included in reference data. As illustrated in FIG. 2, images corresponding to a specific recognition object which is a natural object (for example, FIG. , 10, 11, 12, etc.) may be multiple. In addition, feature points corresponding to the plurality of images (eg, 10, 11, and 12) (that is, feature points extracted by a predetermined feature extraction algorithm) may be different from each other. , 11, and 12) are simply stored in a DB storing reference data, the amount of data stored in the DB may be too large, resulting in a decrease in speed and waste of resources in performing image recognition.
따라서, 복수의 다양한 이미지들로 표현될 수 있는 자연상태의 객체인 인식대상에 대해서도, DB를 효율적으로 구축하여 인식률을 높임과 동시에 리소스의 낭비를 방지할 수 있는 방법 및 시스템이 요구된다.
Accordingly, there is a need for a method and a system capable of efficiently constructing a DB to prevent recognition of resources and at the same time preventing waste of resources for objects to be recognized as objects of a natural state that can be represented by a plurality of various images.
따라서, 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 및 그 제공방법은 DB를 효율화(또는 최적화)하여 DB에 저장된 데이터의 양을 줄이면서도 인식대상의 인식률이 높아질 수 있도록 하는 시스템 및 방법을 제공하는 것이다.
Accordingly, an image recognition system and a method of providing the same through DB efficiency according to an embodiment of the present invention provide a system and method for increasing the recognition rate of an object to be recognized while reducing (or optimizing) the amount of data stored in the DB. To provide.
상기 기술적 과제를 달성하기 위한 DB 효율화를 통한 영상 인식 시스템 제공방법은 영상 인식 시스템이 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하는 단계, 상기 영상 인식 시스템이 추출된 특징점들 중 서로 매칭되는 매칭 점들을 추출하는 단계, 상기 영상 인식 시스템이 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계, 및 상기 영상 인식 시스템이 상기 복수의 인식대상 이미지들 각각의 특징 점들에서 상기 매칭 점들을 상기 결합 점으로 대체하여 DB에 저장하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of providing an image recognition system through DB efficiency, in which an image recognition system extracts feature points of each of a plurality of recognition target images corresponding to an object to be recognized. Extracting matching points matching each other, generating a coupling point corresponding to the extracted matching points, and the image recognition system at the feature points of each of the plurality of recognition target images. Replacing them with the coupling point and storing them in a DB.
상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 매칭되지 않는 비매칭 점에 대한 정보를 추출하는 단계 및 상기 비매칭 점을 상기 DB에서 삭제하는 단계를 더 포함할 수 있다.The method of providing an image recognition system through the DB efficiency may include extracting information on mismatched points that do not match feature points extracted from other images among points stored in the DB, and deleting the mismatched points from the DB. It may further include.
상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 미리 설정된 회수 이하로 매칭되는 특정점에 대한 정보를 추출하는 단계 및 추출된 상기 특정점에 대한 정보를 상기 DB에서 삭제하는 단계를 더 포함할 수 있다.The method of providing an image recognition system through the DB efficiency may include extracting information on a specific point that matches feature points extracted from another image among the points stored in the DB up to a predetermined number of times and information on the extracted specific point. It may further include the step of deleting from the DB.
상기 영상 인식 시스템은 어느 하나의 점과 최근접 거리에 해당하는 최근접점의 거리와 상기 어느 하나의 점과 차근접 거리를 갖는 차근접 점과의 거리의 비율이 일정 문턱 값(threshold) 값 이하인 경우에 상기 최근접점이 상기 어느 하나의 점과 매칭된다고 판단할 수 있다.The image recognition system, when the ratio of the distance between the closest point corresponding to any one point and the closest distance and the closest point of the vehicle having a close proximity distance with any one point is less than a predetermined threshold value (threshold value) It may be determined that the closest point of contact matches any one point.
상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 상기 영상 인식 시스템이 입력 영상의 입력 특징점을 추출하는 단계 및 추출된 상기 입력 특징점과 상기 DB에 저장된 점들을 소정의 매칭방식을 통해 매칭하여 상기 입력 영상에서 상기 인식대상을 인식하는 단계를 더 포함할 수 있다.The method of providing an image recognition system through the DB efficiency may include extracting, by the image recognition system, an input feature point of an input image, and matching the extracted input feature point and the points stored in the DB through a predetermined matching method in the input image. The method may further include recognizing the object to be recognized.
상기 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계는 상기 매칭 점들 각각의 속성(descriptor) 값의 대표 값을 속성 값으로 갖는 상기 결합 점을 생성하는 단계 또는 상기 매칭 점들 중 어느 하나를 상기 결합 점으로 결정하는 단계 중 어느 하나의 단계를 포함할 수 있다.Generating a coupling point corresponding to the extracted matching points may include generating the coupling point having a representative value of an attribute value of each of the matching points as an attribute value or combining one of the matching points. It may include any one of the steps to determine the point.
상기 영상 인식 시스템은 SIFT(Scale Invarian Feature Transform) 알고리즘을 이용하여 영상 인식을 수행하는 것을 특징으로 할 수 있다.The image recognition system may perform image recognition by using a scale invarian feature transform (SIFT) algorithm.
상기 기술적 과제를 해결하기 위한 DB 효율화를 통한 영상 인식 시스템 제공방법은 영상 인식 시스템이 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하는 단계, 상기 영상 인식 시스템이 상기 특징점들 중 다른 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 비매칭 점 또는 미리 설정된 회수 이하로 매칭되는 특정점에 대한 정보를 추출하는 단계, 및 상기 특징점들에서 상기 비매칭 점 또는 상기 특정점 중 적어도 하나를 제거한 점들을 DB에 저장하는 단계를 포함한다.According to an aspect of the present disclosure, there is provided a method of providing an image recognition system through DB efficiency, in which an image recognition system extracts feature points of each of a plurality of recognition target images corresponding to an object to be recognized. Extracting information about a non-matching point that has never matched the feature points extracted from the image or a specific point that is matched up to a predetermined number of times, and at least one of the mismatching point or the specific point in the feature points Saving the removed points in the DB.
상기 DB 효율화를 통한 영상 인식 시스템 제공방법은 프로그램을 기록한 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.The image recognition system providing method through the DB efficiency may be stored in a computer-readable recording medium recording a program.
상기 기술적 과제를 해결하기 위한 DB 효율화를 통한 영상 인식 시스템은 DB, 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하기 위한 특징점 추출모듈, 상기 특징점 추출모듈에 의해 추출된 특징점들 중 서로 매칭되는 매칭점들을 추출하기 위한 매칭모듈, 및 상기 매칭모듈에 의해 추출된 매칭 점들에 대응되는 결합 점을 생성하고, 상기 복수의 인식대상 이미지들 각각의 특징점들에서 상기 매칭점들을 상기 결합 점으로 대체하여 상기 DB에 저장하기 위한 제어모듈을 포함한다.The image recognition system through the DB efficiency to solve the technical problem is a DB, a feature point extraction module for extracting the feature points of each of the plurality of recognition target images corresponding to the recognition object, among the feature points extracted by the feature point extraction module A matching module for extracting matching points that are matched with each other, and a matching point corresponding to the matching points extracted by the matching module, and generating the matching points in the feature points of each of the plurality of recognition target images. Substitute the control module for storing in the DB.
상기 매칭 모듈은 상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 매칭되지 않는 비매칭 점에 대한 정보를 추출하고, 상기 제어모듈은 상기 비매칭 점을 상기 DB에서 삭제하는 것을 특징으로 할 수 있다.The matching module may extract information about mismatched points that do not match the feature points extracted from other images among the points stored in the DB, and the control module may delete the mismatched points from the DB. have.
상기 매칭 모듈은 상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 일정 회수 이하로 매칭되는 특정점에 대한 정보를 추출하고, 상기 제어모듈은 추출된 상기 특정점에 대한 정보를 상기 DB에서 삭제할 수 있다.The matching module extracts information on a specific point that matches a feature point extracted from another image among the points stored in the DB for a predetermined number of times or less, and the control module deletes the extracted information about the specific point from the DB. Can be.
상기 기술적 과제를 해결하기 위한 DB 효율화를 통한 영상 인식 시스템은 DB, 인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하기 위한 특징점 추출모듈, 상기 특징점 추출모듈에 의해 추출된 특징점들 중 다른 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 비매칭 점에 대한 정보 또는 일정 회수 이하로 매칭되는 특정 점에 대한 정보를 추출하기 위한 매칭모듈, 및 상기 특징점들 중 상기 비매칭 점 또는 상기 특정 점 중 적어도 하나를 제거하여 상기 DB에 저장하기 위한 제어모듈을 포함한다.
The image recognition system through the DB efficiency to solve the technical problem is a DB, a feature point extraction module for extracting the feature points of each of the plurality of recognition target images corresponding to the recognition object, among the feature points extracted by the feature point extraction module Matching module for extracting information about a non-matching point that does not match the feature points extracted from another image or information about a specific point that is matched up to a predetermined number of times, and the mismatching point or the specific of the feature points It includes a control module for removing at least one of the points to store in the DB.
본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 및 그 제공방법은 인식대상에 상응하는(인식대상을 나타내는) 복수의 이미지가 존재할 수 있는 경우, 상기 복수의 이미지를 레퍼런스 데이터에 포함시킬 수 있으므로 인식률이 높아지는 효과가 있다. According to an embodiment of the present invention, an image recognition system through DB efficiency and a method of providing the same may include the plurality of images in reference data when there may be a plurality of images (representing a recognition target) corresponding to the recognition target. Therefore, the recognition rate is increased.
또한, 복수의 이미지를 레퍼런스 데이터에 포함시킴으로써 발생할 수 있는 DB의 비대화를 방지할 수 있으므로, DB의 용량 증가로 인한 비용의 낭비 및 DB에 저장된 데이터 양의 현격한 증가로 인해 인식 시간이 늘어나는 등의 인식 성능의 열화를 방지할 수 있는 효과가 있다.In addition, it is possible to prevent the DB from bloating due to the inclusion of a plurality of images in the reference data, so that the recognition time is increased due to the waste of cost due to the increase of the capacity of the DB and the dramatic increase in the amount of data stored in the DB. There is an effect that can prevent degradation of the recognition performance.
또한, 어느 특징점의 매칭점을 최근접 이웃(nearest neighbor) 방식으로 탐색하는 영상 인식 알고리즘의 경우, 특히 차근접 이웃과 최근접 이웃간의 비율을 고려하는 탐색 방식의 경우, 동일한 인식대상에 상응하는 복수의 이미지들의 특징점을 모두 레퍼런스 데이터로 사용하면 유사한 특징점들이 존재할 확률이 높은데, 이러한 경우 오히려 인식률이 낮아질 수 있으므로, 유사한 특징점들(서로 매칭되는 특징점들을) 결합하여 하나의 점(즉, 결합점)으로 생성함으로써 DB 용량을 줄임과 동시에 인식률을 높일 수 있는 효과가 있다.In addition, in the case of an image recognition algorithm that searches for matching points of a feature point in a nearest neighbor method, particularly in the case of a search method that considers a ratio between the next-neighbor neighbor and the nearest neighbor, a plurality corresponding to the same recognition object If all the feature points of the images are used as reference data, there is a high probability that similar feature points exist. In this case, the recognition rate may be lowered. Therefore, similar feature points (matching feature points matched with each other) may be combined into one point (that is, a combination point). By reducing the DB capacity, the recognition rate can be increased.
또한, 동일한 인식대상에 대해 복수의 이미지들이 존재하는 경우, 상기 복수의 이미지들에 상응하는 특징점들 중 다른 이미지에 상응하는 특징점과 매칭여부 또는 매칭 회수에 따라 레퍼런스 데이터의 크기를 조절할 수 있으므로, DB의 크기를 줄이면서도 일정한 인식률을 보장할 수 있는 효과가 있다.
In addition, when a plurality of images exist for the same recognition object, the size of the reference data can be adjusted according to whether or not the number of matching and the number of matching the feature point corresponding to the other image among the feature points corresponding to the plurality of images, DB While reducing the size of the has the effect of ensuring a constant recognition rate.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 인식대상이 자연객체인 경우 영상 인식의 어려움을 설명하기 위한 도면이다.
도 2는 특정 인식대상에 상응하는 복수의 이미지들 각각을 레퍼런스 데이터에 포함시키는 경우의 문제점을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템의 개략적인 구성을 나타내는 도면이다.
도 4 내지 도 5는 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법에서 매칭되는 특징점을 결합점으로 생성하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법을 통해 인식률이 더 높아질 수 있음을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법을 통해 매칭여부 또는 회수에 따라 DB의 크기를 줄이는 개념을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법에 의해 줄어든 DB의 크기 및 이에 따른 이미지 인식률의 관계를 나타내는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS In order to better understand the drawings cited in the detailed description of the invention, a brief description of each drawing is provided.
1 is a view for explaining the difficulty of image recognition when the recognition object is a natural object.
FIG. 2 is a diagram for describing a problem when each of a plurality of images corresponding to a specific recognition object is included in reference data.
3 is a diagram illustrating a schematic configuration of an image recognition system through DB efficiency according to an embodiment of the present invention.
4 to 5 are diagrams for explaining a concept of generating a matching point as a coupling point in the image recognition system providing method through the DB efficiency according to an embodiment of the present invention.
6 is a view for explaining that a recognition rate may be increased through a method of providing an image recognition system through DB efficiency according to an embodiment of the present invention.
7 is a view for explaining the concept of reducing the size of the DB according to whether or not matching through the image recognition system providing method through the DB efficiency according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a relationship between a size of a DB reduced by the method of providing an image recognition system through DB efficiency and a corresponding image recognition rate according to an embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. Also, in this specification, when any one element 'transmits' data to another element, the element may transmit the data directly to the other element, or may be transmitted through at least one other element And may transmit the data to the other component.
반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.Conversely, when one element 'directly transmits' data to another element, it means that the data is transmitted to the other element without passing through another element in the element.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.
본 발명의 기술적 사상은 SIFT, SURF(Speeded Up Robust Features) 등 특징점을 이용하여 레퍼런스 이미지(데이터)에서 인식하고자 하는 이미지(데이터)를 매칭하여 영상 인식을 수행하는 모든 알고리즘에 적용될 수 있다. 하지만, 설명의 편의를 위해 본 명세서에서는 SIFT 알고리즘을 위주로 설명을 하기로 한다.The technical idea of the present invention can be applied to all algorithms that perform image recognition by matching images (data) to be recognized in reference images (data) using feature points such as SIFT and Speeded Up Robust Features (SURF). However, for the convenience of description, the description will be made based on the SIFT algorithm.
도 3은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)의 개략적인 구성을 나타낸다.3 illustrates a schematic configuration of an
도 3을 참조하면, 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)은 제어모듈(110), 특징점 추출모듈(120), 매칭모듈(130), 및 DB(140)를 포함한다.3, the
상기 DB 효율화를 통한 영상 인식 시스템(100)은 본 발명의 기술적 사상에 따른 이미지 인식 시스템 제공방법을 수행할 수 있는 소정의 데이터 프로세싱 장치(예컨대, 컴퓨터, 서버, 또는 모바일 단말기 등)로 구현될 수 있다. The
이를 위해 상기 DB 효율화를 통한 영상 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 영상 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 영상 인식 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 구현 예에 따라서는, 상기 영상 인식 시스템(100)에 포함된 각각의 구성 역시 서로 이격된 장치에 설치된 하드웨어 및/또는 소프트웨어의 결합에 의해 구현될 수 있다. 예컨대, 상기 제어모듈(110)은 서로 다른 복수의 물리적 장치 각각에 설치된 하드웨어 및/또는 소프트웨어들이 네트워크를 통해 유기적으로 결합되어 본 명세서에서 정의되는 기능들을 수행하는 구성을 의미할 수 있다.To this end, the
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.In addition, the term "module" in the present specification may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the module may refer to a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean a physically connected code or a kind of hardware. Can be easily deduced to the average expert in the field of the present invention.
상기 제어모듈(110)은 상기 DB 효율화를 통한 영상 인식 시스템(100)에 포함된 다른 구성(예컨대, 상기 특징점 추출모듈(120), 상기 매칭모듈(130), 및/또는 상기 DB(140) 등)의 기능 및/또는 리소스를 제어할 수 있다. The
상기 특징점 추출모듈(120)은 소정의 이미지로부터 특징점(key point)을 추출할 수 있다. The feature
상기 특징점은 특정한 이미지를 특징지울 수 있는 점을 의미할 수 있으며, 영상 인식 알고리즘의 종류에 따라 소정의 이미지에서 특징점을 추출하는 방식은 다를 수 있다. 예컨대, 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)은 SIFT 알고리즘을 통해 영상 인식을 수행할 수 있다. 그러면, 상기 특징점 추출모듈(120)은 SIFT 알고리즘에서 사용하는 특징점 추출방식을 이용해 소정의 이미지로부터 특징점을 추출할 수 있다. 이처럼 SIFT 알고리즘이 특징점을 추출하는 방식에 대해서는 상기의 논문들에 상세히 개시되어 있으므로 본 명세서에서는 상세한 설명은 생략하도록 한다. 간략히만 설명하면, 상기 특징점 추출모듈(120)은 상기의 논문들과 같이 스케일 스페이스 익스트리마(scale-space extrema)를 검출하고, 특징점 로컬라이제이션(keypoint localization)을 통해 소정의 이미지에서 적어도 하나의 특징점을 추출할 수 있다. The feature point may mean a point capable of characterizing a specific image, and a method of extracting the feature point from a predetermined image may vary according to the type of image recognition algorithm. For example, the
본 발명의 기술적 사상에 따르면, 상기 특징점 추출모듈(120)은 특정 인식대상에 상응하는 복수의 이미지들 각각으로부터 특징점들을 추출할 수 있다. 각각의 이미지로부터 적어도 하나의 특징점이 추출될 수 있으며, 추출된 특징점들은 상기 DB(140)에 임시로 저장될 수 있다. According to the spirit of the present invention, the feature
그러면, 상기 매칭모듈(130)은 상기 DB(140)에 저장된 특징점들 중 서로 매칭되는 점들 즉, 매칭점들에 대한 정보를 추출할 수 있다. Then, the
그러면, 상기 제어모듈(110)은 상기 매칭점들에 대응되는 결합 점을 생성하고, 결합점을 상기 매칭점들과 대체하여 상기 DB(140)에 저장할 수 있다. Then, the
이러한 과정은 도 4 내지 도 5를 참조하여 설명하도록 한다. This process will be described with reference to FIGS. 4 to 5.
도 4 내지 도 5는 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법에서 매칭되는 특징점을 결합점으로 생성하는 개념을 설명하기 위한 도면이다.4 to 5 are diagrams for explaining a concept of generating a matching point as a coupling point in the image recognition system providing method through the DB efficiency according to an embodiment of the present invention.
먼저, 도 4를 참조하면, 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템(100)에서 특징점 추출모듈(120)은 동일한 인식대상(예컨대, 자연표식물)에 상응하는 두 개의 이미지에 대해 각각 적어도 하나의 특징점을 추출하고, 추출된 특징점들을 DB(140)에 저장할 수 있다. 상기 DB(140)에 저장된 특징점들은 인풋 이미지의 특징점들과 비교의 대상이 되는 레퍼런스 데이터로 이용될 수 있다. First, referring to FIG. 4, in the
도 4에서는 상기 인식대상에 상응하는 제1이미지(10)에서 추출된 특징점은 검은색으로 표시되고, 제2이미지(20)에서 추출된 특징점은 녹색으로 표시되고 있다.In FIG. 4, the feature points extracted from the
이렇게 상기 특징점 추출모듈(120)에 의해 각각의 이미지(10, 20)로부터 추출된 추출점들이 상기 DB(140)에 저장되면, 상기 DB(140)의 크기(즉, DB(140)에 저장된 데이터의 양)는 제1이미지(10)에서 추출된 특징점들의 수와 제2이미지(20)에서 추출된 특징점들의 수의 합이 된다. 따라서, 상기 인식대상에 상응하는 다수의 이미지가 존재하고, 인식률을 높이기 위해 이러한 다수의 이미지를 레퍼런스 데이터로 사용하고자 하는 경우, 레퍼런스 데이터로 사용될 이미지의 수에 따라 상기 DB(140)의 크기는 계속해서 증가하게 된다. 그로 인해 DB(140) 용량으로 인한 비용이 증가하게 되고, DB(140)에 저장된 데이터가 많으므로 실제 인식할 대상을 포함하고 있는 이미지 즉, 인풋 이미지가 입력되어 특징점 매칭이 이루어지는 경우, 매칭에 많은 시간이 걸리게 된다. 따라서, 인식 속도가 현격하게 줄어드는 효과가 있다. When the extraction points extracted from the
하지만, 본 발명의 기술적 사상에 의하면, 다수의 이미지를 레퍼런스 데이터로 이용하는 경우에도 DB(140)의 크기를, 다수의 이미지 각각으로부터 추출된 특징점들을 단순히 합친 것에 비해, 일정 정도 줄이면서도 오히려 인식률을 높일 수 있는 기술적 사상을 제공한다. However, according to the technical idea of the present invention, even when using a plurality of images as reference data, the size of the
이를 위해 상기 매칭모듈(130)은 상기 제1이미지(10) 및 상기 제2이미지(20) 각각에서 추출되어 상기 DB(140)에 저장되어 있는 특징점들 중 서로 매칭되는 매칭점들(예컨대, 11 및 21, 12 및 22)을 추출할 수 있다. To this end, the
이때, 상기 매칭모듈(130)은 서로 매칭되는 매칭점들을 찾기 위해 상기 영상 인식 시스템(100)이 사용하는 알고리즘의 매칭방식을 그대로 이용할 수 있다. 예컨대, 상기 영상 인식 시스템(100)이 SIFT 알고리즘을 사용하는 경우, 상기 매칭모듈(130)은 SIFT 알고리즘이 특징점들을 매칭하는 방식을 그대로 이용할 수 있다.In this case, the
예컨대, 상기 매칭모듈(130)은 어느 하나의 점과 최근접 거리에 해당하는 최근접점을 상기 어느 하나의 점과 매칭되는 점으로 결정할 수 있다. 이때, 상기 상기 어느 하나의 점과 상기 최근접점의 거리와 상기 어느 하나의 점과 차근접 거리를 갖는 차근접 점과의 거리의 비율이 일정 문턱 값(threshold) 값 이하인 경우에만 상기 어느 하나의 점과 상기 최근접점은 서로 매칭되는 매칭점들이라고 판단할 수 있다. 따라서, 상기 비율이 일정 문턱 값 이상인 경우, 즉 최근접점과의 거리와 차근접점의 거리의 차이가 별로 없는 경우에는 상기 어느 하나의 점과 매칭되는 점이 없다고 판단할 수 있다. 이러한 방식은 상기의 SIFT 알고리즘과 관련된 논문들에 상세히 개시되어 있으므로 상세한 설명은 생략하도록 한다.For example, the
결국, 상기 매칭모듈(130)은 동일한 복수의 특징점들(즉, 속성 값, 디스크립터(descrioptor)의 값이 동일한 특징점들)을 추출하는 것이 아니라, 서로 다른 복수의 특징점들을 매칭점으로 추출할 수 있다. As a result, the
특히, 본 발명의 기술적 사상과 같이 동일한 인식대상에 상응하는 복수의 이미지들은 매칭되는 특징점들이 존재할 확률이 많게 된다. 따라, 매칭되는 특징점들 즉, 매칭점들을 하나의 점 즉, 결합점으로 대체하게 되면 상기 DB(140)에 저장되는 특징점들의 개수는 줄어들게 된다. 예컨대, 도 4에서 매칭점들(11 및 21)은 결합점(31)으로 대체되고, 매칭점들(12 및 22)는 결합점(32)로 대체될 수 있다.In particular, as in the technical spirit of the present invention, a plurality of images corresponding to the same recognition object are likely to have matching feature points. Accordingly, when the matching feature points, that is, the matching points are replaced with one point, that is, the coupling point, the number of feature points stored in the
한편, 상기 매칭모듈(130)은 전술한 바와 같이 특정한 점에 대해 최근접점과 차근접점의 거리의 비율이 일정한 문턱 값 이하가 되어야 상기 최근접점을 상기 특정한 점의 매칭점으로 결정할 수 있다. 이러한 방식의 매칭 방식을 이용하는 알고리즘에서는 유사한 속성 값(예컨대, 디스크립터 값)을 갖는 특징점들이 레퍼런스에 많이 포함되어 있는 경우, 오히려 인식대상의 인식률이 떨어질 수 있다. 특히, 동일한 인식대상에 대하여 유사한 복수의 이미지들(예컨대, 도 4의 제1이미지(10), 및 제2이미지(20) 등)로부터 각각 특징점들을 추출하는 경우에는, 유사한 속성 값을 갖는 특징점들이 존재할 확률이 높게 된다. Meanwhile, as described above, the
예컨대, 특징점(11)과 특징점(21)이 상기 DB(140)에 같이 존재하는 경우에는, 인풋 이미지에서 추출된 소정의 인풋 특징점에 매칭되는 특징점이 상기 DB(140)에 존재하지 않는다고 판단될 수 있다. 반면에 상기 특징점(11) 또는 상기 특징점(21) 중 어느 하나만 상기 DB(140)에 존재하거나, 상기 특징점(11) 및 상기 특징점(21)을 대체하는 어느 하나의 특징점(즉, 결합점(31))만이 상기 DB(140)에 존재하는 경우에는 상기 인풋 특징점은 상기 특징점(11), 상기 특징점(21), 또는 상기 결합점(31) 중 어느 하나와 매칭된다고 판단될 수 있다. 이는 레퍼런스 이미지의 특징점과 인풋 이미지의 특징점을 매칭하여 영상 인식을 수행하는 알고리즘이 전술한 바와 같이 최근접점과 차근접점의 거리의 비율을 고려하여 매칭여부를 판단할 때 빈번히 일어날 수 있다. 이러한 일 예는 도 6을 참조하여 설명하도록 한다.For example, when the
도 6은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법을 통해 인식률이 더 높아질 수 있음을 설명하기 위한 도면이다.6 is a view for explaining that a recognition rate may be increased through a method of providing an image recognition system through DB efficiency according to an embodiment of the present invention.
도 6을 참조하면, 특정 인식대상에 상응하는 서로 유사한 복수의 이미지들로부터 특징점들을 각각 추출하여 단순히 DB(140)에 저장하는 경우, 서로 유사한 특징점들이 상기 DB(140)에 저장되어 있을 확률이 상대적으로 높게 된다. Referring to FIG. 6, when feature points are extracted from a plurality of similar images corresponding to a specific recognition object and simply stored in the
만약, 이렇게 서로 유사한 특징점들(40, 41)이 같이 상기 DB(140)에 저장된 상태에서 소정의 인풋 이미지로부터 추출된 특징점인 인풋 특징점(50)의 상대적인 위치가 도 6에 도시된 바와 같을 수 있다. 그러면, 상기 유사한 특징점들(40,41)이 상기 DB(140)에 같이 존재하는 경우, 인풋 특징점(50)에서 최근접 점 및 차근접 점은 각각 점(40) 및 점(41)이 될 수 있고, 상기 인풋 특징점(50)에서 상기 최근접 점 및 차근접 점까지의 거리 각각(예컨대, r1, r2)은 큰 차이가 없을 수 있다. 즉, 상기 매칭모듈(130)이 상기 인풋 특징점(50)의 최근접 점(40)이 상기 인풋 특징점(50)과 매칭되는 점인지 판단하는 기준인 수식( r1 / r2 < a )(여기서 a는 소정의 문턱 값)을 만족하지 않게 될 수 있다. 결국, 상기 매칭모듈(130)은 상기 DB(140)에는 상기 인풋 특징점(50)과 매칭되는 특징점이 존재하지 않는다고 판단할 수 있다. 하지만, 상기 인풋 특징점(50)은 상기 특징점들(40, 41)과 실제로는 동일한 인식대상의 동일한 한 포인트에 해당하는 특징점일 수 있다. 예컨대, 특징점(40)에 해당하는 인식대상의 한 점이 조도, 촬영각도, 기타 외부상황에 의해서 변환된 점이 상기 특징점(41) 또는 상기 인풋 특징점(50)일 수 있다. 따라서, 상기 인풋 특징점(50)은 상기 특징점(40 또는 41) 중 어느 하나와 매칭되는 것이 바람직할 수 있다.If the similar feature points 40 and 41 are stored in the
따라서, 상기 유사한 특징점들(40,41)을 어느 하나의 점 즉, 결합점으로 대체하는 경우에는 오히려 상기 인풋 특징점(50)과 상기 결합점이 매칭될 수 있는 확률이 높아질 수 있다. 그리고 결국, 인식대상의 인식률이 높아질 수 있다.Therefore, when the similar feature points 40 and 41 are replaced with any one point, that is, the coupling point, the probability that the input feature point 50 and the coupling point can match may be increased. As a result, the recognition rate of the object to be recognized may be increased.
예컨대, 도 6에서 유사한 특징점들(40, 41)이 결합점(예컨대, 40)으로 대체되면, 상기 인풋 특징점(50)과 최근접 점은 상기 결합점(예컨대, 40)이 될 수 있고, 차근접 점은 점(60)이 될 수 있다. 이러한 경우, 상기 인풋 특징점(50)과 상기 결합점(40)과의 거리(r1) 및 상기 인풋 특징점(50)과 상기 점(60)과의 거리(r2)는 상기 수식( r1 / r2 < a )을 만족할 수 있다. 즉, 상기 매칭모듈(130)은 상기 인풋 특징점(50)과 상기 결합점(40)이 서로 매칭된다고 판단할 수 있다.For example, if similar features 40, 41 in FIG. 6 are replaced by a coupling point (eg, 40), the input feature point 50 and the nearest point may be the coupling point (eg, 40), and the difference The proximity point may be
결국, 본 발명의 기술적 사상에 의하면, 서로 유사한 특징점들(즉, 서로 매칭되는 특징점들)을 결합점으로 대체함으로써, 상기 DB(140)의 크기를 줄임과 동시에 상기 DB(140)를 레퍼런스 데이터로 영상 인식을 수행하는 경우, 더 정확한 인식률을 얻을 수 있는 효과가 있다.As a result, according to the technical concept of the present invention, by replacing similar feature points (that is, feature points matched with each other) with a coupling point, the size of the
다시 도 4를 참조하면, 상기 매칭모듈(130)에 의해 상기 제1이미지(10) 및 상기 제2이미지(20) 각각으로부터 추출된 다수의 특징점들 중 서로 매칭되는 매칭점들이 추출되면, 상기 제어모듈(110)은 상기 매칭점들(예컨대, 11 및 21, 12 및 22)을 소정의 결합점(31, 32)로 대체할 수 있다. Referring back to FIG. 4, when matching points that match each other among a plurality of feature points extracted from each of the
상기 제어모듈(110)이 상기 매칭점들(예컨대, 11 및 21, 12 및 22)을 상기 결합점(예컨대, 31, 32)으로 대체하는 방식은 다양할 수 있다. 예컨대, 상기 제어모듈(110)은 상기 매칭점들(예컨대, 11 및 21) 중 어느 하나(예컨대, 11 또는 21)를 결합점으로 결정할 수도 있다. 또는, 상기 매칭점들(예컨대, 11 및 21) 각각의 속성 값의 대표값(예컨대, 평균값, 중간값 등)을 속성으로 갖는 소정의 점을 상기 결합점으로 생성할 수도 있다. 예컨대, 상기 영상 인식 시스템(100)인 SIFT알고리즘을 이용하는 경우, 상기 매칭점들(예컨대, 11 및 21) 각각은 128개의 속성 값을 가질 수 있고, 각각의 속성 값은 0~255의 값을 가질 수 있다. 따라서, 상기 결합점(예컨대, 31)의 속성 값 각각은 상기 매칭점들(예컨대, 11 및 21) 각각의 속성 값의 대표 값을 갖도록 생성될 수 있다.The
이에 따라 상기 적어도 하나의 매칭점들(예컨대, 11 및 21)은 어느 하나의 결합점(예컨대, 31)로 대체될 수 있다. 물론, 상기 결합점(예컨대, 31)이 다른 특징점과 매칭되는 경우에는 다시 다른 결합점으로 대체될 수도 있다. 따라서, 상기 DB(140)의 크기는 특정 인식대상에 상응하는 복수의 이미지들 각각으로부터 추출된 특징점들을 단순히 합친 것에 비해 월등히 줄어들 수가 있다. 또한, 동일한 이미지로부터 추출된 특징점끼리는 서로 결합되지 않도록 구현될 수 있지만 반드시 이에 한정되는 것은 아니다.Accordingly, the at least one matching point (eg, 11 and 21) may be replaced by any one coupling point (eg, 31). Of course, when the coupling point (eg, 31) matches another feature point, it may be replaced by another coupling point. Therefore, the size of the
도 5를 참조하면, 특정 인식대상에 상응하는 복수의 이미지들 각각으로부터 추출된 특징점들 중 서로 매칭되는 매칭점들이 결합점으로 대체될 수 있음을 용이하게 알 수 있다. 또한, 이를 통해 단순히 상기 특징점들이 DB(140)에 저장되는 것에 비해 서로 매칭되는 매칭점들이 결합됨으로써 DB(140)의 크기가 현저히 들어줄 수 있음을 알 수 있다. 이러한 효과는 동일한 인식대상에 상응하는 이미지들을 다수 레퍼런스 데이터로 이용하는 경우에 더 극대화될 수 있다. Referring to FIG. 5, it may be easily understood that matching points matching each other among feature points extracted from each of a plurality of images corresponding to a specific recognition object may be replaced with a coupling point. In addition, it can be seen that the size of the
결국, 본 발명의 기술적 사상에 의하면, 특정 인식대상에 대해 외부상황이나 이미지 촬영각도 또는 기타 다양한 상황별로 상기 특정 인식대상에 상응하는 이미지를 다수 확보하고 이를 모두 레퍼런스 데이터로 사용하면서도 상기 DB(140)의 크기를 일정 정도 줄이면서 인식률을 높일 수 있는 효과가 있다.As a result, according to the technical idea of the present invention, while obtaining a plurality of images corresponding to the specific recognition object for each external situation, an image photographing angle, or other various situations for a specific recognition object and all of them are used as reference data, the
한편, 전술한 바와 같이 매칭점들을 결합점으로 대체한 상기 DB(140)에 포함된 특징점들 중에는 다른 이미지로부터 추출된 특징점들과 매칭이 된 특징점일 수도 있고, 매칭이 전혀 수행되지 않은 특징점일 수도 있다. 또한, 매칭이 된 특징점 중에는 수회 매칭된 특징점일 수도 있고, 한 번만 매칭된 특징점일 수도 있다. 매칭이 여러 번 되는 특징점일수록, 상기 인식대상이 다수의 이미지로 표현되어도 상기 다수의 이미지에 공통적으로 포함된 특징을 나타내는 점일 확률이 높을 수 있다. Meanwhile, among the feature points included in the
이와는 반대로 상기 인식대상이 다수의 이미지로 표현될 수 있는데, 그 중에 어느 하나의 이미지에만 특징점이 되고, 나머지 이미지에서는 해당 특징점과 매칭되는 특징점이 존재하지 않는다는 것은, 상기 특징점은 해당 이미지에서만 특징적인 점을 의미할 수 있으며, 이는 인식대상 고유의 특징을 표현하는 점이 아님을 의미할 수 있다. On the contrary, the recognition object may be represented as a plurality of images, and only one of the images may be a feature point, and in the remaining images, there is no feature point that matches the feature point. It may mean that it is not a point that expresses the characteristics unique to the recognition object.
따라서, 본 발명에 의하면, 전술한 바와 같이 매칭점들을 결합점으로 대체한 결과의 DB(140)에서 다른 이미지로부터 추출된 특징점들과의 매칭여부 및 매칭회수에 따라 상기 DB(140)의 크기를 보다 효율적으로 줄이면서도 어느 정도의 인식률을 유지할 수 있는 기술적 사상을 제공한다.Therefore, according to the present invention, the size of the
이는 도 7을 참조하여 설명하도록 한다.This will be described with reference to FIG. 7.
도 7은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법을 통해 매칭여부 또는 회수에 따라 DB의 크기를 줄이는 개념을 설명하기 위한 도면이다.7 is a view for explaining the concept of reducing the size of the DB according to whether or not matching through the image recognition system providing method through the DB efficiency according to an embodiment of the present invention.
도 7을 참조하면, 상기 매칭모듈(130)은 상기 매칭점들을 결합점으로 대체한 결과의 DB(140)에서 소정의 테스트 이미지를 통해 상기 DB(140)에 저장된 특징점들의 매칭여부 및/또는 매칭회수를 판단할 수 있다. 상기 테스트 이미지는 상기 DB(140)에 레퍼런스 데이터로 포함된 복수의 이미지들 중 적어도 하나일 수도 있고, 상기 레퍼런스 데이터로 포함되지는 않았지만 상기 특정 인식대상에 상응하는 이미지일 수도 있다. Referring to FIG. 7, the
상기 매칭모듈(130)은 복수의 테스트 이미지들(즉, 동일한 인식대상에 상응하는 이미지)을 이용하여 복수 번 상기 DB(140)에 저장된 특징점들 각각의 매칭회수를 카운트할 수 있다. 그 결과는 도 7의 우측에 도시된 바와 같은 도표로 나타날 수 있다. 도 7에 도시된 도표의 x축은 매칭 회수로 정렬된 특징점의 번호를 의미하며, y축은 매칭회수를 의미한다. 도 7에 도시된 바와 같은 도표를 참조하면, 상기 DB(140)에 저장된 특징점들 약 265개의 특징점들 중 약 90개(예컨대, 177~265)의 특징점들은 다른 이미지로부터 추출된 특징점과는 한 번도 매칭되지 않음을 알 수 있다. 따라서, 이러한 특징점들 즉, 비매칭점을 삭제하는 경우에는 DB(140)의 크기를 더 줄일 수 있고, 도 6에서 설명한 바와 같이 인식률을 오히려 높일 수도 있다. 상기 제어모듈(110)은 상기 DB(140)에서 상기 비매칭점을 삭제할 수 있다. The
구현 예에 따라서는, 상기 제어모듈(110)은 상기 DB(140)에 저장된 특징점들 중 1회 또는 미리 정해진 회수 이하로 매칭되는 점들을 삭제할 수도 있다. 바람직하게는 1회 매칭되는 특징점들을 상기 DB(140)에서 삭제할 수 있다. According to an embodiment of the present disclosure, the
이처럼 매칭점들을 결합점으로 대체하거나, 이후 매칭여부 및/또는 회수에 따라 상기 특징점들을 추가로 DB(140)에서 삭제하는 경우의 DB의 크기 및 인식률에 대한 시뮬레이션 결과는 도 8에 도시된다.As shown in FIG. 8, simulation results of the size and recognition rate of the DB when the matching points are replaced with the coupling points or the feature points are additionally deleted from the
도 8은 본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법에 의해 줄어든 DB의 크기 및 이에 따른 이미지 인식률의 관계를 나타내는 도면이다.FIG. 8 is a diagram illustrating a relationship between a size of a DB reduced by the method of providing an image recognition system through DB efficiency and a corresponding image recognition rate according to an embodiment of the present invention.
도 8은 특정 인식대상에 상응하는 10개의 서로 다른 이미지를 이용하여 테스트를 수행한 결과를 나타낸다.8 illustrates a result of a test using ten different images corresponding to a specific object to be recognized.
또한, 특징점 통합의 경우는 전술한 바와 같이 매칭점들을 결합점으로 대체한 경우를 나타내며, 결합점으로 대체한 DB(140)에서 특징점을 제거한 경우는 한 번도 매칭되지 않는 특징점들(상기 DB(140)에 저장된 특징점의 약 37%)을 제거한 경우를 나타낸다.In addition, the feature point integration refers to a case in which matching points are replaced with a coupling point as described above, and the feature points are not matched once when the feature point is removed from the
또한, 특정점을 제거한 경우는 한 번 매칭된 특징점들(상기 DB(140)에 저장된 특징점의 약 58%)를 제거한 경우를 나타낸다.In addition, the case where the specific point is removed indicates a case where the matched feature points (about 58% of the feature points stored in the DB 140) are removed once.
이러한 경우, 단순 누적한 DB를 이용하여 상기 특정 인식대상에 상응하는 소정의 이미지를 매칭한 경우, 매칭점의 수에 비해 매칭점들을 결합점으로 대체한 DB(140)를이용하는 경우 월등히 인식률이 높아짐을 알 수 있다. 또한, 결합점으로 대체한 DB(140)에서 비매칭점들을 제거한 경우, DB(140)의 크기가 줄어들면서도 인식률은 오히려 높아짐을 알 수 있다. 특정점들(예컨대, 한 번만 매칭되는 특징점들)을 제거한 경우에는 다소 인식률이 줄어들지만 DB(140)의 크기는 현저히 줄어들어서 인식속도가 빨라질 수 있는 효과가 있음을 알 수 있다. In this case, when matching a predetermined image corresponding to the specific recognition target using a simple cumulative DB, the recognition rate is significantly higher when using the
따라서, 도 8에서 확인할 수 있듯이 매칭점들을 결합점으로 대체하지 않고, 비매칭점을 제거하거나 특정점(예컨대, 한 번만 매칭되는 특징점들)을 제거하여도 DB의 크기를 현저히 줄이면서 인식률을 높이거나 어느 정도 인식률을 유지할 수 있는 효과가 있음을 알 수 있다.Accordingly, as shown in FIG. 8, even if the matching points are not replaced with the coupling points, the matching size is significantly reduced and the recognition rate is increased even if the non-matching points are removed or the specific points (eg, only one matching feature points) are removed. Or it can be seen that there is an effect that can maintain the recognition rate to some extent.
본 발명의 실시 예에 따른 DB 효율화를 통한 영상 인식 시스템 제공방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.According to an embodiment of the present invention, a method for providing an image recognition system through DB efficiency may be implemented as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, optical data storage, and the like, and also in the form of carrier waves (e.g., transmission over the Internet). It also includes implementations. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Although the present invention has been described with reference to the embodiments illustrated in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
Claims (13)
상기 영상 인식 시스템이 추출된 특징점들 중 서로 매칭되는 매칭 점들을 추출하는 단계;
상기 영상 인식 시스템이 추출된 매칭 점들에 대응되는 결합 점을 생성하는 단계; 및
상기 영상 인식 시스템이 상기 복수의 인식대상 이미지들 각각의 특징 점들에서 상기 매칭 점들을 상기 결합 점으로 대체하여 DB에 저장하는 단계를 포함하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
Extracting, by the image recognition system, feature points of each of the plurality of recognition target images corresponding to the recognition target;
Extracting matching points that match each other among extracted feature points by the image recognition system;
Generating a coupling point corresponding to the extracted matching points by the image recognition system; And
And the image recognition system storing the matching points in the DB by replacing the matching points in the feature points of each of the plurality of recognition target images in the DB.
상기 DB에 저장된 점들 중 비매칭 점에 대한 정보를 추출하는 단계; 및
상기 비매칭 점을 상기 DB에서 삭제하는 단계를 더 포함하며,
상기 비매칭 점은,
상기 복수의 인식대상 이미지들 중 상기 비매칭 점이 추출된 인식대상 이미지와는 다른 인식대상 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 점인 것을 특징으로 하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The method of claim 1, wherein the image recognition system is provided through DB efficiency.
Extracting information on mismatched points among points stored in the DB; And
Deleting the mismatching point from the DB;
The mismatch point,
And wherein the mismatching point of the plurality of recognition target images does not match the feature points extracted from the recognition target image that is different from the extracted recognition target image.
상기 DB에 저장된 점들 중 특정점에 대한 정보를 추출하는 단계; 및
추출된 상기 특정점에 대한 정보를 상기 DB에서 삭제하는 단계를 더 포함하며,
상기 특정점은,
상기 복수의 인식대상 이미지들 중 상기 특정점이 추출된 인식대상 이미지와는 다른 인식대상 이미지로부터 추출된 특징점들과 미리 설정된 회수 이하로 매칭되는 점인 것을 특징으로 하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The method of claim 2, wherein the image recognition system is provided through DB efficiency.
Extracting information on a specific point among points stored in the DB; And
Deleting the extracted information about the specific point in the DB,
The specific point,
And a feature point extracted from a recognition target image which is different from the recognition target image from which the specific point is extracted from the plurality of recognition target images.
어느 하나의 점과 최근접 거리에 해당하는 최근접점의 거리와 상기 어느 하나의 점과 차근접 거리를 갖는 차근접 점과의 거리의 비율이 일정 문턱 값(threshold) 미만인 경우에 상기 최근접점이 상기 어느 하나의 점과 매칭된다고 판단하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
According to any one of claims 1 to 3, The image recognition system,
When the ratio of the distance between the closest point corresponding to any one point and the closest distance and the closest point with the one point and the close proximity distance is less than a predetermined threshold, the closest point is said. A method of providing an image recognition system through DB efficiency that determines that any one point is matched.
상기 영상 인식 시스템이 입력 영상의 입력 특징점을 추출하는 단계; 및
추출된 상기 입력 특징점과 상기 DB에 저장된 점들을 소정의 매칭방식을 통해 매칭하여 상기 입력 영상에서 상기 인식대상을 인식하는 단계를 더 포함하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The method according to any one of claims 1 to 3, wherein the image recognition system is provided through DB efficiency.
Extracting, by the image recognition system, input feature points of an input image; And
And matching the extracted feature points with the points stored in the DB through a predetermined matching method to recognize the recognition object in the input image.
상기 매칭 점들 각각의 속성(descriptor) 값의 대표 값을 속성 값으로 갖는 상기 결합 점을 생성하는 단계; 또는
상기 매칭 점들 중 어느 하나를 상기 결합 점으로 결정하는 단계 중 어느 하나의 단계를 포함하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The method of claim 1, wherein the generating of the coupling point corresponding to the extracted matching points comprises:
Generating the coupling point having a representative value of an attribute value of each of the matching points as an attribute value; or
Method of providing an image recognition system through the DB efficiency comprising any one of the step of determining any one of the matching points as the coupling point.
SIFT(Scale Invarian Feature Transform) 알고리즘을 이용하여 영상 인식을 수행하는 것을 특징으로 하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
The system of claim 1, wherein the image recognition system comprises:
A method of providing an image recognition system through DB efficiency, characterized in that image recognition is performed by using a scale invarian feature transform (SIFT) algorithm.
상기 영상 인식 시스템이 상기 특징점들 중 다른 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 비매칭 점 또는 미리 설정된 회수 이하로 매칭되는 특정점에 대한 정보를 추출하는 단계; 및
상기 특징점들에서 상기 비매칭 점 또는 상기 특정점 중 적어도 하나를 제거한 점들을 DB에 저장하는 단계를 포함하는 DB 효율화를 통한 영상 인식 시스템 제공방법.
Extracting, by the image recognition system, feature points of each of the plurality of recognition target images corresponding to the recognition target;
Extracting, by the image recognition system, information about a non-matching point that is not matched with feature points extracted from another image among the feature points or a specific point that is matched up to a preset number of times; And
And storing points in which at least one of the mismatching point or the specific point is removed from the feature points in a DB.
A computer-readable recording medium having recorded thereon a program for performing the method according to any one of claims 1, 2, 3 or 8.
인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하기 위한 특징점 추출모듈;
상기 특징점 추출모듈에 의해 추출된 특징점들 중 서로 매칭되는 매칭점들을 추출하기 위한 매칭모듈; 및
상기 매칭모듈에 의해 추출된 매칭 점들에 대응되는 결합 점을 생성하고, 상기 복수의 인식대상 이미지들 각각의 특징점들에서 상기 매칭점들을 상기 결합 점으로 대체하여 상기 DB에 저장하기 위한 제어모듈을 포함하는 DB 효율화를 통한 영상 인식 시스템.
DB;
A feature point extraction module for extracting feature points of each of a plurality of recognition target images corresponding to the recognition target;
A matching module for extracting matching points that match each other among the feature points extracted by the feature point extraction module; And
And a control module for generating a coupling point corresponding to the matching points extracted by the matching module, and replacing the matching points with the coupling point in the feature points of each of the plurality of recognition target images and storing the matching points in the DB. Image recognition system through DB efficiency.
상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 매칭되지 않는 비매칭 점에 대한 정보를 추출하고,
상기 제어모듈은,
상기 비매칭 점을 상기 DB에서 삭제하는 것을 특징으로 하는 DB 효율화를 통한 영상 인식 시스템.
The method of claim 10, wherein the matching module,
Extracts information about mismatched points that do not match feature points extracted from other images among points stored in the DB,
The control module includes:
The image recognition system through the DB efficiency, characterized in that for deleting the mismatching point in the DB.
상기 DB에 저장된 점들 중 다른 이미지로부터 추출된 특징점들과 일정 회수 이하로 매칭되는 특정점에 대한 정보를 추출하고,
상기 제어모듈은,
추출된 상기 특정점에 대한 정보를 상기 DB에서 삭제하는 DB 효율화를 통한 영상 인식 시스템.
The method of claim 10, wherein the matching module,
Extracts information on a specific point that matches a feature point extracted from another image among points stored in the DB for a predetermined number or less,
The control module includes:
Image recognition system through the DB efficiency to delete the extracted information on the specific point in the DB.
인식대상에 상응하는 복수의 인식대상 이미지들 각각의 특징점들을 추출하기 위한 특징점 추출모듈;
상기 특징점 추출모듈에 의해 추출된 특징점들 중 다른 이미지로부터 추출된 특징점들과 한 번도 매칭되지 않는 비매칭 점에 대한 정보 또는 일정 회수 이하로 매칭되는 특정 점에 대한 정보를 추출하기 위한 매칭모듈; 및
상기 특징점들 중 상기 비매칭 점 또는 상기 특정 점 중 적어도 하나를 제거하여 상기 DB에 저장하기 위한 제어모듈을 포함하는 DB 효율화를 통한 영상 인식 시스템.
DB;
A feature point extraction module for extracting feature points of each of a plurality of recognition target images corresponding to the recognition target;
A matching module for extracting information on non-matching points that are not matched with feature points extracted from other images among the feature points extracted by the feature point extraction module or information about a specific point that is matched up to a predetermined number of times; And
And a control module for removing at least one of the mismatching point or the specific point among the feature points and storing the at least one of the specific points in the DB.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110086999A KR101265694B1 (en) | 2011-08-30 | 2011-08-30 | Image recognition system for DB efficiency and providing method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110086999A KR101265694B1 (en) | 2011-08-30 | 2011-08-30 | Image recognition system for DB efficiency and providing method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130023903A KR20130023903A (en) | 2013-03-08 |
KR101265694B1 true KR101265694B1 (en) | 2013-05-21 |
Family
ID=48176068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110086999A KR101265694B1 (en) | 2011-08-30 | 2011-08-30 | Image recognition system for DB efficiency and providing method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101265694B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102149274B1 (en) | 2013-11-29 | 2020-08-28 | 한화테크윈 주식회사 | Method for image matching using a feature matching of the image |
KR101715649B1 (en) * | 2014-04-22 | 2017-03-15 | 위드로봇 주식회사 | Image recognition system using transformed images |
KR101850315B1 (en) * | 2018-01-22 | 2018-05-31 | 주식회사 엑사스코프 | Apparatus for self-checkout applied to hybrid product recognition |
-
2011
- 2011-08-30 KR KR1020110086999A patent/KR101265694B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20130023903A (en) | 2013-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cozzolino et al. | Copy-move forgery detection based on patchmatch | |
JP5527555B2 (en) | Image database creation method, creation program, and image search method | |
US9747308B2 (en) | Method and apparatus for searching an image, and computer-readable recording medium for executing the method | |
US9208399B2 (en) | Method of extracting visual descriptor using feature selection and system for the same | |
KR101836811B1 (en) | Method, apparatus and computer program for matching between the images | |
KR101329102B1 (en) | augmented reality - image retrieval system using layout descriptor and image feature. | |
US8064705B2 (en) | Image processing apparatus and control method thereof | |
Khan et al. | Automatic target recognition in infrared imagery using dense hog features and relevance grouping of vocabulary | |
US20180247152A1 (en) | Method and apparatus for distance measurement | |
JP2015111339A (en) | Image search system, image search apparatus, search server device, image search method, and image search program | |
Kim et al. | Adaptive weighted fusion with new spatial and temporal fingerprints for improved video copy detection | |
Soni et al. | Keypoints based enhanced multiple copy‐move forgeries detection system using density‐based spatial clustering of application with noise clustering algorithm | |
KR101265694B1 (en) | Image recognition system for DB efficiency and providing method thereof | |
KR102367859B1 (en) | Appratus and method for classifying data using feature vector | |
CN103999097A (en) | System and method for compact descriptor for visual search | |
JP2019028700A (en) | Verification device, method, and program | |
Maigrot et al. | Tampering detection and localization in images from social networks: A CBIR approach | |
US10853972B2 (en) | Apparatus for processing image and method thereof | |
JP5004082B2 (en) | Document image search method, document image registration method, program and apparatus thereof | |
JP6789175B2 (en) | Image recognizers, methods, and programs | |
KR102452511B1 (en) | Method and apparatus for detection element image in drawings | |
WO2013084731A1 (en) | Image identifying system | |
KR101127793B1 (en) | System for image recognition and providing method thereof | |
KR101758869B1 (en) | Classification apparatus and method of multi-media contents | |
WO2013154062A1 (en) | Image recognition system, image recognition method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160513 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170512 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180514 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190502 Year of fee payment: 7 |