KR102444495B1 - An image recognition detector and the operation method - Google Patents
An image recognition detector and the operation method Download PDFInfo
- Publication number
- KR102444495B1 KR102444495B1 KR1020210008590A KR20210008590A KR102444495B1 KR 102444495 B1 KR102444495 B1 KR 102444495B1 KR 1020210008590 A KR1020210008590 A KR 1020210008590A KR 20210008590 A KR20210008590 A KR 20210008590A KR 102444495 B1 KR102444495 B1 KR 102444495B1
- Authority
- KR
- South Korea
- Prior art keywords
- detection
- images
- matching
- rate
- target
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G06K9/6255—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/6201—
-
- G06K9/6256—
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Inspection Of Paper Currency And Valuable Securities (AREA)
- Burglar Alarm Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
본 발명은, 복수의 조건에서 복수의 객체 각각을 촬영한 복수의 객체 영상들을 설정된 호모그래피(homography) 방식으로 매칭하여, 상기 복수의 객체 각각에 대한 객체 검출을 위한 복수의 객체 기준 그룹으로 생성하는하는 학습부 및 입력 영상에서 연산된 검출 대상 객체의 대상 특징점(feature) 및 상기 대상 특징점에 대한 대상 디스크립터(descriptor)를 상기 복수의 객체 기준 그룹 각각과 호모그래피 방식으로 매칭하여, 상기 복수의 객체 중 매칭률이 높은 객체를 검출하는 검출부를 포함하고, 상기 학습부는, 상기 복수의 객체 영상들을 동일 객체의 복수의 객체 그룹으로 그룹핑하고, 상기 복수의 객체 그룹 각각에 포함된 상기 복수의 객체 영상들을 호모그래피 방식으로 매칭하여, 상기 복수의 객체 영상들 각각에 대한 검출율을 연산하여, 상기 복수의 영상들 각각에 대한 검출율을 기반으로, 상기 복수의 객체 영상들 중 상기 복수의 객체 각각을 검출하기 위한 복수의 객체 기준 영상들을 추출하여 상기 복수의 객체 기준 그룹을 생성하는 영상 인식 검출기를 제공한다.According to the present invention, a plurality of object images obtained by photographing each of a plurality of objects under a plurality of conditions are matched in a set homography method to generate a plurality of object reference groups for object detection for each of the plurality of objects. and a target feature of the detection target object calculated from the input image and a target descriptor for the target feature point by matching with each of the plurality of object reference groups in a homography manner, among the plurality of objects a detection unit detecting an object having a high matching rate, wherein the learning unit groups the plurality of object images into a plurality of object groups of the same object, and homogeneously selects the plurality of object images included in each of the plurality of object groups. Detecting each of the plurality of objects among the plurality of object images based on the detection rates for each of the plurality of images by matching in a graphic manner, calculating a detection rate for each of the plurality of object images An image recognition detector for generating the plurality of object reference groups by extracting a plurality of object reference images for
Description
본 발명은 영상 인식 검출기 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 입력 영상에서 객체를 인식 및 검출하기 용이한 영상 인식 검출기 및 그 동작방법에 관한 것이다.The present invention relates to an image recognition detector and a method for operating the same, and more particularly, to an image recognition detector for easy recognition and detection of an object in an input image, and an operating method thereof.
영상 인식의 성능을 높이기 위한 방법으로, 다양한 특징을 이용하는 방법이 사용되고 있는데, 특징의 개수가 많을수록 인식 성능은 향상되는 경향이 있다.As a method for improving the performance of image recognition, a method using various features is used. As the number of features increases, the recognition performance tends to improve.
그러나, 학습하고자 하는 영상의 개수와 더불어 많은 수의 특징은 영상 인식 검출기의 속도를 저하시키는 요인으로 작용한다.However, a large number of features along with the number of images to be learned acts as a factor that lowers the speed of the image recognition detector.
학습 과정은 대부분 오프라인에서 이루어지기 때문에, 학습 영상의 개수는 실제 학습기가 동작하는 상황에서 속도 저하의 직접적인 요인이 되지는 않지만, 특징의 개수는 학습기의 속도 저하에 직접적인 요인이 된다.Since most of the learning process is performed offline, the number of learning images is not a direct factor in slowing down the speed when the actual learner is operating, but the number of features is a direct factor in the slowing down of the learner.
일반적으로, 영상 학습기가 다수의 학습 영상을 이용하여 다양한 특징을 추출한 후, 추출한 다양한 특징을 하나로 결합하고 학습하는 과정을 수행한 후, 학습을 수행한 영상 학습기에 테스트 영상을 적용하여 영상 학습기를 테스트하는 과정이 이루어진다.In general, the video learner extracts various features using a plurality of learning images, combines the extracted various features into one, performs a learning process, and then tests the video learner by applying a test image to the video learner that has been trained. process is made
학습이 전체 특징을 하나로 결합하여 사용하는 구조이기 때문에, 테스트 단계에서도 모든 특징을 추출하여 사용해야 하며, 이에 따라 테스트 속도 저하가 발행한다.Since learning is a structure in which all features are combined into one, all features must be extracted and used in the test stage, which results in a decrease in test speed.
따라서, 특징을 추출하여 영상을 인식하는 방법에 있어서, 특징과 학습 영상을 효율적으로 활용하여 인식 성능을 저하시키지 않으면서도 영상 인식 속도 및 인식 정확도를 향상시킬 수 있는 방법에 대해 연구중에 있다.Therefore, in a method of recognizing an image by extracting features, research is being conducted on a method for improving image recognition speed and recognition accuracy without degrading recognition performance by efficiently utilizing features and learning images.
본 발명의 목적은, 입력 영상에서 객체를 인식 및 검출하기 용이한 영상 인식 검출기 및 그 동작방법을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an image recognition detector and an operating method thereof that can easily recognize and detect an object in an input image.
또한, 본 발명의 목적은, 다양한 조건에서 입력된 제1 및 제2 객체 영상들로 생성한 제1 및 제2 객체 그룹을 학습하여 객체를 인식 및 검출하기 위한 제1 및 제2 객체 기준 그룹을 생성하여 실시간 입력 영상에서 객체를 인식 및 검출하는데 인식 속도 및 정확도를 높일 수 있는 영상 인식 검출기 및 그 동작방법을 제공함에 있다.In addition, an object of the present invention is to learn the first and second object groups generated from the first and second object images input under various conditions to recognize and detect the first and second object reference groups. An object of the present invention is to provide an image recognition detector capable of increasing recognition speed and accuracy in recognizing and detecting an object in a real-time input image by generating and operating the same.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned may be understood by the following description, and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the appended claims.
본 발명에 따른 영상 인식 검출기의 동작방법은, 복수의 조건에서 복수의 객체 각각을 촬영한 복수의 객체 영상들을 설정된 호모그래피(homography) 방식으로 매칭하여, 상기 복수의 객체 각각에 대한 객체 검출을 위한 복수의 객체 기준 그룹으로 생성하는 단계 및 입력 영상에서 연산된 검출 대상 객체의 대상 특징점(feature) 및 상기 대상 특징점에 대한 대상 디스크립터(descriptor)를 상기 복수의 객체 기준 그룹 각각과 호모그래피 방식으로 매칭하여, 상기 복수의 객체 중 매칭률이 높은 객체를 검출하는 단계를 포함하고, 상기 복수의 객체 기준 그룹을 생성하는 단계는, 상기 복수의 객체 영상들을 수집하는 단계, 상기 복수의 객체 영상들을 동일 객체로 분류하여 복수의 객체 그룹으로 그룹핑하는 단계, 상기 복수의 객체 그룹 각각에 포함된 상기 복수의 객체 영상들을 호모그래피 방식으로 매칭하여, 상기 복수의 객체 영상들 각각에 대한 검출율을 연산하는 단계 및 상기 복수의 객체 영상들 각각에 대한 검출율을 기반으로, 상기 복수의 객체 영상들 중 상기 복수의 객체 각각을 검출하기 위한 복수의 객체 기준 영상들을 추출하여 상기 복수의 객체 기준 그룹을 생성하는 단계를 포함할 수 있다.The method of operating an image recognition detector according to the present invention is to match a plurality of object images obtained by photographing each of a plurality of objects under a plurality of conditions in a set homography method, to detect an object for each of the plurality of objects. Creating a plurality of object reference groups and matching a target feature of the detection target object calculated from the input image and a target descriptor for the target feature with each of the plurality of object reference groups in a homography manner , detecting an object having a high matching rate among the plurality of objects, and generating the plurality of object reference groups includes collecting the plurality of object images, and converting the plurality of object images into the same object. classifying and grouping the plurality of object groups, matching the plurality of object images included in each of the plurality of object groups in a homography method, and calculating a detection rate for each of the plurality of object images; generating the plurality of object reference groups by extracting a plurality of object reference images for detecting each of the plurality of objects from among the plurality of object images, based on the detection rates for each of the plurality of object images can do.
상기 검출율을 연산하는 단계는, 상기 복수의 객체 영상들 각각의 특징점 및 디스크립터를 연산하는 단계 및 상기 복수의 객체 영상들 각각의 특징점 및 디스크립터를 기반으로, 상기 복수의 객체 영상들 각각을 서로 매칭하여 TP(True Positive) 검출율 및 FP(False Positive) 검출율을 연산하는 단계를 포함할 수 있다.The calculating of the detection rate may include calculating feature points and descriptors of each of the plurality of object images, and matching each of the plurality of object images with each other based on the feature points and descriptors of each of the plurality of object images and calculating a true positive (TP) detection rate and a false positive (FP) detection rate.
상기 복수의 객체 기준 그룹을 생성하는 단계는, 상기 TP 검출율에 상기 FP 검출율을 차감한 결과치에 따라 상기 복수의 객체 영상들 중 상기 복수의 객체 각각을 검출하기 위한 상기 복수의 객체 기준 영상들을 추출할 수 있다.The generating of the plurality of object reference groups may include: selecting the plurality of object reference images for detecting each of the plurality of objects among the plurality of object images according to a result obtained by subtracting the FP detection rate from the TP detection rate. can be extracted.
상기 복수의 객체 기준 그룹을 생성하는 단계 이후, 상기 복수의 객체 기준 영상들을 상기 복수의 객체 그룹에서 제거하는 단계를 더 포함할 수 있다.After generating the plurality of object reference groups, the method may further include removing the plurality of object reference images from the plurality of object groups.
상기 객체를 검출하는 단계는, 상기 대상 특징점 및 상기 대상 디스크립터를 연산하는 단계, 상기 대상 특징점 및 상기 대상 디스크립터를 상기 복수의 객체 기준 영상들 각각의 특징점 및 디스크립터와 매칭하는 단계, 상기 복수의 객체 기준 영상들 중 상기 대상 특징점 및 상기 대상 디스크립터와 매칭되는 매칭률을 확인하는 단계 및 상기 복수의 객체 중 상기 매칭률이 높은 객체를 상기 검출 대상 객체로 검출하는 단계를 포함할 수 있다.The detecting of the object may include calculating the target feature point and the target descriptor, matching the target feature point and the target descriptor with the feature point and descriptor of each of the plurality of object reference images, the plurality of object criteria The method may include checking a matching rate matching the target feature point and the target descriptor among images, and detecting an object having a high matching rate among the plurality of objects as the detection target object.
상기 매칭률을 확인하는 단계는, 상기 복수의 객체 기준 영상들 중 상기 대상 특징점 및 상기 대상 디스크립터에 매칭되는 영상들의 개수로 확인할 수 있다.The checking of the matching rate may include checking the number of images matching the target feature point and the target descriptor among the plurality of object reference images.
상기 복수의 객체에 대한 상기 매칭률이 제로(zero)이면, 상기 검출 대상 객체가 미검출 알림을 출력하는 단계를 더 포함할 수 있다.The method may further include outputting a notification that the detection target object is not detected when the matching rate for the plurality of objects is zero.
상기 TP 검출율 및 상기 FP 검출율을 수집하는 단계 및 상기 TP 검출율에 상기 FP 검출율을 차감한 결과치가 설정된 기준 결과치를 만족하지 않으면, 상기 복수의 객체 기준 그룹을 생성하기 위한 검출 파라미터를 재설정하는 단계를 더 포함할 수 있다.In the step of collecting the TP detection rate and the FP detection rate, and when a result obtained by subtracting the FP detection rate from the TP detection rate does not satisfy a set reference result, the detection parameter for generating the plurality of object reference groups is reset It may further include the step of
상기 검출 파라미터는, 상기 복수의 객체 기준 영상들을 추출하기 위한 최소 특징점 매칭 비율 및 최소 특징점 매칭 개수를 포함할 수 있다.The detection parameter may include a minimum feature point matching ratio and a minimum feature point matching number for extracting the plurality of object reference images.
상기 검출 파라미터를 재설정하는 단계는, 현재 검출 파라미터를 초기화하고, 복수의 다른 검출 파라미터를 설정하여 상기 객체를 검출하는 단계를 반복 실행한 후, 상기 영상들의 개수가 높은 검출 파라미터로 재설정할 수 있다.The resetting of the detection parameter may include initializing a current detection parameter and repeating the steps of detecting the object by setting a plurality of other detection parameters, and then resetting the detection parameter to a detection parameter having a high number of images.
본 발명에 따른 영상 인식 검출기는, 복수의 조건에서 복수의 객체 각각을 촬영한 복수의 객체 영상들을 설정된 호모그래피(homography) 방식으로 매칭하여, 상기 복수의 객체 각각에 대한 객체 검출을 위한 복수의 객체 기준 그룹으로 생성하는하는 학습부 및 입력 영상에서 연산된 검출 대상 객체의 대상 특징점(feature) 및 상기 대상 특징점에 대한 대상 디스크립터(descriptor)를 상기 복수의 객체 기준 그룹 각각과 호모그래피 방식으로 매칭하여, 상기 복수의 객체 중 매칭률이 높은 객체를 검출하는 검출부를 포함하고, 상기 학습부는, 상기 복수의 객체 영상들을 동일 객체의 복수의 객체 그룹으로 그룹핑하고, 상기 복수의 객체 그룹 각각에 포함된 상기 복수의 객체 영상들을 호모그래피 방식으로 매칭하여, 상기 복수의 객체 영상들 각각에 대한 검출율을 연산하여, 상기 복수의 객체 영상들 각각에 대한 검출율을 기반으로, 상기 복수의 객체 영상들 중 상기 복수의 객체 각각을 검출하기 위한 복수의 객체 기준 영상들을 추출하여 상기 복수의 객체 기준 그룹을 생성할 수 있다.The image recognition detector according to the present invention matches a plurality of object images obtained by photographing each of a plurality of objects under a plurality of conditions in a set homography method, and a plurality of objects for object detection for each of the plurality of objects By matching the target feature of the detection target object calculated from the learning unit and the input image that is generated as a reference group and a target descriptor for the target feature with each of the plurality of object reference groups in a homography manner, and a detector configured to detect an object having a high matching rate among the plurality of objects, wherein the learning unit groups the plurality of object images into a plurality of object groups of the same object, and includes the plurality of objects included in each of the plurality of object groups. by matching the object images of the homography method to calculate a detection rate for each of the plurality of object images, based on the detection rate for each of the plurality of object images, the plurality of object images among the plurality of object images The plurality of object reference groups may be generated by extracting a plurality of object reference images for detecting each object of .
상기 학습부는, 상기 복수의 객체 영상들 각각의 특징점 및 디스크립터를 연산하고, 상기 복수의 객체 영상들 각각의 특징점 및 디스크립터를 기반으로 상기 복수의 객체 영상들 각각을 서로 매칭하여 TP(True Positive) 검출율 및 FP(False Positive) 검출율을 연산하며, 상기 TP 검출율에 상기 FP 검출율을 차감한 결과치에 따라 상기 복수의 객체 기준 영상들을 추출할 수 있다.The learning unit calculates a feature point and a descriptor of each of the plurality of object images, and matches each of the plurality of object images based on the feature point and the descriptor of each of the plurality of object images to detect true positive (TP) A rate and a false positive (FP) detection rate may be calculated, and the plurality of object reference images may be extracted according to a result obtained by subtracting the FP detection rate from the TP detection rate.
상기 검출부는, 상기 대상 특징점 및 상기 대상 디스크립터를 상기 복수의 객체 기준 영상들 각각의 특징점 및 디스크립터와 매칭하고, 상기 복수의 객체 기준 영상들 중 상기 대상 특징점 및 상기 대상 디스크립터와 매칭되는 매칭률을 확인하여, 상기 복수의 객체 중 상기 매칭률이 높은 객체를 상기 검출 대상 객체로 검출하할 수 있다.The detection unit matches the target feature point and the target descriptor with the feature point and descriptor of each of the plurality of object reference images, and confirms a matching rate that matches the target feature point and the target descriptor among the plurality of object reference images Accordingly, an object having a high matching rate among the plurality of objects may be detected as the detection target object.
상기 학습부에서 상기 복수의 객체 기준 영상들을 추출하기 위한 검출 파라미터를 설정하는 파라미터 생성부를 더 포함하고, 상기 파라미터 생성부는, 상기 TP 검출율 및 상기 FP 검출율을 수집하고, 상기 TP 검출율에 상기 FP 검출율을 차감한 결과치가 설정된 기준 결과치를 만족하지 않으면, 상기 복수의 객체 기준 그룹을 생성하기 위한 검출 파라미터를 재설정할 수 있다.and a parameter generating unit configured to set a detection parameter for extracting the plurality of object reference images in the learning unit, wherein the parameter generating unit collects the TP detection rate and the FP detection rate, and adds the TP detection rate to the TP detection rate. If the result obtained by subtracting the FP detection rate does not satisfy the set reference result, the detection parameter for generating the plurality of object reference groups may be reset.
상기 검출 파라미터는, 상기 복수의 객체 기준 영상들을 추출하기 위한 최소 특징점 매칭 비율 및 최소 특징점 매칭 개수를 포함할 수 있다.The detection parameter may include a minimum feature point matching ratio and a minimum feature point matching number for extracting the plurality of object reference images.
상기 파라미터 생성부는, 현재 검출 파라미터를 복수의 다른 검출 파라미터로 설정한 후, 상기 매칭률이 높은 검출 파라미터로 재설정할 수 있다.The parameter generator may set the current detection parameter to a plurality of other detection parameters and then reset the detection parameter to the detection parameter having a high matching rate.
본 발명에 따른 영상 인식 검출기 및 그 동작방법은, 입력 영상에서 객체를 검출하기 위해 사용되는 객체 기준 그룹에 포함되는 객체 영상들의 학습을 통하여 최적의 개수로 줄일 수 있음으로써, 검출 성능 및 검출 속도를 높일 수 있는 이점이 있다.An image recognition detector and an operating method thereof according to the present invention can reduce the number of object images included in an object reference group used to detect an object in an input image to an optimal number through learning, thereby improving detection performance and detection speed. There are advantages to increasing it.
또한, 본 발명에 따른 영상 인식 검출기 및 그 동작방법은, 객체 기준 그룹을 생성하기 위한 파라미터를 자동으로 수행함으로써, 사용자의 편의성을 증대시킬 수 있는 이점이 있다.In addition, the image recognition detector and the method of operation thereof according to the present invention have the advantage of increasing user convenience by automatically performing parameters for generating an object reference group.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다. On the other hand, the effects of the present invention are not limited to the above-mentioned effects, and various effects may be included within the range apparent to those skilled in the art from the description below.
도 1은 본 발명에 따른 영상 인식 검출기의 제어 구성을 나타낸 제어 블록도이다.
도 2 내지 5는 본 발명에 따른 영상 인식 검출의 동작방법을 나타낸 순서도이다.1 is a control block diagram showing a control configuration of an image recognition detector according to the present invention.
2 to 5 are flowcharts illustrating an operation method of image recognition detection according to the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수개의 관련된 기재된 항목들의 조합 또는 복수개의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 영상 인식 검출기의 제어 구성을 나타낸 제어 블록도이다.1 is a control block diagram showing a control configuration of an image recognition detector according to the present invention.
도 1을 참조하면, 영상 인식 검출기(100)는 학습부(110), 검출부(120) 및 파라미터 생성부(130)를 포함할 수 있다.Referring to FIG. 1 , the
학습부(110)는 객체를 검출하기 위한 사전 학습을 실행할 수 있다.The
먼저, 학습부(110)는 복수의 조건, 예를 들어 시점별 조건 및 조명 조건에서 검출해야 하는 제1 및 제2 객체들을 촬영한 제1 및 제2 객체 영상들(ob1, ob2)을 수집할 수 있다.First, the
실시예에서, 영상 인식 검출기(100)는 설명의 편의를 위하여, 2개의 제1 및 제2 객체에 대하여 학습부(110)가 학습하는 것으로 설명하지만, 객체의 개수에 대하여 한정을 두지 않는다.In the embodiment, the
제1 및 제2 객체 영상들(bo1, ob2)을 수집한 경우, 학습부(110)는 제1 객체 영상들(ob1)을 포함하는 제1 객체 그룹(g1) 및 제2 객체 영상들(ob2)를 포함하는 제2 객체 그룹(g2)를 생성할 수 있다.When the first and second object images bo1 and ob2 are collected, the
실시예에서, 제1 객체 영상들(ob1)은 서로 다른 조건, 즉 다양한 조건에 따라 촬영된 제1 객체의 영상들이며, 제2 객체 영상들(ob2)은 서로 다른 조건, 즉 다양한 조건에 따라 촬영된 제2 객체의 영상들일 수 있다.In an embodiment, the first object images ob1 are images of the first object captured under different conditions, that is, various conditions, and the second object images ob2 are captured according to different conditions, that is, various conditions. It may be images of the second object.
여기서, 학습부(110)는 제1 및 제2 객체 그룹(g1, g2)를 설정된 호모그래피(homography) 방식에 따라 학습하여 객체 검출을 위한 제1 및 제2 객체 기준 그룹(gb1, gb2)을 생성할 수 있다.Here, the
호모그래피(homography)는 평면물체의 2D 이미지 변환관계를 설명할 수 있다.Homography can describe a 2D image transformation relationship of a flat object.
학습부(110)는 제1 객체 영상들(ob1) 각각에 대한 제1 특징점 및 상기 제1 특징점에 대한 벡터를 나타내는 제1 디스크립터를 연산하고, 제2 객체 영상들(ob2) 각각에 대한 제2 특징점 및 상기 제2 특징점에 대한 벡터를 나타낸 제2 디스크립터를 연선할 수 있다.The
먼저, 학습부(110)는 제1 객체 그룹(g1)에 포함된 제1 객체 영상들(ob1)에 대한 검출율을 연산할 수 있다.First, the
즉, 학습부(110)는 제1 객체 영상들(ob1) 각각을 기준 영상으로 선택하고, 상기 기준 영상에 대한 특징점 및 디스크립터를 기반으로 나머지 객체 영상들의 특징점 및 디스크립터를 서로 매칭하여 TP(True Positive) 검출율을 연산할 수 있다.That is, the
예를 들어, 제1 객체 영상들(ob1) 및 제2 객체 영상들(ob2)은 다음과 같이 나타낼 수 있다.For example, the first object images ob1 and the second object images ob2 may be expressed as follows.
ob1 = {ob11, ob12, ..., obn}, ob2 = {ob21, ob22, ..., obm}ob1 = {ob11, ob12, ..., obn}, ob2 = {ob21, ob22, ..., obm}
여기서, ob11은 제1 객체의 첫번째 객체 영상, ob12는 제1 객체의 두번째 객체 영상 및 obn은 제1 객체의 n번째 객체 영상이고, ob21은 제2 객체의 첫번째 객체 영상, ob22는 제2 객체의 두번째 객체 영상 및 obm은 제2 객체의 m번째 객체 영상이고Here, ob11 is the first object image of the first object, ob12 is the second object image of the first object, and obn is the nth object image of the first object, ob21 is the first object image of the second object, and ob22 is the second object image The second object image and obm are the mth object image of the second object,
학습부(110)는 제1 객체 영상들(ob1)을 구성하는 첫번째 객체 영상(ob11)부터 n번째 객체 영상(obn)까지 기준 영상으로 사용하여, TP(True Positive) 검출율을 연산할 수 있다.The
첫번째 객체 영상(ob11)에 대한 TP 검출율은 두번째 객체 영상(ob12)부터 n번째 객체 영상(obn)까지의 매칭시켜서 연산할 수 있다.The TP detection rate for the first object image ob11 may be calculated by matching the second object image ob12 to the nth object image obn.
즉, TP 검출율은 첫번째 객체 영상(ob11)과 매칭되는 영상의 개수를 제1 객체 영상들(ob1)의 전체 영상 수, 즉 n번째 객체 영상(obn)에 대응하는 n개로 나눈 값이될 수 있다.That is, the TP detection rate may be a value obtained by dividing the number of images matching the first object image ob11 by the total number of images of the first object images ob1, that is, by n corresponding to the nth object image obn. have.
이후, 학습부(110)는 첫번째 객체 영상(ob11)과 제2 객체 영상들(ob2)을 매칭시켜, FP(False Positive) 검출율을 연산할 수 있다.Thereafter, the
상기 FP 검출율은 첫번째 객체 영상(ob11)과 매칭되는 영상의 개수를 제2 객체 영상들(ob2)의 전체 영상 수, 즉 m번째 객체 영상(obm)에 대응하는 m개로 나눈 값이될 수 있다.The FP detection rate may be a value obtained by dividing the number of images matching the first object image ob11 by the total number of images of the second object images ob2, that is, m corresponding to the m-th object image obm. .
이후, 학습부(110)는 첫번째 객체 영상(ob11)에 대한 TP 검출율에 FP 검출율을 차감한 결과치를 저장할 수 있다.Thereafter, the
상술한 학습과 같이, 학습부(110)는 n번째 객체 영상(obn)에 대한 TP 검출율에 FP 검출율을 차감한 결과치를 저장할 수 있다.As described above, the
이후, 학습부(110)는 각 결과치에 따라 제1 객체 영상들(ob1) 중 제1 객체를 검출하기 위한 제1 객체 기준 영상들을 추출하여 제1 객체 기준 그룹(gb1)을 생성할 수 있다.Thereafter, the
또한, 학습부(110)는 제1 객체 기준 그룹(gb1)에 포함되는 제1 객체 기준 영상들을 제1 영상 그룹(g1)에서 제거할 수 있다.Also, the
상수한 방법으로, 학습부(110)는 제2 객체를 검출하기 위한 제2 객체 기준 영상들을 포함하는 제2 객체 기준 그룹(gb2)를 생성할 수 있다.In a constant method, the
여기서, 학습부(110)는 제1 및 제2 객체 기준 영상들을 파라미터 생성부(130)에서 설정한 검출 파라미터를 통하여 검출할 수 있다.Here, the
검출부(120)는 실시간 입력 영상에서 검출 대상 객체의 대상 특징점 및 대상 특징점에 대한 대상 디스크립터를 연산할 수 있다.The
이후, 검출부(120)는 대상 특징점 및 대상 디스크립터를 학습부(110)에서 생성한 제1 및 제2 객체 기준 그룹(gb1, gb2)과 매칭할 수 있다.Thereafter, the
먼저, 검출부(120)는 제1 객체 기준 그룹(gb1)에 포함되는 제1 객체 기준 영상들 각각의 제1 특징점 및 제1 디스크립터를 서로 매칭할 수 있다.First, the
이후, 검출부(120)는 검출 대상 객체와 매칭되는 제1 매칭률을 확인할 수 있다.Thereafter, the
이와 같이, 검출부(120)는 제2 객체 기준 그룹(gb2)에 포함되는 제2 객체 기준 영상들 각각의 제2 특징점 및 제2 디스크립터를 서로 매칭할 수 있으며, 검출 대상 객체와 매칭되는 제2 매칭률을 확인할 수 있다.As such, the
상기 제1 및 제2 매칭률 각각은 제1 및 제2 객체 기준 영상들 중 상기 대상 특징점 및 상기 대상 디스크립터에 매칭되는 영상들의 개수에 대응될 수 있다,Each of the first and second matching rates may correspond to the number of images matching the target feature point and the target descriptor among the first and second object reference images.
검출부(120)는 상기 제1 및 제2 매칭률을 서로 비교하여, 제1 및 제2 객체 중 매칭률이 높은 객체를 검출 대상 객체로 검출하여 출력할 수 있다.The
또한, 검출부(120)는 상기 제1 및 제2 매칭률이 서로 제로(zero)이면 상기 검출 대상 객체가 미검출 알림을 출력할 수 있다.Also, when the first and second matching rates are zero, the
파라미터 생성부(130)는 학습부(110) 및 검출부(120)에서 객체 검출을 위한 검출 파라미터를 생성 및 업데이트(재설정)할 수 있다.The
여기서, 상기 검출 파라미터는 제1 및 제2 객체에 대한 최소 특징점 매칭 비율 및 최소 특징점 매칭 개수일 수 있으며, 이에 한정을 두지 않는다.Here, the detection parameter may be a minimum feature point matching ratio and a minimum feature point matching number for the first and second objects, but is not limited thereto.
먼저, 파라미터 생성부(130)는 최소 특징점 매칭 비율 및 최소 특징점 매칭 개수를 초기화한 후, 학습부(110)에 적용하여 제1 및 제2 객체 기준 그룹(gb1, gb2)를 생성할 수 있다.First, the
즉, 파라미터 생성부(130)는 학습부(110)에서 연산된 상기 TP 검출율 및 상기 FP 검출율을 수집하고, 상기 TP 검출율에 상기 FP 검출율을 차감한 결과치가 설정된 기준 결과치를 만족하지 않으면, 상기 제1 및 제2 객체 기준 그룹을 생성하기 위한 검출 파라미터를 재설정할 수 있다.That is, the
이때, 파라미터 생성부(130)는 현재 검출 파라미터를 초기화하고, 복수의 다른 검출 파라미터를 설정하여 학습부(110) 및 검출부(20)에서 객체를 검출하는 과정을 반복 실행하여 매칭률이 높은 검출 파라키터로 재설정할 수 있다.In this case, the
도 2 내지 5는 본 발명에 따른 영상 인식 검출의 동작방법을 나타낸 순서도이다.2 to 5 are flowcharts illustrating an operation method of image recognition detection according to the present invention.
도 2를 참조하면, 영상 인식 검출기(100)의 학습부(110)는 제1 객체를 다양한 조건에서 촬영한 제1 객체 영상들(ob1)을 포함하는 제1 객체 그룹(g1) 및 제2 객체를 다양한 조건에서 촬영한 제2 객체 영상들(ob2)을 포함하는 제2 객체 그룹(g2)을 설정된 호모그래피(homography) 방식에 따라 학습하여 객체 검출을 위한 제1 및 제2 객체 기준 그룹(gb1, gb2)으로 생성할 수 있다(S110).Referring to FIG. 2 , the
이후, 영상 인식 검출기(100)의 검출부(120)는 실시간 입력 영상에서 연산한 검출 대상 객체의 대상 특징점(feature) 및 상기 대상 특징점에 대한 대상 디스크립터(descriptor)를 제1 및 제2 객체 기준 그룹(gb1, gb2) 각각과 상기 호모그래피 방식으로 매칭하여, 상기 제1 및 제2 객체 중 매칭률이 높은 객체를 검출할 수 있다(S120).Then, the
영상 인식 검출기(100)의 파라미터 생성부(130)는 학습부(110) 및 검출부(120)의 동작에 대한 검출 파라미터를 설정할 수 있다(S130).The
도 3은 도 2에 나타낸 (S110) 단계를 나타낼 수 있다.FIG. 3 may show the step (S110) shown in FIG. 2 .
도 3을 참조하면, 학습부(110)는 제1 객체 영상들(ob1) 및 제2 객체 영상들(ob2)을 수집할 수 있다(S210).Referring to FIG. 3 , the
여기서, 제1 객체 영상들(ob1)은 서로 다른 조건, 즉 다양한 조건에 따라 촬영된 제1 객체의 영상들이며, 제2 객체 영상들(ob2)은 로 다른 조건, 즉 다양한 조건에 따라 촬영된 제2 객체의 영상들일 수 있다.Here, the first object images ob1 are images of the first object captured under different conditions, that is, various conditions, and the second object images ob2 are second object images captured under different conditions, that is, various conditions. It may be images of 2 objects.
이후, 학습부(110)는 제1 객체 영상들(ob1)을 포함하는 제1 객체 그룹(g1) 및 제2 객체 영상들(ob2)를 포함하는 제2 객체 그룹(g2)를 생성할 수 있다(S220).Thereafter, the
학습부(110)는 제1 객체 영상들(ob1) 각각에 대한 제1 특징점 및 상기 제1 특징점에 대한 벡터를 나타내는 제1 디스크립터를 연산하고, 제2 객체 영상들(ob2) 각각에 대한 제2 특징점 및 상기 제2 특징점에 대한 벡터를 나타낸 제2 디스크립터를 연선할 수 있다(S230).The
학습부(110)는 제1 객체 영상들(ob1) 각각을 기준 영상으로 선택하고, 상기 기준 영상에 대한 특징점 및 디스크립터를 기반으로 나머지 객체 영상들의 특징점 및 디스크립터를 서로 매칭하여 TP(True Positive) 검출율을 연산할 수 있다(S240).The
예를 들어, 제1 객체 영상들(ob1) 및 제2 객체 영상들(ob2)은 다음과 같이 나타낼 수 있다.For example, the first object images ob1 and the second object images ob2 may be expressed as follows.
ob1 = {ob11, ob12, ..., obn}, ob2 = {ob21, ob22, ..., obm}ob1 = {ob11, ob12, ..., obn}, ob2 = {ob21, ob22, ..., obm}
여기서, ob11은 제1 객체의 첫번째 객체 영상, ob12는 제1 객체의 두번째 객체 영상 및 obn은 제1 객체의 n번째 객체 영상이고, ob21은 제2 객체의 첫번째 객체 영상, ob22는 제2 객체의 두번째 객체 영상 및 obm은 제2 객체의 m번째 객체 영상이다.Here, ob11 is the first object image of the first object, ob12 is the second object image of the first object, and obn is the nth object image of the first object, ob21 is the first object image of the second object, and ob22 is the second object image The second object image and obm are the m-th object image of the second object.
학습부(110)는 제1 객체 영상들(ob1)을 구성하는 첫번째 객체 영상(ob11)부터 n번째 객체 영상(obn)까지 기준 영상으로 사용하여, TP(True Positive) 검출율을 연산할 수 있다.The
이후, 학습부(110)는 첫번째 객체 영상(ob11)과 제2 객체 영상들(ob2)을 매칭시켜, FP(False Positive) 검출율을 연산할 수 있다(S250).Thereafter, the
학습부(110)는 첫번째 객체 영상(ob11)에 대한 TP 검출율에 FP 검출율을 차감한 결과치를 저장할 수 있다(S260).The
학습부(110)는 각 결과치에 따라 제1 객체 영상들(ob1) 중 제1 객체를 검출하기 위한 제1 객체 기준 영상들을 추출하여 제1 객체 기준 그룹(gb1)을 생성하고(S270), 제1 객체 기준 그룹(gb1)에 포함되는 제1 객체 기준 영상들을 제1 영상 그룹(g1)에서 제거할 수 있다(S280).The
이후, 학습부(110)는 제2 객체 영상들(ob2) 각각을 기준 영상으로 선택하고, 상기 기준 영상에 대한 특징점 및 디스크립터를 기반으로 나머지 객체 영상들의 특징점 및 디스크립터를 서로 매칭하여 TP(True Positive) 검출율을 연산 및 FP 검출율을 연산하고, 제2 객체 기준 그룹(gb2)를 생성하기 위하여, (S240) 단계부터 (S280) 단계를 수행할 수 있다.Thereafter, the
도 4는 도 2에 나타낸 (S120) 단계를 나타낼 수 있다.FIG. 4 may show the step (S120) shown in FIG. 2 .
검출부(120)는 실시간 입력 영상에서 검출 대상 객체의 대상 특징점 및 대상 특징점에 대한 대상 디스크립터를 연산할 수 있다(S310).The
이후, 검출부(120)는 대상 특징점 및 대상 디스크립터를 학습부(110)에서 생성한 제 객체 기준 그룹(gb1)과 매칭할 수 있다(S320).Thereafter, the
즉, 검출부(120)는 제1 객체 기준 그룹(gb1)에 포함되는 제1 객체 기준 영상들 각각의 제1 특징점 및 제1 디스크립터를 서로 매칭할 수 있다.That is, the
검출부(120)는 검출 대상 객체와 매칭되는 제1 매칭률을 확인할 수 있다(S330).The
이후, 검출부(120)는 제2 객체 기준 그룹(gb2)에 포함되는 제2 객체 기준 영상들 각각의 제2 특징점 및 제2 디스크립터를 서로 매칭할 수 있으며(S340), 검출 대상 객체와 매칭되는 제2 매칭률을 확인할 수 있다(S350).Thereafter, the
상기 제1 및 제2 매칭률 각각은 제1 및 제2 객체 기준 영상들 중 상기 대상 특징점 및 상기 대상 디스크립터에 매칭되는 영상들의 개수에 대응될 수 있다,Each of the first and second matching rates may correspond to the number of images matching the target feature point and the target descriptor among the first and second object reference images.
검출부(120)는 상기 제1 및 제2 매칭률이 서로 제로(zero)이면 상기 검출 대상 객체가 미검출 알림을 출력할 수 있다(S360).When the first and second matching rates are zero, the
(360) 단계에서, 상기 제1 및 제2 매칭률이 제로(zero)가 아닌 경우, 검출부(120)는 상기 제1 및 제2 매칭률을 서로 비교하여(S370), 제1 및 제2 객체 중 매칭률이 높은 객체를 검출 대상 객체로 검출하여 출력할 수 있다(S380).In step 360, if the first and second matching rates are not zero, the
도 5는 도 2에 나타낸 (S130) 단계를 나타낼 수 있다.FIG. 5 may show the step (S130) shown in FIG. 2 .
파라미터 생성부(130)는 (S240) 단계에서 연산된 TP(True Positive) 검출율 및 (S250) 단계에서 연산된 FP(False Positive) 검출율을 수집할 수 있다(S410).The
이후, 파라미터 생성부(130)는 TP(True Positive) 검출율에서 FP(False Positive) 검출율을 차감한 결과치가 설정된 기준 결과치를 만족하는지 판단할 수 있다(S420).Thereafter, the
상기 결과치가 상기 기준 결과치를 만족하지 않는 경우, 파라미터 생성부(130)는 제1 및 제2 객체 기준 그룹을 생성하기 위한 검출 파라미터를 재설정할 수 있다(S430).When the result value does not satisfy the reference result value, the
즉, 파라미터 생성부(130)는 학습부(110) 및 검출부(120)에서 객체 검출을 위한 검출 파라미터를 생성 및 업데이트(재설정)할 수 있다.That is, the
파라미터 생성부(130)는 최소 특징점 매칭 비율 및 최소 특징점 매칭 개수를 초기화한 후, 학습부(110)에 적용하여 제1 및 제2 객체 기준 그룹(gb1, gb2)를 생성할 수 있다.The
파라미터 생성부(130)는 학습부(110)에서 연산된 상기 TP 검출율 및 상기 FP 검출율을 수집하고, 상기 TP 검출율에 상기 FP 검출율을 차감한 결과치가 설정된 기준 결과치를 만족하지 않으면, 상기 제1 및 제2 객체 기준 그룹을 생성하기 위한 검출 파라미터를 재설정할 수 있다.The
이때, 파라미터 생성부(130)는 현재 검출 파라미터를 초기화하고, 복수의 다른 검출 파라미터를 설정하여 학습부(110) 및 검출부(20)에서 객체를 검출하는 과정을 반복 실행하여 매칭률이 높은 검출 파라키터로 재설정할 수 있다.In this case, the
이상에서 실시 예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the above embodiments are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, features, structures, effects, etc. illustrated in each embodiment can be combined or modified for other embodiments by a person skilled in the art to which the embodiments belong. Accordingly, the contents related to such combinations and modifications should be interpreted as being included in the scope of the present invention.
또한, 이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiment has been described above, it is only an example and does not limit the present invention, and those of ordinary skill in the art to which the present invention pertains are exemplified above in a range that does not depart from the essential characteristics of the present embodiment. It can be seen that various modifications and applications that have not been made are possible. For example, each component specifically shown in the embodiment may be implemented by modification. And the differences related to these modifications and applications should be construed as being included in the scope of the present invention defined in the appended claims.
Claims (16)
입력 영상에서 연산된 검출 대상 객체의 대상 특징점(feature) 및 상기 대상 특징점에 대한 대상 디스크립터(descriptor)를 상기 복수의 객체 기준 그룹 각각과 호모그래피 방식으로 매칭하여, 상기 복수의 객체 중 매칭률이 높은 객체를 검출하는 단계를 포함하고,
상기 복수의 객체 기준 그룹을 생성하는 단계는,
상기 복수의 객체 영상들을 수집하는 단계;
상기 복수의 객체 영상들을 동일 객체로 분류하여 복수의 객체 그룹으로 그룹핑하는 단계;
상기 복수의 객체 그룹 각각에 포함된 상기 복수의 객체 영상들을 호모그래피 방식으로 매칭하여, 상기 복수의 객체 영상들 각각에 대한 검출율을 연산하는 단계; 및
상기 복수의 객체 영상들 각각에 대한 검출율을 기반으로, 상기 복수의 객체 영상들 중 상기 복수의 객체 각각을 검출하기 위한 복수의 객체 기준 영상들을 추출하여 상기 복수의 객체 기준 그룹을 생성하는 단계를 포함하고,
상기 검출율을 연산하는 단계는,
상기 복수의 객체 영상들 각각의 특징점 및 디스크립터를 연산하는 단계; 및
상기 복수의 객체 영상들 각각의 특징점 및 디스크립터를 기반으로, 상기 복수의 객체 영상들 각각을 서로 매칭하여 TP(True Positive) 검출율 및 FP(False Positive) 검출율을 연산하는 단계를 포함하고,
상기 복수의 객체 기준 그룹을 생성하는 단계는,
상기 TP 검출율에 상기 FP 검출율을 차감한 결과치에 따라 상기 복수의 객체 영상들 중 상기 복수의 객체 각각을 검출하기 위한 상기 복수의 객체 기준 영상들을 추출하는,
영상 인식 검출기의 동작방법.generating a plurality of object reference groups for object detection for each of the plurality of objects by matching a plurality of object images obtained by photographing each of the plurality of objects under a plurality of conditions using a set homography method; and
A target feature of the detection target object calculated from the input image and a target descriptor for the target feature are matched with each of the plurality of object reference groups in a homography manner, so that the matching rate among the plurality of objects is high detecting the object;
The step of creating the plurality of object reference groups comprises:
collecting the plurality of object images;
classifying the plurality of object images into the same object and grouping the plurality of object images into a plurality of object groups;
calculating a detection rate for each of the plurality of object images by matching the plurality of object images included in each of the plurality of object groups in a homography method; and
generating the plurality of object reference groups by extracting a plurality of object reference images for detecting each of the plurality of objects from among the plurality of object images based on the detection rates for each of the plurality of object images; including,
Calculating the detection rate comprises:
calculating a feature point and a descriptor of each of the plurality of object images; and
Calculating a TP (True Positive) detection rate and FP (False Positive) detection rate by matching each of the plurality of object images with each other based on the feature points and descriptors of each of the plurality of object images,
The step of creating the plurality of object reference groups comprises:
extracting the plurality of object reference images for detecting each of the plurality of objects among the plurality of object images according to a result obtained by subtracting the FP detection rate from the TP detection rate;
How to operate an image recognition detector.
상기 복수의 객체 기준 그룹을 생성하는 단계 이후,
상기 복수의 객체 기준 영상들을 상기 복수의 객체 그룹에서 제거하는 단계를 더 포함하는,
영상 인식 검출기의 동작방법.The method of claim 1,
After generating the plurality of object reference groups,
The method further comprising removing the plurality of object reference images from the plurality of object groups,
How to operate an image recognition detector.
상기 객체를 검출하는 단계는,
상기 대상 특징점 및 상기 대상 디스크립터를 연산하는 단계;
상기 대상 특징점 및 상기 대상 디스크립터를 상기 복수의 객체 기준 영상들 각각의 특징점 및 디스크립터와 매칭하는 단계;
상기 복수의 객체 기준 영상들 중 상기 대상 특징점 및 상기 대상 디스크립터와 매칭되는 매칭률을 확인하는 단계; 및
상기 복수의 객체 중 상기 매칭률이 높은 객체를 상기 검출 대상 객체로 검출하는 단계를 포함하는,
영상 인식 검출기의 동작방법.The method of claim 1,
Detecting the object comprises:
calculating the target feature point and the target descriptor;
matching the target feature point and the target descriptor with the feature point and descriptor of each of the plurality of object reference images;
checking a matching rate matching the target feature point and the target descriptor among the plurality of object reference images; and
Detecting an object having a high matching rate among the plurality of objects as the detection target object,
How to operate an image recognition detector.
상기 매칭률을 확인하는 단계는,
상기 복수의 객체 기준 영상들 중 상기 대상 특징점 및 상기 대상 디스크립터에 매칭되는 영상들의 개수로 확인하는,
영상 인식 검출기의 동작방법.6. The method of claim 5,
The step of checking the matching rate is,
Checking with the number of images matching the target feature point and the target descriptor among the plurality of object reference images,
How to operate an image recognition detector.
상기 복수의 객체에 대한 상기 매칭률이 제로(zero)이면, 상기 검출 대상 객체가 미검출 알림을 출력하는 단계를 더 포함하는,
영상 인식 검출기의 동작방법.6. The method of claim 5,
When the matching rate for the plurality of objects is zero, the method further comprising the step of outputting a notification that the detection target object is not detected,
How to operate an image recognition detector.
상기 TP 검출율 및 상기 FP 검출율을 수집하는 단계; 및
상기 TP 검출율에 상기 FP 검출율을 차감한 결과치가 설정된 기준 결과치를 만족하지 않으면, 상기 복수의 객체 기준 그룹을 생성하기 위한 검출 파라미터를 재설정하는 단계를 더 포함하는,
영상 인식 검출기의 동작방법.7. The method of claim 6,
collecting the TP detection rate and the FP detection rate; and
If the result obtained by subtracting the FP detection rate from the TP detection rate does not satisfy a set reference result value, further comprising the step of resetting detection parameters for generating the plurality of object reference groups,
How to operate an image recognition detector.
상기 검출 파라미터는,
상기 복수의 객체 기준 영상들을 추출하기 위한 최소 특징점 매칭 비율 및 최소 특징점 매칭 개수를 포함하는,
영상 인식 검출기의 동작방법.9. The method of claim 8,
The detection parameters are
including a minimum feature point matching ratio and a minimum feature point matching number for extracting the plurality of object reference images,
How to operate an image recognition detector.
상기 검출 파라미터를 재설정하는 단계는,
현재 검출 파라미터를 초기화하고, 복수의 다른 검출 파라미터를 설정하여 상기 객체를 검출하는 단계를 반복 실행한 후, 상기 영상들의 개수가 높은 검출 파라미터로 재설정하는,
영상 인식 검출기의 동작방법.9. The method of claim 8,
The step of resetting the detection parameter comprises:
After repeatedly executing the steps of initializing the current detection parameter and setting a plurality of other detection parameters to detect the object, resetting the detection parameter with a high number of images,
How to operate an image recognition detector.
입력 영상에서 연산된 검출 대상 객체의 대상 특징점(feature) 및 상기 대상 특징점에 대한 대상 디스크립터(descriptor)를 상기 복수의 객체 기준 그룹 각각과 호모그래피 방식으로 매칭하여, 상기 복수의 객체 중 매칭률이 높은 객체를 검출하는 검출부를 포함하고,
상기 학습부는,
상기 복수의 객체 영상들을 동일 객체의 복수의 객체 그룹으로 그룹핑하고, 상기 복수의 그룹 각각에 포함된 상기 복수의 객체 영상들을 호모그래피 방식으로 매칭하여, 상기 복수의 객체 영상들 각각에 대한 검출율을 연산하여, 상기 복수의 객체 영상들 각각에 대한 검출율을 기반으로, 상기 복수의 객체 영상들 중 상기 복수의 객체 각각을 검출하기 위한 복수의 객체 기준 영상들을 추출하여 상기 복수의 객체 기준 그룹을 생성하고,
상기 학습부는,
상기 복수의 객체 영상들 각각의 특징점 및 디스크립터를 연산하고, 상기 복수의 객체 영상들 각각의 특징점 및 디스크립터를 기반으로 상기 복수의 객체 영상들 각각을 서로 매칭하여 TP(True Positive) 검출율 및 FP(False Positive) 검출율을 연산하며, 상기 TP 검출율에 상기 FP 검출율을 차감한 결과치에 따라 상기 복수의 객체 기준 영상들을 추출하는,
영상 인식 검출기.A learning unit that matches a plurality of object images obtained by photographing each of a plurality of two objects under a plurality of conditions in a set homography method, and generates a plurality of object reference groups for object detection for each of the plurality of objects ; and
A target feature of the detection target object calculated from the input image and a target descriptor for the target feature are matched with each of the plurality of object reference groups in a homography manner, so that the matching rate among the plurality of objects is high A detection unit for detecting an object,
The learning unit,
By grouping the plurality of object images into a plurality of object groups of the same object, and matching the plurality of object images included in each of the plurality of groups in a homography method, a detection rate for each of the plurality of object images is obtained. , and generating the plurality of object reference groups by extracting a plurality of object reference images for detecting each of the plurality of objects from among the plurality of object images, based on the detection rates for each of the plurality of object images do,
The learning unit,
Calculate a feature point and descriptor of each of the plurality of object images, and match each of the plurality of object images based on the feature point and descriptor of each of the plurality of object images to obtain a TP (True Positive) detection rate and FP ( False positive) calculating a detection rate and extracting the plurality of object reference images according to a result of subtracting the FP detection rate from the TP detection rate,
image recognition detector.
상기 검출부는,
상기 대상 특징점 및 상기 대상 디스크립터를 상기 복수의 객체 기준 영상들 각각의 특징점 및 디스크립터와 매칭하고, 상기 복수의 객체 기준 영상들 중 상기 대상 특징점 및 상기 대상 디스크립터와 매칭되는 매칭률을 확인하여, 상기 복수의 객체 중 상기 매칭률이 높은 객체를 상기 검출 대상 객체로 검출하는,
영상 인식 검출기.12. The method of claim 11,
The detection unit,
The target feature point and the target descriptor are matched with the feature point and descriptor of each of the plurality of object reference images, and a matching rate matching the target feature point and the target descriptor among the plurality of object reference images is checked, and the plurality of Detecting an object having a high matching rate among objects of , as the detection target object,
image recognition detector.
상기 학습부에서 상기 복수의 객체 기준 영상들을 추출하기 위한 검출 파라미터를 설정하는 파라미터 생성부를 더 포함하고,
상기 파라미터 생성부는,
상기 TP 검출율 및 상기 FP 검출율을 수집하고, 상기 TP 검출율에 상기 FP 검출율을 차감한 결과치가 설정된 기준 결과치를 만족하지 않으면, 상기 복수의 객체 기준 그룹을 생성하기 위한 검출 파라미터를 재설정하는,
영상 인식 검출기.14. The method of claim 13,
Further comprising a parameter generating unit for setting a detection parameter for extracting the plurality of object reference images in the learning unit,
The parameter generator,
Collecting the TP detection rate and the FP detection rate, and resetting the detection parameters for generating the plurality of object reference groups if the result obtained by subtracting the FP detection rate from the TP detection rate does not satisfy a set reference result value ,
image recognition detector.
상기 검출 파라미터는,
상기 복수의 객체 기준 영상들을 추출하기 위한 최소 특징점 매칭 비율 및 최소 특징점 매칭 개수를 포함하는,
영상 인식 검출기.15. The method of claim 14,
The detection parameters are
including a minimum feature point matching ratio and a minimum feature point matching number for extracting the plurality of object reference images,
image recognition detector.
상기 파라미터 생성부는,
현재 검출 파라미터를 복수의 다른 검출 파라미터로 설정한 후, 상기 매칭률이 높은 검출 파라미터로 재설정하는,
영상 인식 검출기.15. The method of claim 14,
The parameter generator,
After setting the current detection parameter to a plurality of other detection parameters, resetting the detection parameter with the high matching rate;
image recognition detector.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210008590A KR102444495B1 (en) | 2021-01-21 | 2021-01-21 | An image recognition detector and the operation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210008590A KR102444495B1 (en) | 2021-01-21 | 2021-01-21 | An image recognition detector and the operation method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220105791A KR20220105791A (en) | 2022-07-28 |
KR102444495B1 true KR102444495B1 (en) | 2022-09-19 |
Family
ID=82607792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210008590A KR102444495B1 (en) | 2021-01-21 | 2021-01-21 | An image recognition detector and the operation method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102444495B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101802500B1 (en) * | 2016-10-20 | 2017-11-28 | 재단법인대구경북과학기술원 | Learning device for improving image recogntion performance and learning method thereof |
KR101825689B1 (en) * | 2016-11-03 | 2018-02-05 | 재단법인대구경북과학기술원 | Object recognition apparatus, learning method thereof and object recognition method using the same |
JP2020501238A (en) * | 2017-06-02 | 2020-01-16 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | Face detection training method, apparatus and electronic equipment |
-
2021
- 2021-01-21 KR KR1020210008590A patent/KR102444495B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101802500B1 (en) * | 2016-10-20 | 2017-11-28 | 재단법인대구경북과학기술원 | Learning device for improving image recogntion performance and learning method thereof |
KR101825689B1 (en) * | 2016-11-03 | 2018-02-05 | 재단법인대구경북과학기술원 | Object recognition apparatus, learning method thereof and object recognition method using the same |
JP2020501238A (en) * | 2017-06-02 | 2020-01-16 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | Face detection training method, apparatus and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
KR20220105791A (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cai et al. | Cascade R-CNN: High quality object detection and instance segmentation | |
Soviany et al. | Optimizing the trade-off between single-stage and two-stage deep object detectors using image difficulty prediction | |
US11444876B2 (en) | Method and apparatus for detecting abnormal traffic pattern | |
JP2006350645A (en) | Object detection device and learning device for the same | |
JP2019075035A (en) | Software test device and method | |
RU2013146529A (en) | RECOGNITION OF DYNAMIC HAND GESTURE WITH SELECTIVE INITIATION ON THE BASIS OF DETECTED HAND SPEED | |
CN116342894B (en) | GIS infrared feature recognition system and method based on improved YOLOv5 | |
CN114359938A (en) | Form identification method and device | |
CN115409797A (en) | PCB defect image detection method based on improved deep learning algorithm | |
KR101725126B1 (en) | Feature vector classifier and recognition device using the same | |
CN110533184B (en) | Network model training method and device | |
CN113569860B (en) | Instance segmentation method, training method of instance segmentation network and device thereof | |
KR101705584B1 (en) | System of Facial Feature Point Descriptor for Face Alignment and Method thereof | |
KR102444495B1 (en) | An image recognition detector and the operation method | |
CN108985385A (en) | Based on the quick Weakly supervised object detection method for generating confrontation study | |
KR101515308B1 (en) | Apparatus for face pose estimation and method thereof | |
JP2009093500A (en) | Data processing apparatus | |
JP5171362B2 (en) | Strong classifier learning apparatus and method, and strong classifier learning program | |
Lan et al. | PCB defect detection algorithm of improved YOLOv8 | |
Baptista et al. | Anticipating suspicious actions using a small dataset of action templates | |
US9070045B2 (en) | Crosstalk cascades for use in object detection | |
KR102620260B1 (en) | Method and device for recogniting object based on graph | |
KR102563522B1 (en) | Apparatus, method and computer program for recognizing face of user | |
US11393218B2 (en) | Object detection method and device | |
KR102397147B1 (en) | Method for image processing to improve recognition rate and apparatus thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |