KR20200047478A - Object recognition apparatus and control method thereof - Google Patents
Object recognition apparatus and control method thereof Download PDFInfo
- Publication number
- KR20200047478A KR20200047478A KR1020200049954A KR20200049954A KR20200047478A KR 20200047478 A KR20200047478 A KR 20200047478A KR 1020200049954 A KR1020200049954 A KR 1020200049954A KR 20200049954 A KR20200049954 A KR 20200049954A KR 20200047478 A KR20200047478 A KR 20200047478A
- Authority
- KR
- South Korea
- Prior art keywords
- recognized
- classes
- class
- image
- recognition
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/627—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은, 객체 인식 기술에 관련된 것으로서, 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화하기 위한 기술에 관한 것이다.The present invention relates to object recognition technology, and relates to a technique for minimizing false positives that may occur when analyzing an image of a new object class that is not in the previously learned object class.
객체 인식(Object recognition)은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로서, 이미지에 포함된 사항을 이해하는 수준의 능력과 같이 사람이라면 당연히 할 수 있는 일을 컴퓨터도 할 수 있도록 학습시키는 것을 기술의 목표로 한다.Object recognition is a computer vision technology that identifies objects on an image or video. It also teaches computers to do what humans can do, such as the ability to understand what is contained in an image. Aim.
이러한 객체 인식 기술에서는 이미지에서 객체를 식별할 뿐만 아니라 위치까지 파악할 수 있는데, 이를 통해 하나의 이미지에서 여러 객체를 식별하고 각 위치를 파악할 수 있다.In this object recognition technology, it is possible to identify not only an object in an image, but also a location. Through this, multiple objects can be identified in one image and each location can be identified.
이를 위해서, 객체 인식 기술에서는, 객체를 인식하기 위한 인식 모델로서 예컨대, 컨벌루션 뉴럴 네트워크(CNN, Convolutional Neural Network)와 같은 딥러닝 모델을 적용하여 객체를 인식하기 위해 해당 객체(이하, '객체 클래스'라 칭함) 고유의 특징을 자동으로 학습한다.To this end, in object recognition technology, to recognize an object by applying a deep learning model such as a convolutional neural network (CNN) as a recognition model for recognizing an object, the object (hereinafter referred to as an 'object class') Calling) automatically learns the unique features.
예를 들어 컨벌루션 뉴럴 네트워크에서는 각 객체 클래스로서 고양이와 개를 구분하기 위해 수천 장의 훈련용 이미지를 분석하고 고양이와 개를 구분하는 고유 패턴을 학습하여 고양이와 개의 차이점을 식별하는 방법을 학습할 수 있는 것이다.For example, in the Convolutional Neural Network, you can learn how to identify differences between cats and dogs by analyzing thousands of training images to distinguish cats and dogs as each object class, and learning unique patterns to distinguish cats and dogs. will be.
한편, 이와 관련하여 객체 인식 기술에서는, 객체 클래스의 고유 패턴을 학습하기 위해 데이터베이스를 자체적으로 구축하고, 해당 데이터베이스를 구성하는 훈련용 이미지로부터 객체 클래스의 고유 패턴을 학습하는 것이 일반적이다.On the other hand, in this regard, in object recognition technology, it is common to build a database on its own to learn the unique pattern of the object class, and learn the unique pattern of the object class from the training image constituting the database.
헌데, 이처럼 자체적으로 구축된 데이터베이스는 지정된 대상 즉 객체 클래스 위주로 훈련용 이미지가 구성되는 관계로, 데이터베이스 내 훈련용 이미지로부터의 객체 인식에 있어서는 높은 성능을 보일 수 있는 반면, 데이터베이스 내 훈련용 이미지와는 별도의 신규 이미지로부터의 객체 인식에 대해서는 높은 성능을 기대하기가 어렵다.However, this self-constructed database can show high performance in object recognition from the training image in the database, because the training image is composed mainly of the designated object, that is, the object class. It is difficult to expect high performance for object recognition from a separate new image.
다시 말해, 객체 인식 기술에서 객체 클래스 위주의 훈련용 이미지로 학습데이터를 구성하는 경우, 학습데이터에 없는 신규 이미지를 분석 시 긍정 오류(false positive)가 발생할 수 있으며, 이는 객체 인식 기술이 활용될 수 있는 다양한 서비스 환경에서 사용자의 룩앤필(look and feel)을 저해하는 결과를 초래할 수 있다.In other words, in the case of constructing the training data from the object recognition-oriented training image based on the object class, a false positive may occur when analyzing a new image that is not in the training data, which may be utilized. In various service environments, it may result in inhibiting the user's look and feel.
이에, 본 발명에서는 객체 인식 기술에서 새로운 이미지 분석 시 발생할 수 있는 전술의 문제점을 최소화할 수 있는 새로운 기술을 제안하고자 한다.Accordingly, the present invention is to propose a new technology capable of minimizing the above-described problems that may occur when analyzing a new image in object recognition technology.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화하는데 있다.The present invention was created in view of the above circumstances, and the object to be reached in the present invention is to provide a false positive that may occur when analyzing an image of a new object class that is not in the previously learned object class. It is to minimize.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지에 포함된 객체의 특징을 학습하여 N개의 객체 클래스로 분류하는 객체인식장치는, 이미지에 포함된 인식대상객체를 확인하는 확인부; 및 상기 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대하여 반복하여 판단하는 판단부를 포함하는 것을 특징으로 한다.An object recognition apparatus for classifying into N object classes by learning features of an object included in an image according to an embodiment of the present invention for achieving the above object includes: a confirmation unit for identifying an object to be recognized included in the image; And a determination unit repeatedly determining whether the recognition target object is classified as a specific object class for each of the N object classes.
구체적으로, 상기 객체인식장치는, 상기 인식대상객체에 대한 판단 결과의 진위를 검증한 검증정보를 상기 N개의 객체 클래스 각각에 대해서 획득하는 획득부를 더 포함할 수 있다.Specifically, the object recognition device may further include an acquiring unit for acquiring, for each of the N object classes, verification information verifying the authenticity of the determination result for the object to be recognized.
구체적으로, 상기 객체인식장치는, 상기 N개의 객체 클래스 각각에 대해서 획득되는 검증정보를 상기 N개의 객체 클래스 각각을 학습하기 위한 학습데이터로 생성하는 생성부를 더 포함할 수 있다.Specifically, the object recognition apparatus may further include a generation unit that generates verification information obtained for each of the N object classes as learning data for learning each of the N object classes.
구체적으로, 상기 판단부는, 상기 인식대상객체와 상기 N개의 객체 클래스 각각을 상호 비교하여, 비교 결과 상기 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는지를 판단할 수 있다.Specifically, the determination unit may compare each of the N object classes with the object to be recognized, and determine whether a specific object class having a similarity with the object to be recognized exists as a result of the comparison.
구체적으로, 상기 임계치는, 상기 N개의 객체 클래스 각각에 대해 판단된 판단 결과에서 오 판단 결과가 차지하는 비율에 따라 상기 N개의 객체 클래스 각각에 대해서 결정될 수 있다.Specifically, the threshold value may be determined for each of the N object classes according to a ratio occupied by an erroneous determination result in the determination result determined for each of the N object classes.
구체적으로, 상기 판단부는, 상기 인식대상객체가 2 이상인 경우, 상기 2 이상의 인식대상객체 각각에 대해서 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대해서 반복하여 판단할 수 있다.Specifically, when the object to be recognized is 2 or more, the determination unit may repeatedly determine whether each of the N object classes is classified as a specific object class for each of the two or more objects to be recognized.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지에 포함된 객체의 특징을 학습하여 N개의 객체 클래스로 분류하는 객체인식장치의 동작 방법은, 이미지에 포함된 인식대상객체를 확인하는 확인단계; 및 상기 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대하여 반복하여 판단하는 판단단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, an operation method of an object recognition apparatus for classifying N object classes by learning features of an object included in an image according to an embodiment of the present invention is checked to confirm an object to be recognized included in the image step; And a determination step of repeatedly determining whether the object to be recognized is classified as a specific object class for each of the N object classes.
구체적으로, 상기 방법은, 상기 인식대상객체에 대한 판단 결과의 진위를 검증한 검증정보를 상기 N개의 객체 클래스 각각에 대해서 획득하는 획득단계를 더 포함할 수 있다.Specifically, the method may further include an acquiring step of acquiring, for each of the N object classes, verification information verifying the authenticity of the determination result for the object to be recognized.
구체적으로, 상기 방법은, 상기 N개의 객체 클래스 각각에 대해서 획득되는 검증정보를 상기 N개의 객체 클래스 각각을 학습하기 위한 학습데이터로 생성하는 생성단계를 더 포함할 수 있다.Specifically, the method may further include a generation step of generating verification information obtained for each of the N object classes as learning data for learning each of the N object classes.
구체적으로, 상기 판단단계는, 상기 인식대상객체와 상기 N개의 객체 클래스 각각을 상호 비교하여, 비교 결과 상기 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는지를 판단할 수 있다.Specifically, in the determining step, the object to be recognized and each of the N object classes are compared with each other, and as a result of comparison, it may be determined whether a specific object class having a similarity with or more than the threshold is recognized.
구체적으로, 상기 임계치는, 상기 N개의 객체 클래스 각각에 대해 판단된 판단 결과에서 오 판단 결과가 차지하는 비율에 따라 상기 N개의 객체 클래스 각각에 대해서 결정될 수 있다.Specifically, the threshold value may be determined for each of the N object classes according to a ratio occupied by an erroneous determination result in the determination result determined for each of the N object classes.
구체적으로, 상기 판단단계는, 상기 인식대상객체가 2 이상인 경우, 상기 2 이상의 인식대상객체 각각에 대해서 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대해서 반복하여 판단할 수 있다.Specifically, in the determination step, when the recognition target object is 2 or more, it may be repeatedly determined whether each of the N object classes is classified as a specific object class for each of the 2 or more recognition target objects.
이에, 본 발명의 객체인식장치 및 그 동작 방법에 따르면, 이미지 내 인식대상객체가 특정 객체 클래스에 해당되는지 여부에 대한 단순한 판단 동작이, 기 학습된 객체 클래스 각각에 대해서 반복하여 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있다.Accordingly, according to the object recognition apparatus and the operation method of the present invention, since a simple determination operation on whether an object to be recognized in the image corresponds to a specific object class is performed repeatedly for each of the previously learned object classes, the existing object In the recognition technology, a problem of false positives that may be caused by an operation of matching an object in a new image with one of the pre-trained object classes can be minimized.
도 1은 본 발명의 일 실시예에 따른 객체 인식 환경을 보여주는 예시도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 긍정 오류(false positive)를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 객체인식장치의 구성을 보여주는 블록도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 판단 동작을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 객체 인식의 정확도 차이를 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 검증정보를 설명하기 위한 예시도이다.
도 9는 기존 객체 인식 기술에서 학습데이터 생성 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 객체인식장치의 동작 방법을 설명하기 위한 흐름도이다.1 is an exemplary view showing an object recognition environment according to an embodiment of the present invention.
2 and 3 are exemplary views for explaining a false positive according to an embodiment of the present invention.
4 is a block diagram showing the configuration of an object recognition device according to an embodiment of the present invention.
5 and 6 are exemplary views for explaining a determination operation according to an embodiment of the present invention.
7 is an exemplary diagram for explaining a difference in accuracy of object recognition according to an embodiment of the present invention.
8 is an exemplary diagram for explaining verification information according to an embodiment of the present invention.
9 is an exemplary diagram for explaining a process of generating learning data in an existing object recognition technology.
10 is a flowchart illustrating an operation method of an object recognition device according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 객체 인식 환경을 보여주고 있다.1 shows an object recognition environment according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체 인식 환경은, 이미지로부터 객체를 인식하는 객체인식장치(100)를 포함하는 구성을 가질 수 있다.1, an object recognition environment according to an embodiment of the present invention may have a configuration including an
이러한, 객체인식장치(100)는 이미지로부터 객체를 인식하기 위한 인식 모델을 탑재한 장치를 일컫는 것으로서, 여기서의 인식 모델에는 예컨대, 컨벌루션 뉴럴 네트워크(CNN, Convolutional Neural Network)와 같이 객체 클래스의 고유 특징을 자동으로 학습하는 딥러닝 모델이 적용될 수 있다.The
한편, 이러한 딥러닝 모델을 적용한 객체 인식 기술에서는, 객체 클래스의 고유 패턴을 학습하기 위해 데이터베이스를 자체적으로 구축하고, 해당 데이터베이스를 구성하는 훈련용 이미지로부터 객체 클래스의 고유 패턴을 학습하는 것이 일반적이다.On the other hand, in the object recognition technology to which such a deep learning model is applied, it is common to build a database on its own to learn the unique pattern of the object class, and learn the unique pattern of the object class from the training image constituting the database.
이와 관련하여, 도 2에는 객체 클래스(Class)로서 고양이와 개를 지정하는 경우를 예시적으로 보여주고 있다.In this regard, FIG. 2 exemplarily shows a case in which cats and dogs are designated as object classes.
즉, 도 2에 도시된 바와 같이, 객체 클래스(Class)로 고양이와 개를 지정하는 경우, 고양이와 개에 해당하는 훈련용 이미지로 데이터베이스를 구축하게 되며, 해당 데이터베이스 내 훈련용 이미지를 분석하는 과정을 통해서 각각의 객체 클래스로서 고양이와 개를 구분할 수 있는 각각의 고유 패턴을 학습할 수 있는 것이다.That is, as illustrated in FIG. 2, when cats and dogs are designated as object classes, a database is constructed with training images corresponding to cats and dogs, and a process of analyzing training images in the database Through each object class, you can learn each unique pattern that can distinguish cats and dogs.
그러나, 이처럼 자체적으로 구축되는 데이터베이스의 경우 지정된 대상 즉 객체 클래스 위주로 훈련용 이미지가 구성되는 관계로, 데이터베이스 내 훈련용 이미지로부터의 객체 인식에 있어서는 높은 성능을 보일 수 있는 반면, 데이터베이스 내 훈련용 이미지와는 별도의 신규 이미지로부터의 객체 인식에 대해서는 높은 성능을 기대하기가 어렵다.However, in the case of a database that is built in-house as such, since a training image is composed mainly of a designated target, that is, an object class, it may show high performance in recognition of an object from a training image in the database, whereas a training image in the database and It is difficult to expect high performance for object recognition from a separate new image.
다시 말해, 기존 객체 인식 기술에서 객체 클래스 위주의 훈련용 이미지로 학습데이터를 구성하는 경우, 객체 클래스에 없는 신규 이미지를 분석 시 긍정 오류(false positive)가 발생할 수 있으며, 이는 객체 인식 기술이 활용될 수 있는 다양한 서비스에서 사용자의 룩앤필(look and feel)을 저해하게 되는 결과를 초래할 수 있다.In other words, in the case of constructing training data from an existing object recognition technology to an object class-oriented training image, a false positive may occur when analyzing a new image that is not in the object class, which is to be utilized. In various services, the user's look and feel may be inhibited.
이와 관련하여, 도 3 (a)에는 데이터베이스에 지정된 객체 클래스인 고양이와 개 이외에, 신규 이미지에 해당하는 객체 클래스인 하이에나를 분석하는 경우를 예시적으로 보여주고 이다.In this regard, FIG. 3 (a) shows an example of analyzing a hyena, which is an object class corresponding to a new image, in addition to cats and dogs, which are object classes specified in the database.
이 경우, 기존 객체 인식 기술에서는 기존 객체 클래스 위주의 훈련용 이미지 이외에 신규 객체 클래스인 하이에나 이미지가 입력됨에 따라, 해당 이미지 내 객체를 하이에나와 유사한 고유 특징이 관찰되는 개로 인식하게 되는 긍정 오류(false positive)가 발생할 수 있는 것이다.In this case, in the existing object recognition technology, as a new object class hyena image is input in addition to the training image focused on the existing object class, the object in the image is recognized as a dog in which unique characteristics similar to the hyena are observed. ) Can occur.
또한, 도 3 (b)에는 데이터베이스에 지정된 객체 클래스인 고양이와 개 이외에, 신규 이미지에 해당하는 객체 클래스인 호랑이 이미지를 분석하는 경우를 예시적으로 보여주고 이다.In addition, FIG. 3 (b) shows an example of analyzing a tiger image, which is an object class corresponding to a new image, in addition to cats and dogs, which are object classes specified in the database.
이 경우도 마찬가지로, 기존의 객체 인식 기술에서는 기존 객체 클래스 위주의 훈련용 이미지 이외에 신규 객체 클래스에 해당하는 호랑이 이미지가 입력됨에 따라, 해당 이미지 내 객체를 호랑이와 유사한 고유 특징이 관찰되는 고양이로 인식하게 되는 긍정 오류(false positive)가 발생할 수 있다.In this case as well, in the existing object recognition technology, as the tiger image corresponding to the new object class is input in addition to the training image focused on the existing object class, the object in the image is recognized as a cat in which unique characteristics similar to tigers are observed. False positives may occur.
물론, 신규 이미지를 새로운 객체 클래스로 학습하는 방식을 통해 전술의 긍정 오류의 문제점을 극복할 수 있겠으나, 실제 모든 객체의 이미지를 객체 클래스로서 학습하는 것은 불가능한 것이 현실이다.Of course, the problem of the above-mentioned positive error can be overcome through a method of learning a new image as a new object class, but it is a reality that it is impossible to learn images of all real objects as an object class.
이에, 본 발명의 일 실시예에서는 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화할 수 있는 새로운 방안을 제안하고자 하며, 이하에서는 이를 실현하기 위한 객체인식장치(100)의 구성에 대해 구체적으로 설명하기로 한다.Accordingly, in one embodiment of the present invention, a new method for minimizing false positives that may occur when analyzing an image of a new object class that is not in the pre-trained object class is proposed. The configuration of the
도 4는 본 발명의 일 실시예에 따른 객체인식장치(100)의 구성을 보여주고 있다.4 shows the configuration of the
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체인식장치(100)는 인식대상객체를 확인하는 확인부(10), 및 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단하는 판단부(20)를 포함하는 구성을 가질 수 있다.As illustrated in FIG. 4, the
또한, 본 발명의 일 실시예에 따른 객체인식장치(100)는 전술한 구성 이외에, 판단 결과에 대한 검증정보를 획득하는 획득부(30), 및 학습데이터를 생성하는 생성부(40)를 더 포함할 수 있다.In addition, the
이러한, 객체인식장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.The whole or at least part of the configuration of the
특히, 객체인식장치(100) 내 확인부(10) 및 판단부(20)의 구성의 경우, 본 발명의 일 실시예에 따라 정의되는 각각의 객체 클래스를 학습하기 위한 인식 모델(예: 딥러닝 모델)인 것으로 이해될 수 있다.In particular, in the case of the configuration of the
여기서, 객체 클래스의 경우, 15~25개의 중분류 규모로 소정의 주기마다 다르게 정의될 수 있으며, 이와 관련하여 아래 [표 1]에는 이처럼 정의되는 객체 클래스를 예시적으로 확인할 수 있다.Here, in the case of an object class, 15 to 25 middle classification scales may be defined differently for each predetermined period. In this regard, in [Table 1] below, an object class defined as described above can be exemplarily confirmed.
참고로, 본 발명의 일 실시예에 따른 객체 클래스의 경우, 아래 [표 2]에서와 같이 예컨대, 70개의 소분류 규모로 소정의 주기마다 다르게 정의될 수 있음은 물론이다.For reference, in the case of the object class according to an embodiment of the present invention, as shown in [Table 2] below, for example, it may be defined differently at predetermined periods in a small sub-scale of 70.
한편, 본 발명의 일 실시예에 따른 객체인식장치(100)는 전술한 구성 이외에, 이미지 획득을 위해 타 장치(또는 도메인)와의 통신 기능이 요구되는 경우, 해당 기능을 담당하는 RF 모듈인 통신부(50)를 더 포함할 수 있다.여기서, 통신부(50)는 예컨대, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로는 모두 포함할 수 있다.결국, 본 발명의 일 실시예에 따른 객체인식장치(100)는 전술한 구성을 통해서 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화할 수 있는데, 이하에서는 이를 실현하기 위한 객체인식장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.On the other hand, the
확인부(10)는 인식대상객체를 확인하는 기능을 수행한다.The
보다 구체적으로, 확인부(10)는 이미지로부터 인식대상객체를 확인하게 된다.More specifically, the
여기서, 인식대상객체는 이미지에 포함된 객체를 의미하며, 이처럼 객체가 포함된 이미지는, 예컨대, 객체인식장치(100)와는 별도의 장치 또는 도메인 상에 사용자의 계정으로 등록된 이미지이거나, 내지는 객체인식장치(100)에 자체 구축된 데이터베이스 내 훈련 이미지일 수 있다.Here, the object to be recognized means an object included in the image, and the image including the object is, for example, an image registered with a user's account on a separate device or domain from the
판단부(20)는 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단하는 기능을 수행한다.The
보다 구체적으로, 판단부(20)는 이미지로부터 인식대상객체가 확인되면, 확인된 인식대상객체가 기 학습된 객체 클래스 중 어떠한 객체 클래스로 분류되는지를 판단하게 된다.More specifically, when the object to be recognized is identified from the image, the
이때, 판단부(20)는 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 기 정의된 객체 클래스 각각에 대해서 반복하여 판단함으로써, 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단할 수 있다.At this time, the
다시 말해, 하나의 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 기 학습된 객체 클래스의 개수만큼 반복하여 판단하는 동작을 통해서 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단할 수 있는 것이다.In other words, it is possible to determine to which object class the object to be recognized is classified by repeatedly determining whether one object to be recognized is classified as a specific object class by the number of previously learned object classes.
이와 관련하여, 도 5에는 인식대상객체로서 호랑이가 확인되는 경우를 예시적으로 보여주고 있다.In this regard, FIG. 5 exemplarily shows a case where a tiger is identified as an object to be recognized.
이 경우, 기존 객체 인식 기술(a)에서는 인식대상객체를 기 학습된 다수 개(N개)의 객체 클래스 중 하나에 일치시키는 동작(1번의 N개 예측)을 수행하는 반면, 본 발명의 일 실시예에 따른 객체 인식 기술(b)에서는, 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작(N번의 1개 예측)을 수행한다는 점에서 그 차이를 가짐을 알 수 있다.In this case, in the existing object recognition technology (a), the operation of matching the object to be recognized to one of a plurality of (N) object classes previously learned (N predictions of 1 time) is performed, whereas one embodiment of the present invention is performed. In the object recognition technology (b) according to an example, an operation (one prediction of N times) is repeatedly performed to determine whether one object to be recognized is classified for each of the previously learned object classes (N). You can see that it has a difference.
이를 좀 더 살펴보면, 도 6 (a)에는 기존 객체 인식 모델(예: Multi classifier 모델)에서의 인식 동작을 예시적으로 보여주고 있다.Looking further at this, FIG. 6 (a) shows an exemplary recognition operation in an existing object recognition model (eg, a multi classifier model).
도 6 (a)에 도시된 바와 같이, 기존 객체 인식 모델에서는 다수의 레이어(Layer)를 마련하고, 각각의 레이어마다의 인식대상객체에 대한 인식 동작이 이루어지게 되며, 최종 레이어에서는 인식대상객체를 기 학습된 다수 개(N개)의 객체 클래스 중 하나에 일치시키는 동작(1번의 N개 예측)이 처리될 수 있다.As shown in Fig. 6 (a), in the existing object recognition model, a plurality of layers are provided, and a recognition operation is performed on the object to be recognized for each layer, and in the final layer, the object to be recognized is An operation (N predictions of 1 time) matching to one of a plurality of (N) object classes previously learned may be processed.
그러나, 이러한 기존 객체 인식 모델에서는 최종 레이어에서 기 학습된 객체 클래스 중 인식대상객체와 일치되는 특정 객체 클래스를 최대한 찾아내려고 하며, 이에 따라 약간의 특징만 일치하더라도 이로 분류해버리는 경향성이 존재하게 되어 객체 인식의 신뢰도를 장담할 수 있다.However, in the existing object recognition model, among the object classes already learned in the final layer, a specific object class that matches the object to be recognized is attempted to be found as much as possible. Accordingly, even if only a few characteristics are matched, there is a tendency to classify the object. Reliability of cognition can be guaranteed.
반면, 도 6 (b)에는 본 발명의 일 실시예에 따른 객체 인식 모델에서의 인식 동작을 예시적으로 보여주고 있다.On the other hand, Figure 6 (b) shows the recognition operation in the object recognition model according to an embodiment of the present invention by way of example.
도 6 (b)에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체 인식 모델에서는 기존 객체 인식 모델과 마찬가지로 다수의 레이어(Layer)를 마련하고, 각각의 레이어마다의 인식대상객체에 대한 인식 동작이 이루어지는 반면, 최종 레이어에서 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작(N번의 1개 예측)을 수행한다.As shown in FIG. 6 (b), in the object recognition model according to an embodiment of the present invention, as in the existing object recognition model, a plurality of layers are provided, and recognition of an object to be recognized for each layer While the operation is performed, an operation (one prediction of N times) is repeatedly performed to determine whether one object to be recognized is classified for each of the plurality of (N) object classes previously learned in the final layer.
즉, 기존 객체 인식 모델서는 인식대상객체를 기 학습된 다수 개(N개)의 객체 클래스 중 하나에 일치시키는 동작(1번의 N개 예측)을 수행하는 반면, 본 발명의 일 실시예에 따른 객체 인식 모델에서는, 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작(N번의 1개 예측)을 수행한다는 점에서 그 차이를 갖는다는 것을 다시금 알 수 있다.That is, the existing object recognition model performs an operation (N predictions of 1 time) to match the object to be recognized to one of the pre-trained object classes (N predictions of 1 time), while the object according to an embodiment of the present invention The recognition model has a difference in that it performs an operation of repeatedly determining whether one object to be recognized is classified (one prediction of N times) for each of the previously learned object classes (N). You can see again.
이처럼, 본 발명의 일 실시예에서 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작은, 신규 이미지를 분석 시 발생할 수 있는 긍정 오류(false positive)의 문제를 기 학습된 객체 클래스에 대한 인식 성능의 문제로 치환할 수 있는 것이다.As described above, the operation of repeatedly determining whether one object to be recognized is classified for each of a plurality of (N) object classes previously learned in one embodiment of the present invention can be positive when analyzing a new image. It is possible to replace the problem of false positives with the problem of recognition performance for pre-trained object classes.
정리하자면, 본 발명의 일 실시예에서는 신규 이미지 내 객체가 기 학습된 객체 클래스로 분류될 수 있는지 여부에 대한 단순 판단만이 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있는 것이다.In summary, in an embodiment of the present invention, since only a simple determination is made as to whether an object in a new image can be classified as a pre-trained object class, an object class in which an object in the new image is pre-trained in the existing object recognition technology. It is possible to minimize the problem of false positives, which may be caused by one of the matching actions.
그리고, 판단부(20)는 이처럼 인식대상객체에 대해서 기 학습된 객체 클래스 각각으로 분류될 수 있는지 여부를 판단함에 있어서, 인식대상객체와 객체 클래스 간 유사도와 관련하여 정의되는 임계치(Threshold)를 반영할 수 있다.In addition, the
즉, 판단부(20)는 인식대상객체와 각 객체 클래스를 상호 비교하고, 비교 결과 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는 경우 해당 객체 클래스로 인식대상객체가 분류되는 것으로 판단할 수 있는 것이다.That is, the
여기서, 임계치(Threshold)는, 본 발명의 일 실시예에 따른 인식 모델에서 어느 정도로 엄격한 기준에 맞는 결과를 리턴할 것인지를 결정하는 기준으로 이해될 수 있다.Here, the threshold may be understood as a criterion for determining to what extent a strict criterion is returned in a recognition model according to an embodiment of the present invention.
일반적으로, 임계치(Threshold)가 높으면, 이미지로부터 정확히 객체를 인식할 수 있는 대신 해당 객체를 인식할 수 있는 이미지의 개수가 상대적으로 줄어들게 되는 반면, 임계치(Threshold)가 낮은 경우에는 많은 이미지로부터 객체를 인식할 수 있으나 인식된 객체의 정확도는 그만큼 낮아지게 된다.In general, when the threshold is high, the number of images that can recognize the object is relatively reduced, instead of being able to accurately recognize the object from the image, whereas when the threshold is low, the object is removed from many images. It can be recognized, but the accuracy of the recognized object is lowered.
이와 관련하여, 도 7에는 이미지로부터 비행기를 인식하는 경우 임계치(Threshold) 조정에 따른 객체 인식의 정확도 차이를 예시적으로 보여주고 있다.In this regard, FIG. 7 exemplarily shows a difference in accuracy of object recognition according to a threshold adjustment when recognizing an airplane from an image.
이를 살펴보면, 임계치(Threshold)를 0.5로 결정한 경우(a)에는, 비행기가 아닌 객체를 포함한 이미지의 개수가 5개인 반면, 임계치(Threshold) 0.9를 결정한 경우(b)에는 비행기가 아닌 객체를 포함한 이미지의 개수가 2개로서 임계치(Threshold)가 높을수록 객체 인식의 정확도가 그 만큼 높아진 것을 확인할 수 있다.Looking at this, if the threshold is determined as 0.5 (a), the number of images including non-plane objects is 5, whereas when determining the threshold 0.9 (b), images containing non-plane objects It can be seen that the accuracy of object recognition increases as the number of is 2 and the higher the threshold.
또한 이처럼 객체 인식의 정확도와 직결되는 임계치(Threshold)는, 기 정의된 객체 클래스 각각에 대해 개별적으로 결정될 수 있으며, 이때의 임계치(Threshold) 값은, 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부를 판단한 판단 결과에서 오 판단이 차지하는 비율에 따라 결정될 수 있다.In addition, the threshold, which is directly related to the accuracy of object recognition, may be individually determined for each of the predefined object classes, and the threshold value at this time is whether or not the object to be recognized corresponds to each object class. It may be determined according to the ratio occupied by the wrong judgment in the judgment result.
즉, 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부를 판단한 판단 결과에서 오 판단이 차지하는 비율이 높은 경우, 임계치(Threshold)를 상대적으로 높은 값으로 결정할 수 있는 것이며, 반대의 경우에는 임계치(Threshold)를 상대적으로 낮은 값으로 결정하거나 혹은 이전의 값을 그대로 유지할 수 있는 것이다.That is, in the case of a high proportion of false judgments in the result of determining whether the object to be recognized is applicable for each object class, the threshold may be determined as a relatively high value, and in the opposite case, the threshold ) Can be determined as a relatively low value, or the previous value can be maintained.
참고로, 기존 객체 인식 기술에서도, 각 객체 클래스 별 임계치(Threshold)가 적용되고 있다.For reference, in the existing object recognition technology, thresholds for each object class are applied.
그러나, 본 발명의 일 실시예에서는 신규 이미지 내 객체가 기 학습된 객체 클래스로 분류되는지 여부에 대한 단순 판단하는 방식을 통해 기존 객체 인식 기술이 안고 있는 긍정 오류(false positive)의 문제점을 최소화하고 있으므로, 객체 클래스 별 임계치를 기존과 동일하게 적용한다 하더라도, 기존 객체 인식 기술보다 높은 인식 성능을 기대할 수 있다.However, in an embodiment of the present invention, the problem of false positives of the existing object recognition technology is minimized through a simple determination method of whether objects in a new image are classified as a pre-trained object class. However, even if the threshold value for each object class is applied in the same way as the existing one, a higher recognition performance can be expected than the existing object recognition technology.
한편, 본 발명의 일 실시예에서는 이미지로부터 확인되는 인식대상객체가 하나가 아닌 다수인 경우를 가정할 수 있다.Meanwhile, in an embodiment of the present invention, it may be assumed that there are a plurality of objects to be recognized, which are identified from images.
이 경우, 판단부(20)는 이미지로부터 확인되는 다수의 인식대상객체에 대해 개별적으로 In this case, the
각 객체 클래스로 분류되는지 여부를 판단하는 전술의 동작을 수행하게 된다.The above-described operation to determine whether or not it is classified into each object class is performed.
이는, 다수의 인식대상객체 각각에 대해 고유의 인식 모델이 개별적으로 할당되는 것으로 이해될 수 있으며, 이러한 인식 모델의 개별적인 할당은, 하나의 인식 모델이 이미지 내 모든 객체를 인식해야 하는 기존 객체 인식 기술과는 차별을 둘 수 있다.It can be understood that a unique recognition model is individually assigned to each of a plurality of recognition target objects, and the individual assignment of such recognition models is an existing object recognition technology in which one recognition model must recognize all objects in an image. And can discriminate.
획득부(30)는 인식대상객체에 대해 판단한 판단 결과에 대해서 검증정보를 획득하는 기능을 수행한다.The
보다 구체적으로, 획득부(30)는 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부에 대한 판단이 완료되면, 해당 판단 결과에 대한 검증정보를 각 객체 클래스에 대해서 획득하게 된다.More specifically, when the determination of whether the object to be recognized corresponds to each object class is completed, the acquiring
여기서, 검증정보는, 판단 결과의 진위를 검증한 정보로서, 이는 도 8에 도시된 바와 같이 각 객체 클래스 별로 분류된 판단 결과에 대해 인력이 참여하여 직접 참(0) 또는 거짓(X)을 채점하는 방식을 통해서 생성될 수 있다.Here, the verification information is information that verifies the authenticity of the determination result, and as shown in FIG. 8, a person participates in the determination result classified by each object class, and directly scores true (0) or false (X). It can be created through the method.
생성부(40)는 학습데이터를 생성하는 기능을 수행한다.The
보다 구체적으로, 생성부(40)는 객체 클래스 각각에 대해서 검증정보가 획득되면, 이처럼 획득된 객체 클래스 별 검증정보를 객체 클래스 각각을 학습하기 위한 객체 클래스 별 학습데이터로 생성하게 된다.More specifically, when verification information is obtained for each object class, the
여기서, 학습데이터는 인식 모델에서의 긍정 오류의 문제를 개선하기 위한 데이터로서, 검증정보 내 검증 결과가 거짓인 경우만이 포함될 수 있으며, 이에 제한되는 것이 아닌, 검증정보 내 검증 결과가 참인 경우도 함께 포함될 수 있음은 물론이다.Here, the learning data is data for improving the problem of a positive error in the recognition model, and may include only the case where the verification result in the verification information is false, and is not limited thereto, but also when the verification result in the verification information is true Of course it can be included.
한편, 객체 클래스 각각에 대해서 획득되는 검증정보의 경우, 이처럼 객체 클래스 각각을 학습하기 위한 객체 클래스 별 학습데이터를 생성하는데 이용될 뿐만 아니라, 각 객체 클래스에 대해 인식대상객체가 분류되는지 여부를 판단함에 있어서 유사도 임계치(Threshold)를 결정하는데 반영될 수 있음은 물론이다. On the other hand, in the case of verification information obtained for each object class, as well as used to generate learning data for each object class for learning each object class, as well as determining whether an object to be recognized is classified for each object class Of course, the similarity can be reflected in determining the threshold.
참고로, 검증정보의 생성으로부터 학습데이터 생성으로까지 이어지는 본 발명의 일 실시예에서의 전술한 동작은, 인력 참여가 요구된다는 점에서 기존 객체 인식 기술과는 공통될 수 있다.For reference, the above-described operation in one embodiment of the present invention, from generation of verification information to generation of learning data, may be common to existing object recognition technology in that human resource participation is required.
다만, 본 발명의 일 실시예에서는 도 9에 도시된 바와 같이 학습데이터 생성에 있어서 각 이미지 별로 모든 객체 클래스의 위치를 박스 표기하는 레이블링(Labeling) 동작을 인력에 의존해야 하는 기존 객체 인식 기술에 비해, 학습데이터를 생성하기까지의 일련의 과정에서, 판단 결과의 진위를 채점하는 단순한 동작에 대해서만 인력의 참여가 요구되므로, 인력의 개입 정도가 효과적으로 개선되고 있음을 알 수 있다.However, in one embodiment of the present invention, as illustrated in FIG. 9, in the generation of learning data, compared to the existing object recognition technology that requires a labeling operation to rely on the manpower of all object classes for each image in a box. , In the series of steps from the generation of the learning data, since the participation of the manpower is required only for the simple operation of scoring the authenticity of the judgment result, it can be seen that the degree of manpower intervention is effectively improved.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 객체인식장치(100)의 구성에 따르면, 이미지 내 인식대상객체가 특정 객체 클래스에 해당되는지 여부에 대한 단순한 판단 동작이, 기 학습된 객체 클래스 각각에 대해서 반복하여 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있다.As described above, according to the configuration of the
이하에서는, 도 10을 참조하여 본 발명의 일 실시예에 따른 객체인식장치(100)의 동작 방법을 설명하기로 한다.Hereinafter, an operation method of the
먼저, 확인부(10)는 이미지로부터 인식대상객체를 확인한다(S10).First, the
여기서, 인식대상객체는 이미지에 포함된 객체를 의미하며, 이처럼 객체가 포함된 이미지는, 예컨대, 객체인식장치(100)와는 별도의 장치 또는 도메인 상에 사용자의 계정으로 등록된 이미지이거나, 내지는 객체인식장치(100)에 자체 구축된 데이터베이스 내 훈련 이미지일 수 있다.Here, the object to be recognized means an object included in the image, and the image including the object is, for example, an image registered with a user's account on a separate device or domain from the
그리고 나서, 판단부(20)는 이미지로부터 인식대상객체가 확인되면, 확인된 인식대상객체가 기 학습된 객체 클래스 중 어떠한 객체 클래스로 분류되는지를 판단한다(S20).Then, when the object to be recognized is identified from the image, the
이때, 판단부(20)는 기 학습된 객체 클래스 각각에 대해서 인식대상객체가 분류되는지 여부에 대한 판단을 반복함으로써, 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단할 수 있다.In this case, the
다시 말해, 하나의 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 기 학습된 객체 클래스의 개수만큼 반복하여 판단하는 동작을 통해서 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단할 수 있는 것이다.In other words, it is possible to determine to which object class the object to be recognized is classified by repeatedly determining whether one object to be recognized is classified as a specific object class by the number of previously learned object classes.
이와 관련하여, 앞서 예시한 도 5에는 인식대상객체로서 호랑이가 확인되는 경우를 예시적으로 보여주고 있다.In this regard, FIG. 5 illustrated above exemplarily shows a case in which a tiger is identified as an object to be recognized.
이 경우, 기존 객체 인식 기술(a)에서는 인식대상객체를 기 학습된 다수 개(N개)의 객체 클래스 중 하나에 일치시키는 동작(1번의 N개 예측)을 수행하는 반면, 본 발명의 일 실시예에 따른 객체 인식 기술(b)에서는, 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작(N번의 1개 예측)을 수행한다는 점에서 그 차이를 가짐을 알 수 있다.In this case, in the existing object recognition technology (a), the operation of matching the object to be recognized to one of a plurality of (N) object classes previously learned (N predictions of 1 time) is performed, whereas one embodiment of the present invention is performed. In the object recognition technology (b) according to an example, an operation (one prediction of N times) is repeatedly performed to determine whether one object to be recognized is classified for each of the previously learned object classes (N). You can see that it has a difference.
이처럼, 본 발명의 일 실시예에서 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작은, 신규 이미지를 분석 시 발생할 수 있는 긍정 오류(false positive)의 문제를 기 학습된 객체 클래스에 대한 인식 성능의 문제로 치환할 수 있는 것이다.As described above, the operation of repeatedly determining whether one object to be recognized is classified for each of a plurality of (N) object classes previously learned in one embodiment of the present invention can be positive when analyzing a new image. It is possible to replace the problem of false positives with the problem of recognition performance for pre-trained object classes.
정리하자면, 본 발명의 일 실시예에서는 신규 이미지 내 객체가 기 학습된 객체 클래스로 분류될 수 있는지 여부에 대한 단순 판단만이 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있는 것이다.In summary, in an embodiment of the present invention, since only a simple determination is made as to whether an object in a new image can be classified as a pre-trained object class, an object class in which an object in the new image is pre-trained in the existing object recognition technology. It is possible to minimize the problem of false positives, which may be caused by one of the matching actions.
그리고, 판단부(20)는 이처럼 인식대상객체에 대해서 기 학습된 객체 클래스 각각으로 분류될 수 있는지 여부를 판단함에 있어서, 인식대상객체와 객체 클래스 간 유사도와 관련하여 정의되는 임계치(Threshold)를 반영할 수 있다.In addition, the
즉, 판단부(20)는 인식대상객체와 각 객체 클래스를 상호 비교하고, 비교 결과 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는 경우 해당 객체 클래스로 인식대상객체가 분류되는 것으로 판단할 수 있는 것이다.That is, the
여기서, 임계치(Threshold)는, 본 발명의 일 실시예에 따른 인식 모델에서 어느 정도로 엄격한 기준에 맞는 결과를 리턴할 것인지를 결정하는 기준으로 이해될 수 있다.Here, the threshold may be understood as a criterion for determining to what extent a strict criterion is returned in a recognition model according to an embodiment of the present invention.
일반적으로, 임계치(Threshold)가 높으면, 이미지로부터 정확히 객체를 인식할 수 있는 대신 해당 객체를 인식할 수 있는 이미지의 개수가 상대적으로 줄어들게 되는 반면, 임계치(Threshold)가 낮은 경우에는 많은 이미지로부터 객체를 인식할 수 있으나 인식된 객체의 정확도는 그만큼 낮아지게 된다.In general, if the threshold is high, the number of images that can recognize the object is relatively reduced, instead of being able to accurately recognize the object from the image, whereas when the threshold is low, the object is removed from many images. It can be recognized, but the accuracy of the recognized object is lowered.
이와 관련하여, 앞서 예시한 도 7에는 이미지로부터 비행기를 인식하는 경우 임계치(Threshold) 조정에 따른 객체 인식의 정확도 차이를 예시적으로 보여주고 있다.In this regard, FIG. 7 illustrated above exemplarily shows a difference in accuracy of object recognition according to a threshold adjustment when recognizing an airplane from an image.
이를 살펴보면, 임계치(Threshold)를 0.5로 결정한 경우(a)에는, 비행기가 아닌 객체를 포함한 이미지의 개수가 5개인 반면, 임계치(Threshold) 0.9를 결정한 경우(b)에는 비행기가 아닌 객체를 포함한 이미지의 개수가 2개로서 임계치(Threshold)가 높을수록 객체 인식의 정확도가 그 만큼 높아진 것을 확인할 수 있다.Looking at this, if the threshold is determined as 0.5 (a), the number of images including non-plane objects is 5, whereas when determining the threshold 0.9 (b), images containing non-plane objects It can be seen that the accuracy of object recognition increases as the number of is 2 and the higher the threshold.
또한 이처럼 객체 인식의 정확도와 직결되는 임계치(Threshold)는, 기 정의된 객체 클래스 각각에 대해 개별적으로 결정될 수 있으며, 이때의 임계치(Threshold) 값은, 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부를 판단한 판단 결과에서 오 판단이 차지하는 비율에 따라 결정될 수 있다.In addition, the threshold, which is directly related to the accuracy of object recognition, may be individually determined for each of the predefined object classes, and the threshold value at this time is whether or not the object to be recognized corresponds to each object class. It may be determined according to the ratio occupied by the wrong judgment in the judgment result.
즉, 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부를 판단한 판단 결과에서 오 판단이 차지하는 비율이 높은 경우, 임계치(Threshold)를 상대적으로 높은 값으로 결정할 수 있는 것이며, 반대의 경우에는 임계치(Threshold)를 상대적으로 낮은 값으로 결정하거나 혹은 이전의 값을 그대로 유지할 수 있는 것이다.That is, in the case of a high proportion of false judgments in the result of determining whether the object to be recognized is applicable for each object class, the threshold may be determined as a relatively high value, and in the opposite case, the threshold ) Can be determined as a relatively low value, or the previous value can be maintained.
참고로, 기존 객체 인식 기술에서도, 각 객체 클래스 별 임계치(Threshold)가 적용되고 있다.For reference, in the existing object recognition technology, thresholds for each object class are applied.
그러나, 본 발명의 일 실시예에서는 신규 이미지 내 객체가 기 학습된 객체 클래스로 분류되는지 여부에 대한 단순 판단하는 방식을 통해 기존 객체 인식 기술이 안고 있는 긍정 오류(false positive)의 문제점을 최소화하고 있으므로, 객체 클래스 별 임계치를 기존과 동일하게 적용한다 하더라도, 기존 객체 인식 기술보다 높은 인식 성능을 기대할 수 있다.However, in an embodiment of the present invention, the problem of false positives of the existing object recognition technology is minimized through a simple determination method of whether objects in a new image are classified as a pre-trained object class. However, even if the threshold value for each object class is applied in the same way as the existing one, a higher recognition performance can be expected than the existing object recognition technology.
한편, 본 발명의 일 실시예에서는 이미지로부터 확인되는 인식대상객체가 하나가 아닌 다수인 경우를 가정할 수 있다.Meanwhile, in an embodiment of the present invention, it may be assumed that there are a plurality of objects to be recognized, which are identified from images.
이 경우, 판단부(20)는 이미지로부터 확인되는 다수의 인식대상객체에 대해 개별적으로 각 객체 클래스로 분류되는지 여부를 판단하는 전술의 동작을 수행하게 된다.In this case, the
이는, 다수의 인식대상객체 각각에 대해 고유의 인식 모델이 개별적으로 할당되는 것으로 이해될 수 있으며, 이러한 인식 모델의 개별적인 할당은, 하나의 인식 모델이 이미지 내 모든 객체를 인식해야 하는 기존 객체 인식 기술과는 차별을 둘 수 있다.It can be understood that a unique recognition model is individually assigned to each of a plurality of recognition target objects, and the individual assignment of such recognition models is an existing object recognition technology in which one recognition model must recognize all objects in an image. And can discriminate.
나아가 획득부(30)는 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부에 대한 판단이 완료되면, 해당 판단 결과에 대한 검증정보를 각 객체 클래스에 대해서 획득한다(S30).Furthermore, when the determination of whether the object to be recognized is applicable to each object class is completed, the acquiring
여기서, 검증정보는, 판단 결과의 진위를 검증한 정보로서, 이는 도 8에 도시된 바와 같이 각 객체 클래스 별로 분류된 판단 결과에 대해 인력이 참여하여 직접 참(0) 또는 거짓(X)을 채점하는 방식을 통해서 생성될 수 있다.Here, the verification information is information that verifies the authenticity of the determination result, and as shown in FIG. 8, a person participates in the determination result classified by each object class, and directly scores true (0) or false (X). It can be created through the method.
이후, 생성부(40)는 객체 클래스 각각에 대해서 검증정보가 획득되면, 이처럼 획득된 객체 클래스 별 검증정보를 객체 클래스 각각을 학습하기 위한 객체 클래스 별 학습데이터로 생성한다(S40).Subsequently, when verification information is obtained for each object class, the
여기서, 학습데이터는 인식 모델에서의 긍정 오류의 문제를 개선하기 위한 데이터로서, 검증정보 내 검증 결과가 거짓인 경우만이 포함될 수 있으며, 이에 제한되는 것이 아닌, 검증정보 내 검증 결과가 참인 경우도 함께 포함될 수 있음은 물론이다.Here, the learning data is data for improving the problem of a positive error in the recognition model, and may include only the case where the verification result in the verification information is false, and is not limited thereto, but also when the verification result in the verification information is true Of course it can be included.
한편, 객체 클래스 각각에 대해서 획득되는 검증정보의 경우, 이처럼 객체 클래스 각각을 학습하기 위한 객체 클래스 별 학습데이터를 생성하는데 이용될 뿐만 아니라, 각 객체 클래스에 대해 인식대상객체가 분류되는지 여부를 판단함에 있어서 유사도 임계치(Threshold)를 결정하는데 반영될 수 있음은 물론이다. On the other hand, in the case of verification information obtained for each object class, as well as used to generate learning data for each object class for learning each object class, as well as determining whether an object to be recognized is classified for each object class Of course, the similarity can be reflected in determining the threshold.
참고로, 검증정보의 생성으로부터 학습데이터 생성으로까지 이어지는 본 발명의 일 실시예에서의 전술한 동작은, 인력 참여가 요구된다는 점에서 기존 객체 인식 기술과는 공통될 수 있다.For reference, the above-described operation in one embodiment of the present invention, from generation of verification information to generation of learning data, may be common to existing object recognition technology in that human resource participation is required.
다만, 본 발명의 일 실시예에서는 앞서 예시한 도 9에 도시된 바와 같이 학습데이터 생성에 있어서 각 이미지 별로 모든 객체 클래스의 위치를 박스 표기하는 레이블링(Labeling) 동작을 인력에 의존해야 하는 기존 객체 인식 기술에 비해, 학습데이터를 생성하기까지의 일련의 과정에서, 판단 결과의 진위를 채점하는 단순한 동작에 대해서만 인력의 참여가 요구되므로, 인력의 개입 정도가 효과적으로 개선되고 있음을 알 수 있다.However, in an embodiment of the present invention, as illustrated in FIG. 9, the object recognition of existing objects that requires a labeling operation to mark the location of all object classes for each image in a box in learning data generation is required. Compared to the technology, in the series of processes until the generation of learning data, since the participation of manpower is required only for a simple operation for scoring the authenticity of the judgment result, it can be seen that the degree of manpower intervention is effectively improved.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 객체인식장치(100)의 동작 방법에 따르면, 이미지 내 인식대상객체가 특정 객체 클래스에 해당되는지 여부에 대한 단순한 판단 동작이, 기 학습된 객체 클래스 각각에 대해서 반복하여 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있다.As described above, according to the operation method of the
한편, 본 발명의 일 실시예에 따른 객체인식장치의 동작 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Meanwhile, a method of operating an object recognition apparatus according to an embodiment of the present invention may be implemented in a form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.The present invention has been described in detail with reference to preferred embodiments, but the present invention is not limited to the above-described embodiments, and the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims below. Anyone with ordinary knowledge in the technical idea of the present invention extends to the extent that various modifications or modifications are possible.
본 발명의 객체인식장치 및 그 동작 방법에 따르면, 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화할 수 있다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the object recognition apparatus and its operation method of the present invention, in the fact that it is possible to minimize the false positive (false positive) that may occur when analyzing an image of a new object class that is not in the previously learned object class, the existing technology It is an invention with industrial applicability, as it is not only the use of related technology, but also the possibility of marketing or sales of the applied device, as well as the degree that it can be practiced realistically.
100: 객체인식장치
10: 확인부
20: 판단부
30: 획득부
40: 생성부100: object recognition device
10: confirmation unit 20: judgment unit
30: acquisition unit 40: generation unit
Claims (10)
이미지에 포함된 인식대상객체를 확인하는 확인부; 및
상기 딥러닝 모델의 최종 레이어에서, 상기 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대하여 개별적으로 판단하는 판단부를 포함하며,
상기 판단부는,
상기 인식대상객체와 상기 N개의 객체 클래스 각각을 상호 비교하여, 상기 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는지를 판단하며, 상기 임계치는, 상기 N개의 객체 클래스 각각에 대해 독립적으로 설정되는 것을 특징으로 하는 객체인식장치.An object recognition device that classifies objects included in an image into N (N is plural) object classes based on a deep learning model composed of multiple layers.
A confirmation unit for identifying an object to be recognized included in the image; And
In the final layer of the deep learning model, a determination unit for individually determining whether the object to be recognized is classified as a specific object class for each of the N object classes,
The determination unit,
The object to be recognized and each of the N object classes are compared with each other to determine whether there is a specific object class having a similarity or higher threshold than the object to be recognized, and the threshold is for each of the N object classes Object recognition device characterized in that it is set independently.
상기 객체인식장치는,
상기 인식대상객체에 대한 판단 결과의 진위를 검증한 검증정보를 상기 N개의 객체 클래스 각각에 대해서 획득하는 획득부를 더 포함하는 것을 특징으로 하는 객체인식장치.According to claim 1,
The object recognition device,
And an acquiring unit for acquiring, for each of the N object classes, verification information verifying the authenticity of the determination result for the object to be recognized.
상기 객체인식장치는,
상기 N개의 객체 클래스 각각에 대해서 획득되는 검증정보를 상기 N개의 객체 클래스 각각을 학습하기 위한 학습데이터로 생성하는 생성부를 더 포함하는 것을 특징으로 하는 객체인식장치.According to claim 2,
The object recognition device,
And a generation unit that generates verification information obtained for each of the N object classes as learning data for learning each of the N object classes.
상기 임계치는,
상기 N개의 객체 클래스 각각에 대해 판단된 판단 결과에서 오 판단 결과가 차지하는 비율에 따라 상기 N개의 객체 클래스 각각에 대해서 결정되는 것을 특징으로 하는 객체인식장치.According to claim 1,
The threshold value,
An object recognition apparatus characterized in that it is determined for each of the N object classes according to a ratio occupied by an erroneous determination result in the determination result determined for each of the N object classes.
상기 판단부는,
상기 인식대상객체가 2 이상인 경우, 상기 2 이상의 인식대상객체 각각에 대해서 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대해서 반복하여 판단하는 것을 특징으로 하는 객체인식장치.According to claim 1,
The determination unit,
When the object to be recognized is 2 or more, an object recognition device characterized in that it is repeatedly determined for each of the N object classes whether or not each of the two or more objects to be recognized is classified as a specific object class.
이미지에 포함된 인식대상객체를 확인하는 확인단계; 및
상기 딥러닝 모델의 최종 레이어에서, 상기 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대하여 개별적으로 판단하는 판단단계를 포함하며,
상기 판단단계는, 상기 인식대상객체와 상기 N개의 객체 클래스 각각을 상호 비교하여, 상기 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는지를 판단하며, 상기 임계치는, 상기 N개의 객체 클래스 각각에 대해 독립적으로 설정되는 것을 특징으로 하는 객체인식장치의 동작 방법.In the operation method of the object recognition apparatus to classify objects included in an image into N (N is plural) object classes based on a deep learning model composed of a plurality of layers,
A confirmation step of identifying an object to be recognized included in the image; And
In the final layer of the deep learning model, a determination step of individually determining whether the object to be recognized is classified as a specific object class for each of the N object classes,
In the determining step, the recognition object is compared with each of the N object classes to determine whether there is a specific object class having a similarity or higher threshold than the recognition object (Threshold), and the threshold is the N Method of operating the object recognition device, characterized in that it is set independently for each object class.
상기 방법은,
상기 인식대상객체에 대한 판단 결과의 진위를 검증한 검증정보를 상기 N개의 객체 클래스 각각에 대해서 획득하는 획득단계를 더 포함하는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 6,
The above method,
And an acquiring step of acquiring for each of the N object classes, verification information verifying the authenticity of the determination result for the object to be recognized.
상기 방법은,
상기 N개의 객체 클래스 각각에 대해서 획득되는 검증정보를 상기 N개의 객체 클래스 각각을 학습하기 위한 학습데이터로 생성하는 생성단계를 더 포함하는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 7,
The above method,
And generating verification information obtained for each of the N object classes as learning data for learning each of the N object classes.
상기 임계치는,
상기 N개의 객체 클래스 각각에 대해 판단된 판단 결과에서 오 판단 결과가 차지하는 비율에 따라 상기 N개의 객체 클래스 각각에 대해서 결정되는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 6,
The threshold value,
A method for operating an object recognition apparatus, characterized in that it is determined for each of the N object classes according to a ratio occupied by an erroneous determination result in a determination result determined for each of the N object classes.
상기 판단단계는,
상기 인식대상객체가 2 이상인 경우, 상기 2 이상의 인식대상객체 각각에 대해서 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대해서 반복하여 판단하는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 6,
The determining step,
When the object to be recognized is 2 or more, the method of operating the object recognition apparatus is characterized in that it is repeatedly determined for each of the N object classes whether or not each of the two or more objects to be recognized is classified as a specific object class.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200049954A KR20200047478A (en) | 2020-04-24 | 2020-04-24 | Object recognition apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200049954A KR20200047478A (en) | 2020-04-24 | 2020-04-24 | Object recognition apparatus and control method thereof |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180095082A Division KR102140936B1 (en) | 2018-08-14 | 2018-08-14 | Object recognition apparatus and control method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200047478A true KR20200047478A (en) | 2020-05-07 |
Family
ID=70734344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200049954A KR20200047478A (en) | 2020-04-24 | 2020-04-24 | Object recognition apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200047478A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102301635B1 (en) * | 2021-02-04 | 2021-09-13 | 주식회사 에이모 | Method of inferring bounding box using artificial intelligence model and computer apparatus of inferring bounding box |
| KR20220012629A (en) * | 2020-07-23 | 2022-02-04 | 강원대학교산학협력단 | method for detecting estrus of cattle based on object detection algorithm |
-
2020
- 2020-04-24 KR KR1020200049954A patent/KR20200047478A/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220012629A (en) * | 2020-07-23 | 2022-02-04 | 강원대학교산학협력단 | method for detecting estrus of cattle based on object detection algorithm |
| KR102301635B1 (en) * | 2021-02-04 | 2021-09-13 | 주식회사 에이모 | Method of inferring bounding box using artificial intelligence model and computer apparatus of inferring bounding box |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10438091B2 (en) | Method and apparatus for recognizing image content | |
| CN102105901B (en) | Annotating images | |
| Bart et al. | Cross-generalization: Learning novel classes from a single example by feature replacement | |
| KR102140936B1 (en) | Object recognition apparatus and control method thereof | |
| US20190139551A1 (en) | Methods and systems for transcription | |
| US11663502B2 (en) | Information processing apparatus and rule generation method | |
| CN106447625A (en) | Facial image series-based attribute identification method and device | |
| US20200387755A1 (en) | Optimizing training data for image classification | |
| US20150235160A1 (en) | Generating gold questions for crowdsourcing | |
| US11023766B2 (en) | Automatic optical character recognition (OCR) correction | |
| KR102607208B1 (en) | Neural network learning methods and devices | |
| CN101097564A (en) | Parameter learning method, parameter learning apparatus, pattern classification method, and pattern classification apparatus | |
| EP3623998A1 (en) | Character recognition | |
| KR20200047478A (en) | Object recognition apparatus and control method thereof | |
| US11741363B2 (en) | Computer-readable recording medium, method for learning, and learning device | |
| JP2021157792A (en) | Validation of deep neural network (dnn) prediction based on pre-trained classifier | |
| US20230134169A1 (en) | Text-based document classification method and document classification device | |
| US20210089823A1 (en) | Information processing device, information processing method, and non-transitory computer-readable storage medium | |
| CN112949620A (en) | Scene classification method and device based on artificial intelligence and electronic equipment | |
| CN113743443B (en) | Image evidence classification and recognition method and device | |
| US11657596B1 (en) | System and method for cascading image clustering using distribution over auto-generated labels | |
| CN112241470B (en) | Video classification method and system | |
| CN110032716B (en) | Character encoding method and device, readable storage medium and electronic equipment | |
| US20180260666A1 (en) | Creation device, computer program product, recognition system, and creation method | |
| Avraham et al. | Attention-based dynamic visual search using inner-scene similarity: Algorithms and bounds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |