KR20200019493A - Object recognition apparatus and control method thereof - Google Patents
Object recognition apparatus and control method thereof Download PDFInfo
- Publication number
- KR20200019493A KR20200019493A KR1020180095082A KR20180095082A KR20200019493A KR 20200019493 A KR20200019493 A KR 20200019493A KR 1020180095082 A KR1020180095082 A KR 1020180095082A KR 20180095082 A KR20180095082 A KR 20180095082A KR 20200019493 A KR20200019493 A KR 20200019493A
- Authority
- KR
- South Korea
- Prior art keywords
- recognized
- classes
- class
- image
- recognition
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/627—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
Description
본 발명은, 객체 인식 기술에 관련된 것으로서, 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화하기 위한 기술에 관한 것이다.The present invention relates to an object recognition technique and relates to a technique for minimizing false positives that may occur when analyzing an image of a new object class that is not in a previously learned object class.
객체 인식(Object recognition)은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로서, 이미지에 포함된 사항을 이해하는 수준의 능력과 같이 사람이라면 당연히 할 수 있는 일을 컴퓨터도 할 수 있도록 학습시키는 것을 기술의 목표로 한다.Object recognition is a computer vision technology that identifies objects on an image or video, and that teaches a computer to do what a person can naturally do, such as the ability to understand what is contained in an image. Aim at.
이러한 객체 인식 기술에서는 이미지에서 객체를 식별할 뿐만 아니라 위치까지 파악할 수 있는데, 이를 통해 하나의 이미지에서 여러 객체를 식별하고 각 위치를 파악할 수 있다.In object recognition technology, not only objects can be identified from an image, but also a location can be identified. Through this, a plurality of objects can be identified from each image and each location can be identified.
이를 위해서, 객체 인식 기술에서는, 객체를 인식하기 위한 인식 모델로서 예컨대, 컨벌루션 뉴럴 네트워크(CNN, Convolutional Neural Network)와 같은 딥러닝 모델을 적용하여 객체를 인식하기 위해 해당 객체(이하, '객체 클래스'라 칭함) 고유의 특징을 자동으로 학습한다.To this end, in object recognition technology, to recognize an object by applying a deep learning model such as a convolutional neural network (CNN) as a recognition model for recognizing an object (hereinafter, referred to as 'object class') The unique features are automatically learned.
예를 들어 컨벌루션 뉴럴 네트워크에서는 각 객체 클래스로서 고양이와 개를 구분하기 위해 수천 장의 훈련용 이미지를 분석하고 고양이와 개를 구분하는 고유 패턴을 학습하여 고양이와 개의 차이점을 식별하는 방법을 학습할 수 있는 것이다.For example, in the convolutional neural network, as an object class, you can learn how to identify the differences between cats and dogs by analyzing thousands of training images to distinguish cats and dogs, and by learning unique patterns that distinguish cats and dogs. will be.
한편, 이와 관련하여 객체 인식 기술에서는, 객체 클래스의 고유 패턴을 학습하기 위해 데이터베이스를 자체적으로 구축하고, 해당 데이터베이스를 구성하는 훈련용 이미지로부터 객체 클래스의 고유 패턴을 학습하는 것이 일반적이다.On the other hand, in this regard, in object recognition technology, it is common to construct a database in order to learn a unique pattern of an object class, and to learn a unique pattern of an object class from a training image constituting the database.
헌데, 이처럼 자체적으로 구축된 데이터베이스는 지정된 대상 즉 객체 클래스 위주로 훈련용 이미지가 구성되는 관계로, 데이터베이스 내 훈련용 이미지로부터의 객체 인식에 있어서는 높은 성능을 보일 수 있는 반면, 데이터베이스 내 훈련용 이미지와는 별도의 신규 이미지로부터의 객체 인식에 대해서는 높은 성능을 기대하기가 어렵다.However, this self-built database is composed of training images centered on a designated target, that is, an object class, and thus can show high performance in object recognition from training images in the database. High performance is not expected for object recognition from separate new images.
다시 말해, 객체 인식 기술에서 객체 클래스 위주의 훈련용 이미지로 학습데이터를 구성하는 경우, 학습데이터에 없는 신규 이미지를 분석 시 긍정 오류(false positive)가 발생할 수 있으며, 이는 객체 인식 기술이 활용될 수 있는 다양한 서비스 환경에서 사용자의 룩앤필(look and feel)을 저해하는 결과를 초래할 수 있다.In other words, in the case of constructing the training data from the object class-oriented training image in the object recognition technology, a false positive may occur when analyzing a new image not included in the training data, which may be utilized. In a variety of service environments, it may result in the user's look and feel.
이에, 본 발명에서는 객체 인식 기술에서 새로운 이미지 분석 시 발생할 수 있는 전술의 문제점을 최소화할 수 있는 새로운 기술을 제안하고자 한다.Accordingly, the present invention is to propose a new technology that can minimize the problems of the above-described problem in the new image analysis in the object recognition technology.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화하는데 있다.The present invention was created in view of the above circumstances, and an object of the present invention is to obtain a false positive that may occur when analyzing an image of a new object class that does not exist in the previously learned object class. To minimize.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지에 포함된 객체의 특징을 학습하여 N개의 객체 클래스로 분류하는 객체인식장치는, 이미지에 포함된 인식대상객체를 확인하는 확인부; 및 상기 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대하여 반복하여 판단하는 판단부를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, there is provided an object recognition apparatus configured to learn and classify features of an object included in an image into N object classes, including: a confirmation unit to identify an object to be recognized included in an image; And a determination unit which repeatedly determines whether each of the N object classes is classified as a specific object class.
구체적으로, 상기 객체인식장치는, 상기 인식대상객체에 대한 판단 결과의 진위를 검증한 검증정보를 상기 N개의 객체 클래스 각각에 대해서 획득하는 획득부를 더 포함할 수 있다.Specifically, the object recognition apparatus may further include an acquisition unit for acquiring verification information for verifying the authenticity of the determination result for the object to be recognized for each of the N object classes.
구체적으로, 상기 객체인식장치는, 상기 N개의 객체 클래스 각각에 대해서 획득되는 검증정보를 상기 N개의 객체 클래스 각각을 학습하기 위한 학습데이터로 생성하는 생성부를 더 포함할 수 있다.In detail, the object recognition apparatus may further include a generation unit configured to generate verification information obtained for each of the N object classes, as learning data for learning each of the N object classes.
구체적으로, 상기 판단부는, 상기 인식대상객체와 상기 N개의 객체 클래스 각각을 상호 비교하여, 비교 결과 상기 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는지를 판단할 수 있다.In detail, the determination unit may compare the recognition object with each of the N object classes, and determine whether a specific object class having a similarity degree to the recognition object is greater than or equal to a threshold as a result of the comparison.
구체적으로, 상기 임계치는, 상기 N개의 객체 클래스 각각에 대해 판단된 판단 결과에서 오 판단 결과가 차지하는 비율에 따라 상기 N개의 객체 클래스 각각에 대해서 결정될 수 있다.Specifically, the threshold value may be determined for each of the N object classes according to a ratio occupied by a false determination result in the determination result determined for each of the N object classes.
구체적으로, 상기 판단부는, 상기 인식대상객체가 2 이상인 경우, 상기 2 이상의 인식대상객체 각각에 대해서 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대해서 반복하여 판단할 수 있다.Specifically, when the recognition object is two or more, the determination unit may repeatedly determine whether each of the two or more recognition objects are classified as a specific object class for each of the N object classes.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지에 포함된 객체의 특징을 학습하여 N개의 객체 클래스로 분류하는 객체인식장치의 동작 방법은, 이미지에 포함된 인식대상객체를 확인하는 확인단계; 및 상기 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대하여 반복하여 판단하는 판단단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, an object recognition apparatus for classifying N object classes by learning features of an object included in an image according to an embodiment of the present invention may include: identifying an object to be recognized included in the image; step; And determining repeatedly whether each of the N object classes is classified as a specific object class.
구체적으로, 상기 방법은, 상기 인식대상객체에 대한 판단 결과의 진위를 검증한 검증정보를 상기 N개의 객체 클래스 각각에 대해서 획득하는 획득단계를 더 포함할 수 있다.Specifically, the method may further include an acquiring step of acquiring, for each of the N object classes, verification information that verifies the authenticity of the determination result for the object to be recognized.
구체적으로, 상기 방법은, 상기 N개의 객체 클래스 각각에 대해서 획득되는 검증정보를 상기 N개의 객체 클래스 각각을 학습하기 위한 학습데이터로 생성하는 생성단계를 더 포함할 수 있다.Specifically, the method may further include generating the verification information obtained for each of the N object classes as learning data for learning each of the N object classes.
구체적으로, 상기 판단단계는, 상기 인식대상객체와 상기 N개의 객체 클래스 각각을 상호 비교하여, 비교 결과 상기 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는지를 판단할 수 있다.In detail, the determining may include comparing the object to be recognized with each of the N object classes to determine whether there is a specific object class whose similarity with the object to be recognized is greater than or equal to a threshold.
구체적으로, 상기 임계치는, 상기 N개의 객체 클래스 각각에 대해 판단된 판단 결과에서 오 판단 결과가 차지하는 비율에 따라 상기 N개의 객체 클래스 각각에 대해서 결정될 수 있다.Specifically, the threshold value may be determined for each of the N object classes according to a ratio occupied by a false determination result in the determination result determined for each of the N object classes.
구체적으로, 상기 판단단계는, 상기 인식대상객체가 2 이상인 경우, 상기 2 이상의 인식대상객체 각각에 대해서 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대해서 반복하여 판단할 수 있다.Specifically, in the determining step, when the recognition object is two or more, it may be determined repeatedly for each of the N object classes whether or not each of the two or more recognition objects is classified as a specific object class.
이에, 본 발명의 객체인식장치 및 그 동작 방법에 따르면, 이미지 내 인식대상객체가 특정 객체 클래스에 해당되는지 여부에 대한 단순한 판단 동작이, 기 학습된 객체 클래스 각각에 대해서 반복하여 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있다.Accordingly, according to the object recognition apparatus and its operation method of the present invention, since a simple determination of whether the object to be recognized in the image corresponds to a specific object class is repeated for each of the previously learned object classes, the existing object In a recognition technique, a problem of false positives that may be caused by an operation of matching an object in a new image with one of previously learned object classes may be minimized.
도 1은 본 발명의 일 실시예에 따른 객체 인식 환경을 보여주는 예시도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 긍정 오류(false positive)를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 객체인식장치의 구성을 보여주는 블록도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 판단 동작을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 객체 인식의 정확도 차이를 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 검증정보를 설명하기 위한 예시도이다.
도 9는 기존 객체 인식 기술에서 학습데이터 생성 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 객체인식장치의 동작 방법을 설명하기 위한 흐름도이다.1 is an exemplary view showing an object recognition environment according to an embodiment of the present invention.
2 and 3 are exemplary diagrams for explaining a false positive according to an embodiment of the present invention.
Figure 4 is a block diagram showing the configuration of an object recognition apparatus according to an embodiment of the present invention.
5 and 6 are exemplary diagrams for describing a determination operation according to an embodiment of the present invention.
7 is an exemplary diagram for explaining a difference in accuracy of object recognition according to an embodiment of the present invention.
8 is an exemplary view for explaining verification information according to an embodiment of the present invention.
9 is an exemplary diagram for explaining a process of generating training data in the existing object recognition technology.
10 is a flowchart illustrating a method of operating an object recognition apparatus according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, with reference to the accompanying drawings will be described a preferred embodiment of the present invention.
도 1은 본 발명의 일 실시예에 따른 객체 인식 환경을 보여주고 있다.1 illustrates an object recognition environment according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체 인식 환경은, 이미지로부터 객체를 인식하는 객체인식장치(100)를 포함하는 구성을 가질 수 있다.As shown in FIG. 1, an object recognition environment according to an embodiment of the present invention may have a configuration including an
이러한, 객체인식장치(100)는 이미지로부터 객체를 인식하기 위한 인식 모델을 탑재한 장치를 일컫는 것으로서, 여기서의 인식 모델에는 예컨대, 컨벌루션 뉴럴 네트워크(CNN, Convolutional Neural Network)와 같이 객체 클래스의 고유 특징을 자동으로 학습하는 딥러닝 모델이 적용될 수 있다.The
한편, 이러한 딥러닝 모델을 적용한 객체 인식 기술에서는, 객체 클래스의 고유 패턴을 학습하기 위해 데이터베이스를 자체적으로 구축하고, 해당 데이터베이스를 구성하는 훈련용 이미지로부터 객체 클래스의 고유 패턴을 학습하는 것이 일반적이다.On the other hand, in the object recognition technology applying the deep learning model, it is common to build a database in order to learn the unique pattern of the object class, and to learn the unique pattern of the object class from the training image constituting the database.
이와 관련하여, 도 2에는 객체 클래스(Class)로서 고양이와 개를 지정하는 경우를 예시적으로 보여주고 있다.In this regard, FIG. 2 exemplarily illustrates a case in which cats and dogs are designated as object classes.
즉, 도 2에 도시된 바와 같이, 객체 클래스(Class)로 고양이와 개를 지정하는 경우, 고양이와 개에 해당하는 훈련용 이미지로 데이터베이스를 구축하게 되며, 해당 데이터베이스 내 훈련용 이미지를 분석하는 과정을 통해서 각각의 객체 클래스로서 고양이와 개를 구분할 수 있는 각각의 고유 패턴을 학습할 수 있는 것이다.That is, as shown in FIG. 2, when a cat and a dog are designated as an object class, a database is constructed from training images corresponding to the cat and dog, and a process of analyzing the training image in the database is performed. You can learn each unique pattern that distinguishes cats and dogs as their respective object classes.
그러나, 이처럼 자체적으로 구축되는 데이터베이스의 경우 지정된 대상 즉 객체 클래스 위주로 훈련용 이미지가 구성되는 관계로, 데이터베이스 내 훈련용 이미지로부터의 객체 인식에 있어서는 높은 성능을 보일 수 있는 반면, 데이터베이스 내 훈련용 이미지와는 별도의 신규 이미지로부터의 객체 인식에 대해서는 높은 성능을 기대하기가 어렵다.However, in the case of such a self-built database, a training image is constructed around a designated target, that is, an object class, and thus a high performance can be obtained in object recognition from a training image in a database. It is difficult to expect high performance for object recognition from separate new images.
다시 말해, 기존 객체 인식 기술에서 객체 클래스 위주의 훈련용 이미지로 학습데이터를 구성하는 경우, 객체 클래스에 없는 신규 이미지를 분석 시 긍정 오류(false positive)가 발생할 수 있으며, 이는 객체 인식 기술이 활용될 수 있는 다양한 서비스에서 사용자의 룩앤필(look and feel)을 저해하게 되는 결과를 초래할 수 있다.In other words, in the case of constructing the training data using the object class-oriented training image from the existing object recognition technology, a false positive may occur when analyzing a new image that is not in the object class. Various services may result in the user's look and feel.
이와 관련하여, 도 3 (a)에는 데이터베이스에 지정된 객체 클래스인 고양이와 개 이외에, 신규 이미지에 해당하는 객체 클래스인 하이에나를 분석하는 경우를 예시적으로 보여주고 이다.In this regard, FIG. 3A illustrates an example of analyzing a hyena, an object class corresponding to a new image, in addition to cats and dogs, which are object classes designated in a database.
이 경우, 기존 객체 인식 기술에서는 기존 객체 클래스 위주의 훈련용 이미지 이외에 신규 객체 클래스인 하이에나 이미지가 입력됨에 따라, 해당 이미지 내 객체를 하이에나와 유사한 고유 특징이 관찰되는 개로 인식하게 되는 긍정 오류(false positive)가 발생할 수 있는 것이다.In this case, in the existing object recognition technology, as a new object class hyena image is input in addition to the training image mainly for the existing object class, a false positive that recognizes the object in the image as a dog having a unique characteristic similar to the hyena. ) May occur.
또한, 도 3 (b)에는 데이터베이스에 지정된 객체 클래스인 고양이와 개 이외에, 신규 이미지에 해당하는 객체 클래스인 호랑이 이미지를 분석하는 경우를 예시적으로 보여주고 이다.In addition, FIG. 3 (b) shows an example of analyzing a tiger image, which is an object class corresponding to a new image, in addition to cats and dogs, which are object classes designated in a database.
이 경우도 마찬가지로, 기존의 객체 인식 기술에서는 기존 객체 클래스 위주의 훈련용 이미지 이외에 신규 객체 클래스에 해당하는 호랑이 이미지가 입력됨에 따라, 해당 이미지 내 객체를 호랑이와 유사한 고유 특징이 관찰되는 고양이로 인식하게 되는 긍정 오류(false positive)가 발생할 수 있다.Similarly, in the existing object recognition technology, as the tiger image corresponding to the new object class is input in addition to the training image mainly for the existing object class, the object in the image is recognized as a cat whose unique characteristics similar to the tiger are observed. A false positive may occur.
물론, 신규 이미지를 새로운 객체 클래스로 학습하는 방식을 통해 전술의 긍정 오류의 문제점을 극복할 수 있겠으나, 실제 모든 객체의 이미지를 객체 클래스로서 학습하는 것은 불가능한 것이 현실이다.Of course, the above-described problem of affirmative error may be overcome by learning a new image with a new object class, but it is impossible to learn images of all objects as object classes.
이에, 본 발명의 일 실시예에서는 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화할 수 있는 새로운 방안을 제안하고자 하며, 이하에서는 이를 실현하기 위한 객체인식장치(100)의 구성에 대해 구체적으로 설명하기로 한다.Accordingly, an embodiment of the present invention proposes a new method for minimizing false positives that may occur when analyzing an image of a new object class that is not in the previously learned object class. The configuration of the
도 4는 본 발명의 일 실시예에 따른 객체인식장치(100)의 구성을 보여주고 있다.4 shows a configuration of the
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체인식장치(100)는 인식대상객체를 확인하는 확인부(10), 및 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단하는 판단부(20)를 포함하는 구성을 가질 수 있다.As shown in FIG. 4, the
또한, 본 발명의 일 실시예에 따른 객체인식장치(100)는 전술한 구성 이외에, 판단 결과에 대한 검증정보를 획득하는 획득부(30), 및 학습데이터를 생성하는 생성부(40)를 더 포함할 수 있다.In addition, in addition to the above-described configuration, the
이러한, 객체인식장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.The whole or at least part of the configuration of the
특히, 객체인식장치(100) 내 확인부(10) 및 판단부(20)의 구성의 경우, 본 발명의 일 실시예에 따라 정의되는 각각의 객체 클래스를 학습하기 위한 인식 모델(예: 딥러닝 모델)인 것으로 이해될 수 있다.In particular, in the case of the configuration of the
여기서, 객체 클래스의 경우, 15~25개의 중분류 규모로 소정의 주기마다 다르게 정의될 수 있으며, 이와 관련하여 아래 [표 1]에는 이처럼 정의되는 객체 클래스를 예시적으로 확인할 수 있다.Here, in the case of the object class, it can be defined differently every predetermined period in the size of 15 to 25 middle classification, in connection with this can be seen as an example object class defined in Table 1 below.
참고로, 본 발명의 일 실시예에 따른 객체 클래스의 경우, 아래 [표 2]에서와 같이 예컨대, 70개의 소분류 규모로 소정의 주기마다 다르게 정의될 수 있음은 물론이다.For reference, in the case of the object class according to an embodiment of the present invention, as shown in Table 2 below, for example, it can be defined differently every predetermined period of 70 small classification scale.
한편, 본 발명의 일 실시예에 따른 객체인식장치(100)는 전술한 구성 이외에, 이미지 획득을 위해 타 장치(또는 도메인)와의 통신 기능이 요구되는 경우, 해당 기능을 담당하는 RF 모듈인 통신부(50)를 더 포함할 수 있다.여기서, 통신부(50)는 예컨대, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로는 모두 포함할 수 있다.On the other hand, the
결국, 본 발명의 일 실시예에 따른 객체인식장치(100)는 전술한 구성을 통해서 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화할 수 있는데, 이하에서는 이를 실현하기 위한 객체인식장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.As a result, the
확인부(10)는 인식대상객체를 확인하는 기능을 수행한다.The
보다 구체적으로, 확인부(10)는 이미지로부터 인식대상객체를 확인하게 된다.More specifically, the
여기서, 인식대상객체는 이미지에 포함된 객체를 의미하며, 이처럼 객체가 포함된 이미지는, 예컨대, 객체인식장치(100)와는 별도의 장치 또는 도메인 상에 사용자의 계정으로 등록된 이미지이거나, 내지는 객체인식장치(100)에 자체 구축된 데이터베이스 내 훈련 이미지일 수 있다.Here, the object to be recognized refers to an object included in the image, and the image including the object is, for example, an image registered with a user's account on a device or domain separate from the
판단부(20)는 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단하는 기능을 수행한다.The
보다 구체적으로, 판단부(20)는 이미지로부터 인식대상객체가 확인되면, 확인된 인식대상객체가 기 학습된 객체 클래스 중 어떠한 객체 클래스로 분류되는지를 판단하게 된다.More specifically, when the object to be recognized is identified from the image, the
이때, 판단부(20)는 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 기 정의된 객체 클래스 각각에 대해서 반복하여 판단함으로써, 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단할 수 있다.In this case, the
다시 말해, 하나의 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 기 학습된 객체 클래스의 개수만큼 반복하여 판단하는 동작을 통해서 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단할 수 있는 것이다.In other words, it is possible to determine which object class the object to be recognized is classified by repeatedly determining whether one object to be recognized is classified as a specific object class by the number of previously learned object classes.
이와 관련하여, 도 5에는 인식대상객체로서 호랑이가 확인되는 경우를 예시적으로 보여주고 있다.In this regard, FIG. 5 illustrates a case where a tiger is identified as an object to be recognized.
이 경우, 기존 객체 인식 기술(a)에서는 인식대상객체를 기 학습된 다수 개(N개)의 객체 클래스 중 하나에 일치시키는 동작(1번의 N개 예측)을 수행하는 반면, 본 발명의 일 실시예에 따른 객체 인식 기술(b)에서는, 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작(N번의 1개 예측)을 수행한다는 점에서 그 차이를 가짐을 알 수 있다.In this case, the existing object recognition technology (a) performs an operation (one prediction N times) to match the object to be recognized with one of a plurality of previously learned object classes (N predictions), but according to one embodiment of the present invention, In the object recognition technique (b) according to the example, an operation (N prediction of N times) is repeatedly performed to determine whether one object to be recognized is classified for each of the previously learned N classes. It can be seen that there is a difference.
이를 좀 더 살펴보면, 도 6 (a)에는 기존 객체 인식 모델(예: Multi classifier 모델)에서의 인식 동작을 예시적으로 보여주고 있다.In more detail, FIG. 6 (a) illustrates an example of an operation of an existing object recognition model (eg, a multi classifier model).
도 6 (a)에 도시된 바와 같이, 기존 객체 인식 모델에서는 다수의 레이어(Layer)를 마련하고, 각각의 레이어마다의 인식대상객체에 대한 인식 동작이 이루어지게 되며, 최종 레이어에서는 인식대상객체를 기 학습된 다수 개(N개)의 객체 클래스 중 하나에 일치시키는 동작(1번의 N개 예측)이 처리될 수 있다.As shown in FIG. 6 (a), in the existing object recognition model, a plurality of layers are provided, and a recognition operation for the object to be recognized for each layer is performed, and the object to be recognized is the final layer. An operation (one N predictions) matching to one of a plurality of previously learned N object classes may be processed.
그러나, 이러한 기존 객체 인식 모델에서는 최종 레이어에서 기 학습된 객체 클래스 중 인식대상객체와 일치되는 특정 객체 클래스를 최대한 찾아내려고 하며, 이에 따라 약간의 특징만 일치하더라도 이로 분류해버리는 경향성이 존재하게 되어 객체 인식의 신뢰도를 장담할 수 있다.However, in the existing object recognition model, it tries to find the specific object class that matches the object to be recognized among the object classes learned in the final layer as much as possible, and thus there is a tendency to classify them even if only a few characteristics match. It can guarantee the reliability of recognition.
반면, 도 6 (b)에는 본 발명의 일 실시예에 따른 객체 인식 모델에서의 인식 동작을 예시적으로 보여주고 있다.On the other hand, Figure 6 (b) shows the recognition operation in the object recognition model according to an embodiment of the present invention by way of example.
도 6 (b)에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체 인식 모델에서는 기존 객체 인식 모델과 마찬가지로 다수의 레이어(Layer)를 마련하고, 각각의 레이어마다의 인식대상객체에 대한 인식 동작이 이루어지는 반면, 최종 레이어에서 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작(N번의 1개 예측)을 수행한다.As shown in FIG. 6B, in the object recognition model according to the exemplary embodiment of the present invention, as in the existing object recognition model, a plurality of layers are provided and recognition of the object to be recognized for each layer is performed. While the operation is performed, an operation (N prediction for N times) is repeatedly performed to determine whether one object to be recognized is classified for each of the N object classes previously learned in the final layer.
즉, 기존 객체 인식 모델서는 인식대상객체를 기 학습된 다수 개(N개)의 객체 클래스 중 하나에 일치시키는 동작(1번의 N개 예측)을 수행하는 반면, 본 발명의 일 실시예에 따른 객체 인식 모델에서는, 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작(N번의 1개 예측)을 수행한다는 점에서 그 차이를 갖는다는 것을 다시금 알 수 있다.That is, the existing object recognition model performs an operation (one N prediction) to match an object to be recognized with one of a plurality of previously learned object classes (N predictions), whereas an object according to an embodiment of the present invention. In the recognition model, there is a difference in that an operation (N prediction of N times) is repeatedly performed to determine whether an object to be recognized is classified for each of the previously learned N classes. You can see again.
이처럼, 본 발명의 일 실시예에서 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작은, 신규 이미지를 분석 시 발생할 수 있는 긍정 오류(false positive)의 문제를 기 학습된 객체 클래스에 대한 인식 성능의 문제로 치환할 수 있는 것이다.As described above, the operation of repeatedly determining whether one object to be recognized is classified for each of the N (N) object classes previously learned in the embodiment of the present invention may be positive. It is possible to replace the problem of false positives with the problem of recognition performance for the previously learned object class.
정리하자면, 본 발명의 일 실시예에서는 신규 이미지 내 객체가 기 학습된 객체 클래스로 분류될 수 있는지 여부에 대한 단순 판단만이 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있는 것이다.In summary, in one embodiment of the present invention, since only a simple determination is made as to whether an object in the new image can be classified into a previously learned object class, the object class previously learned from the object in the new image in the existing object recognition technology. It is possible to minimize the problem of false positives that can be caused by the operation of matching one of the two.
그리고, 판단부(20)는 이처럼 인식대상객체에 대해서 기 학습된 객체 클래스 각각으로 분류될 수 있는지 여부를 판단함에 있어서, 인식대상객체와 객체 클래스 간 유사도와 관련하여 정의되는 임계치(Threshold)를 반영할 수 있다.The
즉, 판단부(20)는 인식대상객체와 각 객체 클래스를 상호 비교하고, 비교 결과 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는 경우 해당 객체 클래스로 인식대상객체가 분류되는 것으로 판단할 수 있는 것이다.That is, the
여기서, 임계치(Threshold)는, 본 발명의 일 실시예에 따른 인식 모델에서 어느 정도로 엄격한 기준에 맞는 결과를 리턴할 것인지를 결정하는 기준으로 이해될 수 있다.Here, the threshold may be understood as a criterion for determining to what extent stringent criteria are returned in the recognition model according to an embodiment of the present invention.
일반적으로, 임계치(Threshold)가 높으면, 이미지로부터 정확히 객체를 인식할 수 있는 대신 해당 객체를 인식할 수 있는 이미지의 개수가 상대적으로 줄어들게 되는 반면, 임계치(Threshold)가 낮은 경우에는 많은 이미지로부터 객체를 인식할 수 있으나 인식된 객체의 정확도는 그만큼 낮아지게 된다.In general, if the threshold is high, instead of correctly recognizing the object from the image, the number of images that can recognize the object is relatively reduced, whereas if the threshold is low, the object may be removed from many images. It can be recognized, but the accuracy of the recognized object is lowered.
이와 관련하여, 도 7에는 이미지로부터 비행기를 인식하는 경우 임계치(Threshold) 조정에 따른 객체 인식의 정확도 차이를 예시적으로 보여주고 있다.In this regard, FIG. 7 exemplarily shows a difference in accuracy of object recognition according to a threshold adjustment when recognizing an airplane from an image.
이를 살펴보면, 임계치(Threshold)를 0.5로 결정한 경우(a)에는, 비행기가 아닌 객체를 포함한 이미지의 개수가 5개인 반면, 임계치(Threshold) 0.9를 결정한 경우(b)에는 비행기가 아닌 객체를 포함한 이미지의 개수가 2개로서 임계치(Threshold)가 높을수록 객체 인식의 정확도가 그 만큼 높아진 것을 확인할 수 있다.In this case, when the threshold is determined as 0.5 (a), the number of images including non-plane objects is 5, whereas when the threshold 0.9 is determined (b), images including non-plane objects are included. As the number of times is 2, the higher the threshold, the higher the accuracy of object recognition.
또한 이처럼 객체 인식의 정확도와 직결되는 임계치(Threshold)는, 기 정의된 객체 클래스 각각에 대해 개별적으로 결정될 수 있으며, 이때의 임계치(Threshold) 값은, 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부를 판단한 판단 결과에서 오 판단이 차지하는 비율에 따라 결정될 수 있다.In addition, the threshold, which is directly related to the accuracy of object recognition, may be individually determined for each of the predefined object classes, and the threshold value at this time is whether a recognized object corresponds to each object class. It may be determined according to the ratio occupied by the false judgment in the judgment result determined.
즉, 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부를 판단한 판단 결과에서 오 판단이 차지하는 비율이 높은 경우, 임계치(Threshold)를 상대적으로 높은 값으로 결정할 수 있는 것이며, 반대의 경우에는 임계치(Threshold)를 상대적으로 낮은 값으로 결정하거나 혹은 이전의 값을 그대로 유지할 수 있는 것이다.In other words, when the ratio of misjudgment is high in the judgment result of determining whether the object to be recognized for each object class is high, the threshold can be determined as a relatively high value, and in the opposite case, the threshold ) Can be set to a relatively low value or the previous value can be kept.
참고로, 기존 객체 인식 기술에서도, 각 객체 클래스 별 임계치(Threshold)가 적용되고 있다.For reference, in the existing object recognition technology, a threshold for each object class is applied.
그러나, 본 발명의 일 실시예에서는 신규 이미지 내 객체가 기 학습된 객체 클래스로 분류되는지 여부에 대한 단순 판단하는 방식을 통해 기존 객체 인식 기술이 안고 있는 긍정 오류(false positive)의 문제점을 최소화하고 있으므로, 객체 클래스 별 임계치를 기존과 동일하게 적용한다 하더라도, 기존 객체 인식 기술보다 높은 인식 성능을 기대할 수 있다.However, according to an exemplary embodiment of the present invention, the problem of false positives in the existing object recognition technology is minimized by a simple method of determining whether an object in a new image is classified as a previously learned object class. However, even if the threshold for each object class is applied in the same way as before, higher recognition performance can be expected than the existing object recognition technology.
한편, 본 발명의 일 실시예에서는 이미지로부터 확인되는 인식대상객체가 하나가 아닌 다수인 경우를 가정할 수 있다.Meanwhile, in one embodiment of the present invention, it may be assumed that there are not one but a plurality of objects to be recognized from the image.
이 경우, 판단부(20)는 이미지로부터 확인되는 다수의 인식대상객체에 대해 개별적으로 In this case, the
각 객체 클래스로 분류되는지 여부를 판단하는 전술의 동작을 수행하게 된다.The above-described operation of determining whether or not each object class is classified is performed.
이는, 다수의 인식대상객체 각각에 대해 고유의 인식 모델이 개별적으로 할당되는 것으로 이해될 수 있으며, 이러한 인식 모델의 개별적인 할당은, 하나의 인식 모델이 이미지 내 모든 객체를 인식해야 하는 기존 객체 인식 기술과는 차별을 둘 수 있다.It can be understood that a unique recognition model is individually assigned to each of a plurality of objects to be recognized, and the individual allocation of such recognition models is an existing object recognition technology in which one recognition model must recognize all objects in an image. Can be discriminated against.
획득부(30)는 인식대상객체에 대해 판단한 판단 결과에 대해서 검증정보를 획득하는 기능을 수행한다.The
보다 구체적으로, 획득부(30)는 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부에 대한 판단이 완료되면, 해당 판단 결과에 대한 검증정보를 각 객체 클래스에 대해서 획득하게 된다.More specifically, when the determination of whether the object to be recognized for the object class is completed for each object class is completed, the
여기서, 검증정보는, 판단 결과의 진위를 검증한 정보로서, 이는 도 8에 도시된 바와 같이 각 객체 클래스 별로 분류된 판단 결과에 대해 인력이 참여하여 직접 참(0) 또는 거짓(X)을 채점하는 방식을 통해서 생성될 수 있다.Here, the verification information is information that verifies the authenticity of the determination result, which is shown by FIG. 8, in which the manpower participates in the determination result classified by each object class to directly score true (0) or false (X). Can be generated in such a way.
생성부(40)는 학습데이터를 생성하는 기능을 수행한다.The generation unit 40 performs a function of generating learning data.
보다 구체적으로, 생성부(40)는 객체 클래스 각각에 대해서 검증정보가 획득되면, 이처럼 획득된 객체 클래스 별 검증정보를 객체 클래스 각각을 학습하기 위한 객체 클래스 별 학습데이터로 생성하게 된다.More specifically, when the verification information is obtained for each object class, the generation unit 40 generates the verification information for each object class as the learning data for each object class for learning each object class.
여기서, 학습데이터는 인식 모델에서의 긍정 오류의 문제를 개선하기 위한 데이터로서, 검증정보 내 검증 결과가 거짓인 경우만이 포함될 수 있으며, 이에 제한되는 것이 아닌, 검증정보 내 검증 결과가 참인 경우도 함께 포함될 수 있음은 물론이다.Here, the training data is data for improving the problem of affirmative error in the recognition model, and may include only the case where the verification result in the verification information is false, but is not limited thereto, and the verification result in the verification information is also true. Of course it can be included.
한편, 객체 클래스 각각에 대해서 획득되는 검증정보의 경우, 이처럼 객체 클래스 각각을 학습하기 위한 객체 클래스 별 학습데이터를 생성하는데 이용될 뿐만 아니라, 각 객체 클래스에 대해 인식대상객체가 분류되는지 여부를 판단함에 있어서 유사도 임계치(Threshold)를 결정하는데 반영될 수 있음은 물론이다. On the other hand, in the case of the verification information obtained for each object class, it is used not only to generate the learning data for each object class for learning each object class, but also to determine whether the object to be recognized is classified for each object class. Of course, it can be reflected in determining the similarity threshold.
참고로, 검증정보의 생성으로부터 학습데이터 생성으로까지 이어지는 본 발명의 일 실시예에서의 전술한 동작은, 인력 참여가 요구된다는 점에서 기존 객체 인식 기술과는 공통될 수 있다.For reference, the above-described operation in one embodiment of the present invention from generation of verification information to generation of learning data may be common to existing object recognition technology in that manpower participation is required.
다만, 본 발명의 일 실시예에서는 도 9에 도시된 바와 같이 학습데이터 생성에 있어서 각 이미지 별로 모든 객체 클래스의 위치를 박스 표기하는 레이블링(Labeling) 동작을 인력에 의존해야 하는 기존 객체 인식 기술에 비해, 학습데이터를 생성하기까지의 일련의 과정에서, 판단 결과의 진위를 채점하는 단순한 동작에 대해서만 인력의 참여가 요구되므로, 인력의 개입 정도가 효과적으로 개선되고 있음을 알 수 있다.However, in the exemplary embodiment of the present invention, as shown in FIG. 9, compared to the existing object recognition technology, the labeling operation of box-marking the positions of all object classes for each image in the generation of learning data should be dependent on manpower. In the series of processes leading up to the generation of the learning data, the participation of manpower is required only for the simple operation of scoring the authenticity of the judgment result, and thus the degree of involvement of the workforce is effectively improved.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 객체인식장치(100)의 구성에 따르면, 이미지 내 인식대상객체가 특정 객체 클래스에 해당되는지 여부에 대한 단순한 판단 동작이, 기 학습된 객체 클래스 각각에 대해서 반복하여 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있다.As described above, according to the configuration of the
이하에서는, 도 10을 참조하여 본 발명의 일 실시예에 따른 객체인식장치(100)의 동작 방법을 설명하기로 한다.Hereinafter, a method of operating the
먼저, 확인부(10)는 이미지로부터 인식대상객체를 확인한다(S10).First, the
여기서, 인식대상객체는 이미지에 포함된 객체를 의미하며, 이처럼 객체가 포함된 이미지는, 예컨대, 객체인식장치(100)와는 별도의 장치 또는 도메인 상에 사용자의 계정으로 등록된 이미지이거나, 내지는 객체인식장치(100)에 자체 구축된 데이터베이스 내 훈련 이미지일 수 있다.Here, the object to be recognized refers to an object included in the image, and the image including the object is, for example, an image registered with a user's account on a device or domain separate from the
그리고 나서, 판단부(20)는 이미지로부터 인식대상객체가 확인되면, 확인된 인식대상객체가 기 학습된 객체 클래스 중 어떠한 객체 클래스로 분류되는지를 판단한다(S20).Then, when the recognition target object is identified from the image, the
이때, 판단부(20)는 기 학습된 객체 클래스 각각에 대해서 인식대상객체가 분류되는지 여부에 대한 판단을 반복함으로써, 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단할 수 있다.In this case, the
다시 말해, 하나의 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 기 학습된 객체 클래스의 개수만큼 반복하여 판단하는 동작을 통해서 인식대상객체가 어떠한 객체 클래스로 분류되는지를 판단할 수 있는 것이다.In other words, it is possible to determine which object class the object to be recognized is classified by repeatedly determining whether one object to be recognized is classified as a specific object class by the number of previously learned object classes.
이와 관련하여, 앞서 예시한 도 5에는 인식대상객체로서 호랑이가 확인되는 경우를 예시적으로 보여주고 있다.In this regard, FIG. 5 exemplarily illustrates a case where a tiger is identified as an object to be recognized.
이 경우, 기존 객체 인식 기술(a)에서는 인식대상객체를 기 학습된 다수 개(N개)의 객체 클래스 중 하나에 일치시키는 동작(1번의 N개 예측)을 수행하는 반면, 본 발명의 일 실시예에 따른 객체 인식 기술(b)에서는, 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작(N번의 1개 예측)을 수행한다는 점에서 그 차이를 가짐을 알 수 있다.In this case, the existing object recognition technology (a) performs an operation (one prediction N times) to match the object to be recognized with one of a plurality of previously learned object classes (N predictions), but according to one embodiment of the present invention, In the object recognition technique (b) according to the example, an operation (N prediction of N times) is repeatedly performed to determine whether one object to be recognized is classified for each of the previously learned N classes. It can be seen that there is a difference.
이처럼, 본 발명의 일 실시예에서 기 학습된 다수 개(N개)의 객체 클래스 각각에 대해서 하나의 인식대상객체가 분류되는지 여부를 반복하여 판단하는 동작은, 신규 이미지를 분석 시 발생할 수 있는 긍정 오류(false positive)의 문제를 기 학습된 객체 클래스에 대한 인식 성능의 문제로 치환할 수 있는 것이다.As described above, the operation of repeatedly determining whether one object to be recognized is classified for each of the N (N) object classes previously learned in the embodiment of the present invention may be positive. It is possible to replace the problem of false positives with the problem of recognition performance for the previously learned object class.
정리하자면, 본 발명의 일 실시예에서는 신규 이미지 내 객체가 기 학습된 객체 클래스로 분류될 수 있는지 여부에 대한 단순 판단만이 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있는 것이다.In summary, in one embodiment of the present invention, since only a simple determination is made as to whether an object in the new image can be classified into a previously learned object class, the object class previously learned from the object in the new image in the existing object recognition technology. It is possible to minimize the problem of false positives that can be caused by the operation of matching one of the two.
그리고, 판단부(20)는 이처럼 인식대상객체에 대해서 기 학습된 객체 클래스 각각으로 분류될 수 있는지 여부를 판단함에 있어서, 인식대상객체와 객체 클래스 간 유사도와 관련하여 정의되는 임계치(Threshold)를 반영할 수 있다.The
즉, 판단부(20)는 인식대상객체와 각 객체 클래스를 상호 비교하고, 비교 결과 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는 경우 해당 객체 클래스로 인식대상객체가 분류되는 것으로 판단할 수 있는 것이다.That is, the
여기서, 임계치(Threshold)는, 본 발명의 일 실시예에 따른 인식 모델에서 어느 정도로 엄격한 기준에 맞는 결과를 리턴할 것인지를 결정하는 기준으로 이해될 수 있다.Here, the threshold may be understood as a criterion for determining to what extent stringent criteria are returned in the recognition model according to an embodiment of the present invention.
일반적으로, 임계치(Threshold)가 높으면, 이미지로부터 정확히 객체를 인식할 수 있는 대신 해당 객체를 인식할 수 있는 이미지의 개수가 상대적으로 줄어들게 되는 반면, 임계치(Threshold)가 낮은 경우에는 많은 이미지로부터 객체를 인식할 수 있으나 인식된 객체의 정확도는 그만큼 낮아지게 된다.In general, if the threshold is high, instead of correctly recognizing the object from the image, the number of images that can recognize the object is relatively reduced, whereas if the threshold is low, the object may be removed from many images. It can be recognized, but the accuracy of the recognized object is lowered.
이와 관련하여, 앞서 예시한 도 7에는 이미지로부터 비행기를 인식하는 경우 임계치(Threshold) 조정에 따른 객체 인식의 정확도 차이를 예시적으로 보여주고 있다.In this regard, FIG. 7 exemplarily illustrates the difference in the accuracy of object recognition according to a threshold adjustment when the plane is recognized from the image.
이를 살펴보면, 임계치(Threshold)를 0.5로 결정한 경우(a)에는, 비행기가 아닌 객체를 포함한 이미지의 개수가 5개인 반면, 임계치(Threshold) 0.9를 결정한 경우(b)에는 비행기가 아닌 객체를 포함한 이미지의 개수가 2개로서 임계치(Threshold)가 높을수록 객체 인식의 정확도가 그 만큼 높아진 것을 확인할 수 있다.In this case, when the threshold is determined as 0.5 (a), the number of images including non-plane objects is 5, whereas when the threshold 0.9 is determined (b), images including non-plane objects are included. As the number of times is 2, the higher the threshold, the higher the accuracy of object recognition.
또한 이처럼 객체 인식의 정확도와 직결되는 임계치(Threshold)는, 기 정의된 객체 클래스 각각에 대해 개별적으로 결정될 수 있으며, 이때의 임계치(Threshold) 값은, 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부를 판단한 판단 결과에서 오 판단이 차지하는 비율에 따라 결정될 수 있다.In addition, the threshold, which is directly related to the accuracy of object recognition, may be individually determined for each of the predefined object classes, and the threshold value at this time is whether a recognized object corresponds to each object class. It may be determined according to the ratio occupied by the false judgment in the judgment result determined.
즉, 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부를 판단한 판단 결과에서 오 판단이 차지하는 비율이 높은 경우, 임계치(Threshold)를 상대적으로 높은 값으로 결정할 수 있는 것이며, 반대의 경우에는 임계치(Threshold)를 상대적으로 낮은 값으로 결정하거나 혹은 이전의 값을 그대로 유지할 수 있는 것이다.In other words, when the ratio of misjudgment is high in the judgment result of determining whether the object to be recognized for each object class is high, the threshold can be determined as a relatively high value, and in the opposite case, the threshold ) Can be set to a relatively low value or the previous value can be kept.
참고로, 기존 객체 인식 기술에서도, 각 객체 클래스 별 임계치(Threshold)가 적용되고 있다.For reference, in the existing object recognition technology, a threshold for each object class is applied.
그러나, 본 발명의 일 실시예에서는 신규 이미지 내 객체가 기 학습된 객체 클래스로 분류되는지 여부에 대한 단순 판단하는 방식을 통해 기존 객체 인식 기술이 안고 있는 긍정 오류(false positive)의 문제점을 최소화하고 있으므로, 객체 클래스 별 임계치를 기존과 동일하게 적용한다 하더라도, 기존 객체 인식 기술보다 높은 인식 성능을 기대할 수 있다.However, according to an exemplary embodiment of the present invention, the problem of false positives in the existing object recognition technology is minimized by a simple method of determining whether an object in a new image is classified as a previously learned object class. However, even if the threshold for each object class is applied in the same way as before, higher recognition performance can be expected than the existing object recognition technology.
한편, 본 발명의 일 실시예에서는 이미지로부터 확인되는 인식대상객체가 하나가 아닌 다수인 경우를 가정할 수 있다.Meanwhile, in one embodiment of the present invention, it may be assumed that there are not one but a plurality of objects to be recognized from the image.
이 경우, 판단부(20)는 이미지로부터 확인되는 다수의 인식대상객체에 대해 개별적으로 각 객체 클래스로 분류되는지 여부를 판단하는 전술의 동작을 수행하게 된다.In this case, the
이는, 다수의 인식대상객체 각각에 대해 고유의 인식 모델이 개별적으로 할당되는 것으로 이해될 수 있으며, 이러한 인식 모델의 개별적인 할당은, 하나의 인식 모델이 이미지 내 모든 객체를 인식해야 하는 기존 객체 인식 기술과는 차별을 둘 수 있다.It can be understood that a unique recognition model is individually assigned to each of a plurality of objects to be recognized, and the individual allocation of such recognition models is an existing object recognition technology in which one recognition model must recognize all objects in an image. Can be discriminated against.
나아가 획득부(30)는 각 객체 클래스에 대해 인식대상객체가 해당되는지 여부에 대한 판단이 완료되면, 해당 판단 결과에 대한 검증정보를 각 객체 클래스에 대해서 획득한다(S30).Further, when the determination of whether the object to be recognized is applicable to each object class is completed, the
여기서, 검증정보는, 판단 결과의 진위를 검증한 정보로서, 이는 도 8에 도시된 바와 같이 각 객체 클래스 별로 분류된 판단 결과에 대해 인력이 참여하여 직접 참(0) 또는 거짓(X)을 채점하는 방식을 통해서 생성될 수 있다.Here, the verification information is information that verifies the authenticity of the determination result, which is shown by FIG. 8, in which the manpower participates in the determination result classified by each object class to directly score true (0) or false (X). Can be generated in such a way.
이후, 생성부(40)는 객체 클래스 각각에 대해서 검증정보가 획득되면, 이처럼 획득된 객체 클래스 별 검증정보를 객체 클래스 각각을 학습하기 위한 객체 클래스 별 학습데이터로 생성한다(S40).Subsequently, when verification information is obtained for each object class, the generation unit 40 generates verification information for each object class as the learning data for each object class for learning each object class (S40).
여기서, 학습데이터는 인식 모델에서의 긍정 오류의 문제를 개선하기 위한 데이터로서, 검증정보 내 검증 결과가 거짓인 경우만이 포함될 수 있으며, 이에 제한되는 것이 아닌, 검증정보 내 검증 결과가 참인 경우도 함께 포함될 수 있음은 물론이다.Here, the training data is data for improving the problem of affirmative error in the recognition model, and may include only the case where the verification result in the verification information is false, but is not limited thereto, and the verification result in the verification information is also true. Of course it can be included.
한편, 객체 클래스 각각에 대해서 획득되는 검증정보의 경우, 이처럼 객체 클래스 각각을 학습하기 위한 객체 클래스 별 학습데이터를 생성하는데 이용될 뿐만 아니라, 각 객체 클래스에 대해 인식대상객체가 분류되는지 여부를 판단함에 있어서 유사도 임계치(Threshold)를 결정하는데 반영될 수 있음은 물론이다. On the other hand, in the case of the verification information obtained for each object class, it is used not only to generate the learning data for each object class for learning each object class, but also to determine whether the object to be recognized is classified for each object class. Of course, it can be reflected in determining the similarity threshold.
참고로, 검증정보의 생성으로부터 학습데이터 생성으로까지 이어지는 본 발명의 일 실시예에서의 전술한 동작은, 인력 참여가 요구된다는 점에서 기존 객체 인식 기술과는 공통될 수 있다.For reference, the above-described operation in one embodiment of the present invention from generation of verification information to generation of learning data may be common to existing object recognition technology in that manpower participation is required.
다만, 본 발명의 일 실시예에서는 앞서 예시한 도 9에 도시된 바와 같이 학습데이터 생성에 있어서 각 이미지 별로 모든 객체 클래스의 위치를 박스 표기하는 레이블링(Labeling) 동작을 인력에 의존해야 하는 기존 객체 인식 기술에 비해, 학습데이터를 생성하기까지의 일련의 과정에서, 판단 결과의 진위를 채점하는 단순한 동작에 대해서만 인력의 참여가 요구되므로, 인력의 개입 정도가 효과적으로 개선되고 있음을 알 수 있다.However, in the exemplary embodiment of the present invention, as shown in FIG. 9, the object recognition has to rely on manpower for a labeling operation for box-marking the positions of all object classes for each image in generating the training data. Compared to the technology, it is understood that the involvement of manpower is effectively improved because manpower participation is required only for a simple operation of scoring the authenticity of the judgment result in a series of processes until generation of learning data.
이상에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 객체인식장치(100)의 동작 방법에 따르면, 이미지 내 인식대상객체가 특정 객체 클래스에 해당되는지 여부에 대한 단순한 판단 동작이, 기 학습된 객체 클래스 각각에 대해서 반복하여 이루어지므로, 기존 객체 인식 기술에서 신규 이미지 내 객체를 기 학습된 객체 클래스 중 하나와 일치시키는 동작에 따라 유발될 수 있는 긍정 오류(false positive)의 문제를 최소화할 수 있다.As described above, according to the operation method of the
한편, 본 발명의 일 실시예에 따른 객체인식장치의 동작 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.On the other hand, the method of operating the object recognition apparatus according to an embodiment of the present invention, may be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.Although the present invention has been described in detail with reference to preferred embodiments, the present invention is not limited to the above-described embodiments, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the following claims. Anyone skilled in the art will have the technical idea of the present invention to the extent that various modifications or changes are possible.
본 발명의 객체인식장치 및 그 동작 방법에 따르면, 기 학습된 객체 클래스에 없는 신규 객체 클래스의 이미지를 분석하는 경우에 발생될 수 있는 긍정 오류(false positive)를 최소화할 수 있다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the object recognition apparatus and its operation method of the present invention, it is possible to minimize false positives that may occur when analyzing an image of a new object class that does not exist in the previously learned object class. It is an invention that has industrial applicability because the possibility of marketing or operating the applied device is not only sufficient for the use of related technology, but also practically obviously performed beyond the limitation of the related art.
100: 객체인식장치
10: 확인부
20: 판단부
30: 획득부
40: 생성부100: object recognition device
10: confirmation unit 20: judgment unit
30: acquisition unit 40: generation unit
Claims (12)
이미지에 포함된 인식대상객체를 확인하는 확인부; 및
상기 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대하여 반복하여 판단하는 판단부를 포함하는 것을 특징으로 하는 객체인식장치.An object recognition device that learns the characteristics of objects included in an image and classifies them into N object classes.
A confirmation unit to identify an object to be recognized included in the image; And
And a determination unit which repeatedly determines whether each of the N object classes is classified as a specific object class.
상기 객체인식장치는,
상기 인식대상객체에 대한 판단 결과의 진위를 검증한 검증정보를 상기 N개의 객체 클래스 각각에 대해서 획득하는 획득부를 더 포함하는 것을 특징으로 하는 객체인식장치.The method of claim 1,
The object recognition device,
And an acquiring unit acquiring, for each of the N object classes, verification information verifying the authenticity of the determination result for the object to be recognized.
상기 객체인식장치는,
상기 N개의 객체 클래스 각각에 대해서 획득되는 검증정보를 상기 N개의 객체 클래스 각각을 학습하기 위한 학습데이터로 생성하는 생성부를 더 포함하는 것을 특징으로 하는 객체인식장치.The method of claim 2,
The object recognition device,
And a generation unit configured to generate verification information obtained for each of the N object classes, as learning data for learning each of the N object classes.
상기 판단부는,
상기 인식대상객체와 상기 N개의 객체 클래스 각각을 상호 비교하여, 비교 결과 상기 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는지를 판단하는 것을 특징으로 하는 객체인식장치.The method of claim 1,
The determination unit,
And comparing the recognition object with each of the N object classes, and determining whether there is a specific object class whose similarity with the recognition object is greater than or equal to a threshold.
상기 임계치는,
상기 N개의 객체 클래스 각각에 대해 판단된 판단 결과에서 오 판단 결과가 차지하는 비율에 따라 상기 N개의 객체 클래스 각각에 대해서 결정되는 것을 특징으로 하는 객체인식장치.The method of claim 4, wherein
The threshold is
And determining each of the N object classes according to a ratio occupied by the erroneous determination result in the determination result determined for each of the N object classes.
상기 판단부는,
상기 인식대상객체가 2 이상인 경우, 상기 2 이상의 인식대상객체 각각에 대해서 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대해서 반복하여 판단하는 것을 특징으로 하는 객체인식장치.The method of claim 1,
The determination unit,
And when the object to be recognized is two or more, determining whether each of the two or more objects to be classified as a specific object class is repeated for each of the N object classes.
이미지에 포함된 인식대상객체를 확인하는 확인단계; 및
상기 인식대상객체가 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대하여 반복하여 판단하는 판단단계를 포함하는 것을 특징으로 하는 객체인식장치의 동작 방법.In the operation method of the object recognition device to learn the characteristics of the objects contained in the image and classify into N object classes
Confirming an object to be recognized included in the image; And
And determining whether the object to be recognized is classified into a specific object class by repetitively determining for each of the N object classes.
상기 방법은,
상기 인식대상객체에 대한 판단 결과의 진위를 검증한 검증정보를 상기 N개의 객체 클래스 각각에 대해서 획득하는 획득단계를 더 포함하는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 7, wherein
The method,
And acquiring verification information for verifying the authenticity of the determination result for the object to be recognized for each of the N object classes.
상기 방법은,
상기 N개의 객체 클래스 각각에 대해서 획득되는 검증정보를 상기 N개의 객체 클래스 각각을 학습하기 위한 학습데이터로 생성하는 생성단계를 더 포함하는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 8,
The method,
And generating the verification information obtained for each of the N object classes as learning data for learning each of the N object classes.
상기 판단단계는,
상기 인식대상객체와 상기 N개의 객체 클래스 각각을 상호 비교하여, 비교 결과 상기 인식대상객체와의 유사도가 임계치(Threshold) 이상인 특정 객체 클래스가 존재하는지를 판단하는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 7, wherein
The determining step,
And comparing the recognition object with each of the N object classes, and determining whether there is a specific object class whose similarity with the recognition object is greater than or equal to a threshold.
상기 임계치는,
상기 N개의 객체 클래스 각각에 대해 판단된 판단 결과에서 오 판단 결과가 차지하는 비율에 따라 상기 N개의 객체 클래스 각각에 대해서 결정되는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 10,
The threshold is
And determining each of the N object classes according to a ratio occupied by the erroneous determination result in the determination result determined for each of the N object classes.
상기 판단단계는,
상기 인식대상객체가 2 이상인 경우, 상기 2 이상의 인식대상객체 각각에 대해서 특정 객체 클래스로 분류되는지 여부를 상기 N개의 객체 클래스 각각에 대해서 반복하여 판단하는 것을 특징으로 하는 객체인식장치의 동작 방법.The method of claim 7, wherein
The determining step,
And when the object to be recognized is two or more, determining whether each of the two or more objects to be classified as a specific object class is repeated for each of the N object classes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180095082A KR102140936B1 (en) | 2018-08-14 | 2018-08-14 | Object recognition apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180095082A KR102140936B1 (en) | 2018-08-14 | 2018-08-14 | Object recognition apparatus and control method thereof |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200049954A Division KR20200047478A (en) | 2020-04-24 | 2020-04-24 | Object recognition apparatus and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200019493A true KR20200019493A (en) | 2020-02-24 |
| KR102140936B1 KR102140936B1 (en) | 2020-08-04 |
Family
ID=69637127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180095082A KR102140936B1 (en) | 2018-08-14 | 2018-08-14 | Object recognition apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102140936B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102294741B1 (en) * | 2020-03-09 | 2021-08-27 | (주)제이앤리 | Method for psychological test based on picture using deep learning and server using the same |
| KR102301635B1 (en) * | 2021-02-04 | 2021-09-13 | 주식회사 에이모 | Method of inferring bounding box using artificial intelligence model and computer apparatus of inferring bounding box |
| KR20210155231A (en) * | 2020-06-15 | 2021-12-22 | 한국전자통신연구원 | Apparatus for Recognizing Object based on Deep Learning In Embedded Device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120057351A (en) * | 2010-11-26 | 2012-06-05 | 서강대학교산학협력단 | Method and apparatus for recognizing speed limit signs and method for recognizing image |
| KR20170022625A (en) * | 2015-08-21 | 2017-03-02 | 삼성전자주식회사 | Method for training classifier and detecting object |
-
2018
- 2018-08-14 KR KR1020180095082A patent/KR102140936B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120057351A (en) * | 2010-11-26 | 2012-06-05 | 서강대학교산학협력단 | Method and apparatus for recognizing speed limit signs and method for recognizing image |
| KR20170022625A (en) * | 2015-08-21 | 2017-03-02 | 삼성전자주식회사 | Method for training classifier and detecting object |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102294741B1 (en) * | 2020-03-09 | 2021-08-27 | (주)제이앤리 | Method for psychological test based on picture using deep learning and server using the same |
| KR20210155231A (en) * | 2020-06-15 | 2021-12-22 | 한국전자통신연구원 | Apparatus for Recognizing Object based on Deep Learning In Embedded Device |
| KR102301635B1 (en) * | 2021-02-04 | 2021-09-13 | 주식회사 에이모 | Method of inferring bounding box using artificial intelligence model and computer apparatus of inferring bounding box |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102140936B1 (en) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10438091B2 (en) | Method and apparatus for recognizing image content | |
| Bart et al. | Cross-generalization: Learning novel classes from a single example by feature replacement | |
| CN101925905B (en) | Identification and verification of unknown document according to eigen image process | |
| US11663502B2 (en) | Information processing apparatus and rule generation method | |
| CN106415594B (en) | Method and system for face verification | |
| CN102105901B (en) | Annotating images | |
| KR102140936B1 (en) | Object recognition apparatus and control method thereof | |
| CN106447625A (en) | Facial image series-based attribute identification method and device | |
| US10410354B1 (en) | Method and apparatus for multi-model primitive fitting based on deep geometric boundary and instance aware segmentation | |
| CN110033018A (en) | Shape similarity judgment method, device and computer readable storage medium | |
| CN101097564A (en) | Parameter learning method, parameter learning apparatus, pattern classification method, and pattern classification apparatus | |
| CN111126396A (en) | Image recognition method and device, computer equipment and storage medium | |
| US10614312B2 (en) | Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor | |
| US9396407B2 (en) | Image recognition device, recording medium, and image recognition method | |
| KR20200047478A (en) | Object recognition apparatus and control method thereof | |
| Jung et al. | Noisy and incomplete fingerprint classification using local ridge distribution models | |
| US20210089823A1 (en) | Information processing device, information processing method, and non-transitory computer-readable storage medium | |
| US20230134169A1 (en) | Text-based document classification method and document classification device | |
| CN106529388A (en) | Information processing device and control method thereof | |
| CN108496185A (en) | System and method for object detection | |
| JP4802176B2 (en) | Pattern recognition apparatus, pattern recognition program, and pattern recognition method | |
| CN114187558A (en) | Video scene recognition method and device, computer equipment and storage medium | |
| CN116946610B (en) | Method and device for picking up goods in intelligent warehousing system | |
| JP3095069B2 (en) | Character recognition device, learning method, and recording medium storing character recognition program | |
| US9811726B2 (en) | Chinese, Japanese, or Korean language detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |