KR20210089044A - Method of selecting training data for object detection and object detection device for detecting object using object detection model trained using method - Google Patents

Method of selecting training data for object detection and object detection device for detecting object using object detection model trained using method Download PDF

Info

Publication number
KR20210089044A
KR20210089044A KR1020200002265A KR20200002265A KR20210089044A KR 20210089044 A KR20210089044 A KR 20210089044A KR 1020200002265 A KR1020200002265 A KR 1020200002265A KR 20200002265 A KR20200002265 A KR 20200002265A KR 20210089044 A KR20210089044 A KR 20210089044A
Authority
KR
South Korea
Prior art keywords
images
object recognition
query images
query
similarity
Prior art date
Application number
KR1020200002265A
Other languages
Korean (ko)
Inventor
최지윤
유연걸
윤찬민
임승욱
정준영
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020200002265A priority Critical patent/KR20210089044A/en
Publication of KR20210089044A publication Critical patent/KR20210089044A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06K9/46—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

A method of selecting query images to be used for training an object detection model according to an embodiment of the present invention comprises the steps of: receiving query images photographed in a specific environment from a user terminal; determining whether to perform similarity determination on the query images based on a probability that a previously labeled class is detected in the query images; and determining whether to use the query image for training the object detection model, based on the similarity between the query images and test images used to train the object detection model, when it is determined to perform the similarity determination on the query images. The present invention can improve the performance of the object detection device.

Description

물체 인식을 위한 학습 데이터를 선택하는 방법 및 상기 방법을 이용하여 학습된 물체 인식 모델을 이용하여 물체를 인식하는 물체 인식 장치 {METHOD OF SELECTING TRAINING DATA FOR OBJECT DETECTION AND OBJECT DETECTION DEVICE FOR DETECTING OBJECT USING OBJECT DETECTION MODEL TRAINED USING METHOD}A method for selecting learning data for object recognition and an object recognition device for recognizing an object using an object recognition model learned using the method MODEL TRAINED USING METHOD}

본 발명은 물체 인식을 위한 학습 데이터를 선택하는 방법, 상기 방법을 이용하여 학습된 물체 인식 모델 및 상기 물체 인식 모델을 이용하여 물체를 인식하는 물체 인식 장치에 관한 것이다.The present invention relates to a method for selecting learning data for object recognition, an object recognition model learned using the method, and an object recognition apparatus for recognizing an object using the object recognition model.

물체 인식(객체 인식)(Object Detection)은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로서, 물체 인식은 무인 자동차에서 자동차가 정지 신호를 인식하고 보행자와 가로등을 구별하는데 이용될 수 있으며, 또한 바이오 이미징에서의 질병 식별, 산업 검사 및 로봇 비전과 같은 여러 분야에서 활용될 수 있다.Object detection (Object Detection) is a computer vision technology that identifies objects on an image or video, and object recognition can be used to recognize a stop sign for a car in an unmanned vehicle, distinguish between pedestrians and street lights, and also It can be utilized in several fields such as disease identification in imaging, industrial inspection, and robotic vision.

물체를 인식하는 방식은 일반적으로 머신 러닝(machine learning) 기반의 방식과 딥 러닝(deep learning) 기반의 방식으로 분류될 수 있다. 머신 러닝 기반의 경우, 우선 아래의 방식들 가운데 하나를 사용하여 정의한 다음 서포브 벡터 머신(SVM) 등의 기법을 사용하여 분류하는 일이 필요하고, 딥 러닝 기반의 방식은 기능을 구체적으로 정의하지 않고서도 물체 인식을 할 수 있으며 합성곱 신경망(CNN)에 기반을 두는 것이 보통이다.A method of recognizing an object may be generally classified into a machine learning-based method and a deep learning-based method. In the case of machine learning-based, it is necessary to first define using one of the following methods and then classify it using a technique such as a sub-vector machine (SVM), and the deep learning-based method does not specifically define the function. It can recognize objects without the need to do so, and is usually based on a convolutional neural network (CNN).

한편, 물체를 인식하는 방식에 관계 없이, 물체 인식 장치를 학습시키기 위해서는 대량의 데이터가 필요한데, 학습에 필요한 대량의 데이터를 사전에 모두 준비하기는 어려움이 있다.On the other hand, regardless of a method of recognizing an object, a large amount of data is required to learn an object recognition device, and it is difficult to prepare all the large amount of data required for learning in advance.

따라서, 물체 인식 장치가 동작하는 도중에 학습에 이용되지 않은 데이터를 판별하고, 이를 학습에 이용하는 방법이 문제될 수 있다.Accordingly, a method of determining data not used for learning while the object recognition apparatus is operating and using the data for learning may be problematic.

본 발명이 해결하고자 하는 과제는 물체 인식 장치가 동작 도중에 학습에 사용하지 않은 이미지를 판별하고, 학습에 이용하는 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a method for determining an image not used for learning while an object recognition device operates and using it for learning.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved by the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.

본 발명의 일 실시 예에 따른 물체 인식을 위한 학습 데이터를 선택하는 방법은, 사용자 단말로부터 특정 환경에서 촬영된 쿼리 이미지들을 수신하는 단계; 상기 쿼리 이미지들에서 기 라벨링된 클래스가 인식될 확률에 기초하여 상기 쿼리 이미지들에 유사도 판단을 수행할지 여부를 결정하는 단계; 및 상기 쿼리 이미지들에 유사도 판단을 수행하기로 결정된 경우, 상기 물체 인식 모델을 학습시키는데 이용된 테스트 이미지들과 상기 쿼리 이미지들 사이의 유사도에 기초하여, 상기 쿼리 이미지를 상기 학습 데이터로 선택하는 단계를 포함할 수 있다.A method of selecting learning data for object recognition according to an embodiment of the present invention includes: receiving query images photographed in a specific environment from a user terminal; determining whether to perform a similarity determination on the query images based on a probability that a previously labeled class is recognized in the query images; and when it is determined to perform similarity determination on the query images, selecting the query image as the training data based on the similarity between the query images and test images used to train the object recognition model. may include.

상기 유사도 판단을 수행할지 여부를 결정하는 단계는, 상기 기 라벨링된 클래스가 인식될 확률과 기 설정된 기준 값의 차이에 기초하여 상기 쿼리 이미지들에 유사도 판단을 수행할지 여부를 결정할 수 있다.The determining whether to perform the similarity determination may include determining whether to perform the similarity determination on the query images based on a difference between a probability that the previously labeled class is recognized and a preset reference value.

상기 유사도 판단을 수행할지 여부를 결정하는 단계는, 상기 기 라벨링된 클래스가 인식될 확률이 상기 기 설정된 기준 값으로부터 소정의 오차 범위 이내인 경우, 상기 쿼리 이미지들에 유사도 판단을 수행하고, 상기 기 라벨링된 클래스가 인식될 확률이 상기 기 설정된 기준 값으로부터 소정의 오차 범위 이내에 있지 않은 경우, 상기 쿼리 이미지들에 유사도 판단을 수행하지 않을 수 있다.The step of determining whether to perform the similarity determination may include, if the probability of recognizing the previously labeled class is within a predetermined error range from the preset reference value, performing the similarity determination on the query images, and When the probability that the labeled class is recognized is not within a predetermined error range from the preset reference value, the similarity determination may not be performed on the query images.

상기 쿼리 이미지를 상기 학습 데이터로 선택하는 단계는, 상기 쿼리 이미지들의 특성과 상기 테스트 이미지들의 특성을 비교하는 단계; 및 비교 결과에 따라, 상기 테스트 이미지들과 상기 쿼리 이미지들 사이의 유사도를 결정하는 단계를 포함할 수 있다.The selecting of the query image as the training data may include: comparing characteristics of the query images with characteristics of the test images; and determining a degree of similarity between the test images and the query images according to the comparison result.

상기 쿼리 이미지를 상기 학습 데이터로 선택하는 단계는, 상기 쿼리 이미지들과 상기 테스트 이미지들의 유사도가 기 설정된 임계 값 이하이면, 상기 쿼리 이미지들을 상기 물체 인식 모델의 학습의 대상으로 결정하고, 상기 쿼리 이미지들과 상기 테스트 이미지들의 유사도가 상기 기 설정된 임계 값 초과인 경우, 상기 쿼리 이미지들을 상기 물체 인식 모델의 학습에 이용하지 않을 수 있다.In the selecting the query image as the training data, if the similarity between the query images and the test images is less than or equal to a preset threshold value, determining the query images as objects of learning the object recognition model, and the query image When the similarity between the test images and the test images exceeds the preset threshold, the query images may not be used for learning the object recognition model.

상기 특성은 이미지들의 평균 세기, 평균 색상 및 평균 선명도 중에서 적어도 하나를 포함할 수 있다.The characteristic may include at least one of an average intensity, an average color, and an average sharpness of the images.

본 발명의 다른 실시 예에 따른 물체 인식 모델을 이용하여 물체를 인식하는 물체 인식 장치는, 사용자 단말로부터 특정 환경에서 촬영된 쿼리 이미지들을 수신하는 송수신기; 상기 물체 인식 모델을 저장하는 메모리; 및 상기 송수신기 및 상기 메모리를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 쿼리 이미지들에서 기 라벨링된 클래스가 인식될 확률에 기초하여 상기 쿼리 이미지들에 유사도 판단을 수행할지 여부를 결정하고, 상기 쿼리 이미지들에 유사도 판단을 수행하기로 결정된 경우, 상기 물체 인식 모델을 학습시키는데 이용된 테스트 이미지들과 상기 쿼리 이미지들 사이의 유사도에 기초하여, 상기 쿼리 이미지를 상기 물체 인식 모델의 학습에 이용할지 여부를 결정할 수 있다.According to another embodiment of the present invention, an object recognition apparatus for recognizing an object using an object recognition model includes: a transceiver for receiving query images photographed in a specific environment from a user terminal; a memory for storing the object recognition model; and a processor controlling the transceiver and the memory, wherein the processor determines whether to perform a similarity determination on the query images based on a probability that a previously labeled class is recognized in the query images, and the When it is decided to perform a similarity determination on the query images, based on the similarity between the query images and the test images used to train the object recognition model, whether to use the query image for training the object recognition model can decide whether

본 발명의 실시 예에 의하면, 물체 인식 장치가 동작되기 이전에 충분히 학습되지 않은 경우, 동작하는 과정에서 수신한 쿼리 이미지 중에 학습에 이용할 쿼리 이미지를 선별하는 방법을 제공함으로써, 물체 인식 장치의 성능을 향상시킬 수 있다.According to an embodiment of the present invention, when the object recognition apparatus is not sufficiently trained before operation, the performance of the object recognition apparatus is improved by providing a method of selecting a query image to be used for learning from among the query images received in the course of operation. can be improved

도 1은 본 발명의 일 실시 예에 따라 물체 인식을 수행하는 물체 인식 서버를 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따라 쿼리 이미지를 입력받아 학습되는 물체 인식 모델의 기능을 개념적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따라 물체 인식 모델을 학습시키는데 이용된 테스트 이미지들을 나타낸다.
도 4는 본 발명의 일 실시 예에 따라 물체 인식 모델의 학습 대상으로 이용될 쿼리 이미지들을 결정하는 일 예시를 나타낸다.
도 5는 물체 인식 모델을 학습시키는데 이용되는 쿼리 이미지를 결정하는 방법을 나타내는 흐름도이다.1 is a block diagram illustrating an object recognition server that performs object recognition according to an embodiment of the present invention.
2 is a block diagram for conceptually explaining a function of an object recognition model that is learned by receiving a query image according to an embodiment of the present invention.
3 shows test images used to train an object recognition model according to an embodiment of the present invention.
4 illustrates an example of determining query images to be used as a learning target of an object recognition model according to an embodiment of the present invention.
5 is a flowchart illustrating a method of determining a query image used to train an object recognition model.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains. It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시 예에 따라 물체 인식을 수행하는 물체 인식 서버를 나타내는 블록도이다.1 is a block diagram illustrating an object recognition server that performs object recognition according to an embodiment of the present invention.

도 1을 참조하면, 물체 인식 서버(100)는 프로세서(110), 송수신기(120) 및 메모리(130)를 포함할 수 있다.Referring to FIG. 1 , the object recognition server 100 may include a processor 110 , a transceiver 120 , and a memory 130 .

프로세서(110)는 물체 인식 서버(100)의 동작을 전반적으로 제어할 수 있다.The processor 110 may control the overall operation of the object recognition server 100 .

프로세서(110)는 송수신기(120)를 제어하여 사용자 단말(미도시)로부터 쿼리 이미지를 수신할 수 있다.The processor 110 may control the transceiver 120 to receive a query image from a user terminal (not shown).

메모리(130)는 물체 인식 모델(200) 및 물체 인식 모델(200)을 실행하는데 필요한 정보를 포함할 수 있다.The memory 130 may include the object recognition model 200 and information necessary for executing the object recognition model 200 .

본 명세서에서는 물체 인식 모델(200)을 메모리(130)에 저장된 프로그램의 일종으로 설명하였지만, 이에 한정되지 않는다. 즉, 실시 예에 따라, 물체 인식 모델(200)은 물체 인식을 수행하는 하드웨어, 소프트웨어 또는 이들의 결합으로 구현될 수 있다.In this specification, although the object recognition model 200 has been described as a type of program stored in the memory 130 , the present disclosure is not limited thereto. That is, according to an embodiment, the object recognition model 200 may be implemented as hardware, software, or a combination thereof for performing object recognition.

프로세서(110)는 중앙 연산 처리 장치(Central Processing Unit, CPU) 및 그래픽 연산 장치(Graphic Processing Unit, GPU)를 포함할 수 있다. 상기 CPU는 물체 인식 서버(100)에서 운용되는 응용 프로그램들뿐만 아니라 물체 인식 서버(100)의 운영 체제의 실행을 담당할 수 있다. 상기 GPU는 그래픽 작업을 수행하기 위한 추가적인 프로세서로서, 상기 CPU에 의해 제공되는 정보에 기초하여 스크린 상에 표시되는 최종 이미지에 대한 계산을 담당할 수 있다.The processor 110 may include a central processing unit (CPU) and a graphic processing unit (GPU). The CPU may be in charge of executing an operating system of the object recognition server 100 as well as application programs operated in the object recognition server 100 . The GPU is an additional processor for performing a graphic operation, and may be in charge of calculating a final image displayed on a screen based on information provided by the CPU.

프로세서(110)는 물체 인식 모델(200)을 실행하기 위하여 메모리(130)로부터 물체 인식 모델(200) 및 물체 인식 모델(200)을 실행하는데 필요한 정보를 로드하고, 물체 인식 모델(200)을 실행하면서 생성된 정보들을 메모리(130)에 저장할 수 있다.The processor 110 loads the object recognition model 200 and information necessary for executing the object recognition model 200 from the memory 130 to execute the object recognition model 200 , and executes the object recognition model 200 . The generated information may be stored in the memory 130 .

프로세서(110)는 물체 인식 모델(200)을 실행하여 사용자 단말로부터 수신한 쿼리 이미지를 분석하고, 분석 결과에 따라 상기 쿼리 이미지에 기 라벨링(labeling)된 클래스가 포함되었는지 여부를 결정할 수 있다.The processor 110 may analyze the query image received from the user terminal by executing the object recognition model 200 , and may determine whether a previously labeled class is included in the query image according to the analysis result.

프로세서(110)는 물체 인식 모델(200)을 실행하여 복수의 쿼리 이미지들을 수신할 수 있다. 실시 예에 따라, 물체 인식 모델(200)은 주기적으로(예컨대, 1/30초, 1/60초 등 영상에서 이미지를 촬영하는 주기로) 복수의 쿼리 이미지들을 수신할 수 있다. 물체 인식 모델(200)은 수신한 복수의 쿼리 이미지들 각각에 클래스가 포함되었는지 여부를 결정할 수 있다. 물체 인식 모델(200)은 물체를 인식하고(물체를 인식하였는지 여부를 판단하고), 인식된 물체가 기 라벨링된 클래스일 확률이 기 설정된 기준 값 이상인 경우, 기 라벨링 클래스를 인식하였다고 결정할 수 있다. 여기서, 클래스라 함은, 인식의 대상으로 기 라벨링된 물체를 의미할 수 있다.The processor 110 may execute the object recognition model 200 to receive a plurality of query images. According to an embodiment, the object recognition model 200 may receive a plurality of query images periodically (eg, in a cycle of capturing an image from an image, such as 1/30 second, 1/60 second, etc.). The object recognition model 200 may determine whether a class is included in each of a plurality of received query images. The object recognition model 200 may recognize an object (determining whether the object has been recognized), and if the probability that the recognized object is a pre-labeled class is equal to or greater than a preset reference value, it may determine that the pre-labeled class has been recognized. Here, the class may mean an object previously labeled as an object of recognition.

실시 예에 따라, 물체 인식 모델(200)은 물체를 인식하는데 이용되는 인공 신경망을 포함할 수 있다. 상기 인공 신경망은 기 학습되었거나 학습 중일 수 있다. 상기 인공 신경망은 학습이 되었지만, 충분히 학습되지 않은 경우(학습에 필요한 이미지가 충분히 입력되지 않은 경우), 물체 인식 모델(200)이 동작하는 과정에서 입력되는 쿼리 이미지 중에 일부를 이용하여 학습될 수 있다. 물체 인식 모델(200)(또는 물체 인식 모델(200)에 포함된 인공 신경망)을 학습시키는 방법은 도 2를 이용하여 후술하기로 한다.According to an embodiment, the object recognition model 200 may include an artificial neural network used to recognize an object. The artificial neural network may have already been trained or may be learning. The artificial neural network has been trained, but when it is not sufficiently trained (when the image required for learning is not sufficiently input), the artificial neural network can be learned using some of the query images input while the object recognition model 200 operates. . A method of learning the object recognition model 200 (or an artificial neural network included in the object recognition model 200) will be described later with reference to FIG. 2 .

도 2는 본 발명의 일 실시 예에 따라 쿼리 이미지를 입력받아 학습되는 물체 인식 모델의 기능을 개념적으로 설명하기 위한 블록도이다.2 is a block diagram for conceptually explaining a function of an object recognition model that is learned by receiving a query image according to an embodiment of the present invention.

도 2를 참조하면, 물체 인식 모델(200)은 클래스 인식부(210) 및 유사도 판단부(220)를 포함할 수 있다.Referring to FIG. 2 , the object recognition model 200 may include a class recognizer 210 and a similarity determiner 220 .

도 2에 도시된 클래스 인식부(210) 및 유사도 판단부(220)는 물체 인식 모델(200)의 기능을 쉽게 설명하기 위하여 물체 인식 모델(200)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시 예들에 따라, 클래스 인식부(210) 및 유사도 판단부(220)는 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.The class recognition unit 210 and the similarity determining unit 220 illustrated in FIG. 2 conceptually divide the functions of the object recognition model 200 in order to easily explain the functions of the object recognition model 200 , but are not limited thereto. . According to embodiments, the class recognition unit 210 and the similarity determining unit 220 may be implemented as a series of instructions included in one program.

물체 인식 모델(200)은 이미지(쿼리 이미지)를 입력 받는 경우 이미지 내에서 인식된 기 정의된 클래스를 나타내는 관심 영역(Region of Interest, ROI) 및 상기 클래스를 인식할 확률을 출력하도록 학습될 수 있다. 실시 예에 따라, 물체 인식 모델(200)은, 지도 학습(supervised learning) 방식으로, 관심 영역이 설정된 이미지를 입력받아 학습될 수 있다.When receiving an image (query image), the object recognition model 200 may be trained to output a region of interest (ROI) indicating a predefined class recognized in the image and a probability of recognizing the class. . According to an embodiment, the object recognition model 200 may be trained by receiving an image in which an ROI is set, in a supervised learning method.

동작되기 이전에 충분히 학습되지 않은 경우(다른 환경에서 촬영된 클래스의 인식률이 높지 않은 경우), 물체 인식 모델(200)은 물체 인식 모델(200)이 동작하는 과정에서 수신한 쿼리 이미지 중에 일부를 이용하여 학습될 수 있다. 본 명세서에서는 설명의 편의를 위하여 물체 인식 모델(200)이 학습되는 것으로 기술하였지만, 이는 설명의 편의를 위한 것으로서 이에 한정되지 않는다. 즉, 물체 인식 모델(200)이 학습될 수도 있고, 물체 인식 모델(200)에 포함된 인공 신경망이 학습될 수도 있다.If the object recognition model 200 is not sufficiently trained before operation (when the recognition rate of the class photographed in another environment is not high), the object recognition model 200 uses some of the query images received while the object recognition model 200 operates. can be learned by In the present specification, it has been described that the object recognition model 200 is learned for convenience of description, but this is not limited thereto for convenience of description. That is, the object recognition model 200 may be trained, or an artificial neural network included in the object recognition model 200 may be trained.

특정 환경에서 촬영된 쿼리 이미지에서 기 라벨링된 클래스가 낮은 확률로 인식되고, 낮은 확률로 인식된 클래스를 포함하는 쿼리 이미지들이 종래의 학습에 이용되었던 테스트 이미지들과 유사하지 않은 경우, 물체 인식 모델(200)은 상기 쿼리 이미지들을 학습의 대상으로 결정하고, 상기 쿼리 이미지들을 입력받아 학습될 수 있다.When a previously labeled class is recognized with a low probability in a query image taken in a specific environment, and the query images including the class recognized with a low probability are not similar to the test images used for conventional learning, the object recognition model ( 200) may be learned by determining the query images as learning targets and receiving the query images.

우선, 클래스 인식부(210)는 특정 환경에서 촬영된 쿼리 이미지들을 수신할 수 있다.First, the class recognizer 210 may receive query images captured in a specific environment.

클래스 인식부(210)는 특정 환경에서 촬영된 이미지에서 인식된 물체가 기 라벨링된 클래스일 확률과 기준 값과의 차이에 기초하여 특정 환경에서 촬영된 이미지들이 학습의 대상이 되는지 여부를 1차적으로 판단할 수 있다.The class recognition unit 210 primarily determines whether images photographed in a specific environment are subjects of learning based on a difference between a reference value and a probability that an object recognized in an image photographed in a specific environment is a pre-labeled class. can judge

클래스 인식부(210)는 사용자 단말로부터 수신한 쿼리 이미지들 중에서 특정 환경에서 촬영된 쿼리 이미지들에서 인식된 물체가 기 라벨링된 클래스일 확률과 기 설정된 기준 값의 차이에 기초하여 상기 특정 환경에 대한 쿼리 이미지들이 학습의 대상이 되는 이미지인지 여부를 결정할 수 있다. 예컨대, 특정 환경에 대한 쿼리 이미지에서 인식된 물체가 기 라벨링된 클래스일 확률이 기 설정된 기준 값에 근소하게 미달하거나, 기 설정된 기준 값보다 근소하게 높은 경우, 클래스 인식부(210)는 상기 기 라벨링된 클래스의 인식률을 높이기 위하여 상기 쿼리 이미지가 촬영된 환경에 대한 학습이 필요하다고 판단할 수 있다. 여기서, 환경이라 함은, 쿼리 이미지(또는 클래스)가 촬영된 배경을 의미할 수 있다.The class recognition unit 210 is configured to determine the specific environment based on the difference between the probability that the object recognized in the query images photographed in the specific environment among the query images received from the user terminal is a pre-labeled class and a preset reference value. It may be determined whether the query images are images to be learned. For example, if the probability that the object recognized in the query image for a specific environment is a pre-labeled class is slightly less than a preset reference value or slightly higher than a preset reference value, the class recognition unit 210 may perform the labeling In order to increase the recognition rate of the selected class, it may be determined that learning about the environment in which the query image is captured is necessary. Here, the environment may mean a background in which the query image (or class) is captured.

실시 예에 따라, 클래스 인식부(210)는 아래의 수학식 1을 이용하여 쿼리 이미지가 학습의 대상이 되는지 여부를 판단할 수 있다. 즉, 클래스 인식부(210)는, 특정 환경에서 촬영된 쿼리 이미지들 중에서 특정 블록 내에서 인식된 물체가 특정 클래스일 확률이 기준 값으로부터 소정의 오차 내에 있는 이미지가 기 설정된 임계 값보다 많은 경우, 상기 특정 환경에서 촬영된 쿼리 이미지들을 학습의 대상으로 1차적으로 결정할 수 있다.According to an embodiment, the class recognizer 210 may determine whether the query image is a learning target using Equation 1 below. That is, the class recognition unit 210, among the query images taken in a specific environment, when the probability that the object recognized within a specific block is of a specific class is within a predetermined error from the reference value is greater than a preset threshold value, Query images captured in the specific environment may be primarily determined as learning targets.

Figure pat00001
Figure pat00001

여기서, (1:0)은 특정 블록에 물체가 있다고 판단되는 경우(1)와 특정 블록에 물체가 있다고 판단되지 않는 경우(0)를 의미하고, P는 특정 블록 내에 특정 클래스가 존재할 확률을 의미하고, PThreshold는 특정 블록 내에서 특정 클래스를 인식했다고 판단하는 기준 값을 의미하고, Fq는 특정 환경에서 촬영된 이미지(프레임) 중에서 P가 PThreshold로부터 10% 이내의 오차 내에 있는 이미지의 개수를 의미하고, Ft는 특정 환경에서 촬영된 이미지 전체의 개수를 의미하고, Const Value는 학습의 대상이 되는 이미지를 결정하는 조건으로, 전체 이미지 중에서 오차 범위 내 이미지의 비율을 의미하고, x%는 다른 환경에서 학습된 데이터의 평균 인식 성공률을 의미할 수 있다.Here, (1:0) denotes a case where it is determined that there is an object in a specific block (1) and a case where it is not determined that there is an object in a specific block (0), and P denotes the probability that a specific class exists in a specific block and P Threshold means a reference value for determining that a specific class has been recognized within a specific block, and Fq is the number of images in which P is within 10% of the P Threshold among images (frames) taken in a specific environment. Meaning, Ft means the total number of images taken in a specific environment, Const Value is a condition for determining the image to be learned, it means the ratio of images within the error range among all images, and x% is another It may mean an average recognition success rate of data learned in the environment.

즉, 수학식 1에 의할 경우, 클래스 인식부(210)는 특정 환경에서 촬영된 쿼리 이미지들 중에서 특정 블록 내에서 인식된 물체(1)가 특정 클래스일 확률(P)이 기준 값(PThreshold)으로부터 소정의 오차(0.1, 10%) 내에 있는 이미지가 기 설정된 임계 값(Const Value, x %)보다 많은 경우, 상기 특정 환경에서 촬영된 이미지들을 학습의 대상이 되는 이미지로 결정할 수 있다. 수학식 1에서는, 오차를 10%로 설정하였지만, 이에 한정되지 않는다. 즉, 클래스가 존재할 확률로부터의 오차는 실시 예에 따라 변경될 수 있다. 또한, 수학식 1에서의 Const Value는 실시 예에 따라 다를 수 있다.That is, according to Equation 1, the class recognition unit 210 determines the probability P that the object 1 recognized within a specific block among the query images photographed in a specific environment is of a specific class is a reference value (P Threshold). ), when there are more images within a predetermined error (0.1, 10%) than a preset threshold value (Const Value, x %), images taken in the specific environment may be determined as images to be learned. In Equation 1, although the error is set to 10%, it is not limited thereto. That is, an error from the probability that a class exists may be changed according to an embodiment. Also, the const value in Equation 1 may vary according to embodiments.

유사도 판단부(220)는, 클래스 인식부(210)에 의해 1차적으로 학습의 대상으로 판단된(즉, 기 정의된 클래스를 인식할 확률이 기준 값으로부터 소정의 오차 이내에 있다고 판단된) 상기 쿼리 이미지들이 종래의 학습에 이용되었던 테스트 이미지들과 유사하지 않은 경우, 상기 쿼리 이미지들을 최종적으로 학습의 대상으로 결정할 수 있다.The similarity determining unit 220 determines the query primarily determined by the class recognition unit 210 as a learning target (ie, the probability of recognizing a predefined class is determined to be within a predetermined error from the reference value). If the images are not similar to test images used for conventional learning, the query images may be finally determined as objects of learning.

유사도 판단부(220)는 종래의 테스트 이미지들의 특성과 상기 쿼리 이미지들의 특성을 비교할 수 있다. 상기 비교 결과가 기준치 이상(또는 초과)인 경우, 유사도 판단부(220)는 상기 쿼리 이미지들이 종래의 테스트 이미지들(또는 종래의 테스트 이미지들 중에서 일부)과 유사하다고 판단하고, 상기 쿼리 이미지를 학습의 대상으로 결정하지 않을 수 있다. 반면, 상기 비교 결과가 기준치 미만(또는 이하)인 경우, 유사도 판단부(220)는 상기 쿼리 이미지들이 종래의 테스트 이미지들(또는 종래의 테스트 이미지들 중에서 일부)과 유사하지 않다고 판단하고, 상기 쿼리 이미지를 학습의 대상으로 결정할 수 있다.The similarity determining unit 220 may compare the characteristics of the conventional test images with the characteristics of the query images. When the comparison result is equal to or greater than (or exceeds) the reference value, the similarity determining unit 220 determines that the query images are similar to the conventional test images (or some of the conventional test images), and learns the query image. may not be determined as the target of On the other hand, if the comparison result is less than (or less than) the reference value, the similarity determining unit 220 determines that the query images are not similar to the conventional test images (or some of the conventional test images), and Images can be determined as objects of learning.

이미지의 특성은 이미지가 촬영된 환경마다 정의될 수 있다. 즉, 제1 환경에서 촬영된 제1 이미지들에 대하여 제1 특성이 정의되고, 제2 환경에서 촬영된 제2 이미지들에 대하여 제2 특성이 정의되고, 바닥을 배경으로 촬영된 제3 이미지들에 대하여 제3 특성이 정의될 수 있다.The characteristics of the image may be defined for each environment in which the image is captured. That is, a first characteristic is defined for first images photographed in a first environment, a second characteristic is defined for second images photographed in a second environment, and third images photographed with the floor as a background A third characteristic may be defined for .

이미지의 특성은 아래의 수학식 2와 같이 행렬의 형태로 표현될 수 있다.The characteristics of the image may be expressed in the form of a matrix as shown in Equation 2 below.

Figure pat00002
Figure pat00002

여기서, wi1은 i-번째(i는 자연수) 환경에서 촬영된 이미지들의 평균 세기(intensity)에 대한 정보이고, wi2는 i-번째 환경에서 촬영된 이미지들의 평균 색상(RGB)에 대한 정보이고, wi3은 i-번째 환경에서 촬영된 이미지들의 평균 선명도(sharpness)에 대한 정보일 수 있다.Here, wi1 is information on the average intensity of images photographed in the i-th environment (i is a natural number), wi2 is information on the average color (RGB) of images photographed in the i-th environment, and wi3 may be information on average sharpness of images captured in the i-th environment.

본 명세서에서는 이미지의 특성으로 이미지들의 평균 세기, 평균 색상 및 평균 선명도를 나타내었지만, 이에 한정되지 않는다. 즉, 이미지의 특성으로 다른 특성 정보들이 더 정의/계산될 수 있으며, 특성 정보의 개수에 따라 행렬의 열의 개수가 변경될 수 있다.In the present specification, average intensity, average color, and average sharpness of images are indicated as characteristics of images, but the present disclosure is not limited thereto. That is, other characteristic information may be further defined/calculated as the characteristic of the image, and the number of columns of the matrix may be changed according to the number of characteristic information.

종래의 테스트 이미지들의 특성은 아래의 수학식 3과 같은 행렬의 형태로 물체 인식 모델(200)에 기 저장되어 있을 수 있다.The characteristics of the conventional test images may be previously stored in the object recognition model 200 in the form of a matrix as shown in Equation 3 below.

Figure pat00003
Figure pat00003

여기서, 제1 행([w11 w12 w13])은 종래의 학습에 이용되었던 테스트 이미지들 중에서 제1 환경에서 촬영된 테스트 이미지들의 특성을 나타내고, 제2 행([w21 w22 w23])은 종래의 학습에 이용되었던 테스트 이미지들 중에서 제2 환경에서 촬영된 테스트 이미지들의 특성을 나타내고, i-번째 행(i는 자연수)([wi1 wi2 wi3])은 종래의 학습에 이용되었던 테스트 이미지들 중에서 i-번째 환경에서 촬영된 테스트 이미지들의 특성을 나타낼 수 있다.Here, the first row ([w11 w12 w13]) represents the characteristics of test images photographed in the first environment among test images used for conventional learning, and the second row ([w21 w22 w23]) shows the characteristics of the test images used for conventional learning. The i-th row (i is a natural number) ([wi1 wi2 wi3]) represents the characteristics of the test images taken in the second environment among the test images used for Characteristics of test images captured in an environment may be indicated.

유사도 판단부(220)는 아래의 수학식 4를 이용하여 테스트 이미지들과 기 정의된 클래스를 인식할 확률이 기준 값으로부터 소정의 오차 이내에 있다고 판단된 쿼리 이미지들의 유사도를 판단할 수 있다.The similarity determining unit 220 may determine the similarity between the test images and the query images determined that the probability of recognizing the predefined class is within a predetermined error from the reference value using Equation 4 below.

Figure pat00004
Figure pat00004

여기서, di는 i-번째 환경에서 촬영된 테스트 이미지들을 나타내고, dj는 유사도 판단의 대상이 되는 쿼리 이미지들을 나타내고, wik는 i-번째 환경에서 촬영된 테스트 이미지들의 k-번째 특성 값을 나타내고, wjk는 유사도 판단의 대상이 되는 쿼리 이미지들의 k-번째 특성 값을 나타내고, n은 기 정의된 특성의 총 개수를 나타낼 수 있다.Here, di denotes test images photographed in the i-th environment, dj denotes query images to be subjected to similarity determination, wik denotes the k-th characteristic value of test images photographed in the i-th environment, wjk may indicate a value of the k-th characteristic of the query images to be subjected to the similarity determination, and n may indicate the total number of predefined characteristics.

특정 환경에서 촬영된 쿼리 이미지들에 대한 유사도 판단은 각 환경마다 수행될 수 있다. 즉, 수학식 3에 의할 경우, 유사도 판단은 수학식 3의 각 행마다 수행될 수 있다.Determination of similarity with respect to query images captured in a specific environment may be performed for each environment. That is, according to Equation 3, the similarity determination may be performed for each row of Equation 3 .

쿼리 이미지들과 각각의 환경에서 촬영된 테스트 이미지들의 유사도가 모두 기 설정된 임계 값 이하(미만)인 경우, 유사도 판단부(220)는 쿼리 이미지들이 테스트 이미지들과 유사하지 않다고 판단하고, 상기 쿼리 이미지들을 학습의 대상으로 결정할 수 있다.When the similarity between the query images and the test images photographed in each environment is equal to or less than a preset threshold value, the similarity determining unit 220 determines that the query images are not similar to the test images, and the query image can be determined as subjects of learning.

반면, 쿼리 이미지들과 테스트 이미지들 중에서 하나 이상의 유사도가 모두 기 설정된 임계 값 초과(이상)인 경우, 유사도 판단부(220)는 테스트 이미지들 중에서 쿼리 이미지들과 유사한 이미지들이 있다고 판단하고, 상기 쿼리 이미지들을 학습의 대상으로 하지 않음을 결정할 수 있다.On the other hand, when the similarity of one or more of the query images and the test images exceeds (or greater than) a preset threshold, the similarity determining unit 220 determines that there are images similar to the query images among the test images, and It can be determined that images are not subject to learning.

물체 인식 모델(200)은 클래스 인식부(210) 및 유사도 판단부(220)를 이용하여 선택된 쿼리 이미지들을 이용하여 학습될 수 있다. 물체 인식 모델(200)은 선택된 쿼리 이미지에 포함된 클래스의 관심 영역을, 테스트 이미지에 포함된 클래스의 관심 영역을 이용하여 정규화(normalization)하고, 물체 인식 모델(200)은 정규화된 관심 영역이 설정된 쿼리 이미지를 입력받아 학습될 수 있다.The object recognition model 200 may be learned using the query images selected using the class recognizer 210 and the similarity determiner 220 . The object recognition model 200 normalizes the region of interest of the class included in the selected query image by using the region of interest of the class included in the test image, and the object recognition model 200 has the normalized region of interest set. It can be learned by inputting a query image.

도 3은 본 발명의 일 실시 예에 따라 물체 인식 모델을 학습시키는데 이용된 테스트 이미지들을 나타내고, 도 4는 본 발명의 일 실시 예에 따라 물체 인식 모델의 학습 대상으로 이용될 쿼리 이미지들을 결정하는 일 예시를 나타낸다.3 shows test images used to train an object recognition model according to an embodiment of the present invention, and FIG. 4 is a task of determining query images to be used as a learning target of the object recognition model according to an embodiment of the present invention show examples.

도 2, 도 3 및 도 4를 참조하면, 물체 인식 모델(200)은 테스트 이미지들을 이용하여 기 학습될 수 있다. 물체 인식 모델(200)이 충분히 학습되지 않은 경우(학습에 필요한 이미지가 충분히 입력되지 않은 경우), 물체 인식 모델(200)은 동작하는 과정에서 입력되는 쿼리 이미지들 중에 일부를 이용하여 학습될 수 있다. 물체 인식 모델(200)은 기 라벨링된 클래스가 낮은 확률로 인식된 쿼리 이미지들 중에서 종래의 학습에 이용되었던 테스트 이미지들과 유사하지 않은 쿼리 이미지들을 학습의 대상으로 결정할 수 있다.2, 3, and 4 , the object recognition model 200 may be pre-trained using test images. When the object recognition model 200 is not sufficiently trained (when an image required for learning is not sufficiently input), the object recognition model 200 may be trained using some of the query images input during operation. . The object recognition model 200 may determine, as a learning target, query images, which are not similar to test images used for conventional learning, among query images in which a previously labeled class is recognized with a low probability.

예컨대, 테스트 이미지들(w1, w2, w3)을 이용하여 기 학습된 물체 인식 모델(200)은 동작 과정에서 사용자 단말로부터 제1 쿼리 이미지(q1), 제2 쿼리 이미지(q2) 및 제3 쿼리 이미지(q3)들을 수신할 수 있다.For example, the pre-trained object recognition model 200 using the test images w1, w2, and w3 performs the first query image q1, the second query image q2, and the third query from the user terminal in the course of operation. Images q3 may be received.

클래스 인식부(210)가 제1 쿼리 이미지(q1), 제2 쿼리 이미지(q2) 및 제3 쿼리 이미지들(q3)에서 기 라벨링된 클래스(곰 캐릭터의 인형)를 인식할 수 있다.The class recognizer 210 may recognize a class (a bear character doll) previously labeled in the first query image q1 , the second query image q2 , and the third query images q3 .

다만, 클래스 인식부(210)가 제1 쿼리 이미지(q1), 제2 쿼리 이미지(q2) 및 제3 쿼리 이미지들(q3)에 포함된 기 라벨링된 클래스를 기준 값으로부터 소정의 오차 내의 확률로 인식할 수 있다고 결정한 경우, 유사도 판단부(220)는 제1 쿼리 이미지(q1), 제2 쿼리 이미지(q2) 및 제3 쿼리 이미지들(q3)이 테스트 이미지들(w1, w2, w3) 각각과 유사한지 여부를 판단할 수 있다.However, the class recognition unit 210 determines the previously labeled class included in the first query image q1, the second query image q2, and the third query images q3 with a probability within a predetermined error from the reference value. When it is determined that recognition is possible, the similarity determining unit 220 determines whether the first query image q1, the second query image q2, and the third query images q3 are the test images w1, w2, and w3, respectively. It can be determined whether it is similar to

이때, 유사도 판단부(220)는 제1 쿼리 이미지(q1) 및 제2 쿼리 이미지(q2)가 테스트 이미지들(w1, w2, w3) 중에서 적어도 하나와 유사하다고 판단하였기 때문에 제1 쿼리 이미지(q1) 및 제2 쿼리 이미지(q2)는 학습의 대상으로 선정되지 않지만, 유사도 판단부(220)는 제3 쿼리 이미지들(q3)이 테스트 이미지들(w1, w2, w3)과 유사하지 않다고 판단되기 때문에 제3 쿼리 이미지들(q3)은 학습의 대상으로 선정될 수 있다.In this case, since the similarity determining unit 220 determines that the first query image q1 and the second query image q2 are similar to at least one of the test images w1, w2, and w3, the first query image q1 ) and the second query image q2 are not selected as subjects for learning, but the similarity determining unit 220 determines that the third query images q3 are not similar to the test images w1, w2, and w3. Therefore, the third query images q3 may be selected as learning targets.

도 5는 물체 인식 모델을 학습시키는데 이용되는 쿼리 이미지를 결정하는 방법을 나타내는 흐름도이다.5 is a flowchart illustrating a method of determining a query image used to train an object recognition model.

도 2 및 도 5를 참조하면, 클래스 인식부(210)는 특정 환경에서 촬영된 쿼리 이미지들을 수신할 수 있다(S500).2 and 5 , the class recognizer 210 may receive query images captured in a specific environment ( S500 ).

클래스 인식부(210)는 상기 특정 환경에서 촬영된 쿼리 이미지들에서 기 라벨링된 클래스가 인식될 확률이 기 설정된 기준 값으로부터 소정의 오차 내에 있는지 여부에 따라 상기 특정 환경에 대한 쿼리 이미지들이 학습의 대상이 되는 이미지인지 여부를 결정할 수 있다(S510).The class recognition unit 210 determines whether the query images for the specific environment are subject to learning according to whether the probability of recognizing a pre-labeled class in the query images taken in the specific environment is within a predetermined error from a preset reference value. It may be determined whether or not the image becomes (S510).

상기 특정 환경에서 촬영된 쿼리 이미지들에서 기 라벨링된 클래스가 인식될 확률이 기 설정된 기준 값으로부터 소정의 오차 내에 있는 경우(S510의 '예'), 클래스 인식부(210)는 상기 특정 환경에서 촬영된 쿼리 이미지들을 1차적으로 학습의 대상이 되는 이미지로 선택할 수 있다. 반면, 상기 특정 환경에서 촬영된 쿼리 이미지들에서 기 라벨링된 클래스가 인식될 확률이 기 설정된 기준 값으로부터 소정의 오차 내에 있지 않는 경우(S510의 '아니오'), 클래스 인식부(210)는 상기 특정 환경에서 촬영된 쿼리 이미지들이 학습의 대상이 아닌 것으로 결정할 수 있다(S540).When the probability of recognizing a pre-labeled class in the query images captured in the specific environment is within a predetermined error from a preset reference value (YES in S510), the class recognition unit 210 is photographed in the specific environment The processed query images can be selected as images to be learned primarily. On the other hand, if the probability of recognizing a pre-labeled class in the query images taken in the specific environment is not within a predetermined error from a preset reference value (No in S510), the class recognition unit 210 determines the specific It may be determined that the query images captured in the environment are not the subject of learning ( S540 ).

유사도 판단부(220)는 클래스 인식부(210)가 선택한 쿼리 이미지들의 특성과 종래의 테스트 이미지들 각각의 특성을 비교하고, 비교 결과 클래스 인식부(210)가 선택한 쿼리 이미지들과 종래의 테스트 이미지들 각각의 유사도에 기초하여 상기 쿼리 이미지들이 학습의 대상이 되는 이미지인지를 최종적으로 결정할 수 있다(S520).The similarity determining unit 220 compares the characteristics of the query images selected by the class recognizer 210 with the characteristics of each of the conventional test images, and compares the query images selected by the class recognizer 210 with the conventional test image. It may be finally determined whether the query images are images to be learned on the basis of their respective similarities ( S520 ).

상기 쿼리 이미지들과 종래의 테스트 이미지들 각각의 유사도가 기 설정된 임계 값 이하인 경우(S520의 '예'), 유사도 판단부(220)는 상기 쿼리 이미지들을 학습의 대상이 되는 이미지로 결정할 수 있다(S530). 반면, 상기 쿼리 이미지들과 종래의 테스트 이미지들의 유사도가 기 설정된 임계 값 초과인 경우(S520의 '아니오'), 유사도 판단부(220)는 상기 쿼리 이미지들 학습의 대상이 아닌 것으로 결정할 수 있다(S540).When the similarity of each of the query images and the conventional test images is less than or equal to a preset threshold value (YES in S520), the similarity determining unit 220 may determine the query images as images to be learned ( S530). On the other hand, when the similarity between the query images and the conventional test images exceeds a preset threshold value (No in S520), the similarity determining unit 220 may determine that the query images are not subject to learning ( S540).

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block or Each step of the flowchart creates a means for performing the functions described. These computer program instructions may also be stored in a computer-usable or computer-readable memory which may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing the functions described in each block in the block diagram or in each step in the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that, in some alternative embodiments, it is possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

100: 물체 인식 장치
110: 프로세서
120: 송수신기
130: 메모리
200: 물체 인식 모델
210: 클래스 인식부
220: 유사도 판단부100: object recognition device
110: processor
120: transceiver
130: memory
200: object recognition model
210: class recognition unit
220: similarity determination unit

Claims (10)

물체 인식을 위한 학습 데이터를 선택하는 방법에 있어서,
사용자 단말로부터 특정 환경에서 촬영된 쿼리 이미지들을 수신하는 단계;
상기 쿼리 이미지들에서 기 라벨링된 클래스가 인식될 확률에 기초하여 상기 쿼리 이미지들에 유사도 판단을 수행할지 여부를 결정하는 단계; 및
상기 쿼리 이미지들에 유사도 판단을 수행하기로 결정된 경우, 상기 물체 인식 모델을 학습시키는데 이용된 테스트 이미지들과 상기 쿼리 이미지들 사이의 유사도에 기초하여, 상기 쿼리 이미지들을 상기 학습 데이터로 선택할지 여부를 결정하는 단계를 포함하는
물체 인식을 위한 학습 데이터를 선택하는 방법.A method of selecting learning data for object recognition, the method comprising:
Receiving query images taken in a specific environment from a user terminal;
determining whether to perform a similarity determination on the query images based on a probability that a previously labeled class is recognized in the query images; and
When it is decided to perform the similarity determination on the query images, based on the similarity between the query images and the test images used to train the object recognition model, whether to select the query images as the training data comprising determining
How to select training data for object recognition. 제1 항에 있어서,
상기 유사도 판단을 수행할지 여부를 결정하는 단계는,
상기 기 라벨링된 클래스가 인식될 확률과 기 설정된 기준 값의 차이에 기초하여 상기 쿼리 이미지들에 유사도 판단을 수행할지 여부를 결정하는
물체 인식을 위한 학습 데이터를 선택하는 방법.According to claim 1,
The step of determining whether to perform the similarity determination comprises:
Determining whether to perform similarity determination on the query images based on a difference between a probability that the previously labeled class is recognized and a preset reference value
How to select training data for object recognition. 제2 항에 있어서,
상기 유사도 판단을 수행할지 여부를 결정하는 단계는,
상기 기 라벨링된 클래스가 인식될 확률이 상기 기 설정된 기준 값으로부터 소정의 오차 범위 이내인 경우, 상기 쿼리 이미지들에 유사도 판단을 수행하고,
상기 기 라벨링된 클래스가 인식될 확률이 상기 기 설정된 기준 값으로부터 소정의 오차 범위 이내에 있지 않은 경우, 상기 쿼리 이미지들에 유사도 판단을 수행하지 않는
물체 인식을 위한 학습 데이터를 선택하는 방법.3. The method of claim 2,
The step of determining whether to perform the similarity determination comprises:
When the probability of recognizing the previously labeled class is within a predetermined error range from the preset reference value, a similarity determination is performed on the query images,
If the probability of recognizing the previously labeled class is not within a predetermined error range from the preset reference value, the similarity determination is not performed on the query images.
How to select training data for object recognition. 제1 항에 있어서,
상기 쿼리 이미지들을 상기 학습 데이터로 선택할지 여부를 결정하는 단계는,
상기 쿼리 이미지들의 특성과 상기 테스트 이미지들의 특성을 비교하는 단계; 및
비교 결과에 따라, 상기 테스트 이미지들과 상기 쿼리 이미지들 사이의 유사도를 결정하는 단계를 포함하는
물체 인식을 위한 학습 데이터를 선택하는 방법.According to claim 1,
The step of determining whether to select the query images as the training data,
comparing the properties of the query images with the properties of the test images; and
according to the comparison result, determining a similarity between the test images and the query images
How to select training data for object recognition. 제4 항에 있어서,
상기 쿼리 이미지들을 상기 학습 데이터로 선택할지 여부를 결정하는 단계는,
상기 쿼리 이미지들과 상기 테스트 이미지들의 유사도가 기 설정된 임계 값 이하이면, 상기 쿼리 이미지들을 상기 물체 인식 모델의 학습의 대상으로 결정하고,
상기 쿼리 이미지들과 상기 테스트 이미지들의 유사도가 상기 기 설정된 임계 값 초과인 경우, 상기 쿼리 이미지들을 상기 물체 인식 모델의 학습에 이용하지 않는
물체 인식을 위한 학습 데이터를 선택하는 방법.5. The method of claim 4,
The step of determining whether to select the query images as the training data,
If the similarity between the query images and the test images is less than or equal to a preset threshold, determining the query images as subjects for learning the object recognition model,
When the similarity between the query images and the test images exceeds the preset threshold, the query images are not used for learning the object recognition model.
How to select training data for object recognition. 제4 항에 있어서,
상기 특성은 이미지들의 평균 세기, 평균 색상 및 평균 선명도 중에서 적어도 하나를 포함하는
물체 인식을 위한 학습 데이터를 선택하는 방법.5. The method of claim 4,
wherein the characteristic includes at least one of an average intensity, an average color, and an average sharpness of the images.
How to select training data for object recognition. 물체 인식 모델을 이용하여 물체를 인식하는 물체 인식 장치에 있어서,
사용자 단말로부터 특정 환경에서 촬영된 쿼리 이미지들을 수신하는 송수신기;
상기 물체 인식 모델을 저장하는 메모리; 및
상기 송수신기 및 상기 메모리를 제어하는 프로세서를 포함하고,
상기 프로세서는,
상기 쿼리 이미지들에서 기 라벨링된 클래스가 인식될 확률에 기초하여 상기 쿼리 이미지들에 유사도 판단을 수행할지 여부를 결정하고,
상기 쿼리 이미지들에 유사도 판단을 수행하기로 결정된 경우, 상기 물체 인식 모델을 학습시키는데 이용된 테스트 이미지들과 상기 쿼리 이미지들 사이의 유사도에 기초하여, 상기 쿼리 이미지들을 상기 물체 인식 모델의 학습 데이터로 선택할지 여부를 결정하는
물체 인식 장치.An object recognition apparatus for recognizing an object using an object recognition model, comprising:
a transceiver for receiving query images taken in a specific environment from a user terminal;
a memory for storing the object recognition model; and
a processor for controlling the transceiver and the memory;
The processor is
Determining whether to perform similarity determination on the query images based on the probability that a previously labeled class is recognized in the query images,
When it is decided to perform similarity determination on the query images, based on the similarity between the query images and test images used to train the object recognition model, the query images are used as training data of the object recognition model. deciding whether to choose
object recognition device. 제7 항에 있어서,
상기 프로세서는,
상기 기 라벨링된 클래스가 인식될 확률과 기 설정된 기준 값의 차이에 기초하여 상기 쿼리 이미지들에 유사도 판단을 수행할지 여부를 결정하고,
상기 쿼리 이미지들의 특성과 상기 테스트 이미지들의 특성의 비교 결과에 기초하여 상기 테스트 이미지들과 상기 쿼리 이미지들 사이의 유사도를 결정하는
물체 인식 장치.8. The method of claim 7,
The processor is
Determining whether to perform similarity determination on the query images based on the difference between the probability that the previously labeled class is recognized and a preset reference value,
determining a similarity between the test images and the query images based on a result of comparing the characteristics of the query images and the characteristics of the test images
object recognition device. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
제1 항 내지 제6 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체.As a computer-readable recording medium storing a computer program,
The computer program is
A method comprising instructions for causing a processor to perform the method according to any one of claims 1 to 6
computer readable recording medium. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
제1 항 내지 제6 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램.As a computer program stored in a computer-readable recording medium,
The computer program is
A method comprising instructions for causing a processor to perform the method according to any one of claims 1 to 6
computer program.
KR1020200002265A 2020-01-07 2020-01-07 Method of selecting training data for object detection and object detection device for detecting object using object detection model trained using method KR20210089044A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200002265A KR20210089044A (en) 2020-01-07 2020-01-07 Method of selecting training data for object detection and object detection device for detecting object using object detection model trained using method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200002265A KR20210089044A (en) 2020-01-07 2020-01-07 Method of selecting training data for object detection and object detection device for detecting object using object detection model trained using method

Publications (1)

Publication Number Publication Date
KR20210089044A true KR20210089044A (en) 2021-07-15

Family

ID=76890745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200002265A KR20210089044A (en) 2020-01-07 2020-01-07 Method of selecting training data for object detection and object detection device for detecting object using object detection model trained using method

Country Status (1)

Country Link
KR (1) KR20210089044A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585921B1 (en) * 2022-04-22 2023-10-06 주식회사 앤트랩 Learning method for inventory management apparatus and inventory management method using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585921B1 (en) * 2022-04-22 2023-10-06 주식회사 앤트랩 Learning method for inventory management apparatus and inventory management method using the same

Similar Documents

Publication Publication Date Title
CN111444821B (en) Automatic identification method for urban road signs
CN108229267B (en) Object attribute detection, neural network training and region detection method and device
CN109478239B (en) Method for detecting object in image and object detection system
EP3654248A1 (en) Verification of classification decisions in convolutional neural networks
KR101834778B1 (en) Apparatus for recognizing traffic sign and method thereof
CN107622274B (en) Neural network training method and device for image processing and computer equipment
CN110633632A (en) Weak supervision combined target detection and semantic segmentation method based on loop guidance
US8452091B2 (en) Method and apparatus for converting skin color of image
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
US11132577B2 (en) System and a method for efficient image recognition
CN113095199B (en) High-speed pedestrian identification method and device
CN112861917A (en) Weak supervision target detection method based on image attribute learning
Barodi et al. An enhanced artificial intelligence-based approach applied to vehicular traffic signs detection and road safety enhancement
JP2007025902A (en) Image processor and image processing method
CN116872961B (en) Control system for intelligent driving vehicle
KR20210089044A (en) Method of selecting training data for object detection and object detection device for detecting object using object detection model trained using method
CN112766176A (en) Training method of lightweight convolutional neural network and face attribute recognition method
CN116994049A (en) Full-automatic flat knitting machine and method thereof
CN114943873B (en) Method and device for classifying abnormal behaviors of staff on construction site
KR20230166840A (en) Method for tracking object movement path based on artificial intelligence
Rao et al. Convolutional Neural Network Model for Traffic Sign Recognition
Roncancio et al. Ceiling analysis of pedestrian recognition pipeline for an autonomous car application
Sahay et al. Multi-Object Detection and Tracking Using Machine Learning
CN113505771B (en) Double-stage article detection method and device
CN116503406B (en) Hydraulic engineering information management system based on big data