KR20190056873A - Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object - Google Patents

Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object Download PDF

Info

Publication number
KR20190056873A
KR20190056873A KR1020170154240A KR20170154240A KR20190056873A KR 20190056873 A KR20190056873 A KR 20190056873A KR 1020170154240 A KR1020170154240 A KR 1020170154240A KR 20170154240 A KR20170154240 A KR 20170154240A KR 20190056873 A KR20190056873 A KR 20190056873A
Authority
KR
South Korea
Prior art keywords
object detection
image
images
learning
unit
Prior art date
Application number
KR1020170154240A
Other languages
Korean (ko)
Inventor
오만석
손인식
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170154240A priority Critical patent/KR20190056873A/en
Publication of KR20190056873A publication Critical patent/KR20190056873A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

Disclosed are an object detection apparatus using multiple neural networks, a method therefor, and an object detection learning method. In the apparatus, an object detection learning unit forms a plurality of neural networks respectively corresponding to a plurality of images input from the outside, in a manner of forming a corresponding neural network by performing object detection learning using one image. An object detection unit performs object detection using the plurality of neural networks formed by the object detection learning unit with respect to the image of an object to be detected. The object detection learning unit includes: an image modifying unit for modifying the one image into a plurality of types of images and outputting the modified images; a feature point extracting unit for extracting feature points for each of the plurality of types of images output by the image modifying unit; and a neural network unit for forming one neural network corresponding to the one image using the feature points for each of the plurality of types of images extracted by the feature point extracting unit. According to the present invention, consumption in time and resources can be reduced.

Description

다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법 {APPARATUS FOR DETECTING OBJECT USING MULTI NEURAL NETWORK AND METHOD THEREOF, AND METHOD FOR LEARNING DETECTION OF OBJECT}TECHNICAL FIELD [0001] The present invention relates to an object detection apparatus and method using multiple neural networks, and an object detection learning method. [0002]

본 발명은 다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting an object using multiple neural networks, and an object detection learning method.

최근 4세대 인공 지능(Artificial Intelligence, AI)의 대표 기법이면서 머신 러닝(machine learning)의 한 분야인 딥러닝(deep learning)이 대두되고 있다.Deep learning, which is a representative technique of artificial intelligence (AI) and machine learning, is emerging recently.

이러한 딥러닝은 기존 신경망(Neural Network, NN) 분석의 발전된 형태로써, 다층구조 형태의 신경망을 기반으로 하며, 다량의 데이터로부터 높은 수준의 추상화 모델을 구축하고자 하는 기법이다This deep learning is an advanced form of existing Neural Network (NN) analysis. It is based on neural network in the form of a multi-layer structure and is a technique to build a high level abstraction model from a large amount of data

이러한 딥러닝에서는 CNN(Convolutional Neural Network), R-CNN(Region with Convolutional Neural Network), LSTM((Long Short Term Memory) 방식의 신경망 등의 단일 망인 신경망을 활용하여 객체 검출을 수행한다. 특히 숏텀 메모리(Short Term)를 사용하는 신경망의 경우 다양한 형태의 영상을 사용하여 학습한 후 학습 결과를 사용하여 객체를 인식하는 객체 검출을 수행하지만 숏텀 메모리의 한계로 인해 오래전에 학습된 영상을 잃어버려서 결과적으로 객체 검출이 제대로 수행되지 않을 수 있다.In such a deep run, object detection is performed using a single network such as CNN (Convolutional Neural Network), R-CNN (Region with Convolutional Neural Network), and LSTM (Long Short Term Memory) neural network. (Short Term) is used to detect objects that recognize objects using learning results after learning using various types of images. However, due to the limitation of the short-term memory, Object detection may not be performed properly.

물론 숏텀 메모리의 단점을 해결하기 위해 LSTM 방식의 신경망이 사용될 수 있지만 이러한 LSTM 방식의 신경망에서도 사용되는 메모리가 무한으로 늘릴 수 없어서 이 또한 어느 정도의 양만을 수용할 수 있으므로 상기한 단점이 여전히 발생할 수 있다.Of course, LSTM neural network can be used to solve the disadvantage of the short memory. However, since the memory used in the LSTM neural network can not be infinitely increased, it can accommodate only a certain amount. have.

또한, 객체 검출을 위한 학습 모델 생성시 많은 수의 영상이 필요하다. 그러나, 최근의 모바일 등의 사용으로 인해 간단한 영상, 예를 들어 한 장의 영상만으로도 객체 검출이 가능하도록 하는 방법이 요구된다.Also, a large number of images are needed when generating a learning model for object detection. However, there is a need for a method for enabling object detection using a simple image, for example, a single image, due to the recent use of mobile devices and the like.

또한, 종래의 신경망을 사용한 객체 검출에서는 리소스가 변하거나 추가되는 경우 전체 망에 대한 재학습이 필요하므로 동적으로 변경되거나 추가가 빈번한 경우 잦은 재학습으로 인해 객체 검출 서비스에 영향을 미칠 수 있다는 문제가 발생된다. 예를 들어, 종래의 딥러닝에서는 기억하고자 하는 수를 미리 설정하면 설정된 수를 기준으로 학습을 수행하기 때문에 학습 후에 기억하고자 하는 수를 변경하는 경우 재학습을 수행해야 한다.In addition, in the object detection using the conventional neural network, when the resources are changed or added, re-learning is required for the entire network. Therefore, there is a problem that frequent re- . For example, in the conventional deep learning, if the number to be stored is set in advance, the learning is performed based on the set number, so re-learning should be performed when changing the number to be stored after learning.

따라서, 상기한 문제를 해결하기 위한 객체 검출 장치가 요구된다.Therefore, an object detecting apparatus for solving the above problem is required.

본 발명이 해결하고자 하는 과제는 리소스의 추가나 변경으로 인한 재학습이 필요하지 않은 다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법을 제공하는 것이다.The object of the present invention is to provide an object detection apparatus and method using multiple neural networks that do not require re-learning due to addition or change of resources, and object detection learning methods.

본 발명의 하나의 특징에 따른 객체 검출 장치는,An object detecting apparatus according to one aspect of the present invention includes:

하나의 영상을 사용하여 객체 검출 학습을 수행하여 대응되는 하나의 신경망을 형성하는 방식으로, 외부로부터 입력되는 복수의 영상에 각각 대응되는 복수의 신경망을 형성하는 객체 검출 학습부; 및 객체 검출 대상의 영상에 대해 상기 객체 검출 학습부에서 형성되는 복수의 신경망을 사용하여 객체 검출을 수행하는 객체 검출부를 포함한다.An object detection learning unit configured to form a plurality of neural networks respectively corresponding to a plurality of images input from the outside by performing object detection learning using one image to form a corresponding one neural network; And an object detection unit for performing object detection using a plurality of neural networks formed by the object detection learning unit with respect to the image of the object to be detected.

여기서, 상기 객체 검출 학습부에 의해 형성되는 복수의 신경망 각각에 대응되는 학습 모델을 대응되는 파일로서 저장하는 학습 모델 저장부를 더 포함한다.And a learning model storage unit for storing the learning models corresponding to the plurality of neural networks formed by the object detection learning unit as corresponding files.

또한, 상기 객체 검출 학습부는, 상기 하나의 영상을 복수 형태의 영상으로 변형하여 출력하는 영상 변형부; 상기 영상 변형부에 의해 출력되는 상기 복수 형태의 영상 각각에 대해 특징점을 추출하는 특징점 추출부; 및 상기 특징점 추출부에서 추출되는 상기 복수 형태의 영상 각각에 대한 특징점들을 사용하여 상기 하나의 영상에 대응되는 하나의 신경망을 형성하는 신경망부를 포함한다.The object detection learning unit may include an image transforming unit transforming the one image into a plurality of types of images and outputting the transformed image; A feature point extracting unit that extracts feature points for each of the plurality of types of images output by the image transforming unit; And a neural network unit for forming one neural network corresponding to the one image using the minutiae points of the plurality of types of images extracted by the minutiae point extracting unit.

또한, 상기 신경망부가 형성하는 신경망은 CNN(Convolutional Neural Network), R-CNN(Region with Convolutional Neural Network) 및 LSTM((Long Short Term Memory) 중 하나이다.Also, the neural network formed by the neural network is one of CNN (Convolutional Neural Network), R-CNN (Region with Convolutional Neural Network) and LSTM (Long Short Term Memory).

또한, 상기 객체 검출 학습부는, 새로 입력되는 영상에 대해 상기 복수의 신경망을 사용하여 객체 검출이 성공적으로 수행된 후, 상기 새로 입력되는 영상에 대한 객체 검출 학습을 수행하여 대응되는 신경망을 새로이 형성한다.Also, the object detection learning unit may perform object detection learning on the newly inputted image after the object detection is successfully performed using the plurality of neural networks for the newly input image, thereby newly forming a corresponding neural network .

또한, 상기 객체 검출부는, 상기 객체 검출 학습부에서 형성되는 복수의 신경망을 사용하여 상기 객체 검출 대상의 영상에 대해 각각 객체 검출을 수행하는 학습 모델별 객체 검출부; 및 상기 학습 모델별 객체 검출부에서 상기 복수의 신경망별로 수행된 객체 검출 결과를 사용하여 최종 객체 검출을 수행하는 결정 엔진을 포함한다.The object detection unit may include an object detection unit for each learning model for performing object detection on the object detection target image using a plurality of neural networks formed by the object detection learning unit; And a decision engine for performing a final object detection using an object detection result performed for each of the plurality of neural networks in the object detection unit for each learning model.

또한, 상기 복수의 신경망별로 수행된 객체 검출 결과는 검출된 객체 정보와 신뢰도(Confidence)를 포함하고, 상기 결정 엔진은 상기 복수의 신경망별로 검출된 객체 정보와 신뢰도를 사용하여 최종 객체 검출을 수행한다.In addition, the object detection result performed for each of the plurality of neural networks includes detected object information and confidence, and the decision engine performs a final object detection using the object information and the reliability detected for each of the plurality of neural networks .

본 발명의 다른 특징에 따른 객체 검출 학습 방법은,According to another aspect of the present invention,

외부로부터 입력되는 복수의 영상 중 하나의 영상을 복수 형태의 영상으로 변형하는 단계; 상기 복수 형태의 영상 각각에 대해 특징점을 추출하는 단계; 상기 복수 형태의 영상 각각에 대해 추출되는 특징점들을 사용하여 상기 하나의 영상에 대응되는 하나의 신경망을 형성하는 단계; 및 상기 복수의 영상 중에서 객체 검출 학습 처리되지 않은 영상에 대해 상기 변형하는 단계, 상기 추출하는 단계 및 상기 형성하는 단계를 수행하여 상기 복수의 영상 각각에 대응되는 복수의 신경망을 형성하는 단계를 포함한다.Transforming one of a plurality of images input from the outside into a plurality of types of images; Extracting feature points for each of the plurality of types of images; Forming one neural network corresponding to the one image using feature points extracted for each of the plurality of types of images; And forming the plurality of neural networks corresponding to each of the plurality of images by performing the deforming, extracting, and forming steps on an image not subjected to object detection learning processing among the plurality of images .

여기서, 상기 복수 형태의 영상에는 상기 하나의 영상이 포함된다.Here, the plurality of types of images include the one image.

또한, 상기 하나의 신경망을 형성하는 단계 후에, 형성되는 상기 하나의 신경망에 대응되는 학습 모델을 메모리에 대응되는 하나의 파일로서 저장하는 단계를 더 포함한다.The method may further include storing a learning model corresponding to the one neural network to be formed as one file corresponding to the memory after the forming the one neural network.

또한, 상기 복수의 신경망을 형성하는 단계 후에, 새로 입력되는 영상에 대해 상기 복수의 신경망을 사용하여 객체 검출이 성공적으로 수행된 후, 상기 새로 입력되는 영상에 대해 상기 변형하는 단계, 상기 추출하는 단계 및 상기 형성하는 단계를 수행하여 상기 새로 입력되는 영상에 대응되는 신경망을 추가로 형성하는 단계를 더 포함한다.In addition, after the step of forming the plurality of neural networks, after the object detection is successfully performed using the plurality of neural networks with respect to the newly input image, the deforming step, the extracting step And forming the neural network corresponding to the newly input image by performing the forming step.

또한, 상기 새로 입력되는 영상에 대응되는 신경망을 형성하는 단계는 상기 신경망을 형성하는 상기 복수의 영상이 미리 설정된 일정 개수에 도달한 후에 수행된다.In addition, the step of forming the neural network corresponding to the newly inputted image is performed after the plurality of images forming the neural network reach a preset predetermined number.

본 발명의 또 다른 특징에 따른 객체 검출 방법은,According to still another aspect of the present invention,

하나의 영상을 사용하여 객체 검출 학습을 수행하여 대응되는 하나의 신경망을 형성하는 방식으로, 외부로부터 입력되는 복수의 영상에 각각 대응되는 복수의 신경망을 형성하는 단계; 및 객체 검출 대상의 영상에 대해 상기 복수의 신경망을 사용하여 객체 검출을 수행하는 단계를 포함한다.Forming a plurality of neural networks each corresponding to a plurality of images input from the outside by performing object detection learning using one image to form a corresponding neural network; And performing object detection using the plurality of neural networks for an image of an object to be detected.

여기서, 상기 복수의 신경망을 형성하는 단계는, 상기 복수의 영상 중 하나의 영상을 복수 형태의 영상으로 변형하는 단계; 상기 복수 형태의 영상 각각에 대해 특징점을 추출하는 단계; 상기 복수 형태의 영상 각각에 대해 추출되는 특징점들을 사용하여 상기 하나의 영상에 대응되는 하나의 신경망을 형성하는 단계; 및 상기 복수의 영상 중에서 객체 검출 학습 처리되지 않은 영상에 대해 상기 변형하는 단계, 상기 추출하는 단계 및 상기 형성하는 단계를 수행하여 상기 복수의 영상 각각에 대응되는 복수의 신경망을 형성하는 단계를 포함한다.The forming of the plurality of neural networks may include transforming one of the plurality of images into a plurality of types of images; Extracting feature points for each of the plurality of types of images; Forming one neural network corresponding to the one image using feature points extracted for each of the plurality of types of images; And forming the plurality of neural networks corresponding to each of the plurality of images by performing the deforming, extracting, and forming steps on an image not subjected to object detection learning processing among the plurality of images .

또한, 상기 객체 검출을 수행하는 단계는, 상기 복수의 신경망을 사용하여 상기 객체 검출 대상의 영상에 대해 각각 객체 검출을 수행하는 단계; 및 상기 복수의 신경망별로 수행된 객체 검출 결과를 사용하여 최종 객체 검출을 수행하는 단계를 포함한다.The performing of the object detection may include performing object detection on the image of the object to be detected using the plurality of neural networks, And performing a final object detection using the object detection result performed for each of the plurality of neural networks.

또한, 상기 복수의 신경망별로 수행된 객체 검출 결과는 검출된 객체 정보와 신뢰도를 포함하고, 상기 최종 객체 검출을 수행하는 단계는, 상기 복수의 신경망별로 검출된 객체 정보와 신뢰도를 사용하여 최종 객체 검출을 수행한다.In addition, the object detection result performed for each of the plurality of neural networks includes detected object information and reliability, and performing the final object detection may include detecting the final object using the object information and the reliability detected for each of the plurality of neural networks, .

본 발명의 또 다른 특징에 따른 객체 검출 장치는,According to another aspect of the present invention,

입력 영상에 대해 신경망을 사용하여 객체를 검출하는 장치로서, 입력기, 메모리 및 프로세서를 포함하며, 상기 입력기는 객체 검출 학습 대상의 영상 또는 객체 검출 대상의 영상을 외부로부터 입력받고, 상기 메모리는 코드의 집합을 저장하도록 구성되며, 상기 코드는, 상기 입력기를 통해 상기 객체 검출 학습 대상의 복수의 영상을 입력받는 동작; 하나의 영상을 사용하여 객체 검출 학습을 수행하여 대응되는 하나의 신경망을 형성하는 방식으로, 상기 복수의 영상에 각각 대응되는 복수의 신경망을 형성하는 동작; 및 상기 입력기를 통해 입력되는 상기 객체 검출 대상의 영상에 대해 상기 복수의 신경망을 사용하여 객체 검출을 수행하는 동작을 실행하도록 상기 프로세서를 제어하는 데 사용된다.An apparatus for detecting an object using a neural network for an input image, the apparatus comprising an input unit, a memory, and a processor, wherein the input unit receives an image of an object detection object to be detected or an object to be detected from an external source, The code being configured to receive a plurality of images of the object detection learning object through the input unit; Forming a plurality of neural networks respectively corresponding to the plurality of images by performing object detection learning using one image to form a corresponding neural network; And to perform the object detection using the plurality of neural networks with respect to the image of the object to be detected input through the input device.

여기서, 상기 복수의 신경망을 형성하는 동작은, 상기 복수의 영상 중 하나의 영상을 복수 형태의 영상으로 변형하는 동작; 상기 복수 형태의 영상 각각에 대해 특징점을 추출하는 동작; 상기 복수 형태의 영상 각각에 대해 추출되는 특징점들을 사용하여 상기 하나의 영상에 대응되는 하나의 신경망을 형성하는 동작; 및 상기 복수의 영상 중에서 객체 검출 학습 처리되지 않은 영상에 대해 상기 변형하는 동작, 상기 추출하는 동작 및 상기 형성하는 동작을 수행하여 상기 복수의 영상 각각에 대응되는 복수의 신경망을 형성하는 동작을 포함한다.Here, the operation of forming the plurality of neural networks may include an operation of transforming one of the plurality of images into a plurality of types of images; Extracting feature points for each of the plurality of types of images; Forming one neural network corresponding to the one image using feature points extracted for each of the plurality of types of images; And an operation of performing the deforming operation, the extracting operation and the forming operation on an image not subjected to object detection learning processing among the plurality of images to form a plurality of neural networks corresponding to each of the plurality of images .

또한, 영상을 출력하는 출력기를 더 포함하고, 상기 프로세서는, 상기 복수의 신경망에 해당하는 학습 모델을 대응되는 복수의 파일로서 상기 메모리에 저장하는 동작; 및 상기 출력기를 통해 상기 객체 검출의 결과를 출력하는 동작을 더 실행한다.Further comprising an output device for outputting an image, wherein the processor stores the learning model corresponding to the plurality of neural networks as a plurality of corresponding files in the memory; And outputting the result of the object detection through the output device.

본 발명의 실시예에 따르면, 한 장의 영상별로 하나의 신경망을 형성하는 방식으로 복수의 영상 각각에 대응되어 복수의 신경망을 형성할 수 있으며, 이렇게 형성된 복수의 신경망을 각각 파일로서 저장할 수 있다.According to an embodiment of the present invention, a plurality of neural networks can be formed corresponding to each of a plurality of images by forming one neural network for each image, and the plurality of neural networks thus formed can be stored as files.

따라서, 많은 수의 영상일지라도 대응되는 파일로서 저장될 수 있으므로 오래된 영상에 대해서도 이전의 기억을 보존할 수 있어서 보다 정확한 객체 검출이 수행될 수 있다.Therefore, even a large number of images can be stored as a corresponding file, so that the previous memory can be preserved even for old images, so that more accurate object detection can be performed.

또한, 학습 대상의 영상이 추가되거나 변경되더라도 추가되거나 변경되는 영상에 대해서만 별개로 학습을 수행하여 신경망을 형성할 수 있으므로 리소스 추가나 변경으로 인한 전체 망의 재학습이 수행될 필요가 없으므로 시간이나 자원 등에서의 소모가 줄어든다.In addition, since the neural network can be formed by separately learning only images that are added or changed even if images to be learned are added or changed, it is not necessary to re-learn the entire network due to resource addition or change, Of consumption.

나아가, 시계열 영상에 대해 기존에는 전체 영상에 대한 학습을 수행해야만 하지만, 본 발명에 따르면 시계열 영상에서 특정 구간(윈도우)의 영상만을 사용하여 대응되는 신경망을 형성할 수 있다.In addition, although the learning of the entire image has to be performed for the time series image, according to the present invention, it is possible to form the corresponding neural network using only the image of the specific section (window) in the time series image.

도 1은 본 발명의 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 2는 도 1에 도시된 객체 검출 학습부의 구체적인 구성을 도시한 도면이다.
도 3은 도 2에 도시된 신경망부가 형성하는 신경망 중 CNN의 예를 도시한 도면이다.
도 4는 도 1에 도시된 객체 검출 학습부의 동작 예를 도시한 도면이다.
도 5는 도 1에 도시된 객체 검출 학습부가 시계열 프레임 입력 영상을 사용하여 다중 신경망을 형성하는 예를 도시한 도면이다.
도 6은 도 1에 도시된 객체 검출부의 구체적인 구성을 도시한 도면이다.
도 7은 도 6에 도시된 객체 검출부의 구체적인 예를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 객체 검출 학습 방법의 개략적인 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 객체 검출 학습 방법의 개략적인 흐름도이다.
도 10은 본 발명의 실시예에 따른 객체 검출 방법의 개략적인 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 객체 검출 장치의 개략적인 구성 블록도이다.1 is a schematic configuration diagram of an object detecting apparatus according to an embodiment of the present invention.
2 is a diagram showing a specific configuration of the object detection learning unit shown in FIG.
3 is a diagram showing an example of CNN among neural networks formed by the neural network shown in FIG.
4 is a diagram showing an example of the operation of the object detection learning unit shown in FIG.
FIG. 5 is a diagram illustrating an example in which the object detection learning unit shown in FIG. 1 forms a multiple neural network using a time series frame input image.
6 is a diagram illustrating a specific configuration of the object detection unit shown in FIG.
FIG. 7 is a view showing a specific example of the object detecting unit shown in FIG.
8 is a schematic flowchart of an object detection learning method according to an embodiment of the present invention.
9 is a schematic flowchart of an object detection learning method according to another embodiment of the present invention.
10 is a schematic flowchart of an object detection method according to an embodiment of the present invention.
11 is a schematic block diagram of an object detecting apparatus according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly explain the present invention, parts not related to the description are omitted, and like parts are denoted by similar reference numerals throughout the specification

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when an element is referred to as " comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Also, the terms " part, " " module, " and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

이하, 도면을 참고하여 본 발명의 실시예에 따른 객체 검출 장치에 대해 설명한다.Hereinafter, an object detecting apparatus according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.1 is a schematic configuration diagram of an object detecting apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 객체 검출 장치(100)는 입력부(110), 객체 검출 학습부(120), 학습 모델 저장부(130), 객체 검출부(140) 및 출력부(150)를 포함한다.1, an object detection apparatus 100 according to an embodiment of the present invention includes an input unit 110, an object detection learning unit 120, a learning model storage unit 130, an object detection unit 140, (150).

입력부(110)는 CCTV(closed circuit television), 카메라, 기타 영상 센서 등을 통해 입력되는 영상, 구체적으로는 영상 데이터를 수신한다. 선택적으로, 입력부(110)는 사용자에 의해 직접 입력되는 영상을 입력받을 수 있다. 또한, 입력부(110)를 통해 입력되는 영상은 하나의 영상 또는 다수의 영상일 수 있다. 또한, 입력되는 영상은 매우 빠른 속도, 예를 들어 1초에 30프레임에 해당하는 영상을 입력받을 수 있다. 따라서, 상기한 하나의 영상은 한 프레임의 영상일 수 있다.The input unit 110 receives an image, specifically, image data input through a closed circuit television (CCTV), a camera, or other image sensor. Alternatively, the input unit 110 may receive an image directly input by a user. Also, the image input through the input unit 110 may be one image or a plurality of images. Also, the input image can be input at a very high speed, for example, 30 frames per second. Accordingly, the one image may be one frame image.

객체 검출 학습부(120)는 입력부(110)를 통해 입력되는 영상 중 하나의 영상을 사용하여 객체 검출을 위한 학습을 수행하여 학습 결과에 대응되는 하나의 신경망을 형성한다. 이렇게 형성되는 하나의 영상에 대응되는 하나의 신경망은 하나의 학습 모델로서 생성되며, 구체적으로는 컴퓨터에서 판독 가능한 하나의 파일로 생성될 수 있다. 여기서, 신경망은 CNN, R-CNN, LSTM 등 중 하나일 수 있다. 특히, 하나의 영상별로 하나의 신경망이 형성되므로 저장 공간을 위해 숏텀 메모리를 사용하는 신경망이 더 적합할 수 있다.The object detection learning unit 120 performs learning for object detection using one of the images input through the input unit 110 to form one neural network corresponding to the learning result. One neural network corresponding to one image thus formed is generated as one learning model, and specifically, it can be generated as one file readable by a computer. Here, the neural network may be one of CNN, R-CNN, LSTM, and the like. In particular, since one neural network is formed for each image, a neural network using a short memory for storage space may be more suitable.

따라서, 객체 검출 학습부(120)는 입력부(110)를 통해 입력되는 복수의 영상 각각에 대해, 각각의 영상을 별개로 사용하여 학습을 수행하여 각각 사용되는 하나의 영상에 대응되는 복수의 신경망을 형성할 수 있다. 이렇게 형성되는 복수의 영상에 각각 대응되는 복수의 신경망이 복수의 학습 모델로서 각각 파일로서 생성된다.Therefore, the object detection learning unit 120 performs learning using each image separately for each of a plurality of images input through the input unit 110, and detects a plurality of neural networks corresponding to one image to be used . A plurality of neural networks respectively corresponding to the plurality of images thus formed are generated as files as a plurality of learning models.

또한, 객체 검출 학습부(120)는 입력부(110)를 통해 새로운 영상이 추가로 입력되는 경우, 추가 영상에 대해 또한 학습을 수행하여 추가 영상에 대응되는 신경망을 형성할 수 있다. In addition, when a new image is additionally input through the input unit 110, the object detection learning unit 120 may further perform learning on the additional image to form a neural network corresponding to the additional image.

학습 모델 저장부(130)는 객체 검출 학습부(120)에 의해 하나의 영상별로 학습된 각 신경망에 대응되는 학습 모델을 파일로서 저장한다. 따라서, 객체 검출 학습부(120)를 통해 복수의 영상이 입력되는 경우 학습 모델 저장부(130)에는 입력되는 영상별로 각각 대응되는 학습 모델이 저장된다.The learning model storage unit 130 stores a learning model corresponding to each neural network learned for each image by the object detection learning unit 120 as a file. Accordingly, when a plurality of images are input through the object detection learning unit 120, the learning model storage unit 130 stores a learning model corresponding to each of the input images.

객체 검출부(140)는 입력부(110)를 통해 입력되는 영상에 대해 학습 모델 저장부(130)에 저장된 복수의 학습 모델을 사용하여 객체 검출을 수행한다. 구체적으로, 객체 검출부(140)는 입력부(110)를 통해 입력되는 영상에 대해 객체 검출 학습부(120)에 의해 학습된 복수의 신경망, 즉 다중 신경망을 사용하고, 다중 신경망으로부터의 검출 결과를 종합하여 최종 객체 검출 결과를 결정할 수 있다.The object detection unit 140 performs object detection using a plurality of learning models stored in the learning model storage unit 130 for an image input through the input unit 110. [ Specifically, the object detection unit 140 uses a plurality of neural networks learned by the object detection learning unit 120, that is, multiple neural networks, for the image input through the input unit 110, Thereby determining the final object detection result.

출력부(150)는 객체 검출부(140)에 의해 결정되는 최종 객체 검출 결과를 출력한다. 구체적으로, 출력부(150)는 디스플레이, 스피커 등을 통해 최종 객체 검출 결과를 외부로 표시할 수 있다. 여기서, 디스플레이는 LED(Light Emitting Diode) 디스플레이, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 디스플레이 등을 포함한다.The output unit 150 outputs the final object detection result determined by the object detection unit 140. Specifically, the output unit 150 may externally display the final object detection result through a display, a speaker, or the like. Here, the display includes a light emitting diode (LED) display, a liquid crystal display (LCD), an organic light emitting diode (OLED) display, and the like.

이와 같이, 본 발명의 실시예에서는 객체 검출 학습부(120)가 하나의 영상별로 하나의 신경망을 형성함으로써, 이미 입력되어 학습이 수행된 영상 외에 추가 영상이 입력되더라도 이미 입력된 영상에 의해 학습된 신경망에 대해 추가 영상을 추가하여 재학습을 수행하지 않고, 추가된 영상에 대해서만 학습을 수행하여 대응되는 신경망을 형성함으로써 영상 추가 등과 같이 리소스가 변경되거나 추가되는 경우에도 전체 망에 대한 재학습이 필요하지 않게 된다.As described above, in the embodiment of the present invention, the object detection learning unit 120 forms one neural network for each image, so that even if an additional image is inputted in addition to the image already input and learned, It is necessary to re-learn the entire network even if the resources are changed or added such as image addition by forming the corresponding neural network by performing learning only on the added image without adding the additional image to the neural network to perform re-learning. .

한편, 추가 영상은 이미 학습된 영상과 동일 객체에 대해 추가되는 영상으로서, 카메라 등에 의해 동일 객체에 대해 짧은 시간동안 많은 수의 영상이 입력되므로 일정 수의 영상 입력에 대해서는 동일 객체 여부를 판단하지 않고 대응되는 신경망을 형성할 수 있다.On the other hand, since the additional image is an image added to the same object as the already-learned image, a large number of images are input to the same object for a short time by a camera or the like. Therefore, The corresponding neural network can be formed.

선택적으로, 일정 수의 영상이 입력되어 다중 신경망이 형성된 경우에는 그 후에 입력되는 영상에 대해서는 이미 형성된 다중 신경망을 통해 동일 객체임이 검출된 후에만 해당 객체에 대응되는 학습을 수행하여 신경망을 추가로 형성할 수 있다.Alternatively, when a certain number of images are input and multiple neural networks are formed, only a corresponding object is detected through the already formed multiple neural networks with respect to the input image, and learning corresponding to the object is performed to further form a neural network can do.

도 2는 도 1에 도시된 객체 검출 학습부(120)의 구체적인 구성을 도시한 도면이다.2 is a diagram showing a specific configuration of the object detection learning unit 120 shown in FIG.

도 2에 도시된 바와 같이, 객체 검출 학습부(120)는 영상 변형부(121), 특징점 추출부(122) 및 신경망부(123)를 포함한다.2, the object detection learning unit 120 includes an image transforming unit 121, a feature point extracting unit 122, and a neural network unit 123. As shown in FIG.

영상 변형부(121)는 입력부(110)로부터 입력되는 하나의 영상을 복수 형태의 영상으로 변형하여 출력한다. 이 때, 영상 변형부(121)로 입력되는 원본 영상도 출력 영상 중 하나에 포함된다. 예를 들어, 영상 변형부(121)는 입력되는 하나의 영상, 즉 한 장의 얼굴 영상에 대해 조명을 변화시키거나 조명되는 얼굴 방향을 변경하는 등의 영상 변형을 수행하여 입력 영상에 대응되는 복수의 변형된 영상을 출력할 수 있다. 이를 위해 영상 변형부(121)는 영상 변형을 수행하는 기능을 갖는 특정 알고리즘을 사용할 수 있다. 구체적으로, 영상 변형부(121)는 외부에서 제공되는 알고리즘, 예를 들어 IBM사의 인공지능 기술인 왓슨(Watson)이나 구글사의 텐서플로우(TesnorFlow)에서 제공하는 영상 변환 알고리즘을 사용하여 한 장의 입력 영상에 대해 영상 변형을 수행하여 복수의 변형된 영상으로 출력할 수 있다. 이외에도, 영상 변형부(121)는 이미 잘 알려져 있는 공지의 영상 변형 알고리즘을 사용하여 상기한 바와 같은 영상 변형을 수행할 수 있다.The image transforming unit 121 transforms a single image input from the input unit 110 into a plurality of images. At this time, the original image input to the image transforming unit 121 is included in one of the output images. For example, the image transforming unit 121 transforms an input image, i.e., a single face image by changing the illumination or changing the direction of the illuminated face, thereby generating a plurality of It is possible to output a deformed image. For this, the image transforming unit 121 may use a specific algorithm having a function of transforming the image. More specifically, the image transforming unit 121 transforms the transformed image into a single input image using an algorithm provided from the outside, for example, an image transformation algorithm provided by Watson or Google's TesnorFlow, It is possible to output a plurality of modified images by performing image transformation on the image. In addition, the image transforming unit 121 may perform image transformation as described above by using a well-known image transformation algorithm.

특징점 추출부(122)는 영상 변형부(121)에서 출력되는 복수의 영상 각각에 대해 특징점들을 추출한다. 예를 들어, 특징점 추출부(122)는 영상 변형부(121)에서 출력되는 복수의 영상별로 각각 50여개의 특징점들을 추출할 수 있다. 본 발명의 실시예에서는 얼굴 윤곽, 눈썹 등에서 점들을 뽑아내고 뽑아낸 점들의 모음을 특징점으로 칭한다. 최초의 학습 데이터의 학습을 위해서는 수작업으로 영상에 점들을 찍어서 데이터를 확보하지만, 이후에는 원본 영상과 특징점들을 한 세트로 구성하여 학습 데이터를 만들고 이를 딥러닝(deep learning)(예를 들어 CNN)으로 학습하는 방식으로 영상에서 특징점을 추출할 수 있다. The feature point extracting unit 122 extracts feature points for each of a plurality of images output from the image transforming unit 121. For example, the feature point extracting unit 122 may extract about 50 feature points for each of a plurality of images output from the image transforming unit 121. For example, In the embodiment of the present invention, a set of points extracted from a face contour, an eyebrow, and the like is referred to as a feature point. In order to learn the first learning data, it is necessary to capture the data by manually drawing the points on the image. After that, a set of the original image and the minutiae are formed as a set of learning data, and then the learning data is deep-learned (for example, CNN) Feature points can be extracted from the image in a learning manner.

신경망부(123)는 특징점 추출부(122)에서 추출된 영상별 특징점들을 사용하여 하나의 신경망을 형성한다. 이렇게 형성되는 신경망으로는 상기한 바와 같이, CNN, R-CNN, LSTM 등이 될 수 있다. 도 3을 참조하여 CNN을 예로 들면, 합성곱 계층(Convolutional Layer)(1231), 완전 연결 계층(Fully Connected Layer)(1232) 및 분류 계층(1233)로 이루어진다.The neural network unit 123 forms one neural network using the minutiae of each image extracted from the minutiae point extracting unit 122. [ CNN, R-CNN, LSTM, and the like may be used as the neural network. Referring to FIG. 3, the CNN includes, for example, a convolutional layer 1231, a fully connected layer 1232, and a classification hierarchy 1233.

합성곱 계층(1231)은 입력 영상으로부터 특징을 추출하는 역할을 수행한다. 이를 위해, 합성곱 계층은 합성곱(convolution), 활성 함수(ReLU) 및 풀링(Pooling)으로 구성된다.The convolution product layer 1231 extracts features from the input image. To this end, the composite product layer consists of a convolution, an activation function (ReLU) and a pooling.

완전 연결 계층(1232)과 분류 계층(1233)은 합성곱 계층(1231)에서 추출되는 특징 값을 사용하여 분류를 수행한다. The complete link layer 1232 and the classification layer 1233 perform classification using the feature values extracted from the convolution layer 1231.

분류 계층(1233)에서는 Softmax 함수가 사용되며, 이러한 Softmax 함수는 전술한 ReLu와 같은 활성 함수의 일종이다.In the classification hierarchy 1233, a Softmax function is used, and this Softmax function is a kind of an activation function such as ReLu described above.

완전 연결 계층(1232)과 분류 계층(1233)으로 구성되는 신경망 부분은 CNN 이전의 기존의 신경망으로 이전 계층의 모든 뉴런과 결합되어 있는 형태를 말한다.The neural network part composed of the complete connection layer 1232 and the classification layer 1233 is a conventional neural network before CNN and is a form in which all the neurons in the previous layer are combined with each other.

상기한 CNN에 대해서는 이미 잘 알려져 있으므로 보다 구체적인 내용에 대해서는 생략한다.The above-mentioned CNN is already well known, so detailed description will be omitted.

한편, 객체 검출 학습부(120)는 입력부(110)로부터 짧은 시간안에 복수의 영상이 입력되는 경우 하나의 영상에 대응하는 객체 검출 학습을 수행하여 대응되는 신경망 학습 모델을 생성하여 학습 모델 저장부(130)에 저장하는 시간 동안 다른 입력 영상을 저장하는 버퍼(도시하지 않음)를 더 포함할 수 있다.Meanwhile, when a plurality of images are input from the input unit 110 in a short time, the object detection learning unit 120 performs object detection learning corresponding to one image to generate a corresponding neural network learning model, (Not shown) for storing another input image for a period of time to store the input image.

이하, 도 4를 참조하여 상기한 객체 검출 학습부(120)의 동작 예에 대해 설명한다.Hereinafter, an operation example of the object detection learning unit 120 will be described with reference to FIG.

도 4를 참조하면, 영상(201)이 입력부(110)로부터 출력되어 객체 검출 학습부(120)로 입력되는 하나의 영상을 나타낸다.Referring to FIG. 4, an image 201 is output from the input unit 110 and input to the object detection learning unit 120.

입력되는 하나의 영상(201)은 영상 변형부(121)에 의해 복수의 영상, 도 4의 예에서는 5개 이상의 복수 영상(202)으로 변형되어 출력된다. 출력되는 5개 이상의 영상 중에는 입력 영상(201)과 동일한 영상이 포함되어 있음을 알 수 있다. One input image 201 is transformed into a plurality of images by the image transforming unit 121 and more than five images 202 in the example of FIG. It can be seen that the same image as the input image 201 is included in five or more output images.

출력되는 5개의 영상별로 특징점 추출부(122)에 의해 각각 특징점이 추출된다. 영상(203)은 특징점 추출부(122)에 의해 특징점이 추출된 영상을 나타낸다.The feature points are extracted by the feature point extracting unit 122 for each of the outputted images. The image 203 represents the image from which the minutiae are extracted by the minutiae extracting unit 122. [

만약 영상 변형부(121)에서 하나의 입력 영상(201)에 대해 예를 들어 4개의 영상으로 변형하여 총 5개의 영상을 출력하고, 특징점 추출부(122)가 5개의 영상 각각에 대해 50개의 특징점들을 추출하는 경우 총 250개의 특징점들이 추출된다.If the image transforming unit 121 transforms one input image 201 into four images to output a total of five images and the feature point extracting unit 122 extracts 50 feature points A total of 250 feature points are extracted.

그리고, 특징점 추출부(122)에 의해 추출된 특징점들의 데이터가 신경망부(213)로 입력되어 학습을 통해 결과적으로 하나의 입력 영상(201)에 대응되는 하나의 신경망, 예를 들어 하나의 CNN이 형성된다. 여기서, 신경망(213)에 의해 출력되는 신뢰도(Confidence)는 신경망(213)의 학습 결과에 따른 객체 검출의 신뢰도를 나타낸다.The data of the minutiae points extracted by the minutiae point extracting unit 122 are input to the neural network unit 213, and as a result, one neural network corresponding to one input image 201, for example, one CNN . Here, the confidence that is output by the neural network 213 indicates the reliability of object detection according to the learning result of the neural network 213. [

그리고, 상기와 같이 형성된 하나의 영상에 대응되는 하나의 신경망은 하나의 파일인 학습 모델로서 학습 모델 저장부(130)에 저장된다.One neural network corresponding to one image formed as described above is stored in the learning model storage unit 130 as a learning model which is one file.

따라서, 입력부(110)로부터 복수의 영상이 시계열적으로 하나씩 객체 검출 학습부(120)로 입력되고, 객체 검출 학습부(120)는 하나씩 입력되는 영상별로 객체 검출 학습을 수행하여 형성되는 신경망을 학습 모델 저장부(130)에 저장할 수 있다. 예를 들어, 도 4에서는 하나의 영상에 대해 객체 검출 학습을 수행하여 하나의 신경망을 형성하는 내용이 도시되어 있으며, 도 5를 참조하면 T0 프레임(frame), T1 프레임, T2 프레임, T3 프레임 순으로 시계열적으로 영상(301, 302, 303, 304)이 입력되면, 객체 검출 학습부(120)는 각 프레임별 영상(301, 302, 303, 304)에 대해 도 4에 도시된 바와 같은 객체 검출 학습을 각각 수행하여 대응되는 신경망을 형성할 수 있다.Accordingly, a plurality of images are input to the object detection learning unit 120 one by one in a time-series manner from the input unit 110, and the object detection learning unit 120 learns a neural network formed by performing object detection learning on a per- And may be stored in the model storage unit 130. For example, in FIG. 4, one neural network is formed by performing object detection learning on one image. Referring to FIG. 5, a T0 frame, a T1 frame, a T2 frame, and a T3 frame The object detection learning unit 120 performs object detection as shown in FIG. 4 for each of the images 301, 302, 303, and 304 for each frame when the images 301, 302, 303, and 304 are input in a time- Learning can be respectively performed to form a corresponding neural network.

이와 같이, 학습 모델 저장부(130)에는 입력부(110)로부터 객체 검출 학습부(120)로 입력된 영상의 개수에 해당하는 개수의 신경망에 대응되는 학습 모델의 파일이 저장된다. 이 때, 입력부(110)에서 객체 검출 학습부(120)로 입력되는 모든 영상에 대해 대응되는 신경망을 형성하지 않을 수도 있다. 예를 들어, 입력부(110)에서 짧은 시간 동안 많은 수의 영상이 입력되는 경우 동일 객체에 대응되는 영상으로서 각 영상간 변화가 거의 없는 영상일 가능성이 있다. 따라서, 입력 영상간의 변화율이 임계값보다 커서 영상간의 변화가 큰 경우에 해당하는 영상에 대해서만 객체 검출 학습을 수행하여 대응되는 신경망을 형성할 수도 있다.As described above, the learning model storage unit 130 stores learning model files corresponding to the number of neural networks corresponding to the number of images input from the input unit 110 to the object detection learning unit 120. [ At this time, the input unit 110 may not form a corresponding neural network with respect to all the images input to the object detection learning unit 120. For example, when a large number of images are input in the input unit 110 for a short time, there is a possibility that the images corresponding to the same object have substantially no change between images. Accordingly, when the rate of change between input images is larger than a threshold value and the change between the images is large, object detection learning is performed only for the corresponding image, thereby forming a corresponding neural network.

도 6은 도 1에 도시된 객체 검출부(140)의 구체적인 구성을 도시한 도면이다.FIG. 6 is a diagram showing a specific configuration of the object detecting unit 140 shown in FIG.

도 6에 도시된 바와 같이, 객체 검출부(140)는 대상 영상 저장부(141), 학습 모델별 객체 검출부(142) 및 결정 엔진(143)을 포함한다.6, the object detection unit 140 includes a target image storage unit 141, an object detection unit 142 for each learning model, and a determination engine 143. [

대상 영상 저장부(141)는 입력부(110)를 통해 입력되는 검출 대상의 객체 영상을 대상 영상으로 저장한다.The object image storage unit 141 stores the object image to be detected, which is input through the input unit 110, as a target image.

학습 모델별 객체 검출부(142)는 대상 영상 저장부(141)에 저장된 대상 영상에 대해 학습 모델 저장부(130)에 저장된 복수의 학습 모델을 사용하여 대상 영상에 대응되는 객체 검출을 수행한다. The object detection unit 142 for each learning model performs object detection corresponding to a target image using a plurality of learning models stored in the learning model storage unit 130 for a target image stored in the target image storage unit 141. [

결정 엔진(143)은 학습 모델별 객체 검출부(142)에서 복수의 학습 모델별로 각각 수행된 객체 검출 결과를 사용하여 최종 객체 검출 결과를 결정하여 출력부(150)로 전달한다. 여기서, 결정 엔진(143)은 의사 결정 규칙과 그 결과들을 트리 구조로 도식화한 의사 결정 지원 도구의 일종인 결정 트리(Decision Tree)를 사용하여 복수의 학습 모델별로 각각 수행된 객체 검출 결과에 따른 최종 객체 검출 결과를 결정할 수 있다. 구체적으로, 객체 검출부(140)의 구성 예를 도시한 도 7을 참조하면, 학습 모델별 객체 검출부(142)에서 복수의 학습 모델(131, 132, 133)을 사용하여 대상 영상에 대응되는 객체 검출을 수행한 후에 출력되는 객체 검출 결과는 검출된 객체 정보와 신뢰도(Confidence)이다. 이 때, 객체가 검출되지 않은 경우도 있을 수 있고, 이 때의 신뢰도는 미리 설정된 임계값보다 낮을 것이다. 반대로, 신뢰도가 미리 설정된 임계값 이상인 경우에는 객체가 검출되었고 검출된 객체를 나타내는 정보가 검출된 객체 정보로서 설정되어 출력된다.The decision engine 143 determines the final object detection result using the object detection results performed for each of the plurality of learning models in the object detection unit 142 for each learning model and delivers the final object detection result to the output unit 150. Here, the decision engine 143 uses a decision tree, which is a kind of decision support tool that shows decision rules and their results in a tree structure, The object detection result can be determined. 7 showing an example of the configuration of the object detection unit 140, an object detection unit 142 for each learning model detects an object corresponding to a target image using a plurality of learning models 131, 132, and 133 The object detection result is the detected object information and the confidence. At this time, the object may not be detected, and the reliability at this time may be lower than a preset threshold value. In contrast, when the reliability is equal to or greater than a predetermined threshold value, the object is detected and information indicating the detected object is set as the detected object information and output.

따라서, 결정 엔진(143)은 학습 모델별 객체 검출부(142)에서 출력되는 학습 모델별 검출된 객체 정보와 신뢰도를 사용하여 최종 객체 검출 결과를 결정할 수 있다. 예를 들면, 결정 엔진(143)은 복수의 학습 모델별로 객체 검출 수행된 결과 중 복수의 신뢰도가 미리 설정된 제1 개수, 예를 들어 전체 신뢰도 개수에 대해 미리 설정된 제1 백분율 이상인 개수이고, 그 중에서 각 신뢰도에 대응되는 검출된 객체 정보가 동일한 객체를 나타내는 개수가 미리 설정된 제2 개수, 예를 들어 대상 신뢰도 총 개수에 대해 미리 설정된 제2 백분율이상인 개수인 경우 해당 검출된 객체를 최종 검출된 객체로서 결정할 수 있다. 이외에도 본 발명의 실시예에 따른 객체 검출을 특정할 수 있는 다른 결정 방식이 적용될 수 있다.Therefore, the decision engine 143 can determine the final object detection result using the object information and the reliability that are detected by the learning model output from the object detection unit 142 for each learning model. For example, the decision engine 143 may determine that a plurality of reliability among the results of performing object detection for each of a plurality of learning models is a predetermined number that is greater than or equal to a predetermined first number, for example, a predetermined first percentage, When the number of the detected object information corresponding to each reliability indicates the same object as a predetermined second number, for example, a number equal to or greater than a second predetermined percentage set for the total number of object trusts, the detected object is regarded as a final detected object You can decide. In addition, another determination method capable of specifying object detection according to an embodiment of the present invention may be applied.

이와 같이, 본 발명의 실시예에 따른 객체 검출 장치(100)에 따르면, 하나의 영상, 구체적으로 하나의 사진당 하나의 신경망을 형성하고 이것을 하나의 학습 모델인 하나의 파일로서 저장할 수 있으므로 새로운 영상이 추가되는 경우 추가되는 영상에 대해서만 객체 검출 학습을 수행하여 대응되는 하나의 신경망을 형성할 수 있다. 예를 들어, 파일을 저장하는 컴퓨터 장치의 메모리가 지원되는 경우 몇 천개를 넘어 심지어 몇 만개의 신경망이 대응되는 파일 어레이로써 저장될 수 있다.As described above, according to the object detecting apparatus 100 according to the embodiment of the present invention, one image, specifically one neural network per one picture, can be formed and stored as one file as one learning model, The object detection learning is performed only on the added image, so that a corresponding neural network can be formed. For example, if the memory of the computer device storing the file is supported, a few thousand or even several thousand neural networks may be stored as the corresponding file arrays.

따라서, 생성되는 신경망의 수가 매우 많아져도 이전의 기억을 보존할 수 있으므로, 이러한 많은 다중 신경망들을 사용하게 되면 기존의 짧은 기억만을 사용하는 신경망에 비해 보다 정확한 객체 검출이 수행될 수 있다.Therefore, since the previous memory can be preserved even if the number of generated neural networks is very large, the use of such a large number of neural networks can perform more accurate object detection than the conventional neural network using only short memory.

또한, 다수의 시계열 영상 중에서 특정 구간(윈도우)의 영상만을 사용하여 영상별 다중 신경망을 형성할 수도 있다.In addition, it is possible to form multiple neural networks for each image using only images of a specific section (window) among a plurality of time series images.

다음, 본 발명의 실시예에 따른 객체 검출 학습 방법에 대해 설명한다.Next, an object detection learning method according to an embodiment of the present invention will be described.

도 8은 본 발명의 실시예에 따른 객체 검출 학습 방법의 개략적인 흐름도이다. 본 발명의 실시예에 따른 객체 검출 학습 방법은 구체적으로 객체 검출 학습부(120)에 의해 수행될 수 있다.8 is a schematic flowchart of an object detection learning method according to an embodiment of the present invention. The object detection learning method according to the embodiment of the present invention can be performed by the object detection learning unit 120 in detail.

도 8을 참조하면, 먼저, 입력부(110)를 통해 객체 검출 학습 대상의 영상이 입력되는지를 판단한다(S100).Referring to FIG. 8, first, it is determined whether an image of an object detection learning object is inputted through the input unit 110 (S100).

만약 입력부(110)로부터 객체 검출 학습 대상의 영상 입력이 입력되면, 입력된 영상 중 하나의 영상에 대해 영상 변형을 수행하여 영상 변형의 대상인 영상을 포함하는 복수의 영상을 생성한다(S110). 여기서, 상기 영상 변형에 대해서는 상기한 도 2 및 도 4를 참조하여 설명한 내용을 참조한다.If an input of an object detection learning target is input from the input unit 110, a plurality of images including an image to be subjected to image transformation are generated by performing image transformation on one of the input images (S110). Here, the image transformation is described with reference to FIGS. 2 and 4.

그 후, 상기 단계(S110)에서 생성되는 복수의 변형 영상별로 특징점을 추출한다(S120). 여기서, 상기 특징점 추출에 대해서도 상기한 도 2 및 도 4를 참조하여 설명한 내용을 참조한다.Then, feature points are extracted for each of the plurality of deformed images generated in step S110 (S120). Here, referring to the contents described above with reference to FIG. 2 and FIG. 4 also for the extraction of the minutiae.

다음, 상기 단계(S120)에서 추출되는 특징점들을 사용하여 상기 단계(S100)에서 입력된 하나의 영상에 대응되는 하나의 신경망을 형성한다(S130). 여기서, 상기 특징점 추출에 대해서도 상기한 도 2 및 도 4를 참조하여 설명한 내용을 참조한다.Next, one neural network corresponding to one image input in the step S100 is formed using the feature points extracted in the step S120 (S130). Here, referring to the contents described above with reference to FIG. 2 and FIG. 4 also for the extraction of the minutiae.

그 후, 상기 단계(S130)에서 형성되는 하나의 신경망에 해당되는 학습 모델을 하나의 파일로써 학습 모델 저장부(130)에 저장한다(S140).Thereafter, the learning model corresponding to one neural network formed in step S130 is stored as one file in the learning model storage unit 130 (S140).

이렇게 함으로써 입력부(110)를 통해 입력되는 하나의 영상에 대응되는 객체 검출 학습을 위한 하나의 신경망 모델이 파일로서 학습 모델 저장부(130)에 저장될 수 있다.In this way, one neural network model for object detection learning corresponding to one image input through the input unit 110 can be stored as a file in the learning model storage unit 130.

그 후, 상기 단계(S100)에서 입력된 영상들 중에 객체 검출 학습 처리되어 신경망을 형성하지 않은 미처리 영상이 남아 있는지를 판단한다(S150).Thereafter, it is determined whether an unprocessed image that does not form a neural network remains in the object detection learning process among the images input in the step S100 (S150).

만약 미처리 영상이 남아 있으면 상기한 단계(S110, S120, S130, S140)를 반복 수행하여 미처리 영상이 존재하지 않을 때까지 하나의 영상에 대한 객체 검출 학습 모델에 대응되는 신경망을 형성한다.If the unprocessed image remains, the above steps S110, S120, S130, and S140 are repeated to form a neural network corresponding to the object detection learning model for one image until the unprocessed image does not exist.

그러나, 미처리 영상이 남아 있지 않으면 본 발명의 실시예에 따른 객체 검출 학습 과정을 종료한다.However, if the unprocessed image remains, the object detection learning process according to the embodiment of the present invention ends.

다음, 본 발명의 다른 실시예에 따른 객체 검출 학습 방법에 대해 설명한다.Next, an object detection learning method according to another embodiment of the present invention will be described.

도 9는 본 발명의 다른 실시예에 따른 객체 검출 학습 방법의 개략적인 흐름도이다. 본 발명의 실시예에 따른 객체 검출 학습 방법은 구체적으로 객체 검출부(140)에 의해 수행될 수 있다.9 is a schematic flowchart of an object detection learning method according to another embodiment of the present invention. The object detection learning method according to the embodiment of the present invention can be performed by the object detection unit 140 in detail.

도 9를 참조하면, 먼저 하나의 영상에 대해 하나의 신경망 학습 모델을 생성하는 처리를 카운트하는 카운터를 초기화한다(S200).Referring to FIG. 9, a counter for counting a process of generating one neural network learning model for one image is initialized (S200).

그 후, 하나의 영상이 입력되면(S210), 카운터의 값이 일정 카운터 값에 도달하였는지를 판단한다(S220). Thereafter, when one image is input (S210), it is determined whether the value of the counter reaches a predetermined counter value (S220).

만약 카운터의 값이 미리 설정된 일정 카운터 값에 도달하지 않았으면, 상기 단계(S210)에서 입력된 하나의 영상에 대한 하나의 신경망 모델을 생성하는 처리를 수행한다(S230). 여기서, 하나의 영상에 대한 하나의 신경망 모델을 생성하는 처리는 상기한 도 8에서 설명된 단계(S110, S120, S130, S140, S150)를 통한 처리와 동일하므로 여기에서는 구체적인 설명을 생략한다.If the value of the counter does not reach the predetermined constant counter value, a process of generating one neural network model for one image input in the step S210 is performed (S230). Here, the processing for generating one neural network model for one image is the same as the processing through steps S110, S120, S130, S140, and S150 described in FIG. 8, so that a detailed description thereof will be omitted.

그 후, 카운터의 값을 증가시킨다(S240). 구체적으로 하나의 영상에 대한 하나의 신경망 학습 모델의 생성이 완료되었으므로 카운터의 값을 1만큼 증가시킨다.Thereafter, the value of the counter is increased (S240). Specifically, since the generation of one neural network learning model for one image is completed, the value of the counter is increased by one.

다음, 미처리 영상이 남아 있는지를 판단하고(S250), 만약 남아 있으면 영상을 입력하는 상기 단계(S210)부터 반복 수행한다.Next, it is determined whether there is an unprocessed image remaining (S250). If the image remains, the process is repeated from the step S210 for inputting the image.

한편, 상기 단계(S200, S210, S220, S230), S240)의 반복 수행을 통해 다수의 영상에 대해 다중 신경망 학습 모델이 생성되어 카운터의 값이 일정 카운터의 값에 도달하게 된다.On the other hand, multiple neural network learning models are generated for a plurality of images through the repetition of steps S200, S210, S220, S230, S240, and the value of the counter reaches the value of the constant counter.

따라서, 상기 단계(S220)에서 카운터의 값이 미리 설정된 일정 카운터의 값에 도달하였으므로, 상기 단계(S200, S210, S220, S230), S240)를 통해 생성된 다중 신경망 학습 모델을 사용하여 하나의 입력된 영상에 대한 객체 검출을 수행한다(S260).Therefore, since the value of the counter has reached the value of the preset counter in step S220, it is possible to use one neural network learning model generated through steps S200, S210, S220, S230, And performs object detection on the image (S260).

그 후, 동일한 객체가 검출되었는지를 판단하고(S270), 동일한 객체가 검출된 것으로 판단되면 하나의 입력 영상에 대해 대응되는 하나의 신경망 모델 학습 생성 처리를 수행한다(S280).Thereafter, it is determined whether the same object is detected (S270). If it is determined that the same object is detected, a corresponding neural network model learning generation process is performed on one input image (S280).

그리고, 다시 미처리된 영상이 남아 있는지를 판단하고(S290), 미처리 영상이 남아 있으면 하나의 영상을 입력받아서(S300) 미처리 영상에 대응되는 하나의 신경망 학습 모델 생성 처리를 수행하는 상기 단계(S260)부터 다시 수행하며, 이러한 과정은 미처리 영상이 남지 않을 때까지 반복된다.In step S260, it is determined whether there remains an unprocessed image (S290). If the unprocessed image remains, one image is input (S300), and the process of generating one neural network learning model corresponding to the unprocessed image is performed This process is repeated until the unprocessed image is not left.

한편, 상기 단계(S270)에서 동일 객체가 검출되지 않았으면 새로운 객체 검출 학습이 수행될 수 있으며, 이러한 새로운 객체 검출 학습에 대해서는 상기한 도 8과 도 9를 참조하여 동일하게 수행될 수 있으므로 여기에서는 구체적인 설명을 생략한다.If the same object is not detected in step S270, a new object detection learning may be performed. The new object detection learning may be performed in the same manner with reference to FIGS. 8 and 9, A detailed description thereof will be omitted.

그리고, 상기 단계(S250, S290)에서 미처리 영상이 남아 있지 않으면 새로운 영상이 입력될 때까지 객체 검출 학습 과정이 종료된다.If no unprocessed image remains in the steps S250 and S290, the object detection learning process is terminated until a new image is input.

다음, 본 발명의 실시예에 따른 다중 신경망을 활용한 객체 검출 방법에 대해 설명한다.Next, an object detection method using multiple neural networks according to an embodiment of the present invention will be described.

도 10은 본 발명의 실시예에 따른 객체 검출 방법의 개략적인 흐름도이다. 본 발명의 실시예에 따른 객체 검출 방법은 구체적으로 객체 검출부(140)에 의해 수행될 수 있다.10 is a schematic flowchart of an object detection method according to an embodiment of the present invention. The object detection method according to the embodiment of the present invention may be specifically performed by the object detection unit 140. [

도 10을 참조하면, 먼저 객체 검출을 수행하기 위한 대상 영상을 입력받는다(S400).Referring to FIG. 10, first, a target image for performing object detection is input (S400).

그 후, 객체 검출을 수행하기 위해 상기한 도 8 및 도 9를 통해 생성되어 학습 모델 저장부(140)에 저장된 다중 신경망 학습 모델을 획득한다(S410).Thereafter, in order to perform object detection, a plurality of neural network learning models generated through FIGS. 8 and 9 and stored in the learning model storage unit 140 are obtained (S410).

그리고, 획득된 다중 신경망 학습 모델별로 상기 입력된 대상 영상에 대해 객체 검출을 수행한다(S420). 여기서 본 단계(S420)에서의 객체 검출 내용에 대해서는 상기한 도 6 및 도 7을 참조하여 설명한 내용을 참조한다.Then, object detection is performed on the input target image for each of the obtained multiple neural network learning models (S420). The content of the object detection in the present step S420 will be described with reference to FIG. 6 and FIG.

그 후, 다중 신경망 학습 모델별로 각각 수행된 후의 객체 검출 결과, 예를 들어 검출된 객체 정보와 신뢰도를 사용하여 최종 객체 검출을 수행한다(S430). 여기서 본 단계(S430)에서의 최종 객체 검출 내용에 대해서는 상기한 도 6 및 도 7을 참조하여 설명한 내용을 참조한다.Thereafter, the final object detection is performed using the object detection result obtained after each of the multiple neural network learning models is performed, for example, the detected object information and reliability (S430). The final object detection contents in this step S430 will be described with reference to FIGS. 6 and 7. FIG.

그리고, 상기 단계(S430)에서 수행된 최종 객체 검출 결과를 출력부(150)를 통해 외부로 출력한다(S440).Then, the final object detection result obtained in step S430 is output to the outside through the output unit 150 in step S440.

다음, 본 발명의 다른 실시예에 따른 객체 검출 장치에 대해 설명한다.Next, an object detecting apparatus according to another embodiment of the present invention will be described.

도 11은 본 발명의 다른 실시예에 따른 객체 검출 장치의 개략적인 구성 블록도이다.11 is a schematic block diagram of an object detecting apparatus according to another embodiment of the present invention.

도 11을 참조하면, 본 발명의 다른 실시예에 따른 객체 검출 장치(500)는 입력기(510), 출력기(520), 메모리(530), 프로세서(540) 및 버스(550)를 포함한다.Referring to FIG. 11, an object detection apparatus 500 according to another embodiment of the present invention includes an input unit 510, an output unit 520, a memory 530, a processor 540, and a bus 550.

입력기(510)는 객체 검출 대상의 영상을 입력받거나 또는 카메라을 통해 촬영되는 영상을 입력받는다.The input device 510 receives the image of the object to be detected or receives the image to be captured through the camera.

또한, 입력기(510)는 사용자의 제어 명령 등을 입력받을 수 있다. 이러한 입력기(510)로는 키보드, 마우스, 터치패드 등이 포함된다.Also, the input device 510 may receive a user's control command or the like. The input device 510 includes a keyboard, a mouse, a touch pad, and the like.

출력기(520)는 외부로 영상을 출력한다. 이러한 영상은 객체 검출 결과를 표시한 영상일 수 있다.The output unit 520 outputs the image to the outside. Such an image may be an image representing the object detection result.

또한, 출력기(520)는 객체 검출 장치(500)의 상태를 표시하기 위해 음성이나 문자 등을 출력할 수 있다. 이러한 출력기(520)로는 LED(Light Emitting Diode) 디스플레이, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 디스플레이, 스피커 등이 포함된다.Also, the output unit 520 may output voice, character, or the like to display the status of the object detecting apparatus 500. [ The output unit 520 includes a light emitting diode (LED) display, a liquid crystal display (LCD), an organic light emitting diode (OLED) display, and a speaker.

메모리(530)는 코드의 집합을 저장하도록 구성되고, 그 코드는 다음과 같은 동작을 실행하기 위해 프로세서(540)를 제어하는 데 사용된다. 이러한 동작은, 입력기(520)를 통해 영상을 입력받는 동작, 하나의 영상을 사용하여 객체 검출 학습을 수행하여 대응되는 하나의 신경망을 형성하는 동작, 형성되는 하나의 신경망에 해당하는 학습 모델을 파일로서 저장하는 동작, 입력기(520)를 통해 입력되는 영상에 대해 다중 신경망을 활용하여 객체 검출을 수행하는 동작, 객체 검출 결과를 출력하는 동작을 포함한다.The memory 530 is configured to store a set of codes, which code is used to control the processor 540 to perform the following operations. In this operation, an operation of receiving an image through the input unit 520, an object detection learning using one image to form a corresponding one neural network, a learning model corresponding to one neural network to be formed, An operation of performing object detection using multiple neural networks for an image input through the input unit 520, and an operation of outputting an object detection result.

구체적으로, 상기한 동작은 입력기(520)를 통해 입력되는 하나의 영상을 복수의 영상으로 변형하는 동작, 변형된 복수의 영상 각각에 대해 특징점을 추출하는 동작, 추출되는 특징점들을 사용하여 하나의 신경망을 형성하는 동작을 추가로 포함한다.Specifically, the above-described operations include an operation of transforming one image input through the input unit 520 into a plurality of images, an operation of extracting feature points from each of the plurality of modified images, Lt; / RTI >

또한, 상기한 동작은 입력기(520)를 통해 입력되는 영상에 대해 다중 신경망별로 객체 검출을 수행하는 동작, 다중 신경망별로 수행된 객체 검출 결과를 사용하여 최종 객체 검출을 수행하는 동작을 추가로 포함한다.In addition, the above operation may further include an operation of performing object detection on multiple neural networks for an image input through the input unit 520, and an operation of performing a final object detection using the object detection results performed on multiple neural networks .

또한, 메모리(530)는 상기한 동작에 의해 형성되는 신경망의 학습 모델을 파일로서 추가로 저장할 수 있다.Further, the memory 530 can additionally store a learning model of the neural network formed by the above operation as a file.

이러한 메모리(530)는 ROM(Read Only Memory)과 RAM(Random Access Memory), NVRAM(Non-Volatile Random Access Memory)을 포함할 수 있다. 또한, 프로세서(540)는 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 또한, 프로세서(540)는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.The memory 530 may include a read only memory (ROM), a random access memory (RAM), and a non-volatile random access memory (NVRAM). The processor 540 may also be referred to as a controller, a microcontroller, a microprocessor, a microcomputer, or the like. In addition, the processor 540 may be implemented by hardware or firmware, software, or a combination thereof.

버스(550)는 객체 검출 장치(500)의 모든 구성요소들, 즉 입력기(510), 출력기(520), 메모리(530) 및 프로세서(540)를 결합하도록 구성된다. The bus 550 is configured to combine all the components of the object detection apparatus 500, i.e., the input device 510, the output device 520, the memory 530, and the processor 540.

한편, 본 발명의 다른 실시예에 따른 객체 검출 장치(500)는 통신기(도시하지 않음)를 더 포함할 수 있다.Meanwhile, the object detecting apparatus 500 according to another embodiment of the present invention may further include a communicator (not shown).

통신기(도시하지 않음)는 외부의 서버와의 신호 전송을 수행한다. 외부의 서버는 영상 변형을 위해 사용되는 알고리즘을 제공하거나 또는 영상으로부터 특징점을 추출하는데 사용되는 알고리즘을 제공한다. 따라서, 메모리(530)는 통신기(도시하지 않음)를 통해 외부의 서버로부터 제공되는 알고리즘을 수행하는 동작을 추가로 수행하기 위해 대응되는 코드를 저장할 수 있다.A communicator (not shown) performs signal transmission with an external server. An external server provides algorithms used for image transformation or algorithms used to extract feature points from an image. Thus, the memory 530 may store the corresponding code to further perform an operation to perform an algorithm provided from an external server via a communicator (not shown).

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (18)

하나의 영상을 사용하여 객체 검출 학습을 수행하여 대응되는 하나의 신경망을 형성하는 방식으로, 외부로부터 입력되는 복수의 영상에 각각 대응되는 복수의 신경망을 형성하는 객체 검출 학습부; 및
객체 검출 대상의 영상에 대해 상기 객체 검출 학습부에서 형성되는 복수의 신경망을 사용하여 객체 검출을 수행하는 객체 검출부
를 포함하는 객체 검출 장치.An object detection learning unit configured to form a plurality of neural networks respectively corresponding to a plurality of images input from the outside by performing object detection learning using one image to form a corresponding one neural network; And
An object detection unit for performing object detection using a plurality of neural networks formed by the object detection learning unit for an object detection object image,
And an object detection device. 제1항에 있어서,
상기 객체 검출 학습부에 의해 형성되는 복수의 신경망 각각에 대응되는 학습 모델을 대응되는 파일로서 저장하는 학습 모델 저장부를 더 포함하는,
객체 검출 장치.The method according to claim 1,
Further comprising a learning model storage unit for storing learning models corresponding to each of the plurality of neural networks formed by the object detection learning unit as corresponding files,
Object detection device. 제1항 또는 제2항에 있어서,
상기 객체 검출 학습부는,
상기 하나의 영상을 복수 형태의 영상으로 변형하여 출력하는 영상 변형부;
상기 영상 변형부에 의해 출력되는 상기 복수 형태의 영상 각각에 대해 특징점을 추출하는 특징점 추출부; 및
상기 특징점 추출부에서 추출되는 상기 복수 형태의 영상 각각에 대한 특징점들을 사용하여 상기 하나의 영상에 대응되는 하나의 신경망을 형성하는 신경망부
를 포함하는, 객체 검출 장치.3. The method according to claim 1 or 2,
The object detection learning unit
An image transforming unit transforming the one image into a plurality of images and outputting the transformed image;
A feature point extracting unit that extracts feature points for each of the plurality of types of images output by the image transforming unit; And
And a neural network unit for forming one neural network corresponding to the one image using the minutiae points of the plurality of types of images extracted by the minutiae point extracting unit,
And an object detection device. 제1항 또는 제2항에 있어서,
상기 객체 검출 학습부는,
새로 입력되는 영상에 대해 상기 복수의 신경망을 사용하여 객체 검출이 성공적으로 수행된 후, 상기 새로 입력되는 영상에 대한 객체 검출 학습을 수행하여 대응되는 신경망을 새로이 형성하는,
객체 검출 장치.3. The method according to claim 1 or 2,
The object detection learning unit
Wherein the object detection learning is performed on the newly input image after the object detection is successfully performed using the plurality of neural networks,
Object detection device. 제1항 또는 제2항에 있어서,
상기 객체 검출부는,
상기 객체 검출 학습부에서 형성되는 복수의 신경망을 사용하여 상기 객체 검출 대상의 영상에 대해 각각 객체 검출을 수행하는 학습 모델별 객체 검출부; 및
상기 학습 모델별 객체 검출부에서 상기 복수의 신경망별로 수행된 객체 검출 결과를 사용하여 최종 객체 검출을 수행하는 결정 엔진
을 포함하는, 객체 검출 장치.3. The method according to claim 1 or 2,
Wherein the object detection unit comprises:
An object detection unit for each learning model for performing object detection on the object detection target image using a plurality of neural networks formed by the object detection learning unit; And
And a determination engine for performing a final object detection using the object detection results performed for each of the plurality of neural networks,
And an object detection device. 제5항에 있어서,
상기 복수의 신경망별로 수행된 객체 검출 결과는 검출된 객체 정보와 신뢰도(Confidence)를 포함하고,
상기 결정 엔진은 상기 복수의 신경망별로 검출된 객체 정보와 신뢰도를 사용하여 최종 객체 검출을 수행하는,
객체 검출 장치.6. The method of claim 5,
Wherein the object detection result performed for each of the plurality of neural networks includes detected object information and confidence,
Wherein the decision engine performs a final object detection using object information and reliability that are detected for each of the plurality of neural networks,
Object detection device. 외부로부터 입력되는 복수의 영상 중 하나의 영상을 선택하고 선택된 하나의 영상을 복수 형태의 영상으로 변형하는 단계;
상기 복수 형태의 영상 각각에 대해 특징점을 추출하는 단계;
상기 복수 형태의 영상 각각에 대해 추출되는 특징점들을 사용하여 상기 하나의 영상에 대응되는 하나의 신경망을 형성하는 단계; 및
상기 복수의 영상 중에서 신경망을 형성하지 않고 남아 있는 영상에 대해 상기 변형하는 단계, 상기 추출하는 단계 및 상기 형성하는 단계를 수행하여 상기 복수의 영상 각각에 대응되는 복수의 신경망을 형성하는 단계
를 포함하는, 객체 검출 학습 방법.Selecting one image from a plurality of images input from the outside and transforming the selected one image into a plurality of types of images;
Extracting feature points for each of the plurality of types of images;
Forming one neural network corresponding to the one image using feature points extracted for each of the plurality of types of images; And
Forming a plurality of neural networks corresponding to each of the plurality of images by performing the deforming, extracting, and forming steps on an image remaining without forming a neural network among the plurality of images;
And an object detection learning method. 제8항에 있어서,
상기 복수 형태의 영상에는 상기 선택된 하나의 영상이 포함되는,
객체 검출 학습 방법.9. The method of claim 8,
Wherein the plurality of types of images include the selected one of the images,
Object detection learning method. 제7항에 있어서,
상기 하나의 신경망을 형성하는 단계 후에,
형성되는 상기 하나의 신경망에 대응되는 학습 모델을 메모리에 대응되는 하나의 파일로서 저장하는 단계
를 더 포함하는, 객체 검출 학습 방법.8. The method of claim 7,
After forming the one neural network,
Storing a learning model corresponding to the one neural network to be formed as one file corresponding to a memory
The object detection learning method further comprising: 제7항에 있어서,
상기 복수의 신경망을 형성하는 단계 후에,
새로 입력되는 영상에 대해 상기 복수의 신경망을 사용하여 객체 검출이 성공적으로 수행된 후, 상기 새로 입력되는 영상에 대해 상기 변형하는 단계, 상기 추출하는 단계 및 상기 형성하는 단계를 수행하여 상기 새로 입력되는 영상에 대응되는 신경망을 추가로 형성하는 단계
를 더 포함하는, 객체 검출 학습 방법.8. The method of claim 7,
After forming the plurality of neural networks,
The image processing method according to claim 1, further comprising: after the object detection is successfully performed using the plurality of neural networks with respect to a newly input image, performing the transforming, extracting, and forming steps on the newly input image, Further forming a neural network corresponding to the image
The object detection learning method further comprising: 제10항에 있어서,
상기 새로 입력되는 영상에 대응되는 신경망을 형성하는 단계는 상기 신경망을 형성하는 상기 복수의 영상이 미리 설정된 일정 개수에 도달한 후에 수행되는,
객체 검출 학습 방법.11. The method of claim 10,
Wherein the forming of the neural network corresponding to the newly inputted image is performed after the plurality of images forming the neural network reach a predetermined number of times,
Object detection learning method. 하나의 영상을 사용하여 객체 검출 학습을 수행하여 대응되는 하나의 신경망을 형성하는 방식으로, 외부로부터 입력되는 복수의 영상에 각각 대응되는 복수의 신경망을 형성하는 단계; 및
객체 검출 대상의 영상에 대해 상기 복수의 신경망을 사용하여 객체 검출을 수행하는 단계
를 포함하는 객체 검출 방법.Forming a plurality of neural networks each corresponding to a plurality of images input from the outside by performing object detection learning using one image to form a corresponding neural network; And
Performing object detection using the plurality of neural networks for an object detection object image
Gt; 제12항에 있어서,
상기 복수의 신경망을 형성하는 단계는,
상기 복수의 영상 중 하나의 영상을 선택하고 선택된 하나의 영상을 복수 형태의 영상으로 변형하는 단계;
상기 복수 형태의 영상 각각에 대해 특징점을 추출하는 단계;
상기 복수 형태의 영상 각각에 대해 추출되는 특징점들을 사용하여 상기 하나의 영상에 대응되는 하나의 신경망을 형성하는 단계; 및
상기 복수의 영상 중에서 신경망을 형성하지 않고 남아 있는 영상에 대해 상기 변형하는 단계, 상기 추출하는 단계 및 상기 형성하는 단계를 수행하여 상기 복수의 영상 각각에 대응되는 복수의 신경망을 형성하는 단계
를 포함하는, 객체 검출 방법.13. The method of claim 12,
Wherein forming the plurality of neural networks comprises:
Selecting one of the plurality of images and transforming the selected one into a plurality of types of images;
Extracting feature points for each of the plurality of types of images;
Forming one neural network corresponding to the one image using feature points extracted for each of the plurality of types of images; And
Forming a plurality of neural networks corresponding to each of the plurality of images by performing the deforming, extracting, and forming steps on an image remaining without forming a neural network among the plurality of images;
The object detection method comprising: 제12항에 있어서,
상기 객체 검출을 수행하는 단계는,
상기 복수의 신경망을 사용하여 상기 객체 검출 대상의 영상에 대해 각각 객체 검출을 수행하는 단계; 및
상기 복수의 신경망별로 수행된 객체 검출 결과를 사용하여 최종 객체 검출을 수행하는 단계
를 포함하는, 객체 검출 방법.13. The method of claim 12,
Wherein performing the object detection comprises:
Performing object detection on each of the images of the object detection object using the plurality of neural networks; And
Performing a final object detection using an object detection result performed for each of the plurality of neural networks
The object detection method comprising: 제14항에 있어서,
상기 복수의 신경망별로 수행된 객체 검출 결과는 검출된 객체 정보와 신뢰도를 포함하고,
상기 최종 객체 검출을 수행하는 단계는,
상기 복수의 신경망별로 검출된 객체 정보와 신뢰도를 사용하여 최종 객체 검출을 수행하는,
객체 검출 방법.15. The method of claim 14,
Wherein the object detection result performed for each of the plurality of neural networks includes detected object information and reliability,
Wherein performing the final object detection comprises:
Performing a final object detection using object information and reliability that are detected for each of the plurality of neural networks,
Object detection method. 입력 영상에 대해 신경망을 사용하여 객체를 검출하는 장치로서,
입력기, 메모리 및 프로세서를 포함하며,
상기 입력기는 객체 검출 학습 대상의 영상 또는 객체 검출 대상의 영상을 외부로부터 입력받고,
상기 메모리는 코드의 집합을 저장하도록 구성되며,
상기 코드는,
상기 입력기를 통해 상기 객체 검출 학습 대상의 복수의 영상을 입력받는 동작;
하나의 영상을 사용하여 객체 검출 학습을 수행하여 대응되는 하나의 신경망을 형성하는 방식으로, 상기 복수의 영상에 각각 대응되는 복수의 신경망을 형성하는 동작; 및
상기 입력기를 통해 입력되는 상기 객체 검출 대상의 영상에 대해 상기 복수의 신경망을 사용하여 객체 검출을 수행하는 동작
을 실행하도록 상기 프로세서를 제어하는 데 사용되는,
객체 검출 장치.An apparatus for detecting an object using a neural network for an input image,
An input device, a memory, and a processor,
Wherein the input unit receives an image of an object detection learning object or an image of an object detection object from outside,
The memory being configured to store a set of codes,
The code includes:
Receiving a plurality of images of the object detection learning object through the input unit;
Forming a plurality of neural networks respectively corresponding to the plurality of images by performing object detection learning using one image to form a corresponding neural network; And
Performing an object detection using the plurality of neural networks with respect to the image of the object to be detected that is input through the input unit
Lt; RTI ID = 0.0 > a < / RTI > processor,
Object detection device. 제16항에 있어서,
상기 복수의 신경망을 형성하는 동작은,
상기 복수의 영상 중 하나의 영상을 선택하고 선택된 하나의 영상을 복수 형태의 영상으로 변형하는 동작;
상기 복수 형태의 영상 각각에 대해 특징점을 추출하는 동작;
상기 복수 형태의 영상 각각에 대해 추출되는 특징점들을 사용하여 상기 하나의 영상에 대응되는 하나의 신경망을 형성하는 동작; 및
상기 복수의 영상 중에서 신경망을 형성하지 않고 남아 있는 영상에 대해 상기 변형하는 동작, 상기 추출하는 동작 및 상기 형성하는 동작을 수행하여 상기 복수의 영상 각각에 대응되는 복수의 신경망을 형성하는 동작
을 포함하는, 객체 검출 장치.17. The method of claim 16,
Wherein the operation of forming the plurality of neural networks comprises:
Selecting one of the plurality of images and transforming the selected one into a plurality of images;
Extracting feature points for each of the plurality of types of images;
Forming one neural network corresponding to the one image using feature points extracted for each of the plurality of types of images; And
Performing an operation of deforming, extracting, and forming the remaining images without forming a neural network among the plurality of images to form a plurality of neural networks corresponding to each of the plurality of images;
And an object detection device. 제16항에 있어서,
영상을 출력하는 출력기를 더 포함하고,
상기 프로세서는,
상기 복수의 신경망에 해당하는 학습 모델을 대응되는 복수의 파일로서 상기 메모리에 저장하는 동작; 및
상기 출력기를 통해 상기 객체 검출의 결과를 출력하는 동작
을 더 실행하는, 객체 검출 장치.17. The method of claim 16,
Further comprising an output device for outputting an image,
The processor comprising:
Storing a learning model corresponding to the plurality of neural networks as a plurality of corresponding files in the memory; And
Outputting the result of object detection through the output device
The object detection apparatus further comprising:
KR1020170154240A 2017-11-17 2017-11-17 Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object KR20190056873A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170154240A KR20190056873A (en) 2017-11-17 2017-11-17 Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170154240A KR20190056873A (en) 2017-11-17 2017-11-17 Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object

Publications (1)

Publication Number Publication Date
KR20190056873A true KR20190056873A (en) 2019-05-27

Family

ID=66679040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170154240A KR20190056873A (en) 2017-11-17 2017-11-17 Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object

Country Status (1)

Country Link
KR (1) KR20190056873A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102211480B1 (en) * 2020-07-15 2021-02-03 리디아 주식회사 Apparatus and method for analyzing basketball match based on 2d coordinates
KR20210084330A (en) * 2019-12-27 2021-07-07 권세기 A monitering system for wearing muzzles of dog using deep learning and monitering method
KR20220094769A (en) * 2020-12-29 2022-07-06 (주)지와이네트웍스 Method for training Neural Network for object detection based on Deep-learning using special drone

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210084330A (en) * 2019-12-27 2021-07-07 권세기 A monitering system for wearing muzzles of dog using deep learning and monitering method
KR102211480B1 (en) * 2020-07-15 2021-02-03 리디아 주식회사 Apparatus and method for analyzing basketball match based on 2d coordinates
KR20220094769A (en) * 2020-12-29 2022-07-06 (주)지와이네트웍스 Method for training Neural Network for object detection based on Deep-learning using special drone

Similar Documents

Publication Publication Date Title
KR102641116B1 (en) Method and device to recognize image and method and device to train recognition model based on data augmentation
CN109697434B (en) Behavior recognition method and device and storage medium
CN109086873B (en) Training method, recognition method and device of recurrent neural network and processing equipment
CN109740534B (en) Image processing method, device and processing equipment
WO2021093468A1 (en) Video classification method and apparatus, model training method and apparatus, device and storage medium
CN109886335B (en) Classification model training method and device
KR20200145827A (en) Facial feature extraction model learning method, facial feature extraction method, apparatus, device, and storage medium
CN109033261B (en) Image processing method, image processing apparatus, image processing device, and storage medium
CN108334805B (en) Method and device for detecting document reading sequence
US20180173966A1 (en) Method and device for target detection
CN109522970B (en) Image classification method, device and system
KR20190056873A (en) Apparatus for detecting object using multi neural network and method thereof, and method for learning detection of object
CN112966088B (en) Unknown intention recognition method, device, equipment and storage medium
CN112949578B (en) Vehicle lamp state identification method, device, equipment and storage medium
CN111783665A (en) Action recognition method and device, storage medium and electronic equipment
CN108520263B (en) Panoramic image identification method and system and computer storage medium
US20200250544A1 (en) Learning method, storage medium, and learning apparatus
CN111435457B (en) Method for classifying acquisitions acquired by sensors
CN115705706A (en) Video processing method, video processing device, computer equipment and storage medium
CN113033523A (en) Method and system for constructing falling judgment model and falling judgment method and system
CN112949501A (en) Method for learning object availability from teaching video
CN115830711A (en) Sign language vocabulary recognition method, system, device and medium based on deep learning
CN111488476B (en) Image pushing method, model training method and corresponding devices
KR102646430B1 (en) Method for learning classifier and prediction classification apparatus using the same
KR102440073B1 (en) Apparatus and method for selecting optimized models