KR20220079209A - Device and Method for Deep Learning CMS Dataset Construction Using Rotation Apparatus - Google Patents
Device and Method for Deep Learning CMS Dataset Construction Using Rotation Apparatus Download PDFInfo
- Publication number
- KR20220079209A KR20220079209A KR1020200168748A KR20200168748A KR20220079209A KR 20220079209 A KR20220079209 A KR 20220079209A KR 1020200168748 A KR1020200168748 A KR 1020200168748A KR 20200168748 A KR20200168748 A KR 20200168748A KR 20220079209 A KR20220079209 A KR 20220079209A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- cms
- deep learning
- dataset
- frame
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000010276 construction Methods 0.000 title description 5
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 239000004744 fabric Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 239000007787 solid Substances 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 239000013585 weight reducing agent Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법에 관한 것으로, 객체를 회전시키면서 객체의 다면을 촬영하는 영상 촬영부;영상 촬영부에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지를 획득하는 영상 프레임 분할부;영상 프레임 분할부에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하는 객체 탐지부;객체 탐지부에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 배경 영상 합성부;를 포함하는 것이다.The present invention relates to an apparatus and method for constructing a deep learning CMS data set using a rotating device that enables the weight reduction of an image deep learning engine by constructing a CMS (Custom Many Sides) data set. An image capturing unit that captures images; An image frame dividing unit that divides the image captured by the image capturing unit into frame units to obtain each image; An object detection unit that recognizes and detects a predetermined object in the multi-sided image extracted from the image frame divider It includes; a background image synthesizing unit that synthesizes the background around the object detected by the object detector and constructs a different data set through synthesizing different backgrounds even for images of the same angle.
Description
본 발명은 데이터셋 구축에 관한 것으로, 구체적으로 CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법에 관한 것이다.The present invention relates to data set construction, and more specifically, to an apparatus and method for constructing a deep learning CMS data set using a rotating device that enables light weight of an image deep learning engine by constructing a CMS (Custom Many Sides) data set. .
고성능 CPU/GPU의 개발과 심층신경망 등의 인공지능 알고리즘, 그리고 다량의 데이터 확보를 통해 기계학습이 다양한 응용 분야로 확대 적용되고 있다.Through the development of high-performance CPU/GPU, artificial intelligence algorithms such as deep neural networks, and securing a large amount of data, machine learning is being applied to various application fields.
특히, 사물인터넷, 사회관계망서비스, 웹페이지, 공공데이터로부터 수집된 다량의 데이터들이 기계학습의 활용에 가속화를 가하고 있다.In particular, large amounts of data collected from the Internet of Things, social networking services, web pages, and public data are accelerating the use of machine learning.
기계학습을 위한 학습 데이터셋은 응용 분야와 데이터 종류에 따라 다양한 형식으로 존재하고 있어 효과적으로 데이터를 처리하고 기계학습에 적용하기에 어려움이 따른다.Learning datasets for machine learning exist in various formats according to application fields and data types, so it is difficult to effectively process data and apply it to machine learning.
한편, 영상 기반의 객체 인지 기술의 한계를 극복하고자 등장한 딥러닝 기반 객체 인지 기술은 복잡도가 상당히 중요한 요소이다. 딥러닝 네트워크의 복잡도에 따라 객체 인지 성능이 연관됨을 의미한다.On the other hand, the complexity of deep learning-based object recognition technology, which emerged to overcome the limitations of image-based object recognition technology, is a very important factor. It means that object recognition performance is related to the complexity of the deep learning network.
이에, 딥러닝 네트워크의 복잡도를 증가시키면서, 객체 인지 성능을 개선하는 방식이 주류를 이루고 있는데, 복잡도 증가는 리소스와 속도 측면에서의 문제를 야기한다.Accordingly, a method of improving object recognition performance while increasing the complexity of a deep learning network is mainstream, but increasing complexity causes problems in terms of resources and speed.
딥러닝 네트워크의 복잡도를 증가시키지 않으면서, 객체 인지 성능을 높이기 위한 방안으로, 학습 데이터 증분 기법을 상정할 수 있다. 제한된 학습 데이터를 더 많은 학습 데이터로 증분시켜 딥러닝 네트워크를 학습시키는 것이다.As a method to increase object recognition performance without increasing the complexity of the deep learning network, a learning data increment technique can be assumed. It is to train a deep learning network by incrementing the limited training data with more training data.
하지만, 학습 데이터 증분에 있어서도 한계는 존재한다. 이를 테면, 학습 이미지를 회전시켜 증분한 학습 데이터는 딥러닝 네트워크의 객체 인지 성능 향상에 큰 기여를 하지 못한다.However, there are also limitations in incrementing the training data. For example, the training data incremented by rotating the training image does not significantly contribute to the improvement of object recognition performance of the deep learning network.
종래 기술의 스마트 선별 영상 관제에서는 서버당 100개 정도의 채널을 제어하는 것을 권고하고 있지만, 100채널까지 관제하는 딥러닝 엔진은 드물다. Although it is recommended to control about 100 channels per server in smart screening video control of the prior art, deep learning engines that control up to 100 channels are rare.
그러한 딥러닝 엔진을 구현하기 위해서 엔진의 경량화가 필요하다.In order to implement such a deep learning engine, it is necessary to reduce the weight of the engine.
딥러닝 엔진에서 객체의 인식률을 높이기 위해 딥러닝 엔진의 계층(layer) 수를 늘리면 딥러닝 엔진이 무거워져 많은 채널을 처리하기 어렵기 때문이다.This is because if the number of layers of the deep learning engine is increased to increase the object recognition rate in the deep learning engine, the deep learning engine becomes heavy and it is difficult to process many channels.
종래 기술의 영상 딥러닝에서는 학습을 위한 데이터셋의 이미지 장수가 적게는 몇천장 많게는 수백만 장의 이미지 학습 데이터셋이 필요하다.In the image deep learning of the prior art, the image training dataset of several thousand or more is required for the number of images of the dataset for learning.
이러한 데이터셋을 직접 구축하기 위해서는 많은 비용이 들고, 다양하지 못한 데이터셋을 활용할 경우 객체가 이동함에 따라 촬영되는 면이 달라지면 객체 인식률이 낮아진다.It costs a lot to directly build such a dataset, and when using a dataset that is not diversified, the object recognition rate is lowered if the surface to be photographed changes as the object moves.
따라서, 이와 같은 문제를 해결하기 위해 객체의 다면(many sides)을 포함하고 여러 배경을 가진 데이터셋을 보다 효과적으로 구축할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.Therefore, in order to solve such a problem, the development of a new technology for more effectively constructing a dataset including many sides of an object and having multiple backgrounds is required.
본 발명은 종래 기술의 딥러닝 데이터셋 구축 기술의 문제점을 해결하기 위한 것으로, CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the deep learning dataset construction technology of the prior art, and the deep learning CMS dataset construction using a rotating device that enables the weight reduction of the image deep learning engine by building the CMS (Custom Many Sides) dataset An object of the present invention is to provide an apparatus and method for
본 발명은 객체의 다면을 포함하고 여러 배경을 갖는 데이터셋을 구축하여 객체의 이동에 따라 인식률이 변화하는 문제를 해결할 수 있도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention provides an apparatus and method for building a deep learning CMS dataset using a rotating device that can solve the problem of changing the recognition rate according to the movement of an object by building a dataset including multiple surfaces of an object and having multiple backgrounds but there is a purpose
본 발명은 회전판을 활용하여 객체를 회전시키며, 카메라를 이용하여 해당 객체에 대한 다양한 면을 학습 이미지로 얻고, 단색 배경 천에 배경을 합성하는 방법을 활용하여 같은 각도의 객체라 하더라도 배경을 다르게 하여 서로 다른 수많은 이미지를 학습 데이터셋으로 활용하는 CMS(Custom Many Sides) 데이터셋을 쉽게 구축할 수 있도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention rotates an object using a rotating plate, obtains various sides of the object as a learning image using a camera, and uses a method of synthesizing a background on a solid background cloth to change the background even for an object of the same angle The purpose is to provide an apparatus and method for building a deep learning CMS dataset using a rotating device to easily build a CMS (Custom Many Sides) dataset that uses numerous different images as a training dataset.
본 발명은 같은 물체라도 Customer가 다양한 각도에서 촬영하여, 다면(Many Sides) 데이터셋을 제공하는 것에 의해 딥러닝 엔진의 계층을 줄여 경량화해도 좋은 인식률을 얻을 수 있도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention provides a deep learning CMS data using a rotating device that allows customers to take pictures of the same object from various angles and obtain a good recognition rate even if it is lightweight by reducing the layer of the deep learning engine by providing a many-sides dataset An object of the present invention is to provide an apparatus and method for constructing a set.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치는 객체를 회전시키면서 객체의 다면을 촬영하는 영상 촬영부;영상 촬영부에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지를 획득하는 영상 프레임 분할부;영상 프레임 분할부에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하는 객체 탐지부;객체 탐지부에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 배경 영상 합성부;를 포함하는 것을 특징으로 한다.An apparatus for constructing a deep learning CMS dataset using a rotating device according to the present invention for achieving the above object is an image capturing unit for photographing multiple surfaces of an object while rotating the object; An image frame divider that divides and acquires each image; An object detector that recognizes and detects a predetermined object in a multi-faceted image extracted from the image frame divider; Synthesizes the background around the object detected by the object detector to create the same It is characterized in that it includes a background image synthesizing unit that constructs different datasets through synthesizing different backgrounds even for angular images.
여기서, 영상 촬영부는, 객체를 회전시키는 회전판과,배경 영상 합성을 위한 단색 배경 천 및 카메라를 포함하고, 회전판의 회전 속도와 카메라의 촬영 프레임, 촬영 높이 및 각도를 조절하여 객체의 다면을 여러 환경에서 촬영하는 것을 특징으로 한다.Here, the image capturing unit includes a rotating plate for rotating an object, a monochromatic background cloth for background image synthesis, and a camera, and adjusts the rotating speed of the rotating plate and the shooting frame of the camera, the shooting height and angle to display multiple surfaces of the object in various environments It is characterized by shooting in
그리고 객체 탐지부는, 원본 이미지에서 연산을 통해 촬영한 객체를 자동으로 객체로 검출하고 학습을 위한 분류 과정을 수행하는 것을 특징으로 한다.In addition, the object detector automatically detects an object photographed through an operation on the original image as an object and performs a classification process for learning.
다른 목적을 달성하기 위한 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법은 객체의 다면을 촬영하기 전에 회전판의 회전 속도를 조절하고, 영상 촬영부의 각도와 높이에 따라 객체와의 거리를 조절하는 촬영 환경 구성 단계;단색 배경 천을 바탕으로 객체를 회전판 위에 올려두고 일정 속도로 회전시키며 영상 촬영부를 통해 객체의 다면을 촬영하는 단계;촬영한 영상을 원하는 객체의 회전 각에 따라 일정 프레임 단위로 각각의 이미지 데이터로 분리하는 영상 프레임 분할 단계;분할한 이미지 내에서 객체의 위치를 탐색하여 라벨링을 수행하는 객체 탐지 단계;이미지 데이터에 대해서 단색 배경 천에 서로 다른 여러 배경을 입히는 배경 영상 합성 단계;를 포함하는 것을 특징으로 한다.The method for building a deep learning CMS dataset using a rotating device according to the present invention for achieving another object is to adjust the rotation speed of the rotating plate before photographing multiple surfaces of the object, and to interact with the object according to the angle and height of the image capturing unit A step of configuring a shooting environment to adjust the distance; a step of placing an object on a rotating plate based on a solid background cloth, rotating it at a constant speed, and photographing multiple sides of the object through an image capturing unit; a predetermined frame according to the rotation angle of the desired object Image frame segmentation step of separating each image data as a unit; Object detection step performing labeling by locating an object within the segmented image; Background image synthesis of applying different backgrounds to a single color background cloth for image data step; characterized in that it includes.
여기서, 배경 영상 합성 단계에서, 객체 탐지 단계에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 것을 특징으로 한다.Here, in the background image synthesis step, the background around the object detected in the object detection step is synthesized, and even images of the same angle are constructed as different datasets by synthesizing different backgrounds.
그리고 영상 프레임 분할 단계에서, 촬영한 영상을 원하는 이미지에 대해 객체의 회전 각도에 따라 프레임 분할 단위(U)에 맞추어 프레임 단위로 분할하여 저장하고, 프레임 분할 단위(U)는 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에서 한 프레임 당 객체의 회전 각도(R)를 나누어 계산하는 것을 특징으로 한다.And in the image frame division step, the captured image is divided into frame units according to the frame division unit (U) according to the rotation angle of the object for the desired image and stored, and the frame division unit (U) is determined by the customer for each image. It is characterized in that it is calculated by dividing the rotation angle (R) of the object per frame from the rotation angle of the desired object.
그리고 영상 프레임 분할 단계는, 촬영된 영상을 읽어 오는 단계와,영상 읽기가 성공하면 프레임당 객체 회전 각도(R)를 계산하는 단계와,계산된 프레임당 객체 회전 각도(R)를 이용하여 분할단위 U를 계산하고, 계산한 분할 단위에 맞추어 영상 이미지를 분할하여 저장하는 단계를 포함하는 것을 특징으로 한다.And the image frame division step includes the steps of reading the captured image, calculating the object rotation angle (R) per frame if the image reading is successful, and dividing unit using the calculated object rotation angle (R) per frame and calculating U, and dividing and storing the video image according to the calculated division unit.
그리고 프레임당 객체 회전 각도(R)를,
여기서, R은 영상의 한 프레임 당 객체가 회전한 각도이며, RPM은 분당 회전수, FPS는 초당 프레임 수인 것을 특징으로 한다.Here, R is the rotation angle of the object per frame of the image, RPM is the number of revolutions per minute, FPS is the number of frames per second.
그리고 객체 탐지 단계는, 객체를 검출하기 위한 사전 작업으로 배경 합성을 위한 마스크로 사용되는 이미지로 변환하는 마스크 이미지 변환 단계와,마스크 이미지와 원본 이미지를 합성한 노이즈를 제거한 이미지에서 실제 객체를 검출하고 추적하고, 해당 이미지에서 블러 연산, 이진화 연산, 그리고 모폴로지 연산을 수행하여 객체를 제외한 나머지 부분은 무시하고 객체만 검출하는 단계와,검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정하는 단계를 포함하는 것을 특징으로 한다.And the object detection step is a pre-work for detecting an object, a mask image conversion step of converting it into an image used as a mask for background synthesis, and detecting an actual object from a noise-removed image obtained by synthesizing the mask image and the original image, Tracking, performing blur operation, binarization operation, and morphology operation on the image, ignoring the rest except for the object and detecting only the object It is characterized in that it comprises the step of specifying.
그리고 마스크 이미지 변환 단계는, 이미지 연산을 수행하기 위하여 1채널 영상으로 변환하는 그레이스케일을 적용하는 단계와,그레이스케일을 적용한 이미지에서 블러 연산과 이진화 연산을 적용하여 객체를 검출하기 위한 상태로 변환하는 단계와,모폴로지를 적용하여 이미지 내에 존재하는 객체 외의 작은 노이즈 부분을 제거하고, 모폴로지 연산을 적용하여 배경 합성을 위한 마스크로 사용되는 이미지로 변환하는 단계를 포함하는 것을 특징으로 한다.And the mask image conversion step is a step of applying a grayscale that is converted to a one-channel image in order to perform an image operation, and applying a blur operation and a binarization operation on the grayscale image to a state for detecting an object. and removing a small noise part other than an object existing in the image by applying a morphology, and converting it into an image used as a mask for background synthesis by applying a morphology operation.
그리고 객체만 검출하는 단계는, 마스크 이미지와 원본 이미지의 병합을 위해 비트 "OR" 연산을 수행하여, 이미지에서 노이즈를 제거하는 단계와,노이즈를 제거한 이미지에서 객체를 검출하기 위해서 블러 연산과 이진화 연산을 수행하여 객체를 검출하는 단계와,객체 주위의 노이즈를 제거하기 위하여 모폴로지 연산을 수행하는 단계와,검출한 객체 이미지에서 인접한 화소들을 묶어 하나의 객체로 판단하는 방식으로 라벨링을 수행하여 객체를 추적하는 단계를 포함하는 것을 특징으로 한다.And the step of detecting only the object includes the step of removing noise from the image by performing a bitwise “OR” operation for merging the mask image and the original image, and the blur operation and binarization operation to detect the object in the image from which the noise has been removed Detecting an object by performing , performing a morphological operation to remove noise around the object, and performing labeling in a way to determine one object by tying adjacent pixels in the detected object image to track the object It is characterized in that it comprises the step of
그리고 검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정해주기 위하여 Bounding Box 표시 과정을 거쳐 검출한 객체를 학습시킬 수 있도록 하는 것을 특징으로 한다.And in order to learn the detected object, it is characterized in that the object classification is specified and the detected object can be learned through the Bounding Box display process in order to designate the range of the object.
이상에서 설명한 바와 같은 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법은 다음과 같은 효과가 있다.The apparatus and method for constructing a deep learning CMS dataset using a rotating device according to the present invention as described above have the following effects.
첫째, CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한다.First, it is possible to reduce the weight of the video deep learning engine by building a CMS (Custom Many Sides) dataset.
둘째, 객체의 다면을 포함하고 여러 배경을 갖는 데이터셋을 구축하여 객체의 이동에 따라 인식률이 변화하는 문제를 해결할 수 있도록 한다.Second, it is possible to solve the problem of changing the recognition rate according to the movement of an object by constructing a dataset that includes multiple sides of an object and has multiple backgrounds.
셋째, 회전판을 활용하여 객체를 회전시키며, 카메라를 이용하여 해당 객체에 대한 다양한 면을 학습 이미지로 얻고, 단색 배경 천에 배경을 합성하는 방법을 활용하여 같은 각도의 객체라 하더라도 배경을 다르게 하여 서로 다른 수많은 이미지를 학습 데이터셋으로 활용하는 CMS(Custom Many Sides) 데이터셋을 쉽게 구축할 수 있도록 한다.Third, rotate the object using a rotating plate, use the camera to obtain various sides of the object as a learning image, and use the method of synthesizing the background on a solid background cloth to It makes it easy to build Custom Many Sides (CMS) datasets that utilize numerous other images as training datasets.
넷째, 같은 물체라도 Customer가 다양한 각도에서 촬영하여, 다면(Many Sides) 데이터셋을 제공하는 것에 의해 딥러닝 엔진의 계층을 줄여 경량화해도 좋은 인식률을 얻을 수 있도록 한다.Fourth, even with the same object, customers can take pictures from various angles, and by providing a many-sides dataset, a good recognition rate can be obtained even if the layer of the deep learning engine is reduced and lightweight.
도 1은 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치의 구성도
도 2는 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법을 나타낸 플로우 차트
도 3은 본 발명에 따른 영상 촬영부의 설치 구성도
도 4는 본 발명에 따른 영상 프레임 분할 과정을 나타낸 플로우 차트
도 5는 본 발명의 일 예에 따른 영상을 45°단위로 분할하는 과정을 나타낸 구성도
도 6은 영상 촬영 각도에 따라 달라지는 객체의 윤곽선을 나타낸 구성도
도 7은 영상 촬영부의 촬영 거리에 따라 달라지는 객체의 크기를 나타낸 구성도
도 8은 회전한 객체를 분할하였을 때, 객체를 검출하여 Bounding Box를 표시하는 예를 나타낸 구성도
도 9는 객체 탐지부의 객체 탐지 과정을 나타낸 플로우 차트
도 10은 영상의 단색 배경 부분에 배경 영상을 합성하는 과정을 나타낸 구성도1 is a block diagram of an apparatus for constructing a deep learning CMS dataset using a rotating device according to the present invention
Figure 2 is a flow chart showing a method for constructing a deep learning CMS dataset using a rotating device according to the present invention
3 is an installation configuration diagram of an image capturing unit according to the present invention;
4 is a flowchart illustrating an image frame segmentation process according to the present invention;
5 is a block diagram illustrating a process of dividing an image in 45° units according to an example of the present invention;
6 is a configuration diagram illustrating an outline of an object that varies depending on an image capturing angle
7 is a block diagram illustrating the size of an object that varies according to a shooting distance of an image capturing unit;
8 is a block diagram showing an example of displaying a Bounding Box by detecting an object when a rotated object is divided
9 is a flowchart illustrating an object detection process of an object detection unit;
10 is a block diagram illustrating a process of synthesizing a background image with a single color background portion of the image
이하, 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of an apparatus and method for building a deep learning CMS dataset using a rotating device according to the present invention will be described in detail as follows.
본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the apparatus and method for building a deep learning CMS dataset using a rotating device according to the present invention will become apparent through the detailed description of each embodiment below.
도 1은 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치의 구성도이다.1 is a block diagram of an apparatus for constructing a deep learning CMS dataset using a rotating device according to the present invention.
본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법은 CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한 것이다.The apparatus and method for constructing a deep learning CMS dataset using a rotating device according to the present invention enables the weight reduction of the image deep learning engine by constructing a CMS (Custom Many Sides) dataset.
이를 위하여, 본 발명은 회전판을 활용하여 객체를 회전시키며, 카메라를 이용하여 해당 객체에 대한 다양한 면을 학습 이미지로 얻고, 단색 배경 천에 배경을 합성하는 방법을 활용하여 같은 각도의 객체라 하더라도 배경을 다르게 하여 서로 다른 수많은 이미지를 학습 데이터셋으로 활용하는 CMS(Custom Many Sides) 데이터셋을 쉽게 구축할 수 있도록 하는 구성을 포함할 수 있다.To this end, the present invention rotates an object using a rotating plate, uses a camera to obtain various sides of the object as a learning image, and utilizes a method of synthesizing a background with a solid background cloth to obtain a background even for an object of the same angle can include a configuration that makes it easy to build a Custom Many Sides (CMS) dataset that utilizes a number of different images as a training dataset.
도 1에서와 같이, CMS(Custom Many Sides) 데이터셋 구축 시스템(100)은 영상 촬영부(110), 영상 프레임 분할부(120), 객체 탐지부(130) 및 배경 영상 합성부(140)를 포함하여 구성된다.As shown in FIG. 1 , the CMS (Custom Many Sides)
구체적으로, 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치는 회전판의 회전 속도와 카메라의 촬영 프레임, 촬영 높이 및 각도를 조절함으로써 객체의 다면을 다양한 환경에서 촬영하는 영상 촬영부(110)와, 영상 촬영부(110)에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지를 획득하는 영상 프레임 분할부(120)와, 영상 프레임 분할부(120)에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하는 객체 탐지부(130)와, 객체 탐지부(130)에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 배경 영상 합성부(140)를 포함한다.Specifically, the apparatus for building a deep learning CMS dataset using a rotating device according to the present invention is an image capturing unit that shoots multiple surfaces of an object in various environments by adjusting the rotation speed of the rotating plate, the shooting frame of the camera, and the shooting height and angle. (110), an image
여기서, 영상 촬영부(110)는 도 3과 같이 객체를 회전시키는 회전판(113), 배경 영상 합성을 위한 단색 배경 천(111) 및 카메라(112)로 구성되어 있으며, 회전판의 회전 속도와 카메라의 촬영 프레임, 촬영 높이 및 각도를 조절함으로써 객체의 다면을 다양한 환경에서 촬영한다.Here, the
그리고 영상 프레임 분할부(120)는 영상 촬영부(110)에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지로 얻기 위한 수단으로, 회전판의 회전 속도에 따라 분할할 프레임 수를 조절하여 원하는 객체 회전 각의 다면 이미지를 추출한다.In addition, the image
그리고 객체 탐지부(130)는 영상 프레임 분할부(120)에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하고, 추출하기 위한 수단이다. 원본 이미지에서 여러 연산을 통해 촬영한 객체를 자동으로 객체로 검출하고 학습을 위한 분류 과정을 수행한다.In addition, the
그리고 배경 영상 합성부(140)는 객체 탐지부(130)에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하기 위한 수단이다. 영상 촬영부(110)의 단색 배경천에 다양한 배경을 합성하여, 동일한 각도의 이미지에 대해 많은 수의 데이터셋을 구축할 수 있다.In addition, the background
이와 같은 구성을 갖는 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치는 다음과 같은 방법으로 딥러닝 CMS 데이터셋을 구축한다.The apparatus for building a deep learning CMS dataset using a rotating device according to the present invention having such a configuration builds a deep learning CMS dataset in the following way.
먼저, 일정한 속도로 회전하는 회전장치 위에 객체 및 사람을 올려놓고 배경에 단색 스크린을 설치한 후 영상으로 촬영한다.First, an object and a person are placed on a rotating device rotating at a constant speed, a single-color screen is installed in the background, and then an image is taken.
이후 촬영된 영상을 프레임별로 나눔으로써 객체의 여러 면을 가지는 여러 장의 이미지로 나누고 각 이미지에서 객체의 위치를 탐색한다.After that, by dividing the captured image by frame, it is divided into multiple images having multiple sides of the object, and the position of the object is searched for in each image.
탐색한 후 배경에 둔 단색 스크린 부분에 여러 배경을 합성함으로써 다양한 데이터셋을 간편한 방법으로 구축할 수 있다.By synthesizing multiple backgrounds on a single-color screen part placed in the background after searching, you can build a variety of datasets in a simple way.
본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법을 구체적으로 설명하면 다음과 같다.A method for constructing a deep learning CMS dataset using a rotating device according to the present invention will be described in detail as follows.
도 2는 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법을 나타낸 플로우 차트이다.2 is a flowchart showing a method for constructing a deep learning CMS dataset using a rotating device according to the present invention.
본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법은 크게, 객체의 다면을 촬영하기 전, 회전판의 회전 속도를 조절하고, 촬영부의 각도와 높이에 따라 객체와의 거리를 조절하는 촬영 환경 구성 단계와, 단색 배경 천을 바탕으로 객체를 회전판 위에 올려두고 일정 속도로 회전시키며 촬영부를 통해 객체의 다면을 촬영하는 단계와, 촬영한 영상을 원하는 객체의 회전각에 따라 일정 프레임 단위로 각각의 이미지 데이터로 분리하는 영상 프레임 분할 단계와, 분할한 이미지 내에서 객체의 위치를 탐색하여 라벨링을 수행하는 객체 탐지 단계와, 이미지 데이터에 대해서 단색 배경 천에 서로 다른 여러 배경을 입히는 배경 영상 합성 단계를 포함한다.The method for building a deep learning CMS dataset using a rotating device according to the present invention is largely to control the rotation speed of the rotating plate before shooting multiple surfaces of the object, and to adjust the distance to the object according to the angle and height of the shooting unit. The step of configuring the shooting environment, the step of placing an object on a rotating plate based on a solid background cloth, rotating it at a constant speed, and photographing multiple sides of the object through the photographing unit, The image frame segmentation step of separating the image data of includes
이와 같은 본 발명에 따른 CMS(Custom Many Sides) 데이터셋 구축을 위한 구성으로, 객체의 다면을 이미지 데이터로 얻기 위해 객체를 회전시키기 위한 회전판과, 같은 각도 같은 객체에 대해 다양한 배경 합성을 통해 서로 다른 이미지 데이터를 얻게 하기 위한 단색 배경 천, 객체 영상 데이터를 얻기 위한 촬영부가 사용될 수 있다.As such a configuration for constructing a CMS (Custom Many Sides) dataset according to the present invention, a rotation plate for rotating an object to obtain multiple sides of an object as image data, and various backgrounds for the same object at the same angle A solid background cloth for obtaining image data, and a photographing unit for obtaining object image data may be used.
구체적으로 도 2에서와 같이, 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위하여 영상 촬영부(110)의 장치를 설치한다.(S101)Specifically, as shown in FIG. 2, the apparatus of the
설치한 뒤 촬영환경을 설정하는데 이 때 목적에 맞추어 회전장치의 회전속도와 촬영 영상의 프레임 수, 촬영 각도 등을 설정한다.(S102)After installation, the shooting environment is set. At this time, according to the purpose, the rotation speed of the rotating device, the number of frames of the captured image, and the shooting angle are set. (S102)
이어, 설정이 완료되면 객체가 한바퀴 회전하는 모습을 영상으로 촬영한다.(S103) Then, when the setting is completed, the image of the object rotating once is taken as an image. (S103)
그리고 촬영된 영상은 객체의 면을 몇 방위로 나눌 것이냐에 따라 분할 단위를 계산하여 분할하고 이미지 형태로 저장한다.(S104)Then, the captured image is divided by calculating a division unit according to how many directions the plane of the object is to be divided and stored in the form of an image. (S104)
분할된 이미지 내에서 영상처리 기법을 이용하여 이미지 내 객체의 위치를 탐색한다.(S105)In the segmented image, an image processing technique is used to search for the position of an object in the image. (S105)
그 후 마지막으로 이미지의 단색 배경 부분에 영상을 합성한다.(S106)After that, finally, the image is synthesized on the solid background part of the image. (S106)
이와 같이, 객체를 회전판 위에 올려두고 회전판의 회전 속도를 조절하여 한 프레임 당 객체의 회전 각도(R)를 조절하고, 촬영부의 각도와 높이를 조절하여 객체와 촬영부와의 거리를 조절하여 촬영 환경을 구성한다.In this way, the object is placed on the rotating plate and the rotation speed of the rotating plate is adjusted to adjust the rotation angle (R) of the object per frame, and the angle and height of the shooting unit are adjusted to adjust the distance between the object and the shooting unit to control the shooting environment. make up
촬영 환경이 구성되면 회전판을 통해 객체를 회전시키면서 촬영부를 통해 객체 회전 영상을 얻는다.When the photographing environment is configured, the object rotation image is obtained through the photographing unit while rotating the object through the rotation plate.
촬영한 영상을 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에 따라 프레임 분할 단위(U)에 맞추어 프레임 단위로 분할하여 저장한다. 여기서 프레임 분할 단위(U)는 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에서 촬영된 영상에서의 한 프레임 당 객체의 회전 각도(R)를 나누어 계산한다.The captured image is divided into frame units and saved according to the frame division unit (U) according to the rotation angle of the object desired by the customer for each image. Here, the frame division unit (U) is calculated by dividing the rotation angle (R) of the object per frame in the image taken from the rotation angle of the object desired by the customer for each image.
프레임 단위로 분할하여 저장된 이미지 데이터에서 여러 이미지 비트 연산을 통해 객체를 검출하여 저장하고 객체 검출 이미지 데이터에서 단색 배경 부분에 여러 배경을 합성하여 CMS(Custom Many Sides) 데이터셋을 구축한다.In the image data that is divided into frames and stored, objects are detected and stored through multiple image bit operations, and multiple backgrounds are synthesized with a single color background from the object detection image data to construct a CMS (Custom Many Sides) dataset.
이와 같은 본 발명은 CMS(Custom Many Sides) 데이터셋을 보다 쉽게 구축할 수 있도록 한 것이다.The present invention as described above is to make it easier to build a CMS (Custom Many Sides) dataset.
일반적으로 구할 수 있는 데이터셋 구축용 이미지의 경우에는 객체의 세밀한 다면(Many Sides)을 포함하고 있지 않다. 이에 비하여, 본 발명을 통해 객체의 각도별 모습을 포함하는 데이터셋을 만드는 것에 의해 CCTV에서 객체를 식별하는 데에 효과적으로 사용될 수 있다.In the case of images for constructing datasets that are generally available, the detailed many sides of the object are not included. In contrast, the present invention can be effectively used to identify an object in CCTV by creating a dataset including the appearance of each angle of the object.
회전하는 객체를 영상으로 촬영한 뒤 프레임 단위로 나누어 여러 이미지를 생성해 내는데, 회전장치가 일정한 속도로 돌고 있기 때문에 프레임별로 각도가 다른 이미지가 생성된다.After capturing a rotating object as an image, it is divided into frames to generate multiple images. Since the rotating device rotates at a constant speed, images with different angles are created for each frame.
단색 배경 천이 설치된 환경에서 해당 객체를 촬영함으로써 배경의 이미지가 단색(초록 또는 파랑)이기 때문에 객체의 위치를 탐색하거나 배경을 합성하기 용이하다.By photographing the object in an environment where a solid background cloth is installed, it is easy to search for the location of an object or synthesize the background because the background image is a single color (green or blue).
생성된 이미지에서 객체의 위치를 찾고, 배경을 합성함으로써 한가지 객체에 대해서 여러 면과 배경을 가지는 많은 수의 데이터셋을 확보할 수 있다.By finding the position of the object in the created image and synthesizing the background, it is possible to secure a large number of datasets with multiple faces and backgrounds for one object.
도 3은 영상 촬영부(110)의 장치를 설치하여 객체를 촬영하는 모습이다.3 is a view illustrating an object photographing by installing the apparatus of the
도 3에서 단색 배경 천(111)은 배경 합성 및 객체 탐지 효율을 향상시키기 위해 설치하며, 영상 촬영용 카메라(112)가 영상을 촬영한다. 촬영될 때 회전장치(113)는 일정한 속도로 회전하며 객체의 여러 면을 촬영할 수 있게 하며 딥러닝 대상 객체(114)는 회전장치 위에 두어 회전되도록 한다.In FIG. 3 , the
이와 같은 구성을 통하여 본 발명에 따른 CMS(Custom Many Sides) 데이터셋 구축 방법을 활용하면 하나의 객체에 대해서도 수많은 데이터셋을 효과적으로 구축할 수 있다.Through such a configuration, if the CMS (Custom Many Sides) dataset construction method according to the present invention is utilized, it is possible to effectively build a large number of datasets even for one object.
또한, 영상 딥러닝에서 발생할 수 있는 객체의 움직임에 따라 인식률이 감소하는 문제를 CMS 데이터셋을 이용하여 해결할 수 있으며, 최종적으로 기존 스마트 선별 영상 관제에서 권고하고 있던 서버당 100개의 채널 제어를 위하여 궁극적으로 진행되어야 할 딥러닝 엔진의 경량화를 구현할 수 있다.In addition, the problem of a decrease in recognition rate depending on the movement of an object that can occur in image deep learning can be solved using the CMS dataset, and ultimately for controlling 100 channels per server, which was recommended in the existing smart screening image control. It is possible to implement the weight reduction of the deep learning engine that should be proceeded with.
도 4는 영상 프레임 분할부의 실행 순서도이다.4 is an execution flowchart of an image frame dividing unit.
도 4에서와 같이, 먼저 촬영된 영상을 읽는다.(S121)As in FIG. 4 , the first captured image is read. (S121)
영상 읽기 성공 여부를 판단하여 영상 읽기가 실패하면 영상을 다시 읽는다.(S122)It determines whether the image reading is successful or not, and if the image reading fails, the image is read again. (S122)
영상 읽기가 성공하면 프레임당 객체 회전 각도를 계산한다.(S123)If the image reading is successful, the object rotation angle is calculated per frame. (S123)
여기서, R은 영상의 한 프레임 당 객체가 회전한 각도이며, RPM은 분당 회전수, FPS는 초당 프레임 수를 나타낸다.Here, R is the rotation angle of the object per frame of the image, RPM is the number of revolutions per minute, and FPS is the number of frames per second.
RPM과 한 바퀴의 각도인 360°를 1분간 회전한 각도를 구하고 그 각도를 영상의 1분당 프레임 수로 나누어 한 프레임당 객체가 회전한 각도를 구할 수 있다. The rotation angle of the object per frame can be obtained by obtaining the rotation angle of the RPM and 360°, the angle of one rotation, for 1 minute, and dividing the angle by the number of frames per minute of the image.
계산된 R을 통해 분할단위 U를 계산하는데(S124) 분할단위는 객체의 다면 이미지를 분할하는 각도 단위를 말한다.A division unit U is calculated through the calculated R (S124). The division unit refers to an angular unit for dividing a multi-faceted image of an object.
예를 들어 한 프레임 당 객체의 회전 각도 R이 2°일 때 객체를 10° 단위로 분할하기 위해서는 분할 단위는 5가 된다. 그 후 계산한 분할 단위에 맞추어 영상 이미지를 분할하여 저장한다(S125~127).For example, when the rotation angle R of the object per frame is 2°, the division unit is 5 to divide the object into units of 10°. Thereafter, the video image is divided and stored according to the calculated division unit (S125~127).
도 5는 회전한 영상을 45°의 단위로 분할하였을 때의 영상 예시이다.5 is an example of an image when a rotated image is divided into units of 45°.
도 6은 촬영 각도에 따른 객체의 모습이다. 촬영 각도에 따라 대상 객체의 윤곽선이 달라지기 때문에 다양한 각도의 영상을 학습해 놓으면 유사한 데이터셋이 존재하여 객체 검출에 유리하다.6 is a view of an object according to a photographing angle. Since the outline of the target object changes depending on the shooting angle, it is advantageous for object detection because similar datasets exist if images of various angles are learned.
도 7은 영상 촬영부에서 촬영 거리를 조절함에 따라 크기가 다른 객체 이미지가 생성되는 모습이다. 7 is a view illustrating that object images having different sizes are generated as the image capturing unit adjusts the shooting distance.
도 8은 회전한 객체를 45°의 단위로 분할하였을 때, 객체를 검출하여, Bounding Box를 표시하는 예시이다.8 is an example of displaying a Bounding Box by detecting an object when a rotated object is divided into units of 45°.
도 9는 이미지에서 객체를 검출하고 해당 객체를 추적하기 위한 흐름을 나타낸 것이다.9 shows a flow for detecting an object in an image and tracking the object.
먼저, 이미지에서 각종 연산을 수행하기 위하여 이미지를 연산을 수행하기 위한 1채널 영상으로 변환하는 그레이스케일을 적용한다.(S131)First, in order to perform various operations on the image, a grayscale for converting the image into a one-channel image for performing the operation is applied (S131).
그레이스케일을 적용한 이미지에서 블러 연산과 이진화 연산을 적용하여 객체를 검출하기 쉬운 상태로 변환한다.(S132)In the grayscale-applied image, the blur operation and the binarization operation are applied to transform the object into an easy-to-detect state. (S132)
이후, 모폴로지를 적용하여 이미지 내에 존재하는 객체 외의 작은 노이즈 부분을 제거하고(S133), 모폴로지 연산을 적용하여 배경 합성을 위한 마스크로 사용되는 이미지로 변환한다.(S134)Thereafter, a morphology is applied to remove a small noise part other than an object existing in the image (S133), and a morphology operation is applied to convert it into an image used as a mask for background synthesis (S134).
상기 서술한 과정은 객체를 검출하기 위한 사전 작업으로서, 원본 이미지와의 병합을 통해 객체를 검출하기 쉽도록 노이즈를 제거한 영상을 만들기 위한 마스크 이미지로 변환하는 과정이다.(S131∼S134)The above-described process is a pre-work for detecting an object, and it is a process of converting into a mask image for creating an image from which noise has been removed so that the object can be easily detected through merging with the original image. (S131 to S134)
이어, 마스크 이미지와 원본 이미지의 병합을 위해 비트 "OR" 연산을 수행하여, 이미지에서 크기가 큰 노이즈를 제거한다.(S135)Then, a bitwise “OR” operation is performed to merge the mask image and the original image to remove large noise from the image (S135).
크기가 큰 노이즈를 제거한 이미지에서 객체를 검출하기 위해서 블러 연산과 이진화 연산을 수행하여 객체를 검출한다.(S136)In order to detect an object in an image from which a large noise has been removed, an object is detected by performing a blur operation and a binarization operation (S136).
이후에 객체 주위의 노이즈를 제거하기 위하여 모폴로지 연산을 수행한다.(S137)Thereafter, a morphological operation is performed to remove noise around the object (S137).
검출한 객체 이미지에서 인접한 화소들을 묶어 하나의 객체로 판단하는 방식으로 라벨링을 수행하여 객체를 추적한다.(S138)The object is tracked by performing labeling in such a way that adjacent pixels in the detected object image are grouped and determined as one object. (S138)
검출한 객체 이미지를 추적하는 단계에서 객체 주변에 사각형으로 Bounding Box를 두르는 형태로 결과를 표시하여 준다.(S139)In the step of tracing the detected object image, the result is displayed in the form of a bounding box wrapped around the object in a rectangle. (S139)
실제 객체를 검출하고 추적하는 과정은 마스크 이미지와 원본 이미지를 합성한 노이즈를 제거한 이미지에서 이루어지며, 해당 이미지에서 블러 연산, 이진화 연산, 그리고 모폴로지 연산을 수행하면 객체를 제외한 나머지 부분은 무시되기 때문에 객체만 검출하게 된다.(S135∼S137)The process of detecting and tracing an actual object is performed on the denoised image, which is a combination of the mask image and the original image. is detected only. (S135~S137)
검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정해주기 위하여 Bounding Box 표시 과정을 거쳐 검출한 객체를 학습시킬 수 있는 준비를 마치게 된다.(S138∼S139)In order to learn the detected object, the classification of the object is designated, and in order to designate the range of the object, the preparation for learning the detected object is completed through the process of displaying the bounding box (S138 ~ S139).
도 10은 영상의 단색 배경 부분에 배경 영상을 합성하는 과정을 나타낸 구성도이다.10 is a block diagram illustrating a process of synthesizing a background image with a solid background portion of the image.
딥러닝 학습 진행 시 배경이 단색인 것보다 여러 배경에서 객체의 모습을 데이터셋으로 구축하여 학습시키는 것이 객체 검출에서 더 유리하다.In deep learning learning, it is more advantageous in object detection to learn by building the shape of an object as a dataset in multiple backgrounds rather than having a solid background.
이상에서 설명한 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법은 하나의 객체에 대해서도 수많은 데이터셋을 효과적으로 구축하여 영상 딥러닝에서 발생할 수 있는 객체의 움직임에 따라 인식률이 감소하는 문제를 CMS 데이터셋을 이용하여 해결할 수 있으며, 최종적으로 기존 스마트 선별 영상 관제에서 권고하고 있던 서버당 100개의 채널 제어를 위하여 궁극적으로 진행되어야 할 딥러닝 엔진의 경량화를 구현할 수 있도록 한 것이다.The apparatus and method for constructing a deep learning CMS dataset using a rotating device according to the present invention described above effectively builds numerous datasets even for one object, thereby reducing the recognition rate according to the movement of an object that may occur in image deep learning. This problem can be solved by using the CMS dataset, and ultimately, it is possible to realize the weight reduction of the deep learning engine, which should be ultimately carried out for the control of 100 channels per server, which was recommended in the existing smart screening video control.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments are to be considered in an illustrative rather than a restrictive point of view, the scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto are included in the present invention. will have to be interpreted.
100. 데이터셋 구축 시스템 110. 영상 촬영부
111. 단색 배경 천 112. 촬영용 카메라
113. 회전장치 114. 촬영 대상 객체
120. 영상 프레임 분할부
130. 객체 탐지부
140. 배경 영상 합성부100.
111.
113.
120. Image
140. Background image synthesizing unit
Claims (12)
영상 촬영부에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지를 획득하는 영상 프레임 분할부;
영상 프레임 분할부에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하는 객체 탐지부;
객체 탐지부에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 배경 영상 합성부;를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치.an image capturing unit for photographing multiple surfaces of the object while rotating the object;
an image frame dividing unit dividing the image captured by the image capturing unit into frame units to obtain each image;
an object detection unit for recognizing and detecting a predetermined object in the multi-sided image extracted by the image frame division unit;
Dip using a rotating device comprising a; Apparatus for building learning CMS datasets.
객체를 회전시키는 회전판과,
배경 영상 합성을 위한 단색 배경 천 및 카메라를 포함하고,
회전판의 회전 속도와 카메라의 촬영 프레임, 촬영 높이 및 각도를 조절하여 객체의 다면을 여러 환경에서 촬영하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치.According to claim 1, wherein the image capturing unit,
a rotating plate that rotates the object;
It includes a solid color background cloth and a camera for background image synthesis,
A device for building a deep learning CMS dataset using a rotating device, characterized in that it shoots multiple faces of an object in various environments by adjusting the rotation speed of the rotating plate, the shooting frame of the camera, and the shooting height and angle.
원본 이미지에서 연산을 통해 촬영한 객체를 자동으로 객체로 검출하고 학습을 위한 분류 과정을 수행하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치.The method of claim 1, wherein the object detection unit,
An apparatus for building a deep learning CMS dataset using a rotating device, characterized in that an object photographed through an operation on the original image is automatically detected as an object and a classification process for learning is performed.
단색 배경 천을 바탕으로 객체를 회전판 위에 올려두고 일정 속도로 회전시키며 영상 촬영부를 통해 객체의 다면을 촬영하는 단계;
촬영한 영상을 원하는 객체의 회전 각에 따라 일정 프레임 단위로 각각의 이미지 데이터로 분리하는 영상 프레임 분할 단계;
분할한 이미지 내에서 객체의 위치를 탐색하여 라벨링을 수행하는 객체 탐지 단계;
이미지 데이터에 대해서 단색 배경 천에 서로 다른 여러 배경을 입히는 배경 영상 합성 단계;를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.A photographing environment configuration step of adjusting the rotation speed of the rotating plate before photographing multiple surfaces of the object, and adjusting the distance to the object according to the angle and height of the image capturing unit;
Placing an object on a rotating plate based on a solid background cloth, rotating it at a constant speed, and photographing multiple surfaces of the object through an image capturing unit;
an image frame dividing step of dividing the captured image into respective image data in units of predetermined frames according to the rotation angle of a desired object;
Object detection step of performing labeling by searching for the location of the object in the divided image;
A method for constructing a deep learning CMS dataset using a rotating device, comprising: a background image synthesis step of applying different backgrounds to a single color background cloth for image data.
객체 탐지 단계에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.The method of claim 4, wherein in the background image synthesis step,
Method for constructing a deep learning CMS dataset using a rotating device, characterized in that by synthesizing the background around the object detected in the object detection step, and constructing a different dataset through the synthesis of different backgrounds even for images of the same angle .
촬영한 영상을 원하는 이미지에 대해 객체의 회전 각도에 따라 프레임 분할 단위(U)에 맞추어 프레임 단위로 분할하여 저장하고,
프레임 분할 단위(U)는 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에서 한 프레임 당 객체의 회전 각도(R)를 나누어 계산하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.5. The method of claim 4, wherein in the step of dividing the image frame,
The captured image is divided into frame units according to the frame division unit (U) according to the rotation angle of the object for the desired image and stored,
The frame division unit (U) is a method for building a deep learning CMS dataset using a rotating device, characterized in that for each image, the rotation angle (R) of the object per frame is calculated by dividing the rotation angle of the object desired by the customer. .
촬영된 영상을 읽어 오는 단계와,
영상 읽기가 성공하면 프레임당 객체 회전 각도(R)를 계산하는 단계와,
계산된 프레임당 객체 회전 각도(R)를 이용하여 분할단위 U를 계산하고, 계산한 분할 단위에 맞추어 영상 이미지를 분할하여 저장하는 단계를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.The method of claim 4, wherein the step of dividing the image frame comprises:
Reading the recorded video, and
If the image reading is successful, calculating the object rotation angle (R) per frame;
A deep learning CMS dataset using a rotating device, comprising calculating a division unit U using the calculated object rotation angle (R) per frame, and dividing and storing the video image according to the calculated division unit How to build.
여기서, R은 영상의 한 프레임 당 객체가 회전한 각도이며, RPM은 분당 회전수, FPS는 초당 프레임 수인 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.8. The method of claim 7, wherein the object rotation angle (R) per frame,
Here, R is the angle at which the object is rotated per frame of the image, RPM is the number of revolutions per minute, and FPS is the number of frames per second A method for constructing a deep learning CMS dataset using a rotating device.
객체를 검출하기 위한 사전 작업으로 배경 합성을 위한 마스크로 사용되는 이미지로 변환하는 마스크 이미지 변환 단계와,
마스크 이미지와 원본 이미지를 합성한 노이즈를 제거한 이미지에서 실제 객체를 검출하고 추적하고, 해당 이미지에서 블러 연산, 이진화 연산, 그리고 모폴로지 연산을 수행하여 객체를 제외한 나머지 부분은 무시하고 객체만 검출하는 단계와,
검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정하는 단계를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.The method of claim 4, wherein the object detection step comprises:
A mask image conversion step of converting into an image used as a mask for background synthesis as a pre-work for detecting an object;
Detecting and tracking a real object in a denoised image that is a combination of the mask image and the original image, and performing blur, binarization, and morphology operations on the image to ignore the rest except for the object and detect only the object; ,
A method for constructing a deep learning CMS dataset using a rotating device, comprising the steps of specifying a classification of an object and specifying a range of an object in order to learn the detected object.
이미지 연산을 수행하기 위하여 1채널 영상으로 변환하는 그레이스케일을 적용하는 단계와,
그레이스케일을 적용한 이미지에서 블러 연산과 이진화 연산을 적용하여 객체를 검출하기 위한 상태로 변환하는 단계와,
모폴로지를 적용하여 이미지 내에 존재하는 객체 외의 작은 노이즈 부분을 제거하고, 모폴로지 연산을 적용하여 배경 합성을 위한 마스크로 사용되는 이미지로 변환하는 단계를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.The method of claim 9, wherein the mask image conversion step comprises:
Applying a grayscale that is converted into a one-channel image to perform image operation;
Converting the image to a state for detecting an object by applying a blur operation and a binarization operation in the image to which the grayscale is applied;
Deep learning CMS data using a rotating device, characterized in that it includes the step of applying a morphology to remove a small noise part other than an object existing in the image, and converting it into an image used as a mask for background synthesis by applying a morphology operation How to build a set.
마스크 이미지와 원본 이미지의 병합을 위해 비트 "OR" 연산을 수행하여, 이미지에서 노이즈를 제거하는 단계와,
노이즈를 제거한 이미지에서 객체를 검출하기 위해서 블러 연산과 이진화 연산을 수행하여 객체를 검출하는 단계와,
객체 주위의 노이즈를 제거하기 위하여 모폴로지 연산을 수행하는 단계와,
검출한 객체 이미지에서 인접한 화소들을 묶어 하나의 객체로 판단하는 방식으로 라벨링을 수행하여 객체를 추적하는 단계를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.10. The method of claim 9, wherein the step of detecting only the object,
removing noise from the image by performing a bitwise "OR" operation for merging the mask image and the original image;
A step of detecting an object by performing a blur operation and a binarization operation to detect the object in the image from which the noise has been removed;
performing a morphological operation to remove noise around the object;
Method for constructing a deep learning CMS dataset using a rotating device, comprising the step of tracking the object by performing labeling in a way that determines as one object by bundling adjacent pixels in the detected object image.
[Claim 10] The rotating device according to claim 9, wherein, in order to learn the detected object, the object classification is specified and the detected object can be learned through the Bounding Box display process in order to designate the range of the object. A method for building a deep learning CMS dataset.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200168748A KR102615264B1 (en) | 2020-12-04 | 2020-12-04 | Device and Method for Deep Learning CMS Dataset Construction Using Rotation Apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200168748A KR102615264B1 (en) | 2020-12-04 | 2020-12-04 | Device and Method for Deep Learning CMS Dataset Construction Using Rotation Apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220079209A true KR20220079209A (en) | 2022-06-13 |
| KR102615264B1 KR102615264B1 (en) | 2023-12-19 |
Family
ID=81984073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200168748A KR102615264B1 (en) | 2020-12-04 | 2020-12-04 | Device and Method for Deep Learning CMS Dataset Construction Using Rotation Apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102615264B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190142856A (en) | 2018-06-19 | 2019-12-30 | 전자부품연구원 | Data Augmentation based Robust Object Recognition Method and System |
| KR20200068050A (en) | 2018-11-26 | 2020-06-15 | 국민대학교산학협력단 | Apparatus and method for generating learning data for artificial intelligence performance |
| KR20200083303A (en) | 2018-12-27 | 2020-07-08 | (주)제이엘케이 | Apparatus and method for increasing learning data using patch matching |
| KR20200112189A (en) * | 2019-03-21 | 2020-10-05 | (주)일마그나 | System and method for generating image data for machine learning |
-
2020
- 2020-12-04 KR KR1020200168748A patent/KR102615264B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190142856A (en) | 2018-06-19 | 2019-12-30 | 전자부품연구원 | Data Augmentation based Robust Object Recognition Method and System |
| KR20200068050A (en) | 2018-11-26 | 2020-06-15 | 국민대학교산학협력단 | Apparatus and method for generating learning data for artificial intelligence performance |
| KR20200083303A (en) | 2018-12-27 | 2020-07-08 | (주)제이엘케이 | Apparatus and method for increasing learning data using patch matching |
| KR20200112189A (en) * | 2019-03-21 | 2020-10-05 | (주)일마그나 | System and method for generating image data for machine learning |
Non-Patent Citations (2)
| Title |
|---|
| Juncai Zhu et al., "Moving Object Detection Based on Background Compensation and Deep Learning," symmetry (2020.11.27.)* * |
| Liangliang Chen et al., "A Data Augmentation Method for Deep Learning Based on Multi-Degree of Freedom (DOF) Automatic Image Acquisition," applied sciences (2020.11.02.)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102615264B1 (en) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019218824A1 (en) | Method for acquiring motion track and device thereof, storage medium, and terminal | |
| US8818024B2 (en) | Method, apparatus, and computer program product for object tracking | |
| Johnston et al. | A review of digital video tampering: From simple editing to full synthesis | |
| GB2581864A (en) | Intelligent identification of replacement regions for mixing and replacing of persons in group portraits | |
| Coates et al. | Multi-camera object detection for robotics | |
| CN115439424A (en) | Intelligent detection method for aerial video image of unmanned aerial vehicle | |
| CN103841298B (en) | Video image stabilization method based on color constant and geometry invariant features | |
| CN108566513A (en) | A kind of image pickup method of unmanned plane to moving target | |
| CN110443247A (en) | A kind of unmanned aerial vehicle moving small target real-time detecting system and method | |
| CN111383204A (en) | Video image fusion method, fusion device, panoramic monitoring system and storage medium | |
| CN111325051A (en) | Face recognition method and device based on face image ROI selection | |
| CN104392416A (en) | Video stitching method for sports scene | |
| US20230127009A1 (en) | Joint objects image signal processing in temporal domain | |
| CN111126205A (en) | Optical remote sensing image airplane target detection method based on rotary positioning network | |
| JP2011054080A (en) | Image processing apparatus, method and program | |
| US11410459B2 (en) | Face detection and recognition method using light field camera system | |
| RU2632272C1 (en) | Synthetic image creating method | |
| KR102615264B1 (en) | Device and Method for Deep Learning CMS Dataset Construction Using Rotation Apparatus | |
| CN104104911A (en) | Timestamp eliminating and resetting method in panoramic image generation process and system thereof | |
| US20230214967A1 (en) | Image inpainting based on multiple image transformations | |
| CN115019241B (en) | Pedestrian identification and tracking method and device, readable storage medium and equipment | |
| CN106131498B (en) | Panoramic video joining method and device | |
| Gopakumar | A survey on image splice forgery detection and localization techniques | |
| CN106447611A (en) | Method for displaying panoramic image of power transmission tower | |
| RU2809945C2 (en) | Method for detecting moving objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |