KR102615264B1 - 회전장치를 이용한 딥러닝 cms 데이터셋 구축을 위한 장치 및 방법 - Google Patents

회전장치를 이용한 딥러닝 cms 데이터셋 구축을 위한 장치 및 방법 Download PDF

Info

Publication number
KR102615264B1
KR102615264B1 KR1020200168748A KR20200168748A KR102615264B1 KR 102615264 B1 KR102615264 B1 KR 102615264B1 KR 1020200168748 A KR1020200168748 A KR 1020200168748A KR 20200168748 A KR20200168748 A KR 20200168748A KR 102615264 B1 KR102615264 B1 KR 102615264B1
Authority
KR
South Korea
Prior art keywords
image
unit
deep learning
cms
dataset
Prior art date
Application number
KR1020200168748A
Other languages
English (en)
Other versions
KR20220079209A (ko
Inventor
장시웅
조진환
김지성
최진혁
양동빈
이지민
이상락
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020200168748A priority Critical patent/KR102615264B1/ko
Publication of KR20220079209A publication Critical patent/KR20220079209A/ko
Application granted granted Critical
Publication of KR102615264B1 publication Critical patent/KR102615264B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법에 관한 것으로, 객체를 회전시키면서 객체의 다면을 촬영하는 영상 촬영부;영상 촬영부에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지를 획득하는 영상 프레임 분할부;영상 프레임 분할부에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하는 객체 탐지부;객체 탐지부에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 배경 영상 합성부;를 포함하는 것이다.

Description

회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법{Device and Method for Deep Learning CMS Dataset Construction Using Rotation Apparatus}
본 발명은 데이터셋 구축에 관한 것으로, 구체적으로 CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법에 관한 것이다.
고성능 CPU/GPU의 개발과 심층신경망 등의 인공지능 알고리즘, 그리고 다량의 데이터 확보를 통해 기계학습이 다양한 응용 분야로 확대 적용되고 있다.
특히, 사물인터넷, 사회관계망서비스, 웹페이지, 공공데이터로부터 수집된 다량의 데이터들이 기계학습의 활용에 가속화를 가하고 있다.
기계학습을 위한 학습 데이터셋은 응용 분야와 데이터 종류에 따라 다양한 형식으로 존재하고 있어 효과적으로 데이터를 처리하고 기계학습에 적용하기에 어려움이 따른다.
한편, 영상 기반의 객체 인지 기술의 한계를 극복하고자 등장한 딥러닝 기반 객체 인지 기술은 복잡도가 상당히 중요한 요소이다. 딥러닝 네트워크의 복잡도에 따라 객체 인지 성능이 연관됨을 의미한다.
이에, 딥러닝 네트워크의 복잡도를 증가시키면서, 객체 인지 성능을 개선하는 방식이 주류를 이루고 있는데, 복잡도 증가는 리소스와 속도 측면에서의 문제를 야기한다.
딥러닝 네트워크의 복잡도를 증가시키지 않으면서, 객체 인지 성능을 높이기 위한 방안으로, 학습 데이터 증분 기법을 상정할 수 있다. 제한된 학습 데이터를 더 많은 학습 데이터로 증분시켜 딥러닝 네트워크를 학습시키는 것이다.
하지만, 학습 데이터 증분에 있어서도 한계는 존재한다. 이를 테면, 학습 이미지를 회전시켜 증분한 학습 데이터는 딥러닝 네트워크의 객체 인지 성능 향상에 큰 기여를 하지 못한다.
종래 기술의 스마트 선별 영상 관제에서는 서버당 100개 정도의 채널을 제어하는 것을 권고하고 있지만, 100채널까지 관제하는 딥러닝 엔진은 드물다.
그러한 딥러닝 엔진을 구현하기 위해서 엔진의 경량화가 필요하다.
딥러닝 엔진에서 객체의 인식률을 높이기 위해 딥러닝 엔진의 계층(layer) 수를 늘리면 딥러닝 엔진이 무거워져 많은 채널을 처리하기 어렵기 때문이다.
종래 기술의 영상 딥러닝에서는 학습을 위한 데이터셋의 이미지 장수가 적게는 몇천장 많게는 수백만 장의 이미지 학습 데이터셋이 필요하다.
이러한 데이터셋을 직접 구축하기 위해서는 많은 비용이 들고, 다양하지 못한 데이터셋을 활용할 경우 객체가 이동함에 따라 촬영되는 면이 달라지면 객체 인식률이 낮아진다.
따라서, 이와 같은 문제를 해결하기 위해 객체의 다면(many sides)을 포함하고 여러 배경을 가진 데이터셋을 보다 효과적으로 구축할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2020-0068050호 대한민국 공개특허 제10-2020-0083303호 대한민국 공개특허 제10-2019-0142856호
본 발명은 종래 기술의 딥러닝 데이터셋 구축 기술의 문제점을 해결하기 위한 것으로, CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 객체의 다면을 포함하고 여러 배경을 갖는 데이터셋을 구축하여 객체의 이동에 따라 인식률이 변화하는 문제를 해결할 수 있도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 회전판을 활용하여 객체를 회전시키며, 카메라를 이용하여 해당 객체에 대한 다양한 면을 학습 이미지로 얻고, 단색 배경 천에 배경을 합성하는 방법을 활용하여 같은 각도의 객체라 하더라도 배경을 다르게 하여 서로 다른 수많은 이미지를 학습 데이터셋으로 활용하는 CMS(Custom Many Sides) 데이터셋을 쉽게 구축할 수 있도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 같은 물체라도 Customer가 다양한 각도에서 촬영하여, 다면(Many Sides) 데이터셋을 제공하는 것에 의해 딥러닝 엔진의 계층을 줄여 경량화해도 좋은 인식률을 얻을 수 있도록 한 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치는 객체를 회전시키면서 객체의 다면을 촬영하는 영상 촬영부;영상 촬영부에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지를 획득하는 영상 프레임 분할부;영상 프레임 분할부에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하는 객체 탐지부;객체 탐지부에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 배경 영상 합성부;를 포함하는 것을 특징으로 한다.
여기서, 영상 촬영부는, 객체를 회전시키는 회전판과,배경 영상 합성을 위한 단색 배경 천 및 카메라를 포함하고, 회전판의 회전 속도와 카메라의 촬영 프레임, 촬영 높이 및 각도를 조절하여 객체의 다면을 여러 환경에서 촬영하는 것을 특징으로 한다.
그리고 객체 탐지부는, 원본 이미지에서 연산을 통해 촬영한 객체를 자동으로 객체로 검출하고 학습을 위한 분류 과정을 수행하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법은 객체의 다면을 촬영하기 전에 회전판의 회전 속도를 조절하고, 영상 촬영부의 각도와 높이에 따라 객체와의 거리를 조절하는 촬영 환경 구성 단계;단색 배경 천을 바탕으로 객체를 회전판 위에 올려두고 일정 속도로 회전시키며 영상 촬영부를 통해 객체의 다면을 촬영하는 단계;촬영한 영상을 원하는 객체의 회전 각에 따라 일정 프레임 단위로 각각의 이미지 데이터로 분리하는 영상 프레임 분할 단계;분할한 이미지 내에서 객체의 위치를 탐색하여 라벨링을 수행하는 객체 탐지 단계;이미지 데이터에 대해서 단색 배경 천에 서로 다른 여러 배경을 입히는 배경 영상 합성 단계;를 포함하는 것을 특징으로 한다.
여기서, 배경 영상 합성 단계에서, 객체 탐지 단계에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 것을 특징으로 한다.
그리고 영상 프레임 분할 단계에서, 촬영한 영상을 원하는 이미지에 대해 객체의 회전 각도에 따라 프레임 분할 단위(U)에 맞추어 프레임 단위로 분할하여 저장하고, 프레임 분할 단위(U)는 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에서 한 프레임 당 객체의 회전 각도(R)를 나누어 계산하는 것을 특징으로 한다.
그리고 영상 프레임 분할 단계는, 촬영된 영상을 읽어 오는 단계와,영상 읽기가 성공하면 프레임당 객체 회전 각도(R)를 계산하는 단계와,계산된 프레임당 객체 회전 각도(R)를 이용하여 분할단위 U를 계산하고, 계산한 분할 단위에 맞추어 영상 이미지를 분할하여 저장하는 단계를 포함하는 것을 특징으로 한다.
그리고 프레임당 객체 회전 각도(R)를,으로 계산하고,
여기서, R은 영상의 한 프레임 당 객체가 회전한 각도이며, RPM은 분당 회전수, FPS는 초당 프레임 수인 것을 특징으로 한다.
그리고 객체 탐지 단계는, 객체를 검출하기 위한 사전 작업으로 배경 합성을 위한 마스크로 사용되는 이미지로 변환하는 마스크 이미지 변환 단계와,마스크 이미지와 원본 이미지를 합성한 노이즈를 제거한 이미지에서 실제 객체를 검출하고 추적하고, 해당 이미지에서 블러 연산, 이진화 연산, 그리고 모폴로지 연산을 수행하여 객체를 제외한 나머지 부분은 무시하고 객체만 검출하는 단계와,검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정하는 단계를 포함하는 것을 특징으로 한다.
그리고 마스크 이미지 변환 단계는, 이미지 연산을 수행하기 위하여 1채널 영상으로 변환하는 그레이스케일을 적용하는 단계와,그레이스케일을 적용한 이미지에서 블러 연산과 이진화 연산을 적용하여 객체를 검출하기 위한 상태로 변환하는 단계와,모폴로지를 적용하여 이미지 내에 존재하는 객체 외의 작은 노이즈 부분을 제거하고, 모폴로지 연산을 적용하여 배경 합성을 위한 마스크로 사용되는 이미지로 변환하는 단계를 포함하는 것을 특징으로 한다.
그리고 객체만 검출하는 단계는, 마스크 이미지와 원본 이미지의 병합을 위해 비트 "OR" 연산을 수행하여, 이미지에서 노이즈를 제거하는 단계와,노이즈를 제거한 이미지에서 객체를 검출하기 위해서 블러 연산과 이진화 연산을 수행하여 객체를 검출하는 단계와,객체 주위의 노이즈를 제거하기 위하여 모폴로지 연산을 수행하는 단계와,검출한 객체 이미지에서 인접한 화소들을 묶어 하나의 객체로 판단하는 방식으로 라벨링을 수행하여 객체를 추적하는 단계를 포함하는 것을 특징으로 한다.
그리고 검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정해주기 위하여 Bounding Box 표시 과정을 거쳐 검출한 객체를 학습시킬 수 있도록 하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한다.
둘째, 객체의 다면을 포함하고 여러 배경을 갖는 데이터셋을 구축하여 객체의 이동에 따라 인식률이 변화하는 문제를 해결할 수 있도록 한다.
셋째, 회전판을 활용하여 객체를 회전시키며, 카메라를 이용하여 해당 객체에 대한 다양한 면을 학습 이미지로 얻고, 단색 배경 천에 배경을 합성하는 방법을 활용하여 같은 각도의 객체라 하더라도 배경을 다르게 하여 서로 다른 수많은 이미지를 학습 데이터셋으로 활용하는 CMS(Custom Many Sides) 데이터셋을 쉽게 구축할 수 있도록 한다.
넷째, 같은 물체라도 Customer가 다양한 각도에서 촬영하여, 다면(Many Sides) 데이터셋을 제공하는 것에 의해 딥러닝 엔진의 계층을 줄여 경량화해도 좋은 인식률을 얻을 수 있도록 한다.
도 1은 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치의 구성도
도 2는 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법을 나타낸 플로우 차트
도 3은 본 발명에 따른 영상 촬영부의 설치 구성도
도 4는 본 발명에 따른 영상 프레임 분할 과정을 나타낸 플로우 차트
도 5는 본 발명의 일 예에 따른 영상을 45°단위로 분할하는 과정을 나타낸 구성도
도 6은 영상 촬영 각도에 따라 달라지는 객체의 윤곽선을 나타낸 구성도
도 7은 영상 촬영부의 촬영 거리에 따라 달라지는 객체의 크기를 나타낸 구성도
도 8은 회전한 객체를 분할하였을 때, 객체를 검출하여 Bounding Box를 표시하는 예를 나타낸 구성도
도 9는 객체 탐지부의 객체 탐지 과정을 나타낸 플로우 차트
도 10은 영상의 단색 배경 부분에 배경 영상을 합성하는 과정을 나타낸 구성도
이하, 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치의 구성도이다.
본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법은 CMS(Custom Many Sides) 데이터셋 구축으로 영상 딥러닝 엔진의 경량화가 가능하도록 한 것이다.
이를 위하여, 본 발명은 회전판을 활용하여 객체를 회전시키며, 카메라를 이용하여 해당 객체에 대한 다양한 면을 학습 이미지로 얻고, 단색 배경 천에 배경을 합성하는 방법을 활용하여 같은 각도의 객체라 하더라도 배경을 다르게 하여 서로 다른 수많은 이미지를 학습 데이터셋으로 활용하는 CMS(Custom Many Sides) 데이터셋을 쉽게 구축할 수 있도록 하는 구성을 포함할 수 있다.
도 1에서와 같이, CMS(Custom Many Sides) 데이터셋 구축 시스템(100)은 영상 촬영부(110), 영상 프레임 분할부(120), 객체 탐지부(130) 및 배경 영상 합성부(140)를 포함하여 구성된다.
구체적으로, 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치는 회전판의 회전 속도와 카메라의 촬영 프레임, 촬영 높이 및 각도를 조절함으로써 객체의 다면을 다양한 환경에서 촬영하는 영상 촬영부(110)와, 영상 촬영부(110)에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지를 획득하는 영상 프레임 분할부(120)와, 영상 프레임 분할부(120)에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하는 객체 탐지부(130)와, 객체 탐지부(130)에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 배경 영상 합성부(140)를 포함한다.
여기서, 영상 촬영부(110)는 도 3과 같이 객체를 회전시키는 회전판(113), 배경 영상 합성을 위한 단색 배경 천(111) 및 카메라(112)로 구성되어 있으며, 회전판의 회전 속도와 카메라의 촬영 프레임, 촬영 높이 및 각도를 조절함으로써 객체의 다면을 다양한 환경에서 촬영한다.
그리고 영상 프레임 분할부(120)는 영상 촬영부(110)에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지로 얻기 위한 수단으로, 회전판의 회전 속도에 따라 분할할 프레임 수를 조절하여 원하는 객체 회전 각의 다면 이미지를 추출한다.
그리고 객체 탐지부(130)는 영상 프레임 분할부(120)에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하고, 추출하기 위한 수단이다. 원본 이미지에서 여러 연산을 통해 촬영한 객체를 자동으로 객체로 검출하고 학습을 위한 분류 과정을 수행한다.
그리고 배경 영상 합성부(140)는 객체 탐지부(130)에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하기 위한 수단이다. 영상 촬영부(110)의 단색 배경천에 다양한 배경을 합성하여, 동일한 각도의 이미지에 대해 많은 수의 데이터셋을 구축할 수 있다.
이와 같은 구성을 갖는 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치는 다음과 같은 방법으로 딥러닝 CMS 데이터셋을 구축한다.
먼저, 일정한 속도로 회전하는 회전장치 위에 객체 및 사람을 올려놓고 배경에 단색 스크린을 설치한 후 영상으로 촬영한다.
이후 촬영된 영상을 프레임별로 나눔으로써 객체의 여러 면을 가지는 여러 장의 이미지로 나누고 각 이미지에서 객체의 위치를 탐색한다.
탐색한 후 배경에 둔 단색 스크린 부분에 여러 배경을 합성함으로써 다양한 데이터셋을 간편한 방법으로 구축할 수 있다.
본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법을 구체적으로 설명하면 다음과 같다.
도 2는 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법을 나타낸 플로우 차트이다.
본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법은 크게, 객체의 다면을 촬영하기 전, 회전판의 회전 속도를 조절하고, 촬영부의 각도와 높이에 따라 객체와의 거리를 조절하는 촬영 환경 구성 단계와, 단색 배경 천을 바탕으로 객체를 회전판 위에 올려두고 일정 속도로 회전시키며 촬영부를 통해 객체의 다면을 촬영하는 단계와, 촬영한 영상을 원하는 객체의 회전각에 따라 일정 프레임 단위로 각각의 이미지 데이터로 분리하는 영상 프레임 분할 단계와, 분할한 이미지 내에서 객체의 위치를 탐색하여 라벨링을 수행하는 객체 탐지 단계와, 이미지 데이터에 대해서 단색 배경 천에 서로 다른 여러 배경을 입히는 배경 영상 합성 단계를 포함한다.
이와 같은 본 발명에 따른 CMS(Custom Many Sides) 데이터셋 구축을 위한 구성으로, 객체의 다면을 이미지 데이터로 얻기 위해 객체를 회전시키기 위한 회전판과, 같은 각도 같은 객체에 대해 다양한 배경 합성을 통해 서로 다른 이미지 데이터를 얻게 하기 위한 단색 배경 천, 객체 영상 데이터를 얻기 위한 촬영부가 사용될 수 있다.
구체적으로 도 2에서와 같이, 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위하여 영상 촬영부(110)의 장치를 설치한다.(S101)
설치한 뒤 촬영환경을 설정하는데 이 때 목적에 맞추어 회전장치의 회전속도와 촬영 영상의 프레임 수, 촬영 각도 등을 설정한다.(S102)
이어, 설정이 완료되면 객체가 한바퀴 회전하는 모습을 영상으로 촬영한다.(S103)
그리고 촬영된 영상은 객체의 면을 몇 방위로 나눌 것이냐에 따라 분할 단위를 계산하여 분할하고 이미지 형태로 저장한다.(S104)
분할된 이미지 내에서 영상처리 기법을 이용하여 이미지 내 객체의 위치를 탐색한다.(S105)
그 후 마지막으로 이미지의 단색 배경 부분에 영상을 합성한다.(S106)
이와 같이, 객체를 회전판 위에 올려두고 회전판의 회전 속도를 조절하여 한 프레임 당 객체의 회전 각도(R)를 조절하고, 촬영부의 각도와 높이를 조절하여 객체와 촬영부와의 거리를 조절하여 촬영 환경을 구성한다.
촬영 환경이 구성되면 회전판을 통해 객체를 회전시키면서 촬영부를 통해 객체 회전 영상을 얻는다.
촬영한 영상을 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에 따라 프레임 분할 단위(U)에 맞추어 프레임 단위로 분할하여 저장한다. 여기서 프레임 분할 단위(U)는 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에서 촬영된 영상에서의 한 프레임 당 객체의 회전 각도(R)를 나누어 계산한다.
프레임 단위로 분할하여 저장된 이미지 데이터에서 여러 이미지 비트 연산을 통해 객체를 검출하여 저장하고 객체 검출 이미지 데이터에서 단색 배경 부분에 여러 배경을 합성하여 CMS(Custom Many Sides) 데이터셋을 구축한다.
이와 같은 본 발명은 CMS(Custom Many Sides) 데이터셋을 보다 쉽게 구축할 수 있도록 한 것이다.
일반적으로 구할 수 있는 데이터셋 구축용 이미지의 경우에는 객체의 세밀한 다면(Many Sides)을 포함하고 있지 않다. 이에 비하여, 본 발명을 통해 객체의 각도별 모습을 포함하는 데이터셋을 만드는 것에 의해 CCTV에서 객체를 식별하는 데에 효과적으로 사용될 수 있다.
회전하는 객체를 영상으로 촬영한 뒤 프레임 단위로 나누어 여러 이미지를 생성해 내는데, 회전장치가 일정한 속도로 돌고 있기 때문에 프레임별로 각도가 다른 이미지가 생성된다.
단색 배경 천이 설치된 환경에서 해당 객체를 촬영함으로써 배경의 이미지가 단색(초록 또는 파랑)이기 때문에 객체의 위치를 탐색하거나 배경을 합성하기 용이하다.
생성된 이미지에서 객체의 위치를 찾고, 배경을 합성함으로써 한가지 객체에 대해서 여러 면과 배경을 가지는 많은 수의 데이터셋을 확보할 수 있다.
도 3은 영상 촬영부(110)의 장치를 설치하여 객체를 촬영하는 모습이다.
도 3에서 단색 배경 천(111)은 배경 합성 및 객체 탐지 효율을 향상시키기 위해 설치하며, 영상 촬영용 카메라(112)가 영상을 촬영한다. 촬영될 때 회전장치(113)는 일정한 속도로 회전하며 객체의 여러 면을 촬영할 수 있게 하며 딥러닝 대상 객체(114)는 회전장치 위에 두어 회전되도록 한다.
이와 같은 구성을 통하여 본 발명에 따른 CMS(Custom Many Sides) 데이터셋 구축 방법을 활용하면 하나의 객체에 대해서도 수많은 데이터셋을 효과적으로 구축할 수 있다.
또한, 영상 딥러닝에서 발생할 수 있는 객체의 움직임에 따라 인식률이 감소하는 문제를 CMS 데이터셋을 이용하여 해결할 수 있으며, 최종적으로 기존 스마트 선별 영상 관제에서 권고하고 있던 서버당 100개의 채널 제어를 위하여 궁극적으로 진행되어야 할 딥러닝 엔진의 경량화를 구현할 수 있다.
도 4는 영상 프레임 분할부의 실행 순서도이다.
도 4에서와 같이, 먼저 촬영된 영상을 읽는다.(S121)
영상 읽기 성공 여부를 판단하여 영상 읽기가 실패하면 영상을 다시 읽는다.(S122)
영상 읽기가 성공하면 프레임당 객체 회전 각도를 계산한다.(S123)
여기서, R은 영상의 한 프레임 당 객체가 회전한 각도이며, RPM은 분당 회전수, FPS는 초당 프레임 수를 나타낸다.
RPM과 한 바퀴의 각도인 360°를 1분간 회전한 각도를 구하고 그 각도를 영상의 1분당 프레임 수로 나누어 한 프레임당 객체가 회전한 각도를 구할 수 있다.
계산된 R을 통해 분할단위 U를 계산하는데(S124) 분할단위는 객체의 다면 이미지를 분할하는 각도 단위를 말한다.
예를 들어 한 프레임 당 객체의 회전 각도 R이 2°일 때 객체를 10° 단위로 분할하기 위해서는 분할 단위는 5가 된다. 그 후 계산한 분할 단위에 맞추어 영상 이미지를 분할하여 저장한다(S125~127).
도 5는 회전한 영상을 45°의 단위로 분할하였을 때의 영상 예시이다.
도 6은 촬영 각도에 따른 객체의 모습이다. 촬영 각도에 따라 대상 객체의 윤곽선이 달라지기 때문에 다양한 각도의 영상을 학습해 놓으면 유사한 데이터셋이 존재하여 객체 검출에 유리하다.
도 7은 영상 촬영부에서 촬영 거리를 조절함에 따라 크기가 다른 객체 이미지가 생성되는 모습이다.
도 8은 회전한 객체를 45°의 단위로 분할하였을 때, 객체를 검출하여, Bounding Box를 표시하는 예시이다.
도 9는 이미지에서 객체를 검출하고 해당 객체를 추적하기 위한 흐름을 나타낸 것이다.
먼저, 이미지에서 각종 연산을 수행하기 위하여 이미지를 연산을 수행하기 위한 1채널 영상으로 변환하는 그레이스케일을 적용한다.(S131)
그레이스케일을 적용한 이미지에서 블러 연산과 이진화 연산을 적용하여 객체를 검출하기 쉬운 상태로 변환한다.(S132)
이후, 모폴로지를 적용하여 이미지 내에 존재하는 객체 외의 작은 노이즈 부분을 제거하고(S133), 모폴로지 연산을 적용하여 배경 합성을 위한 마스크로 사용되는 이미지로 변환한다.(S134)
상기 서술한 과정은 객체를 검출하기 위한 사전 작업으로서, 원본 이미지와의 병합을 통해 객체를 검출하기 쉽도록 노이즈를 제거한 영상을 만들기 위한 마스크 이미지로 변환하는 과정이다.(S131∼S134)
이어, 마스크 이미지와 원본 이미지의 병합을 위해 비트 "OR" 연산을 수행하여, 이미지에서 크기가 큰 노이즈를 제거한다.(S135)
크기가 큰 노이즈를 제거한 이미지에서 객체를 검출하기 위해서 블러 연산과 이진화 연산을 수행하여 객체를 검출한다.(S136)
이후에 객체 주위의 노이즈를 제거하기 위하여 모폴로지 연산을 수행한다.(S137)
검출한 객체 이미지에서 인접한 화소들을 묶어 하나의 객체로 판단하는 방식으로 라벨링을 수행하여 객체를 추적한다.(S138)
검출한 객체 이미지를 추적하는 단계에서 객체 주변에 사각형으로 Bounding Box를 두르는 형태로 결과를 표시하여 준다.(S139)
실제 객체를 검출하고 추적하는 과정은 마스크 이미지와 원본 이미지를 합성한 노이즈를 제거한 이미지에서 이루어지며, 해당 이미지에서 블러 연산, 이진화 연산, 그리고 모폴로지 연산을 수행하면 객체를 제외한 나머지 부분은 무시되기 때문에 객체만 검출하게 된다.(S135∼S137)
검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정해주기 위하여 Bounding Box 표시 과정을 거쳐 검출한 객체를 학습시킬 수 있는 준비를 마치게 된다.(S138∼S139)
도 10은 영상의 단색 배경 부분에 배경 영상을 합성하는 과정을 나타낸 구성도이다.
딥러닝 학습 진행 시 배경이 단색인 것보다 여러 배경에서 객체의 모습을 데이터셋으로 구축하여 학습시키는 것이 객체 검출에서 더 유리하다.
이상에서 설명한 본 발명에 따른 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치 및 방법은 하나의 객체에 대해서도 수많은 데이터셋을 효과적으로 구축하여 영상 딥러닝에서 발생할 수 있는 객체의 움직임에 따라 인식률이 감소하는 문제를 CMS 데이터셋을 이용하여 해결할 수 있으며, 최종적으로 기존 스마트 선별 영상 관제에서 권고하고 있던 서버당 100개의 채널 제어를 위하여 궁극적으로 진행되어야 할 딥러닝 엔진의 경량화를 구현할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. 데이터셋 구축 시스템 110. 영상 촬영부
111. 단색 배경 천 112. 촬영용 카메라
113. 회전장치 114. 촬영 대상 객체
120. 영상 프레임 분할부 130. 객체 탐지부
140. 배경 영상 합성부

Claims (12)

  1. 객체를 360도 회전시키면서 객체의 다면을 촬영하는 영상 촬영부;
    영상 촬영부에서 촬영한 영상을 프레임 단위로 분할하여 각각의 이미지를 획득하는 영상 프레임 분할부;
    영상 프레임 분할부에서 추출한 다면 이미지에서 소정의 객체를 인식하여 검출하는 객체 탐지부;
    객체 탐지부에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 배경 영상 합성부;를 포함하고,
    영상 프레임 분할부는 촬영한 영상을 원하는 이미지에 대해 객체의 회전 각도에 따라 프레임 분할 단위(U)에 맞추어 프레임 단위로 분할하여 저장하고, 프레임 분할 단위(U)는 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에서 한 프레임 당 객체의 회전 각도(R)를 나누어 계산하고,
    영상 촬영부는, 객체를 회전시키는 회전판과, 배경 영상 합성을 위한 단색 배경 천 및 카메라를 포함하고, 회전판의 회전 속도와 카메라의 촬영 프레임, 촬영 높이 및 각도를 조절하여 객체의 다면을 여러 환경에서 촬영하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치.
  2. 삭제
  3. 제 1 항에 있어서, 객체 탐지부는,
    원본 이미지에서 연산을 통해 촬영한 객체를 자동으로 객체로 검출하고 학습을 위한 분류 과정을 수행하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 장치.
  4. 객체의 다면을 촬영하기 전에 회전판의 회전 속도를 조절하고, 영상 촬영부의 각도와 높이에 따라 객체와의 거리를 조절하는 촬영 환경 구성 단계;
    영상 촬영부를 이용하여 단색 배경 천을 바탕으로 객체를 회전판 위에 올려두고 일정 속도로 360도 회전시키며 영상 촬영부를 통해 객체의 다면을 촬영하는 단계;
    영상 프레임 분할부에서 촬영한 영상을 원하는 객체의 회전 각에 따라 일정 프레임 단위로 각각의 이미지 데이터로 분리하는 영상 프레임 분할 단계;
    객체 탐지부에서 분할한 이미지 내에서 객체의 위치를 탐색하여 라벨링을 수행하는 객체 탐지 단계;
    배경 영상 합성부에서 이미지 데이터에 대해서 단색 배경 천에 서로 다른 여러 배경을 입히는 배경 영상 합성 단계;를 포함하고,
    영상 프레임 분할 단계에서, 촬영한 영상을 원하는 이미지에 대해 객체의 회전 각도에 따라 프레임 분할 단위(U)에 맞추어 프레임 단위로 분할하여 저장하고, 프레임 분할 단위(U)는 각 이미지에 대해 Customer가 원하는 객체의 회전 각도에서 한 프레임 당 객체의 회전 각도(R)를 나누어 계산하고,
    배경 영상 합성 단계에서 객체 탐지 단계에서 검출한 객체 주변의 배경을 합성하여, 같은 각도의 이미지라 하더라도 서로 다른 배경의 합성을 통해 다른 데이터셋으로 구축하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.
  5. 삭제
  6. 삭제
  7. 제 4 항에 있어서, 영상 프레임 분할 단계는,
    촬영된 영상을 읽어 오는 단계와,
    영상 읽기가 성공하면 프레임당 객체 회전 각도(R)를 계산하는 단계와,
    계산된 프레임당 객체 회전 각도(R)를 이용하여 분할단위 U를 계산하고, 계산한 분할 단위에 맞추어 영상 이미지를 분할하여 저장하는 단계를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.
  8. 제 7 항에 있어서, 프레임당 객체 회전 각도(R)를,
    으로 계산하고,
    여기서, R은 영상의 한 프레임 당 객체가 회전한 각도이며, RPM은 분당 회전수, FPS는 초당 프레임 수인 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.
  9. 제 4 항에 있어서, 객체 탐지 단계는,
    객체를 검출하기 위한 사전 작업으로 배경 합성을 위한 마스크로 사용되는 이미지로 변환하는 마스크 이미지 변환 단계와,
    마스크 이미지와 원본 이미지를 합성한 노이즈를 제거한 이미지에서 실제 객체를 검출하고 추적하고, 해당 이미지에서 블러 연산, 이진화 연산, 그리고 모폴로지 연산을 수행하여 객체를 제외한 나머지 부분은 무시하고 객체만 검출하는 단계와,
    검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정하는 단계를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.
  10. 제 9 항에 있어서, 마스크 이미지 변환 단계는,
    이미지 연산을 수행하기 위하여 1채널 영상으로 변환하는 그레이스케일을 적용하는 단계와,
    그레이스케일을 적용한 이미지에서 블러 연산과 이진화 연산을 적용하여 객체를 검출하기 위한 상태로 변환하는 단계와,
    모폴로지를 적용하여 이미지 내에 존재하는 객체 외의 작은 노이즈 부분을 제거하고, 모폴로지 연산을 적용하여 배경 합성을 위한 마스크로 사용되는 이미지로 변환하는 단계를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.
  11. 제 9 항에 있어서, 객체만 검출하는 단계는,
    마스크 이미지와 원본 이미지의 병합을 위해 비트 "OR" 연산을 수행하여, 이미지에서 노이즈를 제거하는 단계와,
    노이즈를 제거한 이미지에서 객체를 검출하기 위해서 블러 연산과 이진화 연산을 수행하여 객체를 검출하는 단계와,
    객체 주위의 노이즈를 제거하기 위하여 모폴로지 연산을 수행하는 단계와,
    검출한 객체 이미지에서 인접한 화소들을 묶어 하나의 객체로 판단하는 방식으로 라벨링을 수행하여 객체를 추적하는 단계를 포함하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.
  12. 제 9 항에 있어서, 검출한 객체를 학습시키기 위하여 객체의 분류를 지정하고, 객체의 범위를 지정해주기 위하여 Bounding Box 표시 과정을 거쳐 검출한 객체를 학습시킬 수 있도록 하는 것을 특징으로 하는 회전장치를 이용한 딥러닝 CMS 데이터셋 구축을 위한 방법.
KR1020200168748A 2020-12-04 2020-12-04 회전장치를 이용한 딥러닝 cms 데이터셋 구축을 위한 장치 및 방법 KR102615264B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200168748A KR102615264B1 (ko) 2020-12-04 2020-12-04 회전장치를 이용한 딥러닝 cms 데이터셋 구축을 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200168748A KR102615264B1 (ko) 2020-12-04 2020-12-04 회전장치를 이용한 딥러닝 cms 데이터셋 구축을 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220079209A KR20220079209A (ko) 2022-06-13
KR102615264B1 true KR102615264B1 (ko) 2023-12-19

Family

ID=81984073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200168748A KR102615264B1 (ko) 2020-12-04 2020-12-04 회전장치를 이용한 딥러닝 cms 데이터셋 구축을 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102615264B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102199912B1 (ko) 2018-06-19 2021-01-08 한국전자기술연구원 데이터 증분 기반 강인한 객체 인지 방법 및 시스템
KR102225822B1 (ko) 2018-11-26 2021-03-10 국민대학교산학협력단 인공지능 수행을 위한 학습 데이터 생성장치 및 방법
KR102336003B1 (ko) 2018-12-27 2021-12-08 (주)제이엘케이 패치 정합을 이용한 학습 데이터 증가 장치 및 방법
KR20200112189A (ko) * 2019-03-21 2020-10-05 (주)일마그나 기계학습용 이미지 데이터 생성 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Juncai Zhu et al., "Moving Object Detection Based on Background Compensation and Deep Learning," symmetry (2020.11.27.)*
Liangliang Chen et al., "A Data Augmentation Method for Deep Learning Based on Multi-Degree of Freedom (DOF) Automatic Image Acquisition," applied sciences (2020.11.02.)*

Also Published As

Publication number Publication date
KR20220079209A (ko) 2022-06-13

Similar Documents

Publication Publication Date Title
US20200228730A1 (en) Automatic composition of composite images or videos from frames captured with moving camera
Johnston et al. A review of digital video tampering: From simple editing to full synthesis
US8934545B2 (en) Extraction of video fingerprints and identification of multimedia using video fingerprinting
US8818024B2 (en) Method, apparatus, and computer program product for object tracking
Coates et al. Multi-camera object detection for robotics
CN111325051B (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
KR20090108642A (ko) 이미지의 캡쳐링, 프로세싱, 및 렌더링 방법
CN103841298B (zh) 一种基于颜色恒量和几何不变特征的视频稳像方法
US20220207751A1 (en) Patch-Based Image Matting Using Deep Learning
US20230127009A1 (en) Joint objects image signal processing in temporal domain
Liu et al. High-speed video generation with an event camera
JP2011054080A (ja) 画像処理装置および方法、並びにプログラム
Xiong et al. Snap angle prediction for 360 panoramas
RU2632272C1 (ru) Способ создания синтетического изображения
KR102615264B1 (ko) 회전장치를 이용한 딥러닝 cms 데이터셋 구축을 위한 장치 및 방법
US11869173B2 (en) Image inpainting based on multiple image transformations
Agarwal et al. The advent of deep learning-based image forgery detection techniques
Gopakumar A survey on image splice forgery detection and localization techniques
Zhang et al. An IR and visible image sequence automatic registration method based on optical flow
CN110852172B (zh) 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法
KR101636481B1 (ko) 컴파운드뷰 이미지 생성 방법 및 장치
Javadi et al. Video stabilization and tampering detection for surveillance systems using homography
Zheng et al. Exposing image forgery by detecting traces of feather operation
Dawn et al. Panorama generation from a video
TWI819219B (zh) 動態場景補償的拍照方法及攝像裝置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant