KR20230012171A - 딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법 - Google Patents

딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법 Download PDF

Info

Publication number
KR20230012171A
KR20230012171A KR1020210092631A KR20210092631A KR20230012171A KR 20230012171 A KR20230012171 A KR 20230012171A KR 1020210092631 A KR1020210092631 A KR 1020210092631A KR 20210092631 A KR20210092631 A KR 20210092631A KR 20230012171 A KR20230012171 A KR 20230012171A
Authority
KR
South Korea
Prior art keywords
image
tod
background
unit
learning
Prior art date
Application number
KR1020210092631A
Other languages
English (en)
Inventor
민광기
Original Assignee
(주) 이씨마이너
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이씨마이너 filed Critical (주) 이씨마이너
Priority to KR1020210092631A priority Critical patent/KR20230012171A/ko
Publication of KR20230012171A publication Critical patent/KR20230012171A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 TOD 영상 정보 속에서 객체를 탐지하고, 탐지된 객체를 심층학습을 통해 식별하는 객체 탐지 후 식별 시스템을 제공하기 위한 것이다.
이에 본 발명에서는 TOD가 촬영하는 전 영역의 배경을 수집 및 합성하여 여러 개의 파노라마 세트를 생성하는 배경수집부, GMM 분석을 통하여 상기 각 파노라마 세트에 대한 특징적인 분포를 구하고, 이를 이용하여 상기 TOD가 촬영하는 전 영역의 배경을 사전 학습하는 배경학습부, 상기 TOD가 현재 촬영하는 영상 정보에서 프레임 이미지를 추출하고, 상기 사전 학습된 배경 데이터를 이용하여 추출된 프레임 이미지에서 배경을 제거하고 객체가 있는 영역만을 탐지하는 객체탐지부, 상기 객체탐지부로부터 탐지된 객체 이미지를 추출하여 수집하는 객체수집부, 상기 객체수집부로부터 수집된 객체 이미지를 CNN 기반의 객체 인식 알고리즘을 이용하여 크기별 그룹으로 나누어 사전 학습하는 객체학습부 및 상기 객체학습부로부터 사전 학습된 객체 데이터를 이용하여 새로이 탐지된 객체 이미지를 식별하는 객체식별부를 포함하는 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템을 개시한다.

Description

딥러닝 기반의 TOD 객체 탐지 후 식별 시스템 및 방법{Object detection and identification system for TOD in incidental images based on deep learning and method thereof}
본 발명은 딥러닝 기반의 TOD 영상 속 객체 탐지 및 식별 시스템에 관한 것으로서, 더욱 상세하게는 TOD 영상 정보 속에서 사람 등 의미 있는 객체를 탐지하고, 탐지된 객체의 종류와 위치를 심층학습된 모델을 통해 정확하게 식별하는 딥러닝 기반의 객체 탐지 후 식별 시스템에 관한 것이다.
일반적으로 TOD(Thermal Observation Device)는 생물과 물체가 방출하는 적외선 영역의 에너지를 감지하여 눈에 보이는 영상 정보로 변환하는 장비로, 빛이 전혀 없는 캄캄한 밤에도 생물과 물체의 위치 및 동태를 파악할 수 있고, 안 보이는 곳에서의 상황을 탐지할 수 있어 주로 야간 감시 및 정찰 등의 군사적 목적으로 사용되어 오다가 최근 들어 산업용 및 민간용 시장으로 빠르게 확산되고 있다.
이러한 TOD 영상은 일반 영상과 달리 원거리에서 넓은 범위를 저배율로 관측하여 표적과 배경 간 온도의 차를 영상의 명암차로 재현하므로 사람이나 그 밖의 생물의 윤곽이나 존재만을 확인할 수 있을 뿐 구체적인 대상을 식별할 수가 없어 분위기 내지 주변 상황을 정확하게 인식하는 것이 곤란하다는 한계가 있다.
한편, 침입자 등 객체 탐지를 위한 감시 애플리케이션 기반의 감시 시스템은 영상에서 관심 대상을 인식하기 위해 일반적으로 검출 대상에 대한 후보 영역을 찾고, 그 후보 영역에 대한 객체의 종류와 위치를 학습된 모델을 통해 예측함으로써 영상으로부터 사람 등 다양한 객체(object)를 검출할 수 있고, 비디오 스트림 또는 연속적인 일련의 프레임으로부터 다양한 객체를 검출할 수 있다.
예컨대, 객체를 검출하는 기술은 백그라운드 추출 기법, 상이 프레임 추출 기법 및 광흐름(optical flow) 기법 등이 있다.
백그라운드 추출 기법은 현재 프레임과 현재 백그라운드 이미지 사이의 상이한 부분을 추출하여 객체를 검출하는 가장 일반적인 기술이고, 상이 프레임 추출 기법은 프레임 간의 상이한 부분을 추출하여 객체를 검출하는 기술이며, 광흐름 기법은 명도 유형을 서서히 변화시킴으로써 화상에서 발생하는 움직임의 속도 분포를 연산하여 객체를 검출하는 기술이다.
이 중에서 백그라운드 추출 기법은 다양한 기술이 존재하고, 대표적으로 가우시안 믹스쳐 모델(GMM, gaussian mixture model)을 이용한 백그라운드 추출 기술이 있다.
이는 비디오의 조도 또는 노이즈 현상을 제거하여 객체 검출의 정확도를 향상시킬 수 있고, 백그라운드에서 관심이 있는 영역을 분할하여 객체를 검출할 수 있으나, 백그라운드 모델링 과정과 객체 검출 과정에서 높은 연산량이 필요하고, 연산하는 시간이 오래 소요되는 문제점이 존재한다.
한편, 딥러닝(Deep Learning)은 다량의 데이터로부터 높은 수준의 추상화 모델을 구축하고자 하는 기법으로, 일반적인 기계 학습 모델보다 더 깊은 신경망 계층 구조를 이용하여 데이터에 내재된 유의미한 특성(Feature)을 자체적으로 발견하고, 이렇게 도출된 특성들로부터 목적 레이블(Target Label)을 추론하기 위한 심층학습을 수행한다.
이러한 딥러닝은 구매 예측, 고객 이탈 예측, 추천시스템, 그리고 기업의 부도 예측 등의 분야에서 기존의 예측 기법인 인공신경망, 의사결정나무, 로지스틱 회귀, SVM 등을 빠르게 대체하고 있으며, 최근에는 가짜 뉴스 식별, 재난 탐지, 그리고 온라인 범죄 예측 등 다양한 사회적 문제 해결에 활용되고 있다.
여기서 상술한 배경기술 또는 종래기술은 본 발명자가 보유하거나 본 발명을 도출하는 과정에서 습득한 정보로서 본 발명의 기술적 의의를 이해하는데 도움이 되기 위한 것일 뿐, 본 발명의 출원 전에 이 발명이 속하는 기술분야에서 널리 알려진 기술을 의미하는 것은 아님을 밝힌다.
KR 특허등록 제10-1938120호 B1(2019.01.07) KR 특허등록 제10-1985869호 B1(2019.05.29) KR 특허등록 제10-2195072호 B1(2020.12.18)
이에 본 발명자는 상술한 제반 사항을 종합적으로 고려함과 동시에 기존의 TOD 영상에서 관심 대상을 인식하기 위해 이용하는 객체 탐지 기술이 지닌 기술적 한계 및 문제점들을 해결하려는 발상에서, 특정 장소(지역)만을 장시간 동안 감지 및 관측하여 얻는 TOD 영상 정보의 특성과 TOD 영상 정보 속의 분위기 및 환경 특성을 고려하여 사람 등 의미 있는 객체를 효과적으로 탐지하고, 탐지된 객체의 종류와 위치를 심층학습된 모델을 통해 정확하게 식별할 수 있는 새로운 구조의 TOD 객체 탐지 후 식별 시스템을 개발하고자 각고의 노력을 기울여 부단히 연구하던 중 그 결과로써 본 발명을 창안하게 되었다.
따라서 본 발명이 해결하고자 하는 기술적 과제 및 목적은 심층학습을 통해 객체를 효과적으로 탐지하고 정확하게 식별할 수 있도록 하는 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템 및 방법을 제공하는 데 있는 것이다.
여기서 본 발명이 해결하고자 하는 기술적 과제 및 목적은 이상에서 언급한 기술적 과제 및 목적으로 국한하지 않으며, 언급하지 않은 또 다른 기술적 과제 및 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
상술한 바와 같은 본 발명의 기술적 과제를 해결하기 위한 새로운 착상을 구체화하면서 특정의 기술적 목적을 효과적으로 달성하기 위한 본 발명의 실시 태양(aspect)에 따른 구체적인 수단은, (a) TOD(Thermal Observation Device)가 촬영하는 전 영역의 배경을 수집 및 합성하여 여러 개의 파노라마 세트를 생성하는 단계, (b) GMM(Gaussian mixed model) 분석을 통하여 상기 각 세트의 파노라마에 대한 특징적인 분포를 구하고, 이를 이용하여 상기 TOD가 촬영하는 전 영역의 배경을 사전 학습하는 단계, (c) 상기 TOD가 현재 촬영하는 영상 정보에서 프레임 이미지를 추출하고, 상기 사전 학습된 배경 데이터를 이용하여 추출된 프레임 이미지에서 배경을 제거하고 객체가 있는 영역만을 탐지하는 단계, (d) 탐지된 객체 이미지를 추출하여 수집하는 단계, (e) 수집된 객체 이미지를 CNN(Convolution Neural Network) 기반의 객체 인식 알고리즘을 이용하여 크기별 그룹으로 나누어 사전 학습하는 단계, (f) 사전 학습된 객체 데이터를 이용하여 새로이 탐지된 객체 이미지를 식별하는 단계를 포함하여 이루어지는 것을 특징으로 하는 딥러닝 기반의 TOD 객체 탐지 후 식별 방법을 제시한다.
이로써 본 발명은 TOD 영상 정보 속의 분위기 및 환경 특성을 고려하여 배경 없이 객체만을 효과적으로 탐지하고, 이를 심층학습을 통해 신속하고 정확하게 식별할 수 있다.
또한, 본 발명의 바람직한 실시 태양(aspect)은 상기 (a) 단계에서, 수집된 배경을 프레임 이미지로 저장하고, 이를 n개의 세트로 나누어 각 세트들의 프레임 이미지들은 서로 이어 붙여 n개의 파노라마 세트로 생성할 수 있다.
또한, 본 발명의 바람직한 실시 태양(aspect)은 상기 (e) 단계에서, 객체 이미지 크기는 20px×20px, 50px×50px, 100px×100px로 나누어 그 각각의 객체를 미리 학습할 수 있다.
한편, 본 발명의 다른 실시 태양(aspect)에 따른 구체적인 수단은, TOD(Thermal Observation Device)가 촬영하는 전 영역의 배경을 수집 및 합성하여 여러 개의 파노라마 세트를 생성하는 배경수집부, GMM(Gaussian mixed model) 분석을 통하여 상기 각 파노라마 세트에 대한 특징적인 분포를 구하고, 이를 이용하여 상기 TOD가 촬영하는 전 영역의 배경을 사전 학습하는 배경학습부, 상기 TOD가 현재 촬영하는 영상 정보에서 프레임 이미지를 추출하고, 상기 사전 학습된 배경 데이터를 이용하여 추출된 프레임 이미지에서 배경을 제거하고 객체가 있는 영역만을 탐지하는 객체탐지부, 상기 객체탐지부로부터 탐지된 객체 이미지를 추출하여 수집하는 객체수집부, 상기 객체수집부로부터 수집된 객체 이미지를 CNN(Convolution Neural Network) 기반의 객체 인식 알고리즘을 이용하여 크기별 그룹으로 나누어 사전 학습하는 객체학습부 및 상기 객체학습부로부터 사전 학습된 객체 데이터를 이용하여 새로이 탐지된 객체 이미지를 식별하는 객체식별부를 포함하여 이루어지는 것을 특징으로 하는 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템을 제시한다.
이로써 본 발명은 TOD 영상 정보 속의 분위기 및 환경 특성을 고려하여 배경을 배제한 채 객체만을 효과적으로 탐지하고, 이를 심층학습을 통해 신속하고 정확하게 식별할 수 있다.
상기와 같은 기술적 과제를 해결하고자 특유한 해결 수단이 기초하고 있는 본 발명의 기술사상 및 실시 예(embodiment)에 따르면, TOD 영상 정보에서 배경을 제거한 후 객체 영역만을 탐지하고, 이를 학습 데이터 기반 딥러닝 모델을 이용하여 식별함으로써 시스템의 연산량을 최소화하면서 객체를 신속하고 정확하게 식별할 수 있다.
따라서 원거리에서도 감시 대상 공간에 출현한 객체를 효과적으로 탐지할 수 있으며, 객체 식별에 대한 신뢰성을 높일 수 있다.
여기서 본 발명의 효과들은 이상에서 언급한 효과들로 국한하지 않으며, 언급하지 않은 또 다른 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 방법을 개략적으로 나타낸 순서도이다.
도 3은 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템에서 특징점 매칭을 이용하여 파노라마 세트를 생성하는 모습을 예시한 이미지이다.
도 4는 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템에서 파노라마 세트의 GMM 평균으로 생성된 최종 파노라마 이미지이다.
도 5는 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템에서 프레임 이미지와 파노라마 세트의 이미지 간 템플릿 매칭을 통해 객체 이미지를 탐지하는 모습을 예시한 이미지이다.
도 6은 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템에서 탐지된 객체 이미지에 마스크 이미지를 생성하는 모습을 예시한 도면이다.
도 7은 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템에서 마스크 이미지를 추출하여 객체를 탐지하는 모습을 예시한 이미지이다.
도 8은 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템에서 객체 이미지를 전처리하는 모습을 예시한 도면이다.
도 9는 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템에서 객체 이미지를 전처리하는 알고리즘을 표현한 흐름도이다.
이하, 본 발명에 따른 실시 예를 첨부된 도면을 참조하여 보다 구체적으로 설명한다.
이에 앞서, 후술하는 용어들은 본 발명에서의 기능을 고려하여 정의된 것으로서, 이는 본 발명의 기술적 사상에 부합되는 개념과 당해 기술분야에서 통용 또는 통상적으로 인식되는 의미로 해석하여야 함을 명시한다.
또한, 본 발명과 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
여기서 첨부된 도면들은 기술의 구성 및 작용에 대한 설명과, 이해의 편의 및 명확성을 위해 일부분을 과장하거나 간략화하여 도시한 것으로, 각 구성요소가 실제의 크기 및 형태와 정확하게 일치하는 것은 아님을 밝힌다.
아울러 본 명세서에서 '포함하다' 또는 '구비하다', '가지다' 등의 용어는 본 명세서에서 설시(說示)하는 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해해야 한다.
아울러 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이외에도 "부" 및 "유닛"의 용어에 대한 의미는 시스템에서 목적하는 적어도 하나의 기능이나 어느 일정한 동작을 처리하는 단위 또는 역할을 하는 모듈 형태를 의미하며, 이는 하드웨어나 소프트웨어 혹은 하드웨어 및 소프트웨어의 결합 등을 통한 수단이나 독립적인 동작을 수행할 수 있는 디바이스 또는 어셈블리 등으로 구현할 수 있다.
그리고 상단, 하단, 상면, 하면, 또는 상부, 하부, 상측, 하측, 전후, 좌우 등의 용어는 각 구성요소에 있어 상대적인 위치를 구별하기 위해 편의상 사용한 것이다. 예를 들어, 도면상의 위쪽을 상부로 아래쪽을 하부로 명명하거나 지칭하고, 길이 방향을 전후 방향으로, 폭 방향을 좌우 방향으로 명명하거나 지칭할 수 있다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있다. 즉, 제1, 제2 등의 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하는 목적으로 사용될 수 있다. 예를 들어, 제1 구성요소는 본 발명의 보호범위를 벗어나지 않는 한에서 제2 구성요소로 명명할 수 있고, 또 제2 구성요소도 제1 구성요소로 명명할 수도 있다.
한편, 본 발명의 설명에서 TOD 감지 영상 중 객체가 존재하는 영역을 찾는 것을 '탐지'라고 명명하고, 객체가 무엇인지 알아내는 것을 '식별'이라 명명한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템을 구성하는 주요 구성요소는 TOD(10), 배경수집부(20), 배경학습부(30), 객체탐지부(40), 객체수집부(50), 객체학습부(60) 및 객체식별부(70)를 포함하고 있다.
TOD(10)는 감시의 대상이 되는 감시영역을 원거리에서 촬영하여 열화상 데이터를 생성한다.
배경수집부(20)는 TOD(10)가 촬영하는 전 영역의 배경을 수집 및 합성하여 여러 개의 파노라마 세트를 생성한다.
즉, 배경수집부(20)는 수집된 배경을 프레임 이미지로 저장하고, 이를 n개의 세트로 나누어 각 세트들의 프레임 이미지들은 특징점 매칭을 통해 서로 이어 붙여 n개의 파노라마 세트로 생성한다.
배경학습부(30)는 GMM(Gaussian mixed model) 분석을 통하여 각 파노라마 세트들에 대한 특징적인 분포를 구하고, 이를 이용하여 TOD(10)가 촬영하는 전 영역의 배경을 사전 학습한다.
객체탐지부(40)는 TOD(10)가 현재 촬영하는 영상 정보에서 프레임 이미지를 추출하고, 사전 학습된 배경 데이터를 이용하여 추출된 프레임 이미지에서 배경을 제거하고 객체가 있는 영역만을 탐지한다.
즉, 객체탐지부(40)는 TOD(10)가 현재 촬영하는 영상 정보에서 추출된 프레임 이미지와 파노라마 세트의 이미지 간 템플릿 매칭을 통해 객체 이미지를 탐지하고, 탐지된 객체 이미지에 마스크 이미지를 생성하고, 이를 이진화하여 배경이 제거된 식별용 객체 이미지를 잘라냄으로써 객체 식별을 위한 연산량을 줄일 수 있다.
객체수집부(50)는 객체탐지부(40)로부터 탐지된 객체 이미지를 추출하여 전처리하고, 고유 식별자를 부여하여 수집 및 데이터베이스에 저장한다.
아울러 객체수집부(50)는 객체 이미지의 비율을 유지하면서 3가지 모델의 이미지 크기별로 리사이즈(resize)와 모델 입력 이미지 사이즈로 제로 패딩(zero-padding)을 진행하여 전처리한다.
객체학습부(60)는 CNN(Convolution Neural Network) 기반의 객체 인식 알고리즘을 이용하여 객체수집부(50)로부터 수집된 객체 이미지를 크기별 그룹으로 나누어 사전 학습한다.
예를 들어, 객체 이미지 크기는 20px×20px, 50px×50px, 100px×100px로 나누어 그 각각의 객체를 미리 학습할 수 있다.
객체식별부(70)는 객체학습부(60)로부터 사전 학습된 객체 데이터를 이용하여 새로이 탐지된 객체 이미지를 식별한다.
도 1 내지 도 9를 참조하여, 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 시스템을 이용한 TOD 객체 탐지 후 식별 방법을 설명하면 다음과 같다.
(a) 배경 수집 및 파노라마 세트 생성
TOD(10)가 촬영하는 전 영역의 배경을 수집 및 합성하여 설정값에 따라 여러 개의 파노라마 세트를 생성한다.
이때, 수집된 배경을 프레임 이미지로 저장하고, 이를 n개의 세트로 나누어 각 세트들의 프레임 이미지들은 특징점 매칭을 통해 서로 이어 붙여 n개의 파노라마 세트로 생성한다.
한편, 도 3은 특징점 매칭을 이용하여 파노라마 세트를 생성하는 모습을 예시한다.
(b) 배경 학습
GMM(Gaussian mixed model) 분석을 통하여 상기 각 파노라마 세트들에 대한 특징적인 분포를 구하고, 이를 이용하여 TOD(10)가 촬영하는 전 영역의 배경을 종합해 사전 학습한다.
이때, 파노라마 세트의 GMM 평균으로 최종 파노라마 이미지를 생성한다.
여기서 TOD(10) 영상 정보는 기후, 시간대 별로 상이하므로 배경 학습은 시스템의 운용 대기시간을 활용하여 학습하고 객체 식별까지의 사이클은 구분하여 운용하는 것이 바람직하다.
한편, 도 4는 파노라마 세트의 GMM 평균으로 생성된 최종 파노라마 이미지를 예시한다.
(c) 객체 탐지
TOD(10)가 현재 촬영하는 영상 정보에서 프레임 이미지를 추출하고, 사전 학습된 배경 데이터를 이용하여 추출된 프레임 이미지에서 배경을 제거하고 객체가 있는 영역만을 탐지한다.
이때, TOD(10)가 현재 촬영하는 영상 정보에서 추출된 프레임 이미지와 최종 파노라마 세트의 이미지를 바탕으로 상호 간의 템플릿 매칭을 통한 차이값으로 객체 이미지를 탐지하고, 탐지된 객체 이미지에 마스크 이미지를 생성하고, 이를 이진화하여 배경이 제거된 식별용 객체 이미지를 잘라낸다.
한편, 도 5는 프레임 이미지와 파노라마 세트의 이미지 간 템플릿 매칭을 통해 객체 이미지를 탐지하는 모습을 예시하고, 도 6은 탐지된 객체 이미지에 마스크 이미지를 생성하는 모습을 예시하며, 도 7은 마스크 이미지를 추출하여 객체를 탐지하는 모습을 예시한다.
(d) 객체 이미지 추출 및 수집
탐지된 객체 이미지를 추출하여 전처리하고, 사람, 차, 동물 등 객체의 종류에 따라 고유 식별자를 부여하는 라벨링을 수행하고, 이를 수집한다.
이때, 객체 이미지의 비율을 유지하면서 3가지 모델의 이미지 크기별로 리사이즈(resize)와 모델 입력 이미지 사이즈로 제로 패딩(zero-padding)을 진행하여 전처리한다.
한편, 도 8은 객체 이미지를 전처리하는 모습을 예시하고, 도 9는 객체 이미지를 전처리하는 알고리즘을 표현한 흐름도이다.
(e) 객체 학습
수집된 객체 이미지를 CNN(Convolution Neural Network) 기반의 객체 인식 알고리즘을 이용하여 크기별 그룹으로 나누어 사전 학습한다.
예를 들어, 객체 이미지 크기는 20px×20px, 50px×50px, 100px×100px로 나누어 그 각각의 객체를 미리 학습할 수 있다.
(f) 객체 식별
사전 학습된 객체 데이터를 이용하여 새로이 탐지된 객체 이미지를 식별한다.
이후, 유효 객체 이미지를 도시하거나 탐지 보고서 생성, 알람, 추적 등의 작동을 연계하여 수행할 수 있다.
이처럼 본 발명의 실시 예에 따른 딥러닝 기반의 TOD 객체 탐지 후 식별 방법은 TOD(10) 영상 정보에서 배경을 제거한 후 객체 영역만을 탐지하고, 이를 학습 데이터 기반 딥러닝 모델을 이용하여 식별할 수 있다.
따라서 TOD(10) 영상 정보의 낮은 화소와, 감시 영역의 날씨 및 온도 변화 등으로 인한 식별력 저하나 오경보를 방지하므로 객체를 신속하고 정확하게 식별할 수 있다.
한편, 상술한 실시 예를 수행하는 과정은 소정의 기록 매체(예를 들어, 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이뤄질 수 있음은 물론이다.
여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.
이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 실시 예를 수행할 수 있고, 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.
한편, 본 발명은 상술한 실시 예(embodiment) 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 안에서 예시되지 않은 여러 가지로 다양하게 변형하고 응용할 수 있음은 물론이고 각 구성요소의 치환 및 균등한 타 실시 예로 변경하여 폭넓게 적용할 수도 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백하다.
그러므로 본 발명의 기술적 특징을 변형하고 응용하는 것에 관계된 내용은 본 발명의 기술사상 및 범위 내에 포함되는 것으로 해석하여야 할 것이다.
10: TOD 20: 배경수집부
30: 배경학습부 40: 객체탐지부
50: 객체수집부 60: 객체학습부
70: 객체식별부

Claims (6)

  1. 다음의 각 단계를 포함하여 이루어지는, 딥러닝 기반의 TOD 객체 탐지 후 식별 방법.
    (a) TOD(Thermal Observation Device)가 촬영하는 전 영역의 배경을 수집 및 합성하여 여러 개의 파노라마 세트를 생성하는 단계
    (b) GMM(Gaussian mixed model) 분석을 통하여 상기 각 파노라마 세트들에 대한 특징적인 분포를 구하고, 이를 이용하여 상기 TOD가 촬영하는 전 영역의 배경을 사전 학습하는 단계
    (c) 상기 TOD가 현재 촬영하는 영상 정보에서 프레임 이미지를 추출하고, 상기 사전 학습된 배경 데이터를 이용하여 추출된 프레임 이미지에서 배경을 제거하고 객체가 있는 영역만을 탐지하는 단계
    (d) 탐지된 객체 이미지를 추출하여 전처리하고, 고유 식별자를 부여하는 라벨링을 수행하여 수집하는 단계
    (e) 수집된 객체 이미지를 CNN(Convolution Neural Network) 기반의 객체 인식 알고리즘을 이용하여 크기별 그룹으로 나누어 사전 학습하는 단계
    (f) 사전 학습된 객체 데이터를 이용하여 새로이 탐지된 객체 이미지를 식별하는 단계
  2. 제1항에 있어서,
    상기 (a) 단계에서, 수집된 배경을 프레임 이미지로 저장하고, 이를 n개의 세트로 나누어 각 세트들의 프레임 이미지들은 특징점 매칭을 통해 서로 이어 붙여 n개의 파노라마 세트로 생성하는, 것을 특징으로 하는 딥러닝 기반의 TOD 영상 속 객체 탐지 후 식별 방법.
  3. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 TOD가 현재 촬영하는 영상 정보에서 추출된 프레임 이미지와 상기 파노라마 세트의 이미지 간 템플릿 매칭을 통해 객체 이미지를 탐지하고, 탐지된 객체 이미지에 마스크 이미지를 생성하고, 이를 이진화하여 배경이 제거된 식별용 객체 이미지를 잘라내는, 것을 특징으로 하는 딥러닝 기반의 TOD 영상 속 객체 탐지 후 식별 방법.
  4. 제1항에 있어서,
    상기 (d) 단계에서, 전처리는 객체 이미지의 비율을 유지하면서 3가지 모델의 이미지 크기별로 리사이즈(resize)와 모델 입력 이미지 사이즈로 제로 패딩(zero-padding)을 진행하여 전처리하는, 것을 특징으로 하는 딥러닝 기반의 TOD 영상 속 객체 탐지 후 식별 방법.
  5. 제1항에 있어서,
    상기 (e) 단계에서, 객체 이미지 크기는 20px×20px, 50px×50px, 100px×100px로 나누어 그 각각의 객체를 미리 학습하는, 것을 특징으로 하는 딥러닝 기반의 TOD 영상 속 객체 탐지 후 식별 방법.
  6. TOD(Thermal Observation Device)가 촬영하는 전 영역의 배경을 수집 및 합성하여 여러 개의 파노라마 세트를 생성하는 배경수집부;
    GMM(Gaussian mixed model) 분석을 통하여 상기 각 파노라마 세트들에 대한 특징적인 분포를 구하고, 이를 이용하여 상기 TOD가 촬영하는 전 영역의 배경을 사전 학습하는 배경학습부;
    상기 TOD가 현재 촬영하는 영상 정보에서 프레임 이미지를 추출하고, 상기 사전 학습된 배경 데이터를 이용하여 추출된 프레임 이미지에서 배경을 제거하고 객체가 있는 영역만을 탐지하는 객체탐지부;
    상기 객체탐지부로부터 탐지된 객체 이미지를 추출하여 전처리하고, 고유 식별자를 부여하여 수집하는 객체수집부;
    상기 객체수집부로부터 수집된 객체 이미지를 CNN(Convolution Neural Network) 기반의 객체 인식 알고리즘을 이용하여 크기별 그룹으로 나누어 사전 학습하는 객체학습부; 및
    상기 객체학습부로부터 사전 학습된 객체 데이터를 이용하여 새로이 탐지된 객체 이미지를 식별하는 객체식별부;
    를 포함하여 이루어지는, 것을 특징으로 하는 딥러닝 기반의 TOD 영상 속 객체 탐지 후 식별 시스템.
KR1020210092631A 2021-07-15 2021-07-15 딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법 KR20230012171A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210092631A KR20230012171A (ko) 2021-07-15 2021-07-15 딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210092631A KR20230012171A (ko) 2021-07-15 2021-07-15 딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230012171A true KR20230012171A (ko) 2023-01-26

Family

ID=85110252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210092631A KR20230012171A (ko) 2021-07-15 2021-07-15 딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230012171A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101938120B1 (ko) 2018-09-07 2019-04-11 안도균 열화상 촬영 장치 및 이를 이용한 열화상 분석 정보를 제공하는 방법
KR101985869B1 (ko) 2017-08-16 2019-06-04 군산대학교 산학협력단 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법
KR102195072B1 (ko) 2019-07-09 2020-12-24 주식회사 허브테크 열화상 카메라 시스템 및 그 구동 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101985869B1 (ko) 2017-08-16 2019-06-04 군산대학교 산학협력단 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법
KR101938120B1 (ko) 2018-09-07 2019-04-11 안도균 열화상 촬영 장치 및 이를 이용한 열화상 분석 정보를 제공하는 방법
KR102195072B1 (ko) 2019-07-09 2020-12-24 주식회사 허브테크 열화상 카메라 시스템 및 그 구동 방법

Similar Documents

Publication Publication Date Title
JP6018674B2 (ja) 被写体再識別のためのシステム及び方法
TWI759286B (zh) 用於藉由機器學習訓練物件分類器之系統及方法
US9934453B2 (en) Multi-source multi-modal activity recognition in aerial video surveillance
US8175333B2 (en) Estimator identifier component for behavioral recognition system
Yousif et al. Fast human-animal detection from highly cluttered camera-trap images using joint background modeling and deep learning classification
US8300924B2 (en) Tracker component for behavioral recognition system
US8200011B2 (en) Context processor for video analysis system
Vahab et al. Applications of object detection system
Bonomi et al. Dynamic texture analysis for detecting fake faces in video sequences
US20180241972A1 (en) Method of detecting critical objects from cctv video using metadata filtering
Hammoud et al. Multi-source multi-modal activity recognition in aerial video surveillance
WO2022213540A1 (zh) 目标检测、属性识别与跟踪方法及系统
Pathak et al. Anomaly localization in topic-based analysis of surveillance videos
Xu et al. Unusual event detection in crowded scenes using bag of LBPs in spatio-temporal patches
KR20110035662A (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
Gupta et al. Early wildfire smoke detection in videos
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
Roy et al. Local anomaly detection in videos using object-centric adversarial learning
Yang et al. Video anomaly detection for surveillance based on effective frame area
Laptev et al. Visualization system for fire detection in the video sequences
Agrawal et al. Segmentation of moving objects using numerous background subtraction methods for surveillance applications
Taha et al. Exploring behavior analysis in video surveillance applications
KR20230012171A (ko) 딥러닝 기반의 tod 객체 탐지 후 식별 시스템 및 방법
KR102566614B1 (ko) 영상에 포함된 객체를 분류하는 장치, 방법 및 컴퓨터 프로그램