KR102344005B1 - super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치 - Google Patents

super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치 Download PDF

Info

Publication number
KR102344005B1
KR102344005B1 KR1020190164769A KR20190164769A KR102344005B1 KR 102344005 B1 KR102344005 B1 KR 102344005B1 KR 1020190164769 A KR1020190164769 A KR 1020190164769A KR 20190164769 A KR20190164769 A KR 20190164769A KR 102344005 B1 KR102344005 B1 KR 102344005B1
Authority
KR
South Korea
Prior art keywords
target
srcnn
model
learning
target tracking
Prior art date
Application number
KR1020190164769A
Other languages
English (en)
Other versions
KR20210073944A (ko
Inventor
정영규
남미영
이준영
박영준
Original Assignee
정영규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정영규 filed Critical 정영규
Priority to KR1020190164769A priority Critical patent/KR102344005B1/ko
Publication of KR20210073944A publication Critical patent/KR20210073944A/ko
Application granted granted Critical
Publication of KR102344005B1 publication Critical patent/KR102344005B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치가 개시된다. 일 실시예에 따른 표적 추적 장치에 의해 수행되는 표적 추적 방법은, 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보로부터 표적 영역을 수신하는 단계; 상기 수신된 표적 영역을 표적 추적을 위하여 생성된 딥러닝 모델에 학습시킴에 따라 학습 결과를 획득하는 단계; 상기 획득된 학습 결과로서 추출된 표적 특징을 표적 검출을 위하여 구성된 표적 모델을 이용하여 표적을 검출하는 단계; 및 상기 검출된 표적에 기초하여 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 생성하는 단계를 포함할 수 있다.

Description

super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치{HIGH PERFORMANCE TARGET TRACKING DEVICE USING SUPER RESOLUTION CONVOLUTIONAL NEURAL NETWORK}
아래의 설명은 영상 정보로부터 표적을 추적하는 기술에 관한 것이다.
최근 들어 전자 및 통신 산업의 발달로 인하여, 은행, 박물관, 중요 문화재, 국가 산업 기관 등과 같은 주요 지역뿐만 아니라 기업체 및 일반 가정에서도 손쉽게 보안 및 방범 시스템을 구축하여 출입자 및 외부 침입자 등을 실시간으로 촬영하고, 감시함에 따라 감시 영역의 각종 이상 상태를 감지하는 복수의 감지 수단들과 이러한 감지 수단들로부터 감지된 상황을 유무선으로 송수신하는 수단들을 구비하여 운영자에게 통보하는 다양한 장치 및 방법들이 제안되고 있다.
감시 및 추적 방법들을 간략히 살펴보면, 접근 센서를 이용해 일정 공간 내로 표적(물체)의 접근을 감지하는 방법, 영상 처리 기술로 표적의 위치 및 움직임을 감지하는 방법, 소리의 방향을 감지해서 표적의 위치를 감지하는 방법들이 사용되고 있으며, 보다 고급 기술로는 레이더, 레이저 및 초음파 등을 사용하여 표적의 출현을 감지하고 그 위치 및 움직임을 감지하고 있다.
도 1을 참고하면, 일반적인 표적 추적 시스템을 설명하기 위한 도면이다. 표적 추적 시스템은 표적(탐색) 영역을 선택함에 따라 선택된 표적 영역의 특징을 추출하고, 표적을 검출하기 위하여 구성된 표적 모델에 기반하여 추출된 표적 영역의 특징을 학습시킴에 따라 표적을 검출하고, 검출된 표적에 대한 추적 좌표를 생성한다.
이러한, 종래의 표적 추적 시스템은 복잡 배경하에서 배경과 표적간의 경계가 모호해서 표적의 엣지를 추출하기 어려운 단점이 있다. 이러한 문제를 해결하기 위해서 표적의 엣지를 강화하거나 배경과 표적을 분리할 수 있는 기술이 필요하다.
본 발명은 복잡 배경하에서 적응적으로 표적을 추적하는 알고리즘의 경우 복잡한 배경 때문에 표적의 특징이 정확하게 생성되지 않는 문제를 해결하기 위해서 표적 영역에 대해서 super resolution 알고리즘을 적용하여 표적의 엣지를 강화하여 복잡 환경에서 효과적으로 표적을 추적하는 방법 및 장치를 제공할 수 있다.
표적 추적 장치에 의해 수행되는 표적 추적 방법은, 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보로부터 표적 영역을 수신하는 단계; 상기 수신된 표적 영역을 표적 추적을 위하여 생성된 딥러닝 모델에 학습시킴에 따라 학습 결과를 획득하는 단계; 상기 획득된 학습 결과로서 추출된 표적 특징을 표적 검출을 위하여 구성된 표적 모델을 이용하여 표적을 검출하는 단계; 및 상기 검출된 표적에 기초하여 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 생성하는 단계를 포함할 수 있다.
상기 학습 결과를 획득하는 단계는, 표적 추적을 위하여 SRCNN 기반의 딥러닝 모델을 생성하고, 상기 수신된 표적 영역을 상기 생성된 SRCNN 기반의 딥러닝 모델에 입력하여 학습시키는 단계를 포함할 수 있다.
상기 학습 결과를 획득하는 단계는 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈에서 배경별 SRCNN 모델 선택 모듈로부터 선택된 학습 모델을 이용하여 상기 수신된 표적 영역을 학습시키는 단계를 포함할 수 있다.
상기 학습 결과를 획득하는 단계는, 상기 배경별 SRCNN 모델 선택 모듈에서 도메인별 SRCNN 모델을 학습시킴에 따라 생성된 원거리 영상 및 근거리 영상에 대한 배경 정보를 포함하는 super-resolution 모델을 저장하고, 상기 저장된 super-resolution 모델을 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈로 전송하는 단계를 포함할 수 있다.
상기 학습 결과를 획득하는 단계는, 상기 도메인별 SRCNN 모델 생성 모듈에서 원거리 영상 및 근거리 영상을 포함하는 영상 정보를 수집하고, 상기 수집된 원거리 영상 및 근거리 영상을 상기 도메인별 SRCNN 모델 생성 모듈을 통하여 SRCNN 기반한 엣지 복원 알고리즘을 학습하는 단계를 포함할 수 있다.
상기 표적 영역을 수신하는 단계는, 상기 영상 정보에 존재하는 배경 정보로부터 복잡도를 판단하고, 상기 판단된 배경 정보의 복잡도가 기 설정된 기준 이상 복잡한 것으로 판단됨에 따라 상기 판단된 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 수신하는 단계를 포함할 수 있다.
표적 추적 장치는, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보로부터 표적 영역을 수신하고, 상기 수신된 표적 영역을 표적 추적을 위하여 생성된 딥러닝 모델에 학습시킴에 따라 학습 결과를 획득하고, 상기 획득된 학습 결과로서 추출된 표적 특징을 표적 검출을 위하여 구성된 표적 모델을 이용하여 표적을 검출하고, 상기 검출된 표적에 기초하여 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 생성할 수 있다.
기존 적응형 표적 추적기가 배경이 복잡한 환경에서 추적에 실패하는 문제를 해결할 수 있다.
다양한 환경에서 생성된 SRCNN 기반에 엣지 강화 알고리즘을 기반으로 추적 성능을 향상 시킬 수 있는 super-resolution 기반에 고성능의 표적 추적 장치를 제공할 수 있다.
도 1은 표적 추적 시스템의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 표적 추적 장치의 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 표적 추적 장치에서 표적을 추적한 것을 나타낸 예이다.
도 4는 일 실시예에 따른 표적 추적 장치에서 표적을 추정하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 컴퓨터 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 2는 일 실시예에 따른 표적 추적 장치의 동작을 설명하기 위한 도면이다.
실시예에서는 SRCNN을 이용한 고성능의 표적 추적 장치의 동작을 설명하기로 한다. 실시예에 따른 표적 추적 장치는 도 5를 통해 도시된 컴퓨터 장치로 구현될 수 있다.
표적 추적 장치는 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보로부터 표적 영역을 수신할 수 있다. 표적 추적 장치는 영상 정보에 존재하는 배경 정보의 복잡도를 판단할 수 있다(201). 이때, 복잡배경 추적 요청이 있을 시 이를 복잡배경으로 판단하고 수행할 수 있다. 예를 들면, 표적 추적 장치는 영상에 존재하는 배경의 복잡도를 판단하기 위한 기준값이 설정되어 있을 수 있으며, 설정된 기준값과 배경의 복잡도를 판단한 판단 결과를 비교하여 배경이 복잡한 지 여부를 판단할 수 있다. 표적 추적 장치는 판단된 배경 정보의 복잡도가 기 설정된 기준 이상 복잡한 것으로 판단됨에 따라 판단된 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 수신할 수 있다(202). 이때, 표적 추적 장치는 사전에 영상 정보에 대한 표적 영역이 생성(217)되어 있을 수 있다.
표적 추적 장치는 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈(204)에서 배경별 SRCNN 모델 선택 모듈(210)로부터 선택된 학습 모델을 이용하여 수신된 표적 영역을 학습시킬 수 있다. 예를 들면, 실제 표적이 기동하는 배경은 산, 인공물(아파트, 건물 등) 등일 수 있다. 이때, 협소영역 SRCNN 모듈(204)은 배경별 SRCNN 모델 선택 모듈(210)로부터 선택된 학습 모델을 대상으로 학습을 수행할 수 있다. 협소영역 SRCNN 모듈(204)을 통하여 고속으로 처리 가능한 경량 SRCNN에 기반한 고성능의 표적 추정 장치가 제공될 수 있다. 이때, 협소영역 SRCNN 모듈(204)은 표적크기보다 약 1.2 배에서 1.5배의 영역일 수 있다.
표적 추적 장치는 배경별 SRCNN 모델 선택 모듈(210)에서 도메인별 SRCNN 모델 생성 모듈(211)을 학습시킴에 따라 생성된 원거리 영상 및 근거리 영상에 대한 배경 정보를 포함하는 super-resolution 모델을 저장할 수 있다. 표적 추적 장치는 저장된 super-resolution 모델을 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈(204)로 전송할 수 있다. 배경별 SRCNN 모델 선택 모듈(210)은 예를 들면, 도메인별 SRCNN 모델 생성 모듈(211)에서 산 배경, 하늘 배경, 돌산 배경 등 다양한 배경을 대상으로 생성된 super-resolution 모델을 저장할 수 있다. 배경별 SRCNN 모델 선택 모듈(210)에서 배경은 산이 주요하고, 나머지는 아파트나 건물 배경을 염두에 두고 모델을 학습할 수 있다. 이때, 표적 추적 장치는 영상 정보로부터 복잡 배경의 추적을 요청할 수 있고(210), 복잡 배경의 추적을 요청함에 따라 배경 모드를 선택할 수 있다(214). 표적 추적 장치는 영상 정보로부터 일반 배경 의 추적(216) 및 복잡 배경의 추적을 요청(217)함에 따라 표적 영역을 생성할 수 있다. 표적 추적 장치는 복잡배경 추정 요청과 이와 연계한 배경모드 선택에 따라 복잡 배경 하에서 고성능의 추적이 가능하다. 일반 배경은 하늘 배경이나 원거리 산배경 과 같이 표적 추적이 용의한 배경이고, 복잡 배경은 표적과 배경간의 경계가 모호해서 추적이 어려운 배경을 의미할 수 있다.
표적 추적 장치는 도메인별 SRCNN 모델 생성 모듈(211)에서 원거리 영상 및 근거리 영상을 포함하는 영상 정보를 수집할 수 있다. 이때, 근거리 영상 획득 모듈(212)을 통하여 근거리 영상을 수집할 수 있고, 원거리 영상 획득 모듈(213)을 통하여 원거리 영상을 수집할 수 있다. 예를 들면, 도메인별 SRCNN 모델 생성 모듈(211)은 원거리에서 산을 지나가는 드론 영상과 근거리에서 산을 지나가는 드론 영상, 그리고 돌산을 배경으로 지나가는 드론 영상 등을 대상으로 수집된 근거리 영상과 원거리 영상을 이용하여 SRCNN 기반한 엣지 복원 알고리즘을 학습할 수 있다. 다시 말해서, 표적 추적 장치는 수집된 원거리 영상 및 근거리 영상을 도메인별 SRCNN 모델 생성 모듈(211)을 통하여 SRCNN 기반한 엣지 복원 알고리즘을 학습할 수 있다.
또한, 표적 추적 장치는 판단된 배경 정보의 복잡도가 복잡하지 않을 것으로 판단됨에 따라 판단된 배경 정보를 포함하는 영상 정보와 관련하여 선택된 표적 영역에 대한 표적 특징을 추출할 수 있다(203). 이때, 표적 추적 장치는 사전에 영상 정보에 대한 표적 영역이 생성(217)되어 있을 수 있다.
표적 추적 장치는 수신된 표적 영역을 협소영역 SRCNN 모듈(204)에 입력하여 학습을 수행할 수 있다. 표적 추적 장치는 협소영역 SRCNN 모듈(204)에 입력하여 학습을 수행한 학습 결과로서 표적 특징을 추출할 수 있다. 이때, 표적 특징 추출 모듈(203)에 의하여 표적 특징이 추출될 수 있다. 표적 추적 장치는 적어도 하나 이상의 표적 특징을 추출할 수 있다.
표적 추적 장치는 추출된 표적 특징을 표적 검출 모듈(206)을 통하여 검출할 수 있다. 표적 추적 장치는 추출된 표적 특징을 표적 검출을 위하여 구성된 표적 모델(204)에 입력하여 학습시킬 수 있다. 이때, 표적 모델(205)은 표적을 검출하기 위한 딥러닝 모델을 의미할 수 있으며, SRCNN, CNN, DNN, RNN, ANN 등 다양한 딥러닝 모델이 생성될 수 있다.
표적 추적 장치는 검출된 표적에 대한 좌표 정보를 추정할 수 있다. 표적 추적 장치는 검출된 표적에 대하여 추정된 좌표 정보를 표적 좌표 드래프트 감소 모듈(207)을 통해 좌표 드래프트를 감소시킬 수 있다. 표적 좌표 드래프트 감소 모듈(207)은 표적 추적이 이루어지면 좌표가 크게 이동할 수 있으며, 이는 때때로 추적성능을 저하시키므로, 일정 배율이상 추적 좌표가 이동하지 않도록 가중치를 주는 것이다.
표적 추적 장치는 검출된 표적에 기초하여 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 생성할 수 있다. 표적 추적 장치는 검출된 표적에 대한 좌표 정보를 생성(208)할 수 있다. 이때, 생성된 표적 영역(217)에 표적 좌표가 매핑될 수 있다.
도 3은 일 실시예에 따른 표적 추적 장치에서 표적을 추적한 것을 나타낸 예이다. 영상 정보로부터 수신된 표적(탐색) 영역에서 표적이 검출될 수 있다. 영상 정보에 탐색 영역과 표적이 표시된 것을 확인할 수 있다.
도 4는 일 실시예에 따른 표적 추적 장치에서 표적을 추정하는 방법을 설명하기 위한 흐름도이다.
단계(410)에서 표적 추적 장치는 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보로부터 표적 영역을 수신할 수 있다. 표적 추적 장치는 영상 정보에 존재하는 배경 정보로부터 복잡도를 판단하고, 판단된 배경 정보의 복잡도가 기 설정된 기준 이상 복잡한 것으로 판단됨에 따라 판단된 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 수신할 수 있다.
단계(420)에서 표적 추적 장치는 수신된 표적 영역을 표적 추적을 위하여 생성된 딥러닝 모델에 학습시킴에 따라 학습 결과를 획득할 수 있다. 표적 추적 장치는 표적 추적을 위하여 SRCNN 기반의 딥러닝 모델을 생성하고, 수신된 표적 영역을 생성된 SRCNN 기반의 딥러닝 모델에 입력하여 학습시킬 수 있다. 표적 추적 장치는 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈에서 배경별 SRCNN 모델 선택 모듈로부터 선택된 학습 모델을 이용하여 수신된 표적 영역을 학습시킬 수 있다. 표적 추적 장치는 배경별 SRCNN 모델 선택 모듈에서 도메인별 SRCNN 모델을 학습시킴에 따라 생성된 원거리 영상 및 근거리 영상에 대한 배경 정보를 포함하는 super-resolution 모델을 저장하고, 저장된 super-resolution 모델을 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈로 전송할 수 있다. 표적 추적 장치는 도메인별 SRCNN 모델 생성 모듈에서 원거리 영상 및 근거리 영상을 포함하는 영상 정보를 수집하고, 수집된 원거리 영상 및 근거리 영상을 도메인별 SRCNN 모델 생성 모듈을 통하여 SRCNN 기반한 엣지 복원 알고리즘을 학습할 수 있다.
단계(430)에서 표적 추적 장치는 획득된 학습 결과로서 추출된 표적 특징을 표적 검출을 위하여 구성된 표적 모델을 이용하여 표적을 검출할 수 있다.
단계(440)에서 표적 추적 장치는 검출된 표적에 기초하여 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 생성할 수 있다.
도 5는 일 실시예에 따른 컴퓨터 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 5는 다양한 실시예들에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 예를 들어, 본 발명의 실시예들에 따른 표적 추적 장치는 도 5를 통해 도시된 컴퓨터 장치(100)에 의해 구현될 수 있다.
도 5에 도시된 바와 같이 컴퓨터 장치(100)는 본 발명의 실시예들에 따른 표적 추적 방법을 실행하기 위한 구성요소로서, 메모리(110), 프로세서(120), 통신 인터페이스(130) 그리고 입출력 인터페이스(140)를 포함할 수 있다.
메모리(110)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(110)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(100)에 포함될 수도 있다. 또한, 메모리(110)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(110)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(110)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(130)를 통해 메모리(110)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(160)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(100)의 메모리(110)에 로딩될 수 있다.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 인터페이스(130)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(130)는 네트워크(160)를 통해 컴퓨터 장치(100)가 외부 기기, 예컨대 서버와 서로 통신하기 위한 기능을 제공할 수 있다. 일 예로, 컴퓨터 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(130)의 제어에 따라 네트워크(160)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(160)를 거쳐 컴퓨터 장치(100)의 통신 인터페이스(130)를 통해 컴퓨터 장치(100)로 수신될 수 있다. 통신 인터페이스(130)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 파일 등은 컴퓨터 장치(100)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(140)는 입출력 장치(150)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드, 카메라 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(150)는 컴퓨터 장치(100)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(100)는 도 5의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(100)는 상술한 입출력 장치(150) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
통신 방식은 제한되지 않으며, 네트워크(160)가 포함할 수 있는 통신망(일 예로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 유선/무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(160)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(160)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 표적 추적 장치에 의해 수행되는 표적 추적 방법에 있어서,
    기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보로부터 표적 영역을 수신하는 단계;
    상기 수신된 표적 영역을 표적 추적을 위하여 생성된 딥러닝 모델에 학습시킴에 따라 학습 결과를 획득하는 단계;
    상기 획득된 학습 결과로서 추출된 표적 특징을 표적 검출을 위하여 구성된 표적 모델을 이용하여 표적을 검출하는 단계; 및
    상기 검출된 표적에 기초하여 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 생성하는 단계
    를 포함하고,
    상기 학습 결과를 획득하는 단계는,
    상기 수신된 표적 영역을 SRCNN 기반의 딥러닝 모델에 입력하여 학습시키고, 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈에서 배경별 SRCNN 모델 선택 모듈로부터 선택된 학습 모델을 이용하여 상기 수신된 표적 영역을 학습시키고, 상기 배경별 SRCNN 모델 선택 모듈에서 도메인별 SRCNN 모델을 학습시킴에 따라 생성된 원거리 영상 및 근거리 영상에 대한 배경 정보를 포함하는 super-resolution 모델을 저장하고, 상기 저장된 super-resolution 모델을 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈로 전송하고, 상기 도메인별 SRCNN 모델 생성 모듈에서 원거리 영상 및 근거리 영상을 포함하는 영상 정보를 수집하고, 상기 수집된 원거리 영상 및 근거리 영상을 상기 도메인별 SRCNN 모델 생성 모듈을 통하여 SRCNN 기반한 엣지 복원 알고리즘을 학습하는 단계
    를 포함하는 표적 추적 방법.
  2. 제1항에 있어서,
    상기 학습 결과를 획득하는 단계는,
    표적 추적을 위하여 SRCNN 기반의 딥러닝 모델을 생성하는 단계
    를 포함하는 표적 추적 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 표적 영역을 수신하는 단계는,
    상기 영상 정보에 존재하는 배경 정보로부터 복잡도를 판단하고, 상기 판단된 배경 정보의 복잡도가 기 설정된 기준 이상 복잡한 것으로 판단됨에 따라 상기 판단된 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 수신하는 단계
    를 포함하는 표적 추적 방법.
  7. 표적 추적 장치에 있어서,
    컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보로부터 표적 영역을 수신하고,
    상기 수신된 표적 영역을 표적 추적을 위하여 생성된 딥러닝 모델에 학습시킴에 따라 학습 결과를 획득하고,
    상기 획득된 학습 결과로서 추출된 표적 특징을 표적 검출을 위하여 구성된 표적 모델을 이용하여 표적을 검출하고,
    상기 검출된 표적에 기초하여 기 설정된 기준 이상의 복잡도를 가진 배경 정보를 포함하는 영상 정보에 대한 표적 영역을 생성하는 것을 포함하고,
    상기 적어도 하나의 프로세서에서,
    상기 수신된 표적 영역을 SRCNN 기반의 딥러닝 모델에 입력하여 학습시키고, 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈에서 배경별 SRCNN 모델 선택 모듈로부터 선택된 학습 모델을 이용하여 상기 수신된 표적 영역을 학습시키고, 상기 배경별 SRCNN 모델 선택 모듈에서 도메인별 SRCNN 모델을 학습시킴에 따라 생성된 원거리 영상 및 근거리 영상에 대한 배경 정보를 포함하는 super-resolution 모델을 저장하고, 상기 저장된 super-resolution 모델을 기 설정된 범위 이하의 영역의 표적 추적을 수행하기 위한 협소영역 SRCNN 모듈로 전송하고, 상기 도메인별 SRCNN 모델 생성 모듈에서 원거리 영상 및 근거리 영상을 포함하는 영상 정보를 수집하고, 상기 수집된 원거리 영상 및 근거리 영상을 상기 도메인별 SRCNN 모델 생성 모듈을 통하여 SRCNN 기반한 엣지 복원 알고리즘을 학습하는
    것을 특징으로 하는 표적 추적 장치.
KR1020190164769A 2019-12-11 2019-12-11 super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치 KR102344005B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190164769A KR102344005B1 (ko) 2019-12-11 2019-12-11 super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190164769A KR102344005B1 (ko) 2019-12-11 2019-12-11 super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치

Publications (2)

Publication Number Publication Date
KR20210073944A KR20210073944A (ko) 2021-06-21
KR102344005B1 true KR102344005B1 (ko) 2021-12-27

Family

ID=76599906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190164769A KR102344005B1 (ko) 2019-12-11 2019-12-11 super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치

Country Status (1)

Country Link
KR (1) KR102344005B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016207107A (ja) * 2015-04-28 2016-12-08 キヤノン株式会社 画像認識装置
JP2017156988A (ja) * 2016-03-02 2017-09-07 三菱電機マイコン機器ソフトウエア株式会社 物体検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016207107A (ja) * 2015-04-28 2016-12-08 キヤノン株式会社 画像認識装置
JP2017156988A (ja) * 2016-03-02 2017-09-07 三菱電機マイコン機器ソフトウエア株式会社 物体検出装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Weichun Liu 등, A Novel Method for Small Object Tracking Based on Super-Resolution Convolutional Neural Network, ICISCAE.(2019.09.28.)*
최인재 등, 합성곱 신경망과 영상 개선 신경망을 이용한 저해상도 영상 객체 인식, 정보과학회논문지(2018.08.)

Also Published As

Publication number Publication date
KR20210073944A (ko) 2021-06-21

Similar Documents

Publication Publication Date Title
KR102225093B1 (ko) 카메라 포즈 추정 장치 및 방법
US10726264B2 (en) Object-based localization
CN109084746B (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
US10402984B2 (en) Monitoring
EP2915138B1 (en) Systems and methods of merging multiple maps for computer vision based tracking
US9098740B2 (en) Apparatus, method, and medium detecting object pose
US11288836B2 (en) Apparatus and method for managing feature point map
CN113196296A (zh) 使用几何上下文检测人群中的对象
WO2016025713A1 (en) Three-dimensional hand tracking using depth sequences
CN104769640A (zh) 使用多个传感器来进行绘图与定位
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7332238B2 (ja) タスク固有のデータ利用のための物理学により誘導されたディープマルチモーダル埋め込みのための方法及び装置
US20230025238A1 (en) Anomalous region detection with local neural transformations
US20220230350A1 (en) Position recognition method and system based on visual information processing
CN112837239B (zh) 毫米波雷达的残影消除方法、装置及计算机可读介质
Goldman et al. Robust epipolar geometry estimation using noisy pose priors
KR102344005B1 (ko) super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치
KR20210057586A (ko) 블라인드 워터마킹 기술을 이용한 카메라 기반 측위 방법 및 시스템
Istenic et al. Mission-time 3D reconstruction with quality estimation
Farazi et al. Real-time visual tracking and identification for a team of homogeneous humanoid robots
KR20200049277A (ko) 실시간 표적인식형 표적 추적 방법 및 장치
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
KR101834084B1 (ko) 다중 객체 추적 방법 및 장치
Fang et al. Understanding human-object interaction in RGB-D videos for human robot interaction
KR101962933B1 (ko) 해상 기동 물체 탐지 추적 방법 및 해상 기동 물체 탐지 추적 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant