KR102539001B1 - 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법 - Google Patents

영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법 Download PDF

Info

Publication number
KR102539001B1
KR102539001B1 KR1020200168700A KR20200168700A KR102539001B1 KR 102539001 B1 KR102539001 B1 KR 102539001B1 KR 1020200168700 A KR1020200168700 A KR 1020200168700A KR 20200168700 A KR20200168700 A KR 20200168700A KR 102539001 B1 KR102539001 B1 KR 102539001B1
Authority
KR
South Korea
Prior art keywords
image
entropy
change
movement
amount
Prior art date
Application number
KR1020200168700A
Other languages
English (en)
Other versions
KR20220079183A (ko
Inventor
김병학
김민영
Original Assignee
한화시스템 주식회사
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사, 경북대학교 산학협력단 filed Critical 한화시스템 주식회사
Priority to KR1020200168700A priority Critical patent/KR102539001B1/ko
Publication of KR20220079183A publication Critical patent/KR20220079183A/ko
Application granted granted Critical
Publication of KR102539001B1 publication Critical patent/KR102539001B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법에 관한 것으로서, 보다 상세하게는 전자 광학 추적 시스템에 사용되는 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법에 관한 것이다.
본 발명의 실시 예에 따른 영상 요동 감지기는, 영상에 요동이 발생하는지 여부를 감지하는 영상 요동 감지기로서, 순차적으로 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 요동 발생 여부를 감지한다.

Description

영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법{DEVICE FOR SENSING IMAGE MOTION, APPARATUS AND METHOD FOR TRACKING TARGET USING THE SAME}
본 발명은 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법에 관한 것으로서, 보다 상세하게는 전자 광학 추적 시스템에 사용되는 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법에 관한 것이다.
일반적으로 플랫폼 운용 시스템에는 이미지 센서에 의해 획득된 영상 정보를 이용하여 표적을 추적 및 탐지하는 전자 광학 추적 시스템(EOTS; Electro Optical Tracking System)을 이용한 표적 추적 장치가 탑재되어 있다.
표적 추적 장치는 전차, 함정 및 항공기 등에서 진동과 같은 외란이 존재하는 상황에서도 이동하는 목표물을 자동적으로 추적하면서 관측자에게 목표물에 대한 안정된 시선(line of sight)을 유지하고, 목표물의 위치, 속도, 각속도 등의 정보를 제공한다.
이러한 표적 추적 장치는, 일반적으로 영상 입력기 및 표적 탐지기를 포함할 수 있으며, 표적 탐지기는 계산된 표적의 위치 값을 기준으로 추적이 일어나도록 하는 기계적인 모든 장치와 전자적 제어 장치로 이루어진다. 따라서, 표적 탐지기를 구성함에 있어서는 비교적 이상적으로 모델링되고 계산되는 전자 부품뿐만 아니라 비선형적 효과를 포함하는 기계적 장치를 동시에 제어해야 하는 어려움을 동반하게 되며, 이동시에 발생되는 기계적인 진동에 의한 외란과 영상 처리에 따른 시간 지연 등이 전체 표적 추적 장치의 성능에 크게 영향을 주게 된다.
표적 탐지기에 사용되는 표적 탐지 기술은 NCC(normalized cross correlation)로부터, DCF(Discriminative correlation filter)를 이용한 기술로 발전해 왔으며, 최근 MOSSE(Minimum output sum of squared error) 방법과 표적 추적 영역의 크기 가변이 가능한 DSST(Discriminative scale space tracking)의 개발은 다른 머신 러닝(machine learning) 기반의 알고리즘과 비교하여 획기적인 표적 추적 속도와 정확도의 향상을 보여주었다.
그러나, 이와 같은 표적 탐지 기술은 일반적인 표적 추적 시나리오에서는 기존의 방법들보다 우수한 정확도와 성능을 나타내나, 실제의 험지 주행 조건과 급격한 카메라 시선의 이동 조건에서 추적 정확도가 현저하게 떨어지는 문제점을 나타낸다. 또한, 학습 과정을 이용한 표적 탐지 기술은 연산의 속도를 느리게 하는 한계점을 가지는 바, 실제 무인 감시 정찰 및 무인 이동체를 위한 전자 광학 추적 시스템의 실시간 표적 추적 기술로 적용되기 어려운 문제점이 있었다.
KR 10-2011-0122265 A
본 발명은 급격한 카메라의 움직임이 발생하는 경우 이를 신속하고 정확하게 감지할 수 있는 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법을 제공한다.
본 발명의 실시 예에 따른 영상 요동 감지기는, 영상에 요동이 발생하는지 여부를 감지하는 영상 요동 감지기로서, 순차적으로 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 요동 발생 여부를 감지한다.
또한, 본 발명의 실시 예에 따른 영상 요동 감지기는, 영상에 요동이 발생하는지 여부를 감지하는 영상 요동 감지기로서, 순차적으로 입력되는 영상의 영상 엔트로피를 산출하기 위한 엔트로피 산출부; 산출된 영상 엔트로피의 변화량을 계산하기 위한 변화량 계산부; 및 상기 변화량 계산부로부터 계산된 영상 엔트로피의 변화량이 논리 조건을 만족하는 경우 요동 신호를 발생시키는 신호 발생부;를 포함할 수 있다.
상기 변화량 계산부는 단위 시간당 영상 엔트로피의 변화량을 계산할 수 있다.
순차적으로 입력되는 영상은 적외선 영상 및 가시광선 영상을 포함하고, 상기 변화량 계산부는, 적외선 영상으로부터 산출된 적외선 영상 엔트로피의 변화량과, 가시광선 영상으로부터 산출된 가시광선 영상 엔트로피의 변화량을 각각 계산할 수 있다.
상기 엔트로피 산출부는 하기의 수학식 1 및 수학식 2에 의하여 영상 엔트로피를 산출할 수 있다.
[수학식 1]
Figure 112020131659900-pat00001
[수학식 2]
Figure 112020131659900-pat00002
(여기서, Ii는 영상의 강도 값, │Ii│는 해당 강도 값을 가지는 영상의 픽셀 수, n은 영상의 전체 픽셀 수, L은 영상이 가질 수 있는 모든 강도 값, pdf(Ii)는 영상의 확률 밀도 함수, EI는 영상 엔트로피를 의미한다.)
상기 변화량 계산부는 하기의 수학식 3에 의하여 영상 엔트로피의 변화량을 계산할 수 있다.
[수학식 3]
Figure 112020131659900-pat00003
(여기서, ΔEI(t)는 영상 엔트로피의 변화량, EI는 영상 엔트로피, t는 현재 영상이 입력되는 시간, t-1은 이전 영상이 입력되는 시간을 의미한다.)
상기 신호 발생부는, 적외선 영상 엔트로피의 변화량에 대한 제1 논리 조건, 가시광선 영상 엔트로피의 변화량에 대한 제2 논리 조건 및 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값에 대한 제3 논리 조건을 모두 만족하는 경우 요동 신호를 발생시킬 수 있다.
상기 신호 발생부는 하기의 수학식 4 및 수학식 5에 의하여 요동 신호를 발생시킬 수 있다.
[수학식 4]
Figure 112020131659900-pat00004
[수학식 5]
Figure 112020131659900-pat00005
(여기서, GES(t)는 요동 신호, ΔEIR(t)는 적외선 영상 엔트로피의 변화량, ΔERGB(t)는 가시광선 영상 엔트로피의 변화량, R(t)는 순차적으로 입력되는 영상에 대한 추적 상관도 반응 값, TIR은 적외선 영상의 적분 시간, TRGB는 가시광선 영상의 초기화 프레임 속도를 의미한다.)
또한, 본 발명의 실시 예에 따른 표적 추적 장치는, 영상을 순차적으로 입력받기 위한 영상 입력기; 상기 영상 입력기로부터 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지하기 위한 영상 요동 감지기; 상기 영상 요동 감지기로부터 요동 신호가 입력되는 경우 영상의 이동 정보를 산출하기 위한 이동 추적기; 및 상기 이동 추적기로부터 산출된 이동 정보에 따라 영상 내에서 표적을 탐지하기 위한 표적 탐지기;를 포함한다.
상기 영상 입력기는, 적외선 영상을 입력받기 위한 제1 영상 입력기; 및 가시광선 영상을 입력받기 위한 제2 영상 입력기;를 포함하고, 상기 영상 요동 감지기는, 적외선 영상으로부터 산출된 적외선 영상 엔트로피의 변화량과, 가시광선 영상으로부터 산출된 가시광선 영상 엔트로피의 변화량을 각각 계산하여, 적외선 영상 엔트로피의 변화량에 대한 제1 논리 조건, 가시광선 영상 엔트로피의 변화량에 대한 제2 논리 조건 및 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값에 대한 제3 논리 조건을 모두 만족하는 경우 요동 신호를 발생시킬 수 있다.
상기 이동 추적기는, 영상의 이동 방향 및 이동 거리를 포함하는 벡터 형태로 영상의 이동 정보를 산출할 수 있다.
상기 이동 추적기는, 영상 내의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출할 수 있다.
상기 이동 추적기는, 영상 엔트로피에 따라 특징점의 개수를 조절하여 영상의 이동 정보를 산출할 수 있다.
상기 영상 입력기는, 적외선 영상을 입력받기 위한 제1 영상 입력기; 및 가시광선 영상을 입력받기 위한 제2 영상 입력기;를 포함하고, 상기 이동 추적기는, 적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 조절하여 영상의 이동 정보를 산출할 수 있다.
상기 표적 탐지기는 영상 내에서 표적을 기탐지한 영역을, 영상의 이동 방향 및 이동 거리를 상쇄시키는 방향으로 이동시켜 표적을 탐지할 수 있다.
한편, 본 발명의 실시 예에 따른 표적 추적 방법은, 영상을 순차적으로 입력받는 과정; 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지하는 과정; 요동 발생이 감지되면 요동에 따른 영상의 이동 정보를 산출하는 과정; 및 산출된 이동 정보에 따라 영상 내에서 표적을 탐지하는 과정;을 포함한다.
상기 영상을 순차적으로 입력받는 과정은, 적외선 영상을 순차적으로 입력받는 과정; 및 가시광선 영상을 순차적으로 입력받는 과정;을 포함하고, 상기 적외선 영상을 순차적으로 입력받는 과정 및 가시광선 영상을 순차적으로 입력받는 과정은 동시에 수행될 수 있다.
상기 영상의 이동 정보를 산출하는 과정은, 적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 결정하는 과정; 및 결정된 개수의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출하는 과정;을 포함할 수 있다.
상기 특징점의 개수를 결정하는 과정은, 영상 내의 모든 특징점에 개수에 적응형 스케일 인자를 곱하여 특징점의 개수를 결정할 수 있다.
상기 스케일 인자는 하기의 수학식 6에 의하여 결정될 수 있다.
[수학식 6]
Figure 112020131659900-pat00006
(여기서, qA는 상수, EIR은 적외선 영상 엔트로피, SF는 스케일 인자를 의미한다.)
상기 qA는 0.01 내지 0.02 사이에서 선택된 값을 가질 수 있다.
상기 표적을 탐지하는 과정은, 영상 내에서 표적을 기탐지한 영역을, 하기의 수학식 7에 의하여 산출되는 영상의 이동 방향 및 이동 거리를 상쇄시키는 방향으로 이동시켜 표적을 탐지할 수 있다.
[수학식 7]
Figure 112020131659900-pat00007
(여기서, ut-1 x는 이동 전의 영상에 포함된 특징점의 X축 좌표 값, ut x는 이동 후의 영상에 포함된 특징점의 X축 좌표 값, ut-1 y는 이동 전의 영상에 포함된 특징점의 Y축 좌표 값, ut y는 이동 후의 영상에 포함된 특징점의 Y축 좌표 값, dx는 X축 방향의 이동 거리, dy는 Y축 방향의 이동 거리, T는 프레임 번호를 의미한다.)
본 발명의 실시 예에 따르면, 영상에 요동이 발생하는 경우 영상에 대한 영상 엔트로피의 변화량으로부터 신속하고 정확하게 요동의 발생 여부를 감지할 수 있다.
또한, 요동 발생이 감지되는 경우 요동에 따른 모션 벡터를 산출하여 표적 탐지 영역을 보정할 수 있으며, 이에 따라 표적을 놓치지 않고 추적을 지속적으로 유지하고, 정확한 표적의 좌표 값을 계산할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 요동 감지기를 개략적으로 나타내는 도면.
도 2는 본 발명의 실시 예에 따라 요동 신호를 발생시키는 모습을 나타내는 도면.
도 3은 본 발명의 실시 예에 따라 발생되는 요동 신호의 검증 결과를 나타내는 도면.
도 4는 본 발명의 실시 예에 따른 표적 추적 장치를 개략적으로 나타내는 도면.
도 5는 본 발명의 실시 예에 따라 스케일 인자를 산출하는 모습을 나타내는 도면.
도 6은 본 발명의 실시 예에 따른 표적 추적 장치에서 적응형으로 특징점을 추출하는 모습을 나타내는 도면.
도 7은 본 발명의 실시 예에 따른 표적 추적 장치의 동작 모습을 나타내는 도면.
도 8은 본 발명의 실시 예에 따른 표적 추적 장치의 성능을 나타내는 도면.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 발명의 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 발명을 상세하게 설명하기 위해 도면은 과장되어 도시될 수 있으며, 도면상에서 동일 부호는 동일한 요소를 지칭한다.
도 1은 본 발명의 실시 예에 따른 영상 요동 감지기를 개략적으로 나타내는 도면이다. 또한, 도 2는 본 발명의 실시 예에 따라 요동 신호를 발생시키는 모습을 나타내는 도면이고, 도 3은 본 발명의 실시 예에 따라 발생되는 요동 신호의 검증 결과를 나타내는 도면이다.
도 1 내지 도 3을 참조하면, 본 발명의 실시 예에 따른 영상 요동 감지기(10)는 영상에 요동이 발생하는지 여부를 감지하는 영상 요동 감지기(10)로서, 순차적으로 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 요동 발생 여부를 감지한다.
보다 상세하게는, 본 발명의 실시 예에 따른 영상 요동 감지기(10)는 순차적으로 입력되는 영상의 영상 엔트로피를 산출하기 위한 엔트로피 산출부(110), 산출된 영상 엔트로피의 변화량을 계산하기 위한 변화량 계산부(120) 및 상기 변화량 계산부로부터 계산된 영상 엔트로피의 변화량이 논리 조건을 만족하는 경우 요동 신호를 발생시키는 신호 발생부(130)를 포함한다.
일반적으로, 전차, 함정 및 항공기 등에서 표적 추적 장치는 긴 감시 거리로 인하여 정적 배경 이미지 조건에서 사용된다. 그러나, 이와 같은 표적 추적 장치는 빠른 카메라 움직임뿐만 아니라, 험지 주행 환경에서 급격한 카메라의 움직임이 발생하는 외란에서도 표적의 추적 임무를 수행하여야 한다. 여기서, 카메라의 움직임은 기계적 장치의 구동에 의한 것으로 구동 방향 및 거리 정보가 이미 제시되어 있으므로, 표적 추적에 별다른 영향을 미치지 않는다. 그러나, 급격한 카메라의 움직임이 발생하는 외란에서는, 이에 의하여 영상에 요동이 발생하였는지 여부를 정확하게 알 수 없는 문제점이 있다. 이에, 신뢰성있는 표적 추적을 위하여, 영상에 요동이 발생하였는지 여부를 신속하고 정확하게 감지할 필요가 있다.
본 발명의 실시 예에 따른 영상 요동 감지기(10)는 센서로 구현될 수 있으며, 순차적으로 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 요동 발생 여부를 감지한다.
이를 위하여, 본 발명의 실시 예에 따른 영상 요동 감지기(10)는 순차적으로 입력되는 영상의 영상 엔트로피를 산출하기 위한 엔트로피 산출부(110), 산출된 영상 엔트로피의 변화량을 계산하기 위한 변화량 계산부(120) 및 상기 변화량 계산부로부터 계산된 영상 엔트로피의 변화량이 논리 조건을 만족하는 경우 요동 신호를 발생시키는 신호 발생부(130)를 포함한다.
영상 요동 감지기(10)에 입력되는 영상은 적외선 영상, 가시광선 영상 또는 적외선 영상과 가시광선 영상을 포함할 수 있다. 전자 광학 추적 시스템(EOTS; Electro Optical Tracking System)은 일반적으로 적외선 영상과 가시광선 영상을 동시에 입력받아 획득된 영상 정보를 이용하여 표적을 추적 및 탐지하는바, 이하에서는 입력되는 영상이 적외선 영상과 가시광선 영상을 모두 포함하는 경우를 예로 들어 설명하나, 영상 요동 감지기(10)에서 입력되는 영상은 적외선 영상만이거나 가시광선 영상만일 수도 있음은 물론이다.
엔트로피 산출부(110)는 영상을 입력받아 영상의 특징을 엔트로피(entropy)로 산출한다. 엔트로피는 일반적으로 열량과 온도에 관계되는 물질계의 상태를 나타내는 열역학적 양의 하나이지만, 본 발명의 실시 예에서는 영상에 엔트로피의 개념을 적용하여 영상의 특징을 산출한다.
정보 이론의 엔트로피는 1948년 Claide Elwood Shannon에 의해 제안되었으며, 정보 혼돈에 대한 지표로 사용되었다. 이는 데이터 분석 및 통신 시스템에서 정보의 무손실 압축에 필요한 최소 비트 수를 계산하는데에도 사용되었다. Shannon이 제안한 엔트로피의 기본 수식은 하기의 수학식 1과 같다.
[수학식 1]
Figure 112020131659900-pat00008
여기서, p(aj)는 상태 aj에 대한 확률을 나타내고, A는 모든 가능한 상태 MA의 유한 조합(finite set)을 의미한다.
이와 같은, Shannon이 제안한 엔트로피의 기본 수식을 영상에 적용하게 되면, 영상의 확률 밀도 함수는 하기의 수학식 2와 같이 계산될 수 있다.
[수학식 2]
Figure 112020131659900-pat00009
여기서, Ii는 영상의 강도 값, │Ii│는 해당 강도 값을 가지는 영상의 픽셀 수, n은 영상의 전체 픽셀 수, L은 영상이 가질 수 있는 최대 강도 값, pdf(Ii)는 영상의 확률 밀도 함수를 의미한다.
영상의 강도(intensity) 값은, 예를 들어 8 비트 그레이 스케일의 영상인 경우 1 부터 256의 값을 가질 수 있다. 또한, 영상이 가질 수 있는 모든 강도 값(L)은 8 비트 그레이 스케일의 영상인 경우 256의 값을 가질 수 있다. 이를 이용하여 영상 엔트로피 값은 하기의 수학식 3과 같이 계산될 수 있다.
[수학식 3]
Figure 112020131659900-pat00010
여기서, EI는 영상 엔트로피를 의미한다.
이와 같은 영상 엔트로피는 카메라의 움직임으로 인한 영상의 번짐을 감지하는데 사용할 수 있음은 물론이다. 그러나, 영상이 순차적으로 입력되는 경우 각 영상은 서로 다른 영상 엔트로피를 가지므로, 영상 엔트로피의 변화량을 산출하는 경우 영상에 요동이 발생하였는지 여부를 감지할 수 있게 된다.
변화량 계산부(120)는 위와 같이 산출된 영상 엔트로피의 변화량을 계산하며, 여기서 영상 엔트로피의 변화량은 단위 시간당 영상 엔트로피의 변화량 즉, 영상 엔트로피의 기울기를 의미할 수 있다.
여기서, 변화량 계산부(120)는 영상 엔트로피의 기울기를 하기의 수학식 4에 의하여 계산할 수 있다.
[수학식 4]
Figure 112020131659900-pat00011
여기서, ΔEI(t)는 영상 엔트로피의 변화량, EI는 영상 엔트로피, t는 현재 영상이 입력되는 시간, t-1은 이전 영상이 입력되는 시간을 의미한다.
즉, 영상이 순차적으로 입력되는 경우 현재 영상이 입력되는 시간 및 이전 영상이 입력되는 시간은 각각 t, t-1로 표시될 수 있고, 현재 시간 및 이전 시간에서의 영상 엔트로피는 각각 Et, Et-1로 표시될 수 있다. 영상 엔트로피는 모션 블러(motion blur)를 검출하기 위하여 사용된 예가 있으나, 본 발명에서는 영상 엔트로피의 변화량을 이용하여 영상 엔트로피의 변화량을 산출한다.
전술한 바와 같이, 순차적으로 입력되는 영상은 적외선 영상 및 가시광선 영상을 포함할 수 있다. 이 경우, 변화량 계산부(120)는 적외선 영상으로부터 산출된 적외선 영상 엔트로피의 변화량과, 가시광선 영상으로부터 산출된 가시광선 영상 엔트로피의 변화량을 각각 계산할 수 있다. 즉, 적외선 영상 엔트로피는 EIR로 계산될 수 있으며, 가시광선 영상 엔트로피는 ERGB로 계산될 수 있다. 적외선 영상으로부터 적외선 영상 엔트로피의 기울기를 계산하는 과정과 가시광선 영상으로부터 가시광선 영상 엔트로피의 기울기를 계산하는 과정은 각 영상에 대하여 전술한 수학식 2 내지 수학식 4를 적용하여 계산될 수 있는바, 이에 대한 구체적인 수식의 설명은 생략하기로 한다.
신호 발생부(130)는 변화량 계산부(120)로부터 계산된 영상 엔트로피의 변화량이 논리 조건을 만족하는 경우 요동 신호를 발생시킬 수 있다. 이와 같은 신호 발생부(130)는 디지털 신호로서 요동 신호를 발생할 수 있으며, 신호 발생부(130)는 논리 조건을 만족하는 경우 1의 값을 출력하여 요동 신호를 발생시키고, 논리 조건을 만족하지 않는 경우 0의 값을 출력하여 요동 신호를 발생시키지 않는다.
여기서, 신호 발생부(130)는 하기의 수학식 5 및 수학식 6에 의하여 요동 신호를 발생시킬 수 있다.
[수학식 5]
Figure 112020131659900-pat00012
[수학식 6]
Figure 112020131659900-pat00013
여기서, GES(t)는 요동 신호, ΔEIR(t)는 적외선 영상 엔트로피의 변화량, ΔERGB(t)는 가시광선 영상 엔트로피의 변화량, R(t)는 순차적으로 입력되는 영상에 대한 추적 상관도 반응 값, TIR은 적외선 영상의 적분 시간, TRGB는 가시광선 영상의 초기화 프레임 속도를 의미한다.
신호 발생부(130)가 요동 신호를 발생시키기 위한 주요 인자는 영상의 적분 시간 및 영상의 프레임 속도이다. 여기서, 영상의 적분 시간은 영상 요동 감지기(10)가 감지하는 시간을 통합한 것이며, 영상의 프레임 속도는 영상 요동 감지기(10)로부터 순차적으로 입력되는 영상의 프레임 속도를 의미한다. 일반적으로 장파장 적외선(LWIR) 검출 센서 등의 비냉각 소자의 경우 적분 시간은 600s로 설정되고, 프레임 값은 50Hz로 설정되어 있는 바, aIR은 -0.06, aRGB는 0.01로 설정될 수 있다.
또한, R(t)는 순차적으로 입력되는 영상, 즉 적외선 영상 및 가시광선 영상을 입력으로 하여 도출된 추적의 상관도 반응 값을 의미한다. 추적 상관도 반응 값은 두 변량 x, y의 값을 좌표 평면 위의 (x, y)에 점으로 나타낸 상관도에서 상관 관계의 강약을 나타내는 값으로서, 그 값은 R(t)로 나타낼 수 있다. 즉, 순차적으로 입력되는 영상에 대한 추적 상관도 반응 값은 τR에 의하여 결정될 수 있으며, τR은 0.2의 값을 가질 수 있다.
이때, 신호 발생부(130)는 적외선 영상 엔트로피의 변화량에 대한 제1 논리 조건, 가시광선 영상 엔트로피의 변화량에 대한 제2 논리 조건 및 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값에 대한 제3 논리 조건을 모두 만족하는 경우 요동 신호를 발생시킬 수 있다.
즉, 신호 발생부(130)는 하기의 수학식 7과 같은 적외선 영상 엔트로피의 변화량에 대한 제1 논리 조건, 하기의 수학식 8과 같은 가시광선 영상 엔트로피의 변화량에 대한 제2 논리 조건 및 하기의 수학식 9와 같은 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값에 대한 제3 논리 조건을 모두 만족하는 경우 요동 신호를 발생시킬 수 있다.
[수학식 7]
Figure 112020131659900-pat00014
[수학식 8]
Figure 112020131659900-pat00015
[수학식 9]
Figure 112020131659900-pat00016
신호 발생부(130)는 위와 같은 제1 논리 조건, 제2 논리 조건 및 제3 논리 조건을 모두 만족시키는 경우 디지털 신호로서 요동 신호를 발생할 수 있으며, 신호 발생부(130)는 제1 논리 조건, 제2 논리 조건 및 제3 논리 조건 중 어느 하나의 논리 조건이라도 만족하지 않는 경우 0의 값을 출력하여 요동 신호를 발생시키지 않는다.
도 2는 수식으로 도출되는 요동 신호를 시각적으로 표현한 결과로써 영상에 요동이 발생한 타이밍을 하기의 GES(t)와 같은 디지털 신호로 검출할 수 있음을 나타낸다.
한편, 전술한 바와 같이, 요동의 검출 과정에서 적외선 영상 엔트로피의 변화량, 가시광선 영상 엔트로피의 변화량, 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값의 파라미터가 각각 사용된다. 도 3은 요동의 검출 과정에서 이 중 하나의 파라미터라도 사용되지 않는 경우에는 정확한 요동을 검출할 수 없음을 보여주는 배제 시험 결과를 나타낸다. 즉, 적외선 영상 엔트로피의 변화량의 파라미터를 사용하지 않거나, 가시광선 영상 엔트로피의 변화량의 파라미터를 사용하지 않는 경우 도 3의 실제 발생한 요동(GTFM)에 대하여 일치하지 않는 결과를 나타내며, 도 3의 세 가지의 파라미터를 모두 적용한 경우에 실제 발생한 요동(GTFM)과 요동 신호가 거의 일치함을 알 수 있다.
이하에서는, 전술한 영상 요동 감지기(10)를 이용하는 본 발명의 실시 예에 따른 표적 추적 장치에 대하여 상세하게 설명하기로 한다. 영상 요동 감지기(10)와 관련하여 전술한 내용은 본 발명의 실시 예에 따른 표적 추적 장치에 포함되는 영상 요동 감지기(10)에 그대로 적용될 수 있으므로, 중복되는 설명은 생략하기로 한다.
도 4는 본 발명의 실시 예에 따른 표적 추적 장치를 개략적으로 나타내는 도면이다. 또한, 도 5는 본 발명의 실시 예에 따라 스케일 인자를 산출하는 모습을 나타내는 도면이고, 도 6은 본 발명의 실시 예에 따른 표적 추적 장치에서 적응형으로 특징점을 추출하는 모습을 나타내는 도면이다. 한편, 도 7은 본 발명의 실시 예에 따른 표적 추적 장치의 동작 모습을 나타내는 도면이고, 도 8은 본 발명의 실시 예에 따른 표적 추적 장치의 성능을 나타내는 도면이다.
도 4 내지 도 8을 참조하면, 본 발명의 실시 예에 따른 표적 추적 장치는 영상을 순차적으로 입력받기 위한 영상 입력기(30), 상기 영상 입력기(30)로부터 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지하기 위한 영상 요동 감지기(10), 상기 영상 요동 감지기(10)로부터 요동 신호가 입력되는 경우 영상의 이동 정보를 산출하기 위한 이동 추적기(20) 및 상기 이동 추적기(20)로부터 산출된 이동 정보에 따라 영상 내에서 표적을 탐지하기 위한 표적 탐지기(40)를 포함한다.
영상 입력기(30)는 전자 광학 추적 시스템에서 영상을 순차적으로 입력받는다. 영상 입력기(30)는 광학부 및 기타 구동부를 포함할 수 있으며, 광학부는 고배율의 망원 렌즈를 포함할 수 있다. 그리고, 기타 구동부는 광학부의 시선 방향을 변경 구동하도록 구성될 수 있다.
여기서, 영상 입력기(30)는 적외선 영상을 입력받기 위한 제1 영상 입력기(30) 및 가시광선 영상을 입력받기 위한 제2 영상 입력기(30)를 포함할 수 있다. 전자 광학 추적 시스템(EOTS; Electro Optical Tracking System)은 일반적으로 적외선 영상과 가시광선 영상을 동시에 입력받아 획득된 영상 정보를 이용하여 표적을 추적 및 탐지하는바, 이하에서는 입력되는 영상이 적외선 영상과 가시광선 영상을 모두 포함하는 경우를 예로 들어 설명하나, 영상 입력기(30)에 입력되는 영상은 적외선 영상만이거나 가시광선 영상만일 수도 있음은 물론이다.
영상 요동 감지기(10)는 영상 입력기(30)로부터 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지한다. 영상 요동 감지기(10)는 도 1 내지 도 3과 관련하여 전술한 내용이 그대로 적용될 수 있다. 즉, 영상 요동 감지기(10)는 순차적으로 입력되는 영상의 영상 엔트로피를 산출하기 위한 엔트로피 산출부(110), 산출된 영상 엔트로피의 변화량을 계산하기 위한 변화량 계산부(120) 및 상기 변화량 계산부로부터 계산된 영상 엔트로피의 변화량이 논리 조건을 만족하는 경우 요동 신호를 발생시키는 신호 발생부(130)를 포함할 수 있으며, 적외선 영상으로부터 산출된 적외선 영상 엔트로피의 변화량과, 가시광선 영상으로부터 산출된 가시광선 영상 엔트로피의 변화량을 각각 계산하여, 적외선 영상 엔트로피의 변화량에 대한 제1 논리 조건, 가시광선 영상 엔트로피의 변화량에 대한 제2 논리 조건 및 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값에 대한 제3 논리 조건을 모두 만족하는 경우 요동 신호를 발생시킬 수 있다.
이동 추적기(20)는 영상 요동 감지기(10)로부터 요동 신호가 입력되는 경우 영상의 이동 정보를 산출한다. 여기서, 이동 추적기(20)는 영상의 이동 방향 및 이동 거리를 포함하는 벡터 형태로 영상의 이동 정보를 산출할 수 있다.
즉, 이동 추적기(20)는 영상 요동 감지기(10)로부터 요동 신호를 입력받아 영상의 이동 정보를 산출한다. 영상의 이동 정보를 산출하는 대표적 기술로 상관 추적 방법이 있으나, 모션 블러(motion blur) 현상으로 왜곡된 영상의 상관도 출력 결과는 속도가 매우 느리고 정확도가 좋지않다. 본 발명의 실시 예에서는 왜곡된 영상의 고속 배경 추적을 위하여 가장 빠른 속도로 동작 가능한 Shi-Tomasi 특징점 검출 방법을 기반으로 특징점의 개수를 적응형으로 조절하여 배경 추적의 성능을 향상시켰다. 즉, 센서의 분해능에 따라 결정되는 스케일 인자의 최적화 과정에 따라, 스케일 인자 값을 결정하였다.
여기서, 전술한 바와 같이 영상 입력기(30)는 적외선 영상을 입력받기 위한 제1 영상 입력기(30) 및 가시광선 영상을 입력받기 위한 제2 영상 입력기(30)를 포함할 수 있으며, 이동 추적기(20)는 적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 조절하여 영상의 이동 정보를 산출할 수 있다. 이때, 영상 입력기(30)는 영상 내의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출하며, 영상 엔트로피에 따라 특징점의 개수를 조절하여 영상의 이동 정보를 산출한다.
Shi-Tomasi 특징점 검출 방법은 영상 내의 모든 특징점에 대하여 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출한다. 그러나, 본 발명의 실시 예에 따른 영상 입력기(30)는 적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 결정하고, 결정된 개수의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출한다.
여기서, 특징점의 개수를 결정하는 과정은 영상 내의 모든 특징점에 개수에 적응형 스케일 인자를 곱하여 특징점의 개수를 결정하며, 이때 스케일 인자는 하기의 수학식 10에 의하여 계산될 수 있다.
[수학식 10]
Figure 112020131659900-pat00017
여기서, qA는 상수, EIR은 적외선 영상 엔트로피, SF는 적외선 영상의 분해능에 따라 결정되는 스케일 인자를 의미한다.
스케일 인자의 최적화 과정으로 스케일 인자 변화 조건에서 엔트로피 가변에 따른 qA 값의 반응을 확인하여 신뢰할 수 있는 특징 점을 1% 내지 0.5% 수준으로 결정하기 위한 qA=0.01 내지 qA=0.02 사이에서 분포된 수준의 스케일 인자를 결정한다. 도 5(a)는 이와 같이 결정된 최적의 스케일 인자 값이 SF=2×104으로 도출된 결과를 보여준다. 한편, 도 5(b)는 종래의 방법(파란 점선, 초록 점선, 검은 점선)과 비교하여, 본 발명의 실시 예에 따른 스케일 인자의 최적화 방법(붉은 실선)의 정밀도(Precision) 및 정확도(Success rate)가 현저하게 향상됨을 나타낸다.
도 6은 배경의 복잡도가 높은 영상과 낮은 영상을 대표로 하여 배경 특징의 검출 결과를 보여주는 결과이다. 도 6(a)와 도 6(d) 결과는 과다한 특징의 검출 결과로 도 6(a)의 경우 배경 추적의 정확도가 떨어질 수 있음을 보여주며, 도 6(b)와 도 6(e)의 경우 부족한 특징의 검출 결과로 배경 추적의 정확도가 떨어질 수 있다. 반면, 본 발명의 실시 예가 적용된 적응형 특징 경계치 적용 결과는 특징 검출의 과부족이 해결되며 안정적인 배경 추적 동작이 가능하게 된다.
이하에서는, 본 발명의 실시 예에 따른 표적 추적 방법에 대하여 상세하게 설명하기로 한다. 본 발명의 실시 예에 따른 표적 추적 방법은 전술한 표적 추적 장치에 의하여 수행될 수 있으므로, 표적 추적 장치와 관련하여 전술한 내용과 중복되는 설명은 생략하기로 한다.
본 발명의 실시 예에 따른 표적 추적 방법은 영상을 순차적으로 입력받는 과정, 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지하는 과정, 요동 발생이 감지되면 요동에 따른 영상의 이동 정보를 산출하는 과정 및 산출된 이동 정보에 따라 영상 내에서 표적을 탐지하는 과정을 포함한다.
영상을 순차적으로 입력받는 과정은 영상 입력기(30)에 의하여 수행된다. 여기서, 영상 입력기(30)는 전자 광학 추적 시스템에서 영상을 순차적으로 입력받으며, 영상 입력기(30)는 광학부 및 기타 구동부를 포함할 수 있으며, 광학부는 고배율의 망원 렌즈를 포함할 수 있다. 그리고, 기타 구동부는 광학부의 시선 방향을 변경 구동하도록 구성될 수 있다.
영상을 순차적으로 입력받는 과정은, 적외선 영상을 순차적으로 입력받는 과정 및 가시광선 영상을 순차적으로 입력받는 과정을 포함하고, 상기 적외선 영상을 순차적으로 입력받는 과정 및 가시광선 영상을 순차적으로 입력받는 과정은 동시에 수행될 수 있다.
즉, 영상 입력기(30)는 적외선 영상을 입력받기 위한 제1 영상 입력기(30) 및 가시광선 영상을 입력받기 위한 제2 영상 입력기(30)를 포함할 수 있다. 전자 광학 추적 시스템(EOTS; Electro Optical Tracking System)은 일반적으로 적외선 영상과 가시광선 영상을 동시에 입력받아 획득된 영상 정보를 이용하여 표적을 추적 및 탐지하는바, 이하에서는 입력되는 영상이 적외선 영상과 가시광선 영상을 모두 포함하는 경우를 예로 들어 설명하나, 영상 요동 감지기(10)에서 입력되는 영상은 적외선 영상만이거나 가시광선 영상만일 수도 있음은 물론이다.
영상의 요동 발생 여부를 감지하는 과정은 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지한다. 영상의 요동 발생 여부를 감지하는 과정은 영상 요동 감지기(10)에 의하여 수행되며, 영상 요동 감지기(10)는 영상 입력기(30)로부터 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지한다. 영상 요동 감지기(10)는 도 1 내지 도 3과 관련하여 전술한 내용이 그대로 적용될 수 있다. 즉, 영상 요동 감지기(10)는 순차적으로 입력되는 영상의 영상 엔트로피를 산출하기 위한 엔트로피 산출부(110), 산출된 영상 엔트로피의 변화량을 계산하기 위한 변화량 계산부(120) 및 상기 변화량 계산부로부터 계산된 영상 엔트로피의 변화량이 논리 조건을 만족하는 경우 요동 신호를 발생시키는 신호 발생부(130)를 포함할 수 있으며, 적외선 영상으로부터 산출된 적외선 영상 엔트로피의 변화량과, 가시광선 영상으로부터 산출된 가시광선 영상 엔트로피의 변화량을 각각 계산하여, 적외선 영상 엔트로피의 변화량에 대한 제1 논리 조건, 가시광선 영상 엔트로피의 변화량에 대한 제2 논리 조건 및 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값에 대한 제3 논리 조건을 모두 만족하는 경우 요동 신호를 발생시킬 수 있다.
영상의 이동 정보를 산출하는 과정은 요동 발생이 감지되면 요동에 따른 영상의 이동 정보를 산출한다. 여기서, 영상의 이동 정보를 산출하는 과정은, 적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 결정하는 과정 및 결정된 개수의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출하는 과정을 포함할 수 있다. 또한, 특징점의 개수를 결정하는 과정은, 영상 내의 모든 특징점에 개수에 적응형 스케일 인자를 곱하여 특징점의 개수를 결정할 수 있다.
즉, 이동 추적기(20)는 영상 요동 감지기(10)로부터 요동 신호가 입력되는 경우 영상의 이동 정보를 산출한다. 여기서, 이동 추적기(20)는 영상의 이동 방향 및 이동 거리를 포함하는 벡터 형태로 영상의 이동 정보를 산출할 수 있다.
즉, 이동 추적기(20)는 영상 요동 감지기(10)로부터 요동 신호를 입력받아 영상의 이동 정보를 산출한다. 영상의 이동 정보를 산출하는 대표적 기술로 상관 추적 방법이 있으나, 모션 블러(motion blur) 현상으로 왜곡된 영상의 상관도 출력 결과는 속도가 매우 느리고 정확도가 좋지않다. 본 발명의 실시 예에서는 왜곡된 영상의 고속 배경 추적을 위하여 가장 빠른 속도로 동작 가능한 Shi-Tomasi 특징점 검출 방법을 기반으로 특징점의 개수를 적응형으로 조절하여 배경 추적의 성능을 향상시켰다. 즉, 센서의 분해능에 따라 결정되는 스케일 인자의 최적화 과정에 따라, 스케일 인자 값을 결정하였다.
여기서, 전술한 바와 같이 영상 입력기(30)는 적외선 영상을 입력받기 위한 제1 영상 입력기(30) 및 가시광선 영상을 입력받기 위한 제2 영상 입력기(30)를 포함할 수 있으며, 이동 추적기(20)는 적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 조절하여 영상의 이동 정보를 산출할 수 있다. 이때, 영상 입력기(30)는 영상 내의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출하며, 영상 엔트로피에 따라 특징점의 개수를 조절하여 영상의 이동 정보를 산출한다.
Shi-Tomasi 특징점 검출 방법은 영상 내의 모든 특징점에 대하여 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출한다. 그러나, 본 발명의 실시 예에 따른 영상 입력기(30)는 적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 결정하고, 결정된 개수의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출한다.
여기서, 특징점의 개수를 결정하는 과정은 영상 내의 모든 특징점에 개수에 적응형 스케일 인자를 곱하여 특징점의 개수를 결정하며, 이때 스케일 인자는 전술한 수학식 10에 의하여 계산될 수 있다. 이때, 스케일 인자의 최적화 과정으로 스케일 인자 변화 조건에서 엔트로피 가변에 따른 qA 값의 반응을 확인하여 신뢰할 수 있는 특징 점을 1% 내지 0.5% 수준으로 결정하기 위한 qA=0.01 내지 qA=0.02 사이에서 분포된 수준의 스케일 인자를 결정할 수 있음은 전술한 내용과 동일하다.
표적을 탐지하는 과정은 산출된 영상의 이동 정보에 따라 영상 내에서 표적을 탐지한다. 이때, 표적을 탐지하는 과정은 도 7의 GES and BT Tracking 구간에 도시된 바와 같이 영상 내에서 표적을 기탐지한 영역을, 영상의 이동 방향 및 이동 거리를 상쇄시키는 방향으로 이동시켜 표적을 탐지할 수 있다.
즉, 표적을 탐지하는 과정은, 하기의 수학식 11에 의하여 산출되는 영상의 이동 방향 및 이동 거리를 상쇄시키는 방향으로 이동시켜 표적을 탐지할 수 있다.
[수학식 11]
Figure 112020131659900-pat00018
여기서, ut-1 x는 이동 전의 영상에 포함된 특징점의 X축 좌표 값, ut x는 이동 후의 영상에 포함된 특징점의 X축 좌표 값, ut-1 y는 이동 전의 영상에 포함된 특징점의 Y축 좌표 값, ut y는 이동 후의 영상에 포함된 특징점의 Y축 좌표 값, dx는 X축 방향의 이동 거리, dy는 Y축 방향의 이동 거리, T는 프레임 번호를 의미한다.
이를 정리하면, 종래에는 도 8(a)에 도시된 #092 프레임과 같이 급격한 카메라의 모션이 발생한 경우, 프레임 간 객체의 형상의 변화가 크게 발생되어 상관도 및 학습을 통한 표적의 좌표 값 계산에 문제가 발생되며, #120 프레임과 같이 표적 추적 기능을 상실하는 문제점이 있었다. 그러나, 본 발명의 실시 에에 따르면, 급격한 카메라의 모션이 발생된 경우에도 표적 및 전역 모션의 여부를 판단하고, 모션의 벡터를 예측하여 표적 추적의 상관도 및 학습이 이루어지는 영역을 보정하며 이에 따라 정확한 표적의 좌표 값 계산 결과가 도출될 수 있다. 즉, 도 8(b)에 도시된 #120 프레임과 같이 강인한 표적의 연속 추적이 가능하게 된다.
이와 같이, 본 발명의 실시 예에 따르면, 영상에 요동이 발생하는 경우 영상에 대한 영상 엔트로피의 변화량으로부터 신속하고 정확하게 요동의 발생 여부를 감지할 수 있다.
또한, 요동 발생이 감지되는 경우 요동에 따른 모션 벡터를 산출하여 표적 탐지 영역을 보정할 수 있으며, 이에 따라 표적을 놓치지 않고 추적을 지속적으로 유지하고, 정확한 표적의 좌표 값을 계산할 수 있다.
상기에서, 본 발명의 바람직한 실시 예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확하게 설명하기 위한 것일 뿐이며, 본 발명의 실시 예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시 예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안 되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.
10: 영상 요동 감지기 20: 이동 추적기
30: 영상 입력기 40: 표적 탐지기
110: 엔트로피 산출부 120: 변화량 계산부
130: 신호 발생부

Claims (22)

  1. 삭제
  2. 영상에 요동이 발생하는지 여부를 감지하는 영상 요동 감지기로서,
    순차적으로 입력되는 영상의 영상 엔트로피를 산출하기 위한 엔트로피 산출부;
    산출된 영상 엔트로피의 변화량을 계산하기 위한 변화량 계산부; 및
    상기 변화량 계산부로부터 계산된 영상 엔트로피의 변화량이 논리 조건을 만족하는 경우 요동 신호를 발생시키는 신호 발생부;를 포함하는 영상 요동 감지기.
  3. 청구항 2에 있어서,
    상기 변화량 계산부는 단위 시간당 영상 엔트로피의 변화량을 계산하는 영상 요동 감지기.
  4. 청구항 2에 있어서,
    순차적으로 입력되는 영상은 적외선 영상 및 가시광선 영상을 포함하고,
    상기 변화량 계산부는, 적외선 영상으로부터 산출된 적외선 영상 엔트로피의 변화량과, 가시광선 영상으로부터 산출된 가시광선 영상 엔트로피의 변화량을 각각 계산하는 영상 요동 감지기.
  5. 청구항 2에 있어서,
    상기 엔트로피 산출부는 하기의 수학식 1 및 수학식 2에 의하여 영상 엔트로피를 산출하는 영상 요동 감지기.
    [수학식 1]
    Figure 112020131659900-pat00019

    [수학식 2]
    Figure 112020131659900-pat00020

    (여기서, Ii는 영상의 강도 값, │Ii│는 해당 강도 값을 가지는 영상의 픽셀 수, n은 영상의 전체 픽셀 수, L은 영상이 가질 수 있는 모든 강도 값, pdf(Ii)는 영상의 확률 밀도 함수, EI는 영상 엔트로피를 의미한다.)
  6. 청구항 3에 있어서,
    상기 변화량 계산부는 하기의 수학식 3에 의하여 영상 엔트로피의 변화량을 계산하는 영상 요동 감지기.
    [수학식 3]
    Figure 112020131659900-pat00021

    (여기서, ΔEI(t)는 영상 엔트로피의 변화량, EI는 영상 엔트로피, t는 현재 영상이 입력되는 시간, t-1은 이전 영상이 입력되는 시간을 의미한다.)
  7. 청구항 4에 있어서,
    상기 신호 발생부는,
    적외선 영상 엔트로피의 변화량에 대한 제1 논리 조건, 가시광선 영상 엔트로피의 변화량에 대한 제2 논리 조건 및 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값에 대한 제3 논리 조건을 모두 만족하는 경우 요동 신호를 발생시키는 영상 요동 감지기.
  8. 청구항 4에 있어서,
    상기 신호 발생부는 하기의 수학식 4 및 수학식 5에 의하여 요동 신호를 발생시키는 영상 요동 감지기.
    [수학식 4]
    Figure 112020131659900-pat00022

    [수학식 5]
    Figure 112020131659900-pat00023

    (여기서, GES(t)는 요동 신호, ΔEIR(t)는 적외선 영상 엔트로피의 변화량, ΔERGB(t)는 가시광선 영상 엔트로피의 변화량, R(t)는 순차적으로 입력되는 영상에 대한 추적 상관도 반응 값, TIR은 적외선 영상의 적분 시간, TRGB는 가시광선 영상의 초기화 프레임 속도를 의미한다.)
  9. 영상을 순차적으로 입력받기 위한 영상 입력기;
    상기 영상 입력기로부터 입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지하기 위한 영상 요동 감지기;
    상기 영상 요동 감지기로부터 요동 신호가 입력되는 경우 영상의 이동 정보를 산출하기 위한 이동 추적기; 및
    상기 이동 추적기로부터 산출된 이동 정보에 따라 영상 내에서 표적을 탐지하기 위한 표적 탐지기;를 포함하는 표적 추적 장치.
  10. 청구항 9에 있어서,
    상기 영상 입력기는,
    적외선 영상을 입력받기 위한 제1 영상 입력기; 및
    가시광선 영상을 입력받기 위한 제2 영상 입력기;를 포함하고,
    상기 영상 요동 감지기는,
    적외선 영상으로부터 산출된 적외선 영상 엔트로피의 변화량과, 가시광선 영상으로부터 산출된 가시광선 영상 엔트로피의 변화량을 각각 계산하여,
    적외선 영상 엔트로피의 변화량에 대한 제1 논리 조건, 가시광선 영상 엔트로피의 변화량에 대한 제2 논리 조건 및 적외선 영상 엔트로피와 가시광선 영상 엔트로피의 상관 값에 대한 제3 논리 조건을 모두 만족하는 경우 요동 신호를 발생시키는 표적 추적 장치.
  11. 청구항 9에 있어서,
    상기 이동 추적기는, 영상의 이동 방향 및 이동 거리를 포함하는 벡터 형태로 영상의 이동 정보를 산출하는 표적 추적 장치.
  12. 청구항 9에 있어서,
    상기 이동 추적기는, 영상 내의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출하는 표적 추적 장치.
  13. 청구항 12에 있어서,
    상기 이동 추적기는, 영상 엔트로피에 따라 특징점의 개수를 조절하여 영상의 이동 정보를 산출하는 표적 추적 장치.
  14. 청구항 12에 있어서,
    상기 영상 입력기는,
    적외선 영상을 입력받기 위한 제1 영상 입력기; 및
    가시광선 영상을 입력받기 위한 제2 영상 입력기;를 포함하고,
    상기 이동 추적기는, 적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 조절하여 영상의 이동 정보를 산출하는 표적 추적 장치.
  15. 청구항 9에 있어서,
    상기 표적 탐지기는 영상 내에서 표적을 기탐지한 영역을, 영상의 이동 방향 및 이동 거리를 상쇄시키는 방향으로 이동시켜 표적을 탐지하는 표적 추적 장치.
  16. 영상을 순차적으로 입력받는 과정;
    입력되는 영상의 영상 엔트로피의 변화량을 산출하여 영상의 요동 발생 여부를 감지하는 과정;
    요동 발생이 감지되면 요동에 따른 영상의 이동 정보를 산출하는 과정; 및
    산출된 이동 정보에 따라 영상 내에서 표적을 탐지하는 과정;을 포함하는 표적 추적 방법.
  17. 청구항 16에 있어서,
    상기 영상을 순차적으로 입력받는 과정은,
    적외선 영상을 순차적으로 입력받는 과정; 및
    가시광선 영상을 순차적으로 입력받는 과정;을 포함하고,
    상기 적외선 영상을 순차적으로 입력받는 과정 및 가시광선 영상을 순차적으로 입력받는 과정은 동시에 수행되는 표적 추적 방법.
  18. 청구항 17에 있어서,
    상기 영상의 이동 정보를 산출하는 과정은,
    적외선 영상으로부터 산출된 적외선 영상 엔트로피에 따라 특징점의 개수를 결정하는 과정; 및
    결정된 개수의 특징점의 이동 방향 및 이동 거리를 산출하여 영상의 이동 정보를 산출하는 과정;을 포함하는 표적 추적 방법.
  19. 청구항 18에 있어서,
    상기 특징점의 개수를 결정하는 과정은,
    영상 내의 모든 특징점에 개수에 적응형 스케일 인자를 곱하여 특징점의 개수를 결정하는 표적 추적 방법.
  20. 청구항 19에 있어서,
    상기 스케일 인자는 하기의 수학식 6에 의하여 결정되는 표적 추적 방법.
    [수학식 6]
    Figure 112020131659900-pat00024

    (여기서, qA는 상수, EIR은 적외선 영상 엔트로피, SF는 스케일 인자를 의미한다.)
  21. 청구항 20에 있어서,
    상기 qA는 0.01 내지 0.02 사이에서 선택된 값을 가지는 표적 추적 방법.
  22. 청구항 16에 있어서,
    상기 표적을 탐지하는 과정은,
    영상 내에서 표적을 기탐지한 영역을, 하기의 수학식 7에 의하여 산출되는 영상의 이동 방향 및 이동 거리를 상쇄시키는 방향으로 이동시켜 표적을 탐지하는 표적 추적 방법.
    [수학식 7]
    Figure 112020131659900-pat00025

    (여기서, ut-1 x는 이동 전의 영상에 포함된 특징점의 X축 좌표 값, ut x는 이동 후의 영상에 포함된 특징점의 X축 좌표 값, ut-1 y는 이동 전의 영상에 포함된 특징점의 Y축 좌표 값, ut y는 이동 후의 영상에 포함된 특징점의 Y축 좌표 값, dx는 X축 방향의 이동 거리, dy는 Y축 방향의 이동 거리, T는 프레임 번호를 의미한다.)
KR1020200168700A 2020-12-04 2020-12-04 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법 KR102539001B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200168700A KR102539001B1 (ko) 2020-12-04 2020-12-04 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200168700A KR102539001B1 (ko) 2020-12-04 2020-12-04 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220079183A KR20220079183A (ko) 2022-06-13
KR102539001B1 true KR102539001B1 (ko) 2023-06-01

Family

ID=81983956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200168700A KR102539001B1 (ko) 2020-12-04 2020-12-04 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102539001B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102141051B1 (ko) 2019-07-11 2020-08-04 한화시스템 주식회사 표적 탐지 방법 및 표적 탐지 설비

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53421A (en) * 1976-06-23 1978-01-06 Yoshio Tatsumi Pipe
KR100991348B1 (ko) * 2008-11-28 2010-11-01 영남대학교 산학협력단 Ｐｓｏ를 이용한 스텝주파수 레이더 영상의 요동 보상 방법
KR101199884B1 (ko) 2010-05-04 2012-11-09 국방과학연구소 표적을 자동 탐색하는 함정 전투 체계의 사격 통제용 전자 광학 추적 시스템 및 방법
KR101713173B1 (ko) * 2014-10-29 2017-03-07 한국해양과학기술원 타깃 탐지의 정확성 개선 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102141051B1 (ko) 2019-07-11 2020-08-04 한화시스템 주식회사 표적 탐지 방법 및 표적 탐지 설비

Also Published As

Publication number Publication date
KR20220079183A (ko) 2022-06-13

Similar Documents

Publication Publication Date Title
CN102298070B (zh) 估算无人机,尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
US6819778B2 (en) Method and system for tracking a fast moving object
JP2021515939A (ja) 単眼深度推定方法およびその装置、機器ならびに記憶媒体
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN111813113B (zh) 仿生视觉自运动感知地图绘制方法、存储介质及设备
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
JP6188592B2 (ja) 物体検出装置、物体検出方法、および物体検出プログラム
JPH1183530A (ja) 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
CN108769550B (zh) 一种基于dsp的图像显著分析系统及方法
CN105378534A (zh) 摄像装置、摄像装置的工作方法
CN113875219B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2013121215A1 (en) Video tracking apparatus and method
US20190227543A1 (en) Driving information display device, driving information display method, and method of controlling driving speed of working vehicle
CN109951640A (zh) 摄像头防抖方法和系统、电子设备、计算机可读存储介质
CN111160237A (zh) 头部姿态估计方法和装置、电子设备和存储介质
US11509813B2 (en) Image processing device
KR102539001B1 (ko) 영상 요동 감지기 및 이를 이용한 표적 추적 장치 및 방법
US8929590B2 (en) Object tracking device capable of tracking object accurately, object tracking method, and storage medium
CN116977902B (zh) 一种边海防车载光电稳定平台目标跟踪方法及系统
US20230009012A1 (en) Self-position estimation apparatus, self-position estimation method, and program
JP6154759B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム
Wu et al. Video object tracking method based on normalized cross-correlation matching
JP6734994B2 (ja) ステレオ計測装置及びシステム
KR102323671B1 (ko) 동영상내의 이상 물체 탐지 방법 및 그 장치
KR102499401B1 (ko) 폭발물의 매질 전파 특성 영상 분석 장치, 이를 위한 드론 및 그 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right