KR101591380B1 - 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템 - Google Patents

상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템 Download PDF

Info

Publication number
KR101591380B1
KR101591380B1 KR1020140057051A KR20140057051A KR101591380B1 KR 101591380 B1 KR101591380 B1 KR 101591380B1 KR 1020140057051 A KR1020140057051 A KR 1020140057051A KR 20140057051 A KR20140057051 A KR 20140057051A KR 101591380 B1 KR101591380 B1 KR 101591380B1
Authority
KR
South Korea
Prior art keywords
target
image
tracking
tracking window
feature points
Prior art date
Application number
KR1020140057051A
Other languages
English (en)
Other versions
KR20150130032A (ko
Inventor
강재웅
김수진
윤주홍
박용운
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020140057051A priority Critical patent/KR101591380B1/ko
Publication of KR20150130032A publication Critical patent/KR20150130032A/ko
Application granted granted Critical
Publication of KR101591380B1 publication Critical patent/KR101591380B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 추적 기술에 관한 것으로서, 더 상세하게는 형상정보 수준이 낮은 영상에서 안정된 추적 성능을 확보하기 위해, 표적의 단일 형상정보를 추적하면서 가림이 발생한 경우에는 특징점의 위치 정보를 이용하여 실제 표적의 위치를 예측하는 방법에 대한 것이다.

Description

상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템{Conjugation Method of Feature-point for Performance Enhancement of Correlation Tracker and Image tracking system for implementing the same}
본 발명은 영상 추적 기술에 관한 것으로서, 더 상세하게는 형상정보 수준이 낮은 영상에서 안정된 추적 성능을 확보하기 위해, 표적의 전체 형상정보를 추적하면서 가림이 발생한 경우에는 지역적 형상정보에 해당하는 특징점의 위치를 이용하여 실제 표적의 위치를 예측하는 방법 및 이를 구현하는 영상 추적 시스템에 대한 것이다.
특히, 본 발명은 형상정보가 적은 영상에 강인한 상관추적의 추적창 조절(target window adjustment) 기법과 표적의 가림에 강인한 특징점 추적의 군집화(clustering) 기법을 결합한 방법 및 이를 구현하는 영상 추적 시스템에 대한 것이다.
영상 추적(video tracking)에서 복잡한 배경에 위치한 표적을 추적하기 위해서는 안정적으로 추적창을 유지하는 것이 필수적이다. 추적창은 영상에서 표적을 식별하기 위한 용도 외에도 지속적인 표적 추적을 위한 영상 처리 알고리즘의 성능을 높이고 영상 센서를 장비한 팬-틸트 유닛을 제어하기 위한 기준을 제공한다.
상관 추적(correlation tracking)과 같은 템플릿 정합 방식과 중심 추적(centroid tracking)과 같은 영역 분할 방식은 표적의 전체 형상을 이용하여 추적창을 조절하고 표적의 중심을 산출하므로 가리지 않은 표적을 추출할 경우에는 우수한 성능을 보이지만, 표적이 장애물에 가릴 경우에는 추적창이 축소되어 실제 표적의 중심과 산출된 표적의 중심 사이에는 오차가 발생한다.
이러한 오차를 줄이기 위해 표적의 전체 형상 정보를 단위 정보로 나눈 방식이 분할 혹은 국부 추적(patch tracking)이며 표적의 지역적 형상 정보를 이용하여 ROI(region of interest)영역과 표적의 이동 변위를 산출한다.
KLT(Kanade Lucas Tomasi) 추적기는 특징점을 이용한 대중화된 국부 추적 기술로서 응용 범위가 넓지만 IR(Infrared) 영상과 같이 형상정보 수준이 떨어지는 환경에서는 성능을 보장할 수 없다는 문제점이 있었다.
영상추적기는 이미지센서에 의해 획득된 표적의 영상정보를 이용하여 표적의 궤적을 실시간으로 계산하는 장치이다. 예를 들면 영상추적기는 메모리에 저장된 표적영상을 기준으로 입력영상에서 표적의 위치를 산출하고 표적의 정보를 추출한다. 추적기에 저장된 표적영상은 참조영상(reference template)이라 불리며, 추적기는 입력영상에서 추출한 표적영상을 끊임없이 참조영상에 반영하여 현재의 표적형상에 근접한 참조영상을 유지한다.
도 1은 상관 추적기(correlation tracker)가 입력 영상에서 표적영상을 추출하여 메모리에 저장하는 단계를 나타낸다. 추적기는 최초에 사용자가 지정한 표적의 주변 영상에서 밝기의 경사도 세기(Gradient Magnitude)를 구하여 표적의 윤곽 정보를 계산하고 도 1에 도시된 (a)와 같이 추적창의 위치와 크기를 조절한다.
추적 장치가 영상 센서로부터 다음 입력 영상을 전송받으면 추적창에 해당하는 표적 영상을 매칭하여 입력 영상에서의 표적을 탐색한다. (b)와 같이 탐색된 표적 영상은 (c)에서 현재 추적 장치에 저장된 표적 영상과 결합하는 과정을 거치는데, 이를 참조 영상의 갱신(reference template update)이라고 명명하며 참조 영상을 갱신을 수행하는 목적과 과정은 다음과 같다.
참조 영상 갱신은 표적의 자세 변화, 형상 변화 등을 고려하여, 추적 장치에 저장된 참조 영상과 영상센서로부터 입력된 영상에서의 표적의 형상이 같도록 유도하는 기법이다. 입력된 표적 영상을 참조영상에 가장 빠르게 반영하는 방법은 참조영상을 현재의 표적영상으로 대체하는 것이지만 현재의 표적영상이 클러터(clutter)와 노이즈(noise)로 심하게 오염되었을 경우를 대비하여 표적영상을 낮은 비율로 참조영상에 반영한다.
따라서 참조영상에 현재의 표적형상을 반영하는 일련의 처리를 참조영상 갱신 기법(reference template update method)이라 부르며, 다음 수학식 같이 표현할 수 있다.
Figure 112014044730120-pat00001
여기서,
Figure 112014044730120-pat00002
의 범위는
Figure 112014044730120-pat00003
이며 0에 가까운 작은 값이다.
Figure 112014044730120-pat00004
와
Figure 112014044730120-pat00005
는 행렬성분이 이미지 화소값인 2차원 행렬로서,
Figure 112014044730120-pat00006
은
Figure 112014044730120-pat00007
번째(현재) 프레임에서 사용된 참조영상이고
Figure 112014044730120-pat00008
은
Figure 112014044730120-pat00009
번째 입력영상에서 표적영역(Region Of Interest, ROI)을 추출한 정합영상(matched template),
Figure 112014044730120-pat00010
은 다음프레임에서 사용될 참조영상이다. 표적영역(ROI)은 입력영상에서 표적이 포함된 영역을 의미한다.
Figure 112014044730120-pat00011
는
Figure 112014044730120-pat00012
과
Figure 112014044730120-pat00013
이 일치한 정도를 나타내는 척도이며 템플릿 정합(template matching)으로 생성되는 수치이다.
Figure 112014044730120-pat00014
와
Figure 112014044730120-pat00015
는 모두 현재의 표적형상을 참조영상에 반영하는 속도를 결정하지만, 자동으로 결정되는
Figure 112014044730120-pat00016
와 달리
Figure 112014044730120-pat00017
는 개발자 혹은 사용자의 주관에 따라 결정되는 설정치(parameter)이다.
도 1은 참조영상 갱신 기법을 설명하기 위한 도면이다. 도 1은 참조영상의 갱신을 반복하는 과정을 나타내며, 참조영상의 왜곡을 최소화하고 정합 성능을 높이는 것이 전체 추적 성능을 높이는 방법임을 나타낸다.
도 1에 도시된 바와 같이, 상관추적의 잘못된 참조영상 인식과 기준영상의 편류(drift)는 재귀필터를 이용한 기준영상 갱신(recursive reference template update)으로 완화할 수 있으나 두 가지 요인으로 인해 완전한 해결은 불가능하다.
첫 번째, 배경 화소(즉, 픽셀)들이 기준영상 내로 유입되어 추적 장치는 표적으로 지정한 객체 대신 클러터를 표적으로 인식한다. 두 번째, 정밀한 팬-틸트 제어 알고리즘을 사용하여도 표적은 화면의 중앙에서 벗어난다.
또한, 연속 입력영상에서 표적에 해당하는 특징점이 올바르게 매칭되었을 때, 해당 특징점을 유효 특징점(valued feature point)이라고 명명하면, 특징점 추적의 성능은 다음에 근거하여 유효 특징점의 개수와 분포에 의해 결정된다.
첫 번째, 특징점 추적에서 표적의 정확한 이동량을 산출하기 위해서는 충분히 많은 유효 특징점들을 확보하여 특징점들의 중앙값이 갖는 신뢰도를 높여야 한다.
두 번째, 특징점 추적에서 ROI를 설정하기 위한 기준은 유효 특징점들의 분포에 의해 결정되므로 표적 전체에 걸쳐 고르게 특징점들이 분포하였을 때, 전체 표적 형상을 포함하는 ROI 설정이 가능하다. 또한 표적의 회전이나 크기 변화 시에 ROI 영역 내에서 추적하고자 하는 특징점을 갱신하게 되므로 올바른 ROI설정이 추적 유지 성능에 영향을 미친다.
반면 저해상도의 영상이나 적외선은 일반 컬러 영상이나 흑백영상과 비교했을 때, 지역 특징 정보가 적다. 특히 적외선 영상은 대기에서 정보가 산란되어 윤곽이 뚜렷하지 않고 온도 정보만을 이용하여 단조로운 형태를 보이며 온도 변화에 민감하여 형상이 왜곡되는 경우가 빈번하다. 이 현상은 원거리에 위치한 표적 정보를 수집할 때, 더욱 심하게 나타나며 현재 개발되는 열상 추적장비의 대부분이 특징점 추적이 아닌 상관추적 기술을 적용하는 이유이기도 하다.
1. 한국등록특허번호 제10-1087592호 2. 한국등록특허번호 제10-1348680호
1. 이승연외, "복잡한 환경에서 다중표적추적을 위한 고속 트랙병합 기법"한국군사과학기술학회지 제15권 제4호 통권 제59호(2012년 8월) pp.513-518
위 배경기술에 따르면, 유효 특징점을 확보하기 힘든 적외선 영상에서 특징점 추적은 비용과 성능 면에서 효율적이지 않으며 특징점을 이용하여 장비의 성능을 극대화하기 위해서는 상관추적의 보조 기능으로 적용하는 것이 바람직하다.
따라서, 본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 유효 특징점을 확보하기 힘든 적외선 영상에서 특징점 추적은 비용과 성능 면에서 효율적이지 않으며 특징점을 이용하여 장비의 성능을 극대화하기 위해서는 상관추적의 보조 기능으로 적용하는 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템을 제공하는데 그 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 유효 특징점을 확보하기 힘든 적외선 영상에서 특징점 추적은 비용과 성능 면에서 효율적이지 않으며 특징점을 이용하여 장비의 성능을 극대화하기 위해서는 상관추적의 보조 기능으로 적용하는 상관 추적기의 성능향상을 위한 특징점 활용 방법을 제공한다.
상기 특징점 활용 방법은,
a) 표적영상을 입력영상에 템플릿 정합하는 단계;
b) 템플릿 정합으로 생성된 표적영역에서 상관도들 및 표적 화소수들을 산출하는 단계;
c) 산출된 상관도들을 이용하여 표적의 가림을 판단하는 단계;
d) 산출된 표적 화소수들을 이용하여 표적의 가림이 부분적인 가림인지 전체적 가림인지 판단하는 단계; 및
e) 상기 표적의 가림 발생여부를 바탕으로 상기 표적영역의 실표적 추적창을 조절하는 단계;를 포함하는 것을 특징으로 한다.
이때, 상기 d)단계는, 상기 표적영역에서 표적에 대한 특징점들을 추출하고 다음 입력 영상에서 해당 특징점들과 정합하여 유효 특징점(valued feature point)들을 결정하는 단계; 및 상기 입력영상의 화면중심과 유효 특징점들의 상대적 위치를 이용하여 상기 표적영역의 실표적 추적창을 조절하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 실표적 추적창의 조절은 좌표 정보에 따라 팬틸트 유닛의 제어 속도를 조절함으로써 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 팬틸트 유닛의 제어는 PID(Proportional Integral Derivative) 제어 방식을 이용하여 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 단계 b)는, α-β 필터, 칼만필터, FIR 필터 및 IIR 필터 중 어느 하나를 이용하여 상기 표적 화소수들을 필터링하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 단계 c)는, 상기 표적 화소수들의 화소수 변화율을 이용하여 부분 가림 또는 완전 가림으로 판단하는 단계;를 포함하는 것을 특징으로 할 수 있다.
이때, 상기 부분 가림이면 상기 실표적 추적창의 중심 좌표를 산출하는 단계; 및 상기 실표적 추적창에 속하는 상관도들중 최대 상관도를 미리 설정된 기준값과 비교하여 상기 부분 가림 또는 완전 가림으로 판단하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 화소수 변화율은 수학식
Figure 112015090059665-pat00018
(여기서, rk는 화소수 변화율이고, k는 현재 시간이고,
Figure 112015090059665-pat00138
는 노이즈가 제거된 화소수 변화속도이고,
Figure 112015090059665-pat00139
는 노이즈가 제거된 표적 화소수를 나타낸다)로 정의되는 것을 특징으로 할 수 있다.
또한, 상기 상관도들은 저장된 표적 영상과 입력영상의 표적 영상의 유사도를 나타내는 것을 특징으로 할 수 있다. 부연하면, 저장된 표적 영상은 도 1의 설명에서 '참조영상'을 나타내고 참조영상과 입력영상의 표적 영상의 유사도는 도 1의 설명에서 '
Figure 112014044730120-pat00019
'에 해당한다.
또한, 상기 c) 단계는, 상기 표적의 가림이 발생하지 않으면, 추적창의 중심좌표를 산출하는 단계;를 포함하는 것을 특징으로 할 수 있다.
다른 한편으로, 본 발명의 일실시예는, 영상 센서; 표적영상을 상기 영상 센서로부터의 입력영상에 템플릿 정합하고, 템플릿 정합으로 생성된 표적영역에서 상관도들 및 표적 화소수들을 산출하고, 산출된 표적 화소수들을 이용하여 표적의 가림이 발생하는지를 판단하는 신호처리부; 상기 표적의 가림 발생여부를 바탕으로 상기 표적영역의 실표적 추적창을 조절하는 제어부; 및 상기 제어부의 제어에 따라 상기 표적영역의 실표적 추적창을 조절하도록 영상 센서를 구동하는 팬틸트 유닛;을 포함하는 것을 특징으로 하는 특징점 활용을 구현하는 영상 추적 시스템을 제공한다.
본 발명에 따르면, 형상정보가 적고 대조비가 높은 영상에서 성능이 우수한 상관추적 추적창 조절 기법과 표적의 가림에 강인한 특징점 추적의 장점을 결합하여 안정적인 추적창을 유지한다.
또한, 본 발명의 다른 효과로서는 빠르게 기동하는 표적이 완전히 가리는 경우에 안정적으로 표적을 재포착할 수 있도록 영상센서를 탑재한 팬-틸트 유닛의 제어를 안정적으로 유지할 수 있다는 점을 들 수 있다.
도 1은 일반적인 상관추적 과정을 나타내는 개념도이다.
도 2는 일반적인 상관추적 추적창 조절 기법을 나타낸다.
도 3은 일반적인 특징점 추출 방식과 특징점 이동량 측정 특성을 나타낸다.
도 4는 일반적인 특징점 추적의 이동량 측정과 ROI 조정 방식을 나타낸다.
도 5a 내지 도 5c는 본 발명의 일실시예에 따른 실표적 추적창의 구조를 나타내는 개념도이다.
도 6은 본 발명의 일실시예에 따른 실표적 추적창의 실험 결과를 나타낸 그래프이다.
도 7은 본 발명의 일실시예에 따른 상관 추적기의 성능향상을 위한 특징점을 활용한 영상 추적 시스템(700)의 구성 블록도이다.
도 8은 본 발명의 일실시예에 따른 상관 추적기의 성능향상을 위한 특징점 활용을 위한 가림추적 과정을 나타내는 흐름도이다.
도 9는 본 발명의 일실시예에 따른 실표적 추적창 기법과 팬-틸트 제어 기법이 적용되는 사례를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 상관 추적기의 성능향상을 위한 특징점 활용 방법을 상세하게 설명하기로 한다.
도 2는 일반적인 상관추적 추적창 조절 기법을 나타낸다. 도 2를 참조하면, 템플릿(template)(200)은 추적기에 저장된 표적의 윤곽 영상이며 표적과 배경 사이의 윤곽을 강조하기 위해 휘도 기울기의 세기(gradient magnitude)로 표현한다.
Figure 112014044730120-pat00020
여기서,
Figure 112014044730120-pat00021
는 휘도 기울기 세기를 윤곽 영상으로 표현한 영상이고,
Figure 112014044730120-pat00022
와
Figure 112014044730120-pat00023
는 각각
Figure 112014044730120-pat00024
와
Figure 112014044730120-pat00025
축의 픽셀 좌표를 의미한다. 또한,
Figure 112014044730120-pat00026
와
Figure 112014044730120-pat00027
는 가우시안 스무딩(Gaussian smoothing) 필터로 노이즈를 제거한 표적 영상에 Sobel 마스크를 적용한 영상으로,
Figure 112014044730120-pat00028
는 가로 방향의 엣지 성분을,
Figure 112014044730120-pat00029
는 세로방향의 엣지 성분을 표현한다.
도 2를 계속 참조하면,
Figure 112014044730120-pat00030
,
Figure 112014044730120-pat00031
,
Figure 112014044730120-pat00032
는 각각 세 영역의 평균 휘도 세기이다. 추적창의 4방향의
Figure 112014044730120-pat00033
,
Figure 112014044730120-pat00034
,
Figure 112014044730120-pat00035
을 아래와 같이 비교하여 표적의 윤곽을 탐색하고 추적창을 조절한다.
a)
Figure 112014044730120-pat00036
Figure 112014044730120-pat00037
Figure 112014044730120-pat00038
: 추적창 유지
b)
Figure 112014044730120-pat00039
Figure 112014044730120-pat00040
Figure 112014044730120-pat00041
이고
Figure 112014044730120-pat00042
: 추적창 축소
c)
Figure 112014044730120-pat00043
Figure 112014044730120-pat00044
Figure 112014044730120-pat00045
이고
Figure 112014044730120-pat00046
: 추적창 확대
추적을 위한 다양한 지역 특징(local feature)들이 존재하며, 추적을 위해 어떠한 특징을 사용할 것인지를 결정하는 일은 매우 중요하다. 밝기값의 급격한 변화로 인해 큰 미분 계수를 갖는 점은 영상에서 엣지 주변에 존재하는 점이고 큰 미분값이 서로 직교하는 점을 코너(corner)라고 부른다.
특징 윈도를 이용해 화소와 주변 화소들과의 밝기 값의 차이는 다음과 같다.
Figure 112014044730120-pat00047
여기서
Figure 112014044730120-pat00048
는 도 3의 (a), (b), (c)에 나타낸 윈도우(300)다. 변화량을 나타내는 함수
Figure 112014044730120-pat00049
의 값은 평탄한 영역에서는 낮은 값을 갖고, 코너 주변에서는 값이 커진다.
Figure 112014044730120-pat00050
위치에서
Figure 112014044730120-pat00051
만큼 이동된 위치에서의 밝기 값
Figure 112014044730120-pat00052
은 테일러 급수를 이용해 다음과 같이 근사화할 수 있다.
Figure 112014044730120-pat00053
위 식을 수학식 2에 대입하면 다음과 같다.
Figure 112014044730120-pat00054
Figure 112014044730120-pat00055

Figure 112014044730120-pat00056
그러면,
Figure 112014044730120-pat00057
은 다시 다음과 같다.
Figure 112014044730120-pat00058
만약 행렬
Figure 112014044730120-pat00059
의 고유값(eigen value)을
Figure 112014044730120-pat00060
와
Figure 112014044730120-pat00061
라고 한다면
Figure 112014044730120-pat00062
와
Figure 112014044730120-pat00063
의 값에 따라 해당 화소가 평탄한 영역인지, 경계선인지, 혹은 코너인지 구별된다. 만약
Figure 112014044730120-pat00064
와
Figure 112014044730120-pat00065
가 모두 작은 값을 가진다면, 이는 해당화소가 평탄한 점에 속한다고 볼 수 있다.
만약
Figure 112014044730120-pat00066
와
Figure 112014044730120-pat00067
중 하나는 크고 하나는 적은 값을 가진다면 이는 경계선 위에 있는 점이라고 할 수 있다. 마지막으로
Figure 112014044730120-pat00068
와
Figure 112014044730120-pat00069
모두 큰 값을 가진다면 주변 화소와 비교했을 때 모든 방향으로 차이가 많이 난다는 것을 의미하므로 코너에 위치한 점이라고 할 수 있다.
코너를 이용한 객체의 이동을 추정하는 것으로 보편적인 방식이 옵티컬 플로(optical flow)이다. 옵티컬 플로는 어떤 객체에 속한 화소의 밝기 값은 프레임이 바뀌어도 항상 일정하다는 가정을 두고, 해당 화소(즉 픽셀)의 주변 밝기 정보를 이용하여 화소의 이동량을 추정한다. 이를 다음 수학식으로 표현할 수 있으며
Figure 112014044730120-pat00070
는 화소 좌표
Figure 112014044730120-pat00071
,
Figure 112014044730120-pat00072
의 시간
Figure 112014044730120-pat00073
에서의 밝기 값을 의미하며,
Figure 112014044730120-pat00074
,
Figure 112014044730120-pat00075
는 각각
Figure 112014044730120-pat00076
와
Figure 112014044730120-pat00077
축으로의 이동량을 나타낸다.
Figure 112014044730120-pat00078
도 3의 (d), (e), (f)에서 표시한 점선은 이동전 평면(310)(즉 이전 영상)을 의미하며 이동후 평면(320)(즉 현재 영상)은 직선으로 표시하였다. 동그라미는 추정하고자 하는 윈도우(302)를 의미하며 이 부분의 옵티컬 플로를 계산하려고 한다.
도 3의 (d)의 코너를 포함하는 윈도우(302)는 옵티컬 플로를 추정하는데 큰 어려움이 없으며 안정적으로 추정 영역과 같은 부분을 추정해 낼 수 있을 것이다. 도 3의 (e)는 에지 영역의 옵티컬 플로를 계산하려고 하는데 그에 해당하는 똑같은 모양의 영역이 에지를 타고 무수히 발생하기 때문에 정확한 옵티컬 플로를 계산할 수 없다. 도 3의 (f)는 텍스처(texture)가 없는 매끈한 영역이기 때문에 옵티컬 플로를 찾아낼 수 없게 된다.
이러한 특징점 추적은 도 4와 같이 ROI(Region Of Interest)영역 내에서 특징점(feature point)들을 추출하고 입력 영상에서 대응하는 특징점들을 찾아 ROI를 이동시킨다. 즉, 이를 이해하기 쉽게 도 4의 (a)의 좌측 도면에 이동전 ROI영역(401) 및 이동후 ROI영역(402)이 도시된다.
또한, 표적이 자세나 크기를 변경할 경우, ROI 내 특징점들의 분포를 이용하여 ROI의 크기를 조절하여야 한다. ROI의 크기를 정하는 특징점들은 FB(Forward-Backward) 오차가 작고 전체 표적의 이동량과 유사한 벡터를 가진다.
FB 오차는 역방향 추적을 수행하여 구할 수 있고 전체 표적의 이동량은 도 4의 (a)의 우측에 도시된 바와 같이, ROI내 위치한 특징점들이 가지는 벡터 성분 중에
Figure 112014044730120-pat00079
축 값들의 중앙값,
Figure 112014044730120-pat00080
축 값들의 중앙값을 이용하여 생성한다.
도 4의 (b)는 ROI 영역내 특징점들이 있는 모습을 보여준다.
이와 달리, 상관추적은 표적의 전체 혹은 부분 형상을 이용하여 표적의 이동량을 측정하므로 입력영상에서 표적이 장애물 등에 가리지 않아야 실제 표적의 이동량을 정확히 측정할 수 있다. 즉, 다양한 가림 형태가 존재하는 지상 환경에서 실제 표적의 이동량을 측정하기 위해서는 표적을 분할하여 추적하는 기능이 필요하다. 특징점은 표적을 분할하기 위한 대안이 되며 각각의 특징점들은 표적의 중심과 상대적 위치 관계를 갖는다.
상관추적에 특징점을 적용하는 목적은 표적을 분할하여 추적하기 위함이고 효과적으로 표적 영상을 분할하기 위해서는 표적영상 내에서 특징점이 고르게 분포하여 추출되도록 유도하는 것이 바람직하다.
다음으로, 도 5를 참조하여, 실표적 추적창을 설명한다. 기존의 상관 추적에서 사용하는 추적창은 추적창의 경계(510)와 내부 경계(520) 사이(도 2의 설명에서
Figure 112014044730120-pat00081
영역)에 표적의 윤곽이 위치하도록 추적창을 조절하여 표적의 일부가 가릴 경우, 가린 위치의 추적창이 축소된다. 가림에 의한 추적창의 축소는 표적의 중심 위치를 왜곡하여 추적 성능을 크게 떨어뜨리는 요인이 된다.
표적의 궤적을 판단하기 위한 표적 중심을 추적창의 중심으로 볼 때, 실표적 추적창은 이러한 중심 왜곡을 최소화하기 위해 기존의 추적창에 특징점 정보를 추가하여 가림에 의한 추적창 축소를 방지한다.
OpenCV와 MATLAB 2013a 이상에서는 코너 특징점을 추출할 때, 특징점들 간의 최소 거리를 지정하여 표적 영상 전반에 걸친 특징점 추출이 가능하며 연속영상에서 특징점의 이동한 위치를 판별하는 다양한 매칭 알고리즘을 제공한다.
이러한 영상에서의 특징 추출과 매칭 알고리즘의 연계로 특징 추적(feature tracking)을 구현한 사례는 감시정찰, 환경인식 등 다양한 분야가 있으나, 원거리 표적과 저해상도 혹은 IR 영상의 표적에서는 단독으로 사용할 경우 성능이 떨어진다.
도 5a는 현재(
Figure 112014044730120-pat00082
) 프레임의 표적영역(500)에서 추출된 특징점을 나타낸다. 도 5b는 추출된 각각의 특징점들이 실표적 추적창(520)에 대응하는 벡터 정보이다. 도 5c에서 벡터
Figure 112014044730120-pat00083
의
Figure 112014044730120-pat00084
과
Figure 112014044730120-pat00085
, 벡터
Figure 112014044730120-pat00086
의
Figure 112014044730120-pat00087
와
Figure 112014044730120-pat00088
는 각각 실표적 추적창(520)의 4변(left, top, right, bottom)까지의 거리(521,522,531,532)를 나타내며, 실표적 추적창의 크기가 변화할 시에 표적의 가림 위치를 판별하여 실표적 추적창을 유지한다.
상관 추적기는 입력 영상에서 저장된 표적 영상을 정합하여, 추적 영역의 상관도(correlation coefficient) 행렬을 생성하고 최대 정합점이 되는 원소의 좌표와 상관도를 반환한다.
상관도는 저장된 표적 영상과 입력 영상의 표적 영상의 유사도를 나타내며, 표적의 형상변화가 발생하는 구간을 판단하는 기준이 된다. 최대 상관도를
Figure 112014044730120-pat00089
,
Figure 112014044730120-pat00090
프레임 동안
Figure 112014044730120-pat00091
,
Figure 112014044730120-pat00092
,
Figure 112014044730120-pat00093
,
Figure 112014044730120-pat00094
가 변화한 크기를
Figure 112014044730120-pat00095
,
Figure 112014044730120-pat00096
,
Figure 112014044730120-pat00097
,
Figure 112014044730120-pat00098
, 현재(
Figure 112014044730120-pat00099
) 프레임의
Figure 112014044730120-pat00100
의 크기를
Figure 112014044730120-pat00101
라고 했을 때, 실표적 추적창 조절의 조건을 나타내는 Pseudo code는 도 10과 같다.
도 6의 (a) 내지 (b)는 특징 추적을, (c)와 (f)는 상관 추적을, (b)와 (e)는 실표적 추적창을 이용한 추적 결과이다. 특징 추적의 경우, 도 6의 (a)는 추적의 대상인 특징점들이 가림으로 인해 소멸하여 재 추출할 때, 잘못된 위치에서 특징점을 추출하여 추적을 실패한 결과이고 (d)는 특징점들이 고온 공기에 가려 추적에 실패한 결과다. 도 6의 (c)는 표적과 유사한 객체가 표적을 가리면서 교차하여 추적창이 비대해지는 결과를 나타내고 (f)는 순간적인 고온의 공기 발생으로 인해 추적창의 크기가 불안정한 모습을 나타낸다. 도 6의 (b)는 특징점 정보를 이용하여 추적창이 비대해지는 것을 방지한 모습을 나타내고 (e)는 순간적인 고온의 공기 발생에도 추적창을 안정적으로 유지하는 것을 나타낸다.
도 7은 본 발명의 일실시예에 따른 상관 추적기의 성능향상을 위한 특징점을 활용한 영상 추적 시스템(700)의 구성 블록도이다. 도 7을 참조하면, 영상 추적 시스템(700)은 영상 센서(740), 표적영상을 상기 영상 센서(740)로부터의 입력영상에 템플릿 정합하고, 템플릿 정합으로 생성된 표적영역에서 상관도들 및 표적 화소수들을 산출하고, 산출된 표적 화소수들을 이용하여 표적의 가림이 발생하는지를 판단하는 신호처리부(710), 상기 표적의 가림 발생여부를 바탕으로 상기 표적영역의 실표적 추적창을 조절하는 제어부(720), 상기 제어부의 제어에 따라 상기 표적영역의 실표적 추적창을 조절하도록 영상 센서를 구동하는 팬틸트 유닛(730) 등을 포함한다.
신호처리부(710)는 영상 센서(740)로부터 입력되는 입력영상에 표적영상을 템플릿 정합하고, 템플릿 정합으로 생성된 표적영역에서 상관도들 및 표적 화소수들을 산출하는 추적기(711), α-β 필터, 칼만필터, FIR 필터 및 IIR 필터 중 어느 하나를 이용하여 상기 표적 화소수들을 필터링하는 필터링부(712), 산출된 표적 화소수들을 이용하여 표적의 가림이 발생하는지를 판단하여 정상 추적인지 또는 가림 추적인지를 결정하는 추적 정상 판단부(715), 정상 추적 또는 가림 추적에 따라 추적창의 중심좌표, 실표적 추적창의 중심좌표, 화면 중심과 특징점들의 상대 위치 등의 위치 정보를 산출하는 위치 산출부(717), 및 산출되는 위치 정보를 이용하여 영상 센서(740)의 위치를 조정하도록 팬틸트 유닛(730)을 제어하는 PID(Proportional Integral Derivative) 제어기(719) 등을 포함하여 구성된다.
도 8은 본 발명의 일실시예에 따른 상관 추적기의 성능향상을 위한 특징점 활용을 위한 가림추적 과정을 나타내는 흐름도이다. 부연하면, 위에서 기술한 특징점 추적을 이용한 기억 추적을 수행하는 과정을 보여주는 흐름도이다.
팬-틸트 구동을 수반하여 영상추적을 수행할 경우, 추적기는 표적이 입력영상의 중앙에 위치하도록 팬틸트 유닛(도 7의 730)의 팬-틸트 구동 속도를 산출한다. 이 때, 표적의 중심과 입력영상의 중심과의 거리는 팬-틸트 구동 속도를 결정하는 중요한 입력값이 되고, 표적이 장애물에 가릴 경우를 대비하여 실제 표적의 중심을 예측하는 것이 중요하다.
실표적 추적창은 표적이 부분적으로 가렸을 때, 표적의 실제 중심을 예측하기 위한 대안이 될 수 있으나 표적의 전체 형상이 가렸을 경우에는 보다 정밀한 계측 방법이 요구된다. 즉, 표적의 전체 형상이 가릴 경우에는 표적의 중심보다 표적의 이동 방향과 속도에 대한 정확한 계측이 요구되는데, 이는 표적이 화면에서 재포착되는 지점을 예측하기 위함이다.
기동 중인 표적의 속도가 빠른 경우에는 실표적 추적창으로의 전환 후에 제어가 안정되지 않은 상태에서 표적이 완전히 가릴 수 있다. 이 경우에는 실표적 추적창으로의 전환 대신 특징점과 화면 중심과의 상대위치로서 현재의 팬-틸트 구동 제어 속도를 기억해야 한다.
즉, 표적이 완전히 가릴 경우에는 화면에 표적이 다시 나타날 경우를 대비하여 현재의 팬-틸트 구동 제어 속도를 유지해야 하기 때문이다. 표적이 빠르게 가리는 것을 판단하기 위해서는 표적의 면적 변화량을 측정하여야 하며, 표적의 면적은 히스토그램 기반 영역 분리 방식인 Otsu기법, Kittler 기법, Kapur 기법 및 Quasi-Laplacian 기법 등이 있다.
표적에 속한 화소수(즉 픽셀 수)를 산출하기 위해, 추적창 내의 영상의 통계적 특징을 이용하여 표적과 배경을 분리할 수 있는 임계치를 결정한다. 이 과정의 분할 임계치는 동일한 표적을 추적할 경우에도 배경과 표적의 영상의 특징에 따라서 시간적에 따라 변화하게 되며 결과적으로 표적분할의 성능에 결정적인 영향을 미친다.
추적이 정상적으로 이루어지는 상황에서 표적영역의 화소수(즉 픽셀 수)는 이 임계치의 변화에 따라 일정한 평균값을 유지하면서 시간적으로 섭동을 일으킨다. 따라서 표적 가림을 판단하는 기준으로 표적내 화소수 변화율을 측정하기 위해서는 표적분할 결과를 그대로 적용할 경우 커다란 오차를 유발하게 되므로 필터링을 통하여 안정화시킨 후 표적 화소수를 결정하여야 한다(단계 S810,S820).
표적내 화소수 필터링을 위한 방법으로서 α-β 필터, 칼만필터, FIR(Finite Impulse Response) 또는 IIR(Infinite Impulse Response) 필터 등 여러 가지 디지털 필터를 적용할 수 있다. 표적이 자세변화를 일으키거나 장애물 뒤로 이동하는 등에 따라 변화하는 표적내 화소수는 표적추적을 위한 영상입력 시간 간격 동안은 변화가 미미하며 그 변화율 역시 등속으로 가정할 수 있다.
시스템의 공분산과 측정치 공분산을 일정한 값으로 가정할 경우 α-β 필터는 칼만 필터(Kalman filter)의 update equation 대신에 steady-state gain을 이용하여 상태 변수를 예측, 쇄신할 수 있다. 이러한 α-β 필터의 추정치 예측과 쇄신은 아래 수학식과 같다.
Figure 112014044730120-pat00102
여기서
Figure 112014044730120-pat00103
는 표적내 화소수이고,
Figure 112014044730120-pat00104
는 화소수 변화속도이다. 또한, 여기서,
Figure 112014044730120-pat00105
는 필터가 수행되는 시간 간격이며,
Figure 112014044730120-pat00106
는 측정치로서
Figure 112014044730120-pat00107
번째 측정된 화소수를 의미한다.
α-β 필터의 계수 α와 β는 다음 수학식과 같이 계산된다.
Figure 112014044730120-pat00108
또한, 상태변수 추정치의 공분산
Figure 112014044730120-pat00109
는 아래와 같다.
Figure 112014044730120-pat00110
α-β 필터의 설계 변수는 공정 노이즈(process noise)와 측정 노이즈(measurement noise)의 선정에 따라 결정된다. 표적내 화소수는 원거리 단일표적이 FOV(Field Of View) 내에서 차지하는 화소수와 표적이 기동하거나 자세변화로부터 발생한다. 따라서 표적의 영상에서의 형상변화에 있어서, 높이에 대한 변화는 미비하고 주로 폭에서의 변화가 발생한다.
측정 노이즈(Measurement noise) R은 적용 알고리즘과 표적/배경간 통계적 차이에 의해 결정되며, 실제 영상을 통한 실험으로 획득할 수 있다. 설정된 Q와 R은 아래와 같다.
Q = 302; % variance of process noise
R = 1002; % " measurement noise(표준편차 100 pixel 정도 오차)"
자동추적 모드로 전환되면, 중심추적의 가림 판단을 위한 α-β 필터를 초기화하여야 한다. 자동추적 모드로 전환된 직후 최초의 표적 화소수를 α-β 필터의 초기 화소수(z0)로 설정하고, 화소수 변화속도는 0으로 초기화한다.
Figure 112014044730120-pat00111
화소수 변화율은 α-β 필터의 state인 화소수와 화소수 변화속도를 이용하여 아래와 같이 계산한다.
Figure 112015090059665-pat00112
여기서, rk는 화소수 변화율이고, k는 현재 시간이고,
Figure 112015090059665-pat00132
는 노이즈가 제거된 화소수 변화속도이고,
Figure 112015090059665-pat00133
는 노이즈가 제거된 표적 화소수를 나타낸다. 부연하면, v는 현재의 화소수 변화속도이고,
Figure 112015090059665-pat00134
는 노이즈가 제거된 v이다.
Figure 112015090059665-pat00135
는 현재의 표적 화소수이고,
Figure 112015090059665-pat00136
는 노이즈가 제거된
Figure 112015090059665-pat00137
이다.
따라서, 단계 S820에서, 표적 화소수 필터링을 수행하여 표적의 가림이 발생할 시에 가림의 종류를 판단한다(단계 S850). 부연하면, 일반적으로 가림으로 인한 표적의 형상 변화는 자세 변화로 인한 형상 변화보다 변화 속도가 빠르다.
그러므로 먼저 단계 S830에서 최대 상관도
Figure 112014044730120-pat00113
를 이용하여 형상 변화의 속도를 측정하고 표적의 가림이 판정되면 단계 S850에서 가림 정도를 측정한다(표적의 자세 변화 만으로는
Figure 112014044730120-pat00114
가 0.75 이하로 떨어지는 경우가 드물며 떨어진
Figure 112014044730120-pat00115
도 IIR 구조의 참조영상 갱신으로 인하여 빠르게 복구된다).
추적이 정상적으로 이루어지는 상황에서 표적영역의 화소수는 일정한 평균값을 유지하면서 섭동을 일으킨다. 이와 달리, 가림 추적의 경우에는 표적의 화소수가 빠르게 증가하거나 감소한다.
정상 추적이면, 추적창의 중심좌표를 산출하고, 산출된 중심 좌표에 따라 팬틸트 유닛(도 7의 730)을 PID(Proportional Integral Derivative) 제어 방식으로 제어한다(단계 S840,S880).
이와 달리, 추적창의 크기가 변화할 시에 표적의 가림 위치를 판별하여 실표적 추적창을 유지한다. 부연하면, 단계 S830에서 가림추적으로 판단되면, 화소수 변화율을 이용하여 부분 가림인지 아니면 완전 가림인지를 판별한다(단계 S850).
단계 S850에서, 화소수 변화율이 미리 설정된 기준값(예를 들면, -0.5)보다 크면 부분 가림으로 판정되며, 이 경우 실표적 추적창의 중심 좌표를 산출하고, 산출된 중심 좌표에 따라 팬틸트 유닛(730)을 PID 제어 방식으로 제어한다(단계 S860,S880).
한편, 단계 S850에서, 화소수 변화율이 미리 설정된 기준값(-0.5)보다 작으면 완전가림으로 판정되며, 이 경우 화면 중심과 특징점들의 상대 위치를 산출하고, 산출된 상대 위치에 따라 팬틸트 유닛(730)을 PID 제어 방식으로 제어한다(단계 S870,S880).
또한, 화소수 변화율이 기준값 2.0보다 커도 완전가림으로 판단한다. 화소수 변화율이 2.0보다 크다는 것은 표적 영역의 면적이 초당 2배 이상 증가한 경우이고 일반적인 자세 변화로는 불가능한 수치다. 즉, 표적과 배경의 분할이 원활하지 않고 표적의 윤곽이 모호한 경우이며 표적의 정합 성능과 추적창 조절 성능이 크게 떨어지므로 표적 내부의 특징점들을 이용하여 추적한다.
상관 추적기는 입력 영상에서 저장된 표적 영상을 정합하여, 추적 영역의 상관도(correlation coefficient) 행렬을 생성하고 최대 정합점이 되는 원소의 좌표와 상관도를 반환한다.
도 9는 본 발명의 일실시예에 따른 실표적 추적창 기법과 팬-틸트 제어 기법이 적용되는 사례를 나타낸다. 부연하면, 도 9의 (a)와 (b)는 장애물로 인해 추적창이 왜곡되는 사례를 보인다. 일반적으로 IR 영상의 표적은 배경보다 높은 온도 가지고 있으므로, 표적과 배경 사이에 강한 윤곽이 형성되어 추적창 알고리즘의 성능을 보장한다.
그러나 표적이 (a)와 (b)와 같이 산발적인 장애물에 가리게 되면 어두운 장애물의 영상이 표적 영상 내로 침범하여 표적과 배경의 경계를 모호하게 만들고 추적창 알고리즘의 성능을 저하시킨다. 본 발명에 따른 특징점 활용 방법을 적용하면 표적과 배경의 강한 윤곽을 확보하지 못하더라도 상대적인 추적창의 위치를 기억하여 추적창이 일그러짐을 막는다.
본 발명의 일실시예는 매 프레임마다 산출되는 표적의 중심과 크기를 보정함으로써 표적이 기준영상의 중앙에 위치하도록 추적창의 위치와 크기를 조정한다.
또한, 본 발명의 일실시예에 따른 추적창 조절 방식은 형상정보가 적고 대조비가 높은 영상에서 성능이 우수한 상관추적 추적창 조절 기법과 표적의 가림에 강인한 특징점 추적의 장점을 결합하여 안정적인 추적창을 유지한다. 또한 빠르게 기동하는 표적이 완전히 가리는 경우에 안정적으로 표적을 재포착할 수 있도록 영상센서를 탑재한 팬-틸트 유닛의 제어를 안정적으로 유지한다.
700: 영상 추적 시스템
710: 신호 처리부
720: 제어부
730: 팬틸트 유닛
740: 영상 센서

Claims (11)

  1. a) 표적영상을 입력영상에 템플릿 정합하는 단계;
    b) 템플릿 정합으로 생성된 표적영역에서 상관도들 및 표적 화소수들을 산출하는 단계;
    c) 산출된 상관도들을 이용하여 표적의 가림을 판단하는 단계;
    d) 산출된 표적 화소수들을 이용하여 표적의 가림이 부분적인 가림인지 전체적 가림인지 판단하는 단계; 및
    e) 상기 표적의 가림 발생여부를 바탕으로 상기 표적영역의 실표적 추적창을 조절하는 단계;를 포함하고,
    상기 단계 c)는,
    상기 표적 화소수들의 화소수 변화율을 이용하여 부분 가림 또는 완전 가림으로 판단하는 단계;를 포함하며,
    상기 d)단계는,
    상기 표적영역에서 표적에 대한 특징점들을 추출하고 다음 입력 영상에서 해당 특징점들과 정합하여 유효 특징점(valued feature point)들을 결정하는 단계; 및
    상기 입력영상의 화면중심과 유효 특징점들의 상대적 위치를 이용하여 상기 표적영역의 실표적 추적창을 조절하는 단계;를 포함하는 것을 특징으로 하는 상관 추적기의 성능향상을 위한 특징점 활용 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 실표적 추적창의 조절은 좌표 정보에 따라 팬틸트 유닛의 제어 속도를 조절함으로써 이루어지는 것을 특징으로 하는 상관 추적기의 성능향상을 위한 특징점 활용 방법.
  4. 제 3 항에 있어서,
    상기 팬틸트 유닛의 제어는 PID(Proportional Integral Derivative) 제어 방식을 이용하여 이루어지는 것을 특징으로 하는 상관 추적기의 성능향상을 위한 특징점 활용 방법.
  5. 제 1 항에 있어서,
    상기 단계 b)는,
    α-β 필터, 칼만필터, FIR(Finite Impulse Response) 필터 및 IIR(Infinite Impulse Response) 필터 중 어느 하나를 이용하여 상기 표적 화소수들을 필터링하는 단계;를 포함하는 것을 특징으로 하는 상관 추적기의 성능향상을 위한 특징점 활용 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 부분 가림이면 상기 실표적 추적창의 중심 좌표를 산출하는 단계; 및
    상기 실표적 추적창에 속하는 상관도들중 최대 상관도를 미리 설정된 기준값과 비교하여 상기 부분 가림 또는 완전 가림으로 판단하는 단계;를 포함하는 것을 특징으로 하는 상관 추적기의 성능향상을 위한 특징점 활용 방법.
  8. 제 1 항에 있어서,
    상기 화소수 변화율은 수학식
    Figure 112015090059665-pat00116
    (여기서, rk는 화소수 변화율이고, k는 현재 시간이고,
    Figure 112015090059665-pat00129
    는 노이즈가 제거된 화소수 변화속도이고,
    Figure 112015090059665-pat00131
    는 노이즈가 제거된 표적 화소수를 나타낸다)로 정의되는 것을 특징으로 하는 상관 추적기의 성능향상을 위한 특징점 활용 방법.
  9. 제 1 항에 있어서,
    상기 상관도들은 저장된 표적 영상과 입력영상의 표적 영상의 유사도를 나타내고 유사도의 차이를 이용하여 표적의 가림 여부를 판단하는 것을 특징으로 하는 상관 추적기의 성능향상을 위한 특징점 활용 방법.
  10. 제 1 항에 있어서,
    상기 c) 단계는,
    상기 표적의 가림이 발생하지 않으면, 추적창의 중심좌표를 산출하는 단계;를 포함하는 것을 특징으로 하는 상관 추적기의 성능향상을 위한 특징점 활용 방법.
  11. 영상 센서;
    표적영상을 상기 영상 센서로부터의 입력영상에 템플릿 정합하고, 템플릿 정합으로 생성된 표적영역에서 상관도들 및 표적 화소수들을 산출하고, 산출된 표적 화소수들을 이용하여 표적의 가림이 발생하는지를 판단하는 신호처리부;
    상기 표적의 가림 발생여부를 바탕으로 상기 표적영역의 실표적 추적창을 조절하는 제어부; 및
    상기 제어부의 제어에 따라 상기 표적영역의 실표적 추적창을 조절하도록 영상 센서를 구동하는 팬틸트 유닛;을 포함하고,
    상기 신호처리부는,
    상기 표적 화소수들의 화소수 변화율을 이용하여 부분 가림 또는 완전 가림으로 판단하며,
    상기 제어부는,
    상기 표적영역에서 표적에 대한 특징점들을 추출하고 다음 입력 영상에서 해당 특징점들과 정합하여 유효 특징점(valued feature point)들을 결정하고, 상기 입력영상의 화면중심과 유효 특징점들의 상대적 위치를 이용하여 상기 표적영역의 실표적 추적창을 조절하는 것을 특징으로 하는 특징점 활용을 구현하는 영상 추적 시스템.
KR1020140057051A 2014-05-13 2014-05-13 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템 KR101591380B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140057051A KR101591380B1 (ko) 2014-05-13 2014-05-13 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140057051A KR101591380B1 (ko) 2014-05-13 2014-05-13 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템

Publications (2)

Publication Number Publication Date
KR20150130032A KR20150130032A (ko) 2015-11-23
KR101591380B1 true KR101591380B1 (ko) 2016-02-03

Family

ID=54844568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140057051A KR101591380B1 (ko) 2014-05-13 2014-05-13 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템

Country Status (1)

Country Link
KR (1) KR101591380B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101913214B1 (ko) * 2017-01-03 2018-12-28 국방과학연구소 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
CN112378397B (zh) * 2020-11-02 2023-10-10 中国兵器工业计算机应用技术研究所 无人机跟踪目标的方法、装置及无人机
CN114092515B (zh) * 2021-11-08 2024-03-05 国汽智控(北京)科技有限公司 用于障碍遮挡的目标跟踪检测方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523878A (ja) 2003-04-17 2006-10-19 ザ ユニバーシティ オブ ダンディー 画像から対象ポーズを判定する方法とシステム
JP2007510994A (ja) 2003-11-12 2007-04-26 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオ画像内でのオブジェクトトラッキング
JP2012080222A (ja) 2010-09-30 2012-04-19 Jvc Kenwood Corp 目標追跡装置、目標追跡方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041068A (ko) * 2007-10-23 2009-04-28 엘아이지넥스원 주식회사 표적 추적 방법 및 장치
KR101087592B1 (ko) 2011-03-11 2011-11-29 국방과학연구소 Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법
KR101348680B1 (ko) 2013-01-09 2014-01-09 국방과학연구소 영상추적기를 위한 표적포착방법 및 이를 이용한 표적포착장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523878A (ja) 2003-04-17 2006-10-19 ザ ユニバーシティ オブ ダンディー 画像から対象ポーズを判定する方法とシステム
JP2007510994A (ja) 2003-11-12 2007-04-26 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオ画像内でのオブジェクトトラッキング
JP2012080222A (ja) 2010-09-30 2012-04-19 Jvc Kenwood Corp 目標追跡装置、目標追跡方法

Also Published As

Publication number Publication date
KR20150130032A (ko) 2015-11-23

Similar Documents

Publication Publication Date Title
Cai et al. Robust visual tracking for multiple targets
US7657059B2 (en) Method and apparatus for tracking an object
KR100544677B1 (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US8885876B2 (en) Visual tracking system and method thereof
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
KR101087592B1 (ko) Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법
CN103927764B (zh) 一种结合目标信息和运动估计的车辆跟踪方法
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
US7177446B2 (en) Video feature tracking with loss-of-track detection
KR101681104B1 (ko) 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법
Abbott et al. Multiple target tracking with lazy background subtraction and connected components analysis
Ali et al. Correlation, Kalman filter and adaptive fast mean shift based heuristic approach for robust visual tracking
KR101591380B1 (ko) 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템
CN110991280A (zh) 基于模板匹配和surf的视频跟踪方法和装置
CN113780181A (zh) 基于无人机的足球比赛越位判断方法及装置、电子设备
KR102190297B1 (ko) 상관필터를 이용한 공중표적 추적방법 및 그 시스템
JP2022159694A (ja) 物体追跡装置
Venkataraman et al. Target tracking with online feature selection in FLIR imagery
Sincan et al. Moving object detection by a mounted moving camera
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
CN110322474B (zh) 一种基于无人机平台的图像动目标实时检测方法
KR101070448B1 (ko) 표적 추적 방법 및 그 장치
Bahgat et al. Automatic TV Image Tracking Using Advanced Positive Frame Difference Predicted Window Technique.
JP2726180B2 (ja) 相関追尾装置
Ali et al. A new template updating method for correlation tracking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 5