KR101635973B1 - Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치 - Google Patents

Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치 Download PDF

Info

Publication number
KR101635973B1
KR101635973B1 KR1020150057238A KR20150057238A KR101635973B1 KR 101635973 B1 KR101635973 B1 KR 101635973B1 KR 1020150057238 A KR1020150057238 A KR 1020150057238A KR 20150057238 A KR20150057238 A KR 20150057238A KR 101635973 B1 KR101635973 B1 KR 101635973B1
Authority
KR
South Korea
Prior art keywords
search
target
tracking
histogram
particle
Prior art date
Application number
KR1020150057238A
Other languages
English (en)
Inventor
강재웅
고윤호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020150057238A priority Critical patent/KR101635973B1/ko
Application granted granted Critical
Publication of KR101635973B1 publication Critical patent/KR101635973B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

본 발명은 IR(Infra-Red) 영상 추적 기술에 관한 것으로서, 더 상세하게는 회전변화에 강인하고 연산속도가 빠른 히스토그램 매칭을 이용하고 기하변환을 이용한 우도 연산으로 추적성능을 최대화하는 기억 추적 성능 향상 방법 및 장치에 대한 것이다.

Description

IR 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치{Method and Apparatus of performance enhancement for coast tracking using particle filter via infra-red images}
본 발명은 IR(Infra-Red) 영상 추적 기술에 관한 것으로서, 더 상세하게는 회전변화에 강인하고 연산속도가 빠른 히스토그램 매칭을 이용하고 기하변환을 이용한 우도 연산으로 추적성능을 최대화하는 기억 추적 성능 향상 방법 및 장치에 대한 것이다.
기억추적(Coast Tracking)은 표적이 장애물에 가리는 상황 등으로 인해 영상센서로부터 사라졌을 경우에 대응하는 방법이다. 표적이 다시 시계에 들어왔을 때, 표적을 다시 포착하여 추적을 재개하는 것이 목적이며, 팬틸트(Pan-tilt) 구동을 동반한 표적 추적 시에 유용한 기능이다.
상관추적(Correlation Tracking)은 획득 영상에서 표적이 예측 위치에서 탐색 영역을 설정하고 표적을 찾아가는 방식으로서 상관추적의 기억추적 방식은 탐색 영역의 이동을 표적의 동적 모델에 의존하여 이동하는 방식을 따른다.
슬라이딩 윈도우(Sliding Window)는 화면 전체에 걸쳐 표적을 탐색하는 방식이다. 표적의 동적 모델을 고려하지 않아 유사 표적을 포착할 가능성이 크고, 많은 연산을 수반하기 때문에 병렬연산을 지원하는 하드웨어를 필요로 한다.
또한, 옵티컬 플로우(Optical Flow)는 표적 탐색 배경과 구분이 되는 이동 물체를 탐지하여 표적으로 인식하는 경우이며, 마찬가지로 표적의 동적 모델을 고려하지 않아 표적의 신뢰성이 낮다.
특히, 기억추적 방식은 칼만 필터 등을 이용한 예측 모델을 이용하여 비교적 효과적인 표적 추적을 수행할 수 있다. 그러나 표적을 탐색하는데 있어, 표적의 형상에 국한되어 표적의 신뢰도가 낮고 적용되는 동적 모델의 경우에도 선형 모델에 국한되어 이를 보완하는 탐색영역 확장 방식은 빠른 재포착 성능을 떨어뜨린다.
또한, 슬라이딩 윈도우나 옵티컬 플로우를 이용한 표적 탐색은 상당한 연산량을 요구할 뿐만 아니라 표적의 동적 모델을 고려하지 않아 표적에 대한 신뢰도가 낮다.
1. 한국등록특허번호 제10-1052038호 2. 한국등록특허번호 제10-1087592호
1. 송종관, "낮은 프레임률 영상에서 파티클 필터의 추적 성능 개선"한국전자통신학회 논문지 제9권 제2호 (2014년 2월) pp.143-148, 2014년. 2. 고병철외, "움직임 카메라 환경에서 파티클 필터를 이용한 객체 추적"한국통신학회논문지 제37C권 제5호 (2012년 5월)-융합기술 pp.375-387
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 표적의 형상에 국한되지 않아 표적의 신뢰도가 높고 탐색영역 확장 방식이 빠른 재포착 성능을 향상시키는 IR(Infra-Red image) 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 연산량이 적은 표적 탐색이 가능할 뿐만 아니라 표적의 동적 모델을 고려하면서도 표적에 대한 신뢰도가 향상되는 IR 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치를 제공하는데 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위하여, 표적의 형상에 국한되지 않아 표적의 신뢰도가 높고 탐색영역 확장 방식이 빠른 재포착 성능을 향상시키는 IR(Infra-Red image) 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법을 제공한다.
상기 기억 추적 성능 향상 방법은,
IR(Infra-Red) 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법에 있어서,
a) 입력되는 IR 영상으로부터 형상 탐색을 통해 표적에 대한 정상 추적을 수행하는 단계;
b) 상기 형상 탐색의 결과를 이용하여 기억추적이 발생하는 지를 판별하는 단계;
c) 판별 결과, 상기 기억추적이 발생하면 탐색영역을 확장하는 단계;
d) 상기 탐색 영역의 확장으로 인해 발생하는 연산부하의 여부에 따라 히스토그램 탐색으로 전환하는 단계;
e) 상기 파티클 필터를 이용하여 상기 히스토그램 탐색과 형상 탐색을 병행하는 단계; 및
f) 상기 표적에 대한 표적 포착을 확인하고 정상 추적으로 복귀하는 단계;를 포함하는 것을 특징으로 한다.
이때, 상기 e) 단계에서 파티클 필터에서의 우도(likelihood)를 결정할 때, 히스토그램 매칭과 형상 매칭을 순차시키는 것을 특징으로 할 수 있다.
또한, 상기 e) 단계에서 히스토그램 탐색을 수행할 시, 중복된 파티클을 삭제하면서 나선형으로 파티클을 선택하여 우도를 측정하는 것을 특징으로 할 수 있다.
또한, 상기 f) 단계는 히스토그램 탐색 결과에서 리샘플링(resampling)한 결과를 이용하여 형상 탐색을 수행하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 표적 영상은 표적의 세기의 분포에 기반되는 라벨링된 표적의 형상인 것을 특징으로 할 수 있다.
또한, 상기 우도는 동적 모델에 따른 파티클의 확률과 곱해져서 가중치로 환산되는 것을 특징으로 할 수 있다.
또한, 상기 히스토그램 탐색은 상기 표적의 예상위치에 파티클을 생성하고 상기 예상위치에서 다른 파티클보다 가장 가까운 파티클을 기준으로 히스토그램 비교 영역과 파티클 삭제 영역을 지정하는 것을 특징으로 할 수 있다.
또한, 상기 우도는 상기 히스토그램 비교 영역에서 추출되는 히스토그램 정보와 미리 저장되는 상기 표적의 히스토그램 정보를 비교하여 유사도에 따라 결정되는 것을 특징으로 할 수 있다.
다른 한편으로, 본 발명의 다른 일실시예는, IR(Infra-Red) 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 장치에 있어서, 표적에 대한 IR 영상을 생성하는 영상 센서; 생성된 IR 영상을 입력받아 상기 IR 영상으로부터 형상 탐색을 통해 상기 표적에 대한 정상 추적을 수행하는 형상 탐색부; 상기 형상 탐색의 결과를 이용하여 기억추적이 발생하는 지를 판별하고, 판별 결과, 상기 기억추적이 발생하면 탐색영역을 확장하는 탐색영역 확장부; 상기 탐색 영역의 확장으로 인해 발생하는 연산부하의 여부에 따라 히스토그램 탐색으로 전환하고, 상기 파티클 필터를 이용하여 상기 히스토그램 탐색과 형상 탐색을 병행하는 히스토그램 탐색부; 및 상기 표적에 대한 표적 포착을 확인하고 정상 추적으로 복귀하는 추적 복귀부;를 포함하는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 장치를 제공한다.
본 발명에 따르면, 회전변화에 강인하고 연산속도가 빠른 히스토그램 매칭을 이용하고 기하변환을 이용한 우도 연산으로 추적성능을 최대화할 수 있다.
도 1은 일반적인 SIR(Signal to Interference Ratio) 방식의 파티클 필터 동작 모습을 보여주는 도면이다.
도 2는 일반적인 영상추적에서 파티클 필터의 상태 모델을 보여주는 도면이다.
도 3은 일반적인 나선 탐색 방법의 개념도이다.
도 4 및 도 5는 히스토그램 추출 영역과 중복 파티클 제거 영역을 보여주는 도면이다.
도 6 및 도 7은 히스토그램 서치 동작 순서를 보여주는 개념도이다.
도 8은 본 발명의 일실시예에 따른 IR(Infra Red) 영상 추적에서 파티클 필터를 이용한 기억 추적 과정을 보여주는 흐름도이다.
도 9는 도 8에 따른 흐름도를 적용한 적용 사례의 일예이다.
도 10은 본 발명의 일실시예에 따른 IR(Infra Red) 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 장치의 구성 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 IR 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치를 상세하게 설명하기로 한다.
우선 파티클 필터를 영상추적의 관점으로 설명하기로 한다. 파티클 필터의 전체 수식을 요약하면 다음식과 같다.
Figure 112015039705329-pat00001
여기서,
Figure 112015039705329-pat00002
는
Figure 112015039705329-pat00003
번째 프레임에서의 예측된 표적의 위치이고,
Figure 112015039705329-pat00004
는
Figure 112015039705329-pat00005
번째 프레임에서 관측된 표적의 위치,
Figure 112015039705329-pat00006
은 첫 번째 프레임부터
Figure 112015039705329-pat00007
번째 프레임까지 관측된 표적의 위치이다. 즉,
Figure 112015039705329-pat00008
을 통해
Figure 112015039705329-pat00009
의 위치가 참일 확률을 예측하고,
Figure 112015039705329-pat00010
를
Figure 112015039705329-pat00011
와 비교하여
Figure 112015039705329-pat00012
의 위치가 참일 확률을 갱신한다.
또한,
Figure 112015039705329-pat00013
는 표적의 동적 모델의 확률이고,
Figure 112015039705329-pat00014
는 이전 프레임에서 예측된 표적의 위치 확률이며,
Figure 112015039705329-pat00015
는 추적장치에 저장된 표적 영상과 획득한 표적 영상과의 유사도를 나타낸다. 즉, 적분항이 계산되기 위해서는 파티클의 현재 위치가 예측되어야 하고
Figure 112015039705329-pat00016
가 계산되기 위해서는 예측된 현재 위치의 파티클이 관측값과 비교되어야 한다.
마지막으로 결과를 정규화하기 위해
Figure 112015039705329-pat00017
을 곱하여 각각의 파티클의 가중치를 정한다. 파티클 필터는 가중치가 높은 파티클을 선택하여 표적의 위치를 예측한다. 영상추적에서 동적 시스템 모델링은 다음식과 같다.
Figure 112015039705329-pat00018
여기서, X는 상태변수를 나타내며,
Figure 112015039705329-pat00019
는 파티클의 속도를 나타낸다. T는 전치 행렬을 나타낸다.
또한, 산출된 표적의 위치(
Figure 112015039705329-pat00020
,
Figure 112015039705329-pat00021
)는 다음식과 같다.
Figure 112015039705329-pat00022
여기서, △t는 프레임 간격이다.
Figure 112015039705329-pat00023
여기서,
Figure 112015039705329-pat00024
은 이동에 대한 잡음이고
Figure 112015039705329-pat00025
는 속도에 대한 잡음이다.
도 1은 일반적인 SIR(Signal to Interference Ratio) 방식의 파티클 필터 동작 모습을 보여주는 도면이다. 이 방법은 작은 가중치를 가지는 파티클들을 제거하고 큰 가중치를 가진 파티클들 주변에 새로운 파티클들을 재생산하는 방법이다.
도 2는 일반적인 영상추적에서 파티클 필터의 상태 모델을 보여주는 도면이다. X2D는 영상과 같은 2차원 공간에 있는 파티클의 상태 모델이고 X3D는 3차원 공간에 있는 파티클의 상태 모델을 나타낸다.
Figure 112015039705329-pat00026
와
Figure 112015039705329-pat00027
,
Figure 112015039705329-pat00028
는 파티클의 위치를 나타내고
Figure 112015039705329-pat00029
와
Figure 112015039705329-pat00030
,
Figure 112015039705329-pat00031
는 파티클의 속도를 나타낸다.
도 3은 일반적인 나선 탐색 방법의 개념도이다. 부연하면, 위에서 기술된 파티클 필터를 이용한 기억 추적 단계이다.
IR 영상의 경우에는 기하변형을 하기에 적합하지 않은 영상을 다수 포함하고 있으므로 표적의 형상변화 및/또는 배경에 형상 변화에 강인한 기술자를 가지고 있어야 한다. 표적의 형상변화에 강인한 기술자의 대표적인 형태는 표적의 히스토그램 정보를 이용하는 것이고 표적의 히스토그램 정보는 현재 관측된 표적 탐색 영역에서 표적의 위치를 개략적으로 찾을 수 있다.
개략적으로 찾아낸 표적의 위치에서 Coarse-to-Fine 방식으로 좀 더 정확한 표적의 위치를 산출하기 위해서는 히스토그램 정보 보다 정확한 형상정보를 사용한다. 또한 IR 영상의 경우에는 표적의 온도가 배경의 온도 보다 높은 경우가 대부분이므로 높은 세기(Intensity)의 픽셀들을 임계분할하여 표적 마스크로 지정하여 연산한다. 표적 마스크는 표적에 속한 픽셀들의 집합을 의미하며 1로 지정하고, 배경에 속한 픽셀은 0으로 지정한다. 또한 추적장치에 저장되는 표적 마스크는 오탐지 되어 1로 지정된 픽셀을 제거하는 라벨링 과정을 추가하여 순수한 표적 형상만을 저장한다.
영상센서로부터 입력된 영상과 추적 장치에 저장된 표적 영상 각각을 이진영상으로 비교할 때, 파티클 필터의 가중치를 정규화하는 과정을 단순화 할 수 있고 연산의 효율이 높이는 것은 물론 배경 및 노이즈의 간섭을 줄일 수 있다.
Pan-tilt 구동을 수행하면서 영상추적을 수행하고자 하다면 매 프레임마다의 표적 위치값은 한 점의 값으로 계산되어 제어가 수행되어야 한다. 즉, 파티클 필터를 이용하여 상기 SIR 과정을 수행하였을 때, 최종 샘플링 과정에서 선택되는 파티클은 하나임을 의미한다. 이 과정을 좀더 단순히 설명하고자 하면 예측된 표적의 위치를 중심으로 가우시안 분포로 파티클들을 뿌리고 각각의 파티클 중에서 가중치가 가장 높은 파티클 하나를 선택하는 것이다. SIR의 경우에는 파티클을 뿌리는 과정이 2회 이상 수행되는 것을 의미하는데 처음에는 파티클을 넓게 뿌리고, 선택된 파티클을 중심으로 파티클을 좁게 뿌려서 정답에 근접하는 것이다.
입력영상과 표적영상을 비교하여 가중치 연산에 필요한 표적의 유사도를 구하는 식은 식 6와 식 8과 같다.
Figure 112015039705329-pat00032
Figure 112015039705329-pat00033
여기서,
Figure 112015039705329-pat00034
은 유사성을 나타내는 대표적인 거리 계산법인 바타차야 계수(bhattacharyya coefficient)를 나타내며,
Figure 112015039705329-pat00035
와
Figure 112015039705329-pat00036
는 각각 목표 물체의 히스토그램과 후보 물체의 히스토그램을 나타낸다.
Figure 112015039705329-pat00037
는 4분할 추적창의 히스토그램을 의미한다. σ2는 미리 정의된 분산값을 나타낸다.
Figure 112015039705329-pat00038
Figure 112015039705329-pat00039
임포턴스 샘플링 방법은 제안하는 분포와 실제 확률 분포의 관계에 의해 임포턴스 가중치(importance weight)를 구하여 파티클들의 가중치를 결정하는 역할을 한다.
Figure 112015039705329-pat00040
Figure 112015039705329-pat00041
여기서,
Figure 112015039705329-pat00042
이다.
Figure 112015039705329-pat00043
여기서,
Figure 112015039705329-pat00044
는 최종 정규화된 각 파티클의 가중치를 나타내며,
Figure 112015039705329-pat00045
는 각 파티클의 가중치를 나타내며,
Figure 112015039705329-pat00046
는 윈도 함수를 나타낸다.
Figure 112015039705329-pat00047
와
Figure 112015039705329-pat00048
는 각각 실제 확률 분포와 제안하는 확률 분포를 나타낸다.
히스토그램 탐색은 표적의 히스토그램 정보를 이용함으로써 표적을 감싸는 영역에 민감하지 않다. 즉, 표적이 히스토그램을 측정하는 영역에 존재하면 해당 영역의 히스토그램에 포함되는데 배경 영역이 많이 포함되지 않을 시에는 해당 영역 내에 표적의 존재 유무를 판단할 수 있다.
특히 열상의 경우에는 표적이 배경과 두드러지게 구분되는 히스토그램 분포를 가질 확률이 높기 때문에 배경을 많이 포함하더라도 표적을 구성하는 히스토그램에 영향을 크게 미치지 않는다. 다만 표적의 히스토그램은 배경과 뚜렷한 구분을 가지는 레벨만을 가지고 있지 않기 때문에 정확한 표적의 위치를 산출하기 위해서는 추가적인 영상처리 기법이 요구된다.
본 발명의 일실시예에서는 연산부하가 적은 히스토그램 탐색을 이용하여 대략적인 표적의 위치를 산출하고 형상 탐색을 이용하여 표적의 정확한 위치를 산출한다.
파티클 필터는 표적의 예상 이동위치에 가우시안 분포를 가지는 파티클을 생성한다. 이는 표적을 탐색하기 위한 위치들로서 본 발명의 일실시예에서는 히스토그램 탐색과 형상 탐색의 기준점들이 된다. 각각의 기준점에서 추적장치에 저장된 표적의 히스토그램과 형상을 매칭하여 가장 가중치가 높은 파티클을 선정하여 표적의 중심 위치로 정한다.
히스토그램 매칭을 위한 탐색영역(420)은 도 4에 도시된 바와 같이 표적(410) 보다 다소 넓은 위치를 지정한다. 도 4에서는 표적(410)의 크기보다 9배가 큰 전체 영역(430)의 히스토그램 내에서 표적(410)의 히스토그램을 찾지만 탐색영역이 표적의 크기에 정수배일 필요는 없다. 즉, 도 4는 히스토그램 추출 영역을 보여주는 도면이다.
이는 형상 탐색과는 달리 히스토그램 탐색은 비교 대상의 크기가 반드시 같을 필요가 없기 때문이다. 또한 히스토그램 탐색은 표적의 대략적인 위치를 탐색하기 위한 것으로 도 5의 영역에 속하는 파티클들은 비교 대상에서 제외함으로써 중복된 영역에서의 히스토그램 비교를 최소화한다. 즉, 도 5는 중복 파티클 제거 영역을 보여주는 도면이다.
상기 설명한 히스토그램 탐색 방법을 순서대로 정리하면 도 6과 같이 표적의 예상위치에 파티클(601,602)을 생성하고 예상위치에서 가장 가까운 파티클을 기준으로 히스토그램 비교 영역(620)과 파티클 삭제 영역(610)을 지정한다. 히스토그램 비교 영역에서 히스토그램 정보를 추출하고 추적장치에 저장된 표적의 히스토그램 정보와 비교하여 유사도에 따라 우도(likelihood)를 결정한다.
파티클 삭제 영역(610)에 위치한 파티클들(602)은 탐색 대상에서 제외하고 다음 파티클이 발견될 때까지 나선 탐색을 수행한다. 다음 파티클이 정해지면 히스토그램 비교 영역과 파티클 삭제 영역을 지정하고 위의 과정을 반복한다. 각각의 파티클이 가지는 우도는 동적 모델에 따른 파티클의 확률과 곱해져서 가중치로 환산되고, 가중치가 높은 파티클을 선택하여 형상 탐색 영역으로 지정한다.
도 7도 도 6에서 설명한 서치 동작 순서와 유사하며, 설명은 생략하기로 한다.
도 8은 본 발명의 일실시예에 따른 IR(Infra Red) 영상 추적에서 파티클 필터를 이용한 기억 추적 과정을 보여주는 흐름도이다. 도 8을 참조하면, 입력되는 IR 영상으로부터 형상 탐색을 수행하고, 기억추적이 일어나는 시점을 기준으로 상기 방법이 적용되는 시점을 나타낸다(단계 S810,S820,S830). 정상 추적 중에는 형상 추적만을 수행한다. 정상 추적 중일 때에는 표적의 예측위치의 신뢰도가 높기 때문에 탐색을 수행하여야 하는 영역이 클 필요가 없기 때문이다.
단계 S830에서, 표적이 장애물에 가렸을 때, 기억추적으로 전환되고 시간이 경과함에 따라 표적의 예측위치의 신뢰도가 낮아지기 때문에 탐색영역을 확장하여 형상 탐색을 수행함으로써 이를 보완한다(단계 S840,S841,S843,S845).
형상 탐색은 많은 연산량을 요구하므로 탐색영역을 확장함에 있어 한계를 가지고 더 이상 확장을 수행할 수 없는데, 본 방법의 일실시예에 따르면 도 9와 같이 히스토그램 탐색으로 전환하여 탐색영역 확장을 지속적으로 수행한다(단계 S847,S8502,S860,S8710,S880,S890).
도 9는 도 8에 따른 흐름도를 적용한 적용 사례의 일예이다. 도 9를 참조하면, (a)의 경우에는 표적이 완전히 가려진 후에 표적을 다시 포착하기 위해 탐색 영역을 지정한 모습이다. 점선으로 표시한 부분은 표적의 예상 위치이고 실선으로 표시한 부분은 탐색 영역이다. (b)와 같이 불규칙한 가림에도 적용할 수 있으며 (c)와 같이 유사 표적 간의 가림에도 적용이 가능하다.
도 10은 본 발명의 일실시예에 따른 IR(Infra Red) 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 장치(1000)의 구성 블록도이다. 도 10을 참조하면, 기억 추적 향상 장치(1000)는, 표적에 대한 IR 영상을 생성하는 영상 센서(1100), 생성된 IR 영상을 입력받아 상기 IR 영상으로부터 형상 탐색을 통해 상기 표적에 대한 정상 추적을 수행하는 형상 탐색부(1200), 상기 형상 탐색의 결과를 이용하여 기억추적이 발생하는 지를 판별하고, 판별 결과, 상기 기억추적이 발생하면 탐색영역을 확장하는 탐색영역 확장부(1300), 상기 탐색 영역의 확장으로 인해 발생하는 연산부하의 여부에 따라 히스토그램 탐색으로 전환하고, 상기 파티클 필터를 이용하여 상기 히스토그램 탐색과 형상 탐색을 병행하는 히스토그램 탐색부(1400), 상기 표적에 대한 표적 포착을 확인하고 정상 추적으로 복귀하는 추적 복귀부(1500) 등을 포함하여 구성된다.
도 9 및 도 10에 도시되는 블록도의 각 블록 및/또는 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다.
예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
410: 표적
420: 탐색 영역
430: 전체 영역
1000: 기억 추적 성능 향상 장치
1100: 영상 센서
1200: 형상 탐색부
1300: 탐색영역 확장부
1400: 히스토그램 탐색부
1500: 추적 복귀부

Claims (9)

  1. IR(Infra-Red) 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법에 있어서,
    a) 입력되는 IR 영상으로부터 형상 탐색을 통해 표적에 대한 정상 추적을 수행하는 단계;
    b) 상기 형상 탐색의 결과를 이용하여 기억추적이 발생하는 지를 판별하는 단계;
    c) 판별 결과, 상기 기억추적이 발생하면 탐색영역을 확장하는 단계;
    d) 상기 탐색 영역의 확장으로 인해 발생하는 연산부하의 여부에 따라 히스토그램 탐색으로 전환하는 단계;
    e) 상기 파티클 필터를 이용하여 상기 히스토그램 탐색과 형상 탐색을 병행하는 단계; 및
    f) 상기 표적에 대한 표적 포착을 확인하고 정상 추적으로 복귀하는 단계;
    를 포함하는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 방법.
  2. 제 1 항에 있어서,
    상기 e) 단계에서 파티클 필터에서의 우도(likelihood)를 결정할 때, 히스토그램 매칭과 형상 매칭을 순차시키는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 방법.
  3. 제 1 항에 있어서,
    상기 e) 단계에서 히스토그램 탐색을 수행할 시, 중복된 파티클을 삭제하면서 나선형으로 파티클을 선택하여 우도를 측정하는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 방법.
  4. 제 1 항에 있어서,
    상기 f) 단계는 히스토그램 탐색 결과에서 리샘플링(resampling)한 결과를 이용하여 형상 탐색을 수행하는 단계;를 포함하는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 방법.
  5. 제 1 항에 있어서,
    상기 IR 영상은 상기 IR 영상에서의 온도차에 따른 표적의 세기의 분포에 기반되는 라벨링된 표적의 형상인 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 방법.
  6. 제 3 항에 있어서,
    상기 우도는 동적 모델에 따른 파티클의 확률과 곱해져서 가중치로 환산되는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 방법.
  7. 제 3 항에 있어서,
    상기 히스토그램 탐색은 상기 표적의 예상위치에 파티클을 생성하고 상기 예상위치에서 다른 파티클보다 가장 가까운 파티클을 기준으로 히스토그램 비교 영역과 파티클 삭제 영역을 지정하는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 방법.
  8. 제 7 항에 있어서,
    상기 우도는 상기 히스토그램 비교 영역에서 추출되는 히스토그램 정보와 미리 저장되는 상기 표적의 히스토그램 정보를 비교하여 유사도에 따라 결정되는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 방법.
  9. IR(Infra-Red) 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 장치에 있어서,
    표적에 대한 IR 영상을 생성하는 영상 센서;
    생성된 IR 영상을 입력받아 상기 IR 영상으로부터 형상 탐색을 통해 상기 표적에 대한 정상 추적을 수행하는 형상 탐색부;
    상기 형상 탐색의 결과를 이용하여 기억추적이 발생하는 지를 판별하고, 판별 결과, 상기 기억추적이 발생하면 탐색영역을 확장하는 탐색영역 확장부;
    상기 탐색 영역의 확장으로 인해 발생하는 연산부하의 여부에 따라 히스토그램 탐색으로 전환하고, 상기 파티클 필터를 이용하여 상기 히스토그램 탐색과 형상 탐색을 병행하는 히스토그램 탐색부; 및
    상기 표적에 대한 표적 포착을 확인하고 정상 추적으로 복귀하는 추적 복귀부;
    를 포함하는 것을 특징으로 하는 파티클 필터를 이용한 기억 추적 성능 향상 장치.
KR1020150057238A 2015-04-23 2015-04-23 Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치 KR101635973B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150057238A KR101635973B1 (ko) 2015-04-23 2015-04-23 Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150057238A KR101635973B1 (ko) 2015-04-23 2015-04-23 Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101635973B1 true KR101635973B1 (ko) 2016-07-04

Family

ID=56501710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150057238A KR101635973B1 (ko) 2015-04-23 2015-04-23 Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101635973B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101837407B1 (ko) 2017-11-03 2018-03-12 국방과학연구소 영상 기반 표적 추적 장치 및 추적 방법
US10621734B2 (en) 2017-06-29 2020-04-14 Sogang University Research Foundation Method and system of tracking an object based on multiple histograms

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009224924A (ja) * 2008-03-14 2009-10-01 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法
KR101052038B1 (ko) 2010-11-26 2011-07-26 삼성탈레스 주식회사 영상 탐색 장치 및 이를 이용한 표적 추적 방법
JP2011170684A (ja) * 2010-02-19 2011-09-01 Panasonic Corp 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
KR101087592B1 (ko) 2011-03-11 2011-11-29 국방과학연구소 Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법
JP2012190289A (ja) * 2011-03-10 2012-10-04 Omron Corp 対象物追跡装置、対象物追跡方法、および制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009224924A (ja) * 2008-03-14 2009-10-01 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法
JP2011170684A (ja) * 2010-02-19 2011-09-01 Panasonic Corp 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
KR101052038B1 (ko) 2010-11-26 2011-07-26 삼성탈레스 주식회사 영상 탐색 장치 및 이를 이용한 표적 추적 방법
JP2012190289A (ja) * 2011-03-10 2012-10-04 Omron Corp 対象物追跡装置、対象物追跡方法、および制御プログラム
KR101087592B1 (ko) 2011-03-11 2011-11-29 국방과학연구소 Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1. 송종관, "낮은 프레임률 영상에서 파티클 필터의 추적 성능 개선"한국전자통신학회 논문지 제9권 제2호 (2014년 2월) pp.143-148, 2014년.
2. 고병철외, "움직임 카메라 환경에서 파티클 필터를 이용한 객체 추적"한국통신학회논문지 제37C권 제5호 (2012년 5월)-융합기술 pp.375-387
파티클 필터 알고리즘을 이용한 다기능레이더 표적추적 필터 설계 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621734B2 (en) 2017-06-29 2020-04-14 Sogang University Research Foundation Method and system of tracking an object based on multiple histograms
KR101837407B1 (ko) 2017-11-03 2018-03-12 국방과학연구소 영상 기반 표적 추적 장치 및 추적 방법

Similar Documents

Publication Publication Date Title
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
AU2018326401C1 (en) Method and system for use in performing localisation
JP5940453B2 (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
EP2685425B1 (en) Object tracking device, object tracking method, and control program
AU2005216169B2 (en) Component association tracker system and method
Diaz-Ramirez et al. Target tracking in nonuniform illumination conditions using locally adaptive correlation filters
US20080112606A1 (en) Method for moving cell detection from temporal image sequence model estimation
KR20140109901A (ko) 오브젝트 추적 및 프로세싱
WO2010076622A1 (en) Method, apparatus and computer program product for providing hand segmentation for gesture analysis
JP2009015827A (ja) 物体追跡方法、物体追跡システム、及び物体追跡プログラム
Li et al. Vision-aided inertial navigation for resource-constrained systems
KR101635973B1 (ko) Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치
Nie et al. Multiple person tracking by spatiotemporal tracklet association
Shaikh et al. Real-Time Multi-Object Detection Using Enhanced Yolov5-7S on Multi-GPU for High-Resolution Video
CN102117116B (zh) 运动物体识别方法及基于运动物体识别的指令输入方法
TWI796401B (zh) 物件偵測用之自成像中的雜波背景移除
Wong et al. Feature-Based Direct Tracking and Mapping for Real-Time Noise-Robust Outdoor 3D Reconstruction Using Quadcopters
Farazi et al. Real-time visual tracking and identification for a team of homogeneous humanoid robots
Acharya et al. Object tracking using a new statistical multivariate Hotelling's T 2 approach
Liu et al. Accumulated micro-motion representations for lightweight online action detection in real-time
Wu et al. Robust object tracking with bidirectional corner matching and trajectory smoothness algorithm
Abozeid et al. An Efficient Indoor Localization Based on Deep Attention Learning Model.
KR102344005B1 (ko) super Resolution Convolution neural network(SRCNN)을 이용한 고성능 표적 추적 장치
Li et al. FPGA Implementation of Infrared Images Small Targets Track-Before-Detect System
Ali et al. A new template updating method for correlation tracking

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190604

Year of fee payment: 4