KR101837407B1

KR101837407B1 - 영상 기반 표적 추적 장치 및 추적 방법

Info

Publication number: KR101837407B1
Application number: KR1020170146193A
Authority: KR
Inventors: 김은준; 유건환
Original assignee: 국방과학연구소
Priority date: 2017-11-03
Filing date: 2017-11-03
Publication date: 2018-03-12

Abstract

본 발명은 실시간 영상으로부터 표적을 추적할 수 있는 보다 향상된 추적 정확도를 가지는 표적의 추적 장치 및 방법에 대한 것으로, 현재 입력된 제2 프레임의 영상과, 상기 제2 프레임 영상 이전 시점의 영상인 제1 프레임의 영상에 근거하여, 표적 영상의 광학 흐름을 산출하는 광학흐름 산출부와, 상기 산출된 광학흐름에 근거하여 상기 제2 프레임의 영상으로부터 표적 영상을 포함하는 탐색 영역이 예측되면, 예측된 탐색 영역의 각 픽셀 위치에서 주변 방향들 각각에 대응하는 다른 픽셀들의 모서리 강도들을 산출하는 모서리 강도 산출부, 및 상기 광학흐름 산출 결과에 근거하여 상기 제2 프레임의 영상으로부터 상기 탐색 영역을 예측하고, 예측된 탐색 영역에서 상기 산출된 모서리 강도가 최대값을 가지는 픽셀들에 근거하여 상기 탐색 영역에 대한 각 방향 채널별 특징 정보들을 추출하며, 추출된 각 방향 채널별 특징 정보들에 상관필터를 적용하여 상관도가 가장 높은 픽셀을 검출 및, 검출된 픽셀 위치에 근거하여 상기 제2 프레임의 영상에서 표적의 위치를 예측하는 제어부를 포함하는 것을 특징으로 한다.

Description

영상 기반 표적 추적 장치 및 추적 방법{APPARATUS AND METHOD FOR IMAGE-BASED TARGET TRACKING}

본 발명은 실시간 영상으로부터 표적을 추적할 수 있는 보다 향상된 추적 정확도를 가지는 표적의 추적 장치 및 방법에 대한 것이다.

통상적으로 영상 기반 표적 추적은, 표적을 포함하는 실시간 영상으로부터 상기 표적의 위치를 추적함으로써 이루어진다. 이처럼 영상 기반 표적의 추적은 이전 프레임의 영상으로부터 산출되는 상관도에 기반하여, 표적의 모델과 상관도가 가장 높은 위치를 표적 위치로 예측하여 표적을 추적하는 방식으로 수행될 수 있다.

일반적인 상관도 기반 영상 추적 과정은 초기화, 표적 위치 예측, 표적 모델 업데이트 단계로 구성된다. 초기화 단계에서는 표적 모델을 생성한다. 표적 모델은 주변 배경이나 유사표적(Clutter)으로부터 표적을 분별할 수 있는 특징 정보를 의미한다. 표적 위치 예측 단계에서는 생성된 표적 모델을 이용하여 탐색영역에서 표적의 상관도를 계산한다. 표적의 상관도가 가장 높게 나타나는 픽셀 위치를 표적의 위치로 예측하게 된다. 마지막으로 표적 모델 업데이트 단계에서는 예측된 위치의 표적에서 특징 정보를 추출하여 기존 표적 모델에 갱신하게 된다. 따라서 상관도 기반 영상 추적 과정에서 표적의 강건한 추적을 위해서 탐색영역 내부에 표적이 포함되어 탐색되어야 하고, 표적 모델이 배경이나 유사표적 대비 분별력을 갖춰야 한다.

그러나 일반적으로 표적을 추적 장치 또는 시스템은 고정된 것이 아닐 수 있다. 따라서 플랫폼의 요동이나 카메라 짐벌(Gimbol)의 구동으로 인해, 카메라 시선이 변경되고 이에 따라 영상에서 표적의 이동 변위가 크게 나타날 수 있다.

이처럼 표적의 이동 변위가 크게 변경되는 경우에도 표적을 추적할 수 있도록 하기 위해서는 탐색 영역의 크기를 확장하여 표적을 내부에 포함시켜 탐색하여야 했다. 이와 같이 탐색 영역의 크기를 확장하는 경우, 표적의 이동 변위가 크게 나타나더라도 이전 프레임의 표적 위치를 기준으로 확장된 탐색 영역이 표적을 포함할 수 있게 되고, 이처럼 탐색 영역에 표적이 포함되는 경우 상기 탐색 영역에 대한 상관도를 계산하여 이동 변위가 변경된 표적의 위치를 예측할 수 있기 때문이다.

그러나 이처럼 탐색 영역을 확장하는 경우, 표적의 추적을 위해 탐색해야 할 영역이 크게 증가하게 된다는 문제점이 있다. 또한 이처럼 탐색 영역이 증가하는 경우 그에 따라 계산량이 증가하게 된다는 문제점이 있다.

이와 같은 탐색영역 확장으로 인한 계산량 증가는 실시간 구현을 요구하는 추적 시스템에서 개발을 어렵게 하는 요인이 될 수 있다. 또한 탐색 영역의 확장은 추적해야 할 표적뿐만 아니라, 유사 표적이 상기 탐색 영역 내부에 포함될 가능성을 증가시키게 된다. 한편 탐색 영역 내부에 유사 표적이 증가하는 경우, 이로 인한 오추적은 상관도 기반 추적에서 유사 표적 모델을 현재 모델에 업데이트 하여 유사 표적을 지속적으로 추적하는 결과를 초래할 수 있다는 문제가 있다.

한편 탐색 영역에 포함된 표적에 대해서는 분별력 있는 표적 모델을 구성해 상관도를 계산하고 표적 위치를 예측해야 한다. 이를 위해 통상적인 표적 추적 방식은 표적의 명암도나 기울기(Gradient)와 같은 특징을 이용하여 표적 모델을 구성하고 상관도를 계산하였다. 그런데 영상에서 명암도나 기울기와 같은 특징 성분은 밝기가 변하거나 잡음이 섞인 경우 쉽게 변경될 수 있다. 따라서 상기 명암도나 기울기와 같은 특징으로 표적을 분별하는 통상적인 표적 추정 방식은 밝기 변화나 잡음이 발생하는 경우 표적을 분별하는데 취약하다는 문제가 있다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, 표적을 포함하는 실시간 영상으로부터 상기 표적의 위치를 보다 정확하게 추적할 수 있도록 하는 표적 추적 장치 및 방법을 제공하는 것이다.

또한 본 발명의 다른 목적은, 표적의 이동 변위가 크게 변경되는 경우에도, 탐색 영역의 크기를 확장시키지 않고서도 표적의 위치를 예측 및 추적할 수 있도록 하는 표적 추정 장치 및 방법을 제공하는 것이다.

또한 본 발명의 다른 목적은, 표적을 포함하는 영상에 대해 밝기 변화나 잡음이 발생하는 경우에도, 표적의 위치를 정확하게 예측 및 추적할 수 있도록 하는 표적 추정 장치 및 방법을 제공하는 것이다.

상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 표적 추적 장치는, 현재 입력된 제2 프레임의 영상과, 상기 제2 프레임 영상 이전 시점의 영상인 제1 프레임의 영상에 근거하여, 표적 영상의 광학 흐름을 산출하는 광학흐름 산출부와, 상기 산출된 광학흐름에 근거하여 상기 제2 프레임의 영상으로부터 표적 영상을 포함하는 탐색 영역이 예측되면, 예측된 탐색 영역의 각 픽셀 위치에서 주변 방향들 각각에 대응하는 다른 픽셀들의 모서리 강도들을 산출하는 모서리 강도 산출부, 및 상기 광학흐름 산출 결과에 근거하여 상기 제2 프레임의 영상으로부터 상기 탐색 영역을 예측하고, 예측된 탐색 영역에서 상기 산출된 모서리 강도가 최대값을 가지는 픽셀들에 근거하여 상기 탐색 영역에 대한 각 방향 채널별 특징 정보들을 추출하며, 추출된 각 방향 채널별 특징 정보들에 상관필터를 적용하여 상관도가 가장 높은 픽셀을 검출 및, 검출된 픽셀 위치에 근거하여 상기 제2 프레임의 영상에서 표적의 위치를 예측하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 광학흐름 산출부는, 상기 제1 프레임의 영상과 상기 제2 프레임의 영상 각각에 대해 복수개 레벨의 가우시안 피라미드를 형성하는 영상들을 생성하는 피라미드 영상 생성부를 더 포함하고, 상기 제1 프레임의 영상에서 상기 표적이 포함된 일부 영역에 대해 복수개의 기준점을 형성 및, 상기 가우시안 피라미드를 형성하는 영상들로부터 상위 레벨에서 하위 레벨의 순서로 각각 같은 레벨의 영상들로부터 순차적으로 변위를 산출하여 상기 가우시안 피라미드의 최하위 레벨를 구성하는 영상들로부터 상기 복수개 기준점 각각에 대한 변위들을 산출하며, 상기 제어부는, 상기 산출된 변위들의 중간값에 근거하여 상기 탐색 영역을 예측하는것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 가우시안 피라미드를 형성하는 영상들 중 어느 한 레벨의 영상들이 선택되면, 선택된 영상들로부터 산출된 광학 흐름과, 현재 선택된 레벨의 영상들보다 한 단계 상위 레벨의 영상들로부터 산출된 변위에 근거하여 현재 선택된 레벨의 영상들에 대한 변위를 산출하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 광학흐름 산출부는, 루카스-카나데(Lucas-Kanade) 알고리즘을 적용하여 현재 선택된 기준점에 근거한 광학 흐름을 산출하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 가우시안 피라미드를 생성하는 각 영상들은, 해당 영상보다 한 단계 하위 레벨의 영상에 대해 가우시안 필터링을 수행한 후 다운 샘플링하여 생성되는 영상임을 특징으로 한다.

일 실시 예에 있어서, 상기 모서리 강도 산출부는, 현재 예측된 탐색 영역의 각 픽셀 위치에서 주변 방향들 각각에 대응하는 다른 픽셀들의 모서리 강도를 산출 및, 상기 방향들 각각 별로 상기 산출된 모서리 강도가 최대인 방향에 대응하는 픽셀에만 기 설정된 모서리 강도값을 설정하며, 상기 방향들 각각 별로 각 픽셀 위치에서 검출된 모서리 강도값이 최대인 픽셀들을 상기 방향들 각각에 대응하는 특징 정보들로 추출하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 상관필터를 갱신하는 상관필터 갱신부를 더 포함하며, 상기 상관필터 갱신부는, 기 설정된 학습률에 근거하여, 상기 제1 프레임의 영상에서 표적의 위치 예측에 사용된 제1 상관 필터와 상기 제2 프레임의 영상에서 표적의 위치 예측에 사용된 제2 상관 필터를 가중합하여 상기 상관필터를 갱신하며, 상기 가중합은, 상기 제1 상관 필터를 구성하는 분모와 상기 제2 상관 필터를 구성하는 분모 사이에서 수행되고, 상기 제1 상관 필터를 구성하는 분자와 상기 제2 상관 필터를 구성하는 분자 사이에서 수행되는 것을 특징으로 한다.

상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 표적 추적 방법은, 현재 입력된 제2 프레임의 영상과, 상기 제2 프레임 영상 이전 시점의 영상인 제1 프레임의 영상에 근거하여, 상기 제2 프레임의 영상으로부터 표적의 광학 흐름을 산출 및 산출된 광학 흐름에 근거하여 탐색 영역을 예측하는 제1 단계와, 예측된 탐색 영역의 각 픽셀 주변의 방향들 각각에 대응하는 픽셀들의 모서리 강도를 산출하고, 산출된 모서리 강도가 최대값을 가지는 픽셀들에 근거하여 상기 방향들 각각에 대응하는 채널별로 특징 정보들을 추출하는 제2 단계, 및 추출된 각 방향의 채널별 특징 정보들에 상관필터를 적용하여 산출되는 상관도가 가장 높은 픽셀을 검출하고, 검출된 픽셀의 위치에 근거하여 상기 제2 프레임의 영상에서 상기 표적의 위치를 예측하는 제3 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제1 단계는, 상기 제1 프레임의 영상에서 상기 표적이 포함된 일부 영역에 대해 복수개의 기준점을 형성하는 제1-1 단계와, 상기 제1 프레임의 영상과 상기 제2 프레임의 영상 각각에 대해 복수개 레벨의 가우시안 피라미드를 형성하는 영상들을 생성하는 제1-2 단계와, 상기 가우시안 피라미드를 형성하는 영상들로부터 순차적으로 변위를 산출하여, 상기 가우시안 피라미드의 최하위 레벨를 구성하는 영상들로부터 상기 복수개 기준점 각각에 대한 변위들을 산출하는 제1-3 단계, 및 산출된 변위들의 중간값에 근거하여 상기 탐색 영역을 예측하는 제1-4 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제1-3 단계는, 어느 하나의 기준점을 선택하는 a 단계와, 상기 가우시안 피라미드를 형성하는 제1 프레임의 영상들과 제2 프레임의 영상들로부터, 같은 레벨의 영상들을 상위 레벨에서 하위 레벨의 순서로 순차적으로 선택하는 b 단계와, 선택된 레벨의 영상들로부터, 현재 선택된 기준점에 근거하여 광학흐름을 산출하는 c 단계와, 선택된 레벨의 영상들로부터 산출된 광학흐름과, 현재 선택된 레벨보다 한 단계 상위 레벨의 영상들로부터 산출된 변위에 근거하여, 현재 선택된 레벨의 영상들에 대한 변위를 산출하는 d 단계와, 상기 가우시안 피라미드를 형성하는 제1 프레임의 영상들과 제2 프레임의 영상들 중 최하위 레벨의 영상들로부터 변위가 산출되면, 다른 기준점을 선택하는 e 단계, 및 선택된 다른 기준점에 대해, 상기 b 단계 내지 e 단계를 반복하는 단계를 더 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 c 단계는, 루카스-카나데 알고리즘을 적용하여 현재 선택된 기준점에 근거한 광학흐름을 산출하는 단계임을 특징으로 한다.

일 실시 예에 있어서, 상기 제2 단계는, 예측된 탐색 영역의 각 픽셀 위치에서 주변 방향들 각각에 대응하는 다른 픽셀들의 모서리 강도를 산출하는 제2-1 단계와, 상기 방향들 각각에 대해, 모서리 강도가 최대인 방향에 대응하는 픽셀에만 기 설정된 모서리 강도값을 설정하는 제2-2 단계, 및 상기 방향들 각각에 대해, 각 픽셀 위치에서 모서리 강도값이 최대인 픽셀들을 검출하고 검출된 픽셀들을 상기 방향들 각각에 대응하는 특징 정보들로 추출하는 제2-3 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 상관필터를 갱신하는 제4 단계를 더 포함하며, 상기 상관필터의 갱신은, 기 설정된 학습률에 근거하여, 상기 제1 프레임의 영상에서 표적의 위치 예측에 사용된 제1 상관 필터와 상기 제2 프레임의 영상에서 표적의 위치 예측에 사용된 제2 상관 필터를 가중합하여 이루어지며, 상기 가중합은, 상기 제1 상관 필터를 구성하는 분모와 상기 제2 상관 필터를 구성하는 분모 사이에서 수행되고, 상기 제1 상관 필터를 구성하는 분자와 상기 제2 상관 필터를 구성하는 분자 사이에서 수행되는 것을 특징으로 한다.

본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 표적의 이동 변위가 급격하게 증가하는 경우에도 보다 정확하게 상기 표적의 위치를 예측 및 추적할 수 있다는 효과가 있다.

또한 본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 표적의 광학흐름에 근거하여 탐색 영역의 위치를 예측함으로써, 표적의 이동 변위가 급격하게 증가하는 경우에도 탐색 영역의 확장 없이 상기 표적의 위치를 예측 및 추적할 수 있다는 효고가 있다.

또한 본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 예측된 탐색 영역에 대해 표적의 모서리를 기반으로 추출한 특징에 근거하여 상관도를 계산하고, 계산된 상관도에 근거하여 표적의 위치를 예측 및 추적함으로써, 표적을 포함하는 영상에서 밝기 변화나 잡음이 발생하는 경우에도 상기 표적의 위치를 정확하게 예측 및 추적할 수 있다는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 표적 추적 장치의 개념을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시 예에 따른 표적 추적 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 표적 추적 장치가 인접한 프레임의 영상들로부터 표적의 위치를 예측하는 동작 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 표적 추적 장치가 표적 영상의 광학흐름에 따라 탐색 영역을 예측하는 동작 과정을 보다 자세히 도시한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 표적 추적 장치에서, 상기 탐색 영역의 예측을 위해 생성하는 가우시안 피라미드 영상들을 설명하기 위한 개념도이다.
도 6은 본 발명의 실시 예에 따른 표적 추적 장치에서, 표적의 영상에 형성된 복수의 기준점 각각에 대한 광학흐름이 예측된 예를 도시한 예시도이다.
도 7은 본 발명의 실시 예에 따른 표적 추적 장치에서, 탐색 영역에서 각 방향의 채널에 대응하는 특징 정보들을 추출하는 동작 과정을 보다 자세히 도시한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 표적 추적 장치에서, 모서리 마스크 및 각 방향의 모서리 강도를 설명하기 위한 개념도이다.
도 9는 본 발명의 실시 예에 따른 표적 추적 장치에서, 각 방향에 따른 모서리 패턴 특징이 특징 정보들로 추출된 예들을 도시한 예시도이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하도록 한다.

우선 본 발명의 실시 예에 따른 표적 추적 장치의 개념을 설명하기 위한 개념도이다.

도 1에서 보이고 있는 바와 같이, 본 발명의 실시 예에 따른 표적 추적 장치는 상관도에 기반하여 표적을 추적할 수 있다. 그리고 본 발명의 상관도 기반 추적은 초기화(Initialization), 탐색영역 예측(Estimate search area), 특징 추출(Extract feature ?? Cosine window), 상관도 계산 및 표적 위치 예측(Correlation filter ?? Response map ?? Prediction), 그리고 표적 모델 업데이트(Model update) 과정을 통해 표적 추적을 수행할 수 있다.

도 2는, 상기 도 1에서 도시한 표적 추적 과정을 수행하는 본 발명의 실시 예에 따른 표적 추적 장치(100)의 구성을 도시한 블록도이다.

도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 표적 추적 장치(100)는 제어부(200)와 상기 제어부(200)에 연결되는 광학흐름 산출부(210), 모서리 강도 산출부(220), 상관필터 갱신부(230), 그리고 메모리(240)를 포함하여 구성될 수 있다. 한편 도 2에 도시된 구성요소들은 본 발명의 실시 예에 따른 표적 추적 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 표적 추적 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

먼저 광학흐름 산출부(210)는, 상기 제어부(200)의 제어에 따라 인접한 프레임의 영상들, 제1 시점 프레임의 영상과 그 다음 시점, 즉 제2 시점 프레임의 영상으로부터 표적 영상에 대한 광학흐름을 산출할 수 있다. 이를 위해 광학흐름 산출부(210) 먼저 상기 제1 시점 프레임의 영상으로부터 검출된 표적의 영상으로부터 복수개의 기준점을 형성하고, 상기 제2 시점 프레임의 영상으로부터 상기 복수개의 기준점 각각에 대한 광학흐름들을 산출 및, 산출된 광학흐름에 따른 변위들을 산출할 수 있다. 여기서 상기 변위들은 상기 산출된 광학흐름에 근거하여 상기 복수의 기준점 각각에 대응하는 상기 제2 프레임 영상의 일 지점들일 수 있다.

이러한 광학흐름의 산출을 위해 상기 광학흐름 산출부(210)는 상기 인접한 프레임의 영상들, 즉 제1 시점 프레임의 영상과 제2 시점 프레임 영상 각각으로부터 가우시안 피라미드를 형성하는 영상들을 생성할 수 있으며, 상기 가우시안 피라미드 영상들을 생성하기 위한 피라미드 영상 생성부(212)를 포함할 수 있다. 그리고 상기 피라미드 영상 생성부(212)로부터 각 영상들에 대한 가우시안 피라미드 영상들이 생성되면, 상기 가우시안 피라미드의 각 레벨 별 영상들에 대해 루카스-카나데(Lucas-Kanade) 알고리즘과 같은 기 설정된 알고리즘에 근거하여, 각 기준점 별로 상기 광학흐름을 산출할 수 있다.

한편 상기 광학흐름 산출부(210)를 통해 표적의 영상에 대해 형성된 복수의 기준점 각각에 대한 광학흐름 및, 산출된 광학 흐름을 반영하여 제1 프레임의 영상과 제2 프레임 영상 사이의 각 기준점들의 변위들이 산출되면 제어부(200)는 상기 산출된 변위들 중 적어도 하나에 근거하여, 상기 제2 프레임의 영상에서 탐색 영역을 결정할 수 있다. 예를 들어 제어부(200)는 상기 산출된 변위들 중, 중간값을 가지는 어느 하나의 변위에 대응하는 제2 프레임의 영상 내의 일 지점을 중심으로, 현재 제1 프레임의 영상에 설정된 탐색 영역을 그래도 평행 이동 시킬 수 있다. 즉, 제어부(200)는 상기 제2 프레임의 영상에서 상기 중간값을 가지는 어느 하나의 변위를 중심으로, 현재 설정된 탐색 영역의 크기와 영역을 제2 프레임의 영상에 대한 탐색 영역으로 결정할 수 있다.

한편 제어부(200)는 상기 제2 프레임의 영상에 대해 탐색 영역이 결정되면, 모서리 강도 산출부(220)를 제어하여 현재 결정된 탐색 영역에서 표적의 위치를 추적할 수 있다.

상기 모서리 강도 산출부(220)는 상기 탐색 영역의 각 픽셀 위치에서 주변의 각 방향에 대한 서로 다른 픽셀의 모서리 강도들을 산출할 수 있다. 이러한 경우 상기 모서리 강도 산출부(220)는 기 설정된 모서리 마스크를 이용하여, 즉 중앙의 픽셀을 중심으로 상하좌우, 좌상, 좌하, 우상, 우하 방향 모두 8개 방향 각각에 대한 모서리 강도들을 산출할 수 있다.

한편 현재 설정된 탐색 영역의 각 픽셀들에 대해, 각 주변 방향에 대한 모서리 강도들이 산출되면, 모서리 강도 산출부(220)는 산출된 모서리 강도들 중 최대값을 가지는 방향을 선택할 수 있다. 그리고 선택된 방향에 대해서만 기 설정된 모서리 강도값을 설정할 수 있다. 따라서 상기 탐색 영역의 각 픽셀들의 주변 8개 픽셀들 중 어느 하나에만 상기 모서리 강도값을 가지는 픽셀들이 설정될 수 있다.

한편 탐색 영역의 각 픽셀들에 대해 모서리 강도값을 가지는 픽셀들이 설정되면, 제어부(200)는 상기 8개 방향 각각에 대해 모서리 강도값을 가지는 픽셀들을 검출할 수 있다. 그리고 각 방향에 대해 모서리 강도값이 검출된 픽셀들은 그 방향, 즉 그 방향 채널에 대응하는 특징 정보가 될 수 있다.

그리고 한편 각 방향 채널에 대응하는 특징 정보가 산출되면, 제어부(200)는 산출된 특징 정보들에 다중상관필터를 적용할 수 있다. 예를 들어

차원 상관필터에 대해 추적의 대상이 되는 표적의 영상 부분, 즉 패치

의

채널 특징 정보는

로 표현되며

의 범위는

( 채널 특징정보에서 l은 8방향의 각 채널을 의미하므로

{

} 인지 여부를 확인부탁드립니다.) 일 수 있다. 한편

로 구성된 상관필터

를 얻기 위한 목적함수는 아래 식의 비용함수

을 최소화 하는 하기 수학식 1과 같다.

[수학식 1]

위 수학식 1의

는 표적의 위치에서 가장 높은 값을 가지는 가우시안 함수이고,

는 순환 컨볼루션 연산을 나타낸다.

는 정규화 항의 영향을 조절하는 파라미터이다. 위 수학식 1은 선형 최소제곱법 문제이며 상기 수학식 1을 주파수 도메인으로 변화하여 풀면 아래 수학식 2와 같이 단순화 시킬 수 있다.

[수학식 2]

여기서,

,

이면,

여기서

,

는 각각

,

의 이산 푸리에 변환(Discrete Fourier Transform)을 의미하고,

는

의 켤레복소수를 나타낸다. 그리고 위 수학식 2(

)은 단일 표적 샘플

에 대해 도출한 최적의 상관필터

를 이산 푸리에 변환한 식이다.

한편 제어부(200)는 각 채널의 특징 정보

에 대하여 상기 상관필터(

)을 적용할 수 있다. 여기서 제어부(200)는 하기 수학식 3과 같이 각 채널의 특징 정보

에 대하여 상기 상관필터(

)을 적용할 수 있다.

[수학식 3]

여기서,

이고,

이다.

와

는 각각 시간

에서 추출된 지역적 모서리 패턴

과 상관도

의 이산푸리에변환을 나타낸다. 상관도

, 즉

가 가장 높게 나타나는 픽셀 위치가 실제 예측된 표적의 위치가 될 수 있다.

한편 제어부(200)는 표적의 위치가 예측되면, 추적중인 표적의 표적 모델을 업데이트 할 수 있다. 여기서 상기 표적 모델의 업데이트는 상관필터 갱신부(230)에 의해 수행될 수 있다.

상기 상관필터 갱신부(230)는 기 설정된 학습률

(학습률을 결정하는 수학식이 따로 있는 것인지 아니면 적용 비율이 미리 결정되어 있는 것인지 확인부탁드립니다.) 에 근거하여 상관필터를 갱신할 수 있다. 보다 자세하게 상기 상관필터 갱신부(230)는 이전 시점 프레임의 영상(t-1 시점의 프레임의 영상)에서 산출된 상관필터와 현재 입력된 프레임의 영상(t 시점의 프레임의 영상), 즉 현재 시점 프레임의 영상에서 산출된 상관필터를 가중합 하여 새로운 상관필터를 생성할 수 있다.

여기서 상기

번째 프레임 영상의 새로운 표적 패치

에 대한 상관필터(

)의 가중합 과정은 상관필터의 분모 인수와 분자 인수에 대해 각각 이루어질 수 있으며, 하기 수학식 4에서 보이고 있는 바와 같이 수행될 수 있다.

[수학식 4]

,

한편 제어부(200)는 상술한 동작들을 수행하도록 연결된 각 구성부를 제어할 수 있도록 형성될 수 있다. 또한 메모리(240)는 상술한 동작들을 수행하기 위해 필요한 각종 데이터들 및 입출력되는 데이터들을 저장하기 위해 형성될 수 있다. 일 예로 상기 메모리(240)는 상기 제1 프레임 영상과 제2 프레임 영상 사이에서 광학 흐름을 산출하기 위한 루카스-카나데 알고리즘에 대한 정보들을 저장할 수 있다. 또한 상기 선형필터의 각 인수에 관련된 정보들을 저장할 수 있으며, 상기 제어부(200)의 요청에 따라 제어부(200)가 요청하는 정보를 독출하여 제어부(200)에 입력할 수 있다.

한편 도 3은, 이러한 본 발명의 실시 예에 따른 표적 추적 장치(100)가 인접한 프레임의 영상들로부터 표적의 위치를 예측하는 동작 과정을 도시한 흐름도이다.

도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 표적 추적 장치는, 표적을 포함하는 프레임의 영상이 입력되면 입력된 영상과, 현재 입력된 시점 이전에 입력된 프레임의 영상에 근거하여 표적의 광학 흐름을 산출하고, 산출된 광학 흐름과 기 설정된 복수개의 기준점의 변위들에 근거하여 현재 입력된 프레임의 영상, 즉 현재 시점 프레임의 영상으로부터 탐색 영역을 예측할 수 있다(S300).

상기 S300 단계의 탐색 영역 예측 과정은 루카스-카나데 알고리즘을 이용하여 표적의 광학 흐름을 계산하여 탐색 영역의 위치를 예측하는 과정일 수 있다. 이를 위해 제어부(200)는 상기 S300 단계에서 현재 시점 프레임(

번째 프레임)의 영상(이하 제1 프레임 영상)과 이전 시점 프레임(

-1 번째 프레임)의 영상(이하 제2 프레임 영상) 각각에 대해 가우시안 피라미드를 형성하는 영상들을 생성할 수 있다. 여기서 상기 가우시안 피라미드를 형성하는 영상들은 하위 레벨의 영상에 대해 가우시안 필터링을 수행하고 다운 샘플링을 수행하여 한단계 상위 레벨의 영상을 생성하는 과정을 기 설정된 횟수만큼 반복함으로써 생성될 수 있다. 이러한 반복 과정을

회 수행하는 경우, 상기 가우시안 피라미드는

+1개 레벨을 가지는 영상들로 형성될 수 있다. 그리고 이러한 가우시안 피라미드의 최하위 레벨, 즉 레벨 0의 영상들은 각 프레임(제1 프레임, 제2 프레임)의 원래 영상들일 수 있다.

한편 제어부(200)는 상기 S300 단계에서 각 프레임의 영상들에 대응하는 가우시안 피라미드 영상들이 형성되면, 같은 레벨의 영상들로부터 기 설정된 복수개의 기준점 각각에 대한 광학 흐름을 산출할 수 있다. 여기서 상기 광학 흐름은 상기 루카스-카나데 알고리즘에 따라 산출될 수 있다. 그리고 산출된 광학 흐름과 보다 상위 레벨 영상들로부터 산출된 변위에 근거하여 현재 선택된 레벨의 영상들에 대한 변위를 산출할 수 있다. 제어부(200)는 이러한 과정을 상기

+1개 레벨 각각의 영상들에 대해 상위 레벨의 영상들로부터 하위 레벨의 영상들로 순차적으로 수행하여, 각 기준점에 대한 최종적으로 최하위 레벨의 영상들에 대한 변위들을 산출할 수 있다.

한편 상기 변위들이 산출되면 상기 제어부(200)는 변위들 중 어느 하나의 변위에 근거하여 탐색 영역의 기준점을 결정할 수 있다. 예를 들어 제어부(200)는 상기 변위들 중 중간값을 가지는 변위에 대응하는 제2 프레임 영상의 영상의 일 지점을 새로운 탐색 영역의 기준점으로 결정할 수 있다. 그리고 결정된 기준점에 근거하여 현재 설정된 크기와 동일한 탐색 영역을 생성할 수 있다. 즉, 제어부(200)는 상기 중간값을 가지는 변위에 대응하는 제2 프레임 영상의 일 지점을 중심으로 제1 프레임 영상에 형성된 탐색 영역을 평행 이동 시킬 수 있다.

한편 상기 S300 단계에서 탐색 영역이 예측되면, 제어부(200)는 예측된 탐색 영역에 대해 각 방향에 대한 특징 정보들을 추출할 수 있다(S302). 상기 S302 단계에서 제어부(200)는 기 설정된 모서리 마스크를 이용하여 각 픽셀별로 주변 8 방향에 각각 대응하는 다른 픽셀들의 모서리 강도를 측정할 수 있다. 그리고 각 픽셀 마다 상기 모서리 강도가 최대로 검출된 어느 한 방향에 대응하는 하나의 픽셀에 기 설정된 모서리 강도값을 설정할 수 있다. 이에 따라 상기 S302 단계에서는 각 방향마다 기 설정된 모서리 강도값이 설정된 픽셀들이 검출될 수 있으며, 검출된 각 픽셀들은 각 방향에 대응하는 특징 정보가 될 수 있다.

한편 상기 S302 단계에서 각 방향 채널에 대응하는 특징 정보들이 추출되면, 제어부(200)는 추출된 특징 정보들에 대해 상관필터를 적용하여 표적의 위치를 예측할 수 있다(S304). 상기 S304 단계는, 상기 수학식 2에서 보이고 있는 바와 같이, 표적을 배경이나 유사 표적으로부터 분별할 수 있는 표적 모델을 나타내는 상관필터를 생성하고, 생성된 상관 필터를 상기 수학식 3에서 보이고 있는 바와 같이 상기 S302 단계에서 추출된 각 채널별 특징 정보들에 적용함으로서 수행될 수 있다. 그리고 상관필터를 적용한 결과 상관도가 가장 높게 나타나는 픽셀의 위치를, 실제 표적의 위치로 예측할 수 있다.

한편 상기 S304 단계에서 현재 입력된 프레임의 영상, 즉 제2 프레임의 영상으로부터 표적의 위치가 예측되면, 제어부(200)는 이전 시점 프레임의 영상, 즉 제1 프레임의 영상에서 표적의 위치 예측에 사용되었던 상관필터와, 현재 시점 프레임의 영상, 즉 제2 프레임의 영상에서 표적의 위치 예측에 사용되었던 상관필터를, 상기 수학식 4에서 보이고 있는 바와 같이 기 설정된 학습률에 따라 가중합하여 갱신할 수 있다. 그리고 갱신된 상관 필터는 새로 입력되는 프레임의 영상, 즉

시점 이후 시점의 프레임(

+1 번째)의 영상의 표적 예측에 사용될 수 있다.

한편 도 4는 본 발명의 실시 예에 따른 표적 추적 장치(100)가 표적 영상의 광학흐름에 따라 탐색 영역을 예측하는 상기 S300 단계의 동작 과정을 보다 자세히 도시한 흐름도이다. 그리고 도 5는 본 발명의 실시 예에 따른 표적 추적 장치에서, 상기 탐색 영역의 예측을 위해 생성하는 가우시안 피라미드 영상들을 설명하기 위한 개념도이며, 도 6은 본 발명의 실시 예에 따른 표적 추적 장치에서, 표적의 영상에 형성된 복수의 기준점 각각에 대한 광학흐름이 예측된 예를 도시한 예시도이다.

먼저 도 4를 참조하여 살펴보면, 먼저 제어부(200)는 상기 제1 프레임과 제2 프레임에 대해

+1개 레벨의 가우시안 피라미드 영상들을 생성할 수 있다(S400). 여기서 생성된 가우시안 피라미드 영상들은 도 5에서 보이고 있는 바와 같다.

도 5를 참조하여 살펴보면, 제어부(200)는 인접한 프레임 영상 I(제1 프레임의 영상), J(제2 프레임의 영상)에 대해 각각

+1개 레벨의 피라미드 영상을 생성한다. 각 레벨 0의 영상이 각 프레임들의 원래 영상이고, 레벨 1에서 레벨 m까지 영상들은, 각각 하위 프레임의 영상에서 가우시안 필터링을 수행한 후 다운 샘플링을 수행하여 상위 프레임의 영상을 생성하는 방식으로 생성된 영상들이다.

한편 이와 같이 가우시안 피라미드 영상들이 생성되면, 제어부(200)는 현재 표적의 위치가 예측된 제1 프레임의 영상에서, 상기 표적의 위치에 대응하는 영역(이하 패치라고 칭함)에 대해 기 설정된 개수의 기준점을 형성할 수 있다(S402). 예를 들어 상기 기준점들은 도 6의 좌측 그림에서 보이고 있는 바와 같이 가로 세로 각 5개씩 총 25개의 기준점이 형성될 수 있다.

한편 이처럼 기준점들이 형성되면, 제어부(200)는 어느 하나의 기준점을 선택할 수 있다(S404). 이처럼 어느 하나의 기준점이 선택되면 제어부(200)는 상기 제1 프레임의 영상 및 제2 프레임의 영상에 각각 대응하는 가우시안 피라미드의 영상들 중 최상위 레벨, 즉

레벨의 영상들을 선택할 수 있다(S406).

한편 특정 레벨의 영상들이 선택되면 제어부(200)는 선택된 레벨의 영상들로부터, 현재 선택된 기준점에 대응하는 광학 흐름을 산출할 수 있다(S408). 여기서 제어부(200)는 상기 광학 흐름을 산출하기 위해 루카스-카나데 알고리즘을 이용할 수 있다. 그리고 현재 선택된 레벨 이전의 영상들로부터 산출된 변위와 현재 선택된 레벨의 영상들로부터 산출된 광학 흐름에 근거하여 현재 선택된 레벨의 영상들에 대한 변위를 산출할 수 있다(S410).

상기 S410 단계에서 제어부(200)는 현재 선택된 레벨의 영상들이

레벨의 영상들인 경우, 제어부(200)는 기 설정된 변위 초기값

을 이용할 수 있다. 여기서 상기 변위 초기값

은 X 좌표값과 Y 좌표값이 각각 0인 값일 수 있다. 그리고 제어부(200)는 현재 설정된 기준점에 대해 루카스-카나데 알고리즘에 근거하여 광학 흐름

을 산출할 수 있다. 그리고 상기 변위 초기값

에 산출된 광학 흐름

을 더하여 레벨

영상에서 추정한 변위(

)을 구할 수 있다.

그리고

레벨의 영상들로부터 산출된 변위

은, 다음 레벨의 영상들(

-1 레벨의 영상들)의 변위를 산출하기 위한 변위 초기값으로 사용될 수 있다. 그리고 제어부(200)는 현재 설정된 기준점에 대해 루카스 카나데 알고리즘에 근거하여,

-1 레벨의 영상들에 대한 광학 흐름

을 산출할 수 있다. 그리고 산출된 광학 흐름

과 이전 레벨 영상들의 변위값

을 더하여

-1 레벨의 영상들로부터 산출된 변위

를 생성할 수 있다.

한편 현재 선택된 레벨의 영상들에 대한 변위가 산출되면, 제어부(200)는 현재 선택된 레벨의 영상들이 최하위 레벨의 영상들인지 여부를 판단할 수 있다(S412). 그리고 최하위 레벨의 영상들이 아닌 경우라면 다음 레벨, 즉 다음 하위 레벨의 영상들을 선택할 수 있다(S414). 그리고 다시 상기 S408 단계에서 S410 단계에 이르는 과정들을 반복하여 수행할 수 있다. 즉, 현재 선택된 기준점에 대해, 최하위 레벨의 영상들, 즉 레벨 0의 영상들에 대한 변위가 산출될 때까지, 선택된 레벨의 영상들로부터 변위를 산출하고 다음 레벨의 영상들을 선택하는 과정이 반복되어 수행될 수 있다.

이처럼 루카스-카나데 알고리즘의 목적함수에 피라미드를 적용한 피라미드 루카스-카나데 알고리즘의 목적함수 식은 하기 수학식 5와 같이 표현될 수 있다.

[수학식 5]

여기서 L은 가우시안 피라미드 레벨을 의미하고 범위는 L={

} 이다.

는 초기 추정 거리를 의미하고 각각 X와 Y방향의 거리를 의미한다.

한편 상기 S408 단계에서 S410 단계에 이르는 과정들이

+1 회 반복된 경우, 최하위 레벨의 영상들이 선택되고 선택된 영상들로부터 변위가 산출될 수 있다. 그러면 제어부(200)는 상기 S412 단계에서, S416 단계로 진행하여, 상기 S402 단계에서 형성된 복수의 기준점 모두에 대해 상기 최하위 레벨의 영상들에 대한 변위들이 산출되었는지 여부를 판단할 수 있다(S416).

한편 제어부(200)는 상기 S416 단계의 판단 결과, 모든 기준점에 대해 최하위 레벨의 영상들에 대한 변위들이 산출되지 않은 경우라면, 다른 기준점을 선택할 수 있다(S418). 그리고 다시 S406 단계에서 S412 단계에 이르는 과정들을 반복하여 수행할 수 있다.

한편 상술한 바와 같이 복수의 기준점 각각에 대해 최하위 레벨의 변위를 산출하는 과정들이 수행되면, 도 5의 우측 그림에서 보이고 있는 바와 같이, 상술한 바와 같이 제2 프레임의 영상에서 상기 제1 프레임 영상의 복수의 기준점 각각에 대응되는 변위들이 산출될 수 있다. 그러면 제어부(200)는 산출된 변위들 중 적어도 하나를 검출할 수 있다. 그리고 검출된 변위에 근거하여 제2 프레임의 영상으로부터 표적의 위치를 예측할 탐색 영역을 결정할 수 있다(S420).

예를 들어 상기 도 5에서 보이고 있는 바와 같이, 기준점이 25개인 경우라면, 제어부(200)는 총 25개의 변위

를 획득 할 수 있다. 그러면 제어부(200)는 획득한 25개 변위 중 하기 수학식 6과 같이 중간값을 가진 변위를 표적의 중심 위치 기준으로 이동해야 할 최종 변위

로 설정할 수 있다.

[수학식 6]

,

여기서

는 중간값의 인덱스를 찾는 연산자를 의미한다.

한편 도 7은 본 발명의 실시 예에 따른 표적 추적 장치(100)에서, 탐색 영역에서 각 방향의 채널에 대응하는 특징 정보들을 추출하는 동작 과정을 보다 자세히 도시한 흐름도이다.

한편 본 발명의 실시 예에 따른 표적 추적 장치(100)는 표적을 분별할 수 있는 모델로서, 표적의 모서리 강도를 추출하여 이를 표적 모델로 구성하는 지역적 모서리 패턴을 이용할 수 있다. 이러한 지역적 모서리 패턴은 영상의 지역적 공간 구조를 표현하는 특징 정보가 될 수 있으며, 이를 위해 제어부(200)는 제2 프레임 영상에 대해 예측된 탐색 영역의 각 픽셀 위치에서 각 주변 방향, 총 여덟 방향 모서리에 대한 상대적 강도를 측정할 수 있다.

이를 위해 본 발명의 실시 예에 따른 표적 추적 장치(100)의 제어부(200)는, 도 7에서 보이고 있는 바와 같이, 먼저 제2 프레임의 영상에서 예측된 탐색 영역의 각 픽셀 위치에서, 각 주변 방향에 대응하는 다른 픽셀들에 대한 모서리 강도를 산출할 수 있다(S700).

일반적으로 지역적 모서리 패턴 특징은 도 8에서 보이고 있는 바와 같이, 여덟 방향의 모서리 정보를 얻을 수 있는 키르쉬(Kirsch) 모서리 마스크

를 이용할 수 있다. 그리고 제어부(200)는 탐색 영역의 각 픽셀 위치에서 여덟 방향의 모서리 강도를 측정하기 위하여, 하기 [수학식 7]과 같이 각 픽셀 위치에서 상기 모서리 마스크(

)를 사용하여, 각 방향마다 모서리 강도

를 얻을 수 있다.

[수학식 7]

,

{0, ... , 7}

는 표적 패치를 나타내고,

은 각 방향, 즉 총 여덟 방향을 의미할 수 있다. 따라서 도 8의 하단 그림에서 보이고 있는 바와 같이, 중간 픽셀 위치를 기준으로 총 여덟 방향의 모서리 강도

를 표현할 수 있다.

한편 본 발명에서는 지역적 모서리 패턴을 다중채널로 확장하여 상관필터 추적에 적용한다. 이를 위해 제어부(200)는 상기 S700 단계에서, 탐색 영역의 각 픽셀 위치에 대해 각 방향마다 모서리 강도가 산출되면, 제어부(200)는 각 픽셀 위치에서 모서리 강도가 최대인 방향에 대응하는 어느 하나의 픽셀을 선택할 수 있다. 이를 수식으로 나타내면 하기 수학식 8과 같다.

[수학식 8]

그러면 제어부(200)는 각 픽셀 위치에서 모서리 강도가 최대로 선택된 방향에 대해서만 기 설정된 모서리 강도값을 설정할 수 있다(S702). 예를 들어 상기 S702 단계는 하기 수학식 9와 같이, 모서리 강도

을 다른 방향에 대해서는 0을 설정할 수 있다.

[수학식 9]

한편 상기 S702 단계에서 모서리 강도가 최대값인 방향에 대응하는 어느 한 방향의 픽셀들에만 모서리 강도값이 설정되면, 제어부(200)는 각 방향 별로, 각 픽셀 위치에서 모서리 강도값이 설정된 픽셀들을 검출할 수 있다(S704). 그리고 검출된 픽셀들을 각 방향의 채널에 대응하는 특징 정보, 즉 각 방향에 대응하는 지역적 모서리 패턴으로 추출할 수 있다(S706).

도 9는 이와 같이 서로 다른 각 방향별로 모서리 강도값이 설정된 픽셀들이 검출된 예들을 보이고 있는 것이다. 도 9에 좌측 최상단에 도시되는 그림은, 상기 도 8에서 설명한 지역적 모서리 패턴이 도시되지 않은 원본 이미지이며, 그 외 다른 그림들은 각각 서로 다른 방향에 대응하는 지역적 모서리 패턴이 검출된 예들을 보이고 있는 것이다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 상관도 기반 추적에서 표적의 광학흐름을 예측하고 예측된 변위만큼 표적의 탐색영역을 평행이동하면 급격히 위치가 변하는 표적을 지속적으로 탐색영역 내부에 포함시킬 수 있으므로, 영상에서 급격히 양상과 위치가 변하는 표적에 대해 추적 정확도를 개선할 수 있다.

뿐만 아니라, 본 발명의 실시 예에서는 탐색영역 예측을 통해 현재 표적 위치에 맞게 탐색영역을 설정할 수 있고, 모서리 기반 특징을 추출하여 명암도나 기울기 기반 특징 대비 밝기 변화나 잡음이 섞인 영상에서도 표적의 분별력을 높일 수 있다. 따라서 기존의 상관도 기반 추적에서 이전 프레임의 표적위치 기준으로 표적의 탐색영역을 설정하고, 명암도나 기울기(gradient) 기반 특징을 이용하여 표적의 상관도를 계산하여 표적을 탐색하기 때문에 밝기 변화나 잡음에 민감하다는 문제를 해결할 수 있다.

이러한 특징들로 인해 본 발명은 전자광학추적시스템의 영상추적 정확도를 개선하는데 활용할 가능성이 높다. 그리고 영상추적 상태에서 카메라 짐벌을 구동하는 조준점 이동과 같은 기능을 구현할 때 추적 정확도 성능을 극대화 할 수 있다는 효과가 있다.

한편 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 표적 추적 장치
200 : 제어부 210 : 광학 흐름 산출부
212 : 피라미드 영상 생성부 220 : 모서리 강도 산출부
230 : 상관필터 갱신부 240 : 메모리

Claims

현재 입력된 제2 프레임의 영상과, 상기 제2 프레임 영상 이전 시점의 영상인 제1 프레임의 영상에 근거하여, 표적 영상의 광학 흐름을 산출하는 광학흐름 산출부;
상기 산출된 광학흐름에 근거하여 상기 제2 프레임의 영상으로부터 표적 영상을 포함하는 탐색 영역이 예측되면, 예측된 탐색 영역의 각 픽셀 위치에서 주변 방향들 각각에 대응하는 다른 픽셀들의 모서리 강도들을 산출하는 모서리 강도 산출부; 및,
상기 광학흐름 산출 결과에 근거하여 상기 제2 프레임의 영상으로부터 상기 탐색 영역을 예측하고, 예측된 탐색 영역의 각 픽셀 위치에서, 모서리 강도가 최대인 방향에 대응하는 픽셀들에 근거하여 상기 탐색 영역에 대한 각 방향 채널별 특징 정보들을 추출하며, 추출된 각 방향 채널별 특징 정보들에 상관필터를 적용하여 상관도가 가장 높은 픽셀을 검출 및, 검출된 픽셀 위치에 근거하여 상기 제2 프레임의 영상에서 표적의 위치를 예측하는 제어부를 포함하는 것을 특징으로 하는 표적 추적 장치.
제1항에 있어서, 상기 광학흐름 산출부는,
상기 제1 프레임의 영상과 상기 제2 프레임의 영상 각각에 대해 복수개 레벨의 가우시안 피라미드를 형성하는 영상들을 생성하는 피라미드 영상 생성부를 더 포함하고,
상기 제1 프레임의 영상에서 상기 표적이 포함된 일부 영역에 대해 복수개의 기준점을 형성 및, 상기 가우시안 피라미드를 형성하는 영상들로부터 상위 레벨에서 하위 레벨의 순서로 각각 같은 레벨의 영상들로부터 순차적으로 변위를 산출하여 상기 가우시안 피라미드의 최하위 레벨를 구성하는 영상들로부터 상기 복수개 기준점 각각에 대한 변위들을 산출하며,
상기 제어부는,
상기 산출된 변위들의 중간값에 근거하여 상기 탐색 영역을 예측하는것을 특징으로 하는 표적 추적 장치.
제2항에 있어서, 상기 제어부는,
상기 가우시안 피라미드를 형성하는 영상들 중 어느 한 레벨의 영상들이 선택되면, 선택된 영상들로부터 산출된 광학 흐름과, 현재 선택된 레벨의 영상들보다 한 단계 상위 레벨의 영상들로부터 산출된 변위에 근거하여 현재 선택된 레벨의 영상들에 대한 변위를 산출하는 것을 특징으로 하는 표적 추적 장치.
제2항에 있어서, 상기 광학흐름 산출부는,
루카스-카나데(Lucas-Kanade) 알고리즘을 적용하여 현재 선택된 기준점에 근거한 광학 흐름을 산출하는 것을 특징으로 하는 표적 추적 장치.
제2항에 있어서, 상기 가우시안 피라미드를 생성하는 각 영상들은,
해당 영상보다 한 단계 하위 레벨의 영상에 대해 가우시안 필터링을 수행한 후 다운 샘플링하여 생성되는 영상임을 특징으로 하는 표적 추적 장치.
제1항에 있어서, 상기 모서리 강도 산출부는,
현재 예측된 탐색 영역의 각 픽셀 위치에서 주변 방향들 각각에 대응하는 다른 픽셀들의 모서리 강도를 산출 및, 상기 방향들 각각 별로 상기 산출된 모서리 강도가 최대인 방향에 대응하는 픽셀에만 기 설정된 모서리 강도값을 설정하며, 상기 방향들 각각 별로 각 픽셀 위치에서 검출된 모서리 강도값이 최대인 픽셀들을 상기 방향들 각각에 대응하는 특징 정보들로 추출하는 것을 특징으로 하는 표적 추적 장치.
제1항에 있어서,
상기 상관필터를 갱신하는 상관필터 갱신부를 더 포함하며,
상기 상관필터 갱신부는,
기 설정된 학습률에 근거하여, 상기 제1 프레임의 영상에서 표적의 위치 예측에 사용된 제1 상관 필터와 상기 제2 프레임의 영상에서 표적의 위치 예측에 사용된 제2 상관 필터를 가중합하여 상기 상관필터를 갱신하며,
상기 가중합은,
상기 제1 상관 필터를 구성하는 분모와 상기 제2 상관 필터를 구성하는 분모 사이에서 수행되고, 상기 제1 상관 필터를 구성하는 분자와 상기 제2 상관 필터를 구성하는 분자 사이에서 수행되는 것을 특징으로 하는 표적 추적 장치.
현재 입력된 제2 프레임의 영상과, 상기 제2 프레임 영상 이전 시점의 영상인 제1 프레임의 영상에 근거하여, 상기 제2 프레임의 영상으로부터 표적의 광학 흐름을 산출 및 산출된 광학 흐름에 근거하여 탐색 영역을 예측하는 제1 단계;
예측된 탐색 영역의 각 픽셀 주변의 방향들 각각에 대응하는 픽셀들의 모서리 강도를 산출하고, 산출된 모서리 강도가 최대값을 가지는 픽셀들에 근거하여 상기 방향들 각각에 대응하는 채널별로 특징 정보들을 추출하는 제2 단계; 및,
추출된 각 방향의 채널별 특징 정보들에 상관필터를 적용하여 산출되는 상관도가 가장 높은 픽셀을 검출하고, 검출된 픽셀의 위치에 근거하여 상기 제2 프레임의 영상에서 상기 표적의 위치를 예측하는 제3 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.
제8항에 있어서, 상기 제1 단계는,
상기 제1 프레임의 영상에서 상기 표적이 포함된 일부 영역에 대해 복수개의 기준점을 형성하는 제1-1 단계;
상기 제1 프레임의 영상과 상기 제2 프레임의 영상 각각에 대해 복수개 레벨의 가우시안 피라미드를 형성하는 영상들을 생성하는 제1-2 단계;
상기 가우시안 피라미드를 형성하는 영상들로부터 순차적으로 변위를 산출하여, 상기 가우시안 피라미드의 최하위 레벨를 구성하는 영상들로부터 상기 복수개 기준점 각각에 대한 변위들을 산출하는 제1-3 단계; 및,
산출된 변위들의 중간값에 근거하여 상기 탐색 영역을 예측하는 제1-4 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.
제9항에 있어서, 상기 제1-3 단계는,
어느 하나의 기준점을 선택하는 a 단계;
상기 가우시안 피라미드를 형성하는 제1 프레임의 영상들과 제2 프레임의 영상들로부터, 같은 레벨의 영상들을 상위 레벨에서 하위 레벨의 순서로 순차적으로 선택하는 b 단계;
선택된 레벨의 영상들로부터, 현재 선택된 기준점에 근거하여 광학흐름을 산출하는 c 단계;
선택된 레벨의 영상들로부터 산출된 광학흐름과, 현재 선택된 레벨보다 한 단계 상위 레벨의 영상들로부터 산출된 변위에 근거하여, 현재 선택된 레벨의 영상들에 대한 변위를 산출하는 d 단계;
상기 가우시안 피라미드를 형성하는 제1 프레임의 영상들과 제2 프레임의 영상들 중 최하위 레벨의 영상들로부터 변위가 산출되면, 다른 기준점을 선택하는 e 단계; 및,
선택된 다른 기준점에 대해, 상기 b 단계 내지 e 단계를 반복하는 단계를 더 포함하는 것을 특징으로 하는 표적 추적 방법.
제10항에 있어서, 상기 c 단계는,
루카스-카나데 알고리즘을 적용하여 현재 선택된 기준점에 근거한 광학흐름을 산출하는 단계임을 특징으로 하는 표적 추적 방법.
제9항에 있어서, 상기 가우시안 피라미드를 생성하는 각 영상들은,
해당 영상보다 한 단계 하위 레벨의 영상에 대해 가우시안 필터링을 수행한 후 다운 샘플링하여 생성되는 영상임을 특징으로 하는 표적 추적 방법.
제8항에 있어서, 상기 제2 단계는,
예측된 탐색 영역의 각 픽셀 위치에서 주변 방향들 각각에 대응하는 다른 픽셀들의 모서리 강도를 산출하는 제2-1 단계;
상기 방향들 각각에 대해, 모서리 강도가 최대인 방향에 대응하는 픽셀에만 기 설정된 모서리 강도값을 설정하는 제2-2 단계; 및,
상기 방향들 각각에 대해, 각 픽셀 위치에서 모서리 강도값이 최대인 픽셀들을 검출하고 검출된 픽셀들을 상기 방향들 각각에 대응하는 특징 정보들로 추출하는 제2-3 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.
제8항에 있어서,
상기 상관필터를 갱신하는 제4 단계를 더 포함하며,
상기 상관필터의 갱신은,
기 설정된 학습률에 근거하여, 상기 제1 프레임의 영상에서 표적의 위치 예측에 사용된 제1 상관 필터와 상기 제2 프레임의 영상에서 표적의 위치 예측에 사용된 제2 상관 필터를 가중합하여 이루어지며,
상기 가중합은,
상기 제1 상관 필터를 구성하는 분모와 상기 제2 상관 필터를 구성하는 분모 사이에서 수행되고, 상기 제1 상관 필터를 구성하는 분자와 상기 제2 상관 필터를 구성하는 분자 사이에서 수행되는 것을 특징으로 하는 표적 추적 방법.