KR20160136145A - 영상의 표적 추적 장치 및 방법 - Google Patents

Abstract

본 발명은 영상 내의 표적을 추적하는 장치 및 방법에 관한 것으로, 표적의 영상을 포함하는 영상을 입력받는 영상 입력부와, 입력된 영상으로부터, 표적의 영상이 포함된 관심 영역(ROI : Region Of Interest)를 설정하고, 설정된 관심 영역으로부터 특징점을 추출 및, 이전 프레임의 영상과 현재 입력된 프레임의 영상을 이용하여 상기 추출된 특징점의 이동량을 추적하고 추적 결과로 기하변환 매트릭스를 생성하는 추적부와, 이전 프레임까지 입력된 영상들에 근거하여 생성된 초해상도 이미지로부터, 상기 관심 영역 내의 배경 부분에 해당되는 특징점들을 제거 및, 기 설정된 특징점 정제 알고리즘에 근거하여 유효한 특징점들만을 추출하는 특징점 정제부, 및, 상기 초해상도 이미지로부터 추출된 유효 특징점들 또는 현재 입력된 영상으로부터 추출된 특징점들 중 어느 하나의 특징점들에 근거하여 상기 관심 영역을 갱신하는 제어부를 포함하는 것을 특징으로 한다.

Description

영상의 표적 추적 장치 및 방법{APPARATUS AND METHOD FOR TARGET TRACKING OF IMAGE}

본 발명은 영상 내의 표적을 추적하는 장치 및 방법에 대한 것이다.

일반적으로 영상 내의 표적을 추적하는 방식은, 표적으로부터 추출된 특징점 추적(feature point tracking)을 통해 이루어질 수 있다. 이러한 특징점 추적은 입력된 영상에 설정된 관심 영역(ROI : Region Of Interest) 내에서 표적의 특징점들을 추출하고, 추출된 특징점들의 위치를 입력 영상에서 탐색 및, 대응되는 특징점들을 서로 매칭함으로써 특징점들의 이동량을 검출함으로써 이루어질 수 있다. 그리고 추출된 이동량을 벡터로 환산하여 중간값을 검출하고 검출된 중간값을 이용하여 표적의 이동량을 검출함으로써 영상 내의 표적을 추적할 수 있도록 한다.

그런데 이처럼 특징점들의 이동량을 이용하여 표적을 추적하는 것은 표적에 속한 특징점들만을 추출하고, 추출된 특징점들로부터 그 이동량을 검출하는 것이 표적을 추적하는데 있어 훨씬 유리하다. 따라서 이처럼 특징점을 검출하는 위치를 영상 내 표적의 위치에 한정하는 편류 보정, 추적창 조절 등 다양한 방법이 등장하였다.

그런데 이러한 방법들은, 특징점이 추출되는 위치가 영상 내에 표적의 위치에 한정되도록 강제하는 방식임에 따라, 표적의 형상에 따라 그 성능 차이가 발생할 수 있다. 또한 상술한 바와 같이 특징점들의 이동량을 벡터화하고, 벡터화된 이동량의 중간값을 사용하는 방식의 경우 IR(Infrared Ray) 영상이나, 저해상도 영상과 같이 표적의 형상이 배경과 분명하게 식별되기 힘든 영상인 경우, 신뢰성이 저하되고 그에 따라 표적의 추적 정밀도가 낮아진다는 문제점이 있다.

본 발명의 목적은, 이러한 문제점들을 해결하기 위한 것으로, 표적 영상에서 표적의 추적 정밀도를 보다 향상시킬 수 있도록 하는 표적 추적 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은, 표적의 추적 정밀도를 보다 향상시킴으로서, 표적 영상이 갱신되는 빈도를 낮춤으로써, 입력된 영상에서 표적 영상을 추출하는 과정에서 발생하는 편류를 최소화하여, 표적 유지 성능을 최대화할 수 있도록 하는 표적 추적 장치 및 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 영상의 표적 추적 장치는, 표적의 영상을 포함하는 영상을 입력받는 영상 입력부와, 입력된 영상으로부터, 표적의 영상이 포함된 관심 영역(ROI : Region Of Interest)를 설정하고, 설정된 관심 영역으로부터 특징점을 추출 및, 이전 프레임의 영상과 현재 입력된 프레임의 영상을 이용하여 상기 추출된 특징점의 이동량을 추적하고 추적 결과로 기하변환 매트릭스를 생성하는 추적부와, 이전 프레임까지 입력된 영상들에 근거하여 생성된 초해상도 이미지로부터, 상기 관심 영역 내의 배경 부분에 해당되는 특징점들을 제거 및, 기 설정된 특징점 정제 알고리즘에 근거하여 유효한 특징점들만을 추출하는 특징점 정제부, 및, 상기 초해상도 이미지로부터 추출된 유효 특징점들 또는 현재 입력된 영상으로부터 추출된 특징점들 중 어느 하나의 특징점들에 근거하여 상기 관심 영역을 갱신하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 특징점 정제부는, RANSAC(RANDom SAmpling Consensus) 알고리즘에 근거하여, 상기 초해상도 이미지 및 현재 입력된 프레임의 영상으로부터 서로 대응되는 기 설정된 개수의 특징점쌍들을 추출 및, 추출된 특징점쌍들로부터 생성되는 기하변환 매트릭스로부터 결정되는 값과, 기 설정된 기준 기하변환 매트릭스로부터 결정된 값에 근거하여 유효 특징점들만을 추출하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 특징점 정제부는, 상기 초해상도 이미지와, 현재 입력된 영상에 대해 블록 정합 알고리즘(BMA : Block Matching Algorithm)을 수행하여 상기 초해상도 이미지에서 생성된 블록 중 기 설정된 수준 이상의 오류가 감지된 블록에 포함된 특징점들을 제거하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 추적부는, GFTT(Good Feature to Tracking) 알고리즘을 이용하여 입력된 영상에 설정된 관심 영역으로부터 특징점을 추출하며, 이전 프레임의 영상에서 추출된 특징점들의 위치와, 현재 입력된 프레임의 영상에서 추출된 특징점들의 위치를 서로 비교하여 특징점들의 변경된 위치를 KLT(Kanade-Lucas-Tomasi) 추적기로 추적하고, 그 추적 결과에 근거하여 상기 기하변환 매트릭스를 생성하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 초해상도 이미지로부터 추출된 유효 특징점 또는 현재 입력된 영상으로부터 추출된 특징점들의 비교 결과에 근거하여, 현재 표적이 일정 수준 이상 가려진 상태인지 여부를 판단하고, 상기 표적이 가려진 상태인지 여부를 판단한 결과에 근거하여 기억 추적을 통한 표적의 이동을 예측하고, 표적의 이동 예측 결과에 따라 상기 관심 영역을 갱신하는 것을 특징으로 한다.

또한 본 발명의 실시 예에 따른 영상의 표적 추적 방법은, 표적의 영상이 포함된 영상을 입력받는 단계와, 입력된 영상에 설정된 관심 영역(ROI : Region Of Interest)으로부터 특징점을 추출하는 단계와, 입력된 영상 및 이전 프레임의 영상에서 추출된 특징점들로부터 특징점들의 이동 변위를 기하변환 매트릭스로 산출하는 단계와, 현재 입력된 영상의 이전 프레임까지 입력된 영상들에 근거하여 생성된 초해상도 이미지로부터 상기 설정된 관심 영역 내의 특징점들을 정제하여 유효 특징점들만을 추출하는 단계, 및, 상기 초해상도 이미지로부터 추출된 유효 특징점들 또는 현재 입력된 영상으로부터 추출된 특징점들 중 어느 하나의 특징점들에 근거하여 상기 관심 영역을 갱신하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 유효 특징점들만을 추출하는 단계는, 상기 초해상도 이미지에 설정된 관심 영역의 영상과, 현재 입력된 영상에 설정된 관심 영역의 영상을 서로 비교하여, 표적 주변의 배경 부분에 포함된 특징점들을 제거하는 단계, 및, 상기 배경 부분에 포함된 특징점들을 제외한 나머지 특징점들 중 기 설정된 정제 알고리즘에 근거하여 유효하지 않은 특징점들을 제거하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 배경 부분에 포함된 특징점들을 제거하는 단계는, 상기 초해상도 이미지와, 현재 입력된 영상을 각각 기 설정된 크기의 블록 단위로 분할하는 단계와, 서로 대응되는 위치의 상기 초해상도 이미지에서 생성된 블록들과, 상기 현재 입력된 영상에서 생성된 블록들을 템플릿(temlpete) 매칭하는 단계와, 상기 매칭 결과, 상기 초해상도 이미지의 블록들 중, 대응되는 상기 현재 입력된 영상의 블록과 기 설정된 수준 이상 서로 다른 블록들을 탐색하는 단계, 및, 상기 탐색 결과, 탐색된 블록들에 포함된 특징점들을 제거하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 유효하지 않은 특징점들을 제거하는 단계는, RANSAC(RANDom SAmpling Consensus) 알고리즘에 근거하여, 상기 초해상도 이미지 및 현재 입력된 프레임의 영상으로부터 서로 대응되는 기 설정된 개수의 특징점쌍들을 추출하는 단계와, 상기 추출된 특징점쌍들로부터 생성되는 기하변환 매트릭스로부터 결정되는 값과, 기 설정된 기준 기하변환 매트릭스로부터 결정된 값을 서로 비교하는 단계와, 상기 비교 결과에 근거하여 상기 특징점 쌍들의 특징점들이 유효한지 여부를 판단하여 유효한 특징점 쌍들만을 추출하는 단계, 및, 상기 특징점쌍들을 추출하는 단계, 상기 생성된 기하변환 매트릭스로부터 결정되는 값과 기준값을 비교하는 단계, 그리고 상기 유효한 특징점 쌍들만을 추출하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 관심 영역을 갱신하는 단계는, 상기 초해상도 이미지로부터 추출된 유효 특징점 또는 현재 입력된 영상으로부터 추출된 특징점들을 비교하는 단계와, 상기 비교 결과에 근거하여, 현재 표적이 일정 수준 이상 가려진 상태인지 여부를 판단하는 단계, 및, 상기 표적이 가려진 상태인지 여부를 판단한 결과에 근거하여 기억 추적을 통한 표적의 이동을 예측하고, 표적의 이동 예측 결과에 따라 상기 관심 영역을 갱신하는 단계를 포함하는 것을 특징으로 한다.

따라서 본 발명은 표적의 영상이 포함된 영상으로부터 보다 정밀하게 표적을 추적할 수 있도록 하는 효과가 있다.

또한 본 발명은, 표적의 추적 정밀도를 보다 향상시킴으로써, 표적 영상이 갱신되는 빈도를 최소화하고, 이에 따라 입력된 영상에서 표적 영상을 추출하는 과정에서 발생하는 편류를 최소화함으로써, 표적 유지 성능을 최대화할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 표적 추적 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 표적 추적 장치에서 표적을 추적하는 동작 과정을 도시한 흐름도이다.
도 3은, 도 2의 동작 과정들 중, 정제된 특징점들을 추적하는 과정의 흐름 예를 도시한 도면이다.
도 4a 및 도 4b는, 본 발명의 실시 예에 따라 생성된 초해상도 이미지의 예를 도시한 도면이다.
도 5는, 도 2의 동작 과정들 중, 기 생성된 초해상도 이미지로부터 유효 특징점을 정제하는 과정을 보다 자세히 도시한 흐름도이다.
도 6은, 도 2의 동작 과정들 중, 정제된 특징점들에 근거하여 표적의 위치를 중심으로 ROI를 이동시키는 과정을 자세히 도시한 도면이다.
도 7은, 추출된 특징점들의 이동량들을 검출하고, 검출된 이동량을 벡터로 환산하는 예를 도시한 도면이다.
도 8a 및 도 8b는 본 발명의 실시 예에 따라 영상으로부터 표적이 추적되는 예와, 통상적인 경우에 영상으로부터 표적이 추적되는 예를 보이고 있는 예시도들이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

먼저 본 발명의 완전한 이해를 돕기 위해, 본 발명의 기본 원리를 설명하면 본 발명에서는, 입력 영상이 주어지면 주어진 입력 영상으로 초해상도 이미지를 생성하고, 생성된 초해상도 이미지에 생성된 ROI(Region Of Interest)로부터 추출된 특징점들 중 표적 외에 배경 부분에 포함되는 특징점들을 제거하여 상기 추출된 특징점들을 1차 정제하고, 1차 정제된 특징점들로부터 기 설정된 알고리즘을 이용하여 Outlier 값에 해당되는 특징점들을 2차 정제하여 Inlier 값들만을 추출한다. 그리고 추출된 Inlier 값들에 근거하여 기하변환 매트릭스를 생성 및, 생성된 기하변환 매트릭스에 근거하여 영상내 표적의 이동 변위를 산출하고, 산출된 이동 변위에 따라 ROI를 갱신함으로써 표적의 추적 유지 성능을 향상시킬 수 있도록 한다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하도록 한다.

우선 도 1은 이러한 본 발명의 실시 예에 따라 영상 내에서 표적을 추적하는 표적 추적 장치의 구성을 도시한 블록도이다.

도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 표적 추적 장치(100)는 제어부(110) 및 영상 입력부(120), 특징점 정제부(130), 추적부(140)를 포함하여 구성될 수 있다. 한편 도 1에 도시된 구성요소들은 본 발명의 실시 예에 따른 표적 추적 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있음은 물론이다.

우선 영상 입력부(120)는, 적어도 일부에 표적의 영상을 포함하는 영상을 입력받는다. 예를 들어 영상 입력부(120)는 카메라 등과 같은 광학 장비를 포함하여 직접 표적을 촬영하거나 또는 별도의 장비로부터 표적의 영상을 포함하는 영상을 입력받을 수도 있다. 그리고 상기 촬영된 영상 또는 다른 별도의 장비에서 입력된 영상을 프레임별로 제어부(110)에 인가할 수 있다.

그리고 추적부(140)는 제어부(110)의 제어에 따라 상기 영상 입력부(120)에서 입력된 영상으로부터 ROI를 설정하고, 설정된 ROI로부터 특징점을 추출할 수 있다. 여기서 ROI라는 것은 관심 영역(Region Of Interest)을 의미하는 것으로 입력된 영상 내에서 추적을 수행할 표적의 이미지를 포함하는 영역을 의미하는 것일 수 있다. 예를 들어 특징점 추출부(142)는 다양한 방법으로 ROI를 설정할 수 있다. 예를 들어 추적부(140)는 프레임 별로 일정 수준 이상 변화가 발생한 부분 또는 영상의 에지(edge) 부분 등에 근거하여 상기 ROI를 설정할 수 있다.

가장 일반적인 ROI 설정은 사용자가 직접 화면에 입력하는 것이다. 움직이는 표적을 사용자가 선택할 때에는 정확한 ROI의 설정이 불가능하므로 사용자가 선택한 ROI를 inner gate로 두고 ROI와 일정한 간격을 두고 둘러싼 영역을 outer gate로 설정한 후, inner gate와 outer gate의 에지 강도 및 밝기 차이가 최대가 되는 ROI 위치를 탐색하여 찾을 수도 있다.

그리고 추적부(140)는 이전 프레임의 영상과 현재 입력된 영상에서 추출된 특징점들을 추적할 수 있다. 그리고 상기 특징점들의 이동량을 기하변환 매트릭스의 상태로 산출할 수 있다. 이를 위해 추적부(140)는 대상 영상에 설정된 ROI 영역의 에지(edge) 정보를 이용하는 GFTT(Good Feature To Track)와 같은 알고리즘에 근거하여 특징점들을 추출하기 위한 특징점 추출부(142) 및, 이전 프레임의 영상에 설정된 ROI와 현재 입력된 프레임의 영상에 설정된 ROI를 비교하여, ROI에 포함된 특징점들의 변경된 위치를 추적하고, 추적 결과에 근거하여 기하변환 매트릭스를 생성하는 기하변환 매트릭스 생성부(144)를 포함하여 구성될 수 있다.

한편, 특징점 정제부(130)는 기 설정된 RANSAC(RANDom SAmpling Consensus) 알고리즘에 근거하여 대상 영상에 설정된 ROI로부터 추출된 특징점들 중 아웃라이어(Outlier)에 해당되는 특징점들을 제거할 수 있다. 여기서 RABSAC 알고리즘은, 인라이어(Inlier)와 아웃라이어가 혼합되어 있는 샘플 집합이 주어진 상황에서, 인라이어를 찾기 위한 모델을 적용시키는 알고리즘을 의미할 수 있다. 여기서 아웃라이어는, 이상점, 거짓 정보와 같이, 비정상적으로 분포를 벗어난 값 또는 상관계수 추정치의 값을 왜곡시키는 개체 또는 변수의 값을 말하는 것으로, 본 발명에서는 입력된 영상에 설정된 ROI 중, 표적이 표시되는 부분에 해당되지 않는 특징점들을 의미하는 것일 수 있다.

한편, 본 발명에서는 상기 입력된 영상의 관심 영역에 대해 초해상도 이미지를 생성할 수도 있다. 그리고 상기 생성된 초해상도 이미지는 상기 특징점 정제부(130)에서 특징점들을 정제하기 위한 대상 영상이 될 수 있다. 이는 상기 관심 영역(ROI)을 초해상도 이미지로 생성할 경우, 상기 관심 영역의 고주파수 성분은 증폭되고 이외 영역의 고주파수 성분은 감소하기 때문이다. 또한 초해상도 이미지를 통해 특징점을 추출할 경우 서브 픽셀 단위로 정확하게 특징점의 위치를 추출할 수 있으며, BMA(Block Matching Algorithm) 등을 이용하여 ROI 내에서 표적의 배경에 속하는 특징점들을 아웃라이어로 미리 제거할 수 있기 때문에, RANSAC를 통하여 아웃라이어에 해당되는 특징점들을 제거하는 특징점 정제 과정의 계산량을 크게 감소시킬 수 있기 때문이다.

이를 위해 상기 특징점 정제부(130)는 영상 입력부(120)를 통해 입력되는 영상을 누적하여 상기 초해상도 이미지를 생성하는 초해상도 이미지 생성부(132)와, 상기 초해상도 이미지에 설정된 ROI, 즉 표적 영상으로부터 추출된 특징점들 중, 배경 부분에 해당되는 특징점들 및 RANSAC 알고리즘의 아웃라이어에 대응되는 특징점을 제거하는 아웃라이어 제거부(134)를 포함하여 구성될 수 있다.

한편 제어부(110)는 연결된 각 구성 요소를 제어할 수 있다. 제어부(110)는 상기 영상 입력부(120)로부터 영상이 입력되면, 추적부(140)를 통해 입력된 영상에 ROI를 설정 및, 설정된 ROI로부터 특징점을 추출하고, 이전 프레임의 영상과 현재 입력된 영상의 비교를 통해 상기 특징점들의 이동량에 따른 기하변환 매트릭스를 생성할 수 있다. 그리고 현재까지 누적된 초해상도 이미지로부터 정제된 유효 특징점들의 개수 및 크기와, 상기 추적부(140)에서 추출된 특징점들의 개수 및 크기를 비교할 수 있으며, 그 비교 결과에 따라 현재 입력된 영상에 설정된 ROI를 갱신함으로써, 새로 입력된 영상 내에서 표적이 계속 추적될 수 있도록 한다.

한편 제어부(110)는 초해상도 이미지로부터 추출된 특징점들의 개수 또는 크기가, 현재 입력된 영상으로부터 추출된 특징점들의 개수 또는 크기보다 작을 경우, 현재 표적이 배경 또는 다른 물체에 의해 가려진 상태인지 여부를 판단할 수 있으며, 표적이 가려진 경우인지 여부에 따라 현재 입력된 프레임의 영상으로부터 새로 특징점을 추출하거나 또는 칼만 필터 등 예측 알고리즘을 이용하여 예측된 표적의 위치를 중심으로 ROI가 갱신되도록 할 수도 있다.

도 2는 이러한 본 발명의 실시 예에 따른 표적 추적 장치에서 표적을 추적하는 동작 과정을 도시한 흐름도이다.

도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 표적 추적 장치(100)의 제어부(110)는 우선 표적을 추적할 영상을, 영상 입력부(120)로부터 입력 받을 수 있다(S200). 그리고 제어부(110)는 상기 입력된 영상에 ROI를 설정하고, 설정된 ROI에 해당되는 영상의 일 부분으로부터 특징점을 추출 및, 특징점의 이동량을 추적할 수 있다(S202).

한편, 영상이 입력되면 제어부(110)는 현재 입력된 영상이 첫 프레임인지 여부를 확인할 수 있다(S202). 예를 들어 제어부(110)는 프레임 각각에 설정된 일련번호를 참조하여 현재 입력된 프레임이 최초 프레임인지 여부를 확인하거나, 또는 현재 입력된 프레임에 대응되는 기 추출된 특징점 정보가 없는 경우, 현재 입력된 영상이 최초 프레임의 영상이라고 판단할 수도 있다.

그리고 상기 S202 단계에서, 상기 입력된 영상이 최초 프레임에 해당되는 영상인 경우라면, 제어부(110)는 상기 특징점 추출부(142)를 통해 현재 입력된 영상에 ROI를 설정 및 상기 설정된 ROI로부터 특징점들을 추출할 수 있다. 여기서 제어부(110)는 다양한 방법으로 특징점들을 추출할 수 있다. 예를 들어 제어부(110)는 ROI 영역에 포함된 에지(edge) 정보를 이용하는 GFTT(Good Feature To Track)와 같은 알고리즘에 근거하여 상기 특징점들을 추출할 수도 있다. 그리고 다시 S200 단계로 진행하여 다음 프레임의 영상을 입력받을 수 있다.

한편 상기 S202 단계의 판단 결과, 현재 입력된 영상이, 최초 프레임이 아닌 경우라면, 제어부(110)는 현재 입력된 프레임의 영상 및 이전에 입력된 프레임의 영상으로부터 특징점들의 변경된 위치를 추적할 수 있다(S204). 상기 S204 단계에서, 제어부(110)는 이전 프레임의 영상의 특징점들의 위치와, 현재 입력된 프레임의 영상의 특징점들의 위치를 서로 비교하여 특징점들의 변경된 위치를 기하변환 매트릭스로 산출할 수 있다. 예를 들어 이러한 특징점들의 추적은 KLT(Kanade-Lucas-Tomasi) 추적기 등을 이용하여 수행될 수 있다. 그리고 도 3은 이처럼 KLT 추적기에서 표적 영상을 관리하는 흐름을 도시한 것이다.

도 3에서

는 픽셀, 아래첨자는 연속영상의 프레임 순번으로서

은 현재 프레임을 나타내며

은 현재 입력된 영상의 픽셀들을 나타낸다.

은 현재 입력영상에서 표적 영역을 템플릿으로 추출한 것을 나타낸다.

은 저장된 표적 영상과 입력 영상의 표적 영상을 비교하기 위해 입력영상을 기하 변환한 영상이다.

는 어파인 변환을 나타내고

는 기하 변환 시 발생하는 에러를 나타내며 하기 수학식 1과 같다.

는 gradient descent 알고리즘을 나타내고, 저장된 표적 영상과 입력 영상의 표적영상이 가장 매칭이 잘 되었을 경우 오차가 최소값을 가지면서

이 결정될 수 있다. 즉,

는 표적 영상이 얼마나 많이 변화하였는지를 나타내는 척도가 되고

은 전 프레임의 표적 영상과 현재 프레임의 표적 영상과의 차이를 나타낼 수 있다. 한편,

은 최초 프레임의 표적 영상과 현재 프레임의 표적 영상과의 차이를 나타낸다.

이

보다 작은 값을 가지는 경우는

가 배경을 많이 포함할 때 발생하며 식 2와 같이 배경을 많이 포함하지 않은

으로

를 대체할 수 있다.

한편, 상기 S204 단계에서 특징점 추적이 완료되면, 제어부(110)는 상기 특징점 추적 결과에 근거하여 기하변환 매트릭스를 생성할 수 있다. 즉, 제어부(110)는 영상이 입력되면 상기 KLT 추적기로 표적 내에 위치한 특징점들의 이동량을 검출하고 각각의 특징점을 기준으로 기하 변환 행렬을 생성할 수 있다.

그리고 상기 S204 단계에서 특징점 추적이 완료되면, 제어부(110)는 기 생성된 초해상도 이미지로부터 유효 특징점들을 정제할 수 있다(S206). 여기서 상기 초해상도 이미지는, 현재 입력된 프레임의 영상 이전까지 입력된 프레임의 영상이 누적 및 갱신되어 생성된 것일 수 있다.

상기 S206 단계에서, 제어부(110)는 이전 프레임의 영상까지 누적 및 갱신되어 생성된 초해상도 이미지로부터 표적 영상을 추출하고, 추출된 표적 영상에 포함된 특징점들을 정제할 수 있다. 이러한 정제 과정은 현재까지 생성된 초해상도 이미지와, 현재 입력된 영상을 매칭한 결과 및, 기 설정된 정제 알고리즘을 통해 이루어질 수 있다. 상기 정제 알고리즘은, RANSAC와 같은 알고리즘이 사용될 수 있는데, 예를 들어 상기 수학식 1의 결과인

값이 상기 RANSAC 알고리즘에서 인라이어(Inlier)에 해당되는 특징점과 아웃라이어(Outlier)에 해당되는 특징점을 구분하는 기준이 될 수 있다.

즉, 현재까지 생성된 초해상도 이미지와 현재 입력된 영상에서 추출된 표적 영상으로부터, 서로 대응되는 기 설정된 개수의 특징점들을 추출하고, 상기 추출된 특징점들로부터 산출된 기하 변환 매트릭스의 값, 즉

값이 기 설정된 수준 이상인지 여부에 따라 올바른 기하변환 매트릭스에 속한 특징점들(인라이어에 해당되는 특징점들)과 그렇지 않은 기하변환 매트릭스에 속한 특징점들(아웃라이어에 해당되는 특징점들)을 구분할 수 있다.

그리고 상기 구분 결과에 따라 초해상도 이미지의 특징점들 중 아웃 라이어에 해당되는 특징점들을 제거함으로써, 초해상도 이미지에서 추출된 특징점들 중에서 유효한 특징점들(인라이어에 해당되는 특징점들)만을 추출할 수 있다. 이처럼 기 생성된 초해상도 이미지에 포함된 특징점들을 정제하는 과정을 하기 도 4를 참조하여 보다 자세히 설명하기로 한다.

한편, 기 생성된 초해상도 이미지로부터 유효 특징점들이 추출되면, 제어부(110)는 상기 초해상도 이미지로부터 추출된 특징점들 또는 현재 입력된 영상으로부터 추출된 특징점들 중 어느 하나에 근거하여 현재 입력된 영상에 설정된 ROI를 갱신할 수 있다(S208). 상기 S208 단계에서 제어부(110)는 상기 초해상도 이미지에서 추출된 특징점들의 개수 또는 크기를, 현재 입력된 영상으로부터 추출된 특징점들의 개수 또는 크기와 비교한 결과에 근거하여 상기 ROI가 설정될 위치를 결정할 수 있다. 즉, 초해상도 이미지에서 추출된 특징점들의 개수 또는 크기가 더 많거나 더 큰 경우라면, 제어부(110)는 초해상도 이미지에서 추출된 특징점들에 근거하여 ROI의 위치를 결정할 수 있고, 결정된 위치로 ROI를 이동시킴으로써, 표적의 중심과 ROI의 중심이 보다 일치하도록 할 수 있다. 반면 상기 특징점들의 개수 또는 크기를 비교한 결과, 초해상도 이미지에서 추출된 특징점들의 개수 또는 크기가 더 적거나 더 많은 경우라면 표적이 다른 물체에 일정 수준 이상 가려져있는지 여부를 판단하고, 그 판단 결과에 따라 표적의 이동을 예측하거나 또는 현재 입력된 영상으로부터 새로운 특징점을 추출할 수 있도록 한다. 이처럼 초해상도 이미지 및 현재 입력된 영상으로부터 추출된 특징점들의 비교 결과에 근거하여 ROI가 갱신되는 과정을 하기 도 6을 참조하여 보다 자세히 살펴보기로 한다.

한편, 이처럼 ROI가 갱신되면, 제어부(110)는 현재 입력된 영상 및, 현재 입력된 영상과 이전 프레임의 영상으로부터 생성된 기하변환 매트릭스를 추가하여 초해상도 이미지를 갱신할 수 있다(S210). 예를 들어 이러한 초해상도 이미지의 생성, 즉 초해상도 이미지의 갱신은 이동 예측(motion compensation), 보간(interpolation)과 개선(blur and noise removal)의 세 단계 과정으로 구성될 수 있으며, 이중 이동 예측 단계에서는 영상 정합(image registration)을 수행하기 위한 기하 변환이 수행될 수 있다. 그리고 상기 기하 변환은, 상기 S202 단계에서 특징점 추적 결과 생성된 기하변환 매트릭스가 사용될 수 있다.

그리고 제어부(110)는, 이동 예측된 영상을 다양한 보간(Interpolation)법을 이용하여 보간할 수 있다. 예를 들어 nearest, bilinear, bicubic 등과 같은 다양한 보간법 또는, 보다 바람직하게는, 주변 6개의 픽셀을 이용하여 보간하는 6-tap-FIR(Finite Impulse Response) 필터를 사용할 수도 있다. 그리고 상기 보간된 영상을 개선하여, 현재 입력된 영상 및, 산출된 기하변환 매트릭스에 따라 갱신된 초해상도 이미지를 생성할 수 있다. 뿐만 아니라 위너(Wiener) 필터등을 이용하여 고주파수 성분을 증폭할 수도 있음은 물론이다. 도 4a 및 도 4b는, 본 발명의 실시 예에 따른 특징점 정제 과정을 위해 생성되는 초해상도 이미지의 예를 도시한 도면이다.

하기 수학식 3은 상기 S210 단계에서, 이러한 초해상도 이미지의 해상도를 정의하기 위해 원본 HR(high resolution) 영상에서 LR(low resolution)을 생성하는 단계를 정의한 것이다.

는 LR 영상이고

는 서브샘플링(subsampling) 매트릭스,

는 블러(blur) 매트릭스,

는 기하 변환(geomatiric transform) 매트릭스,

는 이상적인 HR(high resolution) 이미지이다.

는 영상의 샘플링 단계에서 발생하는 노이즈이다.

는 원본 영상에서 대상 영상으로의 픽셀들의 이동 정보(motion flow field)를 이용하여 산출할 수 있으며, 초해상도 생성 시에는

,

,

각각의 매트릭스의 역변환이 적용된다는 이론적인 근거를 제시한다. 따라서 다중 프레임 기반 초해상도 이미지의 생성은 이동 예측(motion compensation), 보간(interpolation)과 개선(blur and noise removal)의 세 단계 과정으로 구성되며, 이동 예측 단계에서 영상 정합(image registration)을 수행하기 위한 기하 변환이 수행된다.

그리고 특징점 추적과 초해상도 이미지 생성의 공통점은 기하 변환 매트릭스를 생성하는 것이다. 따라서 상기 기하변환 매트릭스는 영상 정합을 위한 변환이라는 측면에서 특징점 추적과 초해상도 이미지 생성이 동시에 수행될 때, 연산의 효율이 극대화 될 수 있다.

한편 도 5는, 도 2의 동작 과정들 중, 표적의 영상으로부터 추출된 특징점을 정제하는 과정(S206 단계)을 보다 자세히 도시한 흐름도이다.

도 5를 참조하여 살펴보면, 제어부(110)는 기 생성된 초해상도 이미지, 즉, 이전 프레임의 영상 및 이전 프레임 영상의 특징점 추적 결과에 따라 생성된 기하변환 매트릭스가 추가되어 갱신된 초해상도 이미지와, 현재 입력된 영상에서 추출된 특징점들에 근거하여 표적의 모션(motion)을 추정할 수 있다(S500). 즉, 제어부(110)는 상기 초해상도 이미지로부터 표적 영상을 추출하고(예를 들어 ROI에 해당되는 부분의 영상), 현재 입력된 프레임의 영상으로부터 표적 영상을 추출할 수 있다. 그리고 추출된 표적 영상들에 대해 각각, 광흐름(potical flow) 알고리즘 등과 같은 모션 추정 알고리즘을 통해 표적의 모션을 추정할 수 있다.

그리고 상기 추출된 각 표적 영상들로부터 표적의 모션이 추적되면, 제어부(110)는 초해상도 이미지에서 추출된 표적 영상과, 현재 입력된 프레임의 영상에서 추출된 표적 영상을 서로 매칭시킬 수 있다(S502). 예를 들어 제어부(110)는 블록 정합 알고리즘(BMA : Block Matching Algorithm)과 같은 알고리즘에 근거하여, 각 표적 영상을 기 설정된 크기의 블록 단위로 분할하고, 대응되는 위치의 블록들을 템플릿(temlpete) 매칭할 수 있다. 그리고 템플릿 매칭 결과, 오류(에러 : error)가 큰 블록, 즉 기 설정된 수준 이상 서로 다른 블록들을 아웃라이어에 해당되는 블록으로 지정할 수 있다.

한편, 제어부(110)는 상기 S502 단계에서 블록 매칭이 완료되면, 매칭 결과에 근거하여 초 해상도 이미지의 표적 영상 중, 배경 부분에 속하는 특징점들을 제거할 수 있다(S504). 즉 상기 S402 단계의 매칭 결과, 아웃라이어로 지정된 블록에 포함된 특징점이, 상기 배경 부분에 속하는 특징점이 될 수 있으며, 상기 S504 단계에서 제거될 수 있다.

한편, 배경 부분에 속하는 특징점들이 제거되면, 제어부(110)는 남은 특징점들 중 유효한 특징점들만을 추출할 수 있다(S506). 즉 S506 단계에서 제어부(110)는 기 설정된 정제 알고리즘, 즉 RANSAC와 같은 알고리즘에 근거하여 아웃라이어에 해당되는 특징점들을 제거할 수 있다. 하기 예)는 본 발명에서 사용가능한 RABSAC 알고리즘에 따른 의사 코드(Pseudo code)로서, 아웃라이어에 해당되는 특징점들을 제거하기 위해 초해상도 이미지에서 추출된 표적 영상과 현재 입력된 영상으로부터 추출된 표적 영상을 매칭하기 위한 기하변환 매트릭스의 예를 보이고 있는 것이다.

예)

Q =

;

for(j= 1 to k) {

X에서 세 개 대응점 쌍을 임의로 선택한다.

이들 세 쌍을 입력으로 T_j를 추정한다.

이들 세 쌍으로 집합 인라이어를 초기화한다.

for(이 세 쌍을 제외한 X의 요소 p 각각에 대해) {

if(p가 허용오차 t 이내로 T_j에 적합) p를 인라이어에 넣는다.

}

if(|인라이어| ≥d) // 집합 인라이어가 d개 이상의 샘플을 가지면 인라이어에 있는 모든 샘플을 가지고 새로운 T_j를 계산한다.

if(T_j의 적합 오류 < e) T_j를 집합 Q에 넣는다.

}

Q에 있는 변환 행렬 중 가장 좋은 것(T_j의 값이 가장 작은 것)을 T로 취한다.

상기 예)에서 보이고 있는 것과 같이, RANSAC 알고리즘은, 무작위로 서로 대응되는 3개의 특징점 쌍을 선택하고, 선택된 특징점 쌍에 근거하여 기하변환 매트릭스(상기 예)의 의사 코드 중 T_j)를 생성하고, 생성된 기하변환 매트릭스를 기 설정된 기준치(상기 예)의 의사 코드 중 e)와 비교하여, 올바른 기하변환 매트릭스에 포함되는 특징점들(인라이어에 해당되는 특징점들)과 그렇지 않은 특징점들(아웃라이어에 해당되는 특징점들)을 구분할 수 있다. 여기서 상기 기하변환 매트릭스가 올바른 것인지 여부를 판단하는 기준은, 상기 수학식 1에서 산출된 기하 변환 매트릭스의 값

, 즉

값에 따라 결정될 수 있다. 이는 영상이 많이 일그러질수록

는 큰 값을 가지기 때문이다. 따라서

값이 기 설정된 기준치 e 보다 작은 경우, 상기 기하변환 매트릭스는 올바른 것으로 판단할 수 있으나, 기준치 e 이상인 경우 상기 기하변환 매트릭스는 올바르지 않은 것으로 판단될 수 있다.

이에 따라 올바르게 이동량이 측정되지 않은 특징점들, 즉 아웃라이어에 해당되는 특징점들은 이러한 특징점 정제 과정에서 제거될 수 있다. 따라서 인라이어로 분류된 특징점들, 즉 유효한 특징점으로 정제된 특징점들에 한하여 기하 변환 매트릭스가 생성될 수 있다. 그리고 제어부(110)는 상기 생성된 기하 변환 매트릭스에 근거하여 ROI의 위치를 이동시킬 수 있다. 이에 따라 본 발명에서는 기하 변환 매트릭스의 오차가 최소화 될 수 있으므로, 영상 속에 표시되는 표적의 중심과, ROI의 중심의 오차를 최소화 시킬 수 있을 뿐만 아니라, 보다 정확한 추적 결과를 보다 빠른 시간에 연산해 낼 수 있으며, 누적되는 추적 오차, 즉 기하 변환 매트릭스의 오차를 줄여 추적 성능을 보다 향상시킬 수 있다.

뿐만 아니라, 상술한 바와 같이 배경 및 아웃라이어에 해당되는 특징점들을 미리 제거한 후에, 유효한 특징점들, 즉 인라이어 특징점들에 근거하여 ROI가 갱신되도록 하여 누적되는 오차를 최소화함으로써, 표적 영상의 갱신 빈도를 최소화할 수 있으며, 이에 따라 표적 영상을 재추출하는 과정에서 발생하는 편류(drift)를 최소화함으로써 표적 추적 유지 성능을 최대화할 수도 있다.

한편, 이처럼 기 생성된 초해상도 이미지로부터 특징점들이 정제되면, 제어부(110)는 상기 초해상도 이미지의 특징점들 또는 현재 입력된 영상에 포함된 특징점들에 근거하여 ROI를 갱신할 수 있다. 도 6은, 도 2의 동작 과정들 중, 정제된 특징점들에 근거하여 표적의 위치를 중심으로 ROI를 이동시키는 과정을 자세히 도시한 도면이다.

도 6을 참조하여 살펴보면, 제어부(110)는 초해상도 이미지로부터 추출된 유효 특징점, 즉 인라이어에 해당되는 특징점들의 개수와, 상기 S204 단계에서 현재 입력된 영상으로부터 추출된 특징점들의 개수를 서로 비교할 수 있다(S600). 그리고 S600 단계의 비교 결과, 초해상도 이미지의 표적 영상으로부터 추출된 특징점들의 개수가 더 많은 경우라면, 제어부(110)는 초해상도 이미지로부터 추출된 특징점들에 근거하여 ROI를 갱신할 수 있다(S612). 이러한 경우 상기 초해상도 이미지로부터 추출된 특징점들에 따라 생성된 기하변환 매트릭스에 근거하여 상기 ROI의 위치가 갱신할 수 있다. 그리고 제어부(110)는 다시 S200 단계로 진행하여 다음 프레임의 영상을 입력받을 수 있다.

한편, 상기 비교 결과, 초해상도 이미지로부터 추출된 유효 특징점들의 개수가, 상기 S204 단계에서 입력된 영상으로부터 추출된 특징점들의 개수보다 작거나 같은 경우라면, 제어부(110)는 표적의 일부가 다른 물체등에 따라 가려져있는지 여부를 판단할 수 있다(S602). 상기 S602 단계에서 제어부(110)는 상기 표적이 가려져있는지 여부를 판단할 수도 있다.

예를 들어 제어부(110)는 표적의 면적 크기와 면적이 변화하는 속도등을 측정함으로서 판별할 수 있다. 한편 본 발명에서 사용될 수 있는 특징점 추출 방법인 GFTT 알고리즘은 특징점과 특징점의 최소 간격을 설정하여 표적 전반에 걸쳐 특징점을 추출할 수 있으며, 추출된 특징점의 개수가 표적의 면적을 대신할 수 있다. 그리고 특징점 추적은 특징점들의 이동을 종합하여 결과를 산출하므로 신뢰할 수 있는 특징점의 개수에 따라 추적의 가부가 결정되기 때문이다.

그리고 상기 S602 단계의 판단 결과, 표적의 일부가 다른 물체 등에의해 가려진 상태라고 판단되는 경우라면, 제어부(110)는 기억 추적 및 표적의 이동 예측을 통해 현재 입력된 영상에서 표적의 중심을 예측할 수 있다(S604). 그리고 상기 예측 결과에 근거하여, 예측된 표적의 중심과 ROI의 중심이 일치하도록 상기 ROI의 위치를 갱신할 수 있다(S606).

한편, 상기 S602 단계의 판단 결과, 표적의 일부가 다른 물체에 의해 가려진 상태가 아니라면, 제어부(110)는 현재 입력된 영상에서 추출된 특징점들에 근거하여 ROI를 갱신할 수 있다(S608). 이러한 경우 제어부(110)는 감소된 표적 영상의 특징점들에 근거하여, 특징점들을 새로 추출할 필요가 있다고 판단할 수 있으며, 이에 따라 현재 갱신된 ROI로부터 다시 특징점을 추출할 수도 있다(S610).

도 7은, 추출된 특징점들의 이동량들을 검출하고, 검출된 이동량을 벡터로 환산하는 예를 도시한 도면이다. 그리고 도 8a 및 도 8b는 본 발명의 실시 예에 따라 영상으로부터 표적이 추적되는 예와, 통상적인 경우에 영상으로부터 표적이 추적되는 예를 보이고 있는 예시도들이다.

우선 도 7을 참조하여 살펴보면, 도 7은 통상적으로 특징점들의 이동량을 벡터로 환산하여 중간값을 검출하고 검출된 중간값을 이용하여 표적의 이동량을 검출하는 예를 보이고 있는 것이다. 즉, 특정 프레임의 영상과 그 이전 프레임의 영상 비교 결과에 따라 각 영상에 설정된 ROI의 특징점들이 추적되면, 도 7의 첫 번째 도면에서 보이고 있는 것처럼 각 특징점들의 이동량이 검출될 수 있다. 그리고 산출된 각 특징점들의 이동량들로부터, 도 7의 두 번째 도면에서 보이고 있는 것과 같이 그 중간값을 추출하여, 표적의 이동량을 검출할 수 있다.

그런데 이처럼 이동량의 중간값을 이용하여 표적의 이동량을 검출하는 방법은, 상술한 바와 같이 표적의 형상에 따라 그 성능 차이가 발생할 수 있으며, IR(Infrared Ray) 영상이나, 저해상도 영상과 같이 표적의 형상이 배경과 분명하게 식별되기 힘든 영상인 경우, 신뢰성이 저하되고 그에 따라 표적의 추적 정밀도가 낮아지게 된다. 이에 따라 누적되는 오차가 많아지게 되고, 이는 표적의 갱신 빈도를 높이는 결과를 야기할 수 있다. 그리고 이처럼 표적의 갱신 빈도가 높아지는 경우 표적 영상을 재추출하는 과정에서 발생하는 편류(drift)가 발생할 수 있다.

한편 도 8a는 이처럼 통상적인 방법으로 ROI가 갱신된 예를 보이고 있는 것이다. 통상적인 표적 추적 방법의 경우, 같은 표적 영상, 즉 ROI 내에서 추출된 특징점들이라고 할지라도, 표적(800)이 아니라 배경 부분에 속하는 특징점들이 간헐적으로 특징점 추적에 사용되는 기하변환 매트릭스 생성에 포함될 수 있으므로, 표적(800)의 전체 이동량이 정확하게 계산되지 않을 수 있다. 이에 따라 상기 도 8a에서 보이고 있는 것처럼, ROI 영역을 표시하는 추적창(810)이 밀리는 현상이 발생할 수 있다. 여기서 상기 추적창(810)은 초기 설정된 ROI에 따라 결정되는 것일 수 있으며, 그 이후 생성된 기하변환 매트릭스에 의해 변환된 크기 및 위치가 반영되어 갱신된 것이다.

한편 도 8b는 본 발명의 실시 예에 따른 표적 추적 장치(100)에서 표적이 추적되는 예를 보이고 있는 것이다. 상기 도 8a에서 추적창(810)이 표적(800)의 뒤쪽으로 밀리는 현상이 발생하는 반하여, 도 8b에서는 이러한 현상이 발생하지 않음을 알 수 있다. 이는 본 발명의 경우 배경 또는 아웃라이어에 해당되는 특징점들의 개수를 계속 줄여감으로써 인라이어와 아웃라이어의 구분에 필요한 연산량을 감소시키고, 표적의 속도가 느려지거나 또는 장애물에 가려지는 경우에 잘못된 기하변환 매트릭스가 생성되는 것을 방지할 수 있기 때문이다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 예를 들어 상기 도 6의 S600 단계에서는, 단지 특징점들의 개수만을 비교하는 것을 예로 들어 설명하였으나, 이에 한정되는 것이 아님은 물론이다. 즉, 특징점들의 개수 뿐만 아니라 특징점들의 크기를 비교할 수도 있음은 물론이다. 이러한 경우 특징점들의 개수 뿐만 아니라 크기를 고려, 즉 보다 큰 특징점이 있는 경우 그에 따른 가중치를 적용하고, 가중치가 적용된 결과에 따라 초해상도 이미지에서 추출된 특징점 또는 현재 입력된 영상으로부터 추출된 특징점들에 근거하여 ROI가 갱신되도록 할 수도 있음은 물론이다.

한편 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 표적 추적 장치 110 : 제어부
120 : 영상 입력부 130 : 특징점 정제부
132 : 초해상도 이미지 생성부 134 : 아웃라이어 제거부
140 : 추적부 142 : 특징점 추출부
144 : 기하변환 매트릭스 생성부

Claims (10)

1. 표적의 영상을 포함하는 영상을 입력받는 영상 입력부;
   입력된 영상으로부터, 표적의 영상이 포함된 관심 영역(ROI : Region Of Interest)를 설정하고, 설정된 관심 영역으로부터 특징점을 추출 및, 이전 프레임의 영상과 현재 입력된 프레임의 영상을 이용하여 상기 추출된 특징점의 이동량을 추적하고 추적 결과로 기하변환 매트릭스를 생성하는 추적부;
   이전 프레임까지 입력된 영상들에 근거하여 생성된 초해상도 이미지로부터, 상기 관심 영역 내의 배경 부분에 해당되는 특징점들을 제거 및, 기 설정된 특징점 정제 알고리즘에 근거하여 유효한 특징점들만을 추출하는 특징점 정제부; 및,
   상기 초해상도 이미지로부터 추출된 유효 특징점들 또는 현재 입력된 영상으로부터 추출된 특징점들 중 어느 하나의 특징점들에 근거하여 상기 관심 영역을 갱신하는 제어부를 포함하는 것을 특징으로 하는 표적 추적 장치.
   
2. 제1항에 있어서, 상기 특징점 정제부는,
   RANSAC(RANDom SAmpling Consensus) 알고리즘에 근거하여, 상기 초해상도 이미지 및 현재 입력된 프레임의 영상으로부터 서로 대응되는 기 설정된 개수의 특징점쌍들을 추출 및, 추출된 특징점쌍들로부터 생성되는 기하변환 매트릭스로부터 결정되는 값과, 기 설정된 기준 기하변환 매트릭스로부터 결정된 값에 근거하여 유효 특징점들만을 추출하는 것을 특징으로 하는 표적 추적 장치.
   
3. 제1항에 있어서, 상기 특징점 정제부는,
   상기 초해상도 이미지와, 현재 입력된 영상에 대해 블록 정합 알고리즘(BMA : Block Matching Algorithm)을 수행하여 상기 초해상도 이미지에서 생성된 블록 중 기 설정된 수준 이상의 오류가 감지된 블록에 포함된 특징점들을 제거하는 것을 특징으로 하는 표적 추적 장치.
   
4. 제1항에 있어서, 상기 추적부는,
   GFTT(Good Feature to Tracking) 알고리즘을 이용하여 입력된 영상에 설정된 관심 영역으로부터 특징점을 추출하며,
   이전 프레임의 영상에서 추출된 특징점들의 위치와, 현재 입력된 프레임의 영상에서 추출된 특징점들의 위치를 서로 비교하여 특징점들의 변경된 위치를 KLT(Kanade-Lucas-Tomasi) 추적기로 추적하고, 그 추적 결과에 근거하여 상기 기하변환 매트릭스를 생성하는 것을 특징으로 하는 표적 추적 장치.
   
5. 제1항에 있어서, 상기 제어부는,
   상기 초해상도 이미지로부터 추출된 유효 특징점 또는 현재 입력된 영상으로부터 추출된 특징점들의 비교 결과에 근거하여, 현재 표적이 일정 수준 이상 가려진 상태인지 여부를 판단하고,
   상기 표적이 가려진 상태인지 여부를 판단한 결과에 근거하여 기억 추적을 통한 표적의 이동을 예측하고, 표적의 이동 예측 결과에 따라 상기 관심 영역을 갱신하는 것을 특징으로 하는 표적 추적 장치.
   
6. 표적의 영상이 포함된 영상을 입력받는 단계;
   입력된 영상에 설정된 관심 영역(ROI : Region Of Interest)으로부터 특징점을 추출하는 단계;
   입력된 영상 및 이전 프레임의 영상에서 추출된 특징점들로부터 특징점들의 이동 변위를 기하변환 매트릭스로 산출하는 단계;
   현재 입력된 영상의 이전 프레임까지 입력된 영상들에 근거하여 생성된 초해상도 이미지로부터 상기 설정된 관심 영역 내의 특징점들을 정제하여 유효 특징점들만을 추출하는 단계; 및,
   상기 초해상도 이미지로부터 추출된 유효 특징점들 또는 현재 입력된 영상으로부터 추출된 특징점들 중 어느 하나의 특징점들에 근거하여 상기 관심 영역을 갱신하는 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.
   
7. 제6항에 있어서, 상기 유효 특징점들만을 추출하는 단계는,
   상기 초해상도 이미지에 설정된 관심 영역의 영상과, 현재 입력된 영상에 설정된 관심 영역의 영상을 서로 비교하여, 표적 주변의 배경 부분에 포함된 특징점들을 제거하는 단계; 및,
   상기 배경 부분에 포함된 특징점들을 제외한 나머지 특징점들 중 기 설정된 정제 알고리즘에 근거하여 유효하지 않은 특징점들을 제거하는 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.
   
8. 제7항에 있어서, 상기 배경 부분에 포함된 특징점들을 제거하는 단계는,
   상기 초해상도 이미지와, 현재 입력된 영상을 각각 기 설정된 크기의 블록 단위로 분할하는 단계;
   서로 대응되는 위치의 상기 초해상도 이미지에서 생성된 블록들과, 상기 현재 입력된 영상에서 생성된 블록들을 템플릿(temlpete) 매칭하는 단계;
   상기 매칭 결과, 상기 초해상도 이미지의 블록들 중, 대응되는 상기 현재 입력된 영상의 블록과 기 설정된 수준 이상 서로 다른 블록들을 탐색하는 단계; 및,
   상기 탐색 결과, 탐색된 블록들에 포함된 특징점들을 제거하는 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.
   
9. 제7항에 있어서, 상기 유효하지 않은 특징점들을 제거하는 단계는,
   RANSAC(RANDom SAmpling Consensus) 알고리즘에 근거하여, 상기 초해상도 이미지 및 현재 입력된 프레임의 영상으로부터 서로 대응되는 기 설정된 개수의 특징점쌍들을 추출하는 단계;
   상기 추출된 특징점쌍들로부터 생성되는 기하변환 매트릭스로부터 결정되는 값과, 기 설정된 기준 기하변환 매트릭스로부터 결정된 값을 서로 비교하는 단계;
   상기 비교 결과에 근거하여 상기 특징점 쌍들의 특징점들이 유효한지 여부를 판단하여 유효한 특징점 쌍들만을 추출하는 단계; 및,
   상기 특징점쌍들을 추출하는 단계, 상기 생성된 기하변환 매트릭스로부터 결정되는 값과 기준값을 비교하는 단계, 그리고 상기 유효한 특징점 쌍들만을 추출하는 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.
   
10. 제6항에 있어서, 상기 관심 영역을 갱신하는 단계는,
    상기 초해상도 이미지로부터 추출된 유효 특징점 또는 현재 입력된 영상으로부터 추출된 특징점들을 비교하는 단계;
    상기 비교 결과에 근거하여, 현재 표적이 일정 수준 이상 가려진 상태인지 여부를 판단하는 단계; 및,
    상기 표적이 가려진 상태인지 여부를 판단한 결과에 근거하여 기억 추적을 통한 표적의 이동을 예측하고, 표적의 이동 예측 결과에 따라 상기 관심 영역을 갱신하는 단계를 포함하는 것을 특징으로 하는 표적 추적 방법.

Images