KR101030079B1 - 영상 추적점 결정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

영상 추적점 결정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR101030079B1
KR101030079B1 KR1020100086454A KR20100086454A KR101030079B1 KR 101030079 B1 KR101030079 B1 KR 101030079B1 KR 1020100086454 A KR1020100086454 A KR 1020100086454A KR 20100086454 A KR20100086454 A KR 20100086454A KR 101030079 B1 KR101030079 B1 KR 101030079B1
Authority
KR
South Korea
Prior art keywords
template
image
value
input
pixel
Prior art date
Application number
KR1020100086454A
Other languages
English (en)
Inventor
박수진
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020100086454A priority Critical patent/KR101030079B1/ko
Application granted granted Critical
Publication of KR101030079B1 publication Critical patent/KR101030079B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

본 발명은 영상 템플릿에 부여된 가중치를 고려하여 영상에서 추적점을 결정하는 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 미리 정해진 제1 가중치를 고려하여 각각의 입력 영상의 탐색 영역으로부터 얻은 제1 템플릿과 레퍼런스 영상으로부터 얻은 제2 템플릿 간 유사도를 계산하는 유사도 계산부; 및 유사도에 미리 정해진 제2 가중치를 반영하며, 제2 가중치가 반영된 유사도가 가장 높은 템플릿의 일 지점을 추적점으로 결정하는 추적점 결정부를 포함하는 것을 특징으로 하는 영상 추적점 결정 장치를 제공한다. 본 발명에 따르면, 배경 장입 및 엄폐 현상에 강인한 특성을 가지며, 클러터와 같은 외란에도 안정적인 추적을 유지할 수 있다.

Description

영상 추적점 결정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 {Apparatus and method for deciding tracking point in image, and the recording media storing the program performing the said method}
본 발명은 영상에서 추적점을 결정하는 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 영상 템플릿에 부여된 가중치를 고려하여 영상에서 추적점을 결정하는 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.
유도 무기 및 감시 정찰 분야의 방산 산업 및 보안, 항공 등의 민수 산업에 영상을 기반으로 한 영상 추적 장치에 대한 수요가 급증하고 있다.
그런데, 종래의 영상 추적 장치는 점 기반 추적 기법, 특징점 기반 추적 기법, 템플릿 기반 추적 기법 등을 사용하고 있다. 기존의 템플릿 기반 추적 기법을 사용하는 영상 추적 장치는 이전의 레퍼런스 템플릿(최초에는 포착시 1번째 영상) 영상과 현재의 영상 템플릿의 차이값 혹은 상관계수를 이용하여 유사도가 가장 높은 현재의 영상 템플릿의 위치를 추적점으로 결정하였다.
그러나, 이러한 종래의 영상 추적 장치는 다음과 같은 문제점이 있다. 첫째, 템플릿의 유사도 측정시에 배경 장입(charging) 또는 엄폐 현상에 취약하다. 둘째, 템플릿의 유사도 비교 탐색 영역 내에 실제 표적과는 거리가 떨어져 있으나 유사한 클러터(clutter)가 존재할 경우 추적의 불안정성을 가진다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 현재의 입력 영상에서 탐색 영역 내 각 입력 템플릿과 레퍼런스 템플릿 간 비교시에 템플릿의 중심에 가까울수록 가중치를 주어 유사도를 계산하는 영상 추적점 결정 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.
또한, 본 발명은 계산된 유사도를 이용하여 추적점을 판단하는 과정에서 탐색 영역 중심과의 거리가 가까울수록 가중치를 주는 영상 추적점 결정 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 미리 정해진 제1 가중치를 고려하여 각각의 입력 영상의 탐색 영역으로부터 얻은 제1 템플릿과 레퍼런스 영상으로부터 얻은 제2 템플릿 간 유사도를 계산하는 유사도 계산부; 및 상기 유사도에 미리 정해진 제2 가중치를 반영하며, 상기 제2 가중치가 반영된 유사도가 가장 높은 템플릿의 일 지점을 추적점으로 결정하는 추적점 결정부를 포함하는 것을 특징으로 하는 영상 추적점 결정 장치를 제공한다.
바람직하게는, 상기 영상 추적점 결정 장치는 영상에서 오브젝트를 표상하는 템플릿마다 미리 정해진 중심점으로부터의 거리에 따라 상기 제1 가중치를 부여하는 제1 가중치 부여부를 더욱 포함한다. 더욱 바람직하게는, 상기 중심점으로부터 가장 먼 곳에 위치하는 템플릿의 최외곽점과 상기 중심점 간의 거리차를 제1 값이라고 하고, 상기 유사도의 계산을 위해 템플릿에서 미리 정해진 위치와 상기 중심점 간의 거리차를 제2 값이라고 할 때, 상기 제1 가중치 부여부는 상기 제1 값에서 상기 제2 값을 뺀 뒤 상기 제1 값으로 나누어 얻은 값을 상기 제1 가중치로 부여한다.
바람직하게는, 상기 영상 추적점 결정 장치는 상기 탐색 영역으로부터의 거리에 따라 상기 제2 가중치를 부여하는 제2 가중치 부여부를 더욱 포함한다. 더욱 바람직하게는, 상기 입력 영상에서 상기 탐색 영역으로부터 가장 먼 곳에 위치하는 템플릿의 일 지점과 상기 탐색 영역의 일 지점 간의 거리차를 제3 값이라고 하고, 상기 유사도의 계산에 이용되는 템플릿의 일 지점과 상기 탐색 영역의 일 지점 간의 거리차를 제4 값이라고 할 때, 상기 제2 가중치 부여부는 상기 제3 값에서 상기 제4 값을 뺀 뒤 상기 제3 값으로 나누어 얻은 값과 1의 차이값을 상기 제2 가중치로 부여한다.
바람직하게는, 상기 유사도 계산부는 영상에서 오브젝트를 표상하는 템플릿마다 미리 정해진 위치에서의 화소값을 비교하여 상기 유사도를 계산한다.
바람직하게는, 상기 영상 추적점 결정 장치는 상기 입력 영상으로부터 상기 제1 템플릿을 포함하는 상기 탐색 영역을 설정하는 것으로서, 사용자의 지정에 따라 상기 제1 템플릿을 제1 선택하거나 상기 제2 템플릿의 위치나 크기를 고려하여 상기 제1 템플릿을 제2 선택하는 탐색 영역 설정부를 더욱 포함한다. 더욱 바람직하게는, 상기 탐색 영역 설정부는 상기 입력 영상이 최초 입력된 제1 영상이면 상기 제1 선택을 수행하고 상기 입력 영상이 상기 제1 영상 이후 입력된 제2 영상이면 상기 제2 선택을 수행한다.
바람직하게는, 상기 영상 추적점 결정 장치는 상기 추적점을 필터링하는 추적점 필터링부; 및 상기 유사도가 기준 유사도의 미리 정해진 배수보다 크면 상기 유사도와 관련된 입력 영상을 레퍼런스 영상으로 업데이트하는 영상 업데이트부 중 적어도 하나를 더욱 포함한다. 더욱 바람직하게는, 상기 영상 업데이트부는 상기 업데이트 때에 상기 추적점의 좌표값과 크기를 고려하여 제1 템플릿을 제2 템플릿으로 업데이트한다.
바람직하게는, 상기 영상 추적점 결정 장치는 상기 추적점을 기초로 영상 기반 추적을 수행하는 영상 추적 장치에 구비된다.
또한, 본 발명은 미리 정해진 제1 가중치를 고려하여 각각의 입력 영상의 탐색 영역으로부터 얻은 제1 템플릿과 레퍼런스 영상으로부터 얻은 제2 템플릿 간 유사도를 계산하는 유사도 계산 단계; 및 상기 유사도에 미리 정해진 제2 가중치를 반영하며, 상기 제2 가중치가 반영된 유사도가 가장 높은 템플릿의 일 지점을 추적점으로 결정하는 추적점 결정 단계를 포함하는 것을 특징으로 하는 영상 추적점 결정 방법을 제공한다.
바람직하게는, 상기 영상 추적점 결정 방법은 영상에서 오브젝트를 표상하는 템플릿마다 미리 정해진 중심점으로부터의 거리에 따라 상기 제1 가중치를 부여하는 제1 가중치 부여 단계를 더욱 포함한다. 상기 제1 가중치 부여 단계는 상기 유사도 계산 단계의 이전 단계에 구비될 수 있다. 더욱 바람직하게는, 상기 중심점으로부터 가장 먼 곳에 위치하는 템플릿의 최외곽점과 상기 중심점 간의 거리차를 제1 값이라고 하고, 상기 유사도의 계산을 위해 템플릿에서 미리 정해진 위치와 상기 중심점 간의 거리차를 제2 값이라고 할 때, 상기 제1 가중치 부여 단계는 상기 제1 값에서 상기 제2 값을 뺀 뒤 상기 제1 값으로 나누어 얻은 값을 상기 제1 가중치로 부여한다.
바람직하게는, 상기 영상 추적점 결정 방법은 상기 탐색 영역으로부터의 거리에 따라 상기 제2 가중치를 부여하는 제2 가중치 부여 단계를 더욱 포함한다. 상기 제2 가중치 부여 단계는 상기 유사도 계산 단계와 상기 추적점 결정 단계의 중간 단계에 구비될 수 있다. 더욱 바람직하게는, 상기 입력 영상에서 상기 탐색 영역으로부터 가장 먼 곳에 위치하는 템플릿의 일 지점과 상기 탐색 영역의 일 지점 간의 거리차를 제3 값이라고 하고, 상기 유사도의 계산에 이용되는 템플릿의 일 지점과 상기 탐색 영역의 일 지점 간의 거리차를 제4 값이라고 할 때, 상기 제2 가중치 부여 단계는 상기 제3 값에서 상기 제4 값을 뺀 뒤 상기 제3 값으로 나누어 얻은 값과 1의 차이값을 상기 제2 가중치로 부여한다.
바람직하게는, 상기 유사도 계산 단계는 영상에서 오브젝트를 표상하는 템플릿마다 미리 정해진 위치에서의 화소값을 비교하여 상기 유사도를 계산한다.
바람직하게는, 상기 영상 추적점 결정 방법은 상기 입력 영상으로부터 상기 제1 템플릿을 포함하는 상기 탐색 영역을 설정하는 것으로서, 사용자의 지정에 따라 상기 제1 템플릿을 제1 선택하거나 상기 제2 템플릿의 위치나 크기를 고려하여 상기 제1 템플릿을 제2 선택하는 탐색 영역 설정 단계를 더욱 포함한다. 상기 탐색 영역 설정 단계는 상기 유사도 계산 단계의 이전 단계에 구비될 수 있다. 더욱 바람직하게는, 상기 탐색 영역 설정 단계는 상기 입력 영상이 최초 입력된 제1 영상이면 상기 제1 선택을 수행하고 상기 입력 영상이 상기 제1 영상 이후 입력된 제2 영상이면 상기 제2 선택을 수행한다.
바람직하게는, 상기 영상 추적점 결정 방법은 상기 추적점을 필터링하는 추적점 필터링 단계; 및 상기 유사도가 기준 유사도의 미리 정해진 배수보다 크면 상기 유사도와 관련된 입력 영상을 레퍼런스 영상으로 업데이트하는 영상 업데이트 단계 중 적어도 하나를 더욱 포함한다. 상기 추적점 필터링 단계 또는 상기 영상 업데이트 단계는 상기 추적점 결정 단계와 상기 추적 단계의 중간 단계에 구비될 수 있다. 더욱 바람직하게는, 상기 영상 업데이트 단계는 상기 업데이트 때에 상기 추적점의 좌표값과 크기를 고려하여 제1 템플릿을 제2 템플릿으로 업데이트한다.
본 발명에 따르면, 다음과 같은 효과가 기대된다. 첫째, 현재의 입력 영상에서 탐색 영역 내 각 입력 템플릿과 레퍼런스 템플릿 간 비교시에 템플릿의 중심에 가까울수록 가중치를 주어 유사도를 계산함으로써, 배경 장입 및 엄폐 현상에 강인한 특성을 가진다. 둘째, 계산된 유사도를 이용하여 추적점을 판단하는 과정에서 탐색 영역 중심과의 거리가 가까울수록 가중치를 줌으로써, 클러터와 같은 외란에도 안정적인 추적을 유지할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 추적점 결정 장치를 개략적으로 도시한 블록도이다.
도 2는 영상 추적점 결정 장치의 일실시 구현 예시도이다.
도 3은 본 발명의 바람직한 실시예에 따른 영상 추적점 결정 방법을 도시한 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 영상 추적점 결정 장치를 개략적으로 도시한 블록도이다. 도 1에 따르면, 영상 추적점 결정 장치(100)는 유사도 계산부(110), 추적점 결정부(120) 및 주제어부(130)를 포함한다.
영상 추적점 결정 장치(100)는 본 실시예에서 다음 절차에 따라 영상 추적점을 결정할 수 있다. 먼저 제1 단계에서, 레퍼런스 템플릿 크기에 따라 템플릿 중심에 가까울수록 가중하는 템플릿 가중치를 설정한다. 이후 제2 단계에서, 입력 영상의 탐색 영역을 설정한다. 이후 제3 단계에서, 템플릿 가중치 함수를 이용하여 입력 영상의 탐색 영역 내 각 템플릿과 레퍼런스 템플릿 간 유사도를 비교한다. 이후 제4 단계에서, 유사도 계산 결과에 탐색 영역의 중심에 가까울수록 가중하는 유사도 가중치를 적용한다. 이후 제5 단계에서, 제4 단계에서의 계산 결과에서 가중치 유사도가 가장 큰 탐색 영역 템플릿의 중심 좌표를 추적점으로 결정한다.
유사도 계산부(110)는 미리 정해진 제1 가중치를 고려하여 각각의 입력 영상의 탐색 영역으로부터 얻은 제1 템플릿과 레퍼런스 영상으로부터 얻은 제2 템플릿 간 유사도를 계산하는 기능을 수행한다. 바람직하게는, 유사도 계산부(110)는 영상에서 오브젝트를 표상하는 템플릿마다 미리 정해진 위치에서의 화소값을 비교하여 유사도를 계산한다.
추적점 결정부(120)는 유사도 계산부(110)에 의해 계산된 유사도에 미리 정해진 제2 가중치를 반영하며, 제2 가중치가 반영된 유사도가 가장 높은 템플릿의 일 지점을 추적점으로 결정하는 기능을 수행한다.
주제어부(130)는 영상 추적점 결정 장치(100)를 구성하는 각 부의 전체 작동을 제어하는 기능을 수행한다.
영상 추적점 결정 장치(100)는 추적점을 기초로 영상 기반 추적을 수행하는 영상 추적 장치에 구비된다. 따라서, 전원부를 구비할 필요는 없겠으나, 영상 추적점 결정 장치(100)가 영상 추적 장치와 별도 구성되는 경우에는 전원부를 더욱 포함하는 것이 바람직하겠다.
영상 추적점 결정 장치(100)는 제1 가중치 부여부(140)를 더욱 포함할 수 있다. 제1 가중치 부여부(140)는 영상에서 오브젝트를 표상하는 템플릿마다 미리 정해진 중심점으로부터의 거리에 따라 제1 가중치를 부여하는 기능을 수행한다. 바람직하게는, 중심점으로부터 가장 먼 곳에 위치하는 템플릿의 최외곽점과 중심점 간의 거리차를 제1 값이라고 하고, 유사도의 계산을 위해 템플릿에서 미리 정해진 위치와 중심점 간의 거리차를 제2 값이라고 할 때, 제1 가중치 부여부(140)는 제1 값에서 제2 값을 뺀 뒤 제1 값으로 나누어 얻은 값을 제1 가중치로 부여한다.
영상 추적점 결정 장치(100)는 제2 가중치 부여부(150)를 더욱 포함할 수 있다. 제2 가중치 부여부(150)는 탐색 영역으로부터의 거리에 따라 제2 가중치를 부여하는 기능을 수행한다. 바람직하게는, 입력 영상에서 탐색 영역으로부터 가장 먼 곳에 위치하는 템플릿의 일 지점과 탐색 영역의 일 지점 간의 거리차를 제3 값이라고 하고, 유사도의 계산에 이용되는 템플릿의 일 지점과 탐색 영역의 일 지점 간의 거리차를 제4 값이라고 할 때, 제2 가중치 부여부(150)는 제3 값에서 제4 값을 뺀 뒤 제3 값으로 나누어 얻은 값과 1의 차이값을 제2 가중치로 부여한다.
영상 추적점 결정 장치(100)는 탐색 영역 설정부(160)를 더욱 포함할 수 있다. 탐색 영역 설정부(160)는 입력 영상으로부터 제1 템플릿을 포함하는 탐색 영역을 설정하는 것으로서, 사용자의 지정에 따라 제1 템플릿을 제1 선택하거나 제2 템플릿의 위치나 크기를 고려하여 제1 템플릿을 제2 선택하는 기능을 수행한다. 바람직하게는, 탐색 영역 설정부(160)는 입력 영상이 최초 입력된 제1 영상이면 제1 선택을 수행하고 입력 영상이 제1 영상 이후 입력된 제2 영상이면 제2 선택을 수행한다.
영상 추적점 결정 장치(100)는 추적점 필터링부(170)와 영상 업데이트부(180) 중 적어도 하나를 더욱 포함할 수 있다. 추적점 필터링부(170)는 추적점을 필터링하는 기능을 수행한다. 영상 업데이트부(180)는 유사도가 기준 유사도의 미리 정해진 배수보다 크면 유사도와 관련된 입력 영상을 레퍼런스 영상으로 업데이트하는 기능을 수행한다. 바람직하게는, 영상 업데이트부(180)는 업데이트 때에 추적점의 좌표값과 크기를 고려하여 제1 템플릿을 제2 템플릿으로 업데이트한다.
다음으로, 본 실시예에 따른 영상 추적점 결정 장치(100)를 일실시예를 들어 설명한다. 도 2는 영상 추적점 결정 장치의 일실시 구현 예시도이다. 이하 설명은 도 2를 참조한다.
탐색 영역 설정 모듈(210)은 추적 초기 1회에는 사용자 입력에 의해 유사도 계산이 필요한 입력 템플릿들을 생성하며, 초기 1회 이후에는 레퍼런스 설정부(280)에서 전송된 레퍼런스 템플릿의 위치 및 크기에 의해 유사도 계산이 필요한 입력 템플릿들을 생성한다. 탐색 영역 설정 모듈(210)은 도 1의 탐색 영역 설정부(160)에 대응하는 개념이다.
유사도 계산 모듈(220)은 입력 템플릿들과 레퍼런스 템플릿 간의 유사도를 템플릿 가중치를 이용하여 계산한다. 유사도 계산 모듈(220)은 도 1의 유사도 계산부(110)에 대응하는 개념이다. n번째 입력 템플릿과 레퍼런스 템플릿 간의 유사도 계산은 다음과 같다.
Figure 112010057398748-pat00001
상기에서, S(n)은 n번째 입력 템플릿과 레퍼런스 템플릿 간의 유사도이다. 그리고, T(n, i, j)는 n번째 입력 템플릿의 (i, j) 위치에서의 화소값이다. 그리고, R(i, j)는 레퍼런스 템플릿의 (i, j) 위치에서의 화소값이다. 그리고, TW(i, j)는 템플릿 내 (i, j) 위치에서의 가중치이다.
템플릿의 외곽에는 배경 장입 혹은 엄폐 현상이 일어날 확률이 상대적으로 크나, 템플릿의 중심은 그렇지 않다. 이에 근거하여 템플릿 가중치 설정 모듈(230)은 표적 중심에 가까울수록 높은 가중치를 주고 멀수록 낮은 가중치를 주어 앞의 불안정한 요소에 강인한 특성을 가진 유사도를 추출할 수 있다. 템플릿 가중치 설정 모듈(230)은 도 1의 제1 가중치 부여부(140)에 대응하는 개념이다. 템플릿 가중치는 다음과 같이 구할 수 있다.
Figure 112010057398748-pat00002
상기에서, Tw(i, j)는 템플릿 내 (i, j) 위치에서의 가중치이다. 그리고, DMAX는 템플릿의 중심과 가장 멀리 떨어진 템플릿 내 위치와의 거리이다. D(i, j)는 템플릿의 중심과 템플릿 내 (i, j) 위치와의 거리이다.
표적의 움직임의 연속성을 가정하면 레퍼런스 템플릿과 위치가 가까운 입력 템플릿에 표적이 있을 확률이 높다. 따라서, 레퍼런스 템플릿과 가까운 입력 템플릿의 유사도에 가중치를 주어 클러터에 의한 외란에도 안정적인 추적 성능을 확보할 수 있다. 유사도 가중치 적용 모듈(240)은 레퍼런스 템플릿과 가까운 입력 템플릿의 유사도에 가중치를 주는 것으로서, 도 1의 제2 가중치 부여부(150)에 대응하는 개념이다. 유사도 가중치는 다음과 같이 구할 수 있다.
Figure 112010057398748-pat00003
상기에서, Sw(n)은 n번째 입력 템플릿의 유사도 가중치이다. 그리고, SDMAX는 가장 멀리 떨어진 입력 템플릿의 중심과 탐색 영역의 중심 간의 거리이다. 그리고, SD(n)은 n번째 입력 템플릿의 중심과 탐색 영역의 중심 간의 거리이다.
추적점 결정 모듈(250)은 유사도가 가장 높은 입력 템플릿의 중심점 좌표를 추적점으로 결정한다. 추적점 결정 모듈(250)은 도 1의 추적점 결정부(120)에 대응하는 개념이다. 추적점은 다음과 같이 구할 수 있다.
Figure 112010057398748-pat00004
상기에서, trk_x는 추적점의 x 좌표값이고, trk_y는 추적점의 y 좌표값이다.
추적점 필터링 모듈(260)은 다음 프레임의 추적점을 추정하기 위해 추적점 좌표를 IIR 필터 또는 Kalmann 필터를 이용하여 필터링한다. 추적점 필터링 모듈(260)은 도 1의 추적점 필터링부(170)에 대응하는 개념이다.
레퍼런스 업데이트 결정 모듈(270)은 가중된 유사도의 과거 프레임값과 현재 프레임값을 비교하여 차이가 클 경우(예컨대, 30% 이상 차이나면) 레퍼런스 업데이트를 참으로 결정하고, 추정된 추적점의 좌표와 크기를 전송한다. 반대의 경우는 거짓으로 결정하여 레퍼런스 템플릿의 업데이트를 수행하지 않는다. 레퍼런스 업데이트 설정부(280)는 업데이트 여부가 거짓일 경우는 레퍼런스 업데이트를 수행하지 않음으로써 레퍼런스 템플릿이 과거 레퍼런스 템플릿을 유지토록 한다. 업데이트 여부가 참일 경우는 추적된 추적점의 좌표와 크기를 이용하여 새로운 레퍼런스 템플릿을 저장한다. 레퍼런스 업데이트 결정 모듈(270)과 레퍼런스 업데이트 설정부(280)는 도 1의 영상 업데이트부(180)에 대응하는 개념이다.
다음으로, 본 실시예에 따른 영상 추적점 결정 장치(100)의 영상 추적점 결정 방법에 대해서 설명한다. 도 3은 본 발명의 바람직한 실시예에 따른 영상 추적점 결정 방법을 도시한 순서도이다. 이하 설명은 도 3을 참조한다.
먼저, 유사도 계산부(110)가 미리 정해진 제1 가중치를 고려하여 각각의 입력 영상의 탐색 영역으로부터 얻은 제1 템플릿과 레퍼런스 영상으로부터 얻은 제2 템플릿 간 유사도를 계산한다(유사도 계산 단계; S300). 바람직하게는, 유사도 계산부(110)가 영상에서 오브젝트를 표상하는 템플릿마다 미리 정해진 위치에서의 화소값을 비교하여 유사도를 계산한다.
이후, 추적점 결정부(120)가 상기 유사도에 미리 정해진 제2 가중치를 반영하며, 제2 가중치가 반영된 유사도가 가장 높은 템플릿의 일 지점을 추적점으로 결정한다(추적점 결정 단계; S310).
바람직하게는, 유사도 계산 단계의 이전 단계로서 제1 가중치 부여 단계가 수행될 수 있다. 이 단계는 제1 가중치 부여부(140)에 의해 다음과 같이 수행될 수 있다. 즉, 제1 가중치 부여부(140)가 영상에서 오브젝트를 표상하는 템플릿마다 미리 정해진 중심점으로부터의 거리에 따라 제1 가중치를 부여한다. 중심점으로부터 가장 먼 곳에 위치하는 템플릿의 최외곽점과 중심점 간의 거리차를 제1 값이라고 하고, 유사도의 계산을 위해 템플릿에서 미리 정해진 위치와 중심점 간의 거리차를 제2 값이라고 할 때, 제1 가중치 부여부(140)는 제1 값에서 제2 값을 뺀 뒤 제1 값으로 나누어 얻은 값을 제1 가중치로 부여할 수 있다.
바람직하게는, 유사도 계산 단계와 추적점 결정 단계의 중간 단계로서 제2 가중치 부여 단계가 수행될 수 있다. 이 단계는 제2 가중치 부여부(150)에 의해 다음과 같이 수행될 수 있다. 즉, 제2 가중치 부여부(150)는 탐색 영역으로부터의 거리에 따라 제2 가중치를 부여한다. 입력 영상에서 탐색 영역으로부터 가장 먼 곳에 위치하는 템플릿의 일 지점과 탐색 영역의 일 지점 간의 거리차를 제3 값이라고 하고, 유사도의 계산에 이용되는 템플릿의 일 지점과 탐색 영역의 일 지점 간의 거리차를 제4 값이라고 할 때, 제2 가중치 부여부(150)는 제3 값에서 제4 값을 뺀 뒤 제3 값으로 나누어 얻은 값과 1의 차이값을 제2 가중치로 부여할 수 있다.
바람직하게는, 유사도 계산 단계의 이전 단계로서 탐색 영역 설정 단계가 수행될 수 있다. 이 단계는 탐색 영역 설정부(160)에 의해 다음과 같이 수행될 수 있다. 즉, 탐색 영역 설정부(160)는 입력 영상으로부터 제1 템플릿을 포함하는 탐색 영역을 설정하는 것으로서, 사용자의 지정에 따라 제1 템플릿을 제1 선택하거나 제2 템플릿의 위치나 크기를 고려하여 제1 템플릿을 제2 선택한다. 탐색 영역 설정부(160)는 입력 영상이 최초 입력된 제1 영상이면 제1 선택을 수행하고 입력 영상이 제1 영상 이후 입력된 제2 영상이면 제2 선택을 수행한다.
바람직하게는, 추적점 결정 단계의 이후 단계로서 추적점 필터링 단계 또는 영상 업데이트 단계가 수행될 수 있다. 각각의 단계는 추적점 필터링부(170), 영상 업데이트부(180)에 의해 수행될 수 있다. 즉, 추적점 필터링부(170)는 추적점을 필터링한다. 또한, 영상 업데이트부(180)는 유사도가 기준 유사도의 미리 정해진 배수보다 크면 유사도와 관련된 입력 영상을 레퍼런스 영상으로 업데이트한다. 영상 업데이트부(180)는 영상의 업데이트 때에 추적점의 좌표값과 크기를 고려하여 제1 템플릿을 제2 템플릿으로 업데이트할 수 있다.
한편, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장 매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장 장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 방산물자로 이용되는 영상 추적 장치에 적용될 수 있다. 특히, 본 발명은 유도 무기 탐색기, 전투기에 장착되는 감시 정찰 POD, 무인 항공기, CCTV, 항공 촬영 장비 분야 등의 영상 추적 장치에 적용될 수 있다.
100 : 영상 추적점 결정 장치 110 : 유사도 계산부
120 : 추적점 결정부 130 : 주제어부
140 : 제1 가중치 부여부 150 : 제2 가중치 부여부
160 : 탐색 영역 설정부 170 : 추적점 필터링부
180 : 영상 업데이트부

Claims (17)

  1. 입력 영상에서 선택된 입력 템플릿에 대하여 상기 입력 템플릿 상의 중심 화소에서 상기 입력 템플릿 상의 제1 화소까지의 제1 거리값 및 상기 입력 템플릿 상의 중심 화소에서 상기 입력 템플릿 상의 제2 화소까지의 제2 거리값 간의 관계로부터 도출된 값을 상기 제1 화소에 대한 제1 가중치로 부여하는 제1 가중치 부여부;
    동일 위치의 화소끼리 비교하여 레퍼런스 영상에서 선택된 레퍼런스 템플릿과 상기 입력 템플릿 간 유사도를 계산하되, 상기 레퍼런스 템플릿에서 상기 제1 화소와 동일한 위치값을 가지는 화소 및 상기 제1 화소 간 화소값 차이에 상기 제1 가중치를 곱하여 상기 유사도를 계산하는 유사도 계산부;
    상기 입력 템플릿을 포함하는 상기 입력 영상의 탐색 영역에 대하여 상기 탐색 영역의 중심 화소에서 상기 입력 템플릿의 중심 화소까지의 제3 거리값 및 상기 탐색 영역의 중심 화소에서 상기 탐색 영역에 포함되는 다른 템플릿의 중심 화소까지의 제4 거리값 간의 관계로부터 도출된 값을 상기 입력 템플릿에 대한 제2 가중치로 부여하는 제2 가중치 부여부; 및
    상기 입력 영상에서 상기 입력 템플릿이 적어도 두개 선택될 때, 상기 유사도와 상기 제2 가중치의 곱셈값이 최소가 되는 입력 템플릿을 추출하며, 추출된 입력 템플릿 상에 위치하는 특정 화소를 상기 입력 영상에서의 추적점으로 결정하는 추적점 결정부
    를 포함하는 것을 특징으로 하는 영상 추적점 결정 장치.
  2. 제 1 항에 있어서,
    상기 제1 가중치 부여부는 상기 입력 템플릿으로 오브젝트를 표상하는 템플릿을 이용하는 것을 특징으로 하는 영상 추적점 결정 장치.
  3. 제 1 항에 있어서,
    상기 제1 가중치 부여부는 상기 입력 템플릿 상의 중심 화소로부터 가장 먼 곳에 위치하는 최외곽 화소를 상기 제2 화소로 이용하며, 상기 제2 거리값과 상기 제1 거리값 간의 차이값을 상기 제2 거리값으로 나눈 값을 상기 제1 가중치로 도출하는 것을 특징으로 하는 영상 추적점 결정 장치.
  4. 제 1 항에 있어서,
    상기 제2 가중치 부여부는 상기 탐색 영역으로부터 가장 먼 곳에 위치하는 최외곽 템플릿을 상기 다른 템플릿으로 이용하며, 상기 제4 거리값과 상기 제3 거리값 간의 차이값을 상기 제4 거리값으로 나누어 A 값을 구한 뒤, 1에서 상기 A 값을 뺀 값을 상기 제2 가중치로 도출하는 것을 특징으로 하는 영상 추적점 결정 장치.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 탐색 영역을 설정하는 것으로서, 상기 탐색 영역에서 상기 입력 템플릿을 최초 선택할 때에 사용자의 지정에 따라 상기 입력 템플릿을 선택하며, 상기 탐색 영역에서 상기 입력 템플릿을 최초 이후 선택할 때에 레퍼런스 템플릿의 위치나 크기에 따라 상기 입력 템플릿을 선택하는 탐색 영역 설정부
    를 더욱 포함하는 것을 특징으로 하는 영상 추적점 결정 장치.
  8. 제 1 항에 있어서,
    상기 추적점 결정부는 중심 화소를 상기 특정 화소로 이용하는 것을 특징으로 하는 영상 추적점 결정 장치.
  9. 제 1 항에 있어서,
    상기 유사도가 기준 유사도의 미리 정해진 배수보다 크면 상기 유사도와 관련된 입력 영상을 상기 레퍼런스 영상으로 업데이트하는 영상 업데이트부
    를 더욱 포함하는 것을 특징으로 하는 영상 추적점 결정 장치.
  10. 삭제
  11. 제 1 항에 있어서,
    상기 영상 추적점 결정 장치는 상기 추적점을 기초로 영상 기반 추적을 수행하는 영상 추적 장치에 구비되는 것을 특징으로 하는 영상 추적점 결정 장치.
  12. 입력 영상에서 선택된 입력 템플릿에 대하여 상기 입력 템플릿 상의 중심 화소에서 상기 입력 템플릿 상의 제1 화소까지의 제1 거리값 및 상기 입력 템플릿 상의 중심 화소에서 상기 입력 템플릿 상의 제2 화소까지의 제2 거리값 간의 관계로부터 도출된 값을 상기 제1 화소에 대한 제1 가중치로 부여하는 제1 가중치 부여 단계;
    동일 위치의 화소끼리 비교하여 레퍼런스 영상에서 선택된 레퍼런스 템플릿과 상기 입력 템플릿 간 유사도를 계산하되, 상기 레퍼런스 템플릿에서 상기 제1 화소와 동일한 위치값을 가지는 화소 및 상기 제1 화소 간 화소값 차이에 상기 제1 가중치를 곱하여 상기 유사도를 계산하는 유사도 계산 단계;
    상기 입력 템플릿을 포함하는 상기 입력 영상의 탐색 영역에 대하여 상기 탐색 영역의 중심 화소에서 상기 입력 템플릿의 중심 화소까지의 제3 거리값 및 상기 탐색 영역의 중심 화소에서 상기 탐색 영역에 포함되는 다른 템플릿의 중심 화소까지의 제4 거리값 간의 관계로부터 도출된 값을 상기 입력 템플릿에 대한 제2 가중치로 부여하는 제2 가중치 부여 단계; 및
    상기 입력 영상에서 상기 입력 템플릿이 적어도 두개 선택될 때, 상기 유사도와 상기 제2 가중치의 곱셈값이 최소가 되는 입력 템플릿을 추출하며, 추출된 입력 템플릿 상에 위치하는 특정 화소를 상기 입력 영상에서의 추적점으로 결정하는 추적점 결정 단계
    를 포함하는 것을 특징으로 하는 영상 추적점 결정 방법.
  13. 제 12 항에 있어서,
    상기 제1 가중치 부여 단계는 상기 입력 템플릿 상의 중심 화소로부터 가장 먼 곳에 위치하는 최외곽 화소를 상기 제2 화소로 이용하며, 상기 제2 거리값과 상기 제1 거리값 간의 차이값을 상기 제2 거리값으로 나눈 값을 상기 제1 가중치로 도출하는 것을 특징으로 하는 영상 추적점 결정 방법.
  14. 제 12 항에 있어서,
    상기 제2 가중치 부여 단계는 상기 탐색 영역으로부터 가장 먼 곳에 위치하는 최외곽 템플릿을 상기 다른 템플릿으로 이용하며, 상기 제4 거리값과 상기 제3 거리값 간의 차이값을 상기 제4 거리값으로 나누어 A 값을 구한 뒤, 1에서 상기 A 값을 뺀 값을 상기 제2 가중치로 도출하는 것을 특징으로 하는 영상 추적점 결정 방법.
  15. 제 12 항에 있어서,
    상기 제1 가중치 부여 단계의 이전 단계로서,
    상기 탐색 영역을 설정하는 단계로서, 상기 탐색 영역에서 상기 입력 템플릿을 최초 선택할 때에 사용자의 지정에 따라 상기 입력 템플릿을 선택하며, 상기 탐색 영역에서 상기 입력 템플릿을 최초 이후 선택할 때에 레퍼런스 템플릿의 위치나 크기에 따라 상기 입력 템플릿을 선택하는 탐색 영역 설정 단계
    를 포함하는 것을 특징으로 하는 영상 추적점 결정 방법.
  16. 제 12 항에 있어서,
    상기 추적점 결정 단계의 이후 단계로서,
    상기 유사도가 기준 유사도의 미리 정해진 배수보다 크면 상기 유사도와 관련된 입력 영상을 상기 레퍼런스 영상으로 업데이트하는 영상 업데이트 단계
    를 포함하는 것을 특징으로 하는 영상 추적점 결정 방법.
  17. 컴퓨터로 판독 가능한 기록매체로서, 제 12 항 내지 제 16 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.
KR1020100086454A 2010-09-03 2010-09-03 영상 추적점 결정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 KR101030079B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100086454A KR101030079B1 (ko) 2010-09-03 2010-09-03 영상 추적점 결정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100086454A KR101030079B1 (ko) 2010-09-03 2010-09-03 영상 추적점 결정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Publications (1)

Publication Number Publication Date
KR101030079B1 true KR101030079B1 (ko) 2011-04-19

Family

ID=44050319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100086454A KR101030079B1 (ko) 2010-09-03 2010-09-03 영상 추적점 결정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (1) KR101030079B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101193445B1 (ko) 2012-04-09 2012-10-24 국방과학연구소 항공 촬영용 자동 배경 추적 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064208A (ko) * 2002-01-19 2003-07-31 (주)미토스 특정 검사대상의 위치 자동 추적 시스템 및 추적 방법
KR20080100218A (ko) * 2006-01-31 2008-11-14 구글 인코포레이티드 검색 결과의 향상
KR20080100215A (ko) * 2006-01-30 2008-11-14 도시바 기카이 가부시키가이샤 글래스 소자의 성형용 금형

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064208A (ko) * 2002-01-19 2003-07-31 (주)미토스 특정 검사대상의 위치 자동 추적 시스템 및 추적 방법
KR20080100215A (ko) * 2006-01-30 2008-11-14 도시바 기카이 가부시키가이샤 글래스 소자의 성형용 금형
KR20080100218A (ko) * 2006-01-31 2008-11-14 구글 인코포레이티드 검색 결과의 향상

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101193445B1 (ko) 2012-04-09 2012-10-24 국방과학연구소 항공 촬영용 자동 배경 추적 장치

Similar Documents

Publication Publication Date Title
US20230077355A1 (en) Tracker assisted image capture
AU2016352215B2 (en) Method and device for tracking location of human face, and electronic equipment
JP6043856B2 (ja) Ｒｇｂｄカメラを用いた頭部ポーズ推定
US9524562B2 (en) Object tracking method and device
US7986813B2 (en) Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor
CN113811920A (zh) 分布式姿势估计
CN107408303A (zh) 用于对象跟踪的系统和方法
US20080187173A1 (en) Method and apparatus for tracking video image
US10254854B2 (en) Tracker for cursor navigation
JP7151488B2 (ja) 移動物体検出装置、移動物体検出方法及びプログラム
US20200349704A1 (en) Control method and device for mobile platform, and computer readable storage medium
CN113077516B (zh) 一种位姿确定方法及相关设备
CN110706262B (zh) 图像处理方法、装置、设备及存储介质
CN113808162B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN104106078A (zh) 光学字符辨识(ocr)高速缓冲存储器更新
KR102217003B1 (ko) 객체 추적 방법 및 이를 수행하는 장치
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
JP2020127194A (ja) コンピュータシステムおよびプログラム
KR100970121B1 (ko) 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
US8447108B2 (en) Apparatus and method for extracting target, and recording media storing program performing the method
KR101030079B1 (ko) 영상 추적점 결정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN113853559A (zh) 可移动平台的控制方法、装置、设备及存储介质
CN111382643B (zh) 一种手势检测方法、装置、设备及存储介质
JP6154759B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム
CN115170903A (zh) 一种车辆场景图像处理方法、系统及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140314

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150306

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170313

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200312

Year of fee payment: 10