KR100994366B1 - Method for tracking a movement of a moving target of image tracking apparatus - Google Patents
Method for tracking a movement of a moving target of image tracking apparatus Download PDFInfo
- Publication number
- KR100994366B1 KR100994366B1 KR1020080100216A KR20080100216A KR100994366B1 KR 100994366 B1 KR100994366 B1 KR 100994366B1 KR 1020080100216 A KR1020080100216 A KR 1020080100216A KR 20080100216 A KR20080100216 A KR 20080100216A KR 100994366 B1 KR100994366 B1 KR 100994366B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- image
- input image
- correlation
- brightness
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
영상 추적 장치의 이동표적 움직임 추적 방법이 개시된다. 본 발명은 입력 영상에서 상관추적 방식으로 지상에서의 이동표적을 효과적으로 추적하기 위하여 표적의 영상 정보를 이용하여 표적 변화에 따른 표적 모델을 모델링하고, 이를 근거로 생성된 가중 함수를 근거로 상관도를 연산하여 표적 위치를 추정하도록 함으로써 표적을 더욱 정확하고 정밀하게 추적할 수 있다.A moving target motion tracking method of an image tracking apparatus is disclosed. The present invention models the target model according to the target change using the image information of the target in order to effectively track the moving target on the ground in the correlation tracking method in the input image, and based on the weighting function generated based on the correlation By calculating and estimating the target position, the target can be tracked more accurately and precisely.
영상 추적 장치, 상관 추적, 모델링, 가중 함수 Image tracking device, correlation tracking, modeling, weighting function
Description
본 발명은 영상 추적 장치의 이동표적 움직임 추적 방법에 관한 것으로서, 더욱 상세하게는 표적의 영상 정보를 이용하여 표적의 위치를 정밀하게 추적할 수 있도록 한 영상 추적 장치의 이동표적 움직임 추적 방법에 관한 것이다.The present invention relates to a moving target motion tracking method of an image tracking device, and more particularly, to a moving target motion tracking method of an image tracking device capable of precisely tracking the position of a target using image information of the target. .
영상 추적 장치는 지상이나 대공에서 움직이는 표적 또는 물체를 포착하여 추적하기 위한 장치로서, 영상 카메라를 통해 입력되는 영상에 추적 방식을 적용하여 표적의 이동 거리를 추정하고, 이 추정된 이동 거리를 근거로 움직임을 추적한다.An image tracking device is a device for capturing and tracking a moving target or object on the ground or airspace. The tracking device is applied to an image input through an image camera to estimate a moving distance of a target, and based on the estimated moving distance, Track the movement.
이러한 추적 방식의 하나로서 상관추적 방식은, 시간이 지남에 따라 표적의 영상 특성이 변하지 않는다는 가정 하에서 이전 입력 영상의 표적과 현재 입력 영상의 표적의 이동시 발생되는 밝기의 시간적, 공간적 변화량 사이의 상관관계를 계산하여 표적의 위치를 추적하는 방식이다. 이러한 상관추적 방식은 비교적 복잡한 배경에서도 추적 성능이 유지된다.As one of the tracking methods, the correlation tracking method is a correlation between the temporal and spatial variation of brightness generated when the target of the previous input image and the target of the current input image are moved under the assumption that the image characteristics of the target do not change over time. It is a way to track the location of the target by calculating. This correlation tracking method maintains tracking performance even in a relatively complex background.
그러나, 실제로 영상 추적 장치가 사용되는 지상 환경에서는 표적과의 거리 가 가까워 영상에서의 표적 변화가 빈번하며, 지상 주변 배경에 다수의 클러터(clutter)가 존재해 추적을 방해하기도 한다.However, in the ground environment where the image tracking device is actually used, the distance to the target is so close that the target changes frequently in the image, and there are many clutters in the background around the ground, which hinders the tracking.
이러한 종래의 움직임 추적 방법은 표적의 형상 및 크기 변화를 반영하지 못하므로 추적을 지속할수록 상관도 연산에 따라 표적의 위치 오차가 누적 되어 추적에 실패하게 되는 문제점이 있다.Since the conventional motion tracking method does not reflect the change in shape and size of the target, there is a problem in that tracking fails due to accumulation of positional errors according to correlation calculations as the tracking continues.
본 발명은 입력 영상에서 상관추적 방식으로 지상에서의 이동표적을 효과적으로 추적하기 위하여 표적의 영상 정보를 이용하여 표적 변화에 따른 표적 모델을 모델링하고, 그 모델링 정보를 이용하여 생성된 가중 함수를 근거로 상관도를 연산하여 표적 위치를 연산, 추정하도록 한 영상 추적 장치의 이동표적 움직임 추적 방법을 제공함에 그 목적이 있다.The present invention models the target model according to the target change using the image information of the target in order to effectively track the moving target on the ground in the correlation tracking method in the input image, based on the weighting function generated using the modeling information. It is an object of the present invention to provide a moving target motion tracking method of an image tracking device that calculates and estimates a target position by calculating a correlation.
상기 목적을 달성하기 위한 본 발명에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은 입력 영상 내에 탐색 영역을 설정하는 단계와, 상기 탐색 영역 내에서 표적에 따른 기준 영상과의 상관도를 연산하는 단계와, 상기 연산 결과를 근거로 표적의 위치를 추정하는 단계와, 상기 추정된 표적을 포함하는 영상의 정보를 근거로 표적 변화에 따른 표적 모델을 모델링하는 단계를 포함하여 구성된다.Moving target motion tracking method of the image tracking device according to the present invention for achieving the above object comprises the steps of setting a search region in the input image, calculating a correlation with the reference image according to the target in the search region; And estimating the position of the target based on the calculation result, and modeling a target model according to the target change based on the information of the image including the estimated target.
또한, 본 발명의 다른 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은 현재 입력 영상에서의 표적의 위치를 연산하는 단계와, 상기 연산된 표적을 포함하는 일정 크기(A2)의 표적 영상을 설정하는 단계와, 현재 입력 영상에서의 상기 표적 영상의 밝기, 이전 입력 영상에서의 상기 표적 영상의 밝기의 평균값, 및 표적에 따른 기준 영상과 현재 입력 영상에서의 상기 표적 영상의 밝기 차를 근거로 가중 함수를 생성하는 단계를 포함하여 구성된다.In addition, the moving target motion tracking method of the image tracking device according to another embodiment of the present invention, the step of calculating the position of the target in the current input image, and the target image of a predetermined size (A2) including the calculated target Based on the setting, the brightness of the target image in the current input image, the average value of the brightness of the target image in the previous input image, and the difference in brightness between the reference image according to the target and the target image in the current input image. Generating a weighting function.
본 발명에 따라 표적의 영상 정보를 이용하여 표적 변화에 따른 표적 모델을 모델링하고, 그 모델링 정보를 이용하여 생성된 가중 함수를 근거로 상관도를 연산하여 표적 위치를 연산, 추정하도록 함으로써 표적 추적의 정확성 및 정밀도를 향상시킬 수 있다.According to the present invention, the target model is modeled according to the target change by using the image information of the target, and the target position is calculated and estimated by calculating the correlation based on the weighting function generated using the modeling information. It can improve the accuracy and precision.
본 발명의 일 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은 입력 영상 내에 탐색 영역을 설정하는 단계와, 상기 탐색 영역 내에서 표적에 따른 기준 영상과의 상관도를 연산하는 단계와, 상기 연산 결과를 근거로 표적의 위치를 추정하는 단계와, 상기 추정된 표적을 포함하는 영상의 정보를 근거로 표적 변화에 따른 표적 모델을 모델링하는 단계를 포함하여 구성된다. 여기서, 상기 표적 변화에 따른 표적 모델을 모델링하는 단계는, 일정 크기(A1)의 표적 모델 연산 영역을 설정하는 단계를 포함한다. 상기 표적 변화에 따른 표적 모델을 모델링하는 단계는, 상기 표적 모델 연산 영역 내에서, 현재 입력 영상의 밝기, 이전 입력 영상에서의 밝기의 평균값, 및 현재 입력 영상에서 상기 기준 영상과의 밝기 차를 근거로 모델링한다.In accordance with another aspect of the present invention, there is provided a moving target motion tracking method of an image tracking apparatus, the method comprising: setting a search region in an input image, calculating a correlation between a reference image according to a target in the search region, and Estimating the position of the target based on the result of the calculation, and modeling a target model according to the target change based on the information of the image including the estimated target. Here, the modeling of the target model according to the target change includes setting a target model calculation region of a predetermined size (A1). The modeling of the target model according to the target change may be performed based on a brightness difference of the current input image, an average value of the brightnesses in the previous input image, and a brightness difference with the reference image in the current input image within the target model calculation region. Model with.
또한, 본 발명의 일 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은 상기 모델링된 표적 모델을 근거로 가중 함수를 생성하고, 상기 가중 함수를 근거로 상관도를 재연산하는 단계를 더 포함하여 구성된다. 여기서, 상기 가중 함수는, 상기 표적 모델 연산 영역 내에서, 현재 입력 영상의 밝기, 이전 입력 영상에서의 밝기의 평균값, 및 현재 입력 영상에서 상기 기준 영상과의 밝기 차에 각 각 일정 값들을 곱하고, 상기 곱한 값을 이진화하여 생성되는 함수이다.In addition, the moving target motion tracking method of the image tracking apparatus according to an embodiment of the present invention further comprises generating a weighting function based on the modeled target model, and recalculating the correlation based on the weighting function. It is configured by. Here, the weighting function is to multiply each constant value by the brightness difference of the current input image, the average value of the brightness of the previous input image, and the brightness difference with the reference image in the current input image within the target model calculation region, A function generated by binarizing the multiplied value.
이하 첨부한 도면을 참조하여 본 발명의 일 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법을 상세히 설명한다.Hereinafter, a moving target motion tracking method of an image tracking device according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법을 개략적으로 도시한 흐름도이다. 이에 도시한 바와 같이, 본 발명에 따른 움직임 추적 방법은 탐색 영역 설정 단계(100)와, 상관도 연산 단계(200)와, 표적 위치 추적 단계(300)와, 표적 변화 모델링 단계(400)를 포함하여 구성된다.1 is a flowchart schematically illustrating a moving target motion tracking method of an image tracking apparatus according to an exemplary embodiment of the present invention. As shown, the motion tracking method according to the present invention includes a search
상기 탐색 영역 설정 단계(100)는 입력 영상 내에 탐색 영역을 설정하는 단계로서, 영상 카메라를 통해 촬상되어 입력된 영상에서 표적을 탐색하기 위해 탐색할 위치와 크기를 결정한다.The search
상기 상관도 연산 단계(200)는 상기 탐색 영역 내에서 표적에 따른 기준 영상과의 상관도를 연산한다.The
한편, 상기 탐색 영역을 설정하지 아니하고, 전체 영상에 대하여 상관도를 연산할 수 있으나, 연산 속도 및 연산량에 있어서 탐색 영역에 따라 연산하는 것이 바람직하다.On the other hand, although the correlation can be calculated for the entire image without setting the search area, it is preferable to calculate the calculation speed and the amount according to the search area.
상기 표적 위치 추적 단계(300)는 상기 연산 결과를 근거로 표적의 위치를 추적한다. The target
즉, 탐색할 위치와 크기를 결정한 후(100), 현재 입력 영상에서 탐색 영상 내에서 기준 영상과의 상관도를 연산하여(200) 상관도가 가장 높은 곳을 현재 입력 영상에서의 표적의 위치로 선택한다(300).That is, after determining the location and size to search (100), the correlation between the reference image in the searched image is calculated from the current input image (200) and the highest correlation is used as the position of the target in the current input image. Select 300.
상기 표적 변화에 따른 표적 모델의 모델링 단계(400)는 상기 추적된 표적을 포함하는 영상의 정보를 근거로 표적 변화에 따른 표적 모델을 모델링한다. 여기서, 상기 표적 변화에 따른 표적 모델을 모델링하는 단계(400)는 일정 크기(A1)의 표적 모델 연산 영역을 설정하는 단계를 포함하고, 상기 표적 변화에 따른 표적 모델을 모델링하는 단계는, 상기 표적 모델 연산 영역 내에서, 현재 입력 영상의 밝기, 이전 입력 영상에서의 밝기의 평균값, 및 현재 입력 영상에서 상기 기준 영상과의 밝기 차를 근거로 모델링한다.The modeling of the target model according to the
한편, 상기 기준 영상은 추적하고자 하는 표적에 따라 미리 설정되게 되는데, 상기 추적된 표적의 위치를 근거로 일정 크기로 재설정될 수 있으나, 알고리즘에 따라 미리 일정한 크기로 설정된다. 이러한 기준 영상은 일반적으로 도 2에서와 같이 직사각형 형태로 선정된다. 그러나, 기준 영상을 직사각형 형태로 선정하게 되면 표적의 상관도뿐만 아니라, 변화 특성이 불규칙정인 배경에 대한 상관도 계산 값을 포함하게 되므로 불가피하게 상관 특성이 나빠지게 된다. Meanwhile, the reference image is preset according to a target to be tracked. The reference image may be reset to a predetermined size based on the position of the tracked target, but may be preset to a predetermined size according to an algorithm. Such a reference image is generally selected in a rectangular shape as shown in FIG. 2. However, when the reference image is selected in the form of a rectangle, the correlation characteristics are inevitably deteriorated because the target image includes not only the correlation of the target but also the correlation for the background having the irregular variation.
또한, 본 발명의 일 실시예에 따른 움직임 추적 방법은 상기 모델링된 표적 모델을 근거로 가중 함수를 생성하고, 상기 가중 함수를 근거로 상관도를 재연산하는 단계를 더 포함한다. 일 예로, 상기 가중 함수는, 상기 표적 모델 연산 영역 내에서, 현재 입력 영상의 밝기, 이전 입력 영상에서의 밝기의 평균값, 및 현재 입력 영상에서 상기 기준 영상과의 밝기 차에 각각 일정 값들을 곱하고, 상기 곱한 값을 이진화하여 생성되는 함수이다.In addition, the motion tracking method according to an embodiment of the present invention further includes generating a weighting function based on the modeled target model and recalculating a correlation based on the weighting function. For example, the weighting function may multiply constant values by a brightness value of a current input image, an average value of brightnesses of a previous input image, and a brightness difference with the reference image in a current input image within the target model calculation region. A function generated by binarizing the multiplied value.
현재 영상에서 상관도를 계산하여 표적의 정밀한 위치를 결정하고, 결정된 위치를 기준으로 해당 영상 정보를 이용하여 시간에 지남에 따라 변화하는 표적을 매 영상마다 모델링한다. 추적을 시작하면 기준영상의 설정 정보에 따라 탐색 영상을 결정한다(100). 표적의 위치를 추정하기 위해 기준 영상과 현재 입력 영상에서 정합법을 기반으로 표적의 위치 변위를 파악하며 이때 표적의 변화 정보를 상관도 계산에 반영하기 위해서 이전 입력 영상 처리 단계에서 생성된 표적 모델에 따른 가중 함수를 이용하여 정밀한 상관도 계산을 수행한다(200). 표적의 위치 추정이 완료되면(300) 현재 입력영상에서 표적 정보를 획득하고, 기준 영상과 현재 추적한 표적의 정보를 이용하여 시간에 지남에 따라 변화하는 표적 정보를 반영하는 표적의 모델을 매 영상마다 모델링한다(400).The precise position of the target is determined by calculating the correlation in the current image, and based on the determined position, a target that changes over time is modeled for each image using the corresponding image information. When the tracking is started, the search image is determined according to the setting information of the reference image (100). In order to estimate the position of the target, the positional displacement of the target is identified based on the matching method in the reference image and the current input image, and the target model generated in the previous input image processing step is reflected in the correlation calculation to reflect the target change information. According to the weighting function according to the precise correlation calculation is performed (200). When the estimation of the position of the target is completed (300), the target information is acquired from the current input image, and the image of the target model reflecting the target information that changes over time using the reference image and the information of the currently tracked target is recorded every image. Modeling every time (400).
수학식 1은 상관추적 방식 중 하나인 MAD(Mean Absolute Difference) 방식으로서, 상기 표적 변화 모델링 정보를 이용하여 생성된 가중 함수를 근거로 수정된 상관추적 방식을 설명하기 위한 식이다.Equation 1 is a method of Mean Absolute Difference (MAD), which is one of correlation tracking methods, and is used to describe a modified correlation tracking method based on a weighting function generated using the target change modeling information.
여기서, S(x,y)는 탐색 영역 영상이고, T(x,y)는 기준 영상이다. 또한, ω(x,y)는 표적 모델에 따른 가중 함수이다.Here, S (x, y) is a search region image and T (x, y) is a reference image. Also, ω (x, y) is a weighting function according to the target model.
실제 외란이 존재하는 지상 환경에서는 표적의 이동이나 변형으로 인해 표적의 형태와 크기, 배경이 지속적으로 변하게 되며, 조명 등의 조건의 변화로 각 화소의 밝기가 불규칙적으로 변화하기도 한다. 아울러, 상관 추적 연산 중에 부 화 소(Sub-pixel) 오차도 지속적으로 누적되게 된다. 본 발명은 기존 상관추적 방식에 있어서 표적의 형태변화에 따른 상관도 저하를 개선하기 위하여 표적의 밝기 정보와 형태 정보를 이용하여 표적 영상에 대하여 모델링하고 예측하여 추적 중 표적의 위치 추정을 위한 상관도 연산의 가중 함수로 적용한다.In the ground environment where actual disturbance exists, the shape, size, and background of the target are continuously changed due to the movement or deformation of the target, and the brightness of each pixel may be changed irregularly due to the change of the lighting conditions. In addition, sub-pixel errors continue to accumulate during correlation tracking operations. The present invention modeled and predicted the target image using the brightness information and the shape information of the target in order to improve the correlation deterioration according to the shape change of the target in the conventional correlation tracking method, the correlation for the estimation of the position of the target during tracking Applied as weighting function of operation.
한편, 상기 표적 모델 연산 영역의 크기(A1)는 상기 기준 영상의 크기, 및 표적의 최대 이동 변위를 근거로 설정된다. 이때 표적 위치 중심의 정렬을 위해 최대 연산 가능 영역을 고려하여 표적 영상의 크기가 결정된다.Meanwhile, the size A1 of the target model calculation region is set based on the size of the reference image and the maximum displacement of the target. In this case, the size of the target image is determined in consideration of the maximum operable area for alignment of the target position center.
도 2는 기준 영상 및 표적 위치로부터 표적 변화에 따른 표적 모델을 모델링하는 동작을 설명하기 위한 도이고, 도 3은 표적 변화 모델링에 따른 가중 함수를 생성하는 방법을 개략적으로 도시한 도이다. 또한, 수학식 2는 가중 함수를 생성하는 것을 수식으로 표현한 것이다.FIG. 2 is a diagram illustrating an operation of modeling a target model according to a target change from a reference image and a target position, and FIG. 3 is a diagram schematically illustrating a method of generating a weighting function according to the target change modeling. In addition, Equation 2 expresses the generation of the weighting function as an expression.
여기서, I(k,l)은 현재 입력 영상에서의 밝기이고, A(k,l)은 이전 입력 영상들의 밝기의 평균이며, D(k,l)은 현재 입력 영상에서의 표적의 위치가 일치할 때 기준 영상과의 밝기의 차이다. 또한, 
수학식 2에서, 가중 함수 ω(k,l)에서 표적이 존재하는 부분에서는 값이 크 고 표적을 제외한 부분에선 값이 작은 특징을 가질 것이다.In Equation 2, the weighting function ω (k, l) will have a large value in the part where the target exists and a small value in the part except the target.
표적과 배경을 영상의 특성에 따라 자동적으로 분류하기 위한 표적 추출 방식은 주지의 기술이며, 특히 도 5는 표적 추출 방식 중 하나로서 Otsu 방식을 사용하였다. 도 5는 Otsu 방식을 이용하여 표적과 배경 영역을 이진화한 결과이다. 2개의 클러스터(Cluster)로 구분하는 Otsu 방식은 일반적으로 연산시간이 짧고, 표적 추출 효과가 뛰어나다.The target extraction method for automatically classifying the target and the background according to the characteristics of the image is a well-known technique. In particular, FIG. 5 uses the Otsu method as one of the target extraction methods. 5 is a result of binarizing a target and a background region using the Otsu method. The Otsu method, which is divided into two clusters, generally has a short computation time and an excellent target extraction effect.
도 3은 수학식 2를 도식화한 것으로서, 현재 입력 영상에서의 표적 영상의 밝기에 상수 
수학식 2 및 도 3, 4를 함께 참조하면, I(k,l)은 현재 영상 밝기(도 4의 (A))로 표적 모델 연산 영역 내에서 현재 입력 영상의 밝기 특성을 나타낸다. A(k,l)은 상기 표적 모델 연산 영역 내에서 이전 영상 밝기의 평균(도 4의 (B))으로 표적의 점진적인 변화 과정을 반영하기 위한 요소이다. A(k,l)은 평균값을 취함으로써 추적이 진행됨에 따라 배경 등 외란의 영향으로 인한 표적의 우연한 변화에 영향을 받지 않고, 표적이 실제로 존재하면 표적 내에 존재하는 화소의 평균값만 점차적으로 커지게 되어 표적의 실제 변화를 가중 함수에 반영할 수 있다. D(k,l)은 표적 모델 연산 영역 내에서 기준 영상과 현재 입력 영상에서 추정한 표적의 위 치가 일치할 때 두 영상의 차이(도 4의 (C))이고, 형태와 크기 변화를 나타내는 값이다. 기준 영상과 표적의 밝기 차이가 크다면 D(k,l)의 값이 크고, 표적의 형태가 기준 영상의 표적에 비하여 변하였다면 변한 형태의 외각을 중심으로 D(k,l)의 값이 커지게 된다.Referring to Equation 2 and FIGS. 3 and 4 together, I (k, l) represents the brightness characteristic of the current input image within the target model calculation region as the current image brightness (A of FIG. 4). A (k, l) is an element for reflecting the gradual change of the target as the average of the brightness of the previous image (FIG. 4B) in the target model calculation region. By taking the average value of A (k, l), as the tracking proceeds, it is not affected by the accidental change of the target due to disturbance such as the background, and if the target is actually present, only the average value of the pixels in the target is gradually increased. The actual change of the target can then be reflected in the weighting function. D (k, l) is the difference between the two images (C in Fig. 4) when the target position estimated from the reference image and the current input image coincides within the target model calculation region, and represents a change in shape and size. to be. If the brightness difference between the reference image and the target is large, the value of D (k, l) is large. If the shape of the target is changed from the target of the reference image, the value of D (k, l) is large around the outer shape of the changed shape. You lose.
본 발명의 다른 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은, 현재 입력 영상에서의 표적의 위치를 연산하는 단계와, 상기 연산된 표적을 포함하는 일정 크기(A2)의 표적 영상을 설정하는 단계와, 현재 입력 영상에서의 상기 표적 영상의 밝기, 이전 입력 영상에서의 상기 표적 영상의 밝기의 평균값, 및 표적에 따른 기준 영상과 현재 입력 영상에서의 상기 표적 영상의 밝기 차를 근거로 가중 함수를 생성하는 단계를 포함하여 구성된다.In accordance with another aspect of the present invention, there is provided a moving target motion tracking method of an image tracking apparatus, comprising: calculating a position of a target in a current input image, and setting a target image having a predetermined size (A2) including the calculated target; And based on the brightness of the target image in the current input image, the average value of the brightness of the target image in the previous input image, and the difference in brightness between the reference image according to the target and the target image in the current input image. And creating a function.
또한, 본 발명의 다른 실시예에 따른 움직임 추적 방법은 상기 가중 함수를 근거로 상기 기준 영상과 현재 입력 영상의 상관도를 연산하는 단계를 더 포함한다. 여기서, 상기 표적 영상의 크기(A2)는 상기 기준 영상의 크기, 및 표적의 최대 이동 변위를 근거로 설정된다.In addition, the motion tracking method according to another embodiment of the present invention further includes calculating a correlation between the reference image and the current input image based on the weighting function. Here, the size A2 of the target image is set based on the size of the reference image and the maximum moving displacement of the target.
도 1 내지 도 5를 함께 참조하여 설명한다. 상기 일 실시예에서 설명된 내용은 그에 갈음하고, 이하 생략한다.It demonstrates with reference to FIG. 1 thru | or FIG. Content described in the above embodiment is replaced with, and will be omitted below.
상기 일 실시예에서는 표적 모델 연산 영역이 설정되는 반면, 다른 실시예에서는 연산 추정된 표적의 위치에 따라 일정 크기(A2)의 표적 영상을 생성하도록 하고, 상기 표적 영상과 기준 영상의 정보를 이용하여 표적 변화에 따른 표적 모델을 모델링하거나 가중 함수를 생성한다.In one embodiment, the target model calculation region is set, while in another embodiment, a target image having a predetermined size (A2) is generated according to the position of the operation estimated target, and using the information of the target image and the reference image. Model the target model as the target changes or generate weighting functions.
상기 현재 입력 영상에서의 표적의 위치를 추적하는 단계는, 표적에 따른 기준 영상을 이용하여 입력 영상과의 상관도를 이용하는 방법 등에 의해 표적의 위치를 연산한다.In the tracking of the position of the target in the current input image, the position of the target is calculated by using a correlation with the input image using a reference image according to the target.
상기 연산된 표적을 포함하는 일정 크기(A2)의 표적 영상을 설정하는 단계는, 도 2에서 보인 바와 같이, 표적의 위치를 중심점으로 표적 영상을 설정한다. 여기서, 상기 표적 영상의 크기는 상기 기준 영상의 크기, 및 표적의 최대 이동 변위를 근거로 설정된다.In setting the target image having a predetermined size A2 including the calculated target, as shown in FIG. 2, the target image is set based on the position of the target. Here, the size of the target image is set based on the size of the reference image and the maximum displacement of the target.
상기 현재 입력 영상에서의 상기 표적 영상의 밝기, 이전 입력 영상에서의 상기 표적 영상의 밝기의 평균값, 및 표적에 따라 설정된 일정 크기(A2)의 기준 영상과 현재 입력 영상에서의 상기 표적 영상의 밝기 차를 근거로 가중 함수를 생성하는 단계는 수학식 2 및 도 3, 4에 설명한 바와 같이 표적 변화 모델링에 따른 가중 함수를 생성한다.The difference between the brightness of the target image in the current input image, the average value of the brightness of the target image in the previous input image, and the brightness difference between the reference image of a predetermined size (A2) set according to the target and the target image in the current input image. The step of generating a weighting function based on Equation 2 generates a weighting function according to the target change modeling as described in Equation 2 and FIGS. 3 and 4.
상기 기준 영상은 추적하고자 하는 표적에 따라 미리 설정되게 되는데, 상기 추적된 표적의 위치를 근거로 일정 크기로 재설정될 수 있으나, 알고리즘에 따라 일정한 크기로 설정된다. 이러한 기준 영상은 일반적으로 도 2에서와 같이 직사각형 형태로 선정된다. 즉, 상기 기준 영상은 표적의 종류나 형태에 따라 미리 설정될 수도 있고, 표적 이동에 따라 표적을 더욱 정밀하게 찾기 위해 기준 영상을 변화시킬 수 있다.The reference image is preset according to a target to be tracked. The reference image may be reset to a predetermined size based on the tracked target position, but is set to a constant size according to an algorithm. Such a reference image is generally selected in a rectangular shape as shown in FIG. 2. That is, the reference image may be preset according to the type or shape of the target, or the reference image may be changed to find the target more precisely according to the target movement.
또한, 상기 표적 영상은 현재 입력 영상에서 추적한 표적의 위치를 중심으로 기준 영상의 크기와 표적의 최대 이동 변위를 고려하여 크기가 설정 된다. 이때 표 적 위치 중심의 정렬을 위해 최대 연산 가능 영역을 고려하여 표적 영상의 크기가 결정된다.In addition, the target image is set in consideration of the size of the reference image and the maximum displacement of the target based on the position of the target tracked in the current input image. At this time, the size of the target image is determined in consideration of the maximum arithmetic area for alignment of the target position center.
상기 가중 함수를 근거로 상기 기준 영상과 현재 입력 영상의 상관도를 연산하는 단계는, 수학식 1에서 설명한 바와 같이, 상관도를 연산함으로써, 표적의 움직임을 정확히 추적할 수 있도록 한다.Computing the correlation between the reference image and the current input image based on the weighting function, as described in Equation 1, by calculating the correlation, it is possible to accurately track the movement of the target.
이상에서 설명한 바와 같이, 본 발명에 따른 이동표적 움직임 추적 방법은, 매 입력 영상마다 표적의 밝기, 밝기 평균, 밝기 차 정보를 이용하여 표적 변화에 따른 표적 모델을 모델링하고 표적의 변화를 상관도 계산 시 적용하여 표적의 움직임 추정 정확도를 높이고, 표적 모델링 시 표적과 배경을 분리하여 상관도 계산에 적용함으로써 주변 지상 배경이나 클러터의 간섭을 감소시켜 정밀한 추적이 가능하게 할 수 있다.As described above, the moving target motion tracking method according to the present invention models the target model according to the target change using the brightness, the average brightness, and the brightness difference information of the target for each input image, and calculates the correlation of the target change. When the target model is applied, the accuracy of motion estimation can be increased, and the target and the background can be separated and applied to the correlation calculation to reduce the interference of the surrounding ground background or clutter to enable accurate tracking.
도 1은 본 발명의 일 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법을 개략적으로 도시한 흐름도;1 is a flowchart schematically illustrating a moving target motion tracking method of an image tracking apparatus according to an embodiment of the present invention;
도 2는 도 1의 기준 영상 및 표적 위치로부터 표적 변화에 따른 표적 모델을 모델링하는 동작을 설명하기 위한 도;FIG. 2 is a diagram for describing an operation of modeling a target model according to a target change from the reference image and the target position of FIG. 1;
도 3은 도 2의 표적 모델에 따른 가중 함수를 생성하는 방법을 개략적으로 도시한 도;3 schematically illustrates a method of generating a weighting function according to the target model of FIG. 2;
도 4는 도 3의 가중 함수의 생성 동작을 설명하기 위한 도;4 is a view for explaining the operation of generating the weighting function of FIG.
도 5는 표적 모델에 따른 가중 함수를 적용하여 표적과 배경의 분리 동작을 설명하기 위한 도이다.5 is a diagram for explaining a separation operation between a target and a background by applying a weighting function according to the target model.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080100216A KR100994366B1 (en) | 2008-10-13 | 2008-10-13 | Method for tracking a movement of a moving target of image tracking apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080100216A KR100994366B1 (en) | 2008-10-13 | 2008-10-13 | Method for tracking a movement of a moving target of image tracking apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100041170A KR20100041170A (en) | 2010-04-22 |
| KR100994366B1 true KR100994366B1 (en) | 2010-11-16 |
Family
ID=42216958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080100216A KR100994366B1 (en) | 2008-10-13 | 2008-10-13 | Method for tracking a movement of a moving target of image tracking apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100994366B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404653B1 (en) | 2013-03-07 | 2014-06-09 | 국방과학연구소 | Template Reconstruction Method for Correlation Video Tracking |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101429271B1 (en) * | 2013-03-28 | 2014-08-08 | 국방과학연구소 | Target tracking method and target tracking apparatus using the same |
| KR102060119B1 (en) * | 2018-11-13 | 2019-12-27 | 국방과학연구소 | Electro optical tracking system and method of controlling same |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100219542B1 (en) | 1997-03-20 | 1999-09-01 | 윤종용 | Motion detecting method and apparatus for an image processing system |
| KR100220837B1 (en) | 1996-11-15 | 1999-09-15 | 전주범 | Apparatus and method of target tracking in image telephone |
| KR100220838B1 (en) | 1996-11-15 | 1999-09-15 | 전주범 | Apparatus and method of target tracking in image telephone |
-
2008
- 2008-10-13 KR KR1020080100216A patent/KR100994366B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100220837B1 (en) | 1996-11-15 | 1999-09-15 | 전주범 | Apparatus and method of target tracking in image telephone |
| KR100220838B1 (en) | 1996-11-15 | 1999-09-15 | 전주범 | Apparatus and method of target tracking in image telephone |
| KR100219542B1 (en) | 1997-03-20 | 1999-09-01 | 윤종용 | Motion detecting method and apparatus for an image processing system |
Non-Patent Citations (1)
| Title |
|---|
| 이활석, 정직한, 박동조, 표적의 형태 변화 특성을 이용한 클러터 제거 기법 및 정합 추적 시시템, 한국군사과학기술학회, pp. 363-366, 2005년.* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404653B1 (en) | 2013-03-07 | 2014-06-09 | 국방과학연구소 | Template Reconstruction Method for Correlation Video Tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100041170A (en) | 2010-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2858008B1 (en) | Target detecting method and system | |
| JP6065427B2 (en) | Object tracking method and object tracking apparatus | |
| TWI536318B (en) | Depth measurement quality enhancement | |
| JP4663966B2 (en) | Method and apparatus for tracking an object from a video signal | |
| Fu et al. | Centroid weighted Kalman filter for visual object tracking | |
| KR101681538B1 (en) | Image processing apparatus and method | |
| CN105913028B (en) | Face + + platform-based face tracking method and device | |
| JP6186834B2 (en) | Target tracking device and target tracking program | |
| US8395659B2 (en) | Moving obstacle detection using images | |
| KR20120138627A (en) | A face tracking method and device | |
| JP2008538832A (en) | Estimating 3D road layout from video sequences by tracking pedestrians | |
| JP6454984B2 (en) | Hand position determination method and device based on depth image | |
| KR100994367B1 (en) | Method for tracking a movement of a moving target of image tracking apparatus | |
| KR20130082216A (en) | Apparatus and method for tracking human hand by using color features | |
| KR20110021500A (en) | Method for real-time moving object tracking and distance measurement and apparatus thereof | |
| US9025022B2 (en) | Method and apparatus for gesture recognition using a two dimensional imaging device | |
| Makino et al. | Moving-object detection method for moving cameras by merging background subtraction and optical flow methods | |
| KR100994366B1 (en) | Method for tracking a movement of a moving target of image tracking apparatus | |
| CN113379789B (en) | Moving target tracking method in complex environment | |
| JP2012181710A (en) | Object tracking device, method and program | |
| JP6558831B2 (en) | Object tracking apparatus, method and program | |
| KR102190297B1 (en) | Method for tracking air-targets using correlation filter and system thereof | |
| JP7142468B2 (en) | mobile tracking device | |
| KR101436695B1 (en) | Apparatus and method for detecting finger using depth image | |
| CN107067411B (en) | Mean-shift tracking method combined with dense features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20131101 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20141104 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20151102 Year of fee payment: 6 |