KR20100041172A - Method for tracking a movement of a moving target of image tracking apparatus - Google Patents
Method for tracking a movement of a moving target of image tracking apparatus Download PDFInfo
- Publication number
- KR20100041172A KR20100041172A KR1020080100218A KR20080100218A KR20100041172A KR 20100041172 A KR20100041172 A KR 20100041172A KR 1020080100218 A KR1020080100218 A KR 1020080100218A KR 20080100218 A KR20080100218 A KR 20080100218A KR 20100041172 A KR20100041172 A KR 20100041172A
- Authority
- KR
- South Korea
- Prior art keywords
- target
- image
- reference image
- change
- size
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Abstract
Description
본 발명은 영상 추적 장치의 이동표적 움직임 추적 방법에 관한 것으로서, 더욱 상세하게는 표적의 영상 정보를 이용하여 표적의 위치를 정밀하게 추적할 수 있도록 함에 있어서 표적에 따른 기준 영상을 변경할 수 있는 영상 추적 장치의 이동표적 움직임 추적 방법에 관한 것이다.The present invention relates to a moving target motion tracking method of an image tracking device, and more particularly, in order to precisely track a location of a target using image information of a target, an image tracking that can change a reference image according to a target. The present invention relates to a moving target motion tracking method of a device.
영상 추적 장치는 지상이나 대공에서 움직이는 표적 또는 물체를 포착하여 추적하기 위한 장치로서, 영상 카메라를 통해 입력되는 영상에 추적 방식을 적용하여 표적의 이동 거리를 추정하고, 이 추정된 이동 거리를 근거로 움직임을 추적한다.An image tracking device is a device for capturing and tracking a moving target or object on the ground or airspace. The tracking device is applied to an image input through an image camera to estimate a moving distance of a target, and based on the estimated moving distance, Track the movement.
이러한 추적 방식의 하나로서 상관추적 방식은, 시간이 지남에 따라 표적의 영상 특성이 변하지 않는다는 가정 하에서 이전 입력 영상의 표적과 현재 입력 영상의 표적의 이동시 발생되는 밝기의 시간적, 공간적 변화량 사이의 상관관계를 계산하여 표적의 위치를 추적하는 방식이다. 이러한 상관추적 방식은 비교적 복잡한 배경에서도 추적 성능이 유지된다.As one of the tracking methods, the correlation tracking method is a correlation between the temporal and spatial variation of brightness generated when the target of the previous input image and the target of the current input image are moved under the assumption that the image characteristics of the target do not change over time. It is a way to track the location of the target by calculating. This correlation tracking method maintains tracking performance even in a relatively complex background.
그러나, 실제로 영상 추적 장치가 사용되는 지상 환경에서는 표적과의 거리가 가까워 영상에서의 표적 변화가 빈번하며, 지상 주변 배경에 다수의 클러터(clutter)가 존재해 추적을 방해하기도 한다. 지상 배경의 표적은 항공이나 해상 표적과 비교해 표적과의 거리가 가까워 영상에서의 표적 변화가 빈번하여 추적 할수록 기준 영상과 현재 입력 영상의 표적의 유사성이 떨어진다. 그러므로 일반적인 상관추적 방식을 적용하면 추적을 지속할수록 기준 영상과 입력 영상의 표적 차이가 커져 추적 오차가 누적되어 추적에 실패하는 문제점이 있다.However, in the ground environment where the image tracking device is actually used, the distance to the target is so close that the target changes frequently in the image, and a large number of clutters exist in the background around the ground, which hinders the tracking. The target on the ground background is closer to the target than the air or sea target, so the more frequently the target change in the image is tracked, the less similar the target is between the reference image and the current input image. Therefore, when the general correlation tracking method is applied, the tracking difference accumulates as the target difference between the reference image and the input image increases as the tracking continues, and tracking fails.
한편, 표적의 움직을 추적하는 중, 기준 영상과 입력 영상의 표적이 차이가 커지면 표적과 유사한 새로운 기준 영상을 선택하는 것이 바람직하다. 종래의 상관추적 방식에서는 기준 영상을 갱신하는 경우에 표적의 위치 추정단계에서 연산한 표적의 위치를 기준으로 매 입력 영상마다 기준 영상을 갱신한다. 그러나, 이경우 상관도 연산에서 필연적으로 생기는 부화소 오차(Sub-pixel error)를 유발하게 되고, 추적이 지속되면 오차가 누적되어 추적에 실패하는 문제점이 있다.On the other hand, while tracking the movement of the target, it is preferable to select a new reference image similar to the target if the target difference between the reference image and the input image increases. In the conventional correlation tracking method, when the reference image is updated, the reference image is updated for every input image based on the target position calculated in the target position estimation step. However, in this case, a sub-pixel error is inevitably generated in the correlation calculation, and if the tracking continues, the error accumulates and tracking fails.
본 발명은 기준 영상 갱신 알고리즘을 제안하여 상기 종래 기술의 문제점을 극복함에 그 목적이 있다.The present invention aims to overcome the problems of the prior art by proposing a reference image update algorithm.
본 발명은 입력 영상에서 상관추적 방식으로 지상에서의 이동표적을 효과적으로 추적하기 위하여 표적의 영상 정보를 이용하여 표적 변화에 따른 표적 모델을 모델링하고, 그 모델링 정보를 이용하여 기준 영상을 갱신할 수 있는 영상 추적 장치의 이동표적 움직임 추적 방법을 제공함에 그 다른 목적이 있다.The present invention can model the target model according to the target change by using the image information of the target to effectively track the moving target on the ground in the correlation tracking method in the input image, and can update the reference image using the modeling information Another object of the present invention is to provide a moving target motion tracking method of an image tracking device.
본 발명은 표적의 크기와 형태의 변화에 따라 기준영상을 갱신함으로써 표적 주변의 클러터가 표적의 위치추정에 미치는 영향을 줄이고, 연산량 및 연산시간을 감소시키는 영상 추적 장치의 이동표적 움직임 추적 방법을 제공함에 또 다른 목적이 있다.The present invention provides a moving target motion tracking method of an image tracking apparatus which reduces the influence of clutter around a target on the target position estimation, and reduces the amount of computation and time by updating the reference image according to the change of the size and shape of the target. There is another purpose in providing.
본 발명에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은 입력 영상 내에 탐색 영역을 설정하는 단계와, 상기 탐색 영역 내에서 표적에 따른 기준 영상과의 상관도를 연산하는 단계와, 상기 연산 결과를 근거로 표적의 위치를 추정하는 단계와, 상기 추정된 표적을 포함하는 영상의 정보를 근거로 표적 변화에 따른 표적 모델을 모델링하는 단계와, 상기 모델링된 표적 모델을 근거로 가중 함수를 생성하고, 상기 가중 함수를 근거로 상관도를 재연산하는 단계와, 상기 재연산된 상관도를 근거로 표적의 위치를 추정하는 단계와, 상기 기준 영상의 표적과 상기 추 정된 표적을 비교하는 단계와, 상기 비교 결과를 근거로 상기 기준 영상을 변경하는 단계를 포함하여 구성된다.In accordance with another aspect of the present invention, there is provided a moving target motion tracking method of an image tracking apparatus, the method comprising: setting a search region in an input image, calculating a correlation between a reference image according to a target in the search region, and based on the calculation result. Estimating the location of the target, modeling a target model according to a target change based on information of an image including the estimated target, generating a weighting function based on the modeled target model, and Recalculating a correlation based on a weighting function, estimating a position of a target based on the recalculated correlation, comparing a target of the reference image with the estimated target, and comparing And changing the reference image based on the result.
본 발명에 따라 입력 영상에서 상관추적 방식으로 지상에서의 이동표적을 효과적으로 추적하기 위하여 표적의 영상 정보를 이용하여 표적 변화에 따른 표적 모델을 모델링하고, 그 모델링 정보를 이용하여 기준 영상을 자동으로 갱신할 수 있도록 함으로써 이동표적의 움직임을 더욱 정밀하고 정확하게 추정할 수 있다.According to the present invention, in order to effectively track the moving target on the ground in a correlation tracking method in the input image, the target model is modeled according to the target change by using the image information of the target, and the reference image is automatically updated using the modeling information. By doing so, the movement of the moving target can be estimated more precisely and accurately.
본 발명에 따라 표적의 크기와 형태의 변화에 따라 기준영상을 갱신함으로써 표적 주변의 클러터가 표적의 위치추정에 미치는 영향을 줄이고, 연산량 및 연산시간을 줄일 수 있다.According to the present invention, by updating the reference image according to the change in the size and shape of the target, it is possible to reduce the influence of the clutter around the target on the position estimation of the target, and to reduce the amount of computation and the computation time.
이하 첨부한 도 1을 참조하여 본 발명에 따른 영상 추적 장치의 이동표적 움직임 추적 방법을 상세히 설명한다.Hereinafter, a moving target motion tracking method of an image tracking apparatus according to the present invention will be described in detail with reference to FIG. 1.
본 발명의 일 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은 입력 영상 내에 탐색 영역을 설정하는 단계(100)와, 상기 탐색 영역 내에서 표적에 따른 기준 영상과의 상관도를 연산하는 단계(200)와, 상기 연산 결과를 근거로 표적의 위치를 추정하는 단계(300)와, 상기 기준 영상의 표적과 상기 추정된 표적을 비교하는 단계(500)와, 상기 비교 결과를 근거로 상기 기준 영상을 변경하는 단계(600)를 포함하여 구성된다.In accordance with another aspect of the present invention, there is provided a moving target motion tracking method of an image tracking apparatus, the method comprising: setting a search region in an input image (100), and calculating a correlation between a reference image according to a target in the search region; (200), estimating a position of a target based on the calculation result (300), comparing a target of the reference image with the estimated target (500), and based on the comparison result It comprises a
여기서, 상기 비교하는 단계(500)는 상기 기준 영상의 표적과 상기 추정된 표적의 차 영상을 근거로 표적 형태의 변화를 판단하는 단계(510)를 포함한다. 또한, 상기 표적 형태의 변화를 판단하는 단계(510)는 상기 차 영상을 복수의 영역으로 구분하고, 상기 영역에서의 부호 변화를 이용하여 상기 표적 형태의 변화를 판단한다.Here, the comparing
또한, 상기 비교하는 단계(500)는 상기 기준 영상의 표적의 면적과 상기 추정된 표적의 면적을 근거로 표적 크기의 변화를 판단하는 단계(530)를 더 포함한다. 또한, 상기 표적 크기의 변화를 판단하는 단계(530)는 상기 기준 영상의 표적의 면적에 대한 상기 기준 영상의 표적과 상기 추정된 표적의 차 영상의 면적의 면적비율을 근거로 상기 표적 크기의 변화를 판단한다.In addition, the comparing
상기 탐색 영역 설정 단계(100)는 입력 영상 내에 탐색 영역을 설정하는 단계로서, 영상 카메라를 통해 촬상되어 입력된 영상에서 표적을 탐색하기 위해 탐색할 위치와 크기를 결정한다.The search
상기 상관도 연산 단계(200)는 상기 탐색 영역 내에서 표적에 따른 기준 영상과의 상관도를 연산한다.The
한편, 상기 탐색 영역을 설정하지 아니하고, 전체 영상에 대하여 상관도를 연산할 수 있으나, 연산 속도 및 연산량에 있어서 탐색 영역에 따라 연산하는 것이 바람직하다.On the other hand, although the correlation can be calculated for the entire image without setting the search area, it is preferable to calculate the calculation speed and the amount according to the search area.
상기 표적 위치 추적 단계(300)는 상기 연산 결과를 근거로 표적의 위치를 추적한다. The target
즉, 탐색할 위치와 크기를 결정한 후(100), 현재 입력 영상에서 탐색 영상 내에서 기준 영상과의 상관도를 연산하여(200) 상관도가 가장 높은 곳을 현재 입력 영상에서의 표적의 위치로 선택한다(300).That is, after determining the location and size to search (100), the correlation between the reference image in the searched image is calculated from the current input image (200) and the highest correlation is used as the position of the target in the current input image. Select (300).
상기 비교하는 단계(500)는 기준 영상의 표적과 상기 표적의 위치로 선택되어 추정된 표적에 있어서의 형태와 크기를 비교한다.The comparing
본 발명의 다른 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은 입력 영상 내에 탐색 영역을 설정하는 단계(100)와, 상기 탐색 영역 내에서 표적에 따른 기준 영상과의 상관도를 연산하는 단계(200)와, 상기 연산 결과를 근거로 표적의 위치를 추정하는 단계(300)와, 상기 추정된 표적을 포함하는 영상의 정보를 근거로 표적 변화에 따른 표적 모델을 모델링하는 단계(400)와, 상기 모델링된 표적 모델을 근거로 가중 함수를 생성하고, 상기 가중 함수를 근거로 상관도를 재연산하는 단계(미도시)와, 상기 재연산된 상관도를 근거로 표적의 위치를 추정하는 단계(미도시)와, 상기 기준 영상의 표적과 상기 추정된 표적을 비교하는 단계(500)와, 상기 비교 결과를 근거로 상기 기준 영상을 변경하는 단계(600)를 포함하여 구성된다.In accordance with another aspect of the present invention, there is provided a moving target motion tracking method of an image tracking apparatus, the method comprising: setting a search region in an input image (100), and calculating a correlation between a reference image according to a target in the search region; (200), estimating the position of the target based on the calculation result (300), modeling the target model according to the target change based on the information of the image including the estimated target (400); Generating a weighting function based on the modeled target model, recalculating a correlation based on the weighted function (not shown), and estimating a position of a target based on the recalculated correlation. (Not shown), comparing the target of the reference image with the estimated target (500), and changing the reference image based on the comparison result (600).
여기서, 상기 비교하는 단계(500)는 상기 기준 영상의 표적과 상기 추정된 표적의 차 영상을 근거로 표적 형태의 변화를 판단하는 단계(510)를 포함한다. 또한, 상기 표적 형태의 변화를 판단하는 단계(510)는 상기 차 영상을 복수의 영역으로 구분하고, 상기 영역에서의 부호 변화를 이용하여 상기 표적 형태의 변화를 판단한다.Here, the comparing
또한, 상기 비교하는 단계(500)는 상기 기준 영상의 표적의 면적과 상기 추 정된 표적의 면적을 근거로 표적 크기의 변화를 판단하는 단계(530)를 더 포함한다. 또한, 상기 표적 크기의 변화를 판단하는 단계(530)는 상기 기준 영상의 표적의 면적에 대한 상기 기준 영상의 표적과 상기 추정된 표적의 차 영상의 면적의 면적비율을 근거로 상기 표적 크기의 변화를 판단한다.In addition, the comparing
상기 기준 영상을 변경하는 단계(600)는 현재 표적 모델의 표적의 크기를 근거로 상기 변경할 기준 영상의 크기를 결정하는 단계(610)와, 상기 결정된 크기로 상기 기준 영상을 갱신하는 단계(630)를 포함한다.The changing of the reference image (600) includes determining a size of the reference image to be changed based on the size of the target of the current target model (610) and updating the reference image with the determined size (630). It includes.
본 발명의 다른 실시예에 따른 영상 추적 장치의 이동표적 움직임 추적 방법은 상기 변경된 기준 영상을 근거로 표적 변화에 따른 표적 모델을 모델링하는 단계(650)를 더 포함한다.The moving target motion tracking method of the image tracking apparatus according to another embodiment of the present invention further includes the
상기 탐색 영역 설정 단계(100)는 입력 영상 내에 탐색 영역을 설정하는 단계로서, 영상 카메라를 통해 촬상되어 입력된 영상에서 표적을 탐색하기 위해 탐색할 위치와 크기를 결정한다.The search
상기 상관도 연산 단계(200)는 상기 탐색 영역 내에서 표적에 따른 기준 영상과의 상관도를 연산한다.The
한편, 상기 탐색 영역을 설정하지 아니하고, 전체 영상에 대하여 상관도를 연산할 수 있으나, 연산 속도 및 연산량에 있어서 탐색 영역에 따라 연산하는 것이 바람직하다.On the other hand, although the correlation can be calculated for the entire image without setting the search area, it is preferable to calculate the calculation speed and the amount according to the search area.
상기 표적 위치 추적 단계(300)는 상기 연산 결과를 근거로 표적의 위치를 추적한다.The target
즉, 탐색할 위치와 크기를 결정한 후(100), 현재 입력 영상에서 탐색 영상 내에서 기준 영상과의 상관도를 연산하여(200) 상관도가 가장 높은 곳을 현재 입력 영상에서의 표적의 위치로 선택한다(300).That is, after determining the location and size to search (100), the correlation between the reference image in the searched image is calculated from the current input image (200) and the highest correlation is used as the position of the target in the current input image. Select (300).
상기 표적 변화에 따른 표적 모델의 모델링 단계(400)는 상기 추적된 표적을 포함하는 영상의 정보를 근거로 표적 변화를 모델링한다. 여기서, 상기 표적 변화를 모델링하는 단계(400)는 일정 크기(A1)의 표적 모델 연산 영역을 설정하는 단계를 포함하고, 상기 표적 변화에 따른 표적 모델을 모델링하는 단계는, 상기 표적 모델 연산 영역 내에서, 현재 입력 영상의 밝기, 이전 입력 영상에서의 밝기의 평균값, 및 현재 입력 영상에서 상기 기준 영상과의 밝기 차를 근거로 모델링한다.The modeling of the target model according to the
현재 영상에서 상관도를 계산하여 표적의 정밀한 위치를 결정하고, 결정된 위치를 기준으로 해당 영상 정보를 이용하여 시간에 지남에 따라 변화하는 표적을 매 영상마다 모델링한다. 추적을 시작하면 기준영상의 설정 정보에 따라 탐색 영상을 결정한다(100). 표적의 위치를 추정하기 위해 기준 영상과 현재 입력 영상에서 정합법을 기반으로 표적의 위치 변위를 파악하며 이때 표적의 변화 정보를 상관도 계산에 반영하기 위해서 이전 입력 영상 처리 단계에서 생성된 표적 모델에 따른 가중 함수를 이용하여 정밀한 상관도 계산을 수행한다(200). 표적의 위치 추정이 완료되면(300) 현재 입력영상에서 표적 정보를 획득하고, 기준 영상과 현재 추적한 표적의 정보를 이용하여 시간에 지남에 따라 변화하는 표적 정보를 반영하는 표적의 모델을 매 영상마다 모델링한다(400).The precise position of the target is determined by calculating the correlation in the current image, and based on the determined position, a target that changes over time is modeled for each image using the corresponding image information. When the tracking is started, the search image is determined according to the setting information of the reference image (100). In order to estimate the position of the target, the positional displacement of the target is identified based on the matching method in the reference image and the current input image, and the target model generated in the previous input image processing step is reflected in the correlation calculation to reflect the target change information. According to the weighting function according to the precise correlation calculation is performed (200). When the estimation of the position of the target is completed (300), the target information is acquired from the current input image, and the image of the target model reflecting the target information that changes over time using the reference image and the information of the currently tracked target is recorded every image. Modeling every time (400).
이하 첨부한 도면을 참조하여 본 발명에 따른 영상 추적 장치의 이동표적 움 직임 추적 방법에 있어서의 기준 영상 변경 방법을 상세히 설명한다.Hereinafter, a method of changing a reference image in a moving target movement tracking method of an image tracking apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
도 1 및 도 2를 함께 참조하면, 추적 시작 시 탐색 영상의 영역을 설정하고(100), 기준 영상과 현재 입력 영상에서의 상관도를 연산하여(200), 이를 기반으로 표적의 위치 변위를 추정한다(300). 표적의 위치 추정이 완료되어, 현재 입력 영상에서 표적 정보를 획득하게 되면 기준 영상과 현재 추적한 표적의 정보를 이용하여 시간 경과에 따른 표적 정보의 변화를 나타내는 표적 모델을 모델링한다(400). 상기 표적 모델을 이용하여 기준 영상이 포함하는 표적과 입력 영상의 표적의 차이가 있는지, 차이가 큰지를 판단하고(500), 기준 영상 변경이 필요하면 변경할 기준 영상의 크기를 결정한 후(610), 기준 영상을 갱신한다(630). 기준 영상 변경 여부를 판단하여(500) 기준 영상과 입력 영상으로부터 추정된 표적의 유사도가 높으면 기준 영상 갱신 없이 저장하고 있던 기준 영상으로 다음 입력 영상에서 표적의 위치를 추정한다. 기준 영상을 변경할 경우, 표적 모델 정보를 이용하여 현재 변경해야할 표적의 크기를 결정하고, 이 크기를 기준으로 기준 영상을 갱신하게 된다. 그리고 추적 중에는 기준 영상 변경과 함께, 기준 영상에 해당하는 표적 모델의 변경 여부를 판단하기 위해 변경을 하기 전까지 저장하다가 기준 영상의 변경이 필요하여 갱신하는 경우에 함께 변경한다.1 and 2 together, the area of the search image is set at the start of tracking (100), the correlation between the reference image and the current input image is calculated (200), and the positional displacement of the target is estimated based thereon. (300). When the estimation of the position of the target is completed and the target information is acquired from the current input image, a target model representing the change of the target information over time is modeled using the reference image and the information of the currently tracked target (400). After determining whether there is a difference between the target included in the reference image and the target of the input image using the target model (500), and if the reference image needs to be changed, after determining the size of the reference image to be changed (610), The reference image is updated (630). If it is determined whether the reference image is changed (500) and the similarity of the target estimated from the reference image and the input image is high, the position of the target is estimated from the next input image as the reference image stored without updating the reference image. When the reference image is changed, the size of the target to be changed currently is determined by using the target model information, and the reference image is updated based on the size. In addition, during tracking, in order to determine whether the target model corresponding to the reference image is changed along with the change of the reference image, it is stored until the change is made, and when the update of the reference image is necessary and updated.
도 2는 이동표적 움직임 추적 방법에 있어서 기준 영상 변경 방법을 개략적으로 도시한 흐름도이다. 이에 도시한 바와 같이, 표적 변화에 따른 표적 모델의 모델링 결과를 이용하여 표적의 형태와 크기 변화량을 판단하여 기준 영상 갱신 여부를 판단한다. 현재 영상에서의 표적 모델은 표적의 변화 정보를 반영한다는 가정 에서 현재 영상에서 표적 모델과 기준 영상이 획득된 입력 영상에서의 표적 모델을 비교하여 표적의 크기나 형태 변화를 살펴본다. 표적의 형태와 크기 변화량을 파악하기 위해 현재 입력 영상에서의 가중 함수와 이전 입력 영상에서의 가중 함수의 차이 값을 이용한다. 2 is a flowchart schematically illustrating a method of changing a reference image in a moving target motion tracking method. As shown in the drawing, by using the modeling result of the target model according to the target change, it is determined whether the reference image is updated by determining the change in the shape and size of the target. On the assumption that the target model in the current image reflects the change information of the target, the target model is compared with the target model in the current image and the change in the size or shape of the target is examined. The difference between the weighting function in the current input image and the weighting function in the previous input image is used to determine the change in the shape and size of the target.
상기 표적 형태의 변화를 판단하는 단계(510)는 상기 차 영상을 복수의 영역으로 구분하고, 상기 영역에서의 부호 변화를 이용하여 상기 표적 형태의 변화를 판단한다.In the determining of the change of the target shape (510), the difference image is divided into a plurality of areas, and the change of the target shape is determined by using a change of a sign in the area.
도 3은 기준 영상의 표적과 표적 모델을 적용하여 추정된 표적의 차 영상을 보인 도이고, 도 4는 도 3을 근거로 표적 형태의 변화 여부의 판단 동작을 설명하기 위해 보인 도이다. 도 4에서 보인 바와 같이, 표적 형태 변화를 판단하는 기준은 기준 영상과 입력 영상의 표적 모델의 차 영상에서 네 영역과 네 모서리이다. 도 4의 첫 번째 그림(A)에서 영역1, 영역2, 영역3, 영역 4로 각각 정의하고, 두 번째 그림(B)에서 표적을 둘러싸는 직사각형 각 변을 모서리1, 모서리2, 모서리3, 모서리4 라고 정의 한다. 입력 영상의 표적의 형태가 변하게 되면, 도 3과 같이 두 영상 간의 차이가 발생하게 된다. 도 3에 보인 바와 같이, 현재 입력 영상의 표적 모델에만 존재하는 부분은 양의 값을 가지고, 기준 영상에만 존재하는 부분은 음의 값을 가지게 된다. FIG. 3 is a diagram illustrating a difference image of a target estimated by applying a target and a target model of a reference image, and FIG. 4 is a diagram illustrating a determination operation of whether or not a target shape is changed based on FIG. 3. As shown in FIG. 4, the criteria for determining the change of the target shape are four regions and four corners in the difference image between the target model of the reference image and the input image. In the first picture (A) of FIG. 4, areas 1, 2, 3, and 4 are respectively defined, and in the second picture (B), the rectangular sides surrounding the target are defined by the edges 1, 2, 3, This is defined as corner 4. When the shape of the target of the input image changes, a difference between the two images occurs as shown in FIG. 3. As shown in FIG. 3, a portion existing only in the target model of the current input image has a positive value, and a portion existing only in the reference image has a negative value.
각 영역1, 2, 3, 4의 값의 부호를 판단하는 식은 수학식 1과 같다. 각 영역의 부호는 기준 영상과 입력 영상의 표적 모델에 대해 도 4의 첫 번째 그림(A)과 같이 분할한 각각의 영역에서 양의 값을 가지는 픽셀 수의 합과 음의 값을 가지는 픽셀 수의 합을 비교하여 많은 값을 가지는 부호를 영역의 대표 부호로 결정한다. The equation for determining the sign of the value of each of the areas 1, 2, 3, and 4 is shown in Equation (1). The sign of each region is the sum of the number of positive pixels and the number of negative pixels in each region divided as shown in the first figure (A) of FIG. 4 for the target model of the reference image and the input image. By comparing the sum, a code having a large value is determined as a representative code of the region.
상기 표적 형태의 변화를 판단하는 단계(510)(이하, 조건 1)는 수학식 2에 의해 결정된다. 모서리 1, 2, 3, 4 에 해당하는 각각의 영역이 같은 대표 부호를 가지면 표적의 변화를 결정한다. 도 4와 같이 모서리 1의 변화 여부는 영역 1과 영역 2의 대표 부호에 의해서 결정되며, 모서리 2는 영역 1과 영역 3의 대표 부호 의해서, 모서리 3은 영역 3과 영역 4의 대표 부호에 의해서, 모서리 4는 영역 2와 영역4의 대표 부호 부호에 의해서 결정된다.The
상기 표적 형태의 변화를 판단하는 단계(510)는 표적을 둘러싸고 있는 모서리를 각각 고려하여 표적의 형태 변화를 판단한다. 표적의 형태 변화에 따라 기준 영상의 변경 여부를 결정할 수 있다. 그러나, 표적 형태의 변화만을 고려하면 입력 영상의 표적의 주변에 근접하는 외란 등에 의해 실제 표적은 변하지 않았는데도 기준 영상은 커지거나 줄어들 수 있다.In the determining of the change of the target shape (510), the shape change of the target is determined in consideration of the corners surrounding the target. It is possible to determine whether to change the reference image according to the change in the shape of the target. However, considering only the change in the target shape, the reference image may be enlarged or reduced even though the actual target is not changed due to disturbance near the target of the input image.
따라서, 기준 영상 변경 기준으로 또 다른 조건이 필요하게 된다.Therefore, another condition is required as the reference image change reference.
상기 표적 크기의 변화를 판단하는 단계(530)는 상기 기준 영상의 표적의 면적에 대한 상기 기준 영상의 표적과 상기 추정된 표적의 차 영상의 면적의 면적비율을 근거로 상기 표적 크기의 변화를 판단한다. 판단 방법에 있어서 여러 가지가 있을 수 있으나, 일 예로서, 전체 표적의 넓이에 대해 가중 함수의 차에 의해 구한 형태 변화 넓이의 비율을 비교할 수 있다. 도 4는 기준 영상(기준 표적 모델)과 현재 입력 영상에서의 표적 모델의 차의 면적 비율을 비교한다. 전체 표적의 면적에 대한 변화율을 살펴봄으로써 표적의 크기 변화를 고려하고, 표적 형태 변화에서의 외란에 민감한 영향을 받는 모서리의 변화를 보완한다. 전체 형태 변화에 대한 면적 비율은 수학식 3과 같다.The determining of the change of the target size may include determining the change of the target size based on an area ratio of the target area of the reference image and the estimated target difference image to the area of the target of the reference image. do. There may be various methods of determination, but as an example, it is possible to compare the ratio of the area of the shape change obtained by the difference of the weighting function with respect to the area of the entire target. 4 compares the area ratio of the difference between the reference image (reference target model) and the target model in the current input image. By looking at the rate of change over the area of the entire target, we consider the change in the size of the target and compensate for the edge change that is sensitive to disturbances in the change of target shape. The area ratio for the overall shape change is shown in Equation 3.
상기 표적 크기의 변화를 판단하는 단계(530)(이하, 조건 2)는 수학식 4와 같이 면적 비율이 변화 비율 임계값보다 클 때 변화가 있는 것으로 판단한다. 이때 임계값은 해당 입력 영상의 가중 함수의 전체 영역의 넓이에 대해 15%~20%로 설정할 수 있다. 예를 들어, 전체 변화 비율에 대해 15%이상으로 하여 실험한 결과 여러 종류의 추적 영상에 대하여 기준 영상을 변경할 필요가 있었다.The
상기 기준 영상 변경 여부의 결정은 상기 표적 형태의 변화를 판단하는 단계(510)와 상기 표적 크기의 변화를 판단하는 단계(530)를 모두 만족하는 경우에 변경하도록 결정한다. 기준 영상 변경 여부를 결정하는 방법은 수학식 5와 같다.The determination of whether or not to change the reference image is determined to change when both the
상기 수학식 5의 조건을 만족하여 기준 영상을 변경하고자 하는 경우에, 먼저 변경될 기준 영상의 크기를 결정해야 한다. 변경된 기준 영상을 표적의 형태나 크기 변화에 따라 자동적으로 조절하여 기준 영상내로 배경의 유입 및 영향을 최소화하고, 표적의 모델링 시 표적과 배경 화소의 오 분류 확률을 감소시켜 상관도 연산의 정확도를 높일 수 있도록 적응적으로 조정하여야 한다. 이는 표적에 적합한 크기의 기준영상 내부의 영상 데이터만 처리함으로써 계산 량을 줄이고 실시간 처리를 위해 필수적이다.When the reference image is to be changed by satisfying the condition of Equation 5, first, the size of the reference image to be changed must be determined. The modified reference image is automatically adjusted according to the change of shape or size of the target to minimize the influx and influence of the background into the reference image. It should be adaptively adjusted so that it can This is essential for real-time processing and reduction of computation by processing only the image data inside the reference image of the size appropriate for the target.
따라서, 상기 기준 영상의 크기를 결정하는 단계(610)는, 도 5에 도시한 바와 같이, 표적 변화에 따른 표적 모델을 이용하여 연산한다. 도 5와 같이, 기준 영상 변경이 결정된 표적 모델에서 표적의 위치를 기준으로 하는 표적의 최대 변화 범위와 이동 변위를 고려하여 각각 수평 방향(Horizontal)과 수직(Vertical) 방향으로 각각 가산투영(projection) 한다. 가산투영은 해당하는 각 방향으로 칼럼 값들을 모두 더함으로써 구할 수 있다.Accordingly, in
상기 결정된 기준 영상의 크기에 따라 기준 영상을 갱신하고(630), 갱신된 기준 영상을 근거로 표적의 위치를 추정하고, 추정된 표적의 변화를 반영하여 표적 모델을 모델링한다(650).The reference image is updated according to the size of the determined reference image (630), the position of the target is estimated based on the updated reference image, and the target model is modeled by reflecting the estimated change of the target image (650).
이상에서 설명한 바와 같이, 본 발명에 따라 입력 영상에서 상관추적 방식으로 지상에서의 이동표적을 효과적으로 추적하기 위하여 표적의 영상 정보를 이용하여 표적 변화에 따른 표적 모델을 모델링하고, 그 모델링 정보를 이용하여 기준 영상을 자동으로 갱신하고, 기준 영상의 크기를 결정하도록 함으로써 이동표적의 움직임을 정확히 추적할 수 있고, 표적 주변의 클러터가 표적의 위치추정에 미치는 영향을 줄이고, 연산량 및 연산시간을 줄일 수 있다.As described above, in order to effectively track the moving target on the ground in the correlation tracking method in the input image according to the present invention, the target model according to the target change is modeled using the image information of the target, and using the modeling information By automatically updating the reference image and determining the size of the reference image, it is possible to accurately track the movement of the moving target, reduce the influence of clutter around the target on the target position, and reduce the amount of computation and calculation time. have.
도 1은 본 발명에 따른 영상 추적 장치의 이동표적 움직임 추적 방법을 개략적으로 도시한 흐름도;1 is a flowchart schematically showing a moving target motion tracking method of an image tracking apparatus according to the present invention;
도 2는 도 1의 이동표적 움직임 추적 방법에 있어서 기준 영상 변경 방법을 개략적으로 도시한 흐름도;FIG. 2 is a flowchart schematically illustrating a method of changing a reference image in the moving target motion tracking method of FIG. 1;
도 3은 기준 영상의 표적과 표적 모델을 적용하여 추정된 표적의 차 영상을 보인 도;3 shows a difference image of a target estimated by applying a target model and a target model of the reference image;
도 4는 도 3을 근거로 표적 형태의 변화 여부의 판단 동작을 설명하기 위해 보인 도;4 is a view for explaining the operation of determining whether the change of the target form on the basis of FIG.
도 5는 변경할 기준 영상의 크기를 결정하는 동작을 설명하기 위해 보인도이다.5 is a view for explaining an operation of determining a size of a reference image to be changed.
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080100218A KR100994367B1 (en) | 2008-10-13 | 2008-10-13 | Method for tracking a movement of a moving target of image tracking apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080100218A KR100994367B1 (en) | 2008-10-13 | 2008-10-13 | Method for tracking a movement of a moving target of image tracking apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100041172A true KR20100041172A (en) | 2010-04-22 |
| KR100994367B1 KR100994367B1 (en) | 2010-11-16 |
Family
ID=42216959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080100218A KR100994367B1 (en) | 2008-10-13 | 2008-10-13 | Method for tracking a movement of a moving target of image tracking apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100994367B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101220194B1 (en) * | 2012-06-29 | 2013-01-10 | 한국과학기술원 | Apparatus for tracking target using intensity order relation |
| KR101220195B1 (en) * | 2012-06-29 | 2013-01-10 | 한국과학기술원 | Method for tracking target using intensity order relation |
| KR101382163B1 (en) * | 2013-03-14 | 2014-04-07 | 국방과학연구소 | Ground target classification method, and ground target classification apparatus using the same |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404653B1 (en) | 2013-03-07 | 2014-06-09 | 국방과학연구소 | Template Reconstruction Method for Correlation Video Tracking |
| KR101598036B1 (en) | 2014-08-08 | 2016-02-26 | 주식회사 월드텍 | Traffic line device using fisheye lens |
| KR101598041B1 (en) | 2014-08-08 | 2016-02-26 | 주식회사 월드텍 | Traffic line device using camera |
| KR101836706B1 (en) * | 2016-09-26 | 2018-03-09 | 국방과학연구소 | A method for deriving the spacing between a plurality of moving object and an apparatus for the same |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6088468A (en) | 1995-05-17 | 2000-07-11 | Hitachi Denshi Kabushiki Kaisha | Method and apparatus for sensing object located within visual field of imaging device |
| KR100220838B1 (en) | 1996-11-15 | 1999-09-15 | 전주범 | Apparatus and method of target tracking in image telephone |
| KR100219542B1 (en) | 1997-03-20 | 1999-09-01 | 윤종용 | Motion detecting method and apparatus for an image processing system |
-
2008
- 2008-10-13 KR KR1020080100218A patent/KR100994367B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101220194B1 (en) * | 2012-06-29 | 2013-01-10 | 한국과학기술원 | Apparatus for tracking target using intensity order relation |
| KR101220195B1 (en) * | 2012-06-29 | 2013-01-10 | 한국과학기술원 | Method for tracking target using intensity order relation |
| KR101382163B1 (en) * | 2013-03-14 | 2014-04-07 | 국방과학연구소 | Ground target classification method, and ground target classification apparatus using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100994367B1 (en) | 2010-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10672131B2 (en) | Control method, non-transitory computer-readable storage medium, and control apparatus | |
| KR100994367B1 (en) | Method for tracking a movement of a moving target of image tracking apparatus | |
| US9947077B2 (en) | Video object tracking in traffic monitoring | |
| US8315436B2 (en) | Robust camera pan vector estimation using iterative center of mass | |
| KR100544677B1 (en) | Apparatus and method for the 3D object tracking using multi-view and depth cameras | |
| US8447069B2 (en) | Apparatus and method for moving object detection | |
| CN108198201A (en) | A kind of multi-object tracking method, terminal device and storage medium | |
| CN104794733A (en) | Object tracking method and device | |
| US20150154450A1 (en) | Optical Flow Tracking Method and Apparatus | |
| CN105374049B (en) | Multi-corner point tracking method and device based on sparse optical flow method | |
| KR101051389B1 (en) | Adaptive background-based object detection and tracking device and method | |
| JP5371040B2 (en) | Moving object tracking device, moving object tracking method, and moving object tracking program | |
| KR102295183B1 (en) | object tracking method for CCTV video by use of CCTV projection model | |
| CN110738667A (en) | RGB-D SLAM method and system based on dynamic scene | |
| KR20170015299A (en) | Method and apparatus for object tracking and segmentation via background tracking | |
| KR20120007850A (en) | Apparatus and method for object recognition based on part-template matching | |
| CN109344685B (en) | Intelligent tray and intelligent positioning and tracking method thereof | |
| KR102190297B1 (en) | Method for tracking air-targets using correlation filter and system thereof | |
| CN111768427A (en) | Multi-moving-target tracking method and device and storage medium | |
| KR100994366B1 (en) | Method for tracking a movement of a moving target of image tracking apparatus | |
| CN110827324B (en) | Video target tracking method | |
| KR101935969B1 (en) | Method and apparatus for detection of failure of object tracking and retracking based on histogram | |
| CN115222771B (en) | Target tracking method and device | |
| CN109816685A (en) | A kind of position compensation method tracked in video for rapid moving object | |
| CN115546876B (en) | Pupil tracking method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20131101 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20141104 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20151102 Year of fee payment: 6 |