KR20200079013A

KR20200079013A - Method for tracking air-targets using correlation filter and system thereof

Info

Publication number: KR20200079013A
Application number: KR1020180168461A
Authority: KR
Inventors: 선선구; 이의혁; 조병래; 이정수; 신완순
Original assignee: 국방과학연구소
Priority date: 2018-12-24
Filing date: 2018-12-24
Publication date: 2020-07-02
Also published as: KR102190297B1

Abstract

According to one embodiment of the present invention, disclosed is a method for tracking an aerial target using a correlation filter comprising: an information extracting step of extracting feature information in a second frame on the basis of a cell including at least one pixel from image data; an information adding step of recognizing whether tracking point information is present in a first frame for a viewpoint prior to that of the second frame, and adding the tracking point information to the feature information when the feature point information is present; a reliability calculating step of calculating the reliability of the feature information for each cell by tracking the feature information to which the tracking point information is added by a correlation filter-based tracker; and a threshold value comparing and processing step of setting a region of interest with respect to the pixel, in which a maximum value is calculated, when the maximum value of the calculated reliability is smaller than that of a preset first threshold value, and determining a tracking point in the second frame by analyzing the set region of interest on the basis of a preset second threshold value. Accordingly, when an aerial target is tracked, a drift phenomenon is minimized and high tracking accuracy is provided.

Description

Method for tracking air-targets using correlation filter and system thereof

본 발명은 상관필터를 이용한 공중표적 추적방법 및 그 시스템에 관한 발명으로서, 보다 구체적으로는, 공중표적의 움직임의 변화가 크거나, 장시간 공중표적을 추적하는 경우에 추적오차가 점점 커지는 현상을 해소하기 위한 상관필터를 이용한 공중표적 추적방법 및 그 시스템에 관한 것이다.The present invention relates to a method for tracking an aerial target using a correlation filter and a system thereof, and more specifically, to solve a phenomenon in which a tracking error is gradually increased when a change in the movement of an aerial target is large or when tracking an aerial target for a long time. The present invention relates to an air target tracking method using a correlation filter and a system therefor.

최근 영상에 포함되어 있는 이동물체에 대한 추적 방법 중에서 높은 추적 성능을 나타내는 방법으로서, 상관필터인 KCF(Kernelized Correlation Filter) 또는 MOSSE(Minimum Output Sum of Squared Error)필터를 사용하여 추적기를 구현하는 방법이 있다.Among the tracking methods for moving objects included in recent images, as a method of showing high tracking performance, a method of implementing a tracker using a correlation filter, a Kernelized Correlation Filter (KCF) or a Minimum Output Sum of Squared Error (MOSSE) filter, have.

도 1은 종래에 알려진 방법에 따라서 공중표적을 추적하는 방법의 일 예의 흐름도를 도시한 도면이다. 1 is a flowchart illustrating an example of a method of tracking an aerial target according to a conventionally known method.

설명의 편의를 위해서, 이하에서는, 종래에 알려진 방법에 따라서 공중표적을 추적하는 방법을 구현하는 시스템을 구시스템으로 호칭하기로 한다.For convenience of description, hereinafter, a system implementing a method of tracking aerial targets according to a conventionally known method will be referred to as an old system.

먼저, 구시스템은 영상의 제2프레임으로부터 셀을 기반으로 특징정보를 추출한다(S110).First, the old system extracts feature information based on a cell from the second frame of the image (S110).

이어서, 구시스템은 추출된 특징정보를 패스트 푸리에 트랜스폼(FFT)으로 주파수영역으로 변환한다(S120).Subsequently, the old system converts the extracted feature information into a frequency domain by fast Fourier transform (FFT) (S120).

구시스템은 제2프레임의 특징정보에 제1프레임의 특징정보를 부가한다(S130). 여기서, 특징정보의 부가는 주파수 영역에서의 연산으로서 컨볼루션(convolution)연산으로 처리될 수 있다.The old system adds the feature information of the first frame to the feature information of the second frame (S130). Here, the addition of the characteristic information may be processed by a convolution operation as an operation in the frequency domain.

구시스템은 제1프레임의 특징정보가 부가된 제2프레임의 특징정보에 인버스 패스트 푸리에 트랜스폼을 적용한다(S140).The old system applies the inverse fast Fourier transform to the feature information of the second frame to which the feature information of the first frame is added (S140).

구시스템은 상관필터기반 추적기로 영상데이터의 셀 별로 신뢰도를 산출한다(S150).The old system calculates the reliability of each image data cell by using a correlation filter-based tracker (S150).

구시스템은 셀 위치를 픽셀 위치로 변환하여 추적점을 추정하고(S160), 추정된 추점점을 출력하고 추정된 추적점을 다음 프레임의 특징정보에 부가한다(S170).The old system estimates the tracking point by converting the cell position to the pixel position (S160), outputs the estimated tracking point, and adds the estimated tracking point to the feature information of the next frame (S170).

위와 같이, 종래의 방법에 따라서 상관필터를 이용하여 추적기를 구현하는 경우, 움직임의 변화가 크지 않고, 단시간동안 공중표적(air-targets)을 추적할 때에는 큰 오차 없이 동작하지만, 추적 시간이 길어지거나, 추적 중 표적의 형상변경이 심할 경우, 또는 장애물등으로 인해 표적의 가려짐이 생길 경우에 추적하는 도중에 드리프트(drift: 추적 오차가 점차 커지는 현상)가 발생하여, 최종적으로 추적을 실패하는 문제점이 있다.As described above, when a tracker is implemented using a correlation filter according to a conventional method, the change of motion is not large, and when tracking air-targets for a short time, it operates without a large error, but the tracking time becomes longer or , When the shape of the target is severely changed during tracking, or when the target is obscured by an obstacle or the like, a drift occurs while tracking, resulting in a problem that ultimately fails to track. have.

또 다른 한계점으로서, 상관필터 기반의 추적기는 추적 정확도가 셀의 크기에 따라 한 픽셀에서 수 픽셀의 정확도를 가져서 정교하고 지속적인 추적이 어려운 점이 있다.As another limitation, the tracer based on the correlation filter has a precision of one pixel to several pixels depending on the size of the cell, so it is difficult to accurately and continuously track.

1. 대한민국 등록특허공보 제10-1837407호 (2018.03.12 공고)1. Republic of Korea Registered Patent Publication No. 10-1837407 (announced on March 12, 2018) 2. 대한민국 공개특허공보 제10-2011-0113948호 (2011.10.19 공개)2. Republic of Korea Patent Publication No. 10-2011-0113948 (released on October 19, 2011) 3. 대한민국 등록특허공보 제10-1394164호 (2014.05.16 공고)3. Republic of Korea Registered Patent Publication No. 10-1394164 (2014.05.16 announcement)

본 발명이 해결하고자 하는 기술적 과제는 공중표적을 장기간 추적하거나, 잦은 움직임을 보이는 공중표적을 추적함에 있어서 드리프트 현상을 최소화하고 높은 추적정밀도를 갖는, 상관필터를 이용한 공중표적 추적방법 및 그 추적시스템을 제공하는 데에 있다.Technical problem to be solved by the present invention is to track the air target for a long time or to minimize the drift phenomenon in tracking the air target showing frequent movement, and has a high tracking precision, the air target tracking method using a correlation filter and its tracking system It is in providing.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 방법은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 및 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리단계를 포함한다.The method according to an embodiment of the present invention for solving the above technical problem, extracts information to extract feature information in a second frame based on a cell including at least one pixel from image data step; An information adding step of determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists; A reliability calculation step of tracking the feature information to which the trace point information is added with a correlation filter-based tracker, and calculating the reliability of the feature information for each cell; And if the maximum value of the calculated reliability is smaller than a preset first threshold value, an area of interest is set around a pixel from which the maximum value is calculated, and the set region of interest is based on a preset second threshold value. And a threshold value comparison processing step to determine a tracking point in the second frame by analyzing the data.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시 예에 따른 방법은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 및 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정단계를 포함한다.The method according to another embodiment of the present invention for solving the above technical problem is information for extracting feature information in a second frame based on a cell including at least one pixel from image data. Extraction step; An information adding step of determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists; A reliability calculation step of tracking the feature information to which the trace point information is added with a correlation filter-based tracker, and calculating the reliability of the feature information for each cell; And a maximum point estimating step of determining a tracking point in the second frame by performing quadratic interpolation based on the result tracked by the tracker and the calculated reliability.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 일 실시 예에 따른 방법은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계;상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리단계; 및 상기 산출된 신뢰도의 최대값이 상기 제1임계값보다 더 크거나 상기 제1임계값과 같으면, 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정단계를 포함한다.A method according to another embodiment of the present invention for solving the above technical problem is to extract feature information in a second frame based on a cell including at least one pixel from image data. Information extraction step; An information adding step of determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists; A reliability calculation step of tracking the added feature information with a correlation filter-based tracker and calculating the reliability of the feature information for each cell; If the maximum value of the calculated reliability is smaller than a preset first threshold value, a region of interest is set around a pixel from which the maximum value is calculated, and the set region of interest is based on a preset second threshold value. A threshold value comparison processing step of analyzing and determining a tracking point in the second frame; And if the maximum value of the calculated reliability is greater than or equal to the first threshold, a quadratic interpolation is performed based on the traced result with the tracker and the calculated reliability. And a maximum point estimation step of determining a tracking point in the second frame.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 시스템은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부; 및 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리부를 포함한다.The system according to an embodiment of the present invention for solving the above technical problem, feature information for extracting feature information in a second frame based on a cell including at least one pixel from image data Extraction unit; A feature information adding unit for determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists; A reliability calculator that tracks the feature information to which the trace point information is added by a correlation filter-based tracker and calculates the reliability of the feature information for each cell; And if the maximum value of the calculated reliability is smaller than a preset first threshold value, an area of interest is set around a pixel from which the maximum value is calculated, and the set region of interest is based on a preset second threshold value. And a threshold comparison processing unit to analyze and determine a tracking point in the second frame.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시 예에 따른 시스템은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부; 및 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정부를 포함한다.The system according to another embodiment of the present invention for solving the above technical problem is a feature for extracting feature information in a second frame based on a cell including at least one pixel from image data Information extraction unit; A feature information adding unit for determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists; A reliability calculator that tracks the feature information to which the trace point information is added by a correlation filter-based tracker and calculates the reliability of the feature information for each cell; And a maximum point estimator determining a tracking point in the second frame by performing quadratic interpolation based on the result tracked by the tracker and the calculated reliability.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 일 실시 예에 따른 시스템은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부; 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리부; 및 상기 산출된 신뢰도의 최대값이 상기 제1임계값보다 더 크거나 상기 제1임계값과 같으면, 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정부를 포함한다.A system according to another embodiment of the present invention for solving the above technical problem extracts feature information in a second frame based on a cell including at least one pixel from image data. Feature information extraction unit; A feature information adding unit for determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists; A reliability calculator that tracks the feature information to which the trace point information is added by a correlation filter-based tracker and calculates the reliability of the feature information for each cell; If the maximum value of the calculated reliability is smaller than a preset first threshold value, a region of interest is set around a pixel from which the maximum value is calculated, and the set region of interest is based on a preset second threshold value. A threshold comparison processing unit to analyze and determine a tracking point in the second frame; And if the maximum value of the calculated reliability is greater than or equal to the first threshold, a quadratic interpolation is performed based on the traced result with the tracker and the calculated reliability. And a maximum point estimator determining a tracking point in the second frame.

본 발명의 일 실시 예는 상기 방법을 구현시키기 위한 프로그램을 저장하고 있는 컴퓨터 판독가능한 기록매체를 제공할 수 있다.One embodiment of the present invention can provide a computer-readable recording medium storing a program for implementing the method.

본 발명에 따르면, 공중표적 형상의 변화가 클 경우, 클러터에 의한 표적 가림이 발생할 경우 및 추적 시간이 길 경우에 상관필터 기반의 추적기에서 추적점 드리프트가 발생하는 현상을 최소화할 수 있다.According to the present invention, when the change in the shape of the aerial target is large, when the target occlusion by the clutter occurs and when the tracking time is long, it is possible to minimize the phenomenon that the tracking point drift occurs in the tracer based on the correlation filter.

또한, 본 발명에 따르면, 상관필터 기반의 추적기의 추적정밀도 향상을 위해 2차보간법(quadratic interpolation)을 이용하여 추적결과를 서브픽셀 수준의 정밀도로 추정할 수 있다.Further, according to the present invention, to improve the tracking accuracy of the correlation filter-based tracker, the tracking result may be estimated with sub-pixel level precision using quadratic interpolation.

또한, 본 발명에 따르면, 상관필터에 의한 추적점 추정시 서브픽셀 수준 추적점 추정 방법을 적용하고 추적점으로 추정된 상관필터의 최대 신뢰도가 어느 임계치 미만일 경우 드리프트를 줄이기 위한 임계치설정법을 동시에 적용하여 추적 정밀도를 더욱 향상시킬 수 있다.In addition, according to the present invention, when estimating a tracking point by a correlation filter, a subpixel level tracking point estimation method is applied, and when the maximum reliability of the correlation filter estimated as the tracking point is less than a certain threshold, a threshold setting method for reducing drift is applied simultaneously. The tracking precision can be further improved.

그 외에도, 본 발명에서는 상관필터 및 영상데이터를 특별히 한정하지 않으므로, 모든 상관필터 기반 추적기에 응용가능하고, 영상센서(가시광센서, IR, SWIR 등)의 종류에도 제한받지 않는다.In addition, since the correlation filter and image data are not particularly limited in the present invention, it is applicable to all correlation filter-based trackers, and is not limited to the type of image sensor (visible light sensor, IR, SWIR, etc.).

도 1은 종래에 알려진 방법에 따라서 공중표적을 추적하는 방법의 일 예의 흐름도를 도시한 도면이다.
도 2는 본 발명에 따른 공중표적 추적시스템의 일 예의 블록도를 도시한 도면이다.
도 3은 극대점추정부가 2차보간법을 수행하여 추적점을 결정하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 추적방법의 일 예의 흐름도를 도시한 도면이다.
도 5는 본 발명에 따른 추적방법의 다른 일 예의 흐름도를 도시한 도면이다.
도 6은 본 발명에 따른 추적방법의 다른 일 예의 흐름도를 도시한 도면이다.
도 7은 공중표적을 추적하는 상황에서 드리프트 현상에 의해서 공중표적에 대한 추적에 실패한 경우의 일 예를 도식적으로 나타낸 도면이다.
도 8은 공중표적을 추적하는 상황에서 본 발명에 따라 드리프트 현상이 최소화되면서 공중표적에 대한 추적에 성공한 경우의 일 예를 도식적으로 나타낸 도면이다.1 is a flowchart illustrating an example of a method of tracking an aerial target according to a conventionally known method.
2 is a block diagram showing an example of an aerial target tracking system according to the present invention.
3 is a diagram for explaining a process of determining a tracking point by performing a quadratic interpolation method by a maximum point estimator.
4 is a flowchart illustrating an example of a tracking method according to the present invention.
5 is a flowchart illustrating another example of a tracking method according to the present invention.
6 is a flowchart illustrating another example of a tracking method according to the present invention.
7 is a diagram schematically showing an example of a case where tracking of an aerial target fails due to a drift phenomenon in a situation of tracking an aerial target.
8 is a diagram schematically showing an example of a case in which tracking of an aerial target is successful while a drift phenomenon is minimized according to the present invention in a situation of tracking an aerial target.

실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terminology used in the embodiments has been selected from general terms that are currently widely used as possible while considering functions in the present invention, but this may vary depending on the intention or precedent of a person skilled in the art or the appearance of a new technology. In addition, in certain cases, some terms are arbitrarily selected by the applicant, and in this case, their meanings will be described in detail in the description of the applicable invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the entire contents of the present invention, not a simple term name.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When a certain part of the specification "includes" a certain component, this means that other components may be further included rather than excluding other components unless otherwise specified. In addition, terms such as “…unit” and “…module” described in the specification mean a unit that processes at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains may easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein.

이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 2는 본 발명에 따른 공중표적 추적시스템의 일 예의 블록도를 도시한 도면이다.2 is a block diagram showing an example of an aerial target tracking system according to the present invention.

도 2를 참조하면, 본 발명에 따른 공중표적 추적시스템(200)은 특징정보추출부(210), 특징정보부가부(230), 신뢰도산출부(250), 임계값비교처리부(270) 및 극대점추정부(290)를 포함하는 것을 알 수 있다. 실시 예에 따라서, 임계값비교처리부(270) 및 극대점추정부(290) 중 어느 하나는 생략될 수도 있다.2, the aerial target tracking system 200 according to the present invention includes a feature information extraction unit 210, a feature information addition unit 230, a reliability calculation unit 250, a threshold value comparison processing unit 270 and a maximum point It can be seen that the estimation unit 290 is included. Depending on the embodiment, any one of the threshold value comparison processing unit 270 and the maximum point estimation unit 290 may be omitted.

또한, 본 발명에 따른 공중표적 추적시스템(200)에 포함되는 특징정보추출부(210), 특징정보부가부(230), 신뢰도산출부(250), 임계값비교처리부(270) 및 극대점추정부(290)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 특징정보추출부(210), 특징정보부가부(230), 신뢰도산출부(250), 임계값비교처리부(270) 및 극대점추정부(290)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.In addition, the feature information extracting unit 210, the feature information adding unit 230, the reliability calculating unit 250, the threshold comparison processing unit 270 and the maximum point estimation included in the aerial target tracking system 200 according to the present invention 290 may correspond to at least one processor, or may include at least one processor. Accordingly, the feature information extracting unit 210, the feature information adding unit 230, the reliability calculating unit 250, the threshold comparison processing unit 270, and the maximal point estimator 290 may be used as other microprocessors or general-purpose computer systems. It can be driven in the form included in the hardware device.

특징정보추출부(210)는 영상데이터로부터 적어도 하나 이상의 픽셀을 포함하는 셀을 기반으로 제2프레임에서의 특징정보를 추출한다. 영상데이터는 유선 또는 무선으로 연결되어 있는 카메라(미도시)로부터 수신되는 영상데이터일 수도 있고, 검증용으로 데이터베이스(미도시)에 미리 저장되어 있던 영상데이터일 수도 있다. 영상데이터는 촬영장치의 기본적인 성능에 따라 보장되는 해상도로 촬영된 일반적인 데이터로서, 정지영상이 아니라 복수의 프레임으로 구성되어 있는 동영상을 의미한다. 여기서, 제2프레임은 영상데이터를 구성하는 여러 가지 프레임 중에서 특정한 프레임을 지칭하는 것으로서, 후술하는 제1프레임보다 시간적으로 이후에 위치하는 프레임이라는 의미로 "제2"라는 수식어를 포함한다.The feature information extractor 210 extracts feature information in the second frame based on the cell including at least one pixel from the image data. The image data may be image data received from a camera (not shown) connected by wire or wireless, or may be image data previously stored in a database (not shown) for verification. The image data is general data photographed at a resolution guaranteed according to the basic performance of the photographing apparatus, and refers to a movie composed of a plurality of frames, not a still image. Here, the second frame refers to a specific frame among various frames constituting the image data, and includes the modifier "second" in the meaning of a frame located later in time than the first frame described later.

영상데이터는 영상을 촬영하는 카메라에 의해 생성되는 데이터로서, 그 카메라의 고유한 성능 및 그 카메라를 사용하는 사용자의 임의의 설정값에 따라서 해상도가 미리 결정되는 정보이다. 예를 들어, 영상데이터가 640*480 해상도로 촬영되었다면, 그 영상데이터는 307,200개의 픽셀(pixel)로 구성된 영상데이터로 볼 수 있다. 셀(cell)은 적어도 하나 이상의 픽셀(pixel)을 포함하는 군집단위로서, 후술하는 일련의 과정이 빠르게 처리될 수 있도록 적어도 하나의 픽셀을 포함한다.The image data is data generated by a camera that captures an image, and is information in which a resolution is determined in advance according to the unique performance of the camera and an arbitrary setting value of a user using the camera. For example, if the image data is captured in 640*480 resolution, the image data can be viewed as image data composed of 307,200 pixels. A cell is a cluster unit including at least one pixel, and includes at least one pixel so that a series of processes described below can be rapidly processed.

특징정보추출부(210)는 영상데이터를 복수의 셀로 구분한 후에 특징점을 추출하는 방식으로, 영상데이터로부터 특징정보를 추출할 수 있으며, 추출된 특징정보를 연산하기 용이한 주파수영역의 정보로 변환할 수 있다. 일 예로서, 특징정보추출부(210)는 영상데이터의 특징정보를 추출한 후, 패스트 푸리에 변환(FFT)을 통해서 특징정보를 주파수영역에 대한 정보로 가공할 수 있다.The feature information extraction unit 210 is a method of extracting feature points after dividing the image data into a plurality of cells, and extracting feature information from the image data, and converting the extracted feature information into frequency domain information that is easy to operate. can do. As an example, the feature information extracting unit 210 may extract feature information of the image data, and then process the feature information as information about the frequency domain through fast Fourier transform (FFT).

특징정보부가부(230)는 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 추적점정보가 존재하면 특징정보에 추적점정보를 부가한다. 여기서, 제1프레임은 제2프레임보다 더 이전 시점에 대한 프레임을 의미하는 것으로서, 제2프레임보다 더 먼저 위치하고 있는 프레임을 통칭한다. 제1프레임은 특정한 고정된 시점의 프레임 하나를 의미할 수도 있고, 제2프레임의 시점보다 더 앞선 몇 개의 시점의 프레임들을 총칭할 수도 있다. 예를 들어, 제2프레임이 고정된 t시점에서의 프레임이라면 제1프레임은 t-1시점에서의 프레임이 될수도 있고, t-4시점부터 t-1시점까지의 프레임들을 모두 의미할 수도 있다. 위와 같은 정의에 따라서, 제1프레임에서의 추적점정보 또한, t-4시점부터 t-1시점까지의 프레임들의 추적점정보를 각각 구해서 가중치합(weighted sum)을 한 값일 수도 있다. The feature information adding unit 230 determines whether there is trace point information in the first frame for a time point earlier than the second frame, and if the trace point information exists, adds the trace point information to the feature information. Here, the first frame refers to a frame for a viewpoint earlier than the second frame, and collectively refers to a frame positioned earlier than the second frame. The first frame may mean one frame of a specific fixed viewpoint, or may refer to frames of several viewpoints earlier than the viewpoint of the second frame. For example, if the second frame is a frame at a fixed time t, the first frame may be a frame at time t-1, or all frames from time t-4 to time t-1. According to the above definition, the tracking point information in the first frame may also be a value obtained by obtaining tracking point information of frames from the time t-4 to the time t-1, respectively, and a weighted sum.

특징정보부가부(230)는 제1프레임에서의 추적점정보가 존재하면, 제2프레임의 특징정보에 추적점정보를 부가한다. 제2프레임에서의 특징정보가 패스트 푸리에 변환에 의해서 주파수영역에 대한 정보라면, 제1프레임에서의 추적점정보도 같은 영역의 정보로서 부가될 수 있다. 주파수영역에서의 연산과정에 대해서는 널리 알려져 있는 방법에 의하므로, 이하에서는 생략하기로 한다.The feature information adding unit 230 adds the trace point information to the feature information of the second frame when the trace point information in the first frame exists. If the feature information in the second frame is information about the frequency domain by fast Fourier transform, the tracking point information in the first frame may also be added as information in the same region. Since the calculation process in the frequency domain is by a well-known method, it will be omitted below.

신뢰도산출부(250)는 추적점정보가 부가된 특징정보를 상관필터 기반 추적기로 추적하여 특징정보의 신뢰도를 셀 별로 산출한다.The reliability calculator 250 tracks feature information to which tracking point information has been added, using a correlation filter-based tracker to calculate the reliability of the feature information for each cell.

선택적 일 실시 예로서, 상관필터는 한 개의 셀에 가로 4개, 세로 4개의 픽셀을 포함하는 것으로 설정된 KCF(Kernelized Correlation Filter)일 수 있다. 또한, 다른 선택적 일 실시 예로서, 상관필터는 한 개의 셀에 한 개의 픽셀을 포함하는 것으로 설정된 MOSSE(Minimum Output Sum of Squared Error)필터일 수도 있다. As an exemplary embodiment, the correlation filter may be a Kernelized Correlation Filter (KCF) set to include 4 horizontal and 4 vertical pixels in one cell. Also, as another optional embodiment, the correlation filter may be a minimum output sum of squared error (MOSSE) filter set to include one pixel in one cell.

신뢰도산출부(250)는 제2프레임에서의 특징정보를 구성하는 모든 셀에 대해서 신뢰도를 산출하고 나서, 산출된 셀 별 신뢰도를 후술하는 임계값비교처리부(270) 또는 극대점추정부(290)에 전달하게 된다. 또한, 신뢰도산출부(250)는 특징정보부가부(230)에서 수행된 패스트푸리에 변환을 해제하기 위한 역패스트 푸리에 변환(IFFT)을 수행할 수 있다. 패스트 푸리에 변환 및 역패스트 푸리에 변환은 종래에 알려진 방법이므로, 이에 대한 구체적인 설명은 생략하기로 한다.The reliability calculation unit 250 calculates the reliability for all cells constituting the feature information in the second frame, and then calculates the calculated reliability for each cell to the threshold comparison processing unit 270 or the maximum point estimation unit 290 to be described later. Will be delivered. Also, the reliability calculating unit 250 may perform an inverse fast Fourier transform (IFFT) to cancel the fast Fourier transform performed by the feature information adding unit 230. Since the fast Fourier transform and the inverse fast Fourier transform are known methods, a detailed description thereof will be omitted.

임계값비교처리부(270)는 신뢰도산출부(250)가 산출한 셀 별 신뢰도를 수신하고, 그 중에서 가장 최대값을 파악한다. 임계값비교처리부(270)는 신뢰도의 최대값이 기설정된 제1임계값(first threshold value)보다 더 작으면, 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 제2프레임에서의 추적점을 결정한다. 여기서, 제1임계값은 실험적, 경험적, 수학적으로 결정된 값으로서, 임계값비교처리부(270)에 미리 저장되어 있는 값으로 정의된다.The threshold comparison processing unit 270 receives the reliability of each cell calculated by the reliability calculation unit 250 and grasps the maximum value. When the maximum value of the reliability is smaller than the preset first threshold value, the threshold comparison processing unit 270 sets the region of interest around the pixel from which the maximum value is calculated, and sets the region of interest preset. The tracking point in the second frame is determined by analyzing based on the second threshold. Here, the first threshold value is determined experimentally, empirically, and mathematically, and is defined as a value stored in advance in the threshold comparison processing unit 270.

임계값비교처리부(270)는 신뢰도의 최대값이 산출된 셀을 파악한 후, 셀에 포함되어 있는 픽셀 중에서 최대값의 신뢰도에 해당하는 픽셀을 특정한다. 임계값비교처리부(270)는 그 픽셀을 중심으로 일정한 범위를 지정하여, 관심영역으로 설정한다. 임계값비교처리부(270)는 설정된 관심영역을 기설정된 제2임계값(second threshold value)을 기초로 하여 추가적으로 분석함으로써, 제2프레임에서의 추적점을 결정할 수 있다. 여기서, 제2임계값은 제1임계값과 마찬가지로, 실험적, 경험적, 수학적으로 결정된 값으로서, 임계값비교처리부(270)에 미리 저장되어 있는 값이다.The threshold comparison processing unit 270 identifies the cell from which the maximum value of the reliability is calculated, and then specifies a pixel corresponding to the maximum value of the reliability among the pixels included in the cell. The threshold comparison processing unit 270 designates a region of interest by designating a certain range around the pixel. The threshold comparison processing unit 270 may determine a tracking point in the second frame by additionally analyzing the set region of interest based on a preset second threshold value. Here, the second threshold value is an experimentally, empirically, and mathematically determined value similar to the first threshold value, and is a value stored in advance in the threshold comparison processing unit 270.

임계값비교처리부(270)가 결정하는 제2프레임에서의 추적점이란, 본 발명에 따른 시스템이 제2프레임에 해당하는 시점에서 공중표적이 영상데이터의 제2프레임 구간에서 그 추적점의 위치에 존재하는 것으로 추정하는 위치를 의미한다. 즉, 본 발명에 따른 시스템이 동작하기에 앞서, 제1프레임의 시점에서 공중표적이 어디에 위치하고 있는지 본 발명에 따른 추적시스템(200)은 파악한 상태에서, 제2프레임의 시점에서 공중표적이 어디에 위치하고 있는지 알 수 없으므로, 이를 추정한 값이 제2프레임의 추적점이 된다. 본 발명에 따른 시스템에 의해서, 제2프레임에서의 추적점이 올바르게 추정되는 것이 반복된다면, 종래의 기술과 달리 드리프트(drift)가 발생되지 않고, 공중표적을 정확하게 추적(tracking)할 수 있게 된다. 본 발명에 따른 가시적인 효과에 대해서는 도 7 및 도 8을 통해 후술하기로 한다.The tracking point in the second frame determined by the threshold comparison processing unit 270 refers to the location of the tracking point in the second frame section of image data when the system according to the present invention corresponds to the second frame. Refers to a location presumed to exist. That is, before the system according to the present invention operates, the tracking system 200 according to the present invention knows where the aerial target is located at the time of the first frame, and where the aerial target is located at the time of the second frame Since it is not known whether the estimated value is the tracking point of the second frame. With the system according to the present invention, if it is repeated that the tracking point in the second frame is correctly estimated, drift does not occur unlike the conventional technique, and it is possible to accurately track an aerial target. The visible effect according to the present invention will be described later with reference to FIGS. 7 and 8.

선택적 일 실시 예로서, 임계값비교처리부(270)는 제2프레임에서의 추적점을 선정하기 위해서 다음와 같은 과정을 거칠 수 있다.As an optional embodiment, the threshold comparison processing unit 270 may go through the following process to select a tracking point in the second frame.

먼저, 임계값비교처리부(270)는 셀 별로 신뢰도가 산출되고 나면, 최대값의 신뢰도를 갖는 셀을 파악하고, 셀에 포함되어 있는 픽셀을 중심으로 관심영역을 설정한다.First, after the reliability is calculated for each cell, the threshold comparison processing unit 270 identifies the cell having the maximum reliability, and sets the region of interest around the pixels included in the cell.

이어서, 임계값비교처리부(270)는 제2프레임의 영상데이터에서, 관심영역으로 설정된 부분의 정규화(normalization)를 수행하고, 제2임계값을 기준으로 이진화(binarization)를 수행한다. Subsequently, the threshold comparison processing unit 270 performs normalization of a portion set as a region of interest in the image data of the second frame, and performs binarization based on the second threshold.

임계값비교처리부(270)는 제2임계값을 기준으로 이진화처리된 관심영역에 대해서 닫기(closing)연산을 수행한다. 닫기 연산은 형태학(morphology) 연산방식의 일종으로서, 팽창(dilation)을 적용하여 결과를 얻은 후에 축소(erosion)를 적용하는 과정을 거치는 특징이 있다. 이 때, 임계값비교처리부(270)는 구조요소(structure element)로서, 5*5 정사각형을 이용할 수 있다.The threshold comparison processing unit 270 performs a closing operation on the region of interest binarized based on the second threshold value. The close operation is a type of morphology operation, and it is characterized by going through the process of applying erosion after obtaining the result by applying dilation. At this time, the threshold value comparison processing unit 270 may use a 5*5 square as a structure element.

임계값비교처리부(270)에 의해 닫기 연산이 수행되면, 분리된 물체를 채워주는 효과가 발생되지만, 물체의 원래크기는 보존되므로, 관심영역에서 공중표적을 식별하기가 보다 더 용이해지는 효과가 있다.When the close operation is performed by the threshold comparison processing unit 270, the effect of filling the separated object is generated, but since the original size of the object is preserved, it is easier to identify the aerial target in the region of interest. .

임계값비교처리부(270)는 닫기 연산이 수행되면, 오브젝트 라벨링(object labeling)을 수행하고, 최대크기를 갖는 오브젝트를 선정하게 된다. 최종적으로 임계값비교처리부(270)는 그 선정된 오브젝트를 에어싸고 있는 사각형의 중심을 추적점으로 선정한다.When the close operation is performed, the threshold comparison processing unit 270 performs object labeling and selects an object having the maximum size. Finally, the threshold value comparison processing unit 270 selects the center of the rectangle surrounding the selected object as an air tracking point.

위와 같이, 임계값비교처리부(270)는 제1임계값에 의해 관심영역으로 설정된 부분을 제2임계값을 기초로 일련의 과정을 거쳐서 제2프레임의 추적점을 선정할 수 있으며, 위와 같은 과정을 거치게 되면, 공중표적의 속도나 추적시간의 길이와 상관없이 공중표적 추적율이 극대화되고, 드리프트 현상이 발생되지 않는다.As described above, the threshold comparison processing unit 270 may select a tracking point of the second frame through a series of processes based on the second threshold value for the portion set as the region of interest by the first threshold value. When it passes through, regardless of the speed of the aerial target or the length of the tracking time, the tracking ratio of the aerial target is maximized and no drift occurs.

전술한 예와 또 다른 선택적 일 실시 예로서, 신뢰도산출부(250)로부터 최대값의 신뢰도를 전달받은, 극대점추정부(290)는 2차보간법을 기초로 하여 제2프레임에서의 추적점을 추정할 수도 있다.As another optional embodiment and the above-described example, the maximum estimation unit 290, which has received the maximum reliability from the reliability calculation unit 250, estimates the tracking point in the second frame based on the second-order interpolation method. You may.

보다 구체적으로, 극대점추정부(290)는 2차보간법(quadratic interpolation)을 수행한 결과로서, 영상데이터의 제2프레임의 특징정보의 신뢰도의 극대점을 추정하고, 추정된 극대점을 기초로 하여 제2프레임에서의 추적점을 결정할 수 있다. 본 선택적 일 실시 예에 따라서, 제2프레임에서의 추적점이 결정되는 경우, 임계값비교처리부(270)는 추적시스템(200)에서 생략될 수 있다.More specifically, the maximum point estimator 290 estimates the maximum point of reliability of the characteristic information of the second frame of the image data as a result of performing quadratic interpolation, and based on the estimated maximum point. The tracking point in the frame can be determined. According to the present exemplary embodiment, when the tracking point in the second frame is determined, the threshold comparison processing unit 270 may be omitted from the tracking system 200.

도 3은 극대점추정부가 2차보간법을 수행하여 추적점을 결정하는 과정을 설명하기 위한 도면이다.3 is a diagram for explaining a process of determining a tracking point by performing a quadratic interpolation method by a maximum point estimator.

먼저, 신뢰도산출부(250)에 의해서, 영상데이터의 제2프레임에서의 특징정보가 상관필터 기반의 추적기에 의해 추적되어, 셀 별로 신뢰도가 산출되었다고 가정하고, 상관필터로서 KCF가 사용되었다고 가정한다. 여기서, KCF는 한 개의 셀에 가로 4개, 세로 4개의 픽셀을 포함하는 것으로 설정되어 있고, 도 3에서는 설명의 편의를 위해서, 최대 신뢰도 기준 위치와 그 기준 위치의 주변의 8개의 셀들만이 표현된 것으로 본다.First, it is assumed that the reliability calculation unit 250 tracks feature information in a second frame of image data by a correlation filter-based tracker, and that reliability is calculated for each cell, and that KCF is used as a correlation filter. . Here, the KCF is set to include 4 horizontal and 4 vertical pixels in one cell. In FIG. 3, for convenience of description, only the maximum reliability reference position and 8 cells around the reference position are expressed. It seems to have been done.

극대점추정부(290)는 신뢰도산출부(250)로부터 신뢰도가 최대값인 셀에 대한 정보를 전달받는다. 도 3에서 신뢰도가 최대값인 셀의 좌표는 (x₀, y₀)이라고 가정한다. 극대점추정부(290)는 신뢰도가 최대값인 셀(이하, "대상셀")의 좌표가 파악되면, 그 셀 및 그 셀에 인접해있는 셀들의 좌표를 이용하여, 2차보간법을 수행한다.The maximum point estimator 290 receives information about a cell having a maximum reliability value from the reliability calculator 250. In FIG. 3, it is assumed that the coordinates of the cell having the maximum reliability are (x ₀ , y ₀ ). When the coordinates of the cell (hereinafter referred to as "target cell") having the maximum reliability are determined, the maximum point estimator 290 performs a secondary interpolation method using the coordinates of the cell and cells adjacent to the cell.

수학식 1 내지 수학식 6은 극대점추정부(290)가 2차보간법을 수행하는 과정에서 사용하는 수학식을 의미한다. 수학식 1 내지 수학식 6에서, x0는 대상셀의 x좌표, xp는 대상셀의 x좌표보다 1만큼 큰 x좌표, xm은 대상셀의 x좌표보다 1만큼 작은 x좌표,

x는 대상셀의 x좌표에 보정되는 x변화량, xe는 해당 픽셀에서의 신뢰도의 극대점으로서, 대상셀의 x좌표에 보정되는 x변화량인

x을 더한 x좌표를 의미한다. 전술한 예시에서, xe는 픽셀 내부에서의 좌표값이므로, 서브픽셀(sub-pixel)수준의 보정이라고 볼 수 있으며, 소숫점으로 좌표가 표현될 수 있다.Equations 1 to 6 mean the equations used in the process of performing the quadratic interpolation by the maximum point estimator 290. In Equations 1 to 6, x0 is the x-coordinate of the target cell, xp is the x-coordinate greater than 1 by the target cell's x-coordinate, xm is the x-coordinate less than the target cell's x-coordinate by 1,

x is the amount of x change corrected to the x coordinate of the target cell, xe is the maximum point of reliability at the pixel, and x is the amount of change corrected to the x coordinate of the target cell.

It means x coordinate plus x. In the above example, since xe is a coordinate value within a pixel, it can be regarded as a correction at a sub-pixel level, and coordinates can be expressed as decimal points.

마찬가지로, 수학식 1 내지 수학식 6에서, y0는 대상셀의 y좌표, yp는 대상셀의 y좌표보다 1만큼 큰 y좌표, ym은 대상셀의 y좌표보다 1만큼 작은 y좌표,

y는 대상셀의 y좌표에 보정되는 y변화량, ye는 해당 픽셀에서의 신뢰도의 극대점으로서, 대상셀의 y좌표에 보정되는 y변화량인

y을 더한 y좌표를 의미한다. 또한, 수학식 3 및 수학식 6에서, (Xp, Yp)는 이전 프레임인 제1프레임에서의 추적점이고, (Xc, Yc)는 현재 프레임인 제2프레임에서의 추적점을 의미하고, c1은 한 셀에서의 픽셀 수이므로, 본 선택적 일 실시 예에서는 4가 된다.Similarly, in Equations 1 to 6, y0 is the y-coordinate of the target cell, yp is the y-coordinate greater than 1 by the y-coordinate of the target cell, ym is the y-coordinate less than the y-coordinate of the target cell,

y is the y-change amount corrected to the y-coordinate of the target cell, and ye is the maximum point of reliability at the corresponding pixel, which is the y-change amount corrected to the y-coordinate of the target cell.

It means y coordinate plus y. In addition, in Equation 3 and Equation 6, (Xp, Yp) is a tracking point in the first frame that is the previous frame, (Xc, Yc) is a tracking point in the second frame that is the current frame, and c1 is Since it is the number of pixels in one cell, it is 4 in this optional embodiment.

결국, 극대점추정부(290)는 전술한 수학식 1 내지 수학식 6을 기초로 하여, 2차보간법을 수행함으로써, 제2프레임에서의 추적점인 (Xc, Yc)을 추정해낼 수 있고, 그 추적점은 x좌표 및 y좌표에서의 신뢰도의 극대점이 반영된 값이라고 볼 수 있다.In the end, the maximum point estimator 290 can estimate the tracking points (Xc, Yc) in the second frame by performing a second-order interpolation method based on the above-described Equations 1 to 6, and The tracking point can be regarded as a value reflecting the maximum point of reliability in the x and y coordinates.

또 다른 선택적 일 실시 예로서, 본 발명에 따른 추적시스템(200)은 전술한 임계값비교처리부(270) 및 극대점추정부(290)를 모두 포함할 수도 있다. 본 발명에 따른 추적시스템(200)에 포함된 신뢰도산출부(250)가 제2프레임의 특징정보의 신뢰도를 셀 별로 산출하고 나면, 임계값비교처리부(270)는 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작은 경우에 한해, 관심영역을 설정하고 제2임계값을 기초로 제2프레임에서의 추적점을 결정할 수 있고, 신뢰도의 최대값이 기설정된 제1임계값보다 더 크거나, 제1임계값과 동일할 경우에는 극대점추정부(290)가 2차보간법을 이용하여, 제2프레임에서의 추적점을 산출할 수 있다.As another optional embodiment, the tracking system 200 according to the present invention may include both the threshold comparison processing unit 270 and the maximum point estimation unit 290 described above. After the reliability calculation unit 250 included in the tracking system 200 according to the present invention calculates the reliability of the feature information of the second frame for each cell, the threshold comparison processing unit 270 determines the maximum value of the calculated reliability. As long as it is smaller than the set first threshold, the region of interest can be set and the tracking point in the second frame can be determined based on the second threshold, and the maximum value of the reliability is greater than the preset first threshold. Or, if it is the same as the first threshold value, the maximum point estimator 290 may calculate a tracking point in the second frame using a second-order interpolation method.

본 선택적 일 실시 예에 따르면, 상관필터에 의한 추적점 추정시 서브픽셀 수준의 추적점 추정 방법을 적용하고, 추적점으로 추정된 상관필터의 최대 신뢰도가 제1임계값미만일 경우, 드리프트를 줄이기 위한 방법을 이용함으로써, 공중표적에 대한 추적 정밀도를 현저하게 향상시킬 수 있게 된다. According to an exemplary embodiment of the present invention, a method of estimating a subpixel level of a tracking point is applied when estimating a tracking point by a correlation filter, and when the maximum reliability of the correlation filter estimated as the tracking point is less than a first threshold value, the drift is reduced. By using the method, it is possible to significantly improve tracking accuracy for aerial targets.

도 4는 본 발명에 따른 추적방법의 일 예의 흐름도를 도시한 도면이다.4 is a flowchart illustrating an example of a tracking method according to the present invention.

도 4는 도 2에 따른 추적시스템(200)에 의해 구현될 수 있으므로, 이하에서는 도 2를 참조하여 설명하기로 하며, 도 2에서 설명한 내용과 중복되는 설명은 생략하기로 한다.Since FIG. 4 can be implemented by the tracking system 200 according to FIG. 2, it will be described below with reference to FIG. 2 and descriptions overlapping with those described in FIG. 2 will be omitted.

특징정보추출부(210)는 영상데이터의 제2프레임으로부터 셀을 기반으로 특징정보를 추출한다(S410). 이어서, 특징정보추출부(210)는 추출된 특징정보를 FFT를 이용하여 주파수영역으로 변환한다(S420).The feature information extracting unit 210 extracts feature information based on a cell from the second frame of the image data (S410). Subsequently, the feature information extracting unit 210 converts the extracted feature information into a frequency domain using an FFT (S420).

특징정보부가부(230)는 제2프레임의 특징정보에 제1프레임의 특징정보를 부가한다(S430).The feature information adding unit 230 adds feature information of the first frame to feature information of the second frame (S430).

특징정보부가부(230)는 제1프레임의 특징정보가 부가된 제2프레임의 특징정보에 IFFT를 적용한다(S440).The feature information adding unit 230 applies IFFT to the feature information of the second frame to which the feature information of the first frame is added (S440).

신뢰도산출부(250)는 상관필터기반 추적기로 셀 별로 신뢰도를 산출한다(S450).The reliability calculator 250 calculates the reliability for each cell using a correlation filter-based tracker (S450).

임계값비교처리부(270)는 신뢰도의 최대값이 제1임계값보다 작은지 여부를 판단하고(S460), 신뢰도의 최대값이 제1임계값보다 작지 않으면, 셀 위치를 픽셀위치로 변환하여 추적점을 추정한다(S470). 단계 S470은 배경기술에서 설명한 단계 S160과 동일한 과정을 통해 진행된다.The threshold comparison processing unit 270 determines whether the maximum value of the reliability is less than the first threshold (S460), and if the maximum value of the reliability is not less than the first threshold, the cell position is converted into a pixel position and tracked. The point is estimated (S470). Step S470 proceeds through the same process as step S160 described in the background art.

임계값비교처리부(270)는 신뢰도의 최대값이 제1임계값 미만이라면, 신뢰도의 크기를 기준으로 관심영역을 설정한 후, 제2임계값을 기초로 하는 임계값설정방법을 통해서 추적점을 결정하게 된다(S480).If the maximum value of the reliability is less than the first threshold, the threshold comparison processing unit 270 sets the region of interest based on the magnitude of the reliability, and then sets the tracking point through the threshold setting method based on the second threshold. It is decided (S480).

임계값비교처리부(270)는 추정된 추적점을 출력하고, 추정된 추적점이 다음 프레임(제3프레임)의 추적점정보로서 부가될 수 있도록 처리한다(S490). 여기서, 제3프레임은 제2프레임의 다음 프레임을 의미한다.The threshold comparison processing unit 270 outputs the estimated tracking point, and processes the estimated tracking point to be added as tracking point information of the next frame (third frame) (S490). Here, the third frame means the next frame of the second frame.

도 5는 본 발명에 따른 추적방법의 다른 일 예의 흐름도를 도시한 도면이다.5 is a flowchart illustrating another example of a tracking method according to the present invention.

도 5는 도 2에 따른 추적시스템(200)에 의해 구현될 수 있으므로, 이하에서는 도 2를 참조하여 설명하기로 하며, 도 2에서 설명한 내용과 중복되는 설명은 생략하기로 한다.5 may be implemented by the tracking system 200 according to FIG. 2, it will be described below with reference to FIG. 2, and descriptions overlapping with those described in FIG. 2 will be omitted.

특징정보추출부(210)는 영상데이터의 제2프레임으로부터 셀을 기반으로 특징정보를 추출하고(S510), 추출된 특징정보를 FFT를 이용하여 주파수영역으로 변환한다(S520).The feature information extractor 210 extracts feature information based on a cell from the second frame of the image data (S510), and converts the extracted feature information into a frequency domain using an FFT (S520).

특징정보부가부(230)는 제2프레임의 특징정보에 제1프레임의 특징정보를 부가하고(S530), 특징정보부가부(230)는 제1프레임의 특징정보가 부가된 제2프레임의 특징정보에 IFFT를 적용한다(S540).The feature information adding unit 230 adds the feature information of the first frame to the feature information of the second frame (S530), and the feature information adding portion 230 features the second frame to which the feature information of the first frame is added. IFFT is applied to the information (S540).

신뢰도산출부(250)는 상관필터기반 추적기로 셀 별로 신뢰도를 산출한다(S550).The reliability calculator 250 calculates the reliability for each cell using a correlation filter-based tracker (S550).

극대점추정부(290)는 서브픽셀 추적점 추정방식을 통해서 추적점을 추정한다(S560). 여기서, 서브픽셀 추적점 추정방식은 전술한 수학식 1 내지 수학식 6을 사용하는 2차보간법을 의미한다.The maximum point estimator 290 estimates the tracking point through the sub-pixel tracking point estimation method (S560). Here, the sub-pixel tracking point estimation method means a secondary interpolation method using Equations 1 to 6 described above.

극대점추정부(290)는 추정된 추적점을 출력하고, 추정된 추적점이 제3프레임의 특징정보에 추적점정보로서 부가될 수 있도록 특징정보부가부(230)에 전달한다.The maximum point estimator 290 outputs the estimated tracking point, and transmits the estimated tracking point to the feature information adding unit 230 so that the estimated tracking point can be added as tracking point information to the characteristic information of the third frame.

도 6은 본 발명에 따른 추적방법의 다른 일 예의 흐름도를 도시한 도면이다.6 is a flowchart illustrating another example of a tracking method according to the present invention.

도 6은 도 2에 따른 추적시스템(200)에 의해 구현될 수 있으므로, 이하에서는 도 2를 참조하여 설명하기로 하며, 도 2에서 설명한 내용과 중복되는 설명은 생략하기로 한다.6 may be implemented by the tracking system 200 according to FIG. 2, it will be described below with reference to FIG. 2, and descriptions overlapping with those described in FIG. 2 will be omitted.

도 6에서 단계 S610 내지 S650은 전술한 단계 S510 내지 S550와 동일하게 진행된다(S610 내지 S650).6, steps S610 to S650 are performed in the same manner as steps S510 to S550 described above (S610 to S650).

임계값비교처리부(270)는 제2프레임의 셀 별 신뢰도의 최대값이 제1임계값미만인지 판단하고(S660), 제2프레임의 셀 별 신뢰도의 최대값이 제1임계값미만인 경우, 신뢰도의 크기를 기준으로 관심영역을 설정 후, 임계값설정방법을 통해서 추적점을 추정한다(S680).The threshold comparison processing unit 270 determines whether the maximum value of the reliability of each cell of the second frame is less than the first threshold value (S660), and when the maximum value of the reliability of each cell of the second frame is less than the first threshold value, the reliability After setting the region of interest based on the size of, the tracking point is estimated through the threshold setting method (S680).

임계값비교처리부(270)는 제2프레임의 셀 별 신뢰도의 최대값이 제1임계값미만이 아닌 경우, 극대점추정부(290)가 서브픽셀 추적점 추정방식을 통해서 추적점을 추정할 수 있도록 제어한다(S670). 여기서, 서브픽셀 추적점 추정방식은 전술한 수학식 1 내지 수학식 6을 사용하는 2차보간법을 의미한다.The threshold comparison processing unit 270 allows the maximum point estimator 290 to estimate the tracking point through the subpixel tracking point estimation method when the maximum value of the reliability of each cell in the second frame is less than the first threshold value. Control (S670). Here, the sub-pixel tracking point estimation method means a secondary interpolation method using Equations 1 to 6 described above.

임계값비교처리부(270) 또는 극대점추정부(290)는 추정된 추적점을 출력하고, 추정된 추적점이 다음 프레임(제3프레임)의 추적점정보로서 부가될 수 있도록 처리한다(S490). 여기서, 제3프레임은 제2프레임의 다음 프레임을 의미한다.The threshold comparison processing unit 270 or the maximum point estimation unit 290 outputs the estimated tracking point, and processes the estimated tracking point to be added as tracking point information of the next frame (third frame) (S490). Here, the third frame means the next frame of the second frame.

도 7은 공중표적을 추적하는 상황에서 드리프트 현상에 의해서 공중표적에 대한 추적에 실패한 경우의 일 예를 도식적으로 나타낸 도면이다.7 is a diagram schematically showing an example of a case where tracking of an aerial target fails due to a drift phenomenon in a situation of tracking an aerial target.

도 7은, 가시광영상에서 KCF 알고리즘에 의한 추적결과로서, 드리프트가 발생하여 70번째 프레임에서 실제 표적위치와 추적결과가 멀어져있는 것을 도시하고 있다. 도 7의 상단, 가시광영상에서 빨간색 십자선은 추적결과, 빨간색 원은 실제표적, 하늘색 사각형은 추적결과를 중심으로 선택된 표적영역을 의미한다.FIG. 7 shows a tracking result by the KCF algorithm in the visible light image, and a drift occurs, so that the actual target position and tracking result are far from the 70th frame. In the upper part of FIG. 7, in the visible light image, the red crosshair is the tracking result, the red circle is the actual target, and the sky blue square means the target area selected around the tracking result.

도 7의 하단은 드리프트 현상에 의해서 추적결과가 실제 표적의 위치간의 거리편차가 프레임의 숫자가 커지면 커질수록 함께 커지는 것을 직관적으로 나타낸다.The lower part of FIG. 7 intuitively shows that the tracking result is increased as the number of frames increases as the number of frames increases due to the drift phenomenon.

도 8은 공중표적을 추적하는 상황에서 본 발명에 따라 드리프트 현상이 최소화되면서 공중표적에 대한 추적에 성공한 경우의 일 예를 도식적으로 나타낸 도면이다.8 is a diagram schematically showing an example of a case in which tracking of an aerial target is successful while a drift phenomenon is minimized according to the present invention in a situation of tracking an aerial target.

도 8은, 가시광영상에서 KCF 알고리즘에 의한 추적결과로서, 드리프트가 최소화되면서 660번째 프레임에서도 실제 표적위치와 추적결과가 거의 일치하는 것을 도시하고 있다. 도 8의 상단, 가시광영상에서 빨간색 십자선이 실제표적의 중심과 큰 오차없이 중첩되어 나타나는 것을 알 수 있다.8, as a tracking result by the KCF algorithm in the visible light image, while the drift is minimized, the 660th frame shows that the actual target position and the tracking result are almost identical. It can be seen from the top of FIG. 8 that the red crosshairs appear superimposed with the center of the actual target without much error in the visible light image.

도 8의 하단은 드리프트 현상이 최소화됨에 따라서, 추적결과가 실제 표적의 위치간의 거리편차가 프레임의 숫자가 커지더라도 일정한 범위내에서 진동하는 것을 직관적으로 나타낸다.The bottom of FIG. 8 intuitively shows that as the drift phenomenon is minimized, the tracking result vibrates within a certain range even if the number of frames increases in the distance deviation between the actual target positions.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.The embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program can be recorded on a computer-readable medium. At this time, the medium includes a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, and a ROM , Hardware devices specially configured to store and execute program instructions, such as RAM, flash memory, and the like.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of computer programs may include not only machine language codes created by a compiler, but also high-level language codes executable by a computer using an interpreter or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are exemplary embodiments, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings are illustrative examples of functional connections and/or physical or circuit connections, and in the actual device, alternative or additional various functional connections, physical It can be represented as a connection, or circuit connections. In addition, unless specifically mentioned, such as “essential”, “importantly”, etc., it may not be a necessary component for application of the present invention.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.In the specification (particularly in the claims) of the present invention, the use of the term “above” and similar indication terms may be in both singular and plural. In addition, in the case of describing a range in the present invention, as including the invention to which the individual values belonging to the range are applied (if there is no contrary description), each individual value constituting the range is described in the detailed description of the invention. Same as Finally, unless there is a clear or contradictory description of the steps constituting the method according to the invention, the steps can be done in a suitable order. The present invention is not necessarily limited to the description order of the above steps. The use of all examples or exemplary terms (eg, etc.) in the present invention is merely for describing the present invention in detail, and the scope of the present invention is limited due to the examples or exemplary terms, unless it is defined by the claims. It does not work. In addition, those skilled in the art can recognize that various modifications, combinations, and changes can be configured according to design conditions and factors within the scope of the appended claims or equivalents thereof.

Claims

An information extraction step of extracting feature information in a second frame based on a cell including at least one pixel from the image data;
An information adding step of determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists;
A reliability calculation step of tracking the feature information to which the trace point information is added with a correlation filter-based tracker, and calculating the reliability of the feature information for each cell; And
If the maximum value of the calculated reliability is smaller than a preset first threshold value, a region of interest is set around a pixel from which the maximum value is calculated, and the set region of interest is based on a preset second threshold value. Aerial target tracking method using a correlation filter comprising a threshold value comparison processing step of analyzing and determining a tracking point in the second frame.

According to claim 1,
The correlation filter,
A public target tracking method using a correlation filter, characterized in that it is a KCF (Kernelized Correlation Filter) set to include 4 horizontal and 4 vertical pixels in one cell.

According to claim 1,
The correlation filter,
A public target tracking method using a correlation filter, characterized in that it is a MOSSE (Minimum Output Sum of Squared Error) filter set to include one pixel in one cell.

An information extraction step of extracting feature information in a second frame based on a cell including at least one pixel from the image data;
An information adding step of determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists;
A reliability calculation step of tracking the feature information to which the trace point information is added with a correlation filter-based tracker, and calculating the reliability of the feature information for each cell; And
A public target tracking method using a correlation filter including a maximum point estimation step of determining a tracking point in the second frame by performing quadratic interpolation based on the result tracked by the tracker and the calculated reliability. .

According to claim 4,
The maximum point estimation step,
As a result of performing the second interpolation method, it estimates the maximum point of the reliability of the feature information and determines the tracking point in the second frame based on the estimated maximum point. Way.

An information extraction step of extracting feature information in a second frame based on a cell including at least one pixel from the image data;
An information adding step of determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists;
A reliability calculation step of tracking the feature information to which the trace point information is added with a correlation filter-based tracker, and calculating the reliability of the feature information for each cell;
If the maximum value of the calculated reliability is smaller than a preset first threshold value, a region of interest is set around a pixel from which the maximum value is calculated, and the set region of interest is based on a preset second threshold value. A threshold value comparison processing step of analyzing and determining a tracking point in the second frame; And
If the maximum value of the calculated reliability is greater than or equal to the first threshold value, a quadratic interpolation is performed based on the traced result with the tracker and the calculated reliability. An aerial target tracking method using a correlation filter comprising a maximum point estimation step of determining a tracking point in the second frame.

A computer-readable recording medium storing a program for executing the method according to any one of claims 1 to 6.

A feature information extractor for extracting feature information in a second frame based on a cell including at least one pixel from the image data;
A feature information adding unit for determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists;
A reliability calculator that tracks the feature information to which the trace point information is added by a correlation filter-based tracker and calculates the reliability of the feature information for each cell; And
If the maximum value of the calculated reliability is smaller than a preset first threshold value, a region of interest is set around a pixel from which the maximum value is calculated, and the set region of interest is based on a preset second threshold value. An aerial target tracking system using a correlation filter including a threshold comparison processing unit to analyze and determine a tracking point in the second frame.

The method of claim 8,
The correlation filter,
An air target tracking system using a correlation filter, characterized in that it is a KCF (Kernelized Correlation Filter) set to include 4 horizontal and 4 vertical pixels in one cell.

The method of claim 8,
The correlation filter,
An air target tracking system using a correlation filter, characterized in that it is a MOSSE (Minimum Output Sum of Squared Error) filter set to include one pixel in one cell.

A feature information extractor for extracting feature information in a second frame based on a cell including at least one pixel from the image data;
A feature information adding unit for determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists;
A reliability calculator that tracks the feature information to which the trace point information is added by a correlation filter-based tracker and calculates the reliability of the feature information for each cell; And
An aerial target tracking system using a correlation filter including a maximum point estimation unit that determines a tracking point in the second frame by performing quadratic interpolation based on the result tracked by the tracker and the calculated reliability.

The method of claim 11,
The maximum point estimate,
As a result of performing the second interpolation method, it estimates the maximum point of the reliability of the feature information and determines the tracking point in the second frame based on the estimated maximum point. system.

A feature information extractor for extracting feature information in a second frame based on a cell including at least one pixel from the image data;
A feature information adding unit for determining whether there is tracking point information in a first frame for a time point earlier than the second frame, and adding the tracking point information to the feature information if the tracking point information exists;
A reliability calculator that tracks the feature information to which the trace point information is added by a correlation filter-based tracker and calculates the reliability of the feature information for each cell;
If the maximum value of the calculated reliability is smaller than a preset first threshold value, a region of interest is set around a pixel from which the maximum value is calculated, and the set region of interest is based on a preset second threshold value. A threshold comparison processing unit to analyze and determine a tracking point in the second frame; And
If the maximum value of the calculated reliability is greater than or equal to the first threshold value, a quadratic interpolation is performed based on the traced result with the tracker and the calculated reliability. An aerial target tracking system using a correlation filter including a maximum point estimation unit that determines a tracking point in the second frame.