KR20170077545A - Real-Time Object Tracking System and Method for in Lower Performance Video Devices - Google Patents

Real-Time Object Tracking System and Method for in Lower Performance Video Devices Download PDF

Info

Publication number
KR20170077545A
KR20170077545A KR1020150187513A KR20150187513A KR20170077545A KR 20170077545 A KR20170077545 A KR 20170077545A KR 1020150187513 A KR1020150187513 A KR 1020150187513A KR 20150187513 A KR20150187513 A KR 20150187513A KR 20170077545 A KR20170077545 A KR 20170077545A
Authority
KR
South Korea
Prior art keywords
appearance model
model
global
image
object tracking
Prior art date
Application number
KR1020150187513A
Other languages
Korean (ko)
Other versions
KR101901487B1 (en
Inventor
윤주홍
황영배
최병호
김정호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020150187513A priority Critical patent/KR101901487B1/en
Publication of KR20170077545A publication Critical patent/KR20170077545A/en
Application granted granted Critical
Publication of KR101901487B1 publication Critical patent/KR101901487B1/en

Links

Images

Classifications

    • G06K9/00624—
    • G06K9/00718—
    • G06K9/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 객체 추적 방법은, 전역적 외형 모델과 지역적 외형 모델을 기초로 영상 내 객체의 위치와 크기를 추정하고, 전역적 외형 모델을 업데이트 한다. 이에 의해, 추적 대상 객체의 갑작스런 크기 변화와 가려짐 문제에 강건한 객체 추적이 가능해진다.A real-time object tracking system and method in low-end video equipment is provided. An object tracking method according to an embodiment of the present invention estimates the position and size of an object in an image based on a global outline model and a local outline model, and updates a global outline model. This makes it possible to trace robust objects to sudden changes in size and obscurity of objects to be tracked.

Description

저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법{Real-Time Object Tracking System and Method for in Lower Performance Video Devices}TECHNICAL FIELD [0001] The present invention relates to a real-time object tracking system and method for a low-

본 발명은 실시간 객체 기술에 관한 것으로, 더욱 상세하게는 지능형 자동차의 저사양 영상 기기에 적용가능한 실시간 객체 추적 시스템 및 방법에 관한 것이다.
The present invention relates to real-time object technology, and more particularly, to a real-time object tracking system and method applicable to a low-end video device of an intelligent automobile.

1. 계산량 문제1. Calculation problem

영상 기반의 객체 추적은, 객체의 외형을 학습 시 대부분의 기계학습(machine learning)에 기반을 둔다. 이는, 도 1에 도시된 바와 같이, positive 샘플과 negative 샘플을 객체 주변에서 랜덤하게 획득하여 객체와 배경을 가장 잘 분리할 수 있는 객체 외형 모델을 학습한다.Image-based object tracking is based on most machine learning in learning the appearance of an object. This teaches an object appearance model that best separates objects and backgrounds by randomly acquiring positive and negative samples around the object, as shown in FIG.

하지만, 계산량 문제로 제한적인 수의 샘플만 외형 학습에 사용 가능하며, 샘플 획득은 랜덤하게 이루어지기 때문에 현재 객체의 외형을 가장 잘 표현하는 샘플 획득이 어렵다.
However, because of the computational complexity, only a limited number of samples can be used for external shape learning, and since sample acquisition is performed randomly, it is difficult to obtain a sample that best represents the contour of the current object.

2. 크기 변화 문제2. Size change problem

기계학습 방법에 기반을 둔 대부분의 객체 추적 방법은, 객체를 배경으로부터 구별하는 외형 모델을 온라인으로 학습하므로 객체의 위치 추정에는 효과적이나 객체의 크기 변화 추정에는 대응하기 어렵다.Most of the object tracking methods based on the machine learning method are effective for object position estimation because it learns the outline model that distinguishes the object from the background on-line, but it is difficult to cope with the estimation of the size change of the object.

즉, 도 2의 (a)-(b)에 나타난 바와 같이, 객체의 외형 크기가 변하는 경우 객체 추적의 성능이 낮아짐을 알 수 있다.
That is, as shown in FIGS. 2 (a) and 2 (b), the performance of the object tracking is lowered when the external size of the object changes.

3. 가려짐(occlusion) 문제3. Occlusion problems

객체 추적 시 영상 내의 구조물이나 다른 객체에 의해 객체 가려짐 문제가 발생한다. 이런 경우 객체의 외형 정보를 학습하게 되면 추적 객체가 객체를 가린 구조물이나 객체의 외형 정보가 학습되어, 도 3의 (b)-(c)에 나타난 바와 같이, 일정 시간이 지나서 추적 객체가 다시 출현할 경우 객체 재인식에 실패하게 된다.
When tracking an object, objects are occluded by objects or other objects in the image. In this case, if the object's appearance information is learned, the tracking object learns the shape information of the structure or the object with which the object is hidden. As shown in FIGS. 3B to 3C, It will fail to recognize the object again.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 고사양 컴퓨터 플랫폼이 아닌 저전력/저사양 영상기기에서, 추적 대상 객체의 갑작스런 크기 변화와 가려짐 문제 등에 강건한 실시간 객체 추적 시스템 및 방법을 제공함에 있다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a robust real-time object tracking system for a low-power / low-end video device, which is not a high- And a method.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 추적 방법은, 전역적 외형 모델(Global Appearance Model)과 지역적 외형 모델(Local Appearance Model)을 기초로, 영상 내 객체의 위치와 크기를 추정하는 단계; 및 상기 전역적 외형 모델을 업데이트 하는 단계;를 포함한다.According to an embodiment of the present invention, there is provided a method for tracking an object, the method comprising the steps of: locating an object in an image based on a Global Appearance Model and a Local Appearance Model; Estimating; And updating the global appearance model.

그리고, 상기 전역적 외형 모델은 영상 내 객체의 위치를 추정하기 위한 모델이고, 상기 지역적 외형 모델은 영상 내 객체의 크기를 추정하기 위한 모델일 수 있다.In addition, the global appearance model is a model for estimating the position of an object in an image, and the local appearance model may be a model for estimating the size of an object in the image.

또한, 추정 단계는, 다음의 객체 모션 모델 p(xt｜z1 :t)을 최대화하는 객체의 위치와 크기 xt를 산출하며,Further, the estimating step calculates the position and size x t of the object maximizing the next object motion model p (x t | z 1 : t )

Figure pat00001
Figure pat00001

zt는 입력 영상, Pocc(xt)는 가려짐(occlusion) 확률, Pm(xt)은 이전 시간에서 객체 모션, pL(zt｜xt)은 지역적 외형 모델, pG(zt｜xt)는 전역적 외형 모델일 수 있다.z t is an input image, P occ (x t) is occlusion (occlusion) probabilities, P m (x t) is the object motion in the previous time, p L (z t | x t) is a regional appearance model, p G ( z t | x t ) may be a global contour model.

그리고, 상기 전역적 외형 모델 pG(zt｜xt)는, 다음의 식으로 표현되며,Then, the global appearance model p G (z t | x t ) is expressed by the following equation,

Figure pat00002
Figure pat00002

Figure pat00003
는 주파수 역변환,
Figure pat00004
은 주파수 변환, h는 학습된 상관도 필터, ⊙는 원소 연산(element-wise) 처리,
Figure pat00005
는 커널(kernel) 함수일 수 있다.
Figure pat00003
Frequency inverse transform,
Figure pat00004
H is the learned correlation filter, ⊙ is the element-wise processing,
Figure pat00005
May be a kernel function.

또한, 상기 지역적 외형 모델 pL(zt｜xt)은, 이전 시간의 특징점 간의 상대 거리와 현재 시간의 특징점 간의 상대 거리 비율일 수 있다.Also, the local appearance model p L (z t | x t ) may be a relative distance ratio between the relative distance between the minutiae points of the previous time and the minutiae points of the current time.

그리고, 상기 가려짐 확률 Pocc(xt)는, 추적 중인 특징점의 손실 비율이 정해진 비율을 초과하면 P1 이고, 정해진 비율 미만이면 P2(>P1)이며, 상기 업데이트 단계는, 상기 손실 비율을 기초로, 상기 전역적 외형 모델을 업데이트 할 수 있다.In addition, the occlusion probability P occ (x t), when the loss ratio of the feature points being tracked must exceed a certain ratio and P 1, and less than predetermined ratio P 2 (> P 1), the update step, the loss Based on the ratio, the global contour model can be updated.

한편, 본 발명의 다른 실시예에 따른, 객체 추적 시스템은, 영상을 입력받는 입력부; 및 전역적 외형 모델(Global Appearance Model)과 지역적 외형 모델(Local Appearance Model)을 기초로 영상 내 객체의 위치와 크기를 추정하고, 상기 전역적 외형 모델을 업데이트 하는 프로세서;를 포함한다.
According to another aspect of the present invention, there is provided an object tracking system including: an input unit for inputting an image; And a processor for estimating the position and size of the object in the image based on the global appearance model and the local appearance model, and updating the global appearance model.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 지역적 외형 모델을 같이 활용하기 때문에, 자동차 주행 환경에서 자동차의 움직임에 의해 전방에 출현하는 객체(교통 표지판 등)의 크기 변화가 심한 경우에도, 객체 추적이 가능해진다.As described above, according to the embodiments of the present invention, even when a size change of an object (traffic sign, etc.) appearing forward due to the movement of an automobile in a vehicle driving environment is severe, Object tracking becomes possible.

또한, 본 발명의 실시예들에 따르면, 지역적 외형 모델을 이용하여 객체 가려짐 현상을 추정하고 객체 외형 모델 학습을 중단함으로써 미래에 발생할 수 있는 객체 추적 실패를 사전에 방지할 수 있게 된다.Also, according to embodiments of the present invention, it is possible to prevent the object tracking failure that may occur in the future in advance by estimating the object clipping phenomenon using the local appearance model and stopping the object appearance model learning.

아울러, 본 발명의 실시예들에 따르면, 객체의 크기 변화나 가려짐 현상을 효과적으로 추정할 수 있는 지역적 외형 모델과 영상의 노이즈나 밝기 변화에 효과적으로 대응할 수 있는 전역적 외형 모델을 함께 활용함으로써 보다 다양한 환경에서 효과적인 객체 추적이 가능하다.
In addition, according to embodiments of the present invention, a global appearance model capable of effectively estimating a size change or a masking phenomenon of an object and a global appearance model capable of effectively coping with a noise or brightness change of an image can be used together, Effective object tracking in the environment is possible.

도 1은 객체 외형 모델 학습을 위한 학습샘플(training sample) 획득을 예시한 이미지,
도 2는 객체 크기 변화 문제[(a)-(b)]와 가려짐 문제[(b)-(c)]를 나타낸 이미지,
도 3은 저사양 영상 기기에서의 실시간 객체 추적 방법을 나타낸 도면,
도 4는 회선 연산을 이용한 학습 데이터 획득 방식을 나타낸 도면,
도 5는 객체의 크기 변화에 따른 이전 시간의 특징점 간의 상대 거리와 현재 시간의 특징점 간의 상대거리 변화를 나타낸 도면,
도 6은 객체 가려짐에서 발생하는 특징점 손실을 예시한 도면,
도 7 내지 도 11은, 객체 추적 실험 결과를 나타낸 도면들, 그리고,
도 12는 본 발명의 다른 실시예에 따른 객체 추적 시스템의 블럭도이다.1 shows an example of acquiring a training sample for object outline model learning,
Fig. 2 shows an image showing the object size change problem [(a) - (b)] and the occlusion problem [(b) - (c)
3 is a diagram illustrating a real-time object tracking method in a low-
4 is a diagram showing a learning data acquisition method using a line operation,
5 is a diagram showing a change in the relative distance between the minutiae of the current time and the relative distance between the minutiae of the previous time according to the size change of the object,
6 is a diagram illustrating a feature point loss occurring in an object shading,
7 to 11 are diagrams showing the results of object tracking experiments,
12 is a block diagram of an object tracking system according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

본 발명의 실시예에서는, 지능형 자동차의 핵심 기술인 보행자 인식, 교통 신호 인식, 차량 인식, 번호판 인식 등의 기능 구현에서 핵심으로 이용되는 객체 추적 방법으로, 고사양 컴퓨터 플랫폼이 아닌 저전력/저사양 영상기기에서 동작 가능한 다중 객체 추적 방법 및 시스템을 제시한다.In the embodiment of the present invention, an object tracking method used as a core in the implementation of functions such as pedestrian recognition, traffic signal recognition, vehicle recognition, license plate recognition, which are key technologies of an intelligent automobile, is performed in a low power / low- A possible multi-object tracking method and system are proposed.

본 발명의 실시예에서는, 자동차 플랫폼 영상 획득 환경에서 흔히 발생하는 추적 대상 객체의 갑작스런 크기 변화와 가려짐(occlusion) 문제에 강건한 객체 추적을 추구한다.In the embodiment of the present invention, robust object tracking is sought for a sudden change in size and occlusion of an object to be tracked that often occurs in an automotive platform image acquisition environment.

도 3은 본 발명의 일 실시예에 따른 저사양 영상 기기에서의 실시간 객체 추적 방법을 나타낸 도면이다. 도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 실시간 객체 추적 방법은, 객체 추적을 위한 주요 외형 모델로, 지역적 외형 모델(Local Appearance Model)과 전역적 외형 모델(Global Appearance Model)을 함께 이용한다.3 is a diagram illustrating a real-time object tracking method in a low-end video apparatus according to an embodiment of the present invention. 3, the real-time object tracking method according to the embodiment of the present invention is a main outline model for object tracking, and includes a local appearance model and a global appearance model .

지역적 외형 모델은, 영상 노이즈나 영상의 밝기 변화에 취약하지만, 객체의 크기 변화나 가려짐 현상을 효과적으로 추정할 수 있다. 반대로, 전역적 외형 모델은 객체의 외형 변화에 느리게 따라가지만, 영상의 노이즈나 밝기 변화에 효과적으로 대응할 수 있다.The local appearance model is susceptible to image noise or brightness change of the image, but it can effectively estimate the object size change or clogging. On the contrary, the global appearance model follows the appearance change of the object slowly but can effectively cope with the noise or the brightness change of the image.

이에, 본 발명의 일 실시예에서는, 두 외형 모델의 장점을 함께 활용하여 객체 크기 변화와 가려짐 문제 해결은 물론, 영상 밝기 변화와 노이즈에 의한 객체 추적 실패까지 방지한다.Accordingly, in one embodiment of the present invention, the advantages of the two outline models are utilized together to prevent the object size change and the obscuring problem as well as the image brightness change and the object tracking failure due to the noise.

두 외형 모델을 효과적으로 융합하기 위해 확률 기반 프레임워크를 적용한다.Apply a probability-based framework to effectively combine two external models.

Figure pat00006
(1)
Figure pat00006
(One)

위의 식 (1)에서 객체의 상태벡터 xt={ut,vt,st}T는 영상 내의 객체 위치(ut,vt)와 크기 st로 구성된다. 현재 시간 t까지의 입력 영상은 Z1 :t={z1, ... , Zt}로 표현한다. 객체 추적 결과는 사후 확률 p(xt｜z1 :t)를 최대화(maximization)하는

Figure pat00007
이다. 사후 확률 p(xt｜z1 :t)을 유도하면, 다음과 같이 수식화된다.Of the object in the above equation (1), the state vector x t = {u t, v t, s t} T is configured as an object position in the image (u t, v t) and s t size. The input image up to the current time t is expressed as Z 1 : t = {z 1 , ..., Z t }. The object tracking result maximizes the posterior probability p (x t | z 1 : t )
Figure pat00007
to be. If the posterior probability p (x t | z 1 : t ) is derived, it is formulated as follows.

Figure pat00008
(2)
Figure pat00008
(2)

여기서, 공산 예측 확률 분포(predicted distribution) p(xt｜z1 :t-1)는 다음과 같이 표현된다.Here, the predicted distribution p (x t | z 1 : t-1 ) is expressed as follows.

Figure pat00009
(3)
Figure pat00009
(3)

위의 식(3)에서 p(xt｜xt -1)는 객체의 모션 모델로 다양한 객체의 움직임을 예측하기 위해 랜덤 워크 모델(Random Walk Model)로 정의한다. 식 (2)에서 공산 p(zt｜xt)는 지역적 외형 모델 pL(zt｜xt)과 전역적 외형 모델 pG(zt｜xt)로 설계되며 다음과 같이 표현 가능하다.In the above equation (3), p (x t | x t -1 ) is defined as a random walk model to predict the motion of various objects as a motion model of an object. The conjugate p (z t | x t ) in Eq. (2) is designed with the local extrapolation model p L (z t | x t ) and the global extrinsic model p G (z t | x t ) .

Figure pat00010
Figure pat00010

(4) (4)

위의 식 (4)에서, Pocc(xt)는 가려짐(occlusion) 확률로, 다음과 같이 정의 된다. Pocc(xt)∈{0,1}. 객체가 가려진 상황이라고 추정되면 1의 값을 갖게 되며, 그 외의 상황에서는 0의 값을 갖는다. 가려짐 확률이 1인 경우, 공산 Pm(xt)은 이전 시간에서 객체의 선형 움직임 정보를 이용하여 표현한 가우시안 분포로 가정한다.In the above equation (4), P occ (x t ) is the probability of occlusion and is defined as follows. P occ (x t ) ∈ {0,1}. If the object is assumed to be occluded, it will have a value of 1; otherwise, it will have a value of 0. If the probability of blocking is 1, then the conjugate P m (x t ) is assumed to be a Gaussian distribution expressed using the linear motion information of the object at the previous time.

전역적 외형 모델 pG(zt｜xt)은 영상 내의 객체 위치를 추정하는 것을 목적으로 한다. 전역적 외형 모델 pG(zt｜xt)의 학습을 위해서 positive 샘플과 negative 샘플을 랜덤하게 획득하는 방법을 이용하기 보다는 상관도 필터(Correlation Filter)를 이용하여, 도 4와 같이 객체 샘플을 조밀하게 획득하여 외형 모델을 학습한다. 구체적으로, 검색 영역에서 1픽셀 차이로 템플릿(template)을 움직이며 학습 데이터를 획득한다. 도 4와 같이 조밀하게 학습 데이터를 획득하는 방식은 회선(convolution) 연산으로 표현 가능하다. 회선 연산은 주파수 영역에서 단순한 원소 연산(element-wise) 처리로 변환하여, 조밀한 학습 데이터 획득은 물론 계산량을 최적화를 동시에 만족시킨다.The global appearance model p G (z t | x t ) aims at estimating the position of an object in the image. For learning of the global outline model p G (z t | x t ), rather than using a method of randomly acquiring positive and negative samples, a correlation filter is used, Obtained densely and learn outline model. Specifically, learning data is obtained by moving a template by one pixel difference in the search area. As shown in FIG. 4, a method of obtaining learning data densely can be expressed by a convolution operation. The circuit operation is transformed into simple element-wise processing in the frequency domain to satisfy not only the dense learning data but also the optimization of the calculation amount.

도 4에도 표시된 바와 같이, 학습 과정을 회선 연산 *으로 표현하면 다음과 같다.As shown in FIG. 4, the learning process is expressed as a line operation * as follows.

r*h=g (5)r * h = g (5)

g는 각 템플릿의 확률 라벨인데, 검색 영역에서 객체가 위치하고 있는 중심 위치의 확률 값을 가장 높게 설정하기 위해 g는 가우시안 분포를 사용한다. 결과적으로 올바르게 학습된 상관도 필터 h는 객체가 존재하는 새로운 영상정보가 입력으로 들어오면 객체의 중심위치에 가장 높은 확률 값을 갖게 한다. 위의 식 (5)를 주파수 영역에서 처리하면 다음과 같이 원소 연산(element-wise) 처리 ⊙로 표현 가능하다.g is the probability label of each template. In order to set the probability value of the central position where the object is located in the search area to the highest, g uses the Gaussian distribution. As a result, the correctly correlated filter h has the highest probability value at the center position of the object when the new image information in which the object exists is input. If the above equation (5) is processed in the frequency domain, it can be expressed as an element-wise processing ⊙ as follows.

Figure pat00011
(6)
Figure pat00011
(6)

여기서

Figure pat00012
은 주파수 변환이다. 상관도 필터 h는 다음과 같이 연산된다.here
Figure pat00012
Is frequency conversion. The correlation filter h is calculated as follows.

Figure pat00013
(7)
Figure pat00013
(7)

위의 식에서

Figure pat00014
는 주파수 역변환이다. 학습된 상관도 필터 h를 기반으로 전역적 외형 모델을 수식화하면 다음과 같다.In the above equation
Figure pat00014
Is an inverse frequency transform. Based on the learned correlation filter h, the global appearance model can be expressed as follows.

Figure pat00015
(8)
Figure pat00015
(8)

위의 식 (7)과 (8)에서,

Figure pat00016
는 커널(kernel) 함수로, 다음의 수학식 (9)로 정의되는 가우시안 커널(Gaussian Kernel) 함수를 사용할 수 있다.In the above equations (7) and (8)
Figure pat00016
Is a kernel function, and can use a Gaussian kernel function defined by the following equation (9).

Figure pat00017
(9)
Figure pat00017
(9)

지역적 외형 모델 pL(zt｜xt)은 객체의 크기를 추정하는 것을 목적으로 한다. 지역적 외형 모델은 객체 내의 영상 특징점을 개별적으로 추적하여 객체 간의 상대거리를 추정하는 방식이다. 객체 내에서 획득한 영상 특징점 집합

Figure pat00018
을 매 프레임 마다 추정하며, 도 5에 나타난 바와 같이, 이전 시간의 특징점 간의 상대 거리와 현재 시간의 특징점 간의 상대 거리 비율로 연산한다.The local appearance model p L (z t | x t ) aims at estimating the size of the object. The local appearance model is a method of estimating the relative distance between objects by separately tracking the image feature points in the object. Image feature point set acquired in object
Figure pat00018
As shown in FIG. 5, and calculates the relative distance between the minutiae points of the previous time and the minutiae points of the current time, as shown in FIG.

Figure pat00019
(10)
Figure pat00019
(10)

여기서 Nt는 특징점 수이다.Where N t is the number of feature points.

특징점 추적을 함으로써 객체의 크기뿐 아니라 객체의 가려짐도 추정 가능하다. 도 6에 나타난 바와 같이, 객체의 가려짐이 발생하면 추적 중인 특징점의 수가 일정 비율이상 줄어든다. 이런 경향성을 이용하여 특징점 손실 비율을 측정함으로써 가려짐 현상을 추정한다.By tracking the feature points, it is possible to estimate not only the size of the object but also the obscuration of the object. As shown in FIG. 6, when the object is clogged, the number of feature points being traced is reduced by a certain rate or more. This tendency is used to estimate the masking phenomenon by measuring the feature point loss ratio.

Figure pat00020
(11)
Figure pat00020
(11)

Figure pat00021
(12)
Figure pat00021
(12)

식 (11)과 (12)에서처럼 특징점 손실 비율이 0.5 이상인 경우 가려짐이 발생했다고 추정한다. 한편, 가려짐 발생의 기준이 되는 손실 비율 0.5와 가려짐 발생 여부에 따른 Pooc(xt)의 값 0,1은 다른 값으로 대체될 수 있음은 물론이다.As shown in Eqs. (11) and (12), it is assumed that the occlusion occurs when the feature point loss ratio is 0.5 or more. On the other hand, the value 0.1 of the P ooc (x t) with and without the loss ratio of 0.5 and a load generated obscured by which the occlusion occurs is of course may be replaced with another value.

Figure pat00022
(13)
Figure pat00022
(13)

그리고, 특징점 손실 비율에 기반을 둔 객체 가려짐 비율을 이용하여, 객체의 전역적 외형 모델[식 (8)]을 위의 식 (13)을 기반으로 학습하여 업데이트 한다.Then, the global appearance model [Eq. (8)] of the object is learned and updated based on the above equation (13) by using the object obscuration ratio based on the feature point loss ratio.

도 7 내지 도 9에는 객체 추적 실험 결과를 예시하였다. 도 7 내지 도 9에서, 빨간색 템플릿은 본 발명의 실시예에 따른 객체 추적 방법의 결과이고, 파란색 템플릿은 전역적 외형 모델만 사용한 객체 추적 결과이며, 녹색 템플릿은 지역적 외형 모델만 사용한 객체 추적 결과이다. 본 발명의 실시예에 따른 객체 추적 방법이 객체의 크기 변화, 가려짐 현상, 노이즈 및 밝기 변화에 훨씬 더 강건함을 도 7 내지 도 9를 통해 확인할 수 있다. 본 발명의 실시예에 따른 객체 추적 방법의 성능이 우수함은, 도 10 및 도 11에 제시한 위치 에러와 겹치는 영역 비율을 통해서도 확인 가능하다.7 to 9 illustrate the results of object tracking experiments. 7 to 9, the red template is the result of the object tracking method according to the embodiment of the present invention, the blue template is the object tracking result using only the global appearance model, and the green template is the object tracking result using only the local appearance model . It can be seen from FIGS. 7 to 9 that the object tracking method according to the embodiment of the present invention is much more robust to the size change of the object, the masking phenomenon, the noise and the brightness change. The superior performance of the object tracking method according to the embodiment of the present invention can be confirmed through the area ratio overlapping with the position error shown in FIG. 10 and FIG.

도 12는 본 발명의 다른 실시예에 따른 객체 추적 시스템의 블럭도이다. 본 발명의 실시예에 따른 객체 추적 시스템은, 도 12에 도시된 바와 같이, 영상 입력부(110), 프로세서(120), 저장부(130) 및 출력부(140)를 포함한다.12 is a block diagram of an object tracking system according to another embodiment of the present invention. The object tracking system according to an embodiment of the present invention includes an image input unit 110, a processor 120, a storage unit 130, and an output unit 140, as shown in FIG.

영상 입력부(110)는 카메라를 통해 촬영되는 영상을 실시간으로 입력받고, 입력되는 영상을 프로세서(120)에 인가한다. 영상 입력부(110)에 입력되는 영상은 실시간 영상이 아니어도 무방하다. 즉, 외부 기기/네트워크에 저장된 영상이 영상 입력부(110)에 입력되어 프로세서(120)에 인가되는 경우도, 본 발명의 기술적 사상이 적용될 수 있다.The image input unit 110 receives an image captured through a camera in real time and applies the input image to the processor 120. [ The image input to the image input unit 110 may not be a real-time image. That is, the technical idea of the present invention can also be applied to a case where an image stored in an external device / network is input to the image input unit 110 and then applied to the processor 120.

프로세서(120)는 위에서 설명한 객체 추적 방법을 실행하기 위한 GPU와 CPU를 포함한다. 저장부(130)는 프로세서(120)가 객체 추적을 수행함에 있어 필요한 저장 공간을 제공한다.The processor 120 includes a GPU and a CPU for executing the object tracking method described above. The storage unit 130 provides storage space necessary for the processor 120 to perform object tracking.

출력부(140)는 프로세서(120)에 의해 수행된 객체 추적 결과를 표시하기 위한 디스플레이와 외부 기기/네트워크로 전달하기 위한 통신 인터페이스를 포함한다.The output unit 140 includes a display for displaying object tracking results performed by the processor 120 and a communication interface for communicating to an external device / network.

지금까지, 저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법에 대해 바람직한 실시예들을 들어 상세히 설명하였다.Up to now, a real-time object tracking system and method in a low-end video device has been described in detail with respect to preferred embodiments.

본 발명의 실시예에 따른 실시간 객체 추적 시스템 및 방법은, 지능형 자동차의 핵심 기능인 객체 추적을 고사양 컴퓨터 플랫폼이 아닌 저전력/저사양 영상기기에서 동작 가능하게 하는 기술이다.A real-time object tracking system and method according to an embodiment of the present invention is a technology that enables object tracking, which is a core function of an intelligent automobile, to operate in a low-power / low-end video device other than a high-end computer platform.

특히, 자동차 플랫폼 영상획득 환경에서 흔히 발생하는 추적 대상 객체의 갑작스런 크기 변화와 가려짐 문제를 극복하며, 자동차 주행 환경 뿐만 아니라 증강 현실이나 CCTV용 객체 추적 등에도 널리 활용 가능하다.Especially, it can overcome the sudden change of size and obscurity of the object to be tracked which occurs frequently in the vehicle platform image acquisition environment, and it can be widely used not only in the vehicle driving environment, but also in augmented reality and CCTV object tracking.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

전역적 외형 모델(Global Appearance Model)
지역적 외형 모델(Local Appearance Model)
객체 위치 및 크기 추정
객체 가려짐 추정
전역적 외형 모델 업데이트Global Appearance Model
Local Appearance Model
Estimate object location and size
Object obscured
Updating the Global Appearance Model

Claims (6)

전역적 외형 모델(Global Appearance Model)과 지역적 외형 모델(Local Appearance Model)을 기초로, 영상 내 객체의 위치와 크기를 추정하는 단계; 및
상기 전역적 외형 모델을 업데이트 하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
Estimating the position and size of an object in an image based on a global appearance model and a local appearance model; And
And updating the global appearance model.
청구항 1에 있어서,
상기 전역적 외형 모델은 영상 내 객체의 위치를 추정하기 위한 모델이고,
상기 지역적 외형 모델은 영상 내 객체의 크기를 추정하기 위한 모델인 것을 특징으로 하는 객체 추적 방법.
The method according to claim 1,
The global appearance model is a model for estimating the position of an object in an image,
Wherein the local appearance model is a model for estimating the size of an object in an image.
청구항 1에 있어서,
추정 단계는,
다음의 객체 모션 모델 p(xt｜z1 :t)을 최대화하는 객체의 위치와 크기 xt를 산출하며,
Figure pat00023

zt는 입력 영상, Pocc(xt)는 가려짐(occlusion) 확률, Pm(xt)은 이전 시간에서 객체 모션, pL(zt｜xt)은 지역적 외형 모델, pG(zt｜xt)는 전역적 외형 모델인 것을 특징으로 하는 객체 추적 방법.
The method according to claim 1,
In the estimating step,
The position and size x t of the object maximizing the following object motion model p (x t | z 1 : t ) are calculated,
Figure pat00023

z t is an input image, P occ (x t) is occlusion (occlusion) probabilities, P m (x t) is the object motion in the previous time, p L (z t | x t) is a regional appearance model, p G ( z t | x t ) is a global contour model.
청구항 3에 있어서,
상기 지역적 외형 모델 pL(zt｜xt)은,
이전 시간의 특징점 간의 상대 거리와 현재 시간의 특징점 간의 상대 거리 비율인 것을 특징으로 하는 객체 추적 방법.
The method of claim 3,
The local appearance model p L (z t | x t )
Wherein the relative distance between the minutiae points of the previous time and the minutiae points of the current time is a relative distance ratio.
청구항 4에 있어서,
상기 가려짐 확률 Pocc(xt)는,
추적 중인 특징점의 손실 비율이 정해진 비율을 초과하면 P1 이고, 정해진 비율 미만이면 P2(>P1)이며,
상기 업데이트 단계는,
상기 손실 비율을 기초로, 상기 전역적 외형 모델을 업데이트 하는 것을 특징으로 하는 객체 추적 방법.
The method of claim 4,
The occlusion probability P occ (x t )
If the loss ratio of the feature point being tracked exceeds the predetermined ratio, P 1 , and if it is less than the predetermined ratio, P 2 (> P 1 )
Wherein the updating step comprises:
And updating the global appearance model based on the loss ratio.
영상을 입력받는 입력부; 및
전역적 외형 모델(Global Appearance Model)과 지역적 외형 모델(Local Appearance Model)을 기초로 영상 내 객체의 위치와 크기를 추정하고, 상기 전역적 외형 모델을 업데이트 하는 프로세서;를 포함하는 것을 특징으로 하는 객체 추적 시스템.
An input unit for inputting an image; And
And a processor for estimating the position and size of an object in the image based on a global appearance model and a local appearance model, and updating the global appearance model based on the global appearance model and the local appearance model. Tracking system.
KR1020150187513A 2015-12-28 2015-12-28 Real-Time Object Tracking System and Method for in Lower Performance Video Devices KR101901487B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150187513A KR101901487B1 (en) 2015-12-28 2015-12-28 Real-Time Object Tracking System and Method for in Lower Performance Video Devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150187513A KR101901487B1 (en) 2015-12-28 2015-12-28 Real-Time Object Tracking System and Method for in Lower Performance Video Devices

Publications (2)

Publication Number Publication Date
KR20170077545A true KR20170077545A (en) 2017-07-06
KR101901487B1 KR101901487B1 (en) 2018-09-28

Family

ID=59354120

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150187513A KR101901487B1 (en) 2015-12-28 2015-12-28 Real-Time Object Tracking System and Method for in Lower Performance Video Devices

Country Status (1)

Country Link
KR (1) KR101901487B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019129255A1 (en) * 2017-12-29 2019-07-04 华为技术有限公司 Target tracking method and device
CN110569701A (en) * 2018-12-29 2019-12-13 阿里巴巴集团控股有限公司 computer-implemented vehicle damage assessment method and device
CN111079523A (en) * 2019-11-05 2020-04-28 北京迈格威科技有限公司 Object detection method, object detection device, computer equipment and storage medium
CN112991752A (en) * 2021-05-20 2021-06-18 武汉纵横智慧城市股份有限公司 Road vehicle visual display method, device and equipment based on AR and Internet of things
KR20210096473A (en) * 2020-01-28 2021-08-05 인하대학교 산학협력단 Robust visual object tracking based on global and local search with confidence estimation
KR20210101057A (en) * 2020-02-07 2021-08-18 국방과학연구소 Object tracking method and device that is robust against distance and environment change

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101523740B1 (en) * 2014-01-03 2015-05-28 (주)유디피 Apparatus and method for tracking object using space mapping
KR20150089791A (en) * 2014-01-28 2015-08-05 국방과학연구소 Method for estimating the size of the imaging target

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101523740B1 (en) * 2014-01-03 2015-05-28 (주)유디피 Apparatus and method for tracking object using space mapping
KR20150089791A (en) * 2014-01-28 2015-08-05 국방과학연구소 Method for estimating the size of the imaging target

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Chenglizhao Chen et al, *
DANELLJAN et. al., ACCURATE SCALE ESTIMATION FOR ROBUST VISUAL TRACKING, Linkoping University, (2015.02.30.) 1부 *
Martin Danelljan et al, Linkoping University *
Wei Zhong et al, *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019129255A1 (en) * 2017-12-29 2019-07-04 华为技术有限公司 Target tracking method and device
US11276185B2 (en) 2017-12-29 2022-03-15 Huawei Technologies Co., Ltd. Target tracking method and apparatus
CN110569701A (en) * 2018-12-29 2019-12-13 阿里巴巴集团控股有限公司 computer-implemented vehicle damage assessment method and device
CN110569701B (en) * 2018-12-29 2020-08-07 阿里巴巴集团控股有限公司 Computer-implemented vehicle damage assessment method and device
CN111079523A (en) * 2019-11-05 2020-04-28 北京迈格威科技有限公司 Object detection method, object detection device, computer equipment and storage medium
CN111079523B (en) * 2019-11-05 2024-05-14 北京迈格威科技有限公司 Object detection method, device, computer equipment and storage medium
KR20210096473A (en) * 2020-01-28 2021-08-05 인하대학교 산학협력단 Robust visual object tracking based on global and local search with confidence estimation
KR20210101057A (en) * 2020-02-07 2021-08-18 국방과학연구소 Object tracking method and device that is robust against distance and environment change
CN112991752A (en) * 2021-05-20 2021-06-18 武汉纵横智慧城市股份有限公司 Road vehicle visual display method, device and equipment based on AR and Internet of things

Also Published As

Publication number Publication date
KR101901487B1 (en) 2018-09-28

Similar Documents

Publication Publication Date Title
KR101901487B1 (en) Real-Time Object Tracking System and Method for in Lower Performance Video Devices
Wu et al. Lane-mark extraction for automobiles under complex conditions
CN107851318B (en) System and method for object tracking
US9390329B2 (en) Method and system for automatically locating static occlusions
EP2858008B1 (en) Target detecting method and system
CN111209770B (en) Lane line identification method and device
US8045783B2 (en) Method for moving cell detection from temporal image sequence model estimation
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
US9390328B2 (en) Static occlusion handling using directional pixel replication in regularized motion environments
EP3076367A1 (en) Method for road detection from one image
JP6617085B2 (en) Object situation estimation system, object situation estimation apparatus, object situation estimation method, and object situation estimation program
JP2018508078A (en) System and method for object tracking
CN103093198B (en) A kind of crowd density monitoring method and device
Hsia et al. Efficient modified directional lifting-based discrete wavelet transform for moving object detection
Lee et al. Real-time illegal parking detection in outdoor environments using 1-D transformation
KR20190030474A (en) Method and apparatus of calculating depth map based on reliability
CN102034355A (en) Feature point matching-based vehicle detecting and tracking method
CN110991280A (en) Video tracking method and device based on template matching and SURF
CN113763427A (en) Multi-target tracking method based on coarse-fine shielding processing
CN110599516A (en) Moving target detection method and device, storage medium and terminal equipment
FAN et al. Robust lane detection and tracking based on machine vision
JP2002133421A (en) Moving body recognition method and device
CN103489201A (en) Method for tracking target based on motion blur information
CN117392638A (en) Open object class sensing method and device for serving robot scene
CN103093481B (en) A kind of based on moving target detecting method under the static background of watershed segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant