KR20130095985A - Apparatus and method for tracking object - Google Patents
Apparatus and method for tracking object Download PDFInfo
- Publication number
- KR20130095985A KR20130095985A KR1020120017442A KR20120017442A KR20130095985A KR 20130095985 A KR20130095985 A KR 20130095985A KR 1020120017442 A KR1020120017442 A KR 1020120017442A KR 20120017442 A KR20120017442 A KR 20120017442A KR 20130095985 A KR20130095985 A KR 20130095985A
- Authority
- KR
- South Korea
- Prior art keywords
- image frame
- motion
- current image
- parameter
- tracking
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 238000013519 translation Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 4
- 230000001788 irregular Effects 0.000 abstract description 5
- 239000002245 particle Substances 0.000 description 31
- 238000010586 diagram Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013476 bayesian approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Abstract
Description
본 발명은 객체 추적 장치 및 방법에 관한 것으로, 더욱 상세하게는 촬영 장치의 움직임을 고려하여 영상에서 객체를 추적하는 장치 및 방법에 관한 것이다.The present invention relates to an object tracking apparatus and method, and more particularly, to an apparatus and method for tracking an object in an image in consideration of the movement of the photographing apparatus.
객체 추적 기술은 비디오 감시, 사용자 인터페이스, 증강 현실, 지능형 공간, 물체기반 비디오 압축, 운전자 보조 등과 같은 다양한 컴퓨터 비전 응용 분야에서 활용되고 있다.Object tracking technology is used in a variety of computer vision applications such as video surveillance, user interface, augmented reality, intelligent space, object-based video compression, and driver assistance.
이러한 객체 추적 기술의 성능을 향상시키기 위해 객체간의 겹침, 복잡한 배경, 조도 변화, 물체의 형태 변화, 영상 잡음, 카메라 움직임 등과 같은 성능에 부정적인 영향을 미치는 요인을 극복하기 위한 연구도 활발히 이루어지고 있다.In order to improve the performance of the object tracking technology, researches are actively conducted to overcome factors that negatively affect the performance such as overlapping objects, complex backgrounds, changes in illuminance, shape changes of objects, image noise, and camera movement.
본 발명이 이루고자 하는 기술적 과제는, 촬영 장치의 움직임을 고려하여 영상에서 객체를 추적하는 객체 추적 장치 및 방법을 제공하는 데 있다.An object of the present invention is to provide an object tracking apparatus and method for tracking an object in an image in consideration of the movement of the photographing apparatus.
본 발명이 이루고자 하는 다른 기술적 과제는, 촬영 장치의 움직임을 고려하여 영상에서 객체를 추적하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.Another object of the present invention is to provide a computer readable recording medium having recorded thereon a program for executing a method of tracking an object in an image in consideration of the movement of a photographing apparatus.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 객체 추적 장치는, 입력 영상 중 현재 영상 프레임과 상기 현재 영상 프레임에 시간적으로 앞서 있는 이전 영상 프레임으로부터 상기 입력 영상을 촬영한 촬영 장치의 움직임 변화 정도를 나타내는 로컬 어파인 움직임 파리미터(local affine motion parameter)를 획득하고, 상기 획득된 로컬 어파인 움직임 파라미터로 이루어진 움직임 모델 행렬을 추정하는 움직임 추정부; 상기 이전 영상 프레임에서의 객체의 상태로부터 상기 현재 영상 프레임에서의 상기 객체의 상태를 예측하는 객체 상태 예측 모델을 통해 상기 현재 영상 프레임에서의 객체의 위치를 예측하고, 상기 예측된 객체의 위치를 상기 움직임 모델 행렬을 통해 보정하는 객체 예측부; 및 상기 객체 예측부에 의해 보정된 객체의 위치를 기반으로 상기 현재 영상 프레임에서 객체를 추적하는 객체 추적부;를 포함한다.The object tracking device according to the present invention for achieving the above technical problem, the degree of change in the movement of the photographing device for capturing the input image from the current image frame and the previous image frame in time ahead of the current image frame of the input image; A motion estimator for obtaining a local affine motion parameter, and estimating a motion model matrix of the obtained local affine motion parameters; Predict the position of the object in the current image frame through an object state prediction model for predicting the state of the object in the current image frame from the state of the object in the previous image frame, and determine the position of the predicted object. An object predictor for correcting through a motion model matrix; And an object tracker that tracks an object in the current image frame based on the position of the object corrected by the object predictor.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 객체 추적 방법은, 입력 영상 중 현재 영상 프레임과 상기 현재 영상 프레임에 시간적으로 앞서 있는 이전 영상 프레임으로부터 상기 입력 영상을 촬영한 촬영 장치의 움직임 변화 정도를 나타내는 로컬 어파인 움직임 파리미터를 획득하는 단계; 상기 획득된 로컬 어파인 움직임 파라미터로 이루어진 움직임 모델 행렬을 추정하는 단계; 상기 이전 영상 프레임에서의 객체의 상태로부터 상기 현재 영상 프레임에서의 상기 객체의 상태를 예측하는 객체 상태 예측 모델을 통해 상기 현재 영상 프레임에서의 객체의 위치를 예측하는 단계; 상기 예측된 객체의 위치를 상기 움직임 모델 행렬을 통해 보정하는 단계; 및 상기 보정된 객체의 위치를 기반으로 상기 현재 영상 프레임에서 객체를 추적하는 단계;를 포함한다.The object tracking method according to the present invention for achieving the above technical problem, the degree of change in the movement of the photographing apparatus for capturing the input image from the current image frame and the previous image frame in time preceding the current image frame of the input image; Obtaining a representative local affine motion parameter; Estimating a motion model matrix of the obtained local affine motion parameters; Predicting a position of the object in the current image frame through an object state prediction model that predicts the state of the object in the current image frame from the state of the object in the previous image frame; Correcting the position of the predicted object through the motion model matrix; And tracking the object in the current image frame based on the corrected position of the object.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.According to another aspect of the present invention, there is provided a computer readable medium storing a program for causing a computer to execute any one of the above methods.
본 발명에 따른 객체 추적 장치 및 방법에 의하면, 촬영 장치의 빠른 움직임이나 불규칙한 움직임이 있어도 영상에서 객체를 안정적으로 추적할 수 있다. 또한, 젤로 현상(jello effect)을 가지는 촬영 장치 움직임이 있어도 영상에서 객체를 지속적으로 추적할 수 있다.According to the object tracking apparatus and method according to the present invention, even if there is a rapid movement or irregular movement of the photographing apparatus it is possible to stably track the object in the image. In addition, even when there is movement of a photographing device having a jello effect, the object may be continuously tracked in the image.
도 1은 본 발명의 바람직한 실시예에 따른 객체 추적 장치를 설명하기 위한 블록도,
도 2 및 도 3은 본 발명의 바람직한 실시예에 따른 움직임 모델 행렬을 영상에 실제 적용한 예를 나타내는 도면,
도 4는 본 발명의 바람직한 실시예에 따른 움직임 모델 행렬을 이용하여 객체 상태를 보정한 후 객체 추적의 예를 나타내는 도면,
도 5는 본 발명의 바람직한 실시예에 따른 객체 추적 방법을 설명하기 위한 흐름도, 그리고,
도 6 내지 도 9는 본 발명의 바람직한 실시예에 따른 객체 추적 동작의 성능을 설명하기 위한 도면이다.1 is a block diagram illustrating an object tracking apparatus according to a preferred embodiment of the present invention;
2 and 3 are views showing an example of actually applying a motion model matrix to an image according to a preferred embodiment of the present invention;
4 is a diagram illustrating an example of object tracking after correcting an object state using a motion model matrix according to an embodiment of the present invention;
5 is a flowchart illustrating an object tracking method according to a preferred embodiment of the present invention, and
6 to 9 are diagrams for explaining the performance of the object tracking operation according to a preferred embodiment of the present invention.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 객체 추적 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, exemplary embodiments of an object tracking apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 바람직한 실시예에 따른 객체 추적 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating an object tracking apparatus according to a preferred embodiment of the present invention.
도 1을 참조하면, 객체 추적 장치(100)는 촬영 장치(도시하지 않음)의 움직임을 고려하여 영상에서 객체를 추적한다. 이를 위해, 객체 추적 장치(100)는 움직임 추정부(110), 객체 예측부(130) 및 객체 추적부(150)를 구비한다. 한편, 객체 추적 장치(100)는 촬영 장치와 일체로 이루어지거나 촬영 장치, 저장 장치(도시하지 않음) 등의 다른 장치로부터 영상을 제공받을 수 있다.Referring to FIG. 1, the
움직임 추정부(110)는 유연 정합(elastic registration : ER) 알고리즘을 이용하여 입력 영상으로부터 입력 영상을 촬영한 촬영 장치의 움직임 정도를 나타내는 움직임 모델 행렬을 추정한다.The
여기서, 유연 정합(elastic registration : ER) 알고리즘은 서로 시간적으로 연속하여 촬영된 두 개의 영상 사이의 움직임 정도를 측정하는 데 이용된다. 유연 정합(elastic registration : ER) 알고리즘은 서로 시간적으로 연속하는 두 개의 영상으로부터 움직임 변화 정도를 나타내는 로컬 어파인 움직임(local affine motion), 대비(contrast) 변화 정도 및 밝기(brightness) 변화 정도를 획득할 수 있다. 즉, 로컬 어파인 움직임(local affine motion)에 더하여 대비 파라미터(contrast parameter)와 밝기 파라미터(brightness parameter)의 강도 변화(intensity variation)도 고려된다.Here, an elastic registration (ER) algorithm is used to measure the degree of motion between two images taken in succession in time. The elastic registration (ER) algorithm obtains local affine motion, contrast change, and brightness change from two images that are continuous in time. Can be. That is, in addition to the local affine motion, the intensity variation of the contrast parameter and the brightness parameter is also considered.
한편, 입력 영상 중 시간적으로 연속하는 두 개의 영상 프레임은 짧은 시간 차이를 두고 장면(scene)을 촬영한 것이어서 두 개의 영상 프레임 사이의 조명 변화는 작기 때문에, 대비(contrast) 변화 정도를 제외한 로컬 어파인 움직임(local affine motion) 및 밝기(brightness) 변화 정도를 획득할 수 있는 수정된 유연 정합(elastic registration : ER) 알고리즘을 이용할 수도 있다. 이하, 본 발명에서는 수정된 유연 정합(elastic registration : ER) 알고리즘을 사용하는 것으로 설명한다. 물론, 유연 정합(elastic registration : ER) 알고리즘이 본 발명에 적용될 수도 있다.On the other hand, the two consecutive video frames of the input video are shot in a scene with a short time difference, so the light change between the two video frames is small, so that the local affine except the contrast change degree is used. Modified elastic registration (ER) algorithms may be used to obtain a degree of local affine motion and brightness variations. Hereinafter, the present invention will be described using a modified elastic registration (ER) algorithm. Of course, an elastic registration (ER) algorithm may be applied to the present invention.
어파인 변환(affine transform)은 다음의 [수학식 1]과 같이 표현된다.The affine transform is represented by
여기서, 는 움직임 모델 행렬, 즉, 어파인 카메라 모델 행렬(afiine camera model matrix)을 나타내고, , , 및 는 선형 어파인 파라미터(linear affine parameter)를 나타내며, 및 는 트랜스레이션 파라미터(translation parameter)를 나타낸다. 그리고, 로컬 어파인 움직임 파라미터(local affine motion parameter)는 선형 어파인 파라미터(linear affine parameter)와 트랜스레이션 파라미터(translation parameter)를 말한다.here, Denotes a motion model matrix, i.e., an afiine camera model matrix, , , And Represents a linear affine parameter, And Denotes a translation parameter. The local affine motion parameter refers to a linear affine parameter and a translation parameter.
수정된 유연 정합(elastic registration : ER) 알고리즘은 다음의 [수학식 2]와 같이 표현된다.The modified elastic registration (ER) algorithm is expressed as
여기서, 가 입력 영상 중 현재 영상 프레임을 나타내고, 는 현재 영상 프레임에 시간적으로 앞서 있는 이전 영상 프레임을 나타내며, 는 밝기 파라미터(brightness parameter)를 나타낸다.here, Represents the current video frame of the input image, Indicates a previous video frame that is temporally ahead of the current video frame. Denotes a brightness parameter.
서로 시간적으로 연속하는 두 개의 영상 프레임으로부터 선형 어파인 파라미터(linear affine parameter) , , 및 와 트랜스레이션 파라미터(translation parameter) 및 와 밝기 파라미터(brightness parameter) 를 추정하기 위해, 다음의 [수학식 3]과 같은 수정된 에러 함수(error function)를 최소화한다.Linear affine parameter from two image frames that are continuous in time with each other , , And And translation parameters And And brightness parameters In order to estimate, minimize the modified error function (Equation 3) below.
여기서, 는 를 나타내고, 는 입력 영상을 나타낸다.here, The Lt; / RTI > Indicates an input image.
그러나, 이 에러 함수는 의 비선형 함수(nonlinear function)이므로 최적의 답이 존재하지 않는다. 이에 따라, 이 에러 함수를 최소화하는 벡터 를 찾기 위해 뉴턴(Newton-Raphson) 알고리즘과 같은 반복적인 접근(iterative approach) 방법을 이용한다. 그러므로, 에러 함수 를 최소화하는 대신에 일차 단락 테일러 시리즈(first-order truncated Taylor series)을 이용하여 에러 함수 를 다음의 [수학식 4]와 같이 근사화한다.However, this error function Since it is a nonlinear function of, there is no optimal answer. Thus, the vector that minimizes this error function We use an iterative approach such as the Newton-Raphson algorithm. Therefore, the error function Error function using first-order truncated Taylor series instead of minimizing Is approximated by
여기서, 는 의 수평 방향(horizontal direction)으로의 공간적 미분(spatial derivative)을 나타내고, 는 의 수직 방향(vertical direction)으로의 공간적 미분(spatial derivative)을 나타내며, 는 의 시간적 미분(temporal derivative)을 나타낸다.here, The Represents a spatial derivative in the horizontal direction of The Represents the spatial derivative in the vertical direction of The Represents the temporal derivative of.
[수학식 4]를 간소화하면 근사화된 에러 함수는 다음의 [수학식 5]로 표현된다.Simplifying [Equation 4], the approximated error function is expressed by the following [Equation 5].
여기서, 는 를 나타내고, 는 를 나타낸다. 근사화된 에러 함수 는 의 이차 함수(quadratic function)임으로 이 에러 함수를 최소화하는 벡터 는 에 대하여 미분하고 그 결과를 0으로 설정하는 것에 의해 찾을 수 있다. 여기서, 그 결과는 를 구하는데 이용되는 다음의 [수학식 6]과 같은 선형 방정식(linear equation)의 집합(set)이다.here, The Lt; / RTI > The Indicates. Approximate error function The A vector that minimizes this error function by being a quadratic function of The Can be found by differentiating against and setting the result to zero. Where the result is It is a set of linear equations as shown in Equation 6 below.
여기서, 는 를 나타내고 7x7 행렬이다. 행렬 의 역(inverse)이 존재하는 보장은 없지만, 입력 영상 가 충분히 크고 충분한 콘텐츠(content)가 있다면, 행렬 의 역(inverse)은 일반적으로 존재한다.here, The Represents a 7x7 matrix. procession There is no guarantee that inverses exist, but the input image Is large enough and has enough content, the matrix The inverse of is usually present.
도 2 및 도 3은 본 발명의 바람직한 실시예에 따른 움직임 모델 행렬을 영상에 실제 적용한 예를 나타내는 도면이다.2 and 3 are diagrams showing an example of actually applying a motion model matrix to an image according to a preferred embodiment of the present invention.
도 2는 추정된 카메라 움직임을 이용하여 입력 영상을 어파인 변환(affine transformation)한 결과를 보여준다. 즉, 도 2의 (a)는 입력 영상 중 현재 영상을 나타내고, 도 2의 (b)는 입력 영상 중 이전 영상을 나타내며, 도 2의 (c)는 현재 영상을 어파인 변환(affine transformation)한 결과를 나타내고, 도 2의 (d)는 (a) 와 (b) 사이의 차분 영상(difference image)을 나타내며, 도 2의 (e)는 (b)와 (c) 사이의 차분 영상(difference image)을 나타낸다.2 illustrates a result of affine transformation of an input image using the estimated camera movement. That is, FIG. 2A shows the current image among the input images, FIG. 2B shows the previous image among the input images, and FIG. 2C shows the affine transformation of the current image. Results (d) of FIG. 2 show a difference image between (a) and (b), and (e) of FIG. 2 shows a difference image between (b) and (c). ).
도 3은 롤링 셔터(rolling shutter)에 의해 야기되는 젤로 현상(jello effect)과 함께 추정된 움직임을 이용하여 입력 영상을 어파인 변환(affine transformation)한 결과를 보여준다. 즉, 도 3의 (a)는 입력 영상 중 현재 영상을 나타내고, 도 3의 (b)는 입력 영상 중 이전 영상을 나타내며, 도 3의 (c)는 현재 영상을 어파인 변환(affine transformation)한 결과를 나타내고, 도 3의 (d)는 (a)와 (b) 사이의 차분 영상(difference image)을 나타내며, 도 3의 (e)는 (b)와 (c) 사이의 차분 영상(difference image)을 나타낸다.FIG. 3 shows a result of affine transformation of an input image using the estimated motion along with a jello effect caused by a rolling shutter. That is, FIG. 3A illustrates the current image among the input images, FIG. 3B illustrates the previous image among the input images, and FIG. 3C illustrates affine transformation of the current image. 3D shows a difference image between (a) and (b), and FIG. 3E shows a difference image between (b) and (c). ).
이와 같이, 현재 영상과 이전 영상의 차이는 큰 반면, 현재 영상을 어파인 변환(affine transformation)한 영상과 이전 영상의 차이는 작음을 알 수 있다.As described above, it can be seen that the difference between the current image and the previous image is large, whereas the difference between the image obtained by the affine transformation of the current image and the previous image is small.
객체 예측부(130)는 움직임 추정부(110)에 의해 추정된 움직임 모델 행렬을 이용하여 입력 영상에 대한 객체 상태 예측 모델을 통해 예측된 객체의 위치를 보정한다. 즉, 객체 예측부(130)는 움직임 모델 행렬, 즉, 어파인 카메라 모델 행렬(afiine camera model matrix)을 이용하여 객체 상태 예측 모델을 통해 예측된 객체의 위치를 다음의 [수학식 7]을 통해 보정한다.The
여기서, 는 보정된 객체의 위치를 나타내고, 는 보정전 객체의 위치를 나타낸다.here, Indicates the position of the calibrated object, Indicates the position of the object before correction.
보다 자세하게 설명하면, 객체 추적에 대한 베이지안 방법(Bayesian approach)은 주어진 시간 에 따른 측정 또는 관측 모델 을 통해 시간 에서의 객체 의 상태(state) 추정을 반복적으로 갱신한다. 상태 벡터(state vector)는 객체의 2D 또는 3D 위치 , 객체의 크기(scale) 등과 같은 복수의 상태로 구성된다. 시간 까지 측정된 모든 주어진 시간 에서의 상태(state)의 확률 밀도 함수(probability density function) 를 알고 있다면, 시간 에서의 상태(state)는 다음의 [수학식 8]과 같은 채프먼-콜모고로프 방정식(Chapman-Kolmogorov equation)을 이용하여 예측된다.In more detail, the Bayesian approach to tracking objects is given a given time. Measurement or observation model Through time The object at Iteratively updates the state estimate of. A state vector is a 2D or 3D position of an object , The scale of the object It consists of several states, such as these. time All given time measured up to Probability density function of states in If you know, time The state at is predicted using the Chapman-Kolmogorov equation as shown in Equation 8 below.
여기서, 는 사전 밀도(prior density)를 나타낸다. 그러면, 시간 에서의 주어진 새로운 측정 모델 는 베이즈 법칙(Bayes' rule)을 이용하여 다음의 [수학식 9]와 같이 갱신된다.here, Denotes the prior density. Then time Given new measurement model Is updated using Equation (9) using Bayes' rule.
여기서, 는 사후 밀도(posterior density)를 나타낸다. 는 관측 모델을 나타낸다. [수학식 8] 및 [수학식 9]는 최적의 베이스 해(optimum Bayes' solution)을 기초로 형성된다. 일반적으로 이러한 밀도들의 재귀적인 전파(recursive propagation)는 다루기 힘들다. 이에 따라, 이 해를 근사화기 위해 다른 방법들이 이용된다. 이러한 다른 방법들 중의 하나가 순차적인 중요 샘플링(sequential importance sampling)을 사용하는 몬테 카를로(Monte Carlo : MC) 방법과 같은 파티클 필터(particle filter)이다. 파티클 필터(particle filter)에서 사후 밀도 는 중요 가중치(importance weight) 를 가지는 개의 샘플들 의 유한 집합(finite set)에 의해 근사화된다. 후보 샘플들(candidate samples) 은 중요 분포(importance distribution) 로부터 샘플링에 의해 독립적으로 선택되고, 후보 샘플들의 가중치는 다음의 [수학식 10]과 같다.here, Denotes the posterior density. Represents an observation model. Equations 8 and 9 are formed based on an optimal Bayes' solution. In general, recursive propagation of these densities is difficult to handle. Accordingly, other methods are used to approximate this solution. One of these other methods is a particle filter, such as the Monte Carlo (MC) method, which uses sequential importance sampling. Post Density in Particle Filters Is the import weight Having Samples Approximated by a finite set of. Candidate samples Is an import distribution Are independently selected by sampling, and the weights of candidate samples are given by
후보 샘플들은 축퇴(degeneracy)를 피하기 위해 그들의 중요 가중치(importance weight)에 따라 비가중 파티클 집합(unweighted particle set)을 생성도록 재샘플링된다. 부트스트랩 필터(bootstrap filter)의 경우, 는 과 동일하고 가중치는 관측 모델 가 된다. 파티클 필터(particle filter)의 기본 아이디어는 연관된 가중치(associated weight)를 가지는 랜덤 샘플들의 집합에 의해 사후 밀도(posterior density)로 대표되는 것이고, 이러한 가중치들과 샘플들을 이용하여 예상된 값(expected value)과 같은 이러한 상태들의 추정을 계산하는 것이다.Candidate samples are resampled to produce an unweighted particle set according to their import weight to avoid degeneracy. For bootstrap filter, The Is the same as . The basic idea of a particle filter is represented by the posterior density by a set of random samples with associated weights, and the expected value using these weights and samples. Is to calculate an estimate of these states.
예측 모델 는 이계 자기 회귀(second-order autoregressive process)와 가우시안 함수(gaussian function)에 의해 정의되는 잡음 모델(noise model)을 이용한다. 관측 모델은 카메라 움직임에서 안정적인 조명 변화를 위해 음영 효과(shading effect)로부터 색채 정보(chromatic information)를 분리시키는 색상-채도-명도 컬러 히스토그램(Hue-Saturation-Value color histogram)으로 활용된다. 색상-채도-명도 컬러 히스토그램(HSV histogram)은 빈스(bins)로 구성되고, 는 시간 의 위치 에서 빈 인덱스(bin index)로 정의된다.Prediction model Uses a noise model defined by a second-order autoregressive process and a Gaussian function. The observation model is used as a Hue-Saturation-Value color histogram that separates the chromatic information from the shading effect for stable lighting changes in camera movement. The color-saturation-brightness color histogram (HSV histogram) Consisting of bins, Time Location of Is defined as the bin index in.
컬러 분포(color distribution) 는 다음의 [수학식 11]과 같은 시간 에서의 를 나타낸다.Color distribution Is the same time as [Equation 11] In Indicates.
여기서, 는 크로네커 델타 함수(kronecker delta function)를 나타내고, 는 정규화 상수(normalization constant)를 나타내며, 는 샘플링된 객체 영역을 나타낸다. 관측 모델과 참조 모델 사이의 유사도 측정을 위해 바타챠랴 거리 측정(Bhattacharyya distance measurement) 를 사용하고 다음의 [수학식 12]와 같이 정의된다.here, Represents the kronecker delta function, Represents a normalization constant, Represents the sampled object area. Bhattacharyya distance measurement to measure the similarity between the observation model and the reference model It is defined as in Equation 12 below.
여기서, 는 참조 컬러 모델(reference color model)을 나타낸다. 참조 분포(reference distribution)는 초기 시간 에서 획득된다.here, Denotes a reference color model. Reference distribution is the initial time Lt; / RTI >
관측 모델로서 유사도 측정은 다음의 [수학식 13]과 같은 바타챠랴 거리(Bhattacharyya distance)에 의해 정의된다.The similarity measure as an observation model is defined by the Bhattacharyya distance as shown in Equation 13 below.
예컨대, 시간 에서의 상태(state)의 최대 사후(maximum a posteriori : MAP) 추정은 다음의 [수학식 14]와 같이 개의 파티클들(샘플들)로부터 얻어진다.For example, time The maximum a posteriori (MAP) estimation of the state in is given by Equation 14 below. From the two particles (samples).
파티클들의 수가 증가함에 따라, 파티클 필터(particle filter)는 최적의 베이지안 추정(optimal Bayesian estimate)에 접근한다. 샘플링 방법은 순차적인 몬테 카를로(sequential MC), 마코프 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 및 Wang-Landau MC를 포함하는 파티클들을 생성하기 위해 사용된다.As the number of particles increases, the particle filter approaches an optimal Bayesian estimate. The sampling method is used to generate particles comprising sequential Monte Carlo (Market Chain Monte Carlo (MCMC) and Wang-Landau MC).
객체의 움직임이 부드러운 경우, 파티클 필터(particle filter)는 객체를 추적 시 잘 동작한다. 그러나, 객체의 갑작스러운 움직임이나 카메라 움직임에 의해 유발된 불규칙한 객체의 움직임의 경우, 객체의 상태(state)를 정확하게 예측하기 어려워 파티클 필터(particle filter)는 추적이 실패하기 쉽다.If the movement of the object is smooth, the particle filter works well when tracking the object. However, in the case of irregular object movement caused by sudden movement of the object or camera movement, it is difficult to accurately predict the state of the object, and particle filters tend to fail tracking.
이에 따라, 본 발명에서는 추정된 움직임 모델 행렬을 이용하여 객체 상태 예측 모델을 보정하는 다른 접근법을 이용한다. 위의 [수학식 8]은 예측 모델을 이용한 객체의 예측 상태(predicted state)와 객체의 이전 상태(previous state)를 대표한다. 객체의 위치가 보정된 객체 상태에서 구현된 샘플링 방법은 카메라 움직임 하에서도 효과적으로 객체를 추적할 수 있다.Accordingly, the present invention uses another approach to correct the object state prediction model using the estimated motion model matrix. Equation 8 above represents the predicted state of the object and the previous state of the object using the prediction model. The sampling method implemented in the object state where the position of the object is corrected can effectively track the object even under camera movement.
도 4는 본 발명의 바람직한 실시예에 따른 움직임 모델 행렬을 이용하여 객체 상태를 보정한 후 객체 추적의 예를 나타내는 도면이다.4 is a diagram illustrating an example of object tracking after correcting an object state using a motion model matrix according to an exemplary embodiment of the present invention.
도 4는 보정된 파티클들의 결과를 나타낸다. 즉, 도 4의 (a)는 입력 영상 중 현재 영상을 나타내고, 도 4의 (b)는 입력 영상 중 이전 영상을 나타내며, 도 4의 (c)는 보정된 파티클들을 나타낸다. 여기서, 파란색은 원래의 파티클을 나타내고, 자주색(magenta)은 보정된 파티클을 나타낸다. 이와 같이, 보정된 파티클과 원래의 파티클을 비교한 결과, 보정된 파티클이 우원래의 파티클보다 객체에 더 근접함을 알 수 있다.4 shows the result of the corrected particles. That is, FIG. 4A illustrates the current image among the input images, FIG. 4B illustrates the previous image among the input images, and FIG. 4C illustrates the corrected particles. Here, blue represents original particles, and purple represents corrected particles. As such, as a result of comparing the corrected particle with the original particle, it can be seen that the corrected particle is closer to the object than the original particle.
객체 추적부(150)는 객체 예측부(130)에 의해 보정된 객체 상태 예측 모델을 기반으로 입력 영상에서 객체를 추적한다.The
도 5는 본 발명의 바람직한 실시예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating an object tracking method according to a preferred embodiment of the present invention.
객체 추적 장치(100)는 유연 정합(elastic registration : ER) 알고리즘을 이용하여 입력 영상으로부터 입력 영상을 촬영한 촬영 장치의 움직임 정도를 나타내는 움직임 모델 행렬, 즉, 어파인 카메라 모델 행렬(afiine camera model matrix)을 추정한다(S510). 즉, 객체 추적 장치(100)는 서로 시간적으로 연속하는 두 개의 영상 프레임으로부터 선형 어파인 파라미터(linear affine parameter), 트랜스레이션 파라미터(translation parameter) 및 밝기 파라미터(brightness parameter)를 획득하고, 획득된 선형 어파인 파라미터(linear affine parameter) 및 트랜스레이션 파라미터(translation parameter)로 이루어진 움직임 모델 행렬을 추정한다.The
이후, 객체 추적 장치(100)는 움직임 모델 행렬을 이용하여 입력 영상에 대한 객체 상태 예측 모델을 통해 예측된 객체의 위치를 보정한다(S530). 그런 다음, 객체 추적 장치(100)는 위치가 보정된 객체를 기반으로 입력 영상에서 객체를 추적한다(S550).Thereafter, the
도 6 내지 도 9는 본 발명의 바람직한 실시예에 따른 객체 추적 동작의 성능을 설명하기 위한 도면이다.6 to 9 are diagrams for explaining the performance of the object tracking operation according to a preferred embodiment of the present invention.
카메라가 장착된 스마트 폰(smart phone)과 같은 휴대 디바이스(handheld device)를 통해 촬영된 영상을 이용하여 본 발명에 따른 객체 추적 동작의 성능을 시험한다. 여기서, 촬영된 영상은 초당 29 프레임이고 해상도는 640x480이다. 촬영 대상으로는 도 6에 도시된 바와 같이 물고기와 도 8에 도시된 바와 같이 야외이다. 특히, 야외에서는 사람이 카메라를 쥐고 걸어가면서 주위 장면을 촬영함으로써 빠르고 불규칙한 움직임이 발생된다. 본 발명의 성능의 비교 대상으로는 종래의 파티클 필터(conventional particle filter)와 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 사용한다. 300개의 파티클들이 파티클 필터(particle filter)에 사용되고, 초기 시간 에서 초기 객체 영역은 수동적으로 선택된다. 본 발명의 성능 평가에 사용되는 파라미터 , 및 은 각각 10으로 설정되고 는 20으로 설정된다.The performance of the object tracking operation according to the present invention is tested using an image captured by a handheld device such as a smart phone equipped with a camera. Here, the captured image is 29 frames per second and the resolution is 640x480. The object to be photographed is outdoor as shown in FIG. 8 and a fish as shown in FIG. 6. In particular, in the open air, fast and irregular movements are generated by photographing surrounding scenes while a person walks with the camera. Conventional particle filters and Markov Chain Monte Carlo (MCMC) methods are used to compare the performance of the present invention. 300 particles are used for particle filter, initial time At initial object area is selected manually. Parameters used in the performance evaluation of the present invention , And Are set to 10 each Is set to 20.
본 발명의 성능을 평가하기 위해, 객체의 센터(center)에 대해 수동적으로 분류된 그라운드 참 위치(manually-labeled ground truth position)와 객체의 추정된 센터(center) 위치 사이의 유클리드 거리(Euclidian distance)를 다음의 [수학식 15]를 통해 계산한다.To assess the performance of the present invention, the Euclidian distance between a manually-labeled ground truth position and an estimated center position of the object relative to the center of the object Is calculated by the following [Equation 15].
여기서, 및 는 각각 객체 영역의 추정된 센터(center)의 수평 좌표(horizontal coordinate) 및 수직 좌표(vertical coordinate)를 나타내고, 및 는 각각 그라운드 참 센터(ground truth center)의 수평 좌표(horizontal coordinate) 및 수직 좌표(vertical coordinate)를 나타낸다.here, And Denotes the horizontal and vertical coordinates of the estimated center of the object area, respectively, And Denotes the horizontal and vertical coordinates of the ground truth center, respectively.
도 6은 물고기를 촬영한 영상에서 객체를 추적한 실험 결과를 나타낸다. 즉, 도 6의 (a)는 종래의 파티클 필터(conventional particle filter)를 이용하여 영상에서 객체를 추적한 실험 결과를 나타내고, 도 6의 (b)는 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 이용하여 영상에서 객체를 추적한 실험 결과를 나타내며, 도 6의 (c)는 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 파티클 필터(particle filter)를 이용하여 영상에서 객체를 추적한 실험 결과를 나타내고, 도 6의 (d)는 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 이용하여 영상에서 객체를 추적한 실험 결과를 나타낸다. 여기서, 녹색 부분이 객체 영역을 나타낸다.6 shows an experimental result of tracking an object in an image of a fish. That is, FIG. 6 (a) shows an experimental result of tracking an object in an image using a conventional particle filter, and FIG. 6 (b) shows Markov Chain Monte Carlo: An experiment result of tracking an object in an image using the MCMC method is shown, and FIG. 6 (c) shows an image using a particle filter based on affine camera motion according to the present invention. 6 shows an experimental result of tracking an object, and FIG. 6 (d) shows an image using an Markov Chain Monte Carlo (MCMC) method based on affine camera motion according to the present invention. Shows the results of experiments that tracked objects. Here, the green part represents the object area.
종래의 파티클 필터(conventional particle filter)를 이용한 방법은 도 6의 (a)에 도시된 바와 같이 카메라 움직임 때문에 객체 영역의 추정이 부정확함을 알 수 있다. 도 7을 참조하면, 종래의 파티클 필터(conventional particle filter) 방법(①)은 321번째 프레임 이후에 객체 추적이 실패함을 알 수 있다. 또한, 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법(②)은 전반적으로 객체를 놓치는 경우가 있음을 알 수 있다. 반면에, 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 파티클 필터(particle filter) 방법(③)이나 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법(④)은 객체 추적에 대한 전반적인 성능이 안정적임을 알 수 있다. 즉, 본 발명에 따른 객체 추적은 불규칙한 카메라 움직임이 있어도 지속적인 객체 추적이 가능하다.In the conventional method using a conventional particle filter, as shown in (a) of FIG. 6, it can be seen that the estimation of the object region is incorrect due to camera movement. Referring to FIG. 7, it can be seen that the conventional particle filter method (①) fails to track an object after the 321 th frame. In addition, it can be seen that the Markov Chain Monte Carlo (MCMC) method (2) may miss an object in general. On the other hand, the particle filter method (③) or Markov Chain Monte Carlo (MCMC) method (④) based on the affine camera motion according to the present invention is used for object tracking. You can see that the overall performance is stable. That is, the object tracking according to the present invention enables continuous object tracking even with irregular camera movement.
도 8은 야외를 촬영한 영상에서 객체를 추적한 실험 결과를 나타낸다. 즉, 도 8의 (a)는 종래의 파티클 필터(conventional particle filter)를 이용하여 영상에서 객체를 추적한 실험 결과를 나타내고, 도 8의 (b)는 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 이용하여 영상에서 객체를 추적한 실험 결과를 나타내며, 도 8의 (c)는 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 파티클 필터(particle filter)를 이용하여 영상에서 객체를 추적한 실험 결과를 나타내고, 도 8의 (d)는 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법을 이용하여 영상에서 객체를 추적한 실험 결과를 나타낸다. 여기서, 녹색 부분이 객체 영역을 나타낸다.8 shows an experiment result of tracking an object in an outdoor image. That is, FIG. 8 (a) shows an experimental result of tracking an object in an image using a conventional particle filter, and FIG. 8 (b) shows Markov Chain Monte Carlo: An experiment result of tracking an object in an image using the MCMC method is shown, and FIG. 8 (c) shows an image using an particle camera based on an affine camera motion according to the present invention. An experiment result of tracking an object is shown, and FIG. 8 (d) shows an image using an Markov Chain Monte Carlo (MCMC) method based on affine camera motion according to the present invention. Shows the results of experiments that tracked objects. Here, the green part represents the object area.
종래의 파티클 필터(conventional particle filter) 방법과 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법은 도 8의 (a) 및 (b)에 도시된 바와 같이 젤로 현상(jello effect)을 가지는 카메라 움직임 때문에 객체를 놓치거나 객체 영역의 추정이 부정확함을 알 수 있다. 도 9를 참조하면, 종래의 파티클 필터(conventional particle filter) 방법(①)은 81번째 프레임 이후에 객체 추적이 실패함을 알 수 있고, 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법(②)은 121번째 프레임 이후에 객체 추적이 실패함을 알 수 있다. 반면에, 본 발명에 따른 어파인 카메라 움직임(affine camera motion) 기반의 파티클 필터(particle filter) 방법(③)이나 마코브 체인 몬테 카를로(Markov Chain Monte Carlo : MCMC) 방법(④)은 젤로 현상(jello effect)을 가지는 카메라 움직임에서도 지속적인 객체 추적이 가능하다.Conventional particle filter method and Markov Chain Monte Carlo (MCMC) method is a camera having a jello effect as shown in (a) and (b) of Figure 8 It can be seen that because of the movement, the object is missing or the estimation of the object area is inaccurate. Referring to FIG. 9, it can be seen that the conventional particle filter method (①) fails to track an object after the 81 st frame, and the Markov Chain Monte Carlo (MCMC) method ( ②) shows that object tracking fails after the 121st frame. On the other hand, the particle filter method (③) or Markov Chain Monte Carlo (MCMC) method (④) based on the affine camera motion according to the present invention is a gel phenomenon ( Continuous object tracking is possible even with camera movement with jello effect.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 롬(ROM), 램(RAM), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 유무선 통신망으로 연결된 컴퓨터 장치에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like in the form of a carrier wave . In addition, the computer-readable recording medium may be distributed to computer devices connected to a wired / wireless communication network, and a computer-readable code may be stored and executed in a distributed manner.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes may be made and equivalents may be substituted without departing from the scope of the appended claims.
100: 객체 추적 장치, 110: 움직임 추정부,
130: 객체 예측부, 150: 객체 추적부100: object tracking device, 110: motion estimation unit,
130: object prediction unit, 150: object tracking unit
Claims (7)
상기 이전 영상 프레임에서의 객체의 상태로부터 상기 현재 영상 프레임에서의 상기 객체의 상태를 예측하는 객체 상태 예측 모델을 통해 상기 현재 영상 프레임에서의 객체의 위치를 예측하고, 상기 예측된 객체의 위치를 상기 움직임 모델 행렬을 통해 보정하는 객체 예측부; 및
상기 객체 예측부에 의해 보정된 객체의 위치를 기반으로 상기 현재 영상 프레임에서 객체를 추적하는 객체 추적부;를 포함하는 것을 특징으로 하는 객체 추적 장치.Acquiring a local affine motion parameter representing a degree of change in the motion of the photographing apparatus which captured the input image from the current image frame and the previous image frame temporally preceding the current image frame among the input images, A motion estimator for estimating a motion model matrix including the obtained local affine motion parameters;
Predict the position of the object in the current image frame through an object state prediction model for predicting the state of the object in the current image frame from the state of the object in the previous image frame, and determine the position of the predicted object. An object predictor for correcting through a motion model matrix; And
And an object tracker for tracking an object in the current image frame based on the position of the object corrected by the object predictor.
상기 움직임 추정부는 다음의 [수학식 A]와 같은 움직임 모델 행렬 을 추정하는 것을 특징으로 하는 것을 특징으로 하는 객체 추적 장치:
[수학식 A]
여기서, 상기 , 상기 , 상기 및 상기 는 선형 어파인 파라미터(linear affine parameter)를 나타내고, 상기 및 상기 는 트랜스레이션 파라미터(translation parameter)를 나타내며, 상기 로컬 어파인 움직임 파리미터는 상기 선형 어파인 파라미터 및 상기 트랜스레이션 파라미터를 말한다.The method of claim 1,
The motion estimator is a motion model matrix as shown in Equation A below. An object tracking device, characterized in that for estimating:
[Mathematical formula A]
Here, , remind , remind And Denotes a linear affine parameter, And Denotes a translation parameter, and the local affine motion parameter refers to the linear affine parameter and the translation parameter.
상기 객체 예측부는 다음의 [수학식 B]를 통해 객체의 위치를 보정하는 것을 특징으로 하는 객체 추적 장치:
[수학식 B]
여기서, 상기 는 보정된 객체의 위치를 나타내고, 상기 는 보정전 객체의 위치를 나타낸다.The method of claim 2,
The object predicting unit corrects the position of the object through the following Equation B, wherein the object tracking device:
[Mathematical expression B]
Here, Denotes the position of the corrected object, Indicates the position of the object before correction.
상기 획득된 로컬 어파인 움직임 파라미터로 이루어진 움직임 모델 행렬을 추정하는 단계;
상기 이전 영상 프레임에서의 객체의 상태로부터 상기 현재 영상 프레임에서의 상기 객체의 상태를 예측하는 객체 상태 예측 모델을 통해 상기 현재 영상 프레임에서의 객체의 위치를 예측하는 단계;
상기 예측된 객체의 위치를 상기 움직임 모델 행렬을 통해 보정하는 단계; 및
상기 보정된 객체의 위치를 기반으로 상기 현재 영상 프레임에서 객체를 추적하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.Acquiring a local affine motion parameter indicating a degree of change in motion of a photographing apparatus that has captured the input image from a current image frame among the input images and a previous image frame temporally preceding the current image frame;
Estimating a motion model matrix of the obtained local affine motion parameters;
Predicting a position of the object in the current image frame through an object state prediction model that predicts the state of the object in the current image frame from the state of the object in the previous image frame;
Correcting the position of the predicted object through the motion model matrix; And
Tracking an object in the current image frame based on the corrected position of the object.
상기 움직임 모델 행렬 추정 단계에서 다음의 [수학식 A]와 같은 움직임 모델 행렬 을 추정하는 것을 특징으로 하는 객체 추적 방법:
[수학식 A]
여기서, 상기 , 상기 , 상기 및 상기 는 선형 어파인 파라미터(linear affine parameter)를 나타내고, 상기 및 상기 는 트랜스레이션 파라미터(translation parameter)를 나타내며, 상기 로컬 어파인 움직임 파리미터는 상기 선형 어파인 파라미터 및 상기 트랜스레이션 파라미터를 말한다.5. The method of claim 4,
In the motion model matrix estimation step, a motion model matrix as shown in Equation A below. An object tracking method comprising estimating a:
[Mathematical formula A]
Here, , remind , remind And Denotes a linear affine parameter, And Denotes a translation parameter, and the local affine motion parameter refers to the linear affine parameter and the translation parameter.
상기 객체 위치 보정 단계에서 다음의 [수학식 B]를 통해 객체의 위치를 보정하는 것을 특징으로 하는 객체 추적 방법:
[수학식 B]
여기서, 상기 는 보정된 객체의 위치를 나타내고, 상기 는 보정전 객체의 위치를 나타낸다.6. The method of claim 5,
In the object position correction step, the object tracking method characterized in that for correcting the position of the object through the following [Equation B]:
[Mathematical expression B]
Here, Denotes the position of the corrected object, Indicates the position of the object before correction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120017442A KR101309519B1 (en) | 2012-02-21 | 2012-02-21 | Apparatus and method for tracking object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120017442A KR101309519B1 (en) | 2012-02-21 | 2012-02-21 | Apparatus and method for tracking object |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130095985A true KR20130095985A (en) | 2013-08-29 |
KR101309519B1 KR101309519B1 (en) | 2013-09-24 |
Family
ID=49219065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120017442A KR101309519B1 (en) | 2012-02-21 | 2012-02-21 | Apparatus and method for tracking object |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101309519B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2557402A (en) * | 2016-10-07 | 2018-06-20 | Ford Global Tech Llc | Rear obstacle detection and distance estimation |
KR101885839B1 (en) * | 2017-03-14 | 2018-08-06 | 중앙대학교 산학협력단 | System and Method for Key point Selecting for Object Tracking |
KR20210121878A (en) * | 2020-03-31 | 2021-10-08 | 한국과학기술원 | Method of full-body modeling based on model predictive control with a visuomotor system |
CN114445267A (en) * | 2022-01-28 | 2022-05-06 | 南京博视医疗科技有限公司 | Eye movement tracking method and device based on retina image |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100574227B1 (en) * | 2003-12-18 | 2006-04-26 | 한국전자통신연구원 | Apparatus and method for separating object motion from camera motion |
KR101426040B1 (en) * | 2009-01-15 | 2014-08-01 | 삼성테크윈 주식회사 | Method for tracking moving object and apparatus in intelligent visual surveillance system |
-
2012
- 2012-02-21 KR KR1020120017442A patent/KR101309519B1/en active IP Right Grant
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2557402A (en) * | 2016-10-07 | 2018-06-20 | Ford Global Tech Llc | Rear obstacle detection and distance estimation |
US10318826B2 (en) | 2016-10-07 | 2019-06-11 | Ford Global Technologies, Llc | Rear obstacle detection and distance estimation |
KR101885839B1 (en) * | 2017-03-14 | 2018-08-06 | 중앙대학교 산학협력단 | System and Method for Key point Selecting for Object Tracking |
KR20210121878A (en) * | 2020-03-31 | 2021-10-08 | 한국과학기술원 | Method of full-body modeling based on model predictive control with a visuomotor system |
CN114445267A (en) * | 2022-01-28 | 2022-05-06 | 南京博视医疗科技有限公司 | Eye movement tracking method and device based on retina image |
CN114445267B (en) * | 2022-01-28 | 2024-02-06 | 南京博视医疗科技有限公司 | Eye movement tracking method and device based on retina image |
Also Published As
Publication number | Publication date |
---|---|
KR101309519B1 (en) | 2013-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101749099B1 (en) | Method and apparatus for tracking object in image data, and storage medium storing the same | |
KR101681538B1 (en) | Image processing apparatus and method | |
KR100660725B1 (en) | Portable terminal having apparatus for tracking human face | |
WO2008069995A2 (en) | Estimating a location of an object in an image | |
JP2008538832A (en) | Estimating 3D road layout from video sequences by tracking pedestrians | |
KR20120138627A (en) | A face tracking method and device | |
US9280703B2 (en) | Apparatus and method for tracking hand | |
CN111383252B (en) | Multi-camera target tracking method, system, device and storage medium | |
KR101309519B1 (en) | Apparatus and method for tracking object | |
KR100994367B1 (en) | Method for tracking a movement of a moving target of image tracking apparatus | |
CN112164093A (en) | Automatic person tracking method based on edge features and related filtering | |
KR101460317B1 (en) | Detection apparatus of moving object in unstable camera environment and method thereof | |
CN111488779A (en) | Video image super-resolution reconstruction method, device, server and storage medium | |
CN106651918B (en) | Foreground extraction method under shaking background | |
Nguyen et al. | Real time human tracking using improved CAM-shift | |
CN109410254B (en) | Target tracking method based on target and camera motion modeling | |
KR100996209B1 (en) | Object Modeling Method using Gradient Template, and The System thereof | |
KR101945487B1 (en) | Apparatus and method for recognizing object included in video data | |
JP4879257B2 (en) | Moving object tracking device, moving object tracking method, and moving object tracking program | |
CN107818287B (en) | Passenger flow statistics device and system | |
KR100994366B1 (en) | Method for tracking a movement of a moving target of image tracking apparatus | |
KR102151748B1 (en) | Method, apparatus and computer-readable recording medium for seperating the human and the background from the video | |
CN111385583B (en) | Image motion estimation method, device and computer readable storage medium | |
CN113674319A (en) | Target tracking method, system, equipment and computer storage medium | |
CN109448020B (en) | Target tracking method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170626 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180625 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190807 Year of fee payment: 7 |