KR20120130462A - Method for tracking object using feature points of object - Google Patents
Method for tracking object using feature points of object Download PDFInfo
- Publication number
- KR20120130462A KR20120130462A KR1020110048400A KR20110048400A KR20120130462A KR 20120130462 A KR20120130462 A KR 20120130462A KR 1020110048400 A KR1020110048400 A KR 1020110048400A KR 20110048400 A KR20110048400 A KR 20110048400A KR 20120130462 A KR20120130462 A KR 20120130462A
- Authority
- KR
- South Korea
- Prior art keywords
- search window
- feature points
- extracting
- initial search
- foreground
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 3
- 238000010411 cooking Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 객체의 특징점을 기반으로 한 객체 추적 방법에 관한 것으로, 구체적으로 설명하면 객체의 크기에 대응하여 검색 윈도우의 크기를 가변하여 객체를 정확하게 추적하는 객체의 특징점을 기반으로 한 객체 추적 방법에 관한 것이다.
The present invention relates to an object tracking method based on a feature point of an object. Specifically, the present invention relates to an object tracking method based on a feature point of an object that accurately tracks an object by varying the size of a search window corresponding to the size of the object. It is about.
미래사회에서 로봇은 우리의 삶과 밀접하게 연관될 것이다. 즉, 로봇은 인간을 대신하여 요리, 배달, 간병, 운전 등을 수행할 것이다. 이러한 로봇에서 가장 중요한 것이 움직이는 객체를 인식, 검출하고 추적하는 기술이다. 이 기술들이 선행되어야만 앞서 언급한 요리, 배달, 간병, 운전 등을 수행할 수 있기 때문이다.
In future society, robots will be closely related to our lives. That is, the robot will perform cooking, delivery, caring, driving, etc. on behalf of humans. The most important thing in these robots is the technology to recognize, detect and track moving objects. Because these techniques must be preceded to perform the cooking, delivery, caring, and driving mentioned above.
움직이는 객체를 추적하는 기술에는 MEANSHIFT 알고리즘이 있다. MEANSHIFT 알고리즘은 정지영상-색 분할 알고리즘을 비디오 영상으로 확장한 것으로서, 초기 검색 윈도우의 크기와 위치를 지정하고, 지정한 윈도우 내의 색깔을 기반하여 객체를 추적한다. MEANSHIFT 알고리즘은 단순한 계산을 통해 객체를 추적하기 때문에 고속 동작이 가능하다.
One technique for tracking moving objects is the MEANSHIFT algorithm. The MEANSHIFT algorithm is an extension of the still-color segmentation algorithm to a video image. The MEANSHIFT algorithm specifies the size and position of the initial search window and tracks objects based on the colors in the specified window. The MEANSHIFT algorithm tracks objects through simple calculations, allowing for high speed operation.
도 1a 내지 도 1d는 MEANSHIFT 알고리즘에 따른 객체 추적을 설명하기 위한 도면이다.
1A to 1D are diagrams for describing object tracking according to a MEANSHIFT algorithm.
도 1a에 도시된 바와 같이, MEANSHIFT 알고리즘은 최초 객체(1)를 인지 및 검출하면, 초기 검색 윈도우(2)를 설정하고 초기 검색 윈도우(2) 내 특정 색깔을 선택한다. 이후, 도 1b 내지 도 1d에 도시된 바와 같이 객체(1)를 추적한다.
As shown in FIG. 1A, upon recognition and detection of the
그런데, MEANSHIFT 알고리즘은 초기 검색 윈도우(2)를 지정한 후에는 검색 윈도우(2)의 크기를 변경하지 않는다. 도 1a 내지 도 1d를 참조하면, 객체(1)는 카메라와의 거리가 가까워짐에 따라 크기가 커지는데 반해, 검색 윈도우(2)의 크기는 변함이 없는 것을 확인할 수 있다. However, the MEANSHIFT algorithm does not change the size of the
만약, 객체(1)와 카메라의 거리가 더욱 가까워질 경우, 객체(1)에 비해 검색 윈도우(2)가 너무 작아져 특정 색깔을 인식하지 못할 수 있으며, 이에 따라 MEANSHIFT 알고리즘은 객체(1) 추적에 실패할 수 있다. 따라서, 이와 같은 문제점을 보완한 새로운 객체 추적 기술이 필요한 실정이다.
If the distance between the
본 발명은 객체의 크기에 대응하여 검색 윈도우의 크기를 가변시켜 객체를 정확하게 추적하는 객체의 특징점을 기반으로 한 객체 추적 방법을 제공한다.
The present invention provides an object tracking method based on the feature point of the object to accurately track the object by varying the size of the search window corresponding to the size of the object.
본 발명은 영상 프레임에서 배경과 전경을 구분하는 단계, 상기 전경에서 객체를 추출하고, 상기 객체를 포함하는 초기 검색 윈도우를 설정하는 단계, SIFT 알고리즘을 이용하여 상기 초기 검색 윈도우 내에서 복수의 특징점을 추출하는 단계, 상기 복수의 특징점 중 최외각 특징점을 바탕으로 검색 윈도우를 재설정하는 단계 및 상기 검색 윈도우를 반복적으로 재설정하여 상기 객체를 추적하는 단계를 포함하는 객체의 특징점을 기반으로 한 객체 추적 방법을 포함한다.
The present invention includes the steps of distinguishing a background and a foreground from an image frame, extracting an object from the foreground, setting an initial search window including the object, and using a SIFT algorithm to identify a plurality of feature points in the initial search window. Extracting, resetting a search window based on the outermost feature point of the plurality of feature points, and recursively resetting the search window to track the object. Include.
여기서, 객체의 특징점을 기반으로 한 객체 추적 방법은 상기 객체를 추출한 후, 상기 전경에 혼합된 잡음을 제거하는 단계를 더 포함한다.
Here, the object tracking method based on the feature point of the object further includes extracting the object, and then removing the noise mixed in the foreground.
상기 잡음을 제거하는 단계는 상기 영상 프레임에서 상기 객체를 흑백으로 검출하는 단계 및 상기 객체에 포함된 그림자를 제거하는 단계, 필터링을 통해 객체의 형태를 정의하는 단계를 포함한다.
The removing of the noise may include detecting the object in black and white in the image frame, removing a shadow included in the object, and defining a shape of the object through filtering.
상기 전경에서 상기 객체를 추출하는 단계는 상기 영상 프레임에서 픽셀 분포 형태를 분석하는 단계, 상기 픽셀 분포 형태가 이전의 영상 프레임의 픽셀 분포 형태와 매칭이 되면 업데이트 시키고, 매칭되지 않을 경우 픽셀 분포 형태를 초기화하여 상기 객체를 추출하는 단계를 포함한다.
The extracting of the object from the foreground may include analyzing a pixel distribution form in the image frame, updating the pixel distribution form if it matches a pixel distribution form of a previous image frame, and if not, Initializing and extracting the object.
또한, 상기 검색 윈도우는 상기 초기 검색 윈도우보다 영역이 같거나 작은 것을 특징으로 한다.
In addition, the search window is characterized in that the area is the same or smaller than the initial search window.
본 발명의 객체의 특징점을 기반으로 한 객체 추적 방법은 객체를 포함하는 초기 검색 윈도우를 설정한 후 SIFT 알고리즘을 통해 특징점을 추출하고, 이를 바탕으로 검색 윈도우를 업데이트 하는 방식을 포함한다. 검색 윈도우를 지속적으로 재설정하기 때문에 객체의 크기에 실시간으로 대응할 수 있다. 또한, SIFT 알고리즘을 통해 추출된 특징점은 객체의 스케일 변화에 불변인 특성을 갖기 때문에 정확한 객체 추적에 탁월하다.
The object tracking method based on the feature point of the object of the present invention includes a method of extracting the feature point through the SIFT algorithm after setting the initial search window including the object, and updating the search window based on the feature point. By constantly resetting the search window, you can respond in real time to the size of an object. In addition, the feature points extracted through the SIFT algorithm are excellent for accurate object tracking because they have invariant characteristics in the scale change of the object.
도 1a 내지 도 1d는 MEANSHIFT 알고리즘에 따른 객체 추적을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 객체의 특징점을 기반으로 한 객체 추적 방법을 나타낸 순서도이다.
도 3은 객체에 포함된 잡음을 제거하는 과정을 설명하기 위한 도면이다.
도 4는 초기 검색 윈도우를 설정하는 과정을 설명하기 위한 도면이다.
도 5는 검색 윈도우를 재설정하는 과정을 설명하기 위한 도면이다.
도 6a 내지 도 6d는 본 실시예와 같은 객체 검출 방법을 통해 객체를 검출한 일례를 나타낸 도면이다.
도 7은 MEANSHIFT 알고리즘과 본 실시예의 객체 검출 방법간의 검색 윈도우의 오류 발생을 나타낸 그래프이다.1A to 1D are diagrams for describing object tracking according to a MEANSHIFT algorithm.
2 is a flowchart illustrating an object tracking method based on feature points of an object according to an embodiment of the present invention.
3 is a diagram for describing a process of removing noise included in an object.
4 is a diagram for describing a process of setting an initial search window.
5 is a diagram for explaining a process of resetting a search window.
6A to 6D are diagrams showing an example of detecting an object through the object detecting method as in the present embodiment.
7 is a graph showing an error occurrence of a search window between the MEANSHIFT algorithm and the object detection method of this embodiment.
이하, 실시예를 통하여 본 발명을 더욱 상세히 설명하기로 한다. 이들 실시예는 단지 본 발명을 예시하기 위한 것이며, 본 발명의 권리 보호 범위가 이들 실시예에 의해 제한되는 것은 아니다.
Hereinafter, the present invention will be described in more detail with reference to Examples. These embodiments are only for illustrating the present invention, and the scope of rights of the present invention is not limited by these embodiments.
도 2는 본 발명의 일실시예에 따른 객체의 특징점을 기반으로 한 객체 추적 방법을 나타낸 순서도이다.
2 is a flowchart illustrating an object tracking method based on feature points of an object according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 객체의 특징점을 기반으로 한 객체 추적 방법은 배경과 전경을 구분하는 단계(S1), 전경에서 객체를 추출하고, 객체를 포함하는 초기 검색 윈도우를 설정하는 단계(S2), SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 초기 검색 윈도우 내에서 복수의 특징점을 추출하는 단계(S3), 복수의 특징점 중 최외각 특징점을 바탕으로 검색 윈도우를 재설정하는 단계(S4), 검색 윈도우를 반복적으로 재설정하여 객체를 추적하는 단계(S5)를 포함한다.
As shown in FIG. 2, the method for tracking an object based on the feature point of the object may include distinguishing a background from a foreground (S1), extracting an object from the foreground, and setting an initial search window including the object (S2). ), Extracting a plurality of feature points from the initial search window using a Scale Invariant Feature Transform (SIFT) algorithm (S3), resetting the search window based on the outermost feature points of the plurality of feature points (S4), and searching Resetting the window repeatedly to track the object (S5).
추가로, 객체의 특징점을 기반으로 한 객체 추적 방법은 객체를 추출한 후, 전경에 포함된 잡음을 제거하는 단계를 더 포함한다. 즉, 본 실시예의 객체 추적 방법은 배경으로부터 객체를 추출하여 초기 검색 윈도우를 설정하고, 초기 검색 윈도우 내에서 특징점만을 추출하여 검색 윈도우를 재설정하며, 검색 윈도우를 재설정하는 과정을 반복 수행함으로써 객체를 추적한다.
In addition, the object tracking method based on the feature point of the object further includes extracting the object, and then removing the noise included in the foreground. In other words, the object tracking method of the present embodiment extracts an object from a background to set an initial search window, extracts only feature points within the initial search window, resets the search window, and repeats the process of resetting the search window. do.
이와 같은 객체 추적 방법의 각 단계를 구체적으로 서술하면 다음과 같다.
Each step of the object tracking method is described in detail as follows.
먼저, 배경과 전경을 구분하는 단계(S1)는 카메라를 통해 입력되는 영상 프레임(frame)에서 픽셀 분포 형태를 분석하는 과정을 포함한다. 픽셀 분포 형태를 분석함으로서 배경과 전경이 분리되어 구분된다.
First, a step (S1) of distinguishing a background from a foreground may include analyzing a pixel distribution form in an image frame input through a camera. By analyzing the shape of the pixel distribution, the background and foreground are separated.
전경에서 객체를 추출하고, 객체를 포함하는 초기 검색 윈도우를 설정하는 단계(S2) 중, 객체를 추출하는 단계는 영상 프레임에서 픽셀 분포 형태를 분석하고, 픽셀 분포 형태가 기존 영상 프레임의 픽셀 분포 형태와 매칭이 되면 업데이트 시키며, 매칭되지 않을 경우 픽셀 분포 형태를 초기화하는 과정을 포함한다.
Extracting an object from the foreground and setting an initial search window including the object (S2), the step of extracting an object analyzes the pixel distribution form in the image frame, and the pixel distribution form is the pixel distribution form of the existing image frame. If and match, and update, and if it does not match, it includes the step of initializing the pixel distribution form.
이와 같은 과정을 반복 수행함으로써, 전경으로부터 객체를 추출한다. 즉, 움직이지 않는 전경과 움직이는 객체 간의 픽셀 분포 형태를 분석하여, 전경으로부터 객체를 추출한다.
By repeating this process, the object is extracted from the foreground. That is, the object is extracted from the foreground by analyzing the shape of the pixel distribution between the foreground and the moving object that is not moving.
추출된 객체에는 그림자와 같은 잡음이 포함될 수 있다. 그래서, 도 3와 같은 객체에 포함된 잡음을 제거하기 위한 과정을 진행한다.
The extracted object may include noise such as shadows. Thus, a process for removing noise included in the object as shown in FIG. 3 is performed.
도 3을 참조하면, 입력된 영상 프레임(input frame)에서 객체를 흑백으로 검출하고(detected object), 객체에 포함된 그림자를 제거한 후(shadow removal), 필터링을 통해 객체의 형태를 정의한다(morphological filtering). 일반적으로 그림자와 같은 잡음은 낮은 명도를 갖는데, 도 3은 이를 이용하여 그림자를 제거하는 방법을 예시한 것이다.
Referring to FIG. 3, an object is detected in black and white from an input image frame, and shadows included in the object are removed, and the shape of the object is defined through filtering. filtering). In general, noise such as shadows have low brightness, and FIG. 3 illustrates a method of removing shadows using the same.
객체를 포함하는 초기 검색 윈도우를 설정하는 단계는, 도 4와 같이 객체가 검출된 영상 프레임(a)에 대해 설정된 색조(hue color) 히스토그램(b)을 바탕으로, 색조 히스토그램과 유사한 컬러를 가진 영역을 초기 검색 윈도우(11)로 설정하는 과정을 포함한다.
The setting of the initial search window including the object may include an area having a color similar to the hue histogram based on the hue color histogram b set for the image frame a in which the object is detected as shown in FIG. 4. It is set to the initial search window (11).
SIFT 알고리즘을 이용하여 초기 검색 윈도우 내에서 복수의 특징점을 추출하는 단계(S3)는 초기 검색 윈도우 내에서 새로운 검색 윈도우를 설정하기 위한 기초 과정을 포함한다. Extracting a plurality of feature points in the initial search window using the SIFT algorithm (S3) includes a basic procedure for setting a new search window in the initial search window.
알려진 바와 같이, SIFT 알고리즘은 영상 내에서 관심있는 부분의 불변한 특징 - 스케일, 표정, Affine 왜곡 - 및 부분적으로 불변한 특징 - 밝기값 - 을 이용해서 관심있는 부부분을 검출하거나 정의하는 기술이다.
As is known, the SIFT algorithm is a technique for detecting or defining the fraction of interest using the invariant features of the portion of interest in the image-scale, facial expression, Affine distortion-and partially invariant features-brightness value.
즉, SIFT 알고리즘은 간단하게 배경에서 관심있는 부분을 가장 잘 표현할 수 있는 정보를 추출하는 것이다.
In other words, the SIFT algorithm simply extracts the information that best represents the part of interest in the background.
SIFT 알고리즘은 특징점을 추출하기 위하여 스케일 공간(scale space)를 만든다. 스케일 공간은 영상의 크기를 여러 가지로 조정하여 놓은 것으로, 크게 획득한 영상과 작게 획득한 영상을 모두 고려 대상으로 하기 때문에 스케일 변화에 불변인 특징량을 얻을 수 있다.
The SIFT algorithm creates a scale space to extract feature points. The scale space is made by adjusting the size of the image in various ways, and since both large and small images are taken into consideration, a feature amount invariant to scale change can be obtained.
스케일이 작아진 영상을 얻는 방법은 가우시안 커널(gaussian kernel)을 이용하는 것이다. 영상과의 회선(convolution)을 수행할 가우시안 커널의 분산(variance)을 크게 할수록 작은 영상을 만드는 효과를 얻을 수 있다.
A method of obtaining a scaled image is by using a Gaussian kernel. The larger the variance of the Gaussian kernel to perform the convolution with the image, the smaller the effect of making a small image can be obtained.
분산이 어느 정도 커지면 원본 영상의 크기를 줄이고 다시 가우시안 커널과의 회선을 수행한다. 다음으로, 서로 이웃한 영상 간의 차이(difference of Gaussian, DoG)를 계산한다. 스케일 공간에서의 DoG의 극점(local extrema)이 특징점으로 선택된다. 이렇게 선택된 점들은 스케일 변화에 불변인 특성을 갖게 된다.
If the variance grows to a certain extent, the original image is reduced in size, and the line is again connected with the Gaussian kernel. Next, a difference of Gaussian (DoG) between neighboring images is calculated. The local extrema of the DoG in scale space is chosen as the feature point. These selected points are invariant to scale changes.
복수의 특징점 중 최외각 특징점을 바탕으로 검색 윈도우를 재설정하는 단계(S4)는 초기 검색 윈도우의 크기를 보다 한정하는 과정을 포함한다.
Resetting the search window based on the outermost feature point of the plurality of feature points (S4) may further include limiting the size of the initial search window.
이때, 한정하는 기준은 복수의 특징점 중 최외각 특징점이다. 도 5는 검색 윈도우를 재설정하는 과정을 설명하는 도면으로서, 이를 참조하면 초기 검색 윈도우(11) 내에서 복수의 특징점(12)이 검출되고, 최외각의 특징점에 의해 검색 윈도우(13)가 재설정 된 것을 확인할 수 있다.
In this case, the criterion to limit is the outermost feature point of the plurality of feature points. 5 is a diagram illustrating a process of resetting a search window. Referring to this, a plurality of feature points 12 are detected in the
이때, 검색 윈도우(13)는 복수의 특징점(12)에 의해 한정되기 때문에 초기 검색 윈도우(11)의 크기와 같거나 작다.
At this time, since the
검색 윈도우를 반복적으로 재설정하여 객체를 추적하는 단계(S5)는 이동하는 객체를 추적하는 과정을 의미한다. 즉, 검색 윈도우 내에 객체를 포함시키는 반복적인 과정을 포함한다.
Repeating the resetting of the search window to track an object (S5) refers to a process of tracking a moving object. That is, an iterative process of including an object in the search window is included.
도 6a 내지 도 6d는 본 실시예와 같은 객체 검출 방법을 통해 객체를 검출한 일례를 나타낸 도면이다.
6A to 6D are diagrams showing an example of detecting an object through the object detecting method as in the present embodiment.
도 6a 내지 도 6d를 참조하면, 검색 윈도우(13)의 크기가 객체의 크기에 따라 가변하는 것을 확인할 수 있다. 6A to 6D, it can be seen that the size of the
즉, 카메라와 객체간의 거리차에 따라 객체의 크기는 가변하는데, 본 실시예에 따른 객체 검출 방법은 이에 대응하여 검색 윈도우(13)의 크기를 함께 가변시킨다.
That is, the size of the object varies according to the distance difference between the camera and the object. The object detection method according to the present embodiment changes the size of the
따라서, 본 실시예의 객체 검출 방법은 객체의 크기가 커지는데 반해 검색 윈도우의 크기가 고정되어 있어서, 객체의 추적이 불가능했던 종래의 문제점은 발생하지 않는다.
Therefore, in the object detection method of the present embodiment, the size of the search window is fixed while the size of the object is large, so that the conventional problem that the object cannot be traced does not occur.
도 7은 MEANSHIFT 알고리즘과 본 실시예의 객체 검출 방법간의 검색 윈도우의 오류 발생을 나타낸 그래프이다. 이때, 영상 프레임은 도 1a 내지 도 1d와 동일한 것으로 가정한다.
7 is a graph showing an error occurrence of a search window between the MEANSHIFT algorithm and the object detection method of this embodiment. In this case, it is assumed that the image frame is the same as that of FIGS. 1A to 1D.
도 7을 참조하면, 지속적으로 입력되는 영상 프레임에 대응하여, 본 실시예의 객체 검출 방법이 MEANSHIFT 알고리즘보다 검색 윈도우의 오류 발생률(error of the region)이 낮은 것을 확인할 수 있다.
Referring to FIG. 7, it can be seen that the object detection method of this embodiment has a lower error rate of the search window than the MEANSHIFT algorithm in response to a continuously input image frame.
이는, 본 실시예의 객체 검출 방법이 MEANSHIFT 알고리즘보다 정확히 객체를 추적하고 있음을 의미한다.
This means that the object detection method of the present embodiment tracks an object more accurately than the MEANSHIFT algorithm.
정리해 보면, 본 발명의 일실시예에 따른 객체 추적 방법은 객체를 포함하는 초기 검색 윈도우를 설정한 후 SIFT 알고리즘을 통해 특징점을 추출하고, 이를 바탕으로 검색 윈도우를 업데이트 하는 방식을 포함한다.
In summary, an object tracking method according to an embodiment of the present invention includes a method of setting an initial search window including an object, extracting feature points through a SIFT algorithm, and updating the search window based on the extracted feature points.
검색 윈도우를 지속적으로 재설정하기 때문에 객체의 크기에 실시간으로 대응할 수 있다. 또한, SIFT 알고리즘을 통해 추출된 특징점은 객체의 스케일 변화에 불변인 특성을 갖기 때문에 객체 추적에 탁월하다.
By constantly resetting the search window, you can respond in real time to the size of an object. In addition, the feature points extracted through the SIFT algorithm are excellent for object tracking because they have invariant characteristics in the scale change of the object.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속한 기술분야에서 통상의 지식을 가진자에게 있어 명백할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. Will be apparent to those of ordinary skill in the art.
11: 초기 검색 윈도우 12: 특징점
13: 검색 윈도우11: initial search window 12: feature points
13: search window
Claims (5)
상기 전경에서 객체를 추출하고, 상기 객체를 포함하는 초기 검색 윈도우를 설정하는 단계;
SIFT 알고리즘을 이용하여 상기 초기 검색 윈도우 내에서 복수의 특징점을 추출하는 단계;
상기 복수의 특징점 중 최외각 특징점을 바탕으로 검색 윈도우를 재설정하는 단계; 및
상기 검색 윈도우를 반복적으로 재설정하여 상기 객체를 추적하는 단계
를 포함하는 객체의 특징점을 기반으로 한 객체 추적 방법.
Distinguishing a background and a foreground from an image frame;
Extracting an object from the foreground and setting an initial search window that includes the object;
Extracting a plurality of feature points in the initial search window using a SIFT algorithm;
Resetting a search window based on an outermost feature point of the plurality of feature points; And
Repeatedly resetting the search window to track the object
Object tracking method based on the feature points of the object, including.
상기 객체를 추출한 후, 상기 전경에 혼합된 잡음을 제거하는 단계를 더 포함하는 객체의 특징점을 기반으로 한 객체 추적 방법.
The method of claim 1,
And extracting the object, and then removing the noise mixed in the foreground.
상기 잡음을 제거하는 단계는
상기 영상 프레임에서 상기 객체를 흑백으로 검출하는 단계; 및
상기 객체에 포함된 그림자를 제거하는 단계;
필터링을 통해 객체의 형태를 정의하는 단계를 포함하는 객체의 특징점을 기반으로 한 객체 추적 방법.
The method of claim 2,
Removing the noise
Detecting the object in black and white in the image frame; And
Removing a shadow included in the object;
An object tracking method based on the feature points of an object comprising the step of defining the shape of the object through filtering.
상기 전경에서 상기 객체를 추출하는 단계는
상기 영상 프레임에서 픽셀 분포 형태를 분석하는 단계;
상기 픽셀 분포 형태가 이전의 영상 프레임의 픽셀 분포 형태와 매칭이 되면 업데이트 시키고, 매칭되지 않을 경우 픽셀 분포 형태를 초기화하여 상기 객체를 추출하는 단계를 포함하는 객체의 특징점을 기반으로 한 객체 추적 방법.
The method of claim 1,
Extracting the object from the foreground
Analyzing a pixel distribution shape in the image frame;
Updating the pixel distribution form when the pixel distribution form is matched with the pixel distribution form of the previous image frame; and if the pixel distribution form is not matched, initializing the pixel distribution form and extracting the object.
상기 검색 윈도우는 상기 초기 검색 윈도우보다 영역이 같거나 작은 것을 특징으로 하는 객체의 특징점을 기반으로 한 객체 추적 방법.
The method of claim 1,
The search window is an object tracking method based on the feature point of the object, characterized in that the area is the same or smaller than the initial search window.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110048400A KR20120130462A (en) | 2011-05-23 | 2011-05-23 | Method for tracking object using feature points of object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110048400A KR20120130462A (en) | 2011-05-23 | 2011-05-23 | Method for tracking object using feature points of object |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120130462A true KR20120130462A (en) | 2012-12-03 |
Family
ID=47514525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110048400A KR20120130462A (en) | 2011-05-23 | 2011-05-23 | Method for tracking object using feature points of object |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20120130462A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077528A (en) * | 2013-02-25 | 2013-05-01 | 南京大学 | Rapid image matching method based on DCCD (Digital Current Coupling)-Laplace and SIFT (Scale Invariant Feature Transform) descriptors |
| WO2014175477A1 (en) * | 2013-04-24 | 2014-10-30 | Lg Electronics Inc. | Apparatus and method for processing image |
| CN105335986A (en) * | 2015-09-10 | 2016-02-17 | 西安电子科技大学 | Characteristic matching and MeanShift algorithm-based target tracking method |
| US9349048B2 (en) | 2013-02-28 | 2016-05-24 | Smasung Electronics Co., Ltd. | Method of tracking moving object, method of determining display state of moving object, and control apparatus for tracking moving object |
| CN108182393A (en) * | 2017-12-22 | 2018-06-19 | 上海信耀电子有限公司 | A kind of automobile and its front truck tracking and system of application |
| CN116112675A (en) * | 2023-04-11 | 2023-05-12 | 深圳市海威恒泰智能科技有限公司 | Video coding method and video coding system |
| CN117036490A (en) * | 2023-10-10 | 2023-11-10 | 长沙能川信息科技有限公司 | Method, device, computer equipment and medium for detecting preset bit offset of camera |
-
2011
- 2011-05-23 KR KR1020110048400A patent/KR20120130462A/en not_active Application Discontinuation
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077528A (en) * | 2013-02-25 | 2013-05-01 | 南京大学 | Rapid image matching method based on DCCD (Digital Current Coupling)-Laplace and SIFT (Scale Invariant Feature Transform) descriptors |
| US9349048B2 (en) | 2013-02-28 | 2016-05-24 | Smasung Electronics Co., Ltd. | Method of tracking moving object, method of determining display state of moving object, and control apparatus for tracking moving object |
| WO2014175477A1 (en) * | 2013-04-24 | 2014-10-30 | Lg Electronics Inc. | Apparatus and method for processing image |
| CN105335986A (en) * | 2015-09-10 | 2016-02-17 | 西安电子科技大学 | Characteristic matching and MeanShift algorithm-based target tracking method |
| CN105335986B (en) * | 2015-09-10 | 2018-11-30 | 西安电子科技大学 | Method for tracking target based on characteristic matching and MeanShift algorithm |
| CN108182393A (en) * | 2017-12-22 | 2018-06-19 | 上海信耀电子有限公司 | A kind of automobile and its front truck tracking and system of application |
| CN116112675A (en) * | 2023-04-11 | 2023-05-12 | 深圳市海威恒泰智能科技有限公司 | Video coding method and video coding system |
| CN116112675B (en) * | 2023-04-11 | 2023-06-09 | 深圳市海威恒泰智能科技有限公司 | Video coding method and video coding system |
| CN117036490A (en) * | 2023-10-10 | 2023-11-10 | 长沙能川信息科技有限公司 | Method, device, computer equipment and medium for detecting preset bit offset of camera |
| CN117036490B (en) * | 2023-10-10 | 2024-01-19 | 长沙能川信息科技有限公司 | Method, device, computer equipment and medium for detecting preset bit offset of camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11302315B2 (en) | Digital video fingerprinting using motion segmentation | |
| Braham et al. | Semantic background subtraction | |
| St-Charles et al. | Improving background subtraction using local binary similarity patterns | |
| US9367766B2 (en) | Text line detection in images | |
| CN107016691B (en) | Moving target detecting method based on super-pixel feature | |
| KR20120130462A (en) | Method for tracking object using feature points of object | |
| US9202126B2 (en) | Object detection apparatus and control method thereof, and storage medium | |
| JP2008192131A (en) | System and method for performing feature level segmentation | |
| US10748294B2 (en) | Method, system, and computer-readable recording medium for image object tracking | |
| KR101508310B1 (en) | Apparatus and method for tracking multiple moving objects in video surveillance system | |
| CN111079613B (en) | Gesture recognition method and device, electronic equipment and storage medium | |
| Tiwari et al. | A survey on shadow detection and removal in images and video sequences | |
| CN106934338B (en) | Long-term pedestrian tracking method based on correlation filter | |
| Amato et al. | Moving cast shadows detection methods for video surveillance applications | |
| CN111028263B (en) | Moving object segmentation method and system based on optical flow color clustering | |
| KR102434397B1 (en) | Real time multi-object tracking device and method by using global motion | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| Elsayed et al. | Skin-based adaptive background subtraction for hand gesture segmentation | |
| Nandhini et al. | SIFT algorithm-based Object detection and tracking in the video image | |
| Fleuret et al. | Re-identification for improved people tracking | |
| JP2019160299A5 (en) | ||
| Goyal et al. | Moving Object Detection in Video Streaming Using Improved DNN Algorithm | |
| Yoon et al. | Fluctuation-Based Fade Detection for Local Scene Changes | |
| Fard et al. | A block matching based method for moving object detection in active camera | |
| Li et al. | Combining color feature for scale adaptive correlation filter tracker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |