KR101700276B1 - Apparatus and Method for setting feature point, tracking object apparatus and method usig that - Google Patents
Apparatus and Method for setting feature point, tracking object apparatus and method usig that Download PDFInfo
- Publication number
- KR101700276B1 KR101700276B1 KR1020110123372A KR20110123372A KR101700276B1 KR 101700276 B1 KR101700276 B1 KR 101700276B1 KR 1020110123372 A KR1020110123372 A KR 1020110123372A KR 20110123372 A KR20110123372 A KR 20110123372A KR 101700276 B1 KR101700276 B1 KR 101700276B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- feature point
- representative value
- information
- movement range
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
본 발명은 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법에 관한 것으로서, 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 특징점 정의부, 상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 블록 형성부, 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 변화도 대표값 계산부, 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 특징점 결정부를 포함한다.
본 발명에 따르면, 수동으로 사용자가 특징점을 지정할 경우에 사용자에 의해 지정된 특징점의 주변 화소 매트릭스를 고려하여 각 블록별 변화도 대표값을 구하고, 그 변화도 대표값을 근거로 사용자에 의해 지정된 특징점을 재설정할 수 있다. The present invention relates to a feature point setting apparatus and method, and an apparatus and method for tracking an object using the feature point setting apparatus. The apparatus includes a feature point defining unit for assigning and storing a feature point corresponding to an initial position of an object, A block forming unit for forming blocks having a predetermined size centered on the block and defining blocks corresponding to the size of the formed block within a predetermined moving range, frequency conversion of each block defined within the moving range, And a feature point determination unit for determining a center point of a block having a largest change degree representative value as a final feature point within the movement range.
According to the present invention, when a user specifies a feature point manually, a change degree representative value for each block is calculated in consideration of a neighboring pixel matrix of a feature point designated by the user, and the change degree is calculated based on the representative value, You can reset it.
Description
본 발명은 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법에 관한 것으로서, 보다 상세하게는 사용자가 객체의 초기 위치에 해당하는 특징점을 지정한 경우, 입력 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의한 후, 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하고, 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법에 관한 것이다.The present invention relates to a feature point setting apparatus and method, and an apparatus and method for tracking an object using the feature point setting apparatus and method. More specifically, when a user specifies a feature point corresponding to an initial position of an object, Defining blocks corresponding to the size of the formed block within a predetermined moving range, frequency-transforming each block defined within the moving range to obtain a representative value of the variation degree, The present invention relates to a feature point setting apparatus and method for redetermining a center point of a block having a largest variation value and a representative value as a final feature point, and an apparatus and method for tracking an object using the feature point setting apparatus and method.
비디오 영상에서 특정 객체를 검출하고 이를 추적하는 기술은 보안 분야, 얼굴 인식 분야를 중심으로 발전해왔다. 보안 시스템의 경우, 감시 구역 내에 들어오는 사람을 자동적으로 감시하기 위해서 감시 구역 내로 진입한 객체를 검출하고, 객체의 움직임을 추적하는 것이 필요하다. Techniques for detecting and tracking specific objects in video images have been developed around security and face recognition. In the case of security systems, it is necessary to detect objects entering the monitoring area and track the movement of objects in order to automatically monitor the persons entering the monitoring area.
일반적인 객체추적 기술로는 통상적으로 특징점을 추출하고 다음 영상에서 이러한 특징점을 추적하는 방식으로 수행된다. Conventional object tracking techniques typically involve extracting feature points and tracking these feature points in the next image.
특징점의 추출은 영상의 강한 edge 성분이나 corner 성분이 되는데 이런 부분은 움직임이 있더라도 그 위치가 유지되고 또한 점수화가 가능하기 때문이다. 그리고 각 특징점들은 이런 성분의 특징 때문에 모두 특징점으로의 가치를 표현하는 점수화로 표현이 된다. Extraction of a feature point is a strong edge component or a corner component of the image because the position can be maintained and scored even if there is motion. And each feature point is expressed by scoring that expresses the value to the feature point because of the feature of these components.
자동으로 특징점을 찾는다고 하면 바로 이런 점수를 기준으로 높은 점수를 가지는 특징점을 선정하는 것이 가능하지만 수동으로 특징점을 선택한다면 이런 점수화와 무관하게 사용자에 의해 특징점이 선정이 될 수 있고, 사용자에 의해 지정된 특징점을 추적할 경우에는 오류 발생 가능성이 높아진다.If a feature point is automatically found, it is possible to select a feature point having a high score on the basis of such a score. However, if the feature point is manually selected, the feature point can be selected by the user irrespective of the scoring, When tracking minutiae points, there is a high possibility of errors.
입체변환에서는 이런 오류가 바로 시각적으로 반영이 되기 때문에 이런 오류를 최소화하여야 하는데 특히, 수작업의 경우는 보정이 가능하지만 자동의 경우는 이러한 것이 불가능하기 때문에 자동 입체변환의 경우에는 절대적으로 중요한 요소이다.In stereoscopic conversion, these errors are reflected visually, so it should be minimized. Especially, it is absolutely important in case of automatic stereoscopic conversion because it can be corrected by hand, but it is impossible in case of automatic.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 수동으로 사용자가 특징점을 지정할 경우에 사용자에 의해 지정된 특징점의 주변 화소 매트릭스를 고려하여 각 블록별 변화도 대표값을 구하고, 그 변화도 대표값을 근거로 사용자에 의해 지정된 특징점을 재설정하는 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법을 제공하는데 있다. SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a method and apparatus for determining a change degree representative value for each block by considering a neighboring pixel matrix of a feature point designated by a user, And a feature point setting device and method for re-setting feature points designated by a user based on the representative value of the change, and an object tracking device and method using the feature point setting device and method.
본 발명의 다른 목적은 입체 변환의 관점에서 객체의 외곽선에 대한 특징점 추적의 정확도를 높일 수 있는 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법을 제공하는데 있다.It is another object of the present invention to provide a feature point setting apparatus and method capable of increasing the accuracy of feature point tracking on the outline of an object from the viewpoint of stereoscopic conversion, and an object tracking apparatus and method using the feature point setting apparatus and method.
본 발명의 일 측면에 따르면, 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 특징점 정의부, 상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 블록 형성부, 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 변화도 대표값 계산부, 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 특징점 결정부를 포함하는 특징점 설정 장치가 제공된다. According to an aspect of the present invention, there is provided an image processing apparatus including a feature point defining unit for assigning and storing a feature point corresponding to an initial position of an object with respect to an input image from a user, a block having a predetermined size centered on the designated feature point, A variation degree representative value calculation unit for calculating a variation degree representative value by frequency-transforming each block defined in the movement range, And a minutiae point determining unit that redetermines the center point of the block having the largest variation degree representative value within the range of movement as the final minutiae.
상기 블록 형성부는 상기 영상에서 상기 지정된 특징점을 중심으로 주변 화소들을 포함하는 임의의 블록을 형성하고, 상기 형성된 블록이 전, 후, 좌, 우로 이동 가능한 이동 범위를 설정하여 상기 이동범위 내에서 가능한 블록들을 정의한다. Wherein the block forming unit forms an arbitrary block including surrounding pixels around the designated feature point in the image and sets a movable range in which the formed block is movable in front, .
상기 변화도 대표값 계산부는 상기 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구한다. The variation degree representative value calculation unit performs frequency conversion for each of the blocks, and calculates a representative value of a variation degree of each block by summing pixel values corresponding to the high frequency range in the frequency-converted block.
본 발명의 다른 측면에 따르면, 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 특징점 설정부, 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 영상 분석부, 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 객체 추적부를 포함하는 특징점을 이용한 객체 추적 장치가 제공된다. According to another aspect of the present invention, there is provided an image processing apparatus including a feature point setting unit for setting a feature point of an object by checking whether a feature point corresponding to an initial position of an object designated by a user is valid, Extracting forward motion vector information for each unit block from the extracted motion vector information, restoring pixel information for a certain block from the extracted residual signal, And an object tracking unit for generating optimal position information of an object in each frame from the forward motion vector information and the reconstructed pixel information.
상기 특징점 설정부는 상기 영상에서 사용자가 지정한 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의한 후, 상기 이동범위 내에서 정의된 각 블록을 주파수 변환하여 각 블록별로 변화도 대표값을 구하고, 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 설정한다. Wherein the feature point setting unit forms a block of a predetermined size around a feature point designated by the user in the image, defines blocks corresponding to the size of the formed block within a predetermined movement range, The block is frequency-converted to obtain the representative value of the change degree for each block, and the center point of the block having the largest representative value of variation degree is set as the final feature point.
본 발명의 또 다른 측면에 따르면, 특징점 설정 장치가 특징점을 설정하는 방법에 있어서, (a)입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 단계, (b)상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계, (c)상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 단계, (d)상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계를 포함하는 특징점 설정 방법이 제공된다. According to another aspect of the present invention, there is provided a method of setting a feature point by a feature point setting apparatus, the method comprising the steps of: (a) designating and storing a feature point corresponding to an initial position of an object from a user with respect to an input image; Defining a block having a predetermined size around the designated feature point and defining blocks corresponding to the size of the formed block within a predetermined movement range, (c) defining each block defined within the movement range as (D) determining a center point of a block having a largest variation degree representative value within the movement range as a final feature point.
상기 (b) 단계는, 상기 영상에서 상기 지정된 특징점을 중심으로 주변 화소들을 포함하는 임의의 블록을 형성하고, 상기 형성된 블록이 전, 후, 좌, 우로 이동 가능한 이동 범위를 설정하여 상기 이동범위 내에서 가능한 블록들을 정의한다. The step (b) includes: forming an arbitrary block including neighboring pixels around the designated feature point in the image; setting a movement range in which the formed block is movable forward, backward, leftward and rightward, Lt; / RTI >
상기 (c) 단계는, 상기 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구한다. In the step (c), frequency conversion is performed for each of the blocks, and pixel values corresponding to the high-frequency domain are summed in the frequency-converted block to obtain a representative value of the degree of change of each block.
본 발명의 또 다른 측면에 따르면, 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 단계, 상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계, 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 단계, 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계를 포함하는 특징점 설정 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다. According to still another aspect of the present invention, there is provided a method for processing an input image, the method comprising: specifying and storing a feature point corresponding to an initial position of an object from a user; forming a block of a predetermined size around the designated feature point in the image, Defining blocks corresponding to the size of the formed block within a moving range, frequency transforming each block defined within the moving range to obtain representative values of the variation degrees, And repositioning the center point of the largest block as a final feature point is provided as a recording medium on which a program is recorded and which is readable by an electronic apparatus.
본 발명의 또 다른 측면에 따르면, 객체 추적 장치가 특징점을 이용하여 객체를 추적하는 방법에 있어서, 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 단계, 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 단계, 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 단계를 포함하는 특징점을 이용한 객체 추적 방법이 제공된다. According to another aspect of the present invention, there is provided a method of tracking an object using a feature point, the method comprising: setting a feature point of the object by checking whether the feature point corresponding to an initial position of the object designated by the user is valid; Extracting motion vector information and residual signal information of each frame from the input image, generating forward motion vector information for each unit block from the extracted motion vector information, extracting forward motion vector information for each block from the extracted residual signal, And generating optimal position information of an object in each frame based on the position information of the set feature point, the forward motion vector information, and the reconstructed pixel information after the information is restored .
상기 객체의 특징점을 설정하는 단계는, 상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계, 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 단계, 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계를 포함한다. Wherein the step of setting the feature points of the object includes the steps of forming a block of a predetermined size centering on the designated feature point in the image and defining blocks corresponding to the size of the formed block within a predetermined movement range, Frequency transforming each of the blocks defined within the range to obtain representative values of the degree of change, and re-assigning the center point of the block having the largest variation degree representative value within the moving range to the final feature point.
본 발명의 또 다른 측면에 따르면, 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 단계, 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 단계, 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 단계를 포함하는 특징점을 이용한 객체 추적 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다. According to still another aspect of the present invention, there is provided a method for generating a motion vector, comprising: setting minutiae points of an object by checking whether a minutiae corresponding to an initial position of an object specified by a user is valid; extracting motion vector information and residual signal information Generating forward motion vector information for each unit block from the extracted motion vector information, restoring pixel information for a certain block from the extracted residual signal, and generating position information of the set feature point, forward motion Generating vector information and optimum position information of an object in each frame from the reconstructed pixel information, the object tracking method using a feature point, the program recording method, and the recording medium readable by an electronic apparatus.
본 발명에 따르면, 수동으로 사용자가 특징점을 지정할 경우에 사용자에 의해 지정된 특징점의 주변 화소 매트릭스를 고려하여 각 블록별 변화도 대표값을 구하고, 그 변화도 대표값을 근거로 사용자에 의해 지정된 특징점을 재설정할 수 있다. According to the present invention, when a user specifies a feature point manually, a change degree representative value for each block is calculated in consideration of a neighboring pixel matrix of a feature point designated by the user, and the change degree is calculated based on the representative value, You can reset it.
또한, 입체 변환의 관점에서 객체의 외곽선에 대한 특징점 추적의 정확도를 높일 수 있다. In addition, it is possible to improve the accuracy of feature point tracking on the outline of an object from the viewpoint of stereoscopic conversion.
도 1은 본 발명에 따른 특징점 설정 장치의 구성을 개략적으로 나타낸 블럭도.
도 2는 본 발명에 따른 블록을 형성하는 방법을 설명하기 위한 도면.
도 3은 본 발명에 따른 주파수 변환된 블록을 나타낸 도면. 도 4는 본 발명에 따른 특징점을 이용한 객체 추적 장치의 구성을 개략적으로 나타낸 블럭도.
도 5는 본 발명에 따른 특징점 설정 장치가 사용자에 의해 지정된 특징점을 재설정하는 방법을 나타낸 흐름도.
도 6은 본 발명에 따른 특징점을 재지정한 경우를 설명하기 위한 예시도.
도 7은 본 발명에 따른 객체 추적 장치가 특징점을 이용하여 객체를 추적하는 방법을 나타낸 흐름도.1 is a block diagram schematically showing the configuration of a feature point setting apparatus according to the present invention;
2 is a view for explaining a method of forming a block according to the present invention;
3 is a block diagram of a frequency transformed block according to the present invention. 4 is a block diagram schematically showing the configuration of an object tracking apparatus using feature points according to the present invention.
5 is a flow chart illustrating a method by which a feature point setting apparatus according to the present invention resets a feature point designated by a user.
6 is an exemplary diagram for explaining a case where a minutiae point according to the present invention is re-designated.
FIG. 7 is a flowchart illustrating a method of tracking an object using a feature point according to an embodiment of the present invention. FIG.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description with reference to the accompanying drawings, the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted.
도 1은 본 발명에 따른 특징점 설정 장치의 구성을 개략적으로 나타낸 블록도, 도 2는 본 발명에 따른 블록을 형성하는 방법을 설명하기 위한 도면, 도 3은 본 발명에 따른 주파수 변환된 블록을 나타낸 도면이다. FIG. 1 is a block diagram schematically showing the configuration of a feature point setting apparatus according to the present invention, FIG. 2 is a view for explaining a method of forming a block according to the present invention, and FIG. 3 is a block diagram of a frequency- FIG.
도 1을 참조하면, 특징점 설정 장치(100)는 특징점 정의부(110), 블록 형성부(120), 변화도 대표값 계산부(130), 특징점 결정부(140)를 포함한다. Referring to FIG. 1, the feature point setting apparatus 100 includes a feature point defining unit 110, a block forming unit 120, a change degree representative value calculating unit 130, and a feature point determining unit 140.
상기 특징점 정의부(110)는 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장한다. 즉, 상기 사용자는 입력 영상에서 객체의 초기 위치에 해당하는 특징점을 지정하고, 상기 특징점 정의부(110)는 상기 사용자에 의해 지정된 특징점을 저장한다. 여기서, 상기 특징점은 에지 또는 코너 등을 말한다. The feature point defining unit 110 designates and stores a feature point corresponding to an initial position of the object from the user with respect to the input image. That is, the user designates a feature point corresponding to the initial position of the object in the input image, and the feature point defining unit 110 stores the feature point designated by the user. Here, the feature point refers to an edge, a corner, or the like.
상기 블록 형성부(120)는 상기 특징점 정의부(110)에서 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의한다. The block forming unit 120 forms a block having a predetermined size centering on the feature point designated by the feature point defining unit 110 and defines blocks corresponding to the size of the formed block within a predetermined movement range.
즉, 상기 블록 형성부(120)는 상기 영상에서 상기 지정된 특징점을 중심으로 주변 화소들을 포함하는 임의의 블록을 형성하고, 상기 형성된 블록이 전, 후, 좌, 우로 이동 가능한 이동 범위를 설정한다. 여기서, 상기 블록의 이동 범위는 사전에 사용자에 의해 정의된 범위일 수 있다. 상기 이동범위의 설정에 의해 상기 이동범위 내에서 형성될 수 있는 블록들이 정의된다. That is, the block forming unit 120 forms an arbitrary block including surrounding pixels around the designated feature point in the image, and sets a moving range in which the formed block can move forward, backward, leftward, and rightward. Here, the moving range of the block may be a range previously defined by the user. By setting the movement range, blocks that can be formed within the movement range are defined.
상기 블록 형성부(120)가 블록을 형성하는 방법에 대해 도 2를 참조하면, 영상 내에서 특징점 (i,j)(200)가 주어지면, 상기 블록 형성부(120)는 특징점을 중심으로 임의의 블록 block(n)(210)을 형성한다. 상기 block(n)(210)은 특징점 n에 해당하는 주변 화소를 포함하는 임의의 block이다.Referring to FIG. 2, a method of forming a block by the block forming unit 120 is as follows. When a feature point (i, j) 200 is given in an image, the block forming unit 120 forms an arbitrary (N) < RTI ID = 0.0 > 210 < / RTI > The block (n) 210 is an arbitrary block including neighboring pixels corresponding to the feature point n.
상기 block(n)(210)의 특징점 좌표(i,j)(200)는 사용자가 정의한 좌표로, 이것은 사전에 정의된 움직일 수 있는 크기인 d(x), d(y)만큼 전,후, 좌, 우로 이동이 가능하다. 따라서, 최좌상단 블록(220) 및 최우하단 블록(230)은 상기 block(n)(210)이 전후좌우로 이동 가능한 이동범위를 말한다. 결과적으로 block(n)은 (2*dx + 2*dy)만큼 움직일 수 있는 공간상의 좌표 즉, 블록의 이동범위가 정해지고, 상기 이동범위 내에는 총 (2*dx + 2*dy)개의 block(n)이 정의될 수 있다.The minutiae coordinate (i, j) 200 of the block (n) 210 is a user-defined coordinate, which is a predefined movable size of d (x), d (y) It is possible to move left and right. Accordingly, the upper left upper block 220 and the upper right
상기 변화도 대표값 계산부(130)는 상기 블록 형성부(120)에서 설정된 이동범위에서 정의된 모든 블록을 각각 주파수 변환하여 각 블록의 변화도 대표값을 각각 구한다. 상기 이동범위에 (2*dx + 2*dy)개의 블록이 정의된다면, 상기 변화도 대표값 계산부(130)는 (2*dx + 2*dy)개의 블록 각각을 주파수 변환하고 변화도 대표값을 각각 구한다. The variation degree representative value calculation unit 130 performs frequency conversion on all the blocks defined in the movement range set by the block formation unit 120 to obtain representative values of the degree of change of each block. If (2 * dx + 2 * dy) blocks are defined in the movement range, the variation degree representative value calculation unit 130 frequency-converts each of the (2 * dx + 2 * dy) Respectively.
즉, 상기 변화도 대표값 계산부(130)는 상기 각 블록에 대해 주파수 변환을 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구한다. That is, the variation degree representative value calculation unit 130 performs frequency conversion on each of the blocks, and obtains a representative value of a variation degree of each block by summing pixel values corresponding to the high frequency region in the frequency-converted block.
사용자가 지정한 (i,j)좌표의 특징점을 기준으로 움직일 수 있는 공간상에서 특징점의 가치를 부여하는 점수, 즉 특징점의 신뢰성은 해당 block(n)의 주파수 특성을 표현하는 FFT 또는 DFT 변환을 이용한다. The score that gives the value of the feature point in the space that can be moved based on the feature point of the (i, j) coordinate specified by the user, that is, the reliability of the feature point, uses an FFT or DFT transformation expressing the frequency characteristic of the block (n).
즉 공간상에서의 2차원 FFT(Fast Fourier Transform) 또는 DFT(Discrete Fourier Transform)는 해당 block(n)의 영상 화소의 특징에 따라서 밋밋한 단순한 영상의 경우는 도 3과 같이 왼쪽 상단의 저주파 영역에 해당하는 값들이 커지고, 변화도가 큰 경우(즉, 화소간의 변화가 큰 경우)는 오른쪽 하단의 고주파 영역에 해당하는 값들이 커진다.That is, a two-dimensional Fast Fourier Transform (FFT) or a Discrete Fourier Transform (DFT) in the spatial domain corresponds to a low-frequency region in the upper left as shown in FIG. 3 in the case of a plain image according to characteristics of image pixels of the corresponding block (n) When the values are large and the degree of change is large (that is, when the change between the pixels is large), the values corresponding to the high-frequency region in the lower right are large.
주파수 영역으로 변환된 FFT 또는 DFT표에서 변화도의 강도를 표현할 수 있는 고주파 영역의 값을 이용하면 결과적으로 영상의 변화도와 비례하는 대표값을 얻을 수 있으므로, 고주파 영역에 해당하는 화소 값들의 총합을 해당 block(n)의 변화도 대표값으로 구한다. Frequency domain which can express the intensity of the degree of change in the FFT or DFT table converted to the frequency domain can obtain a representative value proportional to the change of the image as a result. Therefore, the sum of the pixel values corresponding to the high- The change of the corresponding block (n) is also obtained as a representative value.
즉, 상기 변화도 대표값 계산부(130)는 임의 block(n)이 공간상으로 움직일 수 있는 2*dx + 2*dy 공간 즉, 이동범위 내에 정의된 각각의 블록에 대해서 변화도 대표값을 각각 구한다.That is, the change degree representative value calculation unit 130 calculates a change degree representative value for each block defined in the movement range, that is, 2 * dx + 2 * dy space in which an arbitrary block (n) Respectively.
상기 특징점 결정부(140)는 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정한다. The minutia determining unit 140 redetermines the center point of the block having the largest variation degree representative value within the moving range as the final minutiae.
영상간의 특징점 추적을 위한 중요한 요소는 특징점의 주변이 얼마나 다른 부분들과 차별화되어 있느냐에 큰 영향을 받는다. 즉 특징점으로 선정된 주변이 단순하게 밋밋한 영상이거나 변화가 크지 않다면(즉 변화도가 크지 않으면), 통상적으로 다음 영상에서 추적하여 구별하기가 쉽지 않고, 차별화가 가능한 특징이 있으면(즉, 화소간의 변화가 크다면) 다음 영상에서 이러한 변화된 부분과의 비교가 쉽다. 즉 변화도가 큰 부분은 그만큼 추적이 용이하고 추적 오류도 작아진다. 이러한 근거를 이유로 사용자의 의도에 따라서 특정 부분을 특징점으로 선정을 하였다면, 상기 특징점 설정 장치(100)는 이 특징점을 사전에 설정된 이동 범위 내에서 좀더 추적이 용이한 특징점으로 재선정할 수 있다. An important factor for tracking feature points between images is largely influenced by how distinctive the feature points are from the other parts. That is, if the periphery selected as the minutiae is a plain image or is not large in change (that is, the degree of change is not large), it is not easy to track and distinguish from the next image, It is easy to compare with these changed parts in the next image. In other words, the part where the degree of change is large is easily tracked and the tracking error becomes small. If a specific part is selected as a feature point according to the intention of the user on the basis of this reason, the feature point setting apparatus 100 can re-select the feature point as a feature point that can be more easily tracked within a predetermined movement range.
도 4는 본 발명에 따른 특징점을 이용한 객체 추적 장치의 구성을 개략적으로 나타낸 블록도이다. 4 is a block diagram schematically illustrating the configuration of an object tracking apparatus using feature points according to the present invention.
도 4를 참조하면, 특징점을 이용한 객체 추적 장치(400)는 특징점 설정부(410), 영상 분석부(420), 객체 추적부(430)를 포함한다. Referring to FIG. 4, an
상기 특징점 설정부(410)는 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정한다. The minutiae
즉, 상기 특징점 설정부(410)는 영상에서 사용자가 지정한 특징점을 중심으로 임의의 블록을 형성하고, 상기 형성된 블록의 이동범위를 설정한 후, 상기 블록의 이동범위 내에서 각 블록을 주파수 변환하여 각 블록별로 변화도 대표값을 구한다. 그런 다음 상기 특징점 설정부(410)는 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 설정한다. 상기 특징점 설정부(410)가 특징점을 설정하는 방법에 대한 설명은 도 1에서 특징점 설정 장치의 동작과 같으므로 그 상세한 설명은 생략하기로 한다.That is, the minutia point setting
상기 영상 분석부(420)는 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출한다. The
상기 객체 추적부(430)는 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호(Residual Signal)로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 특징점 설정부(410)에서 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성한다. The
본 발명의 다른 실시예에 따르면, 상기 객체 추적부(430)는 현재 프레임과 이전프레임 간의 화소값 차이를 이용하여 현재 프레임의 객체 특징점 후보를 결정하고, 상기 특징점 설정부(410)에서 설정된 특징점을 포함하는 소정의 템플릿과 유사한 템플릿을 현재 프레임의 상기 객체 특징점 후보를 둘러싼 소정의 영역에서 검색하여 현재 프레임의 객체 특징점을 결정한다. According to another embodiment of the present invention, the
즉, 상기 객체 추적부(430)는 이전 프레임과 현재 프레임간의 화소값 차이를 이용하여 상기 특징점 설정부(410)에서 설정된 객체 특징점에 따른 광류(optical flow)를 계산하고, 상기 계산된 광류를 이용하여 상기 현재 프레임에서 객체 특징점 후보를 결정한다. 그런 다음 상기 객체 추적부(430)는 템플릿 정합(template matching)을 이용하여 상기 특징점 설정부(410)에서 설정된 객체 특징점을 포함하는 템플릿과 유사한 템플릿을 현재 프레임의 상기 결정된 객체 특징점 후보를 둘러싼 소정의 영역에서 검색한다. That is, the
상기에서는 객체 추적부(430)가 특징점을 이용하여 객체를 추적하는 방법에 대해 두 가지로 나누어 설명하였으나, 이는 기존의 다양한 방법을 이용할 수 있다. In the above description, the
도 5는 본 발명에 따른 특징점 설정 장치가 사용자에 의해 지정된 특징점을 재설정하는 방법을 나타낸 흐름도, 도 6은 본 발명에 따른 특징점을 재지정한 경우를 설명하기 위한 예시도이다. FIG. 5 is a flowchart illustrating a method of resetting a feature point designated by a user by the feature point setting apparatus according to the present invention, and FIG. 6 is an exemplary diagram illustrating a case where a feature point according to the present invention is re-designated.
도 5를 참조하면, 특징점 설정 장치는 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장한다(S502).Referring to FIG. 5, the minutia point setting device assigns minutiae corresponding to the initial position of the object to the input image from the user and stores the minutiae (S502).
상기 S502의 수행 후, 상기 특징점 설정 장치는 상기 영상에서 상기 지정된 특징점을 중심으로 임의의 블록을 형성하고(S504), 상기 형성된 블록의 이동범위를 설정한다(S506). 상기 특징점 설정 장치가 이동범위를 설정한다는 것은 상기 형성된 블록이 상기 이동범위내를 이동하여 다수개의 블록이 정의됨을 의미한다. 예를 들어, 이동범위가 (2*dx + 2*dy)로 정의된 경우, 상기 이동범위에는 (2*dx + 2*dy)개의 블록이 정의될 수 있다. After performing step S502, the minutia point setting device forms an arbitrary block around the designated minutiae in the image (S504), and sets a moving range of the formed block (S506). The minutia point setting device sets the moving range means that the formed block moves within the moving range to define a plurality of blocks. For example, if the movement range is defined as (2 * dx + 2 * dy), (2 * dx + 2 * dy) blocks may be defined in the movement range.
상기 S506의 수행 후, 상기 특징점 설정 장치는 상기 이동범위내에 정의된 각 블록을 주파수 변환하여 각 블록의 변화도 대표값을 각각 구한다(S508). 즉, 상기 특징점 설정 장치는 각 블록을 주파수 변환하고, 상기 주파수 변환된 영상에서 고주파 영역의 값들을 합하여 블록별 변화도 대표값을 구한다. After performing step S506, the minutia point setting device frequency-converts each block defined within the movement range to obtain a representative value of the degree of change of each block (S508). That is, the minutia point setting device frequency-converts each block, and adds the values of the high-frequency domain in the frequency-converted image to obtain a representative value of the block-by-block variation.
상기 S508의 수행 후, 상기 특징점 설정 장치는 상기 이동범위내에 정의된 블록들 중에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정한다(S510).After performing step S508, the minutia point setting device redefines the center point of the block having the largest change degree representative value among the blocks defined within the movement range as a final minutia point (S510).
상기 특징점 설정 장치가 사용자에 의해 설정된 특징점을 재설정하는 방법에 대해 도 6을 참조하여 설명하기로 한다.A method for the minutia point setting apparatus to reset minutiae points set by the user will be described with reference to Fig.
도 6을 참조하면, a와 같이 사용자가 수작업으로 외곽선 및 특징점을 선정한 경우, 추적의 정확도를 높이기 위해 특징점 설정 장치가 b와 같이 주변을 탐색하여 보다 좋은 점수를 가지는 특징점을 재지정한 예이다. Referring to FIG. 6, when a user manually selects an outline and a minutia point as shown in FIG. 6A, the minutiae point setting device searches for the vicinity of the minutiae and re-designates the minutiae having a better score in order to increase the accuracy of the trace.
이와 같이 재지정된 특징점을 이용하여 객체를 추적한다면, 연속적인 객체 추적의 오류를 최소화할 수 있다.If the object is tracked using such redesigned feature points, the error of continuous object tracking can be minimized.
물론 재지정된 특징점이 사용자의 의도와 다른 위치라고 판단되면 해당 특징점은 원래의 지정된 위치를 사용하도록 하는 설정도 가능하다. 그러나 통상적으로 FULL HD 또는 HD 영상의 경우 해상도가 1920x1080 또는 1280x720 이기 때문에 주변의 3x3, 5x5 화소 근방의 특징점 재지정은 사실상 사용자의 입장에서도 구별하기 어렵기 때문에 현실적으로도 타당성이 있다.Of course, if it is determined that the redesigned feature point is different from the user's intention, it is also possible to set the feature point to use the original designated position. However, since FULL HD or HD video usually has a resolution of 1920x1080 or 1280x720, it is feasible in reality that the feature point redirection in the vicinity of 3x3 and 5x5 pixels is virtually indistinguishable from the viewpoint of the user.
도 7은 본 발명에 따른 객체 추적 장치가 특징점을 이용하여 객체를 추적하는 방법을 나타낸 흐름도이다. 7 is a flowchart illustrating a method of tracking an object using a minutiae according to an embodiment of the present invention.
도 7을 참조하면, 객체 추적 장치는 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정한다(S702). 즉, 상기 객체 추적 장치는 영상에서 사용자가 지정한 특징점을 중심으로 임의의 블록을 형성하고, 상기 형성된 블록의 이동범위를 설정한 후, 상기 이동범위 내에서 정의된 각 블록을 주파수 변환하여 각 블록별로 변화도 대표값을 구한다. 그런 다음 상기 객체 추적 장치는 상기 이동범위내 에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 설정한다. Referring to FIG. 7, the object tracking apparatus checks the validity of the minutiae corresponding to the initial position of the object designated by the user and sets the minutiae point of the object (S702). That is, the object tracking apparatus forms an arbitrary block around a feature point designated by a user in an image, sets a movement range of the formed block, frequency-converts each block defined within the movement range, The change value representative value is obtained. Then, the object tracking device sets the center point of the block having the largest change degree representative value within the movement range as the final feature point.
상기 S702의 수행 후, 상기 객체 추적 장치는 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출한다(S704).After performing step S702, the object tracking apparatus extracts motion vector information and residual signal information of each frame from the input image (S704).
상기 S704의 수행 후, 상기 객체 추적 장치는 상기 설정된 특징점의 위치정보, 상기 움직임 벡터 정보 및 잔차 신호 정보를 이용하여 각 프레임에서의 객체의 최적 위치정보를 생성한다(S706). 즉, 상기 객체 추적 장치는 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성한다.After performing step S704, the object tracking apparatus generates optimal position information of an object in each frame using the position information of the set feature point, the motion vector information, and residual signal information (S706). That is, the object tracking apparatus generates forward motion vector information for each unit block from the extracted motion vector information, restores pixel information for a certain block from the extracted residual signal, , The forward motion vector information, and the reconstructed pixel information to generate optimal position information of an object in each frame.
다시 말하면, 상기 객체 추적 장치는 이전 프레임의 특징점 초기위치정보 및 순방향 움직임 벡터정보로부터 다음 프레임에서 각 특징점이 이동한 위치좌표를 예측한다. 이때, 상기 객체 추적 장치는 보다 정확한 특징점의 위치좌표를 찾기 위해 예측된 특징점의 위치좌표로부터 적어도 하나 이상의 후보위치좌표를 추출한다. 즉, 객체 추적 장치는 예측된 특징점의 위치좌표를 중심으로 일정 범위 내에서 후보위치좌표를 선택하여 추출한다. 그런 다음 상기 객체 추적 장치는 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정한다.In other words, the object tracking apparatus predicts the position coordinates of each feature point moved in the next frame from the feature point initial position information and the forward motion vector information of the previous frame. At this time, the object tracking apparatus extracts at least one or more candidate position coordinates from the position coordinates of the predicted feature points to find the position coordinates of the more accurate feature points. That is, the object tracking apparatus selects and extracts candidate position coordinates within a certain range centering on the position coordinates of the predicted feature points. Then, the object tracking device measures texture similarity energy, shape similarity energy, and motion similarity energy of each feature point candidate position coordinate, respectively.
한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.Meanwhile, the present invention can be implemented by a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
본 발명은 수동으로 사용자가 특징점을 지정할 경우에 사용자에 의해 지정된 특징점의 주변 화소 매트릭스를 고려하여 각 블록별 변화도 대표값을 구하고, 그 변화도 대표값을 근거로 사용자에 의해 지정된 특징점을 재설정할 수 있는 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법에 적용될 수 있다.In the present invention, when a user manually specifies a minutia point, the representative pixel value of each block is calculated in consideration of the surrounding pixel matrix of the minutia point designated by the user, and the minutiae point designated by the user is reset based on the representative value And can be applied to an object tracking apparatus and method using the same.
100 : 특징점 설정 장치 110 : 특징점 정의부
120 : 블록 형성부 130 : 변화도 대표값 계산부
140 : 특징점 결정부 400 : 객체 추적 장치
410 : 특징점 설정부 420 : 영상 분석부
430 : 객체 추적부100: minutia point setting device 110:
120: Block forming unit 130: Change degree representative value calculating unit
140: minutia point determination unit 400: object tracking device
410: minutia point setting section 420: image analyzing section
430: Object tracking unit
Claims (12)
상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 블록 형성부;
상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 변화도 대표값 계산부; 및
상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 특징점 결정부;
를 포함하되,
상기 변화도 대표값 계산부는 상기 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구하는 것을 특징으로 하는 특징점 설정 장치.
A feature point defining unit for specifying and storing a feature point corresponding to an initial position of an object from a user with respect to an input image;
A block forming unit forming a block of a predetermined size centering on the designated feature point in the image and defining blocks corresponding to the size of the formed block within a predetermined movement range;
A variation degree representative value calculation unit for frequency-transforming each block defined within the movement range to obtain a variation degree representative value; And
A minutia point determining unit for re-determining the center point of the block having the largest variation degree representative value within the moving range as a final minutia;
, ≪ / RTI &
Wherein the variation degree representative value calculation unit performs frequency conversion for each of the blocks and calculates a representative value of a variation degree of each block by summing pixel values corresponding to a high frequency range in the frequency- .
상기 블록 형성부는 상기 영상에서 상기 지정된 특징점을 중심으로 주변 화소들을 포함하는 임의의 블록을 형성하고, 상기 형성된 블록이 전, 후, 좌, 우로 이동 가능한 이동 범위를 설정하여 상기 이동범위 내에서 가능한 블록들을 정의하는 것을 특징으로 하는 특징점 설정 장치.
The method according to claim 1,
Wherein the block forming unit forms an arbitrary block including surrounding pixels around the designated feature point in the image and sets a movable range in which the formed block is movable in front, Wherein the feature point setting unit defines the feature point setting unit.
입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 영상 분석부; 및
상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 객체 추적부;
를 포함하되,
상기 특징점 설정부는 상기 영상에서 사용자가 지정한 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의한 후, 상기 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구하는 특징점을 이용한 객체 추적 장치.
A minutia point setting unit for setting minutiae points of the object by checking whether the minutiae corresponding to the initial position of the object specified by the user is valid;
An image analyzer for extracting motion vector information and residual signal information of each frame from an input image; And
Generates forward motion vector information for each unit block from the extracted motion vector information, restores pixel information for a certain block from the extracted residual signal, and outputs position information, forward motion vector information, An object tracking unit for generating optimal position information of an object in each frame from the restored pixel information;
, ≪ / RTI &
The feature point setting unit may form a block of a predetermined size centered on a feature point designated by the user in the image, define blocks corresponding to the size of the formed block within a predetermined movement range, And obtaining a representative value of the degree of change of each block by summing pixel values corresponding to the high-frequency domain in the frequency-converted block.
상기 특징점 설정부는 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 설정하는 것을 특징으로 하는 특징점을 이용한 객체 추적 장치.
5. The method of claim 4,
Wherein the feature point setting unit sets a center point of a block having a largest change degree representative value as a final feature point.
(a)입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 단계;
(b)상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계;
(c)상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 단계; 및
(d)상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계;
를 포함하되,
상기 (c) 단계는,
상기 이동범위 내에서 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구하는 것을 특징으로 하는 특징점 설정 방법.
A method for setting a feature point by a feature point setting apparatus,
(a) designating and storing a feature point corresponding to an initial position of an object from a user with respect to an input image;
(b) forming a block of a predetermined size around the designated feature point in the image, and defining blocks corresponding to the size of the formed block within a predetermined movement range;
(c) frequency transforming each block defined within the movement range to obtain representative values of the degree of variation; And
(d) reassigning the center point of the block having the largest variation degree representative value as the final feature point within the movement range;
, ≪ / RTI &
The step (c)
Performing frequency conversion on each block within the moving range, and summing pixel values corresponding to the high-frequency domain in the frequency-converted block to obtain a representative value of a variation degree of each block.
상기 (b) 단계는,
상기 영상에서 상기 지정된 특징점을 중심으로 주변 화소들을 포함하는 임의의 블록을 형성하고, 상기 형성된 블록이 전, 후, 좌, 우로 이동 가능한 이동 범위를 설정하여 상기 이동범위 내에서 가능한 블록들을 정의하는 것을 특징으로 하는 특징점 설정 방법.The method according to claim 6,
The step (b)
Forming an arbitrary block including neighboring pixels around the designated feature point in the image, and defining a possible range within the movement range by setting a movement range in which the formed block can move forward, backward, leftward, and rightward Feature point setting method.
상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계;
상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 단계; 및
상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계를 포함하되,
대표값을 각각 구하는 단계는 상기 이동 범위 내에서 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구하는 것을 특징으로 하는 특징점 설정 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.
Designating and storing a feature point corresponding to an initial position of an object from a user with respect to an input image;
Forming a block of a predetermined size around the designated feature point in the image and defining blocks corresponding to the size of the formed block within a predetermined movement range;
Frequency transforming each block defined within the movement range to obtain a representative value of a variation degree; And
And redetermining a center point of a block having a largest variation degree representative value as a final feature point within the movement range,
The representative values are obtained by performing frequency conversion on each block within the moving range and summing the pixel values corresponding to the high frequency domain in the frequency transformed block to obtain a representative value of the variation degree of each block. Wherein the feature point setting method is recorded in a program and readable in an electronic device.
사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 단계;
입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 단계; 및
상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 단계;
를 포함하되,
상기 객체의 특징점을 설정하는 단계는,
상기 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계;
상기 이동 범위내에서 정의된 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 각각 구하는 단계;를 포함하는 것을 특징으로 하는 특징점을 이용한 객체 추적 방법.
A method for an object tracking device to track an object using feature points,
Setting minutiae points of the object by checking whether the minutiae corresponding to the initial position of the object specified by the user is valid;
Extracting motion vector information and residual signal information of each frame from an input image; And
Generates forward motion vector information for each unit block from the extracted motion vector information, restores pixel information for a certain block from the extracted residual signal, and outputs position information, forward motion vector information, Generating optimal position information of an object in each frame from the restored pixel information;
, ≪ / RTI &
Wherein the setting of the minutiae points of the object comprises:
Forming a block of a predetermined size around the designated feature point in the image and defining blocks corresponding to the size of the formed block within a predetermined movement range;
Performing frequency conversion on each block defined within the movement range and summing pixel values corresponding to the high frequency domain in the frequency transformed block to obtain representative values of degree of change of each block; Object tracking method using feature points.
상기 객체의 특징점을 설정하는 단계는,
상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계를 포함하는 것을 특징으로 하는 특징점을 이용한 객체 추적 방법.
11. The method of claim 10,
Wherein the setting of the minutiae points of the object comprises:
And redirecting the center point of the block having the largest variation degree representative value as the final feature point within the movement range.
입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 단계; 및
상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 단계를 포함하되,
상기 객체의 특징점을 설정하는 단계는 상기 영상에서 사용자가 지정한 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의한 후, 상기 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구하는 특징점을 이용한 객체 추적 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.
Setting minutiae points of the object by checking whether the minutiae corresponding to the initial position of the object specified by the user is valid;
Extracting motion vector information and residual signal information of each frame from an input image; And
Generates forward motion vector information for each unit block from the extracted motion vector information, restores pixel information for a certain block from the extracted residual signal, and outputs position information, forward motion vector information, And generating optimal position information of an object in each frame from the restored pixel information,
The step of setting the feature points of the object may include forming a block having a predetermined size centered on the feature point designated by the user in the image, defining blocks corresponding to the size of the formed block within a predetermined movement range, And an object tracking method using a feature point for obtaining a representative value of a change degree of each block by summing pixel values corresponding to a high frequency region in the frequency transformed block, media.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110123372A KR101700276B1 (en) | 2011-11-24 | 2011-11-24 | Apparatus and Method for setting feature point, tracking object apparatus and method usig that |
| PCT/KR2012/008896 WO2013077562A1 (en) | 2011-11-24 | 2012-10-26 | Apparatus and method for setting feature points, and apparatus and method for object tracking using same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110123372A KR101700276B1 (en) | 2011-11-24 | 2011-11-24 | Apparatus and Method for setting feature point, tracking object apparatus and method usig that |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130057584A KR20130057584A (en) | 2013-06-03 |
| KR101700276B1 true KR101700276B1 (en) | 2017-01-31 |
Family
ID=48857130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110123372A KR101700276B1 (en) | 2011-11-24 | 2011-11-24 | Apparatus and Method for setting feature point, tracking object apparatus and method usig that |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101700276B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101700651B1 (en) | 2016-07-26 | 2017-01-31 | 주식회사 미래엔에스 | Apparatus for tracking object using common route date based on position information |
| KR101879580B1 (en) * | 2016-10-13 | 2018-07-19 | (주)넥스트칩 | Method and apparatus for calcurating vector of direction of feature point |
| CN108073857B (en) | 2016-11-14 | 2024-02-27 | 北京三星通信技术研究有限公司 | Dynamic visual sensor DVS event processing method and device |
| WO2019039799A1 (en) * | 2017-08-20 | 2019-02-28 | 네이버 주식회사 | Processing of visual input |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000152077A (en) | 1998-11-12 | 2000-05-30 | Nippon Hoso Kyokai <Nhk> | Electronic image correction device |
| JP2006350618A (en) * | 2005-06-15 | 2006-12-28 | Kddi Corp | Moving image processor |
| KR101296318B1 (en) | 2012-06-22 | 2013-08-14 | (주) 넥스트칩 | Apparatus and method for object tracking by adaptive block partitioning |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080073933A (en) | 2007-02-07 | 2008-08-12 | 삼성전자주식회사 | Object tracking method and apparatus, and object pose information calculating method and apparatus |
-
2011
- 2011-11-24 KR KR1020110123372A patent/KR101700276B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000152077A (en) | 1998-11-12 | 2000-05-30 | Nippon Hoso Kyokai <Nhk> | Electronic image correction device |
| JP2006350618A (en) * | 2005-06-15 | 2006-12-28 | Kddi Corp | Moving image processor |
| KR101296318B1 (en) | 2012-06-22 | 2013-08-14 | (주) 넥스트칩 | Apparatus and method for object tracking by adaptive block partitioning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130057584A (en) | 2013-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2915138B1 (en) | Systems and methods of merging multiple maps for computer vision based tracking | |
| US9524562B2 (en) | Object tracking method and device | |
| Chen et al. | Building book inventories using smartphones | |
| JP6405778B2 (en) | Object tracking method and object tracking apparatus | |
| US8660302B2 (en) | Apparatus and method for tracking target | |
| US10600190B2 (en) | Object detection and tracking method and system for a video | |
| KR101700276B1 (en) | Apparatus and Method for setting feature point, tracking object apparatus and method usig that | |
| KR20120044484A (en) | Apparatus and method for tracking object in image processing system | |
| JP5262705B2 (en) | Motion estimation apparatus and program | |
| JP2014134856A (en) | Subject identification device, subject identification method, and subject identification program | |
| US20180158203A1 (en) | Object detection device and object detection method | |
| JP2010257267A (en) | Device, method and program for detecting object area | |
| Eum et al. | Ship detection using edge-based segmentation and histogram of oriented gradient with ship size ratio | |
| KR100902738B1 (en) | Apparatus and Method of Tracking Object in Bitstream | |
| JP4559375B2 (en) | Object position tracking method, apparatus, and program | |
| KR101313879B1 (en) | Detecting and Tracing System of Human Using Gradient Histogram and Method of The Same | |
| JP6393495B2 (en) | Image processing apparatus and object recognition method | |
| JP5217917B2 (en) | Object detection and tracking device, object detection and tracking method, and object detection and tracking program | |
| US9183448B2 (en) | Approaching-object detector, approaching object detecting method, and recording medium storing its program | |
| Shal’nov et al. | Estimation of the people position in the world coordinate system for video surveillance | |
| KR101935969B1 (en) | Method and apparatus for detection of failure of object tracking and retracking based on histogram | |
| JP5643147B2 (en) | Motion vector detection apparatus, motion vector detection method, and motion vector detection program | |
| JP4298621B2 (en) | Object detection apparatus, object detection method, and object detection program | |
| Zhang et al. | Automatic target tracking for unmanned aerial vehicle video annotation | |
| US20230377188A1 (en) | Group specification apparatus, group specification method, and computer-readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200116 Year of fee payment: 4 |