KR20170086165A

KR20170086165A - Method and Apparatus for Detecting Motion of Feature Point in Image

Info

Publication number: KR20170086165A
Application number: KR1020160005453A
Authority: KR
Inventors: 김준모; 정희철
Original assignee: 에스케이텔레콤 주식회사; 한국과학기술원
Priority date: 2016-01-15
Filing date: 2016-01-15
Publication date: 2017-07-26

Abstract

영상 내 특징점의 움직임 검출 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 영상 내 추출된 특징점의 움직임을 검출하는 장치에 있어서, 상기 특징점의 움직임 벡터(Motion Vector)의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하는 지속성 판단모듈과 상기 특징점의 움직임 벡터의 방향과 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인지 여부를 판단하는 유사성 판단모듈 및 상기 지속성 판단모듈 및 유사성 판단모듈이 판단한 결과를 토대로 상기 특징점이 주요 움직임을 갖는 특징점인지 여부를 판단하는 특징점 판단모듈을 포함하는 것을 특징으로 하는 움직임 검출장치를 제공한다.An apparatus and method for motion detection of feature points in an image are disclosed.
According to an aspect of the present invention, there is provided an apparatus for detecting motion of feature points extracted in an image, the apparatus comprising: a persistence determination module that determines whether a change amount of a direction of a motion vector of a feature point per unit time is less than a preset angle; A similarity determination module that determines whether a difference between a direction of a motion vector of a feature point and a direction of a motion vector of each of the other feature points existing within a predetermined distance from the feature point is less than a preset angle; And a feature point determination module for determining whether the feature point is a feature point having a major motion based on the determination result.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0002]

본 실시예는 영상 내에서 검출되는 특징점의 움직임을 검출하는 방법 및 장치에 관한 것이다.This embodiment relates to a method and apparatus for detecting motion of a feature point detected in an image.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

근래에 들어 영상 내 배경에 대한 픽셀을 분석하는 데 있어서 다양한 방법이 사용되고 있다. 영상 내 배경에 대한 픽셀을 분석하는 방법 중 대표적인 방법이 통계적(Statistical) 접근방법이다. In recent years, various methods have been used to analyze pixels for background in an image. A statistical approach is one of the typical methods for analyzing pixels in an image background.

통계적(Statistical) 접근방법은 픽셀들의 확률 밀도 함수를 학습 데이터를 이용해 구하고, 이 분포에서 단순 문턱 값(Thresholding)을 이용하여 배경과 전경으로 분리한다. 통계적(Statistical) 접근방법의 대표적인 방법인 AKDE(Adaptive Kernel Density Estimation) 방법은 비디오의 각 프레임의 모든 픽셀들에 동일한 문턱 값을 적용시키는 것이 아닌, 학습을 통해 각각의 픽셀에 대한 문턱 값을 찾아낸다. 각 픽셀들마다 다른 문턱 값을 적용시켜 전경(Foreground)을 찾아내고 인접 픽셀들의 색 정보에 관한 종속성을 찾아내어 영상 내 배경을 분류하는 방법이다. RM(Recursive Modeling) 방법은 기존의 AKDE에서 수많은 학습데이터가 필요한 단점을 배제시키기 위해 배경의 픽셀에 대한 통계적 모델을 온라인으로 업데이트시키는 방법이다. RM 방법은 기존의 다른 방법에 비해 더 높은 성능을 보이며, 배경의 변화가 느리며 주기적이지 않을 경우에 더욱 효과적인 특성이 있다.The statistical approach is to obtain the probability density function of pixels using learning data and to separate the background and foreground using simple thresholding (Thresholding). The Adaptive Kernel Density Estimation (AKDE) method, which is a representative method of the statistical approach, finds a threshold value for each pixel through learning rather than applying the same threshold value to all the pixels of each frame of the video . It is a method to find a foreground by applying different threshold value to each pixel and to find a dependency on color information of neighboring pixels and to classify the background in an image. The Recursive Modeling (RM) method is a way to update statistical models of background pixels online, in order to eliminate the drawbacks of requiring a lot of learning data in existing AKDE. The RM method has higher performance than the other methods, has a slower change of background, and is more effective when it is not periodic.

그러나 전술한 방법들은 배경이 흔들리는 경우 또는 날씨가 좋지 않은 경우 좋은 성능을 보이지 못하는 단점이 있다. 예를 들어, 비 또는 눈이 오는 날씨에 영상을 촬영한 경우, 영상 내에 빗방울이나 눈이 포함될 수 있다. 이와 같이 비 또는 눈이 오는 날씨에서 촬영한 영상에 전술한 방법을 적용하는 경우, 영상 내에 포함된 빗방울이나 눈은 배경으로 분류되지 않아 주요 움직임(Salient Motion)으로 검출될 수 있는 우려가 존재한다.However, the above methods have disadvantages in that they do not perform well when the background is shaken or the weather is bad. For example, if an image is taken in rain or snow, the image may contain raindrops or snow. When the above-described method is applied to an image photographed in rain or snow, there is a concern that raindrops or eyes included in the image are not classified as a background and can be detected as a salient motion.

본 실시예는, 영상 내에서 추출된 특징점들의 움직임을 분석하여, 주요 움직임을 갖는 특징점을 검출하는 방법 및 장치를 제공하는 데 일 목적이 있다.It is an object of the present invention to provide a method and apparatus for analyzing a motion of minutiae extracted in an image and detecting minutiae having a major motion.

본 실시예의 일 측면에 의하면, 영상 내 추출된 특징점의 움직임을 검출하는 장치에 있어서, 상기 특징점의 움직임 벡터(Motion Vector)의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하는 지속성 판단모듈과 상기 특징점의 움직임 벡터의 방향과 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인지 여부를 판단하는 유사성 판단모듈 및 상기 지속성 판단모듈 및 유사성 판단모듈이 판단한 결과를 토대로 상기 특징점이 주요 움직임을 갖는 특징점인지 여부를 판단하는 특징점 판단모듈을 포함하는 것을 특징으로 하는 움직임 검출장치를 제공한다.According to an aspect of the present invention, there is provided an apparatus for detecting motion of feature points extracted in an image, the apparatus comprising: a persistence determination module that determines whether a change amount of a direction of a motion vector of a feature point per unit time is less than a preset angle; A similarity determination module that determines whether a difference between a direction of a motion vector of a feature point and a direction of a motion vector of each of the other feature points existing within a predetermined distance from the feature point is less than a preset angle; And a feature point determination module for determining whether the feature point is a feature point having a major motion based on the determination result.

또한, 본 실시예의 다른 측면에 의하면, 영상 내 추출된 특징점의 움직임을 검출하는 방법에 있어서, 영상 내에서 특징점을 추출하는 과정과 추출한 특징점의 움직임을 추정하여 움직임 벡터(Motion Vector)를 생성하는 과정과 상기 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하는 지속성 판단과정과 상기 특징점의 움직임 벡터와 상기 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인지 여부를 판단하는 유사성 판단과정 및 상기 지속성 판단과정 및 유사성 판단과정에서 판단한 결과를 토대로 상기 특징점이 주요 움직임을 갖는 특징점인지 여부를 판단하는 특징점 판단과정을 포함하는 것을 특징으로 하는 움직임 검출방법을 제공한다.According to another aspect of the present invention, there is provided a method of detecting motion of extracted minutiae in an image, comprising the steps of extracting minutiae in an image and generating a motion vector by estimating the motion of extracted minutiae And determining whether a change amount of a motion vector of the feature point per unit time is less than a predetermined angle; determining a difference between a motion vector of the feature point and a direction of a motion vector of each of the other feature points existing within a predetermined distance from the feature point; Determining whether or not the feature point is a predetermined angle or less; and a feature point determination process for determining whether the feature point is a feature point having a major motion based on the determination result in the persistency determination process and the similarity determination process A motion detection method is provided.

이상에서 설명한 바와 같이 본 실시예의 일 측면에 따르면, 날씨가 좋지 않은 상황 또는 배경이 많이 변하는 상황 속에서도 영상 내 존재하는 특징점들의 움직임을 분석하여, 오차 없이 주요 움직임을 갖는 특징점을 검출할 수 있는 장점이 있다. As described above, according to the embodiment of the present invention, it is possible to analyze a motion of minutiae existing in an image even in a bad weather condition or a situation where a lot of background changes, and to detect a minutiae having a major motion without an error have.

도 1은 본 발명의 일 실시예에 따른 움직임 검출 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 움직임 검출 모듈의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 지속성 판단모듈의 판단 방법을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 유사성 판단모듈의 판단 방법을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 움직임 검출 시스템이 주요 움직임을 갖는 특징점을 검출한 화면을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 움직임 검출 방법을 도시한 순서도이다.1 is a diagram illustrating a motion detection system according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of a motion detection module according to an embodiment of the present invention.
3 is a diagram illustrating a determination method of the persistence determination module according to an exemplary embodiment of the present invention.
4 is a diagram illustrating a determination method of the similarity determination module according to an embodiment of the present invention.
5 is a diagram illustrating a screen in which a feature point having a major motion is detected by the motion detection system according to an embodiment of the present invention.
6 is a flowchart illustrating a motion detection method according to an embodiment of the present invention.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. Throughout the specification, when an element is referred to as being "comprising" or "comprising", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise . In addition, '... Quot ;, " module ", and " module " refer to a unit that processes at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software.

도 1은 본 발명의 일 실시예에 따른 움직임 검출 시스템을 도시한 도면이다.1 is a diagram illustrating a motion detection system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 움직임 검출 시스템(100)은 특징점 추출모듈(110), 움직임 추정모듈(120), 특징점 분류모듈(130) 및 움직임 검출모듈(140)을 포함하여 구성된다.1, the motion detection system 100 includes a feature point extraction module 110, a motion estimation module 120, a feature point classification module 130, and a motion detection module 140 .

특징점 추출모듈(110)은 입력된 영상으로부터 특징점을 추출한다. 특징점이란 영상 내에서 시각적으로 또는 영상처리 관점에서 구별 또는 식별이 쉬운 작은 영역으로 주로 영상의 변화가 심한 영역을 사용한다. 특징점으로 주변과 구별이 쉽고 시각적으로도 눈에 빨리 인식되는 위치로 주로 에지 부분이 사용될 수 있다. 특징점 추출모듈(110)은 SIFT(Scale-Invariant Feature Transform), FAST(Features from Accelerated Segment Test), SURF(Speeded Up Robust Feature) 또는 해리스 코너 검출 알고리즘 등을 이용하여 입력된 영상 내의 특징점을 추출한다.The feature point extraction module 110 extracts feature points from the input image. The feature point is a small region that is easy to distinguish or distinguish visually from the viewpoint of an image or an image processing viewpoint. The edge can be used mainly as a feature point that is easy to distinguish from the surrounding area and visually recognized quickly in the eye. The feature point extraction module 110 extracts feature points in the input image using Scale-Invariant Feature Transform (SIFT), Features from Accelerated Segment Test (FAST), Speed Up Robust Feature (SURF), or Harris corner detection algorithm.

움직임 추정모듈(120)은 특징점 추출모듈(110)이 추출한 특징점이 어느 방향으로 움직이는 지를 추정한다. 움직임 추정모듈(120)은 KLT(Kanade-Lucas-Tomasi) 알고리즘과 같은 특징점의 추적 알고리즘을 사용하여 영상 내에서 특징점 추출모듈(110)이 추출한 특징점의 움직임을 추정한다. 움직임 추정모듈(120)은 KLT 추적 알고리즘을 이용할 수 있으나, 반드시 이에 한정하는 것은 아니고 영상 내의 특징점의 움직임을 추정할 수 있는 알고리즘이면 어떠한 알고리즘도 적용 가능하다. 움직임 추정모듈(120)은 전술한 KLT 추적 알고리즘 등의 추적 알고리즘을 이용하여 특징점의 움직임을 추정하여 각각의 특징점의 움직임 벡터(Motion Vector)를 생성한다.The motion estimation module 120 estimates in which direction the feature point extracted by the feature point extraction module 110 moves. The motion estimation module 120 estimates the motion of feature points extracted by the feature extraction module 110 using a feature point tracking algorithm such as a Kanade-Lucas-Tomasi (KLT) algorithm. The motion estimation module 120 may use the KLT tracking algorithm, but it is not limited thereto, and any algorithm can be applied as long as it can estimate motion of feature points in an image. The motion estimation module 120 estimates motion of feature points using a tracking algorithm such as the KLT tracking algorithm described above, and generates motion vectors of the feature points.

특징점 분류모듈(130)은 특징점 추출모듈(110)이 추출한 특징점들을 동일한 움직임을 갖는 특징점끼리 분류한다. 특징점 분류모듈(130)은 무작위 보팅(Randomized Voting)기법을 이용하여 특징점을 분류할 수 있다. 무작위 보팅기법은 다음과 같이 동작한다. 먼저, 복수의 특징점들을 랜덤으로 복수의 그룹으로 분류한 후, 복수의 그룹들로부터 그룹 내의 일부 특징점을 선택한다. 선택된 일부 특징점을 이용하여 복수의 그룹 각각에 대한 기초 행렬(Fundamental Matrix)을 계산하며, 기초 행렬을 토대로 선택된 일부 특징점들의 스코어(Score)를 계산한다. 계산된 스코어를 토대로 선택된 일부 특징점을 다른 그룹으로 재분류한다. The feature point classification module 130 classifies feature points extracted by the feature point extraction module 110 into feature points having the same movement. The minutiae classification module 130 can classify minutiae points using a randomized voting technique. The random voting technique works as follows. First, a plurality of minutiae points are randomly classified into a plurality of groups, and then some minutiae within the group are selected from a plurality of groups. Calculates a Fundamental Matrix for each of a plurality of groups using the selected feature points, and calculates a score of some feature points selected based on the base matrix. Reclassify selected feature points into different groups based on the calculated scores.

이와 같은 무작위 보팅기법이 반복 수행됨에 따라, 복수의 특징점들 중 일부 특징점들이 기초 행렬에 기초한 스코어를 토대로 계속해서 재분류되기 때문에, 최종적으로는 복수의 특징점들 중 서로 다른 움직임을 갖는 특징점들이 서로 다른 그룹으로 분류되고, 동일한 움직임을 갖는 특징점들이 동일한 그룹으로 분류될 수 있다.As such random voting technique is repeatedly performed, since some of the plurality of feature points are reclassified based on the score based on the base matrix, finally, the feature points having different motions among the plurality of feature points are different The feature points having the same motion can be classified into the same group.

특징점 분류모듈(130)은 움직임 검출 시스템(100) 내에 포함되지 않을 수 있으나, 특징점 분류모듈(130)이 포함되는 경우, 영상 내에서 주요 움직임을 갖는 특징점을 추출하는 데 있어 계산 과정이 현저히 줄어드는 이점이 있다. 특징점 분류모듈(130)이 동일한 움직임을 갖는 특징점끼리 분류를 함으로써, 움직임 검출 시스템(100)은 특정 그룹으로 분류된 특징점들 중 일부만을 판단하더라도 특정 그룹의 특징점이 주요 움직임을 갖는 지 또는 그렇지 않은 지를 판단할 수 있다. The feature point classification module 130 may not be included in the motion detection system 100. However, in the case where the feature point classification module 130 is included, the feature point classification module 130 may advantageously extract a feature point having a major motion in the image, . The feature point classification module 130 classifies the feature points having the same motion so that the motion detection system 100 can determine whether or not the feature point of a specific group has a major motion even if only a part of the feature points classified into a specific group are judged It can be judged.

움직임 검출모듈(140)은 특징점 추출모듈(110)이 추출한 특징점 또는 특징점 분류모듈(130)이 분류한 그룹 내의 일부 특징점이 기 설정된 조건을 만족하는 지를 판단하여 주요 움직임을 갖는 특징점만을 검출한다. 이에 대한 상세한 설명은 도 2 내지 도 4를 참조하여 설명하기로 한다. The motion detection module 140 determines whether the feature points extracted by the feature point extraction module 110 or some feature points within the group classified by the feature point classification module 130 satisfy predetermined conditions and detects only the feature points having the major motion. A detailed description thereof will be made with reference to Figs. 2 to 4. Fig.

도 2는 본 발명의 일 실시예에 따른 움직임 검출모듈(140)의 구성을 도시한 도면이다. 2 is a diagram illustrating a configuration of a motion detection module 140 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 움직임 검출모듈(140)은 전처리 모듈(210), 지속성 판단모듈(220), 유사성 판단모듈(230) 및 특징점 판단모듈(240)을 포함하여 구성된다.2, the motion detection module 140 according to an exemplary embodiment of the present invention includes a pre-processing module 210, a persistence determination module 220, a similarity determination module 230, and a feature point determination module 240 .

전처리 모듈(210)은 각각의 특정점에 대하여 모션 벡터의 크기가 기 설정된 수치 이하인 특징점은 판단대상에서 제외한다. 전처리 모듈(210)은 움직임 추정모듈(120)이 생성한 각각의 모션 벡터의 크기를 계산하여, 모션 벡터의 크기가 기 설정된 수치 이하인 특징점은 주요 움직임을 갖는 특징점인지를 판단하는 판단대상에서 제외한다. 이는 움직임이 너무 작은 특징점은 영상 내에서 검출하고자 하는 객체일 확률이 떨어지기 때문에, 지속성 판단모듈(220), 유사성 판단모듈(230) 및 특징점 판단모듈(240)의 판단을 거치기 전에 전처리 모듈(210)이 판단대상에서 제외한다.The preprocessing module 210 excludes the feature point whose size of the motion vector is less than a predetermined value for each specific point. The preprocessing module 210 calculates the size of each motion vector generated by the motion estimation module 120 and excludes a feature point whose motion vector is less than a predetermined value from a decision object for determining whether it is a feature point having a major motion . This is because the probability that a minutiae whose motion is too small is an object to be detected in the image is low and therefore it is preferable that before the judgment of the persistence determination module 220, the similarity determination module 230 and the minutia determination module 240, ) Are excluded from the judgment object.

또한 전처리 모듈(210)은 각각의 특징점에 대하여 특징점 분류모듈(130)이 분류한 특징점 그룹의 경계에 존재하는 특징점은 판단대상에서 제외한다. 예를 들어, 전처리 모듈(210)은 특징점 분류모듈(130)이 임의의 특징점을 제1 특징점 그룹과 제2 특징점 그룹의 경계로 분류한 경우, 이러한 특징점도 마찬가지로 판단대상에서 제외한다. In addition, the preprocessing module 210 excludes the minutiae at the boundaries of the minutiae point groups classified by the minutiae classification module 130 for each minutiae. For example, if the feature point classification module 130 classifies an arbitrary feature point into a boundary between a first feature point group and a second feature point group, the preprocessing module 210 also excludes such feature points from the determination object as well.

지속성 판단모듈(220)은 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단하며, 판단 결과를 특징점 판단모듈(240)로 전송한다. 지속성 판단모듈(220)은 단위 시간당 움직임 벡터의 방향의 변화량을 판단함으로써, 각각의 특징점이 단위 시간당 움직임의 방향이 얼마나 변하는 지를 판단한다. 지속성 판단모듈(220)은 전술한 방법과 같이 판단함으로써, 지속적으로 일정한 방향으로 움직이는 움직임만을 주요 움직임으로 판단한다. 지속성 판단모듈(220)이 판단하는 방법은 도 3에 도시되어 있다.The continuity determination module 220 determines whether the amount of change of the motion vector of the feature point per unit time is less than a predetermined angle, and transmits the determination result to the feature point determination module 240. The continuity determination module 220 determines how much the direction of motion per unit time of each feature point varies by determining the amount of change in the direction of the motion vector per unit time. The continuity determination module 220 judges that only the motion that moves continuously in a certain direction is determined as the main motion by judging as in the above-described method. The manner in which the persistency determination module 220 determines is shown in FIG.

도 3a 및 도 3c는 각각 주요 움직임을 갖지 않는 특징점과 주요 움직임을 갖는 특징점의 단위 시간당 움직임 벡터를 도시한 도면이고, 도 3b 및 도 3d는 주요 움직임을 갖지 않는 특징점과 주요 움직임을 갖는 특징점의 움직임 벡터의 방향의 변화량을 도시한 도면이다.FIGS. 3A and 3C are diagrams showing motion vectors per unit time of feature points having major motion and major motion, respectively, and FIGS. 3B and 3C are diagrams showing feature points having no major motion and motions And the amount of change in the direction of the vector.

단위 시간을 1초라 가정할 때, 특징점(310)은 t가 0일 때 움직임 벡터(312)를 가지며, t가 1일 때 움직임 벡터(314)를 갖는다. 지속성 판단모듈(220)은 단위 시간당 움직임 벡터(312, 314)의 방향을 파악하고, 단위 시간당 움직임 벡터(312, 314)의 방향의 각도 차(θ)를 판단함으로써, 특징점이 일정한 방향으로 지속적으로 움직이고 있는 지를 판단한다. 주요 움직임을 갖지 않는 특징점(310)의 단위 시간당 움직임 벡터(312, 314)의 방향의 각도 차(θ)는 상당한 반면, 주요 움직임을 갖는 특징점(320)의 단위 시간당 움직임 벡터(312, 314)의 방향의 각도 차는 거의 없는 것을 볼 수 있다. 이와 같이, 지속성 판단모듈(220)은 각각의 특징점의 단위 시간당 움직임 벡터의 방향의 변화량을 파악하며, 단위 시간당 움직임 벡터의 방향의 변화량이 기 설정된 각도 이하인 지를 판단한다. When the unit time is assumed to be 1 second, the feature point 310 has a motion vector 312 when t is 0 and a motion vector 314 when t is 1. The continuity determination module 220 determines the direction of the motion vectors 312 and 314 per unit time and determines the angle difference? Between the directions of the motion vectors 312 and 314 per unit time, It is judged whether it is moving or not. The angular difference? Between the directions of the motion vectors 312 and 314 per unit time of the feature point 310 having no principal motion is considerable while the angular difference? Between the motion vectors 312 and 314 per unit time of the feature point 320 having the main motion is It can be seen that there is almost no angle difference in the direction. In this manner, the persistency determination module 220 determines the amount of change of the direction of the motion vector per unit time of each feature point, and determines whether the amount of change of the direction of the motion vector per unit time is equal to or less than a predetermined angle.

지속성 판단모듈(220)은 기 설정된 시간동안 특징점의 움직임 벡터의 단위 시간당 방향의 변화량을 지속적으로 판단할 수 있으며, 단위 시간당 움직임 벡터의 방향의 변화량이 기 설정된 각도 이상으로 변하는 횟수가 기 설정된 횟수 이상인 지를 판단할 수 있다. 영상 내의 객체의 움직임이 외부의 물리적인 힘에 의해 변화할 가능성도 존재하기 때문에, 지속성 판단모듈(220)은 단위 시간당 움직임 벡터의 방향의 변화량이 기 설정된 각도 이상으로 변한다고 바로 판단을 멈추고 특징점 판단모듈(240)로 전송하지 않고, 기 설정된 시간동안 지속적으로 판단하여 기 설정된 횟수 이상 변하는지를 판단할 수 있다.The persistence determination module 220 may continuously determine a change amount of a motion vector of a feature point per unit time for a predetermined time and may determine that the number of times the change amount of the direction of the motion vector per unit time changes to a predetermined angle or more is equal to or greater than a predetermined number Can be determined. Since there is a possibility that the motion of the object in the image may change due to the external physical force, the persistence determination module 220 stops judging immediately that the amount of change of the direction of the motion vector per unit time changes by more than a predetermined angle, Module 240, it is possible to determine whether it is continuously changed over a preset number of times or not.

움직임 검출 시스템(100)이 특징점 분류모듈(130)을 구비하여 각각의 특징점을 그룹으로 분류한 경우, 지속성 판단모듈(220)은 다음과 같이 특징점의 움직임 벡터의 단위 시간당 방향의 변화량을 판단한다. 지속성 판단모듈(220)은 각각의 특징점 그룹 내에 존재하는 특징점들의 움직임 벡터의 단위 시간당 방향의 변화량을 판단하며, 기 설정된 각도 이하로 움직임 벡터가 변한 특징점의 비율이 기 설정된 수준 이상인 경우, 그 특징점 그룹 전체는 기 설정된 각도 이하로 움직임 벡터가 변한 것으로 판단한다. 이와 같이, 움직임 검출 시스템(100)이 특징점 분류모듈(130)을 구비하는 경우, 지속성 판단모듈(220)은 특징점 그룹 내의 모든 특징점을 각각 판단하지 않더라도 해당 특징점 그룹에 대해 판단할 수 있는 이점이 있다.When the motion detection system 100 includes the feature point classification module 130 and classifies the feature points into groups, the persistency determination module 220 determines a change amount of a motion vector of a feature point per unit time as follows. The persistence determination module 220 determines the amount of change per unit time of the motion vector of the feature points existing in each feature point group. If the ratio of the feature points at which the motion vector changes below a preset angle is equal to or greater than a predetermined level, It is determined that the motion vector has changed to a predetermined angle or less as a whole. In this manner, when the motion detection system 100 includes the minutiae classification module 130, the persistence determination module 220 has an advantage of being able to determine the minutiae point group even if all the minutiae within the minutiae point group are not determined .

유사성 판단모듈(230)은 먼저 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점들이 존재하는 지를 판단하며, 판단결과를 특징점 검출모듈(240)로 전달한다. 유사성 판단모듈(230)의 판단 방법은 도 4a에 도시되어 있다.The similarity determination module 230 first determines whether there are more than a predetermined number of other minutiae within a predetermined distance from the minutiae, and transmits the determination result to the minutiae detection module 240. [ The determination method of the similarity determination module 230 is shown in FIG.

도 4a는 각각 주요 움직임을 갖지 않는 특징점과 주요 움직임을 갖는 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들을 도시한 도면이다.4A is a diagram showing feature points having no major motion and other feature points existing within a predetermined distance from feature points having major motion.

유사성 판단모듈(230)은 특징점(410)으로부터 기 설정된 거리 내(420)에는 몇 개의 다른 특징점이 존재하는 지, 특징점(430)으로부터 기 설정된 거리 내(440)에는 몇 개의 다른 특징점이 존재하는 지를 판단한다. 예를 들어, 유사성 판단모듈(230)은 특징점(410)은 기 설정된 거리 내(420)에 상당히 많은 수의 다른 특징점이 존재하는 것을 판단하며, 특징점 (430)은 기 설정된 거리 내(440)에 약 10여 개의 다른 특징점이 존재하는 것을 판단한다. 이때, 기 설정된 개수가 15라 가정하면, 유사성 판단모듈(230)은 특징점(410)은 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재한다고 판단하며, 특징점 (430)은 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하지 않는다고 판단한다.The similarity determination module 230 determines whether there are several other feature points within a predetermined distance 420 from the feature point 410 and whether there are several other feature points within a predetermined distance 440 from the feature point 430 . For example, the similarity determination module 230 determines that the feature point 410 has a significantly larger number of other feature points within the predetermined distance 420, and the feature point 430 is within the predetermined distance 440 It is judged that there are about 10 different minutiae. At this time, if the predetermined number is 15, the similarity determination module 230 determines that the feature point 410 has a predetermined number or more of other feature points within a predetermined distance, and the feature point 430 is set within a predetermined distance It is judged that there are no other minutiae more than the number.

이와 같이 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하는 지를 판단함으로써, 영상 내에서 일정한 크기 이상의 객체만을 검출한다. 보편적으로 영상 내에서 검출하고자 하는 객체는 눈으로 인식할 수 있는 일정 크기 이상의 물체인 반면, 날씨로 인해 발생하는 노이즈(예를 들어, 빗방울 또는 눈)는 아주 작은 크기에 해당한다. 따라서 영상 내의 일정한 크기 이상의 객체만을 검출하기 위해, 유사성 판단모듈(230)은 특징점으로부터 기 설정된 거리 내에 몇 개의 다른 특징점이 존재하는 지를 판단한다.In this manner, it is determined whether there are more than a predetermined number of other minutiae within a preset distance from the minutiae, thereby detecting only the object of a certain size or more in the image. In general, an object to be detected in an image is an object of a predetermined size or larger that can be recognized by the eye, while a noise (for example, raindrops or eyes) caused by the weather corresponds to a very small size. Accordingly, in order to detect only objects having a predetermined size or more in the image, the similarity determination module 230 determines how many different feature points exist within a predetermined distance from the feature points.

유사성 판단모듈(230)은 특징점의 움직임 벡터의 방향과 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인 지를 판단하여, 판단결과를 특징점 검출모듈(240)로 전달한다. 유사성 판단모듈(230)의 판단 방법은 도 4b에 도시되어 있다.The similarity determination module 230 determines whether the difference between the direction of the motion vector of the feature point and the direction of the motion vector of each of the other feature points existing within a predetermined distance from the feature point is less than a preset angle and outputs the determination result to the feature point detection module 240 ). The determination method of the similarity determination module 230 is shown in FIG. 4B.

도 4b는 각각 주요 움직임을 갖지 않는 특징점과 주요 움직임을 갖는 특징점의 움직임 벡터와 특징점으로부터 기 설정된 거리 내에 존재하는 각각의 특징점들의 움직임 벡터를 도시한 도면이다. 4B is a diagram showing motion vectors of feature points having no major motion and motion vectors of feature points having major motion, and motion vectors of respective feature points existing within a predetermined distance from the feature points.

유사성 판단모듈(230)은 특징점(450, 460)의 움직임 벡터의 방향과 특징점(450, 460)으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 파악한다. 유사성 판단모듈(230)은 파악한 특징점(450, 460)의 움직임 벡터의 방향과 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 토대로 각각의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인 지를 판단한다. 예를 들어, 도 4b에 도시된 특징점(450)의 움직임 벡터의 방향과 특징점(450)의 주변에 존재하는 다른 특징점들의 움직임 벡터의 방향은 거의 차이가 없는 것을 볼 수 있다. 반면, 도 4b에 도시된 특징점(460)의 움직임 벡터의 방향과 특징점(460)의 주변에 존재하는 다른 특징점들의 움직임 벡터의 방향은 상당히 차이가 나며, 특징점(465)의 움직임 벡터의 방향은 특징점(460)의 움직임 벡터와 180도 차이가 난다. 따라서 유사성 판단모듈(230)은 특징점(450)에 대해서는 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하라고 판단하며, 특징점(460)에 대해서는 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하가 아니라고 판단한다. 유사성 판단모듈(230)은 특징점의 움직임 벡터와 방향이 가장 많이 차이나는 다른 특징점의 움직임 벡터를 파악하고 두 벡터간의 방향 차이가 기 설정된 각도 이하인 지를 판단함으로써, 특징점으로부터 기 설정된 거리 내에 존재하는 모든 특징점에 대하여 전술한 판단을 마칠 수 있다.The similarity determination module 230 determines a direction of a motion vector of the feature points 450 and 460 and a direction of a motion vector of other feature points within a predetermined distance from the feature points 450 and 460. The similarity determination module 230 determines whether the difference in the direction of each motion vector is equal to or less than a preset angle based on the direction of the motion vector of the identified feature points 450 and 460 and the direction of the motion vector of other feature points existing within a predetermined distance do. For example, it can be seen that there is almost no difference between the direction of the motion vector of the feature point 450 shown in FIG. 4B and the direction of the motion vector of other feature points located around the feature point 450. On the other hand, the direction of the motion vector of the feature point 460 shown in FIG. 4B differs significantly from the direction of the motion vector of other feature points existing around the feature point 460, Lt; RTI ID = 0.0 > 460 < / RTI > Therefore, the similarity determination module 230 determines that the difference in the direction of the motion vector of each of the other feature points existing within a predetermined distance is less than a preset angle for the feature point 450, It is determined that the difference in the direction of the motion vector of each of the other feature points present is not less than a preset angle. The similarity determination module 230 determines motion vectors of other minutiae whose directions are most different from the motion vectors of the minutiae and judges whether the direction difference between the two vectors is equal to or less than a preset angle, The above-described judgment can be completed.

유사성 판단모듈(230)은 기 설정된 시간 동안 특정 특징점 주변의 다른 특징점들 중 특정 특징점의 움직임 벡터와 방향 차이가 기 설정된 각도 이상 나는 특징점들의 비율을 판단할 수 있다. 영상 내의 객체가 외력에 의해 객체 중 일부가 갑자기 방향이 변화하는 경우도 발생할 수 있기 때문에, 유사성 판단모듈(230)은 특징점 주변의 다른 특징점들 중 움직임 벡터의 방향 차이가 기 설정된 각도 이상인 특징점이 기 설정된 비율 이상인 지를 판단한다. 유사성 판단모듈(230)은 움직임 벡터의 방향 차이가 기 설정된 각도 이상인 특징점이 기 설정된 비율 이상인 경우, 특정 특징점에 대해서는 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하가 아니라고 판단할 수 있다. 반대로, 유사성 판단모듈(230)은 움직임 벡터의 방향 차이가 기 설정된 각도 이상인 특징점이 기 설정된 비율 이하인 경우, 특정 특징점에 대해서는 기 설정된 거리 내에 존재하는 각각의 다른 특징점들의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하라고 판단할 수 있다. The similarity determination module 230 may determine a ratio of a motion vector of a specific feature point among other feature points around a specific feature point for a predetermined time period and a feature point having a direction difference greater than a predetermined angle. The similarity determination module 230 may determine that the feature point of which the direction difference of the motion vector among the other feature points around the feature point is equal to or greater than a predetermined angle may occur because the feature point of the object in the image changes suddenly, It is judged whether or not it is the set ratio. The similarity determination module 230 determines whether or not the difference in the direction of the motion vector of each of the other feature points existing within a predetermined distance for a specific feature point is greater than a predetermined angle Or less. In contrast, the similarity determination module 230 determines whether or not the difference in the direction of the motion vector of each of the other feature points existing within a predetermined distance with respect to a specific feature point is greater than a preset ratio It can be determined that the angle is less than the set angle.

이와 같이 유사성 판단모듈(230)을 이용하여, 특징점의 움직임 벡터의 방향과 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 판단함으로써, 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단한다. 이와 같이, 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단함으로써, 객체의 각 부분들이 동일하게 움직이는 객체만을 검출한다. 예를 들어, 연기가 피어나는 상황 또는 나뭇잎들이 바람에 흔들리는 상황과 같이 각각의 부분(특징점)이 다른 부분들과 유사한 방향으로 움직이는 것이 아닌 무작위로 움직이는 객체는 영상 내에서 검출하고자 하는 객체와는 거리가 멀다. 따라서 이와 같은 객체는 배체하기 위하여, 유사성 판단모듈(230)은 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단한다.By using the similarity determination module 230, the direction of the motion vector of the feature point and the direction of the motion vector of other feature points existing within a predetermined distance from the feature point are determined, so that the feature point and other feature points around the feature point are in a similar direction As shown in FIG. Thus, by determining whether a particular feature point and other feature points around the feature point move in a similar direction, only the object in which each part of the object moves equally is detected. For example, if each part (feature point) does not move in a direction similar to other parts, such as when the smoke is blooming or the leaves are shaking in the wind, a randomly moving object may be located at a distance It is far. Accordingly, in order to distribute such an object, the similarity determination module 230 determines whether a specific feature point and other feature points around the feature point move in a similar direction.

특징점 판단모듈(240)은 지속성 판단모듈(220) 및 유사성 판단모듈(230)이 판단한 결과를 토대로 해당 특징점이 주요 움직임을 갖는 특징점인 지를 판단한다. 특징점 판단모듈(240)은 특징점이 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 경우, 특징점으로부터 기 설정된 거리 내에 기 설정된 개수의 다른 특징점이 존재하는 경우 및 특징점의 움직임 벡터와 기 설정된 거리 내의 다른 특징점의 움직임 벡터의 방향 차가 기 설정된 각도 이하인 경우를 모두 만족하는 경우 주요 움직임을 갖는 특징점으로 판단한다. 특징점 판단모듈(240)은 전술한 조건을 판단함으로써, 곤충과 같이 움직이는 방향을 자주 변화시키는 객체는 주요 움직임을 갖는 특징점에서 제외한다. 특징점 판단모듈(240)은 빗방울 또는 눈과 같이 객체가 일정한 방향으로 움직인다고 하더라도, 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하는 지를 판단함으로써, 일정한 크기 이하의 객체는 마찬가지로 주요 움직임을 갖는 특징점에서 제외한다. 또한 특징점 판단모듈(240)은 나뭇잎이 흔들리는 경우나 연기가 피어나는 경우와 같이 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하더라도 각각의 특징점이 제각각 움직이는 경우에는 또한 주요 움직임을 갖는 특징점에서 제외한다. 따라서 특징점 판단모듈(240)은 전술한 조건을 판단하여, 일정한 방향으로 움직이며, 주변에 일정 숫자 이상 특징점을 가지며, 주변의 특징점들도 동일한 방향으로 움직이는 특징점을 주요 움직임을 갖는 특징점으로 판단한다. 특징점 판단모듈(240)이 영상 내에서 특징점들을 판단한 화면은 도 5에 도시되어 있다.The feature point determination module 240 determines whether the feature point is a feature point having a major motion based on the determination result of the persistency determination module 220 and the similarity determination module 230. The minutiae point determining module 240 determines whether or not the minutiae point has a predetermined number of different minutiae within a predetermined distance from the minutiae point when the amount of change per unit time of the motion vector of the minutiae is less than a predetermined angle, And when the direction difference of the motion vectors of other feature points within the distance is less than or equal to a preset angle, the feature point having the main motion is determined. The minutia determination module 240 determines the above-described conditions, so that objects that frequently change directions of movement, such as insects, are excluded from minutiae having major motions. The minutiae point determination module 240 determines whether there are more than a predetermined number of different minutiae within a predetermined distance from the minutiae point so that even if the object moves in a certain direction such as raindrops or eyes, Exclude from feature points. In addition, even if there are more than a predetermined number of different minutiae within a predetermined distance from the minutiae, such as when a leaf is shaken or smoke is produced, the minutiae judging module 240 may also detect the minutiae . Accordingly, the minutia determining module 240 determines the minutiae that move in a certain direction, have more than a certain number of minutiae in the vicinity, and move around the minutiae in the same direction as minutiae having major motions. A screen in which the minutiae determination module 240 determines minutiae points in the image is shown in Fig.

도 5는 본 발명의 일 실시예에 따른 움직임 검출 시스템이 주요 움직임을 갖는 특징점을 검출한 화면을 도시한 도면이다.5 is a diagram illustrating a screen in which a feature point having a major motion is detected by the motion detection system according to an embodiment of the present invention.

영상(510)은 비가 오는 날씨에서 차량 한 대가 횡단보도 앞에 정차해있는 것을 촬영한 영상이다. 특징점 판단모듈(240)은 전술한 조건을 갖는 특징점을 판단하여, 빗방울 들은 주요 움직임을 갖는 특징점으로 검출하지 않으며, 차량(520) 내에 포함된 특징점들을 주요 움직임을 갖는 특징점으로 판단한다. Image (510) is an image of a car parked in front of a pedestrian crossing in rainy weather. The minutiae determination module 240 determines the minutiae having the above-mentioned conditions so that raindrops are not detected as minutiae having major motions, and minutiae included in the vehicle 520 are determined as minutiae having major motions.

도 6은 본 발명의 일 실시예에 따른 움직임 검출 방법을 도시한 순서도이다.6 is a flowchart illustrating a motion detection method according to an embodiment of the present invention.

입력된 영상 내에서 특징점을 추출한다(S610). 특징점 추출모듈(110)은 SIFT(Scale-Invariant Feature Transform), FAST(Features from Accelerated Segment Test), SURF(Speeded Up Robust Feature) 또는 해리스 코너 검출 알고리즘 등을 이용하여 입력된 영상 내의 특징점을 추출한다.The feature points are extracted in the input image (S610). The feature point extraction module 110 extracts feature points in the input image using Scale-Invariant Feature Transform (SIFT), Features from Accelerated Segment Test (FAST), Speed Up Robust Feature (SURF), or Harris corner detection algorithm.

추출한 특징점의 움직임을 추정한다(S620). 움직임 추정모듈(120)은 특징점 추출모듈(110)이 추출한 특징점이 어느 방향으로 움직이는 지를 추정한다. 움직임 추정모듈(120)은 KLT(Kanade-Lucas-Tomasi) 알고리즘과 같은 특징점의 추적 알고리즘을 사용하여 영상 내에서 특징점 추출모듈(110)이 추출한 특징점의 움직임을 추정한다.The motion of the extracted feature points is estimated (S620). The motion estimation module 120 estimates in which direction the feature point extracted by the feature point extraction module 110 moves. The motion estimation module 120 estimates the motion of feature points extracted by the feature extraction module 110 using a feature point tracking algorithm such as a Kanade-Lucas-Tomasi (KLT) algorithm.

추정한 특징점의 움직임 중 유사한 움직임을 갖는 특징점을 분류하여 그룹화한다(S630). 특징점 분류모듈(130)은 특징점 추출모듈(110)이 추출한 특징점들을 동일한 움직임을 갖는 특징점끼리 분류한다. 특징점 분류모듈(130)은 무작위 보팅(Randomized Voting)기법을 이용하여 특징점을 분류할 수 있다. 특징점 분류모듈(130)을 이용하여 특징점을 그룹화하는 경우, 영상 내에서 주요 움직임을 갖는 특징점을 추출하는 데 있어 계산 과정이 현저히 줄어드는 이점이 있다. 특징점 분류모듈(130)이 동일한 움직임을 갖는 특징점끼리 분류를 함으로써, 움직임 검출 시스템(100)은 특정 그룹으로 분류된 특징점들 중 일부만을 판단하더라도 특정 그룹의 특징점이 주요 움직임을 갖는 지 또는 그렇지 않은 지를 판단할 수 있다. In step S630, feature points having similar motions among the motion of the estimated feature points are classified and grouped. The feature point classification module 130 classifies feature points extracted by the feature point extraction module 110 into feature points having the same movement. The minutiae classification module 130 can classify minutiae points using a randomized voting technique. When the minutiae point classification module 130 is used to group minutiae points, there is an advantage that the calculation process is significantly reduced in extracting minutiae having major motions in the image. The feature point classification module 130 classifies the feature points having the same motion so that the motion detection system 100 can determine whether or not the feature point of a specific group has a major motion even if only a part of the feature points classified into a specific group are judged It can be judged.

주요 특징점을 검출하기 위하여 각각의 특징점에 대하여 전처리 과정을 실행한다(S640). 전처리 모듈(210)은 각각의 특정점에 대하여 모션 벡터의 크기가 기 설정된 수치 이하인 특징점은 판단대상에서 제외한다. 전처리 모듈(210)은 움직임 추정모듈(120)이 생성한 각각의 모션 벡터의 크기를 계산하여, 모션 벡터의 크기가 기 설정된 수치 이하인 특징점은 주요 움직임을 갖는 특징점인지를 판단하는 판단대상에서 제외한다. 또한, 전처리 모듈(210)은 각각의 특징점에 대하여 특징점 분류모듈(130)이 분류한 특징점 그룹의 경계에 존재하는 특징점은 판단대상에서 제외한다. In order to detect the main feature points, a preprocessing process is executed for each of the feature points (S640). The preprocessing module 210 excludes the feature point whose size of the motion vector is less than a predetermined value for each specific point. The preprocessing module 210 calculates the size of each motion vector generated by the motion estimation module 120 and excludes a feature point whose motion vector is less than a predetermined value from a decision object for determining whether it is a feature point having a major motion . In addition, the preprocessing module 210 excludes the minutiae existing at the boundaries of the minutiae point group classified by the minutiae classification module 130 for each minutiae.

특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하인 지를 판단한다(S650). 지속성 판단모듈(220)은 단위 시간당 움직임 벡터의 방향의 변화량을 판단함으로써, 각각의 특징점이 단위 시간당 움직임의 방향이 얼마나 변하는 지를 판단한다. 지속성 판단모듈(220)은 전술한 방법과 같이 판단함으로써, 지속적으로 일정한 방향으로 움직이는 움직임만을 주요 움직임으로 판단한다. It is determined whether the amount of change in the direction per unit time of the motion vector of the minutiae is equal to or less than a preset angle (S650). The continuity determination module 220 determines how much the direction of motion per unit time of each feature point varies by determining the amount of change in the direction of the motion vector per unit time. The continuity determination module 220 judges that only the motion that moves continuously in a certain direction is determined as the main motion by judging as in the above-described method.

특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하는 지를 판단한다(S660). 유사성 판단모듈(230)은 특징점으로부터 기 설정된 거리 내에 기 설정된 개수 이상의 다른 특징점이 존재하는 지를 판단함으로써, 영상 내에서 일정한 크기 이상의 객체만을 검출한다. It is determined whether there are more than a predetermined number of other minutiae within a preset distance from the minutiae (S660). The similarity determination module 230 determines whether there are more than a predetermined number of other minutiae within a predetermined distance from the minutiae, thereby detecting only the object of a certain size or more in the image.

특징점의 움직임 벡터와 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터와의 방향 차이가 기 설정된 각도 이하인 지를 판단한다(S670). 유사성 판단모듈(230)은 특징점의 움직임 벡터의 방향과 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 파악한다. 유사성 판단모듈(230)은 파악한 특징점의 움직임 벡터의 방향과 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 토대로 각각의 움직임 벡터의 방향의 차이가 기 설정된 각도 이하인 지를 판단한다. 유사성 판단모듈(230)을 이용하여, 특징점의 움직임 벡터의 방향과 특징점으로부터 기 설정된 거리 내에 존재하는 다른 특징점들의 움직임 벡터의 방향을 판단함으로써, 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단한다. 이와 같이, 특정 특징점과 그 특징점 주변의 다른 특징점이 유사한 방향으로 움직이는 지를 판단함으로써, 각 부분이 일정하게 움직이는 객체만을 검출한다.It is determined whether the direction difference between the motion vector of the minutiae and the motion vector of other minutiae within a predetermined distance from the minutiae is less than a predetermined angle at step S670. The similarity determination module 230 determines the direction of the motion vector of the feature point and the direction of the motion vector of other feature points existing within a predetermined distance from the feature point. The similarity determination module 230 determines whether the difference in the direction of each motion vector is equal to or less than a predetermined angle based on the direction of the motion vector of the detected feature point and the direction of the motion vector of other feature points existing within a predetermined distance. The similarity determination module 230 determines the direction of the motion vector of the feature point and the direction of the motion vector of other feature points existing within a predetermined distance from the feature point so that the feature point and other feature points around the feature point move in a similar direction . Thus, by judging whether a specific feature point and other feature points around the feature point move in a similar direction, only an object moving constantly is detected.

특징점이 기 설정된 조건을 만족하는 지를 판단한다(S680). 특징점 판단모듈(240)은 지속성 판단모듈(220) 및 유사성 판단모듈(230)이 판단한 결과를 토대로 해당 특징점이 기 설정된 조건을 만족하는 지를 판단한다. 특징점 판단모듈(240)은 기 설정된 조건으로 특징점이 특징점의 움직임 벡터의 단위 시간당 방향의 변화량이 기 설정된 각도 이하일 것, 특징점으로부터 기 설정된 거리 내에 기 설정된 개수의 다른 특징점이 존재할 것 및 특징점의 움직임 벡터와 기 설정된 거리 내의 다른 특징점의 움직임 벡터의 방향 차가 기 설정된 각도 이하일 것을 판단한다.It is determined whether the minutiae point satisfies the predetermined condition (S680). The feature point determination module 240 determines whether the feature point satisfies a predetermined condition based on the determination result of the persistency determination module 220 and the similarity determination module 230. The feature point determination module 240 determines that the feature point is less than or equal to a predetermined angle change amount of the motion vector of the feature point per unit time under predetermined conditions, that there is a predetermined number of other feature points within a predetermined distance from the feature point, And a direction difference of motion vectors of other feature points within a predetermined distance is less than or equal to a predetermined angle.

특징점이 기 설정된 조건을 만족하는 경우, 주요 움직임을 갖는 특징점으로 검출한다(S690). 특징점 판단모듈(240)은 특징점이 전술한 기 설정된 조건을 모두 만족하는 경우, 해당 특징점을 주요 움직임을 갖는 특징점으로 검출한다.If the feature point satisfies the preset condition, it is detected as a feature point having the main motion (S690). The minutiae point determination module 240 detects the minutiae as minutiae having major motion when the minutiae satisfy all of the predetermined conditions described above.

특징점이 기 설정된 조건을 만족하지 않는 경우, 주요 움직임을 갖지 않는 특징점으로 검출한다(S700). 특징점 판단모듈(240)은 특징점이 전술한 기 설정된 조건을 모두 만족하지 못하는 경우, 해당 특징점을 주요 움직임을 갖지 않는 특징점으로 검출한다.If the feature point does not satisfy the predetermined condition, it is detected as a feature point having no major motion (S700). If the feature point does not satisfy all of the predetermined conditions, the feature point determination module 240 detects the feature point as a feature point having no major motion.

도 6에서는 과정 S610 내지 과정 S700을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 과정 S610 내지 과정 S700 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 6, it is described that the processes S610 to S700 are sequentially executed, but this is merely an example of the technical idea of the embodiment of the present invention. In other words, those skilled in the art will recognize that the present invention can be implemented by changing the order described in FIG. 6 without departing from the essential characteristics of an embodiment of the present invention, or by executing one of the steps S610 to S700 6 is not limited to the time-series order because it can be variously modified and modified by being executed in parallel.

한편, 도 6에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIG. 6 can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. That is, a computer-readable recording medium includes a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), an optical reading medium (e.g., CD ROM, And the like). The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

110: eNB 120, 125, 310, 315: EPC GW-D
130: EPC GW-D 140: MME
143: PCRF 146: CS
150: SDN 컨트롤러 160: 백홀 망
165: IP 백본 망 170, 173, 176: 단말
320: SDN 스위치 110: eNB 120, 125, 310, 315: EPC GW-D
130: EPC GW-D 140: MME
143: PCRF 146: CS
150: SDN controller 160: backhaul network
165: IP backbone network 170, 173, 176: terminal
320: SDN switch

Claims

An apparatus for detecting motion of extracted minutiae in an image, the apparatus comprising:
A continuity determination module that determines whether the amount of change per unit time of a motion vector of the feature point is less than a preset angle;
A similarity determination module for determining whether a difference between a direction of a motion vector of the feature point and a direction of a motion vector of each of the other feature points existing within a predetermined distance from the feature point is less than a predetermined angle; And
A feature point determination module for determining whether the feature point is a feature point having a major motion based on the determination result of the persistency determination module and the similarity determination module;
And a motion detector for detecting the motion of the subject.

The method according to claim 1,
Wherein the minutiae point determining module comprises:
The difference between the direction of the motion vector of the feature point and the direction of the motion vector of each of the other feature points existing within a predetermined distance from the feature point is less than a predetermined angle, The feature point is determined as a feature point having a main motion.

The method according to claim 1,
The similarity judging module comprises:
And determines whether or not there is a predetermined number of other minutiae within a predetermined distance from the minutiae.

The method of claim 3,
Wherein the minutiae point determining module comprises:
And judging whether the feature point is not a feature point having a main motion if a predetermined number of other feature points do not exist within a predetermined distance from the feature point.

The method according to claim 1,
Further comprising a preprocessing module for excluding the minutiae from the determination target when the size of the minutiae motion vector is less than a predetermined size.

A method for detecting movement of extracted feature points in an image,
Extracting feature points in the image;
Estimating a motion of the extracted feature point and generating a motion vector;
Determining whether a change amount of the motion vector of the feature point per unit time is less than a preset angle;
A similarity determining step of determining whether a difference between a motion vector of the feature point and a direction of a motion vector of each of the other feature points existing within a predetermined distance from the feature point is less than a preset angle; And
A feature point determination process for determining whether the feature point is a feature point having a major motion based on the determination result in the persistence determination process and the similarity determination process
The motion detection method comprising:

The method according to claim 6,
The similarity determination process may include:
And determines whether or not there is a predetermined number of other minutiae within a predetermined distance from the minutiae.

The method according to claim 6,
Further comprising a preprocessing step of excluding the minutiae from the determination target when the size of the motion vector of the minutiae is less than a predetermined size.