KR100363732B1 - Apparatus and method for detecting a motion in a video signal - Google Patents
Apparatus and method for detecting a motion in a video signal Download PDFInfo
- Publication number
- KR100363732B1 KR100363732B1 KR1020000006770A KR20000006770A KR100363732B1 KR 100363732 B1 KR100363732 B1 KR 100363732B1 KR 1020000006770 A KR1020000006770 A KR 1020000006770A KR 20000006770 A KR20000006770 A KR 20000006770A KR 100363732 B1 KR100363732 B1 KR 100363732B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- value
- motion
- input image
- pixel data
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
Abstract
복수개의 화소 데이타로 구성된 입력 영상은 소정 크기의 블록별로 분할되어 각 블록 단위별로 화소 데이타 특징 값이 산출된다. 산출된 각 블럭 단위의 특징 값 및 각 블록의 화소 데이타는 다음 입력 영상에 대한 움직임 검출을 위하여 메모리에 저장된다. 산출된 현재 영상의 블럭 단위 특징 값들은 메모리로부터 판독된 이전 영상의 블럭 단위의 특징 값과 비교되어 그 차가 계산되고, 이 차이값중 최대값을 구하여 임계값과의 비교를 행한다. 입력 영상의 각 블럭 화소 데이타와 메모리에 저장된 이전 영상의 각 블록 화소 데이타는 입력 영상의 각 블럭에 대한 움직임 벡터 검출을 위해 제공되고, 검출된 움직임 벡터에 기초하여 분류된 배경 블럭과 움직임 블럭의 통계적 분포를 해석함으로써, 입력 영상에 대한 적절한 임계값을 예측한다. 예측된 임계값을 이전 영상과 현재 입력 영상의 블럭 단위 특징 값의 차의 최대값과 비교함으로써 입력 영상에 대한 움직임 여부를 결정한다.An input image composed of a plurality of pixel data is divided into blocks having a predetermined size, and pixel data feature values are calculated for each block unit. The calculated feature values of each block unit and pixel data of each block are stored in a memory for motion detection for the next input image. The calculated block unit feature values of the current image are compared with the feature values of the block unit of the previous image read out from the memory, and the difference is calculated. The maximum value of the difference values is obtained to compare with the threshold value. Each block pixel data of the input image and each block pixel data of the previous image stored in the memory are provided for motion vector detection of each block of the input image, and are classified based on the detected motion vector and statistical of the background block and the motion block. By interpreting the distribution, it predicts the appropriate threshold for the input image. The motion of the input image is determined by comparing the predicted threshold value with the maximum value of the difference between the block unit feature values of the previous image and the current input image.
Description
본 발명은 입력 영상으로부터 움직임을 검출하기 위한 방법 및 장치에 관한 것으로, 보다 구체적으로는 현재 영상과 이전 영상의 블록 단위 특징 값과 현재 입력 영상에 따라 적응적으로 구해진 임계값을 이용하여 움직임을 검출하는 블록 단위의 움직임 검출 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting a motion from an input image. More specifically, the present invention relates to a method and an apparatus for detecting motion using a block unit feature value of a current image and a previous image, and a threshold value adaptively determined according to a current input image. The present invention relates to a method and apparatus for detecting a block unit.
최근에, 자동 감시 시스템의 수요의 증가와 컴퓨터나 인터넷과 연계한 네트워크 영상 감시 시스템의 개발에 힘입어, 종래의 아날로그 방식의 감시 카메라나 시스템의 디지탈화가 활발하게 이루어지고 있다. 디지탈 방식의 감시 시스템은 기록된 감시 영상의 화질 열화를 방지할 수 있고, 원하는 데이타만을 검색하거나 처리하기가 용이하며, 통신망을 이용한 원격 감시가 용이한 것 등 다양한 용도와 장점을 가지고 있다. 이러한 디지탈 감시 시스템에서 입력된 영상의 데이타를 모두 저장해야 한다면 많은 메모리와 불필요한 시스템 자원의 낭비를 초래할 것이다. 따라서, 영상의 효율적인 저장과 시스템 자원의 낭비를 막기 위해서는 침입자가 침입을 했거나 감시하는 영역 내에서 움직임 등을 감지했을 경우에만 영상을 저장하고 기록해야 할 필요가 있다.In recent years, with the increase in demand for automatic surveillance systems and the development of network video surveillance systems in connection with computers and the Internet, the digitalization of conventional surveillance cameras and systems has been actively performed. The digital surveillance system has various uses and advantages, such as preventing image quality deterioration of recorded surveillance images, easily searching or processing only desired data, and facilitating remote monitoring using a communication network. If all of the data of the input image in the digital surveillance system must be stored, it will cause a lot of memory and unnecessary waste of system resources. Therefore, in order to effectively store images and prevent waste of system resources, it is necessary to store and record images only when an intruder detects an intrusion or a movement in an area to be monitored.
입력 영상으로부터 움직임을 검출하기 위한 종래 방법으로, 이전 영상과 현재 영상과의 차를 구하여 얻어진 차 영상의 화소 값을 이용하는 화소 값 기반의 움직임 검출 방법이 있다. 즉, 차 영상으로부터 얻어진 화소 값으로부터 평균, 표준 편차등의 통계적 특징 값을 유도하고, 이를 실험을 통하여 얻어진 적정한 임계값과 비교하여 이동 물체의 움직임 여부를 판별하였다. 도 1은 이러한 차 영상을 이용한 일반적인 움직임 검출 방법의 전체 흐름을 도시하고 있다. 이와 같은 차 영상을 이용한 이동 물체 검출 방법은 화소 단위의 많은 정보를 얻을 수 있고 차 영상의 다양한 통계적 특성을 이용하여 움직임을 검출할 수 있다는 장점은 있지만, 화소 단위의 데이타 연산을 하기 때문에 수행 속도가 느리고 카메라 노이즈나 외부 환경 변화에 민감하게 반응한다는 단점이 있다.Conventional methods for detecting motion from an input image include a pixel value based motion detection method using pixel values of a difference image obtained by obtaining a difference between a previous image and a current image. That is, statistical feature values such as mean and standard deviation are derived from the pixel values obtained from the difference images, and compared with appropriate threshold values obtained through experiments to determine whether the moving object is moving. Figure 1 shows the overall flow of a general motion detection method using such a difference image. Such a moving object detection method using a difference image has a merit of obtaining a lot of information in pixel units and detecting motion using various statistical characteristics of the difference image. The disadvantage is that it is slow and sensitive to camera noise and external environmental changes.
이러한 단점을 해결하기 위하여 영상을 일정한 블럭 단위로 분할하고, 각 블럭의 통계적 특성을 분석하여 움직임을 검출하는 블럭 단위 움직임 검출 방법이 제안되었다. 도 2는 이러한 일반적인 블럭 단위 움직임 검출 방법의 흐름도를 도시하고 있다. 도 2에 도시된 바와 같이, 블럭 단위 움직임 검출 방법에 있어서는 입력 영상을 일정한 블럭 단위로 블럭화한 후 각 블럭의 통계적 특징 값을, 실험을 통하여 얻어진 적절한 임계값과 비교하여 움직임의 여부를 검출한다. 이 방법에서는 화소 값을 이용한 움직임 검출보다 연산량이 줄어들고 잡음에 대한 영향을 감소시킬 수 있게 된다.In order to solve this drawback, a block-by-block motion detection method has been proposed that detects motion by dividing an image into predetermined block units and analyzing statistical characteristics of each block. 2 is a flowchart illustrating a general block motion detection method. As shown in FIG. 2, in the block-by-block motion detection method, the input image is blocked in a predetermined block unit, and then statistical feature values of each block are compared with appropriate threshold values obtained through experiments to detect whether there is motion. In this method, the amount of calculation is reduced and the influence on noise is reduced compared to the motion detection using the pixel value.
일반적으로, 이러한 블럭 단위의 움직임 검출 방법의 성능은 움직임을 정량화하기 위하여 어떠한 특징 값을 사용하는가에 따라서도 좌우되기도 하지만, 그보다는 이러한 특징 값을 가지고 움직임의 유무를 판단하는 데 사용되는 임계값의 결정 방법에 더 많은 영향을 받게 된다. 종래의 블럭 단위의 움직임 검출 방법에 있어서는 수학적인 모델링 없이 반복 실험을 통하여 예측된 고정된 값을 임계값으로 사용하기 때문에, 각각의 상황에 맞는 적절한 수준의 임계값 설정 및 이에 사용된 임계값의 신뢰도에 대한 객관적인 분석이 곤란하다는 문제점이 있었다. 즉, 입력 영상의 특성에 관계없이 고정된 값을 사용하거나, 단순히 각 블럭별 통계적인 특성에 따라 결정되는 임계값을 사용하여 움직임을 검출하는 경우에는 입력 영상의 환경과 조건에 민감하거나 반대로 움직임이 있어도 검출이 제대로 되지 않는 결과를 초래할 수 있다.In general, the performance of this block-based motion detection method depends on which feature values are used to quantify the motion, but rather the threshold value used to determine the presence or absence of motion with these feature values. You will be more influenced by the decision method. In the conventional block detection method, since a fixed value predicted through repeated experiments is used as a threshold value without mathematical modeling, an appropriate level threshold setting for each situation and reliability of the threshold value used therein are used. There was a problem that the objective analysis of the problem was difficult. That is, when motion is detected by using a fixed value regardless of the characteristics of the input image or by simply using a threshold value determined according to statistical characteristics of each block, the motion is sensitive to the environment and conditions of the input image or vice versa. Even if it does, it may result in incorrect detection.
따라서, 본 발명은 이러한 종래의 움직임 검출 방법에 있어서의 문제점을 해결할 수 있는 개선된 움직임 검출 방법 및 이를 이용한 움직임 검출 장치를 제공하는 것을 그 목적으로 한다. 즉, 본 발명은 블럭 단위로 통계적인 특징 값을 계산하여 움직임을 검출하는 블럭 단위의 움직임 검출 방법을 채택함으로써 연산량과 메모리 양을 줄이고 노이즈의 영향을 최소화하도록 하고, 또한 움직임 벡터의 개념을 도입하여 블럭의 움직임 여부에 따라 움직임 블럭과 배경 블럭으로 분류하고 각각의 통계적 분포를 해석하여 최적의 임계값을 입력 영상에 따라 적응적으로 구함으로써, 고정된 임계값을 사용하는 종래 기술에서의 움직임 검출의 신뢰도 저하 문제를 해결하는 것을 그 목적으로 한다.Accordingly, an object of the present invention is to provide an improved motion detection method and a motion detection apparatus using the same that can solve the problems in the conventional motion detection method. In other words, the present invention adopts a block-based motion detection method that detects motion by calculating statistical feature values on a block-by-block basis to reduce the amount of computation and memory, minimize the effects of noise, and also introduce the concept of motion vectors. According to the motion block and background block according to the motion of the block and by analyzing the respective statistical distribution to obtain the optimal threshold value adaptively according to the input image, motion detection in the prior art using a fixed threshold value It aims at solving the problem of reliability fall.
본 발명의 일면에 따르면, 입력된 현재 영상을 소정 크기의 블록으로 블록화하는 단계와, 블록화된 현재 영상의 각 블록의 특징 값을 산출하고 산출된 각 블럭 단위의 특징 값을 각 블록 데이타와 함께 메모리에 저장하는 단계와, 메모리로부터 이전 영상의 블럭 단위의 특징 값들을 판독하여 이 판독된 이전 영상의 블럭 단위의 특징 값과 산출된 현재 영상의 블럭 단위의 특징 값들과의 차를 계산하는 단계와, 산출된 이전 영상과 현재 영상의 블럭 단위 특징 값의 차의 최대값을 산출하는 단계와, 현재 영상의 블럭 데이타와 메모리에 저장된 이전 영상의 블록 데이타를 사용하여 현재 영상의 각 블럭에 대한 움직임 벡터를 검출하는 단계와, 검출된 움직임 벡터와 입력 영상에 대한 통계적 분포값에 기초하여 현재 입력 영상에 대한 적절한 임계값을 예측하는 단계와, 이전 영상과 현재 영상의 블럭 단위 특징 값의 차의 최대값과 예측된 임계값을 비교함으로써 현재 영상에 대한 움직임 여부를 결정하는 단계를 포함하는 움직임 검출 방법이 제공된다.According to an aspect of the present invention, the method comprises: blocking an input current image into blocks having a predetermined size, calculating a feature value of each block of the blocked current image, and storing the calculated feature values of each block unit with each block data; Storing the data in the block unit of the previous image from the memory, and calculating a difference between the block feature of the read previous image and the calculated feature values in the block unit of the current image; Calculating a maximum value of the difference between the calculated previous image and the block unit feature value of the current image, and using the block data of the current image and the block data of the previous image stored in the memory, a motion vector of each block of the current image is obtained. Detecting an appropriate threshold value for the current input image based on the detected motion vector and the statistical distribution of the input image. This step and the previous image and the maximum value of the difference between the block unit of the current image and a feature value by comparing the predicted threshold value for motion detection method for determining whether or not a motion for the current image is provided.
또한, 본 발명의 다른 한 양상에 따르면, 사용자로부터 입력된 윈도우 설정 정보를 기억하기 위한 수단과, 기억 수단으로부터 윈도우 설정 정보를 판독하여 이를 기초로 디지탈 입력 영상 데이타중 윈도우 설정 정보에 해당하는 윈도우 영역내의 유효 화소 데이타를 추출하기 위한 수단과, 추출된 유효 화소 데이타를 소정 크기의 블럭 단위로 더하여 그 평균값을 산출하기 위한 수단과, 추출된 유효 화소 데이타와 블럭 단위의 평균값을 저장하기 위한 수단과, 저장 수단에 저장된 이전 영상의 블럭 단위의 평균값과 입력 영상의 블럭 단위 평균값간의 차를 계산하기 위한 수단과, 이전 영상과 입력 영상의 블럭 단위 평균값의 차이중 최대값을 산출하기 위한 수단과, 입력 영상의 유효 화소 데이타와 저장 수단에 저장된 이전 영상의 유효 화소 데이타를 사용하여 입력 영상의 윈도우 영역내의 각 블럭에 대한 움직임 벡터를 검출하기 위한 수단과, 검출된 움직임 벡터에 기초하여 입력 영상에 대한 임계값을 계산하기 위한 수단과, 이전 영상과 입력 영상의 블럭 단위 평균값의 차이의 최대값과 임계값을 비교하여 입력 영상에 대한 움직임 여부를 결정하기 위한 수단을 포함하는 움직임 검출 장치가 제공된다.According to another aspect of the present invention, there is provided a means for storing window setting information input from a user, and a window area corresponding to window setting information of digital input image data based on reading window setting information from the storing means. Means for extracting effective pixel data therein, means for adding the extracted effective pixel data in units of blocks having a predetermined size, calculating an average value thereof, means for storing the extracted effective pixel data and an average value in units of blocks; Means for calculating a difference between an average value of a block unit of a previous image and an average value of a block unit of an input image stored in the storage means, means for calculating a maximum value of a difference between the block unit average values of the previous image and the input image, and an input image The effective pixel data of the previous image stored in the storage means and the effective pixel data of the Means for detecting a motion vector for each block in the window region of the input image, means for calculating a threshold value for the input image based on the detected motion vector, and a block unit average value of the previous image and the input image. A motion detection apparatus is provided that includes means for determining a motion for an input image by comparing a maximum value of a difference and a threshold value.
도 1은 차 영상을 이용한 일반적인 움직임 검출 방법의 전체 흐름도.1 is a flowchart illustrating a general motion detection method using a difference image.
도 2는 일반적인 블럭 단위 움직임 검출 방법의 흐름도.2 is a flow chart of a general block motion detection method.
도 3은 본 발명에 따른 블럭 단위 움직임 검출 방법의 흐름도.3 is a flowchart of a block unit motion detection method according to the present invention;
도 4는 본 발명에 따라 임계값을 구하는 방법의 흐름도.4 is a flow chart of a method for obtaining a threshold in accordance with the present invention.
도 5는 배경 블럭과 움직임 블럭에 대한 전형적인 확률 분포도.5 is a typical probability distribution diagram for a background block and a motion block.
도 6은 배경 블럭의 누적 확률 분포를 도시한 그래프.6 is a graph illustrating the cumulative probability distribution of background blocks.
도 7은 본 발명에 따른 한 채널의 카메라 입력에 대한 움직임 검출 장치의 블럭도.7 is a block diagram of a motion detection apparatus for a camera input of one channel according to the present invention.
도 8은 본 발명에 따른 4 채널 움직임 검출 장치의 블럭도.8 is a block diagram of a four-channel motion detection apparatus according to the present invention.
도 9는 본 발명에 따른 16 채널 움직임 검출 장치의 블럭도9 is a block diagram of a 16-channel motion detection apparatus according to the present invention
이하에서는 본 발명에 따른 움직임 검출 방법 및 이를 이용한 움직임 검출 장치에 관하여 관련 도면을 참조하여 보다 상세하게 설명한다.도 3은 본 발명에 따른 블럭 단위 움직임 검출 방법의 흐름도를 도시하고 있다.Hereinafter, a motion detection method and a motion detection apparatus using the same according to the present invention will be described in more detail with reference to the accompanying drawings. FIG. 3 is a flowchart illustrating a block-by-block motion detection method according to the present invention.
도 3에 도시된 바와 같이, 단계(301)에서 입력된 현재 영상은 소정 크기의 블럭 단위로 블럭화된다. 블럭 단위 움직임 검출 방법에 있어서 움직임 검출의 성능은 블럭 크기의 영향을 많이 받는다. 만일, 블럭의 크기가 너무 작으면 조그마한 물체의 움직임에도 민감하게 반응하지만, 블럭내 화소값의 수가 적어 이동 물체의 감지에 필요한 통계적 특성을 확보하기 어렵고 외부 노이즈나 흔들림에 많은 영향을 받는다. 반면에, 블럭의 크기가 너무 큰 경우에는 블럭 내에서 움직이는 작은 물체에 대한 움직임 감지가 불가능하게 된다. 본 발명의 일실시예에서는 이를 고려하여 32 x 32 크기로 입력 영상을 블럭화하는데, 이 경우 352 x 240의 입력 영상에 대하여 352/32 = 11, 240/32 = 7.5로 총 11 x 7 = 77개의 블럭이 존재하게 되고, 가로 방향으로 240 - 32 * 7 = 16 라인 정도의 블럭화되지 않는 부분이 존재하게 된다.As shown in FIG. 3, the current image input in step 301 is blocked in units of blocks of a predetermined size. In the block-by-block motion detection method, the performance of motion detection is greatly affected by the block size. If the size of the block is too small, it reacts sensitively to the movement of a small object, but the number of pixel values in the block is small, making it difficult to obtain statistical characteristics necessary for detecting the moving object and greatly affected by external noise or shaking. On the other hand, if the size of the block is too large, it is impossible to detect motion of a small object moving in the block. In one embodiment of the present invention, in consideration of this, the input image is blocked to a size of 32 x 32. In this case, 352/32 = 11 and 240/32 = 7.5 for the input image of 352 x 240, totaling 11 x 7 = 77 pieces. Blocks exist, and there are unblocked portions of 240-32 * 7 = 16 lines in the horizontal direction.
이어서, 단계(302)에서, 현재 영상의 각각의 블럭내에 포함된 화소 데이타들로부터 블럭의 특징 값을 산출한다. 산출된 블럭 단위의 특징값들은 각 블록내의 화소 데이타와 함께 다음 입력 영상에서의 움직임 검출을 위하여 메모리에 저장된다.Then, in step 302, the feature value of the block is calculated from the pixel data contained in each block of the current image. The calculated feature values in block units are stored in the memory for motion detection in the next input image together with the pixel data in each block.
움직임 검출을 위해 사용되는 특징 값으로는 주로 통계적 특징 값을 사용하는 데, 대표적인 통계적 특징 값들로는 평균, 표준편차, 히스토그램 등이 있다.The feature values used for the motion detection mainly use statistical feature values. Typical statistical feature values include mean, standard deviation, and histogram.
평균은 움직임을 검출하는데 있어서 가장 많이 사용되는 특징 값으로 연산량과 계산 시간이 적고 구현이 쉬우며 움직임 검출 성능이 우수하다는 장점이 있다.The average is a feature value that is most used for motion detection. It has the advantages of low computation and computation time, easy implementation, and excellent motion detection performance.
입력 영상이 가로 M개 화소 * 세로 N개 화소로 이루어진 경우, 전체 평균값은 다음의 수학식 1에 따라 구할 수 있다.When the input image is composed of horizontal M pixels * vertical N pixels, the overall average value may be obtained according to Equation 1 below.
한편, 가로 n개 화소 * 세로 n개 화소로 이루어진 블럭의 평균 값은 다음의 수학식 2와 같이 표현된다.On the other hand, the average value of a block consisting of n pixels horizontally n pixels is represented by Equation 2 below.
이전 영상과 현재 영상의 한 블럭의 평균의 차이 값을 DBM(Difference of Block Mean)이라 하면, 이는 다음의 수학식 3과 같이 구해진다.If the difference between the average of one block of the previous image and the current image is called DBM (Difference of Block Mean), it is obtained as in Equation 3 below.
여기서, Ent(x)와 En(t-1)(x)는 각각 현재 영상과 이전 영상의 n x n 크기의 한 블럭의 평균값을 나타낸다.Here, E nt (x) and E n (t-1) (x) represent the average value of one block of size nxn of the current image and the previous image, respectively.
마찬가지로, 이전 영상과 현재 영상의 전체 평균 차이 값을 DGM(Difference of Global Mean)이라 하면, 이는 다음의 수학식 4와 같이 구해진다.Similarly, if the total mean difference value between the previous image and the current image is called DGM (Difference of Global Mean), it is obtained as in Equation 4 below.
여기서, Et(x)와 E(t-1)(x)는 각각 현재 영상과 이전 영상의 전체 평균값을 나타낸다.Here, E t (x) and E (t-1) (x) represent the total average value of the current image and the previous image, respectively.
또 다른 통계적 특징 값인 표준 편차는 움직임 검출보다는 주로 상황 검출에 이용되는 것으로서, 특히 밝기 변화에 민감하여 국소적 밝기 변화를 검출할 때 많이 이용된다. 그러나, 평균값 보다는 연산량이 많고 계산 시간이 오래 걸리는 단점이 있다. 가로 M개 화소, 세로 N개 화소 크기의 전체 영상과 가로 n개 화소 및 세로 n개 화소 크기의 블럭에 대한 전체 표준 편차 값 및 블럭 표준 편차값은 각각 다음의 수학식과 같다.Another statistical feature value, the standard deviation, is mainly used for situation detection rather than motion detection, and is particularly used for detecting local brightness change because it is sensitive to brightness change. However, there is a disadvantage in that the calculation amount is larger than the average value and the calculation time is long. The total standard deviation value and the block standard deviation value of the entire image having a size of M pixels horizontally and N pixels vertically, and the blocks having a size of n pixels horizontally and n pixels vertically are expressed by the following equations, respectively.
또한, 이전 영상과 현재 영상의 한 블럭의 표준 편차의 차이 값을 DBS(Difference of Block Standard deviation)라 하고, 이전 영상과 현재 영상의 전체 표준 편차 차이 값을 DGS(Difference of Global Standard deviation)라 하면, 이는 각각 다음의 수학식으로 주어진다.In addition, if the difference value between the standard deviation of one block of the previous image and the current image is called DBS (Difference of Block Standard deviation), and the difference value of the total standard deviation of the previous image and the current image is DGS (Difference of Global Standard deviation) , Respectively, are given by the following equations.
또 다른 통계적 특징값으로서, 각각의 입력 영상에 대해 밝기 히스토그램이나 색상 히스토그램을 산출하여 이 히스토그램의 이전 영상과 현재 영상간의 차이 값을 이용하기도 한다. 이러한 히스토그램은 카메라의 움직임에 대한 영향을 비교적 덜 받는다는 장점은 있으나, 물체의 프레임내에서의 이동이나 회전의 검출 성능은 떨어진다. 따라서, 감시보다는 주로 이동 물체의 영역 분리나 장면 변화 검출등에 이용된다.As another statistical feature value, a brightness histogram or a color histogram may be calculated for each input image to use a difference value between the previous image and the current image of the histogram. This histogram is advantageous in that it is relatively less affected by camera movement, but the performance of detecting movement or rotation in the frame of the object is poor. Therefore, it is mainly used for area separation of a moving object, scene change detection, etc. rather than monitoring.
본 발명에서는, 이상의 여러 통계적 특징 값들중 블럭 단위의 평균 및 표준 편차를 이용하며, 각각의 이전 영상과 현재 영상간의 차이값인 DBM과 DBS를 구하고 이를 임계값과 비교하여 움직임 여부를 판단한다.In the present invention, the average and standard deviation in units of blocks among the above-described statistical feature values are used, and DBM and DBS, which are differences between respective previous images and current images, are obtained and compared with a threshold to determine whether they move.
도 3을 다시 참조하면, 다음 단계로서, 이전 영상에 대한 움직임 검출 과정에서 블럭화 단계 및 블럭 단위 특징값 산출 단계(301' 및 302')를 통해 메모리에 저장되어 있던 이전 영상의 블럭 단위의 특징 값들을 판독하고, 이 판독된 이전 영상의 블럭 단위의 특징 값들과 이전에 산출된 현재 영상의 블럭 단위의 특징 값들과의 차를 계산하는 단계(303)가 수행된다. 이어서, 계산된 블럭 단위의 특징 값들의 차이에 대해 최대값을 산출하는 단계(304)가 수행되고, 산출된 블럭 단위의 특징 값의 차이의 최대값은 단계(305)에서 예측된 임계치와 비교된다. 임계치보다 특징 값의 차이의 최대값이 큰 경우에는 움직임이 있는 것으로, 그렇지 않은 경우에는 움직임이 없는 것으로 하여 움직임 여부를 검출한다.Referring again to FIG. 3, as a next step, the block value and the block unit feature value calculating step 301 ′ and 302 ′ in the motion detection process for the previous picture, the block value of the previous picture stored in the memory. Step 303 is performed to calculate the difference between the feature values in the block unit of the read previous image and the feature values in the block unit of the current image previously calculated. Subsequently, a step 304 of calculating a maximum value for the difference of the calculated feature values in units of blocks is performed, and the maximum value of the calculated difference of the feature values in units of blocks is compared with a threshold predicted in step 305. . If the maximum value of the difference between the feature values is larger than the threshold, motion is detected. Otherwise, motion is detected as no motion.
다음으로, 움직임 검출 판단의 기준 값이 되는 임계치를 예측하는 단계(306 및 307)에 대하여 설명한다. 도 4는 본 발명에 따라 임계값을 구하는 방법의 상세한 흐름도를 도시하고 있다. 본 발명에서는 도 4에 도시된 바와 같이, 단계(401)에서 먼저 움직임 추정의 개념을 도입하여 움직임 벡터를 구하고, 이를 사용하여 입력 영상의 각 블럭에 대한 움직임 거리를 산출한다(단계 402). 단계(403)에서는 산출된 각 블럭의 움직임 거리를 기초로, 입력된 현재 영상의 각 블럭이 움직임이 존재하는 움직임 블럭에 해당하는지 또는 움직임이 없는 배경 블럭에 해당하는지 여부를 분류한다. 이와 같이, 본 발명에서는 움직임 벡터를 사용하여 분류된 블럭의 통계적인 분포를 이용함으로써 전체적인 임계값의 범위를 유도하고 있다. 일반적으로 움직임 벡터는 움직임이 매우 크거나 물체의 형태에 변형이 있는 경우 또는 회전이나 기타 노이즈가 있는 경우에는 그 정확성이 떨어지는 경향이 있어, 이 움직임 벡터를 움직임 검출에 직접적으로 사용하는 경우에는 신뢰성이 저하되는 문제점이 있지만, 본 발명에서는 이와 같이 움직임 벡터를 움직임 검출에 직접적으로 이용하는 것이 아니라, 단지 임계값의 영역을 적응적으로 결정하기 위하여 움직임 벡터를 사용하여 분류된 블럭의 통계적 분포를 이용하고 있으므로, 움직임 벡터에 어느 정도의 오차가 있다 하더라도 이를 흡수할 수 있게 되는 것이다.Next, the steps 306 and 307 for predicting the threshold value as the reference value for the motion detection determination will be described. 4 shows a detailed flowchart of a method for obtaining a threshold in accordance with the present invention. In the present invention, as shown in Fig. 4, in step 401, the concept of motion estimation is first introduced to obtain a motion vector, and the motion distance for each block of the input image is calculated using the motion vector (step 402). In step 403, based on the calculated motion distance of each block, it is classified whether each block of the input current image corresponds to a motion block in which motion exists or a background block without motion. As described above, the present invention uses the statistical distribution of the blocks classified using the motion vectors to derive the overall threshold range. In general, motion vectors tend to be less accurate in the case of very large movements, deformations in the shape of objects, rotation or other noise, and reliability when using these motion vectors directly for motion detection. Although there is a problem of deterioration, in the present invention, the motion vector is not directly used for motion detection. Instead, the statistical distribution of the blocks classified using the motion vector is used to adaptively determine the threshold region. However, even if there is some error in the motion vector, it can be absorbed.
움직임 벡터를 구하기 위한 움직임 추정 방법에는 블럭 정합 움직임 추정 (block matching motion estimation)이 대표적이며, 이러한 블럭 정합 움직임 추정을 위하여 FS(Full search), TSS(Three-step search), FSS(Four-step search), MFSS(Modified Four-step search) 알고리즘 등이 제안된 바 있다. 한편, 현재 입력 영상의 기준 블럭과 가장 잘 대응되는 이전 영상의 탐색 영역내 대응 블럭을 찾기 위한 비교값으로서는 MiniMax(Minimized Maximum Error), SAD(Sum of Absolute Difference), MSE(Mean Squared Error), CCF(Cross Correlation Function) 등이 일반적으로 사용되고 있다. 본 발명의 일실시예에서는 FS 알고리즘과 MSE를 사용하여 움직임 벡터를 찾는다.Block matching motion estimation is a typical motion estimation method for obtaining a motion vector.Full search (FS), three-step search (TSS), and four-step search (FSS) are used for such block-matched motion estimation. ), Modified Four-step Search (MFSS) algorithm, etc. have been proposed. On the other hand, as a comparison value for finding the corresponding block in the search region of the previous image that best matches the reference block of the current input image, MiniMax (Minimized Maximum Error), Sum of Absolute Difference (SAD), Mean Squared Error (MSE), and CCF. (Cross Correlation Function) is commonly used. In one embodiment of the present invention, the motion vector is found using the FS algorithm and MSE.
한편, 이때 움직임 벡터를 찾기 위한 블럭의 크기가 너무 크게 되면 올바른 움직임 추정을 수행하기가 어려우므로, 본 발명에서는 블럭 정합 움직임 추정을 위한 적절한 블럭 단위로서 16 x 16 크기의 블럭을 사용한다. 이와 같은 크기의 블럭에 대하여 구하여진 움직임 벡터 MV가 (Vx, Vy)로 주어진다면, 이 움직임 벡터의 크기, 즉 움직임 거리 D는 다음의 수학식 9와 같이 주어지게 된다.On the other hand, when the size of the block for finding the motion vector is too large, it is difficult to perform the correct motion estimation, the present invention uses a 16 x 16 block as a suitable block unit for block matching motion estimation. If a motion vector MV obtained for a block of this size is given by (Vx, Vy), the magnitude of the motion vector, that is, the motion distance D, is given by Equation 9 below.
움직임 벡터의 크기 D가 0이면 움직임이 없는 배경 블럭으로, 0이 아니면 움직임이 존재하는 움직임 블럭으로 분류된다.If the size D of the motion vector is 0, it is classified as a background block without motion.
그러나, 전술한 바와 같이, 본 발명에서는 입력된 영상이 32 x 32 크기의 블럭으로 블럭화되므로, 이 32 x 32 크기의 블럭에 따른 움직임 거리를 구하기 위해서는 16 x 16 크기의 블럭에 대해 구해진 움직임 거리에 가중치를 부여한 뒤 그 평균을 취하는 과정을 거쳐야 한다. 즉, 먼저 입력 영상의 32 x 32 블럭을 4 개의 16 x 16 블럭으로 분할한 뒤, 분할된 각 16 x 16 블럭에 대하여 움직임 벡터를 구하고, 구하여진 4 개의 16 x 16 움직임 벡터 크기의 가중치 평균값을 계산하여 그 결과를 32 x 32 블럭의 움직임 거리로 한다. 이를 수식으로 표현하면 다음과 같다.However, as described above, in the present invention, since the input image is blocked into 32 x 32 blocks, in order to obtain the motion distance according to the 32 x 32 size blocks, the input image is applied to the motion distances calculated for the 16 x 16 blocks. After weighting, we need to take the average. That is, first, 32 x 32 blocks of an input image are divided into four 16 x 16 blocks, motion vectors are obtained for each of the divided 16 x 16 blocks, and weighted average values of the four 16 x 16 motion vector sizes obtained are obtained. Calculate and make the result the movement distance of 32 x 32 blocks. If this is expressed as an expression, it is as follows.
여기서, D32는 32 x 32 블럭의 움직임 거리, D16(n)은 32 x 32 블럭내의 4개의 16 x 16 블럭에 대해 구한 움직임 거리, 가중치(n)는 4 개의 16 x 16 블럭의 움직임 벡터 크기에 주어지는 가중치, N16은 32 x 32 크기의 한 블럭내에 존재하는 16 x 16 블럭의 총 개수(여기서는, 4)를 의미한다. 각 16 x 16 블럭의 움직임 벡터 크기에 부여되는 가중치는 각 16 x 16 블럭이 그 움직임 벡터에 의하여 해당하는 32 x 32 블럭을 벗어나게 되는 경우에는 1이, 벗어나지 못하는 경우에는 0이 각각 부여된다. 이상과 같이 구하여진 32 x 32 블럭의 움직임 크기 D32가 0이면 그 블럭은 배경 블럭으로, 1이면 움직임 블럭으로 각각 분류된다.Where D 32 is the movement distance of 32 x 32 blocks, D 16 (n) is the movement distance obtained for four 16 x 16 blocks in a 32 x 32 block, and weight (n) is the motion vector of four 16 x 16 blocks. The weight given to size, N 16 , means the total number of 16 x 16 blocks (4, here) present in one block of size 32 x 32. The weight given to the size of the motion vector of each 16x16 block is assigned to 1 when each 16x16 block is out of the corresponding 32x32 block by the motion vector, and to 0 if it cannot. If the motion size D 32 of the 32 x 32 block obtained as above is 0, the block is classified as a background block, and if it is 1, it is classified as a motion block.
현재 입력 영상의 각 블럭을 움직임 블럭과 배경 블럭으로 분류한 다음, 분류된 배경 블럭의 확률 분포 B를 다음의 수학식 11에 따라 계산한다.Each block of the current input image is classified into a motion block and a background block, and then a probability distribution B of the classified background block is calculated according to Equation 11 below.
여기서, Bdbm및 Bdbs는 각각 블럭 평균의 차이 값(DBM) 및 블럭 표준 편차의 차이값(DBS)에 대한 배경 블럭 확률 분포를 나타내고, NBtotal은 배경 블럭의 총 개수를, NBdbm및 NBdbs는 각각 블럭 평균의 차이값(DBM)과 블럭 표준 편차의 차이값(DBS)을 갖는 배경 블럭의 수를 나타낸다.Here, B dbm and B dbs represent the background block probability distributions for the difference value of the block mean (DBM) and the block standard deviation (DBS), respectively, and NB total represents the total number of background blocks, and NB dbm and NB. dbs represents the number of background blocks each having a difference value of the block mean (DBM) and a block standard deviation (DBS).
움직임 블럭에 대한 확률 분포 M도 유사하게 계산될 수 있는데, 도 5는 이와 같이 계산된 배경 블럭과 움직임 블럭에 대한 전형적인 확률 분포도를 나타내고 있다. 도 5에 도시된 바와 같이, 움직임 블럭의 확률 분포 M은 넓은 영역에 걸쳐 고르게 분포되어 있어 임계값을 구하는 데 사용하기에는 적합하지 않은 반면에, 배경 블럭의 확률 분포 B는 작은 영역에 국한되어 있어 임계값을 결정하기에 용이하므로, 본 발명에서는 이와 같은 배경 블럭의 확률 분포 특성을 이용하여 임계값을 계산한다.Similarly, the probability distribution M for the motion block can be calculated similarly. FIG. 5 shows a typical probability distribution for the background block and the motion block thus calculated. As shown in FIG. 5, the probability distribution M of the motion block is evenly distributed over a wide area, which is not suitable for use in obtaining a threshold value, whereas the probability distribution B of the background block is limited to a small area and thus the threshold. Since the value is easy to determine, in the present invention, the threshold value is calculated using the probability distribution characteristic of the background block.
임계값을 예측하기 위한 다음 단계로서, 단계(404)에서는 계산된 배경 블럭의 확률 분포로부터 누적 확률 분포를 도 6과 같이 구하고, 이 누적 확률 분포가 소정 값 α보다 크게 되는 DBM 또는 DBS의 최소값 - 1을 구하여 이를 각각 임계값 계산의 기초가 되는 Mindbm및 Mindbs로 정의한다. 여기서, DBM 또는 DBS의 누적 확률 분포와 비교되는 값 α는 배경 블럭의 검출 정도를 조정하는 신뢰도 파러미터(parameter)로서, 이 α값이 커질수록 Mindbm, Mindbs및 이를 기초로 자동 조정되는 임계값이 커지게 되고, 배경 블럭을 배경 블럭으로, 움직임 블럭을 움직임 블럭으로 검출할 확률 역시 높아지게 된다. 예를 들어, α = 0.9의 의미는 최소한 90 % 이상의 배경 블럭이 올바르게 검출되는 임계값을 사용하여 움직임 검출을 수행한다는 것을 의미한다.As a next step for predicting the threshold value, in step 404, the cumulative probability distribution is calculated from the calculated probability distribution of the background block as shown in FIG. 6, and the minimum value of the DBM or DBS whose cumulative probability distribution is larger than the predetermined value? Obtain 1 and define it as Min dbm and Min dbs , respectively, on which the threshold calculation is based. Here, the value α compared with the cumulative probability distribution of DBM or DBS is a reliability parameter that adjusts the detection degree of the background block, and as the value of α increases, Min dbm , Min dbs and the threshold automatically adjusted based thereon The value increases, and the probability of detecting a background block as a background block and a motion block as a motion block is also increased. For example, a = 0.9 means that at least 90% or more of the background blocks perform motion detection using a threshold at which it is correctly detected.
계속하여, 단계(405)에서는 구해진 Mindbm또는 Mindbs를 임계값의 기준값과 비교한다. 기준값을 설정하는 이유는 도 5의 확률 분포도에 도시된 바와 같이 대부분의 배경 영역의 DBM이 0 내지 2 사이의 값을 갖고, DBS의 경우도 0 내지 6 사이의 값을 가지므로, Mindbm및 Mindbs값 역시 거의 -1 내지 1 (DBM), -1 내지 5 (DBS)의 너무 작은 값을 갖게 되어, 이 값을 그대로 임계값으로 사용할 경우 너무 낮은 임계값으로 인하여 움직임이 있는 경우로 오판할 우려가 있기 때문이다. 따라서, 기준값을 설정하여 이 기준값보다 작은 Mindbm및 Mindbs값에 대하여는 이를 기준값과 더하여 최종적인 임계값으로 사용한다. 본 발명의 일실시예에서는 기준값의 크기는 배경 영역을 50 내지 80 % 정도 구분하는 대표값으로서, DBM의 경우는 2, DBS의 경우는 4를 사용하였다.Subsequently, in step 405, the obtained Min dbm or Min dbs is compared with a threshold reference value. The reason for setting the reference value is that as shown in the probability distribution diagram of FIG. 5, the DBM of most background regions has a value between 0 and 2, and the DBS has a value between 0 and 6, so Min dbm and Min The dbs value also has values too small of almost -1 to 1 (DBM) and -1 to 5 (DBS), and if this value is used as a threshold value, there is a fear that the motion may be misleading due to a too low threshold value. Because there is. Therefore, the reference value is set and Min dbm and Min dbs values smaller than this reference value are used as the final threshold value in addition to the reference value. In one embodiment of the present invention, the size of the reference value is a representative value for dividing the background area by about 50 to 80%, and 2 for DBM and 4 for DBS.
단계(405)에서, Mindbm및 Mindbs값이 기준값보다 큰 것으로 판정된 경우, 다음 단계(407)로서 배경 블록으로 분류된 블럭의 개수가 전체 블럭 개수의 50 %를 초과하는지를 조사한다. 이것은 배경 블럭의 분포가 움직임의 정도나 움직임 추정과정의 정확도에 따라 달라지는 현상을 고려한 것이다. 즉, 움직임이 큰 경우에는 움직임 벡터의 값이 전 영상 영역에 걸쳐 나타나기 때문에 실제 배경 블럭의 개수가 통계적 분포를 얻기에는 너무 작거나 없는 경우도 발생할 수 있다. 이를 방지하기 위해, 본 발명에서는 단계(407)에서 배경 블럭의 개수가 전체 블럭 개수의 50 %를 초과하는 것으로 판정된 경우에만 계속하여 단계(408)에서 이 배경 블럭의 분포를 이용하여 임계값을 조정하고, 단계(407)에서 50 %를 넘지 않는 것으로 판정된 경우에는 단계(408)에서 이전의 임계값을 사용하여 움직임을 검출한다. 단계(408)에서의 배경 블럭의 분포를 이용한 임계값 조정시에는 급격한 임계값의 변화를 방지하기 위해 이전의 임계값과 현재의 임계값을 조합하여 임계값을 예측한다. 그 관계식은 다음의 수학식 12와 같다.If it is determined in step 405 that the Min dbm and Min dbs values are greater than the reference value, then as a next step 407 it is examined whether the number of blocks classified as background blocks exceeds 50% of the total number of blocks. This takes into account the phenomenon in which the distribution of the background blocks depends on the degree of motion or the accuracy of the motion estimation process. That is, when the motion is large, since the value of the motion vector is displayed over the entire image area, the number of actual background blocks may be too small or too small to obtain a statistical distribution. To avoid this, in the present invention, in step 407, only when it is determined that the number of background blocks exceeds 50% of the total number of blocks, the threshold value is determined using the distribution of the background blocks in step 408. If it is determined in step 407 that it does not exceed 50%, then in step 408 the previous threshold is used to detect motion. In adjusting the threshold value using the distribution of the background block in step 408, the threshold value is predicted by combining the previous threshold value and the current threshold value to prevent a sudden change in the threshold value. The relation is as shown in Equation 12 below.
여기서, Thdbm(t) 및 Thdbs(t)는 각각 현재 영상의 DBM 및 DBS에 대한 임계값을, Thdbm(t-1) 및 Thdbs(t-1)는 각각 이전 영상의 DBM 및 DBS에 대한 임계값을 나타낸다.Here, Th dbm (t) and Th dbs (t) are thresholds for DBM and DBS of the current image, respectively, and Th dbm (t-1) and Th dbs (t-1) are DBM and DBS of the previous image, respectively. Represents a threshold for.
이상의 과정을 통해 계산된 임계값은 도 3의 단계(305)에서, 현재 영상과 이전 영상의 블럭 단위 특징값들의 차(즉, DBM 또는 DBS)의 최대값과 비교되고, 그 비교 결과에 따라 입력 영상의 움직임 여부를 판단한다. 이때, 임계값과 비교되는 값으로서 블럭 단위 특징값들의 차이값(DBM 또는 DBS)의 최대값을 사용하는 이유는 입력 영상의 국부적인 움직임까지도 검출해내고자 하기 위함이다. 즉, 입력 영상내에서 국부적인 움직임이 발생하는 경우에는 소수의 블럭 평균값만이 변화를 일으키게 되는데, 이러한 움직임이 존재하는 블럭의 평균값의 차이값을 임계값과 비교함으로써 국부적인 움직임까지도 검출할 수 있게 되는 것이다.In operation 305 of FIG. 3, the threshold calculated through the above process is compared with the maximum value of the difference between the block unit feature values (ie, DBM or DBS) of the current image and the previous image, and is input according to the comparison result. Determines whether the image moves. In this case, the reason why the maximum value of the difference value (DBM or DBS) of the block unit feature values is used as a value compared with the threshold value is to detect even local movement of the input image. In other words, when a local motion occurs in the input image, only a few average values of the blocks change. By comparing the difference between the average values of the blocks having such motions with the threshold, even local motions can be detected. Will be.
다음으로, 이상의 블럭 단위 움직임 검출 방법을 이용한 움직임 검출 장치에 대하여 설명한다. 도 7은 한 채널의 카메라 입력에 대한 움직임 검출 장치의 블럭도를 도시하고 있다.Next, a motion detection apparatus using the above block unit motion detection method will be described. 7 shows a block diagram of a motion detection apparatus for a camera input of one channel.
도시된 바와 같이, 움직임 검출 장치는 복수개의 화소 데이타로 구성된 디지탈 입력 영상 데이타와 윈도우 설정 정보를 각각 라인(100 및 101)을 통해 입력 받는다. 라인(101)을 통해 입력되는 윈도우 설정 정보는 입력 프레임내에서 움직임 검출을 수행하고자 하는 영역의 윈도우 좌표 XYnA, XYnB, XYnC, XYnD를 의미하는데, 이들 각각은 윈도우의 x 좌표(0 내지 11)를 나타내는 상위 4 비트와 윈도우의 y 좌표(0 내지 7)를 나타내는 하위 4 비트로 이루어진 총 8 비트 데이타이다. 윈도우 영역 판단부(20)에서는 입력받은 좌표 데이타 XYnA, XYnB, XYnC, XYnD를 이용하여 윈도우 영역내의 유효한 데이타 영역의 좌표 A, B, C, D, E, F를 계산한다. 여기서, A 및 B는 제 1 윈도우의 좌측 상단 및 우측 하단의 모서리 좌표를, C 및 D는 제 2 윈도우의 좌측 상단 및 우측 하단의 모서리 좌표를 각각 나타내고, E 및 F는 제 1 및 제 2 윈도우가 겹치는 영역의 좌측 상단 및 우측 하단의 모서리 좌표를 나타낸다.As shown, the motion detection apparatus receives digital input image data and window setting information composed of a plurality of pixel data through lines 100 and 101, respectively. The window setting information input through the line 101 means window coordinates XY n A, XY n B, XY n C, and XY n D of the region in which the motion detection is to be performed in the input frame. A total of 8 bits of data consisting of upper 4 bits indicating x coordinates (0 to 11) and lower 4 bits indicating y coordinates (0 to 7) of the window. The window area determination unit 20 uses the input coordinate data XY n A, XY n B, XY n C, and XY n D to determine the coordinates A, B, C, D, E, and F of the valid data area in the window area. Calculate Here, A and B represent corner coordinates of the upper left and lower right of the first window, C and D represent corner coordinates of the upper left and lower right of the second window, and E and F represent the first and second windows, respectively. Indicates corner coordinates of the upper left and lower right of the overlapping area.
계속하여, 유효 데이타 추출부(30)에서는 계산된 유효한 데이타 영역의 좌표를 이용하여, 입력된 프레임 데이타중에서 이 윈도우 영역에 해당하는 유효한 데이타를 추출하고, 이를 라인(102)을 통해 블럭 단위 평균 산출부(40)로 보낸다. 또한, 유효 데이타 추출부(30)로부터 추출된 유효 데이타는 다음 입력 영상의 움직임 검출을 위하여 라인(103)을 통해 메모리(50)에도 저장된다.Subsequently, the valid data extracting unit 30 extracts valid data corresponding to the window region from the input frame data using the calculated coordinates of the valid data region, and calculates a block unit average through the line 102. Send to section 40. In addition, the valid data extracted from the valid data extraction unit 30 is also stored in the memory 50 through the line 103 to detect the motion of the next input image.
한편, 입력되는 프레임 데이타는 영상의 주사선 단위로 입력되므로, 라인(102)상의 유효 데이타 역시 주사선 단위로 출력되게 되는데, 블럭 단위 평균 산출부(40)에서는 이러한 주사선 단위의 화소 데이타를 입력받아 이를 32 x 32 크기의 블럭 단위로 더한 뒤, 그 평균값을 구한다. 구해진 블럭 단위의 평균값은 다음 입력 영상의 움직임 검출을 위하 라인(104)을 통해 메모리(50)에 저장된다. 한편, 현재 입력 영상의 움직임 검출을 위해 감산부(60)에서는 블럭 단위 평균 산출부(40)에서 구해진 현재 영상의 블럭 단위 평균값과 메모리(50)에 저장되어 있던 이전 영상의 블럭 단위 평균값를 라인(105 및 106)을 통해 입력받아, 그 차를 계산한다. 계산된 블럭 단위 평균값의 차는 최대 평균차 산출부(70)로 보내지게 되고, 최대 평균차 산출부(70)에서는 이들 차이값중 최대치를 구하여 비교부(1000)로 보낸다.Meanwhile, since the input frame data is input in units of scan lines of an image, valid data on the line 102 is also output in units of scan lines, and the block unit average calculator 40 receives pixel data in units of scan lines and receives 32 of the data. Add them in blocks of size x 32 and find their average. The average value of the obtained block unit is stored in the memory 50 through the line 104 to detect the motion of the next input image. On the other hand, in order to detect the motion of the current input image, the subtractor 60 uses the block unit average value of the current image obtained by the block unit average calculation unit 40 and the block unit average value of the previous image stored in the memory 50 in a line 105. And 106) to calculate the difference. The calculated difference of the block unit average value is sent to the maximum average difference calculation unit 70, and the maximum average difference calculation unit 70 obtains the maximum value among these difference values and sends it to the comparison unit 1000.
한편, 움직임 추정부(70)에서는 유효 데이타 산출부(30)로부터 추출된 현재 영상의 유효 데이타와 메모리(50)에 저장되어 있던 이전 영상의 유효 데이타를 각각 라인(107 및 108)을 통해 입력받아, 이들 값으로부터 현재 영상의 윈도우 영역내 각 블럭의 움직임 벡터를 블럭 정합 움직임 추정 방법을 사용하여 구한다. 임계치 산출부(90)는 이들 각 움직임 벡터를 입력받아, 현재 영상의 윈도우 영역내의 각 블럭을 배경 블럭과 움직임 블럭으로 분류하고, 배경 블럭의 확률 분포로부터 입력 영상에 적절한 임계치를 계산하여 이를 비교부(1000)로 출력한다. 비교부(1000)는 이 임계치와 최대 평균차 산출부(70)로부터 계산된 현재 영상과 이전 영상의 블럭 단위 평균값의 차이의 최대값를 비교하여, 현재 영상에 대한 움직임 여부를 판단한다.Meanwhile, the motion estimator 70 receives valid data of the current image extracted from the valid data calculator 30 and valid data of the previous image stored in the memory 50 through lines 107 and 108, respectively. From these values, the motion vector of each block in the window region of the current image is obtained using a block matched motion estimation method. The threshold calculator 90 receives these motion vectors, classifies each block in the window region of the current image into a background block and a motion block, calculates a threshold value suitable for the input image from the probability distribution of the background block, and compares the blocks. Output as (1000). The comparator 1000 compares the threshold and the maximum value of the difference between the average values of the block units of the previous image and the current image calculated by the maximum average difference calculator 70 to determine whether the current image is moving.
이상 설명한 도 7의 한 채널의 카메라 입력에 대한 움직임 검출 장치의 구성은 4 채널 및 16 채널 움직임 검출 구조로 확장 적용될 수 있다. 도 8 및 도 9는 각각 이와 같이 확장된 4 채널 움직임 검출 장치와 16 채널 움직임 검출 장치의 블럭도를 도시하고 있다.The above-described configuration of the motion detection apparatus for the camera input of one channel of FIG. 7 may be extended to four and 16 channel motion detection structures. 8 and 9 show block diagrams of the four-channel motion detection device and the sixteen-channel motion detection device thus expanded, respectively.
도 8에 도시된 바와 같이, 4 채널 움직임 검출 장치는 1 채널 움직임 검출 장치와 동일한 구성 블럭으로 이루어지되, 다만 4 개의 카메라로부터의 입력 영상을 다중화시키기 위한 채널 멀티플렉서(1100)를 더 포함하고 있고, 4 채널에 대한 윈도우 설정 정보가 레지스터(10')에 입력 저장된다는 점이 전술한 1 채널 움직임 검출 장치의 구성과 다르다. 4 개의 카메라 영상 입력중 움직임을 검출하고자 하는 채널 입력 영상과 이 채널에 해당하는 윈도우 설정 정보는 각각 채널 멀티플렉서(1100)와 레지스터(10')에 인가되는 채널 ID(identification)에 의해 구분된다. 즉, 4 채널의 윈도우 설정 정보가 사용자에 의해 레지스터(10')에 입력 저장된 다음, 4 채널의 카메라 영상이 채널 멀티플렉서(1100)로 입력되면, 채널 멀티플렉서(1100) 및 레지스터(10')는 역시 사용자의 조작에 의해 입력되는 채널 ID 신호에 따라, 이에 대응하는 영상 입력 n(0 ≤ n ≤ 4)과 윈도우 설정 정보 n(0 ≤ n ≤ 4)을 각각 윈도우 영역 판단부(20')로 출력한다. 채널 ID에 의해 선택된 입력 영상에 대한 이후 각 블럭에서의 처리는 전술한 1 채널 움직임 검출 장치의 대응하는 블럭에서 수행해지는 처리와 유사하므로, 이에 대한 구체적인 설명은 생략하기로 한다. 다만, 유효 데이타 추출부(30')에서 추출된 현재 영상의 윈도우 영역내 유효 화소 데이타와 블럭 단위 평균 산출부(40')에서 계산된 현재 영상의 블럭 평균차를 다음 입력 영상의 움직임 검출을 위하여 메모리(50')에 저장하는 경우, 이들 데이타가 4 개의 각 채널에 대하여 별도로 저장될 수 있도록 하기 위하여 메모리(50') 영역을 4 개의 채널 영역으로 분할하여 이들 각 분할된 메모리 영역에 채널별 데이타를 저장한다.As shown in FIG. 8, the four-channel motion detection device is composed of the same building blocks as the one-channel motion detection device, but further includes a channel multiplexer 1100 for multiplexing input images from four cameras. The window setting information for four channels is input and stored in the register 10 ', which is different from the above-described configuration of the one-channel motion detection apparatus. The channel input image for detecting motion among the four camera images and the window setting information corresponding to the channel are distinguished by a channel ID applied to the channel multiplexer 1100 and the register 10 ', respectively. That is, if the window setting information of the four channels is stored in the register 10 'by the user, and then the camera image of the four channels is input to the channel multiplexer 1100, the channel multiplexer 1100 and the register 10' are also stored. According to the channel ID signal inputted by the user's operation, corresponding video input n (0 ≤ n ≤ 4) and window setting information n (0 ≤ n ≤ 4) are output to the window area determination unit 20 ', respectively. do. Since the processing in each block for the input image selected by the channel ID is similar to the processing performed in the corresponding block of the one-channel motion detection apparatus described above, a detailed description thereof will be omitted. However, the block average difference between the effective pixel data in the window area of the current image extracted by the valid data extractor 30 'and the current image calculated by the block unit average calculator 40' is used to detect motion of the next input image. When storing in the memory 50 ', the memory 50' area is divided into four channel areas so that these data can be stored separately for each of the four channels. Save it.
이와 같이, 4 채널의 움직임 검출 장치는 채널 ID를 이용하여 입력 영상이 어떤 채널의 입력 데이타인지를 먼저 확인한 후, 블럭 평균차를 구하여 움직임을 검출한다는 점을 제외하고는 1 채널 움직임 검출 장치와 동일하게 동작한다.As described above, the four-channel motion detection apparatus is identical to the one-channel motion detection apparatus except that the first image is first identified which channel the input image is using the channel ID, and then the motion is detected by obtaining a block average difference. It works.
도 9는 16 채널의 움직임 검출 장치의 블럭도를 도시하고 있다. 도시된 바와 같이, 16 채널 움직임 검출 장치는 4 채널 움직임 검출 장치를 병렬 구조로 4 개 사용한다. 기본적인 구성 및 각 블럭의 동작은 4 채널 움직임 검출 장치와 동일하나, 다만 윈도우 설정 정보를 저장하기 위한 레지스터와 입력 영상의 윈도우 영역내 유효 화소 데이타 및 블럭 단위 평균치를 저장하기 위한 메모리는 4 개의 4 채널 움직임 검출 모듈에 의해 공유되어 있다. 4 개의 채널 ID 신호 (채널 ID-a, 채널 ID-b, 채널 ID-c 및 채널 ID-d)에 의해 4 개의 카메라로부터의 입력 영상이 동시에 선택되고, 선택된 4 개의 입력 영상이 계속되는 각 움직임 검출 블럭에 의해 처리됨으로써, 동시에 4 채널의 입력 영상에 대한 움직임 검출을 수행할 수 있게 된다.9 shows a block diagram of a motion detection device of 16 channels. As shown, the 16-channel motion detection device uses four four-channel motion detection devices in parallel. The basic configuration and operation of each block are the same as those of the 4-channel motion detection device, except that a register for storing window setting information and a memory for storing effective pixel data in the window area of the input image and the average value of each block are four four channels. It is shared by the motion detection module. Input motions from four cameras are simultaneously selected by four channel ID signals (channel ID-a, channel ID-b, channel ID-c and channel ID-d), and each motion detection in which the selected four input images continues By processing by the block, it is possible to simultaneously perform motion detection for the input image of the four channels.
이상 본 발명에 따른 움직임 검출 방법 및 이를 이용한 움직임 검출 장치에 대해 설명하였으나, 본 발명의 범위는 이상의 실시예에 국한되는 것이 아니고, 다양한 형태의 변형 및 수정을 포함할 수 있다.While the motion detection method and the motion detection apparatus using the same have been described above, the scope of the present invention is not limited to the above embodiments, and may include various forms of modification and modification.
본 발명은 블럭 단위로 통계적인 특징 값을 계산하여 움직임을 검출하는 블럭 단위의 움직임 검출 방법을 채택함으로써 연산량을 줄이고 노이즈의 영향을 최소화하며, 또 움직임 벡터의 개념을 도입하여 블럭의 움직임 여부에 따라서 움직임 블럭과 배경 블럭으로 분류하고 각각의 통계적 분포를 해석하여 최적의 임계값을 입력 영상에 따라 적응적으로 구함으로써, 고정된 임계값을 사용하는 종래 기술에 비하여 움직임 검출의 신뢰도와 객관성의 향상을 가져올 수 있게 된다.The present invention adopts a block-based motion detection method that detects motion by calculating statistical feature values on a block-by-block basis, thereby reducing the amount of computation and minimizing the effects of noise. By classifying into motion block and background block and analyzing each statistical distribution, the optimal threshold is adaptively calculated according to the input image, thereby improving the reliability and objectivity of motion detection compared to the conventional technique using fixed threshold. You can import it.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000006770A KR100363732B1 (en) | 2000-02-14 | 2000-02-14 | Apparatus and method for detecting a motion in a video signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020000006770A KR100363732B1 (en) | 2000-02-14 | 2000-02-14 | Apparatus and method for detecting a motion in a video signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010081373A KR20010081373A (en) | 2001-08-29 |
| KR100363732B1 true KR100363732B1 (en) | 2002-12-05 |
Family
ID=19646127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020000006770A KR100363732B1 (en) | 2000-02-14 | 2000-02-14 | Apparatus and method for detecting a motion in a video signal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100363732B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101240924B1 (en) | 2011-12-27 | 2013-03-12 | 주식회사 유티솔 | Apparatus and method for motion detecting sensor using camera |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100481495B1 (en) * | 2001-09-25 | 2005-04-07 | 주식회사 코디소프트 | Apparatus and method for capturing image signals based on significance and apparatus and method for compressing and de-compressing significance-based captured image signals |
| KR100452097B1 (en) * | 2002-05-02 | 2004-10-12 | 주식회사 윈포넷 | Image data storing method using a change detection of image data |
| KR100610892B1 (en) * | 2005-01-18 | 2006-08-09 | 엘지전자 주식회사 | Image Processing Device and Method for Plasma Display Panel |
| KR101678769B1 (en) * | 2015-02-26 | 2016-11-23 | 중앙대학교 산학협력단 | Apparatus and Method for detecting object for input image |
| KR102637947B1 (en) * | 2022-07-26 | 2024-02-19 | 주식회사 핀텔 | The Method, Apparatus, and Computer-Readable Medium which Calculate Threshold for Detecting Static Section in Real-time Video |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06113283A (en) * | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | Motion compensation coder |
| KR940017874A (en) * | 1992-12-30 | 1994-07-27 | 김주용 | Structural Hierarchical Motion Estimation Method Using Threshold Value |
| JPH0787485A (en) * | 1993-09-14 | 1995-03-31 | Nec Corp | System and device for coding moving picture signal |
| JPH0799657A (en) * | 1993-09-28 | 1995-04-11 | Nec Corp | Motion vector detector for dynamic image signal |
| JPH07177425A (en) * | 1993-12-17 | 1995-07-14 | Canon Inc | Motion vector detector |
| JPH08256337A (en) * | 1995-03-16 | 1996-10-01 | Toshiba Corp | Moving image coder |
| KR970032136A (en) * | 1995-11-30 | 1997-06-26 | 배순훈 | Motion estimator |
-
2000
- 2000-02-14 KR KR1020000006770A patent/KR100363732B1/en not_active IP Right Cessation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06113283A (en) * | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | Motion compensation coder |
| KR940017874A (en) * | 1992-12-30 | 1994-07-27 | 김주용 | Structural Hierarchical Motion Estimation Method Using Threshold Value |
| JPH0787485A (en) * | 1993-09-14 | 1995-03-31 | Nec Corp | System and device for coding moving picture signal |
| JPH0799657A (en) * | 1993-09-28 | 1995-04-11 | Nec Corp | Motion vector detector for dynamic image signal |
| JPH07177425A (en) * | 1993-12-17 | 1995-07-14 | Canon Inc | Motion vector detector |
| JPH08256337A (en) * | 1995-03-16 | 1996-10-01 | Toshiba Corp | Moving image coder |
| KR970032136A (en) * | 1995-11-30 | 1997-06-26 | 배순훈 | Motion estimator |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101240924B1 (en) | 2011-12-27 | 2013-03-12 | 주식회사 유티솔 | Apparatus and method for motion detecting sensor using camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010081373A (en) | 2001-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5654772A (en) | Method for change detection in moving images | |
| US5748231A (en) | Adaptive motion vector decision method and device for digital image stabilizer system | |
| US7447337B2 (en) | Video content understanding through real time video motion analysis | |
| EP0609022A2 (en) | Image encoding apparatus | |
| US20080253617A1 (en) | Method and Apparatus for Determining the Shot Type of an Image | |
| CN101141633A (en) | Moving object detecting and tracing method in complex scene | |
| CN106327488B (en) | Self-adaptive foreground detection method and detection device thereof | |
| CN111723644A (en) | Method and system for detecting occlusion of surveillance video | |
| JPH0799663A (en) | Movement-vector detector | |
| CN110717408B (en) | People flow counting method based on TOF camera | |
| US8923552B2 (en) | Object detection apparatus and object detection method | |
| JP4213035B2 (en) | Occlusion detector and method for detecting an occlusion region | |
| US5617149A (en) | Apparatus and method for detecting scene changes using the difference of mad between image frames | |
| KR100363732B1 (en) | Apparatus and method for detecting a motion in a video signal | |
| CN110728700B (en) | Moving target tracking method and device, computer equipment and storage medium | |
| JPH09252467A (en) | Mobile object detector | |
| Tao et al. | Real-time detection and tracking of moving object | |
| KR20060003321A (en) | The method or device for the object recognition in the security system | |
| US20100239019A1 (en) | Post processing of motion vectors using sad for low bit rate video compression | |
| Hötter et al. | Detection and description of moving objects by stochastic modelling and analysis of complex scenes | |
| Presti et al. | Real-time object detection in embedded video surveillance systems | |
| KR20040018586A (en) | Motion detecting device using face characteristics and monitoring system adapting it | |
| Wang et al. | A dynamic Hidden Markov Random Field Model for foreground and shadow segmentation | |
| JP4758272B2 (en) | Moving object tracking device and program | |
| KR20030018487A (en) | Method and apparatus for counting the number of entering people at the gate using image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20071123 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |