KR101014296B1 - Apparatus and method for processing image using Gaussian model - Google Patents
Apparatus and method for processing image using Gaussian model Download PDFInfo
- Publication number
- KR101014296B1 KR101014296B1 KR1020090025833A KR20090025833A KR101014296B1 KR 101014296 B1 KR101014296 B1 KR 101014296B1 KR 1020090025833 A KR1020090025833 A KR 1020090025833A KR 20090025833 A KR20090025833 A KR 20090025833A KR 101014296 B1 KR101014296 B1 KR 101014296B1
- Authority
- KR
- South Korea
- Prior art keywords
- sample
- pixel
- block
- unit
- unit block
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Abstract
가우시안 모델을 이용한 영상 처리 장치 및 방법이 개시된다. 영상 분할부는 입력받은 원본 영상프레임을 일정한 크기의 단위블록으로 분할한다. 블록 샘플링부는 원본 영상프레임 상에서 사전에 설정된 기준개수의 인접한 단위블록으로 이루어진 상위블록으로부터 샘플 단위블록을 선택한다. 화소 샘플링부는 가우시안 모델에 의해 샘플 단위블록을 구성하는 복수의 화소 중 표본화소가 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정한다. 화소 분류부는 단위블록들 중에서 전경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여한다. 전경영역 결정부는 표본 단위블록을 구성하는 화소들 중에서 최상위 우선순위가 부여된 화소들에 가우시안 모델을 적용하여 전경영역에 해당하는지 여부를 결정하고, 가우시안 모델의 적용 결과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정한다. 본 발명에 따르면, 최상위 우선순위가 부여된 화소에 대해서만 가우시안 모델을 적용하고, 하위 우선순위가 부여된 화소에 대하여는 가우시안 모델의 적용 결과에 따라 전경영역에 해당하는지 여부를 판단함으로써 영상프레임으로부터 전경영역을 빠르고 정확하게 추출할 수 있다.Disclosed are an image processing apparatus and method using a Gaussian model. The image divider divides the input original image frame into unit blocks having a predetermined size. The block sampling unit selects a sample unit block from an upper block composed of adjacent unit blocks of a predetermined reference number on the original video frame. The pixel sampling unit determines whether a sample pixel among a plurality of pixels constituting the sample unit block corresponds to a foreground area that is an area where an object exists in the original image frame by the Gaussian model. The pixel classification unit gives priority to pixels constituting the sample unit block which is the unit block including the sample pixel corresponding to the foreground area among the unit blocks, according to a preset rule. The foreground region determiner determines whether the foreground region corresponds to the foreground region by applying a Gaussian model to the pixels to which the highest priority is assigned among the pixels constituting the sample unit block, and gives a lower priority according to the result of applying the Gaussian model. It is determined whether the pixels correspond to the foreground area. According to the present invention, the gaussian model is applied only to the pixel to which the highest priority is given, and the foreground area is determined from the image frame by determining whether it corresponds to the foreground area according to the result of applying the Gaussian model to the pixel to which the highest priority is given. Can be extracted quickly and accurately.
Description
본 발명은 가우시안 모델을 이용한 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는, 영상프레임을 구성하는 화소에 가우시안 모델을 적용하여 영상프레임으로부터 전경을 추출하는 장치 및 방법에 관한 것이다.The present invention relates to an image processing apparatus and method using a Gaussian model, and more particularly, to an apparatus and method for extracting a foreground from an image frame by applying a Gaussian model to the pixels constituting the image frame.
컴퓨터 비전 응용에 있어서 전경을 배경으로부터 추출하는 것은 필수적인 과정으로 다양한 알고리즘이 제안되어 왔으며, 감시 시스템, 물체 추적 및 교통 감시 등에 사용된다. 전경 추출은 주로 다른 컴퓨터 비전의 전처리 과정으로 사용되어 전경의 특징들을 전달해 주는 기능을 수행하므로 실시간 동작이 중요시된다.Extracting the foreground from the background is an essential process in computer vision applications. Various algorithms have been proposed and used in surveillance systems, object tracking and traffic monitoring. Foreground extraction is mainly used as a pre-processing process for other computer visions, which performs the function of conveying the features of the foreground, so real-time operation is important.
높은 성능의 전경 추출을 위해 다양한 알고리즘이 제안되었는데, 그 중 하나로서 각 픽셀마다 하나의 가우시안 분포를 사용하여 배경을 모델링하는 이동 평균 방법이 있다. 이동 평균 방법에 의하면, 기존의 픽셀값 분포에 새로운 픽셀값이 포함되면 배경으로 분류되며, 해당 픽셀에 대응하는 가우시안 분포가 갱신된다. 그러나 실외에서는 배경이 시간의 흐름에 따라 여러 값으로 변화하는데, 이러한 이동 평균 방법은 동적인 배경 환경에는 적용하기 어렵다는 단점을 가진다. 이를 극복하 기 위한 혼합 가우시안 모델(MOG)은 픽셀마다 3~5개의 가우시안 분포를 사용하여 배경을 모델링하므로 동적인 배경을 다룰 수 있다. 전경 추출을 위한 또 다른 방법인 커널 밀도 추정(kernel density estimation)은 여러 개의 커널을 사용하여 다모드의 확률 밀도 함수를 만들어내고, 픽셀값에 따라 커널을 바꾸는 방식으로 배경 모델을 갱신한다.Various algorithms have been proposed for high-performance foreground extraction, and one of them is a moving average method for modeling a background using one Gaussian distribution for each pixel. According to the moving average method, when a new pixel value is included in an existing pixel value distribution, it is classified as a background, and a Gaussian distribution corresponding to the pixel is updated. However, in the outdoors, the background changes with various values over time, and this moving average method is difficult to apply to a dynamic background environment. To overcome this problem, the mixed Gaussian model (MOG) models the background using three to five Gaussian distributions per pixel, thus dealing with dynamic backgrounds. Kernel density estimation, another method for foreground extraction, uses multiple kernels to generate a multimodal probability density function, and updates the background model by changing the kernel according to pixel values.
이와 같이 기존에 비해 정확성 등의 면에서 개선된 성능을 가지는 전경 추출 방법들이 제안되었으나, 전경 추출의 속도를 높이기 위한 방법에 대한 연구는 많이 이루어지지 않았다. 이 중 하나로서 고해상도 영상에서 기존의 전경 추출 알고리즘을 실시간으로 처리하기 위한 계층적 자료구조 방법이 제안되었다. 계층적 자료구조를 사용할 경우, 1600×1200의 해상도를 가지는 영상에서 기존 알고리즘에 비해 처리속도가 약 5배 향상되는 효과가 있다. 계층적 자료구조는 사분 트리(quad tree)를 기반으로 하며, 전체 영상이 루트 노드(root node)에 해당한다. 초기 배경 모델이 생성되면 입력영상을 이용하여 사분 트리를 생성하며, 트리의 초기 레벨과 최종 레벨은 사용자에 의해 결정된다. As described above, a foreground extraction method having improved performance in terms of accuracy and the like has been proposed, but a lot of researches on a method for increasing the speed of foreground extraction have not been conducted. As one of them, a hierarchical data structure method is proposed to process the existing foreground extraction algorithm in high resolution image in real time. When hierarchical data structures are used, the processing speed is improved about 5 times compared to the existing algorithm in the image with 1600 × 1200 resolution. The hierarchical data structure is based on a quad tree, and the entire image corresponds to a root node. When the initial background model is generated, the quadrant tree is generated using the input image. The initial level and the final level of the tree are determined by the user.
계층적 자료구조 방법에서는 이렇게 생성된 사분 트리의 각 노드에서 화소 중 하나를 무작위로 선택하여 배경 및 전경 여부를 결정하고 배경 모델을 갱신한다. 초기 레벨에서 시작하여 노드가 전경으로 결정된 경우에는 해당 노드를 사분하여 다음 레벨의 노드를 생성하고 앞의 과정을 반복하며, 화소가 배경으로 결정된 경우에는 동일 레벨의 다음 노드로 이동한다. 트리 구조가 완성된 후 최종 레벨의 노드들에서는 모든 화소에 대하여 전경 추출 알고리즘을 적용한다. 이때 전경인 화 소의 개수가 일정 비율을 넘는 경우에는 동일한 부모 노드를 공유하는 주변 노드에 대하여 앞의 과정을 반복한다. 이전 영상으로부터 생성된 사분 트리는 다음 영상의 초기 트리에 사용하며, 이전 영상에서 전경이 추출된 영역에 대하여는 더 많은 화소를 무작위로 표본 추출하도록 한다.The hierarchical data structure method randomly selects one of the pixels at each node of the quadrant tree thus created to determine the background and foreground, and update the background model. If the node is determined to the foreground starting from the initial level, the node is divided into four nodes to create a node of the next level and the previous process is repeated. If the pixel is determined to be the background, the node moves to the next node of the same level. After the tree structure is completed, the final level nodes apply the foreground extraction algorithm to all pixels. If the number of pixels in the foreground exceeds a certain ratio, the above process is repeated for neighboring nodes sharing the same parent node. The quadrant tree generated from the previous image is used for the initial tree of the next image, and randomly samples more pixels in the foreground extracted region.
이와 같이 기존의 계층적 자료구조 방법에서는 화소를 무작위로 표본 추출함에 따라 전경이 부정확하게 추출될 가능성이 존재하므로, 이를 개선하고 전경 추출 알고리즘의 속도를 증가시킬 수 있는 새로운 방법의 필요성이 제기되고 있다.As such, in the existing hierarchical data structure method, the foreground may be extracted incorrectly by randomly sampling pixels. Therefore, there is a need for a new method to improve the speed and increase the speed of the foreground extraction algorithm. .
본 발명이 이루고자 하는 기술적 과제는, 영상프레임으로부터 정확하고 신속하게 전경을 추출할 수 있는 영상 처리 장치 및 방법을 제공하는 데 있다.An object of the present invention is to provide an image processing apparatus and method capable of accurately and quickly extracting a foreground from an image frame.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상프레임으로부터 정확하고 신속하게 전경을 추출할 수 있는 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another object of the present invention is to provide a computer-readable recording medium having recorded thereon a program for executing an image processing method that can accurately and quickly extract the foreground from an image frame.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치의 제1실시예는, 입력받은 원본 영상프레임을 일정한 크기의 단위블록으로 분할하는 영상 분할부; 상기 원본 영상프레임 상에서 사전에 설정된 기준개수의 인접한 단위블록으로 이루어진 상위블록으로부터 샘플 단위블록을 선택하는 블록 샘플링부; 가우시안 모델에 의해 상기 샘플 단위블록을 구성하는 복수의 화소 중 표본화소가 상기 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정하는 화소 샘플링부; 상기 단위블록들 중에서 상기 전경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여하는 화소 분류부; 및 상기 표본 단위블록을 구성하는 화소들 중에서 최상위 우선순위가 부여된 화소들에 상기 가우시안 모델을 적용하여 전경영역에 해당하는지 여부를 결정하고, 상기 가우시안 모델의 적용 결과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정하는 전경영역 결정부;를 구비한다.In order to achieve the above technical problem, a first embodiment of an image processing apparatus using a Gaussian model according to the present invention includes: an image divider dividing an input original image frame into unit blocks having a predetermined size; A block sampling unit which selects a sample unit block from an upper block composed of adjacent unit blocks of a predetermined reference number on the original video frame; A pixel sampling unit for determining whether a sample pixel among a plurality of pixels constituting the sample unit block corresponds to a foreground area in which an object exists in the original image frame by a Gaussian model; A pixel classification unit for assigning priorities to pixels constituting a sample unit block which is a unit block including a sample pixel corresponding to the foreground area among the unit blocks; And applying the Gaussian model to the pixels to which the highest priority is assigned among the pixels constituting the sample unit block to determine whether the image corresponds to the foreground area, and assigning a lower priority according to a result of applying the Gaussian model. And a foreground area determiner configured to determine whether the pixels correspond to the foreground area.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 가우시안 모델을 이용한 영상 처리 방법의 제1실시예는, 입력받은 원본 영상프레임을 일정한 크기의 단위블록으로 분할하는 영상 분할단계; 상기 원본 영상프레임 상에서 사전에 설정된 기준개수의 인접한 단위블록으로 이루어진 상위블록으로부터 샘플 단위블록을 선택하는 블록 샘플링단계; 가우시안 모델에 의해 상기 샘플 단위블록을 구성하는 복수의 화소 중 표본화소가 상기 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정하는 화소 샘플링단계; 상기 단위블록들 중에서 상기 전경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여하는 화소 분류단계; 및 상기 표본 단위블록을 구성하는 화소들 중에서 최상위 우선순위가 부여된 화소들에 상기 가우시안 모델을 적용하여 전경영역에 해당하는지 여부를 결정하고, 상기 가우시안 모델의 적용 결과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정하는 전경영역 결정단계;를 갖는다.In order to achieve the above technical problem, a first embodiment of an image processing method using a Gaussian model according to the present invention includes: an image segmentation step of dividing an input original image frame into unit blocks having a predetermined size; A block sampling step of selecting a sample unit block from an upper block formed of a predetermined number of adjacent unit blocks on the original video frame; A pixel sampling step of determining whether a sample pixel among a plurality of pixels constituting the sample unit block corresponds to a foreground area in which an object exists in the original image frame by a Gaussian model; A pixel classification step of assigning priorities to pixels constituting a sample unit block which is a unit block including a sample pixel corresponding to the foreground region among the unit blocks according to a preset rule; And applying the Gaussian model to the pixels to which the highest priority is assigned among the pixels constituting the sample unit block to determine whether the image corresponds to the foreground area, and assigning a lower priority according to a result of applying the Gaussian model. And a foreground area determining step of determining whether the pixels correspond to the foreground area.
상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치의 제2실시예는, 입력받은 원본 영상프레임을 일정한 크기의 단위블록으로 분할하는 영상 분할부; 상기 원본 영상프레임 상에서 상기 각각의 단위블록의 위치정보를 포함하는 단말노드 및 상기 원본 영상프레임 상에서 서로 인접한 복수의 단위블록으로 이루어진 상위블록의 위치정보를 포함하는 비단말노드를 계층적으로 배치하여 사분 트리 구조의 전경 추출 트리를 생성하는 트리 생성부; 가우시안 모델에 의해 상기 전경 추출 트리의 최상위 레벨에 위치하는 비단말노드로부터 단말노드까지 순차적으로 각 노드에 포함된 블록을 구성하는 복수의 화소 중 표본화소가 상기 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정하는 샘플링부; 상기 단위블록들 중에서 상기 전경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여하는 화소 분류부; 및 상기 표본 단위블록을 구성하는 화소들 중에서 최상위 우선순위가 부여된 화소들에 상기 가우시안 모델을 적용하여 전경영역에 해당하는지 여부를 결정하고, 상기 가우시안 모델의 적용 결과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정하는 전경영역 결정부;를 구비한다.In order to achieve the above technical problem, a second embodiment of the image processing apparatus using the Gaussian model according to the present invention comprises: an image divider dividing an input original image frame into unit blocks having a predetermined size; Quadrant by hierarchically arranging a terminal node including the location information of each unit block on the original video frame and a non-terminal node including the location information of a higher block composed of a plurality of unit blocks adjacent to each other on the original video frame A tree generator for generating a foreground extraction tree of a tree structure; A sample pixel among a plurality of pixels constituting a block included in each node sequentially from a non-terminal node to a terminal node located at the top level of the foreground extraction tree by a Gaussian model is an area where an object exists in the original image frame. A sampling unit to determine whether the image corresponds to the foreground area; A pixel classification unit for assigning priorities to pixels constituting a sample unit block which is a unit block including a sample pixel corresponding to the foreground area among the unit blocks; And applying the Gaussian model to the pixels to which the highest priority is assigned among the pixels constituting the sample unit block to determine whether the image corresponds to the foreground area, and assigning a lower priority according to a result of applying the Gaussian model. And a foreground area determiner configured to determine whether the pixels correspond to the foreground area.
상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 가우시안 모델을 이용한 영상 처리 방법의 제2실시예는, 입력받은 원본 영상프레임을 일정한 크기의 단위블록으로 분할하는 영상 분할단계; 상기 원본 영상프레임 상에서 상기 각각의 단위블록의 위치정보를 포함하는 단말노드 및 상기 원본 영상프레임 상에서 서로 인접한 복수의 단위블록으로 이루어진 상위블록의 위치정보를 포함하는 비단말노드를 계층적으로 배치하여 사분 트리 구조의 전경 추출 트리를 생성하는 트리 생성단계; 가우시안 모델에 의해 상기 전경 추출 트리의 최상위 레벨에 위치하는 비단말노드로부터 단말노드까지 순차적으로 각 노드에 포함된 블록을 구성하는 복수의 화소 중 표본화소가 상기 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정하는 샘플링단계; 상기 단위블록들 중에서 상기 전 경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여하는 화소 분류단계; 및 상기 표본 단위블록을 구성하는 화소들 중에서 최상위 우선순위가 부여된 화소들에 상기 가우시안 모델을 적용하여 전경영역에 해당하는지 여부를 결정하고, 상기 가우시안 모델의 적용 결과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정하는 전경영역 결정단계;를 갖는다.In order to achieve the above technical problem, a second embodiment of the image processing method using the Gaussian model according to the present invention comprises: an image segmentation step of dividing an input original image frame into unit blocks having a predetermined size; Quadrant by hierarchically arranging a terminal node including the location information of each unit block on the original video frame and a non-terminal node including the location information of a higher block composed of a plurality of unit blocks adjacent to each other on the original video frame A tree generation step of generating a foreground extraction tree of the tree structure; A sample pixel among a plurality of pixels constituting a block included in each node sequentially from a non-terminal node to a terminal node located at the top level of the foreground extraction tree by a Gaussian model is an area where an object exists in the original image frame. A sampling step of determining whether it corresponds to a foreground area; A pixel classification step of assigning priorities to pixels constituting a sample unit block which is a unit block including sample pixels corresponding to the entire management area among the unit blocks; And applying the Gaussian model to the pixels to which the highest priority is assigned among the pixels constituting the sample unit block to determine whether the image corresponds to the foreground area, and assigning a lower priority according to a result of applying the Gaussian model. And a foreground area determining step of determining whether the pixels correspond to the foreground area.
본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치 및 방법에 의하면, 전경영역에 해당하는 것으로 결정된 화소가 포함된 단위블록을 구성하는 복수의 화소 중에서 최상위 우선순위가 부여된 화소에 대해서만 가우시안 모델을 적용하고, 하위 우선순위가 부여된 화소에 대하여는 가우시안 모델의 적용 결과에 따라 전경영역에 해당하는지 여부를 판단함으로써 영상프레임으로부터 전경영역을 빠르고 정확하게 추출할 수 있다. 또한 이전 영상프레임에서 동일한 위치의 상위블록으로부터 선택된 샘플 단위블록과 인접한 단위블록을 샘플 단위블록으로 선택하고, 이전 영상프레임의 샘플 단위블록으로부터 선택된 표본화소와 동일한 위치에 해당하는 화소를 표본화소로 선택함으로써, 전경 추출의 정확성을 높일 수 있다.According to an image processing apparatus and method using a Gaussian model according to the present invention, a Gaussian model is applied only to a pixel to which a highest priority is given among a plurality of pixels constituting a unit block including a pixel determined to correspond to a foreground area. For the pixels given the lower priority, the foreground region can be extracted quickly and accurately from the image frame by determining whether the pixel corresponds to the foreground region according to the result of applying the Gaussian model. In addition, a sample unit block adjacent to the sample unit block selected from the upper block of the same position in the previous image frame is selected as the sample unit block, and pixels corresponding to the same position as the sample pixel selected from the sample unit block of the previous image frame are selected as the sample pixel. By doing so, the accuracy of foreground extraction can be improved.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, exemplary embodiments of an image processing apparatus and method using a Gaussian model according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치에 대한 바람 직한 제1실시예의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a first preferred embodiment of an image processing apparatus using a Gaussian model according to the present invention.
도 1을 참조하면, 본 발명에 따른 영상 처리 장치는 영상 분할부(110), 블록 샘플링부(120), 화소 샘플링부(130), 화소 분류부(140) 및 전경영역 결정부(150)를 구비한다.Referring to FIG. 1, an image processing apparatus according to the present invention may include an
영상 분할부(110)는 원본 영상프레임을 일정한 크기의 단위블록으로 분할한다. 단위블록은 원본 영상프레임을 구성하는 각 화소가 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정할 때 사용된다. 즉, 단위블록으로부터 선택된 하나의 화소에 대해 전경영역에 해당하는지 여부를 판단하면 원본 영상프레임을 구성하는 모든 화소에 대해 판단하는 경우보다 전경 추출의 속도 및 효율성을 향상시킬 수 있다. 단위블록의 크기는 원본 영상프레임의 해상도를 고려하여 결정할 수 있으며, 예를 들면, 원본 영상프레임이 640×480의 해상도를 가지는 경우에 단위블록은 8×8의 크기를 가지도록 할 수 있다.The
블록 샘플링부(120)는 원본 영상프레임 상에서 사전에 설정된 기준개수의 인접한 단위블록으로 이루어진 상위블록으로부터 샘플 단위블록을 선택한다. 또한 화소 샘플링부(130)는 가우시안 모델에 의해 샘플 단위블록을 구성하는 복수의 화소 중 표본화소가 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정한다.The
도 2는 상위블록으로부터 선택된 샘플 단위블록을 도시한 도면이다. 도 2를 참조하면, 서로 인접한 16개의 단위블록이 각각 상위블록 A 내지 D를 형성하며, 샘플 단위블록 a 내지 d는 상위블록 A 내지 D로부터 각각 선택된다. 또한 표본화소는 샘플 단위블록 a 내지 d로부터 하나의 화소가 각각 선택된다. 샘플 단위블록을 선택하기 위해 상위블록을 이용하는 이유는 영상프레임 내의 모든 단위블록에 대해 표본화소를 선택하여 전경영역 해당 여부를 결정하지 않고, 선택된 개수의 샘플 단위블록에 대하여만 표본화소를 선택함으로써 전경 추출의 속도를 높이기 위해서이다. 이때 상위블록의 형태는 정방형인 것이 바람직하며, 상위블록의 크기는 영상프레임의 해상도 및 복잡도에 따라 달라진다. 이하에서는 16개의 단위블록으로 이루어진 상위블록으로부터 샘플 단위블록을 선택하는 경우를 일 예로 하여 설명한다.2 is a diagram illustrating a sample unit block selected from an upper block. Referring to FIG. 2, 16 unit blocks adjacent to each other form upper blocks A to D, and sample unit blocks a to d are selected from upper blocks A to D, respectively. In the sample pixel, one pixel is selected from the sample unit blocks a to d, respectively. The reason for using the upper block to select the sample unit block is to select the sample pixel for all the unit blocks in the image frame and to determine whether the foreground area is applicable, and to select the sample pixel only for the selected number of sample unit blocks. This is to speed up the extraction. At this time, the shape of the upper block is preferably square, and the size of the upper block depends on the resolution and complexity of the video frame. Hereinafter, a case of selecting a sample unit block from an upper block consisting of 16 unit blocks will be described as an example.
이때 샘플 단위블록 및 표본화소를 무작위로 선택할 수도 있으나, 다른 영상프레임과의 관계를 고려하여 일정한 규칙에 따라 선택하면 전경 추출의 정확성을 높일 수 있다. 즉, 블록 샘플링부(120)는 이전 영상프레임 상에서 원본 영상프레임의 상위블록과 동일한 위치에 해당하는 상위블록으로부터 선택된 샘플 단위블록에 인접한 단위블록을 원본 영상프레임의 샘플 단위블록으로 선택한다. 또한 화소 샘플링부(130)는 이전 영상프레임의 샘플 단위블록으로부터 선택된 표본화소와 동일한 위치에 해당하는 화소를 원본 영상프레임의 표본화소로 선택한다.In this case, the sample unit block and the sample pixel may be randomly selected. However, if the selection is made according to a predetermined rule in consideration of the relationship with other image frames, the accuracy of foreground extraction may be increased. That is, the
예를 들면, 원본 영상프레임의 상위블록 A로부터 샘플 단위블록 및 표본화소를 선택할 경우, 이전 영상프레임 상에서 동일한 위치의 상위블록 A로부터 k번째 단위블록을 샘플 단위블록으로 선택하고, 해당 샘플 단위블록 내의 j번째 화소를 표본화소로 선택하였다면, 원본 영상프레임의 상위블록 A로부터는 k+1번째 단위블록을 샘플 단위블록으로 선택하고, 해당 샘플 단위블록 내의 j번째 화소를 표본화소로 선택할 수 있다. 이와 같이 시간적으로 연속하는 복수의 영상프레임에 대해 해당 상위블록 A로부터 순차적으로 모든 단위블록이 선택되어 다시 k번째 단위블록이 선택되면, 이번에는 j+1번째 화소를 표본화소로 선택하게 된다.For example, when the sample unit block and the sample pixel are selected from the upper block A of the original video frame, the k-th unit block is selected as the sample unit block from the upper block A at the same position on the previous video frame, and within the sample unit block. If the j th pixel is selected as the sample pixel, the k + 1 th unit block may be selected as the sample unit block from the upper block A of the original video frame, and the j th pixel in the sample unit block may be selected as the sample pixel. As described above, when all unit blocks are sequentially selected from the upper block A and the k-th unit block is selected for a plurality of image frames that are temporally contiguous, the j + 1 th pixel is selected as the sample pixel.
선택된 표본화소가 전경영역에 해당하는지 여부를 결정하기 위해 가우시안 모델이 사용된다. 이때 앞에서도 설명한 바와 같이 동적인 배경을 다룰 수 있도록 혼합 가우시안 모델을 사용하는 것이 바람직하다. 그러나 본 발명에 의한 전경 추출 알고리즘은 가우시안 모델 뿐만 아니라 화소를 기반으로 하는 기존의 모든 전경 추출 방법에 적용될 수 있다.A Gaussian model is used to determine whether the selected sample pixel corresponds to the foreground area. As described above, it is preferable to use a mixed Gaussian model to deal with the dynamic background. However, the foreground extraction algorithm according to the present invention can be applied to all existing foreground extraction methods based on pixels as well as Gaussian models.
혼합 가우시안 모델은 외부 환경에서 조명 조건의 변화, 나무의 흔들림과 같은 반복적인 움직임 및 급격히 움직이는 객체 등과 같이 고려해야 할 많은 환경 변화 요인들이 존재하는 상황에서 이러한 외부 환경의 변화를 적응적으로 반영하여 배경을 학습할 수 있는 방법이다. 이때 혼합 가우시안 모델은 초기 배경 모델을 필요로 하며, 생성된 초기 배경 모델은 전경 추출 결과에 따라 지속적으로 갱신된다.The mixed Gaussian model adapts the background to adaptively reflects changes in the external environment in the presence of a number of environmental change factors to consider, such as changing lighting conditions, repetitive movements such as tree shaking and rapidly moving objects. It's a way to learn. In this case, the mixed Gaussian model requires an initial background model, and the generated initial background model is continuously updated according to the foreground extraction result.
배경 모델 생성에 사용될 수 있는 방법 중 하나인 EM(expectation maximization) 알고리즘은 미지의 분포 파라미터를 주어진 데이터에 의해 예측하고, 그 예측값에 대해 다시 주어진 데이터를 기반으로 기대치를 최대화시키는 파라미터를 구하는 과정을 반복하면서 최적 파라미터를 얻는 방법이다. 또한 K-means 알고리즘은 주어진 데이터를 k개의 집합으로 분류하고, 각 집합에 대해 산출된 무게중심을 기초로 다시 데이터를 새로운 집합으로 분류하는 과정을 반복하여 전체 데이터를 무게중심이 변하지 않는 상태로 수렴시키는 방법이다.One of the methods that can be used to generate the background model, the EM (expectation maximization) algorithm iterates the process of predicting unknown distribution parameters with given data and then optimizing the expected values based on the given data again. This is how to get optimal parameters. In addition, the K-means algorithm classifies the given data into k sets and repeats the process of classifying the data into a new set based on the center of gravity calculated for each set, converging the entire data without changing the center of gravity. This is how you do it.
EM 알고리즘과 K-means 알고리즘에 의해 배경 모델을 생성하기 위해서는 적 용되는 가우시안의 초기 개수를 설정하여야 하는 단점이 있다. 그러나 평균 이동 알고리즘의 경우에는 가우시안의 초기 개수를 필요로 하지 않기 때문에 미지의 분포로부터 혼합 가우시안 모델을 만드는 가장 바람직한 방법에 해당한다. 평균 이동 알고리즘은 특징의 밀도 분포에서 모드들을 찾는 과정과 찾아진 모드들을 정리하는 과정으로 구성된다. 이하에서는 평균 이동 알고리즘을 이용하여 초기 배경 모델을 생성하는 과정을 설명한다.In order to generate the background model by the EM algorithm and the K-means algorithm, it is necessary to set the initial number of Gaussians to be applied. However, the average shift algorithm does not require an initial number of Gaussians, so it is the most desirable way to create a mixed Gaussian model from an unknown distribution. The mean shift algorithm consists of finding the modes in the density distribution of features and arranging the found modes. Hereinafter, a process of generating an initial background model using an average shift algorithm will be described.
d-차원의 공간 Rd에서 n개의 데이터는 xi(i=1,…,n)와 같이 표현된다. 원본 영상프레임을 구성하는 각 화소의 조도 정보를 이용하는 경우, xi는 밝기 정보이고 d=1이 된다. 한편, 색상 정보를 이용하는 경우에는 d=3이 된다. d=1, 즉 1차원에서 정규 커널을 사용한 평균 이동의 식은 다음의 수학식 1과 같다.n data in the d -dimensional space R d are represented as x i (i = 1, ..., n). When the illuminance information of each pixel constituting the original image frame is used, x i is brightness information and d = 1. On the other hand, when color information is used, d = 3. d = 1, i.e., the average shift using the normal kernel in one dimension is expressed by
여기서, m(x)는 데이터의 위치 변화, n은 데이터의 개수, h는 표준편차, 그리고 x는 데이터의 현재 위치이다.Where m (x) is the change in position of the data, n is the number of data, h is the standard deviation, and x is the current position of the data.
수학식 1을 이용하면 현재의 위치 x로부터 m(x)만큼 이동한 새로운 위치 x'을 찾을 수 있고, 이러한 과정을 x'이 정지된 값으로 수렴할 때까지 반복한다. 이를 통하여 알려지지 않은 밀도 분포의 모드들을 찾아낼 수 있게 되며, 최종적으로 찾아진 모드들을 정리하는 과정을 거쳐 배경 모델을 생성한다. 생성된 배경 모델은 화소 샘플링부(130) 및 전경영역 결정부(150)에 의해 전경 추출이 수행될 때 갱신된다.Using
이와 같이 생성된 초기 배경 모델을 기초로 화소 샘플링부(130)는 선택된 표본화소에 혼합 가우시안 모델을 적용한다. 먼저 표본화소 xt에 대한 확률은 다음의 수학식 2와 같이 표현된다.Based on the generated initial background model, the
여기서, k는 가우시안의 개수, w는 가중치, μ는 가우시안 모델의 평균, σ는 표준 편차, 그리고 xt는 표본화소의 화소값이다.Where k is the number of Gaussians, w is the weight, μ is the mean of the Gaussian model, sigma is the standard deviation, and x t is the pixel value of the sample pixel.
혼합 가우시안 모델을 갱신할 때에는 다음의 수학식 3과 같은 온라인 근사법을 사용한다.When updating the mixed Gaussian model, an online approximation method such as
여기서, w는 가중치, μ는 가우시안 모델의 평균, σ는 표준 편차, xt는 표본화소의 화소값, 그리고 Mi,t는 표본화소의 화소값이 가우시안 모델에 정합되면 1, 그렇지 않으면 0의 값을 가진다.Where w is the weight, μ is the mean of the Gaussian model, σ is the standard deviation, x t is the pixel value of the sample pixel, and M i, t is 1 if the pixel value of the sample pixel matches the Gaussian model, otherwise 0 Has a value.
화소 분류부(140)는 단위블록들 중에서 전경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여한다.The
화소 샘플링부(130)에 의해 원본 영상프레임 상에서 전경영역에 해당하는 것으로 결정된 표본화소의 위치정보가 얻어지면, 각각의 표본화소들이 속한 단위블록인 표본 단위블록을 구성하는 화소들 전체를 대상으로 가우시안 모델을 적용하여 정확한 전경영역을 추출하는 과정이 수행된다. 이때 표본 단위블록을 구성하는 모든 화소에 대해 가우시안 모델을 적용하면 시스템의 속도가 저하될 수 있다. 따라서 본 발명에서는 표본 단위블록을 구성하는 화소들에 대해 우선순위를 부여하여 선택적으로 가우시안 모델을 적용하도록 하였다.When the
표본 단위블록을 구성하는 화소들에 대해 우선순위를 부여하는 과정을 생략 알고리즘으로 정의한다. 생략 알고리즘에서 화소들에 대해 부여되는 우선순위는 일정한 규칙 또는 패턴을 가진다. 도 3a는 나선형 구조의 생략 알고리즘을 도시한 도면이고, 도 3b는 일정 패턴을 가지는 생략 알고리즘을 도시한 도면이다. 도 3a와 도 3b에 나타난 숫자는 각 화소에 부여되는 우선순위를 나타낸다. 이렇게 우선순위가 부여되는 규칙 또는 패턴은 도 3a 및 도 3b에 나타난 경우에 한정되지 않으며, 사용자가 임의로 설정할 수 있다.The process of giving priority to the pixels constituting the sample unit block is defined as an omission algorithm. The priority given to pixels in the omission algorithm has a certain rule or pattern. 3A is a diagram illustrating an omission algorithm of a helical structure, and FIG. 3B is a diagram illustrating an omission algorithm having a predetermined pattern. The numbers shown in Figs. 3A and 3B indicate the priority given to each pixel. Such prioritized rules or patterns are not limited to the cases shown in FIGS. 3A and 3B, and may be arbitrarily set by the user.
전경영역 결정부(150)는 표본 단위블록을 구성하는 화소들 중에서 최상위 우선순위가 부여된 화소들에 가우시안 모델을 적용하여 전경영역에 해당하는지 여부 를 결정하고, 가우시안 모델의 적용 결과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정한다.The
도 3a에 도시된 나선형 구조의 생략 알고리즘을 사용하는 경우, 전경영역 결정부(150)는 먼저 최상위 우선순위인 우선순위 1이 부여된 화소들에 대해 가우시안 모델을 적용한다. 그 결과 사전에 설정된 비율, 예를 들면 25% 이상의 화소들이 전경영역에 해당하는 것으로 결정되면 내부에 위치한 우선순위 2 및 3이 부여된 화소들에 대하여는 가우시안 모델의 적용을 생략하고 전경영역에 해당하는 것으로 판단한다. 그러나 25% 미만의 화소들이 전경영역에 해당하는 것으로 결정되면 다음 순위로 우선순위 2가 부여된 화소들에 대해 가우시안 모델을 적용한다. 그 결과 우선순위 1 및 2가 부여된 화소들 중에서 일정 비율, 예를 들면 25% 이상의 화소들이 전경영역에 해당하는 것으로 결정되면 내부에 위치한 우선순위 3이 부여된 화소들이 전경영역에 해당하는 것으로 판단한다.In the case of using the helical elimination algorithm illustrated in FIG. 3A, the
표본 단위블록을 구성하는 화소들에 도 3b에 도시된 패턴을 기초로 우선순위가 부여되면, 전경영역 결정부(150)는 먼저 최상위 우선순위인 우선순위 1이 부여된 화소들에 대해 가우시안 모델을 적용한다. 이는 화소 샘플링부(130)가 표본화소에 가우시안 모델을 적용하는 과정과 동일하며, 혼합 가우시안 모델을 사용하는 것이 바람직하다.When the pixels constituting the sample unit block are given priority based on the pattern shown in FIG. 3B, the
우선순위 1이 부여된 화소들에 대해 모두 가우시안 모델이 적용되면 각 화소가 전경영역에 해당하는지 배경영역에 해당하는지 여부를 알 수 있다. 다음으로 전경영역 결정부(150)는 우선순위 2가 부여된 화소들에 대해 전경추출을 수행하는데, 이 경우에는 가우시안 모델을 적용하지 않고 우선순위 1이 부여된 화소들에 가우시안 모델을 적용한 결과를 활용한다. 예를 들면, 도 3b에서 우선순위 2가 부여된 각 화소에 대하여는 인접한 8개의 화소가 존재한다. 또한 인접한 8개의 화소들 중에서 우선순위 1이 부여된 화소들은 모두 네 개이다. 전경영역 결정부(150)는 우선순위 1이 부여된 네 개의 화소들 중에서 일정 개수, 예를 들면 세 개 이상의 화소가 전경영역에 해당하는 경우에는 우선순위 2가 부여된 화소도 전경영역에 해당하는 것으로 결정하며, 그렇지 않은 경우에는 우선순위 2가 부여된 화소가 배경영역에 해당하는 것으로 결정한다.When the Gaussian model is applied to all pixels to which
다음으로 전경영역 결정부(150)는 우선순위 3이 부여된 화소들에 대해 전경추출을 수행하게 된다. 이 경우에는 인접한 화소들 중에서 상위 우선순위인 우선순위 1 및 2가 부여된 화소들에 대한 전경추출 결과에 따라 전경영역에 해당하는지 여부가 결정된다. 도 3b를 참조하면, 우선순위 3이 부여된 화소에 인접한 8개의 화소들 중에서 우선순위 1 및 2가 부여된 화소는 네 개이다. 따라서 전경영역 결정부(150)는 우선순위 1 및 2가 부여된 네 개의 화소들 중에서 세 개 이상의 화소가 전경영역에 해당하는 경우에는 우선순위 3이 부여된 화소도 전경영역에 해당하는 것으로 결정하고, 그렇지 않은 경우에는 우선순위 3이 부여된 화소가 배경영역에 해당하는 것으로 결정한다.Next, the
도 3b에 도시된 패턴을 기초로 표본 단위블록을 구성하는 화소들에 대해 부여되는 우선순위는 1 내지 4까지로, 최하위 우선순위가 4이다. 따라서 전경영역 결정부(150)는 마지막으로 우선순위 4가 부여된 화소들에 대해 전경 추출을 수행한 다. 도 3b에서 우선순위 4가 부여된 화소들은 영상프레임의 가장자리에 위치하고 있다. 따라서 인접한 화소들의 개수가 3개 또는 5개로 일정하지 않다. 이때 우선순위 4가 부여된 화소에 인접한 화소들 중 우선순위 1이 부여된 화소의 전경추출 결과만을 고려하여 전경영역에 해당하는 화소가 두 개 이상인 경우에는 우선순위 4가 부여된 화소도 전경영역에 해당하는 것으로 결정할 수 있다. 그러나 반드시 이 방법에 제한되는 것은 아니며, 우선순위 1 내지 3이 부여된 인접한 화소들을 모두 고려하여 전경영역에 해당하는지 여부를 결정할 수 있다.Priorities given to the pixels constituting the sample unit block based on the pattern shown in FIG. 3B are 1 to 4, and the lowest priority is 4. Therefore, the
전경영역 결정부(150)는 표본화소가 포함된 표본 단위블록을 구성하는 화소들 중 일정 비율, 예를 들면 단위블록을 구성하는 전체 화소들의 개수의 70% 이상의 화소들이 전경영역에 해당하는 것으로 결정되면 해당 표본 단위블록에 인접한 단위블록들을 구성하는 모든 화소들에 대하여 동일한 방법으로 전경 추출을 수행한다. 이는 추출된 전경영역의 윤곽을 회복하는 과정이다. 즉, 인접한 단위블록을 구성하는 각 화소에 우선순위를 부여하고, 최상위 우선순위가 부여된 화소로부터 순차적으로 전경영역에 해당하는지 여부를 결정하는 과정이 표본 단위블록에서와 동일하게 이루어진다.The
복수의 영상프레임 사이의 시간적 연속성을 활용하여 전경추출의 속도를 더욱 향상시킬 수도 있다. 원본 영상프레임에 부여된 프레임 번호를 f라 하고, f가 홀수인 경우(f=1,3,5,…)에는 앞에서 설명한 것과 같이 생략 알고리즘을 적용하여 전경영역을 추출한다. 그러나 f가 짝수인 경우에는 f-1 및 f+1에 해당하는 영상프레임, 즉 원본 영상프레임에 시간적으로 앞서는 영상프레임 및 시간적으로 연속하 는 영상프레임에 대한 전경추출의 결과를 고려한다. 즉, f-1 및 f+1에 해당하는 영상프레임 상에서 단위블록을 구성하는 화소가 전경영역에 해당하는 것으로 결정되면, 원본 영상프레임 상에서 동일한 위치에 해당하는 화소에 대하여도 위와 같은 생략 알고리즘 및 가우시안 모델을 적용하지 않고 전경영역에 해당하는 것으로 결정할 수 있다. 그렇지 않은 경우에는 f가 홀수인 경우와 동일하게 전경추출을 수행한다.The speed of foreground extraction may be further improved by utilizing temporal continuity between a plurality of image frames. The frame number assigned to the original video frame is called f. If f is odd (f = 1, 3, 5, ...), the foreground area is extracted by applying an omission algorithm as described above. However, when f is an even number, the result of foreground extraction for video frames corresponding to f-1 and f + 1, that is, video frames temporally preceding the original video frames and temporally continuous video frames, is considered. That is, when it is determined that the pixels constituting the unit block correspond to the foreground area on the image frames corresponding to f-1 and f + 1, the same omission algorithm and Gaussian are applied to the pixels corresponding to the same position on the original image frame. You can decide that it corresponds to the foreground area without applying the model. Otherwise, foreground extraction is performed in the same manner as f is odd.
도 4는 본 발명에 따른 영상 처리 방법에 대한 바람직한 제1실시예의 수행과정을 도시한 흐름도이다.4 is a flowchart illustrating a process of performing a first preferred embodiment of the image processing method according to the present invention.
도 4를 참조하면, 영상 분할부(110)는 입력받은 원본 영상프레임을 일정한 크기의 단위블록으로 분할한다(S410). 다음으로 블록 샘플링부(120)는 원본 영상프레임 상에서 사전에 설정된 기준개수의 인접한 단위블록으로 이루어진 상위블록으로부터 샘플 단위블록을 선택한다(S420). 또한 화소 샘플링부(130)는 가우시안 모델에 의해 샘플 단위블록을 구성하는 복수의 화소 중 표본화소가 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정한다(S430).Referring to FIG. 4, the
화소 분류부(140)는 단위블록들 중에서 전경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여한다(S440). 전경영역 결정부(150)는 부여된 우선순위에 따라 순차적으로 각 화소가 전경영역에 해당하는지 여부를 결정한다(S450). 즉, 표본 단위블록을 구성하는 화소들 중에서 최상위 우선순위가 부여된 화소들에 가우시안 모델을 적용하여 전경영역에 해당하는지 여부를 결정하고, 가우시안 모델의 적용 결 과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정한다.The
도 5는 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치에 대한 바람직한 제2실시예의 구성을 도시한 블록도이다.5 is a block diagram showing the configuration of a second preferred embodiment of an image processing apparatus using a Gaussian model according to the present invention.
도 5를 참조하면, 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치는 영상 분할부(510), 트리 생성부(520), 샘플링부(530), 화소 분류부(540) 및 전경영역 결정부(550)를 구비한다.Referring to FIG. 5, an image processing apparatus using a Gaussian model according to the present invention includes an
영상 분할부(510)는 입력받은 원본 영상프레임을 일정한 크기의 단위블록으로 분할한다. 영상 분할부(510)는 본 발명에 따른 영상 분할 장치의 제1실시예에서 설명한 영상 분할부(110)와 동일한 기능을 수행하므로 상세한 설명을 생략한다.The
트리 생성부(520)는 단말노드 및 비단말노드를 계층적으로 배치하여 사분 트리 구조의 전경 추출 트리를 생성한다. 이때 단말노드에는 원본 영상프레임 상에서 각각의 단위블록의 위치정보가 포함되며, 비단말노드에는 원본 영상프레임 상에서 서로 인접하며 하위레벨에 위치하는 단말노드에 포함된 복수의 단위블록으로 이루어진 상위블록의 위치정보가 포함된다.The
전경 추출 트리는 영상 분할부(510)에 의해 생성된 단위블록을 기초로 생성된다. 기존의 사분 트리는 마지막 레벨의 노드에 해당하는 블록의 크기가 일정하지 않게 된다는 단점이 있다. 예를 들면, 640×480의 해상도를 가지는 영상을 기초로 생성된 사분 트리에서 5레벨 이상의 노드에 해당하는 블록은 소수점의 크기를 갖는다. 본 발명에서는 영상 분할부(510)에 의해 원본 영상프레임이 일정한 크기의 단 위블록으로 분할되어 사분 트리의 마지막 레벨의 노드에 해당하는 블록의 크기를 고정시키므로 이러한 문제를 해결할 수 있다.The foreground extraction tree is generated based on the unit blocks generated by the
도 6은 사분 트리 구조를 가지는 전경 추출 트리의 일 예를 도시한 도면이다. 사분 트리는 자식노드의 개수가 4인 트리구조를 말한다. 도 6을 참조하면, hk는 해당 노드의 높이가 k임을 의미하며, 마지막 레벨에 해당하는 노드의 높이는 0이다. 트리 생성부(520)는 전경 추출 트리를 생성할 때 마지막 레벨에 해당하는 단말노드에 각각 단위블록의 위치정보를 포함시킨다. 이때 원본 영상프레임 상에서 서로 인접한 단위블록들, 바람직하게는 정방형을 형성하는 단위블록들의 위치정보가 이웃한 노드에 포함되도록 한다.6 is a diagram illustrating an example of a foreground extraction tree having a quadrant tree structure. A quadrant tree is a tree structure with four child nodes. Referring to FIG. 6, h k means that the height of the corresponding node is k, and the height of the node corresponding to the last level is zero. When generating the foreground extraction tree, the
다음으로 트리 생성부(520)는 이웃한 단말노드를 네 개씩 결합하여 상위레벨에 해당하는 비단말노드를 생성하고, 이웃한 네 개의 단말노드에 포함된 단위블록들로 이루어진 상위블록의 위치정보를 해당 비단말노드에 포함시킨다. 이러한 과정을 사용자에 의해 설정된 최상위 레벨에 이르기까지 반복한다. 최상위 레벨에 해당하는 노드의 높이 hhighest는 영상프레임의 해상도에 따라 제한되지만, 제한된 범위 내에서 사용자에 의해 결정될 수 있다. 따라서 최상위 레벨에 해당하는 노드가 반드시 원본 영상프레임 전체를 포함하는 루트 노드가 되는 것은 아니다.Next, the
도 6에 도시된 전경 추출 트리에서 최상위 레벨에 해당하는 노드의 높이 hhighest는 2이다. 높이 0에 해당하는 단말노드에 포함된 네 개의 단위블록이 높이 1에 해당하는 비단말노드에 포함될 한 개의 상위블록을 형성하고, 이러한 상위블록 네 개가 높이 2에 해당하는 비단말노드에 포함될 더 큰 상위블록 한 개를 형성하게 된다. 또한 단위블록 및 상위블록들은 모두 정방형의 형태를 가진다. 즉, 단위블록이 8×8의 크기를 가질 때 높이 1에 해당하는 비단말노드에 포함되는 상위블록의 크기는 16×16이 되고, 높이 2에 해당하는 비단말노드에 포함되는 상위블록의 크기는 32×32가 된다.The height h highest of the node corresponding to the highest level in the foreground extraction tree illustrated in FIG. 6 is 2. Four unit blocks included in the terminal
샘플링부(530)는 가우시안 모델에 의해 전경 추출 트리의 최상위 레벨에 위치하는 비단말노드로부터 단말노드까지 순차적으로 각 노드에 포함된 블록을 구성하는 복수의 화소 중 표본화소가 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정한다.In the
트리 생성부(520)에 의한 전경 추출 트리의 생성은 단말노드로부터 순차적으로 상위 레벨의 노드를 생성하는 순서로 이루어진다. 그러나 샘플링부(530)는 최상위 레벨의 노드로부터 단말노드까지 순차적으로 표본화소를 추출하여 전경영역의 해당 여부를 판단한다.Generation of the foreground extraction tree by the
도 7에는 복수의 단위블록으로 분할된 원본 영상프레임이 도시되어 있다. 도 7에 도시된 원본 영상프레임은 64개의 단위블록으로 분할되어 있고, 각 단위블록은 앞의 예와 같이 8×8의 크기를 가진다. 도 7의 원본 영상프레임으로부터 도 6에 도시된 바와 같은 전경 추출 트리를 생성하는 경우, 높이 0에 해당하는 노드에는 각 단위블록의 위치정보가 포함되며, 높이 1에 해당하는 노드에는 인접한 네 개의 단위블록으로 이루어진 상위블록의 위치정보가 포함된다. 동일한 방법으로 높이 2에 해당하는 노드에는 높이 1에 해당하는 노드에 포함된 상위블록이 네 개 모여서 형 성된 상위블록, 즉 16개의 단위블록으로 이루어진 상위블록의 위치정보가 포함된다. 도 7에 도시된 원본 영상프레임에서 A 내지 D로 표시된 상위블록은 전경 추출 트리에서 높이 2에 해당하는 네 개의 노드에 각각 포함된 상위블록을 나타내며, 각각의 상위블록을 구성하는 블록에 표시된 1 내지 16의 숫자는 상위블록을 구성하는 16개의 단위블록을 나타낸다.7 shows an original video frame divided into a plurality of unit blocks. The original video frame shown in FIG. 7 is divided into 64 unit blocks, and each unit block has a size of 8 × 8 as in the previous example. When generating the foreground extraction tree as shown in FIG. 6 from the original image frame of FIG. 7, the node corresponding to
샘플링부(530)는 먼저 전경 추출 트리의 최상위 레벨인 높이 2에 해당하는 노드에 포함된 상위블록을 구성하는 화소 중에서 선택된 표본화소에 가우시안 모델을 적용한다. 가우시안 모델에 의해 표본화소가 전경영역에 해당하는지 여부를 결정하는 과정은 본 발명에 따른 영상 처리 장치의 제1실시예에서 화소 샘플링부(130)에 의해 표본화소에 가우시안 모델이 적용되는 과정과 동일하므로 상세한 설명을 생략한다.The
샘플링부(530)는 표본화소에 대한 가우시안 모델 또는 혼합 가우시안 모델의 적용 결과 해당 표본화소가 배경영역에 해당하는 것으로 판단되면 동일한 높이의 이웃 노드에 포함된 상위블록에 대해 동일한 과정을 수행한다. 예를 들면, 도 7에 나타난 네 개의 상위블록 중 B로부터 선택된 표본화소가 배경영역에 해당하는 것으로 결정되면, 샘플링부(530)는 도 6의 전경 추출 트리에서 상위블록 B가 포함된 노드의 이웃노드에 포함된 상위블록 C로부터 표본화소를 선택하여 가우시안 모델을 적용한다. 상위블록 B도 16개의 단위블록으로 구성되어 있으므로 표본화소를 선택하기 전에 단위블록을 먼저 선택하여야 한다. 이러한 과정은 앞에서 설명한 바와 동일하다. 즉, 샘플링부(530)는 상위블록으로부터 선택된 표본화소가 배경영역에 해당하는 것으로 결정되면, 해당 상위블록을 포함하는 비단말노드의 자식노드에 포함된 블록에 대하여는 전경영역에 해당하는지 여부를 판단하지 않는다.When the
표본화소에 대한 가우시안 모델 또는 혼합 가우시안 모델의 적용 결과 해당 표본화소가 전경영역에 해당하는 것으로 판단되는 경우, 샘플링부(530)는 하위 레벨에 위치하는 노드에 포함된 블록에 대해 동일한 과정을 수행한다. 이는 표본화소가 배경영역에 해당하는 것으로 판단되는 경우와는 상이하다. 이때 사분 트리에서 각 노드는 네 개의 자식노드를 가지고 있으므로 샘플링부(530)는 네 개의 노드들 중에서 가장 왼쪽에 위치하는 노드부터 순차적으로 가우시안 모델을 적용할 수 있다. 예를 들어 도 7에 나타난 네 개의 상위블록 중 A로부터 선택된 표본화소가 전경영역에 해당한다고 가정한다. 그러면 샘플링부(530)는 상위블록 A의 네 개의 자식노드, 즉 전경 추출 트리에서 높이 1에 해당하는 노드에 포함된 상위블록들에 대해 표본화소의 선택 과정을 수행한다.When it is determined that the corresponding sample pixel corresponds to the foreground region as a result of applying the Gaussian model or the mixed Gaussian model to the sample pixel, the
도 8에는 도 6의 전경 추출 트리에서 높이 1에 해당하는 노드에 포함된 상위블록 네 개가 도시되어 있다. 높이 1에 해당하는 노드에 포함된 네 개의 상위블록을 a 내지 d라 한다. 샘플링부(530)는 상위블록 a 내지 d로부터 표본화소를 선택하여 가우시안 모델을 적용한다.8 shows four upper blocks included in a node corresponding to
비단말노드에 포함된 상위블록들에 대해 위와 같이 단위블록과 표본화소의 선택 및 가우시안 모델의 적용 과정을 반복하면 최종적으로 전경 추출 트리에서 높이 0에 해당하는 단말노드에 도달하게 된다. 따라서 샘플링부(530)는 단말노드에 포함된 단위블록으로부터 표본화소를 선택하고 가우시안 모델을 적용하여 해당 표 본화소가 전경영역에 해당하는지 여부를 판단한다.Repeating the process of selecting the unit block and the sample pixel and applying the Gaussian model to the upper blocks included in the non-terminal node finally reaches the terminal node having a height of 0 in the foreground extraction tree. Accordingly, the
결국, 상위블록으로부터 선택된 표본화소가 배경영역에 해당하는 것으로 판단되면 해당 상위블록이 포함된 노드의 자식노드에 대하여는 가우시안 모델을 적용할 필요가 없으며, 상위블록으로부터 선택된 표본화소가 전경영역에 해당하는 것으로 판단되면 하위 레벨에 위치하는 노드로 이동하여 보다 자세한 판단과정이 이루어지게 된다. 최종적으로 샘플링부(530)는 원본 영상프레임 상에서 전경영역에 해당하는 것으로 결정된 표본화소의 위치정보를 획득하게 된다.After all, if it is determined that the sample pixel selected from the upper block corresponds to the background region, it is not necessary to apply the Gaussian model to the child node of the node including the upper block, and the sample pixel selected from the upper block corresponds to the foreground region. If it is determined that the determination moves to a node located at a lower level, a more detailed determination process is performed. Finally, the
화소 분류부(540)는 단위블록들 중에서 전경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여한다. 단위블록이 8×8의 크기를 가지는 경우, 각 화소에 우선순위가 부여되는 규칙 또는 패턴은 본 발명에 따른 영상 처리 장치의 제1실시예에서와 동일하다. 즉, 도 3a 및 도 3b에 도시된 경우와 동일하게 표본 단위블록을 구성하는 화소에 우선순위를 부여할 수 있다.The
전경영역 결정부(550)는 표본 단위블록을 구성하는 화소들에 부여된 우선순위에 따라 순차적으로 각 화소가 전경영역에 해당하는지 여부를 결정한다. 즉, 최상위 우선순위가 부여된 화소들에 가우시안 모델을 적용하여 전경영역에 해당하는지 여부를 결정하고, 가우시안 모델의 적용 결과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정한다. 예를 들어 표본 단위블록을 구성하는 화소들에 도 3a 및 도 3b에 도시된 것과 같이 우선순위가 부여된 경우, 각 화소가 전경영역에 해당하는지 여부를 결정하는 과정은 앞에서 설명한 것과 동일하 다.The
또한 전경영역 결정부(550)에 의해 표본화소가 포함된 표본 단위블록을 구성하는 화소들 중 일정 비율, 예를 들면 단위블록을 구성하는 전체 화소들의 개수의 70% 이상의 화소들이 전경영역에 해당하는 것으로 결정되면 해당 표본 단위블록은 전경영역을 구성하는 단위블록인 것으로 볼 수 있다. 따라서 전경영역 결정부(550)는 전경영역의 윤곽 회복을 위해 도 6에 도시된 전경 추출 트리에서 표본 단위블록을 포함하는 단말노드와 동일한 부모노드를 공유하는 단말노드에 포함된 단위블록들을 구성하는 모든 화소들에 대하여 동일한 방법으로 전경 추출을 수행할 수 있다. 즉, 각 화소에 우선순위를 부여하고, 최상위 우선순위가 부여된 화소로부터 순차적으로 전경영역에 해당하는지 여부를 결정하는 과정이 동일하게 이루어진다.In addition, the
도 9는 본 발명에 따른 영상 처리 방법에 대한 바람직한 제2실시예의 수행과정을 도시한 흐름도이다.9 is a flowchart illustrating a process of performing a second preferred embodiment of the image processing method according to the present invention.
도 9를 참조하면, 영상 분할부(510)는 입력받은 원본 영상프레임을 일정한 크기의 단위블록으로 분할한다(S910). 단위블록의 크기는 원본 영상프레임의 해상도에 따라 결정된다. 트리 생성부(520)는 원본 영상프레임 상에서 각각의 단위블록의 위치정보를 포함하는 단말노드 및 하위레벨에 위치하는 단말노드에 포함되며 원본 영상프레임 상에서 서로 인접한 복수의 단위블록으로 이루어진 상위블록의 위치정보를 포함하는 비단말노드를 계층적으로 배치하여 사분 트리 구조의 전경 추출 트리를 생성한다(S920). 전경 추출 트리의 생성 과정에 대하여는 앞에서 상세하게 설명하였다. 다음으로 샘플링부(530)는 가우시안 모델에 의해 전경 추출 트리의 최 상위 레벨에 위치하는 비단말노드로부터 단말노드까지 순차적으로 각 노드에 포함된 블록을 구성하는 복수의 화소 중 표본화소가 원본 영상프레임에서 객체가 존재하는 영역인 전경영역에 해당하는지 여부를 결정한다(S930). 그 결과 샘플링부(530)는 원본 영상프레임 상에서 전경영역에 해당하는 표본화소의 위치정보를 얻을 수 있게 된다.Referring to FIG. 9, the
화소 분류부(540)는 단위블록들 중에서 전경영역에 해당하는 표본화소가 포함된 단위블록인 표본 단위블록을 구성하는 화소들에 대해 사전에 설정된 규칙에 따른 우선순위를 부여한다(S940). 마지막으로 전경영역 결정부(550)는 표본 단위블록을 구성하는 화소들 중에서 최상위 우선순위가 부여된 화소들에 가우시안 모델을 적용하여 전경영역에 해당하는지 여부를 결정하고, 가우시안 모델의 적용 결과에 따라 하위 우선순위가 부여된 화소들이 전경영역에 해당하는지 여부를 결정한다(S950).The
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에는 640×480의 해상도를 가지는 세 개의 영상이 사용되었고, 도 10a 내지 도 10c에는 실험에 사용된 세 개의 영상인 'Rain', 'Beach' 및 'Car'가 도시되어 있다. 또한 Intel Core 2 CPU @ 2GHz의 컴퓨터를 이용하여 실험을 수행하였다.Experiments were conducted to evaluate the performance of the present invention. In the experiment, three images having a resolution of 640 × 480 were used, and FIGS. 10A to 10C illustrate three images used in the experiment, 'Rain', 'Beach', and 'Car'. In addition, experiments were performed using a computer with an
표 1에는 본 발명에 따른 영상 처리 장치 및 방법의 제1실시예에서 사용한 전경 추출 알고리즘의 평균 처리 속도(프레임/초)를 기존의 알고리즘과 비교하여 나타내었고, 표 2에는 하나의 영상프레임에 대한 전경 추출 알고리즘의 평균 적용 횟수를 나타내었다.Table 1 shows the average processing speed (frame / second) of the foreground extraction algorithm used in the first embodiment of the image processing apparatus and method according to the present invention in comparison with the conventional algorithm. The average number of applications of the foreground extraction algorithm is shown.
표 1 및 표 2에서, MOG는 기존의 혼합 가우시안 모델이고, w/tree는 기존의 사분 트리 구조를 이용한 전경 추출 알고리즘이다. 표 1을 참조하면, 본 발명에서 사용된 전경 추출 알고리즘을 사용할 경우 영상프레임에 대한 처리 속도가 향상된다는 것을 확인할 수 있다. 또한 표 2를 참조하면, 기존의 방법에 비해 본 발명의 경우에 하나의 영상프레임에 대한 전경 추출 알고리즘의 적용 횟수가 크게 감소하여 성능이 향상되었음을 확인할 수 있다.In Table 1 and Table 2, MOG is a conventional mixed Gaussian model and w / tree is a foreground extraction algorithm using the existing quadrant tree structure. Referring to Table 1, when using the foreground extraction algorithm used in the present invention it can be seen that the processing speed for the image frame is improved. In addition, referring to Table 2, it can be seen that the number of applications of the foreground extraction algorithm for one image frame is significantly reduced compared to the conventional method, thereby improving performance.
다음으로 표 3에는 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치 및 방법의 제2실시예에서 사용한 전경 추출 알고리즘의 처리 속도를 나타내었고, 표 4에는 전경 추출 알고리즘의 적용 횟수를 나타내었다.Next, Table 3 shows the processing speed of the foreground extraction algorithm used in the second embodiment of the image processing apparatus and method using the Gaussian model according to the present invention, and Table 4 shows the number of application of the foreground extraction algorithm.
표 1 및 표 2에서 MOG는 기존의 혼합 가우시안 모델, w/tree는 기존의 사분 트리 구조를 이용한 전경 추출 알고리즘, SQS는 정방형 블록 기반의 알고리즙, SPR은 도 3a에 도시된 나선형 구조의 생략 알고리즘, PTN은 도 3b에 도시된 패턴을 가지는 생략 알고리즘, 그리고 PTN(pr)은 패턴에 확률 모델을 적용한 생략 알고리즘을 나타낸다.In Table 1 and Table 2, MOG is the conventional mixed Gaussian model, w / tree is the foreground extraction algorithm using the existing quadrant tree structure, SQS is the square block-based algorithm, and SPR is the elimination algorithm of the spiral structure shown in FIG. , PTN indicates an omission algorithm having a pattern shown in FIG. 3B, and PTN (pr) indicates an omission algorithm applying a probability model to the pattern.
표 3 및 표 4를 참조하면, 혼합 가우시안 모델에 사분 트리 구조의 전경 추출 트리를 이용한 경우(MOG+w/tree)에는 2~3배의 속도 향상을 확인할 수 있다. 다른 영상에 비해 'car' 영상에서 낮은 성능 향상을 보이는데, 이는 도 10c에 도시된 바와 같이 'car' 영상에 존재하는 객체의 크기가 크므로 사분 트리 구조의 전경 추출 트리를 사용한 이득이 감소하였기 때문이다. 이는 표 4에 나타난 전경 추출 알고리즘의 적용 횟수가 'rain' 및 'beach' 영상에서는 혼합 가우시안 모델만을 사용하였을 때보다 92~93% 감소한 반면에 'car' 영상에서는 84% 감소한 것으로부터 확인할 수 있다. 따라서 전경영역에 위치하는 객체의 크기가 작을수록 본 발명에서의 속도 향상의 정도가 커지게 됨을 알 수 있다.Referring to Table 3 and Table 4, when the foreground extraction tree of the quadrant tree structure is used for the mixed Gaussian model (MOG + w / tree), it can be seen that the speed improvement of 2-3 times. Compared to other images, the performance of the 'car' image is lower than that of other images, since the size of the object present in the 'car' image is large, as shown in FIG. to be. This can be seen from the fact that the number of application of the foreground extraction algorithm shown in Table 4 is reduced by 92 ~ 93% in the 'rain' and 'beach' images than in the mixed Gaussian model alone, but by 84% in the 'car' image. Therefore, it can be seen that the smaller the size of the object located in the foreground area, the greater the speed improvement in the present invention.
사분 트리 구조(w/tree)를 사용한 것에서 정방형 블록 기반(SQS)으로 변경한 것에 의한 속도 차이는 나타나지 않았다. 그러나 패턴과 확률을 이용한 생략 알고리즘에서는 속도의 향상을 보였다. 다른 생략 알고리즘에서는 사분 트리 구조를 사용한 경우에 비해 전경 추출 알고리즘의 적용 횟수가 10% 미만으로 감소한 반면에 확률적 패턴 생략 알고리즘(MOG+SQS+PTN(pr))의 경우에는 35% 정도 감소하였기 때문이다.There was no difference in speed due to the change from quadrant tree structure (w / tree) to square block-based (SQS). However, the skipping algorithm using patterns and probabilities showed an improvement in speed. In the other omission algorithms, the number of application of the foreground extraction algorithm is reduced by less than 10% compared to the case of using the quadrant tree structure, while the probability reduction pattern (MOG + SQS + PTN (pr)) is reduced by 35%. to be.
도 11은 도 10a 내지 도 10c에 도시된 도면에 대해 실험을 수행한 결과를 도시한 도면이다. 도 11에서 (a) 내지 (c)는 각각 도 10a 내지 도 10c에 도시된 도면에 대해 실험을 수행한 결과를 나타내며, 왼쪽부터 순서대로 원본영상, 혼합 가우시안 모델을 적용한 영상, 사분 트리 구조의 전경 추출 트리를 사용한 결과 영상, 정방형 블록을 이용한 결과 영상, 나선형 구조의 생략 알고리즘을 사용한 결과 영상 및 확률적 패턴 생략 알고리즘을 사용한 결과 영상을 나타낸다. 도 11을 참조하면, 혼합 가우시안 모델과 비교하였을 때 다른 알고리즘의 결과 영상들도 비교적 나쁘지 않은 결과를 보인다. 계층적인 전경 추출 트리를 사용하였을 때 전 영상의 결과를 이용하더라도 작은 물체의 경우에는 깜빡거리는 현상이 발생하는 단점을 가진다.FIG. 11 is a diagram illustrating the results of experiments performed on the drawings illustrated in FIGS. 10A to 10C. In FIG. 11, (a) to (c) show the results of experiments on the drawings shown in FIGS. 10A to 10C, respectively, the original image, the image to which the mixed Gaussian model is applied, and the quadrant tree structure in order from the left. The result image using the extraction tree, the result image using the square block, the result image using the spiral elimination algorithm, and the result image using the stochastic pattern elimination algorithm are shown. Referring to FIG. 11, compared with the mixed Gaussian model, the results of other algorithms also show relatively poor results. When using the hierarchical foreground extraction tree, even if the result of the entire image is used, the flickering phenomenon occurs in the case of small objects.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.
도 1은 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치에 대한 바람직한 제1실시예의 구성을 도시한 블록도,1 is a block diagram showing the configuration of a first preferred embodiment of an image processing apparatus using a Gaussian model according to the present invention;
도 2는 상위블록으로부터 선택된 샘플 단위블록을 도시한 도면,2 is a diagram illustrating a sample unit block selected from an upper block;
도 3a는 나선형 구조의 생략 알고리즘을 도시한 도면,3A is a diagram illustrating an elimination algorithm of a spiral structure;
도 3b는 일정 패턴을 가지는 생략 알고리즘을 도시한 도면,3b illustrates an abbreviation algorithm having a predetermined pattern;
도 4는 본 발명에 따른 영상 처리 방법에 대한 바람직한 제1실시예의 수행과정을 도시한 흐름도,4 is a flowchart illustrating a process of performing a first preferred embodiment of an image processing method according to the present invention;
도 5는 본 발명에 따른 가우시안 모델을 이용한 영상 처리 장치에 대한 바람직한 제2실시예의 구성을 도시한 블록도,5 is a block diagram showing a configuration of a second preferred embodiment of an image processing apparatus using a Gaussian model according to the present invention;
도 6은 사분 트리 구조를 가지는 전경 추출 트리의 일 예를 도시한 도면,6 is a diagram illustrating an example of a foreground extraction tree having a quadrant tree structure;
도 7은 복수의 단위블록으로 분할된 원본 영상프레임을 도시한 도면,7 is a view illustrating an original video frame divided into a plurality of unit blocks;
도 8은 도 6의 전경 추출 트리에서 높이 1에 해당하는 노드에 포함된 상위블록 네 개를 도시한 도면,FIG. 8 illustrates four upper blocks included in a node corresponding to
도 9는 본 발명에 따른 영상 처리 방법에 대한 바람직한 제2실시예의 수행과정을 도시한 흐름도,9 is a flowchart illustrating a process of performing a second preferred embodiment of the image processing method according to the present invention;
도 10a 내지 도 10c는 실험에 사용된 세 개의 영상인 'Rain', 'Beach' 및 'Car'를 도시한 도면, 그리고,10A to 10C are diagrams showing three images 'Rain', 'Beach' and 'Car' used in the experiment, and
도 11은 도 10a 내지 도 10c에 도시된 도면에 대해 실험을 수행한 결과를 도시한 도면이다.FIG. 11 is a diagram illustrating the results of experiments performed on the drawings illustrated in FIGS. 10A to 10C.
Claims (17)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090025833A KR101014296B1 (en) | 2009-03-26 | 2009-03-26 | Apparatus and method for processing image using Gaussian model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090025833A KR101014296B1 (en) | 2009-03-26 | 2009-03-26 | Apparatus and method for processing image using Gaussian model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100107649A KR20100107649A (en) | 2010-10-06 |
| KR101014296B1 true KR101014296B1 (en) | 2011-02-16 |
Family
ID=43129315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090025833A KR101014296B1 (en) | 2009-03-26 | 2009-03-26 | Apparatus and method for processing image using Gaussian model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101014296B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101296734B1 (en) | 2011-12-30 | 2013-08-20 | 전남대학교산학협력단 | Method for object segmentation by combination of gaussian mixture model and rgb clustering |
| US10885636B2 (en) | 2017-11-07 | 2021-01-05 | Electronics And Telecommunications Research Institute | Object segmentation apparatus and method using Gaussian mixture model and total variation |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101117235B1 (en) * | 2010-12-21 | 2012-03-16 | 연세대학교 산학협력단 | Apparatus and method for recognizing traffic accident |
| KR101394242B1 (en) * | 2011-09-23 | 2014-05-27 | 광주과학기술원 | A method for monitoring a video and an apparatus using it |
| KR101272645B1 (en) * | 2013-04-24 | 2013-06-10 | (주)나인정보시스템 | Detection apparatus and method for objects in the image using spatio-temporal gaussian mixture background model |
| KR101479845B1 (en) * | 2013-05-31 | 2015-01-09 | 서울여자대학교 산학협력단 | Anterior cruciate ligament segmentation apparatus and the method from Knee MR images |
| KR101581162B1 (en) * | 2015-06-24 | 2015-12-31 | 전정희 | Automatic detection method, apparatus and system of flame, smoke and object movement based on real time images |
| KR102593453B1 (en) * | 2016-05-31 | 2023-10-24 | 엘지디스플레이 주식회사 | Display for virtual reality and driving method thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032760A (en) | 2000-07-17 | 2002-01-31 | Mitsubishi Electric Corp | Method and device for extracting moving object |
| KR100568237B1 (en) | 2004-06-10 | 2006-04-07 | 삼성전자주식회사 | Apparatus and method for extracting moving objects from video image |
-
2009
- 2009-03-26 KR KR1020090025833A patent/KR101014296B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032760A (en) | 2000-07-17 | 2002-01-31 | Mitsubishi Electric Corp | Method and device for extracting moving object |
| KR100568237B1 (en) | 2004-06-10 | 2006-04-07 | 삼성전자주식회사 | Apparatus and method for extracting moving objects from video image |
Non-Patent Citations (2)
| Title |
|---|
| 박대용, 김재민, 조성원, 김준범, "개선된 적응적 가우시안 혼합 모델을 이용한 객체 검출", 한국퍼지 및 지능시스템학회지 제15권 제2호, pp.283-289, 2005. |
| 박순영, 송영섭, 김항준, "가우시안 분포를 기반으로 한 얼굴 추적", 한국정보과학회, 한국컴퓨터종합학술대회 논문집 제33권 제1(B)호, pp. 295-297, 2006. |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101296734B1 (en) | 2011-12-30 | 2013-08-20 | 전남대학교산학협력단 | Method for object segmentation by combination of gaussian mixture model and rgb clustering |
| US10885636B2 (en) | 2017-11-07 | 2021-01-05 | Electronics And Telecommunications Research Institute | Object segmentation apparatus and method using Gaussian mixture model and total variation |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100107649A (en) | 2010-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101014296B1 (en) | Apparatus and method for processing image using Gaussian model | |
| JP6441980B2 (en) | Method, computer and program for generating teacher images | |
| US8605795B2 (en) | Video editing methods and systems | |
| Sajid et al. | Background subtraction for static & moving camera | |
| Jin et al. | Image aesthetic predictors based on weighted CNNs | |
| US10535141B2 (en) | Differentiable jaccard loss approximation for training an artificial neural network | |
| EP2224357A1 (en) | Video segmentation | |
| US9058540B2 (en) | Data clustering method and device, data processing apparatus and image processing apparatus | |
| JP2020518191A (en) | Quantization parameter prediction maintaining visual quality using deep neural network | |
| US9418440B2 (en) | Image segmenting apparatus and method | |
| CN109859236B (en) | Moving object detection method, system, computing device and storage medium | |
| JPH1153525A (en) | Facial organ detector and medium | |
| CN111026914A (en) | Training method of video abstract model, video abstract generation method and device | |
| CN105828081B (en) | encoding method and encoding device | |
| US20150063697A1 (en) | Method and apparatus for segmenting object in image | |
| Giraldo et al. | Graph CNN for moving object detection in complex environments from unseen videos | |
| Dey et al. | Efficient foreground extraction from HEVC compressed video for application to real-time analysis of surveillance ‘big’data | |
| CN111079864A (en) | Short video classification method and system based on optimized video key frame extraction | |
| CN110691246B (en) | Video coding method and device and electronic equipment | |
| KR20210109719A (en) | Method and Apparatus for Video Colorization | |
| Liu et al. | Scene background estimation based on temporal median filter with Gaussian filtering | |
| CN111161282B (en) | Target scale selection method for image multi-level segmentation based on depth seeds | |
| JP5801614B2 (en) | Image processing apparatus and image processing method | |
| Katsenou et al. | Understanding video texture—A basis for video compression | |
| CN111488476B (en) | Image pushing method, model training method and corresponding devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20140120 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20150108 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |