KR20100073081A - Apparatus for separating foreground from back ground and method thereof - Google Patents

Apparatus for separating foreground from back ground and method thereof Download PDF

Info

Publication number
KR20100073081A
KR20100073081A KR1020080131666A KR20080131666A KR20100073081A KR 20100073081 A KR20100073081 A KR 20100073081A KR 1020080131666 A KR1020080131666 A KR 1020080131666A KR 20080131666 A KR20080131666 A KR 20080131666A KR 20100073081 A KR20100073081 A KR 20100073081A
Authority
KR
South Korea
Prior art keywords
foreground
codeword
background
background separation
codebook
Prior art date
Application number
KR1020080131666A
Other languages
Korean (ko)
Other versions
KR101215987B1 (en
Inventor
김갑기
황본우
이지형
김진서
이승욱
추창우
김호원
구본기
이길행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131666A priority Critical patent/KR101215987B1/en
Priority to US12/535,877 priority patent/US8417034B2/en
Publication of KR20100073081A publication Critical patent/KR20100073081A/en
Application granted granted Critical
Publication of KR101215987B1 publication Critical patent/KR101215987B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Abstract

PURPOSE: An apparatus for separating a foreground from a back ground and a method thereof are provided to enhance the foreground/background separation performance by accurately performing a codeword modeling. CONSTITUTION: A background model generator(300) generates a codebook for foreground/background separation, and includes a codeword generation block(301) and codeword rearrangement block(302). The codebook includes plural codewords, and a foreground/background separation unit(350) separates the foreground from the background by using the generated codebook. A foreground/background decision unit(351) includes a post-processing block(352).

Description

전경/배경 분리 장치 및 방법 {Apparatus for separating foreground from back ground and method thereof}Apparatus for separating foreground from back ground and method approximately}

본 발명은 전경/배경 분리 장치 및 방법에 관한 것으로서, 상세하게는 복수개의 코드워드로 구성된 코드북을 생성함으로써 전경과 배경을 분리하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for separating foreground and background, and more particularly, to an apparatus and method for separating foreground and background by generating a codebook composed of a plurality of codewords.

본 발명은 지식 경제부 및 정보통신진흥원의 IT 원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2008-F-030-01, 과제명: 방통융합형 Full 3D 복원 기술 개발(표준화연계].The present invention is derived from a study conducted as part of the IT original technology development project of the Ministry of Knowledge Economy and the Ministry of Information and Communication Promotion. Standardization].

종래에 전경/배경 분리 기술은 화소의 밝기 값으로 배경을 모델링하여 전경과 배경을 분리하였다. 그러나, 복잡한 배경에서는 배경을 모델링하기 쉽지 않으므로 MOG(Mixture of Gaussian) 방법을 통해 배경을 모델링하였다. 그러나 MOG 방법은 배경의 빠른 변화를 적은 수의 Gaussian으로는 모델링하기 어렵다는 단점이 있었다. 그래서 Gaussian의 수를 늘이고 학습 비율을 빠른 변화에 맞추면 천천히 변하는 배경에 대해서는 전경으로 인식하는 문제점이 발생하였다. Conventionally, the foreground / background separation technique separates the foreground and the background by modeling the background with the brightness value of the pixel. However, because the background is not easy to model in complex backgrounds, the background is modeled using the MOG (Mixture of Gaussian) method. However, the MOG method has the disadvantage that it is difficult to model the rapid change of the background with a small number of Gaussian. Therefore, increasing the number of Gaussian and adjusting the learning rate to rapid change caused a problem of recognizing the slowly changing background as the foreground.

또한, 실제 적용 기술은 속도에 중점을 두고 있어서, 조건을 만족하는지 여부에 따라 배경 모델을 생성한다. 이와 같은 경우, 배경 모델을 만들 때 정교한 모델이 만들어 지지 않을뿐더러 필요이상의 수의 모델이 생성될 수 있기 때문에 많은 모델을 검색하지 않을 수 없게되어 시간적인 손해가 발생한다.In addition, the practical application technique focuses on speed, and generates a background model according to whether the condition is satisfied. In such a case, when creating a background model, not only the elaborate model is created but also more models than necessary can be generated, which causes a large amount of models to be searched, resulting in time loss.

상기 문제점을 해결하기 위하여 본 발명은, 적정한 코드 워드를 생성함으로써 전경/배경 분리에 있어서 불필요한 시간을 줄일 수 있고, 코드 워드 모델링을 정교하게 함으로써 전경/배경 분리 성능을 높여주는 전경/배경 분리 장치 및 방법을 제공한다.In order to solve the above problems, the present invention, by generating a proper code word can reduce unnecessary time in the foreground / background separation, foreground / background separation apparatus for improving the foreground / background separation performance by sophisticated code word modeling and Provide a method.

상기 목적을 달성하기 위하여 본 발명의 일 측면은, 전경/배경 분리를 위해 복수 개의 코드워드로 구성된 코드북을 생성하는 배경모델 생성부와 생성된 코드북을 이용하여 전경/배경을 분리하는 전경/배경 분리실행부를 포함한다.In order to achieve the above object, an aspect of the present invention provides a background model generator for generating a codebook consisting of a plurality of codewords for foreground / background separation and foreground / background separation for separating foreground / background using the generated codebook. It includes an execution unit.

또한, 배경모델 생성부는 상기 생성된 코드북을 상기 코드워드에 속한 샘플 데이터 수를 기준으로 재정렬한다.The background model generator reorders the generated codebook based on the number of sample data belonging to the codeword.

또한, 코드워드는 비슷한 색상을 기준으로 묶인 샘플 데이터의 집합인 것을 특징으로 한다.In addition, the codeword is a set of sample data grouped based on a similar color.

또한, 샘플 데이터는 K평균 군집 방법을 이용하여 군집하는 것을 특징으로 한다.In addition, the sample data is characterized in that for clustering using the K average clustering method.

또한, 코드북은 배경 영상의 화소 위치 단위로 생성되는 것을 특징으로 한다.The codebook may be generated in units of pixel positions of the background image.

또한, 배경모델 생성부는 상기 샘플 데이터의 산재된 값을 판단하여 적정한 코드워드 개수를 선택하고, 각 코드워드의 대표값과 대표값과의 거리 및 상기 코드워드 내 샘플 데이터의 밝기 정보를 계산한다.In addition, the background model generator determines an interspersed value of the sample data, selects an appropriate number of codewords, calculates a distance between the representative value and the representative value of each codeword, and calculates brightness information of the sample data in the codeword.

또한, 각 코드워드의 대표값과 대표값 간의 거리는 유클리디안 거리인 것을 특징으로 한다.In addition, the distance between the representative value and the representative value of each codeword is characterized in that the Euclidean distance.

또한, 전경/배경 분리 실행부는 임의의 샘플에 대한 색상과 밝기를 확인하여 상기 샘플이 상기 코드워드 내에 있는지 여부를 판단한다.Also, the foreground / background separation execution unit checks the color and brightness of any sample to determine whether the sample is in the codeword.

또한, 색상의 확인은 상기 임의의 샘플과 상기 코드워드 중심점과의 거리로 판단하는 것을 특징으로 한다.In addition, the identification of the color may be determined by the distance between the arbitrary sample and the codeword center point.

또한, 밝기의 확인은 밝기 차이가 정규 분포의 특정 확률값보다 큰 경우 배경 화소로 결정하고, 상기 밝기 차이가 정규 분포의 특정 확률값보다 작은 경우 전경 화소로 결정하는 것을 특징으로 한다.In addition, the confirmation of the brightness may be determined as a background pixel when the brightness difference is greater than a specific probability value of the normal distribution and as a foreground pixel when the brightness difference is smaller than the specific probability value of the normal distribution.

상기 목적을 달성하기 위하여 본 발명의 다른 측면은, 전경/배경 분리를 위해 N개의 코드워드로 구성된 코드북을 생성하는 단계와 생성된 코드북을 상기 코드워드에 속한 샘플 데이터 수를 기준으로 재정렬하는 단계와 코드북을 이용하여 전경/배경을 분리하는 단계를 포함한다.In order to achieve the above object, another aspect of the present invention is to generate a codebook consisting of N codewords for foreground and background separation, and rearranging the generated codebook based on the number of sample data belonging to the codeword; Separating the foreground / background using a codebook.

또한, 코드워드는 비슷한 색상을 기준으로 묶인 샘플 데이터의 집합인 것을 특징으로 한다.In addition, the codeword is a set of sample data grouped based on a similar color.

또한, 샘플 데이터는 K평균 군집 방법을 이용하여 군집하는 것을 특징으로 한다.In addition, the sample data is characterized in that for clustering using the K average clustering method.

또한, 코드북은 배경 영상의 화소 위치 단위로 생성되는 것을 특징으로 한다.The codebook may be generated in units of pixel positions of the background image.

또한, 코드북을 생성하는 단계는 상기 샘플 데이터의 산재된 값을 판단하여 적정한 코드워드 개수를 선택하고, 각 코드워드의 대표값과 대표값과의 거리 및 상기 코드워드 내 샘플 데이터의 밝기 정보를 계산한다.The generating of the codebook may include determining an appropriate number of codewords by determining the scattered values of the sample data, calculating a distance between the representative value and the representative value of each codeword, and calculating brightness information of the sample data in the codeword. do.

또한, 각 코드워드의 대표값과 대표값 간의 거리는 유클리디안 거리인 것을 특징으로 한다.In addition, the distance between the representative value and the representative value of each codeword is characterized in that the Euclidean distance.

또한, 전경/배경을 분리하는 단계는 임의의 샘플에 대한 색상과 밝기를 확인하여 상기 샘플이 상기 코드워드 내에 있는지 여부를 판단하는 것을 특징으로 한다.In addition, the separating of the foreground and the background may be performed by determining the color and brightness of a random sample to determine whether the sample is within the codeword.

또한, 색상의 확인은 상기 임의의 샘플과 상기 코드워드 중심점과의 거리로 판단하는 것을 특징으로 한다.In addition, the identification of the color may be determined by the distance between the arbitrary sample and the codeword center point.

또한, 밝기의 확인은 밝기 차이가 정규 분포의 특정 확률값보다 큰 경우 배경 화소로 결정하고, 상기 밝기 차이가 정규 분포의 특정 확률값보다 작은 경우 전경 화소로 결정하는 것을 특징으로 한다.In addition, the confirmation of the brightness may be determined as a background pixel when the brightness difference is greater than a specific probability value of the normal distribution and as a foreground pixel when the brightness difference is smaller than the specific probability value of the normal distribution.

본 발명에 의하면, 적정한 코드 워드를 생성함으로써 전경/배경 분리에 있어서 불필요한 시간을 줄일 수 있으며, 코드 워드 모델링을 정교하게 함으로써 전경/배경 분리 성능을 높여주는 효과가 있다. According to the present invention, it is possible to reduce unnecessary time in foreground / background separation by generating an appropriate code word, and to enhance foreground / background separation performance by elaborating code word modeling.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intentions or customs of the user, the operator, and the like. Therefore, the definition should be made based on the contents throughout the specification.

도 1은 본 발명에 의한 코드북을 만드는 과정에서 코드워드를 생성하는 과정을 도시한 도면이다. 도 2는 본 발명에 의한 특정 코드워드에서 코드워드에 포함될 샘플과 코드워드에 포함되지 않을 샘플의 거리 분포를 나타낸 도면이다. 도 3은 본 발명에 의한 전경/배경 분리 장치를 도시한 도면이다. 도 1 내지 도 3을 참조하면, 본 발명에 의한 전경/배경 분리 장치는 배경모델 생성부(300)와 전경/배경 분리실행부(350)를 포함한다. 1 is a diagram illustrating a process of generating a codeword in a process of creating a codebook according to the present invention. 2 is a diagram illustrating a distance distribution between a sample to be included in a codeword and a sample not to be included in a codeword in a specific codeword according to the present invention. 3 is a view showing a foreground / background separation apparatus according to the present invention. 1 to 3, the foreground / background separation apparatus according to the present invention includes a background model generator 300 and a foreground / background separation execution unit 350.

배경모델 생성부(300)는 전경/배경 분리를 위해 복수 개의 코드워드로 구성된 코드북을 생성한다. 배경모델 생성부(300)는 코드워드 생성블록(301)과 코드워드 재정렬블록(302)을 포함할 수 있다. The background model generator 300 generates a codebook consisting of a plurality of codewords for foreground / background separation. The background model generator 300 may include a codeword generation block 301 and a codeword rearrangement block 302.

배경모델 생성부(300)는 입력되는 영상에서 각 화소의 위치 단위로 코드북을 생성한다. 도 1을 참조하면, 코드북(100)은 복수개의 코드워드(101, 102, 103)으로 구성 되고, 코드워드(101, 102, 103)는 비슷한 색상을 기준으로 묶인 샘플의 집합을 나타낸다. 코드워드 생성블록(301)은 군집 알고리즘인 K 평균 군집 방법을 이용하여 군집을 나눈다. 복수개의 군집이 생성되면 이것이 코드워드(101, 102, 103)가 된다. 코드워드(101, 102, 103)는 중심점을 가지고 중심점과 코드워드 내부의 샘플과의 거리를 측정하고, 다른 코드워드 샘플과의 거리를 측정하여 2가지 분포를 만든다. 도 2는 이와 같은 2가지 분포를 도시한 것이다. 이때 코드워드 내부 거리를 측정한 분포와 코드워드 바깥 샘플과의 거리를 측정한 분포 즉, 2가지 분포에서 해당 코드워드에 속할 확률의 임계치(200) 및 보수적으로 정한 임계치(210)를 결정한다. 만약, 코드워드가 1개만 생성된다면, 코드워드의 분포를 이용하여 특정 확률 값을 기준으로 임계값을 설정하게 된다. 또한, 코드워드 내부에 분포한 샘플의 밝기 정보의 평균값, 최대값, 최소값을 측정한다. 임계치 설정 방법은 영상의 상태에 따라 달라질 수 있는데, 얼마 만큼의 오류를 허용할 것인지에 따라서 달라진다. 만약 오류 허용을 최소화 하는데, 목적을 두면 보수적 임계치(210)를 사용하게 된다. 임계치의 설정 방법은 전경/배경 분리 실행부(350)에서 후처리를 어떻게 진행할 것인지와 연관되어 결정될 수 있다. 도 2를 참조하면, 후처리 알고리즘을 여러 번 사용하는 경우, 도 2의 오른쪽 그래프의 임계치 왼쪽 부분을 많이 채택할 수 있고, 반대로 후처리를 최소화하는 경우에는 왼쪽 그래프의 임계치 오른쪽 부분과 오른쪽 그래프의 임계치 왼쪽 부분을 잘 안배하여 적정한 부분에 임계치를 결정하게 된다. The background model generator 300 generates a codebook in units of position of each pixel in the input image. Referring to FIG. 1, the codebook 100 includes a plurality of codewords 101, 102, and 103, and the codewords 101, 102, and 103 represent a set of samples grouped based on similar colors. The codeword generation block 301 divides the cluster using the K mean clustering method, which is a clustering algorithm. When a plurality of clusters are generated, these become the codewords 101, 102, 103. The codewords 101, 102, and 103 have a center point to measure the distance between the center point and the sample inside the codeword and measure the distance between the other codeword samples to make two distributions. 2 shows these two distributions. At this time, the distribution measuring the distance between the codeword inner distance and the codeword outer sample, that is, the threshold 200 and the conservatively determined threshold 210 of the probability belonging to the corresponding codeword in two distributions are determined. If only one codeword is generated, a threshold value is set based on a specific probability value using a distribution of codewords. In addition, the average value, the maximum value, and the minimum value of the brightness information of the sample distributed inside the codeword are measured. The threshold setting method may vary depending on the state of the image, depending on how many errors are allowed. If the goal is to minimize error tolerance, the conservative threshold 210 is used. The setting method of the threshold value may be determined in association with how to perform post-processing in the foreground / background separation execution unit 350. Referring to FIG. 2, when the post-processing algorithm is used several times, the threshold left portion of the right graph of FIG. 2 may be adopted. In contrast, when the postprocessing is minimized, the threshold right portion and the right graph of the left graph may be adopted. The left side of the threshold is well arranged to determine the threshold in the appropriate section.

코드워드 재정렬블록(302)은 생성된 코드북(103)을 코드워드(100, 101, 102) 에 속한 샘플 데이터 수를 기준으로 재정렬한다. 이와 같이 재정렬 작업을 거치는 것은 많은 샘플로 구성된 것은 배경으로 나타날 확률이 높다고 가정되므로, 검색의 효율성을 높이기 위함이다. The codeword rearrangement block 302 rearranges the generated codebook 103 based on the number of sample data belonging to the codewords 100, 101, and 102. This reordering operation is intended to increase the efficiency of the search because it is assumed that a sample composed of many samples is likely to appear in the background.

전경/배경 분리실행부(350)는 생성된 코드북(100)을 이용하여 전경/배경을 분리한다. 전경/배경 분리실행부(350)는 전경/배경 결정부(351)와 후처리 블록(352)를 포함할 수 있다. 전경/배경 결정부(351)는 코드북(100)과 전경/배경 분리를 위한 영상을 입력으로 한다. 전경/배경 결정부(351)는 각 화소 단위의 코드워드 값을 코드북(100)에서 읽어들여, 해당 코드워드 값과 현재 입력된 화소값과의 RGB 공간 거리인 유클리디안 거리를 측정한다. 측정한 거리는 모든 코드워드의 분포에 대해서 적용한다. 전경/배경 결정부(351)가 가까운 코드워드 내부 점으로 판단하면, 밝기를 측정하여 해당 코드워드 밝기 분포와 비교하여 최종적으로 해당 코드워드에 속하는 샘플인지 여부를 판단한다. 입력 화소의 밝기를 비교하여 해당 코드워드에 속할 확률이 낮다고 판단되는 경우, 두번째로 가까운 코드워드 분포에 대해 밝기 비교를 통하여 해당 코드워드에 속하는지 판단한다. 마지막 코드워드, 즉 해당 샘플과 가장 거리가 먼 코드워드와의 거리 분포가 코드워드의 외부로 결정될 경우 전경으로 판정된다. The foreground / background separation execution unit 350 separates the foreground / background by using the generated codebook 100. The foreground / background separation execution unit 350 may include a foreground / background determination unit 351 and a post-processing block 352. The foreground / background determiner 351 receives an image for separating the codebook 100 and the foreground / background. The foreground / background determiner 351 reads the codeword value of each pixel from the codebook 100 and measures the Euclidean distance, which is the RGB spatial distance between the corresponding codeword value and the currently input pixel value. The measured distance applies to all codeword distributions. When the foreground / background determiner 351 determines that the inner codeword is a nearby point, the brightness is measured and compared with the corresponding codeword brightness distribution to finally determine whether the sample belongs to the codeword. When it is determined that the probability of belonging to the corresponding codeword is low by comparing the brightness of the input pixel, it is determined whether the codeword belongs to the corresponding codeword by comparing the brightness of the second closest codeword distribution. The final codeword, that is, the distance distribution with the codeword farthest from the sample, is determined as the foreground when it is determined to be outside of the codeword.

전경/배경 결정부(351)의 결정에 오류가 포함될 수 있으므로, 후 처리 블록(352)은 오류 제거를 위하여 모폴로지 기반의 후처리 작업(침식, 팽창연산)을 적용하여 전경과 배경을 분리한 마스크 영상을 출력한다. 영상의 환경에 따라서 후처리 작용이 달라지므로, 침식 팽창 연산의 순서와 횟수를 환경에 따라 다르게 변화 시킨다. 앞서 설명한 바와 같이 배경모델 생성부(300)의 코드워드의 중심점과 내부거리의 임계치 및 코드워드 중심점과 외부거리의 임계치를 상기 후 처리 블록(352)의 후처리 성능에 따라 다르게 설정할 수 있다. Since the error may be included in the determination of the foreground / background determiner 351, the post-processing block 352 may apply a morphology-based post-processing operation (erosion, expansion operation) to separate the foreground and the background in order to remove the error. Output the video. Since the post-processing action varies according to the environment of the image, the order and number of erosion expansion operations are changed differently according to the environment. As described above, the threshold value of the center point and the internal distance of the codeword and the threshold value of the codeword center point and the external distance of the background model generator 300 may be set differently according to the post-processing performance of the post processing block 352.

도 4는 본 발명에 의한 전경/배경 분리 방법에 따른 코드북 생성 방법을 도시한 것이다. 도 3 및 도 4를 참조하면, 코드워드 생성 블록(301)은 같은 좌표의 화소 RGB 값을 추출한다(400 단계). 또한, 추출한 RGB 값을 이용하여 K평균 군집화 알고리즘을 이용하여 군집화하고(410 단계), 군집화한 결과의 RGB 값을 이용한 코드워드 대표값을 생성한다(420 단계). 코드워드 대표값, 즉 중심점을 결정하였으면, 이를 중심으로 코드워드 내부 거리분포를 측정하여 분포도를 작성한다(430단계). 또한 코드워드 중심점과 코드워드 외부 샘플과의 거리 분포를 측정하여 분포도를 작성한다(440단계). 또한, 코드워드 내부의 밝기 정보를 측정한다(450단계). 이와 같이 생성된 코드워드 및 코드워드 내부 거리분포, 외부 거리분포, 밝기 정보를 이용하여 입력된 화소가 특정 코드워드에 속하는 지를 판단하게 된다.4 illustrates a codebook generation method according to a foreground / background separation method according to the present invention. 3 and 4, the codeword generation block 301 extracts pixel RGB values having the same coordinates (400). In addition, the extracted RGB value is clustered using the K-average clustering algorithm (step 410), and a codeword representative value using the RGB value of the clustered result is generated (step 420). When the codeword representative value, that is, the center point is determined, a distribution map is generated by measuring the distance distribution within the codeword based on the codeword representative value (step 430). In addition, the distribution is measured by measuring the distance distribution between the codeword center point and the codeword external sample (step 440). In addition, the brightness information inside the codeword is measured (step 450). The generated codeword, the codeword internal distance distribution, the external distance distribution, and the brightness information are used to determine whether the input pixel belongs to a specific codeword.

도 5는 본 발명에 의한 전경/배경 분리 실행 절차를 도시한 도면이다. 도 5를 참조하면, 도 4단계에서 생성된 코드워드와 전경/배경 분리를 위한 검증용 영상을 입력받고(500단계), 입력받은 검증용 영상의 해당 좌표에 대한 화소 RGB 값을 추출한다(510 단계). 이와 같이 추출된 입력화소와 코드워드 간의 거리를 측정한다(520단계). 여기서 거리는 유클리디안 거리를 의미한다. 이때, 거리값이 작은 코드워드의 거리분포를 먼저 측정한다(550 단계). 측정 결과 코드워드의 내부에 위치하는지 검사하여(560 단계), 내부에 위치하는 경우 코드워드의 밝기 분포를 측정한 다(570 단계). 코드워드의 중심점과의 밝기를 비교한 결과(580단계), 코드워드의 내부에 위치하는 경우 배경으로 결정한다(590단계). 만약 560단계 또는 580 단계에서 코드워드의 내부에 위치하는 것이 아니라고 판단된 경우, 측정할 코드워드가 더 존재하는지 판단한다(530 단계). 더 존재하는 경우 550단계부터 590단계의 절차를 반복한다. 5 is a diagram illustrating a foreground / background separation execution procedure according to the present invention. Referring to FIG. 5, a codeword generated in FIG. 4 and a verification image for foreground / background separation are input (step 500), and pixel RGB values of corresponding coordinates of the input verification image are extracted (510). step). In step 520, the distance between the extracted input pixel and the codeword is measured. The distance here means Euclidean distance. In this case, the distance distribution of the codeword having a small distance value is first measured (step 550). As a result of the measurement, it is checked whether it is located inside the codeword (step 560), and if it is located inside, the brightness distribution of the codeword is measured (step 570). As a result of comparing the brightness with the center point of the codeword (step 580), if it is located inside the codeword is determined as the background (step 590). If it is determined in step 560 or 580 that it is not located inside the codeword, it is determined whether there are more codewords to measure (step 530). If there is more, the procedure of steps 550 to 590 is repeated.

530단계에서 측정할 코드워드가 더 이상 남아있지 않은 경우, 존재하는 모든 코드워드에 대하여 내부에 존재하지 않는 데이터이므로, 전경이라고 판단된다(540단계). If the codeword to be measured in step 530 no longer remains, since it is data that does not exist in all of the existing codewords, it is determined that the foreground (step 540).

본 실시형태의 모듈, 기능 블록들 또는 수단들은 전자 회로, 집적 회로, ASIC (Application Specific Integrated Circuit) 등 공지된 다양한 소자들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수 있다.Modules, functional blocks or means of the present embodiment may be implemented in a variety of known elements, such as electronic circuits, integrated circuits, ASICs (Application Specific Integrated Circuit), each may be implemented separately, or two or more may be integrated into one Can be.

이상과 같이 본 발명의 이해를 위하여 그 실시예를 기술하였으나, 당업자라면 알 수 있듯이, 본 발명은 본 명세서에서 기술된 특정 실시예에 한정되는 것이 아니라, 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 변경 및 대체될 수 있다. 예를 들어, 문자 대신 기타 LCD 등 디스플레이에 의해 표시될 수 있는 그림, 영상 등에도 본 발명의 기술이 적용될 수 있다. 따라서, 본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 특허청구범위에 의하여 모두 포괄하고자 한다.Although the embodiments have been described for the understanding of the present invention as described above, it will be understood by those skilled in the art, the present invention is not limited to the specific embodiments described herein, but variously without departing from the scope of the present invention. May be modified, changed and replaced. For example, the technique of the present invention may be applied to a picture, an image, etc., which may be displayed by a display such as an LCD instead of a character. Therefore, it is intended that the present invention cover all modifications and variations that fall within the true spirit and scope of the present invention.

도 1은 본 발명에 의한 코드북을 만드는 과정에서 코드워드를 생성하는 과정을 도시한 도면이다. 1 is a diagram illustrating a process of generating a codeword in a process of creating a codebook according to the present invention.

도 2는 본 발명에 의한 특정 코드워드에서 코드워드에 포함될 샘플과 코드워드에 포함되지 않을 샘플의 거리 분포를 나타낸 도면이다. 2 is a diagram illustrating a distance distribution between a sample to be included in a codeword and a sample not to be included in a codeword in a specific codeword according to the present invention.

도 3은 본 발명에 의한 전경/배경 분리 장치를 도시한 도면이다.3 is a view showing a foreground / background separation apparatus according to the present invention.

도 4는 본 발명에 의한 전경/배경 분리 방법에 따른 코드북 생성 방법을 도시한 것이다.4 illustrates a codebook generation method according to a foreground / background separation method according to the present invention.

도 5는 본 발명에 의한 전경/배경 분리 실행 절차를 도시한 도면이다.5 is a diagram illustrating a foreground / background separation execution procedure according to the present invention.

Claims (19)

전경/배경 분리를 위해 복수 개의 코드워드로 구성된 코드북을 생성하는 배경모델 생성부; 및Background model generation unit for generating a codebook consisting of a plurality of codewords for foreground / background separation; And 상기 생성된 코드북을 이용하여 전경/배경을 분리하는 전경/배경 분리실행부를 포함하는 전경/배경 분리장치.Foreground / background separation device comprising a foreground / background separation execution unit for separating the foreground / background using the generated codebook. 제 1 항에 있어서,The method of claim 1, 상기 배경모델 생성부는 상기 생성된 코드북을 상기 코드워드에 속한 샘플 데이터 수를 기준으로 재정렬하는 전경/배경 분리장치.The background model generator is a foreground / background separation device for rearranging the generated codebook based on the number of sample data belonging to the codeword. 제 1 항에 있어서,The method of claim 1, 상기 코드워드는 비슷한 색상을 기준으로 묶인 샘플 데이터의 집합인 것을 특징으로 하는 전경/배경 분리장치.The codeword is a foreground / background separation device, characterized in that a set of sample data grouped based on a similar color. 제 3 항에 있어서,The method of claim 3, wherein 상기 샘플 데이터는 K평균 군집 방법을 이용하여 군집하는 것을 특징으로 하는 전경/배경 분리 장치.The sample data is foreground / background separation apparatus, characterized in that for clustering using the K average clustering method. 제 1 항에 있어서,The method of claim 1, 상기 코드북은 배경 영상의 화소 위치 단위로 생성되는 것을 특징으로 하는 전경/배경 분리장치.And the codebook is generated in units of pixel positions of a background image. 제 1 항에 있어서,The method of claim 1, 상기 배경모델 생성부는 상기 샘플 데이터의 산재된 값을 판단하여 적정한 코드워드 개수를 선택하고, 각 코드워드의 대표값과 대표값과의 거리 및 상기 코드워드 내 샘플 데이터의 밝기 정보를 계산하는 전경/배경 분리 장치.The background model generator determines a scattered value of the sample data, selects an appropriate number of codewords, calculates a distance between a representative value and a representative value of each codeword, and calculates brightness information of sample data in the codeword. Background separation device. 제 6 항에 있어서,The method of claim 6, 상기 각 코드워드의 대표값과 대표값 간의 거리는 유클리디안 거리인 것을 특징으로 하는 전경/배경 분리 장치.And a distance between the representative value and the representative value of each codeword is a Euclidean distance. 제 1 항에 있어서,The method of claim 1, 상기 전경/배경 분리 실행부는 임의의 샘플에 대한 색상과 밝기를 확인하여 상기 샘플이 상기 코드워드 내에 있는지 여부를 판단하는 전경/배경 분리 장치.The foreground / background separation unit determines whether the sample is in the codeword by checking the color and brightness of any sample. 제 8항에 있어서,The method of claim 8, 상기 색상의 확인은 상기 임의의 샘플과 상기 코드워드 중심점과의 거리로 판단하는 것을 특징으로 하는 전경/배경 분리 장치.The identification of the color is foreground / background separation apparatus, characterized in that determined by the distance between the arbitrary sample and the codeword center point. 제 8 항에 있어서,The method of claim 8, 상기 밝기의 확인은 밝기 차이가 정규 분포의 특정 확률값보다 큰 경우 배경 화소로 결정하고, 상기 밝기 차이가 정규 분포의 특정 확률값보다 작은 경우 전경 화소로 결정하는 것을 특징으로 하는 전경/배경 분리 장치.The confirmation of the brightness is the foreground / background separation device, characterized in that the brightness difference is determined as a background pixel when the difference is greater than a specific probability value of the normal distribution, and the brightness difference is determined as a foreground pixel when the brightness difference is less than a specific probability value of the normal distribution. 전경/배경 분리를 위해 복수 개의 코드워드로 구성된 코드북을 생성하는 단계;Generating a codebook consisting of a plurality of codewords for foreground / background separation; 상기 생성된 코드북을 상기 코드워드에 속한 샘플 데이터 수를 기준으로 재정렬하는 단계; 및Rearranging the generated codebook based on the number of sample data belonging to the codeword; And 상기 코드북을 이용하여 전경/배경을 분리하는 단계를 포함하는 전경/배경 분리 방법.Foreground / background separation method comprising the step of separating the foreground / background using the codebook. 제 11 항에 있어서,The method of claim 11, 상기 코드워드는 비슷한 색상을 기준으로 묶인 샘플 데이터의 집합인 것을 특징으로 하는 전경/배경 분리방법.The codeword is a foreground / background separation method, characterized in that a set of sample data grouped based on a similar color. 제 12 항에 있어서,13. The method of claim 12, 상기 샘플 데이터는 K평균 군집 방법을 이용하여 군집하는 것을 특징으로 하는 전경/배경 분리 방법.The sample data is the foreground / background separation method, characterized in that for clustering using the K average clustering method. 제 11 항에 있어서,The method of claim 11, 상기 코드북은 배경 영상의 화소 위치 단위로 생성되는 것을 특징으로 하는 전경/배경 분리방법.The codebook is foreground / background separation method, characterized in that generated in the unit of pixel position of the background image. 제 11 항에 있어서,The method of claim 11, 상기 코드북을 생성하는 단계는 상기 샘플 데이터의 산재된 값을 판단하여 적정한 코드워드 개수를 선택하고, 각 코드워드의 대표값과 대표값과의 거리 및 상기 코드워드 내 샘플 데이터의 밝기 정보를 계산하는 전경/배경 분리 방법.The generating of the codebook may include selecting an appropriate number of codewords by determining a scattered value of the sample data, calculating a distance between a representative value and a representative value of each codeword, and calculating brightness information of sample data in the codeword. How to separate foreground / background. 제 15 항에 있어서,The method of claim 15, 상기 각 코드워드의 대표값과 대표값 간의 거리는 유클리디안 거리인 것을 특징으로 하는 전경/배경 분리 방법.The distance between the representative value and the representative value of each codeword is a foreground / background separation method, characterized in that the Euclidean distance. 제 11 항에 있어서,The method of claim 11, 상기 전경/배경을 분리하는 단계는 임의의 샘플에 대한 색상과 밝기를 확인하여 상기 샘플이 상기 코드워드 내에 있는지 여부를 판단하는 것을 특징으로 하는 전경/배경 분리 방법.Separating the foreground / background is to determine whether the sample is within the codeword by checking the color and brightness for any sample. 제 17항에 있어서,The method of claim 17, 상기 색상의 확인은 상기 임의의 샘플과 상기 코드워드 중심점과의 거리로 판단하는 것을 특징으로 하는 전경/배경 분리 방법.The identification of the color is foreground / background separation method, characterized in that determined by the distance between the arbitrary sample and the codeword center point. 제 17 항에 있어서,The method of claim 17, 상기 밝기의 확인은 밝기 차이가 정규 분포의 특정 확률값보다 큰 경우 배경 화소로 결정하고, 상기 밝기 차이가 정규 분포의 특정 확률값보다 작은 경우 전경 화소로 결정하는 것을 특징으로 하는 전경/배경 분리 방법.The confirmation of the brightness is the foreground / background separation method, characterized in that the brightness difference is greater than the specified probability value of the normal distribution is determined as a background pixel, and if the brightness difference is less than the specified probability value of the normal distribution foreground / background separation method.
KR1020080131666A 2008-12-22 2008-12-22 Apparatus for separating foreground from back ground and method thereof KR101215987B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080131666A KR101215987B1 (en) 2008-12-22 2008-12-22 Apparatus for separating foreground from back ground and method thereof
US12/535,877 US8417034B2 (en) 2008-12-22 2009-08-05 Apparatus and method for separating foreground and background

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131666A KR101215987B1 (en) 2008-12-22 2008-12-22 Apparatus for separating foreground from back ground and method thereof

Publications (2)

Publication Number Publication Date
KR20100073081A true KR20100073081A (en) 2010-07-01
KR101215987B1 KR101215987B1 (en) 2012-12-28

Family

ID=42266201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131666A KR101215987B1 (en) 2008-12-22 2008-12-22 Apparatus for separating foreground from back ground and method thereof

Country Status (2)

Country Link
US (1) US8417034B2 (en)
KR (1) KR101215987B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101282196B1 (en) * 2009-12-11 2013-07-04 한국전자통신연구원 Apparatus and method for separating foreground and background of based codebook In a multi-view image

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718363B2 (en) * 2008-01-16 2014-05-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for analyzing image data using adaptive neighborhooding
US8737703B2 (en) * 2008-01-16 2014-05-27 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting retinal abnormalities
US20110123069A1 (en) * 2009-11-20 2011-05-26 Pavel Kisilev Mapping Property Values Onto Target Pixels Of An Image
KR20120052767A (en) * 2010-11-16 2012-05-24 한국전자통신연구원 Apparatus and method for separating image
CN102568206B (en) * 2012-01-13 2014-09-10 大连民族学院 Video monitoring-based method for detecting cars parking against regulations
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
JP2016038889A (en) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. Extended reality followed by motion sensing
US10812815B2 (en) * 2014-08-29 2020-10-20 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for compressing video images
CN105208398B (en) * 2015-09-22 2018-06-19 西南交通大学 A kind of method for obtaining the real-time Background of road
CN105488814A (en) * 2015-11-25 2016-04-13 华南理工大学 Method for detecting shaking backgrounds in video
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
KR102546070B1 (en) 2021-06-03 2023-06-20 순천대학교 산학협력단 Method for removing noise from time lapse video

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748780A (en) * 1994-04-07 1998-05-05 Stolfo; Salvatore J. Method and apparatus for imaging, image processing and data compression
JP2002185782A (en) * 2000-12-14 2002-06-28 Pfu Ltd Character extracting device, character extracting method and recording medium
KR20030002919A (en) 2001-07-02 2003-01-09 에이알비전 (주) realtime image implanting system for a live broadcast
KR100387901B1 (en) 2001-07-03 2003-06-18 에이알비전 (주) image tracking and insertion system using camera sensors
JP3823767B2 (en) 2001-07-18 2006-09-20 日本電信電話株式会社 Moving image foreground / background region separation method, and moving image encoding method using conditional pixel interpolation using the method
KR100537827B1 (en) 2003-04-24 2005-12-19 주식회사신도리코 Method for the Separation of text and Image in Scanned Documents using the Distribution of Edges
US7440615B2 (en) * 2005-10-27 2008-10-21 Nec Laboratories America, Inc. Video foreground segmentation method
US7885463B2 (en) * 2006-03-30 2011-02-08 Microsoft Corp. Image segmentation using spatial-color Gaussian mixture models
KR100845969B1 (en) 2006-12-29 2008-07-11 아주대학교산학협력단 The Extraction method of moving object and the apparatus thereof
KR101282196B1 (en) * 2009-12-11 2013-07-04 한국전자통신연구원 Apparatus and method for separating foreground and background of based codebook In a multi-view image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101282196B1 (en) * 2009-12-11 2013-07-04 한국전자통신연구원 Apparatus and method for separating foreground and background of based codebook In a multi-view image
US8538150B2 (en) 2009-12-11 2013-09-17 Electronics And Telecommunications Research Institute Method and apparatus for segmenting multi-view images into foreground and background based on codebook

Also Published As

Publication number Publication date
US8417034B2 (en) 2013-04-09
KR101215987B1 (en) 2012-12-28
US20100158372A1 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
KR101215987B1 (en) Apparatus for separating foreground from back ground and method thereof
KR101282196B1 (en) Apparatus and method for separating foreground and background of based codebook In a multi-view image
CN105981051B (en) Layering for image analysis interconnects multiple dimensioned convolutional network
US9785867B2 (en) Character recognition device, image display device, image retrieval device, character recognition method, and computer program product
WO2017092431A1 (en) Human hand detection method and device based on skin colour
US8150854B2 (en) Image search apparatus and image search method
CN110751678A (en) Moving object detection method and device and electronic equipment
CN110689599B (en) 3D visual saliency prediction method based on non-local enhancement generation countermeasure network
US11080553B2 (en) Image search method and apparatus
KR102094506B1 (en) Method for measuring changes of distance between the camera and the object using object tracking , Computer readable storage medium of recording the method and a device measuring changes of distance
CN109977952B (en) Candidate target detection method based on local maximum
US20140012532A1 (en) System, method, and computer program product for simultaneously determining settings for a plurality of parameter variations
US11301724B2 (en) Semantic adversarial generation based function testing method in autonomous driving
US20150063697A1 (en) Method and apparatus for segmenting object in image
CN103679195A (en) Method and system for classifying texture images on basis of local edge pattern
CN114360030A (en) Face recognition method based on convolutional neural network
CN108830184A (en) Black eye recognition methods and device
JP2011257963A (en) Image processing device, and processing method and program thereof
CN111783812A (en) Method and device for identifying forbidden images and computer readable storage medium
CN105354833B (en) A kind of method and apparatus of shadow Detection
CN110955603B (en) Automated testing method, apparatus, electronic device and computer readable storage medium
MX2012001664A (en) Recognition of objects.
CN108520532B (en) Method and device for identifying motion direction of object in video
JP5347793B2 (en) Character recognition device, character recognition program, and character recognition method
US11244443B2 (en) Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 7