KR101158728B1 - 실시간 전경 영상 검출시스템 및 방법 - Google Patents

실시간 전경 영상 검출시스템 및 방법 Download PDF

Info

Publication number
KR101158728B1
KR101158728B1 KR1020100029385A KR20100029385A KR101158728B1 KR 101158728 B1 KR101158728 B1 KR 101158728B1 KR 1020100029385 A KR1020100029385 A KR 1020100029385A KR 20100029385 A KR20100029385 A KR 20100029385A KR 101158728 B1 KR101158728 B1 KR 101158728B1
Authority
KR
South Korea
Prior art keywords
foreground
area
unit
image
background model
Prior art date
Application number
KR1020100029385A
Other languages
English (en)
Other versions
KR20110109595A (ko
Inventor
양현승
최진
채영남
한병옥
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100029385A priority Critical patent/KR101158728B1/ko
Publication of KR20110109595A publication Critical patent/KR20110109595A/ko
Application granted granted Critical
Publication of KR101158728B1 publication Critical patent/KR101158728B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

이 발명은 카메라로부터 얻은 영상으로부터 배경 부분을 제거하고 전경 영상을 검출하는 기술에 관한 것으로서, 보다 상세하게는 조명 변화나 주기적인 변화에 강인한 실시간 전경 영상 검출시스템 및 방법에 관한 것이다.
이 발명에 따른 실시간 전경 영상 검출시스템은, 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부와, 상기 카메라에서 획득된 입력 영상과 상기 배경모델학습부에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부와, 상기 픽셀단위전경영역추출부에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정부와, 상기 지역설정부에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부를 포함한다.

Description

실시간 전경 영상 검출시스템 및 방법{Real-time Foreground Detection Method}
이 발명은 카메라로부터 얻은 영상으로부터 배경 부분을 제거하고 전경 영상을 검출하는 기술에 관한 것으로서, 보다 상세하게는 조명 변화나 주기적인 변화에 강인한 실시간 전경 영상 검출시스템 및 방법에 관한 것이다.
이 발명은 행동 인식 기술을 필요로 하는 모든 분야에 적용할 수 있다. 예컨대, 행동 인식을 이용한 지능형 무인 감시시스템 등과 같은 보안 관련 분야뿐만 아니라 사람과의 상호 교류 수행능력을 지니는 지능형 로봇, 지능형 가전제품 등 많은 분야에 적용할 수 있다. 이 발명에 의해 실시간으로 전경 영상을 추출함으로써 추출된 전경 영상으로부터 다수의 객체를 신뢰성 있게 추적할 수 있도록 한다.
지능형 무인 감시시스템 등을 구현하려면 카메라를 통해 얻은 영상으로부터 관심 객체를 추출해야 한다.
관심 객체 추출 방법들 중 효과적인 방법으로서, 객체 모델링 방법이 제안되었으나, 이는 영상에 등장하는 관심 객체의 종류가 사람, 자동차, 자전거, 개 등으로 다양해 지고 카메라의 시점에 따라 객체의 외형이 달라질 경우, 관심 객체들을 일반화하여 모델링하기 어려운 문제점이 있다. 특히, 사람의 경우 다양한 자세를 취할 수 있고 자세마다 외형이 완전히 달라지기 때문에 객체 모델링을 더욱 어렵게 한다.
이에 관심 객체를 추출하기 위한 전처리 방법으로 전경 검출 방법이 있으나, 현재까지 개발된 전경 검출 방법들은, 광원 변화로 인한 입력 영상 자체의 변화 또는 바람에 흔들리는 나무나 강물의 표면 같이 주기적으로 변하는 배경에서는 관심 객체를 정확하게 찾아내기 어렵다. 또한, 종래의 전경 검출 방법을 통해 관심 객체를 검출할 경우, 객체들끼리 가려져서 다수의 객체가 하나의 그룹(객체)으로 검출되거나, 실제 하나의 객체가 쪼개져서 다수의 객체로 검출되는 등, 전경 영상과 관심 객체를 정확하게 검출할 수 없는 문제점이 있다.
상술한 종래 기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 카메라로부터 얻은 영상에 대해 픽셀(pixel) 단위로 전경 영역을 추출하며, 추출된 전경 영역을 지역(region) 단위로 구분하고 구분된 지역 단위 별로 전경 여부를 확인하여 최종적인 전경 영상을 검출함으로써, 조명 변화, 주기적 배경 변화, 객체 뭉쳐짐과 쪼개짐 문제를 해결하면서 실시간으로 다수의 관심 객체를 추적할 수 있는 시스템 및 방법을 제공하기 위한 것이다.
상술한 목적을 달성하기 위한 이 발명에 따른 실시간 전경 영상 검출시스템은, 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부와,
상기 카메라에서 획득된 입력 영상과 상기 배경모델학습부에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부와,
상기 픽셀단위전경영역추출부에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정부와,
상기 지역설정부에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부를 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 실시간 전경 영상 검출방법은, 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습단계와,
상기 카메라에서 획득된 입력 영상과 상기 배경모델학습단계에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출단계와,
상기 픽셀단위전경영역추출단계에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정단계와,
상기 지역설정단계에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인단계를 포함한 것을 특징으로 한다.
이 발명에 따른 실시간 전경 영상 검출시스템 및 방법에 따르면, 카메라로촬영한 영상으로부터 조명 변화와 주기적인 변화에 강인하게 전경 영상을 검출할 수 있는 효과가 있다. 또한, 이로 말미암아 이러한 실시간 전경 영상 검출시스템 및 방법을 기반으로 하는 지능형 무인 감시시스템, 영상 검색시스템, 또는 지능형 로봇 등의 성능 향상 및 실용화에 기여할 수 있는 효과가 있다.
도 1은 이 발명에 따른 실시간 전경 영상 검출시스템의 구성도이다.
도 2는 이 발명에 따른 배경모델학습부가 배경 학습 기간동안 획득된 N개의 배경 영상들에 대해 배경 모델을 학습하는 과정을 도시한 도면이다.
도 3은 이 발명에 따른 픽셀단위전경영역추출부의 내부 구성 블록도이다.
도 4는 이 발명에 따른 바텀업 방식으로 레벨 0부터 레벨 2까지 쿼드트리를 생성하는 과정(a) 및 그 결과(b)을 도시한 도면이다.
도 5는 쿼드트리에 대해 전경영역을 추출하는 과정을 도시한 도면이다.
도 6은 입력영상(a)과 이 발명에 따른 전경영역추출부의 출력영상(b)을 도시한 도면이다.
도 7은 그림자&하이라이트제거부(134)에 의해 그림자와 하이라이트가 제거됨에 따라 발생하는 문제를 도시한 예로서, (a)는 입력 영상이고, (b)는 전경영역추출부(133)에 의해 추출된 전경 영상이며, (c)는 색상기반 전경마스크(
Figure 112010020632918-pat00001
)에서 그림자&하이라이트제거부에 따른 그림자&하이라이트 마스크(
Figure 112010020632918-pat00002
를 빼고(
Figure 112010020632918-pat00003
-
Figure 112010020632918-pat00004
), 이 결과를 입력 영상(
Figure 112010020632918-pat00005
)에 적용할 경우, 실제 객체 중 일부가 그림자나 하이라이트로 오판되어 제거됨으로써 객체가 분리되는 현상을 도시한 도면이다.
도 8은 이 발명에 따른 에지정보추가부(136)의 추가 기능에 따른 효과를 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상(
Figure 112010020632918-pat00006
)이고, (b)는 시공간적으로 스무딩된 차영상(
Figure 112010020632918-pat00007
)이고, (c)는 시공간적으로 스무딩된 차영상에 비례상수를 곱한 영상(
Figure 112010020632918-pat00008
)이고, (d)는 에지 추출부에서 구해진 에지 마스크(
Figure 112010020632918-pat00009
)이고, (e)는 색상기반 전경마스크(
Figure 112010020632918-pat00010
)이고, (f)는 에지 마스크(
Figure 112010020632918-pat00011
)와 색상기반 전경마스크(
Figure 112010020632918-pat00012
)의 교집합(
Figure 112010020632918-pat00013
)이고, (g)는
Figure 112010020632918-pat00014
이며, (h)는 입력 영상(
Figure 112010020632918-pat00015
)을
Figure 112010020632918-pat00016
로 필터링하여 추출된 전경 영상이다.
도 9는 이 발명에 따른 지역단위전경영역확인부(150)의 내부 구성 블록도이다.
도 10은 픽셀단위전경영역추출부(130)의 에지정보추가부(136)에서 추가된 에지정보에 의해 강인한 그림자 내지 강인한 하이라이트가 전경영역으로 분류되는 문제점을 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상(
Figure 112010020632918-pat00017
)이고, (b)는 에지추출부(135)에서 구해진 에지 마스크(
Figure 112010020632918-pat00018
)이고, (c)는 에지정보추가부(136)에서 얻어진
Figure 112010020632918-pat00019
로 필터링하여 추출된 전경 영상이다.
도 11은 어두운 배경에 있는 어두운 이동 객체를 그림자로 오판하는 상태를 도시한 도면이다.
도 12는 잘못된 전경 지역을 검출하는 예를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 이 발명에 따른 실시간 전경 영상 검출시스템 및 방법을 보다 상세하게 설명한다.
도 1은 이 발명에 따른 실시간 전경 영상 검출시스템의 구성도이다.
이 발명에 따른 실시간 전경 영상 검출시스템은, 카메라(110)에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부(120)와, 카메라(110)에서 획득된 입력 영상과 배경모델학습부(120)에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부(130)와, 상기 픽셀단위전경영역추출부(130)에서 추출된 전경 영역의 인접 픽셀들을 묶어서 지역 단위로 나누는 지역설정부(140)와, 상기 지역설정부(140)에서 나누어진 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부(150)를 포함한다.
또한, 배경모델학습부(120)는 지역단위전경영역확인부(150)를 통해 추출된 배경 영상을 입력받아 배경 모델을 업데이트한다.
배경모델학습부(120)
배경모델학습부(120)는 카메라(110)를 처음 설치한 초기에 배경 모델을 학습한다. 배경모델학습부(120)가 초기에 배경 모델을 학습하는 과정을 설명한다. 카메라(110)를 처음 설치하고 배경 모델을 학습하는 과정에서는 카메라(110)가 촬영한 영상에 움직이는 객체가 거의 없고 배경으로만 이루어진다는 것을 전제로 한다.
카메라(110)는 고정된 위치를 촬영하도록 설치되어 배경 학습 기간동안 고정된 위치의 배경 영상을 획득한다. 배경모델학습부(120)는 도 2에 도시된 바와 같이 배경 학습 기간동안 획득된 N개의 배경 영상들에 대해, 각 픽셀별로 해당 픽셀의 명도값(intensity)들의 평균(Mean λ)과 표준편차(standard deviation σ)를 구한다. 즉, t번째 배경 영상 프레임의 임의의 픽셀 (x,y)의 명도값을 It(x,y)로 표현할 경우, 배경 학습 기간동안 획득된 N개의 배경 영상의 픽셀 (x,y)의 명도값들은 I1(x,y), ..., IN(x,y)로 나타낼 수 있다.
여기서, 각 픽셀 (x,y)에 대해서 해당 명도값들 I1(x,y), ..., IN(x,y)의 평균(mean) λ(x,y)와 표준편차(standard deviation) σ(x,y)를 계산한다. 계산된 표준편차 σ(x,y)가 0이 아니면, 해당 픽셀 (x,y)에 대해 계산된 평균 λ(x,y)와 표준편차 σ(x,y)를 배경 모델로 저장한다. 한편, 계산된 표준편차 σ(x,y)가 0이면, 계산된 평균 λ(x,y)와 기설정된 표준편차 최소값을 배경 모델로 저장한다. 이는 배경 모델의 계산된 표준편차가 0이어서 배경 모델로서 해당 픽셀의 표준편차를 0으로 저장할 경우, 이 발명에 따라 전경 영상을 검출할 때, 조명 변화에 민감하게 반응하여 명도값이 조금만 변화되어도 배경을 전경으로 오인할 여지가 있기 때문이다. 따라서, 이 발명에서는 계산된 표준편차가 0인 경우에는 0 대신 기설정된 표준편차 최소값을 배경 모델로 저장한다.
정리하면, 배경모델학습부(120)는 배경 영상들로부터 배경을 학습하여 배경 모델을 저장하는데, 이 배경 모델은 각 픽셀별 명도값의 평균과 표준편차로 이루어진다.
픽셀단위전경영역추출부(130)
픽셀단위전경영역추출부(130)는 도 3에 도시된 바와 같이 카메라(110)로부터 입력되는 입력 영상과 배경모델학습부(120)에 저장된 배경모델의 차영상을 계산하는 감산기(131)와, 상기 차영상에 대해 공간적 일관성을 고려하여 공간적으로 평균화하고 시간적 일관성을 고려하여 시간적으로 평균화하는 시공간적스무딩부(132)와, 시공간적으로 평균화된 영상에 대해 전경마스크를 추출하는 전경마스크추출부와, 상기 전경마스크를 상기 입력 영상에 적용하여 추출된 전경영상으로부터 그림자와 하이라이트를 제거하여 색상기반 전경영상을 추출하는 그림자&하이라이트제거부(134)와, 상기 차영상으로부터 에지를 추출하는 에지추출부(135)와, 상기 색상기반 전경영상과 상기 에지추출부(135)에서 추출된 전경 영역에서의 에지 정보를 합산하여 전경 픽셀들을 추출하는 에지정보추가부(136)를 포함한다.
감산기(131)와 시공간적스무딩부(132)
감산기(131)는 각 픽셀별로 입력 영상과 배경 모델의 차이의 절대값을 계산하여 차영상을 생성하는 바, 이 차영상을 수식으로 표현하면
Figure 112010020632918-pat00020
이다.
시공간적스무딩부(132)는 전경 픽셀의 일반적 특징, 즉 첫째, 전경 픽셀은 공간적으로 연결된 점들의 집합으로 출현하고(spatial consistency), 둘째, 시간적으로는 지속적으로 비슷한 부분에서 발생한다(temporal consistency)는 특징을 바탕으로 한다. 이는 Jacques Jr. 등이 "A Background Subtraction Model Adapted to Illumination Changes", IEEE International Conference on Image Processing, 2006에서 제안한 방법으로서, 차영상의 각 픽셀들을 공간적으로 평균화하고 아울러 시간적으로 평균화한다.
Jacques Jr. 등의 논문에서 제안한 차영상의 각 픽셀들을 공간적으로 평균화하는 수식은 아래의 수식 1과 같다.
Figure 112010020632918-pat00021
Jacques Jr. 등의 논문에서 제안한 각 픽셀들을 시간적으로 평균화하는 수식은 아래의 수식 2와 같다.
Figure 112010020632918-pat00022
즉, 각 픽셀에 대해 연속된 두 프레임(이전 프레임과 현재 프레임)의
Figure 112010020632918-pat00023
이렇게 각 픽셀별로 구한 최종 차영상에 대해 임의의 픽셀의 픽셀값이 임계값을 초과하면 해당 픽셀을 전경 픽셀로 판별하고, 해당 픽셀값이 임계값으로 초과하지 않으면 전경 픽셀이 아닌 것으로 판별한다. 이렇게 함으로써, 색상기반 전경마스크
Figure 112010020632918-pat00024
가 구해진다.
Figure 112010020632918-pat00025
여기서, k는 임의의 상수값으로서 영상 특성에 따라 학습을 통해 얻어지며,사용자에 의해 설정된다.
전경영역추출부(133)
전경영역추출부(133)는 색상기반 전경마스크를 기반으로 배경의 주기적인 변화를 고려하면서 실시간 전경 검출을 수행한다. J. Park, A. Tabb, and A.C. Kak이 "Hierarchical Data Structure for Real-Time Background Subtraction.", IEEE International Conference on Image Processing, 2006에서 제안한 쿼드트리 기반 계층적 프레임워크(quadtree-base hierarchical framework)를 적용한 MoG(Mixture of Gaussians) 방법을 적용한다.
다만, Park 등은 상술한 논문에서 탑다운(top-down) 방식으로 쿼드트리를 생성하는데 반해, 이 발명에서는 바텀업(bottom-up) 방식으로 쿼드트리를 생성한다. 쿼드트리를 생성한 후 전경을 검출하는 과정은 상술한 Park 등의 논문에서 제안한 방법과 동일하다.
먼저 Park 등의 논문에서 제시한 탑다운 방식의 쿼드트리 생성방법의 문제점을 설명하고, 이 발명에서 제안하는 바텀업 방식의 쿼드트리 생성방법을 설명한다.
탑다운 방식의 쿼드트리 생성방법은, 전체 입력 영상을 절반씩 나누면서 점차적으로 영역을 분할하는 방법이다. 이러한 탑다운 방식의 쿼드트리 생성방법을 이용하여 입력 영상을 모두 균일한 크기로 분할(decomposition)하려면 입력영상의 크기가
Figure 112010020632918-pat00026
이어야 한다. 즉, 영상을 나누는 과정에서 영상의 높이나 폭이 홀수가 되면 입력 영상을 균일한 크기의 영역으로 분할할 수 없게 된다.
이 발명에서는 이러한 탑다운 방식의 쿼드트리 생성방법의 문제점을 바텀업 방식을 이용하여 해결하고자 한다. 즉, 전체 영상을 사용자가 기정의한 형태와 크기의 최소 단위 영역으로 분할하여 그 분할된 최소 단위 영역을 리프노드(leaf node)로 정의한다. 그리고, 인접한 네 개(
Figure 112010020632918-pat00027
의 리프노드들을 묶어서 이를 자식노드(child nodes)로 갖는 상위레벨의 노드를 구성한다. 이때, 영상을 구성하는 리프노드들의 행 또는 열의 개수가 홀수여서 4개씩 균등하게 묶을 수 없을 경우에는 남은 리프노드들만으로 상위레벨의 노드를 구성한다.
상술한 과정을 반복하여 원하는 상위 레벨까지 쿼드트리를 만들어 나간다. 도 4는 이 발명에 따른 바텀업 방식으로 레벨 0부터 레벨 2까지 쿼드트리를 생성하는 과정(a) 및 그 결과(b)을 도시한 도면이다.
생성된 쿼드트리에 대해 전경영역을 추출하는 방법은 상술한 Park 등의 논문에서 제시한 방법과 동일한 바, 이를 간략하게 설명하면 다음과 같다.
탐색시작레벨(
Figure 112010020632918-pat00028
)과 탐색종료레벨(
Figure 112010020632918-pat00029
)을 설정한다. 통상적으로 탐색시작레벨(
Figure 112010020632918-pat00030
)은 쿼드트리의 최상위레벨로 설정하고, 탐색종료레벨(
Figure 112010020632918-pat00031
)은 쿼드트리의 최하위레벨로 설정할 수 있으나, 이에 한정되지는 않는다. 탐색시작레벨과 탐색종료레벨이 크면, 한 노드를 구성하는 영역의 크기가 커지기 때문에 처리속도가 빨라지나 정확도가 떨어지고, 탐색시작레벨과 탐색종료레벨이 작으면 한 노드를 구성하는 영역의 크기가 작아지기 때문에 처리속도가 느려지나 정확도가 향상된다.
탐색시작레벨의 각 노드에 해당하는 영역에서 하나의 픽셀을 임의로 선택하고, 그 픽셀이 수식 3의 색상기반 전경마스크에 속하는지를 판단한다. 만약 전경으로 판단되면 그 자식노드 각각의 영역에 대해 임의의 픽셀을 선택하여 전경 여부를 판단하고, 전경으로 판단된 노드에 대해서는 그 자식노드 각각의 영역에 대해 전경 여부를 반복적으로 판단한다. 이를 탐색종료레벨의 노드들까지 반복한다.
추가적으로 탐색종료레벨의 노드의 영역에 속한 모든 픽셀들의 전경 여부를 판단하고, 해당 영역에서 전경으로 판단된 픽셀의 개수가 기설정된 개수 이상이면 해당 노드의 이웃 노드들도 전경으로 결정한다.
도 5는 쿼드트리에 대해 전경영역을 추출하는 과정을 도시한 도면이다. 도 5에서 타원형의 영역을 전경으로 가정한다. (a)는 탐색시작레벨의 각 노드의 영역에서 임의의 픽셀을 선택하여 해당 픽셀의 전경 여부를 판단하는 과정이다. 이때, (2,1) 노드만이 전경으로 판단된다. (b)는 (a)과정에서 전경으로 판단된 (2,1) 노드의 자식노드들에 대해 각각 랜덤한 픽셀을 선택하여 선택된 픽셀의 전경 여부를 판단하는 과정이고, (c)는 (b)과정에서 전경으로 판단된 노드들의 자식노드들(이를 탐색종료레벨이라고 가정한다) 각각에 대해 랜덤한 픽셀을 선택하여 전경 여부를 판단하는 과정이다. (c)과정에서 전경으로 판단된 탐색종료레벨의 리프노드들에 대해서는 해당 리프노드의 모든 픽셀들의 전경 여부를 판단하여 전경픽셀개수를 계수하고, 전경픽셀개수가 기설정된 임계개수 이상이면 그 이웃하는 리프노드들도 전경으로 결정한다. (d)는 최종 결정된 전경영역을 표시하는 바, 수식 3의 색상기반 전경마스크(
Figure 112010020632918-pat00032
)를 (d)에 표시된 영역으로 재설정한다.
도 6은 입력영상(a)과 이 발명에 따른 전경영역추출부(133)의 출력영상(b)을 도시한 도면으로서, 이 전경영역추출부(133)의 출력영상에는 실제 객체의 윤곽에 포함되지 않는 그림자(shadow) 또는 하이라이트(highlight)가 포함되어 추출된다. 따라서, 객체의 윤곽을 정확하게 추출하려면 (c)와 같이 전경영역추출부(133)의 출력영상으로부터 그림자와 하이라이트를 제거해야 한다.
그림자&하이라이트제거부(134)
일반적으로 그림자영역은 유입되는 빛이 물체에 의해 차단되어 기존 밝기보다 일정한 비율로 어두워진다. 이러한 이론을 바탕으로, Jacques Jr 등은 "A Background Subtraction Model Adapted to Illumination Changes", IEEE International Conference on Image Processing, 2006에서 그림자 영역의 픽셀들의 관찰된 밝기는 입사된 빛에 직접적으로 비례한다고 모델링하였다. 다시 말해, 그림자 영역의 픽셀의 밝기는 배경 모델의 해당 픽셀의 밝기보다 일정한 비율로 어둡다. 비슷한 방법을 하이라이트에 적용하면, 하이라이트된 영역은 배경 모델의 해당 픽셀의 밝기보다 일정한 비율로 환하다.
따라서, 전경영역추출부(133)에서 추출된 전경영상 중 하나의 픽셀을 중심으로 하는 일정 영역 내에 있는 픽셀들이 배경 모델의 동일 영역과 일정한 비례 관계에 있는지를 파악한다. 수식 4는 임의의 픽셀이 그림자 또는 하이라이트인지를 판단하는 조건을 나타낸 수식이다.
Figure 112011073139526-pat00033
는 픽셀(x,y)가 그림자 또는 하이라이트인지 여부를 나타내는 마스크이다.
Figure 112010020632918-pat00034
여기서,
Figure 112010020632918-pat00035
는 시간 t 입력 영상의 임의의 픽셀(x,y)의 명도값(intensity)이고, λ(x,y)는 픽셀(x,y)의 배경 모델의 명도값이다. 또한,
Figure 112010020632918-pat00036
에서 R은 픽셀(x,y)을 중심으로 하는
Figure 112010020632918-pat00037
영역을 의미하고,
Figure 112010020632918-pat00038
는 임의의 전경 픽셀(x,y)을 중심으로 한 R 영역에 속한 픽셀들 각각에 대해서
Figure 112010020632918-pat00039
를 계산하여 나온 값들의 표준편차이다.
Figure 112010020632918-pat00040
,
Figure 112010020632918-pat00041
,
Figure 112010020632918-pat00042
는 각각 사용자에 의해 정의되는 임계값으로서,
Figure 112010020632918-pat00043
는 R영역의 최대 표준편차를 한정하고,
Figure 112010020632918-pat00044
는 어두운 실제 객체의 픽셀이 그림자로 잘못 인식되는 것을 방지하기 위한 하한값이며,
Figure 112010020632918-pat00045
는 밝은 실제 객체의 픽셀이 하이라이트로 잘못 인식되는 것을 방지하기 위한 상한값이다.
이러한 방법을 적용하여 색상기반 전경마스크(
Figure 112010020632918-pat00046
)에서 그림자&하이라이트 마스크(
Figure 112010020632918-pat00047
를 빼고(
Figure 112010020632918-pat00048
-
Figure 112010020632918-pat00049
), 이를 입력 영상(
Figure 112010020632918-pat00050
)에 적용하면, 도 6의 (c)에 도시된 바와 같이 보다 정확하게 객체의 윤곽을 검출할 수 있게 된다.
에지추출부(135) 및 에지정보추가부(136)
한편, 그림자&하이라이트제거부(134)는 전경영역추출부(133)에서 검출된 전경영상 중 배경 모델의 명도값과 비례 관계에 있는 영역을 제거함으로써, 실제 객체가 아닌 그림자나 하이라이트를 제거한다. 그러나, 객체에 속한 픽셀이 배경 모델과 유사한 텍스처(texture)와 명도값(intensity)을 가지면, 실제 객체임에도 불구하고 그림자나 하이라이트로 판별되어 객체의 분리(object fragments)가 발생할 수 있다.
도 7은 그림자&하이라이트제거부(134)에 의해 그림자와 하이라이트가 제거됨에 따라 발생하는 문제를 도시한 예로서, (a)는 입력 영상이고, (b)는 전경영역추출부(133)에 의해 추출된 전경 영상이며, (c)는 색상기반 전경마스크(
Figure 112010020632918-pat00051
)에서 그림자&하이라이트제거부에 따른 그림자&하이라이트 마스크(
Figure 112010020632918-pat00052
를 빼고(
Figure 112010020632918-pat00053
-
Figure 112010020632918-pat00054
), 이 결과를 입력 영상(
Figure 112010020632918-pat00055
)에 적용할 경우, 실제 객체 중 일부가 그림자나 하이라이트로 오판되어 제거됨으로써 객체가 분리되는 현상을 도시한 도면이다.
이러한 문제를 해결하기 위해 이 발명에서는 감산기(131)에서 출력되는 시공간적으로 스무딩된 차영상
Figure 112010020632918-pat00056
으로부터 통상적인 에지 검출방법을 적용하여 에지정보를 추출한다. 다만,
Figure 112010020632918-pat00057
로부터 바로 에지를 추출하면 픽셀간의 값의 차이가 적어서 에지 검출에 오류가 발생할 수 있기 때문에, 이 발명에서는
Figure 112010020632918-pat00058
에 일정한 비례상수 α를 곱하고 난 후 소벌마스크(Sobel mask)를 이용하여 에지기울기(edge gradient)
Figure 112010020632918-pat00059
(여기서,
Figure 112010020632918-pat00060
와
Figure 112010020632918-pat00061
는 각각
Figure 112010020632918-pat00062
의 수직과 수평방향에서의 미분계수)를 구하고, G에 히스테리시스 임계화(hysteresis thresholding)을 통해 에지 마스크(
Figure 112010020632918-pat00063
)를 구한다.
에지정보추가부(136)는 에지 마스크(
Figure 112010020632918-pat00064
)에서 추출된 에지들 중에는 배경 부분에서의 에지도 추출되기 때문에, 에지 마스크(
Figure 112010020632918-pat00065
)와 전경영역추출부(133)에서 구한 색상기반 전경마스크(
Figure 112010020632918-pat00066
)를 교집합(
Figure 112010020632918-pat00067
)하여 전경 영역에서의 에지들만이 추출되도록 한다. 또한, 이렇게 구한 교집합 마스크(
Figure 112010020632918-pat00068
)와 (
Figure 112010020632918-pat00069
-
Figure 112010020632918-pat00070
)의 합집합을 구한다. 이렇게 구한 마스크에 입력영상(
Figure 112010020632918-pat00071
)을 적용하면 실제 객체 중 일부가 그림자나 하이라이트로 오판되어 제거됨으로써 객체가 분리되는 문제점을 해결할 수 있다.
도 8은 이 발명에 따른 에지정보추가부(136)의 추가 기능에 따른 효과를 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상(
Figure 112010020632918-pat00072
)이고, (b)는 시공간적으로 스무딩된 차영상(
Figure 112010020632918-pat00073
)이고, (c)는 시공간적으로 스무딩된 차영상에 비례상수를 곱한 영상(
Figure 112010020632918-pat00074
)이고, (d)는 에지 추출부에서 구해진 에지 마스크(
Figure 112010020632918-pat00075
)이고, (e)는 색상기반 전경마스크(
Figure 112010020632918-pat00076
)이고, (f)는 에지 마스크(
Figure 112010020632918-pat00077
)와 색상기반 전경마스크(
Figure 112010020632918-pat00078
)의 교집합(
Figure 112010020632918-pat00079
)이고, (g)는
Figure 112010020632918-pat00080
이며, (h)는 입력 영상(
Figure 112010020632918-pat00081
)을
Figure 112010020632918-pat00082
로 필터링하여 추출된 전경 영상이다.
지역설정부(140)
지역설정부(140)는 상술한 바와 같은 픽셀단위전경영역추출부(130)에서 구한 전경 픽셀들에 대해 통상적인 연결요소해석(connected component analysis)에 기반하여 다수의 지역(region)들로 나눈다.
지역단위전경영역확인부(150)
지역단위전경영역확인부(150)는 도 9에 도시된 바와 같이 지역설정부(140)에서 나누어진 지역들 중 기설정된 최소 크기보다 작은 지역들을 전경 영역으로부터 제거하는 미소지역제거부(151)와, 상기 미소지역제거부(151)를 통과한 지역들 중 그림자와 하이라이트로 인정되는 지역들을 전경 영역으로부터 제거하는 지역기반 그림자&하이라이트제거부(152)와, 상기 지역기반 그림자&하이라이트제거부(152)를 통과한 지역들 중 전경확인테스트를 수행하여 무효 지역을 전경 영역으로부터 제거하여, 최종 전경영상을 출력하는 무효지역제거부(153)를 포함한다.
미소지역제거부(151)
미소지역제거부(151)는 지역설정부(140)에서 나누어진 지역들 중 기설정된 최소 크기보다 작은 지역들을 노이즈로 가정하고 제거한다.
지역기반 그림자&하이라이트제거부(152)
도 10은 픽셀단위전경영역추출부(130)의 에지정보추가부(136)에서 추가된 에지정보에 의해 강인한 그림자 내지 강인한 하이라이트가 전경영역으로 분류되는 문제점을 설명하기 위하여 도시한 도면으로서, (a)는 입력 영상(
Figure 112010020632918-pat00083
)이고, (b)는 에지추출부(135)에서 구해진 에지 마스크(
Figure 112010020632918-pat00084
)이고, (c)는 에지정보추가부(136)에서 얻어진
Figure 112010020632918-pat00085
로 필터링하여 추출된 전경 영상이다.
픽셀단위전경영역추출부(130)의 에지추출부(135)에서 추출된 에지 정보가 에지정보추가부(136)를 통해 전경 영역에 추가되면, 도 10의 (c)에 도시된 바와 같이 강인한 그림자(strong shadow)(또는 강인한 하이라이트)가 전경 영역에 포함되어 하나의 지역을 구성한다.
지역기반 그림자&하이라이트제거부(152)는 그림자&하이라이트제거부(134)가 사용한 수식 4를 응용하여 강인한 그림자 또는 강인한 하이라이트를 제거한다. 그림자&하이라이트제거부(134)는 R을 픽셀(x,y)을 중심으로 하는
Figure 112010020632918-pat00086
영역으로 설정하였으나, 지역기반 그림자&하이라이트제거부(152)는 R을 단일 지역을 구성하는 모든 영역의 픽셀들로 설정한다. 즉, 하나의 지역의 픽셀들이 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 이를 그림자 또는 하이라이트로 인식하고 전경으로부터 제거한다.
이럴 경우, 도 11에 도시된 바와 같이 어두운 배경에 어두운 이동 객체가 존재하면 그림자로 오판될 가능성이 있다.
이러한 문제점이 발생하지 않도록 하기 위하여, 이 발명에서는 어두운 배경에서는 그림자가 발생하지 않는다는 원리를 이용한다. 즉, 지역기반 그림자&하이라이트제거부(152)가 그림자 또는 하이라이트를 제거함에 있어서, 해당 배경 영역의 픽셀들의 평균 밝기가 임계치보다 낮으면(즉, 어두우면), 해당 영역은 그림자 또는 하이라이트 제거를 하지 않고, 해당 배경 영역의 픽셀들의 평균 밝기가 임계치보다 높은 경우(즉, 밝은 경우)에만 그림자 및 하이라이트 제거를 수행한다.
무효지역제거부(153)
끝으로, 전경으로 분류된 지역에는 급격한 조명 변화(quick illumination changes), 배경 객체의 재배치(relocation of the background object), 이동객체로 초기화(initialization with moving object) 등이 원인이 된 잘못된 전경(invalid foreground)이 포함된다.
무효지역제거부(153)는 지역기반 그림자&하이라이트제거부(152)에서 제공되는 전경 영역의 각 지역(region)에 대해 O. Javed, K. Shafique, and M. Shah가 발표한 논문 "A Hierarchical Approach to Robust Background Subtraction using Color and Gradient Information", In proceedings of the workshop on Motion and Video Computing, p.22, Dec. 05-06, 2002 에서 제안한 방법을 이용하여 잘못된 전경을 제거한다.
이를 위해, 에지추출부(154)는 입력 영상 It으로부터 에지 마스크를 추출하여 무효지역제거부(153)에 제공하고, 무효지역제거부(153)는 실제 이동객체에 해당하는 지역은 그 경계선에서 높은 기울기(gradient)값을 갖는다는 가정에 기반한 Javed 등이 제안한 방법을 적용한다.
이를 상세하게 설명하면, 임의의 지역(region) ri의 경계에 있는 픽셀들 부근에 에지 성분이 임계치 이상 존재하면 잘못된 전경 지역으로 판별하며, 이를 수식으로 나타내면 수식 5와 같다.
Figure 112010020632918-pat00087
여기서,
Figure 112010020632918-pat00088
는 ri의 경계 픽셀 (x,y)의 집합을 나타내고,
Figure 112010020632918-pat00089
는 경계 픽셀들의 퍼센트를 나타낸다. 도 12는 잘못된 전경 지역을 검출하는 예를 도시한 도면이다.
무효지역제거부(153)를 통해 최종 전경 영역이 결정되어 전경 영상이 출력되고, 입력 영상 중 전경을 제외한 배경 영상은 배경 모델 학습부(120)에 전달되며, 배경 모델 학습부(120)는 입력된 배경 영상을 학습하여 환경 변화에 적응하도록 배경 모델을 갱신한다. 배경 모델 학습은 아래의 수식 6에 따른다.
Figure 112010020632918-pat00090
Figure 112010020632918-pat00091
여기서, α는 0 ≤ α ≤ 1 을 만족하는 실수이고, 학습률(learning rate)이다. 즉, 실제 배경 영상에 대해서만 해당 픽셀의 평균값과 표준편차값을 갱신하고, 그림자와 하이라이트는 전경에 속하지 않지만 배경 색도 아니기 때문에, 학습에 포함시키지 않는다. 위의 과정을 거쳐 실시간 객체 추적을 위한 강인한 전경 영상을 검출할 수 있다.
110 : 카메라 120 : 배경모델학습부
130 : 픽셀단위전경영역추출부 140 : 지역설정부
150 : 지역단위전경영역확인부 131 : 감산기
132 : 시공간적스무딩부 133 : 전경영역추출부
134 : 그림자&하이라이트제거부 135 : 에지추출부
136 : 에지정보추가부 151 : 미소지역제거부
152 : 지역기반 그림자&하이라이트제거부
153 : 무효지역제거부 154 : 에지추출부

Claims (22)

  1. 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습부와,
    상기 카메라에서 획득된 입력 영상과 상기 배경모델학습부에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출부와,
    상기 픽셀단위전경영역추출부에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정부와,
    상기 지역설정부에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인부를 포함하고,
    상기 배경모델학습부는 상기 지역단위전경영역확인부로부터 배경 영상을 입력받아 상기 배경 모델을 업데이트하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  2. 삭제
  3. 제 1 항에 있어서, 상기 픽셀단위전경영역추출부는 상기 카메라로부터 입력되는 입력 영상과 상기 배경모델학습부에 저장된 배경모델의 차영상을 계산하는 감산기와,
    상기 차영상에 대해 시공간적으로 평균화하는 시공간적스무딩부와,
    상기 시공간적으로 평균화된 영상에 대해 전경마스크를 추출하는 전경마스크추출부와,
    상기 전경마스크를 상기 입력 영상에 적용하여 추출된 전경영상으로부터 그림자와 하이라이트를 제거하여 색상기반 전경영상을 추출하는 그림자&하이라이트제거부와,
    상기 차영상으로부터 에지를 추출하는 에지추출부와,
    상기 색상기반 전경영상과 상기 에지추출부에서 추출된 전경 영역에서의 에지 정보를 합산하여 상기 전경 영역을 추출하는 에지정보추가부를 포함한 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  4. 제 3 항에 있어서, 상기 시공간적스무딩부는 쿼드트리 기반 계층적 프레임워크(quadtree-base hierarchical framework)를 적용한 MoG(Mixture of Gaussians) 방법을 이용하여 상기 차영상에 대해 시공간적으로 평균화하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  5. 제 4 항에 있어서, 상기 쿼드트리는 바텀업(bottom-up)방식으로 생성되는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  6. 제 3 항에 있어서, 상기 그림자&하이라이트제거부는 상기 추출된 전경영상 중 하나의 픽셀을 중심으로 기설정된 영역 내에 있는 다수의 픽셀들이 상기 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 그림자 또는 하이라이트로 판단하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  7. 제 3 항에 있어서, 상기 에지추출부는 상기 차영상에 비례상수를 곱한 후 소벌마스크를 사용하여 에지를 추출하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  8. 제 1 항에 있어서, 상기 지역설정부는 상기 픽셀단위전경영역추출부에서 구한 전경 영역의 전경 픽셀들에 대해 연결요소해석(connected component analysis)에 기반하여 다수의 전경 지역(region)으로 나누는 것을 특징으로 실시간 전경 영상 검출시스템.
  9. 제 1 항에 있어서, 상기 지역단위전경영역확인부는 상기 지역설정부에서 나누어진 전경 지역들 중 기설정된 최소 크기보다 작은 지역들을 전경 영역으로부터 제거하는 미소지역제거부와,
    상기 미소지역제거부를 통과한 전경 지역들 중 그림자와 하이라이트로 인정되는 지역들을 전경 영역으로부터 제거하는 지역기반 그림자&하이라이트제거부와,
    상기 지역기반 그림자&하이라이트제거부를 통과한 전경 지역들 중 전경 확인 테스트를 수행하여 잘못된 전경 지역을 전경 영역으로부터 제거하여 최종 전경 영상을 출력하는 무효지역제거부를 포함한 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  10. 제 9 항에 있어서, 상기 지역기반 그림자&하이라이트제거부는 상기 미소지역제거부를 통과한 임의의 전경 지역 내에 있는 다수의 픽셀들이 상기 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 그림자 또는 하이라이트로 판단하는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  11. 제 10 항에 있어서, 상기 배경 모델을 구성하는 픽셀들의 평균 밝기가 임계치보다 어두우면 상기 임의의 전경 지역을 그림자 또는 하이라이트로 판단하지 않는 것을 특징으로 하는 실시간 전경 영상 검출시스템.
  12. 카메라에서 획득된 배경 영상으로부터 배경 모델을 학습하는 배경모델학습단계와,
    상기 카메라에서 획득된 입력 영상과 상기 배경모델학습단계에서 학습된 배경 모델을 입력받아 상기 입력 영상의 각 픽셀 단위로 전경 여부를 판단하여 상기 입력 영상 중 전경 영역을 추출하는 픽셀단위전경영역추출단계와,
    상기 픽셀단위전경영역추출단계에서 추출된 상기 전경 영역에 대해 인접 픽셀들을 묶어서 지역 단위로 구분하는 지역설정단계와,
    상기 지역설정단계에서 구분된 지역 단위로 전경 여부를 확인하여 최종 전경 영상을 추출하는 지역단위전경영역확인단계를 포함하고,
    상기 배경모델학습단계는 상기 지역단위전경영역확인단계로부터 배경 영상을 입력받아 상기 배경 모델을 업데이트하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
  13. 삭제
  14. 제 12 항에 있어서, 상기 픽셀단위전경영역추출단계는 상기 카메라로부터 입력되는 입력 영상과 상기 배경모델학습단계에 저장된 배경모델의 차영상을 계산하는 감산단계와,
    상기 차영상에 대해 시공간적으로 평균화하는 시공간적스무딩단계와,
    상기 시공간적으로 평균화된 영상에 대해 전경마스크를 추출하는 전경마스크추출단계와,
    상기 전경마스크를 상기 입력 영상에 적용하여 추출된 전경영상으로부터 그림자와 하이라이트를 제거하여 색상기반 전경영상을 추출하는 그림자&하이라이트제거단계와,
    상기 차영상으로부터 에지를 추출하는 에지추출단계와,
    상기 색상기반 전경영상과 상기 에지추출단계에서 추출된 전경 영역에서의 에지 정보를 합산하여 상기 전경 영역을 추출하는 에지정보추가단계를 포함한 것을 특징으로 하는 실시간 전경 영상 검출방법.
  15. 제 14 항에 있어서, 상기 시공간적스무딩단계는 쿼드트리 기반 계층적 프레임워크(quadtree-base hierarchical framework)를 적용한 MoG(Mixture of Gaussians) 방법을 이용하여 상기 차영상에 대해 시공간적으로 평균화하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
  16. 제 15 항에 있어서, 상기 쿼드트리는 바텀업(bottom-up)방식으로 생성되는 것을 특징으로 하는 실시간 전경 영상 검출방법.
  17. 제 14 항에 있어서, 상기 그림자&하이라이트제거단계는 상기 추출된 전경영상 중 하나의 픽셀을 중심으로 기설정된 영역 내에 있는 다수의 픽셀들이 상기 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 그림자 또는 하이라이트로 판단하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
  18. 제 14 항에 있어서, 상기 에지추출단계는 상기 차영상에 비례상수를 곱한 후 소벌마스크를 사용하여 에지를 추출하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
  19. 제 12 항에 있어서, 상기 지역설정단계는 상기 픽셀단위전경영역추출단계에서 구한 전경 영역의 전경 픽셀들에 대해 연결요소해석(connected component analysis)에 기반하여 다수의 전경 지역(region)으로 나누는 것을 특징으로 실시간 전경 영상 검출방법.
  20. 제 12 항에 있어서, 상기 지역단위전경영역확인단계는 상기 지역설정단계에서 나누어진 전경 지역들 중 기설정된 최소 크기보다 작은 지역들을 전경 영역으로부터 제거하는 미소지역제거단계와,
    상기 미소지역제거단계를 통과한 전경 지역들 중 그림자와 하이라이트로 인정되는 지역들을 전경 영역으로부터 제거하는 지역기반 그림자&하이라이트제거단계와,
    상기 지역기반 그림자&하이라이트제거단계를 통과한 전경 지역들 중 전경 확인 테스트를 수행하여 잘못된 전경 지역을 전경 영역으로부터 제거하여 최종 전경 영상을 출력하는 무효지역제거단계를 포함한 것을 특징으로 하는 실시간 전경 영상 검출방법.
  21. 제 20 항에 있어서, 상기 지역기반 그림자&하이라이트제거단계는 상기 미소지역제거단계를 통과한 임의의 전경 지역 내에 있는 다수의 픽셀들이 상기 배경 모델의 동일 영역과 일정한 비례 관계에 있으면 그림자 또는 하이라이트로 판단하는 것을 특징으로 하는 실시간 전경 영상 검출방법.
  22. 제 21 항에 있어서, 상기 배경 모델을 구성하는 픽셀들의 평균 밝기가 임계치보다 어두우면 상기 임의의 전경 지역을 그림자 또는 하이라이트로 판단하지 않는 것을 특징으로 하는 실시간 전경 영상 검출방법.
KR1020100029385A 2010-03-31 2010-03-31 실시간 전경 영상 검출시스템 및 방법 KR101158728B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100029385A KR101158728B1 (ko) 2010-03-31 2010-03-31 실시간 전경 영상 검출시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100029385A KR101158728B1 (ko) 2010-03-31 2010-03-31 실시간 전경 영상 검출시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110109595A KR20110109595A (ko) 2011-10-06
KR101158728B1 true KR101158728B1 (ko) 2012-06-22

Family

ID=45026769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100029385A KR101158728B1 (ko) 2010-03-31 2010-03-31 실시간 전경 영상 검출시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101158728B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102238672B1 (ko) * 2014-03-03 2021-04-09 에스케이플래닛 주식회사 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101583787B1 (ko) 2014-07-10 2016-01-08 경북대학교 산학협력단 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102470139B1 (ko) * 2020-04-01 2022-11-23 삼육대학교산학협력단 쿼드 트리 기반의 객체 탐지 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060031829A (ko) * 2006-03-21 2006-04-13 뷰웨이 주식회사 움직이는 객체 영역 검출을 위한 적응 배경 학습 방법
KR20090111939A (ko) * 2008-04-23 2009-10-28 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060031829A (ko) * 2006-03-21 2006-04-13 뷰웨이 주식회사 움직이는 객체 영역 검출을 위한 적응 배경 학습 방법
KR20090111939A (ko) * 2008-04-23 2009-10-28 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치

Also Published As

Publication number Publication date
KR20110109595A (ko) 2011-10-06

Similar Documents

Publication Publication Date Title
CN103093198B (zh) 一种人群密度监测方法及装置
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
CN110415268A (zh) 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法
CN101715070B (zh) 特定监控视频中的背景自动更新方法
CN111582076A (zh) 一种基于像素运动智能感知的画面冻结检测方法
KR101243294B1 (ko) 이동 객체 추출 및 추적 방법 및 장치
CN112115878B (zh) 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法
KR101158728B1 (ko) 실시간 전경 영상 검출시스템 및 방법
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
KR101270718B1 (ko) 영상에서 화재를 검출하기 위한 영상처리 장치 및 방법
WO2016019973A1 (en) Method for determining stationary crowds
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
CN112149683B (zh) 夜视环境下活物检测方法及装置
KR20100086839A (ko) 이동 물체 탐지 방법 및 그 감시 시스템
Fakharian et al. Hybrid object detection using improved Gaussian mixture model
CN109727218B (zh) 一种完整图形提取方法
Dhananjaya et al. Detection of objects in aerial videos for object extraction and tracking for UAV applications
Lu et al. Coarse-to-fine pedestrian localization and silhouette extraction for the gait challenge data sets
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法
CN111860229A (zh) 异常行为智能识别方法及其装置和存储介质
JP2021033374A (ja) 対象物認識装置、対象物認識方法、及び対象物認識プログラム
Pava et al. Object Detection and Motion Analysis in a Low Resolution 3-D Model
KR20150055481A (ko) 영상 내 그림자 화소 제거를 위한 배경 기반 방법
KR101067516B1 (ko) 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법
Kumar et al. Foreground background segmentation using temporal and spatial markov processes

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100331

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110725

Patent event code: PE09021S01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20111125

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120426

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120615

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120618

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150526

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20170509