KR20130104286A - 영상 처리 방법 - Google Patents

영상 처리 방법 Download PDF

Info

Publication number
KR20130104286A
KR20130104286A KR1020120025660A KR20120025660A KR20130104286A KR 20130104286 A KR20130104286 A KR 20130104286A KR 1020120025660 A KR1020120025660 A KR 1020120025660A KR 20120025660 A KR20120025660 A KR 20120025660A KR 20130104286 A KR20130104286 A KR 20130104286A
Authority
KR
South Korea
Prior art keywords
image
foreground
pixel
input image
value
Prior art date
Application number
KR1020120025660A
Other languages
English (en)
Other versions
KR101739025B1 (ko
Inventor
노승인
고한석
송태엽
이영현
김한준
구본화
Original Assignee
삼성테크윈 주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 고려대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020120025660A priority Critical patent/KR101739025B1/ko
Priority to US13/675,474 priority patent/US8908967B2/en
Publication of KR20130104286A publication Critical patent/KR20130104286A/ko
Application granted granted Critical
Publication of KR101739025B1 publication Critical patent/KR101739025B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

입력 영상에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법이 개시된다. 본 발명의 실시예에 따른 영상 처리 방법은, 단계들 (a) 내지 (d)를 포함한다. 단계 (a)에서는, 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지가 판단된다. 단계 (b)에서는, 입력 영상의 화소들 각각에 대하여, 움직임 영역에 포함되었는지가 판단된다. 단계 (c)에서는, 입력 영상의 화소들 각각에 대하여, 입력 영상의 기준 영상과 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률값이 구해진다. 단계 (d)에서는, 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 움직임 영역에 포함되었다고 판단된 화소의 전경 확률값이 설정 문턱 값 이상이면, 전경 영상의 화소로서 판단된다.

Description

영상 처리 방법{Method for processing image}
본 발명은, 영상 처리 방법에 관한 것으로서, 보다 상세하게는, 감시 카메라 예를 들어, 엘리베이터 내부를 촬영하는 감시 카메라로부터 영상을 입력받고, 입력 영상에서 전경(foreground) 영상과 배경(background) 영상을 분리하는 영상 처리 방법에 관한 것이다.
감시 시스템에 있어서, 다양한 감시 기능을 위하여 입력 영상에서 전경(foreground) 영상을 배경(background) 영상으로부터 분리하는 것이 필요하다. 즉, 호스트(host) 장치는, 감시 카메라로부터 영상을 입력받고, 입력 영상의 각각의 화소에 대하여 전경 영상의 화소인지 또는 배경 영상의 화소인지를 판단하여, 입력 영상에서 전경 영상과 배경 영상을 분리한다.
종래에는, 상기와 같이 입력 영상에서 전경 영상과 배경 영상을 분리하기 위하여, 단순히 가우시안(Gaussian) 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지를 판단하였다(한국 등록특허공보 제1038650호 참조).
따라서, 상기와 같은 종래의 분리 방법에 의하면, 엘리베이터의 내부와 같이 반사체가 존재하고 조도 변화가 잦은 환경에 대하여, 강인(robust)하지 못하고 분리의 정확도가 떨어진다.
한국 등록특허공보 제1038650호 (출원인 : 박상현, 발명의 명칭 : 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속 방법 및 불법 주정차 무인단속 시스템)
본 발명의 실시예들은, 입력 영상에서 전경(foreground) 영상과 배경(background) 영상을 분리하는 영상 처리 방법에 있어서, 엘리베이터의 내부와 같이 반사체가 존재하고 조도 변화가 잦은 환경에 대하여, 강인(robust)하면서 분리의 정확도를 향상시킬 수 있는 영상 처리 방법을 제공하고자 한다.
본 발명의 제1 측면에 따르면, 입력 영상의 각각의 화소에 대하여 전경(foreground) 영상의 화소인지 또는 배경(background) 영상의 화소인지를 판단하여, 상기 입력 영상에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법으로서, 단계들 (a) 내지 (d)를 포함할 수 있다.
상기 단계 (a)에서는, 상기 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지가 판단된다.
상기 단계 (b)에서는, 상기 입력 영상의 화소들 각각에 대하여, 움직임 영역에 포함되었는지가 판단된다.
상기 단계 (c)에서는, 상기 입력 영상의 화소들 각각에 대하여, 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률값이 구해진다.
상기 단계 (d)에서는, 상기 입력 영상의 화소들 각각에 대하여, 상기 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 상기 움직임 영역에 포함되었다고 판단된 화소의 상기 전경 확률값이 설정 문턱 값 이상이면, 전경 영상의 화소로서 판단된다.
또한, 상기 입력 영상은 동영상의 일련의 프레임 영상들을 포함하고, 상기 단계들 (a) 내지 (d)가 반복적으로 수행될 수 있다.
또한, 상기 단계 (c)에서의 상기 기준 영상은, 전경과 배경이 분리되어 있고, 상기 단계들 (a) 내지 (d)가 반복적으로 수행되는 과정에서의 이전 영상으로서 갱신될 수 있다.
또한, 상기 단계 (c)에서 상기 입력 영상의 화소들 각각에 대하여 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도를 구함에 있어서, 상기 대상 화소와 주변 화소들의 평균 계조 값과 주변 화소의 계조 값의 차이인 상기 대상 화소의 질감(texture) 값이 사용될 수 있다.
본 발명의 제2 측면에 따르면, 엘리베이터 내부를 촬영하는 감시 카메라로부터 영상을 입력받고, 입력 영상의 각각의 화소에 대하여 전경(foreground) 영상의 화소인지 또는 배경(background) 영상의 화소인지를 판단하여, 상기 입력 영상에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법으로서, 단계들 (a) 내지 (d)가 포함될 수 있다.
상기 단계 (a)에서는, 상기 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지가 판단된다.
상기 단계 (b)에서는, 상기 입력 영상의 화소들 각각에 대하여, 움직임 영역에 포함되었는지가 판단된다.
상기 단계 (c)에서는, 상기 입력 영상의 화소들 각각에 대하여, 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률값이 구해진다.
상기 단계 (d)에서는, 상기 입력 영상의 화소들 각각에 대하여, 상기 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 상기 움직임 영역에 포함되었다고 판단된 화소의 상기 전경 확률값이 설정 문턱 값 이상이면, 전경 영상의 화소로서 판단된다.
또한, (e) 판단된 전경 영상이 상기 엘리베이터의 바닥면 영상과 연결되지 않을 경우, 해당 영상을 배경 영상으로 판단하는 단계가 더 포함될 수 있다.
또한, 상기 단계 (c)에서 상기 입력 영상의 화소들 각각에 대하여 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도를 구함에 있어서, 상기 대상 화소와 주변 화소들의 평균 계조 값과 주변 화소의 계조 값의 차이인 상기 대상 화소의 질감(texture) 값이 사용될 수 있다.
또한, 상기 입력 영상은 동영상의 일련의 프레임 영상들을 포함하고, 상기 단계들 (a) 내지 (d)가 반복적으로 수행될 수 있다.
상기 단계 (c)에서의 상기 기준 영상은, 전경과 배경이 분리되어 있고, 상기 단계들 (a) 내지 (d)가 반복적으로 수행되는 과정에서의 이전 영상으로서 갱신될 수 있다.
본 발명의 제3 측면에 따르면, 엘리베이터 내부를 촬영하는 감시 카메라로부터 영상을 입력받고, 입력 영상의 각각의 화소에 대하여 전경(foreground) 영상의 화소인지 또는 배경(background) 영상의 화소인지를 판단하여, 상기 입력 영상에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법에 있어서, 단계들 (a) 내지 (g)가 포함될 수 있다.
상기 단계 (a)에서는, 상기 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지가 판단된다.
상기 단계 (b)에서는, 상기 입력 영상의 화소들 각각에 대하여, 움직임 영역에 포함되었는지가 판단된다.
상기 단계 (c)에서는, 상기 입력 영상의 화소들 각각에 대하여, 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률값(PFG(fi｜xi))이 구해진다.
상기 단계 (d)에서는, 상기 입력 영상의 화소들 각각에 대하여, 상기 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 상기 움직임 영역에 포함되었다고 판단된 화소의 상기 전경 확률값이 확률 문턱값(Tm) 이상이면 전경-정보 이진수 "1"이, 그렇지 않으면 배경-정보 이진수 "0"이 되는 제1 전경 판단값(Mi (t) , motion)이 구해진다.
상기 단계 (e)에서는, 상기 엘리베이터의 문의 개폐 상태가 판단된다.
상기 단계 (f)에서는, 상기 엘리베이터의 문이 열려져 있는 동안에는 상기 제1 전경 판단값(Mi (t),motion)과 동일하게 보조 전경 판단값(Q(t))이 설정되고, 상기 엘리베이터의 문이 닫혀져 있는 동안에는 이전 영상에 대한 최종 전경 판단값(Mi (t-1),final)과 상기 제1 전경 판단값(Mi (t),motion)에 의한 보조 전경 판단값(Q(t))이 구해진다.
상기 단계 (g)에서는, 상기 보조 전경 판단값(Q(t))과 상기 전경 확률값(PFG(fi｜xi))을 곱한 결과가 최종 문턱값(Tb) 이상이면 전경-정보 이진수 "1"이, 그렇지 않으면 배경-정보 이진수 "0"이 되는 최종 전경 판단값(Mi (t),final)이 구해진다.
또한, (h) 판단된 전경 영상이 상기 엘리베이터의 바닥면 영상과 연결되지 않을 경우, 해당 영상을 배경 영상으로서 설정하는 단계가 더 포함될 수 있다.
또한, 상기 입력 영상은 동영상의 일련의 프레임 영상들을 포함하고, 상기 단계들 (a) 내지 (g)가 반복적으로 수행될 수 있다.
또한, 상기 단계 (c)에서의 상기 기준 영상은, 전경과 배경이 분리되어 있고, 상기 단계들 (a) 내지 (g)가 반복적으로 수행되는 과정에서의 이전 영상으로서 갱신될 수 있다.
또한, 상기 단계 (e)에서, 상기 엘리베이터의 문의 상부에 상응하는 화소들의 평균 전경 확률값(PFG_MEAN)이 설정 평균 문턱값(Tm) 이상이면, 상기 엘리베이터의 문이 열렸다고 판단될 수 있다.
또한, 상기 단계 (c)에서 상기 입력 영상의 화소들 각각에 대하여 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도를 구함에 있어서, 상기 대상 화소와 주변 화소들의 평균 계조 값과 주변 화소의 계조 값의 차이인 상기 대상 화소의 질감(texture) 값이 사용될 수 있다.
본 발명의 실시예들의 영상 처리 방법에 의하면, 상기 입력 영상의 화소들 각각에 대하여, 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률값이 구해진다. 또한, 상기 입력 영상의 화소들 각각에 대하여, 상기 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 상기 움직임 영역에 포함되었다고 판단된 화소의 상기 전경 확률값이 설정 문턱 값 이상이면, 전경 영상의 화소로서 판단된다.
따라서, 엘리베이터의 내부와 같이 반사체가 존재하고 조도 변화가 잦은 환경에 대하여, 강인(robust)하면서 분리의 정확도가 향상될 수 있다.
또한, 상기 기준 영상이 전경과 배경 정보를 가진 이전 영상으로서 갱신되므로, 상기 전경 확률값의 정확도가 높아질 수 있다.
또한, 상기 입력 영상의 화소들 각각에 대하여 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도를 구함에 있어서, 상기 대상 화소와 주변 화소들의 평균 계조 값과 주변 화소의 계조 값의 차이인 상기 대상 화소의 질감(texture) 값이 사용된다. 이에 따라, 더욱 강인(robust)하면서 분리의 정확도가 더욱 향상될 수 있다.
또한, 판단된 전경 영상이 상기 엘리베이터의 바닥면 영상과 연결되지 않을 경우, 해당 영상이 배경 영상으로 판단된다. 즉, 엘리베이터의 특성을 이용하여, 반사체 등으로 인한 분리 오류가 정정될 수 있다.
한편, 상기 엘리베이터의 문이 열려져 있는 동안에는 상기 제1 전경 판단값(Mi (t),motion)과 동일하게 보조 전경 판단값(Q(t))이 설정되고, 상기 엘리베이터의 문이 닫혀져 있는 동안에는 이전 영상에 대한 최종 전경 판단값(Mi (t-1),final)과 상기 제1 전경 판단값(Mi (t),motion)에 의한 보조 전경 판단값(Q(t))이 구해진다. 그리고, 상기 보조 전경 판단값(Q(t))과 상기 전경 확률값(PFG(fi｜xi))을 곱한 결과가 최종 문턱값(Tb) 이상이면 전경-정보 이진수 "1"이, 그렇지 않으면 배경-정보 이진수 "0"이 되는 최종 전경 판단값(Mi (t),final)이 구해진다.
여기에서, 상기 엘리베이터의 문이 닫혀져 있는 동안에는 피사체의 움직임이 미미하므로, 상기 제1 전경 판단값(Mi (t),motion)이 정확도가 떨어질 수 있다. 이 경우, 이전 영상에 대한 최종 전경 판단값(Mi (t-1),final)과 상기 제1 전경 판단값(Mi (t),motion)에 의한 보조 전경 판단값(Q(t))이 사용되므로, 상기 엘리베이터의 문이 닫혀져 있는 동안에 발생될 수 있는 분리 오류가 방지될 수 있다.
한편, 상기 엘리베이터의 문의 상부에 상응하는 화소들의 평균 전경 확률값(PFG _ MEAN)이 설정 평균 문턱값(Tm) 이상이면, 상기 엘리베이터의 문이 열렸다고 판단된다. 즉, 상기 엘리베이터의 문의 상부에는 사람들로 인한 영상 변화가 거의 없으므로, 상기 엘리베이터의 문이 닫혀져 있는 동안에 상기 평균 전경 확률값(PFG_MEAN)이 낮고, 상기 엘리베이터의 문이 열려져 있는 동안에 상기 평균 전경 확률값(PFG _ MEAN)이 높다. 따라서, 이를 이용하여 상기 엘리베이터의 문의 개폐 상태가 정확하게 판단될 수 있다.
도 1은 본 발명의 일 실시예의 영상 처리 방법이 적용될 입력 영상을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예의 영상 처리 방법을 보여주는 흐름도이다.
도 3은 도 2의 전경 확률 값을 구하는 단계(S23)를 설명하기 위한 도면이다.
도 4는 입력 영상의 기준 영상과 입력 영상의 상관도에 대한 전경(foreground) 확률의 히스토그램의 일 예를 보여주는 그래프이다.
도 5는 입력 영상의 기준 영상과 입력 영상의 상관도에 대한 배경(background) 확률의 히스토그램의 일 예를 보여주는 그래프이다.
도 6은 도 2의 실시예의 영상 처리 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예의 영상 처리 방법을 보여주는 흐름도이다.
도 8은 도 7의 실시예의 영상 처리 방법을 설명하기 위한 도면이다.
도 9는 도 8의 판단 단계(S82)를 설명하기 위한 도면이다.
도 10은 도 7의 단계들 S705 내지 S707을 설명하기 위한 도면이다.
도 11은 도 8의 후처리(post processing) 단계(S83)를 설명하기 위한 도면이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.
도 1은 본 발명의 일 실시예의 영상 처리 방법이 적용될 입력 영상을 설명하기 위한 도면이다.
도 1을 참조하면, 입력 영상(XT)은 설정 주기(T) 동안에 입력되는 동영상의 일련의 프레임들(예를 들어, F1 내지 F15)의 영상들(x(t),...,x(t-T))을 포함한다. 도 1에서 t는 시간을 가리킨다. 물론, 모든 프레임 영상들(x(t),...,x(t-T))이 사용되는 경우가 있고, 대표 프레임 영상만이 사용되는 경우가 있다.
도 2는 본 발명의 일 실시예의 영상 처리 방법을 보여준다.
도 3은 도 2의 전경 확률 값을 구하는 단계(S23)를 설명하기 위한 도면이다.
도 4는 입력 영상의 기준 영상과 입력 영상의 상관도에 대한 전경(foreground) 확률의 히스토그램의 일 예를 보여준다.
도 5는 입력 영상의 기준 영상과 입력 영상의 상관도에 대한 배경(background) 확률의 히스토그램의 일 예를 보여준다.
도 6은 도 2의 실시예의 영상 처리 방법을 설명하기 위한 도면이다.
도 1 내지 6에서 동일한 참조 부호는 동일한 기능의 대상을 가리킨다.
도 1 내지 6을 참조하면, 도 2의 실시예의 영상 처리 방법은, 카메라 예를 들어, 엘리베이터 내부를 촬영하는 감시 카메라로부터 영상을 입력받고, 입력 영상(61)의 각각의 화소에 대하여 전경(foreground) 영상의 화소인지 또는 배경(background) 영상의 화소인지를 판단하여, 입력 영상(61)에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법으로서, 단계들 S21 내지 S26가 포함된다.
상기 단계 S21에서는, 입력 영상(61)의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지가 판단된다.
보다 상세하게는, 주기 T 동안에 M 개의 영상 프레임들이 입력되는 경우, 어느 한 시점 t에서 어느 한 화소의 가우시안 혼합 분포는 아래의 수학식 1로 표현될 수 있다.
Figure pat00001
상기 수학식 1에서, p는 확률을, x는 어느 한 화소의 계조를, XT는 입력 영상을, BG는 배경 영상 가능성의 화소를, FG는 전경 영상 가능성의 화소를, πm은 m번째 가우시안 분포의 가중값을, N은 정규 분포를, μm은 m번째 가우시안 분포의 평균값을, σm 2은 m번째 가우시안 분포의 분산값 x(t)-μm을, 그리고 I는 상수를 의미한다.
잘 알려져 있는 바와 같이, 다음 t+1 시점에서 해당 화소의 계조가 입력된 경우, 아래의 수학식들 2 내지 4에 의하여 분포가 재귀적으로 갱신된다.
Figure pat00002
Figure pat00003
Figure pat00004
상기 수학식들 2 내지 4에 있어서, α는 설정 상수를 가리킨다. om은, 이전 t 시점에서 해당 화소의 계조가 가우시안 분포와 매칭된 경우에 "1"의 값을, 그렇지 않은 경우에 "0"의 값을 가진다.
여기에서, 배경에 해당하는 화소 계조의 가우시안 분포는, 전경에 해당하는 화소 계조의 가우시안 분포에 비하여, 가중값 πm이 크고 분산값 σm 2이 적은 특성을 가진다.
이를 이용하여, 가중값 πm이 큰 순서대로 B 개의 가중값들 πm을 더하면, 해당 화소의 배경 확률을 얻을 수 있다. 즉, 아래의 수학식 5에 의하여 얻어진 배경 확률 값이 설정 문턱값 이상이면 배경 화소로 판단하고, 그렇지 않으면 전경 화소로 판단한다.
Figure pat00005
단계 S22에서는, 입력 영상(61)의 화소들 각각에 대하여, 움직임 영역에 포함되었는지가 판단된다. 즉, 입력 영상(61)에서 움직임 영역이 분리된다. 이와 같은 움직임 영역 검출의 알고리즘은 광학적 흐름(optical flow) 등을 이용한 것 외에도 매우 다양하게 잘 알려져 있다. 따라서 그 상세한 설명이 생략된다.
단계 S23에서는, 입력 영상(32, 61)의 화소들 각각에 대하여, 입력 영상(32, 61)의 기준 영상(31)과 입력 영상(32, 61)의 상관도 fi에 대한 전경 확률 히스토그램(도 4)에 따라, 전경 확률값(PFG(fi｜xi))이 구해진다.
본 실시예의 경우, 기준 영상(31)은 전경과 배경이 분리되어 있고, 단계들 S21 내지 S24가 종료 신호가 발생될 때까지(단계 S26) 반복적으로 수행되는 과정에서의 이전 영상으로서 갱신(단계 S25)된다. 따라서, 전경 확률값(PFG(fi｜xi))의 정확도가 높아진다.
단계 S23에서, 입력 영상(32, 61)의 화소들 각각에 대하여 입력 영상(32, 61)의 기준 영상(31)과 입력 영상(32, 61)의 상관도 fi를 구함에 있어서, 대상 화소와 8 개의 주변 화소들의 평균 계조 값(
Figure pat00006
i,
Figure pat00007
i)과 주변 화소의 계조 값(mj, uj)의 차이인 상기 대상 화소의 질감(texture) 값이 사용된다. 이에 따라, 더욱 강인(robust)하면서 분리의 정확도가 더욱 향상될 수 있다.
기준 영상(31)과 입력 영상(32, 61)의 상관도 함수 fi는, 아래의 수학식 6의 NCC(Normalized Cross Correlation) 함수 fi 1과, 아래의 수학식 7의 질감(texture) 특성 함수 fi 2을 포함한다.
Figure pat00008
Figure pat00009
상기 수학식들 6 및 7에서, i는 대상 화소를, j는 주변 화소를, ω는 윈도우를,
Figure pat00010
i는 기준 영상에서 윈도우(31i) 내의 평균 계조 값을,
Figure pat00011
i는 입력 영상에서 윈도우(32i) 내의 평균 계조 값을, mj는 기준 영상에서 윈도우(31i) 내의 주변 계조 값을, 그리고 uj는 입력 영상에서 윈도우(32i) 내의 주변 계조 값을 각각 가리킨다.
따라서, 상기 수학식들 6 및 7에 의하여 얻어진 상관도 값들에 대한 전경 확률 히스토그램(도 4)에 따라, 대상 화소의 전경 확률값(PFG(fi｜xi))이 구해질 수 있다.
단계 S24에 있어서, 입력 영상(32, 61)의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 판단(단계 S21)된 전경 영상의 화소, 또는 움직임 영역에 포함되었다고 판단(단계 S22)된 화소의 상기 전경 확률값 PFG(fi｜xi)이 설정 문턱 값 Tm 이상이면, 전경 영상의 화소로서 판단된다. 따라서, 제i 화소에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 판단(단계 S21)된 이진수 "0" 또는 "1"의 전경 영상의 정보를 Mi , GMM, 그리고 이진수 "0" 또는 "1"의 움직임 영역 정보를 Di라 하면, 아래의 수학식 8에 의하여 전경 판단값(Mi,motion)이 구해질 수 있다.
Figure pat00012
상기 수학식 8에 있어서, 가우시안(Gaussian) 혼합 모델에 의한 전경 영상의 정보 Mi , GMM와 움직임 영역 정보를 Di에 대해서 논리 합 연산이 수행된다(도 6의 단계 S24a). 또한, 상기 논리 합 연산의 결과와 상기 전경 확률값 PFG(fi｜xi)에 대해서 곱셈이 수행되고, 그 결과에 대하여 전경 화소 여부의 판단이 수행된다(도 6의 단계 S24b).
따라서, 도 1 내지 6을 참조하여 설명된 본 발명의 일 실시예에 의하면, 엘리베이터의 내부와 같이 반사체가 존재하고 조도 변화가 잦은 환경에 대하여, 강인(robust)하면서 분리의 정확도가 향상될 수 있다.
추가적으로, 엘리베이터 내부의 영상의 각각의 화소에 상기 수학식 8이 적용될 경우, 판단된 전경 영상이 상기 엘리베이터의 바닥면 영상과 연결되지 않을 경우, 해당 영상이 배경 영상으로 판단된다. 즉, 엘리베이터의 특성을 이용하여, 반사체 등으로 인한 분리 오류가 정정될 수 있다. 이 내용은 이하의 제2 실시예에서 상세히 설명될 것이다.
도 7은 본 발명의 다른 실시예의 영상 처리 방법을 보여준다. 도 8은 도 7의 실시예의 영상 처리 방법을 설명하기 위한 도면이다. 도 9는 도 8의 판단 단계(S82)를 설명하기 위한 도면이다. 도 10은 도 7의 단계들 S705 내지 S707을 설명하기 위한 도면이다. 도 11은 도 8의 후처리(post processing) 단계(S83)를 설명하기 위한 도면이다. 도 8에서 후처리 단계(S83)는 도 7의 단계들 S709 및 S710을 포함한다.
도 7 내지 11에서 동일한 참조 부호는 동일한 기능의 대상을 가리킨다.
도 7 내지 11을 참조하면, 도 7의 실시예의 영상 처리 방법은, 엘리베이터 내부를 촬영하는 감시 카메라로부터 영상(81,91,101a,102a,111)을 입력받고, 입력 영상(81,91,101a,102a,111)의 각각의 화소에 대하여 전경(foreground) 영상의 화소인지 또는 배경(background) 영상의 화소인지를 판단하여, 입력 영상(81,91,101a,102a,111)에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법으로서, 단계들 S701 내지 S712를 포함한다.
단계 S701에서는, 입력 영상(81,91,101a,102a,111)의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지가 판단된다. 이 단계 S701은 도 2의 단계 S21에 대하여 상세히 설명된 바와 같다.
단계 S702에서는, 입력 영상(81,91,101a,102a,111)의 화소들 각각에 대하여, 움직임 영역에 포함되었는지가 판단된다. 즉, 입력 영상(81,91,101a,102a,111)에서 움직임 영역이 분리된다. 이와 같은 움직임 영역 검출의 알고리즘은 광학적 흐름(optical flow) 등을 이용한 것 외에도 매우 다양하게 잘 알려져 있다. 따라서 그 상세한 설명이 생략된다.
단계 S703에서는, 입력 영상(81,91,101a,102a,111)의 화소들 각각에 대하여, 입력 영상의 기준 영상(도 3의 32)과 입력 영상(81,91,101a,102a,111)의 상관도 fi에 대한 전경 확률 히스토그램(도 4)에 따라, 전경 확률값(PFG(fi｜xi))이 구해진다.
본 실시예의 경우, 기준 영상(31)은 전경과 배경이 이미 분리되어 있고, 단계들 S701 내지 S712가 종료 신호가 발생될 때까지(단계 S712) 반복적으로 수행되는 과정에서의 이전 영상으로서 갱신(단계 S711)된다. 따라서, 전경 확률값(PFG(fi｜xi))의 정확도가 높아진다.
단계 S703은 도 2의 단계 S23에 대하여 상세히 설명된 바와 같다.
단계 S704에서는 제1 전경 판단값(Mi (t),motion)이 구해진다. 즉, 입력 영상(81,91,101a,102a,111)의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 움직임 영역에 포함되었다고 판단된 화소의 상기 전경 확률값(PFG(fi｜xi))이 확률 문턱값(Tm) 이상이면 전경-정보 이진수 "1"이, 그렇지 않으면 배경-정보 이진수 "0"이 되는 제1 전경 판단값(Mi (t),motion)이 구해진다.
이 단계 S704는 도 2의 단계 S24에 대하여 상세히 설명된 바와 같다. 즉, 상기 수학식 8에서의 전경 판단값은 Mi,motion으로 표기되었지만, 현재 입력 영상에 대한 처리 시점인 t 시점에서의 전경 판단값 즉, 제1 전경 판단값은 Mi (t),motion으로 표기하기로 한다.
상기 단계들 S701 내지 S704는 예비 분리 결과(도 9의 93)를 발생시키는 일차 판단 단계(도 9의 S91)에 해당된다. 또한, 하기 단계들 S705 내지 S708은 예비 분리 결과(도 9의 93)와 이전 영상의 정보(도 9의 92)를 사용하는 판단 단계(도 9의 S92)에 해당된다.
따라서, 도 8의 판단 단계(S82)는 도 9의 일차 판단 단계(S91)와 판단 단계(S92)를 포함한다.
그리고, 하기 단계들 S709 및 S710은 후처리 단계(도 8의 S83)에 해당된다.
이하, 단계들 S705 내지 S710이 상세히 설명된다.
단계 S705에서는, 엘리베이터의 문의 개폐 상태가 판단된다.
여기에서, 엘리베이터의 문의 상부(도 10의 Aup1, Aup2)에 상응하는 화소들의 평균 전경 확률값(PFG _ MEAN)이 설정 평균 문턱값(Tm) 이상이면, 엘리베이터의 문이 열렸다고 판단된다. 즉, 엘리베이터의 문의 상부(Aup1, Aup2)에는 사람들로 인한 영상 변화가 거의 없으므로, 엘리베이터의 문이 닫혀져 있는 동안에 평균 전경 확률값(PFG _ MEAN)이 낮고, 엘리베이터의 문이 열려져 있는 동안에 평균 전경 확률값(PFG _ MEAN)이 높다. 따라서, 이를 이용하여 엘리베이터의 문의 개폐 상태가 정확하게 판단될 수 있다.
엘리베이터의 문이 열려져 있는 동안에 수행되는 단계 S706에 있어서, 제1 전경 판단값(Mi (t),motion)과 동일하게 보조 전경 판단값(Q(t))이 설정된다.
엘리베이터의 문이 닫혀져 있는 동안에 수행되는 단계 S707에 있어서, 이전 영상에 대한 최종 전경 판단값(Mi (t-1),final)과 상기 제1 전경 판단값(Mi (t),motion)에 의한 보조 전경 판단값(Q(t))이 구해진다.
즉, 상기 단계들 S706 및 S707은 아래의 수학식 9에 의하여 수행될 수 있다.
Figure pat00013
상기 수학식 9에서 변수 λ는 문이 열려있는 동안에 "0"의 값을 가진다. 따라서, 엘리베이터의 문이 열려져 있는 동안에 수행되는 단계 S706에 있어서, 상기 제1 전경 판단값(Mi (t),motion)과 동일하게 보조 전경 판단값(Q(t))이 설정된다(도 10의 101a 및 101b 참조).
또한, 상기 수학식 9에서 변수 λ는 문이 닫혀져 있는 동안에 "0"보다 크고 "1"보다 적은 값(λclose)을 가진다. 본 실시예의 실험에 의하면 변수 λ는 문이 닫혀져 있는 동안에 약 "0.65"인 것이 바람직하다. 따라서, 엘리베이터의 문이 닫혀져 있는 동안에 수행되는 단계 S707에 있어서, 이전 영상에 대한 최종 전경 판단값(Mi (t-1),final)과 상기 제1 전경 판단값(Mi (t),motion)에 의한 보조 전경 판단값(Q(t))이 구해진다(도 10의 102a 및 102b 참조).
다음에, 단계 S708에 있어서, 보조 전경 판단값(Q(t))과 전경 확률값(PFG(fi｜xi))을 곱한 결과가 최종 문턱값(Tb) 이상이면 전경-정보 이진수 "1"이, 그렇지 않으면 배경-정보 이진수 "0"이 되는 최종 전경 판단값(Mi (t),final)이 구해진다. 즉, 단계 S708은 아래의 수학식 10처럼 표현될 수 있다.
Figure pat00014
요약하면, 엘리베이터의 문이 닫혀져 있는 동안에는 피사체의 움직임이 미미하므로, 제1 전경 판단값(Mi (t) , motion)이 정확도가 떨어질 수 있다. 이 경우, 이전 영상에 대한 최종 전경 판단값(Mi (t-1) , final)과 제1 전경 판단값(Mi (t) ,motion)에 의한 보조 전경 판단값(Q(t))이 사용되므로, 엘리베이터의 문이 닫혀져 있는 동안에 발생될 수 있는 분리 오류가 방지될 수 있다.
하기 단계들 S709 및 S710은 후처리 단계(도 8의 S83)에 해당된다. 본 실시예의 후처리 단계(도 8의 S83)에 있어서, 하기 단계 S709가 수행되기 전에 잘 알려져 있는 형태학적 영상 처리(morphological image process)에 의하여 방울 형상의 소형 전경 오류들이 제거될 수 있다.
즉, 도 11에서 일차 분리 결과(112)는 상기 수학식 10의 수행에 의한 분리 결과의 영상이다. 또한, 도 11에서 참조 부호 113은 잘 알려져 있는 형태학적 영상 처리(morphological image process)에 의하여 방울 형상의 소형 전경 오류들이 제거된 결과의 영상이다. 이 상태에서, 하기 단계들 S709 및 S710이 수행됨에 의하여 최종 분리 결과의 영상(114)이 얻어질 수 있다.
단계 S709에 있어서, 판단된 전경 영상이 엘리베이터의 바닥면 영상(도 11의 Ifl)과 연결되었는지가 판단된다.
그리고, 판단된 전경 영상이 상기 엘리베이터의 바닥면 영상과 연결되지 않을 경우, 해당 영상이 배경 영상으로서 설정된다(단계 S710).
이에 따라, 최종 분리 결과의 영상(114)이 얻어진다. 즉, 엘리베이터의 특성을 이용하여, 반사체 등으로 인한 분리 오류가 정정될 수 있다.
이상 설명된 바와 같이, 본 발명에 따른 실시예들의 영상 처리 방법에 의하면, 입력 영상의 화소들 각각에 대하여, 입력 영상의 기준 영상과 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률 값이 구해진다. 또한, 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 움직임 영역에 포함되었다고 판단된 화소의 전경 확률값이 설정 문턱 값 이상이면, 전경 영상의 화소로서 판단된다.
따라서, 엘리베이터의 내부와 같이 반사체가 존재하고 조도 변화가 잦은 환경에 대하여, 강인(robust)하면서 분리의 정확도가 향상될 수 있다.
또한, 기준 영상이 전경과 배경 정보를 가진 이전 영상으로서 갱신되므로, 전경 확률값의 정확도가 높아질 수 있다.
또한, 입력 영상의 화소들 각각에 대하여 입력 영상의 기준 영상과 입력 영상의 상관도를 구함에 있어서, 대상 화소의 주변 화소들의 평균 계조 값과 대상 화소의 계조 값의 차이인 대상 화소의 질감(texture) 값이 사용된다. 이에 따라, 더욱 강인(robust)하면서 분리의 정확도가 더욱 향상될 수 있다.
또한, 판단된 전경 영상이 엘리베이터의 바닥면 영상과 연결되지 않을 경우, 해당 영상이 배경 영상으로 판단된다. 즉, 엘리베이터의 특성을 이용하여, 반사체 등으로 인한 분리 오류가 정정될 수 있다.
한편, 엘리베이터의 문이 열려져 있는 동안에는 제1 전경 판단값(Mi (t),motion)과 동일하게 보조 전경 판단값(Q(t))이 설정되고, 엘리베이터의 문이 닫혀져 있는 동안에는 이전 영상에 대한 최종 전경 판단값(Mi (t-1),final)과 제1 전경 판단값(Mi (t),motion)에 의한 보조 전경 판단값(Q(t))이 구해진다. 그리고, 보조 전경 판단값(Q(t))과 전경 확률값(PFG(fi｜xi))을 곱한 결과가 최종 문턱값(Tb) 이상이면 전경-정보 이진수 "1"이, 그렇지 않으면 배경-정보 이진수 "0"이 되는 최종 전경 판단값(Mi (t),final)이 구해진다.
여기에서, 엘리베이터의 문이 닫혀져 있는 동안에는 피사체의 움직임이 미미하므로, 제1 전경 판단값(Mi (t),motion)이 정확도가 떨어질 수 있다. 이 경우, 이전 영상에 대한 최종 전경 판단값(Mi (t-1),final)과 제1 전경 판단값(Mi (t),motion)에 의한 보조 전경 판단값(Q(t))이 사용되므로, 엘리베이터의 문이 닫혀져 있는 동안에 발생될 수 있는 분리 오류가 방지될 수 있다.
한편, 엘리베이터의 문의 상부에 상응하는 화소들의 평균 전경 확률값(PFG _ MEAN)이 설정 평균 문턱값(Tm) 이상이면, 엘리베이터의 문이 열렸다고 판단된다. 즉, 엘리베이터의 문의 상부에는 사람들로 인한 영상 변화가 거의 없으므로, 엘리베이터의 문이 닫혀져 있는 동안에 평균 전경 확률값(PFG_MEAN)이 낮고, 엘리베이터의 문이 열려져 있는 동안에 평균 전경 확률값(PFG_MEAN)이 높다. 따라서, 이를 이용하여 엘리베이터의 문의 개폐 상태가 정확하게 판단될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
모든 감시 시스템의 호스트 장치에서 이용될 가능성이 높다.
F1 내지 F15 : 영상 프레임, XT : 입력 영상,
31 : 기준 영상, 32 : 입력 영상,
31i : 기준 영상의 i번째 화소(mi)에 대한 마스크 창(mask window),
32i : 입력 영상의 i번째 화소(ui)에 대한 마스크 창,
fi : 상관도 함수들, fi 1 : NCC 함수,
fi 2 : 질감(texture) 특성 함수,
101a : 엘리베이터의 문이 열린 상태의 영상,
101b : 엘리베이터의 문이 열린 상태의 전경/배경 분리 결과,
102a : 엘리베이터의 문이 닫힌 상태의 영상,
102b : 엘리베이터의 문이 닫힌 상태의 전경/배경 분리 결과,
Aup1, Aup2 : 엘리베이터의 문의 상부 영상,
Ifloor : 바닥면 영상.

Claims (15)

  1. 입력 영상의 각각의 화소에 대하여 전경(foreground) 영상의 화소인지 또는 배경(background) 영상의 화소인지를 판단하여, 상기 입력 영상에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법에 있어서,
    (a) 상기 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지를 판단하는 단계;
    (b) 상기 입력 영상의 화소들 각각에 대하여, 움직임 영역에 포함되었는지를 판단하는 단계;
    (c) 상기 입력 영상의 화소들 각각에 대하여, 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률값을 구하는 단계; 및
    (d) 상기 입력 영상의 화소들 각각에 대하여, 상기 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 상기 움직임 영역에 포함되었다고 판단된 화소의 상기 전경 확률값이 설정 문턱 값 이상이면, 전경 영상의 화소로서 판단하는 단계를 포함한 영상 처리 방법.
  2. 제1항에 있어서,
    상기 입력 영상은 동영상의 일련의 프레임 영상들을 포함하고,
    상기 단계들 (a) 내지 (d)가 반복적으로 수행되는 영상 처리 방법.
  3. 제2항에 있어서, 상기 단계 (c)에서의 상기 기준 영상은,
    전경과 배경이 분리되어 있고,
    상기 단계들 (a) 내지 (d)가 반복적으로 수행되는 과정에서의 이전 영상으로서 갱신되는 영상 처리 방법.
  4. 제1항에 있어서, 상기 단계 (c)에서 상기 입력 영상의 화소들 각각에 대하여 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도를 구함에 있어서,
    상기 대상 화소와 주변 화소들의 평균 계조 값과 주변 화소의 계조 값의 차이인 상기 대상 화소의 질감(texture) 값이 사용되는 영상 처리 방법.
  5. 엘리베이터 내부를 촬영하는 감시 카메라로부터 영상을 입력받고, 입력 영상의 각각의 화소에 대하여 전경(foreground) 영상의 화소인지 또는 배경(background) 영상의 화소인지를 판단하여, 상기 입력 영상에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법에 있어서,
    (a) 상기 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지를 판단하는 단계;
    (b) 상기 입력 영상의 화소들 각각에 대하여, 움직임 영역에 포함되었는지를 판단하는 단계;
    (c) 상기 입력 영상의 화소들 각각에 대하여, 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률값을 구하는 단계; 및
    (d) 상기 입력 영상의 화소들 각각에 대하여, 상기 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 상기 움직임 영역에 포함되었다고 판단된 화소의 상기 전경 확률값이 설정 문턱 값 이상이면, 전경 영상의 화소로서 판단하는 단계를 포함한 영상 처리 방법.
  6. 제5항에 있어서,
    (e) 판단된 전경 영상이 상기 엘리베이터의 바닥면 영상과 연결되지 않을 경우, 해당 영상을 배경 영상으로 판단하는 단계를 더 포함한 영상 처리 방법.
  7. 제5항에 있어서, 상기 단계 (c)에서 상기 입력 영상의 화소들 각각에 대하여 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도를 구함에 있어서,
    상기 대상 화소와 주변 화소들의 평균 계조 값과 주변 화소의 계조 값의 차이인 상기 대상 화소의 질감(texture) 값이 사용되는 영상 처리 방법.
  8. 제5항에 있어서,
    상기 입력 영상은 동영상의 일련의 프레임 영상들을 포함하고,
    상기 단계들 (a) 내지 (d)가 반복적으로 수행되는 영상 처리 방법.
  9. 제8항에 있어서, 상기 단계 (c)에서의 상기 기준 영상은,
    전경과 배경이 분리되어 있고,
    상기 단계들 (a) 내지 (d)가 반복적으로 수행되는 과정에서의 이전 영상으로서 갱신되는 영상 처리 방법.
  10. 엘리베이터 내부를 촬영하는 감시 카메라로부터 영상을 입력받고, 입력 영상의 각각의 화소에 대하여 전경(foreground) 영상의 화소인지 또는 배경(background) 영상의 화소인지를 판단하여, 상기 입력 영상에서 전경 영상과 배경 영상을 분리하는 영상 처리 방법에 있어서,
    (a) 상기 입력 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지를 판단하는 단계;
    (b) 상기 입력 영상의 화소들 각각에 대하여, 움직임 영역에 포함되었는지를 판단하는 단계;
    (c) 상기 입력 영상의 화소들 각각에 대하여, 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도에 대한 전경 확률 히스토그램에 따라, 전경 확률값(PFG(fi｜xi))을 구하는 단계;
    (d) 상기 입력 영상의 화소들 각각에 대하여, 상기 가우시안(Gaussian) 혼합 모델에 의하여 판단된 전경 영상의 화소, 또는 상기 움직임 영역에 포함되었다고 판단된 화소의 상기 전경 확률값(PFG(fi｜xi))이 확률 문턱값(Tm) 이상이면 전경-정보 이진수 "1"이, 그렇지 않으면 배경-정보 이진수 "0"이 되는 제1 전경 판단값(Mi (t),motion)을 구하는 단계;
    (e) 상기 엘리베이터의 문의 개폐 상태를 판단하는 단계;
    (f) 상기 엘리베이터의 문이 열려져 있는 동안에는 상기 제1 전경 판단값(Mi (t),motion)과 동일하게 보조 전경 판단값(Q(t))을 설정하고, 상기 엘리베이터의 문이 닫혀져 있는 동안에는 이전 영상에 대한 최종 전경 판단값(Mi (t-1),final)과 상기 제1 전경 판단값(Mi (t),motion)에 의한 보조 전경 판단값(Q(t))을 구하는 단계; 및
    (g) 상기 보조 전경 판단값(Q(t))과 상기 전경 확률값(PFG(fi｜xi))을 곱한 결과가 최종 문턱값(Tb) 이상이면 전경-정보 이진수 "1"이, 그렇지 않으면 배경-정보 이진수 "0"이 되는 최종 전경 판단값(Mi (t),final)을 구하는 단계를 포함한 영상 처리 방법.
  11. 제10항에 있어서,
    (h) 판단된 전경 영상이 상기 엘리베이터의 바닥면 영상과 연결되지 않을 경우, 해당 영상을 배경 영상으로서 설정하는 단계를 더 포함한 영상 처리 방법.
  12. 제10항에 있어서,
    상기 입력 영상은 동영상의 일련의 프레임 영상들을 포함하고,
    상기 단계들 (a) 내지 (g)가 반복적으로 수행되는 영상 처리 방법.
  13. 제12항에 있어서, 상기 단계 (c)에서의 상기 기준 영상은,
    전경과 배경이 분리되어 있고,
    상기 단계들 (a) 내지 (g)가 반복적으로 수행되는 과정에서의 이전 영상으로서 갱신되는 영상 처리 방법.
  14. 제10항에 있어서, 상기 단계 (e)에서,
    상기 엘리베이터의 문의 상부에 상응하는 화소들의 평균 전경 확률값(PFG_MEAN)이 설정 평균 문턱값(Tm) 이상이면, 상기 엘리베이터의 문이 열렸다고 판단되는 영상 처리 방법.
  15. 제10항에 있어서, 상기 단계 (c)에서 상기 입력 영상의 화소들 각각에 대하여 상기 입력 영상의 기준 영상과 상기 입력 영상의 상관도를 구함에 있어서,
    상기 대상 화소와 주변 화소들의 평균 계조 값과 주변 화소의 계조 값의 차이인 상기 대상 화소의 질감(texture) 값이 사용되는 영상 처리 방법.
KR1020120025660A 2012-03-13 2012-03-13 영상 처리 방법 KR101739025B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120025660A KR101739025B1 (ko) 2012-03-13 2012-03-13 영상 처리 방법
US13/675,474 US8908967B2 (en) 2012-03-13 2012-11-13 Image processing method using foreground probability

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120025660A KR101739025B1 (ko) 2012-03-13 2012-03-13 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20130104286A true KR20130104286A (ko) 2013-09-25
KR101739025B1 KR101739025B1 (ko) 2017-05-24

Family

ID=49157714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120025660A KR101739025B1 (ko) 2012-03-13 2012-03-13 영상 처리 방법

Country Status (2)

Country Link
US (1) US8908967B2 (ko)
KR (1) KR101739025B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150060032A (ko) * 2013-11-25 2015-06-03 삼성테크윈 주식회사 움직임 검출 시스템 및 방법
KR101709751B1 (ko) 2015-11-24 2017-02-24 주식회사 지오멕스소프트 해변의 입수자에 대한 자동 위험 감시 시스템
KR20180078882A (ko) * 2016-12-30 2018-07-10 서강대학교산학협력단 전경 영역 국소화 장치 및 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150277550A1 (en) * 2014-04-01 2015-10-01 Moju Labs, Inc. Face-Centered Motion-Based Content Navigation
GB2525587A (en) * 2014-04-14 2015-11-04 Quantum Vision Technologies Ltd Monocular camera cognitive imaging system for a vehicle
US9224044B1 (en) 2014-07-07 2015-12-29 Google Inc. Method and system for video zone monitoring
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
WO2016033463A1 (en) * 2014-08-29 2016-03-03 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for compressing video images
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US11170313B2 (en) * 2014-10-10 2021-11-09 Analog Devices International Unlimited Company Pipelining and parallelism for implementing a mixture model
CN104573811A (zh) * 2015-01-08 2015-04-29 杭州天迈网络有限公司 一种红外图像和彩色图像融合的人流量统计方法
CN104751485B (zh) * 2015-03-20 2017-05-24 安徽大学 一种基于gpu自适应的前景提取方法
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
WO2017077261A1 (en) 2015-11-05 2017-05-11 Quantum Vision Technologies Ltd A monocular camera cognitive imaging system for a vehicle
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11127140B2 (en) 2019-04-30 2021-09-21 Samsung Electronics Co., Ltd. Background identification for videos with large foreground objects
CN111259718B (zh) * 2019-10-24 2023-05-23 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯滞留检测方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US7139409B2 (en) * 2000-09-06 2006-11-21 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
JP4596211B2 (ja) 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
US7177445B2 (en) * 2002-04-16 2007-02-13 Koninklijke Philips Electronics N.V. Discriminating between changes in lighting and movement of objects in a series of images using different methods depending on optically detectable surface characteristics
US7224735B2 (en) * 2003-05-21 2007-05-29 Mitsubishi Electronic Research Laboratories, Inc. Adaptive background image updating
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
WO2008039371A2 (en) * 2006-09-22 2008-04-03 Objectvideo, Inc. Video background replacement system
KR101471199B1 (ko) 2008-04-23 2014-12-09 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치
US8320613B2 (en) * 2008-06-04 2012-11-27 Lockheed Martin Corporation Detecting and tracking targets in images based on estimated target geometry
US8290253B1 (en) * 2009-10-30 2012-10-16 Adobe Systems Incorporated Method and apparatus for applying Gaussian Mixture Models to local image patches using an adaptive color lookup table
US8520975B2 (en) * 2009-10-30 2013-08-27 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding
AU2009251048B2 (en) * 2009-12-18 2013-12-19 Canon Kabushiki Kaisha Background image and mask estimation for accurate shift-estimation for video object detection in presence of misalignment
KR101125936B1 (ko) 2010-03-16 2012-03-21 주식회사 유니온커뮤니티 엘리베이터 보안을 위한 지능형 영상 감시시스템 및 그 방법
TWI419082B (zh) * 2010-12-20 2013-12-11 Ind Tech Res Inst 偵測視訊序列中的移動物體影像的方法以及影像處理系統
KR101038650B1 (ko) 2011-01-26 2011-06-02 박상현 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템
US20130308856A1 (en) * 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150060032A (ko) * 2013-11-25 2015-06-03 삼성테크윈 주식회사 움직임 검출 시스템 및 방법
KR101709751B1 (ko) 2015-11-24 2017-02-24 주식회사 지오멕스소프트 해변의 입수자에 대한 자동 위험 감시 시스템
KR20180078882A (ko) * 2016-12-30 2018-07-10 서강대학교산학협력단 전경 영역 국소화 장치 및 방법

Also Published As

Publication number Publication date
US20130243322A1 (en) 2013-09-19
US8908967B2 (en) 2014-12-09
KR101739025B1 (ko) 2017-05-24

Similar Documents

Publication Publication Date Title
KR20130104286A (ko) 영상 처리 방법
CN108399628B (zh) 用于跟踪对象的方法和系统
Varadarajan et al. Spatial mixture of Gaussians for dynamic background modelling
US10489916B2 (en) Method and apparatus for updating a background model
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
CN105404884B (zh) 图像分析方法
US8553086B2 (en) Spatio-activity based mode matching
TWI649698B (zh) 物件偵測裝置、物件偵測方法及電腦可讀取媒體
US20150104062A1 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
JP2019145174A (ja) 画像処理システム、画像処理方法及びプログラム記憶媒体
US10262421B2 (en) Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium
US10726561B2 (en) Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
JP6652051B2 (ja) 検出システム、検出方法及びプログラム
US9904868B2 (en) Visual attention detector and visual attention detection method
CN107437258B (zh) 特征提取方法、运动状态估计方法以及运动状态估计装置
KR102391853B1 (ko) 영상 정보 처리 시스템 및 방법
Hsiao et al. Background initialization and foreground segmentation for bootstrapping video sequences
Song et al. Background subtraction based on Gaussian mixture models using color and depth information
Haque et al. A hybrid object detection technique from dynamic background using Gaussian mixture models
Tavakkoli et al. A novelty detection approach for foreground region detection in videos with quasi-stationary backgrounds
Gao et al. A robust technique for background subtraction in traffic video
Wang et al. A flame detection synthesis algorithm
CN111435457B (zh) 对传感器获取的采集进行分类的方法
JP2014203133A (ja) 画像処理装置、画像処理方法
US20230073298A1 (en) Apparatus and method for action detection

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant