KR101630286B1 - 전경 및 배경 분리 장치 및 방법 - Google Patents

전경 및 배경 분리 장치 및 방법 Download PDF

Info

Publication number
KR101630286B1
KR101630286B1 KR1020100076638A KR20100076638A KR101630286B1 KR 101630286 B1 KR101630286 B1 KR 101630286B1 KR 1020100076638 A KR1020100076638 A KR 1020100076638A KR 20100076638 A KR20100076638 A KR 20100076638A KR 101630286 B1 KR101630286 B1 KR 101630286B1
Authority
KR
South Korea
Prior art keywords
edge
background
foreground
image
current
Prior art date
Application number
KR1020100076638A
Other languages
English (en)
Other versions
KR20120014515A (ko
Inventor
조영관
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020100076638A priority Critical patent/KR101630286B1/ko
Priority to US13/206,147 priority patent/US9165192B2/en
Publication of KR20120014515A publication Critical patent/KR20120014515A/ko
Application granted granted Critical
Publication of KR101630286B1 publication Critical patent/KR101630286B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 전경 및 배경 분리 장치 및 방법을 개시한다.
본 발명의 전경 및 배경 분리 장치는, 배경 및 전경을 포함하는 원본 영상에 대한 에지 영상을 생성하는 에지 영상 생성부와, 상기 에지 영상을 실시간 학습하여 배경 에지 모델을 생성하는 배경 에지 모델 생성부와, 상기 에지 영상 및 상기 배경 에지 모델을 기초로 전경 에지 영상을 생성하는 전경 에지 추출부를 포함한다.

Description

전경 및 배경 분리 장치 및 방법{Apparatus for separating foreground from background and method thereof}
본 발명은 영상 처리에 관한 것으로, 보다 상세하게는, 영상을 전경 및 배경으로 분리하는 장치 및 방법에 관한 것이다.
최근, 안전에 대한 관심과 욕구가 증가하면서, 기존에 군부대, 경찰서 등 특정 영역에서만 쓰이던 영상 감시 시스템이 점차 민간기업 및 가정으로까지 보급되고 있다. 감시영역의 확장 및 감시인력의 인건비 증가, 그리고 심리학적 실험에 의해 입증된 감시인력의 주의력 분산현상으로 인하여 침입감지의 자동화에 대한 요구가 증대되고 있다.
자동화된 침입감지 시스템의 일환으로서, 지능형 감시 시스템의 핵심 기능 중 하나가, 자동으로 전경 영역을 추출하는 것이다. 주된 관심 물체인 사람 또는 차량 등이 주로 감시 시스템의 관심 전경에 해당된다. 그런데, 사람 혹은 차량은 일반적으로 이동하는 물체이므로, 영상에서 움직이는 부분을 그렇지 않은 부분과 분리함으로써 전경, 즉 사람 혹은 차량 등을 추출할 수 있다.
영상에서 전경을 추출하는 기존 방법들은 대부분 영상의 컬러 정보(회색톤 정보 포함)를 이용한다. 컬러값을 기반으로 하는 종래의 전경/배경 분리 기술은 조명 변화에 민감하여 도 1(a)의 원본 영상에 대해 도 1(b)에 도시된 바와 같이 그림자 부분이 전경으로 검출되는 문제점이 있다. 또한, 컬러값을 기반으로 하는 종래의 전경/배경 분리 기술은 도 2(a)의 원본 영상에서의 정지 물체가 도 2(b)에서와 같이 이동하는 경우, 도 2(c)에서와 같이 전경 영역 잔상을 전경 영역으로 검출하는 문제점이 있다.
본 발명은 실시간으로 영상을 전경과 배경으로 정확하게 분리할 수 있는 전경 및 배경 분리 장치와 그 방법을 제공한다.
본 발명의 바람직한 일 실시예에 따른 전경 및 배경 분리 장치는, 배경 및 전경을 포함하는 원본 영상에 대한 에지 영상을 생성하는 에지 영상 생성부; 상기 에지 영상을 실시간 학습하여 배경 에지 모델을 갱신하는 배경 에지 모델 갱신부; 및 상기 에지 영상 및 상기 배경 에지 모델을 기초로 전경 에지 영상을 생성하는 전경 에지 추출부;를 포함할 수 있다.
보다 바람직하게, 상기 배경 에지 모델 갱신부는, 상기 에지 영상의 에지 화소에 대응하는 화소의 화소 값을 일정 값만큼 증가시키고, 상기 에지 영상의 비에지 화소에 대응하는 화소의 화소 값을 일정 값만큼 감소시킨다.
보다 바람직하게, 상기 전경 및 배경 분리 장치는, 길이가 제2 임계값보다 짧은 전경 에지를 삭제하는 전경 에지 보정부;를 더 포함할 수 있다.
보다 바람직하게, 상기 전경 및 배경 분리 장치는, 초기화된 배경 에지 모델을 생성하는 초기 배경 에지 모델 생성부;를 더 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 전경 및 배경 분리 방법은, 배경 및 전경을 포함하는 원본 영상에 대한 에지 영상을 생성하는 단계; 상기 에지 영상을 실시간 학습하여 배경 에지 모델을 갱신하는 단계; 및 상기 에지 영상 및 상기 배경 에지 모델을 기초로 전경 에지 영상을 생성하는 단계;를 포함할 수 있다.
보다 바람직하게, 상기 배경 에지 모델을 갱신하는 단계는, 상기 에지 영상의 에지 화소에 대응하는 화소의 화소 값을 일정 값만큼 증가시키고, 상기 에지 영상의 비에지 화소에 대응하는 화소의 화소 값을 일정 값만큼 감소시키는 단계;를 포함할 수 있다.
보다 바람직하게, 상기 전경 및 배경 분리 방법은, 길이가 제2 임계값보다 짧은 전경 에지를 삭제하는 단계;를 더 포함할 수 있다.
본 발명의 전경 및 배경 분리 장치 및 방법은 조명 변화에 강인하고 물체 이동에 의한 전경 잔상을 남기지 않으면서 영상으로부터 정확하게 전경 및 배경을 분리할 수 있다.
도 1 및 도 2는 종래의 전경 및 배경 분리 방법에 따라 검출된 전경 영상을 도시한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 전경 및 배경 분리 장치를 개략적으로 도시한 블록도이다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 전경 및 배경 분리 방법에 의해 생성된 영상들의 예시도이다.
도 5 내지 도 7은 본 발명의 바람직한 일 실시예에 따른 전경 및 배경 분리 방법을 개략적으로 설명하는 흐름도이다.
도 8 및 도 9는 본 발명의 전경 및 배경 분리 방법에 의해 생성된 전경 에지 영상의 예시도이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 지능형 감시 시스템을 개략적으로 도시한 블록도이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
영상의 컬러 정보(회색톤 정보 포함)를 이용하여 움직이는 물체를 추출하는 기존 방법들은 이동하는 물체, 즉, 전경은 움직이지 않는 배경에 비해 특정값 이상의 컬러 변화가 발생하며, 각 화소에서 전경이 나타나는 시간보다 배경이 보이는 시간이 더 길다고 가정한다. 이 가정으로부터, 영상의 각 화소에 대해, 시간의 변화에 따라 컬러의 변화를 통계적으로 표현하여 배경 모델을 만든다. 입력 영상의 각 화소의 컬러값이 이미 만들어진 배경 모델과 차이가 크면 전경 화소로 구분하고, 그렇지 않으면 배경 화소로 구분하여, 입력 영상을 전경과 배경으로 분리하게 된다.
그러나, 상기 방법들은 다양한 배경 컬러값을 모델링하기 쉽지 않다. 움직이지 않는 배경의 컬러값도 조명의 변화에 따라 급격히 변화하며, 이 변화를 정확히 모델링하기 쉽지 않다. 예를 들어, 빠르게 지나가는 구름에 의해 영상이 전체적으로 갑자기 어두워지면, 영상 전체가 전경으로 판단될 수 있다. 다른 예로, 지나가는 물체에 의해 발생한 그림자에 의해 배경 컬러가 바뀌어도 그림자 영역이 전경 영역으로 판단될 수 있다. 또한, 같은 자리에 오랫동안 머문 전경이 사라지면 전경 잔상이 남는다. 예를 들어, 전경이 같은 자리에 오랫동안 머무는 경우, 일정 시간이 지나면 전경이 배경으로 전환된다. 그 후, 전경이 이동하면 그동안 전경에 의해 가려졌던 배경이 전경으로 검출될 수 있다.
본 발명은 컬러 정보가 아닌 에지 정보를 이용하여 에지 영상과 배경 에지 모델을 생성하고, 상기 에지 영상과 상기 배경 에지 모델을 기초로 전경 에지와 배경 에지를 결정하여 전경을 검출한다. 이로써 조명 변화에 강인하고 전경 잔상 문제가 없는 전경 및 배경 분리 방법을 제공할 수 있다.
도 3은 본 발명의 바람직한 일 실시예에 따른 전경 및 배경 분리 장치를 개략적으로 도시한 블록도이다.
도 3을 참조하면, 본 발명의 전경 및 배경 분리 장치(100)는 초기 배경 에지 모델 생성부(110), 에지 영상 생성부(120), 배경 에지 모델 갱신부(140), 전경 에지 추출부(160), 및 전경 에지 보정부(180)를 포함한다.
초기 배경 에지 모델 생성부(110)는 초기화 단계에서 각 화소의 화소 값이 0으로 초기화된 배경 에지 모델(IB)을 생성한다.
에지 영상 생성부(120)는 한 프레임의 영상을 이진화한 에지 영상(IE)을 생성한다. 상기 에지 영상(IE)은 전경(foreground) 영역의 전경 에지 및 배경(background) 영역의 배경 에지를 모두 포함한다. 전경 영역은 움직이는 물체(이하, '전경'이라 칭함)를 포함하고, 배경 영역은 일정 시간 동안 정지된 물체(이하, '배경'이라 칭함)를 포함한다. 여기서, 에지는 영상 내 인접한 화소 간에 밝기 차이가 상대적으로 큰 부분을 의미한다. 즉, 에지는 영상 안에 있는 물체의 경계(Boundary)를 가리키는 것으로서, 모양(Shape), 방향성(Direction)을 탐지할 수 있는 등 여러 가지 중요한 정보를 포함하고 있다.
에지 영상 생성부(120)는 입력 영상의 각 화소(x,y)를 에지와 비에지로 이진화한다. 에지의 화소 값은 IE(x,y)=255이고, 비에지의 화소 값은 IE(x,y)=0이 된다. 에지 영상 생성부(120)는 캐니 에지(canny edge) 검출 방법을 이용하여 에지 영상(IE)을 생성할 수 있으며, 캐니 에지 검출 방법은 공지된 내용이므로 상세한 설명은 생략한다.
배경 에지 모델 갱신부(140)는 에지 영상(IE)을 실시간 학습하여 배경 에지 모델(IB)을 갱신한다. 배경 에지 모델(IB)은 입력되는 에지 영상(IE)의 화소 값을 기초로 갱신된다. 배경 에지 모델 갱신부(140)는 입력되는 에지 영상(IE)의 각 화소가 에지인지를 판단한다. 배경 에지 모델 갱신부(140)는 현재 에지 영상(IE)의 화소가 에지이면, 이전 배경 에지 모델(IB)에서 대응하는 화소의 화소 값을 일정 값만큼 증가시키고, 현재 에지 영상(IE)의 화소가 비에지이면, 이전 배경 에지 모델(IB)에서 대응하는 화소의 화소 값을 일정 값만큼 감소시켜, 이전 배경 에지 모델(IB)을 현재 배경 에지 모델(IB)로 갱신한다. 이때, 배경 에지 모델(IB)의 각 화소 값, IB(x,y)은 최대값(Max)과 최소값(Min) 범위 내로 제한된다.
예를 들어, 에지 영상(IE)의 화소가 에지, 즉, 화소 값이 IE(x,y)=255이면, 배경 에지 모델(IB)에서 대응하는(동일 좌표의) 화소의 화소 값을 1 증가시킨다. 즉, IB(x,y)를 1 증가시킨다. 반대로, 에지 영상(IE)의 화소가 비에지, 즉, 화소 값이 IE(x,y)=0이면, 배경 에지 모델(IB)에서 대응하는 화소의 화소 값을 1 감소시킨다. 즉, IB(x,y)를 1 감소시킨다. 여기서, 각 화소 값 IB(x,y)의 최대값은 특정 임계 값(M)으로, 최소값은 0으로 제한할 수 있다.
한편, 정지된 물체는 소정 시간 경과 후 이동할 수 있고, 이동하던 물체는 정지할 수 있다. 이 경우, 배경으로 간주된 정지된 물체는 전경으로 전환되고, 전경으로 간주된 이동하는 물체는 배경으로 전환될 수 있다. 상기 배경 에지 모델(IB)은 매 입력 프레임의 에지 영상(IE)을 실시간 학습하여 갱신되므로, 전경의 배경으로의 전환 또는 배경의 전경으로의 전환을 반영할 수 있다.
배경 에지 모델(IB)은 학습 초기에는 전경과 배경의 구분이 모호한 영상이나, 실시간 학습에 의한 갱신이 진행되면서 배경 에지만 표시된 선명한 영상이 된다. 선명한 영상의 배경 에지 모델(IB)은 전경의 배경으로의 전환 또는 배경의 전경으로의 전환에 의해 다시 전경과 배경의 구분이 모호한 영상이 되고, 실시간 학습에 의한 갱신이 진행되면서 배경 에지만 표시된 선명한 영상이 된다. 에지 영상(IE)의 에지에 대응하는 배경 에지 모델(IB)의 화소의 화소 값이 특정 임계 값 이상이면, 해당 화소가 배경 에지로 결정되고, 배경 에지만 표시된 선명한 영상의 배경 에지 모델(IB)이 생성될 수 있다.
전경 에지 추출부(160)는 에지 영상(IE)과 배경 에지 모델(IB)을 기초로 전경 에지 영상(IF)을 생성한다. 전경 에지 추출부(160)는 에지 영상(IE)의 화소가 에지이고, 배경 에지 모델(IB)의 대응하는 화소의 화소 값이 특정 임계값(T)보다 크면, 즉, IB(x,y)>T 이면, 전경 에지 영상(IF)에서 대응하는 화소를 배경 에지로 결정한다. 배경 에지로 결정된 화소는 화소 값이 IF(x,y)=0이 된다. 전경 에지 추출부(160)는 에지 영상(IE)의 화소가 에지이고, 배경 에지 모델(IB)의 대응하는 화소의 화소 값이 특정 임계값(T)보다 작으면, 전경 에지 영상(IF)에서 대응하는 화소를 전경 에지로 결정한다. 전경 에지로 결정된 화소는 화소 값이 IF(x,y)=255가 된다. 이에 따라, 전경 에지 영상(IF)이 생성된다.
전경 에지 보정부(180)는 전경 에지 영상(IF)에서 전경 에지의 길이가 특정 임계값(L)보다 짧은 경우 삭제한다. 전경 에지 길이는 연속하는 전경 에지인 화소의 개수에 대응한다.
전경 에지 영상(IF)에는 끊어진 에지(broken edge)가 발생할 수 있다. 끊어진 에지가 발생하는 원인은 영상의 캡쳐시 흔들림 또는 잡영이 발생한 경우, 움직이는 물제의 전부 또는 일부분이 일정 시간 이상 멈추는 경우, 움직이는 물체와 배경 색이 일시적으로 유사하게 되는 경우, 일정하지 않는 빛이 배경이나 물체에 비추는 경우 등이 있을 수 있다. 끊어진 에지는 전경 에지의 일부일 수 있고, 전경 주변에 발생한 노이즈일 수 있다. 확률적으로 에지의 길이가 길면 전경 에지일 가능성이 크고, 에지의 길이가 짧으면 노이즈일 가능성이 크다. 따라서, 끊어진 전경 에지의 길이가 특정 임계값(L)보다 길면 전경 에지로 간주하여 유지하고, 끊어진 전경 에지의 길이가 특정 임계값(L)보다 짧으면 노이즈로 간주하여 삭제한다. 따라서, 전경 에지 보정부(180)는 노이즈가 최소화된 전경 에지 영상(IF)을 생성할 수 있게 한다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 전경 및 배경 분리 방법에 의해 생성된 영상들의 예시도이다.
도 4a는 카메라로부터 입력된 한 프레임의 원본 영상(IO)이다.
도 4b는 원본 영상(IO)으로부터 캐니 에지 검출 방법에 따라 에지를 검출하여 생성한 에지 영상(IE)이다.
도 4c는 에지 영상(IE)을 기초로 생성된 배경 에지 모델(IB)이다. 배경 에지 모델(IB)은 현재 프레임의 에지 영상(IE)에서 검출된 에지 정보를 이전 프레임의 배경 에지 모델(IB)에 반영함으로써 갱신된다. 갱신은 에지 영상(IE)에서 에지인 화소에 대응하는 배경 에지 모델(IB)의 화소의 화소 값을 일정 값만큼 증가시키고, 에지 영상(IE)에서 비에지인 화소에 대응하는 배경 에지 모델(IB)의 화소의 화소 값을 일정 값만큼 감소시킴으로써 수행된다.
도 4d는 에지 영상(IE) 및 배경 에지 모델(IB)을 기초로 생성된 전경 에지 영상(IF)이다. 에지 영상(IE)에서 에지인 화소에 대응하는 배경 에지 모델(IB)의 화소의 화소 값이 정해진 임계값보다 크면, 전경 에지 영상(IF)의 대응하는 화소는 배경 에지로 결정되어 화소 값이 0이 된다. 반면, 에지 영상(IE)에서 에지인 화소에 대응하는 배경 에지 모델(IB)의 화소의 화소 값이 정해진 임계값보다 작으면, 전경 에지 영상(IF)의 대응하는 화소는 전경 에지로 결정되어 화소 값이 255가 된다. 전경 에지와 배경 에지를 구분함으로써 전경 에지 영상(IF)이 생성된다.
한편, 전경 에지 영상(IF)에서 전경 영역 주변에 존재하는 소정 길이의 에지들은 노이즈성 에지로서, 정해진 임계값보다 짧은 에지를 삭제하는 보정에 의해 제거될 수 있다.
도 5 내지 도 7은 본 발명의 바람직한 일 실시예에 따른 전경 및 배경 분리 방법을 개략적으로 설명하는 흐름도이다.
도 5를 참조하면, 먼저 전경 및 배경 분리 장치는 초기화에 의해 각 화소의 화소 값이 0으로 초기화된 초기 배경 에지 모델(IB)을 생성한다(S501).
배경 및 전경을 포함하는 원본 영상을 입력받고(S503), 원본 영상에 대한 에지 영상(IE)을 생성한다(S505). 에지 영상(IE)은 캐니 에지 영상일 수 있다.
전경 및 배경 분리 장치는 에지 영상(IE)을 실시간 학습하여 배경 에지 모델(IB)을 갱신한다(S507). 보다 구체적으로, 도 6을 참조하면, 전경 및 배경 분리 장치는 에지 영상(IE)의 화소가 에지인지를 판단한다(S601). 전경 및 배경 분리 장치는 에지 영상(IE)의 화소가 에지인 경우 배경 에지 모델(IB)의 대응하는 화소의 화소 값을 일정 값만큼 증가시키고(S603), 에지가 아닌 경우 배경 에지 모델(IB)의 대응하는 화소의 화소 값을 일정 값만큼 감소시킨다(S605). 이와 같이 매 프레임의 에지 영상(IE)에 대한 배경 에지 모델(IB)의 화소 값의 증감에 의해 배경 에지 모델(IB)은 갱신된다.
전경 및 배경 분리 장치는 에지 영상(IE) 및 배경 에지 모델(IB)을 기초로 전경 에지 영상(IF)을 생성한다(S509). 보다 구체적으로, 도 7을 참조하면, 전경 및 배경 분리 장치는 에지 영상(IE)의 화소가 에지인지를 판단한다(S701). 전경 및 배경 분리 장치는 에지 영상(IE)의 화소가 에지인 경우, 대응하는 배경 에지 모델(IB)의 화소의 화소 값을 특정 임계값(T)과 비교한다(S703). 대응하는 배경 에지 모델(IB)의 화소는 화소 값이 특정 임계값(T)보다 작으면 전경 에지로 결정되고(S705), 특정 임계값(T)보다 크면 배경 에지로 결정된다(S707). 이에 따라 전경 및 배경 분리 장치는 전경 에지를 나타낸 전경 에지 영상(IF)을 생성한다.
전경 및 배경 분리 장치는 전경 에지 영상(IF)에서 에지 길이가 특정 임계값보다 짧은 에지를 삭제하여 전경 에지 영상(IF)을 보정한다(S511).
도 8 및 도 9는 본 발명의 전경 및 배경 분리 방법에 의해 생성된 전경 에지 영상의 예시도이다.
도 8(a)의 원본 영상에서 움직이는 물체의 그림자에 의해 배경 컬러가 바뀌고 있다. 이 경우, 본 발명의 전경 및 배경 분리 방법에서 사용하는 에지 정보는 조명 변화에 강하여 민감하게 바뀌지 않으므로, 도 8(b)와 같이 그림자가 전경으로 검출되지 않는다.
도 9(a)의 원본 영상에서 정지 물체가 도 9(b)의 원본 영상에서 움직이고 있다. 이 경우, 본 발명의 전경 및 배경 분리 방법에서 사용하는 에지 정보는 물체가 사라지면 함께 사라지므로, 도 9(c)와 같이 전경 잔상이 검출되지 않는다.
도 10은 본 발명의 바람직한 일 실시예에 따른 지능형 감시 시스템을 개략적으로 도시한 블록도이다.
도 10을 참조하면, 지능형 감시 시스템(10)은 영상 입력부(20), 영상 분석부(30), 저장부(40) 및 표시부(50)를 구비할 수 있다.
지능형 감시 시스템(10)은 특정 장소에 또는 이동식으로 설치된 카메라를 통하여 입력되는 영상을 처리하여 관심 영역 및 물체를 검출한다. 다수의 지능형 감시 시스템(10)은 유선 및/또는 무선 네트워크를 통해 연결되어 서로 데이터 및 신호를 주고받을 수 있다.
영상 입력부(20)는 미리 설정된 복수개의 관심 지역들로부터 영상을 입력받는다. 영상 입력부(20)는 렌즈, 카메라, 및 구동장치를 포함할 수 있다. 렌즈는 줌 가능하도록 줌-인(zoom in) 및/또는 줌-아웃(zoom out) 기능을 포함할 수 있다. 따라서, 카메라가 좁은 지역을 더욱 세밀하게 영상을 입력받거나, 더욱 넓은 지역의 영상을 입력받을 수 있도록 할 수 있다. 카메라는 렌즈와 결합되어 렌즈를 통하여 영상을 입력받을 수 있다. 구동장치는 렌즈 및 카메라를 움직일 수 있으며, 팬(pan)/틸팅(tilting) 시스템을 포함하여 영상이 입력되는 관심 지역의 상하 및 좌우 각도를 변경하도록 구동할 수 있다. 상기 영상 입력부(20)는 정해진 경로를 이동하는 이동형 순찰 로봇이 될 수 있다.
영상 분석부(30)는 입력 영상을 처리 및 분석하여, 이벤트를 감지한다. 이벤트 감지를 위해 영상 분석부(30)는 도 3의 전경 및 배경 분리 장치를 포함할 수 있다. 전경 및 배경 분리 장치는 입력 영상의 에지 정보를 이용하여 전경 및 배경을 분리한다. 전경 및 배경 분리 장치는 입력 영상으로부터 에지 영상을 생성하고, 에지 영상을 기초로 배경 에지 모델을 갱신한다. 에지 영상과 배경 에지 모델을 기초로 전경 에지 영상을 생성한다. 영상 분석부(30)는 전경 및 배경 분리 장치에 의해 전경을 추출한 후, 전경 영역에 포함된 물체가 어떤 물체인지 판단하는 물체 구분, 전경 영역에 포함된 각 물체를 분할하는 물체 분할, 여러 장의 영상 내에서 물체의 이동 경로를 파악하는 물체 추적 등의 정보를 추출할 수 있다. 또한, 영상 분석부(30)는 이러한 정보들을 재가공하여 사용자가 원하는 정보를 생성할 수 있는데, 침입자 탐지나 물체 계수 등이 그 예이다.
저장부(40)는 영상 분석 결과 등의 감시 영역에 대한 정보를 저장하고, 보안을 요구하는 사용자가 이를 감시 활동 시에 이용함으로써 보안 취약점을 용이하게 파악하도록 할 수 있다.
표시부(50)는 감시 영상을 표시한다. 표시부(50)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있으며, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 표시부(50)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서 상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨데, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨데, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 상기 매체는 컴퓨터에 의해 판독가능하며, 상기 메모리에 저장되고, 상기 프로세서에서 실행될 수 있다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 상기 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 상기 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순선에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (14)

  1. 배경 및 전경을 포함하는 원본 영상에 대한 현재 에지 영상을 생성하는 에지 영상 생성부;
    상기 현재 에지 영상을 실시간 학습하여 이전 배경 에지 모델을 갱신한 현재 배경 에지 모델을 생성하는 배경 에지 모델 갱신부; 및
    상기 현재 에지 영상 및 상기 현재 배경 에지 모델을 기초로 전경 에지 영상을 생성하는 전경 에지 추출부;를 포함하고,
    상기 배경 에지 모델 갱신부는,
    상기 현재 에지 영상의 에지 화소에 대응하는 상기 이전 배경 에지 모델의 화소의 화소 값을 일정 값만큼 증가시키고, 상기 현재 에지 영상의 비에지 화소에 대응하는 상기 이전 배경 에지 모델의 화소의 화소 값을 일정 값만큼 감소시켜 상기 현재 배경 에지 모델을 생성하는 것을 특징으로 하는 전경 및 배경 분리 장치.
  2. 삭제
  3. 삭제
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 전경 에지 추출부는,
    상기 현재 에지 영상의 에지 화소에 대응하는 상기 현재 배경 에지 모델의 화소의 화소 값이 제1 임계값보다 크면 상기 현재 에지 영상의 에지 화소를 배경 에지로 결정하고, 상기 제1 임계값보다 작으면 상기 현재 에지 영상의 에지 화소를 전경 에지로 결정하는 것을 특징으로 하는 전경 및 배경 분리 장치.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서,
    길이가 제2 임계값보다 짧은 전경 에지를 삭제하는 전경 에지 보정부;를 더 포함하는 것을 특징으로 하는 전경 및 배경 분리 장치.
  6. 삭제
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    초기화된 배경 에지 모델을 생성하는 초기 배경 에지 모델 생성부;를 더 포함하는 것을 특징으로 하는 전경 및 배경 분리 장치.
  8. 배경 및 전경을 포함하는 원본 영상에 대한 현재 에지 영상을 생성하는 단계;
    상기 현재 에지 영상을 실시간 학습하여 이전 배경 에지 모델을 갱신한 현재 배경 에지 모델을 생성하는 단계; 및
    상기 현재 에지 영상 및 상기 현재 배경 에지 모델을 기초로 전경 에지 영상을 생성하는 단계;를 포함하고,
    상기 현재 배경 에지 모델 생성 단계는,
    상기 현재 에지 영상의 에지 화소에 대응하는 상기 이전 배경 에지 모델의 화소의 화소 값을 일정 값만큼 증가시키고, 상기 현재 에지 영상의 비에지 화소에 대응하는 상기 이전 배경 에지 모델의 화소의 화소 값을 일정 값만큼 감소시켜 상기 현재 배경 에지 모델을 생성하는 단계;를 포함하는 것을 특징으로 하는 전경 및 배경 분리 방법.
  9. 삭제
  10. 삭제
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제8항에 있어서, 상기 전경 에지 영상 생성 단계는,
    상기 현재 에지 영상의 에지 화소에 대응하는 상기 현재 배경 에지 모델의 화소의 화소 값이 제1 임계값보다 크면 상기 현재 에지 영상의 에지 화소를 배경 에지로 결정하고, 상기 제1 임계값보다 작으면 상기 현재 에지 영상의 에지 화소를 전경 에지로 결정하는 단계;를 포함하는 것을 특징으로 하는 전경 및 배경 분리 방법.
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서,
    길이가 제2 임계값보다 짧은 전경 에지를 삭제하는 단계;를 더 포함하는 것을 특징으로 하는 전경 및 배경 분리 방법.
  13. 삭제
  14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.
    제8항에 있어서,
    상기 현재 에지 영상 생성 단계에 앞서, 초기화된 배경 에지 모델을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 전경 및 배경 분리 방법.
KR1020100076638A 2010-08-09 2010-08-09 전경 및 배경 분리 장치 및 방법 KR101630286B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100076638A KR101630286B1 (ko) 2010-08-09 2010-08-09 전경 및 배경 분리 장치 및 방법
US13/206,147 US9165192B2 (en) 2010-08-09 2011-08-09 Apparatus and method for separating foreground from background

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100076638A KR101630286B1 (ko) 2010-08-09 2010-08-09 전경 및 배경 분리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120014515A KR20120014515A (ko) 2012-02-17
KR101630286B1 true KR101630286B1 (ko) 2016-06-15

Family

ID=45555875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100076638A KR101630286B1 (ko) 2010-08-09 2010-08-09 전경 및 배경 분리 장치 및 방법

Country Status (2)

Country Link
US (1) US9165192B2 (ko)
KR (1) KR101630286B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209321B (zh) * 2013-04-03 2016-04-13 南京邮电大学 一种视频背景快速更新方法
KR102170439B1 (ko) 2013-09-09 2020-10-29 삼성디스플레이 주식회사 잔상 후보 영역 검출 장치 및 이를 포함하는 잔상 방지 장치
KR102160583B1 (ko) * 2013-10-08 2020-09-28 에스케이 텔레콤주식회사 이벤트 객체 감시장치 및 방법
KR101690050B1 (ko) * 2015-10-30 2016-12-27 한국과학기술연구원 지능형 영상보안 시스템 및 객체 추적 방법
US11328822B2 (en) * 2017-02-01 2022-05-10 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US10776995B2 (en) * 2017-10-17 2020-09-15 Nvidia Corporation Light fields as better backgrounds in rendering
CN111684461B (zh) * 2018-03-05 2023-10-20 欧姆龙株式会社 确定图像数据的特征数据的方法、装置、系统及存储介质
JP7169752B2 (ja) * 2018-03-22 2022-11-11 キヤノン株式会社 監視装置、監視システム、制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
US20070127774A1 (en) 2005-06-24 2007-06-07 Objectvideo, Inc. Target detection and tracking from video streams
US20090290809A1 (en) 2007-06-28 2009-11-26 Hitoshi Yamada Image processing device, image processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100604223B1 (ko) 2004-10-22 2006-07-28 호서대학교 산학협력단 움직임 객체를 추출하는 방법 및 그 시스템
WO2007050707A2 (en) 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
US8565525B2 (en) 2005-12-30 2013-10-22 Telecom Italia S.P.A. Edge comparison in segmentation of video sequences
TW200834459A (en) 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
KR101375665B1 (ko) * 2007-08-08 2014-03-18 삼성전자주식회사 배경 변화 추정 방법 및 장치, 및 이를 이용한 움직임 검출 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
US20070127774A1 (en) 2005-06-24 2007-06-07 Objectvideo, Inc. Target detection and tracking from video streams
US20090290809A1 (en) 2007-06-28 2009-11-26 Hitoshi Yamada Image processing device, image processing method, and program

Also Published As

Publication number Publication date
US20120033073A1 (en) 2012-02-09
KR20120014515A (ko) 2012-02-17
US9165192B2 (en) 2015-10-20

Similar Documents

Publication Publication Date Title
KR101630286B1 (ko) 전경 및 배경 분리 장치 및 방법
US20200272835A1 (en) Intelligent driving control method, electronic device, and medium
US11532156B2 (en) Methods and systems for fire detection
US11170225B2 (en) Stationary target detection by exploiting changes in background model
KR101299237B1 (ko) 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
CN103729858B (zh) 一种视频监控系统中遗留物品的检测方法
US11263769B2 (en) Image processing device, image processing method, and image processing system
CN112101272B (zh) 交通灯检测的方法、装置、计算机存储介质和路侧设备
CN111444854B (zh) 异常事件检测方法、相关设备及可读存储介质
JP2009517740A (ja) ビデオにおけるオブジェクト密度推定
US9456146B2 (en) Exposure control device, imaging device, image display device, and exposure control method
CN104700430A (zh) 机载显示器的运动检测方法
US8639026B2 (en) Background model learning system for lighting change adaptation utilized for video surveillance
CN104902265A (zh) 一种基于背景边缘模型的摄像机异常检测方法及系统
EP3537311A1 (en) On-demand visual analysis focalized on salient events
EP3518529A1 (en) Method and apparatus of processing a signal from an event-based sensor
Pratama et al. Adaptive traffic lights through traffic density calculation on road pattern
CN113011390A (zh) 一种基于图像分区的道路行人小目标检测方法
JP5464489B2 (ja) 置き去り又は持ち去り判定装置
JP5950628B2 (ja) 物体検知装置、物体検知方法及びプログラム
CN106897984B (zh) 一种面向静态相机的非线性背景模型更新方法
JP2023036054A (ja) 目標カウント方法、装置、デバイス及び記憶媒体
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
KR101451070B1 (ko) 그림자에 의한 인식 오류를 제거하여 차량 번호를 인식하는 방법 및 차량 번호 인식 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 4