KR20040099629A

KR20040099629A - 배경영역 변화검출장치 및 방법

Info

Publication number: KR20040099629A
Application number: KR1020030031673A
Authority: KR
Inventors: 강구호; 김흥수; 조재수
Original assignee: 삼성전자주식회사
Priority date: 2003-05-19
Filing date: 2003-05-19
Publication date: 2004-12-02
Also published as: US20040233283A1; KR100481538B1

Abstract

배경영역 변화검출장치 및 방법이 제공된다. 본 배경영역 변화검출장치는, 촬상구역을 촬상하는 적어도 하나 이상의 촬상장치, 촬상장치로부터 촬상된 현재 입력영상으로부터 움직임영역을 제외한 배경영역을 추출하는 배경영역 추출부, 촬상구역에 대한 소정의 배경기준영상을 저장하는 배경기준영상 저장부, 배경영역과 배경기준영상을 비교하는 비교부, 및 비교부의 비교결과에 기초하여, 배경영역의 변화여부를 결정하여 그 결과를 출력하는 판단부를 구비한다. 이에 의해, 침입자가 의도적으로 촬상장치의 정상작동을 방해하는 행위까지도 감시할 수 있어, 보안의 효율을 높이고 도난, 재해 등에 효과적으로 대처할 수 있게 된다.

Description

배경영역 변화검출장치 및 방법 {Apparatus and method for detecting change in background area}

본 발명은 배경영역 변화검출장치 및 그 방법에 관한 것으로, 더욱 상세하게는 현재입력영상으로부터 추출한 배경영역과 기 저장된 배경기준영상을 비교하여, 배경영역의 변화여부를 검출하는 배경영역 변화검출장치 및 그 방법에 관한 것이다.

현금자동지급기, 자동판매기 등과 같은 무인자동화장치와 공장, 주택 등과 같이 경비 및 보안이 요구되는 곳에서, 사람이 직접 경비를 하지 않고 감시카메라를 설치하여, 통제실에서 감시카메라에 의해 전송된 영상을 통해 도난 및 재해 등을 예방하고, 전송된 영상을 하드디스크 또는 테이프에 저장하는 것이 보편화되고 있는 추세이다. 최근들어 디지털 비데오 레코더는 디지털 영상 신호를 이용한 데이터 압축과 더불어 지능적인 영상신호처리 알고리즘을 이용하여 감시시스템의 지능화가 점점 가속화되고 있는 상황이다.

일반적인 감시 환경에서 디지털 비데오 레코더의 성능이 아무리 좋아진다 하더라도, 침입자가 감시 카메라의 화각을 변경한다든지 또는 스프레이로 카메라 렌즈를 가리거나 임의의 물체로 카메라 렌즈를 가리거나, 카메라 동축케이블을 잘라 버린다면 디지털 비데오 레코더의 기능은 무용지물이 될 수 있는 문제점이 발생한다.

본 발명의 목적은 일반적인 감시시스템에서 기존의 감시 시스템의 동작에 이상을 주지 않으면서, 감시 기능을 무력화할 수 있는 상기와 같은 문제점을 해결하기 위하여 고안된 것이다. 이러한 문제점을 해결하기 위하여 현재입력영상으로부터 움직임영역을 제외한 배경영역만을 추출하여, 기 저장된 촬상구역의 배경기준영상을 비교하여 배경영역이 변화되었는지 여부를 판단함으로서, 촬상장치의 정상적인 작동을 방해하는 행위를 검출하여 경보를 발생시킬 수 있는 배경영역 변화검출장치 및 그 방법을 제공함에 있다.

도 1은 본 발명에 따른 배경영역 변화검출장치의 블럭도,

도 2는 도 1의 배경영역 추출부의 상세 블럭도,

도 3은 도 2의 평균영상 산출부의 상세 블럭도,

도 4는 영상신호처리의 설명에 제공되는 도면,

도 5a 내지 도 5d는 영상신호처리의 설명에 제공되는 다른 도면,

도 6a 내지 도 6d는 영상신호처리의 설명에 제공되는 또 다른 도면,

도 7은 본 발명에 따른 배경영역 추출방법의 설명에 제공되는 흐름도, 그리고,

도 8은 경보장치가 작동된 경우 사용자의 설정에 의해 경보장치를 추가적으로 작동하는 방법의 설명에 제공되는 흐름도이다.

* 도면의 주요 부분에 대한 부호의 설명 *

110-1 ∼ 110-n : 촬상장치 120 : 배경영역 추출부

121 : 평균영상 산출부 122 : 배경영역 분리부

123 : 평균영상 저장부 130 : 배경기준영상 저장부

140 : 비교부 150 : 판단부

160-1 ∼ 160-n : 영상출력장치 170 : 사용자 설정부

180 : 경보장치

상기의 목적을 달성하기 위한 본 발명에 따른 배경영역 변화검출장치는, 촬상구역을 촬상하는 적어도 하나 이상의 촬상장치, 상기 촬상장치로부터 입력된 현재입력영상으로부터 움직임영역을 제외한 배경영역을 추출하는 배경영역 추출부, 상기 촬상구역에 대한 소정의 배경기준영상을 저장하는 배경기준영상 저장부, 상기 배경영역과 상기 배경기준영상을 비교하는 비교부, 및 상기 비교부의 비교결과에 기초하여, 상기 배경영역의 변화여부를 결정하여 그 결과를 출력하는 판단부를 포함한다.

그리고, 상기 배경영역 추출부는, 상기 현재입력영상의 입력전의 입력영상인 이전입력영상까지의 영상으로부터 이전평균영상을 산출하는 평균영상 산출부, 및 상기 현재입력영상의 화소값과 상기 이전평균영상의 화소값의 비교결과에 기초하여상기 배경영역으로 판단된 영역을 분리하여 출력하는 배경영역 분리부를 포함하는 것이 가능하다.

그리고, 상기 평균영상 산출부는, 상기 현재입력영상 및 상기 이전평균영상에 기초하여, 현재평균영상을 산출하는 영상신호 처리부, 및 상기 영상신호 처리부 및 상기 배경영역 분리부로 상기 이전평균영상을 출력하고, 상기 영상신호 처리부로부터 상기 현재평균영상을 수신하여 저장하는 평균영상 저장부를 포함하는 것이 가능하다.

그리고, 상기 현재평균영상은, 다음의 식에 의해 산출되는 것이 바람직하다.

A(i,j,t) = (1-w)I(i,j,t) + wA(i,j,t-1)

여기서, A(i,j,t)는 i 번째 라인에서 j 번째 픽셀에 대한 현재평균영상의 화소값이고, I(i,j,t)는 현재입력영상의 화소값이고, A(i,j,t-1)는 이전평균영상의 화소값이고, w는 소정의 히스토리컬 웨이트이다.

그리고, 상기 배경영역 분리부는, 상기 현재입력영상의 화소값과 상기 이전평균영상의 화소값의 차의 절대값이 기설정된 제1 임계값보다 미만인 영역을 상기 배경영역으로 판단하는 것이 바람직하다.

그리고, 상기 비교부는, 상기 배경영역의 화소값과 상기 배경기준영상의 화소값의 차의 절대값을 산출하며, 상기 판단부는, 상기 절대값이 기설정된 제 2 임계값 미만인 화소개수가 기설정된 제 3 임계값 미만인 경우, 상기 배경영역이 변화된 것으로 결정하는 것이 바람직하다.

그리고, 배경영역 변화검출장치는 현재입력영상을 출력하는 적어도 하나 이상의 영상출력장치를 더 포함하는 것이 가능하다. 또한, 배경영역 변화검출장치는 상기 배경기준영상 및 상기 경보장치의 작동여부를 설정하기 위한 사용자 설정부, 및 상기 판단부가 상기 배경영역이 변화된 것으로 판단결과를 출력한 경우 작동되는 경보장치를 더 포함하는 것이 가능하다.

한편, 본 발명인 배경영역 변화검출방법은, (a) 촬상구역을 촬상한 현재입력영상을 입력하는 단계, (b) 상기 촬상구역에 대한 소정의 배경기준영상을 저장하는 단계, (c) 현재입력영상으로부터 움직임영역을 제외한 배경영역을 추출하는 단계, (d) 상기 배경영역과 상기 배경기준영상을 비교하는 단계, 및 (e) 상기 (d) 단계의 비교결과에 기초하여, 상기 배경영역의 변화여부를 검출하는 단계를 포함하는 것이 가능하다.

그리고, 상기 (c) 단계는, (c1) 상기 현재입력영상의 입력전의 입력영상인 이전입력영상까지의 영상으로부터 이전평균영상을 산출하는 단계 및 (c2) 상기 현재입력영상의 화소값과 상기 이전평균영상의 화소값의 비교결과에 기초하여 상기 배경영역으로 판단된 영역을 분리하여 출력하는 단계를 포함하는 것이 가능하다. 또한, 상기 (c1) 단계는, (c11) 상기 현재입력영상 및 상기 이전평균영상에 기초하여, 현재평균영상을 산출하는 단계 및 (c12) 상기 이전평균영상을 출력하고, 상기 현재평균영상을 수신하는 단계를 포함하는 것이 가능하다.

그리고, 상기 현재평균영상은, 다음의 식에 의해 산출된 영상인 것이 바람직하다.

A(i,j,t) = (1-w)I(i,j,t) + wA(i,j,t-1)

그리고, 상기 (c2) 단계는, 상기 현재입력영상의 화소값과 상기 이전평균영상의 화소값의 차의 절대값이 기설정된 제1 임계값보다 미만인 영역을 상기 배경영역으로 판단하는 것이 바람직하다.

그리고, 상기 (d) 단계는, 상기 배경영역의 화소값과 상기 배경기준영상의 화소값의 차의 절대값을 산출하며, 상기 (e) 단계는, 상기 절대값이 기설정된 제 2 임계값 미만인 화소개수가 기설정된 제 3 임계값 미만인 경우, 상기 배경영역이 변화된 것으로 결정하는 것이 바람직하다.

그리고, 배경영역 변화검출방법은 (f) 현재입력영상을 출력하는 단계를 더 포함하는 것이 가능하다. 또한, 배경영역 변화검출방법은 (g) 상기 배경기준영상을 설정하는 단계를 더 포함하는 것이 가능하다.

그리고 배경영역 변화검출방법은 (h) 상기 경보장치의 작동여부를 설정하는 단계, (i) 상기 (e) 단계에서 상기 배경영역의 변화가 검출한 경우 경보장치가 작동되는 단계, 및 (j) 상기 경보장치가 작동된 경우, 상기 경보장치의 추가적인 작동여부를 설정하는 단계를 더 포함하는 것이 가능하다.

이하 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.

도 1은 본 발명에 따른 배경영역 변화검출장치의 블럭도이다. 본 배경영역 변화검출장치는, 적어도 하나 이상의 촬상장치(110-1 ∼ 110-n), 배경영역추출부(120), 배경기준영상 저장부(130), 비교부(140), 판단부(150), 적어도 하나 이상의 영상출력장치(160-1 ∼ 160-n), 사용자 설정부(170), 및 경보장치(180)로 구성된다.

촬상장치(110-1 ∼ 110-n)는 촬상구역을 촬상한 현재입력영상(Input image: I(t))를 배경영역 추출부(120), 배경기준영상 저장부(130), 및 복수의 영상출력장치(160-1 ∼ 160-n)로 전송한다. 배경영역 변화검출장치에서는 복수의 촬상장치(110-1 ∼ 110-n)를 설치하여, 하나의 촬상구역을 다수의 각도로 감시하거나, 다수의 촬상구역을 동시에 감시하게 할 수 있다.

배경영역 추출부(120)는 촬상장치(110-1 ∼ 110-n)로부터 수신한 현재입력영상 I(t)로부터 움직이는 물체에 대한 영상영역인 움직임영역(Motion region:M(t))을 제외하여 배경영역(Background region:B(t))을 추출하고, 상기 배경영역 B(t)를 비교부(140)로 전송한다.

배경기준영상 저장부(130)는 촬상구역의 배경기준영상(Reference image:R(t))을 저장하는 저장매체이며, 저장된 배경기준영상 R(t)를 비교부(140)로 전송한다.

비교부(140)는 배경기준영상 저장부(130)로부터 수신한 배경기준영상 R(t)와 배경영역 추출부(120)로부터 수신한 배경영역 B(t)를 비교하여 그 결과를 판단부(150)로 전송하는 기능을 하는데, 구체적으로 배경기준영상의 화소값 R(i,j,t)과 대응되는 배경영역의 화소값 B(i,j,t)의 차의 절대값 C(i,j,t)들을 산출하여 판단부(150)로 전송한다.

판단부(150)는 비교부(140)로부터 수신한 비교결과에 기초하여, 배경영역 B(t)가 배경기준영상 R(t)와 비교하여 볼 때, 상이하게 변화되었는지 여부를 판단하여 그 결과를 경보장치(180)로 전송하는 기능을 한다.

영상출력장치(160-1 ∼ 160-n)는 촬상장치(110-1 ∼ 110-n)로부터 수신한 현재입력영상 I(t)를 재생하는 기능을 한다. 또한, 영상출력장치(160-1 ∼ 160-n)는 복수로 설치되어 그에 각각 대응하는 복수의 촬상장치(110-1 ∼ 110-n)로부터 촬상된 현재입력영상 I(t)를 재생하는 것도 가능하며, 촬상장치의 작동방해 행위가 검출된 경우에는 이를 디스플레이하여 사용자에게 알리는 경보기능도 수행할 수 있다.

경보장치(180)는, 판단부(150)로부터 배경영역이 변화되었음을 수신받은 경우에 작동되어 상기 사실을 사용자에게 알리는데, 스피커, 버저, 디스플레이 장치 등을 이용할 수 있다. 또한, 사용자가 영상출력장치(160-1 ∼ 160-n)로 현재입력영상 I(t)를 확인하고, 실제로 침입자가 촬상장치(110-1 ∼ 110-n)의 정상작동을 방해하였다고 판단하여, 사용자 설정부(170)를 통해 경보장치(180)의 추가적인 작동을 요구한 경우에는 경보장치(180)는 추가적인 작동을 수행하는데, 추가적인 작동으로는 촬상구역내에 설치된 사이렌의 작동, 출입문의 폐쇄, 경비업체로의 통보 등이 있다.

사용자는 사용자 설정부(170)를 통해 사용자가 촬상하고자 하는 구역인 촬상구역에 대한 배경기준영상 R(t)를 설정할 수 있다. 또한 사용자는 현재입력영상 I(t)의 배경영역 B(t)이 배경기준영상 R(t)로부터 상이하게 되었음이 검출된 경우에 경보장치(180)를 작동할 것인지 여부를 설정할 수 있다. 또한 사용자는 경보장치(180)가 작동되었을때, 침입자가 의도적으로 촬상장치(110-1 ∼ 110-n)의 정상작동을 방해한 것인지, 단순한 작동상의 오류, 예를들어, 촬상장치의 렌즈에 공기중의 이물질이나 벌레가 접촉된 경우 등인지 여부를 스스로 판단하여, 침입자의 작동방해로 인정된 경우, 경보장치(180)를 추가적으로 작동, 예를들어, 촬상구역내에 설치된 사이렌의 작동, 출입문의 폐쇄, 경비업체로의 통보 등을 시킬 것인지 여부를 사용자 설정부(170)를 통해 설정할 수 있다.

도 2는 도 1의 배경영역 추출부(120)의 상세 블럭도이다. 도 2에는 이해의 편의를 위해 배경기준영상 저장부(130), 비교부(140), 및 판단부(150)를 함께 도시하였으며, 배경영역 추출부(120)는 점선으로 표시된 부분에 해당한다. 배경영역 추출부(120)는, 평균영상 산출부(121) 및 배경영역 분리부(122)로 구성된다.

평균영상 산출부(121)는 현재입력영상 I(t)의 입력전의 입력영상인 이전입력영상 I(t-1)까지의 이전평균영상 A(t-1)를 산출하여 배경영역 분리부(122)로 전송한다.

배경영역 분리부(122)는 현재입력영상의 화소값 I(i,j,t)과 이전평균영상의 화소값 A(i,j,t-1)을 비교하여 배경영역 B(t)로 판단된 영역을 추출하고, 상기 배경영역 R(t)를 비교부(140)로 전송한다.

도 3은 도 2의 평균영상 산출부(121)의 상세 블럭도이다. 도 3에는 이해의 편의를 위해 배경영역 분리부(122)를 함께 도시하였으며, 평균영상 산출부(121)는 점선으로 표시된 부분에 해당한다. 평균영상 산출부(121)는, 평균영상 저장부(123)및 영상신호 처리부(124)로 구성된다.

평균영상 저장부(123)는 저장된 이전평균영상 A(t-1)을 영상신호 처리부(124) 및 배경영역 분리부(122)로 전송한다.

영상신호 처리부(124)는 현재입력영상 I(t) 및 평균영상 저장부(123)로부터 수신한 이전평균영상 A(t-1)에 기초하여, 현재평균영상 A(t)를 산출하고, 상기 현재평균영상 A(t)를 평균영상 저장부(123)로 전송하면, 현재평균영상 A(t)는 평균영상 저장부(123)에 저장된다.

도 4 내지 도 6은 영상신호처리의 설명에 제공되는 도면이다. 도 4에는 배경영역 변화검출장치에서 각 영상신호들이 전송되는 경로를 도시하였고, 도 5a 내지 도 5d에는 배경기준영상 R(t), 이전평균영상 A(t-1), 입력영상 I(t), 및 배경영역 B(t)의 일 예를 도시하였다.

현재입력영상 I(t)란, 현재시점에서 복수의 촬상장치(110-1 ∼ 110-n) 중 어느 하나가 촬상구역을 촬상함으로서 입력되는 영상을 뜻한다. 도 4를 참조하면, 현재입력영상 I(t)는 복수의 촬상장치(110-1 ∼ 110-n) 중 어느 하나로부터 입력되고, 그에 대응하는 영상출력장치(160-1 ∼ 160-n), 영상신호 처리부(124), 배경영역 분리부(122), 및 배경기준영상 저장부(130)로 전송된다. 촬상장치(110-1 ∼ 110-n)에 대응하는 영상출력장치(160-1 ∼ 160-n)로 전송된 현재입력영상 I(t)는 영상출력장치(160-1 ∼ 160-n)를 통해 재생되며, 이를 통해 사용자는 현재입력영상 I(t)을 모니터링할 수 있다.

배경기준영상 저장부(130)는 배경영역 변화검출장치의 작동 초기에 수신한,촬상구역에 움직이는 물체가 없는 현재입력영상 I(t)을 배경기준영상 R(t)로 설정하여 저장한다. 한편, 배경영역 변환검출장치에서는, 사용자에 의해 배경기준영상 R(t)이 설정되어 저장되는 것도 가능하다. 여기서, 배경기준영상 R(t)은 촬상구역에 움직이는 물체가 없는 경우의 정지영상을 뜻하며, 촬상구역의 배경만으로 이루어진다. 설정된 배경기준영상 R(t)은 사용자에 의해 다시 설정하기 전까지 계속 유지되며, 현재입력영상 I(t)과 같이 실시간으로 변하는 영상이 아니다.

도 5a는 배경기준영상 R(t)를 나타낸 도면이다. 도시된 삼각형 및 사각형은 촬상구역의 배경 중 일부가 된다. 예를들어, 촬상구역이 무인현금자동지급창구라고 한다면, 사각형의 도형은 현금자동지급기이고 삼각형은 그 곳에 설치된 에어콘이나 명세표 분쇄기 등으로 볼 수 있다. 이와 같이 배경기준영상 R(t)에는 움직이는 물체의 영상이 포함되어 있지 않는다.

도 4를 참조하면, 영상신호 처리부(124)는 현재입력영상 I(t) 및 이전평균영상 A(t-1)에 기초하여 현재평균영상 A(t)을 산출한다. 여기서 이전평균영상 A(t-1)은 이전입력영상 I(t-1)까지의 평균영상을 의미하며, 현재평균영상 A(t)는 현재입력영상 I(t)까지의 평균영상을 의미한다. 현재평균영상 A(t)는 이전평균영상 A(t-1)과 현재입력영상 I(t)의 각각에 서로 다른 가중치를 부가한 영상들의 합으로 산출되는데, 다음 식에 의해 설명되어질 수 있다.

A(i,j,t) = (1-w)I(i,j,t) + wA(i,j,t-1)

여기서, A(i,j,t)는 i 번째 라인에서 j 번째 픽셀에 대한 현재평균영상의 화소값이고, I(i,j,t)는 i 번째 라인에서 j 번째 픽셀에 대한 현재입력영상의 화소값이고, A(i,j,t-1)는 i 번째 라인에서 j 번째 픽셀에 대한 이전평균영상의 화소값이고, w는 소정의 히스토리컬 웨이트(historical weight)로서 0 에서 1사이까지의 값으로 설정되며 w의 값이 1에 가까울수록 현재평균영상 A(t)의 변화는 둔감해진다. 현재입력영상의 화소값 I(i,j,t)에 (1-w)를 부가하고, 이전평균영상의 화소값 A(i,j,t-1)에 w를 부가하여 합한 (1-w)I(i,j,t) + wA(i,j,t-1)가 현재평균영상의 화소값 A(i,j,t)이 되며, A(i,j,t)는 평균영상 저장부(123)에 저장되어 평균영상의 화소값이 A(i,j,t-1)에서 A(i,j,t)로 갱신되게 된다.

배경영역 분리부(122)는 현재입력영상 I(t) 및 이전평균영상 A(t-1)에 기초하여 배경영역 B(t)를 산출한다. 여기서, 배경영역 B(t)는 현재입력영상 I(t)로부터 움직이는 사물의 영상인 움직임영역 M(t)를 제외한 영역을 말한다. 구체적으로, 배경영역 분리부(122)는 현재입력영상의 화소값 I(i,j,t)과 이전평균영상의 화소값 A(i,j,t-1)의 차의 절대값을 산출하여 상기 절대값이 기설정된 제 1 임계값(Threshold 1:T1) 이상인 경우에는 움직임영역 M(t)의 화소로 판단하고, T1 미만인 경우에는 배경영역 B(t)의 화소로 판단한다. 여기서 T1은, 현재입력영상의 화소값 I(i,j,t)와 이전평균영상의 화소값 A(i,j,t-1)이 크게 상이한지 여부를 판단하는데 있어서, 그 기준이 되는 값이다.

도 5b는 이전평균영상 A(t-1)를 나타낸 도면이며, 도 5c는 현재입력영상 I(t)를 나타낸 도면이다. 상기 도면에 도시된 원형은 움직이는 물체의 영상인 움직임영역 M(T)로서, 예를 들면 현금지급기를 이용하는 고객 등으로 생각할 수 있다.물체가 오른쪽으로 이동중이라 가정한다면, 도시된 바와 같이 현재입력영상 I(t)의 움직임영역 M(t)는 이전평균영상 A(t-1)의 움직임영역 M(t-1)보다 오른쪽에 위치하게 된다.

상기 도면에서, a1 내지 a5는 이전평균영상 A(t-1)의 각 화소에 해당하며, i1 내지 i5는 a1 내지 a5의 위치에 대응하는 현재입력영상 I(t)의 각 화소에 해당한다. a1의 화소값과 i1의 화소값은 동일하고, a5의 화소값과 i5의 화소값 역시 동일하여, 대응되는 화소값들의 차의 절대값은 각각 0이 된다. 또한, a2, a3, a4 각각의 화소값이 20, 40, 65이라 가정하고, i2, i3, i4 각각의 화소값이 5, 20, 40이라 가정하면, 대응되는 화소값들의 차의 절대값은 각각 15, 20, 25가 된다. 여기서, T1이 '11'이라고 가정한다면, 대응되는 화소값의 차의 절대값이 '11'이상인 i2, i3, i4는 움직임영역 M(t)로 판단되고, '11'미만인 i1, i5는 배경영역 B(t)로 판단된다. 따라서 배경영역 B(t)는, 도 5d에 도시된 바와 같이, 빗금친 부분에 해당되게 된다.

도 4를 참조하면, 비교부(140)는 배경기준영상의 화소값 R(i,j,t)과 배경영역의 화소값 B(i,j,t)의 차의 절대값을 산출하여 판단부(150)로 전송하다. 판단부(150)는 비교부(140)로부터 수신한 상기 절대값들이 기설정된 제 2 임계값(Threshold 2:T2) 미만인 개수가 기설정된 제3 임계값(Threshold 3:T3) 미만인 경우에는 상기 배경영역 B(t)이 배경기준영상 R(t)과 크게 상이한 경우이므로, 배경영역이 변화된 것으로 판단한다. 이와 달리, 상기 화소개수가 기설정된 T3이상인 경우에는 상기 배경영역 B(t)이 배경기준영상 R(t)과 크게 상이하지 않은 경우이므로, 배경영역 B(t)이 변화되지 않은 것으로 판단하여, 그 결과를 출력한다. 여기서 T2은, 배경영역의 화소값 B(i,j,t)와 배경기준영상의 화소값 R(i,j,t)이 크게 상이한지 여부를 판단하는데 있어서, 그 기준이 되는 값이다. 또한 T3은, 배경영역 B(t)과 배경기준영상 R(t)을 비교한 결과, 상이하게 된 화소의 개수가 많은지 여부를 판단하는데 있어서, 그 기준이 되는 값이다.

도 6a 내지 6d는 배경영역의 변화여부를 검출하는 과정을 설명하기 위한 도면이다. 도 6a 내지 도 6d에는 시간의 경과에 따라 물체가 왼쪽에서 오른쪽으로 움직이면서 촬상장치를 가리는 경우에 나타나는 R(t), A(t-1) ,I(t) 영상들을 도시하였으며, 편의상 각 영상을 4개의 영역으로 구분하였고, 하나의 영역은 20만 화소로 구성되어, 하나의 영상은 80만화소로 구성된다고 가정하였다. 도면상의 숫자는 각 영역의 화소값이 된다. 여기서는 이해의 편의를 위해, 촬상구역의 배경의 화소값은 '60'으로 통일하였고, I(t)에서 움직이는 물체의 화소값은 '100'으로 통일하였으며, T1 및 T2는 '11'로, T3는 '10만'으로, 히스토리컬 웨이트는 '0.5'로 가정하였다.

도 6a는 촬상장치의 4분의 1이 가려진 상태이다. 도 6a에서, I1 - A1은 40으로 T1(11)이상이므로 I1은 움직임영역 M1이 되고, I2 - A2, I3 - A3, I4 - A4는 0으로 T2(11)미만이어서 I2, I3, I4는 각각 배경영역 B2, B3, B4이 된다. 한편, B2 - R2, B3 - R3, B4 - R4는 0으로서 T3(11) 미만인 영역이 60만화소(20만*3)로 T3(10만) 이상이므로 배경영역이 변화되지 않은 것으로 판단한다.

도 6b는 촬상장치의 2분의 1이 가려진 상태이다. 도 6b에서, A1은(60*0.5+100*0.5)로서 80이 되고, I1 - A1은 20이고 I2 - A2은 40으로 T1(11)이상이므로 I1, I2은 움직임영역 M1, M2가 되고, I3 - A3, I4 - A4는 0으로 T2(11)미만이어서 I3, I4는 배경영역 B3, B4가 된다. 한편, B3 - R3, B4 - R4는 0으로서 T3(11) 미만인 영역이 40만화소(20만*2)로 T3(10만) 이상이므로 배경영역이 변화되지 않은 것으로 판단한다.

도 6c는 촬상장치의 4분의 3이 가려진 상태이다. 도 6c에서, A1은 (80*0.5+100*0.5)로서 90이 되고, A2은 (60*0.5+100*0.5)로서 80이 되고, I2 - A2은 20이고 I3 - A3은 40으로 T2(11)이상이므로 I2, I3은 움직임영역 M2, M3가 되고, I1 - A1는 10이고, I4 - A4는 0으로 T2(11)미만이어서 I1, I4는 배경영역 B1, B4가 된다. 한편, B1 - R1은 40이고, B4 - R4는 0으로서 T3(11) 미만인 영역이 20만화소(20만*1)로 T3(10만) 이상이므로 배경영역이 변화되지 않은 것으로 판단한다.

도 6d는 촬상장치의 전부가 가려진 상태이다. 도 6d에서, A1은 (90*0.5+100*0.5)로서 95이 되고, A2은 (80*0.5+100*0.5)로서 90이 되고, A3은 (60*0.5+100*0.5)로서 80이 되고, I3 - A3은 20이고 I4 - A4은 40으로 T2(11)이상이므로 I3, I4은 움직임영역 M3, M4가 되고, I1 - A1는 5이고, I2 - A2는 10으로 T2(11)미만이어서 I1, I2는 배경영역이된다. 한편, B1 - R1은 40이고, B2 - R2는 40으로서 T2(11) 미만인 영역이 0(20만*0)화소로 T3(10만) 미만이므로 배경영역이 변화된 것으로 판단하게 된다.

도 7은 본 발명에 따른 배경영역 변화검출방법의 설명에 제공되는 흐름도이다. 먼저, 촬상장치(110-1∼110-n)로부터 촬상구역을 주기적으로 촬상한 영상인 현재입력영상 I(t)이 입력된다(S210). 입력된 I(t)는 영상출력장치(160-1∼160-n)에서 재생되어 사용자로 하여금 촬상구역의 상황을 모니터링할 수 있도록 한다(S220).

사용자는 사용자 설정부(170)를 통해, 침입자가 촬상장치(110-1∼110-n)의 정상적인 작동을 방해한 경우에, 경보장치(180)를 작동시켜 사용자에게 알리게 할 것인지 여부를 결정하는 경보장치(180) 작동여부를 설정한다(S230). 경보장치(180)가 작동되지 않도록 설정된 경우에는 I(t)가 입/출력되는 과정만이 반복된다. 경보장치(180)가 작동되도록 설정된 경우, 사용자는 사용자 설정부(170)를 통해 감시하고자 하는 촬상구역에 대한 배경기준영상을 설정한다(S240).

사용자가 설정한 배경기준영상 R(t)은 배경기준영상 저장부(130)에 저장된다(S251). 평균영상 저장부(123)는 이전평균영상 A(t-1)을 배경영역 분리부(122)로 출력하고, 영상신호처리부(124)는 이전평균영상 A(t-1) 및 현재입력영상 I(t)에 기초하여 현재평균영상 A(t)을 산출한다(S252). 배경영역 분리부(122)는 현재입력영상의 화소값 I(i,j,t)과 이전평균영상의 화소값 A(i,j,t-1)을 비교하여 배경영역 B(t)를 분리한다(S253). 비교부(140)는 배경기준영상 저장부(130)로부터 수신한 배경기준영상 B(t)과 배경영역 분리부(122)로부터 수신받은 배경영역 B(t)을 비교하여 C(t)를 산출한다(S254). 판단부(150)는 산출된 C(t)에 기초하여, 배경영역의 변화여부를 결정하여 그 결과를 출력한다(S255). 배경영역이 변화되었음이 검출된 경우에는 경보장치(180)가 작동되어, 사용자에게 상기 사실을 알리게된다(S260).

도 8은 경보장치(180)가 작동된 경우 사용자의 설정에 의해 경보장치(180)를 추가적으로 작동하는 방법의 설명에 제공되는 흐름도이다. 배경기준영상과 입력영상의 배경영역이 크게 상이하여 배경영역이 변화된 것으로 판단되는 것은 2가지 원인에 기인한다. 첫번째 경우는 실제로 침입자가 감시구역에 침입하여 촬상장치(110-1 ∼ 110-n)의 렌즈를 가리는 등의 방해행위를 한 경우이고, 또 다른 경우는 공기중의 먼지나 꽃가루와 같은 이물질이 렌즈에 붙거나, 파리, 모기 등의 날벌레가 렌즈에 앉은 경우 등으로 이 때는 침입자의 방해행위가 이루어지지는 않은 경우로, 감시시스템은 상기 2가지의 경우를 구분할 수 없다. 따라서, 후자의 경우를 침입자가 침입한 것으로 간주하여 보안시스템을 작동시킨다면, 감시구역내에 있는 시설물(예를들어, 현금자동지급기나 자동판매기)을 이용하는 고객에게 불쾌감을 줄 수도 있다. 따라서 본 발명인 상기 감시시스템은 배경영역의 변화가 검출된 경우에는 경보장치(180)를 작동시켜 상기 사실을 사용자에게만 통보한다(S260). 사용자는 상기 경보장치(180)가 작동되면 영상출력장치(160-1 ∼ 160-n)를 통하여 실제로 침입자가 침입하여 촬상장치(110-1 ∼ 110-n)의 작동방해를 한 것인지 여부를 판단하고, 침입자의 방해행위로 판단된 경우는 사용자 설정부(170)를 통해 경보장치(180)를 추가적으로 작동시킬 것을 설정한다(S310). 사용자가 경보장치(180)를 추가적으로 작동하도록 설정한 경우에는 경보장치(180)가 추가적으로 작동, 예를들어, 촬상구역내에 설치된 사이렌의 작동, 출입문의 폐쇄, 경비업체로의 통보 등을 하게 된다(S320). 경보장치(180)의 추가적 작동이후에도 촬상장치(110-1 ∼ 110-n)를 통하여 감시구역을 촬상하여(S330), 영상출력장치(160-1 ∼ 160-n)를 통해 입력영상을 재생시키는 과정(S340)이 반복됨으로써, 사용자는 계속하여 영상출력장치(160-1 ∼ 160-n)를 통해 감시구역의 현재 상황 등을 파악할 수 있으며, 비상상황이 종료되었거나 뒤늦게라도 침입자의 방해행위가 아닌 작동상의 오류로 판단되었다면 사용자 설정부(170)를 통해 경보장치(180)의 추가작동을 해제할 수 있으며, 이 경우 경보장치(180)는 경보작동 및 추가작동을 중지하게 된다(S350 및 S360). 한편 배경영역의 변화가 있는 것으로 경보장치(180)가 작동하였는데, 사용자가 이를 침입자의 촬상장치(110-1 ∼ 110-n) 방해동작이 아닌 작동상의 오류로 판단하였으면 경보장치(180)의 추가작동을 설정하지 않는다. 따라서 이 경우에는 경보장치(180)는 작동을 중지한다.

이상 설명한 바와 같이, 본 발명인 배경영역 변화검출장치 및 방법에 따르면, 촬상된 입력영상으로부터 움직임영역을 제외한 배경영역이 배경기준영상과 상이하게 변화된 경우를 검출함으로서, 침입자가 의도적으로 촬상장치의 화각을 변경하거나, 촬상수단의 렌즈에 스프레이를 뿌리거나, 카메라 렌즈를 옷이나 천으로 가리거나, 카메라의 케이블을 자르는 등의 촬상수단 정상작동을 방해하는 행위까지도 감시할 수 있어, 보안의 효율을 높이고 도난, 재해 등에 효과적으로 대처할 수 있게 된다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

촬상구역을 촬상하는 적어도 하나 이상의 촬상장치;

상기 촬상장치로부터 입력된 현재입력영상으로부터 움직임영역을 제외한 배경영역을 추출하는 배경영역 추출부;

상기 촬상구역에 대한 소정의 배경기준영상을 저장하는 배경기준영상 저장부;

상기 배경영역과 상기 배경기준영상을 비교하는 비교부; 및

상기 비교부의 비교결과에 기초하여, 상기 배경영역의 변화여부를 결정하여 그 결과를 출력하는 판단부;를 포함하는 배경영역 변화검출장치.
제 1항에 있어서,

상기 배경영역 추출부는,

상기 현재입력영상의 입력전의 입력영상인 이전입력영상까지의 영상으로부터 이전평균영상을 산출하는 평균영상 산출부; 및

상기 현재입력영상의 화소값과 상기 이전평균영상의 화소값의 비교결과에 기초하여 상기 배경영역으로 판단된 영역을 분리하여 출력하는 배경영역 분리부;를포함하는 것을 특징으로 하는 배경영역 변화검출장치.
제 2항에 있어서,

상기 평균영상 산출부는,

상기 현재입력영상 및 상기 이전평균영상에 기초하여, 현재평균영상을 산출하는 영상신호 처리부; 및

상기 영상신호 처리부 및 상기 배경영역 분리부로 상기 이전평균영상을 출력하고, 상기 영상신호 처리부로부터 상기 현재평균영상을 수신하여 저장하는 평균영상 저장부;를 포함하는 것을 특징으로 하는 배경영역 변화검출장치.
제 3항에 있어서,

상기 현재평균영상은, 다음의 식에 의해 산출되는 것을 특징으로 하는 배경영역 변화검출장치:

A(i,j,t) = (1-w)I(i,j,t) + wA(i,j,t-1)

여기서, A(i,j,t)는 i 번째 라인에서 j 번째 픽셀에 대한 현재평균영상의 화소값이고, I(i,j,t)는 현재입력영상의 화소값이고, A(i,j,t-1)는 이전평균영상의 화소값이고, w는 소정의 히스토리컬 웨이트이다.
제 2항에 있어서,

상기 배경영역 분리부는, 상기 현재입력영상의 화소값과 상기 이전평균영상의 화소값의 차의 절대값이 기설정된 제1 임계값보다 미만인 영역을 상기 배경영역으로 판단하는 것을 특징으로 하는 배경영역 변화검출장치.
제 1항에 있어서,

상기 비교부는, 상기 배경영역의 화소값과 상기 배경기준영상의 화소값의 차의 절대값을 산출하며,

상기 판단부는, 상기 절대값이 기설정된 제 2 임계값 미만인 화소개수가 기설정된 제 3 임계값 미만인 경우, 상기 배경영역이 변화된 것으로 결정하는 것을 특징으로 하는 배경영역 변화검출장치.
제 1항에 있어서,

현재입력영상을 출력하는 적어도 하나 이상의 영상출력장치;를 더 포함하는 것을 특징으로 하는 배경영역 변화검출장치.
제 1항에 있어서,

상기 배경기준영상 및 상기 경보장치의 작동여부를 설정하기 위한 사용자 설정부; 및

상기 판단부가 상기 배경영역이 변화된 것으로 판단결과를 출력한 경우 작동되는 경보장치;를 더 포함하는 것을 특징으로 하는 배경영역 변화검출장치.
(a) 촬상구역을 촬상한 현재입력영상을 입력하는 단계;

(b) 상기 촬상구역에 대한 소정의 배경기준영상을 저장하는 단계;

(c) 현재입력영상으로부터 움직임영역을 제외한 배경영역을 추출하는 단계;

(d) 상기 배경영역과 상기 배경기준영상을 비교하는 단계; 및

(e) 상기 (d) 단계의 비교결과에 기초하여, 상기 배경영역의 변화여부를 검출하는 단계;를 포함하는 것을 특징으로 하는 배경영역 변화검출방법.
제 9항에 있어서,

상기 (c) 단계는,

(c1) 상기 현재입력영상의 입력전의 입력영상인 이전입력영상까지의 영상으로부터 이전평균영상을 산출하는 단계; 및

(c2) 상기 현재입력영상의 화소값과 상기 이전평균영상의 화소값의 비교결과에 기초하여 상기 배경영역으로 판단된 영역을 분리하여 출력하는 단계;를 포함하는 것을 특징으로 하는 배경영역 변화검출방법.
제 10항에 있어서,

상기 (c1) 단계는,

(c11) 상기 현재입력영상 및 상기 이전평균영상에 기초하여, 현재평균영상을 산출하는 단계; 및

(c12) 상기 이전평균영상을 출력하고, 상기 현재평균영상을 수신하는 단계;를 포함하는 것을 특징으로 하는 배경영역 변화검출방법.
제 11항에 있어서,

상기 현재평균영상은, 다음의 식에 의해 산출된 영상인 것을 특징으로 하는 배경영역 변화검출방법:

A(i,j,t) = (1-w)I(i,j,t) + wA(i,j,t-1)

여기서, A(i,j,t)는 i 번째 라인에서 j 번째 픽셀에 대한 현재평균영상의 화소값이고, I(i,j,t)는 현재입력영상의 화소값이고, A(i,j,t-1)는 이전평균영상의 화소값이고, w는 소정의 히스토리컬 웨이트이다.
제 10항에 있어서,

상기 (c2) 단계는, 상기 현재입력영상의 화소값과 상기 이전평균영상의 화소값의 차의 절대값이 기설정된 제1 임계값보다 미만인 영역을 상기 배경영역으로 판단하는 것을 특징으로 하는 배경영역 변화검출방법.
제 9항에 있어서,

상기 (d) 단계는, 상기 배경영역의 화소값과 상기 배경기준영상의 화소값의 차의 절대값을 산출하며,

상기 (e) 단계는, 상기 절대값이 기설정된 제 2 임계값 미만인 화소개수가 기설정된 제 3 임계값 미만인 경우, 상기 배경영역이 변화된 것으로 결정하는 것을특징으로 하는 배경영역 변화검출방법
제 9항에 있어서,

(f) 현재입력영상을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 배경영역 변화검출방법.
제 9항에 있어서,

(g) 상기 배경기준영상을 설정하는 단계;를 더 포함하는 것을 특징으로 하는 배경영역 변화검출방법.
제 9항에 있어서,

(h) 상기 경보장치의 작동여부를 설정하는 단계;

(i) 상기 (e) 단계에서 상기 배경영역의 변화가 검출한 경우 경보장치가 작동되는 단계; 및

(j) 상기 경보장치가 작동된 경우, 상기 경보장치의 추가적인 작동여부를 설정하는 단계;를 더 포함하는 것을 특징으로 하는 배경영역 변화검출방법.