KR101311148B1

KR101311148B1 - 영상 감시 시스템 및 영상 감시 시스템의 객체 검출 방법

Info

Publication number: KR101311148B1
Application number: KR1020120022560A
Authority: KR
Inventors: 김재민; 한현민
Original assignee: 홍익대학교 산학협력단
Priority date: 2012-03-05
Filing date: 2012-03-05
Publication date: 2013-10-04
Also published as: KR20130101415A

Abstract

본 발명은 영상 감시 시스템 및 영상 감시 시스템의 객체 검출 방법에 관한 것으로서, 카메라를 이용하여 획득한 감시 대상 영상을 미리 설정된 시간 동안 누적한 화소들의 밝기 분포를 히스토그램으로 생성하는 단계; 복수개의 가우시안 모드의 혼합으로 시간 누적 히스토그램을 모델링하는 단계; 가우시안 혼합 모델의 각 모드의 레이어(layer)를 분류하는 단계; 외부 환경에 의한 변화나 객체 움직임 변화를 검출하는 단계; 검출 결과에 따라 레이어 정보 업데이트를 수행하는 단계; 및 감시 대상 영상으로부터 객체를 검출하는 단계;를 포함하며, 상기 레이어(layer)는 각 모드에 해당하는 화소가 배경인지 객체인지를 나타내는 정보를 포함하는 영상 감시 시스템의 객체 검출 방법 및 영상 감시 시스템이 제공된다.

Description

영상 감시 시스템 및 영상 감시 시스템의 객체 검출 방법{Visual surveillance system and method for detecting object in the visual surveillance system}

본 발명은 영상 감시 시스템 및 영상 감시 시스템의 객체 검출 방법에 관한 것으로, 보다 상세하게는 가우시안 혼합 모델의 각 모드에 레이어(layer) 즉, 각 모드에 해당하는 화소가 배경인지 객체인지를 나타내는 정보를 부여하여, 가우시안 혼합 모델의 장점을 유지하면서, 동적으로 움직이는 배경에서의 객체 검출과 움직이다가 정지한 객체의 검출을 효과적으로 해결할 수 있는 가우시안 혼합 모델과 레이어(layer)를 이용한 영상 감시 시스템의 객체 검출 방법 및 이를 적용한 영상 감시 시스템에 관한 것이다.

최근 범죄 예방과 각종 유고 상황 감시 등 사회 안전을 위해 영상 감시 시스템 구축이 증가하고 있다. 영상 감시 시스템은 크게 두 가지로 분류할 수 있는데 수동형 영상 감시 시스템과 지능형 영상 감시 시스템으로 나누어진다.

수동형 영상 감시 시스템은 사람이 눈으로 직접 영상을 감시함으로 인해 비효율적이며, 문제가 발생하더라도 못보고 지나칠 확률이 높다. 감시해야할 범위가 커지면서 자동으로 실시간 분석 및 감시를 할 수 있는 지능형 영상 감시 시스템이 많이 도입되고 있다. 지능형 영상 감시 시스템에서 가장 기본이 되는 기능은 카메라로부터 입력된 영상에서 객체를 검출하는 것이다.

영상 감시 시스템에서 일반적으로 이용되는 객체를 검출하는 방법은 장면 차분 방법과 배경 차분 방법이 있다. 장면 차분 방법은 둘 이상의 연속적인 프레임들 사이에 화소값 차이를 이용하는 것이다. 장면 차분 방법은 복잡도가 낮고 처리도가 빠른 장점이 있으나 이동 중이던 객체가 정지하였을 때 차분한 영상이 변화하지 않아 정지해 있는 객체를 검출할 수 없는 단점이 있다. 또한 임계값의 선택에 따라 객체 검출의 성능이 변하는 한계가 있다.

배경 차분 방법은 실시간으로 학습한 배경 영상과 입력 영상과의 차이를 통해 객체 검출을 수행한다. 배경 영상을 생성하기위해 이전 프레임 화소들의 평균이나 중간값을 이용하여 배경 영상을 모델링한다. 하지만 객체가 움직이다 정지할 경우 객체를 배경으로 학습하여 잘못된 배경을 생성하는 단점이 있다.

배경에서 움직이는 객체를 감시하는 카메라를 통하여 동영상을 생성하면, 각각의 화소의 밝기 값은 시간에 따라 그 값이 변하게 되는데, 위의 문제점을 해결하기 위하여 각 화소에서 오랜 시간 누적한 화소들의 밝기 분포를 히스토그램으로 생성하여 객체 검출에 이용하는 방법이 개발되었다. 각 화소에 히스토그램을 모두 저장하는 것은 많은 메모리를 필요로 하기 때문에 1 ~ 5개의 가우시안 모드의 혼합으로 시간 누적 히스토그램을 모델링하여 객체 검출을 하였으며, 이 방법에서는 가우시안 혼합 모델의 각 모드의 빈도(가중치)가 높으면 배경, 빈도가 낮으면 객체로 설정하였다.

도 1은 종래 기술에 따른 영상 감시 시스템에서의 객체 검출 방법을 나타낸 흐름도이다.

도 1을 참조하여 종래 기술에 따른 객체 검출 방법을 살펴보면, 우선 카메라로 감시 대상 영역을 촬영한다(S10). 카메라를 이용하여 감시 대상 영상을 획득한다(S20).

감시 대상 영상을 소정시간 동안 누적한 화소들의 밝기 분포를 히스토그램으로 생성하는 과정을 수행한다(S30).

복수개의 가우시안 모드의 혼합으로 시간 누적 히스토그램을 모델링하는 과정을 수행한다(S40). 가우시안 혼합 모델의 각 모드의 가중치(빈도)를 판단하는 과정을 수행한다(S50).

각 모드의 가중치로 해당 영상이 객체인지 배경인지를 판단하는 과정을 수행한다(S60). 각 모드의 가중치가 높으면 배경으로 판단하고, 가중치가 낮으면 객체로 판단하게 된다.

위와 같이, 가우시안 혼합 모델을 이용한 방법의 장점은 배경이 환경에 따라 변하는 경우 그 변화를 효과적으로 학습할 수 있다는 장점이 있으나, 배경의 학습 속도에 따라 배경의 변화를 물체로 인식하거나 혹은 잘못된 배경 모델을 생성할 수 있다. 실제로 배경이 변화할 때 배경의 학습 속도가 느린 경우에는 모델의 학습이 배경의 변화를 반영하지 못하고, 학습 속도가 빠른 경우에는 천천히 이동하는 물체들을 배경으로 인식한다. 또한, 기존의 가우시안 혼합 모델을 이용한 객체 검출 방법은 각 모드의 가중치로 배경과 객체를 판단하는데, 여러 배경이 일정한 주기를 가지고 순환하여 반복이 되는 경우 배경을 객체로 판단할 수 있다는 문제점이 있었다.

이러한 종래 기술에 따른 객체 검출 방법을 개선하기 위하여 커널 분포 추정(Kernel Density Estimation)으로 히스토그램을 학습하고 동적 배경에서 객체를 검출하는 방법이 발표되었으나, 메모리가 많이 요구되고, 커널 값들을 계산하는데 시간이 많이 걸린다는 단점이 있다.

그리고, 처음 히스토그램 모드의 확률 함수를 찾은 이후엔 단순히 새로운 모드를 추가함으로써 커널 분포 추정 방법보다 연산량과 메모리 사용량이 줄인 순차 커널 분포 추정(Sequential Kernel Density Estimation)이 발표되었ㅇ으나, 이 역시도 여전히 많은 연산량을 필요로 하기 때문에, 객체 검출에 많은 시간이 소요되는 문제점이 있다.

본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명이 해결하고자 하는 과제는 가우시안 혼합 모델의 장점을 유지하면서, 동적으로 움직이는 배경에서의 객체 검출과 움직이다가 정지한 객체의 검출을 효과적으로 해결할 수 있는 가우시안 혼합 모델과 레이어(layer)를 이용한 영상 감시 시스템의 객체 검출 방법 및 이를 적용한 영상 감시 시스템을 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 카메라를 이용하여 획득한 감시 대상 영상을 미리 설정된 시간 동안 누적한 화소들의 밝기 분포를 히스토그램으로 생성하는 단계; 복수개의 가우시안 모드의 혼합으로 시간 누적 히스토그램을 모델링하는 단계; 가우시안 혼합 모델의 각 모드의 레이어(layer)를 분류하는 단계; 외부 환경에 의한 변화나 객체 움직임 변화를 검출하는 단계; 검출 결과에 따라 레이어 정보 업데이트를 수행하는 단계; 및 감시 대상 영상으로부터 객체를 검출하는 단계;를 포함하며, 상기 레이어(layer)는 각 모드에 해당하는 화소가 배경인지 객체인지를 나타내는 정보를 포함하는 영상 감시 시스템의 객체 검출 방법이 제공된다.

상기 레이어를 분류하는 단계는, 상기 가우시안 혼합 모델의 각 모드를 가중치에 따라 정렬하는 단계; 각 가중치 합과 임계값을 비교하는 단계; 및 비교 결과, 각 가중치 합이 임계값 이상이면 해당 모드를 배경 레이어로 설정하고, 그 이외의 경우는 해당 모드를 객체 레이어로 설정하는 단계를 포함한다.

상기 외부 환경에 의한 변화나 객체 움직임 변화를 검출하는 단계는, 외부 환경에 의한 변화와 객체 움직임으로 인한 변화를 구별하기 위한 임계값을 설정하는 단계; 배경 차분 화소 및 장면 차분 화소의 절대값 분포와 설정된 각 임계값과 비교하는 단계; 및 외부 환경에 의한 변화와 객체 움직임으로 인한 변화 검출 결과를 이진화 영상에 저장하는 단계를 포함한다.

상기 검출 결과를 이진화 영상에 저장하는 단계는, 상기 배경 차분 화소에서 구한 절대값 분포가 임계값 보다 작으면 0, 임계값 보다 크면 1로 설정하고, 상기 장면 차분 화소에서 구한 절대값 분포가 임계값 보다 작으면 0, 임계값 보다 크면 1로 설정하여, 이를 이진화 영상에 저장한다.

상기 검출 결과에 따라 레이어 정보 업데이트를 수행하는 단계는, 상기 장면 차분 화소의 절대값 분포가 임계값 보다 작고, 상기 배경 차분 화소의 절대값 분포가 임계값 보다 작은 경우, 해당 모드의 레이어가 객체 레이어인지 판단하는 단계; 및 판단 결과, 해당 모드가 객체 레이어인 경우에는 객체 레이어를 제거하고, 해당 모드를 배경 레이어로 설정하고, 해당 모드가 배경 레이어인 경우 배경 레이어를 업데이트 하는 단계를 포함한다.

상기 장면 차분 화소의 절대값 분포가 임계값 보다 작고, 상기 배경 차분 화소의 절대값 분포가 임계값 보다 큰 경우, 해당 모드의 레이어가 배경 레이어인지 판단하는 단계; 및 판단 결과, 해당 모드가 배경 레이어인 경우에는 해당 모드의 배경 레이어를 업데이트 하는 단계를 포함한다.

판단 결과 해당 모드의 레이어가 배경 레이어가 아닌 경우에는 기존에 객체 레이어가 존재하는지 판단하는 단계; 기존에 객체 레이어가 존재하지 않은 경우, 생성된 모드를 객체 레이어로 설정하는 단계; 및 기존에 객체 레이어가 존재하는 경우라면 생성된 모드는 배경 변화에 따른 것으로 보고 생성된 모드를 배경 레이어로 설정하는 단계;를 더 포함한다.

상기 장면 차분 화소의 절대값 분포가 임계값 보다 크고, 상기 배경 차분 화소의 절대값 분포가 임계값 보다 작은 경우, 레이어 업데이트를 수행하지 않고, 현재 상태를 유지하는 단계를 포함한다.

상기 장면 차분 화소의 절대값 분포가 임계값 보다 크고, 상기 배경 차분 화소의 절대값 분포가 임계값 보다 큰 경우, 가우시안 혼합 모델을 업데이트 하는 단계; 및 업데이트된 가우시안 혼합 모델의 각 모드별로 새로운 배경 레이어와 객체 레이어를 설정하는 단계를 포함한다.

본 발명의 다른 측면에 따르면, 감시 대상 영역을 촬영하여 감시 대상 영상을 획득하는 카메라 장치; 상기 카메라 장치를 통하여 획득된 감시 대상 영상으로부터 이동하는 객체 또는 정지중인 객체를 검출하는 기능을 수행하는 객체 검출 장치; 상기 객체 검출 장치를 통하여 검출된 결과를 주제어장치로 전송하는 데이터 송수신 장치; 상기 객체 검출 장치를 통하여 이동하는 객체를 검출한 경우 경광등을 작동시키거나 또는 경고음을 발생시키는 경보 장치; 및 상기 카메라 장치, 객체 검출 장치, 데이터 송수신 장치 및 경보 장치의 동작을 제어하는 주제어장치;를 포함하며, 상기 객체 검출 장치는 위의 객체 검출 방법중 어느 한 방법에 따라 객체를 검출하는 영상 감시 시스템이 제공된다.

상기 객체 검출 장치는 상기 카메라 장치로부터 촬영된 영상을 수신하여 감시 대상 영역을 설정하여 감시 대상 영상을 생성하는 영상 취득부; 상기 감시 대상 영상을 미리 설정된 동안 누적한 화소들의 밝기 분포를 히스토그램으로 생성하고, 시간 누적 히스토그램을 복수개의 가우시안 모드의 혼합으로 모델링하는 가우시안 혼합 모델 생성부; 상기 가우시안 혼합 모델의 각 모드의 레이어를 분류하는 레이어 설정부; 외부 환경에 의한 변화와 객체 움직임으로 인한 변화를 검출하기 위한 변화 검출부; 및 상기 변화 검출부의 결과에 기초하여 레이어 정보를 업데이트하는 레이어 업데이트부를 포함한다.

상기 변화 검출부는 외부 환경에 의한 변화와 객체 움직임으로 인한 변화를 구별하기 위한 각각의 임계값을 설정하고, 배경 차분 화소 및 장면 차분 화소의 절대값 분포와 설정된 각 임계값과 비교하여 외부 환경에 의한 변화와 객체 움직임으로 인한 변화를 검출하고, 검출 결과를 이진화 영상에 저장한다.

본 발명에서와 같이, 가우시안 혼합 모델의 각 모드에 화소가 배경인지 객체인지를 나타내는 정보 즉, 레이어 개념을 적용하고, 레이어 정보를 바탕으로 생성한 배경과 현재 영상의 배경 차분, 그리고 최근 영상들 간의 장면 차분 정보를 이용하여 레이어를 업데이트 함으로써, 기존의 가우시안 혼합 모델의 장점을 유지하면서, 동적으로 움직이는 배경에서의 객체 검출 및 움직이다가 정지한 객체의 검출을 효과적으로 해결할 수 있게 된다.

레이어의 업데이트를 통해 움직이는 배경을 학습하여 복잡한 환경 속에서도 강인한 객체 검출할 수 있게 된다.

또한, 종래 기술에 비하여 연산량을 절감함으로써 처리 속도를 향상할 수 있게 된다.

도 1은 종래 기술에 따른 영상 감시 시스템에서의 객체 검출 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 영상 감시 시스템에서의 객체 검출 방법을 나타낸 흐름도이다.
도 3은 도 2에 도시된 레이어 분류 과정을 나타낸 흐름도이다.
도 4는 도 2에 도시된 레이어 업데이트 과정을 나타낸 흐름도이다.
도 5는 변화 검출 결과에 따른 레이어 업데이트 방법을 나타낸 표이다.
도 6은 장면 차분 변화값과 배경 차분 변화값이 각각의 임계값 보다 작은 경우에 레이어 업데이트 수행과정을 나타낸 흐름도이다.
도 7은 장면 차분 변화값은 임계값 보다 적으며, 배경 차분 변화값은 임계값 보다 큰 경우에 레이어 업데이트 수행과정을 나타낸 흐름도이다.
도 8은 장면 차분 변화값은 임계값 보다 크며, 배경 차분 변화값은 임계값 보다 작은 경우에 레이어 업데이트 수행과정을 나타낸 흐름도이다.
도 9는 장면 차분 변화값과 배경 차분 변화값이 각각의 임계값 보다 큰 경우에 레이어 업데이트 수행과정을 나타낸 흐름도이다.
도 10은 배경에 객체가 놓이기 전과 일정 시간 경과후 화소에서의 누적 히스토그램 변화를 나타낸 도이다.
도 11은 도 10의 경우에 따른 가우시안 혼합 모델의 가중치와 평균 변화를 나타낸 표이다.
도 12는 외부요인에 의해 배경이 변화하는 환경에서 종래 기술 및 본 발명에 의해 이동하는 객체를 검출한 결과를 나타낸 영상을 도시한 도이다.
도 13 및 도 14는 객체가 움직이다가 일정 시간 동안 정지하는 영상에서 객체를 검출한 결과를 나타낸 도이다.
도 15 및 도 16은 이동하는 객체와 정지해있는 객체를 검출한 결과를 나타낸 도이다.
도 17은 종래 기술과 본 발명에 따른 객체 검출 방법의 객체 검출 시간을 나타낸 표이다.
도 18은 본 발명의 실시예에 따른 영상 감시 시스템의 개략적인 구성도이다.
도 19는 도 18에 도시된 객체 검출 장치의 개략적인 기능 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 영상 감시 시스템에서의 객체 검출 방법을 나타낸 흐름도이다.

도 2를 참조하면, 우선 카메라로 감시 대상 영역을 촬영한다(S100). 카메라를 이용하여 감시 대상 영상을 획득한다(S200).

감시 대상 영상을 소정시간 동안 누적한 화소들의 밝기 분포를 히스토그램으로 생성하는 과정을 수행한다(S300).

복수개의 가우시안 모드의 혼합으로 시간 누적 히스토그램을 모델링하는 과정을 수행한다(S400).

가우시안 혼합 모델의 각 모드의 레이어(layer)를 분류하는 과정을 수행한다(S500). 레이어(layer)는 각 모드에 해당하는 화소가 배경인지 객체인지를 나타내는 정보를 가지고 있으며, 이러한 레이어 정보를 가우시안 혼합 모델의 각 모드에 부여한다.

외부 환경에 의한 변화나 객체 움직임 변화를 검출하는 경우 레이어 정보를 업데이트하는 과정을 수행한다(S600).

그리고 나서, 감시 대상 영상으로부터 객체를 검출하는 과정을 수행한다(S700).

종래 기술의 경우와 같이 가중치만 가지고 모드가 객체인지 배경인 판단하게 되면, 동적으로 움직이는 배경에서의 객체 검출과 움직이다가 정지한 객체의 검출에 오류가 발생하게 되나, 본 발명에서와 같이 각 모드에 레이어 정보를 부여하고 이를 업데이트하면서 객체를 검출하게 되면 동적으로 움직이는 배경에서의 객체 검출과 움직이다가 정지한 객체의 검출을 효과적으로 수행할 수 있게 된다.

도 3은 도 2에 도시된 레이어 분류 과정을 나타낸 흐름도이다.

도 3을 참조하면, 각 화소 밝기의 소정 시간 동안의 누적 분포를 가우시안 혼합 모델로 모델하는 과정을 수행한다(S510).

가중치에 따라 가우시안 혼합 모델의 각 모드를 정렬하는 과정을 수행한다(S520).

그리고 나서, 각 가중치 합과 임계값을 비교하는 과정을 수행한다(S530).

비교 결과, 각 가중치 합이 임계값 이상이면 해당 모드를 배경 레이어로 설정하고, 그 이외의 경우는 해당 모드를 객체 레이어로 설정하는 과정을 수행한다(S540). 즉, 처음 N 프레임의 학습을 통한 가우시안 혼합 모델에서 발생 빈도가 높은 모드는 배경 레이어로 설정을 하고, 나머지 모드는 객체 모드로 설정한다.

이하의 [식 1]은 가우시안 혼합 모델을 나타내며, [식 2]는 가우시안 혼합 모델에서 k번째 모드에서 화소의 확률 분포를 나타낸 식이다.

[식 1]

[식 2]

가우시안 모델의 학습은 일반적으로 기대치 최대화(expectation and maximiation) 방법이 사용되나 실시간 구현에는 적합하지 않다. 따라서, 본 발명에서는 적은 연산량으로 구현이 가능한 가우시안 모델의 학습방법을 적용한다. 이는 아래의 [식 3] ~ [식 7]로 표시된다.

[식 3]

[식 4]

[식 5]

[식 6]

[식 7]

각 식에서

은 이전에 학습된 가중치,

은 이전에 학습된 평균,

은 이전에 학습된 분산을 의미하며

는 학습률을 나타낸다.

도 4는 도 2에 도시된 레이어 업데이트 과정을 나타낸 흐름도이다.

도 4를 참조하면, 우선 외부 환경에 의한 변화와 객체 움직임으로 인한 변화를 구별하기 위한 임계값을 설정하는 과정을 수행한다(S610).

배경 차분 화소 및 장면 차분 화소의 절대값 분포와 설정된 각 임계값과 비교하는 과정을 수행한다(S620).

외부 환경에 의한 변화와 객체 움직임으로 인한 변화 검출 결과를 이진화 영상에 저장하는 과정을 수행한다(S630). S620 과정에서 배경 차분 화소에서 구한 절대값 분포가 임계값 보다 작으면 0, 임계값 보다 크면 1로 설정하고, 장면 차분 화소에서 구한 절대값 분포가 임계값 보다 작으면 0, 임계값 보다 크면 1로 설정하여, 이를 이진화 영상에 저장한다.

그리고 나서, 검출 결과에 따라 설정된 레이어 업데이트를 수행한다(S640).

도 5는 변화 검출 결과에 따른 레이어 업데이트 방법을 나타낸 표이며, 도 6은 장면 차분 변화값과 배경 차분 변화값이 각각의 임계값 보다 작은 경우에 레이어 업데이트 수행과정을 나타낸 흐름도이고, 도 7은 장면 차분 변화값은 임계값 보다 적으며, 배경 차분 변화값은 임계값 보다 큰 경우에 레이어 업데이트 수행과정을 나타낸 흐름도이고, 도 8은 장면 차분 변화값은 임계값 보다 크며, 배경 차분 변화값은 임계값 보다 작은 경우에 레이어 업데이트 수행과정을 나타낸 흐름도이고, 도 9는 장면 차분 변화값과 배경 차분 변화값이 각각의 임계값 보다 큰 경우에 레이어 업데이트 수행과정을 나타낸 흐름도이다.

이하에서 장면 차분을 FD(Frame Difference), 배경 차분을 BS(Background Subtraction)라 한다.

도 6을 참조하면, 배경 차분 화소 및 장면 차분 화소의 절대값 분포와 설정된 각 임계값을 비교한 결과 FD = 0, BS = 0 인 경우, 해당 모드의 화소는 배경이라 판단할 수 있다(S661). 즉, 외부 환경에 의한 변화 및 객체 움직임으로 인한 변화가 없는 경우이다.

해당 모드의 레이어가 객체 레이어인지 판단하는 과정을 수행한다(S662).

판단 결과, 해당 모드가 객체 레이어인 경우에는 객체 레이어를 제거하고, 해당 모드를 배경 레이어로 설정한다(S663).

한편, 해당 모드가 배경 레이어인 경우 배경 레이어를 업데이트 하는 과정을 수행한다(S664).

도 7을 참조하면, 배경 차분 화소 및 장면 차분 화소의 절대값 분포와 설정된 각 임계값을 비교한 결과 FD = 0, BS = 1 이면, 움직이다가 정지해 있는 객체 또는 배경의 변화로 판단할 수 있다(S671).

해당 모드의 레이어가 배경 레이어인지 판단하는 과정을 수행한다(S672).

판단 결과, 해당 모드가 배경 레이어인 경우에는 해당 모드의 배경 레이어를 업데이트하며, 업데이트를 할 때 학습률을 달리하여 배경의 변화를 빠르게 감지할 수도 있다(S673).

한편, 판단 결과 해당 모드의 레이어가 배경 레이어가 아닌 경우에는 기존에 객체 레이어가 존재하는지 판단하는 과정을 수행한다(S674).

S674 과정을 통하여 판단한 결과, 기존에 객체 레이어가 존재하지 않은 경우라면 새로이 생성된 모드를 객체 레이어로 설정하는 과정을 수행한다(S675). 한편, 기존에 객체 레이어가 존재하는 경우라면 새로이 생성된 모드는 배경 변화에 따른 것으로 보고 새로이 생성된 모드를 배경 레이어로 설정하는 과정을 수행한다(S676).

도 8을 참조하면, 배경 차분 화소 및 장면 차분 화소의 절대값 분포와 설정된 각 임계값을 비교한 결과 FD = 1, BS = 0 이면, 일시적인 변화라 판단한다(S681).

레이어 업데이트를 수행하지 않고, 현재 상태를 유지한다(S682).

도 9를 참조하면, 배경 차분 화소 및 장면 차분 화소의 절대값 분포와 설정된 각 임계값을 비교한 결과 FD = 1, BS = 1 이면, 객체가 움직이는 것으로 판단한다(S691).

따라서, 새로운 모드가 생성되거나 기존의 모드가 없어질 수 있으므로, 가우시안 혼합 모델을 업데이트 하는 과정을 수행한다(S692).

그리고, 가우시안 혼합 모델의 각 모드별로 레이어를 재분류하여, 새로운 배경 레이어와 객체 레이어를 설정하는 과정을 수행한다(S693).

이러한 레이어의 업데이트를 통하여 기존의 GMM에 수행하기 어려운 문제를 해결할 수 있다. 도 10과 도 11은 복도에 작은 가방을 놓여지기 전과 가방이 놓여진 후 일정 시간이 지난 상황을 보여주고 있다. 가방이 놓여지기 전의 표시된 화소에서 누적 히스토그램은 하나의 모드만 있고, 모드의 가중치는 1.0이다. 가방이 놓여진 후 일정 시간이 지난 후 표시된 동일 화소에서 누적 히스토그램은 가방의 밝기 값과 배경의 밝기 값이 다르기 때문에 새로운 모드가 형성되고 각 모드의 가중치가 달라진다. 가중치만 가지고 모드가 객체인지 배경인 판단하는 기존의 방법은 가방을 배경으로 인식하지만, 제안하는 방법은 FD=0, BS=1인 경우이기 때문에 가방이 계속하여 객체로 인식된다.

도 10은 배경에 객체가 놓이기 전과 일정 시간 경과후 화소에서의 누적 히스토그램 변화를 나타낸 도이며, 도 11은 도 10의 경우에 따른 가우시안 혼합 모델의 가중치와 평균 변화를 나타낸 표이다.

도 6 내지 도 9에서 살펴본 레이어의 업데이트 과정을 통하여 종래 기술에 따른 가우시안 혼합 모델에서는 수행하기 어려운 문제를 해결할 수 있다. 도 10 및 도 11은 복도에 작은 가방을 놓여지기 전과 가방이 놓여진 후 일정 시간이 지난 상황의 누적 히스토그램의 변화와 가중치 및 평균 변화를 보여주고 있다.

가방이 놓여지기 전의 표시된 화소의 누적 히스토그램은 하나의 모드만 존재하고, 이때 모드의 가중치는 1.0이다. 가방이 놓여진 후 일정 시간이 지난 후 표시된 동일 화소의 누적 히스토그램은 가방의 밝기 값과 배경의 밝기 값이 다르기 때문에 새로운 모드가 형성되고(2개의 모드 존재), 각 모드의 가중치가 달라진다. 가우시안 혼합 모델의 가중치만 가지고 모드가 객체인지 배경인 판단하는 종래 방법에 따르면, 가방을 배경으로 인식하지만, 본 발명에 따르면 도 7에 도시된 FD=0, BS=1인 경우이기 때문에 가방이 계속하여 객체로 인식되므로, 객체 검출 오류를 방지할 수 있게 된다.

도 2에서 상술한 감시 대상 영상으로부터 객체를 검출하는 과정(S700_을 살펴본다. 가우시안 혼합 모델(GMM)의 경우는 레이어가 배경으로 설정된 각 모드의 중심이 배경이 되고, 따라서 한 화소에서 다수의 배경이 존재할 수 있다. 이 방법은 이전의 배경과 현 영상 프레임에서의 검출 결과를 이용하여 누적하여 하나의 배경을 생성하는 방법에 비하여 복잡한 배경을 효과적으로 표현할 수 있다. 본 발명에서는 누적 히스토그램을 가우시안 혼합 모델(GMM)으로 모델링하기 때문에 동일한 방법을 사용한다. 배경 차분은 아래 [식 9]와 같이 구한다.

[식 9]

[식 9]에서 I(x, y, t)는 시각 t 에 좌표(x, y)에서 화소의 밝기 값이고, 는 μ_j 레이어가 배경으로 설정된 j번째 모드의 평균값이다.

객체의 검출은 아래 [식 10]와 같이 결정한다.

[식 10]

실험 환경은 Intel(R) Core(TM) i5 CPU 750 2.67GHz, 4GB RAM이며 컴파일러는 Visual Studio 2010을 이용하였다. 그림 12는 320X240의 깃발이 날리는 동영상, 그림 13, 14 및 15, 16은 640X480의 연구실 동영상이다.

본 발명에 따른 객체 검출 방법과 종래기술 1(가우시안 혼합 모델(GMM)) 종래기술 2(복잡한 배경에서 객체를 검출하는 방법(FOD))을 비교하였다.

본 실험에서는 100 프레임 동안 가우시안 혼합 모델을 학습하여 배경 레이어와 객체 레이어를 설정하였으며, 배경 레이어 업데이트할 때의 학습률은 0.01로 설정하였으며, 참영상은 GIMP[http://www.gimp.org/]를 이용하여 구하였다.

도 12는 외부요인에 의해 배경이 변화하는 환경에서 종래 기술 및 본 발명에 의해 이동하는 객체를 검출한 결과를 나타낸 영상을 도시한 도이다.

도 12a 331번째 프레임에서 원 영상이며, 도 12b는 참영상, 도 12c는 종래기술 1(GMM)에 따른 결과, 도 12d는 종래기술 2(FOD)에 따른 결과 및 도 12e는 본 발명에 따른 객체 검출 방법에 따른 결과를 나타낸다.

도 12의 동영상은 바람에 의해 나무와 깃발이 움직이는 환경에서 도로 위에 자동차가 지나다니는 영상이다. 종래 기술 1(GMM)은 움직이는 배경을 객체로 검출하는 오류를 보여주고 있다. 종래 기술 2(FOD)는 객체만 검출하나 배경 학습 속도로 인해 실제보다 약간 더 길게 객체를 검출하였다.

본 발명에 따른 객체 검출 방법은 배경을 객체로 검출하는 오류가 없이 움직이는 객체만 정확하게 검출하는 것을 볼 수 있다.

도 13 및 도 14는 객체가 움직이다가 일정 시간 동안 정지하는 영상에서 객체를 검출한 결과를 나타낸 도이다.

도 13a는 310번째 프레임에서 원 영상, 도 13b는 참영상, 도 13c는 종래 기술 1(GMM)에 따른 결과, 도 13d는 종래 기술 2(FOD)에 따른 결과 및 도 13e는 본 발명에 따른 객체 검출 방법에 따른 결과를 나타낸다. 도 14a는 400번째 프레임에서 원 영상, 도 14b는 참영상, 도 14c는 종래 기술 1(GMM)에 따른 결과, 도 14d는 종래 기술 2(FOD)에 따른 결과 및 도 14e는 본 발명에 따른 객체 검출 방법에 따른 결과를 나타낸다.

도 15 및 도 16은 이동하는 객체와 정지해있는 객체를 검출한 결과를 나타낸 도이다.

도 15a는 1600번째 프레임에서 원 영상, 도 15b는 참영상, 도 15c는 종래 기술 1(GMM)에 따른 결과, 도 15d는 종래 기술 2(FOD)에 따른 결과 및 도 15e는 본 발명에 따른 객체 검출 방법에 따른 결과를 나타낸다. 도 16a는 1790번째 프레임에서 원 영상, 도 16b는 참영상, 도 16c는 종래 기술 1(GMM)에 따른 결과, 도 16d는 종래 기술 2(FOD)에 따른 결과 및 도 16e는 본 발명에 따른 객체 검출 방법에 따른 결과를 나타낸다.

위에서 살펴본 도 13 내지 16의 동영상은 연구실에서 촬영한 영상으로 사람이 움직이다가 한동안 정지하는 영상이다. 종래 기술 1(GMM)은 객체가 움직이다 정지하는 경우 일정 시간이 흐르면 정지한 객체를 배경으로 학습하여 정지한 객체를 검출할 수 없었다. 종래 기술 2(FOD)는 학습 속도로 인해 객체가 잠시 멈추었다 움직이는 경우 잠시 멈추었을 경우를 배경으로 학습하여 다시 움직였을 때 객체가 머문 흔적이 남게 된다.

한편, 본원 발명에 따른 객체 검출 방법은 일정 시간이 흐른 후에도 정지한 객체를 검출하였다.

도 17은 종래 기술과 본 발명에 따른 객체 검출 방법의 객체 검출 시간을 나타낸 표이다.

도 17에 도시된 표는 제안하는 방법의 연산량을 다른 두 방법과 비교 결과를 보여주고 있다. 본 발명에 따른 방법은 종래기술 2(FOD)에 비하여 약 절반 정도의 연산량만 필요하게 되므로 객체 검출 시간을 단축시키면서도, 움직이다가 일정시간 이상 정지한 객체를 배경으로 판단하는 문제점을 해결할 수 있다.

도 18은 본 발명의 실시예에 따른 영상 감시 시스템의 개략적인 구성도이고, 도 19는 도 18에 도시된 객체 검출 장치의 개략적인 기능 블록도이다.

도 18을 참조하면, 본 발명에 따른 영상 감시 시스템은 카메라 장치(100), 객체 검출 장치(200), 데이터 송수신 장치(300), 경보 장치(400) 및 주제어장치(500)를 포함한다.

카메라 장치(100)는 감시 대상 영역을 촬영하여 감시 대상 영상을 획득하는 기능을 수행한다.

객체 검출 장치(200)는 카메라 장치(100)를 통하여 획득된 감시 대상 영상으로부터 이동하는 객체 또는 정지중인 객체를 검출하는 기능을 수행한다.

데이터 송수신 장치(300)는 객체 검출 장치(200)를 통하여 결과를 주제어장치(500)로 전송하거나, 검출 결과를 오페레이터(운영자)에게 전송하는 기능을 수행한다.

경보 장치(400)는 객체 검출 장치(200)를 통하여 이동하는 객체를 검출한 경우 경광등을 작동시키거나 또는 경고음을 발생시켜 감시 영역에 외부인의 침입이 발생하였음을 알려주는 기능을 수행한다.

주제어장치(500)는 카메라 장치(100), 객체 검출 장치(200), 데이터 송수신 장치(300) 및 경보 장치(400)의 동작을 제어하는 기능을 수행한다.

도 19를 참조하면, 객체 검출 장치(200)는 영상 취득부(210), 가우시안 혼합 모델 생성부(220), 레이어 설정부(230), 변화 검출부(240), 레이어 업데이트부(250), 객체 검출부(260) 및 제어부(290)를 포함한다.

영상 취득부(210)는 카메라 장치(100)로부터 촬영된 영상을 수신하여 감시 대상 영역을 설정하여 감시 대상 영상을 생성하는 기능을 수행한다.

가우시안 혼합 모델 생성부(220)는 감시 대상 영상을 소정시간 동안 누적한 화소들의 밝기 분포를 히스토그램으로 생성하고, 시간 누적 히스토그램을 복수개의 가우시안 모드의 혼합으로 모델링한다.

레이어 설정부(230)는 가우시안 혼합 모델의 각 모드의 레이어(layer)를 분류하는 과정을 수행한다(S500). 레이어(layer)는 각 모드에 해당하는 화소가 배경인지 객체인지를 나타내는 정보를 가지고 있으며, 이러한 레이어 정보를 가우시안 혼합 모델의 각 모드에 부여한다.

변화 검출부(240)는 외부 환경에 의한 변화와 객체 움직임으로 인한 변화를 검출하는 기능을 수행한다. 변화 검출부(240)는 이러한 변화를 구별하기 위한 각각의 임계값을 설정하고, 배경 차분 화소 및 장면 차분 화소의 절대값 분포와 설정된 각 임계값과 비교하여 외부 환경에 의한 변화와 객체 움직임으로 인한 변화를 검출하고, 검출 결과를 이진화 영상에 저장한다.

레이어 업데이트부(250)는 외부 환경에 의한 변화나 객체 움직임 변화를 검출하는 경우 레이어 정보를 업데이트하는 기능을 수행한다. 레이어 업데이트부(250)의 동작은 도 6 내지 도 9에 도시된 레이어 업데이트 과정과 동일하다.

객체 검출부(260)는 감시 대상 영상으로부터 객체를 검출한다.

제어부(290)는 영상 취득부(210), 가우시안 혼합 모델 생성부(220), 레이어 설정부(230), 변화 검출부(240), 레이어 업데이트부(250) 및 객체 검출부(260)의 동작을 제어한다.

이상에서 설명한 것은 본 발명에 따른 영상 감시 시스템 및 영상 감시 시스템의 객체 검출 방법의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

100 : 카메라 장치
200 : 객체 검출 장치
210 : 영상 취득부
220 : 가우시안 혼합 모델 생성부
230 : 레이어 설정부
240 : 변화 검출부
250 : 업데이트부
260 : 객체 검출부
290 : 제어부
300 : 데이터 송수신장치
400 : 경보 장치
500 : 주제어장치

Claims

영상 감시 시스템의 객체 검출 방법에 있어서,
카메라를 이용하여 획득한 감시 대상 영상의 누적 화소들의 밝기 분포를 히스토그램으로 생성하는 단계;
시간 누적 히스토그램을 가우시안 혼합 모델로 모델링하는 단계;
가우시안 혼합 모델의 각 모드의 레이어(layer)를 분류하는 단계;
배경 변화나 객체 움직임 변화를 검출하는 단계;
검출 결과에 따라 레이어 정보 업데이트를 수행하는 단계; 및
감시 대상 영상으로부터 객체를 검출하는 단계;를 포함하며, 상기 레이어(layer)는 각 모드에 해당하는 화소가 배경인지 객체인지를 나타내는 정보를 포함하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
제1항에 있어서,
상기 레이어를 분류하는 단계는,
상기 가우시안 혼합 모델의 각 모드를 가중치에 따라 정렬하는 단계;
각 가중치 합과 임계값을 비교하는 단계; 및
비교 결과, 각 가중치 합이 임계값 이상이면 가우시안 혼합 모델의 모드를 배경 레이어로 설정하고, 그 이외의 경우는 가우시안 혼합 모델의 모드를 객체 레이어로 설정하는 단계;를 포함하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
제1항에 있어서,
상기 배경 변화나 객체 움직임 변화를 검출하는 단계는,
배경 변화와 객체 움직임으로 인한 변화를 구별하기 위한 임계값을 설정하는 단계;
배경 차분 화소 및 장면 차분 화소의 절대값과 설정된 각 임계값과 비교하는 단계; 및
배경 변화와 객체 움직임으로 인한 변화 검출 결과를 이진화 영상에 저장하는 단계;를 포함하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
제3항에 있어서,
상기 검출 결과를 이진화 영상에 저장하는 단계는,
상기 배경 차분 화소에서 구한 절대값이 임계값 보다 작으면 0, 임계값 보다 크면 1로 설정하고, 상기 장면 차분 화소에서 구한 절대값이 임계값 보다 작으면 0, 임계값 보다 크면 1로 설정하여, 이를 이진화 영상에 저장하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
제3항에 있어서,
상기 검출 결과에 따라 레이어 정보 업데이트를 수행하는 단계는,
상기 장면 차분 화소의 절대값이 임계값 보다 작고, 상기 배경 차분 화소의 절대값이 임계값 보다 작은 경우,
가우시안 혼합 모델의 모드의 레이어가 객체 레이어인지 판단하는 단계; 및
판단 결과, 가우시안 혼합 모델의 모드가 객체 레이어인 경우에는 객체 레이어를 제거하고, 가우시안 혼합 모델의 모드를 배경 레이어로 설정하고, 가우시안 혼합 모델의 모드가 배경 레이어인 경우 배경 레이어를 업데이트 하는 단계를 포함하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
제3항에 있어서,
상기 검출 결과에 따라 레이어 정보 업데이트를 수행하는 단계는,
상기 장면 차분 화소의 절대값이 임계값 보다 작고, 상기 배경 차분 화소의 절대값이 임계값 보다 큰 경우,
가우시안 혼합 모델 모드의 레이어가 배경 레이어인지 판단하는 단계; 및
판단 결과, 가우시안 혼합 모델의 모드가 배경 레이어인 경우에는 가우시안 혼합 모델 모드의 배경 레이어를 업데이트 하는 단계를 포함하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
제6항에 있어서,
판단 결과 가우시안 혼합모델 모드의 레이어가 배경 레이어가 아닌 경우에는 기존에 객체 레이어가 존재하는지 판단하는 단계;
기존에 객체 레이어가 존재하지 않은 경우, 생성된 모드를 객체 레이어로 설정하는 단계; 및
기존에 객체 레이어가 존재하는 경우라면 생성된 모드는 배경 변화에 따른 것으로 보고 생성된 모드를 배경 레이어로 설정하는 단계;를 더 포함하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
제3항에 있어서,
상기 검출 결과에 따라 레이어 정보 업데이트를 수행하는 단계는,
상기 장면 차분 화소의 절대값이 임계값 보다 크고, 상기 배경 차분 화소의 절대값이 임계값 보다 작은 경우,
레이어 업데이트를 수행하지 않고, 현재 상태를 유지하는 단계를 포함하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
제3항에 있어서,
상기 검출 결과에 따라 레이어 정보 업데이트를 수행하는 단계는,
상기 장면 차분 화소의 절대값이 임계값 보다 크고, 상기 배경 차분 화소의 절대값이 임계값 보다 큰 경우,
가우시안 혼합 모델을 업데이트 하는 단계; 및
업데이트된 가우시안 혼합 모델의 각 모드별로 새로운 배경 레이어와 객체 레이어를 설정하는 단계를 포함하는 것을 특징으로 하는 영상 감시 시스템의 객체 검출 방법.
영상 감시 시스템에 있어서,
감시 대상 영역을 촬영하여 감시 대상 영상을 획득하는 카메라 장치;
상기 카메라 장치를 통하여 획득된 감시 대상 영상으로부터 이동하는 객체 또는 정지중인 객체를 검출하는 기능을 수행하는 객체 검출 장치;
상기 객체 검출 장치를 통하여 검출된 결과를 주제어장치로 전송하는 데이터 송수신 장치;
상기 객체 검출 장치를 통하여 이동하는 객체를 검출한 경우 경광등을 작동시키거나 또는 경고음을 발생시키는 경보 장치; 및
상기 카메라 장치, 객체 검출 장치, 데이터 송수신 장치 및 경보 장치의 동작을 제어하는 주제어장치;를 포함하며,
상기 객체 검출 장치는 제1항 내지 제9항 중 어느 한 방법에 따라 객체 를 검출하는 것을 특징으로 하는 영상 감시 시스템.
제10항에 있어서,
상기 객체 검출 장치는,
상기 카메라 장치로부터 촬영된 영상을 수신하여 감시 대상 영역을 설정하여 감시 대상 영상을 생성하는 영상 취득부;
상기 감시 대상 영상의 누적 화소들의 밝기 분포를 히스토그램으로 생성하고, 시간 누적 히스토그램을 가우시안 혼합 모델로 모델링하는 가우시안 혼합 모델 생성부;
상기 가우시안 혼합 모델의 각 모드의 레이어를 분류하는 레이어 설정부;
배경 변화와 객체 움직임으로 인한 변화를 검출하기 위한 변화 검출부; 및
상기 변화 검출부의 결과에 기초하여 레이어 정보를 업데이트하는 레이어 업데이트부;를 포함하는 것을 특징으로 하는 영상 감시 시스템.
제11항에 있어서,
상기 변화 검출부는 배경 변화와 객체 움직임으로 인한 변화를 구별하기 위한 각각의 임계값을 설정하고, 배경 차분 화소 및 장면 차분 화소의 절대값과 설정된 각 임계값과 비교하여 배경 변화와 객체 움직임으로 인한 변화를 검출하고, 검출 결과를 이진화 영상에 저장하는 것을 특징으로 하는 영상 감시 시스템.