KR102333418B1 - 조도 변화시 유기된 물체의 감시 방법 - Google Patents

Abstract

본 발명의 목적은 다양한 조도 변화에 빠르게 적응할 수 있고, 가려짐, 장기간 유기 및 소유자 재등장과 같은 복잡한 환경에서도 이중 배경 모델을 사용하여 유기 물체를 탐지할 수 있는 조도 변화시 유기된 물체의 감시 시스템 및 감시 방법을 제공하는 것이다.
본 발명에 의하면, 다양한 조도 변화에 빠르게 적응할 수 있고, 가려짐, 장기간 유기 및 소유자 재등장과 같은 복잡한 환경에서도 이중 배경 모델을 사용하여 유기 물체를 탐지할 수 있는 효과가 있다.

Description

조도 변화시 유기된 물체의 감시 방법{DETECTING METHOD OF ABANDONED OBJECT IN ILLUMINATION CHANGES}

본 발명은 조도 변화시 유기된 물체의 감시 방법에 관한 것으로, 더욱 상세하게는 다양한 조도 변화에 빠르게 적응할 수 있고, 가려짐, 장기간 유기 및 소유자 재등장과 같은 복잡한 환경에서도 이중 배경 모델을 사용하여 유기 물체를 탐지할 수 있는 조도 변화시 유기된 물체의 감시 방법에 관한 것이다.

최근 들어 폐회로 텔레비전(CCTV: Closed Circuit Television)은 은행, 공공기관, 골목 등의 환경감시 영역 등 여러 장소에 활용되고 있다.

폐회로 텔레비전의 다양한 곳에 활용됨에 따라, 효율적인 모니터링을 위해 촬영되는 객체를 보다 정확히 탐지할 수 있는 기술 개발이 활발히 진행되고 있다.

특히, 영상의 정보를 분석하여 자동으로 이상 행위를 탐지하고 관리자에서 경보를 전송하는 지능형 영상 탐지 시스템이 활발히 개발되고 있다.

이러한 지능형 영상 탐지(IVS: Intelligent Video Surveillance)시스템은 영상 전처리 단계, 배경 영역 분리 단계, 객체 식별 단계, 객체 추적 단계 및 사전에 정의된 규칙을 기반으로 이벤트를 탐지하는 이벤트 탐지 단계로 구성된다.

이러한 단계로 구성되는 지능형 영상 탐지 시스템은 탐지 효율 및 높은 신뢰도를 얻기 위해서는 이벤트를 정확하게 탐지해야 한다.

그러나 현재 개발된 대다수의 지능형 영상 탐지 시스템은 이벤트를 탐지할 때 빈번한 오류를 발생시고 있다.

일례로, 바람에 따라 모양, 위치 등이 변화되는 나무 및 입간판 등 그리고 심한 조도 변화로 아무것도 없는 위치에서 객체가 잡히는 경우에도 쓰레기 유기 행위로 탐지하는 문제를 발생시키고 있다.

이러한 문제는 쓰레기 유기 행위 탐지에 대한 신뢰도를 낮추는 상황까지 발생시키고 있다.

지난 몇 년 동안, 인간이 지속적으로 관찰할 필요 없이 침입, 약탈, 유기 및 화재와 같은 특정 사건을 자동으로 탐지하는 지능형 비디오 탐지 시스템에 대한 관심이 높아지고 있다.

최근 불법 투기, 불법 주차 차량 또는 테러와 관련된 의심스러운 물체를 포함하여 유기된 물체를 탐지하는 많은 연구가 수행되고 있다.

예컨데, 유기된 물체는 소유자가 버린 물체이며 미리 정의된 시간 내에 다시 찾지 않는다.

대부분의 기존 유기 물체 탐지 알고리즘은 배경 모델에서 생성된 전경 정보를 사용한다.

배경 제거 기술은 이미지에서 전경 정보를 추출하는 효과적인 방법 중 하나이다.

여러 문제 중 하나는 시간이 지남에 따라 전경이 점차 배경에 흡수된다는 것인데, 이는 대상 물체를 탐지하고 추적하기 위해 전경 정보에 크게 의존하는 알고리즘에 장애가 될 수 있다.

또한 다른 문제는 조도 변화에 매우 취약하다는 것이다.

조명이 켜져 있거나 구름이 태양을 덮고 있는 경우를 포함한 다양한 상황에서 조도 변화가 발생할 수 있다.

이러한 조도의 변화가 발생하면 전체 이미지에 영향을 줄 수 있다.

즉, 영향을 받는 이미지의 부분이 새로운 전경으로 노출되며 배경 모델의 학습 속도에 따라 후속하는 연속 이미지에서 오랫동안 지속될 수 있다.

이는 잘못된 경보율을 크게 증가시켜 탐지 시스템의 성능을 저하시킬 수 있다.

따라서, 물체를 계속 추적하면서 조도 변화를 신속하게 탐지하고 적응시키는 기술이 필요하다.

대한민국 등록특허공보 제10-1907442호 (2018.10.12. 공고)

상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 다양한 조도 변화에 빠르게 적응할 수 있고, 가려짐, 장기간 유기 및 소유자 재등장과 같은 복잡한 환경에서도 이중 배경 모델을 사용하여 유기 물체를 탐지할 수 있는 조도 변화시 유기된 물체의 감시 방법을 제공하는 것이다.

상기 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 조도 변화시 유기된 물체의 감시 방법은, 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계; 상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계; 상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계; 상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계; 상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계; 상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계; 상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계; 상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따른 조도 변화시 유기된 물체의 감시 방법은, 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 각각 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계; 상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계; 상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계; 상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계; 상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계; 상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계; 상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계; 상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하며, 조도 변화가 탐지되면 2개의 배경 모델로 구성된 상기 이중 배경 모델 각각의 학습 속도를 동일하게 변경시키고, 상기 장기 전경에서 상기 단기 전경을 제거한 상기 전경 차이에서 추출된 블랍이 없을 경우 상기 장기 전경 및 상기 단기 전경이 동일하다고 결정하여 배경으로 흡수시킨 후, 상기 이중 배경 모델 각각은 최초 학습 속도로 돌아가는 것을 특징으로 한다.

또한, 본 발명의 또 다른 실시예에 따른 조도 변화시 유기된 물체의 감시 방법은, 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 각각 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계; 상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계; 상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계; 상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계; 상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계; 상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계; 상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계; 상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하며, 조도 변화가 탐지되면 2개의 배경 모델로 구성된 상기 이중 배경 모델 각각의 학습 속도를 동일하게 변경시키고, 상기 장기 전경에서 상기 단기 전경을 제거한 상기 전경 차이에서 추출된 블랍이 없을 경우 상기 장기 전경 및 상기 단기 전경이 동일하다고 결정하여 배경으로 흡수시킨 후, 상기 이중 배경 모델 각각은 최초 학습 속도로 돌아가며, 상기 후보 고정 물체의 상기 템플릿은 상기 후보 고정 물체의 위치 및 크기와, 후보 고정 물체 이미지의 가장 큰 윤곽선과, 배경 이미지의 가장 큰 윤곽선과, 후보 고정 물체의 소유자의 색상 히스토그램인 것을 특징으로 한다.

또한, 본 발명의 다른 일 실시예에 따른 조도 변화시 유기된 물체의 감시 방법은, 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 각각 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계; 상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계; 상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계; 상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계; 상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계; 상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계; 상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계; 상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하며, 조도 변화가 탐지되면 2개의 배경 모델로 구성된 상기 이중 배경 모델 각각의 학습 속도를 동일하게 변경시키고, 상기 장기 전경에서 상기 단기 전경을 제거한 상기 전경 차이에서 추출된 블랍이 없을 경우 상기 장기 전경 및 상기 단기 전경이 동일하다고 결정하여 배경으로 흡수시킨 후, 상기 이중 배경 모델 각각은 최초 학습 속도로 돌아가며, 상기 후보 고정 물체의 상기 템플릿은 상기 후보 고정 물체의 위치 및 크기와, 후보 고정 물체 이미지의 가장 큰 윤곽선과, 배경 이미지의 가장 큰 윤곽선과, 후보 고정 물체의 소유자의 색상 히스토그램이며, 상기 존재 인증은 현재 고정 물체 이미지의 최대 윤곽선과, 상기 템플릿에 등록된 상기 후보 고정 물체의 최대 윤곽선을 비교하여 수행되고, 상기 현재 고정 물체 이미지의 최대 윤곽선과, 상기 후보 고정 물체의 최대 윤곽선이 동일할 경우, 상기 후보 고정 물체가 미리 지정된 시간 동안 고정되면, 유기된 물체로 판단하며, 상기 현재 고정 물체 이미지의 최대 윤곽선과, 상기 후보 고정 물체의 최대 윤곽선이 동일하지 않을 경우, 상기 현재 고정 물체 이미지와 상기 템플릿에서 배경 이미지의 가장 큰 윤곽선을 비교하여, 상기 가장 큰 윤곽선이 동일하면 현재 고정 물체 이미지가 상기 배경 이미지와 동일하며, 추적 도중 현재 고정 물체가 사라진 것으로 판단하는 것을 특징으로 한다.

또한, 본 발명의 또 다른 일 실시예에 따른 조도 변화시 유기된 물체의 감시 방법은, 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 각각 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계; 상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계; 상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계; 상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계; 상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계; 상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계; 상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계; 상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하며, 조도 변화가 탐지되면 2개의 배경 모델로 구성된 상기 이중 배경 모델 각각의 학습 속도를 동일하게 변경시키고, 상기 장기 전경에서 상기 단기 전경을 제거한 상기 전경 차이에서 추출된 블랍이 없을 경우 상기 장기 전경 및 상기 단기 전경이 동일하다고 결정하여 배경으로 흡수시킨 후, 상기 이중 배경 모델 각각은 최초 학습 속도로 돌아가며, 상기 후보 고정 물체의 상기 템플릿은 상기 후보 고정 물체의 위치 및 크기와, 후보 고정 물체 이미지의 가장 큰 윤곽선과, 배경 이미지의 가장 큰 윤곽선과, 후보 고정 물체의 소유자의 색상 히스토그램이며, 상기 존재 인증은 현재 고정 물체 이미지의 최대 윤곽선과, 상기 템플릿에 등록된 상기 후보 고정 물체의 최대 윤곽선을 비교하여 수행되고, 상기 현재 고정 물체 이미지의 최대 윤곽선과, 상기 후보 고정 물체의 최대 윤곽선이 동일할 경우, 상기 후보 고정 물체가 미리 지정된 시간 동안 고정되면, 유기된 물체로 판단하며, 상기 현재 고정 물체 이미지의 최대 윤곽선과, 상기 후보 고정 물체의 최대 윤곽선이 동일하지 않을 경우, 상기 현재 고정 물체 이미지와 상기 템플릿에서 배경 이미지의 가장 큰 윤곽선을 비교하여, 상기 가장 큰 윤곽선이 동일하면 현재 고정 물체 이미지가 상기 배경 이미지와 동일하며, 추적 도중 현재 고정 물체가 사라진 것으로 판단하고, 상기 가장 큰 윤곽선이 동일하지 않으면, 다른 물체가 현재 고정 물체를 가리고 있다고 판단하며, 상기 다른 물체가 상기 현재 고정 물체를 가리는 경우, 상기 존재 인증을 반복 수행하는 것을 특징으로 한다.

기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명에 의하면, 다양한 조도 변화에 빠르게 적응할 수 있고, 가려짐, 장기간 유기 및 소유자 재등장과 같은 복잡한 환경에서도 이중 배경 모델을 사용하여 유기 물체를 탐지할 수 있는 효과가 있다.

도 1은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 전체 흐름을 나타내는 플로우 차트.
도 2는 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 PETS2006 시나리오 7에서 유기 물체 탐지를 나타내는 사진.
도 3은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 조도 변화 적응 기술이 적용되지 않은 ABODA 비디오 7에서 조도의 변화를 나타내는 사진.
도 4는 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 조도 변화 적응 기술이 적용되지 않은 ABODA 비디오 6의 결과를 나타내는 사진.
도 5는 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법에서 ABODA 비디오 6 및 비디오 7에서 조도 변화 처리를 나타내는 사진.
도 6은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 ABODA 비디오 7에서 조도 변화를 갖는 모든 비디오 프레임 이미지의 히스토그램.
도 7은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 ABODA 비디오 7에서 유기된 물체의 탐지를 나타내는 사진.
도 8은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 KICV(Koreatech Illumination Change Video)에서 외부 조도 변화를 나타내는 사진.
도 9는 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 KICV 비디오 2에서 내부 조도 변화를 나타내는 사진.
도 10은 본 발명에 따른 조도 변화시 유기된 물체의 감시 시스템을 나타내는 블록도.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.

이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.

유기 물체를 탐지하기 위해, 본 발명은 학습 속도가 다른 두 개의 배경 모델로 구성된 이중 배경 모델을 사용하여 고정 물체를 효율적으로 추출할 수 있기 때문에, 상대적으로 계산 비용이 적다.

또한, 조도 변화를 처리하기 위한 신속 적응 메커니즘과 후보 고정 물체의 다음 또는 최종 상태를 결정하기 위한 존재 인증 메커니즘을 추가로 채택한다.

제공된 알고리즘은 모델로부터 거대한 전경 블랍(Blob)을 탐지할 때 조도 변화의 발생을 탐지한다.

조도 변화가 탐지되면, 알고리즘은 적응 메커니즘을 실행한다.

알고리즘은 두 모델의 학습 속도를 즉시 동일하게 변경하여 조도 변화에 대해 동시에 신속하게 적응시킨다.

이는 두 모델이 모든 영향을 받는 부분을 배경에 흡수시킨다는 것을 의미한다.

그 다음 적응이 완벽하게 완료되는지 여부를 알아야 한다.

조정의 종료는 단기 및 장기 전경 이미지의 차별 이미지에서 추출된 블랍이 없는지 확인함으로써 결정될 수 있는데, 이는 이전 배경 이력을 폐기한 후 두 모델의 전경이 완전히 동일하다는 것을 의미한다.

즉, 조도 변화에 완벽하게 적응한다.

모든 영향을 받는 부분을 배경으로 흡수한 후 각 학습 속도는 원래 값으로 돌아간다.

상술된 조도 변화 처리 기술은 변화 사항을 신속하게 탐지하고 적응하여 알고리즘이 잘못된 후보 고정 물체를 추출하지 못하게 하는 장점이 있다.

그러나 변화가 발생하기 전에 생성된 기존의 의미있는 전경 정보가 적응 후에 사라질 수 있는 한계가 있다.

이 문제를 해결하려면 템플릿 등록 및 존재 인증을 제안한다.

그 전에 먼저 안정성과 같은 일부 전제 조건을 충족하는 후보 고정 물체를 선택해야 한다.

후보 고정 물체를 선택하면 위치, 크기 및 물체 이미지의 가장 큰 윤곽선과 같은 속성이 함께 등록된다.

본 발명에서는, 이 속성 집합을 후보 고정 물체의 템플릿이라 부른다.

이후 등록된 물체의 전경은 더 이상 물체의 상태를 결정하는데 필요하지 않다.

제안된 알고리즘에는 템플릿만 필요하므로 시간이 지남에 따라 전경이 배경으로 흡수되는 문제와 관계없이 감시 시스템이 물체를 장기간 추적할 수 있다.

후보 고정 물체가 소유자에 의해 유기 상태가 된 후 미리 정의된 n초가 지날 때까지 추적용 시각적 분석을 수행하지 않는다.

유기 결정을 위한 타이머가 만료되면, 알고리즘은 현재 비디오 프레임에서 목표 물체의 존재를 검증하여 해당 물체가 유기되었는지를 결정한다.

이를 존재 인증(presence authentication)이라고 부르며, 존재 인증은 템플릿의 후보 고정 물체와 현재 물체 이미지의 최대 형상을 비교하여 수행된다.

전체 윤곽선 또는 히스토그램과 같은 다른 윤곽선이 아닌 가장 큰 윤곽선을 사용하는 이유는 실험에 따르면 조도 변화에 더 강건하기 때문이다.

비교 결과에 따라 물체의 다음 또는 최종 상태가 결정된다.

따라서 본 발명의 알고리즘은 조도 변화뿐만 아니라 가려짐 및 장기 유기된 물체 추적과 같은 복잡한 문제에 대해 강건하게 작동할 수 있다.

본 발명은 주로 조도 변화에서 유기된 물체를 강건하게 탐지하는 데 중점을 둔다.

본 발명에서 제공된 알고리즘은 PETS2006 유기 물체 조건을 사용하여 유기 물체를 탐지한다.

PETS2006 유기 물체 탐지에 대한 요구 사항은 다음과 같다.

임시 규칙 : 짐은 소유자가 그 짐을 남기고 사라지고 시간 T = n초 내에 돌아오지 않으면, 주인 없는 물체로 선언된다.

공간 규칙 : 소유자와 짐 사이의 거리가 사전 정의된 거리보다 길면, 경보 이벤트가 트리거된다.

도 1은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 전체 흐름을 나타내는 플로우 차트이다.

도 1을 참조하면, 서로 다른 학습 속도 또는 흡수 속도를 갖는 두 개의 배경 모델로 구성된 이중 배경 모델은 단일 비디오 프레임(VF) 이미지에서 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성한다.

장기 모델은 단기 모델보다 느리게 학습되므로, 두 모델에 동일하게 존재하는 이동 물체는 제외하고, 고정 전경 물체는 장기 전경(LF)에서 비교적 오랫동안 유지된다.

고정 전경 물체만 추출하기 위해, 전경 차이(DF: Difference Foreground)는 장기 전경(LF)에서 단기 전경(SF)을 간단히 제거하여 생성된다.

제안된 알고리즘은 최초 비디오 프레임 기록 및 장기 모델에서 생성된 장기 배경(LB: Long Term Background) 기록을 포함하는 이전 프레임 기록을 저장한다.

백 트래싱 기법(Back Tracing technique)이 유기된 물체의 소유자를 찾고 배경 이미지의 윤곽선을 획득하는데 사용된다.

전경 차이(DF)에서, 특정 임계값보다 작은 블랍 크기를 갖는 전경 물체는 노이즈로 간주되어 필터링된다.

필터링 프로세스를 통과한 물체는 추적해야 하는 유기된 물체, 일시적으로 정지된 사람 또는 작은 광점일 수 있다.

이러한 객체들 중 후보 고정 물체를 선택하기 위해, 제공된 알고리즘은 먼저 동일한 크기의 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하여 일시적으로 정지된 객체 또는 작은 광 변화의 영향을 필터링한다.

본 발명에서는 이를 이중 배경 모델의 불완전성을 극복하기 위해 채택된 물체 안정성 검증이라 한다.

고정된 전경 물체가 전체 추적 시간과 비교하여 충분히 작은 지정된 기간 동안 동일한 위치에 나타나면 물체는 안정적인 것으로 고려되며, 그렇지 않으면 버려진다.

고정 전경 물체의 안정성이 확인되면, 알고리즘은 탐지 시스템에서 잘못된 경보의 다양한 원인 대부분을 차지하는 서있는 사람인지 여부를 판단한다.

물체가 사람이면 버려지고, 그렇지 않으면 후보 고정 물체가 된다.

이때, 알고리즘은 추적할 후보 고정 물체의 템플릿을 생성한다.

물체 소유자가 떠나면 유기 결정 타이머가 시작되고 알고리즘은 물체 추적과 관련된 시각적 분석 없이 타이머가 끝날 때까지 기다린다.

유기 결정 타이머가 만료되면, 존재 인증 프로세스는 현재 비디오 프레임에서 후보 고정 물체의 존재를 검증하기 위해 수행되며, 이는 유기, 가려짐 및 이동과 같은 물체의 다음 또는 최종 상태를 결정한다.

본 발명에서는 유기 결정 시간(n 초)까지 물체 상태 결정을 연기한다.

그러나 필요한 경우 n 값을 임의로 수정하여 매초 상태를 파악할 수 있다.

중요한 사실은 일단 템플릿이 등록되면 유기 결정 타이머가 경과할 때까지 후보 고정 물체의 전경을 분석할 필요가 없다는 것이다.

기존 발명 대부분이 시간이 지남에 따라 전경이 사라지는 문제가 발생했다는 것을 고려할 때, 본 발명의 방법은 이 문제를 해결하기 위한 획기적인 방법일 수 있다.

조도 변화를 처리하기 위해서는, 물체를 계속 추적하면서 조도 변화를 신속하게 탐지하고 적응시키는 기술이 필요하다.

조도 변경을 처리하기 위해 다음 세 가지 방법을 채택하였다.

1. 조도 변화의 신속 탐지 및 적응

2. 후보 고정 물체에 대한 템플릿 등록 및 존재 인증

3. 가장 큰 윤곽선을 기반으로 한 물체 비교

아래의 의사 코드는 본 발명에서 제공된 조도 변화 적응 방법을 나타낸다.

제공된 알고리즘은 특정 임계값(Th)보다 큰 크기의 블랍이 장기 전경(LF)에 나타날 때 단순히 조도 변화가 발생한다고 고려한다.

다음, 각 모델의 학습 속도를 즉시 동일하게 높이므로, 조도 변화 발생이 탐지되는 즉시 두 모델이 동시에 상황에 빠르게 적응할 수 있다.

그 후, 적응이 종료되는지 여부를 찾아야 한다.

알고리즘은 전경 차이(DF) 이미지에서 탐지된 블랍이 없는 경우 각 모델의 양쪽 전경이 완전히 동일하다고 결정한다.

다시 말해서, 모든 부분을 배경으로 흡수한 후에 변화에 완벽하게 적응한다.

다음 양쪽 학습 속도가 모두 최초 값으로 돌아간다.

조도 변화 처리 기술은 변화 사항을 신속하게 탐지하고 적용할 수 있다.

그러나 알고리즘이 양쪽 모델의 학습 속도를 다시 초기화하기 때문에 적응이 끝나면 기존의 의미있는 전경 정보가 사라질 수 있다는 한계도 있다.

따라서 본 발명에서는 템플릿 등록 및 존재 인증이 이 문제를 해결하는데 사용된다.

후보 고정 물체를 선택하면 그 후보 고정 물체의 템플릿이 생성되고 등록된다.

템플릿은 위치, 물체 크기, 물체 이미지의 가장 큰 윤곽선, 배경 이미지의 가장 큰 윤곽선 및 소유자의 색상 히스토그램을 포함한다.

추가 추적을 위해 관심 영역을 설정하려면 물체의 위치와 크기가 필요하다.

물체 이미지의 가장 큰 윤곽선은 다음 존재 인증에 사용될 것이며, 이는 후보 고정 물체가 여전히 현재 프레임에 존재하는지 여부를 결정한다.

상술한 바와 같이 본 발명에서 제공한 시스템은 최초 비디오 프레임과 배경 이미지 추출 및 소유자 탐지를 수행하는 백 트레이싱 기법(Back Tracing Technique)을 위한 배경 기록을 포함하여 이전 프레임 기록을 저장하고 관리한다.

존재 인증에는 배경 이미지의 최대 윤곽선이 필요하다.

최대 윤곽선은 물체가 장기 전경(LF)에서 전경으로 드러나기 전에 이전 장기 배경 이미지로부터 획득될 수 있으며, 존재 인증에서 물체가 가려짐 또는 이동되는지 여부를 결정하는데 사용된다.

소유자는 물체가 전경에서 처음 나타난 프레임의 이전 프레임 기록에서 찾을 수 있으며, 물체가 타이머를 시작하지 않고 비디오 시나리오에서 소유자의 재등장 여부를 확인하는 데 사용된다.

템플릿이 등록되면 알고리즘은 소유자가 물체로부터 떠나는지 여부를 계속 확인한다.

물체가 유기 상태일 때, 유기 결정을 위한 타이머가 시작되고, 제공된 알고리즘은 미리 지정된 n초가 경과될 때까지, 즉 타이머의 끝까지 관심 영역에 대한 추적을 위한 비디오 분석을 수행하지 않고, 이것은 추적을 위한 전경 분석을 일관되게 수행하는 대부분의 기존 발명과는 상당히 다르다.

또한, 움직이는 물체가 아니라 정지된 물체를 추적하기 때문에, 광 흐름(Opticla Flow)이나 칼만 필터(Kalman Filter)와 같은 일반적인 추적 방법을 사용할 필요가 없다.

소유자가 물체 근처에 다시 등장하면 추적이 중단되고, 타이머가 만료된 후 알고리즘은 존재 인증을 수행한다.

후보 고정 물체에 대한 존재 인증의 의사 코드는 다음과 같다.

우선, 존재 인증은 현재 물체 이미지의 최대 윤곽선과, 등록된 템플릿에서 후보 고정 물체의 최대 윤곽선을 비교함으로써 수행된다.

그것이 동일할 경우, 알고리즘은 물체가 n초 동안 정지되면, 유기된 물체로 결정된다고 논리적으로 가정한다.

그렇지 않으면 알고리즘은 현재 물체 이미지와 템플릿에서 배경 이미지 두 가지의 가장 큰 윤곽선을 비교한다.

가장 큰 윤곽선이 동일하면 현재 이미지가 배경 이미지와 동일하다는 것을 의미하며, 추적 도중 물체가 사라진 것으로 고려해야 한다.

그렇지 않은 경우, 알고리즘은 다른 물체가 현재 물체를 가리고 있다고 판단한다.

가려진 물체의 경우, 물체의 최종 상태를 결정하기 위해, 미리 결정된 시간이 지난 후 존재 인증이 반복된다.

전체 윤곽선 및 색상 히스토그램과 같은 다른 것보다 가장 큰 윤곽선을 사용하는 이유는 실험에 따라 조도 변화에 더 강건하기 때문이다.

조도 변화가 발생하면, 물체의 세부적인 부분에 작거나 막대한 차이가 있을 수 있다.

예를 들어, 여러 그림자의 방향과 형상 및 물체의 색상이 변화될 수 있고, 변화 이전과 이후의 물체가 다르다는 것을 시스템이 잘못 결정할 수 있다.

두 이미지의 유사성을 계산하는 간단한 방법인 색상 히스토그램 비교는 정상적인 상황에서는 잘 작동하지만 조도 변화에 매우 취약하다.

따라서, 물체 이미지를 비교하기 위해 조도 변화에 덜 민감한 것이 필요하다.

이를 위해, 물체의 텍스처 정보를 사용한다.

여기서, 텍스처란 밝기나 색깔의 공간적 변화가 균일한 모양을 말하며, 화상에서 텍스처가 균일한 영역을 텍스처 영역(Texture Region)이라 한다.

모서리 요소인 윤곽선은 폐곡선이기 때문에 특정 영역을 측정하여 활용하는 장점이 있다.

물체 영역의 윤곽선은 전체 물체와 배경의 일부를 포함한다.

빛이 변함에 따라 그림자의 방향과 크기가 변할 수 있으며 이는 물체의 내부 세부 사항에 영향을 미친다.

따라서 물체 내부의 윤곽선은 조도 변화에 상대적으로 취약하다.

이것이 템플릿 등록 및 존재 인증에 가장 큰 윤곽선을 사용하는 이유이다.

본 발명은 실험시 윤곽선을 비교하기 위해 OpenCV의 findContours 및 matchShapes 함수를 사용한다.

findContours는 Suzuki 등이 제공한 알고리즘을 사용하여 바이너리 이미지로부터 윤곽선을 검색한다.

matchShapes 함수는 두 형상을 비교하고 다음과 같이 Hu 불변량(Invariant)을 사용한다.

여기서 A는 제 1 윤곽선을 나타내고, B는 제 2 윤곽선을 나타내며, hAi, hBi는 각각 A와 B의 Hu 모멘트이다.

함수의 반환 값이 0이면 두 윤곽선이 정확히 같고 0에 가까울수록 유사성이 높아진다.

요컨데, 본 발명은 갑작스런 변화에 신속하게 적응함으로써 다양한 크기를 갖는 다수의 전경 블랍을 일반적으로 생성하는 잘못된 경보율을 감소시키는 조도 변화 처리 방법을 제공하며, 전경 차이(DF)에서 잘못된 전경 물체는 후보 고정 물체로 선택하지 않는다.

또한, 후보 고정 물체의 템플릿 등록 및 최대 윤곽선을 사용한 존재 인증은 물체 추적 동안 조도 변화가 발생하더라도 강건한 추적 및 정확한 유기 결정을 가능하게 한다.

- 실시예 -

KNN(k-Nearest Neighbor) 배경 제거 기술을 배경 모델링 방법으로 사용하고, HOG(Histogram Of Oriented Gradient)를 인간 탐지기로 사용한다.

본 알고리즘에서, 정지된 물체의 전경은 안정성이 검증될 때까지, 즉 비교적 적은 시간 동안만 유지될 필요가 있으며, 이는 학습 속도의 구성을 단순화하여 이들의 차이가 충분히 커지게 한다.

본 실험에서 단기 및 장기 모델에 대한 학습 속도 비는 50:500이다.

성능 평가를 위해, 데이터 세트인 PETS2006 및 ABODA를 사용하여 알고리즘을 테스트한다.

PETS2006은 상술한 바와 같고, ABODA는 유기 객체 데이터 세트이다.

ABODA의 비디오 6, 7, 8은 제공된 알고리즘이 조도 변화에 강건하다는 것을 확인하기 위한 시나리오이다.

그러나 물체가 유기되기 전에 발생하는 조도 변화만 처리하므로 추적 시작 후와, 유기 결정 타이머가 끝나기 전에 발생하는 조도 변화 상황을 다루는 비디오 데이터 세트를 추가하여 실험한다.

PETS2006 데이터 세트는 실내 환경에서 7가지 시나리오로 구성된다.

각 시나리오는 고정된 사람, 사람만큼 큰 가방, 사람이 짐을 남겨두고 다시 가져가는 상황, 오랫동안 등장한 물체 추적 및 비 소유자 접근과 같은 일반적인 상황에서 유기된 물체 탐지와 관련된 문제를 해결한다.

그러나 조도 변화 문제는 다루지 않는다.

도 2는 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 PETS2006 데이터 세트에서 가장 어려운 시나리오 7에서 유기된 물체의 탐지 프로세스를 나타내는 사진이다.

도 2를 참조하면, 소유자가 오랫동안 물체 주위를 배회하고 사라진다.

다음 여러 그룹의 사람들이 물체 근처를 통과한다.

이 시나리오에서 중요한 문제 중 하나는 전경 물체가 점차 배경으로 흡수되기 때문에 대상 물체의 장기 추적이다.

또 다른 문제는 소유자를 다른 사람과 구별하는 능력이다.

대상 물체의 전경이 이미 사라졌고 소유자가 물체를 (2)에 남긴다.

그러나 알고리즘은 여전히 물체를 추적할 수 있으며 마지막으로 (3)에서 존재 인증에 의해 물체를 유기된 물체로 결정한다.

표 1은 PETS2006 데이터 세트에 대해 제공된 알고리즘의 테스트 결과를 나타낸다.

GT, TP, FP 및 FN은 각각 진실(Ground Truth), 긍정적(True Positive), 부정적(False positive), 거짓(False Negative)을 의미한다.

모든 시나리오는 100% 정밀도를 가진다.

[표 1]

표 1에서 소유자는 유기된 물체의 소유자 수를 의미한다.

제공된 알고리즘은 백 트레이싱 기법을 사용하여 모든 시나리오에서 소유자를 탐지한다.

시나리오 3은 사람이 물체를 떨어뜨린 다음 다시 가져가는 시나리오이다.

이 알고리즘은 실제 환경에서 종종 발생하는 소유자의 재등장을 확인하기 위해 소유자 정보를 사용하지만 세부 사항은 본 발명에서 다루지 않는다.

ABODA는 유기 객체 데이터 세트이다.

실내, 실외, 야간, 조도 변화 및 붐비는 장면을 다루는 11가지 시나리오가 제공된다.

ABODA는 30초인 PETS2006의 시간 표준을 따르지 않기 때문에 실험에 대한 유기 결정 시간을 임의로 낮춘다.

PETS2006 유기 규칙을 준수하지 않는 비디오 11은 시간적 관점과 공간적 관점 모두에서 제외한다.

표 2는 본 알고리즘의 실험 결과와 ABODA 데이터 세트에 대한 몇 가지 이전 내용을 나타낸다.

특히, 조도 변화와 관련된 비디오 6, 7 및 8의 결과는 다른 발명에서 제공된 알고리즘이 만족스러운 결과를 나타내지 않음을 보여준다.

그러나, 후술하는 추적 시작 시간과 종료 시간 사이에 발생하는 조도 변화 문제는 다루지 않는다.

또한, 제공된 알고리즘은 모든 시나리오에서 유기된 물체를 정확하게 탐지하는데, 이는 조도 변화의 발생을 신속하게 결정하고 그에 적응시키는 조도 변화 처리 기술의 결과이다.

[표 2]

도 3은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 조도 변화 적응 기술이 적용되지 않은 ABODA 비디오 7에서 조도의 변화를 나타내는 사진으로, 제공된 알고리즘이 조도 변화 처리 기술 없이 ABODA 비디오 7에서 어떻게 작동하는지를 나타낸다.

조도 변화가 발생하면 단기 전경(SF) 및 장기 전경(LF) 이미지에서 다양한 크기의 다수의 전경이 생성된다는 것을 알 수 있다.

학습 속도가 높은 단기 모델은 변화에 빠르게 적응하지만 장기 모델은 오랫동안 변화에 지속적으로 영향을 받는다.

단기 모델의 적응이 끝날 때부터 전경 차이(DF)에 다수의 고정 전경 물체가 생성되고, 이것은 알고리즘이 잘못된 후보 고정 물체를 선택하여 거짓 탐지율을 크게 높인다.

도 4는 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 조도 변화 적응 기술이 적용되지 않은 ABODA 비디오 6의 결과를 나타내는 사진이다.

도 4에서, 알고리즘의 필터링 메커니즘이 작은 노이즈, 정지된 인간 객체 및 소유자가 없는 물체를 필터링할 수 있지만, 빨간색 사각형으로 표시된 몇 가지 잘못된 물체가 조도 변화의 영향으로 인해 (2) 및 (3)의 전경 차이(DF)에서 후보 고정 물체로 추출되는 것을 볼 수 있다.

비디오 감시 시스템에 조도 변화를 신속하게 탐지하고 적용하는 기술이 필요한 이유를 나타낸다.

도 5는 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법에서 ABODA 비디오 6 및 비디오 7에서 조도 변화 처리를 나타내는 사진으로, 조도 변경 처리 방법을 사용한 ABODA 비디오 6 및 비디오 7에 대해 제안된 알고리즘의 적응 과정을 나타낸다.

도 6을 참조하면, 비디오 6의 (1) 및 (4) 및 비디오 7의 (2), (5) 및 (8)에서 모든 조도 변화에 대한 적응 프로세스를 신속하게 탐지하고 시작한다는 것을 알 수 있다.

각각의 적응은 실험에서 2초 미만이 소요되며, 이는 유기 결정을 위한 총 추적 시간에 비해 충분히 작은 것으로 간주될 수 있다.

비디오 6에서, 조도 변화의 적응 이후에 나타나는 사람이 물체를 유기하고, 제공된 알고리즘은 (10)에서 후보 고정 물체로서 물체를 선택한다.

도 6은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 ABODA 비디오 7에서 조도 변화를 갖는 모든 비디오 프레임 이미지의 히스토그램으로, 조도 변경 전후의 도 5의 (7) 및 (10)에서 전체 이미지 색상 히스토그램을 나타낸다.

도 6을 참조하면, 빛의 변화가 전체 이미지에 크게 영향을 미치며, 이는 거짓 경보율을 높이거나 대상 물체의 특성을 변경할 수 있음을 알 수 있다.

조도 변경 처리 방법은 유기된 물체를 강건하게 탐지하기 위해 양쪽 모두를 처리해야 한다.

도 7은 도 7은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 ABODA 비디오 7에서 유기된 물체의 탐지를 나타내는 사진으로 ABODA 비디오 7에서 조도 변화 후 유기 상황을 나타낸다.

도 7을 참조하면, 본 발명의 조도 변화 적응 메커니즘 덕분에 이전에 발생한 변화의 영향이 없다는 것을 알 수 있다.

알고리즘은 이전에 발생한 조도 변화의 경우에도 유기된 물체만 정확하게 탐지한다.

(5)에서 전경 차이(DF)는 안정적이고, 인간이 아니며, 인간이 재등장하지 않는 후보 고정 물체를 나타낸다.

이 시점에서 물체의 템플릿이 생성된다.

현재 비디오 프레임의 가장 큰 윤곽선은 템플릿에서 물체의 가장 큰 윤곽선과 동일하기 때문에, (6)에서 존재 인증 프로세스를 통해 물체는 유기된 물체로 결정된다.

표 3은 도 7의 (5)와 (6)에서 추적 물체의 이미지, 색상 히스토그램, 윤곽선 및 가장 큰 윤곽선을 나타낸다.

[표 3]

후보 고정 물체를 선택한 시점부터 타이머가 만료될 때까지 빛의 변화가 없었기 때문에 물체가 동일하게 남아 있음을 알 수 있다.

결과적으로, 두 이미지의 히스토그램은 거의 동일하며 추출된 여러 윤곽선 중 가장 큰 윤곽선을 사용한 형상 일치 결과는 0에 매우 가깝고, 즉, 두 물체가 동일하다.

이는 정상적인 상황에서 히스토그램과 가장 큰 윤곽선을 기반으로 물체를 비교할 때 큰 차이가 없음을 의미한다.

그러나 후술하는 데이터 셋을 사용하여 실험한 물체 추적 동안 조도 변화가 발생하면 상황이 완전히 달라진다.

본 발명에 따른 데이터 셋인 KICV(Koreatech Illumination Change Video) 1과 2의 두 가지 비디오 시나리오를 만들어 실내 및 실외 환경에서 유기 행위 후 발생하는 조도 변화에 대한 강건함을 각각 측정하였다.

KICV 비디오 1은 실외 환경에서 유기된 물체를 추적하는 중에 발생하는 조도 변화, 소유자의 재등장, 가려짐 및 장기 유기를 포함하는 복잡한 문제를 처리한다.

도 8은 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 KICV(Koreatech Illumination Change Video)에서 외부 조도 변화를 나타내는 사진이다.

도 8에서, 후보 고정 물체가 (3)에서 선택된 후 두 가지 조도 변화가 있다.

이때, 후보 고정 물체의 가장 큰 윤곽선 및 배경 이미지의 가장 큰 윤곽선이 추출되어 템플릿의 속성으로서 함께 등록된다.

다음, 조도 변화 적응을 통해 전경 물체가 배경에 빠르게 흡수되지만 알고리즘은 여전히 물체를 강건하게 추적할 수 있음을 알 수 있다.

(6)에서, 사람이 물체에 접근하고 있다.

따라서, 알고리즘은 템플릿의 소유자 히스토그램을 사용하여 그 사람이 소유자인지 여부를 확인하고 그가 소유자가 아니라고 결정한다.

다음. 타이머를 중지하지 않는다.

(8)에서, 도면은 물체에 사람이 재등장하지 않은 상태로 사전 정의된 유기 시간 n초(실험에서 n = 30)가 경과한 상황을 나타낸다.

존재 인증이 실행되고 현재 물체 이미지의 최대 윤곽선을 템플릿의 후보 고정 물체의 최대 윤곽선과 비교한다.

비소유자가 물체를 현재 가리므로, 그 결과가 실패한다.

다음, 현재 물체 이미지의 가장 큰 윤곽선이 템플릿의 배경 이미지의 가장 큰 윤곽선과 비교된다.

서로 일치하지 않기 때문에, 존재 인증 프로세스에서 물체의 상태가 유기된 물체로 결정된다.

제공된 알고리즘은 이 경우 특정 시간(여기서는 10 초) 후에 다시 존재 인증을 수행한다.

사람이 사라지면 물체는 (9)에서 유기된 것으로 결정된다.

현재 이미지의 가장 큰 윤곽선은 템플릿에서 후보 고정 물체의 가장 큰 윤곽선과 동일하므로, 따라서 존재 인증이 성공한다.

KICV 비디오 2는 실내 상황을 다룬다.

도 9는 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법의 KICV 비디오 2에서 내부 조도 변화를 나타내는 사진이다.

도 9에서 후보 고정 물체가 결정되고이 물체의 템플릿이 (3)에 등록된다.

그 후, (4)에서 유기 결정 이전에 조도 변화가 발생하지만, 제공된 알고리즘은 이전의 이미지로부터 tShenesocrus r2r0e19n, t1o9, bxj eFcOtRi sPEslEiRg hRtElVyIEdWierent의 형상에도 불구하고 가장 큰 윤곽선을 기반으로 존재 인증을 사용하여 (7)에서 유기된 물체를 정확하게 탐지한다.

표 4에서, 빛의 변화에 의해 추적 대상에 영향을 미치면 색상 히스토그램이 크게 변화된다.

[표 4]

표 3에 도시된 바와 같이, 물체 추적 중 조도 변화가 없는 경우 히스토그램 일치 점수는 97.8%이다.

그러나, 빛이 변화된 후의 물체는 거의 동일해 보이지만 이전과 같이 히스토그램 일치 점수는 도 8에서 30% 아래로 떨어진다.

따라서 색상 기반 비교에는 제한이 있다.

반면, 가장 큰 윤곽선을 사용한 형상 일치 결과는 동일한 상황에서 상대적으로 매우 긍정적이다.

KICV 비디오 1(t + 30s)에서 가려짐이 발생한 경우를 제외하고, 두 비디오에서 물체의 최종 형상이 조도 변화에 의해 약간 변화되었지만 결과 값은 여전히 0에 가깝다.

이러한 방식으로, 제공된 알고리즘은 빛 변화에 안정적으로 강건하게 물체를 추적하고, 색이 아닌 텍스처 정보, 특히 가장 큰 윤곽선을 사용하여 물체가 유기되었는지 여부를 판단할 수 있다.

본 발명에서는 가려짐, 장기 유기, 소유자 재등장과 같은 복잡한 환경뿐만 아니라 조도 변화에서 유기된 물체를 강건하게 탐지하는 알고리즘을 제공하였다.

본 알고리즘은 이중 배경 모델을 기반으로 하며, 조도 변화 적응 메커니즘 및 가장 큰 윤곽선 기반 존재 인증 메커니즘을 통합한다.

제공된 알고리즘은 다양한 조도 변화를 신속하게 탐지하고 즉시 적용할 수 있어 성능 저하와 관련된 잘못된 고정 물체 생성을 방지한다.

또한, 템플릿 등록 및 존재 인증을 사용하여 배경 제거 기술의 특성 또는 조도 변화의 발생으로 인해 전경 정보가 사라지더라도 대상 물체를 추적할 수 있다.

후보 고정 물체를 선택하면 물체의 템플릿이 생성되고 등록된다.

템플릿은 위치, 물체 크기, 물체 이미지의 가장 큰 윤곽선, 배경 이미지의 가장 큰 윤곽선 및 소유자의 색상 히스토그램으로 구성된다.

유기 결정을 위한 타이머가 만료되면, 현재의 비디오 프레임에서 관심 영역의 최대 윤곽선을 등록된 템플릿에서 물체 또는 배경의 최대 윤곽선과 비교함으로써 존재 인증이 실행되며, 이는 후보 고정 물체가 유기되는지의 여부를 결정한다.

가장 큰 윤곽선은 조도 변화에 의해 거의 영향을 받지 않기 때문에 제공된 존재 인증은 일반적인 상황뿐만 아니라 추적 도중에 발생한 조도 변화에서도 잘 작동한다.

PETS2006 데이터 세트에서 알고리즘을 테스트하여 정상적인 환경에서 유기된 물체를 탐지하는 능력을 보여준다.

또한, ABODA 데이터 세트의 보다 다양한 환경에서도 강건함을 증명한다.

특히, 조도 변화 처리 메커니즘이 실제로 잘 작동함을 보여준다.

그러나, ABODA의 조도 변경 시나리오는 물체 추적 중 발생하는 빛의 변화를 다루지 않기 때문에, 비디오에 대한 추가 실험을 수행하였다.

추가 실험에서 추적 중에 빛의 변화가 발생하더라도 추적중인 물체의 외부 형상, 즉 가장 큰 윤곽선이 영향을 덜 받아 존재 인증을 올바르게 수행할 수 있음을 보여주었다.

도 10은 본 발명에 따른 조도 변화시 유기된 물체의 감시 시스템을 나타내는 블록도이다.

도 10을 참조하면, 상술한 바와 같은 조도 변화시 유기된 물체의 감시 방법은 KICV(Koreatech Illumination Change Video) 1과 2의 두 가지 비디오 시나리오를 포함하는 데이터 셋을 입력시키는 입력부(100)와, 상기 입력부(100)에 의해 입력된 데이터 셋을 2개의 배경 모델로 구성된 이중 배경 모델에 의해 학습시키는 학습부를 갖는 서버(200)를 포함하는 조도 변화시 유기된 물체의 감시 시스템(1000)에 의해 수행된다.

한편, 본 발명에 따른 조도 변화시 유기된 물체의 감시 방법은 실시간 3D 지화학 이상대 탐지 모델을 생성할 수 있는 것으로, 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이와 같이 본 발명에 의하면, 다양한 조도 변화에 빠르게 적응할 수 있고, 가려짐, 장기간 유기 및 소유자 재등장과 같은 복잡한 환경에서도 이중 배경 모델을 사용하여 유기 물체를 탐지할 수 있는 효과가 있다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

100 : 입력부
200 : 서버
1000 : 조도 변화시 유기된 물체의 감시 시스템

Claims (5)

1. 삭제
2. 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 각각 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계;
   상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계;
   상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계;
   상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계;
   상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계;
   상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계;
   상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계;
   상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하며,
   조도 변화가 탐지되면 2개의 배경 모델로 구성된 상기 이중 배경 모델 각각의 학습 속도를 동일하게 변경시키고,
   상기 장기 전경에서 상기 단기 전경을 제거한 상기 전경 차이에서 추출된 블랍이 없을 경우 상기 장기 전경 및 상기 단기 전경이 동일하다고 결정하여 배경으로 흡수시킨 후, 상기 이중 배경 모델 각각은 최초 학습 속도로 돌아가는 것을 특징으로 하는,
   조도 변화시 유기된 물체의 감시 방법.
   
3. 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 각각 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계;
   상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계;
   상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계;
   상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계;
   상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계;
   상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계;
   상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계;
   상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하며,
   조도 변화가 탐지되면 2개의 배경 모델로 구성된 상기 이중 배경 모델 각각의 학습 속도를 동일하게 변경시키고,
   상기 장기 전경에서 상기 단기 전경을 제거한 상기 전경 차이에서 추출된 블랍이 없을 경우 상기 장기 전경 및 상기 단기 전경이 동일하다고 결정하여 배경으로 흡수시킨 후, 상기 이중 배경 모델 각각은 최초 학습 속도로 돌아가며,
   상기 후보 고정 물체의 상기 템플릿은 상기 후보 고정 물체의 위치 및 크기와, 후보 고정 물체 이미지의 가장 큰 윤곽선과, 배경 이미지의 가장 큰 윤곽선과, 후보 고정 물체의 소유자의 색상 히스토그램인 것을 특징으로 하는,
   조도 변화시 유기된 물체의 감시 방법.
   
4. 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 각각 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계;
   상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계;
   상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계;
   상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계;
   상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계;
   상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계;
   상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계;
   상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하며,
   조도 변화가 탐지되면 2개의 배경 모델로 구성된 상기 이중 배경 모델 각각의 학습 속도를 동일하게 변경시키고,
   상기 장기 전경에서 상기 단기 전경을 제거한 상기 전경 차이에서 추출된 블랍이 없을 경우 상기 장기 전경 및 상기 단기 전경이 동일하다고 결정하여 배경으로 흡수시킨 후, 상기 이중 배경 모델 각각은 최초 학습 속도로 돌아가며,
   상기 후보 고정 물체의 상기 템플릿은 상기 후보 고정 물체의 위치 및 크기와, 후보 고정 물체 이미지의 가장 큰 윤곽선과, 배경 이미지의 가장 큰 윤곽선과, 후보 고정 물체의 소유자의 색상 히스토그램이며,
   상기 존재 인증은 현재 고정 물체 이미지의 최대 윤곽선과, 상기 템플릿에 등록된 상기 후보 고정 물체의 최대 윤곽선을 비교하여 수행되고,
   상기 현재 고정 물체 이미지의 최대 윤곽선과, 상기 후보 고정 물체의 최대 윤곽선이 동일할 경우, 상기 후보 고정 물체가 미리 지정된 시간 동안 고정되면, 유기된 물체로 판단하며,
   상기 현재 고정 물체 이미지의 최대 윤곽선과, 상기 후보 고정 물체의 최대 윤곽선이 동일하지 않을 경우, 상기 현재 고정 물체 이미지와 상기 템플릿에서 배경 이미지의 가장 큰 윤곽선을 비교하여, 상기 가장 큰 윤곽선이 동일하면 현재 고정 물체 이미지가 상기 배경 이미지와 동일하며, 추적 도중 현재 고정 물체가 사라진 것으로 판단하는 것을 특징으로 하는,
   조도 변화시 유기된 물체의 감시 방법.
   
5. 서로 다른 학습 속도 또는 흡수 속도를 갖는 2개의 배경 모델로 구성된 이중 배경 모델이 단일 비디오 프레임 이미지로부터 각각 장기 전경(LF: Long Term Foreground) 및 단기 전경(SF: Short Term Foreground)을 생성하는 제 1 단계;
   상기 장기 전경 및 상기 단기 전경에 동일하게 존재하는 이동 물체는 제외하고, 상기 장기 전경에서 장시간 유지되는 고정 전경 물체만 추출하기 위해, 상기 장기 전경에서 상기 단기 전경을 제거하여 전경 차이(DF: Difference Foreground)를 생성하는 제 2 단계;
   상기 전경 차이에서 특정된 임계값보다 작은 블랍 크기를 갖는 고정 전경 물체는 노이즈로 필터링하고, 노이즈로 필터링되지 않은 고정 전경 물체는 추적해야 하는 유기 물체로 판단하는 제 3 단계;
   상기 추적해야 하는 유기 물체 중 후보 고정 물체를 선택하기 위해, 동일한 크기의 고정 전경 물체가 전경 차이(DF)에서 동일한 위치에 반복적으로 나타나는지 여부를 점검하는 물체 안전성 검증을 수행하는 제 4 단계;
   상기 물체 안전성 검증이 수행되어 상기 후보 고정 물체가 선정되면, 선정된 상기 후보 고정 물체에 대한 템플릿을 생성하는 제 5 단계;
   상기 후보 고정 물체의 소유자가 떠나면 유기 결정 타이머가 시작되고, 상기 유기 결정 타이머가 만료될 때까지 물체 추적을 중단하는 제 6 단계;
   상기 유기 결정 타이머가 만료되면, 현재 비디오 프레임에서 상기 후보 고정 물체의 존재를 검증하여 상기 후보 고정 물체가 유기되었는지 여부를 결정하기 위한 존재 인증을 수행하는 제 7 단계;
   상기 존재 인증의 비교 결과에 따라 이동 물체, 유기 물체, 가려진 물체로 결정되는 제 8 단계;를 포함하며,
   조도 변화가 탐지되면 2개의 배경 모델로 구성된 상기 이중 배경 모델 각각의 학습 속도를 동일하게 변경시키고,
   상기 장기 전경에서 상기 단기 전경을 제거한 상기 전경 차이에서 추출된 블랍이 없을 경우 상기 장기 전경 및 상기 단기 전경이 동일하다고 결정하여 배경으로 흡수시킨 후, 상기 이중 배경 모델 각각은 최초 학습 속도로 돌아가며,
   상기 후보 고정 물체의 상기 템플릿은 상기 후보 고정 물체의 위치 및 크기와, 후보 고정 물체 이미지의 가장 큰 윤곽선과, 배경 이미지의 가장 큰 윤곽선과, 후보 고정 물체의 소유자의 색상 히스토그램이며,
   상기 존재 인증은 현재 고정 물체 이미지의 최대 윤곽선과, 상기 템플릿에 등록된 상기 후보 고정 물체의 최대 윤곽선을 비교하여 수행되고,
   상기 현재 고정 물체 이미지의 최대 윤곽선과, 상기 후보 고정 물체의 최대 윤곽선이 동일할 경우, 상기 후보 고정 물체가 미리 지정된 시간 동안 고정되면, 유기된 물체로 판단하며,
   상기 현재 고정 물체 이미지의 최대 윤곽선과, 상기 후보 고정 물체의 최대 윤곽선이 동일하지 않을 경우, 상기 현재 고정 물체 이미지와 상기 템플릿에서 배경 이미지의 가장 큰 윤곽선을 비교하여, 상기 가장 큰 윤곽선이 동일하면 현재 고정 물체 이미지가 상기 배경 이미지와 동일하며, 추적 도중 현재 고정 물체가 사라진 것으로 판단하고,
   상기 가장 큰 윤곽선이 동일하지 않으면, 다른 물체가 현재 고정 물체를 가리고 있다고 판단하며,
   상기 다른 물체가 상기 현재 고정 물체를 가리는 경우, 상기 존재 인증을 반복 수행하는 것을 특징으로 하는,
   조도 변화시 유기된 물체의 감시 방법.
   

Images