KR101648562B1 - 이동 물체 탐지 장치 - Google Patents

Abstract

본 발명은, 입력 영상에서 탐지된 전경 영역에 포함된 오탐지 배경 영역을 이동 물체 영역과 분리할 수 있는 이동 물체 탐지 장치 및 그 방법에 관한 것이다. 본 발명은, 이동 물체에 해당하는 이동 물체 영역을 포함하는 입력 영상을 입력받는 영상 입력부; 상기 입력 영상에서 상기 이동 물체로 판단되는 영역이 포함된 전경 영역과 상기 이동 물체로 판단되는 영역이 포함되지 아니한 배경 영역으로 분리하고, 상기 전경 영역에서 상기 이동 물체 영역으로 잘못 판단된 오탐지 영역을 분리하여 상기 이동 물체 영역을 추출하는 제어부를 구비하는 이동 물체 탐지 장치를 제공한다.

Description

이동 물체 탐지 장치{Apparatus for detecting moving object}

본 발명은 이동 물체 탐지 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 입력되는 입력 영상에서 배경 부분에 해당하는 배경 영역과 이동 물체에 해당하는 이동물체 영역을 분리하여 이동 물체를 탐지하는 이동 물체 탐지 장치 및 그 방법에 관한 것이다.

감시 카메라 시스템은 멀리 떨어져 있는 특정한 장소나 사물을 CCTV(closed circuit television) 카메라와 같은 카메라를 이용하여 영상으로 촬영하고, 해당 영상을 폐쇄 회로 텔레비전 또는 모니터링 시스템으로 전송한다. 따라서, 감시 카메라 시스템에서는 촬영되는 장소나 사물의 이상 유무를 현장에 가지 않고도, CCTV 또는 모니터를 통해 확인할 수 있도록 한다.

한편, 감시 카메라 시스템은 입력받은 입력 영상에서 이동 물체를 탐지할 수 있다. 즉, 고정된 카메라를 이용하여 실시간으로 입력 영상을 입력받으면서, 입력 영상에 포함된 이동 물체를 탐지하여 배경 영역으로부터 분리할 수 있다.

한편, 고정된 카메라를 이용한 감시시스템에서 이동물체를 탐지할 때, 실외 환경에서 구름이 태양을 가리거나 구름에 가렸던 태양이 나타나면 조명이 빠르게 변할 수 있다. 이때, 입력 영상에서 이동 물체를 탐지할 때 조명이 빠르게 변하는 경우, 이동 물체뿐 아니라 조명이 변하는 배경 픽셀도 이동 물체 픽셀로 탐지되는 경우가 발생할 수 있다.

이때, 움직이지 않는 배경 픽셀이 이동 물체 픽셀과 함께 전경으로 탐지되면, 이동 물체를 정확하게 탐지하지 못하는 문제가 생길 수 있다.

본 발명은, 입력 영상에서 탐지된 전경 영역에 포함된 오탐지 배경 영역을 이동 물체 영역과 분리할 수 있는 이동 물체 탐지 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명은, 이동 물체에 해당하는 이동 물체 영역을 포함하는 입력 영상을 입력받는 영상 입력부; 상기 입력 영상에서 상기 이동 물체로 판단되는 영역이 포함된 전경 영역과 상기 이동 물체로 판단되는 영역이 포함되지 아니한 배경 영역으로 분리하고, 상기 전경 영역에서 상기 이동 물체 영역으로 잘못 판단된 오탐지 영역을 분리하여 상기 이동 물체 영역을 추출하는 제어부를 구비하는 이동 물체 탐지 장치를 제공한다.

상기 이동 물체 영역이, 상기 오탐지 영역으로 잘못 판단한 제2 이동 물체영역과, 상기 제2 이동 물체영역을 제외한 제1 이동 물체영역을 포함할 수 있다.

상기 오탐지 후보 영역이 상기 제2 이동 물체 영역과 상기 오탐지 영역을 구비할 수 있다.

상기 제어부가, 상기 입력 영상을 상기 전경 영역과 상기 배경 영역으로 분리하는 전경영역 추출부; 상기 전경 영역을 상기 제1 이동 물체영역과 상기 오탐지 후보 영역으로 분리하는 오탐지 후보영역 추출부; 및 상기 오탐지 후보 영역을 상기 제2 이동 물체 영역과 상기 오탐지 영역으로 분리하는 오탐지 영역 추출부를 구비할 수 있다.

상기 입력 영상이 점조명에 의하여 비추어지는 직접광과 산란되어 비추어지는 주변광 중의 적어도 어느 하나를 광원으로 하여 입력될 수 있다.

상기 입력 영상이, 상기 광원에 대한 다른 물체의 그림자 영역에 위치되는 어두운 물체, 상기 그림자 영역 내의 상기 어두운 물체를 제외한 영역인 어두운 배경, 상기 광원과의 사이에 다른 물체가 없는 밝은 물체, 상기 밝은 물체의 그림자, 및 상기 어두운 물체, 상기 어두운 배경, 상기 밝은 물체, 및 상기 그림자를 제외한 영역인 밝은 배경을 구비할 수 있다.

상기 오탐지 후보영역 추출부가, 상기 전경 영역에서, 상기 어두운 배경, 상기 그림자, 및 상기 밝은 배경 각각의 영역에 대한 설정된 시간 간격의 프레임들 사이의 색상차에 대한 색상차 확률 분포를 추정하고, 상기 색상차 확률 분포가 제1 설정값보다 크면 상기 오탐지 후보 영역으로 인식할 수 있다.

상기 오탐지 영역 추출부가, 상기 오탐지 후보 영역에서, 상기 어두운 배경, 상기 그림자, 및 상기 밝은 배경 각각의 영역에 대한 설정된 시간 간격의 프레임들 사이의 밝기비에 대한 밝기비 확률 분포를 추정하고, 상기 밝기비 확률 분포가 제2 설정값보다 크면 상기 오탐지 영역으로 인식할 수 있다.

상기 입력 영상의 입력 밝기를 설정된 프레임 간격으로 측정하는 밝기 측정부를 더 구비하고, 상기 제어부가 설정된 간격의 프레임들 사이의 상기 입력 밝기의 변화량이 설정된 기준값보다 크면 상기 오탐지 영역을 분리할 수 있다.

본 발명의 다른 측면은, 이동 물체에 해당하는 이동 물체 영역을 포함하는 입력 영상을 입력받는 단계; 상기 입력 영상에서 상기 이동 물체로 판단되는 영역이 포함된 전경 영역과 상기 이동 물체로 판단되는 영역이 포함되지 아니한 배경 영역으로 분리하는 단계; 및 상기 전경 영역에서 상기 이동 물체 영역으로 잘못 판단된 오탐지 영역을 분리하여 상기 이동 물체 영역을 추출하는 단계를 구비하는 이동 물체 탐지 방법을 제공한다.

상기 이동 물체 영역이, 상기 오탐지 영역으로 잘못 판단한 제2 이동 물체영역과, 상기 제2 이동 물체영역을 제외한 제1 이동 물체영역을 포함하고, 상기 오탐지 후보 영역이 상기 제2 이동 물체 영역과 상기 오탐지 영역을 구비할 수 있다.

상기 전경 영역을 상기 제1 이동 물체 영역과 상기 오탐지 후보 영역으로 분리하는 단계; 및 상기 오탐지 후보 영역을 상기 제2 이동 물체 영역과 상기 오탐지 영역으로 분리하는 단계를 구비할 수 있다.

상기 전경 영역에서, 상기 어두운 배경, 상기 그림자, 및 상기 밝은 배경 각각의 영역에 대한 설정된 시간 간격의 프레임들 사이의 색상차를 계산하는 단계, 각각의 상기 색상차에 대한 색상차 확률 분포를 추정하는 단계, 및 상기 색상차 확률 분포가 제1 설정값보다 크면 상기 오탐지 후보 영역으로 인식하는 단계를 구비할 수 있다.

상기 오탐지 후보 영역에서, 상기 어두운 배경, 상기 그림자, 및 상기 밝은 배경 각각의 영역에 대한 설정된 시간 간격의 프레임들 사이의 밝기비를 계산하는 단계, 상기 각각의 밝기비에 대한 밝기비 확률 분포를 추정하는 단계, 및 상기 밝기비 확률 분포가 제2 설정값보다 크면 상기 오탐지 영역으로 인식하는 단계를 구비할 수 있다.

상기 입력 영상의 입력 밝기를 설정된 프레임 간격으로 측정하는 단계, 및 설정된 간격의 프레임들 사이의 상기 입력 밝기의 변화량을 비교하는 단계를 더 구비하고, 상기 입력 밝기의 변화량이 설정된 기준값보다 크면 상기 오탐지 영역을 분리하는 단계가 수행될 수 있다.

상기 제1 이동 물체 영역과 상기 제2 이동 물체 영역을 결합하여 상기 이동 물체 영역으로 인식하는 단계를 더 구비할 수 있다.

본 발명에 따른 이동 물체 탐지 장치 및 그 방법에 의하면, 입력 영상에서 탐지된 전경 영역에 포함된 오탐지 배경 영역을 이동 물체 영역과 분리함으로써, 입력 영상에서 이동 물체 탐지 성능을 향상시킬 수 있다.

도 1은 본 발명에 대한 비교예로서 이동 물체 탐지 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명에 따른 바람직한 일 실시예로서, 이동 물체 탐지 장치를 개략적으로 도시한 블록도이다.
도 3은 도 2의 이동 물체 탐지 장치에서, 제어부의 내부를 개략적으로 도시한 블록도이다.
도 4는 도 2의 이동 물체 탐지 장치에서 입력부를 통하여 입력되는 입력 영상에 포함되는 각각의 영역을 도시한 도면이다.
도 5는 도 2의 이동 물체 탐지 장치에서 사용하는 조명 변화 모델을 개략적으로 도시한 도면이다.
도 6은 도 5의 조명 변화 모델에서, 입력 영상에 포함되는 그림자 영역(s)과 밝은 배경 영역(bb)의 색공간 내의 명도 위치를 도시한 도면이다.
도 7은 도 5의 조명 변화 모델에서, 입력 영상에 포함되는 어두운 배경 영역(db)의 색공간 내의 명도 위치를 도시한 도면이다.
도 8a 및 도 8b는 각각 제1 프레임의 영상과 제2 프레임의 영상을 개략적으로 도시한 도면이다.
도 9a 및 도 9b는 각각 도 8a 및 도 8b의 영상에 대한 색상차 히스토그램을 개략적으로 도시한 도면이다.
도 10a 및 도 10b는 각각 제1 프레임의 영상과 제2 프레임의 영상을 개략적으로 도시한 도면이다.
도 11a 및 도 11b는 각각 도 10a 및 도 10b의 영상에 대한 밝기비 히스토그램을 개략적으로 도시한 도면이다.
도 12a 및 도 12b는 본 발명에 따른 방법과 그와 비교되는 비교예들에 의하여 각 영상에 대한 시간에 따른 성능 측정 결과를 도시한 그래프이다.
도 13은 본 발명에 따른 방법과 그와 비교되는 비교예들에 의한 이동 물체 탐지 성능을 비교한 표이다.
도 14는 본 발명의 일 실시예에 따른 이동 물체 탐지 방법을 개략적으로 도시한 흐름도이다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1예는 본 발명에 대한 비교예에 따른 이동 물체 탐지 장치(10)의 블록도가 도시되어 있다.

도면을 참조하면, 이동 물체 탐지 장치(10)는 영상 입력부(11) 및 전경영역 추출부(12)를 구비할 수 있다. 영상 입력부(11)는 영상을 입력받아 입력 영상을 생성한다. 전경영역 추출부(12)는 입력 영상을 입력받아 전경 영역(F)과 배경 영역(B)으로 분리함으로써, 전경 영역(F)을 추출한다.

영상 감시 시스템(visual surveillance system)에서 배경분리(background subtraction), 시간차영상(temporal differencing), 또는 광흐름(optical flow) 방법에 의하여 이동 물체를 탐지할 수 있다.

이때, 광흐름 방법은 많은 계산 시간과 컴퓨터 자원이 필요하고, 시간차영상 방법은 잠시 정지한 이동물체를 탐지하지 못할 수 있다. 따라서, 감시 시스템에서는 배경분리 방법이 사용될 수 있다. 배경분리 방법에는 가우시안 혼합 모델(Gaussian mixture model) 방법 또는 커널 밀도 추정(kernel density estimation)방법이 사용될 수 있다.

이때, 커널 밀도 추정 방법은 가우시안 혼합 모델에 비하여 더 정확하게 배경의 확률분포를 추정할 수 있다. 하지만, 이전 프레임의 데이터를 저장하는데 많은 메모리가 필요하다. 따라서, 임베디드 환경에서는 가우시안 혼합 모델이 사용될 수 있다.

따라서, 본 발명의 비교예에 따른 이동 물체 탐지 장치(10)에서는 전경영역 추출부(12)가 가우시안 혼합 모델을 이용하여, 입력 영상에서 전경 영역(F)과 배경 영역(B)으로 분리함으로써, 전경 영역(F)을 추출할 수 있다. 이 경우, 가우시안 혼합 모델은 입력되는 입력 영상을 이용하여 적응적으로 배경을 추정할 수 있다.

따라서, 빛의 변화, 반복적인 움직임, 느린 배경 변화 환경에서 강인한 이동물체 탐지 결과를 얻을 수 있다. 하지만, 주기적인 움직임, 물결, 나무나 풀의 흔들림, 펄럭이는 깃발과 같은 동적 영상(dynamic scene) 환경과 빠르게 조명이 변하는 환경에서 변하는 배경을 이동 물체로 오탐지할 수 있다.

동적 영상 환경에서 발생할 수 있는 오탐지 문제를 해결하기 위하여, 가우시안 혼합 모델을 수정하고 보완하는 방법과, 색상 정보, 주기적인 움직임, 위치 정보, 인접 픽셀(neighboring pixel)정보를 모두 고려한 배경 모델을 생성하는 방법이 사용될 수 있다.

하지만, 그러한 방법들은 동적 영상 환경에서 오탐지가 발생하는 것을 줄여줄 수 있지만, 빠른 조명변화에 의해 발생하는 오탐지 문제는 해결하는데 어려움이 있을 수 있다. 동적 영상 환경에서는 배경 픽셀이 움직이기 때문에 현재 프레임의 영상이 다음 프레임에서도 현재 위치 근처에서 찾을 수 있다.

하지만, 배경이 움직이지 않고 조명이 변하는 경우에는, 조명 변화에 의해 배경의 명도가 변할 수 있다. 따라서, 현재 프레임의 영상을 다음 프레임에서 찾을 수 없는 경우가 발생할 수 있다.

빠른 조명 변화에 의해 배경이 이동 물체로 오탐지되는 문제를 해결하기 위하여, 가우시안 혼합 모델의 학습률(learning rate)을 조절할 수 있다. 하지만, 학습률을 크게 하면, 화면상의 이동 물체가 잠시 정지한 경우 이동물체를 배경으로 빠르게 학습할 수 있다.

또한, 색불변성(Color invariant property)을 이용하는 방법이 이용될 수 있는데, 이 경우 배경과 유사한 색상의 이동물체를 탐지하지 못할 수 있다. 또는, 밝기 정규화(brightness normalization)와 호모모프 필터(Homomorphic Filter)를 이용한 방법이 사용될 수 있다. 이 경우, 영상에서 부분적으로 조명이 변하는 경우에는 이동 물체 탐지 성능이 많이 저하될 수 있다. 또한, 카메라의 자동 노출 기능이 작동하여 입력되는 광량이 빠르게 변하는 경우에도 이동 물체 탐지 성능이 많이 저하될 수 있다.

한편, ICA(independent component analysis)를 이용하여 오프라인 학습하는 방법이 사용될 수 있다. 하지만, 이 경우 다양한 조명 변화가 발생한 영상을 미리 학습시켜 주어야 한다.

또한, 조명의 변화에도 배경의 경계(edge)와 텍스처(texture)는 거의 변하지 않는다는 특성을 이용하여 이동물체를 탐지하는 방법이 사용될 수 있다. 이 경우, 배경이 복잡하여 경계가 많고, 영상에 노이즈가 적은 경우에는 뛰어난 탐지 성능을 보여줄 수 있다. 하지만, 배경이 단순하거나 노이즈가 많은 환경에서는 탐지 성능이 떨어질 수 있다. 또한, 조명변화에 의해 배경에 그림자의 경계가 나타나거나 사라지는 경우, 배경을 이동물체로 오탐지하는 경우도 발생할 수 있다.

이동 물체 탐지 장치(10)에서는 전경영역 추출부(12)로 가우시안 혼합 모델이 적용될 수 있다. 이 경우, 조명이 빠르게 변하거나 카메라의 자동 노출 기능이 작동하는 경우에서와 같이 설정 시간 내에 입력 영상에 포함된 광량이 빠르게 변화하는 경우에, 이동 물체 뿐만 아니라 명도가 변하는 배경 영역도 전경 영역으로 탐지될 수 있다.

이 경우, 움직이지 않는 배경 영역이 이동 물체 영역과 함께 전경 영역으로 탐지되면, 이동 물체를 정확하게 탐지하지 못하는 문제가 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따른 이동 물체 탐지 장치에서는, 탐지된 전경 영역 중에서 조명 변화 등에 의하여 오탐지된 배경 영역을 제거함으로써, 이동 물체 탐지 성능을 향상시킬 수 있다.

즉, 본 발명의 일 실시예에 따른 이동 물체 탐지 장치는, 입력 영상에서 탐지된 전경 영역에 포함된 오탐지된 배경 영역을 이동 물체 영역과 분리함으로써, 조명 변화에도 강인하게 이동 물체를 탐지할 수 있도록 하여 이동 물체의 탐지 성능을 향상시킬 수 있다.

이를 위하여, 조명이 변하는 환경에 대한 조명 변화 모델을 제안하고, 이를 기반으로 하는 색상차 모델과 밝기비 모델에 의하여 오탐지된 배경 영역과 이동 물체 영역을 분리할 수 있다.

이때, 조면 변화 모델은 구름에 의한 조명 변화 뿐만 아니라 영상을 입력받는 카메라의 자동 노출 기능에 의해 발생하는 입력 영상에서의 명도 변화도 함께 고려할 수 있다.

또한, 사람의 개입 없이 자동으로 오탐지된 배경 영역을 추정하고 제거할 수 있으며, 계산량이 적어 실시간으로 동작하는 실시간 시스템을 구현할 수 있다.

도 2에는 본 발명에 따른 바람직한 일 실시예의 이동 물체 탐지 장치(200)가 도시되어 있다. 도 3에는 도 2의 이동 물체 탐지 장치(200)에서 제어부(220)의 내부가 도시되어 있다.

도면을 참조하면, 이동 물체 탐지 장치(200)는, 영상 입력부(210); 제어부(220); 모니터부(230); 및 밝기 측정부(240)를 구비할 수 있다. 이러한 이동 물체 탐지 장치(200)는 자동으로 이동하는 물체를 탐지, 추적, 판별하는 지능형 감시 시스템이 될 수 있다.

영상 입력부(210)는 입력 영상을 입력받는다. 이때, 입력 영상에는 이동 물체에 해당하는 이동 물체 영역이 포함될 수 있다. 따라서, 제어부(220)에서 입력 영상에서 이동 물체 영역을 추출하여, 이동 물체를 탐지할 수 있다.

제어부(220)는 입력 영상을 배경 영역(B)과 전경 영역(F)으로 분리하고, 전경 영역(F)에서 이동 물체 영역(M)과 오탐지 영역(ED)을 분리한다. 모니터부(230)는 입력 영상을 표시하여 사용자가 모니터링 할 수 있도록 한다. 밝기 측정부(240)는 입력 영상의 입력 밝기를 설정된 프레임 간격으로 측정한다.

제어부(220)는, 전경영역 추출부(221), 오탐지 후보영역 추출부(222), 및 오탐지 영역 추출부(223)를 구비할 수 있다.

전경영역 추출부(221)는 입력 영상(I)으로부터 전경 영역(F)을 추출하여, 입력 영상(I)을 전경 영역(F)과 배경 영역(B)으로 분리한다. 오탐지 후보영역 추출부(222)는 전경 영역(F)으로부터 오탐지 후보 영역(EC)을 추출하여, 전경 영역(F)을 제1 이동 물체 영역(M1)과 오탐지 후보 영역(EC)으로 분리한다. 오탐지 영역 추출부(223)는 오탐지 후보 영역(EC)으로부터 오탐지 영역(ED)을 추출하여, 오탐지 후보 영역(EC)을 제2 이동 물체 영역(M2)과 오탐지 영역(ED)으로 분리한다.

이때, 제어부(220)는 제1 이동 물체 영역(M1)과 제2 이동 물체 영역(M2)을 합하여 이동 물체 영역(M)으로 인식할 수 있다.

이때, 도 4에 도시된 바와 같이 입력 영상(I)은 배경 영역(B)과 전경 영역(F)을 포함할 수 있다. 이때, 배경 영역(B)은 배경이 되는 영역으로서, 이동 물체를 포함하지 않는 영역이 된다. 또한, 전경 영역(F)은 이동 물체 영역(M)과 오탐지 후보 영역(EC)의 합집합이 될 수 있다.

이때, 이동 물체 영역(M)은 이동 물체에 해당하는 영역으로서, 오탐지 후보 영역(EC)이 포함되지 않는 제1 이동 물체 영역(M1)과 이동 물체 영역(M)과 오탐지 후보 영역(EC)의 교집합에 해당하는 제2 이동 물체 영역(M2)을 포함할 수 있다. 또한, 오탐지 후보 영역(EC)은 제2 이동 물체 영역(M2)과 이동 물체로 오탐지되어 전경 영역(F)에 포함되는 오탐지 영역(ED)을 포함할 수 있다.

따라서, 입력 영상(I)에서 배경 영역(B)을 제거하여 전경 영역(F)을 추출한 후에, 전경 영역(F)에서 오탐지 후보 영역(EC)을 제거한 제1 이동 물체 영역(M1)과 오탐지 후보 영역(EC)에서 오탐지 영역(ED)을 제거한 제2 이동 물체 영역(M2)을 합하여 오탐지 영역(ED)이 제거된 이동 물체 영역(M)을 얻을 수 있게된다.

전경영역 추출부(221)는 입력 영상(I)으로부터 전경 영역(F)을 추출하여, 입력 영상(I)을 전경 영역(F)과 배경 영역(B)으로 분리한다. 이때, 전경영역 추출부(221)로는 도 1에서 살펴본 바와 같이 가우시안 혼합 모델이 적용될 수 있다. 다만, 본 발명은 이에 한정되지 아니하고, 도 1에서 설명된 다양한 모델 또는 방법이 적용될 수 있다.

한편, 영상 입력부(210)는 렌즈, 촬상 소자, 및 신호 변환부 등을 포함할 수 있다. 다만, 본 발명은 이에 한정되지 아니하고, 영상 입력부(210)는 저장 매체에 저장된 영상을 읽어오는 부분을 포함할 수 있다.

한편, 밝기 측정부(240)는 입력 영상의 입력 밝기를 설정된 프레임 간격으로 측정할 수 있다. 이 경우, 제어부(220)는 설정된 간격의 프레임들 사이의 입력 밝기의 변화량이 설정된 기준값보다 큰 경우에 전경 영역에서 오탐지 영역을 분리 작업을 수행할 수 있다.

즉, 입력 밝기의 변화량이 큰 경우에만 전경 영역에서 오탐지 영역을 분리 작업을 수행하도록 함으로써, 전경 영역에 오탐지 영역이 포함될 확률이 큰 경우에만 전경 영역에서 오탐지 영역을 분리 작업을 수행할 수 있다.

따라서, 전경 영역에 오탐지 영역이 포함될 확률이 작은 경우에는 전경 영역에서 오탐지 영역 분리 작업 수행을 하지 않아, 이동 물체를 더욱 빠르게 탐지할 수 있게 된다. 이때, 입력 밝기의 변화량이 큰 경우에는 실외 환경에서의 빠른 조명 변화 및 카메라의 자동 노출 기능이 작동되는 상황이 포함될 수 있다.

한편, 밝기 측정부(240)는 외부의 밝기를 직접 측정하는 밝기 센서 등이 될 수 있으나, 본 발명은 이에 한정되지 아니하고 입력 영상에서 명도 등을 측정하여 소프트웨어적으로 측정할 수도 있다.

제어부(220)는 입력 영상에서 이동 물체로 판단되는 영역이 포함된 전경 영역과 이동 물체로 판단되는 영역이 포함되지 아니한 배경 영역으로 분리하고, 전경 영역에서 이동 물체 영역으로 잘못 판단된 오탐지 영역을 분리함으로써, 이동 물체 영역을 추출할 수 있다.

제어부(220)는 조명 변화 모델을 기초로 색상차 모델과 밝기비 모델을 이용하여 전경 영역으로부터 이동 물체 영역과 오탐지 영역을 분리할 수 있다. 이때, 조명 변화 모델에서는 입력 영상이 하나 이상의 점조명에 의하여 비추어지는 직접광과 산란되어 비추어지는 주변광 중의 적어도 어느 하나를 광원으로 하여 입력될 수 있다.

또한, 입력 영상에는 어두운 물체, 어두운 배경, 밝은 물체, 그림자, 및 밝은 배경을 포함할 수 있다. 어두운 물체는 광원에 대한 다른 물체의 그림자 영역에 위치되는 물체이다. 어두운 배경은 다른 물체의 그림자 영역 내의 어두운 물체를 제외한 영역이 된다. 밝은 물체는 광원과의 사이에 다른 물체가 없는 물체이다. 그림자는 밝은 물체의 그림자이다. 밝은 배경은 입력 영상에서 어두운 물체, 어두운 배경, 밝은 물체, 및 그림자를 제외한 영역이 된다.

오탐지 후보영역 추출부(222)는 전경 영역에서, 어두운 배경, 그림자, 및 밝은 배경 각각의 영역에 대한 설정된 시간 간격의 프레임들 사이의 색상차에 대한 색상차 확률 분포를 추정하고, 색상차 확률 분포가 제1 설정값보다 크면 오탐지 후보 영역으로 인식할 수 있다.

오탐지 영역 추출부(223)는 오탐지 후보 영역에서, 어두운 배경, 그림자, 및 밝은 배경 각각의 영역에 대한 설정된 시간 간격의 프레임들 사이의 밝기비에 대한 밝기비 확률 분포를 추정할 수 있다. 이 경우, 밝기비 확률 분포가 제2 설정값보다 크면 오탐지 영역으로 인식할 수 있다.

도 5에는 도 2의 이동 물체 탐지 장치에서 이동 물체를 탐지하기 위하여 사용되는 조명 변화 모델이 도시되어 있다. 조명 변화 모델은 다음과 같은 가정을 포함한다. 영상을 입력받는 카메라는 고정되어 있다. 배경과 이동물체는 완전 확산면(Lambertian surface)이다. 모든 물체는 완전히 불투명(perfect opaque)하여 빛을 통과시키지 않는다.

조명 변화 모델에는 하나의 점조명(point light)인 직접광과 하늘에서 오는 주변광의 2개의 조명이 존재한다. 직접광은 대단히 먼 곳에 있는 점광원(point source)에서 오기 때문에 서로 평행하다. 영상의 모든 점은 동일한 주변광을 가진다고 가정한다.

따라서, 그림자 지지 않은 밝은 물체와 밝은 배경의 모든 점에서 직접광은 모두 동일하다. 직접광이 구름을 통과하면 감쇠(attenuation)가 될 수 있다. 조명 변화 모델에서 구름에 의한 감쇠는 직접광의 방향에 영향을 미치지 않고, 빛의 명암(intensity)에만 영향을 미친다고 가정한다.

또한, 조명 변화 모델에는 밝은 물체(bo), 그림자(s), 밝은 배경(bb), 어두운 물체(do), 및 어두운 배경(db)을 포함할 수 있다.

여기서, 조명 변화 모델은 퐁 세이딩 모델(Phong shading model)을 근간으로 한다. 물체 표면에서 정반사(specularity)가 약하거나 없다고 가정한다. 조명 변화 모델의 배경과 이동 물체가 모두 완전 확산면이므로, BRDF(bidirectional reflectance distribution function)는 상수가 된다. 이와 같은 가정에 의해, 점 X에서 빛의 휘도(radiance) Lo(X)는 아래 수학식 1과 같다.

여기서, ρ(X)는 반사율(albedo), l(X)는 X에서 빛의 방향 벡터, n(X)는 X에서 물체의 방향 벡터(surface normal vector), L_i,j는 들어오는 휘도, N은 광원의 수이다. 조명 변화 모델은 도면에 도시된 바와 같이 직접광과 간접광의 2개의 광원이 존재하므로, 점 X에서 빛의 휘도(radiance) Lo(X)는 아래의 수학식 2와 같이 된다.

여기서, La는 주변광, Ls는 직접광의 휘도이다. 이때, 감쇠율을 α라하고, 구름에 의해 감쇠(attenuation)된 빛을 αLs라 정의하고, α의 범위는 0 ≤ α ≤1 라 정의하면, Lo(X)는 아래의 수학식 3과 같이 된다.

이때, 삼자극 이론에 의하면 영상의 명도 I(x,y)는 휘도와 센서 감도의 곱으로 표현될 수 있다. 카메라의 센서 감도를 O라 하고, X와 대응되는 픽셀을 p(x,y)라 정의하면, p(x,y)의 명도 I(x,y)는 아래의 수학식 4와 같이 정의된다.

명도의 RGB 값을 I^K라 하고(K는 R, G, B), ρ(X), La, Ls, O의 RGB 값을 K를 이용하여 나타내면 명도는 아래의 수학식 5와 같이 표현될 수 있다.

한편, 조명 변화 모델에서 밝은 물체(bo)와 밝은 배경(bb)은 모두 직접광과 간접광이 비친다. 따라서, 밝은 물체(bo)의 명암과 밝은 배경(bb)의 명암은 아래의 수학식 6과 같이 정의될 수 있다.

여기서, ρo(X)는 이동 물체의 반사율이고, ρb(X)는 배경의 반사율이다. 이때, 어두운 물체(do), 그림자(s), 어두운 배경(db)은 직접광이 다른 물체에 가로막혀 간접광만 비친다. 따라서, 어두운 물체(do)의 명암 I_do(x,y), 그림자(s)의 명암 I_s(x,y), 어두운 배경(db)의 명암 I_db(x,y)는 아래의 수학식 7과 같이 정의될 수 있다.

실외 환경에서 빠른 조명 변화는 태양이 구름에 가리거나 가려졌던 태양이 구름 밖으로 나오는 경우 발생할 수 있다. 이런 현상은 구름에 의한 빛의 감쇠가 α에서 a의 햇으로 바뀐 것으로 생각할 수 있다. 또한, 카메라의 자동 노출 기능이 작동되는 경우에, 카메라의 센서 감도가 O에서 O의 햇으로 변경된 것으로 생각할 수 있다.

이때, 조명 변화 또는 자동 노출 기능 작동 등에 의하여 입력 영상의 광량에 변화가 발생한 후의 밝은 물체(bo)의 명암을 I_bo(x,y)의 햇, 어두운 물체(do)의 명암을 I_do(x,y)의 햇, 그림자(s)의 명암을 I_s(x,y)의 햇, 밝은 배경(bb)의 명암을 I_bb(x,y)의 햇, 어두운 배경(db)의 명암을 I_bb(x,y)의 햇이라 하면, 아래의 수학식 8과 같이 나타낼 수 있다.

한편, 감시 카메라가 주로 도로, 교차로, 광장, 주차장과 같은 곳에 설치될 수 있다. 이런 장소는 배경이 평평한 단일 평면이거나 몇 개의 평면으로 구성되므로, 배경을 구성하는 모든 평면의 방향 벡터는 같다고 가정할 수 있다. 또한, l(X)는 직접광의 방향 벡터이므로 모든 점에서 동일하다. 이 경우, n(X)·l(X)는 상수 값 c가 될 수 있다. 따라서, 수학식 6의 밝은 배경(bb)의 명암 I_bb(x,y)와 수학식 8의 밝은 배경(bb)의 명암을 I_bb(x,y)의 햇은 아래의 수학식 9와 같이 나타낼 수 있다.

여기서, 만일 직접광과 주변광이 모두 백색광(white light)이고, 카메라의 센서 감도가 RGB 각각에 대해 동일하다면, 아래의 수학식 10과 같이 나타낼 수 있다.

또한, 그림자(s), 밝은 배경(bb), 어두운 배경(db)에 대해 조명 변화 전의 배경 명도와 조명 변화 후의 입력 영상 명도에 대한 비율을 계산하면, 아래의 수학식 11과 같이 나타낼 수 있다.

또한, 수학식 10을 수학식 11에 적용하면, 아래의 수학식 12와 같이 나타낼 수 있다.

따라서, 도 6에 도시된 바 같이, I_s(x,y)의 햇과 I_bb(x,y)의 햇은 RGB 색공간에서 원점과 I_bb(x,y)를 지나는 직선상에 위치하고, I_s(x,y)의 햇/I_bb(x,y)와 I_bb(x,y)의 햇/I_bb(x,y)는 특정 값을 가지게 된다. 또한, 도 7에 도시된 바와 같이, I_db(x,y)의 햇은 RGB 색공간에서 원점과 I_db(x,y)를 지나는 직선상에 위치하고, I_db(x,y)의 햇/I_db(x,y)는 특정 값을 가지게 된다.

하지만, p(x,y)가 밝은 물체(bo)나 어두운 물체(do)의 영역이라면, 명도비는 물체의 반사율과 방향 벡터에 따라 달라지므로, 아래의 수학식 13과 같이 나타낼 수 있다.

따라서, 도 6 및 도 7에 도시된 바와 같이, 밝은 물체(bo)와 어두운 물체(do)는 RGB 색공간에서 임의의 위치에 존재한다.

한편, 카메라의 자동 노출은 조명 변화뿐 아니라, 밝거나 어두운 이동물체가 화면에 나타나는 경우에도 동작한다. 이렇게 조명 변화 없이 이동 물체에 의해 카메라의 자동 노출이 동작하는 경우에는 아래의 수학식 14와 같이 나타낼 수 있다.

따라서, 수학식 11에서 밝은 배경(bb)의 명도비는 아래의 수학식 15와 같이 나타낼 수 있다.

이 경우, 아래의 수학식 16에 도시된 바와 같이, 수학식 11에서 밝은 배경(bb)의 명도비는 어두운 배경(db)의 명도비와 같게 된다.

도 6에는 도 5의 조명 변화 모델에서, 입력 영상(I)에 포함되는 그림자 영역(s)과 밝은 배경 영역(bb)의 조명 변화 후의 색공간 내의 명도 위치(I_bb의 햇, I_s의 햇)가 도시되어 있다.

도면을 참조하면, 도 5에 도시된 조명 변화 모델에서 살펴본 바와 같이, 그림자 영역(s)과 밝은 배경 영역(bb)의 조명 변화 후의 색공간 내의 명도 위치(I_bb의 햇, I_s의 햇)가 3차원 RGB 색공간에서 원점(O)과 I_bb(x,y)을 지나는 직선상에 위치된다.

또한, 현재 영상의 영역이 밝은 물체(bo)의 영역이면, 명도 위치(I_bo의 햇)가 RGB 색공간의 임의의 위치에 존재하게 된다. 따라서, 도 6에 도시된 경우에 조명 변화 후에 원점(O)과 I_bb(x,y)을 지나는 직선 상에 위치된 그림자 영역(s)과 밝은 배경 영역(bb)을 제거하면 밝은 물체(bo)의 영역을 얻을 수 있게 된다.

도 7에는 도 5의 조명 변화 모델에서, 입력 영상(I)에 포함되는 어두운 배경 영역(db)의 조명 변화 후의 색공간 내의 명도 위치(I_db의 햇)가 도시되어 있다.

도면을 참조하면, 도 5에 도시된 조명 변화 모델에서 살펴본 바와 같이, 어두운 배경 영역(db)의 조명 변화 후의 색공간 내의 명도 위치(I_db의 햇)가 3차원 RGB 색공간에서 원점(O)과 I_db(x,y)을 지나는 직선 상에 위치된다.

또한, 현재 영상의 영역이 어두운 물체(do)의 영역이면, 명도 위치(I_do의 햇)가 RGB 색공간의 임의의 위치에 존재하게 된다. 따라서, 도 7에 도시된 경우에 조명 변화 후에 원점(O)과 I_db(x,y)을 지나는 직선상에 위치된 어두운 배경 영역(db)을 제거하면 어두운 물체(do)의 영역을 얻을 수 있게 된다.

한편, 조명 변화가 발생하면, 도 1에서와 같이 이동 물체 영역(M) 뿐만 아니라, 오탐지 영역(ED)도 전경 영역(F)으로 탐지된다. 따라서, 도 3에 도시된 바와 같이 이동 물체 영역(M)과 오탐지 영역(ED)을 구분하기 위해 색상차 모델과 밝기비 모델이 적용될 수 있다.

이때, 도 3에서 오탐지 후보영역 추출부(222)로는 색상차 모델이 적용되고, 오탐지 영역 추출부(223)로는 밝기비 모델이 적용될 수 있다.

도 2 및 도 3에 도시된 이동 물체 탐지 장치(200)에서, 오탐지 후보영역 추출부(222)는 색상차 모델을 적용하여, 전경 영역(F)으로부터 오탐지 후보 영역(EC)을 추출하여, 전경 영역(F)을 제1 이동 물체 영역(M1)과 오탐지 후보 영역(EC)으로 분리할 수 있다. 색상차 모델은 아래의 수학식 17과 같이 정의될 수 있다.

여기서, I(x,y)는 입력 영상의 명도이고, I_b(x,y)는 배경 영역(B)의 명도이다. 또한, 그림자(s)의 색상차 CD_s(x,y), 밝은 배경(bb)의 색상차 CD_bb(x,y), 어두운 배경(db)의 색상차 CD_db(x,y)는 아래의 수학식 18과 같이 표현될 수 있다.

수학식 12에 의하여, I_bb(x,y)의 햇, I_s(x,y)의 햇, 및 I_bb(x,y)는 RGB 색공간에서 같은 직선상에 위치한다. 따라서, 아래의 수학식 19와 같이 표현될 수 있다.

또한, I_db(x,y)의 햇과 I_db(x,y)도 같은 직선상에 위치한다. 따라서, 아래의 수학식 20과 같이 표현될 수 있다.

이때, 수학식 19 및 20을 수학식 18에 대입하면, 아래의 수학식 21과 같이 표현될 수 있다.

하지만, 밝은 물체(bo)와 어두운 물체(do)의 명도비는 물체의 반사율과 방향 벡터에 따라 달라지기 때문에, 밝은 물체(do)와 어두운 물체(do)의 색상차는 임의의 분포를 가지게 된다. 따라서, p(x,y)가 오탐지픽셀이면 CD(x,y)는 0이 되고, 이동 물체 픽셀이면 CD(x,y)는 0이 아니게 된다.

다만, 실제 환경에서 직접광과 주변광이 백색광이 아니며, 영상에 노이즈도 존재한다. 이런 경우, I_s(x,y)의 햇, I_bb(x,y)의 햇, 및 I_db(x,y)의 햇은 도 6 및 7에서와 같이 직선상에 위치하지 못하고, 직선 근처에 위치하게 된다. 따라서, 그림자(s), 밝은 배경(bb), 어두운 배경(db)의 색상차는 0에 가까운 어떤 값을 가질 수 있다.

이때, 색상차에 대해 다음과 같이 가정할 수 있다. 각각의 색상차 CD_s(x,y), CD_bb(x,y), CD_db(x,y)는 평균이 0이고 소정의 표준 편차를 갖는 가우시안 분포를 갖는다. 각각의 영역의 색상차 분포는 서로 독립적이다.

먼저, 그림자(s), 밝은 배경(bb), 어두운 배경(db)의 색상차의 확률 분포를 추정하고, 이를 이용하여 제1 이동 물체 영역(M1)과 오탐지 후보 영역(EC)을 구분한다. 색상차 확률 분포를 추정하기 위해 최대 우도 추정법(Maximum Likelihood Estimation)을 사용할 수 있다.

오탐지 픽셀의 색상차는 0에 가까운 값을 가지기 때문에, 색상차가 너무 크거나 작은 픽셀을 이동 물체 영역(M)으로 판단한다. 따라서, 최대 우도 추정에서 계산량을 줄이고 정확성을 높이기 위해, 색상차가 아래의 수학식 22의 범위에 있는 픽셀만 이용하여 최대 우도 추정을 수행할 수 있다.

이때, 최대 우도 추정에 의해 평균과 표준 편차는 아래의 수학식 23에 의하여 구할 수 있다.

여기서, N_FP는 수학식 22를 만족하는 전경 영역의 픽셀 수가 될 수 있다. 이때, 추정된 평균과 표준편차를 이용하여, 아래의 수학식 24와 같이 오탐지 영역의 색상차 확률 분포 f(CD(x,y)를 정의할 수 있다.

이때, 전경 영역의 모든 픽셀들에 대하여, 만약 f(CD^K(x,y)) > TCD 이면, p(x,y)는 오탐지 후보 영역(EC) 내의 픽셀이 되고, 아니면 제1 이동 물체 영역(M1)의 픽셀이 될 수 있다. 여기서, TCD는 0.0584를 사용할 수 있는데, 이는 95% 신뢰도로 추정함을 의미한다.

색상차 모델을 사용하면 전경 영역(F)을 제1 이동 물체 영역(M1)과 오탐지 후보 영역(EC)으로 나눌 수 있다. 하지만, 오탐지 후보 영역(EC)에는 색상차가 0인 이동 물체 픽셀들에 해당하는 제2 이동 물체 영역(M2)의 픽셀도 포함된다. 따라서, 색상차가 0인 제2 이동 물체 영역(M2)과 오탐지 영역(ED)을 구분하기 위해, 밝기비모델을 사용할 수 있다.

오탐지 영역 추출부(223)는 밝기비 모델을 사용하여, 오탐지 후보 영역(EC)으로부터 오탐지 영역(ED)을 추출하여, 오탐지 후보 영역(EC)을 제2 이동 물체 영역(M2)과 오탐지 영역(ED)으로 분리할 수 있다.

색상차 모델을 이용하여 분리한 오탐지 후보 영역(EC)에는 색상차가 0인 이동 물체 픽셀들에 해당하는 제2 이동 물체 영역(M2)도 존재한다. 이때, 오탐지 영역 추출부(223)는 색상차가 0인 이동 물체 픽셀들에 해당하는 제2 이동 물체 영역(M2)과 오탐지 영역(ED)을 구분하기 위해 밝기비모델을 사용할 수 있다. 밝기비 BR(x,y)의 RGB를 아래의 수학식 25와 같이 정의할 수 있다.

여기서, I(x,y)는 현재 영상의 명도이고, I_b(x,y)는 배경 영역의 명도이다. 그림자(s)의 밝기비를 BR_s(x,y), 밝은 배경(bb)의 밝기비를 BR_bb(x,y), 어두운 배경(db)의 밝기비를 BR_db(x,y)라 정의할 수 있다. RGB에 대한 각각의 밝기비는 아래의 수학식 26과 같이 표현될 수 있다.

여기서, 수학식 12를 수학식 26에 적용하면 아래의 수학식 27과 같이 표현될 수 있다.

따라서, 모든 그림자(s), 밝은 배경(bb), 어두운 배경(db)의 각각의 픽셀들에 대한 각각 밝기비는 수학식 27의 상수값을 가진다. 하지만, 밝은 물체(bo)와 어두운 물체(do)의 명도비는 물체의 반사율과 방향 벡터에 따라 달라지기 때문에, 밝은 물체와 어두운 물체의 밝기비는 임의의 분포를 가진다. 따라서, p(x,y)가 오탐지 픽셀(ED)이면 BR(x,y)는 수학식 27의 상수값을 가지고, 이동 물체 픽셀이면 임의의 값을 갖는다.

하지만, 실제 환경에서는 직접광과 주변광이 백색광이 아니며, 영상에 노이즈도 존재한다. 이 경우, 그림자, 밝은 배경, 어두운 배경 픽셀의 밝기비는 상수값을 중심으로 일정한 범위에 존재한다. 따라서, 그림자, 밝은 배경, 어두운 배경의 밝기비에 대해 아래와 같이 가정할 수 있다.

BR_s(x,y), BR_bb(x,y), BR_db(x,y)는 수학식 27의 상수값을 평균으로 하고, 소정의 표준 편차를 갖는 가우시안 분포를 보인다. 각각의 영역의 밝기비 분포는 서로 독립적이다.

오탐지 영역 추출부(223)에서 사용되는 밝기비 모델은 색상차 모델과 유사하게, 그림자(s), 밝은 배경(bb), 어두운 배경(db)의 밝기비에 대한 확률 분포를 추정하고, 이를 이용하여 오탐지 후보 영역(EC)에서 제2 이동 물체 영역(M2)과 오탐지 영역(ED)을 구분한다. 밝기비 모델에는 최대 3개의 가우시안 모달(Modal)이 있기 때문에, 3개의 가우시안 모달을 가지는 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 확률 분포를 추정할 수 있다.

가우시안 혼합 모델을 이용하여 각 가우시안에 대한 평균, 표준편차, 가중치를 추정한 후, 이를 이용하여 오탐지 후보 영역이 이동 물체 영역에 해당하는지 오탐지 영역에 해당하는 지는 아래의 수학식 28에 의하여 밝기비 확률 분포 F(BR(x,y))로 판단할 수 있다.

여기서, a_i는 i번째 가우시안 모달의 가중치이다.

여기서, σ_ι와 μ_ι는 i번째 모달의 표준편차와 평균이다.

오탐지 후보 영역의 모든 픽셀들에 대하여, F(BR(x,y)) > TBR 이면, p(x,y)는 오탐지 영역(ED)의 픽셀에 해당하고, 아니면 제2 이동 물체 영역(M2)의 픽셀에 해당한다. 이때, TBR는 0.0584를 사용하였는데, 이는 95% 신뢰도로 추정함을 의미한다.

도 8a 및 도 8b에는 각각 제1 프레임의 영상과 제2 프레임의 영상이 도시되어 있다. 도 9a 및 도 9b에는 각각 도 8a 및 도 8b의 영상에 대한 RGB 각각의 색상차 히스토그램이 도시되어 있다.

도면을 참조하면, 도 8a 및 도 8b 각각에서, 왼쪽 위는 입력 영상, 왼쪽 아래는 추정된 배경 영상, 오른쪽 아래는 입력 영상에서 추정된 배경 영상을 뺀 차영상이다.

또한, 오른쪽 위에는 제1 이동 물체 영역과 오탐지 후보 영역이 포함된 영상이 도시되어 있다. 이때, 제1 이동 물체 영역은 흰색으로 표시되고, 오탐지 후보 영역은 적색으로 표시되어 있다.

도 10a 및 도 10b는에 각각 제1 프레임의 영상과 제2 프레임의 영상이 도시되어 있다. 도 11a 및 도 11b에는 각각 도 10a 및 도 10b의 영상에 대한 RGB 각각의 밝기비 히스토그램이 도시되어 있다.

도면을 참조하면, 도 10a 및 도 10b 각각에서, 왼쪽 위는 입력 영상, 왼쪽 가운데는 추정된 배경 영상, 왼쪽 아래는 입력 영상에서 추정된 배경 영상을 뺀 차영상이다.

또한, 오른쪽 위에는 제1 이동 물체 영역과 오탐지 후보 영역이 포함된 영상이다. 오른쪽 가운데는 제2 이동 물체 영역과 오탐지 영역이 포함된 영상이다. 오른쪽 아래는 이동 물체 영역만을 나타낸 최종 결과이다. 이때, 이동 물체 영역은 흰색, 오탐지 후보 영역과 오탐지 영역은 적색으로 표시되어 있다.

본 발명의 일 실시예에 따른 이동 물체 탐지 장치(200)는 조명 변화 모델을 기반으로 색상차 모델과 밝기비 모델을 이용하여 오탐지된 오탐지 영역과 이동 물체의 이동 물체 영역을 구분한다. 따라서, 이동 물체 탐지 장치(200)는 카메라를 사용한 감시 시스템에서 조명이 변하는 환경에서도 이동하는 물체를 더욱 정확하게 탐지할 수 있다.

이동 물체 탐지 장치(200)는, 조명 변화에 의하여 발생하는 문제 뿐만 아니라, 카메라의 자동 노출 기능에 의해 발생하는 문제에도 적용할 수 있다. 종래의 다른 방법을 이용하는 경우에는, 조명 변화 문제를 영상 전체의 밝기가 변하거나 동적 영상 환경 문제로 생각하였기 때문에 제한된 조건에서만 동작한다.

하지만, 본 발명에 따른 장치 및 방법은, 조명 변화 모델에 기반한 색상차 모델과 밝기비 모델을 이용하여, 다양한 조명변화환경에도 좋은 성능을 얻을 수 있다. 또한, 사람이 직접 인자(parameter)를 설정하거나 학습을 통해서 추정하는 대신, 온라인에서 자동으로 오탐지 영역의 확률 분포를 추정하여 오탐지 영역과 이동 물체 영역을 구분할 수 있다. 또한, 실시간으로 동작이 가능하기 때문에 실시간 운용이 필요한 감시 시스템에도 적합하다.

도 12a 및 도 12b에는 본 발명에 따른 방법과 그와 비교되는 비교예들에 의하여 제1 프레임을 포함하는 제1 영상과 제2 프레임을 포함하는 제2 영상 각각에 대한 시간에 따른 성능 측정 결과가 도시되어 있다. 도 13에는 본 발명에 따른 방법과 그와 비교되는 비교예들에 의한 이동 물체 탐지 성능이 도시되어 있다.

여기서, GMM은 도 1에 도시된 장치에서 사용되는 방법 의한 결과이고, 적응 GMM은 GMM에서 학습률을 적응적으로 조정하는 방법에 의한 결과이고, LBP(Local Binary Pattern)는 텍스쳐(texture) 정보를 사용하는 방법에 의한 결과이다. LCM은 본 발명의 일 실시예에 따라 조명 변화 모델을 사용한 결과이다.

이때, 이동 물체 탐지율(moving object detection rate) η와 배경 탐지율(background detection rate) ξ의 2가지 성능평가지표는 아래의 수학식 20과 같이 정의될 수 있다.

이때, Oo는 이동 물체 픽셀을 이동 물체 픽셀로 판단한 픽셀 수, Bb는 배경 픽셀을 배경 픽셀로 판단한 픽셀 수, Bo는 이동 물체 픽셀을 배경 픽셀로 판단한 픽셀 수, Ob는 배경 픽셀을 이동 물체 픽셀로 판단한 픽셀 수이다.

η와 ξ는 두 값 모두 큰 값을 가질수록 좋은 성능을 나타낸다. 하지만, 일반적으로 이 두 값은 서로 반비례 관계이므로, 비교를 쉽게 하기 위해 아래의 수학식 31에서와 같이 성능평가지표 P를 정의할 수 있다.

도 12a 및 도 12b의 결과에서, 일부 구간에서 기존의 방법이 뛰어나기도 하지만, 대부분의 구간에서 제안하는 방법이 기존 방법들보다 뛰어난 것을 알 수 있다. 도 13에서, 제안하는 방법은 기존의 방법들에 비해 10~20% 정도 뛰어난 성능을 보이는 것을 확인할 수 있다.

도 14에는 본 발명의 일 실시예에 따른 이동 물체 탐지 방법(S400)의 흐름도가 도시되어 있다.

도면을 참조하면, 이동 물체 탐지 방법(S400)은 도 2 및 도 3에 도시된 이동 물체 탐지 장치(200) 내에서 수행되는 것으로, 이동 물체 탐지 장치(200)에서의 기술적 사항이 모두 적용될 수 있다.

이동 물체 탐지 방법(S400)은 영상 입력단계(S410); 전경영역 분리단계(S440); 및 오탐지 영역 분리단계(S450, S460)를 구비할 수 있다.

영상 입력단계(S410)에는 이동 물체에 해당하는 이동 물체 영역을 포함하는 입력 영상을 입력받는다. 전경영역 분리단계(S440)에는 입력 영상에서 이동 물체로 판단되는 영역이 포함된 전경 영역과 이동 물체로 판단되는 영역이 포함되지 아니한 배경 영역으로 분리한다. 오탐지 영역 분리단계(S450, S460)에는 전경 영역에서 이동 물체 영역으로 잘못 판단된 오탐지 영역을 분리하여 이동 물체 영역을 추출한다.

오탐지 영역 분리단계(S450, S460)는 오탐지 후보영역 추출단계(S450), 및 오탐지 영역 추출단계(S460)를 구비할 수 있다.

오탐지 후보영역 추출단계(S450)에는 전경 영역을 제1 이동 물체영역과 오탐지 후보 영역으로 분리한다. 오탐지 영역 추출단계(S460)에는 오탐지 후보 영역을 상기 제2 이동 물체 영역과 상기 오탐지 영역으로 분리한다.

이때, 이동 물체 탐지 방법(S400)은 도 5에 도시된 조명 변화 모델을 기초로 색상차 모델과 밝기비 모델을 이용하여 전경 영역으로부터 이동 물체 영역과 오탐지 영역을 분리할 수 있다.

오탐지 후보영역 추출단계(S450)는 전경 영역에서, 어두운 배경, 그림자, 및 밝은 배경 각각의 영역에 대한 설정된 시간 간격의 프레임들 사이의 색상차를 계산하는 단계, 각각의 색상차에 대한 색상차 확률 분포를 추정하는 단계, 및 색상차 확률 분포가 제1 설정값보다 크면 오탐지 후보 영역으로 인식하는 단계를 구비할 수 있다.

오탐지 영역 추출단계(S460)는 오탐지 후보 영역에서, 어두운 배경, 그림자, 및 밝은 배경 각각의 영역에 대한 설정된 시간 간격의 프레임들 사이의 밝기비를 계산하는 단계, 각각의 밝기비에 대한 밝기비 확률 분포를 추정하는 단계, 및 밝기비 확률 분포가 제2 설정값보다 크면 오탐지 영역으로 인식하는 단계를 구비할 수 있다.

이동 물체 탐지 방법(S400)은 제1 이동 물체 영역과 제2 이동 물체 영역을 결합하여 이동 물체 영역으로 인식하는 단계를 더 구비할 수 있다.

한편, 이동 물체 탐지 방법(S400)은 밝기 측정단계(S420); 및 밝기 판단단계(S430)를 더 구비할 수 있다.

밝기 측정단계(S420)에는 입력 영상의 입력 밝기를 설정된 프레임 간격으로 측정한다. 밝기 판단단계(S430)에는 설정된 간격의 프레임들 사이의 입력 밝기의 변화량을 비교한다.

이 경우, 입력 밝기의 변화량이 설정된 기준값보다 크면 오탐지 영역을 분리하는 단계(S440 내지 S470)가 수행될 수 있다.

본 발명에 따르면, 입력 영상에서 탐지된 전경 영역에 포함된 오탐지 배경 영역을 이동 물체 영역과 분리함으로써, 입력 영상에서 이동 물체 탐지 성능을 향상시킬 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

200: 이동 물체 탐지 장치, 210: 영상 입력부,
220: 제어부, 230: 모니터부,
221: 전경 영역 추출부, 222: 오탐지 후보영역 추출부,
223: 오탐지 영역 추출부.

Claims (17)

1. 이동 물체에 해당하는 이동 물체 영역을 포함하는 입력 영상을 입력받는 영상 입력부;
   상기 입력 영상에서 상기 이동 물체로 판단되는 영역이 포함된 전경 영역과 상기 이동 물체로 판단되는 영역이 포함되지 아니한 배경 영역으로 분리하고, 상기 전경 영역에서 상기 이동 물체 영역으로 잘못 판단된 오탐지 영역을 분리하여 상기 이동 물체 영역을 추출하는 제어부를 구비하며,
   상기 이동 물체 영역이,
   상기 오탐지 영역으로 잘못 판단한 제2 이동 물체영역과,
   상기 제2 이동 물체영역을 제외한 제1 이동 물체영역을 포함하며,
   오탐지 후보 영역이 상기 제2 이동 물체 영역과 상기 오탐지 영역을 포함하며,
   상기 제어부가,
   상기 입력 영상을 상기 전경 영역과 상기 배경 영역으로 분리하는 전경영역 추출부;
   상기 전경 영역을 상기 제1 이동 물체영역과 상기 오탐지 후보 영역으로 분리하는 오탐지 후보영역 추출부; 및
   상기 오탐지 후보 영역을 상기 제2 이동 물체 영역과 상기 오탐지 영역으로 분리하는 오탐지 영역 추출부를 구비하고,
   상기 오탐지 후보영역 추출부는, 설정된 시간 간격의 프레임들 사이의 색상차에 대한 색상차 확률 분포를 추정하고, 상기 전경 영역에서 상기 색상차 확률 분포가 제1 설정값보다 큰 픽셀은 오탐지 후보 영역으로 인식하고,
   상기 오탐지 영역 추출부는, 상기 설정된 시간 간격의 프레임들 사이의 밝기비에 대한 밝기비 확률 분포를 추정하고, 상기 오탐지 후보 영역에서 상기 밝기비 확률 분포가 제2 설정값보다 큰 픽셀을 오탐지 영역으로 인식하는, 이동 물체 탐지 장치.
2. 삭제
3. 삭제
4. 삭제
5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.

   제1항에 있어서,
   상기 입력 영상이 점조명에 의하여 비추어지는 직접광과 산란되어 비추어지는 주변광 중의 적어도 어느 하나를 광원으로 하여 입력되며,
   상기 입력 영상이,
   상기 광원에 대한 다른 물체의 그림자 영역에 위치되는 어두운 물체,
   상기 그림자 영역 내의 상기 어두운 물체를 제외한 영역인 어두운 배경,
   상기 광원과의 사이에 다른 물체가 없는 밝은 물체,
   상기 밝은 물체의 그림자, 및
   상기 어두운 물체, 상기 어두운 배경, 상기 밝은 물체, 및 상기 그림자를 제외한 영역인 밝은 배경을 구비하는 이동 물체 탐지 장치.
6. 삭제
7. 삭제
8. 삭제
9. 제1항에 있어서,
   상기 입력 영상의 입력 밝기를 설정된 프레임 간격으로 측정하는 밝기 측정부를 더 구비하고,
   상기 제어부가 설정된 간격의 프레임들 사이의 상기 입력 밝기의 변화량이 설정된 기준값보다 크면 상기 오탐지 영역을 분리하는 이동 물체 탐지 장치.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제

Images