KR101617182B1 - 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치 - Google Patents

Abstract

본 발명은 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치에 관한 것으로, 카메라를 통해 입력된 영상을 제어부가 가우시안 혼합 모델링 기법으로 모델링한 후 이진화 영상을 생성하는 단계, 상기 이진화 영상에서 1차로 객체 후보 블랍을 추출하는 단계, 상기 1차로 추출된 블랍에서 차분 영상의 히스토그램을 생성하는 단계, 상기 히스토그램을 기반으로 클러스터링하여 상기 1차로 추출된 블랍을 두 영역으로 분리하여 2차 블랍을 추출하는 단계, 상기 추출된 2차 블랍과 배경간의 유사성을 연산하는 단계, 및 상기 유사성이 미리 설정된 문턱값 이하인 2차 블랍을 객체 영역으로 판단하는 단계를 포함한다.

Description

차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING REALTIME OBJECT REGION ROBUST TO VEHICLE HEADLIGHT}

본 발명은 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치에 관한 것으로, 보다 상세하게는 감시 카메라를 이용해 차량의 이동이나 주차를 감시하는 장소에서 헤드라이트가 비춘 영역을 제외한 차량 영역만을 정확하게 분리하여 검출할 수 있도록 하는 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치에 관한 것이다.

일반적으로 카메라 영상을 이용해 특정 영역의 객체를 감시하는 기술에 있어서, 감시 영역 내에 진입한 객체의 영역만을 정확하게 검출하는 것은 객체의 검출, 추적, 인식, 동태 파악 등의 성능을 결정하는 매우 중요한 기술이다.

예컨대 동영상에서 시간에 따라 변화되는 배경 영상의 각 화소에서 일정 기간 동안의 밝기 분포를 학습하고, 각 화소에서 배경의 밝기 분포와 입력 영상의 화소의 밝기를 비교하여 변화를 검출하는 배경 학습 기반 객체 검출 기술(예 : 혼합 가우시안 모델, 베이지안 배경학습, 바이브(ViBe) 등)은 영상 감시 분야에서 널리 사용되고 있는 기술이다.

그러나 상기 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 기술은 입력 영상의 화소 밝기 값이 배경으로 선정된 가우시안 분포 내에 포함되어 있지 않으면 유입된 객체로 인한 변화로 판단하는 단점이 있으며, 상기 베이지안 배경학습 기술은 동적 특성을 가지는 복잡한 배경에서는 상기 가우시안 혼합모델 기술에 비하여 좋은 성능을 가진 것으로 알려져 있으나, 과다한 메모리의 사용과 많은 연산량을 필요로 하는 단점이 있으며, 상기 바이브(ViBe) 기술은 바람에 펄럭이는 깃발과 같이 소수의 가우시안 혼합 모델로 밝기 분포를 표현하기 어려운 경우에는 좀 더 효과적이나, 지하 주차장 같은 배경의 변화가 적은 곳에서는 상기 가우시안 혼합 모델(GMM)과 성능상의 차이가 없다.

일 실시예로서, 감시 영역이 지하 주차장이라고 가정할 경우, 대부분의 차량들은 헤드라이트를 켜고 주차장에 진입하는 것이 일반적이다. 이 경우 학습된 배경과 현재 영상과의 차이를 이용하여 객체(즉, 차량)를 검출하는 종래의 기술(즉, 배경 학습 기반 객체 검출 기술)은 차량 영역뿐만 아니라 헤드라이트가 비춘 주차장 바닥 영역도 객체로 인한 변화 영역으로 검출하는 문제점이 있다(도 3의 (e) 참조). 즉, 두 영역(예 : 객체 영역, 바닥 영역)이 하나의 연결 영역으로 검출되는 문제점이 있다. 따라서 상기와 같이 하나로 연결된 두 영역(예 : 객체 영역, 바닥 영역)에서 객체 영역만을 정확하게 검출하기 위해서는 상기 두 영역을 분리하는 방법이 필요하다.

예컨대 상기 두 영역을 분리하는 방법으로서, 종래에 그래프 컷(graph-cut) 같은 영상 분할 방법이 있으나 이는 실시간 동영상에서의 처리에는 적합하지 않고, 또한 상기 GMM과 평균이동(mean-shift) 방법을 결합하는 방법이 있으나 이는 동영상에서 움직이는 객체 추적에 사용할 수는 있지만, 객체의 밝기 분포가 배경의 밝기 분포와 유사하게 설정된 경우에는 검출된 객체의 영역이 주변 배경영역으로 확장되는 문제점이 있다.

또한 상기 GMM과 평균이동(mean-shift) 방법을 결합하는 방법은 객체의 밝기 분포에 대한 사전 정보가 있고 객체와 객체 주변의 배경이 다른 밝기 값을 가지는 경우에는 잘 작동되지만, 객체의 영역을 최초로 검출하는 경우에는 객체의 밝기 분포에 대한 사전 정보가 없기 때문에 실시간으로 차량 영역과 헤드라이트가 비춘 영역(예 : 배경영역 또는 바닥영역)을 안정적으로 분리하지 못하는 문제점이 있다.

본 발명의 배경기술은 대한민국 등록특허 10-1311148호(2013.09.09.등록, 영상 감시 시스템 및 영상 감시 시스템의 객체 검출 방법)에 개시되어 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 감시 카메라를 이용해 차량의 이동이나 주차를 감시하는 장소에서 헤드라이트가 비춘 영역을 제외한 차량 영역만을 정확하게 분리하여 검출할 수 있도록 하는 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치를 제공하는데 그 목적이 있다.

본 발명의 일 측면에 따른 실시간 객체 영역 검출 방법은, 카메라를 통해 입력된 영상을 제어부가 가우시안 혼합 모델링 기법으로 모델링한 후 이진화 영상을 생성하는 단계; 상기 이진화 영상에서 1차로 객체 후보 블랍을 추출하는 단계; 상기 1차로 추출된 블랍에서 차분 영상의 히스토그램을 생성하는 단계; 상기 히스토그램을 기반으로 클러스터링하여 상기 1차로 추출된 블랍을 두 영역으로 분리하여 2차 블랍을 추출하는 단계; 상기 추출된 2차 블랍과 배경간의 유사성을 연산하는 단계; 및 상기 유사성이 미리 설정된 문턱값 이하인 2차 블랍을 객체 영역으로 판단하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 두 영역은, 차량 영역과 헤드라이트가 비춘 배경 영역인 것을 특징으로 한다.

본 발명에 있어서, 상기 블랍은, 미리 설정된 일정 크기 이상의 검출된 전경 화소들이 연결된 영역인 것을 특징으로 한다.

본 발명에 있어서, 상기 1차로 객체 후보 블랍을 추출하는 단계에서, 상기 블랍에 구멍이 생성되는 경우, 상기 제어부는 공분산 행렬에 기초하여 상기 구멍을 채워 보정된 형상의 블랍을 추출하는 것을 특징으로 한다.

본 발명에 있어서, 상기 1차로 객체 후보 블랍을 추출하는 단계 이후에, 상기 1차로 추출된 블랍이 추출된 영역에서 미리 설정된 객체 후보의 사이즈와 비교하여 상기 1차로 추출된 블랍이 해당 영역에서의 객체 후보에 해당하는지 판단하는 단계;를 더 포함하고, 상기 판단에 따라, 상기 1차로 추출된 블랍이 미리 설정된 객체 후보의 최소 사이즈 이상이면서 최대 사이즈 보다 작으면, 상기 제어부가 상기 1차로 추출된 블랍과 배경간의 유사성을 연산하고, 상기 유사성이 미리 설정된 문턱값 이하이면 상기 1차로 추출된 블랍을 객체 영역으로 판단하는 것을 특징으로 한다.

본 발명에 있어서, 상기 히스토그램을 기반으로 클러스터링하는 단계에서, 상기 제어부는 상기 히스토그램을 밝기 값의 차이가 작은 영역과 밝기 값의차이가 큰 영역으로 나누었을 때 각 영역의 분산에 영역의 화소 수 가중치를 곱한 합이 최소가 되도록 두 영역을 클러스터링 하는 것을 특징으로 한다.

본 발명에 있어서, 상기 2차 블랍을 추출하는 단계에서, 상기 제어부는 상기 히스토그램을 클러스터링하는 임계값이 결정되면, 차분 영상의 화소 밝기 값이 임계값보다 큰 화소들만으로 2차로 블랍을 추출하는 것을 특징으로 한다.

본 발명에 있어서, 상기 2차 블랍과 배경간의 유사성을 연산하는 단계에서, 상기 제어부는 상기 카메라 영상과 학습된 배경 영상을 정규화한 상관계수를 이용하여 유사성을 연산하되,상기 상관계수는 헤드라이트가 비춘 영역에서는 상관계수는 크고, 차량 영역에서는 상관계수가 작은 것을 특징으로 한다.

본 발명의 다른 측면에 따른 실시간 객체 영역 검출 장치는, 감시 영역을 촬영하는 카메라부; 상기 카메라부에서 촬영한 영상을 분석하여 배경 영역을 학습하고 상기 배경 영역과의 유사성이 떨어지는 객체 영역을 검출하는 제어부; 상기 카메라부가 촬영한 영상 및 상기 제어부가 상기 카메라 영상을 처리하여 객체 영역을 검출하기 위한 방법을 저장하는 저장부; 및 상기 제어부가 검출한 객체 영역의 판단 결과를 외부의 응용 장치에 출력하는 출력부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 카메라를 통해 입력된 영상을 제어부가 가우시안 혼합 모델링 기법으로 모델링한 후 이진화 영상을 생성하고, 상기 이진화 영상에서 1차로 객체 후보 블랍을 추출하고, 상기 1차로 추출된 블랍에서 차분 영상의 히스토그램을 생성하고, 상기 히스토그램을 기반으로 클러스터링하여 상기 1차로 추출된 블랍을 두 영역으로 분리하여 2차 블랍을 추출하고, 상기 추출된 2차 블랍과 배경간의 유사성을 연산하고, 상기 유사성이 미리 설정된 문턱값 이하인 2차 블랍을 객체 영역으로 판단하는 것을 특징으로 한다.

본 발명은 감시 카메라를 이용해 차량의 이동이나 주차를 감시하는 장소에서 헤드라이트가 비춘 영역을 제외한 차량 영역만을 정확하게 분리하여 검출할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법을 설명하기 위한 흐름도.
도 3은 본 발명의 일 실시예에 따른 객체 영역 검출 테스트를 통해 검출된 블랍에 작은 구멍이 생성된 경우의 차분 영상의 밝기 히스토그램 및 모포로지 필를 적용하여 보정한 영상을 보인 예시도.
도 4는 본 발명의 일 실시예에 따른 객체 영역 검출 테스트를 통해 검출된 블랍에 큰 구멍이 생성된 경우의 보정 영상을 보인 예시도.
도 5는 본 발명의 일 실시예에 따른 블랍 추출 알고리즘을 보인 예시도.
도 6은 본 발명의 일 실시예에 따라 조명 밝기를 최대로 한 환경에서 검정색 차량 영역을 검출하는 경우의 테스트 영상을 보인 예시도.
도 7은 본 발명의 일 실시예에 따라 조명 밝기를 최대로 한 환경에서 흰색 차량 영역을 검출하는 경우의 테스트 영상을 보인 예시도.
도 8은 본 발명의 일 실시예에 따라 조명 밝기를 어둡게 한 환경에서 흰색 차량 영역을 검출하는 경우의 테스트 영상을 보인 예시도.
도 9는 본 발명의 일 실시예에 따라 조명 밝기를 어둡게 한 환경에서 검정색 차량 영역을 검출하는 경우의 테스트 영상을 보인 예시도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치의 일 실시예를 설명한다.

이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 장치의 개략적인 구성을 보인 예시도이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 실시간 객체 영역 검출 장치는, 카메라부(110), 제어부(120), 저장부(130), 및 출력부(140)를 포함한다.

상기 카메라부(110)는 감시 영역(예 : 지하 주차장)에 설치되어 객체(예 : 차량)를 촬영하기 위한 수단으로서, 디지털 이미지 센서를 포함하는 적어도 하나 이상의 카메라로 구성된다. 예컨대 상기 카메라는 CMOS 카메라(또는 CCD 카메라)를 포함할 수 있다.

참고로 상기 CMOS 카메라(또는 CCD 카메라)는 가시광 영역의 빛을 감지하여 투영하는 역할을 하기 때문에 사람의 눈으로 보는 것과 비슷한 영상을 획득한다.

상기 제어부(120)는 상기 카메라부(110)를 통해 입력된 영상을 분석하여 배경 영역을 학습하고 상기 배경 영역과의 유사성이 떨어지는 객체 영역을 검출한다.

더 구체적으로, 상기 제어부(120)는 카메라를 통해 입력된 영상을 제어부가 가우시안 혼합 모델링 기법으로 모델링한 후 이진화 영상을 생성하고, 상기 이진화 영상에서 1차로 객체 후보 블랍을 추출하고, 상기 1차로 추출된 블랍에서 차분 영상의 히스토그램을 생성하고, 상기 히스토그램을 기반으로 클러스터링하여 상기 1차로 추출된 블랍을 두 영역으로 분리하여 2차 블랍을 추출하고, 상기 추출된 2차 블랍과 배경간의 유사성을 연산하고, 상기 유사성이 미리 설정된 문턱값 이하인 2차 블랍을 객체 영역으로 판단한다.

상기 저장부(130)는 일종의 메모리에 해당하는 수단으로서, 상기 카메라부(110)가 촬영한 영상 및 상기 제어부(120)가 상기 카메라 영상을 처리하여 객체 영역을 검출하기 위한 방법을 저장한다.

상기 출력부(140)는 일종의 정보를 디스플레이하는 수단으로서, 상기 제어부(120)가 검출한 객체 영역의 판단 결과를 응용 장치(예 : 모니터, 주차 안내 장치, 감시 장치 등)에 출력한다.

이하 상기 제어부(120)가 상기 카메라 영상(동영상)을 처리하여 객체 영역을 실시간으로 검출하는 방법에 대해서 보다 구체적으로 설명한다.

도 2는 본 발명의 일 실시예에 따른 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법을 설명하기 위한 흐름도이다.

도 2에 도시된 바와 같이, 제어부(120)는 카메라부(110)로부터 촬영된 영상을 입력받는다(S101).

이미 상술한 바와 같이 영상 감시 기술 분야에서 배경 영상은 외부 환경에 의하여 각 화소의 밝기 값이 변화하게 되고, 또한 일정 시간 동안 배경 영상의 각 화소 밝기 값의 분포를 통계적으로 모델링하는 방법으로서 GMM(즉, 가우시안 혼합 모델)과 바이브(ViBe)가 널리 사용되고 있다. 따라서 지하 주차장의 배경 영상은 GMM을 이용하여 화소 값의 분포를 모델링할 수 있다.

또한 오랜 시간동안(미리 지정된 특정시간 이상) 주차된 차량은 배경으로 학습되어 배경의 가우시안 모델로 흡수되는데, GMM의 경우에는 각 모드의 가중치 값의 변화를 추적하여 배경으로 흡수되는 차량의 영역을 알 수 있도록 한다.

따라서 본 실시예에서는 감시 영역인 지하 주차장의 배경을 GMM으로 모델링하여 배경 영역의 변화를 검출한다(S102).

상기 GMM 방법은 배경 영상의 특정 좌표(x,y)에 위치한 화소에서 밝기 값의 분포를 다음 수학식 1을 통해 모델링한다.

상기 수학식 1에서

는 k번째 모드의 가우시안 분포를 나타내며,

는 각각 화소의 밝기, 모드의 평균, 표준편차를 나타내고,

는 k번째 모드의 가중치를 나타낸다.

이때 입력 영상의 특정 좌표 (x,y)에 위치한 화소의 밝기 값이

이고, k번째 모드가 배경 화소의 밝기 값의 분포를 나타내는 경우, 상기 특정 좌표 (x,y)가 배경인지 여부는 다음 수학식 2를 통해 판정할 수 있다.

상기 수학식 2에서

값이 클수록 많은 화소들이 배경으로 판정된다.

그리고 상기 특정 좌표 (x,y)가 배경의 분포를 나타내는 어느 모드에도 소속되지 않으면 전경(foreground)로 판정된다.

이때 GMM 모델 변수의 실시간 학습은 다음 수학식 3을 통해 수행된다.

상기 수학식 3에서

는 현 화소의 밝기와 현 화소가 속하는 모드의 평균값과의 차이를 의미하고,

는 학습 속도(즉, 학습률)를 의미하는 것으로서 외부 환경의 변화가 적은 경우에는 작은 값이 사용된다. 그리고

는 현 화소의 밝기가 모드

에 속하면 1 속하지 않으면 0 이다.

한편 배경 영역으로부터 검출된 변화 영역에서 전경 화소들이 연결된 영역인 블랍(Blob)을 추출하기 위하여 우선 상기 GMM을 통해 검출된 결과를 이진화 한다. 예컨대 특정 좌표 (x,y)가 배경으로 판정되면 0(검정색), 전경으로 판정되면 255(흰색) 값을 할당함으로써 이진화 영상을 생성한다.

상기와 같은 이진화 영상이 생성되면, 제어부(120)는 상기 이진화 영상에서 객체의 후보가 되는 블랍 영역을 추출(즉, 1차 블랍 추출)한다(S103).

예컨대 상기 블랍 영역은 전경으로 검출된 화소들 중에서 하나로 연결된 영역을 연결 화소법으로 추출할 수 있다. 참고로 상기 연결 화소법은 전경 값(255)을 가지는 화소와 주변의 8개 화소들의 화소 값을 비교하여, 전경 값(255)을 가지는 주변 화소에 중심 화소와 동일한 영역 라벨을 부여하는 방법으로서, 적은 연산량으로 효과적으로 구현하기 위하여 1차로 래스터 주사 순서로 스캔하면서 각 화소와 주변 화소가 동일 영역이면 동일한 라벨을 부여한다. 2차로 동일 영역이지만 다른 라벨을 가지는 화소들을 하나의 영역으로 묶는다.

이에 따라 추출된 영역들은 도 3의 (h)에 도시된 바와 같이 영역 내부에 크거나 작은 구멍이 생성되는 경우도 있다.

이러한 구멍은 배경과 객체의 색상이 유사한 경우 혹은 노이즈에 의하여 발생되는데, 만약 작은 구멍인 경우에는 도 3의 (i)에 도시된 바와 같이 모포로지 필터(Morphological filter)를 이용하여 채울 수 있다(즉, 보정할 수 있다).

한편 객체와 배경의 화소 값이 유사하면 객체를 검출할 수 없게 되는데, 만약 객체 영역 중에서 큰 부분이 배경의 화소 값과 유사하면, 도 4의 (c)에 도시된 바와 같이 객체 영역에 큰 구멍이 생성된다. 이러한 큰 구멍을 채우기 위하여(즉, 보정하기 위하여) 만약 모포로지 필터를 반복적으로 적용할 경우에는 과도한 연산량을 필요로 하게 된다. 따라서 추출된 영역(즉, 연속 화소법으로 추출된 블랍 영역)을 객체의 형상에 맞게 근사화하고, 근사화한 형상 내부에서 검출되지 않은 부분을 채우는 것이 더욱 효과적으로 보정하는 방법이다.

본 실시예에서는 다음 수학식 4와 같이 공분산 행렬을 이용하여 블랍 내부를 채울 수 있다(즉, 보정할 수 있다).

상기 수학식 4에서

는 추출된 블랍 내의 화소,

는 블랍 내 화소의 분포를 나타내는 공분산 행렬이다.

상기 공분산 행렬의 고유 벡터는 형상의 장축과 단축의 방향을 나타내며, 장축과 단축의 크기는 공분산 행렬의 고유값(eigen value)에 비례하며, 또한 상기 수학식 4에서 R 값도 상기 고유값에 비례한다. 최종적으로 도 4의 (d)에 도시된 바와 같이 구멍을 메운 블랍(보정된 블랍)은 객체의 후보가 된다. 즉, 도 4의 (d)는 상기 수학식 4를 이용하여 블랍의 형상을 보정할 결과를 보인 예시도로서, 상기 1차 블랍 추출 시에 보정된 형상(즉, 구멍이 채워진 형상)의 블랍이 추출된다.

한편 상기와 같이 블랍이 추출되면 그 블랍이 추출된 영역에 미리 설정된 객체 후보의 사이즈(도 6 ~ 도 9의 테스트 방법 참조, 입력 영상을 48개의 격자 형태의 가상 영역으로 분할 할 때 블랍이 추출된 영역에 미리 설정된 객체 후보의 사이즈)와 비교하여 상기 추출된 블랍이 해당 영역(즉, 블랍이 추출된 영역)에서의 객체 후보에 해당하는지 판단한다(S104 ~ S106).

즉, 상기 추출된 블랍이 해당 영역에 설정된 객체 후보의 최소 사이즈 이상인지 판단한다(S104). 그리고 상기 추출된 블랍이 최소 사이즈 이상이면(S104의 예) 상기 추출된 블랍이 객체 후보에 속하는지 판단한다(S105).

참고로, 상기 추출된 블랍이 객체 후보에 속하는지 여부는 다양한 방법이 있을 수 있으나, 본 실시예에서는 검출하고자 하는 차량 객체 후보가 되는 블랍에서 화소의 밝기 값이 현 영상에서 배경의 평균 영상의 밝기보다 어두운 화소가 일 정 수 이상 있는가(예 : 수학식 7 참조)로 1차 체크하여 어두운 화소가 임계값 이상이면 객체를 나타내는 후보 블랍으로 판단한다(S105).

상기 판단(S105)에 따라 상기 추출된 블랍이 객체 후보에 속하면(S105의 예) 상기 블랍이 해당 영역에 설정된 객체 후보의 최대 사이즈 이상인지 판단한다(S106). 즉, 상기 블랍이 해당 영역에 설정된 객체 후보의 최대 사이즈 이상이면 헤드라이트가 비춘 바닥 영역이 객체(차량) 영역에 포함된 것을 의미한다. 따라서 이 경우(블랍이 해당 영역에 설정된 객체 후보의 최대 사이즈 이상인 경우)에는 헤드라이트가 비춘 영역과 차량 영역을 분리해야 한다(S107 ~ S109).

상기 추출된 블랍이 해당 영역(즉, 블랍이 추출된 영역)에서의 객체 후보에 해당하는지 판단하는 단계(S104 ~ S106)를 만족하지 않을 경우에는 배경 학습을 수행한다(S113).

일반적으로 차량 영역에서는 학습된 배경의 평균 영상과 입력 영상의 화소 밝기 값의 차이가 상대적으로 크지만, 헤드라이트가 비춘 주차장의 바닥 영역 중에서 차량에 근접한 전면은 밝기 차이가 작고, 차량에서 일정 거리 떨어진 헤드라이트가 집중적으로 조명한 곳에는 밝기 차이가 크다.

따라서 차량의 영역과 헤드라이트가 비춘 영역이 하나의 블랍으로 형성되면, 형성된 블랍 영역 내에서 차분 영상(

) 화소 밝기의 히스토그램은 도 3의 (g)에 도시된 바와 같이 두 개의 모드가 형성된다. 여기서 차분 영상의 밝기 값의 차이가 작은 모드는 차량에 근접한 전면에 해당하고, 밝기 값의 차이가 큰 모드는 차량의 영역과 헤드라이트가 집중 조명된 영역에 해당한다. 따라서 블랍을 형성할 때 차분 값이 작은 모드를 제거하면 헤드라이트가 비춘 영역과 차량 영역을 분리할 수 있게 된다.

이를 위하여 블랍 영역 내에서 차분 영상의 히스토그램을 생성한다(S107).

그리고 상기 히스토그램을 밝기 값의 차이가 작은 영역과 밝기 값의 차이가 큰 영역으로 클러스터링 한다(S108).

상기 두 모드를 분할하는 임계값은 다음 수학식 5를 통해 결정할 수 있다.

상기 수학식 5에서

는 밝기,

는 히스토그램, 첨자

은 히스토그램을 두 영역으로 나눌 때 좌측(밝기 차이가 작은 영역)과 우측(밝기 차이가 큰 영역),

는 평균,

은 분산,

은 히스토그램의 한 영역내의 화소 개수를 나타낸다. 또한 상기 수학식 5에서 클러스터링 하는 히스토그램에서 밝기의 범위는

이고, 클러스터링을 통하여 구한 임계값은

이다.

즉, 상기 수학식 5는 히스토그램을 두 영역(예 : 밝기 값의 차이가 작은 영역과 밝기 값의 차이가 큰 영역)으로 나누었을 때 각 영역의 분산에 영역의 화소 수 가중치를 곱한 합이 최소가 되도록 두 영역을 클러스터링 한다.

상기 수학식 5를 통해 히스토그램을 클러스터링하는 임계값이 결정되면, 차분 영상의 화소 밝기 값이 임계값보다 큰 화소들만으로 새롭게 객체 후보 블랍을 추출(즉, 2차 블랍 추출)한다(S109).

도 3의 (h)는 상기와 같이 차분 영상의 화소 밝기 값이 임계값보다 큰 화소들로 다시 생성한 객체 후보 블랍을 보인 예시도이다.

상기와 같이 차량 영역과 헤드라이트가 비춘 영역을 분리하여 새로운 객체 후보 블랍이 추출되면(즉, 2차 블랍이 추출되면) 그 새로 생성된 블랍이 차량 영역인지 아니면 헤드라이트가 비춘 영역인지를 판별하는 과정이 필요하다.

이때 헤드라이트가 비춘 영역에서는 입력 영상과 학습된 배경 영상의 밝기 값의 차이가 클 수 있으며, 두 영상이 모두 주차 노면을 나타내기 때문에 밝기 패턴의 유사성(예 : 수학식 6의 상관계수)이 매우 크다. 반면에 차량 영역에서는 입력 영상 밝기 패턴(차량의 모습을 나타냄)과 학습된 배경 영상의 밝기 패턴(주차 노면을 나타냄)이 다르기 때문에 상관계수가 작다. 따라서 차량의 불변 특징점을 추출하여 유사성을 비교할 수도 있지만, 본 실시예에서는 적은 연산량으로 간단하게 구현할 수 있는 두 영상의 정규화한 상관계수(normalized correlation coefficient)를 이용하여 유사성을 연산한다(S110).

이때 상기 상관계수는 다음 수학식 6과 같다.

상기 수학식 6에서

는 각각 배경의 평균 영상과 입력 영상을 나타내며,

는 블랍 내에서 두 영상의 평균을 나타내고,

는 블랍 내에서 두 영상간의 내적을 나타낸다.

일반적인 경우에는 상술한 방법으로 차량 영역을 안정적으로 검출할 수 있다. 그러나 주차 노면의 밝기와 차량의 밝기가 유사한 경우, 상기 수학식 5에서 구한 임계값을 적용하면 차량 영역 중에서 많은 부분이 배경으로 분류되고 차량의 일부 영역만이 블랍으로 추출되는 문제점이 있다.

이러한 문제점을 해결하기 위하여 차량의 크기 범위를 사전에 학습하고, 도 5에 도시된 바와 같은 객체의 블랍 추출 알고리즘을 이용하여 미리 설정되거나 미리 학습된 객체(차량)의 사이즈 범위 안에 들어오는 블랍을 생성할 수 있다.

상기 도 5에 도시된 객체 블랍 추출 알고리즘에서는 Step 1로서 히스토그램 클러스터링(즉, 수학식 5를 통해 히스토그램을 밝기 값이 작은 영역과 밝기 값이 큰 영역으로 클러스터링)을 통하여 새로운 임계값(

)을 연산하고, Step 2로서 크게 하나로 묶인 블랍 영역 내에서 새로운 임계값(

)을 이용하여 배경으로부터 전경(foreground)을 분리하는 이진 영상을 형성하고, Step 3으로서 전경 영역에서 연결된 화소들을 묶어(즉, 연결 화소법을 이용하여) 블랍을 형성하고, Step 4로서 블랍 내부에 구멍들을 채우고(즉, 수학식 4와 같은 공분산 행렬을 이용하여 블랍 내부의 구멍을 채우는 보정을 수행하고), Step 5로서 새롭게 형성된 블랍 영역 내에서 차분 영상의 밝기 값이 수학식 7을 만족하고 또한 블랍의 크기가 학습된 차량 크기 범위에 포함되면 Step 6으로 가고, 그렇지 않으면(차분 영상의 밝기 값이 수학식 7을 만족하지 못하거나, 새롭게 형성된 블랍의 크기가 학습된 차량 크기 범위에 포함되지 않으면, 즉, 블랍이 해당 영역별로 미리 설정된 객체의 최대 사이즈보다 크거나 최소 사이즈보다 작으면) Step1으로 돌아가 블랍이 차량의 후보에 해당하는 경우만 다시 형성한다. 그리고 Step 6은 상기 수학식 6을 이용하여 블랍 영역에서 입력 영상과 배경 평균 영상의 밝기 패턴의 유사성을 연산한다. 상기 유사성이 크면(즉, 1에 가까우면) 배경에 해당하고 유사성이 작으면(즉, 0에 가까우면) 객체에 해당한다.

예컨대, 헤드라이트가 비춘 영역은 배경과 비교하였을 때 각 화소들의 밝기가 증가한다. 하지만 차량의 유리창 영역은 유리창 영역이나 차량 주변의 그림자에 의하여 차량의 색상에 관계없이 연회색의 주차 노면보다 화소의 밝기 값이 항상 어두운 특징이 있다.

이러한 객체의 특징을 이용하여 다음 수학식 7과 같이 블랍이 차량의 후보 영역에 포함되는지를 판단할 수 있다.

상기 수학식 7에서 연산자

은

을 만족하는 화소의 개수를 나타내고, 상기 화소의 개수가 threshold(임계값 또는 문턱값) 이하인지 연산한다(도 5의 step5).

은 노이즈 영향을 고려한 작은 양수이며, 이때 상기 threshold(임계값 또는 문턱값)는 주차 노면보다 어두운 차량의 영역(예 : 차량의 유리창 영역 등)의 사이즈를 고려하여 결정한다.

그리고 상기 수학식 6에서 블랍의 영역 내에서 현 영상의 화소 밝기 패턴(차량의 모습을 나타냄)과 배경의 평균 영상의 밝기 패턴(주차 노면을 나타냄)이 다르면 유사도를 나타내는 상관계수(수학식 6 참조)가 임계값보다 작으면(S111) 상기 블랍(2차 추출된 블랍)을 객체 영역으로 판단한다(S112).

만약 상기 블랍(2차 추출된 블랍)의 유사성이 threshold(임계값 또는 문턱값) 보다 크면 배경 학습 단계(S113)를 수행한다.

이하 본 실시예에 따른 실시간 객체 영역 검출 방법을 검증하기 위한 테스트 결과에 대해서 설명한다.

본 실시예에서는 실내 주차장의 천장에 설치한 어안 렌즈 카메라로 촬영한 동영상을 테스트에 사용하고, 주차장의 조명 기구는 천장에 설치된 밝기의 조절이 가능한 형광등이며, 주차장 바닥은 연회색의 광택 페인트로 표면 처리되어 있으며, 어안 렌즈로 인하여 왜곡이 심한 외곽 부분을 제외한 영상의 중심 부근에서 차량 검출 성능을 측정하였으며, 테스트에 사용한 동영상은 조명이 밝은 경우와 어두운 경우, 및 차량의 색이 밝은 경우와 어두운 경우로 총 4가지 경우의 동영상에서 테스트를 실시하였다.

이때 실내 주차장은 조명의 변화가 작기 때문에 일정 기간 동안 배경의 각 화소 밝기의 분포를 소수의 가우시안 모델로 정확하게 모델링 할 수 있으며, 배경 학습 기반 변화 검출 방법은 OpenCV(open Computer Vision)에서 제공하는 GMM 방법을 사용하였다.

한편 본 실시예에 따른 테스트에서 사용한 모드의 변수 값으로서, 수학식 2의

값은 4 이고, 모드의 개수

은 5 이다. 그리고 수학식 3의 학습율

값은 0.001이다.

또한 배경을 나타내는 모드를 결정하는 방법으로서, 우선 모든 모드를 가중치(수학식 2에서

)가 큰 순으로 정렬한다. 정렬 후 상위 K개의 모드의 가중치의 합이 임계값보다 크면 상위 K개의 모드가 배경을 나타내는 모드로 결정된다. 본 실시예에 따른 테스트에서는 임계값을 0.9로 설정하였다. 이는 테스트 영상에서 차량의 운행 빈도가 높지 않기 때문에 특정 화소의 위치에서 차량이 머문 시간들의 합이 전체 시간의 10% 이내로 가정한 것이다. 그리고 테스트 영상에서는 조명이 매우 작게 변하거나 서서히 변화하기 때문에 대부분의 영상 화소에서 K=1 이다.

본 실시예에 따른 테스트 영상에서 헤드라이트가 비춘 영역을 가능한 배경으로 분리하는 것이 좋은 성능 수치를 제공한다.

따라서 학습된 배경 영상과 입력된 영상에서 밝기 차가 작은 화소들을 가능한 배경으로 판정하기 위해서는 상기 수학식 2에서

값이 클수록 좋다. 본 실시예에 따른 테스트에서는

값을 4.0으로 정하였는데, 이는 가우시안 분포의 99.9%를 포함하는 값이다.

본 실시예에 따른 방법은 어안 렌즈를 통하여 획득한 영상에서 차량의 크기가 위치마다 다르기 때문에 영상을 48개의 격자(즉, 가상 영역)로 분할하고, 각 격자에서 차량의 최대 크기와 최소 크기를 사전에 학습하였다. 그리고 검출된 블랍 중에서 그 크기가 학습된 최소 차량 크기보다 큰 경우에만 차량 후보 영역으로 정하였다. 또한 블랍의 크기가 최대 차량 크기보다 크면, 본 실시예에 따른 방법으로 블랍을 분할하여 상기 블랍의 크기가 학습한 크기 범위 이내가 되도록 재분할하였다.

최종적으로 생성된 블랍이 차량에 의하여 생성된 것인지 아니면 차량의 헤드라이트에 의하여 생성된 것인지를 판단하기 위하여 입력 영상과 배경의 평균 영상의 유사도를 비교한다. 본 실시예에서는 두 영상(예 : 객체 영역, 바닥 영역)의 상관관계를 유사도 판별 기준으로 사용하였으며 유사도가 0.25보다 작으면 차량 영역으로 판단하였다.

본 실시예에 따른 배경 학습 기반의 차량 검출 테스트에서 헤드라이트에 의해 비춰진 부분도 차량의 영역과 동일 영역으로 검출하는 경우를 다수 확인할 수 있었으며, 차량과 헤드라이트에 의해 검출된 영역이 서로 분리되어 있는 경우에는 영역별로 유사도를 비교하여 차량 영역인지를 판단하였다.

이하 상기 4가지 경우(조명이 밝은 경우와 어두운 경우, 차량의 색이 밝은 경우와 어두운 경우)에 차량 영역을 각기 검출하는 방법에 설명한다.

첫 번째로서, 도 6을 참조하여 조명 밝기를 최대로 한 환경에서 검정색 차량 영역을 검출하는 경우에 대해서 설명한다.

상기와 같이 조명의 밝기를 최대로 한 경우에는 주차장 노면과 검정색 차량은 화소 밝기 값의 차이가 매우 크기 때문에 GMM 기반 블랍 검출 방법으로 차량의 영역을 효과적으로 검출하는 것이 가능하다(도 6의 (e)). 하지만 차량의 헤드라이트가 전면의 주차장 노면, 건물 기둥 등을 비추는 경우 이들 영역도 차량과 하나의 블랍으로 검출되었으나, 본 실시예에 따른 방법을 적용하여 보정한 결과 차량 영역만이 효과적으로 검출된 것을 보여주고 있다(도 6의 (f)).

두 번째로서, 도 7을 참조하여 조명 밝기를 최대로 한 환경에서 흰색 차량 영역을 검출하는 경우에 대해서 설명한다.

상기와 같이 조명등의 밝기를 최대로 한 경우에는 조명등 아래 주차장 노면에는 영상의 포화 현상이 발생한다. 이에 따라 상기 조명으로 인하여 포화된 주차장 노면과 흰색의 차량은 유사한 화소 밝기 값을 가지기 때문에, 포화 영역에서는 GMM 기반 변화 검출은 차량을 검출하지 못하였다(도 7의 (c)). 상기와 같은 환경에서는 본 실시예에 따른 방법으로도 객체의 영역을 정확하게 검출하지 못하였다(도 7의 (e)). 그러나 본 실시예에 따라 수학식 3을 적용하여 구멍을 채울 경우(즉, 보정할 경우) 객체 영역 검출 성능이 향상되었다(도 7의 (f)).

세 번째로서, 도 8을 참조하여 조명 밝기를 어둡게 한 환경에서 흰색 차량 영역을 검출하는 경우에 대해서 설명한다.

상기와 같이 주차장 조명을 어둡게 할 경우에는 조명 바로 아래의 포화 영역이 작아지며, 주차장 노면과 흰색 차량은 화소 밝기 값의 차이가 매우 크기 때문에 차량의 영역은 GMM 기반 블랍 검출 방법으로 효과적으로 검출이 가능하다. 도 8에서는 주차를 시도하는 차량의 전조등과 브레이크등이 차량 앞과 뒤의 노면을 비추는데, GMM 기반 검출 방법은 넓은 영역이 하나의 블랍으로 검출하였다(도 8의 (e)). 그러나 본 실시예에 따른 방법을 적용하여 보정할 결과 효과적으로 차량의 영역을 검출하였다(도 8의 (f)).

네 번째로서, 도 9를 참조하여 조명 밝기를 어둡게 한 환경에서 검정색 차량 영역을 검출하는 경우에 대해서 설명한다.

상기와 같이 주차장 조명이 어두운 경우에는 차량의 헤드라이트와 브레이크등에 의한 조명과 이들의 반사광으로 인하여 차량 주변에서 밝기의 변화가 발생한다. 이런 밝기 변화 때문에 GMM 기반 변화 검출은 도 9의 (e)에 도시된 바와 같이 차량보다 넓은 영역을 검출하게 된다. 또한 반사광에 의하여 차량으로부터 떨어진 곳에 추가로 변화 영역이 검출된다. 그러나 본 실시예에 따른 방법을 적용하여 보정할 결과 넓게 검출된 블랍 영역을 차량의 실측 크기와 비슷하게 줄일 수 있으며, 반사광에 의하여 검출된 블랍을 유사도를 이용하여 제거할 수 있었다(도 9의 (f)).

다음 수학식 8은 상기 4가지 경우에 대하여 거짓 양성 오차(false accept rate, FAR)와 거짓 음성 오차(false reject rate, FRR)를 계산하는 수식이다.

아래의 표 1 내지 표 4는 상기 4가지 경우에 대해 계산한 거짓 양성 오차(FAR)와 거짓 음성 오차(FRR)의 평균값을 보여주는 것으로서, 표 1은 조명 밝기를 최대로 한 환경에서 검정색 차량 영역을 검출한 경우의 성능을 보인 표이고, 표 2는 조명 밝기를 최대로 한 환경에서 흰색 차량 영역을 검출한 경우의 성능을 보인 표이고, 표 3은 조명 밝기를 어둡게 한 환경에서 흰색 차량 영역을 검출한 경우의 성능을 보인 표이고, 표 4는 조명 밝기를 어둡게 한 환경에서 검정색 차량 영역을 검출한 경우의 성능을 보인 표이다.

표 1 내지 표 4를 참조하면, 거짓 양성 오차(FAR)의 값이 상대적으로 크게 나오는데, 이는 헤드라이트에 의하여 생성된 블랍이 차량 영역으로 잘못 판정된 것이 주요 원인이다. 이들 블랍은 주로 건물 벽이나 주차 기둥을 헤드라이트가 비추는 경우인데, 이 영역은 차량이 존재할 수 없는 부분이다. 따라서 블랍 기반 주차 확인, 차량 추적 등의 응용 분야에서 본 실시예에 따른 방법을 이용하여 영역을 제한하는 방식으로 유용하게 적용할 수 있다.

상기와 같은 테스트를 위하여 카메라를 설치한 지하 주차장에서는 차량의 운행 빈도가 낮아, 단수의 차량이 헤드라이트를 켜고 운행하는 경우만 테스트를 수행하였다. 그러나 영상 내에서 복수의 차량이 운행하는 경우에도 차량이 일정 거리 이상 떨어져서 운행하기 때문에 배경 학습 검출 방법으로 블랍을 1차로 추출하고, 상기 1차로 추출한 블랍 영역의 히스토그램을 클러스터링하여 2차로 블랍을 재추출하는 본 실시예에 따른 방법은 기존의 배경 학습 기반 객체 검출의 문제점을 개선하는 효과가 있다. 또한 본 실시예에 따른 방법은 각 블랍에서 현재 영상과 학습된 배경 영상과의 유사도를 이용하여 차량의 영역에 해당하는 블랍을 분류함으로써 다양한 상황에서도 안정적으로 차량을 분류할 수 있도록 하는 효과가 있다.

또한 본 실시예에 따른 방법으로 객체를 검출할 경우, 객체 검출의 대상이 되는 차량은 크기가 크기 때문에 저해상도에서도 안정적인 검출이 가능하다. 본 실시예에 따른 테스트에서 사용한 카메라 원본 영상의 해상도는 1280*960이지만 객체 검출은 320x240 해상도로 줄여서 테스트 하였으며, 2.80 GHz core i7 CPU 노트북 컴퓨터에서 3468 프레임을 처리하여 연산량을 측정하였다. 이에 따라 한 영상 프레임을 처리하는 시간을 측정한 결과, GMM 방법으로 변화를 검출하는데 평균 3.4 msec, 변화 검출 결과로부터 블랍을 추출하는데 평균 1.8 msec, 블랍 내부에서 차분 영상의 히스토그램을 생성하고 히스토그램의 클러스터링을 통한 객체 후보 영역에 해당하는 블랍 생성, 및 생성된 블랍에서 유사도 계산 등의 일련의 연산량은 평균 1.1 msec가 소요되었다. 이는 블랍이 전체 영상의 일부분만을 차지하기 때문인데, 본 실시예에 따른 방법은 기존의 GMM 기반 객체 검출 방법과 비교할 때 연산량이 약 21% 향상되는 효과가 있음을 알 수 있다.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

110 : 카메라부
120 : 제어부
130 : 저장부
140 : 출력부

Claims (10)

1. 카메라를 통해 입력된 영상을 제어부가 가우시안 혼합 모델링 기법으로 모델링한 후 이진화 영상을 생성하는 단계;
   상기 이진화 영상에서 1차로 객체 후보 블랍을 추출하는 단계;
   상기 1차로 추출된 블랍에서 차분 영상의 히스토그램을 생성하는 단계;
   상기 히스토그램을 기반으로 클러스터링하여 상기 1차로 추출된 블랍을 두 영역으로 분리하여 2차 블랍을 추출하는 단계;
   상기 추출된 2차 블랍과 배경간의 유사성을 연산하는 단계; 및
   상기 유사성이 미리 설정된 문턱값 이하인 2차 블랍을 객체 영역으로 판단하는 단계;를 포함하되,
   상기 차분 영상의 히스토그램은 배경의 평균 영상과 입력 영상의 화소 밝기 차이의 히스토그램이며,
   상기 1차로 객체 후보 블랍을 추출하는 단계에서,
   상기 블랍에 구멍이 생성되는 경우, 상기 제어부는 공분산 행렬에 기초하여 상기 구멍을 채워 보정된 형상의 블랍을 추출하는 것을 특징으로 하는 실시간 객체 영역 검출 방법.
   
2. 제 1항에 있어서, 상기 두 영역은,
   차량 영역과 헤드라이트가 비춘 배경 영역인 것을 특징으로 하는 실시간 객체 영역 검출 방법.
   
3. 제 1항에 있어서, 상기 1차 블랍 및 2차 블랍은,
   미리 설정된 일정 크기 이상의 검출된 전경 화소들이 연결된 영역인 것을 특징으로 하는 실시간 객체 영역 검출 방법.
   
4. 삭제
5. 제 1항에 있어서, 상기 1차로 객체 후보 블랍을 추출하는 단계 이후에,
   상기 1차로 추출된 블랍이 추출된 영역에서 미리 설정된 객체 후보의 사이즈와 비교하여 상기 1차로 추출된 블랍이 해당 영역에서의 객체 후보에 해당하는지 판단하는 단계;를 더 포함하고,
   상기 판단에 따라, 상기 1차로 추출된 블랍이 미리 설정된 객체 후보의 최소 사이즈 이상이면서 최대 사이즈 보다 작으면, 상기 제어부가 상기 1차로 추출된 블랍과 배경간의 유사성을 연산하고, 상기 유사성이 미리 설정된 문턱값 이하이면 상기 1차로 추출된 블랍을 객체 영역으로 판단하는 것을 특징으로 하는 실시간 객체 영역 검출 방법.
   
6. 제 1항에 있어서, 상기 히스토그램을 기반으로 클러스터링하여 상기 1차로 추출된 블랍을 두 영역으로 분리하여 2차 블랍을 추출하는 단계에서,
   상기 히스토그램을 기반으로 클러스터링하는 것은, 상기 제어부가 상기 히스토그램을 밝기 값의 차이가 작은 영역과 밝기 값의 차이가 큰 영역으로 나누었을 때 각 영역의 분산에 영역의 화소 수 가중치를 곱한 합이 최소가 되도록 두 영역을 클러스터링 하는 것임을 특징으로 하는 실시간 객체 영역 검출 방법.
   
7. 제 1항에 있어서, 상기 2차 블랍을 추출하는 단계에서,
   상기 제어부는 상기 히스토그램을 클러스터링하는 임계값이 결정되면,
   차분 영상의 화소 밝기 값이 임계값보다 큰 화소들만으로 2차로 블랍을 추출하는 것을 특징으로 하는 실시간 객체 영역 검출 방법.
   
8. 제 1항에 있어서, 상기 2차 블랍과 배경간의 유사성을 연산하는 단계에서,
   상기 제어부는 상기 카메라 영상과 학습된 배경 영상을 정규화한 상관계수를 이용하여 유사성을 연산하되,
   상기 상관계수는 헤드라이트가 비춘 영역에서는 상관계수는 크고, 차량 영역에서는 상관계수가 작은 것을 특징으로 하는 실시간 객체 영역 검출 방법.
   
9. 감시 영역을 촬영하는 카메라부;
   상기 카메라부에서 촬영한 영상을 분석하여 배경 영역을 학습하고 상기 배경 영역과의 유사성이 떨어지는 객체 영역을 검출하는 제어부;
   상기 카메라부가 촬영한 영상 및 상기 제어부가 상기 카메라 영상을 처리하여 객체 영역을 검출하기 위한 방법을 저장하는 저장부; 및
   상기 제어부가 검출한 객체 영역의 판단 결과를 외부의 응용 장치에 출력하는 출력부;를 포함하되,
   상기 제어부는,
   카메라를 통해 입력된 영상을 제어부가 가우시안 혼합 모델링 기법으로 모델링한 후 이진화 영상을 생성하고, 상기 이진화 영상에서 1차로 객체 후보 블랍을 추출하고, 상기 1차로 추출된 블랍에서 차분 영상의 히스토그램을 생성하고, 상기 히스토그램을 기반으로 클러스터링하여 상기 1차로 추출된 블랍을 두 영역으로 분리하여 2차 블랍을 추출하고, 상기 추출된 2차 블랍과 배경간의 유사성을 연산하고, 상기 유사성이 미리 설정된 문턱값 이하인 2차 블랍을 객체 영역으로 판단하며,
   상기 차분 영상의 히스토그램은 배경의 평균 영상과 입력 영상의 화소 밝기 차이의 히스토그램이며,
   상기 1차로 객체 후보 블랍을 추출 함에 있어서, 상기 블랍에 구멍이 생성되는 경우, 상기 제어부는 공분산 행렬에 기초하여 상기 구멍을 채워 보정된 형상의 블랍을 추출하는 것을 특징으로 하는 실시간 객체 영역 검출 장치.
   
10. 삭제

Images