KR101394474B1 - 그림자 추정 장치 - Google Patents

Abstract

본 발명은 온라인 상에서 이동하는 물체의 그림자가 가지는 색도왜곡 및 밝기왜곡의 특성을 이용하여 이동 물체의 그림자를 탐지하는 그림자 추정 장치에 관한 것이다. 그림자 추정 장치는 이동물체의 그림자 영역의 색도왜곡 범위를 추정하는 색도 추정부; 및 상기 색도추정된 그럼자 영역의 밝기왜곡 범위를 추정하여 상기 이동물체의 그림자 집합 및 물체집합을 출력하는 밝기 추정부를 포함한다.

그림자 추정, 색도추정, 밝기추정

Description

그림자 추정 장치{Apparatus for estimation shadow}

본 발명은 온라인 상에서 이동하는 물체의 그림자가 가지는 색도왜곡 및 밝기왜곡의 특성을 이용하여 이동 물체의 그림자를 탐지하는 그림자 추정 장치에 관한 것이다.

최근 몇 년 동안 여러 응용분야에서 많은 수의 감시 시스템이 설치되어 운영되고 있고, 그 수가 계속 증가하고 있다. 최신 감시 시스템은 통행인과 차량을 자동으로 탐지하고 추적하여 이상동작, 물체추적, 현재 통행량 등을 판단하는 지능형 감시 시스템으로 발전하고 있다. 감시 시스템이 자동으로 사람이나 차량과 같은 이동하는 물체를 탐지할 때 이동 물체의 그림자도 같지 탐지된다. 이동 물체의 그림자는 감시 시스템이 물체의 정확한 형상을 탐지하는데 어려움을 주어, 감시 시스템이 탐지된 물체가 어떤 것인지 판단하기 힘들게 한다. 예를 들면, 2개의 물체가 그림자에 의해 연결되어 1개의 물체로 탐지되는 경우도 있고, 한 물체가 다른 물체의 그림자 속으로 들어가서 물체를 탐지하지 못하는 경우도 있다. 따라서, 이동 물체의 그림자를 정확하게 탐지하고, 탐지된 그림자를 제거하여 정확한 물체의 형상을 얻는 것은 추적(tracking), 인식(recognition), 분류(classification), 행동 분석(activity analysis)과 같은 탐지(detection) 이후 단계의 성능에 큰 영향을 미치고, 이후 단계를 더 효율적으로 수행할 수 있게 한다.

이동하는 물체의 그림자는 대부분 물체와 연결되어 있으며, 그림자의 이동속도와 방향이 물체와 동일하기 때문에 광 흐름(optical flow)을 이용하여 구분하는 것은 불가능하다. 또한 배경에 따라 그림자의 색상이나 텍스처(texture)가 달라지기 때문에 색상이나 밝기만 사용하여 구분하는 것도 대단히 어렵다. 이동하는 물체의 그림자를 탐지하여 제거하는 여러 방법들이 있는데, 많은 방법들이 그림자의 색도가 배경에 비해 거의 변하지 않고 밝기가 배경의 밝기 값보다 어두워진다는 특성을 이용한다. 이와 같은 색도와 밝기 특성을 이용하여 그림자 픽셀과 물체 픽셀을 구별하기 위해서는 그림자 픽셀들의 색도와 밝기 값의 범위를 알아낼 필요가 있다.

그림자 픽셀이 가지는 색도왜곡 및 밝기왜곡 특성을 이용하여 그림자를 탐지하고 제거하는 방법은, 차영상에서 이동물체로 탐지된 픽셀과 배경 픽셀을 비교하여 탐지된 픽셀이 배경에 비해 색도의 변화가 그림자 범위 내에 존재하고 현재 픽셀과 배경 픽셀의 휘도비가 그림자의 휘도비 범위 안에 존재하면 그림자로 판단한다. 그러나 기존 방법들은 색도와 밝기의 범위를 사람이 직접 설정해 주어야 하는 문제점이 있다.

범위를 사람이 직접 설정하는 문제를 해결하기 위해 학습을 통하여 자동으로 범위를 설정하는 방법들이 제안되었다. 이 방법은 기존의 영상 데이터에서 그림자 픽셀과 배경 픽셀의 특징을 각각 학습하여 색도와 밝기의 범위를 추정한 후, 차 영 상에서 탐지된 픽셀이 그림자 픽셀인지 물체 픽셀인지 판단한다. 이 방법은 그림자 픽셀과 배경 픽셀의 특징을 학습을 통하여 얻기 때문에, 학습 영상(training video set)이 필요하고, 학습 영상에서 어떤 영역이 그림자 픽셀이고 배경 픽셀인지 사람이 구분해 주어야 한다. 또, 학습 단계가 필요하기 때문에 온라인으로 동작하는데 무리가 있다.

본 발명이 해결하고자 하는 기술적인 과제는 카메라를 사용하는 감시 시스템에서 사람의 개입 없이 자동으로 그림자의 색상왜곡 및 밝기왜곡 범위를 추정하여 그림자를 탐지하고, 조명 조건이 변하거나 카메라가 변경되더라도 빠르게 적응하도록 하는 그림자 추정 장치를 제공하는데 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 그림자 추정 장치는 이동물체의 그림자 영역의 색도왜곡 범위를 추정하는 색도 추정부; 및 상기 색도추정된 그럼자 영역의 밝기왜곡 범위를 추정하여 상기 이동물체의 그림자 집합 및 물체집합을 출력하는 밝기 추정부를 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 색도 추정부는 영상의 매 프레임마다 정규화된 RGB값의 차에 대한 히스토그램을 생성하고, 현재 프레임의 히스토그램 및 최근 t 프레임 동안 생성한 정규화된 RGB값의 차에 대한 히스토그램을 누적한 누적 히스토그램을 생성하고, 상기 누적 히스토그램에서 극대값을 찾고 상기 극대값을 평균으로 하는 가우시안 함수 중에서 표준편차를 찾고, 상기 평균 및 표준편차를 이용하여 색도왜곡 범위값을 계산하여 해당 픽셀이 그림자인지 물체인지 판단할 수 있다.

본 발명에 있어서, 상기 정규화된 RGB값의 차에 대한 히스토그램 생성 시에 현재 영상 픽셀의 휘도를 RGB 각 채널로 구분하여 모든 채널의 값을 현재 영상 픽셀의 밝기값으로 각각 정규화하고, 배경 영상 픽셀의 휘도를 RGB 각 채널로 구분하 여 모든 채널의 값을 배경 영상 픽셀의 밝기값으로 각각 정규화 하고, 상기 현재 영상 및 배경 영상의 정규화된 RGB값을 채널별로 차를 구하고, 상기 정규화된 RGB값의 차를 채널별로 히스토그램으로 생성할 수 있다.

본 발명에 있어서, 상기 표준편차를 찾을 때, 상기 극대값을 찾고, 상기 극대값을 중심으로 상기 극대값 보다 큰 데이터와 상기 극대값 보다 작은 데이터로 구분하고, 상기 구분된 각각의 데이터에 대해 가우시안 함수를 찾아 두 개의 표준편차를 찾을 수 있다.

본 발명에 있어서, 상기 색도왜곡 범위값 계산 시에, 상기 극대값을 중심으로 계산된 두 개의 표준편차에 대해, 상한은 상기 극대값보다 큰 데이터에서 추정된 표준편차의 1.96배를 상기 극대값에 더한 값으로 설정하고, 하한은 상기 극대값보다 작은 데이터에서 추정된 표준편차의 1.96배를 상기 극대값에서 감산한 값으로 설정할 수 있다.

본 발명에 있어서, 상기 밝기 추정부는 영상의 매 프레임마다 휘도비 히스토그램을 생성하고, 현재 프레임의 히스토그램 및 최근 t 프레임 동안 생성한 휘도비 히스토그램을 누적한 누적 히스토그램을 생성하고, 상기 누적 히스토그램에서 극대값을 찾고 상기 극대값을 평균으로 하는 가우시안 함수 중에서 표준편차를 찾고, 상기 평균 및 표준편차를 이용하여 밝기왜곡 범위값을 계산하여 해당 픽셀이 그림자인지 물체인지 판단할 수 있다.

본 발명에 있어서, 상기 표준편차를 찾을 때, 상기 극대값을 찾고, 상기 극대값을 중심으로 상기 극대값 보다 큰 데이터와 상기 극대값 보다 작은 데이터로 구분하고, 상기 구분된 각각의 데이터에 대해 가우시안 함수를 찾아 두 개의 표준편차를 찾을 수 있다.

본 발명에 있어서, 상기 밝기왜곡 범위값 계산 시에, 상기 극대값을 중심으로 두 개의 표준편차를 계산하고, 상기 두 개의 표준편차가 1.5배 이상 차이가나면 큰 표준편차가 작은 표준편차의 1.5배 보다 크지 않도록 설정하고, 상기 두 개의 표준편차에 대해 상한은 상기 극대값보다 큰 데이터에서 추정된 표준편차의 1.96배를 상기 극대값에 가산한 값으로 설정하고, 상기 두 개의 표준편차에 대해, 하한은 상기 극대값보다 작은 데이터에서 추정된 표준편차의 1.96배를 상기 극대값에 감산한 값으로 설정하고, 상기 극대값이 두 개 이상 존재하는 경우 각 가우시안 영역에 대해 상한 및 하한 사이에 존재하는 픽셀의 수가 가장 큰 가우시안 영역을 그림자로 판단할 수 있다.

상술한 바와 같이 본 발명에 따르면, 특별한 학습 영상을 필요로 하지 않고, 조명변화나 환경변화에 실시간 온라인으로 적응하면서 색도범위 및 밝기범위를 추정하여 그림자를 탐지하여 단순하고 적은 계산을 필요로 하기 때문에 실시간으로 동작하면서도 사람이 범위를 직접 설정하거나 학습을 통해 범위를 추정할 필요가 없게 된다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1은 본 발명에 따른 그림자 추정 장치의 구성을 보이는 블록도로서, 배경 모델링부(100), 차영상 생성부(110), 색도 추정부(120) 및 밝기 추정부(130)를 포함한다.

배경 모델링부(100)는 입력 영상으로부터 이동이 없는 배경을 추정한다.

차영상 생성부(110)는 입력 영상에서 추정된 배경을 감산하여 영상으로부터 물체영역 및 그림자 영역을 검출한다.

색도 추정부(120)는 검출된 그림자 영역의 색도왜곡 범위를 추정한다.

밝기 추정부(130)는 색도추정된 그럼자 영역의 밝기왜곡 범위를 추정하여 이동물체의 그림자 집합 및 물체집합을 출력한다. 이후 영상으로부터 그림자를 제외한 이동물체를 감지한다.

삼자극 이론(tristimulus theory of color perception)에 의하면 영상의 각 픽셀 p(x,y)의 휘도(intensity)는 수학식 1과 같다.

[수학식 1]

이때 λ는 빛의 파장, S는 조도(illumination), ρ는 반사율(surface albedo), O는 관찰자 감도(sensor sensitivity)이다. 도 2와 같은 그림자 모델에서 직접 광과 간접 광 두 개의 광원이 존재하므로 조도 S를 직접 광 S_s 및 간접 광 S_a로 구분하고, 반사율도 물체의 반사율 ρ_o 및 배경의 반사율 ρ_b로 구분한다.

영상의 모든 픽셀은 같은 간접 광 S_a를 가지고, 그림자가 아닌 모든 픽셀은 같은 직접 광 S_s를 가진다. 반그림자나 옅은 그림자가 존재하지 않는다고 가정하면, 모든 그림자 픽셀에는 간접 광 S_a만 비추고, 그림자가 아닌 모든 픽셀에는 직접 광 S_s 및 간접 광 S_a가 같이 비춘다. 물체 픽셀의 휘도를 I_o(x,y), 배경 픽셀의 휘도를 I_b(x,y), 그림자 픽셀의 휘도를 I_s(x,y)라 하고, 배경과 물체가 완전 확산면(lambertian surface)이라면, 수학식 2와 같은 휘도를 계산할 수 있다.

[수학식 2]

이때, I_o(x,y) 및 I_b(x,y), I_s(x,y) 및 I_b(x,y)의 휘도비(intensity ratio)를 계산하면 수학식 3과 같다.

[수학식 3]

여기서 I_s(x,y) 및 I_b(x,y)의 휘도비에는 각 픽셀의 반사율에 상관없이 그림자와 배경의 밝기값의 비가 나온다. 즉, 모든 그림자 픽셀은 반사율에 상관없이 동일한 휘도비를 가지게 된다. 모든 그림자 픽셀이 동일한 휘도비를 가진다는 특징은 본 발명에서 이동하는 물체와 이동 물체의 그림자를 구분하는 중요한 특징으로 사용된다.

배경 모델링부(100)에 의해 입력 영상으로부터 배경 모델을 만든 후, 차영상 생성부(110)에 의해 의해 차영상을 구하여 이동 물체 집합(moving object set)을 얻는다. 이동 물체 집합에 속하는 픽셀에 대해, 현재 입력된 영상의 밝기가 배경 영상의 밝기보다 밝은 픽셀은 물체 픽셀로 판단한다. 수학식 3에서 직접광 S_s 및 간접 광 S_a가 모두 0보다 크므로, 그림자와 배경의 휘도비 I_s(x,y)/I_b(x,y)는 항상 1보다 작다. 즉, 그림자는 항상 배경보다 어둡기 때문에 배경보다 밝은 픽셀은 그림자가 될 수 없다. 따라서, 배경보다 밝은 픽셀을 물체 픽셀로 판단한다.

이동 물체 집합의 픽셀을 p(x,y)라 하고, p(x,y)의 배경 픽셀을 p_b(x,y)라고 정의한다. 만약 빛이 백색광이고 카메라의 센서가 이상적이라면, 색왜곡(color distortion)이 존재하지 않기 때문에 도 3a와 같이 3차원 RGB 색공간에서 배경 픽셀 p_b(x,y) 및 원점을 연결한 직선 상에 p(x,y)가 위치해야 한다. 따라서 현재 영상 픽셀 p(x,y)가 배경 픽셀 p_b(x,y)와 원점을 연결한 직선 상에 위치하면 그림자 픽셀로 판단한다.

하지만, 실제 환경에서 빛은 백색광이 아닐 수 있고 카메라의 센서도 이상적이지 않을 수 있기 때문에 색왜곡이 존재한다. 색왜곡이 존재하면 도 3a와 같이 p(x,y)가 원점과 p_b(x,y)를 지나는 직선상에 위치하지 않고, 도 3b와 같이 직선 근처의 p^(x,y) 위치에 놓이게 된다. p(x,y) 및 p^(x,y)의 오차를 색도왜곡이라 하고, p(x,y) 및 p_b(x,y)의 오차를 밝기왜곡 이라 한다. 색도왜곡은 빛과 카메라 센서의 색왜곡 및 소음에 의존적이기 때문에 시간, 장소, 조명조건, 카메라에 따라 달라진다. 색도 추정부(120)는 그림자 픽셀이 가지는 색도왜곡 범위를 추정하여 픽셀 p(x,y)가 그림자 픽셀인지 물체 픽셀인지 판단한다.

현재 영상 p(x,y)의 휘도를 I_p(x,y), 배경 영상 p_b(x,y)의 휘도를 I_b(x,y)라고 하면, I_p(x,y) 및 I_b(x,y)를 RGB 세 개의 채널로 구분하여 그 값을 I_P ^R(x,y), I_P ^G(x,y), I_P ^B(x,y)와 I_B ^R(x,y), I_b ^G(x,y), I_b ^B(x,y)라 한다. p(x,y) 및 p_b(x,y)의 밝기 값을 각각 V_p(x,y) 및 V_b(x,y)라 하고, 모든 채널의 밝기 값을 각각 정규화 하면, 수학식 4와 같다.

[수학식 4]

여기서, I_P ^{^R}(x,y), I_P ^{^G}(x,y), I_P ^{^B}(x,y)는 p(x,y)의 정규화된 RGB값이고, I_b ^{^R}(x,y), I_b ^{^G}(x,y), I_b ^{^B}(x,y)는 p_b(x,y)의 정규화된 RGB값이다. 그 다음, 수학식 5와 같이 p(x,y) 및 p_b(x,y)의 정규화된 RGB값의 차가 일정 범위 내에 존재하는지 확인하여, 범위 내에 존재하면 후보 그림자 집합에 포함시키고, 범위 밖에 존재하면 물체 집합에 포함시킨다.

[수학식 5]

수학식 5의 색도왜곡 범위 값인 r_l, r_h, g_l, g_h, b_l, b_h를 결정하기 위해, 먼저, RGB 각 채널별로 정규화된 RGB값의 차이 I_P ^{^R}(x,y)-I_b ^{^R}(x,y), I_P ^{^G}(x,y)-I_b ^{^G}(x,y), I_P ^{^B}(x,y)-I_b ^{^B}(x,y)에 대한 히스토그램을 만든다. 도 4, 도 5 및 도 6은 각 동영상 별로 특정 프레임에서의 RGB 각 채널 별로 정규화된 RGB값의 차를 히스토그램으로 만든 결과이다.

도 4는 Highway 1 영상의 No.25 프레임의 영상(a), 그림자 탐지 결과(b), 정규화된 RGB값의 차에 대한 히스토그램(c,d,e)을 도식화한 것이다. 도 4a는 입력 영상, 도 4b는 차영상에 대해 색도 추정부(120)를 이용하여 그림자와 물체를 구분한 영상이다. 색도 추정부(120)에 의해 그림자로 판단된 픽셀은 빨간색(red), 물체로 판단된 픽셀은 흰색(white)으로 표시된다. 도 4c, 도 4d 및 도 4e는 R, G, B 채널의 정규화된 RGB값의 차에 대한 히스토그램이다. r_l, r_h, g_l, g_h, b_l, b_h값을 계산하면 -0.11, 0.01, -0.06, 0.04, -0.07, 0.11이 된다.

도 5는 Intelligent room 영상의 No.100 프레임의 영상(a), 그림자 탐지 결과(b), 정규화된 RGB값의 차에 대한 히스토그램(c,d,e)을 도식화한 것이다. 도 5a는 입력 영상, 도 5b는 차영상에 대해 색도 추정부(120)를 이용하여 그림자와 물체를 구분한 영상이다. 색도 추정부(120)에 의해 그림자로 판단된 픽셀은 빨간색(red), 물체로 판단된 픽셀은 흰색(white)으로 표시된다. 도 5c, 도 5d 및 도 5e는 R, G, B 채널의 정규화된 RGB값의 차에 대한 히스토그램이다. r_l, r_h, g_l, g_h, b_l, b_h값을 계산하면 -0.01, 0.02, -0.06, 0.04, -0.13, 0.07이 된다.

도 6은 Laboratory 영상의 No.100 프레임의 영상(a), 그림자 탐지 결과(b), 정규화된 RGB값의 차에 대한 히스토그램(c,d,e)을 도식화한 것이다. 도 6a는 입력 영상, 도 6b는 차영상에 대해 색도 추정부(120)를 이용하여 그림자와 물체를 구분한 영상이다. 색도 추정부(120)에 의해 그림자로 판단된 픽셀은 빨간색(red), 물체로 판단된 픽셀은 흰색(white)으로 표시된다. 도 6c, 도 6d 및 도 6e는 R, G, B 채널의 정규화된 RGB값의 차에 대한 히스토그램이다. r_l, r_h, g_l, g_h, b_l, b_h값을 계산하면 -0.02, 0.01, -0.06, 0.01, -0.05, 0.03이 된다.

색도 추정부(120)는 매 프레임마다 정규화된 RGB값의 차에 대한 히스토그램을 생성하고, 현재 프레임의 히스토그램 및 최근 t 프레임 동안 생성한 정규화된 RGB값의 차에 대한 히스토그램을 누적한 누적 히스토그램(cumulative histogram)을 생성한다. 그 다음, 누적 히스토그램에서 극대값(peak value)을 찾고, 이 극대값을 평균(mean)으로 가지는 가우시안 함수(gaussian function) 중에서 가장 히스토 그램에 잘 맞는 표준편차(standard deviation)를 찾는다. 이렇게 찾은 평균과 표준편차를 이용하여 색도왜곡 범위값을 계산하고, 픽셀이 그림자인지 물체인지 판단한다. 그러나 빛과 카메라 센서의 색왜곡이 극대값 주위에 항상 대칭으로 분포하지는 않기 때문에, 가우시안을 찾을 때 극대값을 중심으로 극대값보다 큰 데이터와 작은 데이터 각각에 대해 가우시안 함수를 찾아 두 개의 표준편차를 찾는다.

극대값보다 큰 데이터에서 구한 표준편차를 σ_h, 작은 데이터에서 구한 표준편차를 σ_l이라 하면, 색왜곡 범위값의 high 및 low는 수학식 6과 같다.

[수학식 6]

이와 같이 수학식 6을 RGB 각 채널에 대해 수행하여 R 채널의 low r_l과 high r_h, G 채널의 low g_l과 high g_h, B 채널의 low b_l과 high b_h를 추정한다.

그림자 픽셀의 경우, 도 3b에서와 같이 현재 픽셀 p(x,y) 및 배경 픽셀 p_b(x,y) 사이에 오차가 발생하는데, 이를 밝기왜곡(brightness distortion)이라고 한다. 수학식 3에 의하면 모든 그림자 픽셀은 원래 배경 픽셀보다 밝기가 어둡고, 같은 휘도비 I_s(x,y)/I_b(x,y) 값을 가진다. 따라서 그림자 픽셀들의 휘도비에 대한 히스토그램을 만들면 특정 휘도비 값을 가지게 되며, 이 값이 그림자의 밝기왜곡 값이 된다. 그러나 실제 환경에서 소음(noise)이 존재하기 때문에, 그림자 픽셀들 의 휘도비에 대한 히스토그램을 만들며 그림자의 휘도비 값을 평균으로 하는 정규분포(gaussian distribution)를 나타내고, 소음 특성에 따라 표준편차가 결정된다. 하기 수학식 7과 같이 후보 그림자 집합(candidate shadow set)의 모든 픽셀 p(x,y)에 대해 휘도비를 계산한 후, 휘도비 값이 일정 범위 내에 존재하는지 확인하여, 그림자인지 물체인지 판단한다.

[수학식 7]

수학식 7의 밝기왜곡 범위값인 I_l 및 I_h를 결정하기 위해, 먼저 후보 그림자 집합에 속하는 모든 픽셀에 대해 휘도비를 계산하고, 휘도비 히스토그램을 만든다. 도 7, 도 8 및 도 9는 각 동영상 별로 특정 프레임에서의 휘도비를 히스토그램으로 만든 결과이다. 일반적으로 그림자 픽셀들은 특정 휘도비 값 근처에 존재하고 물체 픽셀들은 다양한 휘도비 값을 가지가 때문에, 그림자의 휘도비 값에서 극대값이 나타난다.

도 7은 Highway 1 영상의 No.25 프레임의 영상(a), 그림자 탐지 결과(b), 휘도비 값에 대한 히스토그램(c)을 도식화한 것이다. 도 7a는 입력 영상, 도 7b는 차영상에 대해 색도 추정부(120)를 이용하여 후보 그림자 집합(candidate shadow set)을 생성하고, 밝기 추정부(130)를 이용하여 그림자와 물체를 구분한 영상이다. 최종적으로 그림자로 판단된 픽셀은 빨간색(red), 물체로 판단된 픽셀은 흰색(white)으로 표시된다. 도 7c는 휘도비 값에 대한 히스토그램이다. low 값 및 high 값을 계산하면 0.32 및 0.52가 된다.

도 8은 Intelligent room 영상의 No.100 프레임의 영상(a), 그림자 탐지 결과(b), 휘도비 값에 대한 히스토그램(c)을 도식화한 것이다. 도 8a는 입력 영상, 도 8b는 차영상에 대해 색도 추정부(120)를 이용하여 후보 그림자 집합을 생성하고, 밝기 추정부(130)를 이용하여 그림자와 물체를 구분한 영상이다. 최종적으로 그림자로 판단된 픽셀은 빨간색(red), 물체로 판단된 픽셀은 흰색(white)으로 표시된다. 도 8c는 휘도비 값에 대한 히스토그램이다. low 값 및 high 값을 계산하면 0.83 및 0.94가 된다.

도 9는 Laboratory 영상의 No.100 프레임의 영상(a), 그림자 탐지 결과(b), 휘도비 값에 대한 히스토그램(c)을 도식화한 것이다. 도 9a는 입력 영상, 도 9b는 차영상에 대해 색도 추정부(120)를 이용하여 후보 그림자 집합을 생성하고, 밝기 추정부(130)를 이용하여 그림자와 물체를 구분한 영상이다. 최종적으로 그림자로 판단된 픽셀은 빨간색(red), 물체로 판단된 픽셀은 흰색(white)으로 표시된다. 도 9c는 휘도비 값에 대한 히스토그램이다. low 값 및 high 값을 계산하면 0.87 및 0.94가 된다.

밝기 추정부(130)는 매 프레임마다 휘도비 히스토그램을 생성하고, 현재 프레임의 히스토그램과 최근 t 프레임 동안 생성한 휘도비 히스토그램을 누적한 누적 히스토그램을 생성한다. 그 다음 누적 히스토그램에서 극대값을 찾고, 이 극대값을 평균으로 가지는 가우시안 함수 중에서 가장 히스토그램에 잘 맞는 표준편차를 찾는다. 이렇게 찾은 평균과 표준편차를 이용하여 밝기왜곡 범위값 I_l 및 I_h를 계산하고, 픽셀이 그림자인지 물체인지 판단한다. 그러나 후보 그림자 집합에는 그림자 픽셀뿐만 아니라 물체 픽셀도 존재하기 때문에, 추정된 평균과 표준편차는 물체 픽셀에 의한 영향으로 실제 그림자 픽셀들의 평균과 표준편차와 다른 값을 가질 수 있고, 정규분포가 대칭이 아닐 수도 있다. 따라서 색도 추정부(120)와 동일한 방식으로, 가우시안 함수를 찾을때 극대값을 중심으로 극대값보다 큰 데이터와 작은 데이터 각각에 대해 가우시안 함수를 찾아서 두 개의 표준편차를 찾는다. 이때 두 표준편차가 1.5배 이상 차이가 나면, 큰 표준편차가 작은 표준편차의 1.5배보다 크지 않도록 설정한다.

극대값보다 큰 데이터에서 구한 표준편차를 σ_h, 작은 데이터에서 구한 표준편차를 σ_l이라 하면, 밝기왜곡 범위값의 상한 I_l 및 하한 I_h은 수학식 8과 같다.

[수학식 8]

일반적으로 휘도비 히스토그램에서 그림자 픽셀들은 특정 휘도비 값 근처에 존재하고 물체 픽셀들은 다양한 휘도비 값을 가지기 때문에 그림자의 휘도비 값에서 극대값이 존재한다. 그러나 도 8과 같이 물체 픽셀들의 휘도비 값이 특정 범위에 집중될 수도 있다. 도 8 영상의 경우, 0.38 및 0.87에서 두 개의 극대값이 존재한다. 극대값이 가장 큰 것은 0.38이지만, 실제 그림자는 0.87을 평균으로 가지는 가우시안 영역이다. 영상에 등장하는 사람이 입고 있는 옷의 색도(chromaticity)가 배경과 비슷하고, 옷 픽셀의 휘도비 값이 표준편차가 작기 때문에 그림자의 휘도비 값에서 한 개의 극대값이 생기고, 옷의 휘도비 값에서 또 하나의 극대값이 생긴다. 이와 같이, 극대값이 두 개 이상 존재하는 경우 어떤 것이 실제 그림자에 해당하는 영역인지 추정해야 하는 문제가 발생한다. 확률적으로 색도가 배경과 비슷한 이동 물체의 픽셀 수보다 그림자의 픽셀 수가 더 많기 때문에, 각 가우시안 영역에 대해 앞에서 설명한 가우시안 함수를 찾고, I_l 및 I_h 사이에 존재하는 픽셀의 수가 가장 큰 가우시안 영역을 그림자로 판단한다. 도 10은 밝기 추정부(130)의 알고리즘을 가상 코드로 나타낸 것이다.

본 발명은 그림자 영역의 값을 기존의 다른 방법들처럼 사람이 직접 설정하거나 학습을 통해서 추정하는 대신, 자동으로 그림자 영역의 값을 온라인 상에서 실시간으로 추정하여 그림자를 탐지한다. 또한, 매개변수를 자동으로 조절하므로 환경이 변하는 상황에 빠르게 적응한다. 제안하는 방법은 기존 방법들에서 최적의 매개변수(parameter)를 사용할 때와 비슷한 그림자 탐지 성능을 가지면서 기존 방법들에 비해 대단히 빠르게 동작하기 때문에 실시간 시스템에 적합하다.

도 11은 본 발명의 실시간 온라인 적응 그림자 추정기와 기존 방법들의 그림자 탐지 성능을 비교한 결과이다. 도 11에서 그림자 탐지 율(shadow detection rate)(η) 및 그림자 인식 율(shadow discrimination rate)(ξ)의 두 가지 성능 평가지표(performance measurement)를 사용하였다. 그림자 탐지 율(η) 및 그림자 인식율(ξ)은 수학식 9와 같이 정의된다.

[수학식 9]

수학식 9에서 TP_s는 그림자 픽셀을 그림자 픽셀로 판단한 수, TP_f는 물체 픽셀을 물체 픽셀로 판단한 수, FN_s는 그림자 픽셀을 물체 픽셀로 판단한 수, FN_f는 물체 픽셀을 그림자 픽셀로 판단한 수 이다.

도 11의 결과에서, 본 발명은 그림자 영역의 매개변수를 사람이 직접 설정하거나 학습에 의해 추정하는 방법들과 비슷한 그림자 탐지 성능을 보여준다. 이는 색도 추정부(120) 및 밝기 추정부(130)에 의해 자동으로 추정된 그림자 영역의 값이 학습을 통하여 추정한 값과 사람이 직접 설정한 값과 비슷하다는 것을 의미한다. 따라서 본발명은 기존 방법들에 비해 성능의 저하는 거의 없으면서, 그림자 영역의 값을 자동으로 설정하지 못하기 때문에 조명 변화에 적응하지 못한다는 단점과 별도의 학습 단계가 필요하다는 단점을 해결할 수 있다.

도 12는 본 발명에서 제안하는 그림자 추정 장치를 여러 영상에 대해 다른 환경에서 동작시켜 실행 속도를 비교한 결과이다. 테스트 프로그램은 다중쓰레드(multi-thread), 병렬 프로그래밍(parallel programming), SIMD 기술은 사용하지 않고, Plain C/C++를 사용하여 Visual C++로 컴파일 하였다. 첫 번째 줄은 본 발명을 모바일 PC, 환경에서 동작시킨 결과이다. 최적화되지 않은 테스트 프로그램이 모바일 PC 환경에서도 평균 26.21 fps로 동작하기 때문에 실시간 감시 시스템에 적합한 방법임을 알 수 있다. 또한 기존 여러 방법들과 비교하여도 본 발명이 1.5배 이상 빠른 것을 확인 할 수 있다.

도 1은 본 발명에 따른 그림자 추정 장치의 구성을 보이는 블록도 이다.

도 2는 그림자 모델을 도식화한 것이다.

도 3은 3차원 RGB 색공간에서 영상의 위치를 보이는 도면이다.

도 4는 제1 영상, 그림자 탐지 결과 및 정규화된 RGB값의 차에 대한 히스토그램을 보이는 도면이다.

도 5는 제2 영상, 그림자 탐지 결과 및 정규화된 RGB값의 차에 대한 히스토그램을 보이는 도면이다.

도 6은 제3 영상, 그림자 탐지 결과 및 정규화된 RGB값의 차에 대한 히스토그램을 보이는 도면이다.

도 7은 제1 영상, 그림자 탐지 결과 및 휘도비 값에 대한 히스토그램을 보이는 도면이다.

도 8은 제2 영상, 그림자 탐지 결과 및 휘도비 값에 대한 히스토그램을 보이는 도면이다.

도 9는 제3 영상, 그림자 탐지 결과 및 휘도비 값에 대한 히스토그램을 보이는 도면이다.

도 10은 밝기 추정부의 알고리즘을 가상코드(pseudo code)로 나타낸 것이다.

도 11은 본 발명 및 종래방법들의 그림자 탐지 성능을 비교한 표이다.

도 12는 본 발명 및 종래방법들을 PC 환경에서 동작시킨 결과를 나타낸 표이다.

Claims (8)

1. 색도왜곡 범위를 계산하고, 배경 모델과 입력 영상의 차이영상을 구하여 획득된 이동물체 집합에 속하는 픽셀이 상기 색도왜곡 범위 밖에 존재하면 상기 이동물체 집합에 포함시키고, 상기 이동물체 집합에 속하는 픽셀이 상기 색도왜곡 범위 내에 존재하면 이동물체의 그림자 집합 후보에 포함시키는 색도 추정부; 및

   밝기왜곡 범위를 계산하고, 상기 이동물체의 그림자 집합 후보에 속하는 픽셀이 상기 밝기왜곡 범위 밖에 존재하면 상기 이동물체 집합에 포함시키고, 상기 이동물체의 그림자 집합 후보에 속하는 픽셀이 상기 밝기왜곡 범위 내에 존재하면 이동물체의 그림자 집합에 포함시키는 밝기 추정부;를 포함하고,

   상기 색도 추정부는,

   영상의 매 프레임마다 정규화된 RGB값의 차에 대한 히스토그램을 생성하고, 현재 프레임의 히스토그램 및 최근 t 프레임 동안 생성한 정규화된 RGB값의 차에 대한 히스토그램을 누적한 누적 히스토그램을 생성하고, 상기 누적 히스토그램에서 극대값을 찾고 상기 극대값을 평균으로 하는 가우시안 함수 중에서 표준편차를 찾고, 상기 평균 및 표준편차를 이용하여 상기 색도왜곡 범위를 계산하고,

   상기 밝기 추정부는,

   상기 영상의 매 프레임마다 휘도비 히스토그램을 생성하고, 현재 프레임의 히스토그램 및 최근 t 프레임 동안 생성한 휘도비 히스토그램을 누적한 누적 히스토그램을 생성하고, 상기 누적 히스토그램에서 극대값을 찾고 상기 극대값을 평균으로 하는 가우시안 함수 중에서 표준편차를 찾고, 상기 평균 및 표준편차를 이용하여 상기 밝기왜곡 범위를 계산하는 것을 특징으로 하는 그림자 추정장치.
2. 삭제
3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.

   제 1항에 있어서, 상기 정규화된 RGB값의 차에 대한 히스토그램 생성 시에

   현재 영상 픽셀의 휘도를 RGB 각 채널로 구분하여 모든 채널의 값을 현재 영상 픽셀의 밝기값으로 각각 정규화하고,

   배경 영상 픽셀의 휘도를 RGB 각 채널로 구분하여 모든 채널의 값을 배경 영상 픽셀의 밝기값으로 각각 정규화 하고,

   상기 현재 영상 및 배경 영상의 정규화된 RGB값을 채널별로 차를 구하고,

   상기 정규화된 RGB값의 차를 채널별로 히스토그램으로 생성하는 것을 특징으로 하는 그림자 추정 장치.
4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.

   제 1항에 있어서, 상기 표준편차를 찾을 때,

   상기 극대값을 찾고,

   상기 극대값을 중심으로 상기 극대값 보다 큰 데이터와 상기 극대값 보다 작은 데이터로 구분하고,

   상기 구분된 각각의 데이터에 대해 가우시안 함수를 찾아 두 개의 표준편차를 찾는 것을 특징으로 하는 그림자 추정 장치.
5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.

   제 4항에 있어서, 상기 색도왜곡 범위 계산 시에,

   상기 극대값을 중심으로 계산된 두 개의 표준편차에 대해, 상한은 상기 극대값보다 큰 데이터에서 추정된 표준편차의 1.96배를 상기 극대값에 더한 값으로 설정하고, 하한은 상기 극대값보다 작은 데이터에서 추정된 표준편차의 1.96배를 상기 극대값에서 감산한 값으로 설정하는 것을 특징으로 하는 그림자 추정 장치.
6. 삭제
7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.

   제 1항에 있어서, 상기 표준편차를 찾을 때,

   상기 극대값을 찾고,

   상기 극대값을 중심으로 상기 극대값 보다 큰 데이터와 상기 극대값 보다 작은 데이터로 구분하고,

   상기 구분된 각각의 데이터에 대해 가우시안 함수를 찾아 두 개의 표준편차를 찾는 것을 특징으로 하는 그림자 추정 장치.
8. 제 7항에 있어서, 상기 밝기왜곡 범위 계산 시에,

   상기 극대값을 중심으로 두 개의 표준편차를 계산하고,

   상기 두 개의 표준편차가 1.5배 이상 차이가나면 큰 표준편차가 작은 표준편차의 1.5배 보다 크지 않도록 설정하고,

   상기 두 개의 표준편차에 대해 상한은 상기 극대값보다 큰 데이터에서 추정된 표준편차의 1.96배를 상기 극대값에 가산한 값으로 설정하고,

   상기 두 개의 표준편차에 대해, 하한은 상기 극대값보다 작은 데이터에서 추정된 표준편차의 1.96배를 상기 극대값에 감산한 값으로 설정하고,

   상기 극대값이 두 개 이상 존재하는 경우 각 가우시안 영역에 대해 상한 및 하한 사이에 존재하는 픽셀의 수가 가장 큰 가우시안 영역을 그림자로 판단하는 것을 특징으로 하는 그림자 추정 장치.

Images