KR101624840B1 - 영상 내 그림자 화소 제거를 위한 배경 기반 방법 - Google Patents

Abstract

본 발명은 배경에 따른 적응적 영상 내 그림자 화소 제거 방법에 관한 것으로, 비디오 영상 시퀀스단계(S1단계)와; RGB 컬러영상 획득단계(S2단계)와; 컬러 입력영상 획득단계(S3단계)와; 흑백영상 획득단계(S4단계)와; 배경영상 생성단계(S5단계)와; 동적영상 생성단계(S6단계)와; 전경영상 획득단계(S7단계)와; 그림자 후보영역 검출단계(S8단계) 및; 그림자 화소 제거단계(S9단계)로 이루어져 그림자에 기인한 화소 밝기의 강하가 화소가 배경에서 가지는 밝기에 의존적이라는 사실을 확인하고, 배경 밝기에 따라 각 화소마다 다른 기준으로 임계치를 적용한 후 그림자 화소의 판정에 이용함으로써 전체 화소에 대해서 획일적인 그림자 판정기준을 적용하는 기존의 기법에 비해서 공간적 그리고 시간적으로 높은 적응성을 기대할 수 있고, 배경에 어떤 형태의 패턴이 존재한다고 할 때, 영상의 국부적 특성을 간단하게 그림자 화소 판정에 적용할 수 있는 각별한 장점이 있는 유용한 발명이다.

Description

영상 내 그림자 화소 제거를 위한 배경 기반 방법{Background-based method for removing shadow pixels in an image}

본 발명은 비디오 카메라를 이용한 감시 장치에서 영상 내 동적 객체의 인식률을 높이기 위해 객체의 그림자 화소를 제거하는 방법에 관한 것으로서, 더욱 상세하게는 일정 크기의 윈도우 내 동적 객체와 배경 영역의 밝기 분포 패턴을 비교하여 그 유사도가 낮으면 객체로 분류하고, 높으면 그림자로 검출하여 그림자 화소를 제거하는 영상 내 그림자 화소 제거를 위한 배경 기반 방법에 관한 것이다.

일반적으로 비디오 카메라에 의한 감시 및 관측, 즉 VS(Video Surveillance)는 특정 관심지역을 조망할 수 있도록 설치된 카메라의 비디오 영상을 보안이나 교통관리 등 주어진 목적에 맞게 자동 처리하는 컴퓨터 시각(computer vision) 기술로, 근래에 와서 많은 연구자의 관심을 끌고 있다.

이러한 VS(Video Surveillance)의 주요한 활용은 차량이나 사람 등 동적 물체를 비디오 영상 내에서 검출하고, 그 물체의 종류를 분류하고, 동작을 분석하고 이해하는 것들이 된다.

VS의 첫 번째 절차는 영상 내 전경(foreground)의 추출인데, 추출된 전경에는 관심의 대상이 되는 동적 객체 외에도 이의 그림자까지 포함되게 된다. 이때 전경은 물체의 본래 형태와는 다르게 나타나므로 분류나 인식과 같이 후행되는 절차들에서 오류를 유발할 수 있다. 이러한 이유로 영상 내 그림자를 검출함으로써 이를 제거할 수 있게 하기 위한 기법들이 다양하게 연구되어 왔다(비특허문헌 1).

Prati 등(비특허문헌 2)은 기존의 그림자 검출 기법들을 확률적 매개변수( SP: Statistical Parametric)기법(비특허문헌 3)과 확률적 비매개변수(SNP: Stati stical Non-Parametric)기법(비특허문헌 4), 그리고 결정적 모델기반(DM: Determi nistic Model Based)기법(비특허문헌 5)과 결정적 비모델기반(DNM: Deterministic Non-Model based)기법(비특허문헌 6)으로 분류하고 비교 실험하였을 때, 컬러정보를 이용한 DNM 기법이 가장 안정적으로 좋은 결과를 보였음을 보고한 바 있다.

Cucchiara 등이 제안한 DNM 기법(비특허문헌 6)은 HSV(Hue Saturation Value) 컬러 공간에서 그림자에 의한 화소값 변화를 임계치를 사용하여 검출하였다. HSV 컬러 공간은 인간의 컬러 인식과 가장 유사한 방식이며, 밝기 V 와 색상 H 및 S 가 분리되어 그림자 화소를 검출하는데 유용한 장점을 가진다.

Prati 등은 비디오 영상 내 그림자를 검출하기 위한 기존의 기법들을 비교 실험하였다. 그 결과 DNM 기법이 다양한 경우에서 여러 기법 중에 가장 안정적인 결과를 보였다. Cucchiara 등의 기법은 화소 기반의 DNM 기법으로, 먼저 카메라의 RGB(Red Green Blue) 컬러 영상을 HSV 컬러 영상으로 아래 수학식1, 2, 3에 의하여 변환하였다.

그리고 변환된 비디오 영상의 t 번째 프레임에서 전경 내 임의 화소 p는 아래 수학식 4의 세 조건을 모두 만족할 경우 그림자 영역 sh에 속한다고 판정하였다.

여기서 ∧는 논리곱을 의미하며, I(p)는 화소 p의 전경에서의 값이고, B(p)는 화소 p의 배경에서의 값이다. 또, 아래 첨자는 화소의 H, S, 혹은 V의 컬러 값을 지칭하기 위해 사용되었고, α, β, τS 그리고 τH는 판정을 위해 사용된 임계치들이다. 이러한 임계치들은 학습용으로 사용된 영상에서 그림자 화소들을 적절히 추출할 수 있도록 사용자가 시행착오에 의하여 적절하게 결정하게 된다. 식 (2)는 화소의 V값이 일정한 범위 내에서 다소 크게 변화하지만 S와 H의 값은 큰 변화가 없을 때 그 화소에 그림자가 드리워졌다고 판정하는 것을 의미한다. 즉, 그림자는 화소의 색채는 크게 변화시키지 않고 밝기만 상당히 낮추는 원인이 된다.

S. M. Hwang and D. J. Kang, "A shadow region suppression method using intensity projection and converting energy to improve the performance of probabilistic background subtraction," Journal of Institute of Control, Robotics and Systems (in Korean), vol. 16, no. 1, pp. 69-76, 2010. A. Prati and R. Cucchiara, "Analysis and detection of shadows in video streams: a comparative evaluation," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 571-576, 2001. I. Mikic, P. C. Cosman, G. T. Kogut, and M. M. Trivedi, "Moving shadow and object detection in traffic scenes," Proc. International Conference on Pattern Recognition, vol. 1, pp. 321-324, 2000. T. Horprasert, D. Harwood, and L. Davis, "A statistical approach for real-time robust background subtraction and shadow detection," Proc. IEEE International Conference on Computer Vision, pp. 1-19, 1999. M. Kilger, " A shadow handler in a video-based real-time traffic monitoring system," Proc. IEEE Workshop on Applications of Computer Vision, pp. 11-18, 1992. R. Cucchiara, C. Grana, M. Piccardi, and A. Prati, "Detec ting objects, shadows and ghosts in video streams by exploiting color and motion information," Proc. IEEE International Conference Image Analysis and Processing, pp. 360-365, 2001. R. T. Collins, A. J. Lipton, T. Kanade, H. Fujiyoshi, D. Duggins, Y. Tsin, D. Tolliver, N. Enomoto, O. Hasegawa, P. Burt, and L. Wixson, A system for video surveillance and monitoring, Carnegie Mellon University Robotics Institute Technical Report CMU-RI-TR-00-12, 2000.

본 발명은 상기한 실정을 고려하여 실외의 비 구조화된 환경 내의 사람을 대상으로 하는 VS 장치를 구성하고, 이로부터 얻어지는 비디오 영상의 전경에서 그림자 화소를 검출하고 제거하고자 발명한 것으로서, 그 목적은 그림자에 기인한 화소 밝기의 강하가 화소가 배경에서 가지는 밝기에 의존적이라는 사실을 확인하고, 배경 밝기에 따라 각 화소마다 다른 기준으로 임계치를 적용한 후 그림자 화소의 판정에 이용함으로써 전체 화소에 대해서 획일적인 그림자 판정기준을 적용하는 기존의 기법에 비해서 공간적 그리고 시간적으로 높은 적응성을 기대할 수 있는 배경에 따른 적응적 영상 그림자 화소 제거를 위한 배경 기반 방법을 제공함에 있다.

본 발명의 다른 목적은 배경에 어떤 형태의 패턴이 존재한다고 할 때, 그림자가 드리워진 경우에도 배경 패턴이 어느 정도 나타남을 이용하여 그림자 화소 판정에 적용할 수 있는 영상 내 그림자 화소 제거를 위한 배경 기반 방법을 제공하는데 있다.

상기한 목적을 달성하기 위한 본 발명 배경에 따른 적응적 영상 내 그림자 화소 제거 방법은 카메라로 촬영하여 연속된 비디오 영상을 얻는 비디오 영상 시퀀스단계(S1단계)와; 상기 비디오 영상 시퀀스단계(S1단계)에서 얻어진 연속된 비디오 영상으로부터 RGB 컬러 영상(I_RGB)을 획득하는 RGB 컬러영상 획득단계(S2단계)와; 상기 RGB 컬러영상 획득단계(S2단계)에서 얻어진 RGB 컬러 영상(I_RGB)을 HSV(Hue Saturation Value) 컬러 공간으로 변환하여 컬러 입력영상(I_HSV)를 구하는 컬러 입력영상 획득단계(S3단계)와; 상기 컬러 입력영상 획득단계(S3단계)에서 얻어진 컬러 입력영상(I_HSV)에서 흑백의 영상(I_{V )}을 구하는 흑백영상 획득단계(S4단계)와; 상기 흑백영상 획득단계(S4단계)에서 얻어진 흑백의 영상(I_V)에서 배경영상(B_V)을 생성하는 배경영상 생성단계(S5단계)와; 상기 흑백영상 획득단계(S4단계)에서 얻어진 흑백의 영상(I_V)과 배경영상 생성단계(S5단계)에서 얻어진 배경영상(B_V)의 영상을 비교하여 동적 영상(M)을 생성하는 동적영상 생성단계(S6단계)와; 상기 컬러 입력영상 획득단계(S3단계)에서 얻어진 컬러 입력영상(I_HSV)에 동적영상 생성단계(S6단계)에서 생성된 동적 영상(M)을 마스크로 사용하여 전경영상(F_HSV)을 얻는 전경영상 획득단계(S7단계)와; 얻어진 전경영상(F_HSV)에서 배경의 밝기에 따라 영역을 분할하고 영역별로 전경영상(F_HSV)에서 그림자 후보영역을 찾아내는 그림자 후보영역 검출단계(S8단계) 및; 배경패턴을 이용하여 그림자화소를 찾아내 제거하는 그림자 화소 제거단계(S9단계)로 이루어지는 것을 특징으로 한다.

본 발명은 그림자에 기인한 화소 밝기의 강하가 화소가 배경에서 가지는 밝기에 의존적이라는 사실을 확인하고, 배경 밝기에 따라 각 화소마다 다른 기준으로 임계치를 적용한 후 그림자 화소의 판정에 이용함으로써 전체 화소에 대해서 획일적인 그림자 판정기준을 적용하는 기존의 기법에 비해서 공간적 그리고 시간적으로 높은 적응성을 기대할 수 있고, 배경 영상의 영역별로 밝기값이 다르며, 배경에 어떤 형태의 패턴이 존재한다고 할 때, 영상의 국부적 특성을 간단하게 그림자 화소 판정에 적용할 수 있는 각별한 장점이 있다.

이러한 발명의 효과를 고려하여 장소와 시간, 카메라의 종류와 객체의 특성을 바꾸며 다양한 실험을 수행하였으며, 본 발명은 기존의 기법에 비해 상당히 향상된 결과를 보였다. 따라서 향후에는 본 발명 기법을 실제 상황인식을 위한 다중 센서 기반 감시 시스템(비특허문헌 8)에 접목하는 연구가 필요할 것이다. 또한 Pan-Tilt-Zoom 카메라(비특허문헌 9)와 같이 배경의 특성이 변화하는 경우에 대한 연구도 필요할 것이다.

도 1은 본 발명 배경에 따른 적응적 영상 내 그림자 화소 제거 방법을 실현하는 순서도,
도 2는 본 발명에 따른 실험설명을 위한 영상으로서, (a)는 학습 영상이고, (b)는 그림자와 객체를 분리한 지상 검증자료(Ground Truth)의 영상이다.
도 3은 도 2에서 그림자 영역에 해당하는 세 지역의 배경 밝기값에 대한 히스토그램,
도 4는 그림자가 드리워진 배경의 패턴 예로서 그림자 특성 영상을 나타낸 도면,
도 5는 장소별 그림자 화소 검출 성능 비교 실험을 나타낸 도면,
도 6은 시간별 그림자 화소 검출 성능 비교 실험을 나타낸 도면,
도 7은 시간별 그림자 화소 검출 성능 비교 실험을 나타낸 도면,
도 8은 배경과 객체의 상대적 위치 변경 실험을 나타낸 도면,
도 9는 배경과 객체의 상대적 위치 변경 실험을 나타낸 도면,
도 10은 배경과 객체의 상대적 위치 변경 실험을 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명 배경에 따른 적응적 영상 내 그림자 화소 제거 방법을 바람직한 실시예로서 상세하게 설명한다.

도 1은 본 발명 배경에 따른 적응적 영상 내 그림자 화소 제거 방법을 실현하는 순서도, 도 2는 본 발명에 따른 실험 설명에 대한 영상으로서, (a)는 학습 영상이고, (b)는 그림자와 객체를 분리한 지상 검증자료(Ground Truth)의 영상이며, 도 3은 도 2에서 그림자 영역에 해당하는 세 지역의 배경 밝기값에 대한 히스토그램, 도 4는 그림자가 드리워진 배경의 패턴으로서 그림자 특성 영상을 나타낸 도면, 도 5는 장소별 그림자 화소 검출 성능 비교 실험을 나타낸 도면, 도 6과 도 7은 시간별 그림자 화소 검출 성능 비교 실험을 나타낸 도면, 도 8 내지 도 10은 배경과 객체의 상대적 위치 변경 실험을 나타낸 도면으로서, 본 발명 배경에 따른 적응적 영상 내 그림자 화소 제거 방법은 카메라로 촬영하여 연속된 비디오 영상을 얻는 비디오 영상 시퀀스단계(S1단계)와; 상기 비디오 영상 시퀀스단계(S1단계)에서 얻어진 연속된 비디오 영상으로부터 RGB 컬러 영상(I_RGB)을 획득하는 RGB 컬러영상 획득단계(S2단계)와; 상기 RGB 컬러영상 획득단계(S2단계)에서 얻어진 RGB 컬러 영상(I_RGB)을 HSV(Hue Saturation Value) 컬러 공간으로 변환하여 컬러 입력영상(I_HSV)를 구하는 컬러 입력영상 획득단계(S3단계)와; 상기 컬러 입력영상 획득단계(S3단계)에서 얻어진 컬러 입력영상(I_HSV)에서 흑백의 영상(I_{V )}을 구하는 흑백영상 획득단계(S4단계)와; 상기 흑백영상 획득단계(S4단계)에서 얻어진 흑백의 영상(I_V)에서 배경영상(B_V)을 생성하는 배경영상 생성단계(S5단계)와; 상기 흑백영상 획득단계(S4단계)에서 얻어진 흑백의 영상(I_V)과 배경영상 생성단계(S5단계)에서 얻어진 배경영상(B_V)의 영상을 비교하여 동적 영상(M)을 생성하는 동적영상 생성단계(S6단계)와; 상기 컬러 입력영상 획득단계(S3단계)에서 얻어진 컬러 입력영상(I_HSV)에 동적영상 생성단계(S6단계)에서 생성된 동적 영상(M)을 마스크로 사용하여 전경영상(F_HSV)을 얻는 전경영상 획득단계(S7단계)와; 얻어진 전경영상(F_HSV)에서 배경의 밝기에 따라 영역을 분할하고 영역별로 전경영상(F_HSV)에서 그림자 후보영역을 찾아내는 그림자 후보영역 검출단계(S8단계) 및; 배경패턴을 이용하여 그림자화소를 찾아내 제거하는 그림자 화소 제거단계(S9단계)로 이루어진다.

상기 배경영상 생성단계(S5단계)에서 각 배경 장소별 평균(μ)과 표준편차(σ)를 구하고, μ_n-2σ_n < μ_n+1< μ_n+2σ_n 값이 겹치는 n과 n+1의 두 히스토그램의 영역은 하나의 영역으로 간주한다. 여기서 n은 배경을 밝기에 따라 배경을 분할한 수를 의미한다(각 배경 장소별로 구분된 영역별로 화소 밝기 값의 평균(μ)과 표준편차(σ)를 구하고, 임의의 상구 k에 대해서 μ_n-kσ_n < μ_m < μ_n+kσ_n 이 성립하는 n번째와 m번째의 두 영역은 하나의 영역으로 간주한다).

이와 같이 각 장소별로 임계치를 다르게 결정하면, 전체 영역에 대해 하나의 임계치만 적용하는 기존의 방식에 비해 개선된 결과를 얻을 수 있다.

또한, 그림자 후보영역 검출단계(S8단계)에서 임의의 w 크기의 윈도우 영역 내에서 하기 수학식 5와 같이 배경과 전경의 밝기의 유사성을 계산한다. 유사도가 높으면 그림자 화소로, 그렇지 않은 경우에는 비그림자 화소로 재판정함으로써 오분류를 수정할 수 있다.

여기서, B_V 는 배경영상, I_V 는 흑백의 영상, w 는 윈도우 영역의 크기를 각각 나타낸다.

실시예

상기한 바와 같이 이루어지는 본 발명 배경에 따른 적응적 영상 내 그림자 화소 제거 방법을 이하에 실시예를 통해 구체적으로 설명한다.

도 1에 도시한 바와 같이 먼저 비디오 영상 시퀀스단계(S1단계)에서 카메라로 촬영하여 연속된 비디오 영상을 얻고, RGB 컬러영상 획득단계(S2단계)에서 상기 비디오 영상 시퀀스단계(S1단계)에서 얻어진 연속된 비디오 영상으로부터 RGB 컬러 영상(I_RGB)을 획득하였다.

이어서, 컬러 입력영상 획득단계(S3단계)에서 얻어진 RGB 컬러 영상(I_RGB)을 HSV(Hue Saturation Value) 컬러 공간으로 변환하여 컬러 입력영상(I_HSV)를 구하고, 흑백영상 획득단계(S4단계)에서 상기 컬러 입력영상 획득단계(S3단계)에서 얻어진 컬러 입력영상(I_HSV)에서 흑백의 영상(I_{V )}을 구했다.

계속해서 배경영상 생성단계(S5단계)에서 상기 흑백영상 획득단계(S4단계)에서 얻어진 흑백의 영상(I_V)에서 배경영상(B_V)을 생성하고, 동적영상 생성단계(S6단계)에서 상기 흑백영상 획득단계(S4단계)에서 얻어진 흑백의 영상(I_V)과 배경영상 생성단계(S5단계)에서 얻어진 배경영상(B_V)의 영상을 비교하여 동적 영상(M)을 생성하였다.

다음으로 전경영상 획득단계(S7단계)에서 상기 컬러 입력영상 획득단계(S3단계)에서 얻어진 컬러 입력영상(I_HSV)에 동적영상 생성단계(S6단계)에서 생성된 동적 영상(M)을 마스크로 사용하여 전경영상(F_HSV)을 구하고, 그림자 후보영역 검출단계(S8단계)에서 얻어진 전경영상(F_HSV)에서 배경의 밝기에 따라 영역을 분할하고 영역별로 전경영상(F_HSV)에서 그림자 후보영역을 찾아냈다.

마지막으로 그림자 화소 제거단계(S9단계)에서 배경패턴을 이용하여 그림자화소를 찾아내 제거하였다.

(영역 분할에 따른 검출)

그림자는 상술한 바와 같이 HSV 컬러 값들 중, 특히 V의 값을 낮춘다. 그런데 V값 강하의 정도는 배경에 따라 다르다. 즉 배경의 V값이 높은 곳에서는 강하의 정도가 크고, 반대로 낮은 곳에서의 강하 정도가 작다. 이를 이용하면, 그림자 화소의 검출 성능을 개선할 수 있다. 먼저, 화소 밝기를 기준으로 배경 차감법을 이용하여 동적 영역을 찾는다. 이 때 배경은 Collins 등이 제안한 적응적 배경 갱신법(비특허문헌 7)을 사용하여 수학식 6과 같이 환경 변화를 감안하여 갱신하였다.

현재 영상과 배경 영상을 비교하여 만약 화소값의 차이가 일정 임계치 이상 되면 동적 영역으로 판단한다. 이와 같은 절차로 얻어지는 동적 영상을 M이라 할 때, M은 1과 0의 이진 영상이며, 여기에 수학식 7을 적용하면 동적 영역만의 컬러 영상을 얻을 수 있다. 결과로 얻어진 전경 영상 F에는 실제 동적 객체와 이의 그림자가 모두 포함되는 경우가 많으므로 객체를 인식하기에 어려움이 따른다.

예를 들어 도 2의 영상을 고려한다. 도 2 (a)는 학습영상 이고, 도 2 (b)는 그림자와 객체를 분리한 Ground Truth 영상이다. 표 1은 도 2를 정규화한 HSV 컬러 공간으로 변환한 후, 그림자와 객체에 의한 컬러 변화를 알아본 결과로, 해당 화소들의 값을 평균하였다. 표 1에서 볼 수 있듯이 배경의 특성에 따라 그림자의 영향은 다르다. 이를 고려하기 위하여 배경의 밝기를 분석할 필요가 있다. 도 3은 도 2에서 그림자 영역에 해당하는 세 지역의 배경 밝기값에 대한 히스토그램이다. Shadow1과 Shadow2는 비슷한 배경 밝기값을 가지고, Shadow3은 나머지 두 그림자 보다는 밝은 배경 밝기값을 가진다. 그림자가 드리워진 부분 중 어두운 배경(Shadow1, Shadow2)에서 밝기값의 강하가 밝은 배경(Shadow 3)에서의 밝기값 강하보다 평균 10 % 정도 작다.

그림자에 의한 컬러 변화

Object	value	Bv	｜Bh-Ih｜	Is-Bs	Bv-Iv	Iv/Bv
Shadow 1	mean	0.558	0.136	-0.019	0.207	0.630
Shadow 2	mean	0.553	0.154	0.025	0.205	0.649
Shadow 3	mean	0.720	0.075	0.080	0.221	0.693
Person 1	mean	0.585	0.146	0.258	0.094	0.839
Person 2	mean	0.591	0.059	0.141	-0.010	1.021
Person 3	mean	0.708	0.130	0.067	0.228	0.684

일반적으로 영상에서 동적 객체가 존재하는 곳은 제한적이다. 장면 영상에서 이러한 범위를 분리해서 배경의 밝기를 살펴본다. 예를 들어 도 2의 경우 잔디, 보도, 차도로 객체가 출현할 수 있는 장소를 구분할 수 있다. 그리고 구분된 영상 내 장소들은 평균 밝기를 기준으로 유사할 경우 합친다. 구체적으로 도 3과 같이 구분된 장소별 히스토그램에서 각 배경 장소별 평균(μ)과 표준편차(σ)를 구하고, μ ±2σ 값이 겹치는 두 히스토그램의 영역은 하나의 영역으로 간주한다(장소별로 구분된 영역별로 화소 밝기 값의 평균(μ)과 표준편차(σ)를 구하고, 임의의 상구 k에 대해서 μ_n-kσ_n < μ_m < μ_n+kσ_n 이 성립하는 n번째와 m번째의 두 영역은 하나의 영역으로 간주한다). 도 3에서 Shadow1과 Shadow2는 이와 같은 방법으로 하나의 히스토그램으로 합쳐지고, Shadow3은 독립적으로 남는다. 이제 두 개로 분할된 장소별로 다르게 임계치를 결정하면, 전체 영역에 대해 하나의 임계치만 적용하는 기존의 방식에 비해 개선된 결과를 얻을 수 있다.

(배경의 밝기 분포 패턴을 이용한 검출)

앞에서 서술된 방법은 영상 내 장소별로 적응적인 그림자 화소 검출을 가능하게 한다. 그러나 두 가지 측면에서 개선의 여지가 있다. 첫째, 화소 단위의 검출은 근본적으로 한계가 있다. 실제 사람이 쉽게 그림자를 구분하는 것도 화소보다 영역을 기준으로 하기 때문이며, 또한 그림자 화소는 독립적으로 존재하기 보다는 서로 인접해 있다. 따라서 이웃 화소들도 같이 고려해야 하는 방법이 필요할 수 있다.

둘째, 그림자는 배경을 완전히 가리지 않고 밝기만 낮추므로 만약 배경에 어떤 패턴이 존재한다면 이것이 그림자가 드리워진 이후에도 대체로 검출 가능할 것이다. 도 4는 이와 같은 경우를 보여주는 예가 된다. 그림자가 배경에 드리워졌지만, 배경의 패턴(차선)이 사라지지 않고 그림자 속에 여전히 존재한다. 반면 객체 영역은 배경을 완전히 가리므로 차선을 전혀 찾을 수 없다.

본 발명에서는 임의의 w 크기의 윈도우 영역 내에서 수학식 5에서와 같이 배경과 전경의 밝기 변화를 계산하여 그림자 판정에 활용하였다. 이와 같은 방식은 전경으로 검출된 영역들 중 객체와 그림자를 구분할 수 있게 할 것이다. 이를 위해, 앞에서 서술된 방법으로 객체와 그림자 화소를 구분한 후 그림자에 판정된 화소에 대해서 수학식 5를 적용하여 재판정함으로써 오분류를 수정하였다.

실험을 위하여 도 5 (a)와 같은 학교 캠퍼스 영상에 대해서 대표적인 DNM기법인 Cucchiara 기법과 본 발명에서 제안한 그림자 화소 판정 기법을 적용하여 비교하여 보았다. 도 5 (b)는 기존 기법의 결과이고, 도 5 (c)는 본 발명에서 제안한 영역분할 기법의 결과, 그리고 도 5 (d)는 본 발명에서 서술한 바와 같이 배경의 패턴을 이용한 결과를 각각 보여준다. 도면에서 회색은 객체 화소를 의미하며, 흑색은 적용된 기법에 의하여 그림자로 판정된 화소를 의미한다. 특히 성능의 차이가 큰 부분은 비교가 쉽도록 확대하여 따로 보였다. 결과를 비교해 볼 때, 두드러진 차이는 Cucchiara의 기법이 특히 잔디밭의 객체, 즉 그림에서 가장 아래에 있는 사람을 상당부분 그림자로 잘못 분류하고 있지만, 본 발명 기법은 시멘트 바닥이나 잔디밭 모두에서 비교적 안정적인 검출 결과를 보인다는 점이다. 이의 원인으로는 Cucchiara의 기법이 영상 전체를 기준으로 결정된 임계치를 모든 화소에 동일하게 적용하는데 비해서, 제안된 방식은 배경에 따라 임계치를 다르게 사용하므로 잔디와 시멘트 영역처럼 다른 밝기 특성을 가진 화소들에 다른 기준을 적용할 수 있어 영상의 국부적인 특성을 자연스럽게 수용할 수 있기 때문이다. 특히 도 5 (d)에서는 객체를 그림자로 잘못 판정한 부분이 상당 부분 객체로 찾아지면서 전체 성공률이 향상되었다. 즉, 배경 패턴을 이용한 기법을 적용하여 그림자로 판단된 화소를 재검사하여 잘못 판정된 경우를 줄일 수 있었다.

정량적으로 기법의 성능을 평가하기 위한 척도로써 수학식 8, 9로 정의되는 검출률(detection rate) η와 구분율 (discrimination rate)ξ을 사용할 수 있다. 그러나 기법들에 따라 η와 ξ의 값이 각각 향상과 저하로 엇갈리게 나타날 수 있어 성능을 단적으로 비교하기에는 어려움이 있다. 본 논문에서는 검출률과 구분율을 모두 고려한 지표로 성공률(success rate) λ를 수학식 10과 같이 정의하여 사용한다. 여기서 TP_S (True Positive Shadow)는 그림자 화소가 그림자 화소로 바르게 판정된 경우의 수, TP_F (True Positive foreground)는 동적 물체에 속하는 화소가 동적 물체에 속하는 화소로 바르게 판정된 경우의 수, FN_S (False Negative shadow)는 그림자 화소가 동적 물체에 속하는 화소로 잘못 판정된 경우의 수, FN_F (False Negative foreground)는 동적 물체에 속하는 화소가 그림자 화소로 잘못 판정된 경우의 수를 각각 나타낸다.

도 5의 실험결과를 잔디와 시멘트 영역으로 나누고, 수학식 8, 9, 10의 성능 척도를 적용한 결과는 표 2와 같다. Cucchiara 기법의 경우 잔디 영역에서의 구분율이 45 %에 불과하지만, 영역분할 기법은 50 %, 배경 패턴까지 고려한 기법은 66 %로 기존의 기법 보다 20 % 이상의 향상을 보였다. 전체적으로 볼 때는 영역 분할에 의한 개선보다 배경 패턴을 고려한 경우에서 효과가 두드러졌다.

정량적 비교의 결과: P1은 영역분할 기법, P2는 패턴 유사성 기법, C는 Cucchiara의 기법

Scene	Method	TPs	TPF	FNS	FNF	η	ξ	λ
Cement	P1	1605	222	122	295	0.93	0.43	0.81
	P2	1605	299	157	218	0.91	0.58	0.83
	C	1605	211	121	306	0.93	0.41	0.81
Grass	P1	1605	84	99	86	0.78	0.50	0.70
	P2	1605	112	99	58	0.78	0.66	0.75
	C	1605	76	88	94	0.81	0.45	0.71
Total	P1	1605	306	221	381	0.90	0.45	0.79
	P2	1605	411	256	276	0.88	0.60	0.82
	C	1605	278	209	400	0.90	0.42	0.79

시간에 따른 환경의 변화가 기법의 성능에 어떠한 영향을 주는지 알아보기 위하여 도 6, 도 7과 같은 영상을 대상으로 실험하였다. 그림의 영상은 전일 오후와 익일 오전에 획득한 것이다. 도 5의 실험에서 기존의 기법이 잔디밭에서 좋지 못한 결과를 확연히 보였으므로, 여기서는 시멘트 바닥에서의 그림자만을 대상으로 실험하였다. 도 6에서 가장 오른쪽 상단 그림자 부분은 배경 자체에 나무의 그림자가 존재한다. 이러한 부분을 영역분할 기법으로 분류하게 되면 배경의 그림자와 무관하게 그림자 검출을 잘하게 된다. 또한 패턴 유사성 기법을 사용하면 검출률이 높아지는 것을 다시 볼 수 있다. 도 6, 도 7과 표 3에서 알 수 있듯이 기존의 Cucchiara 기법과 비교하여 본 발명 기법은 환경이 변화하는 경우에도 성능을 유지하는 경향이 상대적으로 큼을 알 수 있다. 이는 도 5의 실험에서 영상의 국부적 특성이 제안된 방식에서 자연스럽게 고려될 수 있었던 것과 같이, 시간에 따라 화소의 밝기 특성이 변화하게 되면 이에 적합한 기준으로 판정을 내릴 수 있게 되기 때문이다.

다른 시간대에 취득한 영상에 대한 실험결과의 정량적 비교: P1은 영역분 할 기법, P2는 패턴 유사성 기법, C는 Cucchiara의 기법

Scene	Method	TPs	TPF	FNS	FNF	η	ξ	λ
Afternoon (도 6)	P1	1605	222	122	295	0.93	0.43	0.81
	P2	1605	299	157	218	0.91	0.58	0.83
	C	1605	211	121	306	0.93	0.41	0.81
Morning (도 7)	P1	1605	84	99	86	0.78	0.50	0.70
	P2	1605	112	99	58	0.78	0.66	0.75
	C	1605	76	88	94	0.81	0.45	0.71

본 발명 방식이 기타 다른 조건에서도 유용한지 점검하기 위하여, 실험용 카메라를 바꾸고, 도 2의 장면에서 사람 위치를 변경한 후, 실험하여 보았다. 도 8, 도 9, 도 10과 표 4는 그 결과를 보여준다. 대부분의 경우 전체 성공률은 패턴 유사성 비교 기법, 영역 분할 기법, Cucchiara 기법의 순서로 높았다. 특히 구분율에서 좋은 결과를 보였다.

위치에 따른 실험결과의 정량적 비교: P1은 영역분할 기법, P2는 패턴 유 사성 기법, C는 Cucchiara의 기법

Scene	Method	TPs	TPF	FNS	FNF	η	ξ	λ
도 8	P1	224	670	34	289	0.87	0.70	0.74
	P2	212	757	46	202	0.82	0.79	0.80
	C	223	669	35	290	0.87	0.70	0.73
도 9	P1	197	632	19	448	0.91	0.59	0.64
	P2	193	804	23	276	0.89	0.74	0.77
	C	196	615	20	465	0.91	0.57	0.63
도 10	P1	276	904	77	448	0.78	0.67	0.69
	P2	266	980	87	372	0.75	0.73	0.73
	C	284	873	69	479	0.81	0.65	0.768

지금까지 본 발명을 바람직한 실시예로서 설명하였으나, 본 발명은 이에 한정되지 않고 발명의 요지를 이탈하지 않는 범위 내에서 다양하게 변형하여 실시할 수 있음은 물론이다.

Claims (3)

1. 카메라로 촬영하여 연속된 비디오 영상을 얻는 비디오 영상 시퀀스단계(S1단계)와; 상기 비디오 영상 시퀀스단계(S1단계)에서 얻어진 연속된 비디오 영상으로부터 RGB 컬러 영상(I_RGB)을 획득하는 RGB 컬러영상 획득단계(S2단계)와; 상기 RGB 컬러영상 획득단계(S2단계)에서 얻어진 RGB 컬러 영상(I_RGB)을 HSV(Hue Saturation Value) 컬러 공간으로 변환하여 컬러 입력영상(I_HSV)를 구하는 컬러 입력영상 획득단계(S3단계)와; 상기 컬러 입력영상 획득단계(S3단계)에서 얻어진 컬러 입력영상(I_HSV)에서 흑백의 영상(I_{V )}을 구하는 흑백영상 획득단계(S4단계)와; 상기 흑백영상 획득단계(S4단계)에서 얻어진 흑백의 영상(I_V)에서 배경영상(B_V)을 생성하는 배경영상 생성단계(S5단계)와; 상기 흑백영상 획득단계(S4단계)에서 얻어진 흑백의 영상(I_V)과 배경영상 생성단계(S5단계)에서 얻어진 배경영상(B_V)의 영상을 비교하여 동적 영상(M)을 생성하는 동적영상 생성단계(S6단계)와; 상기 컬러 입력영상 획득단계(S3단계)에서 얻어진 컬러 입력영상(I_HSV)에 동적영상 생성단계(S6단계)에서 생성된 동적 영상(M)을 마스크로 사용하여 전경영상(F_HSV)을 얻는 전경영상 획득단계(S7단계)와; 얻어진 전경영상(F_HSV)에서 배경의 밝기에 따라 영역을 분할하고 영역별로 전경영상(F_HSV)에서 그림자 후보영역을 찾아내는 그림자 후보영역 검출단계(S8단계) 및; 배경패턴을 이용하여 그림자화소를 찾아내 제거하는 그림자 화소 제거단계(S9단계)로 이루어지는 영상 내 그림자 화소 제거를 위한 배경 기반 방법.
2. 제 1항에 있어서, 상기 배경영상 생성단계(S5단계)에서 각 배경 장소별로 구분된 영역별로 화소 밝기 값의 평균(μ)과 표준편차(σ)를 구하고, 임의의 상수 k에 대해서 μ_n-kσ_n < μ_m < μ_n+kσ_n 이 성립하는 n번째와 m번째의 두 영역은 하나의 영역으로 간주하여 처리할 영역의 수를 줄이는 것을 특징으로 하는 영상 내 그림자 화소 제거를 위한 배경 기반 방법.
3. 제 1항에 있어서, 상기 그림자 후보영역 검출단계(S8단계)에서 임의의 w 크기의 윈도우 영역 내에서 하기 수학식 5와 같이 배경과 전경의 밝기의 유사성을 계산하는 것을 특징으로 하는 영상 내 그림자 화소 제거를 위한 배경 기반 방법.
   (수학식 5)
   

   

   
   여기서, B_V 는 배경영상, I_V 는 흑백의 영상, w 는 윈도우 영역의 크기를 각각 나타낸다.

Images