KR101067516B1

KR101067516B1 - 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법

Info

Publication number: KR101067516B1
Application number: KR1020090120516A
Authority: KR
Inventors: 박동조; 정직한; 박상욱; 최은진; 이황수; 심영석; 김성실
Original assignee: 한국과학기술원
Priority date: 2009-12-07
Filing date: 2009-12-07
Publication date: 2011-09-27
Also published as: KR20110064081A

Abstract

본 발명은 비디오 분석 기법들 중의 하나인 화면에 존재하는 객체들을 탐지하는 방법에 관한 것으로서, 배경영상(B)을 각 픽셀값을 제곱한 값을 픽셀값으로 가지는 영상(B²)으로, 현재영상(I)을 각 픽셀값을 제곱한 값을 픽셀값으로 가지는 영상(I²)으로, 또한 입력영상(I)과 배경영상(B)의 픽셀값을 각각 곱한 값을 픽셀값으로 가지는 영상(BI)을 입력된 배경영상(B)과 입력영상(I)를 통해 각각 구하는 변환단계, 구해진 배경제곱영상(B²)과 현재 제곱 영상(I²) 및 배경-현재 영상(BI)의 누적영상을 구하는 누적영상 도출단계, 구해진 누적영상 값을 이용해 정규 상관도(NCC)를 구하는 정규상관도 도출단계 및 기 설정된 문턱값을 기준으로 화소 단위 테스트를 수행하여 물체와 그림자를 구별하는 결과 도출단계를 포함하여 정규 상관도와 누적 영상을 이용하여 고속으로 그림자를 비디오 화면에서 제거할 수 있다.

정규 상관도(NCC), 누적 영상, 그림자 제거

Description

정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법{Fast shadow removal Method using Normalized Cross Correlation(NCC) and Integral Image}

본 발명은 비디오 분석 기법들 중의 하나인 화면에 존재하는 객체들을 탐지하는 방법에 관한 것이다.

비디오 분석 기법은 입력되는 비디오 영상의 정보를 이용하여 화면에 존재하는 객체들을 탐지/추적/인식하여 객체들의 특성을 분석하고 움직임을 예측하는 시스템이다. 비디오 분석 기법에 탑재되는 여러 기법들 중에서도 탐지 기법은, 뒤따라오는 알고리즘들의 성능에 큰 영향을 줄 수 있기 때문에 정확한 성능이 요구된다. 선호되는 탐지 기법 중 하나인 배경 제거 기법은, 가우시안 모델 또는 가우시안 혼합 모델을 이용하여 배경을 모델링하고, 새로운 프레임이 입력되면 배경 모델과 새로운 프레임의 차이를 구하여 차이가 큰 부분을 물체로 검출하는 방법이다.

배경 제거 기법에서는 기본적으로 배경의 색상 또는 밝기가 물체보다 느리게 변한다는 가정을 하고 있는데 실제 상황에서는 배경임에도 불구하고 밝기가 갑자기 변하는 경우가 있다. 구름이나 건물, 객체가 지나갈 때 이들에 의해 그림자가 지는 경우가 그 대표적인 예이다. 이와 같은 경우, 배경에 해당하는 화소가 그림자에 의해 갑자기 어두어지면서, 가지고 있던 모델과 밝기 차이가 많이 나게 되어 물체로 오인식된다.

이 문제를 다루기 위해서 기존의 기법에서는 RGB 색상 정보를 HSV 컬러 공간으로 변환하여 분석하였다. 색차 성분(H,S)이 유지되면서 밝기 성분(V)만 변할 경우 그림자로 판단한 것인데, 그 후에 정규 상관도(Normalized Cross Correlation, NCC) 값으로 그림자를 판단하는 방법이 제안되었다.

상기와 같은 기존의 방법은 그 정규 상관도를 구하는데 필요한 시간이 오래 걸려 빠른 비디오 탐지가 어렵게 되는 단점이 있다.

상기와 같은 단점을 보완하고자 본 발명은 정규상관도를 구하는데 있어서, 배경 영상과 현재영상에 대한 제곱영상과 배경-현재영상( 각각 B², I², BI으로 표시된다.)의 누적영상을 이용하여 정규 상관도를 구하는 시간을 단축하였다.

상기와 같은 목적을 위해 도출된 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법은 배경영상(B)을 각 픽셀값을 제곱한 값을 픽셀값으로 가지는 영상(배경 제곱 영상, B²)으로, 현재영상(I)을 각 픽셀값을 제곱한 값을 픽셀값으로 가지는 영상(현재 제곱 영상, I²)으로, 또한 입력영상(I)과 배경영상(B)의 픽셀값을 각각 곱한 값을 픽셀값으로 가지는 영상(배경-현재 영상, BI)을 입력된 배경영상(B)과 입력영상(I)를 통해 각각 구하는 변환단계, 구해진 배경제곱영상(B²)과 현재 제곱 영상(I²) 및 배경-현재 영상(BI)의 누적영상을 구하는 누적영상 도출단계, 구해진 누적영상 값을 이용해 정규 상관도(NCC)를 구하는 정규상관도 도출단계 및 기 설정된 문턱값을 기준으로 화소 단위 테스트를 수행하여 물체와 그림자를 구별하는 결과 도출단계를 포함한다.

또한, 문턱값은 0.95인 것을 특징으로 한다.

본 발명에 따른 비디오 분석 기법의 탐지 부분에서 그림자를 제거해 주는 방법은 그림자에 해당하는 화소는 배경 모델과 높은 정규 상관도를 가진다는 특성을 이용하여 그림자를 제거하며, 이 때 누적 영상을 이용하여 이를 고속으로 수행하는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

먼저 본원 발명의 기술을 보다 더 효과적으로 설명하기 위해서 본 발명에서 사용하고 있는 여러 개념을 설명한다.

S(x,y)는 영상(S)의 (x,y)위치의 픽셀이 가진 픽셀값(영상세기)을 나타낸다.

누적영상은 도 1과 같이 하나의 영상내에 있는 모든 픽셀값을 차례로 더해 그 누적된 픽셀값을 가지는 영상을 말한다.

도 3은 일차원적으로 표현된 영상에서의 누적영상의 개념을 설명하고 있으며, 도 1과 도 2는 이차원 영상에서의 누적영상의 개념을 설명하고 있다.

영상(S)의 임의의 위치에 있는 픽셀(x,y)에 대한 누적 영상(INTG_S(x,y))는 아래의 수학식 1와 같이 해당 픽셀의 위치보다 왼쪽 위에 있는 모든 픽셀값의 합으로 나타내어 진다.

INTG_S(x,y) = S(j, i)

도 2와 같이 영상의 일정 부분(영역 ABCD)의 누적영상을 구할 수 있는데, 이는 INTG_S(D) + INTG_S(A) - INTG_S(B) - INTG_S(C)를 통해 사각형 ABCD내의 누적영상을 구할 수 있다.

제곱영상은 한 영상의 각 픽셀값을 제곱한 값을 픽셀값으로 가지는 영상을 말하는데 도5는 제곱영상에 의한 픽셀값의 변화를 도시한다.

또한, 곱셈영상은 두 영상의 동일위치의 픽셀값을 곱한 값을 픽셀값으로 가지는 영상을 말하는데 도6은 곱셈영상에 의한 픽셀값의 변화를 도시한다.

본 발명에서 비디오 화면에서의 그림자 제거는 우선 현재영상(I)와 배경 영상(B)으로 부터 시작된다.

비디오 화면의 탐지를 위한 그림자의 제거를 위해 먼저 입력된 현재영상(I)와 배경 영상(B)를 이용해서 배경 제곱 영상(B²)와 현재 제곱 영상(I²)으로 변환하고, 현재 영상(I)와 배경 영상(B)을 곱한 곱셈영상(BI)를 구함으로서 그림자 제거가 시작된다.(도 4의 200)

이후 구해진 B²과 I² 및 BI영상들에 대해 각각 누적 영상을 구한다.(도 4의 210)

각 영상의 임의의 좌표 (x,y)를 기준으로 주변의 (2N+1)×(2N+1)크기, 즉 주어진 점을 기준으로 x축으로 -N부터 N까지, y축으로 -N부터 N까지의 영역일 경우, 의 패치영상에 대해 누적영상을 구하는 경우 아래 수학식 2~4를 이용하여 수식적으로 구할 수 있다.

= INTG_BI(x+N, y+N) + INTG_BI(x-N-1, y-N-1)

- INTG_BI(x+N, y-N-1) - INTG_BI(x-N-1, y+N)

= INTG_BB(x+N, y+N) + INTG_BB(x-N-1, y-N-1)

- INTG_BB(x+N, y-N-1) - INTG_BB(x-N-1, y+N)

= INTG_II(x+N, y+N) + INTG_II(x-N-1, y-N-1)

- INTG_II(x+N, y-N-1) - INTG_II(x-N-1, y+N)

이때 상기 수학식 2~4의 B_u,v, I_u,v는 각각 배경영상과 현재영상을 의미하고, INTG _BI , INTG _BB , INTG _II 는 각각 BI의 누적영상, B²의 누적영상, I²의 누적영상을 의미한다.

B와 I에 의한 B², I², BI와 이들의 누적영상을 구한 후, 이들 값을 이용하는 정규 상관도(Normalized Cross Correlation, NCC)를 다음의 수학식 5를 이용해서 구한다.( 도 4의 220 )

이후, 이러한 NCC 분포가 도시되면 기 설정된 기준값(문턱값)을 이용한 화소 단위 테스트를 진행하여 물체에서 그림자를 제거할 수 있다.( 도 4의 230 )

NCC가 그림자 제거 기법에 사용되는 이유는 여러 기준들 중에서도 밝기 변화에 강인한 특성을 가지고 있기 때문이다.

수학식 5를 살펴보면, 만약 현재 영상(I)의 밝기값이 배경 영상(B) 밝기값의 상수배가 될 경우 분모/분자가 상쇄되면서 NCC의 값은 가장 높은 1이 되며, 이것의 의미는 밝기의 변화에 강인하다는 것을 나타낸다.

따라서 수학식 5와 같이 한 화소를 중심으로 주변의 (2N+1)×(2N+1) 크기 패 치에 대해 NCC 테스트를 수행하면 그림자에 해당하는 부분은 단순히 밝기 변화만 있고 텍스쳐의 변화는 없기 때문에 NCC 값이 상대적으로 높게 나오고, 물체에 해당하는 부분은 NCC 값이 낮게 나오게 되며 이러한 NCC의 성질을 이용하여 그림자의 효과적인 제거가 가능하다.

그림자와 물체에 해당하는 화소 각각에서 NCC 테스트를 수행한 분포도가 도 11과 도 10에 각각 도시되어 있다. 그림자에 해당하는 NCC 값의 분포도인 도 11은 NCC값이 0.95 이상에서 많이 분포하며 따라서 바람직하게 이 값을 중심으로 화소 단위 테스트를 수행하면 효과적으로 그림자 제거가 가능하여 오탐지율을 줄일 수 있을 것이다.

한편, 물체에 해당하는 NCC값의 분포도인 도 10은 NCC값이 그림자에 비해서 고르게 분포되어 있는 것을 확인 할 수 있다.

도 7은 본 발명에 의한 그림자 제거를 위한 비디오 이미지를 캡춰한 것이며, 도 8은 본 발명의 방법을 통해 발견한 그림자를 도시하고 있으며, 도 9는 발견한 그림자를 제거하여 물체만이 남은 화면을 각각 도시한 것이다.

본 발명에서 사용된 누적영상에 의한 빠른 정규 상관도 계산을 통해 비디오 탐지 기술상에서 그림자의 제거를 고속으로 하는 것이 가능하다.

이상과 같이 본 발명에 따른 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

도 1과 도 2는 이차원 영상에서의 누적영상의 개념을 설명하고 있는 도면이다.

도 3은 일차원적으로 표현된 영상에서의 누적영상의 개념을 설명하는 도면이다.

도 4는 본 발명에 의한 고속 그림자 제거 방법의 단계를 도시한다.

도 5는 제곱영상에 의한 픽셀값의 변화를 도시한다.

도 6은 곱셈영상에 의한 픽셀값의 변화를 도시한다.

도 7은 본 발명에 의한 그림자 제거 방법 실행을 위한 비디오 이미지를 캡춰한 것이다.

도 8은 본 발명을 통해 발견한 비디오 화면내의 그림자를 도시하고 있다.

도 9는 본 발명을 통해 발견한 그림자를 제거하여 물체만이 남은 화면을 도시한 것이다.

도 10은 물체에 해당하는 화소에서 NCC 테스트를 수행한 분포도가 도시된다.

도 11은 그림자에 해당하는 화소에서 NCC 테스트를 수행한 분포도가 도시된다.

Claims

배경영상(B)이 각 픽셀값을 제곱한 값을 픽셀값으로 가지는 영상(배경 제곱 영상, B²)으로, 현재영상(I)이 각 픽셀값을 제곱한 값을 픽셀값으로 가지는 영상(현재 제곱 영상, I²)으로, 또한 현재영상(I)과 배경영상(B)의 픽셀값을 각각 곱한 값을 픽셀값으로 가지는 영상(배경-현재 영상, BI)이 입력된 배경영상(B)과 현재영상(I)를 통해 각각 변환되는 변환단계;

상기 변환된 배경제곱영상(B²)과 현재 제곱 영상(I²) 및 배경-현재 영상(BI)의 누적영상이 구해지는 누적영상 도출단계;

상기 구해진 누적영상 값을 이용해 정규 상관도(NCC)가 도출되는 정규상관도 도출단계; 및

상기 정규 상관도 분포를 이용하여 기 설정된 문턱값보다 크거나 같으면 그림자로 설정하며, 상기 기 설정된 문턱값보다 작으면 물체로 설정하는 화소 단위 테스트를 수행하여 상기 누적영상으로부터 물체와 그림자가 구별되도록 하는 결과 도출단계를 포함하며,

상기 결과 도출단계는 그림자 및 물체에 해당하는 화소 각각에서 상기 정규 상관도(NCC) 값을 측정하여 상기 그림자를 제거하는 단계인 것을 특징으로 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법.
청구항 1에서,

상기 정규 상관도(NCC)는 다음의 수학식으로 특정지어지는 것을 특징으로 하는 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법.

( B² _u,v : 배경영상(B)의 제곱영상,

I² _u,v : 현재영상(I)의 제곱영상,

B_u,vI_u,v : 배경영상과 현재영상의 곱셈영상,

NCC_x,y : 영상에서 (x,y)를 중심으로 (2N+1)×(2N+1)의 정방형안에 대한정규 상관도)
청구항 2에서,

상기
는 다음과 같은 수학식으로 결정되는 것을 특징으로 하는 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법.

= INTG_BI(x+N, y+N) + INTG_BI(x-N-1, y-N-1)

- INTG_BI(x+N, y-N-1) - INTG_BI(x-N-1, y+N)

(단, INTG_BI는 배경영상(B)와 현재영상(I)의 곱셈영상인 BI의 누적영상)
청구항 2에서,

상기
는 다음과 같은 수학식으로 결정되는 것을 특징으로 하는 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법.

= INTG_BB(x+N, y+N) + INTG_BB(x-N-1, y-N-1)

- INTG_BB(x+N, y-N-1) - INTG_BB(x-N-1, y+N)

(단, INTG_BB는 배경영상(B)의 제곱영상(B²)에 대한 누적영상)
청구항 2에서,

상기
는 다음과 같은 수학식으로 결정되는 것을 특징으로 하는 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법.

= INTG_II(x+N, y+N) + INTG_II(x-N-1, y-N-1)

- INTG_II(x+N, y-N-1) - INTG_II(x-N-1, y+N)

(단, INTG_II는 현재영상(I)의 제곱영상(I²)에 대한 누적영상)
청구항 1 내지 5중 어느 하나의 항에 있어서,

상기 문턱값은 0.95인 것을 특징으로 하는 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법.