KR101297396B1 - 상대적인 상관도 기반의 그림자 제거 방법 - Google Patents

Abstract

본 발명은 영상 시스템에서 물체의 추적, 인식 등의 영상 처리의 성능을 향상시키기 위해 추출된 전경 영역 내에 포함된 그림자 영역을 효과적으로 제거하는 방법을 제공하기 위한 것으로, 본 발명의 상대적인 상관도 기반의 그림자 제거 방법은 배경제거알고리즘에 의해 생성된 화소의 배경영상과 전경영역을 입력받아서 상기 전경영역에 속한 화소들로 구성된 영역과, 상기 배경영상에서 그 영역과 동일한 모양을 가지는 영역들과의 유사도를 측정하고, 상기 측정된 유사도의 순위에 따라 그림자영역임을 판단하여 진행하는 것을 포함하고, 상술한 본 발명은 상대적인 유사도 순위에 따라 그림자 영역을 판단하는 것이므로, 조명 환경의 변화나 영상 특성의 변화에 상관없이 일관성 있게 적용 가능하다는 효과가 있다.

Description

상대적인 상관도 기반의 그림자 제거 방법{Method of shadow removal based on relative similarity}

본 발명은 그림자 제거 방법에 관한 것으로서, 특히 영상 시스템에서 물체의 추적, 인식 등의 영상 처리의 성능을 향상시키기 위해 추출된 전경 영역 내에 포함된 그림자 영역을 효과적으로 제거하는 방법에 관한 것이다.

영상은 전경영역(foreground region)과 배경영역(background region)으로 나눌 수 있는데, 영상을 전경영역(foreground region)과 배경영역(background region)으로 분리하기 위해서는 배경제거알고리즘(background subtraction algorithm)이 사용된다.

배경제거알고리즘은 입력된 영상들을 분석하여 배경영역이라고 판단되는 영역을 여러 프레임에 걸쳐 취합하여 전경영역이 포함되지 않은 배경영상(background image)을 생성한 후, 입력영상과 배경영상과의 차를 구하고 그 차이가 큰 영역을 전경영역으로 판정하게 된다.

이와 같은 배경제거알고리즘은 배경이 고정되어 있는 상황에서의 감시영상시스템에 매우 효과적이고 널리 채용되고 있다.

예를 들어, 카메라가 고정되어 있는 경우, 화면 내에 배경은 고정되어 있으며 새로운 물체가 출현한 영역에서만 칼라의 변화가 있고 물체가 출현하지 않은 대부분의 영역에서는 칼라의 변화가 없다. 칼라의 변화가 발생하지 않은 영역을 배경영역으로 지정하고 이 배경영역을 여러 프레임에 걸쳐 평균을 취함으로써 배경영상을 만들어낼 수 있다. 현재 영상에서 물체가 출현하여 배경영역 데이터가 없는 영역에서도 차후 이어지는 프레임들 중에 그 영역이 배경영역으로 지정되게 되므로 일정기간 동안의 프레임들을 처리함으로써 완전한 형태의 배경영상을 만들 수 있다. 이 배경영상과 입력영상과의 차이를 구하고 그 차이가 큰 영역을 전경영역으로 판별한다.

도 1은 이러한 원리를 도식적으로 설명한 도면이다.

도 1에 나타난 바와 같이, 전경영역에는 물체뿐만 아니라 그림자도 같이 포함하게 된다. 이러한 그림자는 전경영역에 있는 물체의 인식 및 처리 성능을 크게 떨어뜨리는 요인이 된다.

상술한 배경제거알고리즘을 통해 얻어진 전경영역은 물체영역와 그림자영역으로 구별할 수 있는데, 그림자영역을 제거하여야 한다.

종래에는 그림자영역을 제거하기 위해서, 그림자에 대한 확률모델이나 그림자에 대한 확신점수(confidence score)를 주는 방식을 사용하였다. 이 방식은 그림자영역은 그 영역의 칼라와 그림자가 겹쳐져 나타나므로, 그 영역의 밝기값은 어두워지고, 밝기값을 제외한 색상(chroma)은 보존되며, 에지값과 에지방향이 보존된다는 특성을 이용한 것이다.

이러한 특성에 잘 부합할수록 높은 점수를 주고 그렇지 않은 경우에는 낮은 점수를 주어 그림자 영역으로 판단하도록 하고 있다.

이러한 종래의 방식은 입력영상의 특성이나 환경에 따라 다수의 파라미터나 문턱값을 설정해주어야 하는 문제점을 가지고 있다. 이와 같이 상황에 맞게 그 값의 설정을 변경하지 않으면 그림자 영역 판별 성능이 크게 떨어진다. 예를 들어, 밤에 촬영한 영상과 낮에 촬영한 영상은 전체적인 밝기에 큰 차이가 나므로 문턱값과 파라미터를 그 상황에 맞도록 재조정해야 주어야 한다. 특히, 영상감시시스템의 경우에는 실내와 실외에 적용되며 24시간 가동되는 점을 감안한다면 시간의 변화에 따라 입력되는 영상의 특성과 조명 상황이 변화하므로 문턱값과 파라미터를 지속적으로 재조정해 주어야 하는 문제를 안고 있다.

본 발명은 상기한 종래기술에 따른 문제점을 해결하기 위해 제안된 것으로서, 문턱값과 파라미터를 특정값으로 지정하는 대신 상대적인 순위로서 그림자 영역임을 판단함으로써 영상의 특성이나 조명 상황의 변화에 강건하도록 할 수 있는 상대적인 상관도 기반의 그림자 제거 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 상대적인 상관도 기반의 그림자 제거 방법은 배경제거알고리즘에 의해 생성된 화소의 배경영상과 전경영역을 입력받아서 상기 전경영역에 속한 화소들로 구성된 영역과, 상기 배경영상에서 그 영역과 동일한 모양을 가지는 영역들과의 유사도를 측정하고, 상기 측정된 유사도의 순위에 따라 그림자영역임을 판단하여 진행하는 것을 특징으로 한다.

상술한 본 발명에 따른 상대적인 상관도 기반의 그림자 제거 방법은 다음과 같은 효과가 있다.

배경영상과 현재영상의 전경영역과의 유사도를 측정하고 가장 유사도가 높은 영역이 전경영역과 동일한 위치인 경우 그림자영역으로 판정하는 것으로, 절대적인 어떤 값을 파라미터로 사용하는 것이 아니라 상대적인 유사도 순위에 따라 그림자 영역을 판단하는 것이므로, 조명 환경의 변화나 영상 특성의 변화에 상관없이 일관성 있게 적용 가능하다는 효과가 있다.

도 1은 종래의 배경제거알고리즘의 개념을 나타낸 사진이다
도 2는 본 발명의 그림자영역 판정방법을 나타낸 흐름도이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다.

본 발명은 영상을 전경영역(foreground region)과 배경영역(background region)으로 분리하는 배경제거알고리즘(background subtraction algorithm)에 적용할 수 있는 그림자 제거방법에 관한 것이다.

배경제거알고리즘은 입력된 영상들을 분석하여 배경영역이라고 판단되는 영역을 여러 프레임에 걸쳐 취합하여 전경영역이 포함되지 않은 배경영상(background image)을 생성한 후, 입력영상과 배경영상과의 차를 구하고 그 차이가 큰 영역을 전경영역으로 판정하게 된다.

이와 같은 배경제거알고리즘은 배경이 고정되어 있는 상황에서의 감시 영상시스템에 매우 효과적이고 널리 채용되고 있다.

본 발명에 따른 상대적인 상관도 기반의 그림자 제거 방법은, 배경제거알고리즘을 기반으로 하므로 배경영상이 주어졌다고 가정하고 설명한다.

예를 들어, 배경영상의 (i,j)에 위치한 화소의 밝기값을 X_BG(i,j)라고 정의한다. 그리고 배경제거알고리즘에 의해 찾아진 전경영역을 O_s라고 하고, 이때 전경영역은 물체영역(object region) 'O'와 그림자영역(shadow region) 'S'의 합으로 이루어져 있으므로 [수학식 1]과 같이 표기할 수 있다.

[수학식 1]

그림자영역임을 판단하는 과정은 전경영역 O_s에 포함되는 모든 화소에 대해 [수학식 2]에 정의된 유사도 척도인 e(i,j;s,t)를 구하여 진행한다.

[수학식 2]

여기서 (i,j)는 그림자임을 판단하기 위한 화소의 위치로서 (i.j)∈O_s이고, N_i,j는 위치 (i,j)의 주변 화소 위치로서 N_{i ,j}⊂ O_s 이고, x(i,j)는 입력영상의 (i,j)에 위치한 화소의 밝기값, (s,t)는 배경영상과 현재영상의 상대적인 위치 변위이며, k는 양의 정수이다.

결과적으로 [수학식 2]는 현재영상에서 전경영역으로 판정된 화소의 위치 (i,j)의 인근 영역 N_{i ,j}와, 이 영역 N_{i ,j}와 (s,t)만큼 떨어진 배경영상 내의 영역과의 밝기값의 차이를 구하는 식이다.

(i,j)가 그림자영역에 속하는 경우 e(i,j;s,t)의 값이 (s,t)=(0,0)일 때 가장 작은 값을 가져야 한다. 왜냐하면, 그림자 영역은 어떤 특정 영역의 밝기값과 그림자의 밝기값이 겹쳐져 나타나므로 그 영역의 텍스쳐가 그대로 보존되므로, 만약 (i,j)가 그림자영역에 속하는 경우 (s,t)=(0,0)일 때 가장 유사성이 높게 된다.

그리고, 만약 (i,j)가 그림자영역에 속하지 않는 경우, 두 영역 간의 유사성이 낮으므로 가장 유사성이 높은 변위가 (s,t)≠(0,0)일 가능성이 매우 높다.

부연 설명하면, (i,j)가 그림자영역에 속하지 않고 물체 영역에 속하는 경우, 이 물체영역은 배경영상 내에 존재하지 않으므로 가장 유사성이 높은 변위가 임의의 값을 가지게 되고 그 임의의 변위가 (0,0)일 가능성은 확률적으로 매우 낮다.

따라서, 본 발명을 진행하기 위한 그림자영역 판정 방법은, 배경제거알고리즘에 의해 생성된 배경영상과 전경영역을 입력받아, 전경영역에 속한 화소들로 구성된 일정영역과, 배경영상에서 그 영역과 동일한 모양을 가지는 영역들과 유사도를 측정하고, 측정된 유사도의 순위에 따라 그림자영역임을 판단하는 것으로, 다음과 같은 절차에 의해 이루어진다.

먼저, 도 2에 나타난 바와 같이, 수평 및 수직 방향의 탐색범위(searchrange)를 │s│≤searchrange와 │t│≤searchrange로 설정하고, 입력영상 x(i,j)와 배경영상 X_BG(i,j)을 수집한다.

다시 말해서, 화소위치(i,j), 입력영상(x(i,j)), 배경영상(X_BG(i,j)), 전경영역(O_s), 탐색범위(searchrange)를 설정 또는 수집한다.(S20)

이후에, 전경영역 O_s의 화소위치 (i,j)에 대해, 설정된 탐색범위 내에서 가능한 모든 (s,t)에 대한 [수학식 2]에 나타난 e(i,j;s,t)를 계산한다. 이후에, e(i,j;s,t)의 최소값을 도출하는 (s,t)인 (s_min,t_min)를 추출한다.(S21)

다음에, e(i,j;s,t)의 최소값을 도출하여 (s_min,t_min)가 (0,0)에 가까운지 판별한다.(S22)

이때, (s_min,t_min)가 (0,0)에 가까운지 판별하는 방법에는

또는

을 이용할 수 있다.

판별결과 (s_min,t_min)이 (0,0)에 가깝다고 판단되는 경우, 그림자영역에 속하는 화소로 판정(S23)하고, 그렇지 않은 경우 물체영역에 속하는 화소로 판정(S24)한다.

이 과정을 전경영역의 다른 모든 화소에 대해서도 적용하여 전경영역 모든 화소에 대해 그림자 영역임을 판정하게 된다.

상술한 본 발명은, 종래의 그림자제거방식의 문제점인 문턱값이나 파라미터에 특정 값을 상황에 따라 지정해야 하는 문제를 해결하기 위하여, 배경영상과 현재 영상의 전경영역과의 유사도를 측정하고 가장 유사도가 높은 영역이 전경영역과 동일한 위치인 경우 그림자영역으로 판정함으로써 절대적인 어떤 값을 파라미터로 사용하는 것이 아니라 상대적인 유사도 순위를 그림자 영역임을 판단 기준으로 사용하였다. 그 결과 본 발명은 종래의 방식에서 사용하고 있는 문턱값이나 파라미터들이 존재하지 않기 때문에 영상의 특성 변화나 조명 상황의 변화에 관계없이 사용할 수 있는 장점을 지닌다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아니다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 예에 의해서가 아니라 청구범위에 의해서 정해져야 할 것이다.

Claims (5)

1. 배경제거알고리즘에 의해 생성된 화소의 배경영상과 전경영역을 입력받아서 상기 전경영역에 속한 화소들로 구성된 영역과, 상기 배경영상에서 그 영역과 동일한 모양의 영역을 생성하고 생성된 영역들과의 유사도를 측정한 후, 상기 측정된 유사도의 순위에 따라 그림자영역임을 판단하여 진행하며,
   상기 유사도를 측정 및 상기 유사도의 순위 결정은,
   미리 설정된 탐색범위 내에서 가능한 모든 (s,t)에 대한 [수학식 2]에 나타난 e(i,j;s,t)를 계산하고, 상기 e(i,j;s,t)의 최소값을 도출하여 (s_min, t_min)을 추출하는 과정을 통하여 진행하고, 이때 상기 [수학식 2]는

   

   인 것을 특징으로 하는 그림자 제거 방법.
   여기서, (s,t)는 배경영상과 현재영상의 상대적인 위치변위, e(i,j)는 전경영역에 속한 화소의 위치, e(i,j;s,t)는 배경영상과 현재영상의 전경영역과의 유사도, (s_min, t_min)은 변위의 최소값, m 및 n은 자연수, N_i,j는 화소의 위치(i,j)의 인근 영역, X_BG는 배경영상의 화소의 밝기값, k는 양의 정수를 각각 나타낸다.
2. 삭제
3. 제1항에 있어서,
   상기 [수학식 2]는 현재영상에서 상기 전경영역으로 판정된 화소의 위치 (i,j)의 인근 영역 N_i,j와, 이 영역 N_i,j와 상기 (s,t)만큼 떨어진 상기 배경영상 내의 영역과의 밝기값의 차이를 구하는 식인 것을 특징으로 하는 그림자 제거 방법.
4. 제1항에 있어서,
   상기 유사도의 순위에 따라 상기 그림자영역이라고 판단하기 위해서는 추출된 상기 (s_min, t_min)이 (0,0)에 가까운지를 판단함을 특징으로 하는 그림자 제거 방법.
5. 제4항에 있어서,
   상기 (s_min, t_min)이 (0,0)에 가까운지를 판단하는 방법에는

   

   또는

   

   이 있음을 특징으로 하는 그림자 제거 방법.

Images