KR20170088227A

KR20170088227A - 영상에서의 전경 검출 장치 및 방법

Info

Publication number: KR20170088227A
Application number: KR1020160008335A
Authority: KR
Inventors: 윤기민; 최진영; 임종인
Original assignee: 삼성전자주식회사; 서울대학교산학협력단
Priority date: 2016-01-22
Filing date: 2016-01-22
Publication date: 2017-08-01
Also published as: KR102153607B1; US20170213100A1; US10311579B2

Abstract

카메라로부터 입력된 영상에서 전경을 검출하는 장치가 개시된다. 일 양상에 따르면, 전경 검출 장치는 입력된 영상 프레임으로부터 장면에 대한 상황 정보를 추정하는 상황 정보 추정부, 추정된 상황 정보를 이용하여 영상 프레임의 배경 모델을 구축하는 배경 모델 구축부 및 구축된 배경 모델을 기초로 영상 프레임에서 전경을 검출하는 전경 검출부를 포함할 수 있다.

Description

영상에서의 전경 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING FOREGROUND IN IMAGE}

영상 처리 기술로서, 이동 카메라로부터 입력된 영상에서 전경을 검출하는 기술과 관련된다.

영상에서 움직이는 물체를 탐지하기 위해서 다양한 방법들이 이용된다. 일반적으로 고정 카메라의 경우 배경(background) 부분의 동일한 위치는 시간에 따라 유사한 색이 들어온다는 전제하에 배경을 학습한 후, 입력된 영상에서 학습된 배경을 빼서 움직이는 물체 즉 전경 부분을 찾아내는 배경 차감법(background subtraction)이 이용된다. 움직이는 카메라의 경우에는 카메라 움직임으로 인해 배경도 움직임을 갖기 때문에, 영상 정합(image stitchinng) 기술을 활용하여 큰 파노라마 영상을 만든 후에 배경 차감을 수행하는 방법 및, 학습된 배경 모델에서 카메라의 움직임에 의해 발생하는 배경 움직임을 보상(compenstation) 시켜서 진행하는 보상 기반 방법이 제안되고 있다. 하지만, 파노라마 기반의 방법의 경우 매칭 위치를 결정하는데 어려움이 있고, 메모리 문제 등의 제한이 있다. 또한, 보상 기반 방법의 경우에는 배경 움직임 추정의 어려움, 이로 인해 배경 속도가 매우 빠른 경우 전경 탐지 어려움 등이 존재한다.

이동 카메라로부터 입력된 영상에서 전경을 검출하는 장치 및 방법이 제시된다.

일 양상에 따르면, 카메라로부터 입력된 영상에서의 전경 검출 장치는 입력된 영상 프레임으로부터 장면에 대한 상황 정보를 추정하는 상황 정보 추정부, 추정된 상황 정보를 이용하여 영상 프레임의 배경 모델을 구축하는 배경 모델 구축부 및 구축된 배경 모델을 기초로 상기 영상 프레임에서 전경을 검출하는 전경 검출부를 포함할 수 있다.

이때, 상황 정보는 배경 움직임, 전경 속도 및 조명 변화 중의 하나 이상을 포함할 수 있다.

또한, 상황 정보 추정부는 영상 프레임과 직전 영상 프레임의 광학 흐름(optical flow)을 이용하여 속도를 계산하고, 계산된 속도를 이용하여 배경 움직임을 표현하는 투영변환행렬을 생성하는 배경 움직임 추정부, 생성된 투영변환행렬을 기초로 상기 속도를 보정하여 전경 속도를 추정하는 전경 속도 추정부 및 영상 프레임의 명암 강도의 평균과 직전 영상 프레임의 배경 모델의 평균 간의 차이를 기초로 조명 변화를 추정하는 조명 변화 추정부를 포함할 수 있다.

배경 모델 구축부는 배경 움직임 정보를 기초로 직전 영상 프레임의 배경 모델을 이용하여, 영상 프레임의 배경 모델을 생성하는 배경 모델 생성부를 포함할 수 있다.

배경 모델 생성부는 영상 프레임의 제1 위치에 대응하는 직전 영상 프레임의 위치를 기준으로 직전 영상 프레임 상의 복수의 위치를 결정하고, 결정된 복수의 위치의 배경 모델을 가중합산하여 제1 위치의 배경 모델을 생성할 수 있다.

배경 모델 생성부는 전경 속도에 기초한 상황 변수 값이 블록 크기 이상이면, 생성된 배경 모델의 분산을 보정할 수 있다.

배경 모델 생성부는 제1 위치의 배경 모델의 평균과 복수의 위치의 평균 간의 차이를 반영하여 제1 위치의 배경 모델의 분산을 보정할 수 있다.

배경 모델 구축부는 조명 변화를 기초로 상기 생성된 배경 모델을 갱신하는 배경 모델 갱신부를 더 포함할 수 있다.

배경 모델 갱신부는 상황 변수 값이 블록 크기 미만이면, 조명 변화를 반영하여 상기 생성된 배경 모델의 평균을 갱신하고, 상황 변수 값이 블록 크기 이상이면, 조명 변화 및 추가 정보를 반영하여 생성된 배경 모델의 평균 및 분산을 갱신할 수 있다.

이때, 추가 정보는 블록별 명암 강도의 평균 및 생성된 배경 모델의 평균과 영상 프레임 간의 차이 정보 중의 적어도 하나를 포함할 수 있다.

배경 모델 갱신부는 카메라로부터 입력된 최초 영상 프레임부터 영상 프레임까지 블록 단위의 시변 변수 값을 계산하고, 시변 변수 값을 이용하여 생성된 배경 모델의 갱신 강도를 조절할 수 있다.

전경 검출부는 구축된 배경 모델을 기초로 영상 프레임의 각 픽셀에 대하여 전경 확률을 산출하여 전경확률맵을 생성하는 전경확률맵 생성부 및 생성된 전경확률맵을 이용하여 영상 프레임으로부터 전경을 추출하는 전경 추출부를 포함할 수 있다.

전경 추출부는 영상 프레임의 각 픽셀에 대하여 전경 확률을 임계치와 비교하여 전경, 후보 및 배경 중의 적어도 하나로 분류하고, 후보로 분류된 픽셀을 워터쉐드 세그멘테이션(watershed segmentation) 기법을 적용하여 전경 또는 배경으로 분류할 수 있다.

일 양상에 따르면, 카메라로부터 입력된 영상에서의 전경 검출 방법은 입력된 영상 프레임으로부터 장면에 대한 상황 정보를 추정하는 단계, 추정된 상황 정보를 이용하여 영상 프레임의 배경 모델을 구축하는 단계 및 구축된 배경 모델을 기초로 상기 영상 프레임에서 전경을 검출하는 단계를 포함할 수 있다.

배경 모델 구축 단계는 배경 움직임 정보를 기초로 직전 영상 프레임의 배경 모델을 이용하여, 영상 프레임의 배경 모델을 생성하는 단계를 포함할 수 있다.

배경 모델 구축 단계는 전경 속도에 기초한 상황 변수 값이 블록 크기 이상이면, 생성된 배경 모델의 분산을 보정하는 단계를 더 포함할 수 있다.

배경 모델 구축 단계는 조명 변화를 기초로 생성된 배경 모델을 갱신하는 단계를 더 포함할 수 있다.

배경 모델 갱신 단계는 상황 변수 값이 블록 크기 미만이면, 조명 변화를 반영하여 상기 생성된 배경 모델의 평균을 갱신하고, 상황 변수 값이 블록 크기 이상이면, 조명 변화 및 추가 정보를 반영하여 생성된 배경 모델의 평균 및 분산을 갱신할 수 있다.

전경 검출 단계는 구축된 배경 모델을 기초로 영상 프레임의 각 픽셀에 대하여 전경 확률을 산출하여 전경확률맵을 생성하는 단계 및 생성된 전경확률맵을 이용하여 영상 프레임으로부터 전경을 추출하는 단계를 포함할 수 있다.

장면에 대한 배경 움직임, 전경 속도 및 조명 변화 등의 상황 정보를 인지하여 전경을 검출함으로써 이동 카메라 영상에서 움직이는 물체를 정확하게 탐지할 수 있다.

도 1은 일 실시예에 따른 전경 검출 장치의 블록도이다.
도 2a 내지 도 2c는 도 1의 전경 검출 장치(100)의 각 구성들의 상세 블록도이다.
도 3은 전경 속도 추정을 설명하기 위한 예시도이다.
도 4는 입력 영상에 대한 배경 모델의 생성을 설명하기 위한 예시도이다.
도 5는 입력 영상에서의 전경 검출을 설명하기 위한 예시도이다.
도 6은 일 실시예에 따른 전경 검출 방법의 흐름도이다.
도 7은 일 실시예에 따른 전경 검출 방법의 상세 흐름도이다.
도 8은 일 실시예에 따라 전경 속도 인지를 통한 전경 검출을 설명하기 위한 예시도이다.
도 9는 일 실시예에 따라 조명 변화 인지를 통한 전경 검출을 설명하기 위한 예시도이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 영상에서의 전경 검출 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.

도 1은 일 실시예에 따른 전경 검출 장치의 블록도이다.

일 실시예에 따른 전경 검출 장치(100)는 입력된 영상을 처리하여 영상에서 전경 물체를 검출하는 장치로서, 이하에서는 전경 검출 장치(100)가 이동 카메라로부터 입력되는 영상(I)으로부터 전경을 검출하는 실시예를 설명한다. 다만, 이에 한정되는 것은 아니며 고정 카메라로부터 획득된 영상에서 전경을 검출하는 실시예에 적용된 것도 가능하다. 이때, 전경 검출 장치(100)에 입력되는 영상은 카메라로부터 프레임 단위로 입력되며, 이하 설명의 편의를 위해 현재 시점에 입력되는 프레임의 영상을 현재 프레임이라고 하고, 직전 시점에 입력된 프레임의 영상을 직전 프레임이라고 한다.

도 1을 참조하면, 전경 검출 장치(100)는 상황 정보 추정부(110), 배경 모델 구축부(120) 및 전경 검출부(130)를 포함한다.

상황 정보 추정부(110)는 카메라로부터 현재 프레임이 입력되면, 입력된 현재 프레임의 장면(scene)에 대한 상황 정보를 추정한다. 이때, 상황 정보는 카메라 움직임으로 인해 발생하는 배경 움직임, 움직이는 물체의 속도인 전경 속도 및 전체적인 장면의 밝기 변화인 조명 변화를 포함할 수 있다. 다만, 여기에 한정되지 않으며 필요에 따라 다양한 상황 정보가 추정될 수 있다.

예를 들어, 상황 정보 추정부(110)는 일반적인 영상에서 전경보다 배경의 비율이 높다는 가정을 활용하여, 입력된 현재 프레임의 각 위치에서의 움직임 정보를 구한 뒤에 이상치(outlier)를 제거하고 배경 움직임을 추정할 수 있다. 또한, 상황 정보 추정부(110)는 현재 프레임의 각 위치에서 추정된 배경 움직임에 잘 맞지 않는 위치를 전경으로 결정하고, 전경으로 결정된 위치의 속도를 측정하여 측정된 속도에서 배경 속도를 뺀 상대 속도를 기초로 전경 속도를 추정할 수 있다. 또한, 상황 정보 추정부(110)는 움직이는 카메라의 경우 카메라가 바라보는 영역이 크게 변화하여 전체적인 영상의 밝기가 급격하게 변화하게 되므로 이를 반영해 주기 위해 조명 변화를 추정할 수 있다.

배경 모델 구축부(120)는 이와 같이 추정된 상황 정보, 예컨대 배경 움직임, 전경 속도 및 조명 변화 정보를 반영하여 현재 프레임에 대한 배경 모델을 구축할 수 있다. 이때, 배경 모델은 배경에 대한 평균과 분산으로 이루어지며, 픽셀 대신 복수의 픽셀이 포함된 일정 크기의 블록 단위로 구축될 수 있다.

일 실시예에 따르면, 배경 모델 구축부(120)는 도 2a 이하를 참조하여 자세히 후술하는 바와 같이, 추정된 상황 정보에 기초하여 직전 프레임의 배경 모델을 보정함으로써 현재 프레임에 대한 배경 모델을 구축할 수 있다. 예를 들어, 배경 모델 구축부(120)는 배경의 움직임이 블록 단위로 움직이지 않기 때문에 추정된 배경 움직임 정보를 고려하여 직전 프레임의 주변 블록 또는 픽셀의 배경 모델을 기초로 현재 프레임에 대한 배경 모델을 생성할 수 있다. 이때, 전경 속도가 빠른 경우에는 에지(edge) 등의 이유로 정합이 잘 되지 않는 것으로 볼 수 있으므로 오경보(false alarm)를 줄일 수 있도록 생성된 배경 모델의 분산을 높여 주는 추가 보정을 수행할 수 있다.

또한, 배경 모델 구축부(120)는 이와 같이 현재 프레임에 대한 배경 모델이 생성되면 추정된 조명 변화를 반영하여 배경 모델을 갱신할 수 있다. 이때, 전경이 배경을 오염시키는 것을 방지하기 위해 전경 속도를 고려하여 배경 모델의 갱신을 다르게 수행할 수 있다. 예를 들어, 배경 모델 구축부(120)는 전경 속도를 기초로 상황 변수를 정의하고, 상황 변수를 블록 크기와 비교하여 상황 변수값이 블록 크기보다 작은 경우에는 평균에 조명 변화를 반영하여 갱신하고 분산의 갱신은 수행하지 않을 수 있다. 반면, 상황 변수값이 블록 크기보다 크거나 같은 경우에는 조명 변화 및/또는 추가 정보를 반영하여 평균과 분산을 갱신할 수 있다.

전경 검출부(130)는 배경 모델 구축부(120)에 의해 구축된 배경 모델을 이용하여 현재 프레임으로부터 전경을 검출하고 전경맵(FG)을 출력할 수 있다. 예를 들어, 전경 검출부(130)는 픽셀별로 독립적으로 전경을 결정하지 않고 구축된 배경 모델을 이용하여 전경확률맵을 획득하고, 확률이 높은 값을 갖는 부분에서 주변의 전경 후보 영역으로 전파시키면서 전경을 표시할 수 있다.

도 2a 내지 도 2c는 도 1의 전경 검출 장치(100)의 각 구성들(110,120,130)의 상세 블록도이다. 도 2a 내지 도 2c를 참조하여 전경 검출 장치(100)를 상세하게 설명한다.

도 2a는 도 1의 상황 정보 추정부(110)의 상세 블록도로서, 상황 정보 추정부(110)는 도시된 바와 같이 배경 움직임을 추정하는 배경 움직임 추정부(111), 전경 속도를 측정하는 전경 속도 추정부(112) 및 조명 변화를 추정하는 조명 변화 추정부(113)를 포함할 수 있다.

배경 움직임 추정부(111)는 현재 프레임과 직전 프레임을 이용하여 배경 움직임을 추정할 수 있다. 일반적으로 움직이는 카메라에서 촬영된 영상은 배경도 움직임을 갖기 때문에 전경 검출시 배경의 움직임을 고려해야 정확하게 전경이 검출될 수 있다. 배경 움직임 추정부(111)는 영상 내에서 전경보다 배경의 비율이 높다는 가정하에 각 위치에서의 속도를 구한 뒤 이상치(outlier)를 제거하고 최대한 넓은 영역을 커버하는 투영(projective) 모델로 표현하여 배경 움직임을 추정할 수 있다.

예를 들어, 배경 움직임 추정부(111)는 아래의 수학식 1을 이용하여 배경 움직임을 표현하는 투영변환행렬(projective transform matrix)

을 생성하고 이를 배경 움직임 정보로 활용할 수 있다.

여기서,

과

는 직전 프레임의 i 번째 블록의 좌표와 그 i번째 블록에 매핑된 현재 프레임의 좌표를 나타낸다.

수학식 1을 참조하면, 배경 움직임 추정부(111)는 먼저 시점(t)에 현재 프레임이 입력되면 현재 프레임을 회색 스케일(gray scale)로 변환하여 변환된 현재 프레임

를 획득하고, 직전 시점(t-1)에 입력된 직전 프레임

을 복수의 블록으로 나눌 수 있다. 이후, 직전 프레임의 i번째 블록의 중앙 위치

가 현재 프레임

의 어디에 매칭되는지를 찾아낼 수 있다. 이때, 배경 움직임 추정부(111)는 매칭이 되는 위치에서는 명암 강도가 유지된다는 광학 흐름(optical flow)의 가정을 활용하여, 수학식 1의 (a)를 만족하는 i 번째 블록의 속도

를 구하고, 그 블록의 속도를 이용하여 직전 프레임과 현재 프레임 사이의 대응 관계를 (b)와 같이 표현할 수 있다. 그리고, 이와 같이 표현된 관계를 이용하여 (c)를 만족하는 투영변환행렬

을 구할 수 있다. 이때, 장면 전체의 움직임이 잘 표현되도록 이상치(outliers)를 제거할 수 있다.

전경 속도 추정부(112)는 투영변환행렬

이 생성되면, 투영변환행렬을 이용하여 전경 움직임과 관련된 전경 속도를 얻을 수 있다. 예를 들어,

를 만족하지 않는 i번째 블록의 움직임이 전경 움직임이라고 할 수 있으므로 수학식 2의 (a)를 적용하면 보정된 속도

를 얻을 수 있다. 이때, 배경이 위치한 블록에서는 보정된 속도가 0의 값을 갖게 되고 전경이 위치한 부분의 속도만 남게 되어 전경 부분의 속도를 구할 수 있다. 전경 속도 추정부(112)는 수학식 1의 (a)를 통해 산출된 블록의 속도가 정확하지 않으면 노이즈가 존재할 가능성이 있으므로 이를 고려하여, 아래의 수학식 2의 (b)와 같이 직전 프레임의 전경 픽셀에 걸쳐 있는 위치의 전경 속도만 활용하여 평균 전경 속도

를 추정할 수 있다.

여기서,

는 직전 프레임의 전경 영역을 의미하며, p는 전경 영역 내의 픽셀의 위치를 나타내며, P는 그 전경 영역 내의 픽셀의 개수를 의미한다.

도 3은 전경 속도 추정을 설명하기 위한 예시도로서, 도 3의 (a)는 입력된 영상을 나타내며, 입력된 영상에서 수학식 2를 통해 (b)와 같이 배경 움직임을 보정하고 난 후 전경 부분의 보정된 속도 즉 오른쪽으로 움직이는 자전거의 속도를 구할 수 있다. 도 3의 (c)는 (b)와 같이 구해진 자전거의 속도를 이용하여 추출된 전경을 도시한 것이다.

다시 도 2a를 참고하면, 조명 변화 추정부(113)는 현재 프레임이 입력되면 장면의 전체적인 밝기 변화를 측정할 수 있다. 예를 들어, 조명 변화 추정부(113)는 수학식 3과 같이 현재 프레임

의 명암 강도의 평균과 배경 모델의 평균

의 평균값과의 차이를 이용하여 조명 변화

를 추정할 수 있다. 이때, 배경 모델은 현재 프레임의 배경 모델이 사용될 수 있으나, 반드시 이에 제한되지 않으며 필요에 따라 직전 프레임의 배경 모델이 사용되는 것도 가능하다.

도 2b는 도 1의 배경 모델 구축부(120)의 상세 블록도로서, 도시된 바와 같이 배경 모델 구축부(120)는 배경 모델 생성부(121) 및 배경 모델 갱신부(122)를 포함할 수 있다.

배경 모델 생성부(121)는 추정된 상황 정보를 이용하여 현재 영상 프레임에 대한 배경 모델을 생성할 수 있다. 배경 모델 생성부(121)는 추정된 상황 정보 중에서 직전 프레임과 현재 프레임의 위치의 매핑 관계를 표현하는 배경 움직임 정보를 이용하여 직전 프레임의 배경 모델의 평균 및 분산을 현재 프레임의 위치에 맞게 보정함으로써 현재 프레임의 배경 모델을 생성할 수 있다.

예를 들어, 배경 모델 생성부(121)는 아래의 수학식 4를 이용하여 현재 프레임의 배경 모델을 생성할 수 있다. 먼저, 배경 모델 생성부(121)는 수학식 4의 (a)와 같이 배경 움직임을 표현하는 투영변환행렬

의 역행렬을 이용하여 현재 프레임의 위치를 직전 프레임에 사상할 수 있다. 이때, 현재 프레임의 제1 위치는 직전 프레임에서 블록의 중앙 위치가 아닌 다른 제2 위치에 매핑될 수 있다. 이 경우, 배경 모델 생성부(121)는 제2 위치를 기준으로 주변의 복수의 위치를 결정하고, 결정된 복수의 위치의 배경 모델을 이용하여 현재 프레임의 제1 위치에 대한 배경 모델을 생성할 수 있다.

일 예로, 도 4는 입력 영상에 대한 배경 모델의 생성을 설명하기 위한 예시도로서, 배경 모델 생성부(121)는 도시된 바와 같이 쌍일차 보간(bilinear interpolation) 기법을 이용할 수 있다. 제1 위치에 대응하는 제2 위치(Pi)의 좌표가

라고 가정할 때, 배경 모델 생성부(121)는 정수 집합

를 만족하는 위치(P1,P2,P3,P4)를 결정할 수 있다. 예컨대, 제1 위치의 좌표가 (10,10)이고 매핑된 제2 위치의 좌표가 (5.3,4.7)인 경우 결정된 복수의 정수 위치는 {(5,4),(5,5),(6,4),(6,5)}가 될 수 있다. 그 다음, 결정된 각 위치(P1,P2,P3,P4)의 배경 모델

,

을 이용하여 제2 위치의 배경 모델

을 생성할 수 있다.

다시 말해, 수학식 4의 (b) 및 (c)를 이용하여 직전 프레임의 각 위치의 배경 모델의 평균

및 분산

을 가중합산하여, 직전 프레임의 제2 위치의 배경 모델

을 생성할 수 있다. 이와 같이 생성된 제2 위치의 배경 모델은 배경 모델 갱신부(122)에 의해 조명 변화가 반영되어 현재 프레임의 제1 위치에 대한 배경 모델로 구축될 수 있다.

이때, 가중치

는 도 4에 도시된 바와 같이 제2 위치(Pi)와 각 정수 위치(P1,P2,P3,P4)가 만들어 내는 면적에 의해서 결정되며 아래의 수학식 5를 통해 계산될 수 있다.

일 실시예에 따르면, 배경 모델 생성부(121)는 제2 위치에 대한 배경 모델이 생성되면, 전경 속도를 반영하여 분산을 추가로 보정할 수 있다. 예를 들어, 배경 모델 생성부(121)는 셈 변수 및 상황 변수를 정의하고, 초기에 셈 변수

를 1로 설정하며, 셈 변수

와 전경 속도

를 곱해서 그 결과를 상황 변수

의 값으로 설정할 수 있다. 그 다음, 아래의 수학식 6과 같이 상황 변수의 값이 블록 크기

보다 작으면 셈 변수를 1 증가하고, 그렇지 않으면 셈 변수를 다시 1로 설정할 수 있다.

그 다음, 배경 모델 생성부(122)는 아래의 수학식 7과 같이 전경 속도가 느린 상황 즉, 상황 변수 값이 블록 크기보다 작으면 분산을 그대로 유지하고, 그렇지 않으면 제2 위치에 대하여 생성된 배경 모델의 평균과 각 위치의 평균 간의 차이의 제곱을 가중합산한 결과를 제2 위치에 대해 생성된 배경 모델의 분산에 더해 줌으로써 전경 속도를 반영하여 분산을 추가로 보정할 수 있다.

배경 모델 갱신부(122)는 전경 속도

와 조명 변화

를 반영하여 생성된 배경 모델을 갱신할 수 있다. 예를 들어, 배경 모델 갱신부(122)는 수학식 8과 같이 전경 속도에 따라 배경 모델의 평균 및 분산을 다르게 갱신할 수 있다.

배경 모델 갱신부(122)는 앞에서 정의된 상황 변수 값을 블록 크기와 비교하여 상황 변수값이 블록 크기보다 작으면 평균에 조명 변화를 반영하여 갱신하고, 분산을 유지할 수 있다. 이에 반해, 상황 변수값이 블록 크기 이상이면 추가 정보를 반영하여 평균 및 분산을 갱신할 수 있다. 이때, 아래의 수학식 9와 같이 블록의 명암강도의 평균으로 정의되는 값

을 추가 정보로 하여 조명 변화와 함께 평균을 갱신할 수 있으며, 배경 모델의 평균과 입력 영상의 차이를 제곱한 값의 최대값

을 추가 정보로 하여 분산을 갱신할 수 있다.

이때, 배경 모델 갱신부(122)는 아래의 수학식 10과 같이 카메라 움직임에 의해 i번째 블록이 첫 번째 프레임부터 현재 프레임까지 화면에 나타난 횟수를 의미하는 시변 변수

를 정의하고, 시변 변수값을 이용하여 평균 및 분산의 갱신 강도를 조절할 수 있다. 이때, 시변 변수는 화면에 최초로 나타난 블록의 값을 1로 가질 수 있다. 이와 같이 시변 변수를 통해 갱신 강도를 조절함으로써 화면에 처음 나타난 부분은 매우 빠른 속도로 갱신하고, 오랫동안 나타난 부분은 느린 속도로 갱신하는 효과를 줄 수 있다. 이때, 시변 변수값이 특정 값 이상이 되면 갱신이 되지 않을 수 있으므로 이를 방지하기 위해 시변 변수의 최대값

이 설정될 수 있다.

도 2c는 도 1의 전경 검출부(130)의 상세 블록도로서, 전경 검출부(130)는 전경확률맵 생성부(131) 및 전경 추출부(132)를 포함할 수 있다.

전경확률맵 생성부(131)는 현재 프레임에 대한 배경 모델

을 이용하여 입력 픽셀이 전경일 가능성을 나타내는 전경확률맵을 생성할 수 있다. 예를 들어, 아래의 수학식 11을 통해 i번째 블록 내의 j번째 픽셀이 전경일 확률을 나타내는 전경확률맵

을 생성할 수 있다.

전경 추출부(132)는 생성된 전경확률맵을 이용하여 현재 프레임으로부터 전경을 추출할 수 있다. 예를 들어, 전경 추출부(132)는 아래의 수학식 12를 통해 j번째 픽셀에 대하여 전경 확률값과 미리 설정된 임계치

,

를 비교하여 전경, 후보 및 배경 중의 하나의 분류 결과

를 생성할 수 있다. 이때, 픽셀이 후보로 분류되는 경우 그 결과인

를 입력으로 워터세드 세그멘테이션(watershed segmentation) 기법을 이용하여 최종적으로 전경 또는 배경으로 분류할 수 있다.

도 5는 입력 영상에서의 전경 검출을 설명하기 위한 예시도이다.

도 5의 (a)는 입력된 현재 프레임을 의미하며, (b)는 전경확률맵 생성부(131)가 생성한 전경확률맵을 나타낸다. (c)는 전경 추출부(132)가 전경확률맵을 이용하여 배경, 전경 및 후보 영역으로 분류한 결과를 나타낸 것이다. (c)에서 흰색 영역은 전경, 검정색 영역은 후보, 회색 부분은 배경 영역을 나타낸다. 이때, 후보 영역은 노이즈 부분이나 전경 중에서도 배경과 색상이 비슷하여 전경 확률이 낮아진 부분을 포함하고 있다. 최종적으로 워터세드 세그멘테이션 기법을 이용하여 (d)와 같이 전경 영역(흰색 영역)과 배경 영역(검정색 영역)으로 분류하게 된다.

도 6은 일 실시예에 따른 전경 검출 방법의 흐름도이다.

도 6은 도 1의 실시예에 따른 전경 검출 장치(100)에 의해 수행되는 전경 검출 방법의 일 실시예이다. 전경 검출 장치(100)가 수행하는 전경 검출 방법은 도 1 내지 도 5를 참조하여 자세히 설명한 바에 따라 이해될 수 있으므로 이하 간단하게 설명하기로 한다.

도 6을 참조하면, 전경 검출 장치(100)는 먼저 영상의 현재 프레임이 입력되면, 현재 프레임의 장면의 상태를 나타내는 상황 정보를 추정할 수 있다(610). 이때, 상황 정보는 배경 움직임, 전경 속도 및 조명 변화 정보를 포함할 수 있으나 이에 한정되는 것은 아니다. 예를 들어, 배경 움직임은 현재 프레임의 각 위치에서의 움직임 정보를 구한 뒤에 이상치를 제거한 후 투영 변환 행렬로 표현될 수 있다. 또한, 투영 변환 행렬을 이용하여 현재 프레임의 각 위치에서 추정된 배경 움직임에 잘 맞지 않는 위치를 전경 위치로 결정하고, 결정된 전경 위치의 속도를 추정할 수 있다. 또한, 조명 변화는 움직이는 카메라의 경우 카메라가 바라보는 영역이 크게 변화하여 전체적인 영상의 밝기가 급격하게 변화하게 되므로 이를 반영해 주는 정보로 활용될 수 있다.

그 다음, 전경 검출 장치(100)는 추정된 상황 정보, 예컨대 배경 움직임, 전경 속도 및 조명 변화 정보를 반영하여 현재 프레임에 대한 배경 모델을 구축할 수 있다(620).

예를 들어, 배경 모델 구축부(120)는 배경의 움직임이 블록 단위로 움직이지 않기 때문에 추정된 배경 움직임 정보를 고려하여 직전 프레임의 주변 블록 또는 픽셀의 배경 모델을 기초로 현재 프레임에 대한 배경 모델을 생성할 수 있다. 이때, 전경 속도가 빠른 경우에는 에지(edge) 등의 이유로 정합이 잘 되지 않는 것으로 볼 수 있으므로 오경보(false alarm)을 줄일 수 있도록 생성된 배경 모델의 분산을 높여 주는 추가 보정을 수행할 수 있다.

또한, 현재 프레임에 대한 배경 모델이 생성되면 추정된 조명 변화를 반영하여 배경 모델을 갱신하여 현재 프레임에 대한 최종 배경 모델을 구축할 수 있다. 이때, 전경이 배경을 오염시키는 것을 방지하기 위해 전경 속도를 고려하여 배경 모델의 갱신을 다르게 수행할 수 있다. 예를 들어, 전술한 바와 같이 전경 속도를 기초로 정의된 상황 변수가 블록 크기보다 작은 경우에는 평균에 조명 변화를 반영하여 갱신하고 분산의 갱신은 수행하지 않으며, 상황 변수값이 블록 크기보다 크거나 같은 경우에는 조명 변화 및/또는 추가 정보를 반영하여 평균과 분산을 갱신할 수 있다.

그 다음, 현재 프레임에 대하여 배경 모델이 구축되면, 구축된 배경 모델을 이용하여 현재 프레임으로부터 전경을 검출할 수 있다(630). 예를 들어, 먼저 배경 모델을 이용하여 전경확률맵을 생성하고, 전경확률맵을 이용하여 확률이 높은 부분에서 주변의 전경 후보 영역으로 전파시키면서 전경을 표시할 수 있다. 이때, 임계치의 하한 및 상한을 설정하고, 전경확률값을 임계치의 하한 및 상한과 비교하여 전경, 후보 및 배경 영역으로 분류하고, 후보 영역을 워터세드 세그멘테이션 기법을 적용하여 배경 또는 전경으로 분류할 수 있다.

도 7은 일 실시예에 따른 전경 검출 방법의 상세 흐름도이다.

도 7은 도 1의 전경 검출 장치(100)가 수행하는 전경 검출 방법의 다른 실시예를 상세하게 도시한 것으로서, 도 7을 참조하여 보다 상세하게 설명한다.

먼저 전경 검출 장치(100)는 카메라로부터 현재 프레임이 입력되면 직전 프레임과 비교하여 배경 움직임을 추정할 수 있다(711). 일반적으로 영상 내에서 전경보다 배경의 비율이 높다는 가정하에 블록 단위로 각 위치에서 속도를 구한 뒤 이상치를 제거하고 배경 움직임을 표현하는 투영 변환 행렬을 생성한다.

그 다음, 배경 움직임을 표현하는 투영 변환 행렬이 생성되면, 투영 변환 행렬을 기초로 전경 속도를 추정할 수 있다(712). 예를 들어, 투영 변환 행렬을 이용하여 직전 프레임을 현재 프레임으로 사상하는 경우 잘 만족하지 않는 위치를 전경의 위치로 결정할 수 있으며, 배경 움직임 추정시 산출된 각 위치의 속도를 보정하여 전경 위치의 속도를 추정할 수 있다. 이때, 배경 움직임 추정시 블록의 속도가 정확하게 산출되지 않으면 노이즈가 존재할 수 있으므로 직전 프레임의 전경 영역의 픽셀들의 전경 속도만 활용하여 평균 전경 속도를 추정할 수 있다.

그 다음, 배경 모델의 구축시 전경 속도를 반영하기 위해 전경 속도를 기초로 한 상황 변수를 설정할 수 있다(713). 예를 들어, 셈 변수를 1로 설정하고 셈 변수를 전경 속도와 곱하여 그 값을 상황 변수의 값으로 설정할 수 있다.

그 다음, 배경 모델을 기초로 조명 변화를 추정할 수 있다(714). 이때, 현재 프레임의 명암 강도의 평균과 배경 모델의 평균의 평균값과의 차이를 이용하여 조명 변화를 추정할 수 있다.

전경 검출 장치(100)는 배경 움직임을 표현하는 투영 변환 모델이 생성되면, 배경 움직임 정보를 이용하여 현재 프레임에 대한 배경 모델을 생성할 수 있다(721). 예를 들어, 현재 프레임의 특정 위치를 투영 변환 모델을 사용하여 직전 프레임에 사상하고, 쌍일차 보간법 등을 활용하여 직전 프레임에 매핑된 위치의 주변 정수 위치를 결정하고 결정된 복수 위치의 배경 모델을 가중합산하여 배경 모델을 생성할 수 있다. 이와 같이 생성된 배경 모델은 이후 갱신 과정을 거쳐 현재 프레임의 배경 모델로 구축될 수 있다.

그 다음, 전경 검출 장치(100)는 전경 속도를 고려하여 배경 모델을 다르게 갱신하기 위해 단계(713)에서 설정된 상황 변수와 블록 크기를 비교할 수 있다(722).

비교 결과(722) 상황 변수가 블록크기 이상이면 단계(721)에서 생성된 배경 모델의 분산을 추가로 보정할 수 있다(723). 예를 들어, 생성된 배경 모델의 평균과 결정된 각 위치의 평균 간의 차이의 제곱을 가중합산한 결과를 배경 모델에 분산에 더해 줌으로써 전경 추출시 전경 확률이 낮게 계산되도록 하여 오경보를 줄일 수 있다.

그 다음, 배경 모델에 조명 변화 및 추가 정보를 반영하여 배경 모델을 갱신할 수 있다(724). 예를 들어, 수학식 8과 같이 단계(723)에 보정이 된 배경 모델의 평균에 조명 변화 및 블록의 명암강도의 평균으로 정의되는 값을 추가 정보로서 반영하여 평균을 갱신할 수 있으며, 배경 모델의 분산에 배경 모델의 평균과 입력 영상의 차이를 제곱한 값의 최대값을 추가 정보로서 반영하여 분산을 갱신할 수 있다. 이때, 수학식 10에 의해 계산되는 시변 변수값을 평균 및 분산의 갱신에 반영하여 갱신 강도를 조절할 수 있다. 이를 통해 화면에 처음 나타난 블록은 빠른 속도로 갱신하고, 오랫동안 나타난 블록은 느린 속도로 갱신되도록 할 수 있다.

그 다음, 다음 프레임을 위하여 셈변수를 다시 1로 리셋할 수 있다(725).

또한, 비교 결과(722) 상황 변수가 블록크기보다 작으면 생성된 배경 모델의 추가 보정없이 배경 모델에 조명 변화를 반영하여 배경 모델을 갱신할 수 있다(726). 이때에는 수학식 8과 같이 단계(721)에서 생성된 배경 모델의 평균에 조명 변화를 더해서 갱신하고, 분산은 그대로 유지할 수 있다.

그 다음, 다음 프레임을 위하여 셈변수를 1 증가시킨다(727). 이는 블록 크기보다 전경 속도가 항상 느린 경우 오랫동안 배경 모델이 갱신이 되지 않는 것을 방지하기 위함이다.

그 다음, 전경 검출 장치(100)는 갱신된 배경 모델을 이용하여 각 픽셀이 전경일 확률을 나타내는 전경확률맵을 생성할 수 있다(731).

그 다음, 생성된 전경확률맵을 이용하여 현재 프레임으로부터 전경을 추출할 수 있다(732). 예를 들어, 확률 임계치의 상한과 하한을 설정하고 각 픽셀의 전경 확률을 상한과 하한을 비교하여 전경, 후보 및 배경 중의 하나로 분류할 수 있다. 이때, 후보로 분류되는 픽셀을 워터세드 세그멘테이션 기법을 적용하여 배경 및 전경 중의 하나로 최종 분류할 수 있다.

도 8은 일 실시예에 따라 전경 속도 인지를 통한 전경 검출을 설명하기 위한 예시도이다.

도 8의 (a)는 입력 영상으로서 전경 속도가 느린 것을 나타낸 것이다. (b), (c)는 각각 일반적인 전경 검출 방법을 이용하여 추출한 배경 및 전경을 나타낸 것으로, (b)와 같이 배경 모델 내에 전경이 들어가게 되어 배경이 비교적 쉬운 영상임에도 불구하고 (c)와 같이 전경이 제대로 탐지되지 않은 것을 알 수 있다. 이에 반하여 (d) 및 (e)는 각각 전술한 일 실시예들을 활용하여 탐지한 결과를 나타낸 것으로서 (d)와 같이 배경이 전경에 의해 오염되지 않게 되어 (e)와 같이 정확하게 전경이 검출되는 것을 알 수 있다.

도 9는 일 실시예에 따라 조명 변화 인지를 통한 전경 검출을 설명하기 위한 예시도이다.

도 9의 (a)는 카메라가 상하로 급격하게 움직이면서 자동노출제어기능으로 인해서 화면의 밝기가 크게 변화하는 입력 영상을 나타내고, (b)와 (c)는 조명 변화를 반영하지 않고 검출한 배경 및 전경을 나타내고, (d)와 (e)는 조명 변화를 반영한 후 검출한 배경 및 전경을 나타낸 것이다. 이와 같이 입력 영상이 화면의 밝기가 크게 변화하는 경우에 조명변화를 고려하지 않게 되면, (b)의 배경 영상처럼 밝아진 부분의 경계선이 표시되면서 배경 모델이 깨지게 된다. 이로 인해서, (c)의 전경과 같이 매우 넓은 영역의 오경보가 발생하게 된다. 이에 반하여, 일 실시예들에 따른 조명 변화정보를 반영하는 경우 (d)와 같이 배경의 전체적인 밝기 변화가 보정되어 매끄러운 배경 모델을 구축할 수 있고 (e)와 같이 조명변화에 강인한 전경 영역을 얻어낼 수 있다.

한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 전경 검출 장치 110: 상황 정보 추정부
111: 배경 움직임 추정부 112: 전경 속도 추정부
113: 조명 변화 추정부 120: 배경 모델 구축부
121: 배경 모델 생성부 122: 배경 모델 갱신부
130: 전경 검출부 131: 전경확률맵 생성부
132: 전경 추출부

Claims

카메라로부터 입력된 영상에서의 전경 검출 장치에 있어서,
입력된 영상 프레임으로부터 장면에 대한 상황 정보를 추정하는 상황 정보 추정부;
상기 추정된 상황 정보를 이용하여 상기 영상 프레임의 배경 모델을 구축하는 배경 모델 구축부; 및
상기 구축된 배경 모델을 기초로 상기 영상 프레임에서 전경을 검출하는 전경 검출부를 포함하는 전경 검출 장치.
제1항에 있어서,
상기 상황 정보는 배경 움직임, 전경 속도 및 조명 변화 중의 하나 이상을 포함하는 전경 검출 장치.
제2항에 있어서,
상기 상황 정보 추정부는
상기 영상 프레임과 직전 영상 프레임의 광학 흐름(optical flow)을 이용하여 속도를 계산하고, 계산된 속도를 이용하여 상기 배경 움직임을 표현하는 투영변환행렬을 생성하는 배경 움직임 추정부;
상기 생성된 투영변환행렬을 기초로 상기 속도를 보정하여 전경 속도를 추정하는 전경 속도 추정부; 및
상기 영상 프레임의 명암 강도의 평균과 배경 모델의 평균 간의 차이를 기초로 조명 변화를 추정하는 조명 변화 추정부를 포함하는 전경 검출 장치.
제2항에 있어서,
상기 배경 모델 구축부는
상기 배경 움직임 정보를 기초로 직전 영상 프레임의 배경 모델을 이용하여, 상기 영상 프레임의 배경 모델을 생성하는 배경 모델 생성부를 포함하는 전경 검출 장치.
제4항에 있어서,
상기 배경 모델 생성부는
상기 영상 프레임의 제1 위치에 대응하는 상기 직전 영상 프레임의 위치를 기준으로 직전 영상 프레임 상의 복수의 위치를 결정하고, 결정된 복수의 위치의 배경 모델을 가중합산하여 상기 제1 위치의 배경 모델을 생성하는 전경 검출 장치.
제5항에 있어서,
상기 배경 모델 생성부는
상기 전경 속도에 기초한 상황 변수 값이 블록 크기 이상이면, 상기 생성된 배경 모델의 분산을 보정하는 전경 검출 장치.
제6항에 있어서,
상기 배경 모델 생성부는
상기 제1 위치의 배경 모델의 평균과 상기 복수의 위치의 평균 간의 차이를 반영하여 상기 제1 위치의 배경 모델의 분산을 보정하는 전경 검출 장치.
제4항에 있어서,
상기 배경 모델 구축부는
상기 조명 변화를 기초로 상기 생성된 배경 모델을 갱신하는 배경 모델 갱신부를 더 포함하는 전경 검출 장치.
제8항에 있어서,
상기 배경 모델 갱신부는
상황 변수 값이 블록 크기 미만이면, 상기 조명 변화를 반영하여 상기 생성된 배경 모델의 평균을 갱신하고,
상기 상황 변수 값이 블록 크기 이상이면, 상기 조명 변화 및 추가 정보를 반영하여 상기 생성된 배경 모델의 평균 및 분산을 갱신하는 전경 검출 장치.
제9항에 있어서,
상기 추가 정보는
블록별 명암 강도의 평균 및 상기 생성된 배경 모델의 평균과 상기 영상 프레임 간의 차이 정보 중의 적어도 하나를 포함하는 전경 검출 장치.
제9항에 있어서,
상기 배경 모델 갱신부는
상기 카메라로부터 입력된 최초 영상 프레임부터 상기 영상 프레임까지 블록 단위의 시변 변수 값을 계산하고, 상기 시변 변수 값을 이용하여 상기 생성된 배경 모델의 갱신 강도를 조절하는 전경 검출 장치.
제1항에 있어서,
상기 전경 검출부는
상기 구축된 배경 모델을 기초로 상기 영상 프레임의 각 픽셀에 대하여 전경 확률을 산출하여 전경확률맵을 생성하는 전경확률맵 생성부; 및
상기 생성된 전경확률맵을 이용하여 상기 영상 프레임으로부터 전경을 추출하는 전경 추출부를 포함하는 전경 검출 장치.
제12항에 있어서,
상기 전경 추출부는
상기 영상 프레임의 각 픽셀에 대하여 전경 확률을 임계치와 비교하여 전경, 후보 및 배경 중의 적어도 하나로 분류하고, 상기 후보로 분류된 픽셀을 워터쉐드 세그멘테이션(watershed segmentation) 기법을 적용하여 전경 또는 배경으로 분류하는 전경 검출 장치.
카메라로부터 입력된 영상에서의 전경 검출 방법에 있어서,
입력된 영상 프레임으로부터 장면에 대한 상황 정보를 추정하는 단계;
상기 추정된 상황 정보를 이용하여 상기 영상 프레임의 배경 모델을 구축하는 단계; 및
상기 구축된 배경 모델을 기초로 상기 영상 프레임에서 전경을 검출하는 단계를 포함하는 전경 검출 방법.
제14항에 있어서,
상기 상황 정보는 배경 움직임, 전경 속도 및 조명 변화 중의 하나 이상을 포함하는 전경 검출 방법.
제15항에 있어서,
상기 배경 모델 구축 단계는
상기 배경 움직임 정보를 기초로 직전 영상 프레임의 배경 모델을 이용하여, 상기 영상 프레임의 배경 모델을 생성하는 단계를 포함하는 전경 검출 방법.
제16항에 있어서,
상기 배경 모델 구축 단계는
상기 전경 속도에 기초한 상황 변수 값이 블록 크기 이상이면, 상기 생성된 배경 모델의 분산을 보정하는 단계를 더 포함하는 전경 검출 방법.
제16항에 있어서,
상기 배경 모델 구축 단계는
상기 조명 변화를 기초로 상기 생성된 배경 모델을 갱신하는 단계를 더 포함하는 전경 검출 방법.
제18항에 있어서,
상기 배경 모델 갱신 단계는
상황 변수 값이 블록 크기 미만이면, 상기 조명 변화를 반영하여 상기 생성된 배경 모델의 평균을 갱신하고,
상기 상황 변수 값이 블록 크기 이상이면, 상기 조명 변화 및 추가 정보를 반영하여 상기 생성된 배경 모델의 평균 및 분산을 갱신하는 전경 검출 방법.
제14항에 있어서,
상기 전경 검출 단계는
상기 구축된 배경 모델을 기초로 상기 영상 프레임의 각 픽셀에 대하여 전경 확률을 산출하여 전경확률맵을 생성하는 단계; 및
상기 생성된 전경확률맵을 이용하여 상기 영상 프레임으로부터 전경을 추출하는 단계를 포함하는 전경 검출 방법.