KR102107334B1

KR102107334B1 - 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지를 결정하기 위한 방법, 장치 및 시스템

Info

Publication number: KR102107334B1
Application number: KR1020190056929A
Authority: KR
Inventors: 구룬드스트롬 야콥; 발트센 조아킴; 몰린 사이몬; 브졸빈스도티르 한나
Original assignee: 엑시스 에이비
Priority date: 2018-06-14
Filing date: 2019-05-15
Publication date: 2020-05-06
Also published as: TW202018666A; US20190385312A1; EP3582181A1; KR20190141577A; JP2020024675A; JP6767541B2; TWI726321B; CN110610507A; US10726561B2; CN110610507B; EP3582181B1

Abstract

본 발명은 이미지에서 배경 분리의 분야에 관한 것이다. 특히, 비디오 시퀀스의 이미지 프레임에서 픽셀 위치가 픽셀 위치의 결정된 동적 레벨을 사용하여 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 것에 관한 것이다.

Description

이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지를 결정하기 위한 방법, 장치 및 시스템{METHOD, DEVICE AND SYSTEM FOR DETERMINING WHETHER PIXEL POSITIONS IN AN IMAGE FRAME BELONG TO A BACKGROUND OR A FOREGROUND}

본 발명은 이미지에서 배경 제거(subtraction)의 분야에 관한 것이다. 특히, 비디오 시퀀스의 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 것에 관한 것이다.

비디오 감시에서, 비디오 시퀀스에서 캡쳐된 장면에서 움직이는 물체를 감지할 수 있는 것이 중요하다. 비디오에서 움직임 감지를 위해 많은 도구가 존재한다. 그들 중 일부는 상기 비디오 스트림에서 특징을 따라 프레임별로 물체를 추적한다. 다른 것들은 현재 프레임을 픽셀별로 정적 배경 프레임과 비교한다. 후자는 중요한 변경이 발생하는 영역을 감지함으로써 움직이는 물체를 추출하는 것을 목적으로 하는 배경 제거를 기초로 한다. 정적 물체는 배경의 일부인 반면 움직이는 물체는 전경이라 한다.

움직이는 물체를 배경에서 분리하는 것은 복잡한 문제로, 배경에서 흔들리는 나무나 잔물결이 존재하거나, 조명이 변하는 경우와 같이 배경이 동적일 경우 훨씬 더 어려워진다. 특히, 동적 배경은 움직이는 물체의 오감지(false detection) 수가 증가하는 것으로 나타날 수 있다.

배경 제거 방법에 대한 검토는 "Background Modeling and Foreground Detection for Video Surveillance"(편집자: Thierry Bouwmans, Fatih Porikli, Benjamin Hoferlin 및 Antoine Vacavant), CRC Press, Taylor & Francis Group, Boca Raton, 2015에서 제공된다. 1장과 7장의 예를 참조한다.

배경 제거 방법은 일반적으로 비디오 스트림의 현재 프레임과 움직이는 물체가 없는 참조 배경 프레임 또는 모델을 비교하는 것을 포함한다. 이미지를 배경 프레임 또는 모델과 비교함으로써, 이미지에서 각각의 픽셀이 전경 또는 배경에 속하는지 여부가 결정될 수 있다. 이러한 방식으로, 이미지는 전경 및 배경의 두개의 상보적인 픽셀 세트로 분할될 수 있다.

배경 제거는 시간 경과에 따른 배경 변경을 수용하기 위한 기본 배경 모델과 업데이트 전략의 정의가 필요하다. 많은 배경 모델이 문헌에 제안되어 있다. 여기에는 매겨변수 모델(예를 들어, 가우스 분포)과 비-매개변수 모델(예를 들어, 샘플-기반 모델)이 포함된다.

그러나, 배경과 전경 사이의 정확한 분리를 달성하기 위해, 사용되는 배경 모델링에 대한 접근 방식에 관계 없이, 멀티-모달 환경을 나타내는 장면 영역(이러한 영역을 나타내는 픽셀 값이 장면을 캡쳐하는 비디오 시퀀스의 프레임들 사이의 값이 변경될 가능성이 높음을 의미함)은 이러한 영역에서의 프레임들 사이에 본질적으로 존재할 이미지 콘텐츠(픽셀 값으로 표현됨)에서의 큰 차이로 인해, 더 정적 영역과 비교하여, 영역이 배경 또는 전경을 나타내는지 여부를 결정할 때 상이하게 처리될 필요가 있다.

따라서 이러한 맥락에서 개선이 필요하다.

상기의 관점에서, 따라서 본 발명의 목적은 상기 논의된 문제점을 극복하거나 적어도 완화시키는 것이다. 특히, 비디오 시퀀스의 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하기 위한 방법 및 장치를 제공하는 것이 목적이며, 이는 해당하는 픽셀 위치에 대해 상기 장면을 캡쳐하는 상기 비디오 시퀀스의 프레임들 사이의 값을 변경할 다른 가능성이 존재하는 것을 고려한다.

본 발명의 제1 양태에 따르면, 비디오 시퀀스의 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 방법이 제공된다. 상기 방법은 상기 이미지 프레임에서의 각각의 픽셀 위치에 대해:

- 상기 픽셀 위치가 분류된 분류(class)를 수신하는 단계(상기 분류는 상기 픽셀 위치에서 캡쳐된 장면에서의 콘텐츠(content)의 카테고리(category)를 나타냄),

- 상기 픽셀 위치를 이의 해당하는 분류의 동적 레벨(level of dynamics)과 관련시키는 단계(상기 분류의 동적 레벨은 상기 비디오 시퀀스의 프레임들 사이에서 값을 변경하는 분류에 속하는 픽셀 위치에서의 픽셀 값의 가능성을 반영함),

- 상기 이미지 프레임에서의 픽셀 위치의 픽셀 값을 배경 모델 및 임계값과 비교함으로써 상기 이미지 프레임에서의 픽셀 위치가 상기 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계(상기 배경 모델은 픽셀 위치를 나타내는 하나 이상의 값을 포함하고, 상기 픽셀은 상기 픽셀 값과 상기 배경 모델에서 위치를 나타내는 제1 미리 결정된 수의 값 사이의 차이가 상기 픽셀 위치에 대한 임계값보다 작은 경우 상기 배경에 속하는 것으로 결정함)를 포함한다.

상기 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정되면, 상기 방법은:

- 상기 이미지 프레임에서 픽셀 위치에서의 픽셀 값이 이전 프레임 이후의 제2 값보다 더 크게 변경되면 상기 픽셀 위치에 특정한 임계값을 증가분(increment)으로 증가시키는 단계(상기 증가분은 상기 픽셀 위치의 동적 레벨에 의존하도록 설정되어 높은 동적 레벨이 높은 증가분을 야기함)를 더 포함한다.

본 발명은 나무, 물, 깃발 등과 같은 동적 배경 물체를 포함하는 장면의 부분들이 상기 장면을 캡쳐하는 시퀀스된 비디오에서의 프레임들 사이에서 이들 부분들을 나타내는 픽셀 값에서 더 큰 차이가 야기될 것이라는 인식으로부터 비롯된다. 결과적으로, 이는 이미지 프레임에서의 특정 픽셀 위치가 상기 캡쳐된 장면의 전경 또는 배경에 속하는지 여부를 결정할 때 고려될 필요가 있다. 상기 이미지에서의 픽셀 값과 상기 배경 모델에서의 해당하는 픽셀 값(들) 사이의 더 큰 차이가 동적 배경 물체를 포함하는 영역에 대해 이들 영역이 실수에 의해 전경에 속하는 것으로 결정되는 가능성을 감소시키도록 유리하게 허용되어야 한다. 상기 임계값(픽셀 위치의 픽셀 값이 이러한 픽셀 위치에 대한 배경 모델과 얼마나 유사한지를 결정하기 위해 사용됨)은 본 발명에서 상기 이미지에서의 픽셀의 위치에 따라 변할 것이다. 특히, 상기 이미지 시퀀스에서의 후속 이미지들 사이의 값을 변경하는 것은 상기 픽셀의 위치에서 배경의 경향에 따라 변할 수 있다. 값을 변경하는 경향이 높을수록 일반적으로 더 높은 임계값을 제공할 수 있다. 이는 전경 분류가 흔들리는 나무, 잔물결 등과 같은 동적 배경에 적용될 수 있다는 점에서 유리하다. 예를 들어, 픽셀 위치가 전경에 속하는 것으로 결정하기 위한 분류의 감도(sensitivity)는 동적 영역과 비교하여 비-동적 영역에서 증가될 수 있다.

또한, 상기 임계값은 상기 비디오 시퀀스의 이미지 프레임들 사이의 증가된 차이를 허용하기 위해, 상기 이미지의 동적 영역에 대해 더 낮은 값과 더 높은 값 사이에서 보다 신속하게 업데이트되는 것이 유리하다. 유리하게, 이는 바람이 장면에서 불어오기 시작하고 나무와 물이 더 동적으로 변할 때 임계값을 신속하게 적용시킬 것이다. 결과적으로 이는 이러한 영역에서 전경 픽셀의 잘못된 분류의 수를 감소시킬 것이다.

본 발명에서, 상기 장면은 상기 캡쳐된 장면에서 콘텐츠의 카테고리를 나타내는 분류로 분할된다. 이러한 분류는 시맨틱 분할(semantic segmentation), 콘텐츠 유형에 따른 분류 등으로 나타낼 수 있다. 예를 들어, 가능한 분류는 자동차, 나무, 물, 도로, 사람, 집 등을 포함한다. 이러한 분류는 예를 들어 조작자에 의해 수동으로 이루어질 수 있거나, 예를 들어 "Fully Convolutional Networks for Semantic Segmentation"(Long 외)와 같은 연구 문헌에 기술된 바와 같이 딥 러닝 신경망에서 구현되는, 시맨틱 분할 알고리즘과 같은 알고리즘을 사용하여 이루어질 수 있다.

상기 장면의 비디오 시퀀스의 이미지 프레임에서의 각각의 픽셀 위치에 대해, 상기 분류가 수신되고, 상기 픽셀 위치를 이의 해당하는 분류의 동적 레벨과 관련시키기 위해 사용된다. 상기 관련은 예를 들어, 미리 정의된 분류를 다른 동적 레벨로 매핑하는 표 또는 특정 분류의 동적 레벨이 나타내는 것을 정의하는 임의의 다른 데이터 구조를 사용하여 수행될 수 있다.

따라서 상기 분류의 동적 레벨은 상기 분류에 속하는 픽셀 위치에서의 픽셀 값이 상기 비디오 시퀀스의 프레임들 사이에서 값을 변경할 가능성을 반영한다. 일례로서, 나무(의 수관)로 분류된 픽셀 위치는 비교적 높은 동적 레벨을 가질 수 있는 반면, 집으로 분류된 픽셀 위치는 비교적 낮은 동적 레벨을 가질 수 있다. 상기 동적 레벨은 1-100, 0-1, 1-10 또는 임의의 다른 적절한 범위의 값 사이에 걸쳐 있을 수 있다.

상기 배경 모델은 각각의 픽셀 위치에 대해, 상기 픽셀 위치를 나타내는 하나 이상의 값(예를 들어, 상기 픽셀 위치에서의 이전 이미지 프레임의 픽셀 값)을 포함한다. 상기 배경 모델은 상기 픽셀 위치가 전경 또는 배경에 속하는지 여부를 결정할 때, 상기 픽셀 위치에서의 픽셀 값과 상기 배경 모델에서의 해당하는 위치에 대한 값 사이의 허용 가능한 차이를 나타내는 임계값을 더 포함한다. 상기 픽셀 값과 상기 배경 모델에서의 위치를 나타내는 제1 미리 결정된 수의 값 사이의 차이가 상기 픽셀 위치에 대한 임계값보다 작은 경우, 상기 픽셀 위치는 상기 배경에 속하는 것으로 결정된다. 예를 들어, 상기 배경 모델이 픽셀 위치에 대해 두개의 값(예를 들어, 5 및 7)을 포함하고, 상기 임계값이 2이며, 상기 제1 미리 결정된 수가 1이고 상기 픽셀 위치에서의 픽셀 값이 9인 경우, 2보다 작은 차이가 없기 때문에, 상기 픽셀 위치는 전경에 속하는 것으로 결정될 것이다. 그러나, 상기 픽셀 위치에서의 픽셀 값이 7인 경우, 상기 픽셀 위치는 배경에 속하는 것으로 결정될 것이다. 다시 말해서, 상기 임계값은 상기 픽셀 위치의 값이 가질 수 있는 값 범위의 크기를 정의하고, 이는 상기 픽셀 위치가 배경에 속하는 것으로 결정되며, 여기서 상기 범위는 상기 임계값을 증가시킴에 따라 증가한다. 상기 배경 모델이 각각의 픽셀 위치에 대해 하나의 값을 포함하는 실시 형태의 경우, 상기 제1 미리 결정된 수는 항상 1일 것이다. 상기 배경 모델이 각각의 픽셀 위치에 대해 복수의 값을 포함하는 실시 형태에서, 상기 미리 결정된 수는 전경 필셀을 결정할 때의 사용 경우 및 이러한 사용 경우를 위한 감도 요건에 따라, 1과 각각의 픽셀 위치에 대한 값의 수 사이의 임의의 적절한 수일 것이다.

상기 픽셀 위치가 배경에 속하는 것으로 결정되고, 상기 이미지 프레임에서 픽셀 위치에서의 픽셀 값 사이의 차이가 이전 프레임의 해당하는 픽셀 값과 비교하여 제2 값보다 큰 경우, 상기 임계값은 이러한 픽셀 위치가 가질 수 있는 픽셀 값 범위에 기초하여 상기 임계값을 미세 조정하도록 증가되어야 한다. 여기에서 동적 레벨이 작동하기 시작한다. 동적 영역의 경우, 이러한 동적 영역에서의 픽셀 값이 변경될 가능성이 높기 때문에, 상기 증가분은 유리하게 정적 영역보다 높아야 한다. 픽셀 위치의 동적 레벨에 기초하여 증가분을 변화시키는 것은 비디오 시퀀스의 이미지 프레임에서의 각각의 전경 픽셀의 배경의 잘못된 결정의 수를 감소시킬 수 있다.

일부 실시 형태에 따르면, 상기 방법은 상기 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정되면, 상기 이미지 프레임에서 상기 픽셀 위치에서의 픽셀 값이 이전 프레임 이후의 제2 값보다 작게 변경시키는 경우의 감소분(decrement)으로 상기 픽셀 위치에 특정한 임계값을 감소시키는 단계를 더 포함하며, 상기 감소분은 상기 픽셀 위치의 동적 레벨에 좌우되도록 설정되어 더 높은 동적 레벨이 낮은 감소분을 야기한다. 상기 이미지 프레임에서 상기 픽셀 위치에서의 픽셀 값이 이전 프레임 이후의 제2 값보다 더 크게 변경되었을 때 전술한 임계값의 미세 조정과 유사하게, 임계값의 감소분은 예를 들어, 특정 픽셀 위치에 대한 두개의 후속 이미지 프레임들 사이의 픽셀 값에서의 차이가 제2 값보다 작은 경우에 수행될 수 있다. 이러한 실시 형태에서, 동적 영역에서의 감소분은 이러한 동적 영역에서의 픽셀 값이 변경할 가능성이 높기 때문에, 정적 영역에서의 감소분과 비교하여 낮아야 한다. 픽셀 위치의 동적 레벨에 기초하여 감소분을 변화는 것은 비디오 시퀀스의 이미지 프레임에서 각각의 전경 픽셀의 배경의 잘못된 결정의 수를 감소시킬 수 있다.

일부 실시 형태에서, 동적 영역에 대한 감소분은 해당하는 증가분보다 낮다. 증가분 값이 감소분 값보다 크기 때문에, 상기 방법은 배경에서 증가된 동적에 신속하게 응답할 수 있으며, 이는 예를 들어 상기 장면에서 바람 상태가 변하기 때문일 수 있다. 동시에, 상기 임계값은 정적 영역에 비해 동적 영역에 대해 감소가 느리며, 이는 동적 배경 움직임이 다시 발생할 가능성이 있기 때문에 유리하다.

일부 실시 형태에 따르면, 상기 방법은:

픽셀 위치에 특정한 임계값을 값으로 설정하는 단계를 포함하고, 상기 값은 상기 픽셀 위치의 동적 레벨에 의존하여 더 높은 동적 레벨이 더 높은 값을 야기한다. 따라서 이러한 실시 형태는 예를 들어 상기 비디오 스트림의 초기 프레임에 대해 및/또는 상기 비디오 시퀀스를 캡쳐하는 비디오 캡쳐 장치의 시야(a field of view)가 변경될 때 수행될 수 있는 임계값의 초기화 또는 임계값의 재설정을 정의한다. 특정 픽셀 위치에 대한 임계값을 그 픽셀 위치와 관련된 동적 레벨에 따라 초기화/설정함으로써, 후속 이미지 프레임 동안 수행되는 임계값의 미세 조정이 더 빨리 수행될 것이고, 이는 임계값이 시작부터(예를 들어, 모든 픽셀 위치에 대한 임계값을 0과 같은 미리 결정된 값 또는 임의의 값으로 설정하는 것과 비교하여) 더 정확할 것이다. 이러한 실시 형태는 예를 들어 비디오 캡쳐를 시작하거나, 시야를 변경할 때 비디오 시퀀스의 이미지 프레임에서 각각의 전경 픽셀을 배경으로 잘못된 결정의 수를 추가로 감소시킬 수 있다.

일부 실시 형태에 따르면, 상기 방법은 상기 픽셀 위치의 동적 레벨에 따라 상기 픽셀 위치에 특정한 임계값에 대해 더 낮은 임계값을 설정하는 단계를 더 포함하고, 상기 더 낮은 임계값은 상기 임계값에 대한 가능한 최소값을 결정하여, 높은 동적 레벨이 더 낮은 임계값의 높은 값을 야기한다. 즉, 상기 임계값이 이들 낮은 임계값보다 더 낮아질 수 없으므로, 상기 배경 모델은 항상 나무와 같은 동적 영역에 덜 민감하게 한다.

일부 실시 형태에 따르면, 이의 해당하는 분류가 제1 미리 정의된 분류 그룹에 속하면, 상기 픽셀 위치는 제1 동적 레벨과 관련되고, 이의 해당하는 분류가 제2 미리 정의된 분류 그룹에 속하면, 상기 픽셀 위치는 더 높은 제2의 동적 레벨과 관련된다. 예를 들어, 상기 장면에서 집을 나타내는 것과 같은 정적 분류에 대한 하나와 상기 장면에서 나무 또는 물을 나타내는 것과 같은 동적 분류에 대한 하나의 두개의 동적 레벨만이 정의될 수 있다. 다른 실시 형태에서, 예를 들어 상기 장면에서 집을 나타내는 픽셀 위치에 대한 가장 낮은 제1 동적 레벨, 상기 장면에서 물을 나타내는 픽셀 위치에 대한 중간 제2 동적 레벨, 및 상기 장면에서 나무를 나타내는 픽셀 위치에 대한 가장 높은 제3 동적 레벨을 정의하는 예에서, 미세 그레인 모델(finer grained model)이 구현된다.

일부 실시 형태에 따르면, 상기 픽셀 위치에 해당하는 분류가 제3의 미리 정의된 분류 그룹에 속하면, 상기 픽셀 위치에 특정한 임계값은 일정한 레벨로 유지된다. 이러한 실시 형태에서, 제3 미리 정의된 분류 그룹에 속하는 것으로 분류되는 픽셀 위치에 대한 임계값은 일정한 레벨로 유지된다.

일부 실시 형태에 따르면, 상기 픽셀 위치가 분류된 분류는 또한 위에서 예시된 바와 같이 시멘틱 분할을 위한 알고리즘을 사용하여 결정된다.

일부 실시 형태에 따르면, 시맨틱 분할을 위한 알고리즘은 상기 비디오 스트림의 이미지 프레임의 서브 세트에서 실행된다. 이러한 실시 형태에서, 상기 시맨틱 분할은 상기 비디오 스트림에서의 모든 이미지 프레임에 대해 수행되지는 않는다. 상기 비디오 스트림에 대한 두개의 시맨틱 분할 작동 사이에 상이한 시간 범위가 예를 들어 분, 시간 또는 심지어 일(day)로 사용될 수 있다. 상기 시간 범위는 캡쳐된 장면의 배경에서 얼마나 많이 발생하는지에 의존할 수 있다. 더 긴 범위는 상기 방법에 대한 계산상의 요건을 감소시키고, 이는 시맨틱 알고리즘이 다소 하드웨어를 요구하기 때문에 알고리즘으로부터 실시간 결과를 얻는 것이 어렵게(또는 불가능하게) 한다.

일부 실시 형태에 따르면, 상기 픽셀 위치가 분류된 분류는 이미지 프레임의 상기 서브 세트에서 복수의 이미지 프레임으로부터 상기 픽셀 위치에 대한 시맨틱 알고리즘의 결과들의 조합을 이용하여 결정된다. 다시 말해서, 특정 픽셀 위치에 대한 분류의 이전 결과는 예를 들어 잘못된 분류의 위험을 감소시키기 위해 새로운 결과와 함께 사용될 수 있다.

일부 실시 형태에 따르면, 상기 배경 모델은 픽셀 위치를 나타내는 복수의 값을 포함하고, 상기 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계는:

- 상기 픽셀 위치에서 이미지 프레임에서의 픽셀 값과 해당하는 픽셀 위치에서 상기 배경 모델의 복수의 값 사이의 차이를 계산하는 단계,

- 상기 픽셀 위치에 특정한 임계값보다 작은 차이의 수를 계산하는 단계,

- 상기 계산된 수가 제1 미리 결정된 수의 값을 초과하면 상기 이미지 프레임에서의 픽셀 위치가 배경에 속하고, 그렇지 않으면 상기 이미지 프레임에서의 픽셀 위치가 전경에 속하는 것으로 결정하는 단계를 포함한다.

이러한 실시 형태는 제1 미리 결정된 수의 값에 따라, 현재 처리된 이미지 프레임의 값과 상기 배경 모델의 값 사이의 차이에 다소 민감한 결정을 야기할 수 있다. 일부 실시 형태에서, 대부분의 차이는 배경 픽셀을 야기하도록 임계값보다 낮은 것이 요구된다. 다른 실시 형태에서, 1/3, 2/3 또는 임의의 다른 적절한 수의 차이는 배경 픽셀을 야기하기 위해 임계값보다 낮은 것이 요구된다. 극단적인 경우, 차이의 전부 또는 하나만이 배경 픽셀을 야기하기 위해 임계값보다 낮은 것이 필요하다.

본 발명의 제2 양태에 따르면, 상기 목적은 처리 능력을 갖는 장치에 의해 실행될 때, 제1 양태의 방법을 수행하기 위해 컴퓨터 코드 명령어가 저장된 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품에 의해 달성된다.

본 발명의 제3 양태에 따르면, 상기 목적은 비디오 시퀀스의 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하기 위한 장치에 의해 달성되며, 상기 장치는:

- 상기 픽셀 위치가 분류되는 분류를 수신하는 단계(상기 분류는 상기 픽셀 위치에서 캡쳐된 장면에서의 물체의 유형을 나타냄),

- 상기 픽셀 위치를 이의 해당 분류에 기초한 동적 레벨과 관련시키는 단계(상기 분류의 동적 레벨은 상기 비디오 시퀀스의 프레임들 사이에서 값을 변경하는 분류에 속하는 픽셀 위치에서의 픽셀 값의 가능성을 반영함),

- 상기 이미지 프레임에서의 픽셀 위치의 픽셀 값을 배경 모델 및 임계값과 비교함으로써 상기 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계(상기 배경 모델은 픽셀 위치를 나타내는 하나 이상의 값을 포함하고, 상기 픽셀은 상기 픽셀 값과 배경 모델에서의 위치를 나타내는 제1 미리 결정된 수의 값 사이의 차이가 상기 픽셀 위치에 대한 임계값보다 작으면 배경에 속하는 것으로 결정됨)를 적용하기 위한 프로세서를 포함한다.

상기 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정되면, 상기 장치의 프로세서는:

- 상기 픽셀 값이 이전 프레임 이후에 제2 미리 결정된 값보다 크게 변경되면 상기 픽셀 위치에 특정한 임계값을 증분으로 증가시키는 단계(상기 증분은 상기 픽셀 위치의 동적 레벨에 의존하도록 설정되어 더 높은 동적 레벨이 높은 증분을 야기함)를 추가로 적용된다.

본 발명의 제4 양태에 따르면, 상기 목적은:

장면을 묘사하는 비디오 시퀀스를 연속적으로 캡쳐하도록 적용된 비디오 캡쳐 장치;

상기 비디오 캡쳐 장치로부터 상기 비디오 시퀀스의 제1 이미지 프레임을 수신하고, 상기 이미지 프레임에서 각각의 픽셀 위치를 분류하며(상기 분류는 상기 픽셀 위치에서 캡쳐된 장면에서의 물체의 유형을 나타냄), 상기 이미지 프레임에서 각각의 픽셀 위치에 대한 분류를 출력하도록 적용된 제1 장치,

상기 비디오 캡쳐 장치로부터 상기 비디오 시퀀스의 제2 이미지 프레임을 수신하고 상기 제1 장치로부터 상기 이미지 프레임에서의 각각의 픽셀 위치에 대한 분류를 수신하도록 적용되며 제3 양태에 따른 제2 장치를 포함하는 시스템에 의해 달성된다.

제2, 제3 및 제4 양태는 일반적으로 제1 양태와 동일한 특징 및 장점을 가질 수 있다. 또한, 본 발명은 달리 명시되지 않는 한 모든 가능한 특징의 조합에 관한 것이다.

전술한 것뿐만 아니라, 본 발명의 추가적인 목적, 특징 및 이점은 첨부된 도면을 참조하여 이하의 예시적이고 비-제한적인 상세한 설명을 통해 보다 잘 이해될 것이고, 유사한 요소에 대해서는 동일한 참고 번호가 사용될 것이다.
도 1은 상이한 동적 레벨을 갖는 배경 물체를 포함하는 장면을 도시한다.
도 2-3은 픽셀 위치에 대한 배경 모델의 실시 형태를 도시한다.
도 4는 실시 형태에 따른 비디오 시퀀스의 이미지 프레임에서 픽셀 위치가 배경 또는 전경에 속하는지 여부를 결정하는 방법의 흐름도를 도시한다.
도 5는 다른 실시 형태에 따른 비디오 시퀀스의 이미지 프레임에서 픽셀 위치가 배경 또는 전경에 속하는지 여부를 결정하는 방법의 흐름도를 도시한다.
도 6은 장면의 비디오 시퀀스를 캡쳐하고 비디오 시퀀스의 이미지 프레임에서 픽셀 위치가 배경 또는 전경에 속하는지 여부를 결정하기 위한 시스템을 예로 도시한다.

이하, 본 발명의 실시 형태가 도시된 첨부 도면을 참조하여 본 발명을 보다 상세하게 설명할 것이다. 본 발명에 개시된 시스템 및 장치는 작동 중에 설명될 것이다.

도 1은 두개의 배경 물체(102, 104)를 포함하는 장면(101)의 이미지 (100)를 도시한다. 일반적으로, 이러한 장면(101)은 전경 물체도 포함하지만, 설명의 편의를 위해 이들이 생략된다. 장면에서, 제1 배경 물체(102)는 건물이다. 장면에서 제2 배경 물체(104)는 나무이다. 건물(102)은 일반적으로 매우 정적인 물체이며, 이는 시간(t)에서 취해진 건물의 이미지와 이후 시간(t+n)에서 취해진 건물의 이미지 사이에 차이가 거의 없거나 전혀 없음을 의미한다. 반면에 나무는 특히 바람이 불 때 나무의 잎과 가지가 시간이 지남에 따라 상당히 움직일 수 있는 동적 물체이다. 즉, 시간(t)에서 취해진 나무의 이미지와 이후 시간(t+n)에서 취해진 나무의 이미지 사이에 많은 차이가 존재할 수 있다. 예를 들어, 모니터링 목적을 위해 장면의 이미지에서 움직임을 감지할 때 이를 고려해야 한다. 이러한 움직임은 일반적으로 전경 물체로부터 유래될 때에만 관심이 있고, 배경에서의 움직임은 이러한 경우에 무시되어야 한다. 결과적으로, 잘못된 움직임 감지를 감소시키고, 예를 들어 모니터링 적용 분야에서 오경보 수를 감소시키기 위해, 여전히 배경으로 감지하도록 동적 물체를 보상하는 배경 물체 알고리즘을 구현할 필요가 있다.

이러한 배경 검출 알고리즘의 실시 형태는 이제 도 4와 함께 도 1을 사용하여 설명될 것이다.

개선된 배경 감지는 장면(101)을 묘사하는 이미지 프레임(100)(복수의 이미지 프레임을 포함하는 비디오 시퀀스의)에서 각각의 픽셀 위치에 대해, 픽셀 위치가 분류된 분류를 결정함으로써 달성되고, 분류는 픽셀 위치에서 캡쳐된 장면에서의 콘텐츠의 카테고리를 나타낸다. 도 1에서, 점선의 사각형(106, 108)은 이러한 분류를 상징하고, 점선 사각형(106) 내부의 픽셀, 예를 들어 제1 픽셀 위치(110)에서의 픽셀은 예를 들어 건물로서 분류되고, 점선 사각형(108) 내부의 픽셀, 예를 들어 제2 픽셀 위치(112)에서의 픽셀은 나무로서 분류된다. 설명의 편의를 위해 나무(104) 주위의 표시(108)는 직사각형으로 나타낸 점을 유의해야 한다. 많은 응용 분야에서, 표시는 나무(104)의 윤곽을 따를 것이다.

이러한 분류는 예를 들어, 조작자가 상이한 분류에 속하는 것으로서, 예를 들어 나무의 분류 및 건물의 분류로 두개의 물체(102, 104)를 106, 108로 표시할 수 있다. 다른 실시 형태에서, 픽셀 위치가 분류된 분류는 예를 들어, 시맨틱 분할을 위한 알고리즘, 예를 들어 전술한 바와 같은 신경망 구현을 사용하여 결정된다.

일부 실시 형태에서 시맨틱 분할은 비디오 스트림의 이미지 프레임들의 서브 세트에서 실행될 수 있다. 일반적으로, 이러한 알고리즘(또는 수동 작업)은 실시간, 즉 비디오 시퀀스의 모든 이미지 프레임에 대해 실행하기가 어렵다. 유리하게, 시맨틱 분할(분류)은 특정 시간 간격, 예를 들어 매분, 시간, 일 등에서만 실행된다. 즉, 시맨틱 분할을 위한 알고리즘은 서로 미리 결정된 간격으로 비디오 스트림의 이미지 프레임에서 실행된다. 나머지 이미지 프레임에 대해, 캐싱된 결과, 예를 들어 마지막으로 수행된 분류의 결과가 사용될 수 있다. 다른 실시 형태에서, 픽셀 위치가 분류된 분류는 이미지 프레임의 상기 서브 세트에서 복수의 이미지 프레임들로부터 상기 픽셀 위치에 대한 시맨틱 분할 알고리즘으로부터의 결과들의 조합을 이용하여 결정되며, 예컨대 분류는 대부분의 분류의 결과이다. 다른 실시 형태에서, 일부 분류는 다른 분류보다 "더 중요한" 것으로 정의되는데, 여기서 픽셀 위치가 이전에 이들 분류 중 하나로 분류되면, 시맨틱 분할 알고리즘(또는 수동 작업)이 다음 또는 이전 분류 절차 중 일부에서 해당 픽셀 위치에 대한 다른 분류로 나타나더라도 분류는 유지될 것이다.

일반적으로, 장면을 캡쳐하는 카메라가 시야를 변경하는 경우, 이전에 시야에 없고 따라서 분류되지 않은 장면의 새로운 부분에 대해 분류가 적어도 다시 수행될 필요가 있다. 즉, 시맨틱 분할을 위한 알고리즘은 비디오 시퀀스를 캡쳐하는 비디오 캡쳐 장치의 시야가 변경될 때 캡쳐된 이미지 프레임에서 실행된다.

픽셀 위치(110, 112)의 분류는 이미지 프레임(100)에서의 픽셀 위치(110, 112)가 캡쳐된 장면(101)의 배경 또는 전경에 속하는지의 여부를 결정하는데 사용된다. 건물 픽셀(도 1의 직사각형(106) 내부)로 분류된 픽셀 위치(110)인 특정 픽셀 위치에 대해 이러한 예에서, 분류가 수신된다(S302)(도 4). 이어서 픽셀 위치(110)는 이의 해당하는 분류의 동적 레벨과 관련되고(S304), 분류의 동적 레벨은 비디오 시퀀스의 프레임들 사이에서 값을 변경하는 분류에 속하는 픽셀 위치에서의 픽셀 값의 가능성을 반영한다. 이는 예를 들어 특정 분류가 갖는 동적 레벨을 정의하는 표를 사용하여 S304를 달성할 수 있다. 결정된(S304) 동적 레벨은 도 5와 관련하여 아래에서 더 설명되는 일부 경우에서, 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지 여부를 결정할 때 사용되는 임계값을 설정(S306)하기 위해 사용될 수 있다.

일부 실시 형태에서, 이의 해당하는 분류가 제1 미리 정의된 분류 그룹(즉, 건물을 포함하는 미리 정의된 분류 그룹)에 속하는 경우, 픽셀 위치는 제1 동적 레벨과 관련되고, 픽셀 위치는 이의 해당하는 분류가 제2 미리 정의된 분류 그룹(예를 들어, 나무를 포함하는 미리 정의된 분류 그룹)에 속하면 더 높은 제2 동적 레벨과 관련된다. 분류와 동적 레벨 사이의 더 세밀한 맵핑(mapping)이 즉 3, 5, 10 등 가능한 동적 레벨을 포함하여 구현될 수 있다.

다음으로, 이미지 프레임(100)에서의 픽셀 위치(110)가 배경 또는 전경에 속하는지 여부가 결정된다(S308). 이는 이미지 프레임(100)에서의 픽셀 위치(110)의 픽셀 값을 배경 모델 및 임계값과 비교함으로써 수행된다. 도 2a, 3a는 배경 모델(200)의 값(202) 및 픽셀 위치(110)에 대한 임계값(204)의 두개의 상이한 실시 형태를 도시한다. 도 2a의 실시 형태에서, 배경 모델(200)의 값(202)은 픽셀 위치(110)를 나타내는 복수의 픽셀 값(202)(이러한 예에서는 4개, 이하 배경 샘플이라고도 지칭함)을 포함한다. 각각의 값(202)은 이러한 예에서 예를 들어 픽셀의 광도(luminosity)를 나타내는 하나의 픽셀 값으로 표현된다. 다른 예에서, 각각의 값(202)은 픽셀 위치 값의 빨강, 녹색 및 파랑(RGB) 강도를 나타내는 벡터일 수 있다.

픽셀 값과 배경 모델(200)에서의 위치를 나타내는 (적어도) 제1 미리 결정된 수의 값(미도시) 간의 차이가 픽셀 위치(110)에 대한 임계값(204)보다 적은 경우 픽셀 위치는 배경에 속하는 것으로 결정되고, 그렇지 않으면 전경으로 결정된다. 따라서, 픽셀 위치(110)의 픽셀 값이 12.9이고 제1 미리 결정된 수가 2인 경우, 배경 모델(200)에서의 값(202) 중 하나만이 픽셀 위치(110)의 픽셀 값으로부터 임계값 내에 있기 때문에, 픽셀 위치는 전경에 속하는 것으로 결정될 것이다. 제1 미리 결정된 수가 1이면, 픽셀 위치(110)는 따라서 배경에 속하는 것으로 결정될 것이다. 픽셀 위치(110)의 픽셀 값이 10인 경우, 픽셀 위치는 제1 미리 결정된 수 등이 무엇이든 간에 배경에 속하는 것으로 결정될 것이다.

보다 상세하게, 이미지 시퀀스의 시간(t)에서 픽셀(m)에서의 관찰(observation)을 x_t(m)으로 나타내고, 픽셀(m)의 배경 샘플의 집합을 {x_i(m)│i = 1, ..., N}으로 나타낸다. 각각의 관찰(

)은 k 채널(예를 들어, RGB 색 공간에서 각각의 관찰은 R, G, B의 3개의 채널에 의해 표현됨)을 갖는다. 이미지(100)에서 픽셀 위치(110)에 대해, 이미지 데이터, 즉 그 픽셀 위치의 강도 값(적용 가능한 경우 각각의 채널에 대해)은 이미지 데이터가 임계값(T_r)(204)보다 작게 각각의 배경 샘플과 다른지를 확인하기 위해, 픽셀 위치(110)와 관련된 배경 모델(200)에서 각각의 배경 샘플(202)과 비교된다. 예를 들어, 임계값(T_r)보다 작은 픽셀에서의 이미지 데이터와 다른 배경 샘플은 "1" 값과 관련될 수 있고, 다른 배경 샘플은 하기에 따라 "0" 값과 관련될 수 있다:

[수학식 1]

.

도 2a, 3a의 예에서, T_r = 2이다.

임계값(T_r)보다 작은 것으로 픽셀의 이미지 데이터와 다른 배경 모델(200)에서의 배경 샘플(202)의 수가 제1 미리 결정된 수의 값(T_N)보다 크거나 같으면, 픽셀 위치(110)에서의 픽셀은 배경에 속하는 것으로 결정된다. 그렇지 않으면 이는 전경에 속하는 것이다.

이는 시간(t)에서 배경 픽셀에 대해 "1"의 값, 전경 픽셀에 대해 "0"의 값을 갖는 바이너리 마스크(binary mask, B_t)를 계산함으로써 구현될 수 있다:

[수학식 2]

다르게 표현하면, 픽셀 위치에서의 이미지 데이터와 임계값(T_r)(204)보다 작게 상이한 배경 모델(200)에서의 배경 샘플(202)의 수가 카운트된다. 그 수가 제1 미리 결정된 수의 값(TN)과 같거나 이를 초과하면, 픽셀이 배경에 속하는 것으로 결정되고, 그렇지 않으면 전경에 속하는 것으로 결정된다. 따라서, 픽셀 위치(110)에서의 이미지 데이터와 유사한 것으로(수학식 1에서) 배경 모델(200)에서의 적어도 T_N 배경 샘플(202)이 발견되면, 픽셀 위치(110)에서의 픽셀은 배경에 속하는 것으로 분류될 것이고, 그렇지 않으면 전경에 속하는 것으로 분류될 것이다.

다시 말해서, 이미지 프레임(100)에서의 픽셀 위치(110)가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계(S308)는: 픽셀 위치(110)에서 이미지 프레임(100)에서의 픽셀 값과 해당 픽셀 위치에서의 배경 모델(200)의 복수의 값(202) 사이의 차이를 계산하는 단계, 픽셀 위치에 특정한 임계값(204)보다 작은 차이의 수를 계산하는 단계, 및 계산된 수가 제1 미리 결정된 수의 값을 초과하거나 동일한 경우 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정하고, 이미지 프레임에서의 픽셀 위치가 그렇지 않으면 전경에 속하는 것으로 결정하는 단계를 포함한다.

도 3a는 배경 모델(200)의 다른 예를 도시한다. 이런 경우, 배경 모델(200)은 픽셀 위치(110)를 나타내는 하나의 값(202)을 포함하고, 여기서 이미지 프레임(100)에서의 픽셀 위치(110)가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계(S308)는: 픽셀 위치(110)에서 이미지 프레임에서의 픽셀 값과 해당 픽셀 위치에서의 배경 모델(200)의 값(202) 사이의 차이를 계산하는 단계, 및 상기 차이가 픽셀 위치에 특정한 임계값(204)보다 작은 경우 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정하고, 이미지 프레임에서의 픽셀 위치가 전경에 속하는 것으로 결정하는 단계를 포함한다.

도 2b 및 3b는 픽셀 위치(112)(즉, 나무로 분류됨)에 대한 두개의 배경 모델(200)을 예로서 도시한다. 도 2a, 3a의 예에서 알 수 있는 바와 같이, 배경 모델(200)의 값(들)(202)과 픽셀 위치(112)에서의 픽셀 값 사이의 차이(들)는 큰 임계값(204)으로 인해, 나무로 분류된 픽셀 위치(110)와 관련하여 전술한 것과 비교하여 더 큰 것으로 되게 한다.

배경 모델(200)을 정의하는 다른 방법이 구현될 수 있다. 예를 들어, 픽셀 위치에 대한 배경 모델의 값은 평균값 및 표준 편차를 갖는 가우시안 분포로 표현될 수 있다. 이런 경우, 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계(S308)는: 픽셀 위치에서 이미지 프레임에서의 픽셀 값과 평균값 사이의 차이를 계산하는 단계, 및 정규화된 차이가 픽셀 위치에 특정한 임계값보다 낮은 경우 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정하고, 그렇지 않으면 이미지 프레임에서의 픽셀 위치가 전경에 속하는 것으로 결정하는 단계를 포함한다.

배경 모델(200)의 값(202)(예를 들어, 픽셀 값(들) 또는 가우시안 분포)은 정규 간격(regular interval)으로 업데이트되는 것이 유리하다. 예를 들어, 도 2a-b 모델의 픽셀 값(202)은 이러한 프레임에서 픽셀 위치의 픽셀 값으로 n개의 이미지 프레임마다 업데이트되는 FIFO 큐(queue) 또는 임의의 적절한 방식으로 구현될 수 있다.

픽셀 위치의 동적 레벨을 적용하기 위해, 임계값을 업데이트해야 한다. 이는 특정 시간에서의 동적 레벨에 기초하여 임계값(S306)을 초기화 또는 재설정함으로써 달성될 수 있다(추가로 하기 참조). 일부 경우에서 임계값이 증가될 수도 있다. 구체적으로, 픽셀 위치가 배경에 속하는 것으로 결정되면, 픽셀 위치(110, 112)의 픽셀 값과 이전 프레임에서 해당하는 픽셀 위치(즉, 동일한 픽셀 위치)에서의 픽셀 값 사이의 차이가 계산된다(S312). 이전 프레임은 사용 경우에 따라, 현재 이미지 프레임(100) 바로 앞의 프레임이거나, 현재 이미지 프레임(100) 이전의 n개의 프레임인 프레임일 수 있다. 이전 프레임 이후에 픽셀 값이 제2 값보다 크게 변경되면, 픽셀 위치에 특정한 임계값은 증분만큼 증가된다(S314). 특정 픽셀 위치에 대해 비교적 높은 동적 레벨을 더 빨리 적용하기 위해, 더 높은 동적 레벨이 더 높은 증분을 야기한다. 결과적으로, 이러한 픽셀 위치가 실수로 전경에 속한다고 결정될 가능성이 감소되는데, 이는 임계값이 상기 상황에서 더 높은 증가분으로 증가되도록 설정되기 때문이다. 제2 값은 미리 결정될 수 있고, 모든 픽셀 위치에 사용되는 정적 값일 수 있다. 제2 값은 해당하는 픽셀 위치의 임계값에 의존하도록 설정될 수 있다. 제2 값은 또한 픽셀 위치와 관련된 동적 레벨에 의존하도록 설정될 수 있다.

일부 실시 형태에서, 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정되면, 임계값도 감소될 수 있다(S316). 구체적으로, 이미지 프레임에서 픽셀 위치에서의 픽셀 값이 이전 프레임 이후의 제2 값보다 작게 변경되면 픽셀 위치에 특정한 임계값은 감소분으로 감소되고(S316), 감소분은 더 높은 동적 레벨이 낮은 감소분으로 나타나도록 픽셀 위치의 동적 레벨에 의존하도록 설정된다. 결과적으로, 픽셀 위치의 픽셀 값이 프레임들 사이에서 유사하게 유지되기 때문에 동적 픽셀 위치에 대한 임계값이 너무 빨리 낮아지지 않는다. 이는 예를 들어 나무로 분류되는 픽셀 위치의 실시 형태에서 바람이 다시 불기 시작하는 시나리오에서 다시 증가된 차이에 빠르게 적용되게 한다.

일반적으로, 감소분은 해당하는 증가분보다 낮고, 이는 또한 상기 시나리오에서 빠르게 적용되게 한다.

일부 실시 형태에 따르면, 임계값이 일정한 레벨로 유지되는 분류(복수의 분류)가 존재할 수 있음에 유의해야 한다. 예를 들어, 나무의 줄기가 수관(tree crown)과 분리된 분류인 경우, 줄기로 분류된 픽셀 위치에 대한 임계값은 정적으로 유지될 수 있다. 다시 말해서, 픽셀 위치에 해당하는 분류가 제3 미리 정의된 분류 그룹(나무의 줄기를 포함하는 이러한 예에서)에 속하는 경우, 픽셀 위치에 특정한 임계값은 일정한 레벨로 유지된다. 결과적으로, 장면의 특정 부분에 대해 동적 배경이 비활성화되어, 배경 검출 알고리즘에 대해 유연함을 향상되게 한다.

전술한 바와 같이, 선택적으로, 도 4에 설명된 알고리즘은 각각 픽셀 위치에 대해 임계값을 설정하는 단계(S306)를 포함할 수 있다. 다른 실시 형태에 따르면, 임계값을 설정하는 단계는 필수 단계이고, 임계값을 업데이트하기 위한 단계 S310, S312, S314 및 S316은 선택적이다. 이러한 실시 형태는 도 5와 관련하여 하기에서 설명될 것이다. 아래에서, 각각의 픽셀 위치에 대해 임계값을 설정하는 단계(S306)는 상세히 설명될 것이다. 따라서 이하의 설명은 도 4의 방법의 해당하는 선택적인 단계 S306에도 적용된다.

도 5의 방법은 픽셀 위치에 대한 분류를 수신하는 단계(S302), 픽셀 위치에 대한 동적 레벨을 결정/관련시키는 단계(S304)를 포함한다. 그 후, 픽셀 위치에 대해 새로운 임계값이 설정되어야 하는지의 여부(S404)가 결정된다. 픽셀 위치에 대해 새로운 임계값이 설정되어야 한다고 결정되면, 픽셀 위치에 특정한 임계값은 값으로 설정되고(S406), 여기서 값은 더 높은 동적 레벨이 더 높은 값으로 나타나도록 픽셀 위치의 동적 레벨에 의존한다. 그렇지 않으면, 임계값이 설정(S406)되지 않아야 하는 경우, 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지 여부를 결정하는 단계(S308)는 현재 임계값을 사용하여 전술한 바와 같이 직접 수행된다.

일례에 따르면, 설정하는 단계(S406)는 비디오 스트림의 초기 프레임에 대해 임계값을 수행한다. 대안적으로 또는 부가적으로, 임계값을 설정하는 단계(S406)는 비디오 시퀀스를 캡쳐하는 비디오 캡쳐 장치의 시야가 변경될 때 수행된다. 임계값을 설정하는 단계(S406)는 또한 비디오 스트림의 이미지 프레임에 대해 서로 미리 결정된 간격으로 수행될 수 있다.

전술한 임계값을 제외하고, 배경 및 전경이 검출되어야 하는 방법에 대한 다른 선호도는 픽셀 위치에 대한 동적 레벨을 이용하여 설정될 수 있음에 유의해야 한다. 예를 들어, 본 발명에서 설명된 방법은 픽셀 위치의 동적 레벨에 따라 픽셀 위치에 특정한 임계값에 대한 낮은 임계값을 설정하는 단계를 더 포함할 수 있으며, 낮은 임계값은 임계값에 대한 최소 가능한 값을 결정하여, 더 높은 동적 레벨이 낮은 임계값의 높은 값으로 나타난다. 이는 (분류를 통해) 동적으로 정의된 장면에서의 영역이 일정 기간 동안 (거의) 정적인 경우에서 임계값을 감소시키는 단계가 임계값을 너무 낮추는 위험을 감소시킬 수 있다.

전술한 방법은 소프트웨어 및/또는 하드웨어에서, 예를 들어 처리 능력을 갖는 장치에 의해 실행될 때 본 발명에서 기술된 방법을 수행하도록 적용된 명령어를 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서 상기 방법은 본 발명에서 설명된 방법을 수행하도록 적용된 프로세서를 포함하는 장치에서 구현될 수 있다. 상기 장치는 장치 시스템의 일부일 수 있으며, 이러한 시스템은 도 6과 관련하여 아래에서 예시될 것이다.

도 6의 시스템(600)은 장면(101)을 묘사하는 비디오 시퀀스(복수의 이미지 프레임(100a-c)을 포함함)를 연속적으로 캡쳐하도록 적용된 비디오 캡쳐 장치를 포함한다. 시스템은 비디오 캡쳐 장치(604)로부터 비디오 시퀀스의 제1 이미지 프레임(100a)을 수신하고, 이미지 프레임(100a)에서 각각의 픽셀 위치를 분류하며(분류는 픽셀 위치에서 캡쳐된 장면에서의 물체 유형을 나타냄), 이미지 프레임(100a)에서 각각의 픽셀 위치에 대해 분류를 출력(609)하도록 적용된 제1 장치(608)(도 6에서 시맨틱 분석을 위한 장치로서 표시됨)를 포함한다. 전술한 바와 같이, 제1 장치(608)는 분류에 사용된 이전 이미지 프레임으로부터 프레임이 특정 시간 간격으로 캡쳐되는지 또는 비디오 캡쳐 장치(604)가 시야 등이 변경되었는지와 같은 다수의 전제 조건에 기초하여 선택된 이미지 프레임에 대해 이러한 분류를 수행할 수 있다.

시스템은 제1 장치(608)로부터의 출력(609), 즉 제1 장치(608)로부터 출력(609), 즉 제1 장치로부터 제1 이미지 프레임(100a)에서의 각각의 픽셀 위치에 대한 분류 및 비디오 캡쳐 장치의 비디오 시퀀스의 적어도 제2 이미지 프레임(100b-c)을 수신하고, 전술한 바와 같이 수신된 제2 이미지 프레임의 픽셀에 대한 배경 분류(배경 분석 등)를 수행하도록 적용된 제2 장치(610)(도 6에서 배경 분류기(background classifier)로서 표시됨)를 더 포함한다. 물론 이러한 배경 분류는 제1 이미지 프레임(100a)상에서 이루어질 수 있음에 유의해야 한다.

일부 실시 형태에 따르면, 제2 장치(610)는 또한 전술한 바와 같이, 임계값이 설정되어야 하는지 여부(도 4-5에서 S306)를 결정하는데 사용되는 비디오 캡쳐 장치(604)로부터 입력(612)을 수신한다. 또한 제1 및 제2 장치(608, 610)는 동일한 물리적 장치 또는 비디오 캡쳐 장치(604)에서 구현될 수 있음에 유의해야 한다.

당업자는 전술한 실시 형태를 다양한 방식으로 변형할 수 있고 상기 실시 형태에 도시된 바와 같이 본 발명의 장점을 여전히 이용할 수 있는 것으로 이해될 것이다.

예를 들어, 일부 실시 형태(도 6에 도시되지 않음)에 따르면, 제2 장치는 제2 이미지 프레임에서의 어느 픽셀 위치가 캡쳐된 장면의 배경 및 전경에 속하는지에 관한 데이터를 출력하도록 적용된다. 시스템은 비디오 캡쳐 장치(604)로부터 비디오 시퀀스(100a-c)를 수신하고, 제2 이미지 프레임에서 움직임을 검출하며, 제2 이미지 프레임에서 검출된 움직임에 관한 데이터를 출력하도록 구성된 제3 장치를 포함할 수 있다. 이러한 출력은 제2 장치로부터 출력된 데이터 및 제3 장치로부터 출력된 데이터를 수신하고 비디오 스트림에서 물체를 추적하기 위해 수신된 데이터를 사용하도록 적용된 제4 장치에 의해 수신될 수 있다.

따라서, 본 발명은 도시된 실시 형태에 제한되지 않고 첨부된 청구 범위에 의해서만 정의되어야 한다. 또한, 당업자가 이해하는 바와 같이, 도시된 실시 형태는 조합될 수 있다.

Claims

비디오 시퀀스의 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 컴퓨터 구현 방법으로, 이미지 프레임에서의 각각의 픽셀 위치에 대해:
상기 픽셀 위치가 분류된 분류를 수신하는 단계 - 상기 분류는 상기 픽셀 위치에서 캡쳐된 장면에서의 콘텐츠의 카테고리를 나타냄 -,
상기 픽셀 위치를 해당하는 분류의 동적 레벨과 관련시키는 단계 - 분류의 상기 동적 레벨은 상기 분류에 속하는 픽셀 위치에서의 픽셀 값이 상기 비디오 시퀀스의 프레임들 사이에서 값을 변경할 가능성을 반영함 -,
상기 이미지 프레임에서의 픽셀 위치의 픽셀 값을 배경 모델 및 상기 픽셀 위치에 대한 임계값과 비교함으로써 상기 이미지 프레임에서의 픽셀 위치가 상기 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계 - 하나 이상의 값을 포함하는 상기 배경 모델은 상기 픽셀 위치의 픽셀 값을 나타내고, 상기 픽셀 위치는 상기 픽셀 값과 상기 배경 모델에서의 하나 이상의 값 중 제1 미리 결정된 수의 값 사이의 차이가 상기 픽셀 위치에 대한 임계값보다 작은 경우 배경에 속하는 것으로 결정됨 -,
상기 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정되는 경우:
상기 이미지 프레임에서 상기 픽셀 위치에서의 픽셀 값이 이전 프레임 이후의 제2 값보다 크게 변경되면 상기 픽셀 위치에 특정한 임계값을 증가분으로 증가시키는 단계 - 상기 증가분은 상기 픽셀 위치의 동적 레벨에 의존하도록 설정되어 높은 동적 레벨이 높은 증가분을 야기함 -를 포함하는 방법.
제1항에 있어서,
상기 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정되는 경우:
상기 이미지 프레임에서 상기 픽셀 위치에서의 픽셀 값이 이전 프레임 이후의 제2 값보다 작게 변경되면 상기 픽셀 위치에 특정한 임계값을 감소분으로 감소시키는 단계를 더 포함하고, 상기 감소분은 상기 픽셀 위치의 동적 레벨에 의존하도록 설정되어 높은 동적 레벨이 낮은 감소분을 야기하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 픽셀 위치를 해당하는 분류의 동적 레벨과 관련시키고 나서 상기 픽셀 위치에 특정한 임계값을 값으로 설정하는 단계를 더 포함하고, 상기 값은 상기 픽셀 위치의 동적 레벨에 의존하여 더 높은 동적 레벨이 더 높은 값을 야기하는 것을 특징으로 하는 방법.
제3항에 있어서, 상기 임계값을 설정하는 단계는 상기 비디오 시퀀스의 초기 프레임에 대해 수행되는 것을 특징으로 하는 방법.
제3항에 있어서, 상기 임계값을 설정하는 단계는 상기 비디오 시퀀스를 캡쳐하는 비디오 캡쳐 장치의 시야가 변경될 때 수행되는 것을 특징으로 하는 방법.
제3항에 있어서, 상기 픽셀 위치에 특정한 임계값을 값으로 설정하는 단계는 상기 픽셀 위치의 동적 레벨에 따라 상기 픽셀 위치에 특정한 임계값에 대한 낮은 임계값을 설정하는 단계를 더 포함하고, 더 낮은 동적 레벨은 상기 임계값에 대한 가능한 최소값을 결정하여, 높은 동적 레벨이 상기 낮은 임계값의 더 높은 값을 야기하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 해당하는 분류가 제1 미리 정의된 분류 그룹에 속하는 경우 상기 픽셀 위치는 제1 동적 레벨과 관련되고, 상기 해당하는 분류가 제2 미리 정의된 분류 그룹에 속하는 경우 상기 픽셀 위치는 더 높은 제2 동적 레벨과 관련되는 것을 특징으로 하는 방법.
제7항에 있어서, 상기 픽셀 위치에 해당하는 분류가 미리 정의된 제3 분류 그룹에 속하는 경우, 상기 픽셀 위치에 특정한 임계값은 일정한 레벨로 유지되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 픽셀 위치가 분류된 분류는 시맨틱 분할을 위한 알고리즘을 사용하여 결정되는 것을 특징으로 하는 방법.
제9항에 있어서, 상기 시맨틱 분할을 위한 알고리즘은 상기 비디오 시퀀스의 이미지 프레임의 서브 세트에서 실행되는 것을 특징으로 하는 방법.
제10항에 있어서, 상기 픽셀 위치가 분류된 분류는 이미지 프레임의 상기 서브 세트에서 복수의 이미지 프레임들로부터 상기 픽셀 위치에 대한 상기 시맨틱 알고리즘으로부터의 결과의 조합을 사용하여 결정되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 배경 모델은 상기 픽셀 위치의 픽셀 값을 나타내는 복수의 값을 포함하고, 상기 이미지 프레임에서의 픽셀 위치가 상기 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계는:
상기 픽셀 위치에서 상기 이미지 프레임에서의 픽셀 값과 상기 해당하는 픽셀 위치에서의 배경 모델의 복수의 값 각각의 차이를 계산하는 단계,
상기 픽셀 위치에 특정한 임계값보다 작은 차이의 수를 계산하는 단계,
상기 계산된 수가 상기 제1 미리 결정된 수의 값을 초과하거나 같으면 상기 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정하고, 그렇지 않으면 상기 이미지 프레임에서의 픽셀 위치가 전경에 속하는 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
처리 능력을 갖는 장치에서 실행될 때 제1항 내지 제12항 중 어느 한 항의 방법을 수행하도록 적용된 명령어를 갖는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
비디오 시퀀스의 이미지 프레임에서의 픽셀 위치가 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하기 위한 장치로서,
상기 픽셀 위치가 분류된 분류를 수신하는 단계 - 상기 분류는 상기 픽셀 위치에서 캡쳐된 장면에서의 물체의 유형을 나타냄 -,
상기 픽셀 위치를 해당하는 분류에 기초한 동적 레벨과 관련시키는 단계 - 분류의 상기 동적 레벨은 상기 분류에 속하는 픽셀 위치에서의 픽셀 값이 상기 비디오 시퀀스의 프레임들 사이에서 값을 변경할 가능성을 반영함 -,
상기 이미지 프레임에서의 픽셀 위치의 픽셀 값을 배경 모델 및 상기 픽셀 위치에 대한 임계값과 비교함으로써 상기 이미지 프레임에서의 픽셀 위치가 상기 캡쳐된 장면의 배경 또는 전경에 속하는지 여부를 결정하는 단계 - 상기 배경 모델은 상기 픽셀 위치의 픽셀 값을 나타내는 하나 이상의 값을 포함하고, 상기 픽셀은 상기 픽셀 값과 상기 배경 모델에서의 하나 이상의 값 중 제1 미리 결정된 수의 값 사이의 차이가 상기 픽셀 위치에 대한 임계값보다 작으면 배경에 속하는 것으로 결정됨 -,
상기 이미지 프레임에서의 픽셀 위치가 배경에 속하는 것으로 결정되는 경우:
상기 픽셀 값이 이전 프레임 이후의 제2 값보다 크게 변경되면 상기 픽셀 위치에 특정한 임계값을 증가분으로 증가시키는 단계 - 상기 증가분은 상기 픽셀 위치의 동적 레벨에 의존하도록 설정되어 높은 동적 레벨은 높은 증가분을 야기함 -를 위해 적용된 프로세서를 포함하는 장치.
장면을 묘사하는 비디오 시퀀스를 연속적으로 캡쳐하도록 적용된 비디오 캡쳐 장치,
상기 비디오 캡쳐 장치로부터 상기 비디오 시퀀스의 제1 이미지 프레임을 수신하고, 상기 이미지 프레임에서 각각의 픽셀 위치를 분류하며(상기 분류는 상기 픽셀 위치에서 캡쳐된 장면에서의 물체의 유형을 나타냄), 상기 이미지 프레임에서의 각각의 픽셀 위치에 대한 분류를 출력하도록 적용된 제1 장치,
상기 비디오 캡쳐 장치로부터 상기 비디오 시퀀스의 제2 이미지 프레임을 수신하고 상기 제1 장치로부터 상기 제1 이미지 프레임에서의 각각의 픽셀 위치에 대한 분류를 수신하도록 적용된 제14항에 따른 제2 장치를 포함하는 시스템.