KR20210039284A

KR20210039284A - 이미지 분석을 위한 방법 및 장치

Info

Publication number: KR20210039284A
Application number: KR1020200116810A
Authority: KR
Inventors: 런드버그 스테판; 위안 송
Original assignee: 엑시스 에이비
Priority date: 2019-10-01
Filing date: 2020-09-11
Publication date: 2021-04-09
Also published as: US20210097695A1; EP3800615A1; TWI821597B; KR102517576B1; JP7399055B2; US11514582B2; CN112598677B; TW202121884A; JP2021077349A; CN112598677A

Abstract

본 발명은 비디오 시퀀스에서 이미지 프레임들(30)의 이미지 분석을 위한 방법에 관한 것이다. 상기 방법(100, 200)은: 제1 알고리즘을 복수의 이미지 프레임들(30)에 적용하여 상기 비디오 시퀀스의 배경 모델을 정의하는 단계(110) - 상기 배경 모델은 상기 이미지 프레임들(30)에서 복수의 공간 영역들(10) 중 각각의 공간 영역(10)에 대해, 그 공간 영역(10)이 상기 비디오 시퀀스에서 배경(22) 또는 전경(24)에 속하는지 여부를 정의하고, 여기서, 이전 이미지 프레임(30)에서 상기 공간 영역(10)에서의 이미지 데이터에 대해 이미지 프레임(30)에서 공간 영역(10)에서의 이미지 데이터에서의 감지된 중요한 변화는 전경(24)에 속하는 상기 공간 영역(10)을 나타냄 -; 상기 정의된 전경 영역(24)의 유휴 영역(12)이 전경(24)에서 배경(22)으로 전환될 것임을 나타내는 단계(120); 및 제2 알고리즘을 상기 비디오 시퀀스의 이미지 프레임(30)의 이미지 데이터에 적용함으로써 상기 유휴 영역(12)이 전환될 것인지(150) 또는 전환되지 않을 것인지(140) 여부를 결정하는 단계(130) - 상기 이미지 데이터는 상기 유휴 영역(12)에 적어도 부분적으로 해당함 -를 포함하고, 여기서, 상기 유휴 영역(12)이 전환되지 않을 것(150)으로 결정되면, 상기 배경 모델에서 상기 유휴 영역(12)을 전경 영역으로서 유지하는 것을 특징으로 한다.

Description

이미지 분석을 위한 방법 및 장치{METHOD AND DEVICE FOR IMAGE ANALYSIS}

본 발명은 비디오 처리에 관한 것이다. 보다 구체적으로, 본 발명은 이미지 분석을 위한 방법 및 이미지 분석 방법을 위한 방법을 수행하도록 구성되는 제어 유닛을 포함하는 비디오 카메라에 관한 것이다.

오늘날 비디오 처리는 일반적이지만, 많은 구현예에서 전-처리 단계가 필요하거나 이점이 있다. 이러한 일반적인 단계 중 하나는 배경 모델을 정의하고 비디오 시퀀스에 적용하는 것이다. 상기 배경 모델은 이미지 프레임 간에 변화되는 비디오 시퀀스의 이미지 프레임의 부분을 정의한다. 정의에 기초하여, 상기 이미지 프레임은 유휴 배경과 변화하는 전경으로 나눌 수 있다. 상기 배경 모델의 결과로 상기 비디오 처리는 관련있는 이미지 프레임의 부분, 예를 들어 변화하는 전경에서의 부분만에 초점을 맞출 수 있다.

예를 들어, 비디오 모니터링이 점점 더 보편화되고 있지만, 녹화시 사람들의 프라이버시를 보호하기 위해 사람 및 다른 민감한 물체를 마스킹할 수 있는 가능성을 제공하는 것이 점점 더 중요해지고 있다. 이미지 프레임에서의 전경/배경 부분과 이들의 변화를 분석하기 위해 복잡하지 않은 알고리즘을 사용하여 사람과 다른 민감한 물체를 실시간으로 마스킹하는 것으로 알려져 있다. 상기 알고리즘은 빠르며 처리량이 적을 수 있지만, 단순하고 정확하지 않은 것으로 간주될 수 있다.

공지된 프라이버시 마스킹 방법에서, 움직이는 물체는 일반적으로 전경으로 검출되어 마스킹된다. 상기 배경은 프라이버시 마스크로 처리되지 않는다. 그러나, 물체가 장시간 가만히 있으면 문제가 발생한다. 상기 물체는 먼저 상기 전경의 일부이므로, 마스킹되지만, 잠시 후 움직이지 않는 물체는 배경으로 간주되어, 물체가 여전히 존재하고 여전히 마스킹되어야 하더라도 마스킹되지 않게 된다.

따라서 이러한 맥락에서 개선이 필요하다.

상기의 관점에서, 본 발명 개념의 목적은 배경의 일부가 되는 전경 물체의 문제와 같이, 당업계에서 상기 식별된 결함 또는 문제 중 하나 이상을 제거하거나 적어도 완화하는 것이다. 특히, 본 발명의 목적은 배경 물체와 유휴 상태인 전경 물체를 구별하는 이미지 분석을 위한 방법을 제공하는 것이다. 본 발명 개념의 추가 및/또는 대안적인 목적은 본 개시물을 읽는 사람에 대해 명백할 것이다.

본 발명의 제1 양태에 따르면, 비디오 시퀀스에서 이미지 프레임의 이미지 분석을 위한 방법이 제공된다. 상기 방법은: 복수의 이미지 프레임에 제1 알고리즘을 적용함으로써 상기 비디오 시퀀스의 배경 모델을 정의하는 단계 - 상기 배경 모델은 상기 비디오 시퀀스에서 복수의 공간 영역의 각각의 공간 영역에 대해, 해당 공간 영역이 상기 비디오 시퀀스에서 배경 또는 전경에 속하는지 여부를 정의하고, - 이전 이미지 프레임에서의 상기 공간 영역의 이미지 데이터에 대해 이미지 프레임에서의 공간 영역의 이미지 데이터에서 검출되는 현저한 변화가 전경에 속하는 상기 공간 영역을 표시함 -; 상기 정의된 전경 영역의 유휴 영역이 전경에서 배경으로 전환될 것임을 표시하는 단계; 및 제2 알고리즘을 상기 비디오 시퀀스의 이미지 프레임의 이미지 데이터에 적용함으로써 상기 유휴 영역이 전환될 것인지 전환되지 않을 것인지 여부를 결정하는 단계 - 상기 이미지 데이터는 적어도 부분적으로 상기 유휴 영역에 해당함 -;를 포함하고, 상기 유휴 영역이 전환되지 않을 것이라고 결정하면, 상기 유휴 영역을 배경 모델에서 전경 영역으로 유지하는 것을 특징으로 한다.

본 발명가들은 정확하게 정의된 전경이 비교적 보통의 하드웨어에 의해 상대적으로 계산적으로 까다로운 비디오 처리 방법의 적용을 허용하기 때문에 상당한 시간과 계산 능력을 절약할 수 있다는 것을 인지하였다. 이는 까다로운 비디오 처리 방법으로 처리되는 이미지 프레임의 영역이 전경 또는 배경으로만 감소될 수 있기 때문이다. 많은 적용의 경우, 전경 또는 배경 중 하나만 관련되므로, 배경 모델이 신뢰할 수 있으면 상기 비디오 처리 방법에 의해 다른 것은 안전하게 무시될 수 있다.

이러한 적용의 맥락에서, '배경 모델'이라는 표현은 상기 비디오 시퀀스에서 복수의 공간 영역의 각각의 공간 영역에 대해, 해당 공간 영역이 상기 비디오 시퀀스에서 배경 또는 전경에 속하는지 여부를 결정하는 데이터 모델로서 해석되어야 한다. 상기 데이터 모델은 이러한 정보를 추가로 저장하거나 다양한 방법으로 처리할 수 있다.

본 출원서의 맥락에서 '배경'이라는 표현은 이미지 데이터가 이전 이미지 프레임에서 해당 영역과 충분히 유사한 이미지 프레임의 임의의 영역을 포함하는 것으로 해석되어야 한다. 일반적으로, 배경은 모니터링의 맥락에서 이미지 분석 관점으로부터 특별히 관련이 없는 모니터링된 장면에서 영역에 해당하는 것으로 의도된다. 실용적이고 단순화된 맥락에서, 배경은 모니터링되는 풍경(scenery)에 해당해야 한다.

본 출원서의 맥락에서, '전경'이라는 표현은 이미지 데이터가 이전 이미지 프레임에서 해당 영역과 충분히 다른 이미지 프레임의 임의의 영역을 포함하는 것으로 해석되어야 한다. 전경 물체는 일반적으로 움직이고 있거나 모니터링 기간 동안 움직임의 기록을 갖는다. 실용적이고 단순화된 맥락에서, 전경은 사람, 자동차, 상품 등과 같은 모니터링되는 물체에 해당해야 한다.

본 출원서의 맥락에서, '공간 영역'이라는 표현은 예를 들어 형상에 따라 그룹화되거나 하나의 물체에 속하는 것에 따라 그룹화될 수 있는 이미지 프레임에서의 임의의 수의 픽셀 또는 서브픽셀로 해석되어야 한다. 형상은 날카로운 모서리를 가질 필요가 없으며, 형상은 물체 주변의 날까롭게 보이는 인공물을 피하기 위해 모서리가 일부 픽셀에 걸쳐 전체 가시성에서 낮은 가시성으로 점차 희미해지는 알파 마스크를 기반으로 하는 부드러운 모서리 또는 소위 시스루 모서리를 가질 수 있음을 유의한다.

이러한 적용의 맥락에서, '알고리즘'이라는 표현은 데이터 분석을 예측 가능하게 수행하도록 특별히 적용되는 방법 또는 회로로 해석되어야 한다.

일부 실시 형태들에서, 상기 제2 알고리즘은 유휴 영역이 전경에서 배경으로 전환될 것이라는 표시 후에 이미지 프레임의 이미지 데이터에만 적용된다.

표시가 존재한다는 규정에 따라 상기 제2 알고리즘을 적용하면 상기 제2 알고리즘이 필요할 때만 적용된다는 점에서 유리하다. 상기 제2 알고리즘이 예를 들어 제1 알고리즘에 비해 계산이 더 많이 요구 및/또는 덜 신뢰되는 경우, 제1 알고리즘에 주로 의존하는 것이 유리하다.

일부 실시 형태들에서, 배경 모델에서 전경에서 배경까지의 공간 영역의 전환은 제2 알고리즘이 이미지 프레임의 유휴 영역이 전환될 것이라고 결정한 후에만 수행된다.

상기 제2 알고리즘은 유휴 영역이 전환될 것이라고 결정될 것이라는 규정 하에서 전환을 수행하는 것은 물체가 상기 제2 알고리즘에 의해 확인되지 않는 한 배경으로 이동하지 않는다는 점에서 유리하고, 이는 상기 제1 알고리즘으로부터 긍정 오류(false positive)의 영향을 감소시킨다. 이는 상기 제2 알고리즘이 배경에서 전경으로의 유휴 영역의 전환이 수행되는지 수행되지 않는지 여부를 확인하기 때문에 단순하게 제1 알고리즘(단순한 하드웨어에서 실시간으로 수행되도록 설계될 수 있음)을 허용한다.

일부 실시 형태들에서, 상기 제1 알고리즘은 복수의 타이머를 포함하고, 각각의 타이머는 복수의 공간 영역의 공간 영역과 관련되며; 미리 결정된 시간 제한 이전에 이전 이미지 프레임의 상기 공간 영역의 이미지 데이터에 대해 이미지 프레임의 공간 영역의 이미지 데이터에서 현저한 변화가 발생하지 않은 경우, 배경 모델에서 상기 공간 영역을 유휴 영역으로 정의하는 단계를 포함한다.

상기 타이머는 간단하고 계산적으로 효율적이라는 점에서 유리하다. 유사한 알고리즘과 비교하여 임계값을 구현 및/또는 결과를 조작하는 것은 쉽다.

일부 실시 형태들에서, 제2 알고리즘에 의해, 상기 유휴 영역이 전환되지 않는다는 것을 결정할 때, 해당 유휴 영역과 관련된 타이머가 재설정 또는 일시 중지되거나, 해당 유휴 영역과 관련된 타이머의 시간 제한이 증가된다.

결정 단계에 대한 응답으로 타이머를 조작하는 것은 배경 모델에서 유휴 영역을 전경 영역으로 유지하는 간단하고 효율적인 방법이라는 점에서 유리하다. 또한 제2 알고리즘에 의해, 이전에 결정된 공간 영역의 특별한 처리가 예를 들어, 타이머가 시작한 것과 다른 번호로 재설정함으로써, 전환되지 않도록 한다는 것이다. 특정 공간 영역이 전경 사람들이 쉴 수 있는 좌석이나 침대에 해당하는 것과 같이 유휴 상태가 되기 쉬운 경우, 타이머가 길수록 긍정 오류를 감소시킬 수 있다는 점에서 유리하다.

일부 실시 형태들에서, 유휴 영역과 관련된 제1 알고리즘의 타이머가 미리 결정된 시간 제한보다 낮은 표시 임계값에 도달할 때 유휴 영역이 전경에서 배경으로 전환될 것임을 나타내는 단계가 수행된다.

표시 임계값은 제2 알고리즘이 어느 정도 시간이 걸릴 수 있다는 점에서 유리하므로, 표시 임계값을 사용함으로써 상기 결정 단계는 제1 알고리즘의 타이머가 미리 결정된 시간 제한에 도달하기 전에 완료될 수 있다.

일부 실시 형태들에서, 제2 알고리즘을 적용하는 단계 동안 이전 이미지 프레임에서의 상기 유휴 영역에 있는 이미지 프레임에 대해 이미지 데이터에서의 유휴 영역에 있는 이미지 데이터의 상당한 변화를 결정할 때, 제2 알고리즘을 적용하는 단계가 중단되고, 유휴 영역은 배경 모델에서 전경 영역으로 유지된다.

제2 알고리즘을 적용하는 단계를 중단하는 것은 시간과 계산 능력이 절약될 수 있다는 점에서 유리하다.

일부 실시 형태들에서, 제2 알고리즘은 제1 알고리즘보다 계산적으로 더 많이 요구된다.

제2 알고리즘은 계산이 더 많이 필요한데, 제1 알고리즘보다 덜 자주 사용되므로, 상당한 계산 능력이 절약될 수 있다는 점에서 유리하다. 더 계산적으로 요구되는 알고리즘은 덜 복잡한 제1 알고리즘으로부터 긍정 오류를 감소시키기 위해 구체적으로 적용될 수 있으며, 따라서 제2 구현 레벨, 즉 제1 알고리즘 이후에 적용되는 것에 더 적합하다.

일부 실시 형태들에서, 제2 알고리즘은 더 많은 계산 리소스가 이용 가능할 수 있는 나중에 적용된다.

더 많은 계산 리소스를 사용할 수 있는 나중에 적용되는 제2 알고리즘은 이러한 검사가 나중에 완료되도록 예정될 수 있고, 제2 알고리즘이 낮은 등급의 하드웨어를 사용하여 적용될 수 있다는 점에서 유리하다. 예를 들어, 제2 알고리즘은 방법을 구현하는 장치에서 이용 가능한 계산 리소스가 총 계산 리소스의 임계값 백분율을 초과할 때, 또는 이용 가능한 계산 리소스가 임계량을 초과할 때 적용될 수 있다.

일부 실시 형태들에서, 제2 알고리즘을 적용하는 단계는 상기 이미지 데이터에서 물체를 찾기 위한 이미지 분할 알고리즘(image segmentation algorithm)을 적용하는 단계를 포함하고, 상기 물체는 적어도 부분적으로 유휴 영역으로 연장되며, 여기서 찾아진 물체에 해당하는 이미지 데이터는 제2 알고리즘이 적용되는 이미지 데이터를 정의한다.

상기 이미지 분할 알고리즘은 제2 알고리즘의 신뢰성을 높이고 전경을 보다 정확하게 결정할 수 있다는 점에서 유리하다.

일부 실시 형태들에서, 제2 알고리즘은 얼굴 인식, 머리 검출, 신체 검출, 차량 검출, 번호판 검출, 움직임 분석, 물체 추적 및 다른 사전-기록된 중요한 물체의 검출 중 적어도 하나를 수행하도록 적용된다.

이들 유형의 이미지 분석은 일반적으로 사용된다는 점에서 유리하며 제2 구현 레벨인 것으로부터의 모든 방법에서 모두 유리하다. 일부 실시 형태들에서, 상기 이미지 분석은 사람을 식별하기 위해 사용될 수 있는 사람 식별자를 형성하는 물체 부분을 식별하기 위해 적용된다. 사람 식별자의 비-제한적인 예는 얼굴, 눈, 지문, 직원 유니폼, 신분증 및 결제 카드이다.

일부 실시 형태들에서, 상기 방법은 전경의 일부인 공간 영역을 마스킹하는 단계를 더 포함한다.

마스킹은 프라이버시 및/또는 간단화된 추가 분석을 위해 표시된 정보의 감소를 허용한다는 점에서 유리하다. 마스킹은 또한 일반적인 그래픽 또는 예를 들어 물체의 식별을 공개하지 않고 장면을 쉽게 이해하기 위한 물체 유형을 나타내는 정보를 추가할 수 있다. 상이한 물체 유형은 상이한 아이콘 및/또는 색상을 갖는 마스크를 가질 수 있다.

일부 실시 형태들에서, 상기 방법은 상기 비디오 시퀀스에서 전경의 일부인 공간 영역에서 해당하는 이미지 데이터를 추적함으로써 상기 비디오 시퀀스에 묘사된 물체를 추적하는 단계를 더 포함한다.

추적은 전경이 정확하게 구별될 때 물체 추적이 단순화된다는 점에서 유리하다. 상기 물체 추적은 전경이 정확한지 보장하기 위해 제2 알고리즘을 개선하는데 추가로 사용될 수 있다.

본 발명의 제2 양태에 따르면, 처리 능력을 갖는 장치에서 실행될 때 제1 양태에 따른 방법을 구현하기 위한 프로그램이 기록된 비-일시적 컴퓨터 판독 가능 기록 매체가 제공된다.

본 발명의 제3 양태에 따르면, 비디오 시퀀스에서 이미지 프레임을 캡처하는 비디오 카메라가 제공된다. 상기 비디오 카메라는 제1 알고리즘을 복수의 이미지 프레임에 적용함으로써 상기 비디오 시퀀스의 배경 모델을 정의하고 - 상기 배경 모델은 상기 이미지 프레임에서 복수의 공간 영역의 각각의 공간 영역에 대해, 해당 공간 영역이 상기 비디오 시퀀스에서 배경 또는 전경에 속하는지 여부를 정의하며, 여기서 이전 이미지 프레임에서의 상기 공간 영역의 이미지 데이터에 대해 이미지 프레임에서의 공간 영역의 이미지 데이터에서 검출된 현저한 변화가 전경에 속하는 상기 공간 영역을 나타냄 -; 상기 정의된 전경 영역의 유휴 영역이 전경에서 배경으로 전환되는 것을 표시하고; 및 상기 비디오 시퀀스의 이미지 프레임의 이미지 데이터에 제2 알고리즘을 적용함으로써 상기 유휴 영역이 전환될 것인지 전환되지 않을 것인지 여부를 결정;하도록 구성되는 제어 유닛을 포함하고, 상기 유휴 영역이 전환되지 않을 것으로 결정되면, 상기 배경 모델에서 상기 유휴 영역을 전경 영역으로 유지하는 것을 특징으로 한다.

일부 실시 형태들에서, 상기 제어 유닛은 제1 및 제2 알고리즘을 상기 비디오 시퀀스의 복수의 이미지 프레임에 실시간으로 적용하도록 추가로 구성된다.

상기 알고리즘의 실시간 적용은 실시간 프라이버시 마스킹 및/또는 물체 추적을 허용한다는 점에서 유리하다. 상기 알고리즘은 전체 이미지 분석이 매우 효율적인 방식으로 적용되므로 대부분의 비디오 카메라에 의해 임의의 변화 및/또는 손상없이 실시간으로 적용될 수 있다.

전술한 제1 양태의 특징은 적용 가능한 경우, 이러한 제3 양태에도 적용되며 그 반대의 경우도 마찬가지이다. 과도한 반복을 피하기 위해, 위의 내용을 참조한다.

본 발명의 추가적인 적용 범위는 아래에 제공되는 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 바람직한 실시 형태들을 나타내는 상세한 설명 및 특정 실시예들은 본 발명의 범위 내에서 다양한 변경 및 수정이 이러한 상세한 설명으로부터 당업자에게 명백할 것이므로, 단지 예시로서 제공된 것임을 이해할 것이다.

따라서, 본 발명은 설명된 장치의 특정 구성 부분에 제한되지 않거나 이러한 장치 및 방법으로 설명되는 방법의 단계가 달라질 수 있음을 이해할 것이다. 본 발명에서 사용되는 용어는 단지 특정 실시 형태들을 설명하기 위한 것이며, 제한하려는 의도가 아님을 또한 이해할 것이다. 상세한 설명 및 첨부된 청구 범위에서 사용되는 바와 같이, 관사 "하나", "하나의", "그" 및 "상기"는 문맥에서 명확하게 달리 설명하지 않는 한 하나 이상의 요소가 있음을 의미하는 것으로 의도된다는 점에 유의해야 한다. 따라서, 예를 들어 "유닛" 또는 "상기 유닛"에 대한 언급은 여러 장치 등을 포함할 수 있다. 또한, "포함하는", "포괄하는", "함유하는" 및 유사한 문구는 다른 요소 또는 단계를 배제하지 않는다.

본 발명의 상기 및 다른 양태는 이제 본 발명의 실시 형태들을 나타내는 첨부된 도면을 참조하여, 보다 상세히 설명될 것이다. 도면은 본 발명을 특정 실시 형태로 제한하는 것으로 간주되어서는 안되고; 대신 이들은 발명을 설명하고 이해하기 위해 사용된다.
도면에 도시된 바와 같이, 층 및 영역의 크기는 예시적인 목적을 위해 과장되며, 따라서 본 발명의 실시 형태들의 일반적인 구조를 예시하기 위해 제공된다. 동일한 참조 번호는 전체에 걸쳐 동일한 요소를 나타낸다.
도 1은 비디오 시퀀스에서 이미지 프레임의 이미지 분석을 위한 방법의 블록도이다.
도 2는 제1 및 제2 알고리즘, 전경 및 루프 부분을 마스킹 및/또는 추적하는 것을 추가로 포함하는 비디오 시퀀스에서의 이미지 프레임의 이미지 분석을 위한 방법의 블록도이다.
도 3a는 이미지 프레임에서의 공간 영역이 배경 또는 전경에 속하는지 여부를 정의하는 배경 모델을 갖는 비디오 시퀀스에서의 이미지 프레임의 개략도이다.
도 3b는 복수의 타이머를 포함하는 제1 알고리즘을 추가로 갖는 도 3a의 이미지 프레임의 개략도이다.
도 4a는 배경으로 전환하는 전경 물체의 비디오 시퀀스에서의 이미지 프레임의 개략도이다.
도 4b는 공간 영역이 유휴 영역이 되는 도 4a의 이미지 프레임의 개략도이다.

본 발명은 이제 본 발명의 현재 바람직한 실시 형태들이 도시되는 첨부 도면을 참조하여 이하에서 보다 완전하게 설명될 것이다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 본 발명에서 설명되는 실시 형태들에 제한되는 것으로 해석되어서는 안된다. 오히려, 이들 실시 형태들은 완벽함과 완전성을 위해 제공되며, 본 발명의 범위를 당업자에게 완전히 전달하기 위해 제공된다.

이제 도 1의 방법(100)이 도 3-4와 관련하여 설명될 것이다. 도 1은 비디오 시퀀스에서 이미지 프레임(30a-c)의 이미지 분석을 위한 방법(100)의 블록도이다. 도 4a-b의 이미지 프레임(30a-c)은 왼쪽에서 오른쪽으로 시간 경과를 나타낸다. 방법(100)은 특정 순서, 예를 들어 도 1에서 나타낸 하나 또는 임의의 다른 적절한 순서로 수행될 수 있는 복수의 단계를 포함한다. 아래의 예들에서, 이미지 프레임(30c)은 다른 것이 특정되지 않는 한 현재 처리/분석되는 이미지 프레임인 것으로 가정한다.

정의하는 단계(110)는 비디오 시퀀스의 배경 모델을 정의하는 것을 포함한다. 배경 모델은 이미지 프레임(30a-c)에서 복수의 공간 영역(10)의 각각의 공간 영역(10)에 대해, 해당 공간 영역(10)이 비디오 시퀀스에서 배경(22) 또는 전경(24)에 속하는지 여부를 정의한다. 이전 이미지 프레임(30a-b)에서의 상기 공간 영역(10)의 이미지 데이터에 대해 현재 처리된 이미지 프레임(30c)에서의 공간 영역(10)의 이미지 데이터에서 검출된 현저한 변화는 전경(24)에 속하는 상기 공간 영역(10)을 표시한다.

배경 모델은 일정 기간 동안 현저하게 변화하지 않아 전경(22)에 속하는 공간 영역(10) 및 일정 기간 동안 현저하게 변화하여 전경(24)에 속하는 공간 영역(10) 사이를 구별하는 다른 비디오 처리 수단을 위한 도구이다.

가장 단순한 형태에서, 배경 모델은 이미지 프레임(30a-c)의 공간 영역(10)에서 각각의 픽셀 위치에 대한 픽셀 값을 포함할 수 있다. 현재 이미지 프레임(30c)(즉, 현재 분석중인 이미지 프레임(30c))에서 해당 위치에서의 픽셀 값이 이전 이미지 프레임(30a-b)(즉, 현재 이미지 프레임(30c)을 선행하는 이미지 프레임(30a-b))에서 해당 위치에서의 픽셀 값과 임계 값 이상 차이가 나는 경우, 현재 이미지 프레임(30c)에서의 픽셀 위치는 전경(24)에 속하는 것으로 간주될 것이다. 그렇지 않으면, 이는 배경(22)에 속하는 것으로 간주될 것이다. 그런 다음 배경 모델은 현재 이미지 프레임(30c)에서의 픽셀 값에 기초하여 업데이트된다.

공간 영역(10)은 여러 픽셀을 포함할 수 있다는 점에 유의해야 한다. 예를 들어, 하나의 픽셀에서의 노이즈가 너무 크면, 여러 픽셀에 대한 평균이 낮은 노이즈를 가질 것이기 때문에 여러 픽셀이 함께 비교된다. 이는 이미지 센서로부터 노이즈가 고르게 확산되어 프레임에서의 모든 것이 전경으로 전환되는 상황을 방지할 수 있다. 함께 그룹화되는 픽셀 수는 예를 들어 조명 레벨 또는 다른 노이즈 레벨에 따라 다를 수 있다.

공간 영역(10)이 여러 픽셀을 포함할 수 있는 실시 형태들에서, 이들은 배경(22)에 속하는 픽셀과 전경(24)에 속하는 픽셀을 포함할 수 있다. 이러한 경우, 두 그룹 중 하나, 즉 배경(22) 또는 전경(24)은 공간 영역(10)이 두 그룹에 속하는 픽셀을 포함하는 경우 기본값으로 사용될 수 있다. 다른 실시 형태에서, 가장 일반적인 두 그룹은 공간 영역(10)이 배경(22) 또는 전경(24)에 속하는지 여부를 결정할 수 있다. 다른 실시 형태에서, 두 그룹에 속하는 픽셀을 포함하는 공간 영역(10)은 각각이 하나의 그룹에 속하는 픽셀만을 포함하는 여러 공간 영역(10)으로 분할된다.

다른 실시 형태에서, 배경 모델은 예를 들어, 픽셀 위치에서 마지막 X개의 이미지 프레임(30a-c)의 픽셀 값을 정의하는 픽셀 위치 당 복수의 픽셀 값을 포함한다. 현재 이미지 프레임(30)의 픽셀 위치에서의 픽셀 값이 배경 모델에서 해당하는 픽셀 위치의 픽셀 값과 크게 다른 경우(예를 들어 픽셀 값, 임계값 또는 임의의 다른 통계적 측정의 분산에 기초하는 대표 픽셀 값으로 표시됨), 현재 이미지 프레임(30c)에서의 픽셀 위치는 전경(22)에 속하는 것으로 간주되고 그렇지 않으면 배경(24)에 속하는 것으로 간주된다. 그런 다음 배경 모델은 현재 이미지 프레임에서의 픽셀 값에 기초하여 업데이트된다. 본 발명에서 예시된 것보다 배경 모델을 구현하는 많은 다른 방법이 있음을 유의해야 한다.

비디오 시퀀스가 예를 들어 고정된 모니터링 카메라에 의해 캡처되는 경우, 비디오 시퀀스의 이미지 프레임(30a-c)의 배경(22)은 모니터링되는 장면의 정적 배경에 해당한다. 모니터링은 예를 들어 사람이나 가축이 모니터링되는지 여부에 따라 배경(22) 또는 전경(24)에만 관심이 있을 수 있다.

전경(24)은 일부 실시 형태들에서 정적 영역을 포함할 수 있다. 예를 들어, 모니터링되는 장면이 주차장을 포함하는 경우, 아스팔트와 벽은 배경(22)으로 정의되고 주차된 유휴 자동차는 전경(24)으로 정의될 수 있다. 이를 달성하기 위해, 유휴 자동차가 배경(22)으로 전환되는 것을 방지하도록 특별히 적용되는 제2 알고리즘은 본 발명에서 설명된 바와 같이 사용될 수 있다. 이러한 제2 알고리즘의 예는 번호판 검출 및/또는 이미지 분할을 포함한다.

따라서, 배경 모델은 관련없는 정보를 필터링하고 비디오 시퀀스에서 수행될 수 있는 임의의 비디오 처리를 개선하는데 사용될 수 있다.

표시하는 단계(120)는 정의된 전경(24)의 유휴 영역(12)이 전경(24)에서 배경(22)으로 전환(150)될 것이라는 표시를 수신하는 것을 포함한다.

표시는 예를 들어, 유휴 영역(12)을 발견한 후에 정의하는 단계(110)에 제공될 수 있다. 공간 영역(10)은 배경(22)과 전경(24) 간을 구별하기 위해 정의하는 단계(110)에서 사용되는 조건에 따라 유휴 영역(12)으로 정의될 수 있다. 예를 들어, 공간 영역(10)은 이전 이미지 프레임(30a-b)에서의 공간 영역(10)의 이미지 데이터에 대해 현재 이미지 프레임(30c)의 공간 영역(10)의 이미지 데이터에서 현저한 변화가 검출되지 않는 경우 유휴(12) 상태인 것으로 식별될 수 있다.

표시는 예를 들어, 메타데이터 또는 별도의 룩업 테이블을 사용하여 공간 영역(10)을 유휴 영역(12)으로 라벨링(labelling)하는 것을 포함할 수 있다.

표시는 배경 모델을 분석하고 필요시 표시를 제공하는 유닛/프로세스/알고리즘에 의해 전달될 수 있다. 다른 실시 형태들에서, 배경 모델 자체는 표시를 제공하기 위한 수단을 포함한다.

정의된 전경 영역(24)의 공간 영역(10) 중 유휴 영역(12)만을 표시(120)함으로써, 계산 능력이 절약될 수 있다. 이는 배경(22)에 속하는 공간 영역(10)이 유휴 상태로 가정되고 이미 배경(22)의 일부이기 때문이다.

결정하는 단계(130)는 유휴 영역(12)이 전환(150)될 것인지 전환되지 않을 것인지 여부를 결정하는 것을 포함한다.

결정하는 단계(130)는 공간 영역(10)이 유휴 영역(12)에 해당하는 이미지 프레임만이 아니라, 비디오 시퀀스의 임의의 이미지 프레임(30a-c)을 분석하는 것을 포함할 수 있다. 이는 가장 유용한 이미지 프레임(30a-c)이 반드시 가장 최근의 것 또는 현재 분석된 것과 가장 유사한 것(30c)은 아니라는 점에서 유리하다. 예를 들어, 공간 영역(10)이 유휴 영역(12)에 해당하지 않는 이미지 프레임(30a-c)을 분석함으로써 움직이고 현재 유휴 상태인 전경 물체를 찾는 것이 더 쉬울 수 있다.

유지하는 단계(140)는 유휴 영역(12)을 배경 모델에서 전경 영역(24)으로 유지하는 것을 포함한다. 유지하는 단계(140)는 바람직하게 유휴 영역(12)이 전환(150)되지 않아야 한다고 결정(130)할 때 발생한다.

유지하는 단계(140)는 아무것도 하지 않거나 배경 모델 또는 이미 시작되었을 수 있는 전환(150)을 방지하기 위한 임의의 다른 적절한 처리 수단을 포함하는 회로와 통신함으로써 달성될 수 있다.

유지하는 단계(140)는 유지된 유휴 영역(12)이 전경(24)에 남아 있는 것을 보장하기 위해 정의하는 단계(110)를 조작하는 것을 더 포함할 수 있다.

전환하는 단계(150)는 즉 유휴 영역(12)이 전환(150)될 것이라고 결정(130)한 후에, 배경 모델에서 유휴 영역(12)을 배경(22)으로 전환하는 것을 포함한다.

전환하는 단계(150)는 예를 들어, 메타데이터 또는 개별 룩업 테이블을 사용하여 유휴 영역(12)을 배경(22)으로서 라벨링하는 것을 포함할 수 있다. 전환을 적용하는 회로는 방법(100)의 다른 단계를 수행하거나 비디오 시퀀스를 캡처하는 배경 모델 및/또는 별도의 프로세서를 포함하는 회로와 통신할 수 있다. 일 실시 형태에서, 배경 모델을 포함하는 회로는 전환을 적용하는 동일한 회로이고, 따라서 통신이 필요하지 않다.

전환하는 단계(150)는 배경 모델과의 통신 및/또는 방법(100)의 다른 단계를 수행하거나 비디오 시퀀스를 캡처하는 별도의 프로세서에 의해 추가로 영향을 받을 수 있다.

바람직한 실시 형태에서, 유지하는 단계(140) 및 전환하는 단계(150) 중 하나만이 수행된다.

도 2는 제1 및 제2 알고리즘을 적용(215, 235), 전경(24)과 루프 부분을 마스킹(260) 및/또는 추적(270)을 추가로 포함하는 비디오 시퀀스에서 이미지 프레임(30a-c)의 이미지 분석을 위한 방법(200)의 블록도이다. 이제 도 2의 방법(200)이 도 3-4와 관련하여 설명될 것이다.

정의하는 단계(110)는 제1 알고리즘을 복수의 이미지 프레임(30a-c)에 적용(215)하는 것을 포함한다. 제1 알고리즘은 각각의 이미지 프레임(30a-c)의 공간 영역(10)이 배경 모델에서 배경(22) 또는 전경(24)에 속하는지 여부를 결정하는데 사용된다. 제1 알고리즘은 공간 영역(10)이 유휴 영역(12)이 되는 때를 추가로 검출할 수 있다.

제1 알고리즘은 예를 들어, 배경(24)에 속하는 임의의 공간 영역(10)이 전경(22)으로 전환될 것인지 여부를 정의하기 위해, 이전 이미지 프레임(30a-b)에서의 공간 영역(10)의 이미지 데이터에 대해 현재 분석되는 이미지 프레임(30c)에서의 공간 영역(10)의 이미지 데이터에서 현저한 변화를 검출하도록 구성될 수 있다.

제1 알고리즘은 예를 들어 전경(22)에 속하는 임의의 공간 영역(10)이 배경(24)으로 전환될 것인지 여부를 정의하기 위해, 이전 이미지 프레임(30a-b)에서의 공간 영역(10)의 이미지 데이터에 대해 현재 이미지 프레임(30c)에서의 공간 영역(10)의 이미지 데이터에서 발생되는 현저한 변화가 없음을 구체적으로 검출하도록 추가로 구성될 수 있다.

제1 알고리즘은 예를 들어, 현재 이미지 프레임(30c)에서의 공간 영역(10)의 이미지 데이터를 분석하고 이를 하나 이상의 이전 이미지 프레임(30a-b)에서의 해당하는 공간 영역(10)과 비교하는 것을 포함할 수 있다. 상기 이미지 데이터가 공간 영역(10)에서 상당히 다른 경우, 공간 영역(10)은 제1 알고리즘에 따라 전경(24)에 속하는 것으로 간주된다.

결정하는 단계(130)는 제2 알고리즘을 비디오 시퀀스의 이미지 프레임(30a-c)의 이미지 데이터에 적용(235)하는 것을 포함하며, 이미지 데이터는 적어도 부분적으로 유휴 영역(12)에 해당한다.

제2 알고리즘은 유휴 영역(12)(표시 단계(120)에 나타낸 바와 같이)이 전환(150)될 것인지 전환되지 않을 것인지 여부를 결정하도록 구성될 수 있다.

제2 알고리즘은 유휴 영역(12)을 갖는 하나만이 아니라, 비디오 시퀀스의 임의의 하나 또는 여러 개의 이미지 프레임(30a-c)에 적용될 수 있다.

유휴 영역(12)에 해당하는 이미지 데이터는 예를 들어, 전경(24) 물체가 움직이는 경우 이전 이미지 프레임(30a-b)에서 다른 공간 영역(10)에 포함될 수 있다. 따라서, 제2 알고리즘은 서로 다른 이미지 프레임(30a-c)에서 서로 다른 공간 영역(10)의 이미지 데이터에 적용될 수 있다.

제2 알고리즘은 유휴 영역(12)이 전경(24)에서 배경(22)으로 전환될 것이라는 표시가 존재한다는 규정하에 이미지 프레임(30a-c)의 이미지 데이터에 적용(235)되도록 적용될 수 있다.

표시 단계(120) 후에 제2 알고리즘을 적용(235)하는 것만이 제2 알고리즘이 필요할 때만 사용된다는 점에서 유리하다. 제2 알고리즘이 예를 들어 제1 알고리즘에 비해 계산이 더 많이 요구 및/또는 덜 신뢰할 수 있는 경우, 제1 알고리즘에 주로 의존하는 것이 유리하다.

방법(200)은 제1 알고리즘만큼 자주 제2 알고리즘을 적용하는 것이 효율적이거나 정당화될 수 없도록 제1 알고리즘보다 상대적으로 더 많은 시간을 소비하는 제2 알고리즘이 사용될 수 있도록 한다.

제2 알고리즘은 충분한 계산 리소스가 이용 가능할 때 나중에 적용(235)될 수 있다.

낮은 활동으로 인해 전경(24)에서 배경(22)으로 물체의 잠재적 전환에 관한 것이기 때문에, 이러한 검사는 나중에 완료되도록 스케줄링될 수 있다. 제2 알고리즘은 즉시 완료할 필요가 없으며, 제2 알고리즘은 예를 들어, 검사해야 할 잠재적 전환으로 표시된 모든 영역과 지속적인 검사를 위해 표시된 영역을 추적할 수 있다. 제2 알고리즘은 그런 다음 충분한(예를 들어 임계값 이상) 계산 리소스를 이용 가능할 때 적용될 수 있다.

배경 모델에서 전경(24)에서 배경(22)으로의 공간 영역(10)의 전환(150)은 제2 알고리즘이 이미지 프레임(30c)의 유휴 영역(12)이 전환(150)될 것으로 결정(130)하는 규정 하에 수행될 수 있다.

결정 단계(130) 후에 전환(150)를 수행하는 것은 제2 알고리즘에 의해 검증되지 않는 한 물체가 배경(22)으로 이동되지 않는다는 점에서 유리하며, 이는 제1 알고리즘으로부터 긍정 오류의 영향을 감소시킨다.

결정하는 단계(130)가 계산 능력을 보존하기 위한 스케줄링으로 인해 또는 이의 복잡성으로 인한 오랜 시간이 걸리는 제2 알고리즘으로 인해, 나중에 제2 알고리즘을 적용(235)하는 것을 포함하는 실시 형태들에서, 전환 단계(150)는 제2 알고리즘이 적용(235)된 후에만 수행된다.

긍정 오류는 도 3a와 관련하여 논의된 바와 같이 프라이버시 마스킹(260)을 갖는 실시 형태들에서 불리할 수 있다.

대안으로서, 제2 알고리즘을 사용하여, 이미지 프레임(30c)의 유휴 영역(12)이 전환(150)되지 않는다고 결정(130)되면, 결정 단계(130)는 전환(150)이 이미 수행되었거나 시작된 경우 반전되게 할 수 있다.

제2 알고리즘은 제1 알고리즘보다 계산이 더 많이 필요할 수 있다.

계산적으로 더 많이 요구되는 제2 알고리즘은 제1 알고리즘보다 덜 자주 사용된다는 점에서 유리하며, 따라서 상당한 계산 능력이 절약될 수 있다.

제2 알고리즘은 제1 알고리즘보다 더 적은 부정 오류 결과를 생성할 수 있으므로, 제1 알고리즘의 결과를 검증하기에 적합하다.

제2 알고리즘을 적용(235)하는 단계는 이미지 데이터에서 물체를 찾기 위한 이미지 분할 알고리즘을 적용하는 것을 포함할 수 있고, 상기 물체는 적어도 부분적으로 유휴 영역(12)으로 연장되며, 여기서 찾아진 물체에 해당하는 이미지 데이터는 제2 알고리즘이 적용되는 이미지 데이터를 정의한다.

이미지 분할 알고리즘은 제2 알고리즘의 신뢰성을 증가시키고 전경(24)을 보다 정확하게 결정할 수 있다는 점에서 유리하다.

이미지 분할은 하나 이상의 이미지 프레임(30a-c)의 이미지 데이터에서 물체 및 경계를 찾는 것을 포함한다.

전경 물체는 예를 들어, 큰 단색 정사각형을 포함하는 경우, 정사각형은 물체 및 정사각형이 움직임에도 불구하고 공간 영역(10)의 이미지 데이터가 크게 변화되지 않도록(예를 들어, 이미지 데이터에서 픽셀 수가 임계값 미만으로 현저하게 변화되지 않거나, 공간 영역(10)의 이미지 데이터와 배경 모델의 픽셀 간의 요약된 차이가 임계값 차이 미만임) 찾아질 수 있다. 따라서, 이미지 분할은 상기 공간 영역(10)이 유휴 상태이더라도, 물체가 유휴 상태가 아님을 찾기 위해 전체 물체를 찾을 수 있다. 전체 물체에 적용됨으로써, 제2 알고리즘은 유휴 영역(12)이 전경 물체의 일부이기 때문에 유지(140)되어야 함을 보다 쉽게 결정(130)할 수 있다.

제2 알고리즘은 얼굴 인식, 머리 검출, 신체 검출, 차량 검출, 번호판 검출, 움직임 분석, 물체 추적(270) 및 다른 사전-기록된 중요한 물체의 검출 중 적어도 하나를 수행하도록 적용될 수 있다.

제2 알고리즘은 얼굴 인식을 수행하도록 적용될 수 있다. 얼굴 인식은 전경(24)의 공간 영역(10)이 얼굴을 포함하는지 여부를 찾는데 사용된다. 이들이 그렇다면, 이들은 활동적이고 따라서 전경(24)의 일부인 것으로 가정된다. 이에 의해 얼굴을 구성하는 임의의 유휴 영역(12)은 전경(24)으로 유지(140)되도록 결정된다(130).

얼굴 인식은 바람직하게 얼굴이 속한 사람 또는 동물을 찾기 위해 이미지 분할 및/또는 신체 검출과 결합되어 사람 또는 동물의 전체 이미지 영역이 전경(24)으로 유지(140)되도록 결정된다.

제2 알고리즘은 머리 또는 신체 검출을 수행하도록 적용될 수 있다. 머리 또는 신체 검출은 전경(24)의 공간 영역(10)이 인간 또는 동물의 머리 또는 신체를 포함하는지 여부를 찾는데 사용된다. 만약 그렇다면, 이들은 활동적이고 따라서 전경(24)의 일부인 것으로 가정된다. 머리 또는 신체를 포함하는 임의의 유휴 영역(12)은 이에 의해 전경(24)으로 유지(140)되도록 결정된다(130).

머리 또는 신체 검출은 머리 또는 신체 검출의 정확성을 향상시키기 위해 서로 및/또는 얼굴 인식과 결합될 수 있다.

제2 알고리즘은 차량 또는 번호판 검출을 수행하도록 적용될 수 있다. 차량 또는 번호판 검출은 전경(24)의 공간 영역(10)이 차량 또는 번호판을 포함하는지 여부를 찾는데 사용된다. 이들이 그렇다면, 이들은 차량이고 따라서 전경(24)의 일부로 가정된다. 차량 또는 번호판을 포함하는 임의의 유휴 영역(12)이 이에 의해 전경(24)으로 유지(140)되도록 결정된다(130).

제2 알고리즘은 움직임 분석을 수행하도록 적용될 수 있다. 모션 분석은 전경(24)의 공간 영역(10)이 움직이는 물체를 포함하는지 여부를 찾는데 사용된다. 만약 그렇다면, 이들은 전경(24)의 일부인 것으로 가정된다. 움직임을 포함하는 임의의 유휴 영역(12)은 이에 의해 전경(24)으로서 유지(140)되도록 결정된다(130).

움직임 분석은 바람직하게 하나의 공간 영역(10)이 유휴 상태일 때에도 움직일 수 있는 동일한 물체를 포함하는 다른 공간 영역(10)을 찾기 위해 이미지 분할과 함께 사용된다. 이는 동일한 물체를 포함하는 공간 영역(10)에서, 움직임 검출과 관련된 제1 알고리즘의 결과를 검사하는 제2 알고리즘에 의해 구현될 수 있다. 이러한 실시 형태에서, 제2 알고리즘은 제1 알고리즘의 움직임 검출을 구현함으로써 움직임 분석을 수행하도록 적용된다.

따라서, 움직임 분석은 제1 알고리즘의 결과를 검사하기 위한 이미지 분할과 명령어만으로 구성되는 제2 알고리즘으로 구현될 수 있다.

움직임 분석은 예를 들어, 동일한 유휴 물체가 비디오 시퀀스의 이전 이미지 프레임(30)에서 움직이고 있었는지 여부를 찾기 위한 이미지 분할 및/또는 물체 추적(270)과 결합하여 사용되는 것과 같이 추가로 더욱 복잡할 수 있다. 이는 다시 제1 알고리즘의 결과를 이용 및/또는 일부 다른 방식으로 움직임을 찾기 위해 여러 이미지 프레임(30)을 분석할 수 있다.

제2 알고리즘은 물체 추적(270)을 수행하도록 적용될 수 있다. 물체 추적(270)은 모니터링되는 물체를 검출하고 따르는데 사용된다. 이는 전경(24)의 유휴 영역(12)에 있는 물체가 이전에 있었던 곳을 찾는데 사용될 수 있다. 물체가 다른 공간 영역(10)에 있을 때 전경(24)으로 유지(140)되는 것으로 결정되는 경우, 다시 한번 전경(24)으로 유지(140)하는 것이 유리할 수 있으며 그 반대의 경우도 마찬가지이다.

물체 추적(270)은 예를 들어, 모니터링되는 영역이 기차 트랙 또는 컨베이어 벨트를 포함하는 경우 모션 분석과 다른 결정(130)을 초래할 수 있다. 물체 추적(270)은 추적된 물체가 이전에 추적된 물체와 규칙성 또는 유사성을 갖는지를 결정하는 것을 포함할 수 있다. 제2 알고리즘은 규칙적으로 지나가는 열차와 계속 움직이는 컨베이어 벨트가 배경(22)의 일부 및/또는 이전에 본 고양이가 전경(24)의 일부임을 결정(130)하도록 적용될 수 있다.

유지하는 단계(140) 및/또는 전환하는 단계(150)가 수행된 후, 방법(200)은 방법(200)의 시작으로 루프백(loop back)될 수 있다.

비디오 시퀀스에서 이미지 프레임(30a-c)의 이미지 분석을 위한 방법(200)을 계속 루핑함으로써, 새로운 이미지 프레임(30)이 예를 들어 배경 모델을 업데이트 및/또는 이전 분석으로부터 습득하는 것을 지속하기 위해 이전에 분석된 이미지 프레임(30)과 분석 및/또는 비교될 수 있다.

마스킹 단계(260)는 전경(24)의 일부인 공간 영역(10)을 마스킹하는 것을 포함한다.

마스킹(260)은 단순화된 추가 분석을 위해 프라이버시 및/또는 표시된 정보의 감소를 허용한다는 점에서 유리하다. 마스킹(260)은 이미지 프레임(30)의 공간 영역(10)을 뚜렷하게 나타낼 수 없거나 단색으로 블러링 및/또는 대체하는 것을 포함할 수 있다.

마스킹(260)은 얼굴 인식 및/또는 번호판 검출을 사용하여 예를 들어, 얼굴 및/또는 번호판을 마스킹하는 프라이버시 마스킹을 포함할 수 있다. 이는 얼굴 및/또는 번호판이 속하는 전체 사람 및/또는 자동차를 마스킹(260)하는 것을 더 포함할 수 있다. 이는 예를 들어, 이미지 분할 및/또는 물체 추적을 사용하여 달성될 수 있다.

프라이버시 마스킹은 이들 프라이버시를 침해하지 않고 안전 및/또는 보안상의 이유로 사람들을 모니터링할 수 있다는 점에서 유리하다.

전경(24)은 전경(24)으로부터의 방해없이 및/또는 전경(24)에 있는 사람들의 프라이버시를 유지하면서 배경(22)을 모니터링하기 위해 마스킹될 수 있다.

예를 들어, 배경(22)의 부분은 예를 들어, 전경(24)의 마스킹되지 않은 부분이 모니터링하기에 더 흥미롭다면 추가로 마스킹(260)될 수 있다.

추적 단계(270)는 비디오 시퀀스에서 전경(24)의 일부인 공간 영역(10)에서 해당하는 이미지 데이터를 추적함으로써 비디오 시퀀스에 묘사된 물체를 추적하는 것을 포함한다.

추적(270)은 전경(24)이 정확하게 구별될 때 물체 추적이 단순화된다는 점에서 유리하다. 이는 전경(24)의 일부인 공간 영역(10)만이 예를 들어 새로운 이미지 프레임(30)에서 물체를 찾을 때 고려될 수 있기 때문이다.

물체 추적(270)은 전경(24)이 정확한지 보장하기 위해 제2 알고리즘을 개선하는데 추가로 사용될 수 있다. 이는 추적된 물체가 일부 실시 형태들에서 항상 전경(24)의 일부여야 하기 때문이다.

비-일시적 컴퓨터 판독 가능한 기록 매체는 처리 능력을 갖는 장치에서 실행될 때 도 1-2 중 어느 하나에 따른 방법(100, 200)을 구현하기 위한 프로그램이 기록될 수 있다.

이러한 장치 중 하나는 비디오 카메라일 수 있다. 비디오 카메라는 그 자체로 도 1-2 중 어느 하나에 따른 방법(100, 200)을 수행하도록 구성될 수 있다.

비디오 시퀀스에서 이미지 프레임(30a-c)을 캡처하는 비디오 카메라는: 복수의 이미지 프레임(30a-c)에 제1 알고리즘을 적용하여 비디오 시퀀스의 배경 모델을 정의(110)하고 - 배경 모델은 이미지 프레임(30a-c)에서의 복수의 공간 영역(10)의 각각의 공간 영역(10)에 대해, 해당 공간 영역(10)이 비디오 시퀀스에서 배경(22) 또는 전경(24)에 속하는지 여부를 정의하며, 여기서 이전 이미지 프레임(30a-b)에서의 상기 공간 영역(10)의 이미지 데이터에 대해 이미지 프레임(30c)에서의 공간 영역(10)의 이미지 데이터에서 검출된 현저한 변화가 전경(24)에 속하는 상기 공간 영역(10)을 표시함 -; 상기 정의된 전경 영역(24)의 유휴 영역(12)이 전경(24)에서 배경(22)으로 전환(150)될 것임을 표시(120)하고; 및 비디오 시퀀스의 이미지 프레임(30c)의 이미지 데이터에 제2 알고리즘을 적용(235)하여 유휴 영역(12)이 전환(150)될 것인지 전환되지 않을 것인지(140) 여부를 결정(130)하며, - 이미지 데이터는 유휴 영역(12)에 적어도 부분적으로 해당함 -;하도록 구성되는 제어 유닛을 포함할 수 있고, 유휴 영역(12)이 전환(150)되지 않는다고 결정되면, 유휴 영역(12)을 배경 모델에서 전경 영역(24)으로서 유지(140)하는 것을 특징으로 한다.

제어 유닛은 제1 및 제2 알고리즘을 비디오 시퀀스에서의 복수의 이미지 프레임(30a-c)에 실시간으로 적용(215, 235)하도록 추가로 구성될 수 있다.

알고리즘의 실시간 적용은 실시간 프라이버시 마스킹(260) 및/또는 물체 추적(270)을 허용한다는 점에서 유리하다. 알고리즘은 전체 이미지 분석이 매우 효율적인 방식으로 적용(215, 235)되고 따라서 임의의 변화 및/또는 손상 없이 대부분의 비디오 카메라에 의해 실시간으로 적용될 수 있다.

제1 알고리즘은 비교적 효율적일 수 있으며 비교적 보통의 하드웨어에서도 실시간으로 적용(215)될 수 있다. 제2 알고리즘은 필요할 때만 적용(235)되므로, 상대적으로 계산이 많은 경우에도 실시간으로 적용될 수 있다.

실시간 비디오 처리는 예를 들어, 비디오 시퀀스가 액세스 가능한 동안 프라이버시 마스킹(260)은 유효한 상태이므로, 어떤 악성 스파이웨어도 비디오 시퀀스의 비-프라이버시 마스킹(260) 버전에 액세스할 수 없다는 점에서 매우 안전하다.

도 3a는 비디오 시퀀스에서의 이미지 프레임(30)을 도시한다. 비디오 시퀀스는 이미지 프레임(30)에서의 공간 영역(10)이 배경(22) 또는 전경(24)에 속하는지 여부를 정의하는 배경 모델을 포함한다.

이러한 실시 형태에서, 배경(22)에서의 임의의 중요한 변화는 해당하는 공간 영역(10)을 전경(24)으로 전환한다. 충분히 연장된 시간 동안 실질적으로 변화되지 않은 이미지 데이터를 포함하는 공간 영역(10), 즉 유휴 영역(12)이 도 4b에 도시된 바와 같이 배경(22)으로 전환(150)될 수 있다. 그러나, 먼저 유휴 영역(12)이 유지(140)되어야 하는지 여부가 결정(130)된다.

유휴 영역(12)을 배경(22)으로 전환(150)하기 전에 이러한 결정(130)의 추가 레벨(130)은 배경(22)에서 전경(24)으로의 해당하는 전환에 대해 존재하지 않을 수 있다.

이는 예를 들어 프라이버시 염려 때문에 유리하다. 전경(24)이 프라이버시 마스킹(260) 및/또는 물체 추적(270)인 경우, 공간 영역(10)이 유휴 상태인 것을 멈추기 전의 짧은 시간 동안에서도, 예를 들어 제1 알고리즘의 긍정 오류의 결과로서 배경(22)으로 잘못 이동하는 것은 불리할 수 있다. 프라이버시 마스킹(260)의 경우, 프라이버시가 손실될 수 있고, 물체 추적(270)의 경우 물체가 손실될 수 있다.

예를 들어 충분한 관용(leniency)을 허용하는 것, 예를 들어 결정 단계(130)의 구현에서 이러한 공간 영역(10)을 전경(24)으로 전환 및/또는 이들을 배경(22)으로 전환(150)하는 대신 전경(24)에서 이러한 공간 영역(10)을 유지하는 것없이 배경(22)에서 미묘한 변화를 허용하는 것이 더 중요할 수 있다.

예를 들어, 자연광은 시간이 지남에 따라 변하여, 배경(22)으로 간주되어야 하는 것에 큰 영향을 주지 않으면서 배경(22)으로 변화를 야기할 것이다. 이런 경우, 빛의 변화에 영향을 받는 공간 영역(10)은 배경(22)에 남아 있거나 상대적으로 빠르게 배경(22)으로 전환(150)되게 한다.

대안적인 실시 형태에서, 배경(22)은 전경(24)으로 전환될 수 있는 임의의 유휴하지 않는 공간 영역(10)에 대해 검사되지 않으며, 일단 배경(22)에 있으면 그곳에 머문다.

예를 들어, 다른 비디오 카메라에 의해 캡처되는 여러 비디오 시퀀스를 갖는 실시 형태에서, 방법(100, 200)은 비디오 시퀀스에 나란히 적용될 수 있다. 둘 이상의 비디오 시퀀스가 동일한 물리적 위치에 해당하는 공간 영역(10)을 갖는 이미지 프레임(30)을 포함하는 경우, 방법(100, 200)은 이러한 모든 공간 영역(10)을 분석하고 이들이 유지(140)되어야 하는지 아니면 그룹으로 전환(150)되어야 하는지 여부를 결정할 수 있다. 이는 예를 들어 보다 신뢰할 수 있는 결정(130)을 위해 사용될 각도에서의 변화를 허용한다.

도 3b는 복수의 타이머(14)를 포함하는 제1 알고리즘의 개략적 예시와 중첩되는 도 3a의 이미지 프레임(30)을 도시한다. 각각의 타이머(14)는 이미지 프레임(30)에서 복수의 공간 영역(10)의 공간 영역(10)과 관련된다.

미리 결정된 시간 제한 전에 이전 이미지 프레임(30)의 상기 공간 영역(10)의 이미지 데이터에 대해 이미지 프레임(30)의 공간 영역(10)의 이미지 데이터에서 현저한 변화가 발생하지 않은 경우, 상기 공간 영역(10)은 배경 모델에서 유휴 영역(12)으로 정의된다.

현저한 변화가 이전 이미지 프레임(30)의 상기 공간 영역(10)의 이미지 데이터에 대해 이미지 데이터(30)의 공간 영역(10)의 이미지 데이터에서 검출되는 경우, 배경(22)의 공간 영역(10)은 전경(24)으로 전환될 수 있다.

타이머(14)는 간단하고 계산적으로 효율적이라는 점에서 유리하다. 유사한 알고리즘과 비교하여 임계값을 구현 및/또는 결과를 조작하는 것은 쉽다.

이는 부분적으로 타이머(14)가 숫자이고 숫자가 간단하기 때문이다. 예를 들어, 단순히 타이머(14)에 몇 초를 추가함으로써, 타이머(14)는 임계값을 변화할 필요없이 이의 임계값에 더 빨리 도달할 것이다. 다른 예로서, 타이머(14)는 예측 가능한 주기로 이를 재설정됨으로써 이의 임계값에 도달하는 것을 방지할 수 있다.

타이머(14)는 상당한 계산 복잡성없이 추가로 카운트 업(count up) 및/또는 다운(down)할 수 있다.

제2 알고리즘에 의해, 유휴 영역(12)이 변환(150)되지 않을 것으로 결정(130)하면, 해당 유휴 영역(12)과 관련된 타이머(14)가 재설정 또는 일시 중지될 수 있거나, 해당 유휴 영역(12)과 관련된 타이머(14)의 시간 제한이 증가될 수 있다.

결정 단계(130)에 대한 응답으로서 타이머(14)를 조작하는 것은 유휴 영역(12)을 배경 모델에서 전경 영역(24)으로서 유지하는 간단하고 효율적인 방법이라는 점에서 유리하다. 또한, 제2 알고리즘에 의해, 이전에 결정된 공간 영역(10)의 특별한 처리가 예를 들어 타이머(13)를 시작된 것과 다른 번호로 재설정함으로써, 전환(150)되지 않게 한다. 이는 예를 들어, 특정 공간 영역(10)이 전경(24) 사람들이 휴식을 취할 수 있는 좌석 또는 침대에 해당하는 것과 같이 유휴 상태가 되는 경향이 있는 경우, 더 긴 타이머(14)가 긍정 오류 결과를 줄일 수 있다는 점에서 유리하다.

유휴 영역(12)과 관련된 제1 알고리즘의 타이머(14)가 미리 결정된 시간 제한보다 낮은 표시 임계값에 도달하면 유휴 영역(12)은 전경(24)에서 배경(22)으로 전환(150)되도록 표시(120)될 수 있다.

표시 임계값은 제2 알고리즘을 적용(235)하면 약간의 시간이 걸릴 수 있다는 점에서 유리하며, 따라서 표시 임계값을 사용하여 결정 단계(130)가 제1 알고리즘의 타이머(14)가 미리 결정된 시간 제한에 도달하기 전에 완료되어, 시간을 절약할 수 있다.

여러 결정 단계(130)가 동일한 이미지 프레임(30)의 상이한 이미지 프레임(30) 및/또는 상이한 공간 영역(10)에 대해 동시에 발생하는 실시 형태들에서, 이는 이미지 프레임(30)이 분석되는 빈도에 따라 상당한 시간을 절약할 수 있다.

제2 알고리즘을 적용(235)하는 단계 동안 이전 이미지 프레임(30)에서의 상기 유휴 영역(12)의 이미지 데이터에 대해 이미지 프레임(30)에서의 유휴 영역(12)의 이미지 데이터에서 현저한 변화를 결정(130)하면, 제2 알고리즘을 적용(235)하는 단계는 중단될 수 있고, 유휴 영역(12)은 배경 모델에서 전경 영역(24)으로 유지(140)될 수 있다.

제2 알고리즘을 적용(235)하는 단계를 중단하는 것은 시간과 계산 능력이 절약될 수 있다는 점에서 유리하다. 제2 알고리즘이 적용(235)되는 동안, 유휴 영역(12)은 더 이상 유휴 상태로 간주되지 않을 수 있으며, 이는 제2 알고리즘을 적용(235)하는 단계를 계속할 지점이 없음을 의미할 수 있다.

제2 알고리즘을 적용(235)하는 단계가 예를 들어, 미리 결정된 시간 제한보다 낮은 표시 임계값에 도달하는 유휴 영역(12)과 관련된 제1 알고리즘의 타이머(14)에 의해 일찍 시작되는 경우, 미리 결정된 시간 제한에 도달할 때까지 유휴 영역(12)은 유휴 상태를 유지하지 않을 수 있다. 따라서, 제2 알고리즘을 적용(235)하는 단계가 중단되게 함으로써 추가 상승 효과가 이뤄질 수 있다.

도 4a는 배경(22)으로 전환되는 2개의 전경 물체(24a, 24b)의 비디오 시퀀스에서 이미지 프레임(30a-c)의 개략도이다. 이미지 프레임(30a-c)은 왼쪽에서 오른쪽으로의 시간 경과를 보여준다.

가장 왼쪽 이미지 프레임(30a)에서, 전경 물체(24a, 24b) 모두가 움직이고 있다. 중간 이미지 프레임(30b)에서, 하부 전경 물체(24a)는 유휴 상태이고 상부 전경 물체(24b)는 움직이고 있다. 가장 오른쪽 이미지 프레임(30c)에서, 하부 물체(22a)는 상부 전경 물체(24b)가 움직이고 있는 동안 유휴 상태 후에 배경(22)으로 전환(150)되었다.

도 4b는 유휴 영역(12)이 되는 이미지 프레임(30a-c)의 공간 영역(10)의 개략도와 중첩되는 도 4a의 이미지 프레임(30a-c)의 개략도이다.

하부 전경 물체(24a)는 중간 이미지 프레임(30b)에서 유휴 상태가 된다. 따라서, 물체(24a)를 포함하는 공간 영역(10)은 유휴 영역(12)이 되는 반면, 물체(24a)가 움직이고 있을 때 가장 왼쪽 이미지 프레임(30a)에서는 아니다.

중간 이미지 프레임(30b)의 유휴 영역(12)은 전경(24)에서 배경(22)으로 전환(150)되도록 표시(120)된다. 제2 알고리즘은 유휴 영역(12)이 전환(150)될 것이라고 결정(130)한 후, 이들은 전환(150)된다. 따라서 가장 오른쪽 이미지 프레임(30c)에서, 물체(22a)는 배경(22)으로 전환(150)된다.

제2 알고리즘은 유휴 영역(12)이 전환(150)되지 않아야 한다고 결정(130)할 경우, 물체(24a)는 전경(24)으로 유지(140)될 것이다.

공간 영역(10)은 이미지 프레임(30a-c) 당 9개의 영역으로 도면에 도시된다. 도시된 것보다 실질적으로 많거나 적을 수 있다. 예를 들어, 이미지 프레임(30a-b)의 각각 픽셀 또는 4개의 픽셀의 각각의 정사각형은 공간 영역(10)일 수 있다. 다른 실시 형태에서, 각각 매크로블록, 코딩 단위 또는 코딩 트리 단위(coding tree unit)은 공간 영역(10)으로 간주될 수 있다.

당업자는 본 발명이 전술한 바람직한 실시 형태들에 결코 제한되지 않음을 인지한다. 반대로, 첨부된 청구 범위 내에서 많은 수정 및 변경이 가능하다.

예를 들어, 표시하는 단계(120)는 생략될 수 있고 공간 영역(10)은 도면에 비해 훨씬 더 작을 수 있다. 전경(24)은 정의하는 단계(110)와 동시에 제2 알고리즘의 임의의 실시 형태를 사용하여 정의될 수 있다. 전경(24)을 정의하는 것보다 제2 알고리즘의 다른 실시 형태에 의해 정의되는 배경(22) 및 전경(24)을 넘어서는 제3 레벨이 있을 수 있다.

추가로, 개시된 실시 형태들에 대한 변형은 도면, 개시물 및 첨부된 청구 범위의 연구로부터 청구된 발명을 실시하는 당업자에 의해 이해되고 영향을 받을 수 있다.

Claims

비디오 시퀀스에서 이미지 프레임의 이미지 분석을 위한 방법으로서,
복수의 이미지 프레임에 제1 알고리즘을 적용하여 상기 비디오 시퀀스의 배경 모델을 정의하는 단계 - 상기 배경 모델은 상기 이미지 프레임에서 복수의 공간 영역 중 각각의 공간 영역에 대해, 해당 공간 영역이 상기 비디오 시퀀스에서 배경 또는 전경에 속하는 여부를 정의하고, 여기서 이전 이미지 프레임에서의 상기 공간 영역의 이미지 데이터에 대해 이미지 프레임에서의 공간 영역의 이미지 데이터에서의 검출된 현저한 변화가 전경에 속하는 상기 공간 영역을 표시함 -;
상기 정의된 전경 영역의 유휴 영역이 전경에서 배경으로 전환될 것임을 표시하는 단계; 및
상기 비디오 시퀀스의 이미지 프레임의 이미지 데이터에 제2 알고리즘을 적용하여 상기 유휴 영역이 전환될 것인지 전환되지 않을 것인지 여부를 결정하는 단계 - 상기 이미지 데이터는 적어도 부분적으로 유휴 영역에 해당함 -;를 포함하고,
해당 유휴 영역이 전환되지 않을 것이라고 결정되며, 상기 유휴 영역을 배경 모델에서 전경 영역으로 유지하는 것을 특징으로 하는 방법.
제2항에 있어서, 상기 제2 알고리즘은 유휴 영역이 전경에서 배경으로 전환될 것이라는 표시 후 이미지 프레임의 이미지 데이터에만 적용되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 배경 모델에서 전경에서 배경으로 공간 영역을 전환하는 단계는 상기 제2 알고리즘이 상기 이미지 프레임의 유휴 영역이 전환될 것으로 결정한 후에만 수행되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 알고리즘은 복수의 타이머를 포함하고, 각각의 타이머는 상기 복수의 공간 영역의 공간 영역과 관련되며; 미리 결정된 시간 제한 이전에 이전 이미지 프레임의 상기 공간 영역의 이미지 데이터에 대해 이미지 프레임의 공간 영역의 이미지 데이터에서 현저한 변화가 없는 경우, 상기 공간 영역을 배경 모델에서 유휴 영역으로 정의하는 것을 특징으로 하는 방법.
제4항에 있어서, 상기 제2 알고리즘에 의해, 상기 유휴 영역이 전환되지 않을 것으로 결정하면, 상기 유휴 영역과 관련된 타이머를 재설정 또는 일시 중지하거나, 상기 유휴 영역과 관련된 타이머의 시간 제한을 증가시키는 것을 특징으로 하는 방법.
제4항에 있어서, 상기 유휴 영역이 전경에서 배경으로 전환되는 것을 표시하는 단계는 상기 유휴 영역과 관련된 제1 알고리즘의 타이머가 상기 미리 결정된 시간 제한보다 낮은 표시 임계값에 도달할 때 수행되는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 제2 알고리즘을 적용하는 단계 동안, 이전 이미지 프레임에서의 상기 유휴 영역의 이미지 프레임에 대해 이미지 데이터에서의 상기 유휴 영역의 이미지 데이터에서 현저한 변화를 결정하면, 상기 제2 알고리즘을 적용하는 단계를 중단하고, 상기 유휴 영역을 배경 모델에서 전경 영역으로 유지하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제2 알고리즘은 더 많은 계산 리소스가 이용 가능할 나중에 적용되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제2 알고리즘을 적용하는 단계는 상기 이미지 데이터에서 물체를 찾기 위한 이미지 분할 알고리즘을 적용하는 단계를 포함하고, 상기 물체는 상기 유휴 영역으로 적어도 부분적으로 연장되며, 상기 찾아진 물체에 해당하는 이미지 데이터는 제2 알고리즘이 적용되는 이미지 데이터를 정의하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제2 알고리즘은 얼굴 인식, 머리 검출, 신체 검출, 차량 검출, 번호판 검출, 움직임 분석, 물체 추적 및 다른 사전-기록된 중요한 물체의 검출 중 적어도 하나를 수행하도록 적용되는 것을 특징으로 하는 방법.
제1항에 있어서, 전경의 일부인 공간 영역을 마스킹하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 비디오 시퀀스에서 전경의 일부인 공간 영역에서 해당하는 이미지 데이터를 추적함으로써 상기 비디오 시퀀스에 묘사된 물체를 추적하는 단계를 더 포함하는 것을 특징으로 하는 방법.
처리 능력을 갖는 장치에서 실행되는 경우 제1항 내지 제12항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램을 기록한 비-일시적 컴퓨터 판독 가능 기록 매체.
비디오 시퀀스에서 이미지 프레임을 캡처하는 비디오 카메라로서, 상기 비디오 카메라는:
복수의 이미지 프레임에 제1 알고리즘을 적용하여 상기 비디오 시퀀스의 배경 모델을 정의하고 - 상기 배경 모델은 상기 이미지 프레임에서 복수의 공간 영역의 각각의 공간 영역에 대해, 상기 공간 영역이 상기 비디오 시퀀스에서 배경 또는 전경에 속하는지 여부를 정의하며, 여기서 이전 이미지 프레임에서의 공간 영역의 이미지 데이터에 대해 이미지 프레임에서의 공간 영역의 이미지 데이터에서 검출된 현저한 변화는 전경에 속하는 상기 공간 영역을 표시함 -;
상기 정의된 전경 영역의 유휴 영역이 전경에서 배경으로 전환될 것임을 표시하고; 및
상기 비디오 시퀀스의 이미지 프레임의 이미지 데이터에 제2 알고리즘을 적용하여 상기 유휴 영역이 전환되는지 여부를 결정 - 상기 이미지 데이터는 적어도 부분적으로 유휴 영역에 해당함 -;하도록 구성되는 제어 유닛을 포함하며,
상기 유휴 영역이 전환되지 않을 것으로 결정되면, 유휴 영역을 배경 모델에서 전경 영역으로 유지하는 것을 특징으로 하는 비디오 카메라.
제14항에 있어서, 상기 제어 유닛은 상기 비디오 시퀀스에서의 복수의 이미지 프레임에 상기 제1 및 제2 알고리즘을 실시간으로 적용하도록 추가로 구성되는 것을 특징으로 하는 비디오 카메라.