KR101223424B1

KR101223424B1 - 비디오 모션 검출

Info

Publication number: KR101223424B1
Application number: KR1020090090870A
Authority: KR
Inventors: 요한 알름블라흐
Original assignee: 엑시스 에이비
Priority date: 2008-09-26
Filing date: 2009-09-25
Publication date: 2013-01-17
Also published as: TW201013578A; JP4870803B2; EP2172903A1; TWI405150B; KR20100035616A; CN101685543B; JP2010079910A; EP2172903B1; CN101685543A; US20100080477A1; US8121424B2

Abstract

비디오 모션 검출용 방법, 컴퓨터 프로그램 및 카메라는 X, Y 및 t의 버텍스들(vertices)을 갖는 이미지 볼륨 내로 비디오 시퀀스의 일련의 이미지들을 결합한다. 상기 이미지 볼륨은 (X,t) 또는 (Y,t) 평면들 중 하나에서 슬라이싱되고, 시공간 필터로 필터링되고, 정보량을 감소시키기 위하여 임계화된다. 그 후, 탐색 알고리즘이 모션의 위치를 찾아내기 위하여 비디오 시퀀스의 서브셋에서의 탐색 라인들을 따라 탐색한다. 모션은 버텍스들 중 어느 하나에 평행하지 않은 라인들을 식별함으로써 검출될 수 있다. 고정된 대상들 및 조명 변화들은 버텍스들 중 하나에 평행한 라인들로서 나타난다. 따라서, 실제 모션은 조명 변화들과 구별될 수 있다.

비디오 모션 검출, 비디오 시퀀스, 이미지 볼륨, 시공간 필터, 탐색 알고리즘

Description

비디오 모션 검출{VIDEO MOTION DETECTION}

본 명세서의 비디오 분석(video analytics)에 관한 것이며, 더 구체적으로는, 비디오들에서 모션을 검출하는 방법, 컴퓨터 프로그램(computer program) 및 카메라(camera)에 관한 것이다.

비디오 분석은 데스크톱 컴퓨터 시스템들(desktop computer systems)에 대하여 비디오를 인코딩 및 디코딩하는 것 이상으로 확장된다. 비디오 분석은 정지 및 비디오 이미지들에서 콘텐트(content)를 분석하는 기술들이며, 적절한 프레임 레이트(frame rate), 해상도 등을 결정하는데 사용된다. 비디오 분석에서, 이미지(들) 내의 아이템들(items)의 모션과 같은 콘텐트에 대해 이미지 및 비디오가 분석된다. 종종, 비디오의 관심없는 부분들은 폐기되는 반면, 다른 부분들은 모션과 같은 관련 정보를 추출하기 위하여 상세히 분석된다.

구체적으로, 모션 검출은 이미지 공간에서 움직이고 있는 비디오 시퀀스에서 이미지들의 공간적인 영역들을 식별하는 것을 포함한다. 이것은 예를 들어, 조명 변화들 또는 이미지 노이즈(image noise)가 아니라, 흔들리는 나무들 및 움직이는 그림자들을 포함할 수 있다. 모션 검출의 문제점은 모든 이전 프레임들에서 고정된 비디오의 영역이 하나의 프레임으로부터 다음 프레임으로 갑자기 움직이는 상황들에 의해 더 복잡해진다. 반대의 문제가 또한 가능한데, 즉, 많은 프레임들에 대한 모션의 영역이 갑자기 정지될 수 있다.

많은 현재 이용 가능한 모션 검출 방법들 및 시스템들은 모션이라기보다는 변화를 검출한다. 이러한 방법들은 단지 프레임들 사이 또는 현재 프레임과 일련의 이전 프레임들 사이에서 이미지의 영역의 차이에 대해서만 탐색한다. 예를 들어, 백그라운드 공제 방법(background subtration method)에서, 백그라운드 또는 레퍼런스 이미지(reference image)가 예를 들어, 무한 임펄스 응답(Infinite Impulse Response: IIR) 필터를 사용하여 비디오에서의 한 세트의 이전 프레임들로부터 구성된다. 그 후, 현재 이미지와 백그라운드 또는 레퍼런스 이미지 사이의 절대 차에 임계값을 적용함으로써 검출이 수행된다. 상기 임계값은 결과가 상기 차이가 상기 임계값을 초과하는 경우에 "1"이고 그렇지 않은 경우에 "0"인 간단한 바이너리 함수(binary function)일 수 있다.

다른 방법들은 예를 들어, 평균 및 분산 값을 갖는 가우시안 분포들(Gaussian distributions)을 사용하여 백그라운드를 모델링하도록 시도한다. 가우스 혼합 모델(Gaussian Mixture Model)에서, 각각의 픽셀은 여러 가우시안 분포들로 표현되고, 각각의 가우시안 분포는 자신의 분산 및 자신이 얼마나 많은 회수로 관측되었는지에 따라 가중된다. 자신의 가중치(weight)가 어떤 임계값 이하로 떨어지지 않는다면 백그라운드 모델에서 적합하지 않은 픽셀은 모션 정보를 포함할 것 같은 포그라운드 픽셀(foreground pixel)로서 간주된다.

본 발명자에 의해 인식되는 바와 같이, 변화를 검출하는 방법들 및 백그라운드 이미지를 모델링하도록 시도하는 방법들은 둘 모두가 조명의 변화들에 매우 민감하다. 이러한 방법들은 개별적인 픽셀들을 프로세싱하면서, 조명 효과들과 "실제" 이미지 변화들 사이를 간단하게 구별할 수 없다.

더욱이, 본 발명자에 의해 또한 인식되는 바와 같이, 통상적으로 모션에서의 이미지 영역들에 대한 속도들을 결정하는 광 흐름(optical flow)과 같이, 단지 2개의 연속적인 이미지들을 비교하는 것에 기초하는 모션 추정 방법들은 매우 계산적으로 큰 노력을 필요로 하거나, 부정확하거나, 매우 계산적으로 큰 노력을 필요로 하고 부정확하다. 2개 이상의 연속적인 이미지들이 분석되는 경우에, 계산적인 요구는 실제 애플리케이션에 대해 너무 높은 것으로 간주된다.

대부분의 현재 이용 가능한 시공간적 필터들은 이미지들을 개별적으로 분석하고, 시간적인 애스펙트들(temporal aspects)을 핸들링(handling)하기 위하여 고-레벨 모델을 사용하며, 비디오를 공간적이고 시간적으로 동시에 프로세싱하는 몇 개의 시공간적 알고리즘들은 실시간 임베딩된 프로세싱에 대하여 너무 계산적으로 큰 노력을 필요로 한다.

상기의 내용을 고려하여, 본 명세서의 목적은 과도한 조명 변화들을 갖는 환경들에서 모션을 정확하게 식별할 수 있고 이를 효율적으로 행할 수 있는 비디오 모션 검출용 방법, 컴퓨터 프로그램 및 카메라를 제공하는 것이다.

예시적인 비디오 모션 검출 방법은 비디오의 복수의 이미지들을 이미지 볼륨(image volume) 내로 결합한다. 상기 복수의 이미지들 각각은 복수의 픽셀들을 포함하고, 상기 이미지 볼륨은 폭에 대응하는 치수(X), 높이에 대응하는 치수(Y), 및 깊이에 대응하는 치수(t)를 갖는다. 형성된 후에, 상기 이미지 볼륨은 (X,t) 평면을 따라 슬라이싱(slicing)되고, 조명 컴포넌트(illumination component)로부터 반사율 컴포넌트들(reflectance components)을 분리하기 위하여 각각의 픽셀에 대해 로그 변환(logarithmic transform)이 선택적으로 수행된다.

그 후, 시공간 필터가 슬라이싱된 이미지 볼륨에 적용되어, 필터링된 결과를 발생시킨다. 필터링 이후에, 필터링된 결과의 절대값이 임계 함수를 통과하여 양호하게 규정된 시공간 에지들을 포함하는 바이너리 이미지를 발생시킨다. 최종적으로, 픽셀들의 적어도 하나의 연결된 스트링(string)에 대해 바이너리 이미지가 탐색된다. 축들에 평행하지 않은 픽셀들의 연결된 스트링은 모션을 나타낸다.

본 발명에 의하면, 과도한 조명 변화들을 갖는 환경들에서 모션을 정확하게 식별할 수 있고 이를 효율적으로 행할 수 있는 비디오 모션 검출용 방법, 컴퓨터 프로그램 및 카메라가 제공된다.

본 발명 및 이의 부수적인 장점들 중 다수가 첨부 도면과 관련하여 고려될 때 다음의 상세한 설명을 참조함으로써 더 양호하게 이해되기 때문에, 본 발명 및 이의 부수적인 장점들 중 다수의 더 완전한 인식이 용이하게 성취될 것이다.

여러 도면들 전체에 걸쳐 동일하거나 대응하는 부분들에는 동일한 참조 번호가 병기되어 있는 도면들을 이제 참조한다. 도 1은 본 발명에 따른 이미지들을 캡처하는데 사용될 수 있는 네트워크 카메라(10)(또는 IP-카메라)의 블록도이다. 그러나, 더 일반적으로, 카메라(10)는 이미지 시퀀스들을 발생시키고 상기 이미지 시퀀스들 또는 예를 들어, 이미지 메타 데이터와 같은 상기 이미지 시퀀스들로부터의 이미지 데이터를 네트워크(사설, 공중, 또는 하이브리드)를 통하여 사용자 클라이언트(51, 도 3)로 전달할 수 있는 임의의 디지털 카메라일 수 있다. 본 콘텍스트(context)에서의 용어 "비디오"는 종래의 모션 픽처들(motion pictures)로 제한되는 것뿐만 아니라, (초 당 하나, 2초 당 하나 등과 같은) 시간 시퀀스에서 캡처된 정지 프레임들을 또한 포함한다. 네트워크 카메라(10)는 프로세서(19) 상에 소프트웨어 기반 프로세스로서 구현되는 것으로 본 실시예에서 도시되어 있는, 로컬 비디오 분석 모듈(local video analytics module)(20)을 포함한다. 그러나, 하드웨어, 펌웨어, 또는 하이브리드 모듈이 또한 사용될 수 있다.

네트워크 카메라(10)는 입사 광을 수집하는 렌즈 시스템(12), 입사 광을 등 록하는 이미지 센서(13), 예를 들어, 전하 결합 소자(Charge Coupled Device: CCD), CMOS-센서 또는 유사한 센서, (하드웨어, 소프트웨어, 또는 하이브리드 방식으로 구현된) 이미지 프로세싱 모듈(15), 이미지/비디오 인코더(21), 예를 들어, 비디오 분석기(20)를 관리하는 CPU(19), 메모리(17), 및 네트워크 인터페이스(22)를 포함한다. 이미지 센서(13)는 또한 적외선 방사를 검출하는 IR-센서일 수 있다. 이미지/비디오 인코더(21)는 캡처된 디지털 이미지 데이터를 연속적인 비디오 시퀀스들에 대한, 제한된 비디오 시퀀스들에 대한, 정지 이미지들에 대한, 또는 스트리밍(streaming)된 이미지들/비디오에 대한 복수의 공지된 포맷들 중 어느 하나로 인코딩하도록 배열된다. 예를 들어, 이미지 정보는 MPEG1, MPEG2, MPEG4, H.264, JPEG, M-JPEG, 비트맵 등으로 인코딩될 수 있다.

아날로그 이미지 시퀀스들을 발생시킬 수 있는 아날로그 카메라(도 3에 도시된 54) 및 비디오 서버 또는 비디오 인코더와 같은 변환기(57)가 또한 네트워크 카메라(10)와 함께, 또는 네트워크 카메라(10)에 대한 대체물로서 사용될 수 있다. 변환기는 아날로그 카메라(54)로부터의 아날로그 이미지 시퀀스들을 디지털 이미지 시퀀스들 또는 이미지 데이터로 변환하고, 디지털 이미지 시퀀스들 또는 이미지 데이터를 네트워크로 제공한다. 이 경우에, 비디오/이미지 인코딩 및 로컬 분석이 변환기에서 수행된다.

도 2는 본 실시예에 따른 클라이언트 컴퓨터(client computer), 또는 감시 센터 컴퓨터(surveillance center computer)의 개략도이다. 컴퓨터(130)는 키보드(112), 포인팅 디바이스(pointing device)(111), 비디오 포착 유닛(113) 및 디스 플레이(110)가 접속되는 컴퓨팅 디바이스(100)를 포함한다.

컴퓨팅 디바이스(100)는 제어 프로세스들을 수행하고, 프로세싱되는 데이터의 일시적인 저장을 위한 주 메모리(105)에 접속하는 프로세서(101), 및 프로세서(101)에 의해 실행되는 명령들을 저장하는 ROM(106)을 포함한다. 디스크 제어기(107)는 적어도 비디오 시퀀스들이 프로세싱 이전 및 이후에 저장될 수 있는 디스크(108) 및 CD-ROM(109)을 제어한다. 디스플레이 제어기(104)는 외부 디스플레이(110)를 제어하는데 사용되며, I/O 인터페이스는 키보드(112), 포인팅 디바이스(111) 및 비디오 포착 유닛(113)과 같은 다른 외부 디바이스들을 제어하는데 사용된다. 버스(103)는 이러한 컴포넌트들 모두를 상호접속한다.

컴퓨팅 디바이스(100)는 예를 들어, 펜티엄 프로세서(Pentium processor)를 사용하는 PC일 수 있다. ROM(106)에 저장된 명령 세트는 VISTA, UNIX, SOLARIS, LINUX, APPLE MAC-OS 및 당업자들에게 공지되어 있는 다른 시스템과 같은 프로세서 및 운영 시스템과 관련하여 실행되는 유틸리티 애플리케이션(utility application), 백그라운드 데몬(background deamon) 또는 운영 시스템의 컴포넌트, 또는 이의 조합으로서 제공될 수 있다.

컴퓨팅 디바이스(100)의 주 메모리(105)는 PC와 일체형의 동적 또는 정적 랜덤 액세스 메모리(RAM)일 수 있거나, 또는 FLASH, EEPROM, 광 디스크, 서버들 등과 같은 다른 메모리 디바이스들일 수 있다. 추가적으로, 주 메모리(105)의 적어도 일부는 또한 비디오 모션 검출 시스템으로부터 분리 가능할 수 있다.

비디오 모션 검출 시스템은 또한 FPGA들, ASIC들, 마이크로제어기들, PLD들 또는 다른 이와 같은 프로세싱 디바이스들(프로세서들)과 같은 하드웨어 디바이스들 상에 구현될 수 있다.

비디오 포착 유닛(113)의 예들은 비디오 카메라, 비디오 카세트 레코더(video cassette recorder: VCR), 디지털 버서타일 디스크(Digital Versatile Disc: DVD) 레코더 등을 포함한다. 포인팅 디바이스(111)의 예들은 마우스(mouse), 트랙 볼(track ball), 터치 패드(touch pad) 등을 포함하고, 디스플레이(110)는 예를 들어, 비디오 모니터(video monitor)일 수 있다.

도 3에 도시된 바와 같이, 네트워크 카메라(10)는 하나 이상의 사용자 클라이언트들(51)에 사설 네트워크를 통하여 로컬로 접속되거나 또는 공중 네트워크를 통하여 원격으로 접속될 수 있다. 네트워크 카메라의 네트워크 인터페이스는 카메라 및 사용자 클라이언트 사이에서 이미지들 또는 비디오 뿐만 아니라, 팬(pan)/틸트(tilt)/줌(zoom) 메커니즘들의 제어 데이터, 오디오, 이미지 및 비디오 세팅들 등의 통신을 가능하게 한다. 사용자 클라이언트(51)는 예를 들어, 감시 센터(52), 클라이언트 컴퓨터(51) 또는 네트워크 비디오 레코더(NVR)(53)일 수 있고, 카메라로부터 이미지 시퀀스들을 저장, 조종 및/또는 중계하는 서버일 수 있다. 도 3은 모니터링 카메라와 상호작용할 수 있는 상이한 사용자 클라이언트를 도시하고자 한다. 네트워크 카메라는 예를 들어, 이미지들 및 비디오를 하나 이상의 사용자 클라이언트에 서비스할 수 있다.

모션 검출과 같은 비디오 분석 애플리케이션들은 네트워크 카메라(10) 또는 아날로그 카메라(54)에 의해 캡처된 이미지 시퀀스들로부터의 이미지들의 분석에 기초한다. 이미지들의 분석은 네트워크 카메라, 감시 센터(52), 클라이언트 컴퓨터(51) 또는 NVR(53)에서 수행될 수 있다. 그러나, 네트워크 카메라(10) 또는 변환기(57)에서 비디오 분석을 수행하는 것이 유용할 수 있는데, 그 이유는 비디오 분석이 많은 대역폭을 사용하는 트래픽으로 네트워크를 로딩(loading)함이 없이 수행될 수 있기 때문이다. 그러므로, 이 장점은 특히 사용자가 이미지 시퀀스들을 지속적으로 제공받는데 관심이 없는 애플리케이션들, 예를 들어, 사용자가 카메라 뷰(camera view)에서 어떤 것이 발생한 경우에만 이미지 시퀀스들을 제공받는 애플리케이션들에 특히 관련된다. 네트워크 카메라(54) 또는 변환기(57)에서의 비디오 분석 애플리케이션들에 의하여, 메타 데이터, 즉, (예를 들어, 이미지 시퀀스에서 발생한 것을 기술하는 데이터와 같은) 이미지들에 관한 데이터의 추출이 가능해진다. 그 후, 카메라로부터 사용자로의 이미지 시퀀스들의 송신이 어떤 조건들 하에서(예를 들어, 알람들이 존재하지 않을 때) 메타 데이터로 대체될 수 있다. 부가적인 네트워크 카메라들을 이와 같은 시스템에 추가하는 것이 더 용이해지기 때문에, 대역폭을 절약하기 위하여 또는 시스템의 확장성(scalability)을 용이하게 하기 위하여 이미지 시퀀스들을 지속적으로 송신하지 않는 시스템들이 제공될 수 있다. 그러나, 대안적인 실시예는 비디오 분석을 수행하는 클라이언트 컴퓨터(51) 및/또는 감시 센터(52)를 갖는다.

다음으로, 도 1의 비디오 모션 검출 시스템 상에서 실행될 수 있는 비디오 모션 검출 방법이 설명된다.

도 4는 예를 들어, 비디오 모션 검출 시스템의 비디오 포착 유닛(113)에 의 해 캡처된 비디오 시퀀스(200)의 이미지들(201)의 컬렉션(collection)이다. 이 비-제한적인 예에서, 비디오 시퀀스(200)의 대상은 사람(202), 재킷(jacket)(204) 및 수직 컬럼(vertical column)(203)을 포함한다. 물론, 당업자들에 의해 인식되는 바와 같이, 상기 방법은 또한 다른 대상을 포함하는 이미지들을 프로세싱할 수 있다. 또한, 이미지들(201)은 나머지 것들 앞에 가장 최근의 이미지가 배열되거나, 또는 나머지 것들 모두 뒤에 가장 최근의 이미지가 배열될 수 있다.

도 4 및 도 5에서, 비디오 시퀀스(200)의 이미지들(201)은 결합되어 이미지 볼륨(300)을 형성한다. 비디오 시퀀스(200)는 이미지들(201l₁, l₂,,,,l_N)을 포함하고, 여기서 N은 3과 동일하거나 3보다 더 크다. 그 후, 이미지 볼륨(300)이 (X,t) 평면을 따라 슬라이싱되어, 2개의 이미지 볼륨 부분들(301, 302)을 형성한다. 그러나, 이미지 볼륨(300)은 또한 본 명세서의 범위를 벗어남이 없이 (Y,t) 평면을 따라 슬라이싱될 수 있다.

이미지 볼륨(301)의 상부는 컬럼(305), 사람(303) 및 (Y 축에 평행한) 적어도 하나의 어두운 수평 라인(304)을 포함한다. 컬럼(305)은 고정되므로, t 축(즉, 시간 축)과 평행한 라인을 형성한다. 그러나, 사람(303)은 비디오 시퀀스(200)의 포착 동안 움직인다. 결과적으로, 사람(303)은 임의의 축에 평행하지 않은 이미지 볼륨 부분(301)의 상부를 따라 곡선을 형성한다.

어두운 수평 라인들(304)은 조명 변화들을 나타낸다. 예를 들어, 라인(304)은 감소되는 조명의 결과이다. 그러나, 본 발명자에 의해 인식되는 바와 같이, 이 와 같은 조명 변화들은 항상 X 및 Y 축에 평행하므로, 모션이 아니라, 조명 변화로서 용이하게 식별될 수 있고, 억제될 수 있다. 조명 변화들의 이와 같은 억제는 상이한 검출 및 모션 추정 방법들로는 가능하지 않다.

이미지 볼륨(300)이 이미지 볼륨 부분들(301, 302)로 슬라이싱된 후에, 반사율 컴포넌트 및 조명 컴포넌트를 분리하기 위하여 2개의 이미지 볼륨 부분들(301, 302)에서의 각각의 픽셀에 로그 변환이 적용된다. 선택적으로, 조명 컴포넌트는 이미지 볼륨(300)에서의 픽셀들을 고역-통과 필터링함으로써 억제될 수 있다.

다음으로, 이미지 볼륨(300)은 시공간 필터로 필터링되어, 도 6의 이미지 볼륨(400)을 산출한다. 시공간 필터는 에지 강화 필터(edge enhancing filter)이다. 이와 같이, 시공간 필터는 사람(403) 및 컬럼(404)의 에지들을 강화시킨다.

예를 들어, 시공간 필터링은 3×3 소벨 필터 커널(Sobel filter kernel)을 사용하여 성취될 수 있다. 또한, 시공간 필터링은 또한 필터링 전체에 걸쳐서 픽셀 당 비트 수를 일정하게 유지하면서 다수의 픽셀들을 동시에 프로세싱하기 위하여 단일 명령 다중 데이터(Single Instruction Multiple Data: SIMD) 명령들을 사용하는 미국 특허 일련 번호 제61/100,575호에 설명된 방법을 사용하여 성취될 수 있다.

시공간 필터로, 또는 필터의 파트로서 함께 필터링한 후에, 데이터 감소를 위하여 이미지 볼륨(400)의 픽셀들에 임계 함수가 적용된다. 도 7은 결과적인 이미지 볼륨이다. 임계 함수들은 부가적으로 각각의 픽셀의 바이너리 표현을 통해 에지들을 두드러지게 한다. 예를 들어, 미리 결정된 임계 값(예를 들어, ≥50% 그레이 값(grey value))을 충족시키는 픽셀들은 "1"(블랙(black))의 값을 제공받고, 임계값 이하로 떨어지는 픽셀은 "0"(화이트(white))의 값을 제공받는다. 이미지 볼륨(500)에서, 사람(503)을 규정하는 에지들은 이들의 주변들과 명백하게 다르고, 컬럼(504)의 규정하는 에지들도 마찬가지이다. 이것은 각각의 픽셀이 이제 "1" 및 "0"으로만 표현되기 때문에, 후술되는 바와 같이, 이미지의 더 효율적인 탐색을 허용한다.

도 8은 상술된 바와 같이 프로세싱된 (X,t) 평면에서의 이미지 부분(600)이다. 픽셀(601)이 이 예에서 시작 픽셀로서 식별된다. 픽셀(601)로부터, 래스터화된 탐색 라인들(602a, 602b, 603a, 603b, 604a, 604b)이 이미지 부분(600)의 에지로 확장된다. 탐색은 모두 "1"의 값을 가지는(즉, 모두 블랙인) 탐색 라인들을 따르는 픽셀들의 스트링들을 식별하는 것을 포함한다. 픽셀들의 스트링은 상기 방법이 이것을 모션을 표현하는 것으로 인식하기 위하여 (탐색되는 이미지에 걸쳐서 선형으로 배열된 픽셀들의 수, 또는 3개, 5개, 8개(도시됨), 또는 10개의 픽셀들과 같은 특정 수와 같은) 미리 결정된 길이로 이루어져야 한다. 예를 들어, 스트링은 이미지 부분(600)이 탐색되는 것만큼 길 필요가 있을 수 있고, 이는 예에서 8개의 픽셀들의 최대값이다. 그러나, 더 짧거나 더 긴 검출 스트링 크기들이 또한 본 실시예에서 사용될 수 있다. 또한, 스트링이 아티팩트(artifact), 노이즈(noise), 등으로서 무시되도록 하는데 스트링에서의 단일 브레이크(single break)가 충분할 수 있다.

탐색되는 이미지 부분(600)의 크기는 모션 아이덴티피케이션(motion identification)의 정확도 및 노이즈-민감성(noise-susceptibility)를 결정한다. (방향에서 3개 또는 2개의 픽셀들과 같이) 에어리어가 작은 경우에, 더 긍정적인 검출 결과들을 획득할 가능도(likelihood)가 더 크지만, 그러한 검출결과들은 더 긴 검출 스트링들보다 노이즈에 의한 손상(corruption)에 더 민감하다. 더 큰 이미지 부분들(600)(방향에서 8개, 9개 또는 10개의 픽셀들 사이를 갖는 에어리어들)은 노이즈 외란(noise disturbance)에 더 면역적이다. 그러나, 더 긴 인접한 스트링에 대한 임의의 긍정적인 검출 결과는 더 짧은 스트링보다 더 신뢰 가능한 검출 정보를 제공한다.

추가적으로, 탐색 라인들(602a, 602b, 603a, 603b, 604a, 604b)에 대응하는 각도들은 상이한 속도들의 모션을 검출하기 위하여 범위(예를 들어, 30° 내지 60°)에 걸쳐 가변될 수 있다.

도 9는 상술된 프로세스의 흐름도이다. 단계(S1)에서, 비디오 시퀀스(200)의 복수의 이미지들(201)이 이미지 볼륨(300) 상으로 결합된다. 단계(S2)에서, 이미지 볼륨(300)이 (X,t) 평면 또는 (Y,t) 평면 중 하나를 따라 슬라이싱된다. 이미지 볼륨(300)은 단계(S3)에서 로그 변환을 겪고, 단계(S4)에서 시공간 필터에 의해 필터링되어 필터링된 이미지 볼륨(400)을 발생시킨다. 단계(S5)에서, 필터링된 이미지 볼륨(400)에 임계 함수가 적용되고, 단계(S6)에서, ((X,t) 또는 (Y,t) 중 하나에서의) 모션의 검출이 수행된다. 슬라이싱의 방향을 (X,t)로부터 (Y,t)로, 그리고 그 반대로 변화시킴으로써, 비디오 시퀀스에 대해 완전한 모션 검출이 수행된다.

도 10은 (X,t) 평면을 따른 슬라이스 프로세싱의 경우에 도 9의 단계(S6)에 서 수행되는 검출의 흐름도이다. S10에서, "1"의 값을 갖는 픽셀이 시작 포인트로서 선택된다. 단계(S11)에서, 위치(X+i,t+j)에서의 인접 픽셀이 자신의 값이 "1"인지 또는 "0"인지를 결정하기 위하여 탐구된다. 상기 값이 "1"인 경우에, 단계(S12)에서, 이 픽셀은 새로운 시작 포인트로서 선택되고, 단계(S13)에서,"1"의 값으로 식별된 인접 픽셀들의 수를 추적하는 카운터(counter)가 증분된다. 그 후, 단계들(S11 내지 S13)은 전체 탐색 라인이 탐색될 때까지 반복된다.

인덱스 변수(index variable)들(i 및 j)는 도 8의 탐색 라인들을 구현하기 위하여 1 또는 2만큼 증분될 수 있다. 예를 들어, 탐색 라인(602b)은 i에 대한 증분이 2이고 j에 대한 증분이 1일 때 발생된다. 탐색 라인(603b)은 i 및 j 둘 모두에 대한 증분이 1일 때 발생되는 등이다. 그러나, 상이한 각도들을 갖는 탐색 라인들을 구현하기 위하여 i 및 j에 대한 다른 값들이 가능하다.

일단 탐색 라인이 충분히 탐색되면, S14에서, "1"의 값을 갖는 인접 픽셀들의 수가 임계값과 비교되고, 이 수가 임계값을 초과하는 경우에, S15에서, 모션이 검출된다. 그러나, 이 값이 임계값 이하로 떨어지는 경우에, 모션은 검출되지 않는다(단계 S16). 모두가 소모될 때까지 모든 탐색 라인에 대해 탐색이 반복되고 나서, 실행은 주 루프(main loop)로 리턴된다.

도 11은 (Y,t) 방향에서의 탐색 프로세스의 흐름도이다. 상술된 경우에서와 같이, (S20)에서, 1의 값을 갖는 픽셀이 시작 포인트로서 선택된다. 단계(S21)에서, 다음 인접 픽셀(Y+i,t+j)이 자신의 값이 "1"인지 또는 "0"인지를 결정하기 위하여 탐구된다. "1"은 S22에서 픽셀(Y+i,t+j)이 다음 시작 포인트로서 선택되도록 하고, 단계(S23)에서 픽셀 카운터가 증분되도록 한다. 일단 탐색 라인이 소모되면, S24에서, 픽셀 카운트의 값이 임계값과 비교된다. 상기 값이 임계값보다 더 높을 때 S25에서 검출이 발생한다. 그렇지 않은 경우, 모션은 검출되지 않는다(S26). 단계들(S21 내지 S23)은 탐색 라인이 소모될 때까지 반복된다.

(X,t) 탐색의 경우에서와 같이, i 및 j의 값들은 도 8의 탐색 라인들을 구현하기 위하여 1 또는 2일 수 있다. 그러나, 다른 값들이 가능하다. 일단 모든 탐색 라인이 소모되면, 제어는 주 루프로 되돌아간다.

상술된 탐색은 정확도를 뚜렷하게 감소시킴이 없이 검출의 가능도를 증가시키기 위하여 이미지 에어리어들을 확장시키는 동심원들에서 수행될 수 있다. 축들(X 및 Y)에 의해 규정되는 2-차원 검출 에어리어가 존재한다고 가정하자. 탐색 에어리어에서, 다수의 짧고 긴 검출 스트링들이 존재할 것이다. 에지들을 효율적으로 검출하는 방법으로서, 더 긴 검출 스트링들이 분석될 에어리어들을 포커싱하는데 사용될 "시드들(seeds)"로서 사용될 수 있다. 더욱이, 일단 더 긴 스트링이 검출되면, 상기 더 긴 스트링은 에지가 존재할 확률이 높다는 의미있는 발견물(significant finding)이다. 그 후, 긴 검출 스트링에 의해 탐색 영역에서 앵커링(anchoring)되면, 긴 검출 스트링 주위의 원형 에어리어들이 더 낮은 컨피던스 샘플들(confidence samples)에 대해 탐색될 수 있다. 이 탐색 방법 배후의 추론은 더 긴 검출 스트링들이 정확할 확률이 더 높으므로, 실제 에지를 나타낼 확률이 더 많다는 것이다. 에지가 이 에어리어에서 높은 컨피던스로 검출되었기 때문에, 에지의 다른 파트들이 근처의 에어리어에서 위치될 것이라고 가정하는 것이 합리적이 다. 이것은 검출 에어리어의 더 원격의 분리된 부분들에 위치된 짧은 검출 스트링들이 노이즈의 산물(product)일 확률이 더 높으므로, 실제 에지에 기인하지 않을 것이라는 점을 수반한다.

일 실시예에서, 본 발명자는 1 비트로 각각의 픽셀을 나타내는 장점을 인식하였다. 즉, 검출 범위 전체에 걸친 연속적인 라인들이 검출 에어리어에서 인접한 로우(row)들의 논리적 AND 연산들에 의해 검출된다. 예를 들어, 인접한 스트링(603b)은 (t 방향에서의) 상이한 데이터 로우들 상의 일련의 AND 연산들에 의해 검출될 수 있다. 따라서, 직접적인 불리언 논리(Boolean logic)를 통하여, 인접한 검출 스트링들은 일련의 AND 연산들을 통해 용이하게 식별 가능하다. 마찬가지로, 일단 검출 스트링들이 에어리어(600) 내에 형성되면, 충분한 길이의 임의의 단일 스트링(이 경우에, 픽셀(601)로부터 에어리어(600)의 에지까지의 인접한 스트링)의 존재가 각각의 후보 스트링에 대한 논리적 OR에 의해 식별 가능하다. 그러므로, 임의의 하나의 스트링이 존재하는 경우에, OR 연산의 결과는 충분한 길이의 스트링이 에어리어(600) 내에 존재하며, 결과적으로, 에지가 존재하고 픽셀(601)을 포함한다는 것을 나타낸다.

본 실시예가 픽셀 당 1비트를 나타내는 것으로 설명하였지만, 워드 당 32 픽셀들과 같이 워드 당 다수의 픽셀들을 포함하는 것이 또한 가능하다. 이 경우에, 예를 들어, x-축을 따라 픽셀(601)에서 시작하고 및 이의 우측으로의 31개의 픽셀들의 대각선 스트링에 대하여 병렬 탐색이 수행된다. 이 경우에, 병렬 탐색들은 병렬 대각선 방향들로 수행된다. 픽셀 당 다수의 비트가 더 복잡한 산술 연산들을 필 요로 하므로, 프로세싱 요구를 증가시킨다는 점이 주의된다.

도 8이 직선으로 스트링들을 도시하였지만, 반드시 선형은 아니라, 다른 패턴들의 라인 검출 모션을 갖는 것이 또한 가능하다. 이와 같은 다른 패턴들은 하나 이상의 대각선 세그먼트들을 포함하는 부분적으로 대각선 라인들 및 곡선 라인들을 포함한다.

또 다른 실시예에서, 탐색 절차는 (X,Y) 평면에서 모든 픽셀들에 대하여 병렬로 동시에 수행된다. 이미지 볼륨(500)에서의 최종 에지 이미지에서 시작하면, 탐색 라인에 따라 변환된 다음 이미지와 논리적 AND가 수행되고 나서, AND-연산을 사용하여, 제 1 AND-연산의 결과와 논리적으로 비교된다. 그 후, 이 절차는 소정 길이의 픽셀들을 커버하기 위하여 반복된다. 탐색 절차는 상이한 방향들을 갖는 상이한 탐색 라인들에 대해 반복된다. 특정 시작 픽셀에서 시작하는 탐색 라인들 중 어느 하나에서 검출된 모션이 존재하는지를 결정하기 위하여 상이한 탐색 방향들 사이에 논리적 OR-연산이 사용된다. 이 탐색 절차는 X-방향 및 Y-방향에서의 변환들 둘 모두에 대해 수행된다. 이 탐색 절차를 사용하면, 도 9에 도시된 프로세스에서 명시적인 슬라이스 단계(S2)는 필요하지 않은데, 그 이유는 슬라이싱이 검출 단계(S6)에 내재할 것이 때문이다.

상술된 방법은 또한 예를 들어, 컴퓨터 판독 가능한 매체 상에 저장되는 컴퓨터-판독 가능한 명령들의 형태로 컴퓨터 프로그램으로서 구현될 수 있다.

종래의 비디오 모션 검출 방법들은 계산적으로 큰 노력을 필요로 하거나, 조명의 변화들에 부정확하거나 민감하다. 그러나, 비디오 시퀀스는 이미지 볼륨으로 결합될 수 있고, (X,t) 또는 (Y,t) 평면을 따라 슬라이싱될 수 있다. 본 발명자가 인식하는 바와 같이, 이와 같은 슬라이스 상의 모션은 임의의 축(X,Y,t)과 평행하지 않은 경사진 라인 또는 곡선으로서 나타나는 반면, 조명 변화들 및 고정된 오브젝트들은 축들 중 하나와 평행한 라인들로서 나타난다. 그러므로, 이 방법에서, 조명 변화들이 식별 및 억제되거나 감소될 수 있다.

또한, 본 발명자에 의해 인식되는 바와 같이, 비디오 시퀀스에 래스터화된 탐색 라인들을 따른 탐색은 현재의 방법들에 비하여 개선된 효율을 허용하며, 임베딩된 시스템에서의 구현에 이바지한다.

명백하게, 상기의 내용들을 고려하여 본 발명의 다수의 변경들 및 변형들이 가능하다. 그러므로, 첨부된 청구항들의 범위 내에서, 본 발명이 본원에 특정하게 설명된 것과 달리 실행될 수 있다는 것이 이해되어야 한다.

도 1은 본 발명의 실시예에 따른 네트워크 카메라의 블록도.

도 2는 본 명세서의 예시적인 실시예에 따른 감시 센터 컴퓨터, 또는 클라이언트 컴퓨터의 블록도.

도 3은 본 발명의 실시예에 따른 감시 시스템의 블록도.

도 4는 비디오 시퀀스로부터의 이미지들의 예시적인 컬렉션을 도시한 도면.

도 5는 본 명세서의 예시적인 실시예에 따른 슬라이싱되는 이미지 볼륨을 도시한 도면.

도 6은 본 명세서의 예시적인 실시예에 따른 시공간 필터에 의해 필터링되는 슬라이싱된 이미지 볼륨을 도시한 도면.

도 7은 본 명세서의 예시적인 실시예에 따른 필터링 이후에 임계값이 적용되는 슬라이싱된 이미지 볼륨을 도시한 도면.

도 8은 본 명세서의 예시적인 실시예에 따른 탐색 라인들의 래스터화(rasterizing)된 일련의 탐색 라인들을 도시한 도면.

도 9는 본 명세서의 예시적인 실시예에 따른 비디오 모션 검출 방법의 흐름도.

도 10은 본 명세서의 예시적인 실시예에 따른 (X,t) 방향에서의 탐색의 흐름도.

도 11은 본 명세서의 예시적인 실시예에 따른 (Y,t) 방향에서의 탐색의 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

10 : 네트워크 카메라 12 : 렌즈 시스템

13 : 이미지 센서 15 : 이미지 프로세싱 모듈

17 : 메모리 20 : 비디오 분석기

21 : 이미지/비디오 인코더 22 : 네트워크 인터페이스

Claims

비디오 모션 검출 방법에 있어서:

비디오 시퀀스의 복수의 이미지들을 캡처하는 단계로서, 상기 복수의 이미지들 각각은 복수의 픽셀들을 포함하고, 각각의 픽셀은 제 1 비트 수로 표현되는, 상기 캡처 단계;

상기 제 1 비트 수를 상기 제 1 비트 수보다 더 적은 제 2 비트 수로 감소시키는 단계;

상기 복수의 이미지들을 컴퓨터 판독 가능한 매체에 저장하는 단계;

상기 복수의 이미지들 내의 미리 결정된 볼륨의 시공간 도메인에서 시공간 에지들을 프로세서로 탐색하는 단계; 및

상기 복수의 이미지들에서 공통 오브젝트의 모션을 검출하는 단계를 포함하고,

상기 검출 단계는 상기 미리 결정된 볼륨에서의 공통 값을 갖는 연결된 픽셀들의 스트링들을 비교하는 단계, 및

연결된 픽셀들의 적어도 하나의 스트링이 미리 결정된 길이보다 더 클 때 에지가 존재한다고 식별하는 단계를 포함하는,

비디오 모션 검출 방법.
제 1 항에 있어서,

상기 연결된 스트링은 직선인 대각선 방향으로 배열되는, 비디오 모션 검출 방법.
제 1 항에 있어서,

상기 연결된 스트링은 직선인 대각선과 다른 미리 결정된 패턴으로 배열되는, 비디오 모션 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 감소 단계는 상기 제 1 비트 수를 픽셀 당 1 비트로 감소시키는 단계를 포함하는, 비디오 모션 검출 방법.
제 4 항에 있어서,

프로세서가 단일 연산 명령으로 프로세싱할 수 있는 공통 데이터 워드 내의 각각의 픽셀들을 나타내는 비트를 패킹(packing)하는 단계를 더 포함하는, 비디오 모션 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 식별 단계는 상기 연결된 픽셀들의 적어도 하나의 스트링이 상기 미리 결정된 볼륨의 깊이와 동일하거나 더 클 때 에지를 식별하는 단계를 포함하는, 비디오 모션 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 탐색 단계는 서로 인접한 픽셀들을 병렬로 탐색하는 단계를 포함하는, 비디오 모션 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 비교 단계는 상기 미리 결정된 볼륨에서의 픽셀들의 세트들에 대해 논리적 AND 연산을 수행하는 단계를 포함하고;

상기 식별 단계는 상기 미리 결정된 볼륨에서의 픽셀들의 연결된 스트링들에 대해 논리적 OR 연산을 수행하는 단계를 포함하는, 비디오 모션 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 감소 단계는:

조명 컴포넌트로부터 반사율 컴포넌트들을 분리하기 위하여 상기 복수의 픽셀들에 대해 로그 변환을 수행하는 단계를 포함하는, 비디오 모션 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 감소 단계는 복수의 화소들을 시공간 필터링하는 단계를 포함하는, 비디오 모션 검출 방법.
제 10 항에 있어서,

상기 감소 단계는 상기 시공간 필터링 단계의 결과의 절대 값에 대해 미리 결정된 임계값을 사용하는 데이터 감소에 대한 임계 연산을 수행하는 단계를 포함하는, 비디오 모션 검출 방법.
컴퓨터-판독 가능한 명령들을 포함하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 있어서:

상기 컴퓨터 판독 가능한 명령들은 프로세서에 의해 실행될 때 상기 프로세서가:

비디오 시퀀스의 복수의 이미지들을 캡처하는 단계로서, 상기 복수의 이미지들 각각은 복수의 픽셀들을 포함하고, 각각의 픽셀은 제 1 비트 수로 표현되는, 상기 캡처 단계;

상기 제 1 비트 수를 상기 제 1 비트 수보다 더 적은 제 2 비트 수로 감소시키는 단계;

상기 복수의 이미지들을 컴퓨터 판독 가능한 매체에 저장하는 단계;

상기 복수의 이미지들 내의 미리 결정된 볼륨의 시공간 도메인에서 시공간 에지들을 상기 프로세서로 탐색하는 단계; 및

상기 복수의 이미지들에서 공통 오브젝트의 모션을 프로세서로 검출하는 단계로서, 상기 미리 결정된 볼륨에서의 공통 값을 갖는 연결된 픽셀들의 스트링을 비교하는 단계, 및 연결된 픽셀들의 적어도 하나의 스트링이 미리 결정된 길이보다 더 클 때 에지가 존재한다고 식별하는 단계를 포함하는, 상기 검출 단계를 포함하는 단계들을 수행하게 하는,

컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
카메라에 있어서:

오브젝트를 포함하는 장면으로부터 광을 캡처하도록 구성되는 광 섹션;

상기 광을 비디오 시퀀스의 복수의 이미지들로 변환하도록 구성되는 센서로서, 상기 복수의 이미지들 각각은 복수의 픽셀들을 포함하고, 각각의 픽셀은 제 1 비트 수로 표현되는, 상기 센서;

상기 제 1 비트 수를 상기 제 1 비트 수보다 더 적은 제 2 비트 수로 감소시키도록 구성되는 이미지 프로세서;

픽셀 당 상기 제 2 비트 수로 상기 복수의 이미지들을 저장하도록 구성되는 메모리; 및

상기 복수의 이미지들 내의 미리 결정된 볼륨의 시공간 도메인에서 시공간 에지들을 찾기 위해 상기 픽셀들을 탐색하고, 상기 미리 결정된 볼륨에서 공통 값을 갖는 연결된 픽셀들의 스트링들을 비교하고, 상기 연결된 픽셀들 중 적어도 하나의 스트링이 미리 결정된 길이보다 더 클 때 에지가 존재한다고 식별함으로써 상기 복수의 이미지들에서 오브젝트의 모션을 검출하도록 구성되는 프로세서

를 포함하는 카메라.