KR20080049063A

KR20080049063A - 모션 감지 디바이스

Info

Publication number: KR20080049063A
Application number: KR1020087007154A
Authority: KR
Inventors: 피. 에이치. 벤튼 헤럴드 지.
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2005-09-27
Filing date: 2006-09-26
Publication date: 2008-06-03
Also published as: EP1932352A2; CN101273634A; US8135177B2; WO2007036873A2; US20080205710A1; WO2007036873A3; JP2009510827A; TW200721041A

Abstract

본 발명은 비디오 프레임들의 시퀀스에서 움직임을 추출해내기 위한 디바이스, 방법 그리고 컴퓨터 프로그램 제품에 관련한 것이다. 일련의 비디오 프레임들에서 움직임을 추출해내기 위한 현존하는 솔루션들은 실시간 시스템을 구현하기에 어렵고 비용이 많이 드는 엄청난 컴퓨팅 파워를 필요로 한다. 따라서 본 발명의 목적은 이러한 디바이스를 단순화하여 실시간 임베디드 시스템을 제공하는 것이다. 디지털 비디오 카메라(1)를 포함하는 디바이스를 제공하는 것이 제안된다. 비디오 카메라(1)는 비디오 카메라(1)에 의해서 취해지는 비디오 프레임들을 프로세싱하기 위한 프로세싱 유닛(3)을 포함한다. 프로세싱은 3D 재귀 서치 블럭 매칭 알고리듬을 사용하여 비디오 프레임으로부터 모션 정보를 추출해낸다. 상기 디바이스는 교통 감시 응용 제품들, 즉, 거리와 도로에서 차량들의 스피드를 측정하는데 사용될 수 있다.

Description

모션 감지 디바이스{MOTION DETECTION DEVICE}

본 발명은 비디오 프로세싱 분야와 관련하며 일련의 비디오 프레임들로부터 모션 정보를 추출해내는 디바이스, 상응하는 방법 그리고 컴퓨터 프로그램 제품을 제공한다. 본 발명은 감시 응용 제품들, 즉, 교통 감시 응용제품들에 사용될 수 있으며 건물이나 구내에 침입을 탐지하는데 사용될 수 있다.

모션 정보는 교통 모니터링, 인물 트래킹, 보안 그리고 감시를 포함하는, 다수의 응용 제품들에 커다란 중요성을 가진다. 예를 들어, 도로상의 늘어나는 숫자의 차량들과 함께, 많은 도시들이 교통 체증이라는 중요한 문제에 대면하고 있다. 세계의 중요 도시들은 지금 이러한 상황을 개선하고 현존하는 기간시설을 보다 효율적으로 사용하기 위해 교통 인도 시스템을 사용하고 있다. 이를 행하는 데 있어, 많은 수의 차량들을 동시에, 실시간으로 적은 비용을 들여, 모니터할 시스템이 필요하다.

디지털 비디오 프로세싱은 지난 몇 년간에 걸쳐 굉장히 발전했다. 수많은 공보들이 자동차와 같은 물체 또는 사람들의 움직임을 탐지하는 문제에 도전해 왔다. 심지어 차량의 스피드 추정과 같은 상대적으로 단순한 일에 대해서도 현존하는 솔루션들은 메모리 인텐시브한(intensive) 알고리듬들 및/또는 엄청난 컴퓨팅 파워를 필요로하는 알고리듬의 조합을 사용한다. 이 목적을 위해 알려진 알고리듬들은 물체 인식, 물체 트래킹을 사용하거나 또는 시간적으로 상이한 시점에 찍힌 이미지들의 비교를 사용한다. 따라서, 이러한 응용제품에 대해서 실시간 시스템을 구현하는 것은 어렵고 비용이 많이 든다.

참된 모션 추정은 고-사양 TV 셋에 적용되는 비디오 프로세싱 테크닉이다. 이들 TV 셋은 표준 50Hz의 프레임 속도 대신에 100Hz의 프레임 속도를 사용한다. 이는 보간(interpolation)을 사용하여 새로운 비디오 프레임들을 생성해내는 것이 필요하게 한다. 이를 고 프레임 품질로 수행하기 위해서 2차원 프레임들내의 픽셀 블록들의 움직임이 산정된다. 이는 문헌인, 제라드 드 한(Gerard de Haan) 등의, "True motion estimation with 3D-recursive search block matching", IEEE transactions on circuits and systems of video technology, volume 3, number 5, October 1993에 기술된 3D 재귀 서치 블럭 매칭 알고리듬에 의해서 수행될 수 있다. 이 알고리듬은 프레임을 8x8 픽셀의 블록들로 세분하고 다음 프레임에서 이 블록의 위치 판별을 시도한다. 이들 위치들의 비교는 블럭의 픽셀들의 위치와 두 개의 프레임 사이의 시간의 비율을 포함하는 각 픽셀 블록의 모션 벡터를 할당하는 것을 가능하게 한다.

US 6,757,328 B1은 비디오 시퀀스로부터 모션 정보를 추출하는 것을 위한 방법을 개시한다. 이 US 특허에 의해서 사용되는 비디오 시퀀스는 이미 비디오 스트림, 예를 들어 MPEG 스트림에 내재된 모션 벡터들을 포함한다. 모션 벡터들은 인코드된 비디오 스트림으로부터 추출된다. MPEG 스트림 안의 이들 모션 벡터들은 인코딩 프로세스에 의해 생성되었으며 실제 모션을 나타내지 못한다. 예를 들어, MPEG 스트림은 물체가 오른쪽으로 움직임을 수행하는 데도 왼쪽을 가리키는 모션 벡터를 포함한다. 이런 문제를 해결하기 위해 필터링 단계가 모션 벡터의 형편없는 품질을 개선하기 위해 수행된다. 필터링 단계 후에 이 US 특허의 저자들은 모션 정보를 교통 감시 응용제품에 사용한다.

본 발명의 목적은 인코드되지 않은 비디오 프레임에 사용될 수 있는 비디오 프레임들의 시퀀스로부터 모션 정보를 추출하기 위한 디바이스, 방법 그리고 컴퓨터 프로그램 제품을 제공하는 것이다.

본 발명의 또 다른 목적은 실시간 프로세싱이 가능한 단순하고 고도로 효율적인 모션 정보의 추출을 수행하는 것이다.

이들 목적과 다른 목적들은 독립 청구항들의 특성들에 의해서 해결된다. 본 발명의 바람직한 실시모드들은 종속 청구항들의 특성들에 의해서 기술된다. 청구항들의 어떤 참조 기호들도 본 발명의 범위를 한정하는 것으로 해석되어서는 않된다는 것을 강조하는 바이다.

본 발명의 제 1 양상에 따라서, 위에 언급된 목적은 비디오 프레임들을 취하기(grabbing) 위한 디지털 비디오 카메라를 포함하는 비디오 프레임들의 시퀀스로부터 모션 정보를 추출해내기 위한 디바이스에 의해서 해결된다. 더나아가, 디바이스는 비디오 카메라에 의해서 제공되는 비디오 프레임들을 프로세싱하기 위한 프로세싱 유닛을 포함하며, 여기서 프로세싱 유닛은 비디오 프레임이 움직이는 물체 또는 움직이는 사람을 보이는 가를 결정하기 위한 3D 재귀 서치 블록 알고리듬을 사용하도록 적합하게 된다.

본 발명에 따라서 모션 정보를 추출하는 것은 인코드되지 않은 비디오 시퀀스에 의해서 수행된다. 이는 만일 비디오 시퀀스가 이미 인코드되어 있다면, 예를 들어 시퀀스가 MPEG 비디오 스트림이기 때문이라면, 비디오 시퀀스는 먼저 디코드되어야만 한다. 이유는, 아래에 자세하게 설명될, 모션 정보를 추출하기 위한 알고리듬이 비디오 프레임들의 픽셀에 대해서 작동하기 때문이다.

디바이스를 작동시킬 때 디지털 비디오 카메라는 비디오 프레임들의 시퀀스를 잡아내며, 프로세싱 유닛은 모션 정보를 추출해 내기 위해서 디지털 비디오 카메라로부터 디지털 비디오 프레임들을 프로세스한다. 이 프로세싱은 비디오 프레임들이 움직이는 물체 또는 움직이는 사람을 보이는 가를 결정하기 위한 재귀 서치 블록 알고리듬을 사용해서 수행된다.

방법이 위의 근본적인 알고리듬을 사용하는 컴퓨터 프로그램 제품을 사용하여 수행될 수 있다는 것은 당연하다. 컴퓨터 프로그램 제품은 컴퓨터가 읽을 수 있는 매체를 포함하며, 따라서, 상기 프로그램이 로드되었을 때, 비디오 프레임이 움직이는 물체 또는 움직이는 사람을 보이는 가를 결정하기 위해서, 또는 일반적으로 아래에 더 자세하게 설명될, 방법을 수행하기 위해서 컴퓨터가 실행할 수 있도록 하는 컴퓨터 프로그램 코드 수단을 가진다.

비디오 프레임들의 시퀀스는 고정되거나 움직이는, 예를 들어 CMOS, CCD인, 임의의 타입의 디지털 비디오 카메라 또는 적외선 비디오 카메라에 의해서 제공된다. 디지털 비디오 카메라는 본 발명의 부분이 아니며, 따라서 더 이상의 설명에 필요치 않다.

프로세싱 유닛은 다음과 같을 수 있다:

a) 프로세서 그리고 상응하는 컴퓨터 프로그램. 예를 들어, 프로세서는 Trimedia 프로세서 또는, 예를 들어 TM 1300 프로세서를 포함하는 Philips PNX 1300칩인, Philips의 Xetal 프로세서일 수 있다.

b) 예를 들어 ASIC 또는 FPGA인, 전용 칩

c) 비디오 카메라 하드웨어의 현존하는 칩의 인티그럴 패쓰(integral path), 또는

d) 위에 언급된 가능성들의 조합.

바람직한 선택은 시스템의 양상과 제품 요구사항들에 의존한다. 프로세싱 유닛의 바람직한 실시모드는 180mm x 125mm의 사이즈를 가지며, Philips TN 1300 프로세서를 포함하고 있는 Philips PNX1300 칩을 포함하는 디지털 비디오 카메라에 삽입될 수 있는 별도의 카드를 사용한다. 더나아가, 카드는 1MB의 램을 두 개의 프레임 메모리들과 하나의 벡터 메모리로 사용한다.

프로세싱 유닛은 비디오 프레임들로부터 모션 정보를 추출하기 위해 3D 재귀 서치 블록(3DRS) 알고리듬을 사용한다. 이 알고리듬은 제라드 드 한 외, "True motion estimation with 3D recursive search block matching", IEEE transactions on circuits and systems of video technology, volume 3, number 5, October 1993 에 기술된 방식으로 작동하며, 이 출원은 명시적으로 이 문서를 참조하며, 이 문서는 참조로 병합된다.

본 발명에 따른 디바이스는 인코드되지 않은 비디오 시퀀스들에 보편적으로 적용될 수 있다는 장점을 가진다. 따라서 비디오 시퀀스들을 이들이 프로세싱되기 이전에 인코드할 필요가 없으며, 상응하는 소프트웨어 또는 하드웨어에 재정적 투자를 할 필요가 없다.

디바이스의 또 다른 장점은 3DRS 알고리듬으로 계산된 모션 벡터들은 물체 또는 사람의 실제 모션을 표시하여, 받아들일 만한 레벨로 모션 벡터들의 품질을 향상시키기 위해 얻어진 모션 벡터들을 후처리(postprocess)할 필요가 없게 된다. 하지만, 이는 특히 디바이스의 응용 제품에 중요하다: 만일 디바이스가 스피드 측정에 사용되면, 스피드 측정치들의 신뢰성과 정확성은 모션 벡터가 실제 모션을 나타낼 때 높게 되며, 모션 벡터의 후처리가 필요할 때 더 낮아지게 된다.

디바이스의 또 다른 장점은 3DRS 알고리듬이, 심지어 다른 알려진 블록 매칭 알고리듬들과 비교에 있어서도, 극단적으로 효율적이어서, 실시간으로 작동하는 디바이스의 디자인에 어려움이 없게 된다는 것이다. 이렇게 되면, 프로세싱 유닛의 선택이 관련한 한에 높은 자유도가 있게 되어, 3DRS 알고리듬이 소프트웨어뿐만 아니라 하드웨어에서도 구현될 수 있게 된다.

본 발명의 바람직한 실시모드에 따라서 프로세싱 유닛은 비디오 시퀀스의 비디오 프레임들에 캡처된 물체 또는 사람의 속도를 결정하기에 적합하게 된다. 이는 다음과 같이 행하여진다. 3DRS 알고리듬이 완전한 프레임을 픽셀 블럭으로 , 예를 들어 8x8 픽셀 블록으로, 프로세스한다. 3RDS-알고리듬은 각 8x8 픽셀 블록에 대해서 하나의 모션 벡터를 출력한다. 각 벡터는 x-컴포넌트 그리고 y-컴포넌트를 가지며, 여기서 x 및 y는 수평 x축이 오른쪽을 가리키고, 수직 y축이 위를 가리키는 2차원 테카르트 좌표 시스템을 나타낸다(도 3참조). 모션 벡터의 절대값은 픽셀단위 또는 픽셀의 분수단위, 예를 들어 1/4픽셀 단위로 측정된 속도를 나타낸다.

예로, 프레임안의 어떤 위치에 대해서, 예를 들어 8x8 픽셀 블록에 대해서, 모션 벡터의 x-값은 12이고 모션 벡터의 값은 -37이라고 가정된다. 더나아가 1/4 픽셀 정확도가 가정된다. 이는 이 특정 블록이 x-값이 양이고 때문에 12x0.25=4 픽셀 스피드로 움직이고 있으며, y-값이 음이기 때문에 37x0.25=9.25 픽셀 스피드로 아래쪽으로 움직이고 있다는 것을 의미한다.

모션 벡터들의 실제 스피드 또는 속도로의 변환은 다음과 같다. 제 1 단계에서 x-컴포넌트 그리고 y-컴포넌트가 다음 방정식으로 주어지는 모션 방향으로, (veclength)로 표시되는, 모션 벡터 길이를 계산하기 위해 사용된다:

(방정식 1)

(단위: 픽셀), 여기서 v_x는 이 속도의 x-컴포넌트이며 v_y는 이 속도의 y-컴포넌트이다.

프레임 주파수가, 예를 들어 25Hz, 디지털 비디오 카메라로부터 알려져 있기 때문에 초당 픽셀(pps)단위 물체의 속도는 다음 방정식을 사용하여 계산된다:

(방정식 2)

여기서 frame_freq는 프레임 주파수를 나타낸다.

speed_pps로 표시되는, 초당 픽셀 단위 속도는 다음 식의 변환 인수로 나눔으로써, speed_mps로 표시되는, 초당 미터(mps) 단위 실제 속도로 변환된다:

(방정식 3)

여기서 conv_factor는 픽셀 단위 거리의 미터 단위 거리로의 변환을 담당하는 상기 변환 인수를 나타낸다. 마지막으로, m/s 단위 속도는 보다 쉬운 해석을 위해서 km/h 또는 miles/h의 단위로 표시된다.

변환 인수는 디바이스가 조정되었을 때 단지 한차례 정해진다. 이 값은 프레임에서의 물체의, 예를 들어 차량의, 위치에 의존한다. 각 위치는 자신의 변환 인수를 가지며, 따라서 그 값은 프레임 자체에 있는 정보로부터 추출될 수 있다. 이는, 예를 들어 미터단위의,알려진 거리가 픽셀 단위로 측정될 때 행하여 질 수 있다. 예를 들자면, 예를 들어 미터 단위로, 도로의 중간에 있는 인접한 차선 표시들(lane marks) 사이의 거리를 측정하고서 이를 픽셀 단위의 상응하는 거리로 비교하는 것이다. 이런 목적을 사용될 수 있는 다른 물체들은 길옆에 있는 두 개의 물체들, 예를 들어 차량들 자신들 등, 사이의 거리이다.

이렇게 결정된 속도는 두 개의 프레임 사이의 평균 속도이다. 이 설명에서 용어 속도는 용어 스피드와 동의적으로 사용된다. 두 개 프레임 사이의 시간차가 매우 작으면 측정된 속도는 매우 근사적으로 주어진 시간의 현재 속도이다. 그러나 프레임에서 프레임으로의 속도 트래킹을 수행하기 위해서 다수의 두 개의 연속하는 프레임들 사이의 속도를 계산하는 것도 가능하다. 이는 다음으로 이들 속도 값들의 평균값을 계산할 수 있게 해준다.

본 발명의 바람직한 실시모드에 따라서, 프로세싱 유닛은 다수의 물체들 또는 사람들의 속도를 동시에 결정하기에 적합하게 되어 있다. 3RDS 알고리듬은 전체 프레임을 프로세싱해서 프레임들에 캡처되고 이들 프레임들 안에서 움직이는 모든 물체들과 사람들이 프로세스되게 한다. 이는 본 발명을 교통 감시 응용프로그램에 사용하는 것을 가능하게 만들어 주는데, 여기서 다수의 차량의 속도가 체크되어야만 하며, 이들 속도는 속도제한이 준수되는 가를 효율적으로 제어할 수 있도록 바람직하게 동시에 체크되어야만 한다.

본 발명을 사용하여 차량이 카메라로 접근하는지 아니면 차량이 카메라로부터 멀리 이동하는 가를 구별하는 것이 가능하다. 더나아가, 다수의 길 위의 차량들의 속도를 모니터하는 것이 가능하며, 심지어 길들 위의 차량들의 평균속도를 결정하는 것도 가능하다. 상기 다수의 차량의 평균 속도를 결정하는 것은 도로상에 교통 체증이 있는가에 대한 지시기를 가지는 것을 가능하게 만들어준다.

본 발명의 바람직한 실시모드에 따라서, 프로세싱 시스템은 비디오 카메라의 하우징 안에 위치한다. 이런 식으로 시스템은 운반하기에 쉽고 사용하기에 쉬운 임베드된 시스템이된다. 이 목적을 위한 하드웨어 요구사양은 응용제품과 디바이스의 원하는 정확도에 크게 의존한다. 예를 들어, 디바이스는 Philips TM1300 프로세서를 포함하는 Philips PNX1300칩을 가지고 1MB 램을 가지는 180x125mm 사이즈를 가지는 메인보드를 포함할 수 있다. 이 별도의 카드는 도로상의 교통을 모니터할 비디오 카메라 안에 일체화될 수 있다. 그러나, 하드웨어 요구사양은 사람이 건물이나 또는 어떤 토지에 침입하는 지를 체크하도록 디자인된 디바이스에 대해서는 더 낮게된다. 후자의 경우 저 해상도 카메라도 충분해서 하드웨어 요구사항이 더 낮게 된다.

더 바람직한 실시모드에서 프로세싱 시스템은 실시간 시스템으로 구현된다. 실시간 구현을 얻는 것은 하드웨어 성능에 달려있다. 심지어, Philips TM1300 프로세서와 같은, 현존하는 하드웨어도 3DRS 알고리듬이 실시간으로 작동하여 오프라인 프로세싱을 위한 커다란 양의 데이터를 저장할 필요가 없게 되는 것을 보장해 줄 수 있다. 근저의 이유는 3DRS 알고리듬이 극단적으로 효율적이며 뛰어나서 실제 구현과 요구사양에 따라서 단지 7에서 10 연산만을 요구하기 때문이다.

본 발명의 더 바람직한 실시모드에서 프로세싱 시스템은 움직이는 물체들과 움직이는 사람들의 위치를 표시하기에 적합하게 된다. 이 능력은 3DRS 알고리듬으로 얻어진 다수의 모션 벡터들을 후처리함으로써 제공된다. 가장 쉬운 경우에서, 움직이는 물체, 즉, 도로상의 움직이는 차량은 사라지지 않는 모션 벡터를 가진 지역을 정의하게 되는 반면 주위의 지역은 사라지는 모션 벡터들을 가지게 된다. 이런 식으로, 물체의 위치는 사라지지 않는 모션 벡터들을 가진 상기 지역의 중심부로 정의 될 수 있다.

또 다른 바람직한 실시모드에 있어서 프로세싱 시스템은 물체 인식을 수행하기에 적합하게 된다. 이를 행하는 것은 사람들을 차량으로부터 구별하기 위해, 그리고 차량들을 구별하기 위해, 예를 들어 보통 차량과 로리들(lorries)을 구별하기 위해, 종래 기술에 알려진 알고리듬들에 의해서 프레임 안의 물체의 사이즈와 형태를 비교하는 것을 의미한다.

본 발명의 또 다른 실시모드에 따라서 프로세싱 시스템은 번호판 인식을 수행하기에 적합하게 된다. 번호판 인식은 당업자에게 잘 알려진 광학 문자 인식에 근거한 잘 알려진 알고리듬으로 수행될 수 있다. 번호판 인식은 디바이스가 스피드 탐지 또는 빨간 신호등 신호를 위반한 차량들을 식별하는 데 사용될 것이라면 유용한 기능이다.

본 발명의 제 2 양상은 비디오 프레임들의 시퀀스로부터 모션 정보를 추출하는 방법과 관련한 것이다. 이 방법의 제 1 단계에서 비디오 프레임들의 시퀀스가 취해진다. 제 2 단계에서 비디오 카메라에 의해서 취해진 디지털 비디오 프레임들이 프로세스되며, 여기서 프로세싱은 비디오 프레임들이 움직이는 물체 또는 사람을 보이는가를 결정하기 위해서 재귀 서치 블록 알고리듬을 사용함에 의해서 행하여진다. 다시, 알고리듬은 제라드 드 한 외, "True motion estimation with 3D recursive search block matching", IEEE transactions on circuits and systems of video technology, volume 3, number 5, October 1993 에 기술된 방식으로 작동하며, 이 출원은 명시적으로 이 문서를 참조하며, 이 문서는 참조로 병합된다.

본 발명에 따른 방법은 인코드되지 않은 비디오 시퀀스들에 보편적으로 적용될 수 있다는 장점을 가진다. 따라서 방법은 비디오 시퀀스들을 프로세싱이전에 이들을 인코드하지 않는다. 반대로, 인코드된 비디오 시퀀스가 프로세스될 것이라면, 프레임들의 픽셀들을 프로세싱하는 방법이 3DRS 알고리듬을 사용할 때, 이를 먼저 디코드하는 것이 필요하다.

방법의 또 다른 이점은 3DRS 알고리듬에 의해서 계산된 모션 벡터들이 물체 또는 사람의 실제 모션을 나타내어 이들의 품질을 받아들일 만한 레벨로 향상시키기 위해 얻어진 모션 벡터들을 후처리할 필요가 없게 된다는 것이다.

방법의 또 다른 이점은 3DRS 알고리듬이, 심지어 다른 알려진 블록 매칭 알고리듬들과 비교에 있어서도, 극단적으로 효율적이어서, 방법이 특히 빨라서 실시간으로 취해진 비디오 시퀀스들을 프로세하는 것이 가능하게 만들어 준다는 것이다.

위에 언급된 방법으로 물체 또는 사람의 속도가 정해질 수 있으며, 심지어 물체들 그리고 사람들의 크기도 동시에 정해질 수 있다. 방법은 교통 감시와 같은 감시 응용제품들에 사용될 수 있다. 방법이 사용될 수 있는 또 다른 영역은 도로 법규 준수 카메라들로, 특히 스피드 카메라 또는 빨간 신호등 카메라로서, 사용될 수 있다.

본 발명의 이들 그리고 다른 양상들은 이후 기술되는 실시모드로부터 보여지고 이들을 참조로 하여 명확하게 될 것이다. 참조 기호들의 사용이 본 발명의 범위를 한정하는 것으로 해석되지 않는 다는 것이 주지된다.

본 발명의 다음의 바람직한 실시모드에서 예시를 통해 도면만을 참조하여 보다 자세하게 기술될 것이다.

도 1은 모션 정보를 추출하기 위한 디지털 비디오 카메라를 도시하는 도면.

도 2는 스피드 체킹을 위한 위치들의 선택을 설명하는 도면.

도 3은 스피드 체킹 위치들의 조정을 도시하는 도면.

도 4는 사라지지 않는 모션 벡터들을 가지는 지역을 표시하는 측정을 보이는 도면.

도 5는 본 발명을 수행하는 흐름도를 도시하는 도면.

표 1은 측정 값들과 조정의 변환 인수를 포함하는 표.

도 1은 본 발명에 다른 디바이스를 도시한다. 디바이스는 프로세싱 유닛(3)을 포함하는 하우징(2)을 가진 디지털 비디오 카메라(1)를 포함한다. 더나아가, 디지털 비디오 카메라는 외부 컴퓨터(도시되지 않음)와의 통신을 위한, 예를 들어 이더넷 케이블(5)을 통하여, 출력포트(4)를 가진다. 외부 컴퓨터는 경찰서에 위치될 수 있다. 추가로, 디지털 비디오 카메라(1)는 먼 곳에 있는 컴퓨터에 획득된 데이터의 무선 전송을 위한 선택적인 트랜시버(6)를 가진다.

가능성(feasibility) 연구에서 도 1에 도시된 디지털 비디오 카메라(1)와는 벗어난 시스템이 사용되었다. 디지털 비디오 카메라(1)는 상업적으로 구할 수 있으며 더 이상의 설명이 필요 없는 Panasonic NV-DX110EG 가전 비디오 카메라였다. 이 비디오 카메라(1)는 25Hz의 프레임 속도로 비디오 프레임을 취하며 이들을 4-pin i.Link 입/출력포트로 출력한다.

출력된 비디오 시퀀스는 종래 노트북(도시되지 않음)에 전송되고 25Hz로 AVI-forward 포맷으로 저장된다. 3DRS-알고리듬을 사용하기 위해 이 압축된 비디오 포맷은 먼저 디코드되어 YUV422 표준으로 전송된다. 디코드된 비디오 시퀀스는 720x575 픽셀의 해상도와 25Hz의 프레임 속도를 가진다. 기본 3DRS-알고리듬에 근거한 컴퓨터 프로그램이, 어떠한 선처리 또는 후처리 없이, 인코딩되지 않은(unencoded) 비디오 시퀀스를 프로세싱하기 위하여 사용된다. 이 알고리듬은 위에 언급된 노트북상에서 실행된다. 이는 실제 모션 벡터들을 주어 신뢰할 만한 속도 값을 준다. 더나아가, 실제 모션 벡터는 효율적으로 작동하는 따라서 매우 빠른, 디바이스가 선처리 또는 후처리 없이 실시간으로 프레임들을 프로세스하는 뛰어난 3DRS 알고리듬을 준다.

작동에서, 제 1 단계는 디지털 비디오 카메라를 설치하고 도로 위의 가교에 고정하는 것으로 이루어진다. 제 2 단계에서 디지털 비디오 카메라가 비디오 시퀀스를 생성해내며 따라서 적합하게 기능하는 지가 테스트된다. 제 3 단계에서 위에 언급된 노트북이 응용 소프트웨어를 사용하여 디바이스를 조정하도록 사용된다. 즉, 본 발명에 따른 디바이스는, 가능성 연구의 프레임웍(framework) 안에서, 디지 털 비디오 카메라 그리고 노트북을 포함한다. 노트북은 위에 언급된 대안 a)의 의미에서 프로세서 그리고 관련된 메모리를 포함하는 프로세싱 유닛을 나타낸다.

제 1 교정 단계는 스피드 체킹이 수행될 도로의 위치들을 선택하는 것으로 구성된다. 이는 도 2의 도움으로 도시된다. 도 2는 차량들이 비디오 카메라로 접근하는 3차선을 가진 도로를 도시한다. 각 차선에 대해 측정 위치들(8, 9, 10)이 선택된다. 3-DRS-알고리듬이 모든 물체가 프레임/이미지에 들어가자마자 이들의 속도를 산정하기 시작하더라도, 적합한 위치들을 선택하는 것은 약간의 주의를 요구한다. 우수한 위치들은 이미지의 보더에 너무 근접하지 않으며 배경 쪽으로 너무 멀리 떨어져 있지도 않다.

다음 조정 단계에서 방정식 3의 도움으로 차량들의 스피드를 계산하기 위한 변환 인수 conv_factor가 결정된다. 이는 측정 위치들(8, 9, 10)각각에 대해 수행된다. 이 목적을 위하여, 이중 화살표에 의해서 지시되는 것처럼, 가장왼쪽 차선들 사이의 4개의 연속한 넓은 띠들의 거리가 미터 단위로 응용 소프트웨어에 입력된다. 동일한 거리가 픽셀 단위로, 즉, Δx=172.2 픽셀로 계산되었다. 이 픽셀 값으로부터 이 길이의 x-축상으로의 (Δx=73픽셀) 그리고 y-축상으로의(Δy=156 픽셀) 상응하는 프로젝션들이 계산되었다. 변환 인수는 프로세싱 유닛에 의해서 x-방향 및 y-방향으로의 거리를 픽셀 단위로부터 미터단위로 변환하는데 사용된다. 변환 인수들은 표 1의 6행에 나열된다.

디바이스가 조정된 후 스피드 측정들이 실시되었다. 노트북은 프로세싱 유닛으로서 역할을 하였으며 선처리 또는 후처리 없이 기본적인 3DRS-알고리듬을 사 용하였다. 알고리듬은 프레임들을 프로세스하였으며 프레임들을 픽셀들의 블록으로, 즉 블록당 8x8 픽셀들로 세분하였다.

이런 측정들 중 하나가 도 4의 도움으로 도시된다. 카메라에 접근하는 2대의 차량이 픽셀블록들이 사라지지않는 모션 벡터들을 가지는 것으로 판별된 지역 11 그리고 지역 12를 표시하기 위해서 원으로 표시된다. 지역 11 그리고 지역 12 각각의 평균 모션 벡터는 방정식(1)의 도움으로 모션 벡터의 길이를 계산하기 위해 사용되었다. 프레임 속도는 25Hz 였고, 차량의 속도는 방정식 2 및 방정식 3 그리고 표 1에 나열된 변환 인수들을 사용하여 계산되었다. 결과들은 표 1에 도시된다.

심지어 이 실험 셋업의 측정값들이 다음 방정식 4의 도움으로 계산될 수 있는 매우 높은 정확도를 가졌다는 것은 주목할 만하다:

(방정식 4)

여기서 ε은 모션벡터의 에러이며, 이 셋업에서 ε= 0.25 픽셀이다.

변환 인수가 표 1에서 최악의 값인 7.50이며 프레임 속도가 25Hz라고 가정하면, 속도 에러는 단지 0.33km/h 이다. 이 단순화된 실험 셋업에서조차 정확성은 매우 우수한 것으로 생각된다.

조정된 후 디바이스의 사용은 도 5의 흐름도의 도움으로 도시된다. 단계 1 에서 비디오 프레임들의 시퀀스를 취하는 것이 수행된다. 이들 비디오 프레임들은 단계 6에서 프로세스되고, 결과는 단계 5에 출력되었다.

제 1 프로세싱 단계 2에서 프레임들은 3DRS 알고리듬을 사용하여 도 2에 보여진 측정 위치들 (8, 9, 10)의 어느 곳 안에서든 움직이는 물체를 판별하기 위해서 분석된다. 만일 이 지역에 사라지지 않는 모션 벡터들을 가진 픽셀 블록들이 존재하게 되면 움직이는 물체, 예들 들어 차량이, 이들 지역들에 존재한다. 단계 3에서 이 움직이는 픽셀 블록들과 관련된 속도가 결정되고 이 속도가 허용된 값과, 즉 도로의 경우 100km/h와, 비교하여 너무 빠른지 아닌지가 결정된다. 속도가 너무 빠르면 차량의 번호판이 단계 4에서 비디오 프레임들로부터 추출된다. 이것은 종래 기술에 알려진 추가적인 컴퓨터 프로그램 모듈에 의해서 수행된다. 단계 5에서 데이터는 경찰서에 위치할 수 있는 외부 컴퓨터로 출력된다. 데이터는 과속 차량의 번호판, 스피드 및 가능하게 프레임/이미지를 포함한다.

***** 참조 번호 리스트 *****

1: 디지털 비디오 카메라

2: 하우징

3: 프로세싱 유닛

4: 출력 포트

5: 케이블

6: 트랜시버

8: 측정 위치

9: 측정 위치

10: 측정 위치

11: 지역

12: 지역

본 발명은 비디오 프로세싱 분야와 관련하며 일련의 비디오 프레임들로부터 모션 정보를 추출해내는 디바이스, 상응하는 방법 그리고 컴퓨터 프로그램 제품을 제공한다. 본 발명은 감시 응용 제품들, 즉, 교통 감시 응용제품들에 사용될 수 있으며 건물이나 구내로의 침임을 탐지하는데 사용될 수 있음으로써 산업상 이용 가능하다.

Claims

비디오 프레임들의 시퀀스(sequence)로부터 모션(motion) 정보를 추출해내는 디바이스에 있어서,

a) 비디오 프레임들의 시퀀스를 취하는(grabbing) 디지털 비디오 카메라(1)와

b) 비디오 카메라에 의해서 제공되는 비디오 프레임들을 프로세싱하기 위한 프로세싱 유닛(3)과

c) 비디오 프레임들이 움직이는 물체 또는 사람을 보이는 가를 결정하기 위한 재귀 서치 블록 알고리듬을 사용하기에 적합하게된 프로세싱 유닛을 포함하는, 모션 정보를 추출해내는 디바이스.
제 1항에 있어서, 프로세싱 유닛이 물체 또는 사람의 속도를 결정하기에 적합하게 된 것을 특징으로 하는, 모션 정보를 추출해내는 디바이스.
제 2항에 있어서, 프로세싱 유닛이 다수의 물체들과 사람들의 속도를 동시에 결정하기에 적합하게된 것을 특징으로 하는, 모션 정보를 추출해내는 디바이스.
제 1항에 있어서, 프로세싱 시스템이 비디오 카메라의 하우징(2)안에 위치하는 것을 특징으로 하는, 모션 정보를 추출해내는 디바이스.
제 1항에 있어서, 프로세싱 시스템이 실시간(real-time) 시스템으로 구현되는 것을 특징으로 하는, 모션 정보를 추출해내는 디바이스.
제 1항에 있어서, 프로세싱 시스템이 움직이는 물체 또는 움직이는 사람의 위치를 표시하기에 적합하게 된 것을 특징으로 하는, 모션 정보를 추출해내는 디바이스.
제 1항에 있어서, 프로세싱 시스템이 물체 인식을 수행하기에 적합하게된 것을 특징으로 하는, 모션 정보를 추출해내는 디바이스.
제 1항에 있어서, 프로세싱 시스템이 번호판(a number plate) 식별을 수행하기에 적합한 것을 특징으로 하는, 모션 정보를 추출해내는 디바이스.
비디오 프레임들의 시퀀스로부터 모션 정보를 추출해내는 것에 의한 방법에 있어서, 상기 방법은

a) 비디오 프레임들의 시퀀스를 취하는 단계와

b) 디지털 비디오 프레임들을 프로세싱하는 단계로서, 상기 프로세싱 단계는 비디오 프레임들이 움직이는 물체 또는 사람을 보이는가의 여부를 결정하기 위해서 재귀 서치 블록 알고리듬을 사용함에 의해서 수행되는, 디지털 비디오 프레임들을 프로세싱하는 단계를 포함하는, 비디오 프레임들의 시퀀스로부터 모션 정보를 추출해내는 것에 의한 방법.
제 9항에 있어서, 물체 또는 사람의 속도가 결정되는 것을 특징으로 하는, 비디오 프레임들의 시퀀스로부터 모션 정보를 추출해내는 것에 의한 방법
제 9항에 있어서, 다수의 물체들 또는 사람들의 속도가 동시에 결정되는 것을 특징으로 하는, 비디오 프레임들의 시퀀스로부터 모션 정보를 추출해내는 것에 의한 방법.
제 9항에 있어서, 교통 감시와 같은 감시 응용제품들 또는 건물 또는 구내 안으로의 침입을 감지하기 위해서 사용되는 것을 특징으로 하는, 비디오 프레임들의 시퀀스로부터 모션 정보를 추출해내는 것에 의한 방법.
제 9항에 있어서, 교통 법규 준수 카메라로, 특히 과속 카메라 또는 신호등 위반 카메라(red light camera)로서, 사용되는 것을 특징으로 하는, 비디오 프레임들의 시퀀스로부터 모션 정보를 추출해내는 것에 의한 방법.
컴퓨터가 읽을 수 있는 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 프로그램이 로드되었을 때, 컴퓨터가 제 9항 내지 제 13항 중 어느 한 항에 따른 방법을 실행하기 위해서 실행 가능하게 만드는 컴퓨터 프로그램 코드 수단을 이 매체 상에 구비하는, 컴퓨터 프로그램 제품.