KR20080049061A - 물체 또는 사람의 운동을 추적하기 위한 방법 및 디바이스 - Google Patents

Abstract

본 발명은 방법, 디바이스 및 물체 또는 사람의 운동을 추적하기 위한 컴퓨터 프로그램 제품에 관한 것이다. 전자 비디오 프레임을 이용하여 사람 또는 사물의 운동을 추적하는 기술은 종래의 기술이지만, 사람 또는 사물이 변하는 속도에 대한 상당한 갑작스런 변화를 경험하는 경우엔, 상기 추적은 실패로 끝난다. 상기 제안된 방법은 디지털 비디오 프레임의 시퀀스를 포착하고, 이로써 상기 물체 또는 사람을 캡쳐링하는 제1 단계를 포함한다. 동시에, 파리미터의 측정값이 획득되고, 상기 측정값은 상기 디지털 비디오 프레임에 의해 추적되는 물체 또는 사람의 운동을 나타낸다. 다음 단계에서, 상기 비디오 프레임은 처리 논리회로에 의해 처리되고, 이로써, 상기 처리 논리회로는 블록 매칭 알고리즘을 사용하고, 상기 블록 매칭 알고리즘은 프레임에서 픽셀 블록을 한정하고 다음 프레임 내에서 탐색 영역 내의 픽셀 블록을 탐색하며, 이로써 상기 다음의 프레임 내에서 탐색 영역의 위치가 상기 측정값에 기초하여 동적으로 적응된다. 블록 매칭 알고리즘을 이용한 디지털 비디오 프레임의 전자적 처리 기술이 상기 추적된 물체 또는 사람의 속도에 대한 커다란 변화가 존재하는 경우에 실행될 수 있는 이점을 본 발명은 제공한다.

Description

물체 또는 사람의 운동을 추적하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR TRACKING A MOVEMENT OF AN OBJECT OR A PERSON}

본 발명은 비디오 처리 분야에 관한 것이고, 비디오 프레임의 시퀀스로부터 모션 정보를 추출하기 위한 디바이스, 대응 방법 및 컴퓨터 프로그램 제품을 제공한다. 본 발명은 물체의 속도에 있어서 커다란 차이가 있는 물체를 추적하는데 사용될 수 있다.

모션 정보는 교통 감시, 사람 추적, 보안 및 감독을 포함하는 많은 어플리케이션에서 커다란 중요성을 가질 수 있다. 모션 정보를 획득하는 것은, 만일 차량이 또 다른 차량 또는 물체와 충돌을 당하는 경우에, 차량 내부에 있는 승객의 안전을 개선시키는데 유용할 수 있다. 이러한 경우에, 상기 승객의 일시적인 운동은 에어백이 발사되어야 할 때의 정확한 시간을 최적화하는데 있어서 중요하고, 에어백의 팽창 단계 동안에 에어백의 적절한 설계에 있어서 중요하다.

디지털 비디오 처리는 지난 몇 년 동안에 굉장한 발전을 했다. 많은 공보물이 물체 가령, 차 또는 사람의 운동을 검출하는 문제를 다루었다. 상당히 간단한 업무 가령, 차량의 속도 측정에 있어서, 기존의 해결책은 메모리 집약 알고리즘 및/또는 대량 계산 능력을 요하는 알고리즘의 결합물을 사용한다. 이러한 목적을 위해 공지된 알고리즘은 물체 인식, 물체 추적을 이용하거나, 시간상 다른 순간에 찍힌 영상을 비교한다. 그러므로 이러한 어플리케이션을 위한 실시간 시스템을 구현하는 것은 어렵고 비싸다.

실제 모션 측정은 하이-앤드 TV 세트에 적용되는 비디오 처리 기술이다. 이러한 TV 세트는 50 Hz 표준의 프레임 속도 대신에, 100 Hz의 프레임 속도를 사용한다. 이것은 보간법을 이용함으로써 새로운 중간 비디오 프레임을 생성하는 것이 필요하도록 만든다. 높은 프레임 품질로 이를 실행하기 위해, 2차원 프레임에 존재하는 픽셀 블록의 모션이 측정되어야 한다. 이것은 Gerard de Haan 등에 의한 문서 즉, 1993년 10월에 발표된, 비디오 기술을 지닌 회로 및 시스템에 관한 IEEE 보고서인, 통권 3권 제 5호의 "True motion estimation with 3D-recursive search block matching"에서 설명된 바와 같이 3차원-재귀 탐색 블록 매칭 알고리즘에 의해 실시될 수 있다. 이러한 알고리즘은 프레임을 8x8 픽셀로 구성된 블록으로 세분하고, 다음 프레임에서 이러한 블록의 위치를 식별하려고 한다. 이러한 위치의 비교는 이 블록의 픽셀 대체 속도와 두 프레임 간의 시간을 포함하는 각각의 픽셀 블록에 모션 벡터를 할당하는 것을 가능하게 한다.

ISMAR 2004, 혼합되고 증대된 현실감(fixed and augmented reality)에 관한 제 3차 IEEE 및 ACM 국제 심포지움의 회보인, Michael Aron 등 저서의 "Handling uncertain sensor date in vision-based camera tracking"은 디지털 비디오 카메라 및 이 카메라에 고정된 관성 센서(inertial sensor)를 포함하는 증대된 현실감(AR)을 위한 시스템을 설명한다. 상기 시스템은 상기 AR 사용자의 머리에 부착되고, 이에 의해 상기 센서는 상기 사용자의 머리의 회전을 검출하는데 도움을 준다. 카메라 위치는 AR 구조에서 평면상의 표면에 속하는 주요 지점으로 계산된다. 만일 상기 관성 센서가 커다란 카메라 회전을 검출하는 경우에, 상기 시각-기반 추적 시스템은 상기 센서 데이터를 사용하여 다음 프레임에서의 주요 지점에 대한 탐색 윈도우에 적응한다.

본 발명의 목적은, 추적되는 물체 또는 사람이 병진운동 속도의 커다란 변화를 경험할 때 사용될 수 있는, 물체 또는 사람을 추적하기 위해 방법, 디바이스 및 대응하는 컴퓨터 프로그램 제품을 제공하는 것이다.

이러한 목적과 그 밖의 다른 목적은 독립항의 특징에 의해 해결된다. 본 발명의 바람직한 실시예는 종속항의 특징에 의해 설명된다. 청구항에서의 임의의 참조기호가 본 발명의 범위를 제한하는 것으로 해석되어서는 안 된다는 점이 강조되어야 한다.

본 발명의 제1 측면에 따르면, 위에서 언급한 목적은 물체 또는 사람의 운동을 추적하는 방법에 의해 해결된다. 이러한 방법의 제1 단계는 디지털 비디오 프레임의 시퀀스를 포착(grabbing)하는 단계를 구성하며, 이에 의해 상기 비디오 프레임은 물체 또는 사람을 캡쳐링(capturing)한다. 제2 단계에서, 파라미터의 값은 상기 비디오 프레임을 포착하는 동안에 측정되며, 상기 파라미터는 물체 또는 사람의 운동을 나타낸다. 이것은, 상기 언급한 두개의 단계가 동시에 실행됨을 의미한다. 상기 파라미터의 값은 아래에서 더 상세하게 설명되는 방법으로 획득되는 측정값이다. 상기 방법의 제3 단계에서, 상기 비디오 프레임은 처리 논리회로를 이용하여 처리된다. 상기 처리 논리회로는, 프레임 내의 픽셀 블록을 한정하고, 다음 프레임 내의 탐색 영역 내에 존재하는 이러한 픽셀 블록을 탐색하는 알고리즘을 사용한다. 본 발명에 따르면, 상기 다음의 프레임 내의 탐색 영역의 위치가 측정값에 기초하여 동적으로 적응된다.

위에서 설명된 바와 같이 상기 방법을 실행하는 때에, 상기 디지털 비디오 프레임의 시퀀스를 포착하기 위한 디지털 비디오 카메라를 포함하고, 상기 파라미터의 값을 수신하기 위한 입력 포트를 더 포함하는 디바이스가 사용된다. 상기 파라미터는 비디오 프레임에 의해 캡쳐링된 물체 또는 사람의 운동을 나타낸다. 게다가, 상기 디바이스는 상기 디지털 비디오 카메라에 의해 제공된 비디오 프레임을 처리하기 위한 처리 논리회로를 포함한다. 상기 처리 논리회로는 프레임 내에서 픽셀 블록을 한정하고 다음 프레임에서 탐색 영역 내에서의 픽셀 블록을 탐색하도록 적응된다. 다음 프레임 내에서의 이러한 탐색 영역의 위치는 상기 측정값에 기초하여 동적으로 적응된다.

위에서의 해결책은, 블록 매칭 알고리즘을 갖는 디지털 비디오 프레임의 전자 처리가 상기 캡쳐링된 물체 또는 사람이 이들의 속도에서 커다란 변화를 경험하는 경우에, 가능하다는 이점을 제공한다. 블록 매칭 알고리즘은 계산적인 부담을 덜어주기 위해 탐색 영역을 사용할 수 있다. 상기 탐색 영역의 동적 적응이 없이는, 물체 또는 사람의 추적은 실패로 끝날 것이거나 성능이 감소될 것이다. 상기 이유는 바로, 커다란 속도 변화의 경우에, 상기 물체가 다음의 프레임에서 탐색 영역을 벗어나야 한다는 사실이며, 이는 즉, 상기 동적 적응에 의해 개선되는 문제이다.

마지막 절에서 말하는 운동의 의미는 병진 운동이다. 상기 병진 운동은 순수 병진 운동이 될 수 있거나, 병진 운동 속도 성분을 포함하는 운동이 될 수 있다. 두 경우에 있어서, 상기 추적된 물체는 병진 운동 속도 변화 특히, 갑작스런 변화 이후에 다음 프레임의 다른 부분에 위치될 수 있다. 바꾸어 말하면, 만일 상기 운동이 순수 회전 운동이라면, 본 발명은 결국 이점을 제공하는 것을 실패한다.

본 발명의 바람직한 실시예에 따르면, 다음 프레임에서 탐색 영역의 위치에 적응하는 것은 상기 파리미터의 측정값에 기초하여 상기 다음의 프레임에서의 상기 픽셀 블록의 위치를 측정하거나 계산함으로써 이루어진다. 바꾸어 말하면, 상기 픽셀 블록의 변위(displacement)은 이에 기초하여 측정되거나 계산된다. 이것은 외부 정보 즉, 상기 파라미터의 측정값이 상기 블록 매칭 알고리즘의 출력을 개선시키기 위해 사용되는 것을 의미한다.

이것은 상기 파라미터가 가속도 벡터인 경우에 대해 더 상세히 설명되어야 한다. 상기 가속도 벡터는 3차원 공간에서 크기와 방향을 갖는 양이다. 본 발명을 실행하기 위한 디바이스의 외부에 존재하는 또는 상기 디바이스의 일부분인 가속도 센서에 의해 획득될 수 있는 이러한 가속도 벡터는 상기 프레임이 위치되는 평면상에 매핑된다(map).

이러한 매핑(mapping)을 수학적으로 표현하는 것은 상기 비디오 프레임에 의해 나타내어진 2차원 평면상에 3차원 가속도 벡터의 투영이다. 상기 가속도 벡터의 크기가 a로 표시되고, 상기 가속도 벡터로 인한 픽셀 블록의 측면 변위의 크기는 s로 표시되고, 시간은 t로 표시된다면, s=0.5*a*t².s 은 픽셀의 단위로 표현된다. 간단한 경우, 직사각형이 될 수 있는 탐색 영역은 상기 2차원 가속도 벡터와 비교되는 경우에 s의 양 만큼 반대 방향으로 변위될 것이다.

본 발명의 바람직한 실시예에 따르면, 상기 탐색 영역은 각 프레임에 대해 적응되거나, 상기 파라미터의 측정값이 미리 한정된 임계값 보다 더 큰 경우일 때 적응되는 것 중 어느 하나의 경우이다. 제1 대안은, 상기 물체 또는 사람이 프레임마다 탐색 영역을 계속적으로 적응시킬 필요가 있도록 하는 일련의 속도 변화를 경험하는 경우에 적합하다. 제2의 가능성 있는 대안은, 예컨대 차량이 다른 차량과의 충돌이 있기 때문에 상기 물체 또는 사람이 단일의 속도 변화만을 경험하는 경우에 더 적합하다. 후자의 경우에서, 상기 계산의 부담이 줄고, 이로 인해 실시간 시스템으로 상기 디바이스를 실행하는 것을 쉽게 한다.

본 발명의 바람직한 실시예에 따르면, 상기 처리 논리회로에 의해 상기 비디오 프레임을 처리하는 알고리즘은 재귀 탐색 블록 매칭 알고리즘이며, 또한 3차원-재귀 탐색 블록 매칭 알고리즘으로도 불린다. 이러한 알고리즘은 1993년 10월에 발표된 Gerard de Haan 등에 의한 저서인, 비디오 기술을 지닌 회로 및 시스템에 관한 IEEE 보고서의 통권 3권 제 5호의 "True motion estimation with 3D-recursive search block matching"에서 설명된 바와 같은 방법으로 작동하며, 이 보고서는 본 출원에 의해 명백하게 언급되고 참고로 병합된다. 이러한 알고리즘은 심지어 다른 공지된 블록 매칭 알고리즘에 비교하여 볼 때 대단히 효율적이어서, 실시간으로 동작하는 디바이스의 설계는 간단해진다. 이렇게 하는데 있어서, 상기 처리 논리회로의 선택에 관한 한, 높은 자유도가 존재하므로, 이러한 재귀 탐색 블록 매칭 알고리즘의 실행이 하드웨어뿐만 아니라 소프트웨어에서 구현될 수 있다.

처리 논리회로는;

a) 프로세서 및 대응하는 컴퓨터 프로그램. 예로서, 상기 프로세서는 필립스의 TRIMEDIA 프로세서 또는 XETAL 프로세서 예컨대, TM 1300 프로세서를 포함하는 필립스 PNX1300 칩이 될 수 있고,

b) 전용 칩 예컨대, ASIC 또는 FPGA,

c) 상기 비디오 카메라 하드웨어의 기존 칩의 통합 부품 또는,

d) 위에서 언급했던 가능성 있는 것들의 결합물이

될 수 있다.

상기 바람직한 선택은 시스템 양상과 제품 보충(product recruitment)에 의존한다. 상기 처리 논리회로의 바람직한 실시예는 여분의 카드를 사용하여 180 mm x 125 mm 크기를 갖고 필립스 PMX1300 칩을 포함하는 디지털 비디오 카메라에 삽입하며, 상기 칩은 그 자체에 필립스 TN1300 프로세서를 포함한다. 더욱이, 상기 카드는 두개의 프레임 메모리와 하나의 벡터 메모리를 위해 RAM의 1MB을 사용한다.

본 발명의 더 바람직한 실시예에 따르면, 차량 내부의 승객의 운동이 추적된다. 이 같은 경우에, 충돌 발생시에 승객의 급히 움직이는 머리는 충격이 있는 이후에 추적될 수 있다.

또 다른 바람직한 실시예에 따르면, 본 발명의 방법은 차량 내부에서 에어백 팽창을 최적화하는데 사용될 수 있다. 그러므로 충돌 시 승객의 운동을 추적하는 것 특히, 이들의 머리를 추적하는 것은 에어백이 발사되어야 하는 정확한 시간을 최적화하는 것을 돕고, 이 에어백의 팽창의 단계 동안에 에어백의 모양을 가장 최상으로 설계하는데 도움을 준다. 이렇게 하여, 승객에게 가는 피해가 최소한으로 유지된다.

위에서 언급한 설명에서 추론될 수 있듯이, 본 발명에 따른 방법 특히, 상기 비디오 프레임의 처리 기술은 컴퓨터 프로그램의 수단에 의해 실행될 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 판독가능 매체에 저장될 수 있고 처리 논리회로를 비디오 프레임의 시퀀스를 수신하는 것을 실행할 수 있도록 도와준다. 이에 의해 상기 비디오 프레임은 물체 또는 사람을 캡쳐링한다. 상기 컴퓨터 프로그램은 비디오 프레임을 수신하는 동안에 파라미터의 값을 수신하도록 돕고, 상기 파라미터는 물체 또는 사람의 운동을 표시한다. 더욱이, 상기 컴퓨터 프로그램은:

c1) 프레임에서 픽셀 블록을 한정하고 다음의 프레임의 탐색 영역 내에서 이러한 픽셀 블록을 탐색하는 알고리즘을 사용하는 서브-단계와,

c2) 상기 측정값을 기초하여 다음의 프레임 내에서 탐색 영역의 위치를 동적으로 적응하는 서브-단계로

상기 비디오 프레임을 처리하는 것을 돕는다.

본 발명의 이러한 및 다른 측면은 이후에 설명되는 실시예로부터 분명해지고 이 실시예를 참고하여 명료해질 것이다. 주의해야 할 것은 참조 번호의 사용이 본 발명의 범위를 제한하는 것으로 해석되어서는 안 된다는 사실이다.

다음의 바람직한 실시예에서, 본 발명은 오로지 도면을 참조하여 예의 방법으로서 더 상세하게 설명될 것이다.

도 1은 본 발명에 따른 방법의 흐름도.

도 2는 도 1의 처리 단계에서 중심이 되는 블록 매칭 알고리즘을 예시하는 흐름도.

도 3은 탐색 영역의 적응을 도시하는 도면.

도 4는 충격으로 인하여 추적되는 사람의 상당한 변위를 간략한 방법으로 도시한 도면. 도 5는 도 4의 경우에 대한 탐색 영역의 적응을 도시한 도면.

도 6은 본 발명에 따른 디바이스를 도시하는 도면.

도 1은 본 발명에 따른 방법이 실행되는 방법을 예시하는 흐름도이다. 단계 1에서, 디지털 비디오 프레임의 시퀀스를 포착하는 단계가 실행되고, 이에 의해 상기 비디오 프레임은 물체 또는 사람을 캡쳐링한다. 단계 1과 동시에 실행되는 단계 2에서, 외부 파라미터가 측정된다. 단계 3에서, 단계 1에서 획득된 비디오 프레임은 처리 논리회로에 의해 처리되고, 이에 의해 상기 처리 논리회로는 블록 매칭 알고리즘 즉, 프레임에서 픽셀 블록을 한정하고 다음의 프레임 내에서 탐색 영역의 내의 이러한 픽셀 블록을 탐색하는 알고리즘을 사용한다. 단계 3의 상기 블록 매칭 알고리즘을 실행하는 단계는 탐색 영역의 도움으로 실행된다. 상기 픽셀 블록은 다음의 프레임의 탐색 영역에서만 탐색된다. 상기 탐색 영역은 단계 2에서 획득된 측정된 외부 파라미터에 기초하여 동적으로 적응된다.

도 2는 도 1의 단계 3의 디지털 비디오 프레임의 처리 기술을 더 상세히 설명하는 흐름도이다. 이러한 흐름도의 단계 1에서, 종래의 블록 매칭 알고리즘과 같은 방법으로 다음의 프레임에서 픽셀 블록과 비교되어야 하는 현재 프레임에서 픽셀 블록의 위치가 결정된다. 단계 2에서, 상기 처리 논리회로는 상기 탐색 영역이 적응되어야만 하는지에 대한 여부를 결정한다. 이러한 결정은 사전에 측정된 파라미터에 기초한다. 예를 들어 추적되는 물체 또는 사람의 속도가 상당하게 변화되어서는 안 됨으로 인해, 만일 이것이 이와 같은 경우가 아니라면, 본 발명의 방법은 단계 3으로 진행한다. 단계 3에서, 상기 탐색 영역은 상기 픽셀 블록의 과거 위치 주변에 위치되도록 한정되고, 상기 픽셀 블록 주변에서 직사각형일 수 있다. 그 다음, 상기 방법은 단계 7로 진행한다. 단계 7에서, 단계 1에서 결정된 픽셀 블록은 후속 프레임 내의 탐색 영역 안에서 탐색된다.

단계 2에서의 질문에 대한 답이 긍정적인 경우, 본 방법은 단계 4로 진행한다. 단계 4에서, 단계 1의 픽셀 블록이 예컨대, 충돌로 인한 가령, 가속과 같은 외 부 영향으로 인해, 어디로 변위하는지를 결정한다. 이러한 가속은 벡터량(quantity)이며, 도 1의 단계 2에서 측정된 외부 파라미터이다.

이러한 변위는 상기 디지털 비디오 프레임이 걸친(spanned) 평면상에 3차원 가속도 벡터의 투영을 결정함으로써 계산된다. 이러한 매핑은 상기 변위 방향과 동일한 가속도의 방향을 제공하고, 이 변위의 크기를 산출하는데, 상기 변위의 크기는 픽셀 단위로 표현될 수 있다.

그 다음, 본 발명의 방법은 상기 픽셀 블록의 새로운 위치가 단계 4에서 획득된 변위의 방향과 크기로 계산된 단계 5로 진행한다.

이에 따라, 단계 6에서 한정된 것과 같은 새로운 탐색 영역이 존재하고, 이에 의해 상기 새로운 탐색 영역은 상기 픽셀 블록의 새로운 위치 주변에 위치되고, 이에 의해 상기 새로운 위치는 상기 가속도로 인해 변위되고 있는 픽셀 블록의 과거 위치로 한정된다. 그러므로 상기 새로운 탐색 영역은 픽셀 블록의 새로운 위치 주위에 위치됨으로서, 단계 7에서 단계 1의 픽셀 블록은 다음의 프레임 내의 이러한 새로운 탐색 영역에서 탐색된다.

도 3은 다음의 프레임 내에서 탐색 영역의 위치가 동적으로 적응되는 방법을 예시한다. 도 3은 두개의 프레임(1, 2)을 도시하는데, 이로써 프레임(1)은 현재의 프레임이고 프레임(2)은 다음의 프레임 즉, 바로 다음에 오는 프레임(1)의 후속 프레임이다. 이러한 일시적인 거동은 프레임(1, 2)에 대한 시간(t)의 전개(development)를 지시하는 화살표로 예시된다. 프레임(1)은 픽셀 블록(3)을 갖는다. 상기 픽셀 블록(3)에 의해 표현될 수 있는 추적된 물체의 속도에 아무런 변화 가 없다면, 프레임(2)에서의 위치가 변하지 않는다는 것을 예상할 수 있기 때문에 상기 픽셀 블록(3)은 프레임(2)의 탐색 영역(5)에서 탐색될 것이다. 이러한 경우에, 상기 픽셀 블록은 위치(3')에 위치될 것이다.

그러나 외부 가속도로 인해, 픽셀 블록(3)의 위치는 위치(4)로 변위된다. 이에 따라, 이러한 변위(S)으로 상기 픽셀 블록(3)이 탐색하는 새로운 탐색 영역(7)이 생긴다.

도 4는 두개의 프레임(1, 2)을 차량(17) 내부의 승객(8, 8')으로 도시한다. 프레임(2)은 아래로 가리키는 화살표에 의해 지시된 바와 같이 프레임(1) 다음의 프레임이다. 가속도(a)로 인해, 오른쪽으로 가리키는 화살표를 주는 경우, 프레임(2)에서 승객의 머리는 관성으로 인해 왼쪽으로 움직인다. 급격하게 움직이는 머리는 에어백(18)을 이용하여 차량의 내부와의 충돌로부터 예방될 수 있다.

도 5는 다음 프레임에서 탐색 영역의 위치가 도 4의 경우를 위해 동적으로 적응된 방법을 도시한다. 프레임(1)에서, 상기 픽셀 블록(3)은 가속도(a)에 종속된다. 오른쪽을 가리키는 화살표를 주는 경우, 프레임(2)은 시간(t)이 경과된 후 프레임(1) 다음에 존재한다. 가속도로 인해, 픽셀의 위치는 위치(3')로부터 위치(4)로 변위한다. 더욱이 상기 가속도로 인해 위치(5)로부터 위치(7)로의 탐색 영역의 변위를 발생시킨다.

도 6은 본 발명에 따른 방법을 실행하기 위한 디바이스(9)를 도시한다. 외형에 관한 한, 이 디바이스는 본 발명을 실행하기 위해 수정된 디지털 비디오 카메라(10)이다. 디바이스(9)는 상기 종래의 디지털 비디오 카메라(10)뿐만 아니라 파 라미터의 값 예컨대, 가속도 벡터를 수신하기 위한 입력 포트(11)를 포함하며, 상기 파라미터는 비디오 프레임에 의해 캡쳐링되는 물체 또는 사람의 운동을 일반적으로 나타내고 있다. 상기 디바이스는 디지털 비디오 카메라(10)에 의해 제공되는 비디오 프레임을 처리하기 위한 처리 논리회로(12)를 더 포함한다. 이 처리 논리회로(12)는 컴퓨터 프로그램(13)을 포함한다. 더욱이, 이 디바이스(9)는 케이블(15)을 통해 데이터를 출력하는 가속도 센서(14)와, 상기 처리 논리회로(12)로의 입력 포트(16)를 갖는다.

동작 시, 상기 처리 논리회로(12)는 디지털 비디오 카메라(10)에 의해 제공되는 비디오 프레임을 처리하고, 블록 매칭 알고리즘을 실행하며, 이로써 탐색 영역의 위치는 상기 가속도 센서(14) 또는 외부의 센서 중 어느 하나에 의해 획득된 측정값에 기초하여 다음의 프레임 내에서 동적으로 적응되는데, 상기 외부 센서는 데이터를 출력하여 입력 포트(11)를 이용하여 상기 디바이스(9)에 이들을 전송한다.

참조 번호의 목록

상술한 바와 같이, 본 발명은 비디오 처리 분야에 이용가능 하며, 비디오 프레임의 시퀀스로부터 모션 정보를 추출하기 위한 디바이스, 대응 방법 및 컴퓨터 프로그램 제품을 제공한다. 본 발명은 물체의 속도에 있어서 커다란 차이점에 악영향을 받는 물체를 추적하는데 이용가능 하다.

Claims (14)

1. 물체 또는 사람의 운동을 추적하는 방법으로서,

   a) 디지털 비디오 프레임(1,2)의 시퀀스를 포착(grabbing)하고, 이에 의해, 상기 물체 또는 사람(8,8')을 캡쳐링하는 단계와,

   b) 상기 비디오 프레임을 포착하는 동안에, 상기 물체 또는 사람의 운동을 나타내는 파라미터의 값(측정값)을 측정하는 단계와,

   c) 처리 논리회로(12)를 이용하여 상기 비디오 프레임을 처리하는 단계로서,

   c1) 상기 처리 논리회로는 프레임(1)에서 픽셀 블록(3)을 한정하고 다음의 프레임(2) 내에서 탐색 영역(7)의 이러한 픽셀 블록을 탐색하는 알고리즘을 사용하고,

   c2) 상기 다음의 프레임 내에서 탐색 영역의 위치는 상기 측정값에 기초하여 동적으로 적응되는, 비디오 프레임 처리 단계를

   포함하는, 물체 또는 사람의 운동을 추적하는 방법.
2. 제 1항에 있어서,

   상기 탐색 영역의 위치에 적응하는데 있어서, 상기 다음의 프레임에서 픽셀 블록(4)의 위치가 상기 측정값에 기초하여 계산되거나 측정되는 것을 특징으로 하는, 물체 또는 사람의 운동을 추적하는 방법.
3. 제 1항에 있어서,

   상기 파라미터가 가속도 벡터이거나, 속도 벡터인 것을 특징으로 하는, 물체 또는 사람의 운동을 추적하는 방법.
4. 제 1항에 있어서,

   상기 탐색 영역이 각 프레임에 대해 적응되거나 또는, 상기 측정값이 미리 한정된 임계값보다 더 큰 경우에 적응되는 것을 특징으로 하는, 물체 또는 사람의 운동을 추적하는 방법.
5. 제 1항에 있어서,

   상기 알고리즘이 반복하는 탐색 블록 매칭 알고리즘인 것을 특징으로 하는, 물체 또는 사람의 운동을 추적하는 방법.
6. 제 1항에 있어서,

   상기 처리 논리회로가 하드웨어 또는 컴퓨터 프로그램(13)으로 구현되는 것을 특징으로 하는, 물체 또는 사람의 운동을 추적하는 방법.
7. 제 1항에 있어서,

   차량(17) 내부 승객(8,8')의 운동이 추적되는 것을 특징으로 하는, 물체 또는 사람의 운동을 추적하는 방법.
8. 제 1항에 있어서,

   차량 내에서 에어백(18)의 팽창을 최적화하기 위해 상기 방법을 사용하는 것을 특징으로 하는, 물체 또는 사람의 운동을 추적하는 방법.
9. 컴퓨터 프로그램 코드 수단을 갖는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 프로그램 코드 수단은 로딩될 때, 컴퓨터로 하여금:

   a) 디지털 비디오 프레임(1,2)의 시퀀스를 수신하는 단계로서, 상기 비디오 프레임은 물체 또는 사람(8,8')을 캡쳐링하는, 수신 단계와,

   b) 상기 비디오 프레임을 수신하는 동안에, 상기 물체 또는 사람의 운동을 나타내는 파라미터의 값을 수신하는 단계와,

   c) 상기 비디오 프레임을 처리하는 단계로서,

   상기 처리 단계는:

   c1) 프레임(1)에서 픽셀 블록(3)을 한정하고, 다음 프레임(2)의 탐색 영역(7) 내에서 이러한 픽셀 블록을 탐색하는 알고리즘을 사용하는 서브-단계와, 이에 의해,

   c2) 다음의 프레임 내에서 탐색 영역의 위치가 상기 측정값에 기초하여 동적으로 적응되는 서브-단계를

   포함하는, 상기 처리 단계를 실행하도록 하는, 컴퓨터 프로그램 제품.
10. 제 9항에 있어서,

    상기 탐색 영역의 위치에 적응하는데 있어서, 다음의 프레임에서 픽셀 블록의 위치가 측정값에 기초하여 측정되는 것을 특징으로 하는, 컴퓨터 프로그램 제품.
11. 제 9항에 있어서,

    상기 탐색 영역이 각 프레임에 대해 적응되거나 또는, 상기 측정값이 미리 한정된 임계값보다 더 큰 경우에 적응되는 것을 특징으로 하는, 컴퓨터 프로그램 제품.
12. 비디오 프레임의 시퀀스로부터 물체 또는 사람의 운동을 추적하는 디바이스로서,

    a) 비디오 프레임(1,2)의 시퀀스를 포착하기 위한 디지털 비디오 카메라(10)와,

    b) 물체 또는 사람(8,8')의 운동을 나타내는 파라미터가 상기 비디오 프레임에 의해 캡쳐링되는 동안에, 상기 파라미터의 값을 수신하기 위한 입력 포트(11,16)와,

    c) 상기 비디오 카메라에 의해 제공되는 비디오 프레임을 처리하기 위한 처리 논리회로(12)로서,

    c1) 프레임(1) 내에서 픽셀 블록(3)을 한정하여 다음의 프레임(2)의 탐색 영역(7) 내에서 이러한 픽셀 블록을 탐색하도록 적응되고,

    c2) 측정값에 기초하여 다음의 프레임 내에서 탐색 영역의 위치에 동적으로 적응하도록 적응되는, 처리 논리회로(12)를

    포함하는, 비디오 프레임의 시퀀스로부터 물체 또는 사람의 운동을 추적하는 디바이스.
13. 제 12항에 있어서,

    상기 디바이스가 상기 측정값을 제공하기 위한 센서(14)를 더 포함하는 것을 특징으로 하는, 비디오 프레임의 시퀀스로부터 물체 또는 사람의 운동을 추적하는 디바이스.
14. 제 13항에 있어서,

    상기 센서가 가속도 센서인 것을 특징으로 하는, 비디오 프레임의 시퀀스로부터 물체 또는 사람의 운동을 추적하는 디바이스.

Images