KR20050065348A

KR20050065348A - 반복적 질량 중심을 이용하는 로버스트 카메라 팬 벡터 측정

Info

Publication number: KR20050065348A
Application number: KR1020040109975A
Authority: KR
Inventors: 하리엔. 나이르
Original assignee: 제네시스 마이크로칩 인코포레이티드
Priority date: 2003-12-23
Filing date: 2004-12-22
Publication date: 2005-06-29
Also published as: CN100499778C; CN1671202A; KR101159082B1; US20090086103A1; JP4741836B2; US20050195278A1; US20110262011A1; TW200535724A; SG113014A1; EP1549047A3; US8019124B2; US7457438B2; EP1549047A2; US8315436B2; EP1549047B1; JP2005182830A; TWI359387B

Abstract

카메라 팬 벡터 측정을 위한 기술을 이용하고 구현하는 컴퓨터 프로그램 상품을 포함하는 방법 및 장치가 설명된다. 카메라 모델은 다수의 변수들에 기초한 움직임 벡터들을 표현하기 위해 제공된다. 움직임 벡터들의 분배가 발생된다. 움직임 벡터들의 상기 분배에서 클러스터가 식별된다. 상기 식별된 클러스터의 질량 중심이 결정된다. 상기 카메라 팬 벡터는 결정된 질량 중심에 기초하여 제공된다.

Description

반복적 질량 중심을 이용하는 로버스트 카메라 팬 벡터 측정{ROBUST CAMERA PAN VECTOR ESTIMATION USING ITERATIVE CENTER OF MASS}

본 발명은 개선된 비디오 및 그래픽 처리에 관한 것이다.

디스플레이 장치를 위한 표준 비디오 및 필름 컨텐트가 낮은 리프레시 비율(예, 인터레이스 비디오 물질에서는 50 field/sec 그리고 필름-발생 물질에서는 24 frames/sec이다)에서 기록되고 디스플레이 된다. 프로그레시브 디지털 디스플레이 장치들을 포함하는 그러한 장치와 관련된 하나의 문제점은 디스플레이 인공물(artifact)의 존재이다. 예를 들어, " 지역 깜박임"으로 불리는 하나의 디스플레이 인공물은 낮은 디스플레이 리프레시 비율에 따라 발생할 수 있다. 상기 지역 깜박임은 디스플레이의 크기가 커짐에 사람의 시각 신경에서 깜박임에 대한 높은 민감성에 따라 보다 선명해진다. 상기 지역 깜박임을 줄이기 위한 단순한 방법은 더 높은 비율(예, 인터레이스 비디오에서 100필드/sec)에서 입력 필드 또는 프레임을 반복함으로써 디스플레이 리프레시 비율을 증가시키는 것이다. 이것은 정적 장면에서 지역 깜박임 문제를 해결한다. 그러나 상기 반복은 특히 움직이는 객체의 궤도를 추적하는 사람 눈의 경향에 따라 높은 콘트라스트를 지닌 지역에서 움직임 진동" 또는 " 움직임 스미어"로 알려진 움직임이 있는 장면에서 새로운 인공물을 산출한다. 이런 이유로, 움직임 보상 프레임 보간(interpolation)이, 상기 픽셀들이 국부 움직임 궤도상의 매개적 지점에서 보간된 프레임 또는 필드 내에서 계산될 때 선호된다. 그 결과 눈의 추적과 디스플레이 된 이미지 움직임에 따라 기대되는 이미지 움직임 간의 차이가 없다. 하나의 필드 또는 프레임으로부터 다음의 것 까지 국부 이미지 움직임 추적이 하나의 움직임 벡터에 의해 설명된다.

움직임 벡터들은 픽셀 레벨, 이미지 패치 레벨 또는 객체 레벨과 같은 공간 해상도의 다른 레벨에서 계산될 수 있다. "이미지 패치"는 프레임 내에 디스플레이 되는 이미지의 어떤 부분을 언급한다. 상기 이미지 패치는 단일 픽셀, 다수의 픽셀일 수 있고 그리고 다양한 모양과 크기를 지닐 수 있다. 모든 픽셀을 위한 하나의 움직임 벡터를 계산하는 것은 이상적인 데이터 세트 내에서 이론적인 결과를 독립적으로 초래할 수 있으나, 요구되는 다수의 계산으로 인해 실행할 수 없다. 각 이미지 패치를 위한 하나의 움직임 벡터를 계산하는 것은 다수의 계산을 줄이나, 하나의 이미지 패치 내의 움직임 벡터 불연속성에 따른 인공물을 초래할 수 있다. 객체 기반의 움직임 벡터를 계산하는 것은 이론적으로 높은 해상도와 더 낮은 계산 요구를 초래할 수 있으나, 객체 분할은 도전적인 문제이다.

이미지 노이즈 및 다른 문제점들은 움직임 벡터의 계산 및 처리에 있어 에러를 일으킬 수 있다. 다양한 기술들이 정확한 움직임 벡터 계산을 위한 탐색에서 제안되어 왔다. 이러한 기술들 중의 하나는 수학적 모델이 하나의 비디오 신호 내의 일련의 프레임들을 기록하는 카메라의 움직임을 표현하는 카메라 모델이다. 카메라 모델들은 카메라 팬, 줌, 그리고 회전을 포함하는 다양한 카메라 움직임의 수학적 표현을 제공할 수 있다. 예를 들어, 카메라 팬 움직임에서, 상기 카메라 모델은 일정한 속도에서 수평적 그리고/또는 수직적 방향에서 카메라 움직임과 관련된 움직임 벡터의 수학적 표현을 제공할 수 있다. 상기 카메라 모델은 전체 이미지 프레임의 하나의 이미지 패치에서 움직임 벡터 전체의 전체 모델을 제공할 수 있기 때문에 바람직하다. 따라서 카메라 모델을 적용하는 것, 모든 움직임 벡터는 상기 이미지 프레임 내의 모든 위치에서 수학적으로 예측될 수 있다.

움직임 벡터 측정을 위한 카메라 모델의 종래 이용에서 한 가지 문제점은 일련의 프레임 내에서 두 개 이상의 움직이는 객체들이 있을 때 발생한다. 이 상황에서, 독립적으로 움직이는 객체들은 독립적으로 움직이는 객체들과 관련된 이미지 데이터로 카메라 모델을 맞추기 위한 시도를 할 때 상기 독립적으로 움직이는 객체들은 상기 카메라 모델로 결점들을 이끌어 들일 것이다. 예를 들어, 하나의 일련의 프레임에서, 두 개의 움직이는 객체, 자동차와 배경 이미지가 있다. 자동차는 상기 프레임의 10%를 차지하고 수평 방향에서 서쪽 방향으로 움직인다. 배경 이미지는, 프레임의 90%를 차지하고, 자동차의 반대방향으로 오른쪽으로 움직인다. 상기 배경 이미지는 테스트를 위해 원하는 이미지이다. 치료적 측정이 취해지지 않는 한, 배경 이미지와 관련된 예측된 카메라 모델 움직임 벡터는 자동차 움직임의 효과에 따라 잘못될 것이다. 특히, 카메라 모델을 계산하기 위한 종래의 기술들은 적합한 카메라 팬(pan)이라기보다 배경 이미지로 카메라 회전을 부적합하게 맞추게 된다. 이 결점이 있는 카메라 모델에 의해 예측되는 결과적인 움직임 벡터들은 또한 이미지 내의 어느 지점에서든지 오류가 있을 수 있다.

따라서 필요한 것은 일련의 이미지 프레임들에 카메라 모델을 맞추기 위한 기술이며, 이 때 테스트되는 특정 움직임 객체 또는 배경과는 다른 방법으로 독립적으로 움직이는 객체와 관련된 데이터는 보다 정확한 카메라 모델을 획득하기 위해 배제된다.

본 발명의 특징은 다른 독립적으로 움직이는 객체가 있는 일련의 프레임 내의 독립적으로 움직이는 객체 또는 배경과 관련된 움직임 벡터들을 예상하기 위한 로버스트 적합을 제공하는 카메라 모델을 정의하고 적용하는 것을 포함한다.

일반적으로, 한 측면에서, 본 발명은, 카메라 팬 벡터 측정을 위한 기술을 이용하고 구현하는 컴퓨터 프로그램 상품을 포함하는 방법 및 장치를 제공한다. 카메라 모델은 다수의 변수들에 기초한 움직임 벡터를 표현하기 위해 제공된다. 상기 움직임 벡터의 분배가 생성된다. 움직임 벡터들의 분배에 있어 클러스터가 식별된다. 식별된 클러스터의 질량 중심이 결정된다. 상기 카메라 팬 벡터는 결정된 질량 중심에 기초하여 제공된다.

구현들은 하나 이상의 다음의 특징들을 포함할 수 있다. 상기 움직임 벡터들은 2차원 값 세트를 포함할 수 있고 그리고, 움직임 벡터의 분배를 생성하는 것은 저장소(bin)를 지닌 2-차원 히스토그램을 발생시키는 것을 포함할 수 있다. 움직임 벡터 값들이 2-차원 히스토그램의 적합한 저장소 내에 제공된다. 또한, 상기 움직임 벡터의 분배를 발생시키기 이전에, 상기 움직임 벡터는 더 낮은 해상도에서 투영될 수 있다.

움직임 벡터의 분배 내에서 상기 클러스터를 식별하는 것은, 2차원 히스토그램 내에서 제 1 이웃 내의 저장소를 축적하는 것, 2-차원 히스토그램 내의 제 2 이웃 내의 저장소를 축적하는 것, 더 높은 저장소 축적을 지니는 이웃들 중의 하나를 선택하는 것, 그리고 움직임 벡터의 분배 내의 식별된 클러스터로 선택된 이웃을 제공하는 것을 포함할 수 있다.

본 발명의 하나 이상의 실시예의 상세점이 첨부된 도면에서 설명된다.

본 발명의 구성들은 하나의 이미지 패치를 위한 움직임 벡터들의 수학적 모델을 제공하기 위해 사용되는 카메라 모델을 포함한다. 상기 카메라 모델은 일련의 프레임 내에서 카메라 움직임을 표현한다. 예를 들어, 카메라 모델들은 수평적 및/또는 수직적 카메라 팬들을 위해, 작동을 줌 인(zoom in) 또는 줌 아웃(zoom out), 그리고 회전 작동들을 제공하기 위해 사용될 수 있다. 상기 카메라 모델은 또한 위의 하나 이상의 카메라 움직임들의 결합을 표현할 수 있다. 상기 카메라 모델은 일련의 프레임들을 위한 움직임 벡터들의 전체적 설명을 제공한다.

상기 카메라 모델은 독립적으로 계산되는 각 이미지 패치 위치에서 국부적 벡터들에 반대되는 상기 프레임 컨텐트의 전체적 움직임을 설명하고 그리고 또한 보다 정확하거나 또는, 실제, 움직임 벡터를 찾는 것을 돕기 위해 사용될 수 있다. 특히, 하나의 프레임 내의 모든 움직임에서 카메라 움직임으로부터 발생한 움직임 벡터는 하나의 단순한 모델과 함께 상당히 쉽게 예측될 수 있다. 예를 들어, 원거리 풍경에 대한 카메라 렌즈 패닝(panning)의 경우, 모든 움직임 벡터들은 상기 카메라 속도와 동일하거나 같아질 것이다. 또 다른 시나리오는 벽상의 그림과 같은 편평한 표면상의 객체로 카메라 렌즈가 줌 될 때 이다. 모든 움직임 벡터들은 그 후 방사상 방향을 지니고 그리고 이미지 중앙에서 0으로부터 이미지 주변에서 최대값까지 증가한다.

본 발명의 실시예들은 다른 움직이는 객체들이 있을 수 있는 일련의 프레임 내에서 독립적으로 움직이는 객체와 관련된 움직임 벡터들을 예측하기 위한 로버스트 적합을 제공하는 카메라 모델을 정의하고 적용하기 위한 방법 및 장치를 제공한다. 여기에 설명된 것은 일련의 이미지 프레임들로 카메라 모델을 맞추기 위한 기술들로서, 이 때 테스트되는 특정 움직이는 객체 또는 배경이 아닌 독립적으로 움직이는 객체와 관련된 데이터는 보다 정확한 카메라 모델을 획득하기 위해 배제된다. 테스트되는 특정 움직임 객체를 제외한 독립적으로 움직이는 객체를 제외함으로써, 보다 정확한 카메라 모델이 보다 정확한 움직임 벡터 예측을 제공하면서 계산된다.

본 발명의 실시예들은 카메라 모델을 위한 변수의 결정을 위해 제공되고, 그리고 상기 결정된 카메라 모델 변수들을 이용하는 움직임 벡터들의 발생을 위해 제공된다. 메모리 내에 저장된 존재하는 움직임 벡터들의 세트가 제공되고, 그것으로부터 상기 카메라 모델 변수들이 계산된다. 아래에 설명된 수학적 모델을 적용함으로써, 최적 적합 방법(선형 최소 제곱법과 같은)이 카메라 모델 변수들을 측정하기 위해 존재하는 움직임 벡터들 상에서 수행된다. 상기 카메라 모델 변수들은 그 후 일련의 디지털 비디오 일련 내의 연속한 프레임들을 위한 움직임 벡터를 예측하기 위해 사용된다. 특정 실시예에서, 카메라 모델을 이용하는 움직임 벡터들의 연속된 예측은 2004년 4월 26일 출원된 출원 번호 10/833, 198의 현재 계류 중인 미국 특허 출원, "Temporal Motion Vector Filtering," 에 설명된 것과 같은 순환적 및 계층적 프로세스를 통합한다.

독립적으로 움직이는 객체들이 있는 (그것의 일부는 서로 반대 방향으로 움직이고 있다) 일련의 프레임들을 위한 카메라 모델 변수들을 계산할 때, 본 발명의 실시예들은 독립적으로 움직이는 객체들 중의 지배적인 하나로 상기 카메라 모델을 맞추고 다른 독립적인 객체들을 배제하기 위한 기술들을 제공한다. 대부분의 경우에서, 상기 지배적인 객체는 배경이다. 제 1의, 또는 원래 해상도를 지닌 입력 움직임 벡터들이 메모리 자원을 보존하기 위해 더 낮은 해상도로 투영된다. 상기 움직임 벡터 값 전체의 히스토그램이 그 후 상기 움직임 벡터의 분산을 산출하기 위해 발생된다. 상기 히스토그램의 저장소 내의 움직임 벡터 값들이 상기 움직임 벡터의 지배적인 클러스터를 식별하기 위해 축적된다. 그 후 이 클러스터의 질량 중심이 원하는 로버스트 적합을 획득하기 위해 2-차원 분배 내의 움직임 벡터들의 다른 클러스터를 배제하는 동안 계산된다. 이 질량중심은 상기 카메라 모델의 하나 이상의 변환(또는 팬 변수)을 제공한다. 상기 카메라 모델 변수들은 그 후 상기 카메라 모델을 이용하는 움직임 벡터의 차 후 측정을 위해 사용된다. 이런 방식으로, 움직임 벡터들은 효율적이고 정확하게 결정될 수 있으며, 그 결과 디지털 비디오 내의 디스플레이 된 이미지 움직임과 눈 추적임에 따른 기대되는 이미지 움직임 간에 불일치가 거의 없거나 완전히 없게 된다.

상기 카메라 모델의 수학적 표현은 다음과 같다.

위의 방정식에서, 상기 카메라 모델은 이미지 내의 (x, y) 일련의 위치들로 카메라 모델 변수들 Sy, Sx, r1, r2, ty 그리고 tx를 적용함으로써 다수의 움직임 벡터 My 와 Mx의 평가를 제공한다. Sy, Sx, r1, r2, ty 그리고 tx 는 각각 카메라 팬 동안 수평적 그리고 수직적 변환을 표현한다. 카메라 팬과 관련된 움직임 벡터들의 표현이 도 2A에 제공된다. 위의 식에서, r1 그리고 r2 는 카메라 회전을 표현하는 변수들이다. 도 2B는 카메라 회전과 관련된 움직임 벡터들의 예시를 도시한다. 상기 Sy 및 Sx 변수들은 도 2C에 도시된 줌 인과 줌 아웃 작동과 관련된다.

상기 설명된 실시예에서, 상기 변수들 Sy, Sx, r1, r2, ty 그리고 tx는 미국 특허 출원 No. 10/833,198에서 설명된 순환 계층적 프로세스를 이용하여 결정되는 움직임 벡터들의 세트를 이용하여 계산된다. 따라서 움직임 벡터는 연속된 이미지 프레임으로 하나의 타겟 상관 윈도우 그리고 하나의 제 1 이미지 프레임으로 소스 상관 윈도우를 적용하고 그리고 상기 타겟 상관 윈도우를 배치함으로써 결정되고 그 결과 상기 소스 상관 윈도우를 지닌 최적의 매치가 획득된다. 즉, 상기 소스 상관 윈도우와 타겟 상관 윈도우의 컨텐트는 가능한 유사하다. 또한, 순환 계층적 방법은 상기 이미지 프레임의 다중 해상도 레벨을 이용한다. 최적 움직임 벡터가 먼저 가장 높은 해상도 레벨에서 이전의 최적 움직임 벡터를 가장 낮은 해상도 레벨에 투영함으로써 상기 가장 낮은 해상도 레벨을 위해 먼저 결정된다. 이 최적 움직임 벡터는 그 후 더 높은 해상도 레벨로 전파되고, 그 곳에서 일부 적합이 생성되고 새로운 최적 움직임 벡터가 결정된다. 이 새로운 최적 움직임 벡터는 또 다른 더 높은 해상도 레벨로 전파되고, 그곳에서 보다 많은 조정이 이루어지고 또 다른 새로운 최적 움직임 벡터가 결정된다. 이 과정이 가장 높은, 원래의 해상도 레벨이 도달할 때 까지, 그리고 최적 움직임 벡터가 원래 해상도 레벨을 위해 식별되기까지 반복된다.

도 1은 미국 특허 출원 No. 10/833,198의 순환 계층적 과정(100)의 일 실시예를 도시한다. 이미지 프레임의 다중 해상도 레벨들이 이미 생성되었다고 가정한다. 도 1에서 볼 수 있는 것과 같이, 하나의 움직임 벡터를 결정하기 위한 상기 순환 계층적 과정(100)은 이전의 이미지 프레임을 가장 낮은 해상도 레벨(스텝 102)로 움직임 벡터를 투영함으로써 시작한다. 업데이트 벡터들의 한 세트가 발생되고 그리고 이 가장 낮은 해상도 레벨(스텝 104)에서 최적 움직임 벡터를 찾기 위해 테스트 된다. 이 테스트의 일 실시예가 각각의 업데이트 벡터의 끝지점 상에 중앙에 배치된 타겟 상관 윈도우와 상기 움직임 벡터의 근원에 중앙에 위치한 소스 상관 윈도우 내의 대응하는 위치에서 픽셀을 비교함으로써 수행된다. 상기 비교는, 예를 들어, 각각의 타겟 윈도우에서 대응하는 픽셀로부터 소스 윈도우 내의 각 픽셀을 루마 값에서 공제함으로써 수행될 수 있다. 이 경우에서, 상기 최적 매치는 소스 상관 윈도우와 타겟 상관 윈도우 쌍을 위한 절대값 차이의 최소 합(SAD)을 찾음으로써 정의될 수 있고, 상기 최적 움직임 벡터는 소스 상관 윈도우와 타겟 상관 윈도우 쌍과 관련된 벡터가 될 수 있다.

상기 최소 SAD가 발견된 이후에, 상기 최적 벡터가 선택된다(스텝 106). 상기 프로세스(100) 는 그 후 어떠한 더 높은 해상도 레벨(스텝 108)이라도 존재하는지를 결정한다. 더 높은 해상도 레벨이 있는 경우, 상기 프로세스는 다음의 더 높은 해상도 레벨(스텝 11)로 최적 벡터를 전파하고 그리고 스텝 (104-108)을 반복한다. 더 높은 해상도 레벨이 없는 경우, 상기 과정은 스텝(112)로 진행된다. 그곳에서 상기 최적 벡터는 움직임 벡터로 선택되고 그리고 현재 프레임을 위한 프로세스를 완성하는 움직임 보상으로 사용된다.

도 1의 스텝(12)에 설명된 바와 같이, 상기 최적 벡터는 위의 My와 Mx와 같이 방정식(1)에 의해 표현되는 수학적 모델로 삽입될 수 있다. 당업자는 최적 벡터는 스텝 104와 같이 도 1에서 더 낮은 해상도들 중의 어느 것을 위해서라도 결정될 수 있다는 것을 이해하여야 한다. 다른 실시예에서, 다른 벡터들은 카메라 모델 방정식 내의 My와 Mx에 적합할 것이다. 주의할 것은 선형 최소 제곱 적합 절차가 상기 설명된 실시예에서 사용됨에도 불구하고, 어떠한 적합한 데이터 적합 기술이라도 사용될 수 있다는 점이다. 따라서 선형 최소 제곱 적합 절차는 그 후 Sy, Sx, r1, r2, ty 그리고 tx를 해결하기 위해 수행된다. 즉, 위의 수학적 모델과 관련하여, My와 Mx 의 알고 있는 값의 세트가 x와 y 위치에 대응하도록 제공되고, 매트릭스 전환 작동이 알려지지 않은 변수 Sy, Sx, r1, r2, ty 그리고 tx를 결정하기 위해 수행될 수 있다.

상기 카메라 모델 변수들이 결정된 이후에, 상기 카메라 모델 변수들은 이곳에서 설명된 순환적이고 계층적인 과정의 하나 이상의 반복을 위한 벡터 후보들을 제공하는 이미지 패치 또는 프레임 내의 x와 y 위치를 위한 카메라 모델 움직임 벡터 My와 Mx를 발생하도록 적용된다. 예를 들어, 이러한 카메라 모델 예측 움직임 벡터들은 SAD 계산을 위한 테스트 후보로서 업데이트 된 벡터를 따라 사용될 수 있다. 그 후, 도 1의 스텝 106에서, 상기 최적 벡터는 모든 테스트 후보로부터 결정된다.

도 3은 카메라 모델 변수들을 계산하기 위한 장치(300)의 블락 다이어그램을 도시하고, 그 후 본 발명의 일 실시예에 따라 움직임 벡터를 발생하는 카메라 모델 변수들을 이용한다. 도 4 는 도 3의 장치 작동을 설명하는 방법(400)의 흐름 차트를 도시한다. 스텝(405)에서, 도 1의 스텝(106)에서 결정된 최적 벡터와 같은 테스트 벡터 My' 그리고 Mx'는 카메라 모델 변수 계산기(310)에 의해 메모리(305)로부터 검색된다. 다양한 소프트웨어와 하드웨어의 결합이 당업자가 이해되도록 사용될 수 있음에도 불구하고, 이 카메라 모델 변수 계산기(310)는 주로 소프트웨어에서 구현되는 것이 바람직하다. 메모리(305)는 SDRAM과 같은 적합한 프로세서 판독형 저장 매체이다.

도 4의 스텝(410)에서, 상기 카메라 모델 변수 계산기(310)는 위에서 설명된 것과 같은 검색된 움직임 벡터들과 알려진 대응하는 x, y 위치들에 기초한 카메라 모델 변수들 Sy, Sx, r1, r2, ty 그리고 tx를 결정하도록 수행된다. 스텝(415)에서, 카메라 모델 변수 계산기(310)는 그 후 하나 이상의 레지스터에서 저장을 위해 메모리(310)로 이러한 계산된 카메라 모델 변수들 Sy, Sx, r1, r2, ty 그리고 tx을 출력한다. 스텝(420)에서, 카메라 모델 움직임 벡터 발생기(315)는 메모리(310) 내의 상기 레지스터로부터 상기 카메라 모델 변수들 Sy, Sx, r1, r2, ty 그리고 tx을 검색한다. 따라서 이미지에 대한 x, y가 스텝(415)에서 카메라 모델 움직임 벡터 발생기(315)로 제공된다. 상기 카메라 모델 움직임 벡터 발생기(315)는 스텝(310)에서 움직임 벡터 My 및 Mx를 위의 카메라 모델 방정식을 적용하면서 발생시킬 수 있다. 이러한 움직임 벡터 My 및 Mx는 카메라 움직임 벡터 발생기(315)에 의해 출력되고 그리고 스텝(435)에 저장될 수 있다. 순환 계층 프로세스의 다음 반복을 위해, 상기 저장된 움직임 벡터들은 순환 계층적 예측 벡터에 부가하여 테스트 후보로서 사용될 수 있다.

도 5에서, X와 Y축을 따라 움직임 벡터의 2-차원 표현(500)이 도시되었다. 도 5에서, 움직임 벡터 그룹(505a-505e)은 카메라 모델이 바람직하게 적합한 곳으로 독립적으로 움직임 객체를 표현한다. 반면, 움직임 벡터(510)는 상기 카메라 모델로부터 배제되는 것이 바람직한 독립적으로 움직이는 이미지 또는 객체와 관련된 움직임 벡터들이다. 이 실시예에서, 상기 카메라 모델은 팬 시나리오를 제공한다. 따라서 단지 위의 수학적 모델의 tx 및 쇼 값들이 계산될 필요가 있다. 여기서, 다수의 움직임 벡터들(505a-505e)이 동일하기 때문에, 상기 카메라 팬 모델은 이러한 움직임 벡터들(505a-505e)의 모델을 제공하기에 적합한 것이 바람직하다. 카메라 모델이 효율적이기 위해, 상기 움직임 벡터(510)는 카메라 팬 모델을 위해 tx 및 ty 변환 변수들을 계산할 때 분리물(outlier)로서 배제되는 것이 바람직하다. 아래에서 설명된 기술들이 카메라 모델 변수 계산으로부터 움직임 벡터(510)의 배제를 위해 제공되며, 그 결과 로버스트 및 정교한 카메라 모델 적합이 획득된다.

도 6A 는 전형적인 움직임 벡터 My 와 Mx의 세트를 위한 My 및 Mx의 2-차원 분배(600)를 도시한다. 모든 움직임 벡터 My 및 Mx의 값들이 2-차원 표현의 경계 내에 있다. 즉, 모든 Mx 값들은 -Mx max 와 +Mx max 이내이다. 일 실시예에서, 상기 Mx 값들은 -32에서 +32 사이의 범위이고, 그리고 상기 My값들은 -24에서 +24 범위이다. 당업자들은 이러한 My 와 Mx의 범위가 단지 전형적이고, 다양한 다른 범위들이 본 발명의 실시예에 따라 사용될 수 있음을 이해할 것이다. 도 6에서, 대부분의 움직임 벡터들은 클러스터(605)를 형성하고, 카메라 팬을 표현하는 실질적으로 유사한 값을 지니는 모든 움직임 벡터를 표시한다. 따라서 상기 클러스터(605)의 질량 중심을 결정하는 것은 상기 카메라 모델을 위한 tx 및 쇼 변수들을 제공한다. 클러스터(605)의 외부 벡터들은 tx 및 ty의 계산 동안 분리물로서 배제되는 것이 바람직하다.

도 6B는 도 6A의 움직임 벡터 값과 같은 Mx 값들의 분배의 측면도를 도시한다. Mx 값의 분배는 제 1 언덕(hill)과 제 2 언덕(620)을 산출한다. 상기 힐(615 및 620)은 특정 Mx 값을 지닌 다수의 벡터들을 표시한다. 따라서 제 1 힐(615)은 값 Mx1을 지닌 벡터의 다량 집중 때문에 형성된다. 상대적으로 더 작은 제 2 언덕(620)은 Mx2값을 지닌 벡터의 또 다른 집중에 의해 형성된다. 특정 Mx값을 위한 더 큰 벡터 카운트를 지닌 힐(615)은, 여기서 지배적인 힐로서 간주되고, 카메라 모델을 위한 실제 tx 및 ty 변수들을 위치하기 위한 이웃을 표현한다. 본 발명의 실시예에 따른 방법 및 장치가, 지배적인 힐(615)을 식별하기 위해 제공되고, 힐(620)과 같은 더 작은 힐을 배제하며, 그 후 카메라 모델 변수 tx 및 ty로서 지배적인 언덕(615)의 질량 중심을 결정한다.

도 7은 분리된 My 및 Mx 값들을 축적하기 위한 저장소(705a-705c)를 지닌 2-차원 히스토그램의 일 실시예의 상면도를 도시한다. 상기 My 및 Mx값들이 분리되어 있기 때문에, 상기 히스토그램은 특정 My 및 Mx 값을 표현하는 격자 내에서 각 블락 또는 저장소와 함께 격자로서 표현된다. Mx값이 -32에서 +32 사이의 범위인 곳의 실시예에서, 상기 My 값은 -24에서 +24 사이이고, 움직임 벡터 값의 2-차원 분배들은 특정 움직임 벡터 값들이 배치될 수 있는 곳에서 64*48 전체 분배의 격자 크기 또는 저장소를 지닐 수 있다. 상기 저장소(705)는 각각의 저장소에서 다수의 움직임 벡터 My 및 Mx를 표시하는 저장소 카운트를 지닌다. 예를 들어, 저장소(705b)는 7개 움직임 벡터 카운트를 지니고, 그리고 저장소(705c)는 100개 움직임 벡터 카운트를 지닌다. 각 저장소 카운트는 그 저장소 내에 부착된 모든 움직임 벡터 값을 위해 증가한다. 이 실시예에서, 저장소(705c)를 포함하는 저장소의 이웃은 히스토그램의 지배적 힐을 표현한다. 아래에 설명된 기술들을 이용하는 정확한 카메라 팬 벡터 측정을 결정하기 위해 이 지배적인 힐을 식별하는 것이 바람직하다.

도 8과 도 9는 각각, 본 발명의 일 실시예와 일치하도록 수행되는 카메라 팬 벡터를 측정하기 위한 방법(900) 및 장치(900)를 도시한다. 상기 장치(900)는 다양한 소프트웨어와 하드웨어의 혼합과 함께 구현될 수 있다. 도 8의 방법은 도 9와 관련하여 설명된다. 스텝(805)에서, 카메라 모델이 제공된다. 이 카메라 모델은 위에서 설명된 것과 같은 도 3과 도 4와 관련된 방법에 따라 정의된다. 상기 카메라 모델은 예를 들어, 위에서 설명된 상기 디지털 비디오 시퀀스의 다수의 프레임 내의 이미지 패치를 위해 움직임 벡터 My 및 Mx의 이 차원 세트를 발생하기 위해 사용된다. 상기 카메라 모델은 위에서 설명된 것과 같은, tx 및 ty의 다수의 변수들을 포함하고, 그것은 움직임 벡터 My 와 Mx를 발생하기 위해 x와 y 축에 적용된다. 상기 카메라 모델 움직임 벡터는 1:1과 같은 제 1 해상도 내에서 제공된다.

도 8의 스텝(810)에서, 상기 카메라 모델 움직임 벡터 My 및 Mx 는 더 낮은 해상도에서 투영되는 것이 바람직하다. 더 낮은 해상도에서 상기 움직임 벡터의 투영 단계는 메모리를 보존하고 그리고 계산 요구를 감소시킨다. 다양한 해상도들이 사용될 수 있다. 일 실시예에서, 원래 또는 제 1 해상도가 1:1인 곳에서, 더 낮은 해상도는 1:2, 1:4 또는 1:8이다. 따라서 도 9의 2차원 히스토그램 내의 다수의 저장소들은 상당히 줄어든다. 예를 들어, 상기 원래 Mx 값이 -32에서 +32인 범위이고 그리고 -24에서 +24의 범위 값 내인 것은 1:2로 줄어든다. 대응하는 저장소 카운트는 64*48에서 32*24까지 줄어든다. 즉, 2배 만큼 움직임 벡터를 확장하는 것은 상기 저장소 카운트가 4배로 감소되게 한다. 이 실시예에서, 상기 4개의 이웃하는 저장소의 저장소 카운트들은 단일 저장소로 효과적으로 결합된다. 다양한 다른 감소된 해상도들이 당업자에게 자명하게 사용될 수 있다.

도 8의 단계(815)에서, 움직임 벡터 발생기(910)가 도 9에 도시되었으며, 이는 상기 움직임 벡터의 분배를 생성한다. 상기 움직임 벡터들이 2차원일 때, 상기 2차원 움직임 벡터의 특정 값 세트들은 도 7과 관련하여 위에서 설명한 것과 마찬가지로, 저장소를 지닌 2차원 히스토그램 내에 분배된다.

도 8의 스텝 820에서, 클러스터 식별기(920)가 도 9에 도시되었으며, 이는 도 7의 2차원 히스토그램 내의 지배적인 힐을 찾아낸다. 즉, 클러스터 식별자(920)는 분배 내의 움직임 벡터의 가장 높은 집중을 지닌 것과 같은 움직임 벡터 값의 분산에서 클러스터를 식별한다. 일 실시예에서, 이 식별 단계는 도 7에 도시된 것과 같은 2차원 히스토그램 내의 다수의 이웃 내의 저장소를 축적하는 단계를 포함한다. 이러한 이웃들은 히스토그램 내의 다양한 위치에 대하여 이동하고, 예를 들어, 3*3, 4*4, 12*12, 100*100과 같이 지정된 크기의 다른 윈도우 또는 p*q 윈도우(710)에 의해 정의된다. 특정 위치에서 상기 윈도우 이내의 모든 저장소 카운트들은 그 윈도우 또는 이웃과 관련된 전체 저장소 카운트를 제공하기 위해 부가된다. 그 후, 더 높은 또는 최상의 축적 저장소를 지닌 이웃이 식별된 클러스터로 선택된다. 이 식별된 클러스터는 도 6b에서 힐(615)과 같은 히스토그램의 지배적 힐을 제공한다.

도 8의 스텝(825)에서, 도 9에 도시된 모듈(930)을 결정하는 단계는 스텝(1020)으로부터 식별된 클러스터를 위한 질량 중심을 결정한다. 이 질량 중심 계산은 지정된 크기의 또 다른 윈도우 이내에서 수행되는 것이 바람직하다. 일 실시예에서, 이 윈도우는 스텝(820)에서 저장소 축적을 위해 사용되는 이웃을 포함하는 P*Q 윈도우보다 더 큰 크기 M*N을 지닌다. 스텝 830에서, 스텝 825에서 결정된 질량 중심이 연속한 움직임 벡터 계산을 위해 하나 이상의 카메라 모델 변수로서 제공되고, 위의 카메라 모델의 수학적 표현으로 간주된다. 예를 들어, 카메라 팬 실시예에서, 결정된 질량 중심은 변환 변수 tx 및 ty로서 제공된다. 상기 움직임 벡터가 원래의 해상도에서 스텝 810에서 더 낮은 해상도로 투영되는 실시예에서, 상기 결정된 질량 중심은 원래의 해상도로 다시 투영되는 것이 바람직하다. 일부 실시예에서, 이 투영을 위한 계산은 보다 정확한 투영을 제공하기 위해 소수점까지 이용하여 행해진다. 상기 카메라 모델 변수들은 그 후 스텝 835에 저장되고 그 후 위의 방정식(1)을 이용하는 카메라 팬 모델 움직임 벡터 My 및 Mx의 발생을 위해 도 9의 카메라 팬 계산기(940)에 의해 검색된다. 일 실시예에서, 이러한 카메라 팬 모델 움직임 벡터들 My 및 Mx는 그 후 미국 출원 No. 10/833,198에 설명된 순환 계층적 프로세스를 위한 테스트 후보를 결정하기 위해 사용된다.

순환 계층적 프로세스 내에서 부가적 후보 벡터로서 카메라 모델 예측 벡터를 이용하는 것은 트루(true) 최소대신 폴스(false) 국부 최소값으로 순환 계층 검색의 순환 부분을 수렴하는 가능성을 최소화 한다. 상기 카메라 예측 벡터 후보는 트루 최소값으로 프로세스를 조정할 수 있다. 일부 실시예에서, 여기서 설명된 것과 같이, 카메라 모델에 의해 예축되고 발생되는 움직임 벡터들은 또한 SAD 계산을 위한 테스트 후보로서 사용된다.

도 3 및 9의 장치를 포함하는 본 발명의 실시예는 디지털 전기 회로 내에서 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 그들의 결합 내에서 구현될 수 있다. 본 발명의 장치 실시예들은 프로그램형 프로세서에 의한 실행을 위한 기계-판독형 저장 장치 내에서 구체화되는 컴퓨터 프로그램 상품에서 구현될 수 있다. 그리고 본 발명의 방법 단계들은 입력 데이터를 작동하거나 출력을 발생함으로써 본 발명의 기능을 수행하기 위한 명령의 프로그램을 실행시키는 프로그램형 프로세서에 의해 수행될 수 있다. 본 발명의 실시예들은 하나 이상의 출력 장치와 하나 이상의 입력 장치에서 데이터 저장 시스템으로 데이터 및 명령을 전송하거나 또는 그로부터 명령과 데이터를 수신하도록 연결된 하나 이상의 프로그램형 프로세서를 포함하는 프로그램형 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램에서 유리하게 구현될 수 있다. 각 컴퓨터 프로그램은 하이-레벨 절차 또는 객체=지향형 프로그래밍 랭귀지 또는 원하는 어셈블리 또는 기계어에서 구현될 수 있다. 그리고 어느 경우에서든지, 상기 랭귀지는 컴파일 되거나 또는 인터프릿된 랭귀지일 수 있다. 적합한 프로세서들은, 실시예에 의해, 일반적이고 특수한 목적의 마이크로프로세서 모두를 포함할 수 있다. 일반적으로, 프로세서는 ROM 및/또는 RAM으로부터 데이터와 명령을 수신할 것이다. 일반적으로, 컴퓨터는 데이터 파일들을 저장하기 위한, 하나 이상의 대 용량 저장 장치를 포함할 것이다. 그러한 장치들은 내부 하드 디스크 및 제거형 디스크, 마그네토-광학 디스크 그리고 광학 디스크와 같은 마그네틱 디스크들을 포함한다. 컴퓨터 프로그램 명령 및 데이터를 구체화하기에 적합한 저장 장치들은 모든 형태의 비휘발성 메모리를 포함하며, 이는 EEPROM, EPROM 그리고 플래쉬 메모리 장치와 같은 반도체 메모리 장치, 내부 하드 디스크 그리고 제거형 디스크와 같은 마그네틱 디스크, 마그네토-광학 디스크 그리고 CD-ROM 디스크들을 포함한다. 앞에 것 중 어느 것이든 ASIC에 통합되거나 또는 보완될 수 있다.

본 발명은 다른 독립적으로 움직이는 객체가 있는 일련의 프레임 내의 독립적으로 움직이는 객체 또는 배경과 관련된 움직임 벡터들을 예상하기 위한 로버스트 적합을 제공하는 카메라 모델을 정의하고 적용하는 것을 특징으로 한다.

일반적으로, 한 측면에서, 본 발명은, 카메라 팬 벡터 측정을 위한 기술을 이용하고 구현하는 컴퓨터 프로그램 상품을 포함하는 방법 및 장치를 제공한다. 카메라 모델은 다수의 변수들에 기초한 움직임 벡터를 표현하기 위해 제공된다. 상기 움직임 벡터의 분배가 생성된다. 움직임 벡터들의 분배에 있어 클러스터가 식별된다. 식별된 클러스터의 질량 중심이 결정된다. 상기 카메라 팬 벡터는 결정된 질량 중심에 기초하여 제공하는 것을 효과로 한다.

구현들은 하나 이상의 다음의 특징들을 포함할 수 있다. 상기 움직임 벡터들은 2차원 값 세트를 포함할 수 있고 그리고, 움직임 벡터의 분배를 생성하는 것은 저장소(bin)를 지닌 2-차원 히스토그램을 발생시키는 것을 포함할 수 있다. 움직임 벡터 값들이 2-차원 히스토그램의 적합한 저장소 내에 제공된다. 또한, 상기 움직임 벡터의 분배를 발생시키기 이전에, 상기 움직임 벡터는 더 낮은 해상도에서 투영될 수 있는 것이 본 발명의 특징이다.

도 1 은 움직임 벡터를 결정하기 위한 순환적 계층 프로세스의 흐름 차트를 도시한다.

도 2A 는 카메라 팬과 관련된 움직임 벡터의 일 실시예를 도시한다.

도 2B 는 카메라 회전과 관련된 움직임 벡터의 일 실시예를 도시한다.

도 2C 는 작동에서 카메라 줌과 관련된 움직임 벡터들의 일 실시예를 도시한다.

도 3 은 카메라 모델을 이용하여 움직임 벡터를 생성하는 것과 카메라 모델 변수를 계산하기 위한 장치의 블락 다이어그램을 도시한다.

도 4 는 본 발명의 일 실시예에 따른, 카메라 팬 벡터를 측정하기 위한 방법의 흐름차트를 도시한다.

도 5 는 독립적으로 움직이는 객체와 관련된 움직임 벡터들의 일 실시예를 도시한다.

도 6A 는 2차원을 따라 움직이는 벡터의 분배를 도시한다.

도 6B 는 움직임 벡터 값들의 분배의 측면도를 도시한다.

도 7 은 저장소를 지닌 2-차원 히스토그램에서 움직임 벡터 값들의 분배를 도시한다.

도 8 은 디지털 비디오 일련의 프레임들을 위한 카메라 모델을 이용하는 움직임 벡터 측정을 위한 방법의 흐름도를 도시한다.

도 9 는 본 발명의 일 실시예와 관련된, 카메라 팬 벡터를 측정하기 위한 장치를 도시한다.

Claims

카메라 팬 벡터를 측정하기 위한 방법으로서,

- 움직임 벡터들의 분배를 발생하고,

- 움직임 벡터들 분배 내의 클러스터를 식별하며,

- 상기 식별된 클러스터의 질량 중심을 결정하고,

- 상기 결정된 질량 중심에 기초한 상기 카메라 팬 벡터를 제공하는

단계들을 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 1 항에 있어서, 카메라 모델의 변수들을 포함하는 상기 카메라 팬 벡터는 하나의 이미지 패치에서 상기 움직임 벡터들을 표현하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 2 항에 있어서, 이 때 상기 결정된 질량 중심에 기초한 상기 카메라 팬 벡터를 제공하는 것은,

- 상기 카메라 모델의 하나 이상의 변수로서 상기 결정된 질량 중심을 제공하는

단계를 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 1 항에 있어서, 상기 방법은,

- 프로세서 판독형 메모리 내의 상기 제공된 카메라 팬 벡터를 저장하는

단계를 추가적으로 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 1 항에 있어서, 상기 움직임 벡터들은 값들을 포함하고, 이 때 상기 움직임 벡터의 분배를 발생하는 단계는,

- 저장소들을 지니는 2차원 히스토그램을 발생하고, 그리고,

- 상기 2차원 히스토그램의 적합한 저장소들 내에 상기 움직임 벡터 값들을 제공하는

단계들을 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 1 항에 있어서, 상기 방법은,

- 제 1 해상도에서 상기 움직임 벡터들을 제공하고, 그리고,

- 상기 움직임 벡터들의 분배를 발생하기 이전에, 제 2 해상도 내에서 상기 움직임 벡터들을 투영하며,

이 때 상기 제 2 해상도는 상기 제 1 해상도보다 더 낮은 해상도인

단계들을 추가적으로 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 1 항에 있어서, 이 때 상기 카메라 팬 벡터는 하나의 이미지 패치를 위해 발생되고, 이 때 상기 이미지 패치는 하나의 단일 픽셀을 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 1 항에 있어서, 이 때 상기 카메라 팬 벡터는 하나의 이미지 패치를 위해 발생하고, 이 때 상기 이미지 패치는 다수의 픽셀들을 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 5 항에 있어서, 이 때 상기 움직임 벡터의 분배 내의 상기 클러스터를 식별하는 단계는,

- 상기 2-차원 히스토그램 내의 제 1 이웃 내의 저장소들을 축적하고,

- 상기 2-차원 히스토그램 내의 제 2 이웃 내의 저장소들을 축적하며,

- 더 높은 저장소들의 축적을 지니는 것으로 상기 이웃들 중의 하나를 선택하고,

- 상기 움직임 벡터들의 분배 내의 상기 식별된 클러스터로서 선택된 이웃을 제공하는

단계들을 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 9 항에 있어서, 이 때 각 이웃은 미리 지정된 크기의 하나의 윈도우 내에 포함되는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 9 항에 있어서, 이 때 움직임 벡터의 분배 내의 상기 클러스터를 식별하는 것은,

- 하나의 이웃을 선택하기 이전에, 상기 2-차원 히스토그램 내의 추가적 이웃들 내의 저장소들을 축적하는

단계를 추가적으로 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 1 항에 있어서, 이 때 상기 식별된 클러스터의 상기 질량 중심은 미리 지정된 크기의 하나의 윈도우 내에서 결정되는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
제 10 항에 있어서, 이 때 상기 식별된 클러스터의 질량 중심은 상기 이웃들을 포함하는 윈도우들 또는 윈도우보다 더 큰 크기를 지닌 하나의 윈도우 내에서 결정되는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 방법.
카메라 팬 벡터를 측정하기 위한 장치로서,

- 움직임 벡터의 분배를 발생하기 위해 설정된 움직임 벡터 발생기,

- 움직임 벡터들의 분배 내의 하나의 클러스터를 식별하기 위해 설정된 클러스터 식별기,

- 상기 식별된 클러스터의 질량 중심을 결정하기 위해 설정된 결정 모듈, 그리고,

- 상기 결정된 질량 중심에 기초한 상기 카메라 팬 벡터를 제공하기 위해 설정된 카메라 팬 계산기

를 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 장치.
제 14 항에 있어서, 상기 카메라 팬 벡터는 하나의 이미지 패치 내의 상기 움직임 벡터들을 표현하는 하나의 카메라 모델의 변수들을 포함하는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 장치.
제 15 항에 있어서, 상기 카메라 팬 계산기는

상기 카메라 모델의 하나 이상의 변수로서 상기 결정된 질량 중심을 제공하기 위해 구현되는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 장치.
제 14 항에 있어서, 상기 움직임 벡터들은 값들을 포함하고, 상기 움직임 벡터 발생기는,

- 저장소들을 지니는 2차원 히스토그램을 발생하고, 그리고,

- 상기 2-차원 히스토그램의 적합한 저장소 내의 상기 움직임 벡터 값들을 제공하도록

구현되는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 장치.
제 17 항에 있어서, 상기 클러스터 식별기는

- 상기 2-차원 히스토그램 내의 제 1 이웃 내에서 저장소들을 축적하고,

- 상기 2차원 히스토그램 내의 제 2 이웃 내에서 저장소들을 축적하며,

- 저장소의 더 높은 축적을 지닌 것으로 이웃들 중의 하나를 선택하고, 그리고,

- 움직임 벡터들의 분배 내의 상기 식별된 클러스터로서 상기 선택된 이웃을 제공하도록

구현되는 것을 특징으로 하는 카메라 팬 벡터를 측정하기 위한 장치.
프로세서 판독형 매체 상에 저장된 컴퓨터 프로그램 상품으로서, 카메라 팬 벡터를 측정하기 위한 방법을 컴퓨터가 수행하도록 작동하는 명령들을 포함하며, 상기 방법은,

- 움직임 벡터들의 분산을 발생시키고,

- 움직임 벡터들의 분산 내의 하나의 클러스터를 식별하며,

-상기 식별된 클러스터의 질량 중심을 결정하고, 그리고,

- 상기 식별된 질량 중심에 기초한 상기 카메라 팬 벡터를 제공하는

단계를 포함하는 것을 특징으로 하는 상기 컴퓨터 프로그램 상품.
제 19 항에 있어서, 상기 움직임 벡터들은 값을 포함하고, 이 때 상기 움직임 벡터들의 상기 분산을 발생하는 단계는,

- 저장소들을 지니는 2차원 히스토그램을 발생하고, 그리고,

- 상기 2차원 히스토그램의 적합한 저장소들 내에 상기 움직임 벡터 값들을 제공하는

단계들을 포함하는 것을 특징으로 하는 상기 컴퓨터 프로그램 상품.
제 20 항에 있어서, 상기 움직임 벡터들의 분배 내의 상기 클러스터를 식별하는 단계는,

- 상기 2-차원 히스토그램 내의 제 1 이웃 이내의 저장소들을 축적하고,

- 상기 2-차원 히스토그램 내의 제 2 이웃 이내의 저장소들을 축적하며,

- 더 높은 저장소들의 축적을 지닌 것으로 상기 이웃들 중의 하나를 선택하고, 그리고,

- 상기 움직임 벡터들의 분배 내의 상기 식별된 클러스터로서 상기 선택된 이웃을 제공하는

단계들을 포함하는 것을 특징으로 하는 상기 컴퓨터 프로그램 상품.