KR19990067759A

KR19990067759A - 화상 처리 장치, 화상 처리 방법, 및 이를 제공하는 매체

Info

Publication number: KR19990067759A
Application number: KR1019990000136A
Authority: KR
Inventors: 곤도데쯔지로; 나까야히데오; 다나까겐지
Original assignee: 이데이 노부유끼; 소니 가부시끼 가이샤
Priority date: 1998-01-07
Filing date: 1999-01-06
Publication date: 1999-08-25
Also published as: US6285712B1; CN1154361C; DE69930333T2; KR100590145B1; EP0929192B1; DE69930333D1; JP4016227B2; CA2257669C; AU748671B2; AU9824198A; CA2257669A1; EP0929192A2; CN1230079A; JPH11203483A; EP0929192A3

Abstract

추정부는 각 픽셀의 움직임 벡터와 2개의 연속 프레임으로부터의 신뢰도를 계산하고, 각 픽셀에 할당되는 임의의 움직임 벡터 및 신뢰도를 갖는 k번째 및 (k+1)번째 프레임에 대응하는 1차 움직임 분포 화상들을 생성한다. 갱신부는 (k+1)번째 프레임에 대응하는 1차 움직임 분포 화상과 k번째 화상에 대응하는 1차 움직임 분포 화상으로부터 생성된 (k+1)번째 프레임에 대응하는 4차 움직임 분포 화상을 결합하여 (k+1)번째 프레임에 대응하는 2차 움직임 분포 화상을 생성한다. 예측부는 (k+1)번째 프레임에 대응하는 입력 2차 움직임 분포 화상에 따라 (k+2)번째 프레임에 대응하는 3차 움직임 분포 화상을 생성한다. 보간부는 비편향적인 추정을 이용하여 (k+2)번째 프레임에 대응하는 3차 움직임 분포 화상의 공백으로 보간하여, (k+2)번째 프레임에 대응하는 4차 움직임 분포 화상을 생성 한다.

Description

화상 처리 장치, 화상 처리 방법, 및 이를 제공하는 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROVIDING MEDIUM THEREFOR}

본 발명은 본 발명의 양수인에게 부분 양도된 1997년 3월 13일 출원된 미국 특허 출원 08/816,867호와 본 발명의 양수인에게 양도된 1997년 4월 18일 출원된 미국 특허 출원 08/837,491호에 관련되며, 양자는 참조하기 위해 본원에 설시된다.

본 발명은 화상 처리 장치, 화상 처리 방법, 및 이를 위한 기록 매체에 관한 것이고, 특히, 움직임이 시간에 따라 연속적인 화상으로부터 픽셀 단위로 추정될 수 있는 화상 처리 장치, 화상 처리 방법, 및 이를 위한 기록 매체에 관한 것이다.

동화상으로부터의 화상 움직임을 표시하는 파라미터를 추정하는 방법(아래부터 움직임 추정)으로서, 예를 들면, 블록 매칭 방법과 같은 예측 잔차 최소 규정(minimum predictive residual rule)을 이용한 방법이 공지되어 있다. 예측 잔차 최소 규정을 이용하는 움직임 추정 방법에서, 화상이 복수의 픽셀로 형성된 블록으로 분할되고 움직임 추정이 블록 단위로 수행되므로, 움직임 추정의 공간 해상도는 떨어지고 움직임 추정은 구성 부품들이 병렬로 움직이는 강체(rigid body)에 대해서만 수행될 수 있다. 결과적으로, 움직임 추정은 움직임의 분포가 균일하지 않은 비강체에 대해서는 이 방법으로 수행될 수 없다.

예측 잔차 최소 규정을 이용하는 움직임 추정 방법 예를 들면 블록 매칭 방법에 있어서, 실제 움직임이 검색 범위를 벗어나는 경우, 움직임 추정은 큰 오차를 가지며 외양의 강건함이 떨어진다. 따라서, 화상의 움직임 추정에서 공간 해상도를 증가시키면서 강건함을 보장하는 장치 및 컴퓨터 프로그램을 제공하는 것이 바람직하다. 본 발명은 상술한 조건을 고려해서 고안되었다.

본 발명의 목적은 비편향 추정치를 이용하는 비결정론적 방법에 의해 움직임 추정의 공간 해상도를 증가시키고 강건성을 보장하는 것이다.

본 발명의 특징은 비편향 추정치를 이용함에 의해 픽셀 단위로 움직임 추정을 수행하여 움직임 추정의 공간 해상도 및 강건성을 증가시키는 것이다.

본 발명의 장점은 화상의 움직임 추정에서의 공간 해상도를 증가시킨다는 점이다.

본 발명의 한 특징인 복수의 화상을 포함하는 동화상의 움직임을 추정하는 방법에 따르면, k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 상기 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 단계 - 상기 k번째 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 생성하도록 적어도 상기 (k+1)번째 화상으로부터 상기 (k+1)번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 단계 - 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신하는 단계; 상기 (k+1)번째 화상에 대응하는 상기 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 단계; 및 상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+2)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 보간하는 단계 - 상기 k는 정수 - 를 포함하되, 상기 갱신 단계는 상기 k번째 화상으로부터 생성된 상기 1차 움직임 분포 화상보다 더 높은 차수를 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신한다.

본 발명의 다른 특징인 복수의 화상을 포함하는 동화상의 움직임 추정 장치에 따르면, 복수의 화상을 포함하는 동화상의 움직임을 추정하기 위한 장치에 따르면, k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 상기 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 수단 - 상기 k번째 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 생성하도록 적어도 상기 (k+1)번째 화상으로부터 상기 (k+1)번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 수단 - 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신하는 수단; 상기 (k+1)번째 화상에 대응하는 상기 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 수단; 및 상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+2)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 보간하는 수단 - 상기 k는 정수 - 를 포함하되, 상기 갱신 수단은 상기 k번째 화상으로부터 생성된 상기 1차 움직임 분포 화상보다 더 높은 차수를 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신한다.

본 발명의 다른 특징인 복수의 화상을 포함하는 동화상의 움직임을 추정하는 장치에 따르면, k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하기 위한 회로 - 상기 k번째 화상에 대응하는 상기 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터에 의해 표시됨 -; (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 생성하도록 적어도 (k+1)번째 화상으로부터 (k+1)번째의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 회로 - (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터에 의해 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 갱신하는 회로; (k+1)번째 화상에 대응하는 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 수단; 및 상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 보간하는 회로를 포함하되, 상기 갱신 회로는 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상을 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신한다.

본 발명의 다른 특징인 복수의 화상을 포함하는 동화상의 움직임을 추정하기 위한 장치에 따르면, k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 제1 추정기 - 상기 k번째 화상에 대응하는 상기 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터에 의해 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 적어도 상기 (k+1)번째 화상으로부터 상기 (k+1)번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 제2 추정기 - 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터에 의해 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 갱신하는 갱신기; 상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 예측기; 및 상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+2)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 보간하는 보간기 - 상기 k는 정수 - 를 포함하되, 상기 갱신기는 상기 k번째 화상으로부터 생성된 상기 1차 보다 높은 차수의 움직임 분포 화상을 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신한다.

본 발명의 다른 특징인 동화상의 움직임을 추정하기 위한 방법 단계들을 수행하도록 장치에 의해 수행가능한 명령들인 프로그램을 구현하는, 기계 장치에 의해 판독가능한 프로그램 기억 장치에 있어서, k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 상기 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 단계 - 상기 k번째 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 생성하도록 적어도 상기 (k+1)번째 화상으로부터 상기 (k+1)번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 단계 - 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ; 상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 갱신하는 단계; 상기 (k+1)번째 화상에 대응하는 상기 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 단계; 및 상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+2)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 보간하는 단계 - 상기 k는 정수 - 를 포함하되, 상기 갱신 단계는 상기 k번째 화상으로부터 생성된 상기 1차 움직임 분포 화상보다 더 높은 차수를 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신한다.

이러한 목적 및 다른 목적, 특징 및 장점은 동일 또는 유사한 구성 요소에 동일한 참조 번호를 부여한 첨부된 도면 및 아래의 상세한 설명을 참조하면 명백해질 것이다.

도 1은 본 발명이 적용되는 화상 처리 장치의 구성을 도시하는 블록도.

도 2는 도 1에 도시된 화상 처리 장치의 동작을 도시하는 흐름도.

도 3은 도 1에 도시된 화상 처리 장치의 동작을 도시하는 도면.

도 4는 도 2의 단계(S3)에 도시된 추정 처리의 흐름도.

도 5는 도 2의 단계(S6)에 도시된 예측 처리를 도시하는 도면.

도 6은 도 2의 단계(S6)에 도시된 예측 처리를 도시하는 다른 도면.

도 7은 도 2의 단계(S6)에 도시된 예측 처리의 흐름도.

도 8은 도 2의 단계(S7)에 도시된 보간 처리의 흐름도.

도 9는 도 2의 단계(S5)에 도시된 갱신 처리의 흐름도.

도 10a 및 10b는 본 발명과 종래의 화상 처리 사이의 비교를 위해 디스플레이 상에 도시된 화상의 흑백 사진.

도 11a, 11b, 11c 및 11d는 본 발명이 적용된 경우를 설명하기 위해 디스플레이 상에 도시된 화상을 축소시킨 화상의 흑백 사진.

<도면의 주요 부분에 대한 부호의 설명>

1: 제어부

2: 하드 디스크

3: 재생부

4: 추정부

5: 갱신부

6: 예측부

7: 보간부

8: 메모리

본 발명의 실시예가 아래에 설명된다. 본 발명이 적용되는 화상 처리 장치의 구성이 도 1을 참조로 아래에 설명된다. 이러한 화상 처리 장치내의 제어부(1)는 전체 장치를 제어한다. 하드 디스크(2)는 동화상 입력을 미리 기억하고, 제어부(1)에 의한 제어에 따라 재생부(3)로 동화상을 출력한다. 동화상의 연속(한 장면)은 직렬 프레임 번호(fr=0,1,2,...,k,k+1,...N)가 할당되는 복수의 정지 화상(프레임)으로 형성된다.

재생부(3)는 하드 디스크(2)로부터 전송된 동화상을 프레임(정지 화상) 단위로 전송하고 그러한 데이타를 추정부(4)로 출력한다.

추정부(4)는 시간 순서상 연속이고 재생부(3)로부터 전송된 k번째 및 (k+1)번째 프레임으로부터 k번째 프레임에 대응하는 각 픽셀에 대한 움직임 벡터 및 그 신뢰도를 계산한다. 추정부(4)는 또한 각 픽셀에 대한 움직입 벡터 및 그 신뢰도를 할당함에 의해 k번째 프레임에 대응하는 1차 움직임 분포 화상을 생성하고, 그러한 데이타를 갱신부(5)로 출력한다. 0번째 프레임에 대응하는 1차 움직임 분포 화상은 예측부(6)로 출력된다.

갱신부(5)는 추정부(4)로부터 전송된 (k+1)번째 프레임에 대응하는 1차 움직임 분포 화상과 보간부(7: 후술함)로부터 전송된 (k+1)번째 프레임에 대응하는 4차 움직임 분포 화상을 결합하여 (k+1)번째 프레임에 대응하는 2차 움직임 분포 화상을 생성하고, 이를 예측부(6)로 출력한다. 0번째 프레임(fr=0)에 대응하는 1차 움직임 분포 화상의 경우, 이러한 갱신 동작이 수행되지 않는다.

예측부(6)는 갱신부(5)로부터 전송된 k번째 프레임에 대응하는 2차 움직임 분포 화상(또는 fr=0인 경우, 추정부(4)로부터 전송된 0번째 프레임에 대응하는 1차 움직임 분포 화상)에 따른 (k+1)번째 프레임에 대응하는 3차 움직임 분포 화상을 예측하고, 이를 보간부(7)로 출력한다. 이러한 경우, 2차 분포 화상(또는, fr=0인 경우, 0번째 프레임에 대응하는 1차 움직임 분포 화상)내의 각각의 픽셀에 대한 움직임 벡터가 불변이라는 가정하에, 3차 움직임 분포 화상내의 각각의 픽셀에 대한 움직임 벡터가 예측된다.

보간부(7)는 비편향 추정을 이용하여 입력 (k+1)번째 프레임에 대응하는 3차 움직임 분포 화상의 공백으로 보간하여 (k+1)번째 프레임에 대응하는 4차 움직임 분포 화상을 생성한다. (k+1)번째 프레임에 대응하는 4차 움직임 분포 화상이 k번째 프레임으로부터 (k+1)번째 프레임까지의 움직임을 표시하는 최종 움직임 분포 화상으로서 출력되고, 갱신부(5)로 제공된다.

메모리(8)는 각각의 부의 작업 영역으로서 정보를 일시적으로 기억하고 이를 각 부로 출력한다. 도 1에 도시된 것처럼, 제어부(1), 하드 디스크(2), 재생부(3), 추정부(4), 갱신부(5), 예측부(6), 보간부(7) 및 메모리(8)는 버스(9)를 통해 결합된다.

화상 처리 장치의 동작은 도 2 및 도 3에 도시된 흐름도를 참조함에 의해 아래에 설명된다. 단계 S1에서, 제어부(1)는 하드 디스크(2)내에 기억된 한 장면을 구성하는 프레임의 총 수(N)를 검사하고, 프레임의 순서를 표시하는 파라미터(fr)를 초기화(0으로 설정됨)한다.

단계 S2에서, fr이 N(N은 최종 프레임을 표시함)인지가 결정된다. fr이 N이 아니라면, 공정은 단계 S3으로 진행된다.

단계 S3에서, 추정 처리가 수행된다. 추정 처리의 상세는 도 4의 흐름도를 참조로 아래에 설명된다.

단계 S11에서, 추정된 프레임(k번째 프레임)에서 추정될 픽셀의 좌표(i, j)는 (0, 0)으로 초기화된다. 단계 S12에서, 추정될 픽셀의 좌표(i, j)가 최대값(i_max, j_max)보다 큰지(즉, 한 프레임내에 있는지)가 결정된다.추정될 픽셀의 좌표(i, j)가 최대값(i_max, j_max)보다 크지 않다면(즉, 프레임내에 있다면), 공정은 단계 S13로 진행된다.

단계 S13에서, 변수 "counter" 및 "sum"은 0으로 설정된다. 단계 S14에서, 참조 프레임((k+1)번째 프레임내의 참조된 픽셀의 좌표(i_y, j_y)는 (i-range, j-range)로 초기화된다. 참조 프레임내의 참조 픽셀 영역은 특정 길이, 2x 범위,를 갖는 변을 갖는 정방형이며, 좌표(i, j)에서 중심을 갖는다.

단계 S15에서, 1/(추정될 픽셀(i, j)의 픽셀값들과 참조된 픽셀(i_x, j_y) 사이의 차의 제곱값 + 0.01)이 계산되고 변수 "sum"에 더해진다. 값 0.01은 신뢰도가 무한대로 발산하는 것을 방지하기 위한 보상값이다.

단계 S16에서, 참조 픽셀의 좌표(i_y, j_y)와 추정될 픽셀의 좌표(i, j) 사이의 편차(i_y-i, j_y-j)(움직임 벡터)가 계산된다. 계산된 값(움직임 벡터)는 참조된 영역내의 픽셀의 일련 번호 "counter"를 갖는 어레이 iv_hist[counter]내에 배치된다. 동일한 방식으로, 변수 "sum"는 참조된 영역의 픽셀의 일련 번호"counter"를 갖는 어레이 sum_hist[counter]내에 배치된다. 변수 "sum" 및 어레이 sum_hist[counter]는 후술하는 단계 S21에서의 신뢰도(p)를 계산하는데 사용된다.

단계 S17에서, 참조된 픽셀의 좌표(i_y, j_y)가 최대값(i+range, j+range)보다 작은지(참조된 영역내에 참조되지 않은 픽셀이 있는지)가 결정된다. 이들이 작지 않다고 결정된 경우(참조된 영역내의 모든 픽셀이 참조됨), 공정은 단계 S18로 진행된다. 참조되지 않은 픽셀이 존재하는 경우, 공정은 단계 S23으로 진행되고 변수"counter"는 증가된다. 공정은 다음으로 S24로 진행되고, 좌표(i_y, j_y)는 증가된다. 단계 S15에서 공정은 예정된 다른 픽셀에 대해 수행된다.

단계 S18에서, 변수 "sum_thres"는 임의의 수(0과 1사이)로 승산된 변수"sum"으로서 정의된다. 다시 말하면, 임계값은 임의 수를 사용하여 정의된다. 단계 S19에서, 변수"counter"는 0으로 초기화된다.

단계 S20에서, 어레이 sum_hist[counter]의 값이 단계 S18에서 임의로 정의된 sum_thres(임계값)보다 큰지(참조 픽셀로서 적합하지 않은지)가 결정된다. 어레이 sum_hist[counter]의 값이 sum_thres보다 작거나 같은 경우(참조 픽셀로서 적합하지 않음), 공정은 단계 S25로 진행된다. 변수"counter"는 증가되고 공정은 단계 S20으로 진행된다. 단계 S15에서 설명된 것처럼, 처리된 값이 변수"sum"로 순차적으로 누산되므로, 변수"counter"가 커지면, sum_hist[counter]의 값은 또한 커진다. 결과적으로, sum_hist[counter]의 값이 sum_thres의 값보다 클 확률은 증가한다.

어레이 sum_hist[counter]의 값이 sum_thres보다 큰 것으로 결정되는 경우(즉, 픽셀이 참조 픽셀로서 적합한 경우), 공정은 단계 S21로 진행된다. 단계 S21에서, 어레이"sum_hist[counter]"에 대응하는 어레이"iv_hist[counter]"내에 배치된 움직임 벡터는 추정될 픽셀(좌표 (i, j)에서의 픽셀)의 움직임 벡터로서 복제되고, (sum_hist[counter]-sum_hist[counter-1])/sum의 값은 신뢰도(p)로서 계산되고 설정된다.

단계 S22에서, 좌표(i, j)는 증가된다. 공정은 단계 S12로 복귀하고 다른 좌표들이 처리되도록 설정된다.

단계 S12에서, (i, j)가 최대값(i_max, j_max)보다 큰 것으로 결정되는 경우(프레임내에 있지 않음), fr번째에 대응하는 1차 추정 분포 화상에 대한 추정 공정이 종료되고, fr번째 프레임에 대응하는 1차 추정 분포 화상은 도 2에서의 단계 S3으로 복귀된다.

상술한 것처럼, fr=0에 대한 1차 움직임 분포 화상은 예를 들면 비편향 추정을 이용하여 생성된다.

도 2에 도시된 흐름도가 아래에 다시 설명된다.

상술한 것처럼 추정 공정이 수행된 이후에, 단계 S4에서 프레임 파라미터 fr = 0인지(시작 프레임을 표시)가 결정된다. fr이 0이 아님이 결정된 경우, 공정은 단계 S5로 진행된다. 단계 S5에서, 갱신부(5)가 갱신 공정을 수행한다. 그러나, fr이 일단 0이라면, 단계 S5에서의 갱신 공정은 생략되고 공정은 단계 S6으로 진행된다.

단계 S6에서, 예측 공정이 도 5에 도시된 것처럼 수행된다. 다시 말하면, (fr+1)번째 프레임에 대응하는 각각의 픽셀에 대한 움직임 벡터는 픽셀이 fr번째 프레임에 대응하는 입력 2차 움직임 분포 화상(또는, fr이 0인 경우 0번째 프레임에 대응하는 1차 움직임 분포 화상)와 동일한 속도로 움직인다는 가정하에 예측된다. 또한, 도 6에 도시된 것처럼, 복수의 움직임 벡터가 고려되는 경우, 최대 신뢰도 p를 갖는 움직임 벡터가 채용된다. 예측 공정의 상세한 것은 도 7의 흐름도를 참조하여 아래에 설명된다.

단계 S31에서, fr번째 프레임에 대응하는 입력 2차 움직임 분포 화상(또는, fr이 0인 경우 fr번째 프레임에 대응하는 1차 움직임 분포 화상)의 움직임 벡터(x, y) 및 신뢰도(p)는 입력 데이타 어레이 src[i, j]내에 배치된다.

단계 S32에서, 출력 어레이 dst[i, j]는 초기화된다(움직임 벡터 및 신뢰도(p)는 모두 0으로 설정됨). 단계 S33에서, 예측될 픽셀의 좌표(i, j)는 (0, 0)으로 초기화된다.

단계 S34에서, fr번째 프레임이 예측될 픽셀의 좌표(i, j)가 최대값(i_max, j_max)보다 크지 않은지(프레임내에 있는지)가 결정된다. 좌표(i, j)가 최대값(i_max, j_max)보다 크지 않음이 결정된 경우, 공정은 단계 S35로 진행된다.

단계 S35에서, 변수(fx, fy)는 입력 데이타 어레이 src[i, j]의 움직임 벡터로 설정된다(fx는 움직임 벡터의 x 성분으로 설정되고, fy는 움직임 벡터의 y 성분으로 설정됨).

단계 S36에서, dst[i+fx, j+fy]의 신뢰도(p)가 src[i, j]보다 작은지가 결정된다. dst[i+fx, j+fy]의 신뢰도(p)가 src[i, j]의 것보다 작은지가 결정되는 경우, 공정은 단계 S37로 진행된다. 단계 S37에서, dst[i+fx, j+fy]의 움직임 벡터(3차 움직임 분포 화상의 움직임 벡터)는 src[i, j]의 것으로 설정된다. 다시 말하면, 도 6에 도시된 공정이 수행된다. dst[i+fx, j+fy]의 신뢰도(p)가 src[i, j]의 것보다 작지 않음이 결정된 경우, 또는 단계 S37이 종료된 경우, 좌표(i, j)는 단계 S38에서 증가되고 공정은 단계 S34로 복귀되어 다른 픽셀이 처리되도록 설정된다.

단계 S34에서, 예측될 픽셀의 좌표(i, j)가 최대값(imax, jmax)보다 큰 경우(프레임내에 있지 않은 경우), 예측 공정은 종료되며, 공정은 도 2내의 단계 S6으로 복귀한다. 상술한 방식처럼, (fr+1)번째 프레임에 대응하는 3차 움직임 분포 화상은 도 3에 도시된 예측 공정에 의해 얻어진다.

도 2에 도시된 공정은 아래에 다시 설명된다.

(fr+1)번째 프레임에 대응하는 3차 움직임 분포 화상에 대한 예측 공정이 상술한 방식으로 수행된 이후에, 보간부(7)는 단계 S7에서 (fr+1)번째 프레임에 대응하는 3차 움직임 분포 화상에 대해 보간 공정을 수행한다. 보간 공정의 상세한 것은 도 8에 도시된 흐름도를 참조로 아래에 설명된다.

단계 S41에서, 보간될 (fr+1)번째 프레임의 픽셀의 좌표(i,j)(보간 타겟)은 (0,0)으로 초기화된다. 단계 S42에서, 좌표(i, j)는 최대값(i_max, j_max)보다 크지 않은지(한 프레임내에 있는지)가 결정된다. 보간된 픽셀의 좌표(i, j)가 최대값(i_max, j_max)보다 크지 않다고 결정되는 경우(프레임내에 있음), 공정은 단계 S43으로 진행된다.

단계 S43에서, 좌표(i, j)에서의 픽셀의 신뢰도 p(i,j)가 특정 기준값보다 작은지를 결정한다. 신뢰도(p)가 특정 기준값보다 적은 것으로 결정되는 경우(픽셀은 정보가 부족함), 공정은 단계 S44로 진행된다. 신뢰도 p(i, j)가 특정값보다 적지 않은 경우, 픽셀은 정보가 부족하지 않으므로, 보간 공정은 불필요하다. 공정은 단계 S55로 진행된다. 좌표(i, j)는 증가된다. 공정은 다음으로 단계 S42로 복귀하고 처리될 다른 픽셀을 설정하며, 동일한 공정이 수행된다.

단계 S44에서, 변수 "counter" 및 "sum"은 0으로 설정된다. 단계 S45에서, 참조 프레임(fr+1번째 프레임)내의 참조된 픽셀의 좌표(i_x, j_y)는 (i-range, j-range)로 초기화된다. 참조된 픽셀 영역은 특정 길이, 2x 범위,를 갖는 변을 갖는 정방형이며, 좌표(i, j)에서 중심을 갖는다. 그러므로, (i-range, j-range)는 참조된 영역의 좌측 상단 모서리에서의 픽셀을 표시한다.

단계 S46에서, 보간부(7)는 좌표(i_x, j_y)에서의 픽셀의 신뢰도 p(i_x, j_y)가 0보다 큰지를 결정한다. 신뢰도가 0보다 큰 것이 결정된 경우(즉 픽셀이 그 정보(픽셀 값)을 정보가 부족한 픽셀로 복제하기 위한 소스 픽셀에 적합함), 공정은 단계 S47로 진행된다. 신뢰도(p)가 0인 경우, 픽셀은 복사-소스 픽셀로서 부적합하다. 그러므로 공정은 단계 S56으로 진행된다. 좌표(i_x, j_y)는 증가되고 공정은 단계 S46으로 복귀되어 다른 픽셀이 처리되로록 설정된다.

단계 S47에서, L((i_x, j_y), (i, j))이 값이 변수 "sum"에 가산되고, L((i_x, j_y), (i, j))는 좌표(i_x, j_y)에서의 픽셀이 보간될 픽셀(i, j)에 대한 복사-소스 픽셀로서 적합한지를 도시하는 함수로서 표시되며, 아래와 같이 표현된다.

L((i_x, j_y), (i, j))

= p(i_x, j_y) x Exp(-D1((i_x, j_y), (i, j))/a - D2((i_x, j_y), (i, j)/b))

여기서 p(i_x, j_y)는 참조된 픽셀의 신뢰도를 표시하며, D1((i_x, j_y), (i, j))는 좌표 (i_x, j_y)와 (i, j) 사이의 간격을 표시하며, D1((i_x, j_y), (i, j))는 (i_x, j_y)와 (i, j)의 픽셀값들 사이의 차이를 표시한다.

단계 S48에서, 그 픽셀값이 적절한 복사-소스 픽셀로 간주되는 참조된 픽셀의 좌표(i_x, j_y)와 보간될 픽셀의 좌표(i, j) 사이의 차이(i_x-i, j_y-j)(움직임 벡터)가 계산된다. 계산된 값들(움직임 벡터)은 참조된 영역내의 픽셀의 일련 번호 "counter"를 갖는 어레이 iv_hist[counter]내에 배치된다. 동일한 방식으로, 변수 "sum"은 참조된 영역내의 픽셀의 일련 번호 "counter"를 갖는 어레이 sum_hist[counter]내에 배치된다.

단계 S49에서, 참조된 픽셀의 좌표(i_x, j_y)가 (i+range, j+range)보다 작은지(참조되지 않은 픽셀이 참조된 영역내에 있는지)가 결정된다. 이들이 작지 않음이(참조된 영역내의 모든 픽셀이 참조됨) 결정된 경우, 공정은 단계 S50으로 진행된다. 참조되지 않은 픽셀이 존재한다면, 공정은 단계 S57로 진행되고 변수 "counter"는 증가한다. 공정은 다음으로 단계 S56으로 진행된다. 좌표(i_x, j_y)는 증가된다. 단계 S46으로부터의 공정이 수행되어 다른 픽셀이 처리되도록 설정된다.

단계 S50에서, 변수 "sum" 및 "counter"가 0보다 큰지가 결정된다. "sum" 및 "counter" 모두가 0보다 크다(복사 소스에 적합한 픽셀이 참조된 영역내에 있음)고 결정된 경우, 공정은 단계 S51로 진행된다. "sum"과 "counter" 중 적어도 하나가 0인 경우, 복사 소스에 적합한 픽셀이 참조된 영역내에는 없으므로, 공정은 단계 S58로 진행된다. 좌표(i_x, j_y)의 신뢰도(p)는 0으로 설정되고, 공정은 단계 S55로 진행된다. 좌표(i_x, j_y)는 증가되고, 단계 S42로부터의 공정이 수행되고 다른 픽셀이 처리되도록 설정된다.

단계 S51에서, 변수 "sum_thres"는 변수 "sum"에 임의 수(0 내지 1)를 곱한 것으로 정의된다. 다시 말하면, 임계값은 임의의 수를 사용함으로써 정의된다. 단계 S52에서, 변수 "counter"는 0으로 초기화된다.

단계 S53에서, 어레이 sum_hist[counter]의 값이 단계 S51에서 임의로 정의된 sum_thes(임계값)보다 큰지(복사-소스 픽셀로서 부적합한지)가 결정된다. 어레이 sum_hist[counter]가 sum_thres보다 크지 않다면(복사-소스 픽셀로서 부적절함), 공정은 단계 S59로 진행된다. 변수 "counter"는 증가되고 공정은 단계 S53으로 복귀한다. 단계 S47에서 설명된 것처럼, 처리된 값들은 변수 "sum"내에 순차적으로 누산되므로, 변수 "counter"는 커질 경우, sum_hist[counter]의 값 또한 커진다. 결과적으로, sum_hist[counter]의 값이 sum_thres의 값보다 커질 확률이 증가한다.

어레이 sum_hist[counter]의 값이 sum_thres보다 큰 경우(복사-소스 픽셀로서 적합), 공정은 단계 S54로 진행된다. 단계 S54에서, 어레이 "iv_hist[counter]"의 신뢰도 및 움직임 벡터는 보간될 픽셀의 신뢰도 p(i, j) 및 움직임 벡터 V1(i, j)로서 복사된다. 다음으로, 단계 S55에서, 좌표(i j)는 증가된다. 공정은 단계 S42로 복귀되고 순차 공정이 수행된다.

단계 S42에서, (i, j)가 최대값(imax, jmax)보다 큰 경우(프레임내에 있지 않음)(다시 말하면, 프레임내의 모든 픽셀이 처리됨), 보간 공정이 종료되고 공정은 도 2의 단계 S7로 복귀한다.

상술한 방식에서, (fr+1)번째 프레임에 대응하는 4차 움직임 분포 화상이 도 3에 도시된 것처럼 비편향 추정을 이용한 보간 공정에 의해 생성되었다. (fr+1)번째 프레임에 대응하는 4차 움직임 분포 화상은 최종 움직임 분포 화상으로서 출력되고, (fr+1)번째 프레임에 대응하는 1차 분포 화상을 갱신하고, (fr+1)번째 프레임에 대응하는 2차 움직임 분포 화상을 생성하는데 이용된다. 도 2에 도시된 흐름도가 아래에 다시 설명된다.

보간 공정이 상술한 방식으로 수행된 이후에, 단계 S8에서 fr이 1씩 증가하고, 공정은 단계 S2로 복귀한다.

단계 S2 및 S3에서, 상술한 공정은 동일한 방식으로 수행된다. 단계 S4에서, fr이 0이 아니므로, 공정은 단계 S5로 진행되고, 갱신부(5)는 갱신 공정을 수행한다. 갱신 공정의 상세한 것은 도 9를 참조로 아래에 설명된다.

단계 S71에서, 갱신될 픽셀의 좌표(i, j)는 (0, 0)으로 초기화된다. 단계 S72에서, (i, j)가 최대값(imax, jmax)보다 크지 않은지(한 프레임내에 있는지)가 결정된다. (i, j)가 최대값(imax, jmax)보다 크지 않다면(프레임내에 있다면), 공정은 단계 S73으로 진행된다.

단계 S73에서, 보간부(7)로부터 전송된 (k+1)의 fr(최초 k = 0)을 갖는 정지 화상에 대응하는 4차 움직임 분포 화상의 데이타 어레이 pre[i, j]의 신뢰도(p)는 변수 pp로 설정된다. 동일한 방식으로, 보간부(7)로부터 전송된 (k+1)의 fr을 갖는 정지 화상에 대응하는 1차 움직임 분포 화상의 데이타 어레이 cur[i, j]의 신뢰도(p)는 변수 cp로 설정된다.

단계 S74에서, 변수 pp가 변수 cp보다 더 큰지가 결정된다. pp가 cp보다 크다고 결정된 경우(4차 움직임 분포 화상의 신뢰도(p)가 1차 움직임 분포 화상의 신뢰도보다 더 큼), 공정은 단계 S75로 진행된다. pp가 cp보다 크지 않다고 결정된 경우(1차 움직임 분포 화상의 신뢰도(p)가 4차 움직임 분포 화상이 신뢰도보다 더 큼), 움직임 벡터는 갱신되지 않고 공정은 단계 S76으로 진행된다. 좌표(i, j)는 증가되고 공정은 단계 S72로 복귀하여 다른 픽셀이 처리되도록 설정된다.

단계 S75에서, 1차 움직임 분포 화상의 움직임 벡터와 4차 움직임 분포 화상의 움직임 벡터의 가중 평균은 (k+1)번째 프레임에 대응하는 2차 움직임 분포 화상의 움직임 벡터를 수용해서 설정하도록 "pp" 및 "cp"를 이용한 아래의 수식으로부터 계산된다.

2차 움직임 분포 화상의 움직임 벡터

= (pre[i, j]의 움직임 벡터) x {pp/(pp+cp)}

+ (cur[i, j]의 움직임 벡터) x {cp/(pp+cp)}

단계 S72에서, (i, j)가 최대값(imax, jmax)보다 더 큰지가 결정된 경우, 갱신 처리가 종료되고 공정은 도 2의 단계 S5로 복귀한다.

상술한 방식에서, 2차 움직임 분포 화상이 도 3에 도시된 갱신 처리에 의해 얻어진다.

상술한 화상 처리 장치에 의해 얻어진 움직임 분포 화상이 종래 방법에 의해 얻어진 것과 비교된다. 도 10a는 본 발명이 적용되는 화상 처리 장치에 의해 얻어진 움직임 분포 화상을 도시한다. 도 10b는 종래의 방법인 최대 개연성 추정에 따라 얻어진 움직임 분포 화상을 도시한다. 동일한 화상(모델 트럭이 고정된 탁자위에서 좌측 방향으로 움직임)이 두 방법으로 처리된다. 도 10a에서, 최상단 화상으로부터 시작하여, fr=0을 갖는 정지 화상에 대응하는 1차 움직임 분포 화상, fr=1을 갖는 정지 화상에 대응하는 3차 움직임 분포 화상, 및 fr=4를 갖는 정지 화상에 대응하는 3차 움직임 분포 화상이 도시된다. 이러한 화상내의 픽셀의 밀도는 수평 방향(화상의 촤측 방향)의 움직임 벡터의 크기를 표시한다.

도 10b에 도시된 화상에서, 모델 트럭의 궤적은 점차 흐려지며, 모델 아래에 고정된 탁자의 픽셀은 (움직임을 표시하는)일정 농도를 갖는다. 반면에, 도 10a에 도시된 화상에서, 정보는 fr이 증가함에 따라 누적된다. 그러므로 모델 트럭의 궤적은 명확해지고 고정된 부분(탁자)의 픽셀의 농도는 감소된다. 다르게 말하면, 상대적인 콘트라스트는 화상의 고정부와 화상의 움직임 부 사이에서 증가한다. 그러므로, 도 10a는 정확도에 있어서 오차가 적은 움직임 분포 화상을 도시함에 결정된다.

이렇게 얻어진 정확한 움직임 분포 화상에 있어서, 움직임 부의 화상이 얻어지고 트레이스 될 수 있으며, 움직임 추정이 가능해진다.

도 11a 내지 11d를 참조로, 화상이 축도되는 경우, 픽셀의 움직임 벡터(화상의 수평 성분)은 도 11d에 도시된 것과 같은 화상의 중심쪽으로 향하는 방향을 가지며, 그 위치가 일정 라인으로부터 벗어남에 따라 증가하는 크기를 갖는다. 도 11A는 나비의 화상을 표시하는 소스 데이타를 기초로 한 화상을 도시한다. 도 11B는 도 11A이 화상의 축소를 도시하는데, 여기서 도 11b는 fr=1에 대응하는 3차 움직임 분포 화상이다. fr=4에 대응하는 3차 움직임 분포 화상을 도시하는 도 11c에서, 화상내이 픽셀의 농도는 좌단에서 우단으로 감에 따라 점차 진해진다. 다시 말하면, 좌단에서 우단으로 위치가 움직임에 따라 좌측 방향이 포지티브로 설정되는 경우 움직임 벡터는 네가티브에서 포지티브로 그 방향이 연속적으로 변한다. 그 속성은 도 11d에 도시된 것과 유사하다. 그러므로, 본 발명의 화상 처리 장치는 줌 기능을 위한 움직임 추정을 수행하는데 이용될 수 있다.

본 발명에서 수평적 움직임만이 예로서 사용되었지만, 본 발명은 수직 축과 같은 다른 축을 따른 움직임에도 동일하게 적용될 수 있다. 또한, 본 발명은 깊이를 표시하는 파라미터의 추정에도 적용될 수 있다.

본 발명을 설명하기 위해서 4차 움직임 분포 화상이 최종 움직임 분포 화상으로서 출력되지만, 다른 움직임 분포 화상, 즉 1차, 2차 또는 3차 움직임 분포 화상이 최종 움직임 분포 화상으로서 출력될 수 있다.

상술한 처리 각각을 이용하는 컴퓨터 프로그램이 인터넷 및 디지털 위성과 같은 네트워크 매체를 통해 사용자에게 제공될 수 있다. 또한, 자기 디스크, CD-ROM, RAM, 자기 테이프 또는 DVD와 같은 프로그램 기억 장치 또는 정보 기록 매체가 그러한 컴퓨터 프로그램을 구현하는데 이용될 수 있다. 그러한 컴퓨터 프로그램은 본 발명에 따른 움직임을 추정하기 위한 방법 단계를 수행하기 위한 장치에 의해 수행될 수 있다.

상술한 것처럼, 본 발명의 화상 처리 장치, 화상 처리 방법 및 기록 매체에 따르면, 움직임 추정이 비편향 추정을 이용함에 의한 픽셀 단위로 수행되므로, 움직임 추정의 공간 해상도는 증가되고, 강건성이 보장된다.

일정 실시예만이 상세한 설명에서 설명되었지만, 당업자라면 그 기술 내용으로부터 벗어나지 않고 다양한 개조가 가능함을 명백히 이해할 것이다. 모든 그러한 개조는 아래의 청구 범위내에서 포괄됨이 의도된다.

Claims

복수의 화상을 포함하는 동화상의 움직임을 추정하는 방법에 있어서,

k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 상기 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 단계 - 상기 k번째 화상에 대응하는 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 생성하도록 적어도 상기 (k+1)번째 화상으로부터 상기 (k+1)번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 단계 - 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신하는 단계;

상기 (k+1)번째 화상에 대응하는 상기 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 단계; 및

상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+2)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 보간하는 단계 - 상기 k는 정수 -

를 포함하되,

상기 갱신 단계는 상기 k번째 화상으로부터 생성된 상기 1차 움직임 분포 화상보다 더 높은 차수를 이용하여 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 갱신하는 것을 특징으로 하는 동화상 움직임 추정 방법.
제1항에 있어서, 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상이 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상인 것을 특징으로 하는 동화상 움직임 추정 방법.
제1항에 있어서, 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상은 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상이며,

k번째 화상에 대응하는 상기 1차 움직임 분포 화상으로부터 (k+1)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 단계; 및

(k+1)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 (k+1)번째 3차 움직임 분포 화상을 보간하는 단계

를 더 포함하는 것을 특징으로 하는 동화상 움직임 추정 방법.
제1항에 있어서,

상기 예측 단계는 픽셀이 (k+1)번째 화상에 대응하는 2차 화상과 동일한 속도로 움직인다는 가정하에 (k+1)번째 화상에 대응하는 2차 화상으로부터 (k+2)번째 화상에 대응하는 움직임 분포 화상을 예측하는 것을 특징으로 하는 동화상 움직임 추정 방법.
제1항에 있어서,

상기 움직임 파라미터는 움직임 벡터 및 신뢰도 표시를 포함하는 것을 특징으로 하는 동화상 움직임 추정 방법.
제5항에 있어서,

상기 갱신 단계는 상기 k번째 화상으로부터 생성된 1차 및 1차 보다 더 높은 차수의 움직임 분포 화상의 신뢰도에 따라서 각각의 픽셀에 대해 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 표시하는 움직임 벡터와 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상을 표시하는 움직임 벡터를 결합하는 것을 특징으로 하는 동화상 움직임 추정 방법.
제6항에 있어서, k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상은 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상인 것을 특징으로 하는 동화상 움직임 추정 방법.
복수의 화상을 포함하는 동화상의 움직임을 추정하기 위한 장치에 있어서,

k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 상기 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 수단 - 상기 k번째 화상에 대응하는 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 적어도 상기 (k+1)번째 화상으로부터 상기 (k+1)번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 수단 - 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신하는 수단;

상기 (k+1)번째 화상에 대응하는 상기 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 수단; 및

상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+2)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 보간하는 수단 - 상기 k는 정수 -

를 포함하되,

상기 갱신 수단은 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상을 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제8항에 있어서, k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상이 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상인 것을 특징으로 하는 동화상 움직임 추정 장치.
제8항에 있어서, 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상은 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상이며,

상기 예측 수단은 k번째 화상에 대응하는 상기 1차 움직임 분포 화상으로부터 (k+1)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하며;

상기 보간 수단은 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 (k+1)번째 3차 움직임 분포 화상을 보간하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제8항에 있어서,

상기 예측 수단은 픽셀이 (k+1)번째 화상에 대응하는 2차 화상과 동일한 속도로 움직인다는 가정하에 (k+1)번째 화상에 대응하는 2차 화상으로부터 (k+2)번째 화상에 대응하는 움직임 분포 화상을 예측하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제8항에 있어서,

상기 움직임 파라미터는 움직임 벡터 및 신뢰도 표시를 포함하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제12항에 있어서,

상기 갱신 수단은 상기 k번째 화상으로부터 생성된 1차 및 1차 보다 더 높은 차수의 움직임 분포 화상의 신뢰도에 따라서 각각의 픽셀에 대해 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 표시하는 움직임 벡터와 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상을 표시하는 움직임 벡터를 결합하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제13항에 있어서, 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상은 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상인 것을 특징으로 하는 동화상 움직임 추정 장치.
복수의 화상을 포함하는 동화상의 움직임을 추정하기 위한 장치에 있어서,

k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하기 위한 회로 - 상기 k번째 화상에 대응하는 상기 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터에 의해 표시됨 - ;

(k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 생성하도록 적어도 (k+1)번째 화상으로부터 (k+1)번째의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 회로 - (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터에 의해 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 갱신하는 회로;

(k+1)번째 화상에 대응하는 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 수단; 및

상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 보간하는 회로

를 포함하되,

상기 갱신 회로는 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상을 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제15항에 있어서, 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상은 상기 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상인 것을 특징으로 하는 동화상 움직임 추정 장치.
제15항에 있어서, 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상은 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상이며,

상기 예측 회로는 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상으로부터 상기 k번째 화상에 대응하는 3차 움직임 분포 화상을 예측하며,

상기 보간 수단은 상기 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 3차 움직임 분포 화상을 보간하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제15항에 있어서,

상기 예측 회로는 픽셀이 (k+1)번째 화상에 대응하는 2차 화상과 동일한 속도로 움직인다는 가정하에 (k+1)번째 화상에 대응하는 2차 화상으로부터 (k+2)번째 화상에 대응하는 움직임 분포 화상을 예측하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제15항에 있어서, 상기 움직임 파라미터는 움직임 벡터 및 신뢰도 표시를 포함하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제19항에 있어서,

상기 갱신 회로는 상기 k번째 화상으로부터 생성된 1차 및 1차 보다 더 높은 차수의 움직임 분포 화상의 신뢰도에 따라서 각각의 픽셀에 대해 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 표시하는 움직임 벡터와 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상을 표시하는 움직임 벡터를 결합하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제20항에 있어서, 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상은 상기 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상인 것을 특징으로 하는 동화상 움직임 추정 장치.
복수의 화상을 포함하는 동화상의 움직임을 추정하기 위한 장치에 있어서,

k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 제1 추정기 - 상기 k번째 화상에 대응하는 상기 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터에 의해 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 적어도 상기 (k+1)번째 화상으로부터 상기 (k+1)번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 제2 추정기 - 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터에 의해 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 갱신하는 갱신기;

상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 예측기; 및

상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+2)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 보간하는 보간기 - 상기 k는 정수 -

를 포함하되, 상기 갱신기는 상기 k번째 화상으로부터 생성된 상기 1차 보다 높은 차수의 움직임 분포 화상을 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제22항에 있어서, 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상은 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상인 것을 특징으로 하는 동화상 움직임 추정 장치.
제22항에 있어서, 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상은 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상이며,

상기 예측기는 상기 k번째 화상에 대응하는 1차 움직임 분포 화상으로부터 (k+1)번째에 대응하는 3차 움직임 분포 화상을 예측하며,

상기 보간기는 상기 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 (k+1)번째 3차 움직임 분포 화상을 보간하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제22항에 있어서,

상기 예측기는 픽셀이 (k+1)번째 화상에 대응하는 2차 화상과 동일한 속도로 움직인다는 가정하에 (k+1)번째 화상에 대응하는 2차 화상으로부터 (k+2)번째 화상에 대응하는 움직임 분포 화상을 예측하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제22항에 있어서, 상기 움직임 파라미터는 움직임 벡터 및 신뢰도 표시를 포함하는 것을 특징으로 하는 동화상 움직임 표시 장치.
제26항에 있어서, 상기 갱신기는 상기 k번째 화상으로부터 생성된 1차 및 1차 보다 더 높은 차수의 움직임 분포 화상의 신뢰도에 따라서 각각의 픽셀에 대해 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 표시하는 움직임 벡터와 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상을 표시하는 움직임 벡터를 결합하는 것을 특징으로 하는 동화상 움직임 추정 장치.
제27항에 있어서, 상기 k번째 화상으로부터 생성된 1차보다 더 높은 차수의 움직임 분포 화상은 상기 (k+1)번째 화상에 대응하는 4차 움직임 분포 화상인 것을 특징으로 하는 동화상 움직임 추정 장치.
동화상의 움직임을 추정하기 위한 방법의 단계들을 수행하도록 기계 장치에 의해 수행가능한 명령들인 프로그램을 구현하는, 상기 기계 장치에 의해 판독가능한 프로그램 기억 장치에 있어서, 상기 방법은

k번째 화상에 대응하는 1차 움직임 분포 화상을 생성하도록 상기 k번째 화상 및 (k+1)번째 화상으로부터 k번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 단계 - 상기 k번째 화상에 대응하는 1차 움직임 분포 화상은 상기 k번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 생성하도록 적어도 상기 (k+1)번째 화상으로부터 상기 (k+1)번째 화상의 각각의 픽셀에 대응하는 움직임 파라미터를 추정하는 단계 - 상기 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상은 상기 (k+1)번째 화상의 픽셀에 대응하는 움직임 파라미터로 표시됨 - ;

상기 (k+1)번째 화상에 대응하는 2차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 갱신하는 단계;

상기 (k+1)번째 화상에 대응하는 상기 2차 움직임 분포 화상으로부터 (k+2)번째 화상에 대응하는 3차 움직임 분포 화상을 예측하는 단계; 및

상기 (k+2)번째 화상에 대응하는 4차 움직임 분포 화상을 생성하도록 상기 (k+2)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 보간하는 단계 - 상기 k는 정수 -

를 포함하되,

상기 갱신 단계는 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상을 이용하여 (k+1)번째 화상에 대응하는 1차 움직임 분포 화상을 갱신하는 것을 특징으로 하는 프로그램 기억 장치.
제29항에 있어서, 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상은 상기(k+1)번째 화상에 대응하는 상기 4차 움직임 분포 화상인 것을 특징으로 하는 프로그램 기억 장치.
제29항에 있어서, 상기 k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상은 상기(k+1)번째 화상에 대응하는 상기 4차 움직임 분포 화상이며, 상기 방법 단계는

상기 k번째 화상에 대응하는 상기 1차 움직임 분포 화상으로부터 (k+1)번째 화상에 대응하는 상기 3차 움직임 분포 화상을 예측하는 단계; 및

상기 (k+1)번째 화상에 대응하는 상기 4차 움직임 분포 화상을 생성하도록 상기 (k+1)번째 3차 움직임 분포 화상을 보간하는 단계

를 포함하는 것을 특징으로 하는 프로그램 기억 장치.
제29항에 있어서,

상기 예측 단계는 픽셀이 (k+1)번째 화상에 대응하는 상기 2차 화상과 동일한 속도로 움직인다는 가정하에 (k+1)번째 화상에 대응하는 상기 2차 화상으로부터 (k+2)번째 화상에 대응하는 움직임 분포 화상을 예측하는 것을 특징으로 하는 프로그램 기억 장치.
제29항에 있어서, 상기 움직임 파라미터는 움직임 벡터 및 신뢰도 표시를 포함하는 것을 특징으로 하는 프로그램 기억 장치.
제33항에 있어서,

상기 갱신 단계는 상기 k번째 화상으로부터 생성된 1차 및 1차 보다 더 높은 차수의 움직임 분포 화상의 신뢰도에 따라서 각각의 픽셀에 대해 상기 (k+1)번째 화상에 대응하는 상기 1차 움직임 분포 화상을 표시하는 움직임 벡터와 상기 k번째 화상으로부터 생성된 1차 보다 더 높은 차수의 움직임 분포 화상을 표시하는 움직임 벡터를 결합하는 것을 특징으로 하는 프로그램 기억 장치.
제34항에 있어서, k번째 화상으로부터 생성된 상기 1차 보다 더 높은 차수의 움직임 분포 화상은 (k+1)번째 화상에 대응하는 상기 4차 움직임 분포 화상인 것을 특징으로 하는 프로그램 기억 장치.