KR100614522B1

KR100614522B1 - 비디오 정보를 압축하기 위한 장치 및 방법

Info

Publication number: KR100614522B1
Application number: KR1020007005298A
Authority: KR
Inventors: 트루옹 큐. 응구옌; 조엘 로시엔
Original assignee: 안테온 코포레이션
Priority date: 1997-11-14
Filing date: 1998-11-13
Publication date: 2006-08-22
Also published as: WO1999026418A1; CA2310602C; AU1457799A; CA2310602A1; CN1281618A; EP1031238A4; KR20010032113A; AU752219B2; JP2001523928A; JP2008289132A; JP4675477B2; CN1190084C; EP1031238A1

Abstract

비디오 이미지를 나타내는 데이터를 유효하게 인코딩하여 디코더에 전달되어야만 하는 데이터의 양을 감소시키기 위한 방법 및 장치가 기술된다. 방법은 한 서브밴드로부터 다른 서브밴드로 나머지들을 전송할 수 있는 텐서 곱 웨이브릿 변환을 사용하는 데이터 세트들을 변환하는 것을 포함한다. 서브밴드의 모음들은 매크로-블록의 형태로 가중되고, 검출되고, 랭크되어 변환된 데이터의 우선순위 결정을 가능하게 한다. 동작 보상 기술은 디코더에 전송하기 위해 비트 스트림 패킷들로 위치 인코딩되는 동작 벡터들 및 예측 오류들을 발생시키는 서브밴드 데이터상에서 수행된다. 제로인 서브밴드 매크로-블록들 및 서브밴드 블록들은 디코더에 전달되어야만 하는 데이터의 양을 더 감소시키기 위해 비트 스트림 패킷들에서 그것만으로 식별된다.

Description

비디오 정보를 압축하기 위한 장치 및 방법{APPARATUS AND METHOD FOR COMPRESSING VIDEO INFORMATION}

본 출원은 본문에 참고로 인용되는, 1997년 11월 14일자 출원된 가특허 출원 제60/066,638호의 우선권혜택을 주장한다.

본 발명은 일반적으로 비디오 정보를 인코딩 및 디코딩하기 위한 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명은 변환 영역에서의 이동 추정 및 이동 예측을 위한 장치 및 방법에 관한 것이다.

전송 채널들 상의 유효한 제한 대역폭 때문에, 제한된 수의 비트들만이 오디오 및 비디오 정보를 인코딩하기에 유효하다. 비디오 인코딩 기술은 해당 적용물에 요구된 이미지 질을 여전히 유지하면서 가능한한 적은 비트를 가지고 비디오 정보를 인코딩하려 시도하고 있다. 그러므로, 비디오 압축 기술은 중복 정보를 제거하고 원래 이미지에 대한 근사값이 중요한 특징의 최소 손실만을 보유하고 재구성될 수 있는 최소 수의 비트들을 갖는 나머지 정보를 표시하여 비디오 신호를 전송하는데 필요한 대역폭을 감소시키기 위해 시도하고 있다. 이런 식으로, 압축된 데이터는 원래 이미지 데이터보다 효율적인 방식으로 저장되거나 또는 전송될 수 있다.

비디오 신호들로부터 통계적인 중복값을 제거하므로써 코딩 효율을 개선시키는 다수의 비디오 인코딩 기술들이 있다. 다수의 표준 이미지 압축 기법은 이산 코사인 변환(DCT) 같은 입력 이미지의 블록 변환을 기초로 한다. 예를 들면, 동 화상 전문가 그룹에 의해 개발되어 잘 공지되어 있는 MPEG 비디오 인코딩 기술은 (DCT의 사용을 통한)공간 영역의 화소들(펠(pel)) 사이의 상관 관계(correlation) 및 (예측 및 동작 보상의 사용을 통한)시간 영역의 이미지 프레임들 사이의 상관관계를 사용하여 유효 비트 레이트 감소를 달성한다.

잘 알려진 직교(orthogonal) 및 바이-오쏘고널(bi-orthogonal) (서브밴드(subband)) 변환 기반 인코딩 시스템(래핑된 직교 변환(lapped orthogonal transforms)을 포함하여)에 있어, 이미지는 그 이미지를 제1 블로킹할 필요없이 변환된다. 변환 인코더는 이미지를 제1 블로킹할 필요없이 DCT를 기초로 한다. DCT를 기초로한 변환 인코더들은 기본적으로 두가지 이유때문에 이미지를 블로킹한다: 1)경험은 DCT가 이미지의 8 x 8영역 상의 공지된 최적 변환(카우엔-루오베(Kahunen-Luove'))에 대한 우수한 근사치 또는 차 이미지의 시퀀스인 것을 보여줬고; 2)DCT의 처리는 0(N log N)이 되고 이미지의 블로킹을 통해 계산 결과가 한정된다.

최종 결과는 다른 방법으로 향상되지 않는다면 DCT 기반 수단이 이미지의 8x8 영역(또는 그 외부의 제로)에 의해 조밀하게 지지되는 기초 함수들을 갖는 것이다. 직교 및 바이-오쏘고널 변환은 고려하에 이미지의 유한 간격으로 우세하게 지지되지만 이웃 공간 영역들과 범위를 공유하는 기본 요소를 가진다. 실예로, 서 브밴드 이미지 인코딩 기술은 필터들의 세트를 사용하여 입력 이미지를 다수의 공간 주파수 밴드들로 분할하여 각각의 밴드 또는 채널을 양자화 시킨다. 서브밴드 이미지 인코딩 기술의 상세한 기술은 "씨. 포딜척(C. Podilchuck) 및 에이. 잭퀸(A. Jacquin)의 Subband Video Coding With Dynamic Bit Allocation and Geometric Vector Quantization, SPIE Vol.1666 Human Vision, Visual Processing, and Digital Display Ⅲ, pp.241-52(1992년 2월)"을 참고할 수 있다. 서브밴드 인코딩 처리의 각각의 단에서, 신호는 이미지의 저역 통과 근사값, 및 이 근사값을 만듦으로써 손실된 세부값을 표시하는 고역 통과 항으로 분할된다.

게다가, DCT 기반 변환 인코더들은 기본 요소들이 전체 8 x 8 블록을 통해 연장되는 지지체를 갖는 점에서 이동 불변이다. 이것은 동작 보상이 변환 영역에서 유효하게 실행되는 것을 방지한다. 그러므로, 사용시에 대부분의 동작 보상 기술은 8 x 8 블복 상에 코딩된 변환인 오류 항을 형성하도록 일시적으로 인접 이미지 프레임들을 사용한다. 결과적으로, 이런 기술들은 기준 프레임을 주파수 영역에서 시간영역으로 제공하기 위해 실행되도록 역변환을 필요로 한다. 이런 시스템들의 실시예들은 스즈키 등에 허여된 미국 특허 제5,481,553호 및 무라카미 등에게 허여된 미국 특허 제5,025,482호에서 발견된다.

도1은 DCT를 사용하는 선행 기술 표준 비디오 압축 수단의 단순화된 블록 다이어그램을 도시한다. 블록(10)에서, 이미지 시퀀스의 변화는 예측 모드에 있을 때 MPEG에 사용된 하나의 기술 같은 동작 검출 기술들을 통해 유효하게 표현된다. 특히, 선행 프레임은 기준 프레임으로 사용되며 후속 프레임은, 전방 예측에서, 선 행 프레임에 대해 비교되어 시간 중복을 제거하고 정도에 따라 이들 사이의 차이를 랭크시킨다. 이런 단계는 후속 프레임의 동작 예측을 위해 단을 설정하고 후속 프레임의 데이터 크기를 또한 감소시킨다. 블록(12)에서, 이미지의 부분들이 이동되는 것에 관하여 결정이 이루어진다.

블록(10)에 의해 제공된 데이터 세트를 사용하는 MPEG 실시예를 계속하면, 내부프레임 동작 예측은 동작 보상 기술을 기준 프레임 및 후속 프레임에 적용하므로써 실행된다. 결과적인 예측치는 후속 프레임으로부터 감산되어 예측 오류/프레임을 발생시킨다. 이후, 블록(14)에서, 변화들은 특징으로 전환된다. MPEG에서, 이것은 2차원 8 x 8 DCT를 사용하여 예측 오류를 압축시키므로써 실행된다.

DCT 또는 서브밴드 인코더들에 기초한 대부분의 비디오 압축 기술은 변환 단에서 정밀도의 손실없이 비디오 정보를 인코딩하려 시도하는 고 정밀 기술에 집중된다. 그러나, 이런 고 정밀 정밀 인코딩 기술은, 부동 소수점 산술연산의 조작을 보조하기 위한 전용 하드웨어를 가지므로써 고도의 정밀도를 유지하기 위해 불리한 조건을 감소시키는, 인텔사의 PENTIUM 프로세서 같은 상대적으로 값비싼 마이크로프로세서들에 의존한다.

그러나, 다수의 적용에 있어서, 이런 상대적으로 값비싼 하드웨어가 실용적이거나 정당화되지 않는다. 그러므로, 수용가능한 이미지 질 수준을 유지시키는 보다 낮은 비용 실현이 또한 필요하다. 보다 저가의 하드웨어에서 실현될 수 있는 공지된 제한된 정밀 변환은, 그러나, 인코딩 처리의 "로시(lossy)" 특징의 결과로서 감소된 정밀도를 표시하는 경향이 있다. 본문에 사용된 바와 같이, 인코더의 다양한 단들을 통해 정밀도를 손실하여 디코딩시 변환 계수들로부터 입력을 실질적으로 재구성하는 능력을 결핍하는 시스템을 칭한다. 이런 저 정밀 변환에 의해 표시된 감소된 정밀도에 대해 보상을 할 수 없는것은 이런 변환들의 사용에 대해 장애가 되었다.

전술한 것에 비추어, 변환 영역의 동작 보상을 이행하여 인코더의 역변환의 필요를 제거하고 소프트웨어 및 하드웨어 장치를 위한 단순한 제어 구조를 가능하게 하는 비디오 인코더가 필요하다. 저비용 하드웨어 및 고속 소프트웨어 장치를 가능하게 하는 제어 구조를 포함하는 저 정밀 구현에 적절한 종류의 변환을 갖는 비디오 인코더가 당분야에서 또한 필요하다.

발명의 요약

본 발명은 데이터를 압축하기 위한 신규하고 독특한 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명의 장치 및 방법은 실예로 비디오 이미지를 나타내는 데이터를 보다 유효하게 인코딩하여 디코더에 전송되어야만 하는 데이터의 양을 감소시키기에 적합하게 형성된다. 본원에 기재된 용어 '데이터 세트'는 이러한 비디오 이미지의 집합을 나타내는 것으로서, 이하 데이터 간의 차이를 구별하기 위해 '제1 데이터 세트'와 '제2 데이터 세트'로 표현될 것이다.

본 발명은 제1 데이터 세트 및 제2 데이터 세트를 포함하는 데이터를 압축하는 방법에 관한 것이다. 방법은 제1 및 제2 데이터 세트를 상응하는 제1 및 제2 변환 계수 세트로 변환하는 것을 포함한다. 이후, 제1 및 제2 변환 계수 세트들 사이의 차이를 표시하는 데이터가 발생된다. 이후 발생된 데이터는 디코더에 전송을 위해 인코딩된다.

제1 및 제2 데이터 세트를 변환하는 것은 텐서 곱 웨이브릿 변환(tensor product wavelet transform)을 사용하여 이행될 수 있다. 더욱이, 변환 처리로부터 발생된 나머지들은 한 서브밴드에서 다른 서브밴드로 전송될 수 있다.

제1 및 제2 변환 계수 세트들 사이의 차이를 나타내는 데이터는 제1 및 제2 변환 계수 세트들 사이의 차이를 추정하므로써 발생되어 동작 벡터들을 제공한다. 동작 벡터들은 제1 변환 계수 세트에 적용되어 제2 변환 계수 세트의 예측치를 발생시킨다. 예측치는 제2 변환 계수 세트로부터 감산되어 예측 오류의 세트를 초래한다. 제1 및 제2 변환 계수 세트들은 오류 보정되어 인코더와 디코더 사이의 동기를 보장할 수 있다.

제1 및 제2 변환 계수 세트들 사이의 차이를 추정시에, 검색 영역은 제1 및 제2 변환 계수 세트들 중 하나로부터의 변환 계수들의 서브세트 주위에서 발생된다. 이후에, 관련된 변환 계수들의 서브세트는 제1 및 제2 변환 계수 세트들 중 나머지로부터 검색 영역으로 적용된다. 그후, 관련된 변환 계수들의 서브세트는 최량의 증가 매치를 나타내는 위치까지 검색 영역내에서 점증적으로 트래버스된다. 관련된 서브세트는 그 다음에 최량의 분수 매치(fractional match)를 나타내는 위치까지 검색영역 내에서 분수적으로 트래버스될 수 있다.

제1 데이터 세트 및 제2 데이터 세트를 포함하는 데이터를 압축하는 방법의 다른 실시예는 제1 및 제2 데이터 세트들을 상응하는 제1 및 제2 서브세트들의 집합(collection)들로 변환하는 것을 포함한다. 그 다음에, 서브밴드들의 제1 및 제2 집합들 사이의 차이를 나타내는 데이터를 발생시킨다. 데이터는 실예로, 동작 보상 기술을 수행하여 발생될 수 있다. 동작 보상 기술은 동작 벡터들 및 예측 오류들 같은 출력을 제공할 수 있다. 이후에, 발생된 데이터가 디코더로의 전송을 위해 인코딩된다.

실시예는 서브밴드 매크로-블록 그루핑을 형성하기 위해 제2 집합의 서브밴드 매크로-블록 패킹될 수 있다. 이후에, 발생된 데이터는 이하의 동작 보상 기술을 통해 얻어질 수 있다. 서브밴드의 제1 집합과 서브밴드 매크로-블록 그루핑 사이의 차이는 추정되어 동작 벡터들을 제공한다. 동작 벡터들은 서브밴드들의 제2 집합의 예측치를 발생시키는 서브밴드들의 제1 집합에 적용된다. 예측치는 이후에 예측 오류의 세트를 초래하는 서브밴드들의 제2 집합으로부터 감산된다.

차이는 서브밴드들의 제1 집합과 서브밴드 매크로-블록 그루핑 사이에서 추정될 수 있다. 검색영역은 서브밴드들의 제1 집합으로부터 변환 계수들의 서브세트에 대해 발생된다. 서브밴드 매크로-블록 그루핑으로부터의 관련된 변환 계수들의 서브세트는 검색 영역에 적용된다. 관련된 변환 계수들의 서브세트는 최량의 증가 매치를 나타내는 위치까지 검색 영역내에서 점증적으로 트래버스(traverse)된다. 그 다음에, 관련된 변환 계수들의 서브세트는 최량의 분수 매치를 나타내는 위치까지 검색 영역내에서 분수적으로 트래버스된다.

서브밴드 매크로-블록 패킹 방법은 이미지의 변환으로부터 유도된 서브밴드들의 집합의 서브밴드 블록들을 구성하기 위해 또한 기술된다. 방법은 이미지의 이미지 매크로-블록에 상응하는 서브밴드들의 집합으로부터 관련된 서브밴드 블록들의 세트를 분리하는 것을 포함한다. 관련된 서브밴드 블록들의 세트는 서브밴드 매크로-블록으로서 함께 패킹된다. 관련된 서브밴드 블록들을 분리시키고 패킹하는 단계들은 서브밴드 매크로-블록 그루핑을 형성하기 위해 서브밴드들의 집합의 관련된 서브밴드 블록들의 각각의 세트에 대해 반복된다.

매크로-블록 패킹을 위한 방법은 서브밴드 매크로-블록 내의 관련된 서브밴드 블록들의 세트를 서브밴드 블록들이 서브밴드의 집합에서 점유하는 동일한 상대적 위치에 정렬시키므로써 보다 세분(refined)될 수 있다. 방법은 상응하는 이미지 매크로-블록이 이미지 블록 매크로-블록 그루핑내에 위치됨에 따라 서브밴드 매크로-블록 그루핑내의 서브밴드 매크로-블록을 동일한 공간적 위치에 위치시키는 것을 또한 포함할 수 있다.

매크로-블록 패킹 이후에, 변화는 제1 서브밴드 매크로-블록 그루핑(기준)과 차후의 제2 서브밴드 매크로-블록 그루핑 사이에서 검출될 수 있다. 검출은 이하 일반식에 따른 왜곡 평가에 기초한다:

여기서 e_c = 기준치 R에 대한 상대적인 왜곡의 측정치;

W_i = 적용된 가중치;

G = 제2 서브밴드 매크로-블록 그루핑의 변환 계수들; 및

R = 기준치(실예로, 제1 서브밴드 매크로-블록 그루핑)

왜곡을 평가하기위한 등식의 보다 특성한 형태는 이하 형태:

이다.

본 발명의 다른 실시예는 데이터 세트를 변환 계수들로 변환하는 유한 정밀 방법으로 기술되는데, 여기에서, 데이터 세트는 텐서 곱 웨이브릿 쌍을 사용하여 변환되고 이로부터 나오는 나머지들은 대향 필터 경로에 전달된다. 보다 상세하게는, 실시예가 이미지의 저역 통과 성분 및 고역 통과 성분을 결정하는 것을 포함할 수 있다. 저역 통과 성분은 저역 통과 정규화 출력 및 제1 나머지(rl)를 방생시키도록 정규화된다. 마찬가지로, 고역 통과 성분은 고역 통과 정규화 출력 및 제2 나머지(rh)를 발생시키도록 정규화 된다. 제1 연산(g(rl,rh))이 제1 및 제2 나머지(rl,rh)들에서 수행되고 이로부터 나온 결과들에 가산되어 근사치가 된다. 제2 연산(f(rl,rh))이 제1 및 제2 나머지(rl,rh)들에서 수행되고 이로부터 나온 결과들에 가산되어 세부치가 된다. 나머지의 전달(오류의 전달)은 단지 텐서 곱이 아닌 임의의 변환으로 사용될 수 있음을 인지하는 것은 중요하다.

상기 유한 정밀 방법은 이미지의 과완결 표시를 초래한다. 방법은 실예로, 변환 영역의 이미지를 나타내는 필요하고 충분한 변환 계수들을 얻기위해 고역 및 저역 통과 성분들의 둘씩의 다운샘플링을 포함할 수 있다.

유한 정밀 방법의 실시예는 값 -1,2,6,2,-1을 갖는 저역 통과 필터 및 값 -1,2,-1을 갖는 고역 통과 필터를 포함한다. 제1 연산(g(rl,rh)) 및 제2 연산(f(rl,rh))는 이하 함수:

g(rl,rh)=rh; 및

f(rl,rh)=floor(rh + 1/2), 여기에서 nh = 1/2를 갖는다.

상기를 포함하는 텐서 곱 웨이브릿 변환의 특정 실시예는 이하 형태:

여기에서, X_2i= 입력 데이터;

X_2i-1= 입력 데이터 X_2i에 선행하는 데이터;

X_2i+1= 입력 데이터 X_2i를 뒤따르는 데이터;

D_i= 세부 항(데서메이팅된 고역 통과 필터 출력);

D_i+1= D_i를 뒤따르는 세부 항; 및

A_i= 근사 항(데서메이팅된 저역 통과 필터 출력).

변환 영역의 순차 프레임들 사이의 변화를 예측하기 위한 인코더 장치가 또한 기술된다. 장치들은 프레임들의 시퀀스의 제1 프레임 및 제2 프레임을 수신하도록 형성된 입력을 가지며, 각각이 변환 계수들의 세트를 지지하는 서브밴드의 상응하는 제1 및 제2 집합을 이로부터 발생시키기 위해 추가로 형성되는 변환 장치를 포함한다. 변환장치에 결합된 입력부를 갖는 동작 보상 장치는 서브밴드의 제1 및 제2 집합을 수신하기 위해 형성되며 서브밴드들의 제1 및 제2 집합 사이의 차이를 유효하게 나타내기 위해 추가로 형성된다. 변환 장치에 결합된 입력부 및 동작 보상 장치의 출력에 결합된 입력부를 갖는 차이 블록이 또한 포함된다. 동작보상 장치로부터 수신된 입력은 차이 블록에서 서브밴드들의 제2 집합으로부터 가산되어 예측 오류를 발생시킨다.

동작 보상 장치는 서브밴드들의 제1 및 제2 집합을 비교하기 위해 형성된 동작 추정 장치를 포함한다. 서브밴드들의 제1 및 제2 집합들 사이의 차이를 근사적으로 나타내는 동작 벡터들의 집합이 이로부터 발생된다. 동작 보상 장치는 또한 동작 추정 장치에 결합된 입력을 가지며, 동작 벡터들 및 서브밴드들의 제1 집합을 수신하기 위해 형성되고, 서브밴드들의 제2 집합의 예측치를 나타내는 예측 그루핑을 이로부터 발생시키기 위해 추가로 형성되는 동작 예측 장치를 포함한다. 서브밴드들의 제2 집합의 예측치는 예측 오류를 초래하는 차이 블록에서 서브밴드들의 제2 집합으로부터 감산 된다.

이미지 프레임을 변환 영역으로 변환시키기 위한 유한 정밀 변환 장치가 또한 기술된다. 장치는 병렬로 배치되며 이미지 프레임을 수신하도록 구성된 입력을 공유하는 저역 통과 성분 및 고역 통과 성분을 포함한다. 저역 통과 성분의 출력을 수신하기 위해 형성된 입력을 가지며 저역 통과 정규화 출력 및 제 1 나머지(rl)를 발생시키기 위해 추가로 형성되는 저역 통과 정규화 장치가 포함된다. 고역 통과 정규화 장치는 고역통과 성분의 출력을 수신하기 위해 형성된 입력부를 가지며 고역 통과 정규화 출력 및 제2 나머지(rh)를 발생시키기 위해 추가로 형성된다. 제1 연산 장치는 제1 나머지(rl) 및 제2 나머지(rh)를 수신하기 위해 형성되는 입력을 가지며 제1 연산(f(rl,rh))을 계산하기 위해 추가로 형성되어 제1 연산 결과를 발생시킨다. 제2 연산 장치는 제1 나머지(rl) 및 제2 나머지(rh)를 수신하기 위해 형성된 입력을 가지며 제2 연산(f(rl,rh))을 계산하기 위해 형성되어 제2 연산 결과를 발생시킨다. 게다가, 제1 가산기는 제1 저역 통과 정규화 출력 및 제1 연산 결과를 수신하기 위해 형성된 입력을 가지는데, 제1 가산기는 서브밴드 근사값을 발생시킨다. 유사하게, 제2 가산기는 고역 통과 정규화 출력 및 제2 계산 결과를 수신하기 위해 형성된 입력부를 가지는데, 제2 가산기는 서브밴드 세부값을 발생시킨다.

유한 정밀 변환 장치는 저역 통과 출력의 제1 다운샘플러 및 고역 통과 출력의 제2 다운샘플러를 추가로 포함한다. 둘의 다운샘플링은 입력 이미지를 재구성하기에 충분하고 필요한 변환 계수들을 디코더에 제공한다.

본문에 기술된 장치 및 방법의 이런 그리고 다른 독특한 특징들은 도면들과 결합하여 취해진 이하의 상세한 설명으로부터 보다 용이하게 명백해질 것이다.

본 발명의 대표적인 실시예들이 이하 도면들을 참고로 기술될 것이다.

도 1은 동작 보상이 이미지 영역에서 이행되는 이산 코사인 변환(DCT)를 사용하는 선행기술 표준 비디오 압축 기법의 개략적인 블록 다이어그램이다.

도 2는 동작 보상이 변환 영역에서 이행되기 위한 준비를 포함하는 본 발명의 실시예의 일반적인 배치를 예시하는 개략적인 블록 다이어그램이다.

도 3은 도 2에 예시된 실시예의 보다 상세한 배치의 개략적인 블럭 다이어그램이다.

도4(a)는 이미지 매크로-블록(IMB_X,X)0,0 내지 8,10을 갖는 QCIF이미지를 예시하며 도4(b)는 이미지 프레임이 전방 웨이브릿(wavelet) 변환에 의해 변환되어진 이후 QCIF 이미지의 서브밴드 표현을 예시한다.

도 5(a)는 도 4(b)에 예시되는 것과 같은 QCIF이미지의 서브밴드 표현을 예시하며, 도5(b)는 도5(a)에 예시된 서브밴드 표현으로부터 생성된 서브밴드 매크로-블록들(SMB_X,X)의 집합을 예시하고, 도5(c)는 도5(b)의 서브밴드 매크로-블록들의 구조를 예시하므로써, 서브밴드 매크로-블록(SMB_X,X)들은 도 4(a)의 이들의 관련된 이미지 매크로-블록들(IMB_X,X)과 공간적으로 상응된다.

도6(a) 및 도6(b)는 입력 이미지를 변환시키고 데서메이팅하기 위한 필터뱅크 및 각각의 필터뱅크로부터 생성된 그 해당 수직 및 수평 서브밴드들을 예시하는 개략적인 블록 다이어그램들이다.

도7은 고 대역 영역에서 저대역 영역으로 및 역으로, 저대역 영역에서 고대역 영역으로 필터뱅크내 유한 정밀도 연산치를 전달하기 위한 구조를 예시한다.

도8은 검색 밴드가 P x P 펠인 이미지 영역의 이미지 매크로-블록(2,4)(IMB_2,4)에 상응하는 각각의 서브밴드(SB_ij)에 대한 변환 영역의 검색 영역을 도시하며 입력 이미지 크기가 QCIF에 있을 때 SB₀₀의 그것에 대한 검색 영역을 보다 상세히 한다.

도9(a) 내지 9(d)는 동작이 변환 영역에서 추정되는 방법을 도시한다.

도10은 동작이 변환 영역에서 예측되는 방법을 도시한다.

도11은 도2에 도시된 실시예의 다른 상세한 배치를 예시하는 개략적인 블록 다이어그램이다.

도12는 동작 추정이 이미지 영역에서 실행되며 동작 예측이 변환 영역에서 실행되는 본 발명의 다른 상세한 실시예를 도시하는 개략적인 블록 다이어그램이다.

도13은 입력 크기가 QCIF일 때 이미지 매크로-블록(2,4)(IMB_2,4)에 대한 이미지 영역에서의 검색 때 P x P 펠 검색 영역을 도시한다.

도14는 동작 추정 및 동작 예측이 이미지 영역에서 실행되는 본 발명의 다른 상세한 실시예를 도시하는 개략적인 블록 다이어그램이다.

본 발명의 실시예는 한정된 정밀 변환 기술을 사용하여 디지털 비디오 신호를 압축하기 위한 장치 및 방법을 제공한다. 실시예는 선행기술에서와 같은 시간 영역에서 보다는 오히려 변환 영역에서 동작 보상에 의해 실예로, 동작을 추정하고 예측하여 로스리스(loss-less) 또는 로시(lossy) 변환 기반 기술들을 개선시킨다. 이런 방식으로, 개선된 이미지 질이 덜 비싼 하드웨어상에서 실현될 수 있다.

용어 "동작 보상(motion compensation)"은 그 가장 넓은 의미로 정의되도록 의도된다. 달리 말하자면, 동작보상이 비록 화소 그룹의 동작 추정 및 동작 예측을 포함하는 것으로 본문에 종종 기술되고 예시될 지라도, 그것은 또한 실예로, 회 전 및 스케일을 포함하는 것으로 이해되어야한다. 게다가, 용어"동작 보상"은 실예로, 두 세트의 데이터 사이의 차이를 나타내는 데이터만을 발생시키는 것을 포함할 수 있다.

압축 효율은 이미지를 특징으로 변환하고 그 특징을 우선 매핑하여 얻어진다. 본문의 기술은 그것이 이미지 또는 비디오 프레임들의 시퀀스와 관련된 것으로 예시된다. 이런 이미지 시퀀스는 서로 정렬되어 위치되고 시간 또는 소정의 다른 파라미터에 의해 표시되는, 공간적으로 정위된 데이터 요소들(스칼라, 벡터, 또는 함수)의 집합이 되는 것으로 용이하게 이해될 수 있다. 이미지 시퀀스는 데카르트 좌표로 될 수 있으나, 본 기술분야의 다른 좌표계들도 사용될 수 있다.

더욱이, 본 발명의 장치 및 방법은 음성, 오디오 및 심전도 압축 같은 비-비디오 적용에도 사용될 수 있다. 즉, 본문에 기술된 본 발명이 2-차원 시스템(2D), 즉, 비디오 압축으로 예시되지만, 교시들이 일반적으로 데이터 압축 기술을 진전시키도록 임의의 다른 차원 시스템에 적용될 수 있는것이 의도된다.

실예로, 교시들은 초음파 영상 같은 하나 및 1/2 차원 시스템(1-1/2D)에 적용될 수 있다. 또한, 교시들은 자기 공명 단층 촬영(MRI) 같은 3차원 시스템(3D)들에 적용될 수 있다.

이하의 기술을 통해, 용어"프레임"은 단일 이미지의 형태에 관계없이, 즉, 그것이 시간 영역, 주파수 영역에 있는지, 또는 그 상에서 실현된 임의의 다른 처리로 되었는지에 관계없이 인코더에 전송된 시퀀스로된 이미지들의 단일 이미지로 칭해진다. 더욱이, 용어 "펠(pel)"은 시간 영역의 화소에 대하여 사용되며, 용어" 계수" 및 "변환 계수"는 펠이 실예로, 전방 웨이브릿 변환을 통과한 이후 생성되는 펠들의 표시에 대하여 사용된다. 이 용어들은 실시예의 기술을 용이하게 하는데 사용되며 결코 본 발명의 범위를 제한하도록 의도되지는 않는다.

동일한 도면부호들은 본 발명의 동일 요소들과 동일한 것인 도면들을 참고하면, 이미지들의 시퀀스 또는 프레임들의 시퀀스를 압축하기 위한 실시예의 개략적인 블록 다이어그램이 도2에 도시된다. 이런 다이어그램은 본문에 기술된 여러 실시예들 중 하나이다. 보다 상세한 실시예들이 이하 문단에 기술된다.

도2에서, 이미지는 블록(20)의 변환 영역에서 특징(features)의 집합으로 변환된다. 그 이미지에 대해 유효한 것으로 결정되는 특징은, 즉, 이전 또는 기준 프레임으로부터 크게 변경된 것으로 결정되는 이런 특징이 블록(22)에서 선택된다. 유효한 특징은 블록(24)에서 유효하게 표현되어 기준 프레임의 특징들을 갱신하도록 디코더에 전송된다.

실예로, 최초 이미지는 블록(20)에서 변환되며 변환 계수 세트(transform coefficient set)에 의해 표현된다. 계수 세트의 변환 계수들은 이후 블록(22)에서 평가되어 다양한 가중 및 평가(evaluation) 기술을 통해 이들의 유효성을 결정하여 이들의 유효성에 따라 랭크된다(ranked). 이후, 블록(24)에서, 현재의 프레임과 과거 또는 기준 프레임 사이의 동작 보상이 발생한다. 동작 보상은 프레임들 사이의 변화를 평가하는 동작을 포함하여 한 세트의 동작 벡터들을 발생시킬 수 있다. 이후에, 동작 벡터들이 동작 예측 단계동안 기준 프레임에 적용된다. 동작 예측의 결과는 그 예측의 오류를 결정하기 위해 변환계수 세트로부터 감산된다. 예측 오류는 이후 선택적으로 스케일되고 최종적으로 디코더에 전달을 위해 동작 벡터들과 함께 위치적으로 인코딩된다.

도3을 참고하면, 개략적인 블록 다이어그램은 도2를 참고로 기술되었던 실시예의 보다 특정한 배치를 도시한다. 실예로, CIF(Caltech Intermediate Format)로 인코딩된 이미지 시퀀스 또는 일련의 비디오 프레임(26)들이 컨버터(28)에 전송된다. CIF 프레임은 288 x 352 펠들을 갖는다. 컨버터(28)에서, 프레임들은 쿼터 CIF(QCIF), 실예로,도4a에 예시되는 것과 같은 QCIF 이미지(30)로 변환된다. QCIF 이미지는 144 x 176 펠들을 갖는다. CIF는 수평 및 수직 양방향으로 둘(2)씩 저역통과 필터링하고 데서메이팅(decimating)하여 QCIF로 변환된다. 처리를 용이하게 하기 위하여, 144 x 176펠들은 각각 16 x 16 펠들을 갖는 이미지 매크로블록(IMB_x,x)으로 분할된다. QCIF는 실시예로만 본문에 사용된 것이지 어떤 식으로든 본 발명에 대하여 제한하려는 것은 아니다. 하기 기술들은 당업자들에게 잘 공지된 방법들에 의해 다른 이미지(및 비-이미지) 포맷들에 용이하게 순응될 수 있다.

도3 및 도4를 참고하면, QCIF 이미지(30)는 도2의 블록(20)을 구성하는 블록(32,36)들에 전송되는데, 여기서 특징에 대한 이미지의 매핑이 발생한다. 보다상세하게는, QCIF 이미지(30)(도4(a))는 전방 웨이브릿 변환이 각 프레임을 서브밴드(34)(도4(b))들의 집합으로 변환시키는 블록(32)에 전송된다. 변환된 이미지의 이런 구성, 즉 서브밴드(34)의 집합은 실예로, 동작 추정, 동작 예측을 위해 나중에 사용하고 예측 오류를 판정하기 위해 메모리에 기억된다. 본 발명에 사용될 수 있는 적절한 전방 웨이브릿 변환은 이하에 보다 상세히 기술된다.

서브밴드(34)들의 집합은 서브밴드 매크로-블록 패킹을 위해 블록(36)에 전송된다. 서브밴드 매크로-블록 패킹동안, 특정 이미지 매크로-블록과 상응하는 서브밴드 블록들은 서브밴드 매크로-블록들(SMB_X,X)을 형성하기 위해 구성된다. 이후, 각각의 서브밴드 매크로-블록은 그것이 관계되어 표현하는 이미지 매크로-블록의 공간적 위치에 놓여진다. 특정 프레임에 대한 모든 서브밴드 매크로-블록들의 집합은 서브밴드 매크로-블록 그룹핑(40)으로 칭해진다.

도5는 서브밴드 매크로-블록 패킹의 처리를 예시한다. 서브밴드 매크로-블록 패킹동안, 서브밴드(34)(도5(a))의 집합의 모든 관련된 블록들은 서브밴드 매크로-블록 패킹동안 도5(b)에 예시되는 것과 같이 서브밴드 매크로-블록(38)들을 형성하기 위해 재구성된다.

실예로, 도4(a)의 이미지 매크로-블록(2,4)(IMB_2,4)과 상응하는 도5(a)의 음영진 서브밴드 블록들은 예시된 도5(b)와 같은 서브밴드 매크로-블록(SMB_2,4)을 형성하기 위해 블록(36)(도3)의 서브밴드 매크로-블록 패킹 동안 재구성된다. 서브밴드 매크로-블록(38)(SMB_0,0내지 SMB_8,10)들은 이후 도5(c)에 예시된 것처럼 서브밴드 매크로-블록 그루핑(40)으로 구성되어 각각의 서브밴드 매크로-블록이 QCIF 이미지(30)의 그 상응하는 이미지 매크로-블록(IMB_X,X)의 공간 위치에 의해 지지된 다. 이런 실시예에서, SMB_2,4는 도4(a) 및 도5(c)에 예시된 것같이 IMB_2,4의 공간 위치에 의해 유효하게 지지되는 것이 인지된다.

본문에 기술된 실시예가 QCIF로 표시된 프레임 이미지들만을 칭하지만, 당업자들은 다른 포맷들도 본 발명의 범위를 벗어나지 않고 사용될 수 있는 것을 이해하는 것을 인지하는 것이 중요하다. 각각의 서브밴드 매크로-블록의 서브밴드 블록들의 특정 그루핑이 예시된 특정 웨이브릿을 수용하도록 사용되는 것을 인지하는 것이 또한 중요하다. 다른 웨이브릿들에 보다 적절할 서브밴드 데이터의 다른 그루핑들이 존재한다.

이미지 매크로-블록(30)(도4(a))의 집합, 서브밴드(34)(도4(b))의 집합, 및 서브밴드 매크로-블록 그루핑(40)(도5(c))의 집합의 상기한 바로부터, 특정 이미지 매크로-블록들, 서브밴드 블록들 및 서브밴드 매크로-블록들 사이에 상관관계가 있음이 용이하게 인지되어야 한다. 이런 상관관계의 실시예는 이하:(a) 도4(a)에서 음영되고 이미지 매크로-블록(106)으로서 식별되는 이미지 매크로-블록(2,4)(IMB_2,4); (b) 도4(b)의 모든 음영진 서브밴드 블록들, 실예로, 서브밴드00(SB₀₀)의 서브밴드 블록(116) 및 서브밴드33(SB₃₃)의 서브밴드 블록(116); 및 (c) 도5(c)에서 음영지고 서브밴드 매크로-블록(117)으로서 식별되는 서브밴드 매크로-블록2,4(SMB_2,4)이다. 상기 예시된 것과 같은 관계를 갖는 계수들을 포함하는 이 명세서에서의 기술은 '관련되는(related)'으로 칭해질 수 있다.

도3을 참고하면, 서브밴드 매크로-블록 그루핑(40)은 도2에서 인지된 블록(22)을 구성하는 블록(42,46,48,52)으로 전송되어, 어느 특징 또는 서브밴드 매크로-블록(SB_0,0내지 SB_8,10)이 변화되는지 결정된다. 특히, 서브밴드 매크로-블록 그루핑(40)은 가중치가 서브밴드 매크로-블록의 지각적 유효성을 양자화시키는 양만큼 서브밴드 매크로-블록 그루핑(40)의 각각의 서브밴드 매크로-블록을 스케일링하도록 적용되는 블록(42)에 전송된다. 가중 블록(42)의 출력은 가중된 그루핑(44)이다.

가중을 통한 지각적 유효치는 실예로, 평균 평가 스코어 연구(Mean Opinion Score study)를 통해 결정될 수 있거나, 또는 그 표준이 본문에 참고로 인용되는 국제 전신 전화 자문 위원회(CCITT)의 H.261 및 H.263에서 발견된 이들 같은 다른 코딩 시스템들에 사용된 가중치로부터 판정된다. 평균 평가 스코어링의 논의에 대해서는, 본문에 참고로 인용되는 K.R.Rao & P.Yip, Academic Press, Inc., pp.165-74(1990)의 이산 코사인 변환(Discrete Cosine Transform)을 참고할 수 있다.

가중치가 각각의 서브밴드 매크로-블록을 스케일링하도록 블록(42)에 적용된 이후에, 가중된 그루핑(44)이 변화 검출 블록(46)에 전송되고 처리되어 발생된 변화의 상대적 량을 결정한다. 이런 변화는 '유효치(significance)' 또는 비디오 목적을 위해 가중된 그룹핑(44)의 왜곡으로 명칭된다. 유효치는 실예로, 제로(0) 또는 과거의 가중된 그룹핑 같은 해당 기준과 관련하여 결정될 수 있다. 변화-검출 블록(46)으로부터 연장되는 루프(loop)는 과거 가중된 그루핑을 기준으로 사용하기 위해 변화-검출 블록(46)에 반환시키는 프레임 지연부(48)를 포함한다. 변화-검출 블록(46)의 출력은 변화 검출된 그루핑(50)이다.

제로(0) 기준은 실예로, 인코더를 통해 초기에 프레임들을 전송할 때, 변화 검출 블록(46)에 사용된다. 이런 경우, 전체 프레임은 제로(0)에 관계된다. 이것은 내부프레임 레퍼런싱으로 또한 공지된다. 상기한 바와 같이, 매크로-블록 그루핑이 상기된 것처럼 블록(42)에 가중되어 기준으로 사용하기 위해 변화-검출 블록(46)의 지연 블록(48)에서 지연되는 과거 가중된 그루핑이 또한 사용될 수 있다. 내부프레임 레퍼런싱으로 공지된 이런 최근의 방법은 중복 및/또는 중요하지 않은 정보를 디코더에 반복적으로 전송하는 단계를 제거시킨다.

제로(0) 프레임 레퍼런싱의 변형 사용은 시스템 작동 동안 디코더에서 상대적으로 정확한 기준 이미지를 재생시키고 유지시키기 위한 것이다. 한가지 방법은 표준 30 프레임/초의 매 8 프레임의 전체에 대해 제로(0) 기준을 주기적으로 적용하는 방법을 채용한다. 변형적으로, 이미지는 랜덤하게, 또는 일정하게 서브밴드 블록들을 제로(0)로 레퍼런싱하는 것 같이 확률적으로(stoichastically) 리프레시될 수 있다. 모든 또는 일부 프레임을 제로(0)로 레퍼런스하는 임의의 처리를 용이하게 하기 위하여, 제로-레퍼런스된 서브밴드 블록들은 동작 보상 작동(이하 기술)이 유효 블록들상에서 이행되는 것을 방지하기 위해 그것만으로도 식별된다. 그러므로, 식별된 서브밴드 블록들은 경우에 따라, 전체 기준치 또는 그중 일부 기준치를 리프레시하기 위해 디코더에서 전부 재생된다.

도3을 다시 참고하면, 메모리에 보다 일찍 저장되어 그 양에 따라 변화-검출 그루핑(50)의 서브밴드 매크로-블록들이 블록(52)에 랭크되는 서브밴드(34)들의 집합은 그 유효성에 따라 변경되도록 결정된다. 랭킹(ranking)은 블록(42,46)들의 서브밴드 매크로-블록들을 각각 가중하고 검출하므로써 미리 할당된 값들을 기반으로한다. 블록(52)의 출력은 라인(55)을 통해 전송되는 랭크된 서브밴드 그루핑(53) 및 랭크된 서브밴드 매크로-블록 그루핑(54)을 포함한다.

계속해서 도3을 참고하면, 랭크된 서브밴드 그루핑(53) 및 랭크된 서브밴드 매크로-블록 그루핑(54)은 도2의 블록(24)과 상응하는 블록(56,60,62,68,72,76)들 에 선택적으로 전송되는데, 여기에서 변화된 매크로-블록들이 유효하게 표현된다. 특히, 랭크된 서브밴드 매크로-블록 그루핑(54)('현재'프레임)은 동작 추정을 위해 블록(56)에 전송된다. 랭크된 서브밴드 그루핑(53)은 지연 블록(62)에 전송되고, 그 이후 동작 추정 및 동작 예측을 위해 라인(64)에 지연 랭크된 서브밴드 그루핑(57)('기준'프레임)을 블록(56,60)들에 각각 제공한다. 동작 벡터(58)들의 집합은 하기 방식으로 동작 평가 블록(56)에서 발생되며 동작 예측을 위해 블록(60)에 전송되고 위치 인코딩을 위해 블록(76)에 또한 전송된다.

동작 예측 블록(60)에 전송된 동작 벡터(58)는 예측된 그루핑(66)을 발생시키도록 지연된 랭크 서브밴드 그루핑(57)을 변경하기 위해 사용된다. 차이 블록(68)은 랭크된 서브밴드 그루핑(53)을 수신하고 이로부터 예측된 그루핑(68)을 감산하여 그루핑 차이(70), 즉, 예측 오류를 발생시킨다. 그루핑 차이(70)는 스케일링된 그루핑 차이(74)를 초래하는 블록(72)에서 보다 더 스케일링된다. 당업자들은 제로가 아닌 그루핑 차이(70)의 수가 적어질수록, 동작 벡터(58)들의 집합이 본 프레임과 기준 프레임 사이의 변화들을 예측하는 것이 보다 더 정확해지는 것을 인지할 것이다. 그리고, 차이들이 보다 적을 수록 동작 추정의 결함을 보정하기 위해 디코더에 전송되어야만하는 비트들이 더 적다.

스케일링 블록(72)으로부터 스케일링된 그루핑의 차이(74) 및 동작 추정 블록(56)으로부터의 동작 벡터(58)들의 집합은 블록(76)에서 매크로-블록들로서 위치인코딩된다. 거기서, 데이터는 유효하게 비트스트림으로 구성된다. 인코딩된 비트스트림 그루핑(78)은 블록(76)으로부터 출력되고 전송선(80)을 통해 역처리를 위해 디코더(82)에 전송된다. 전송은 다양한 매체들, 실예로, 전자, 전자기 또는 광학을 통해 이루어질 수 있다.

비트스트림 포맷팅과 관련하여, 여러 표준 방법들이 비트스트림들을 포맷팅하기 위한 본 기술 분야에 잘 알려져 있다. H.263 기반 인코더 시스템에 사용된 포맷이 일 실시예이다. 비트스트림은 기초적으로 연속적 스트링의 비트 패킷이다. 각각의 패킷은 데이터의 특정 카테고리를 나타낸다.

예를들면, 비트 패킷들은 시스템 레벨 데이터, 비디오, 제어부 및 오디오 데이터를 포함할 수 있다. 데이터가 블록(76)에서 위치 인코딩을 위해 수신됨에 다라, 그것은 사용되는 포맷에 따른 비트 패킷들로 구성된다. 일반적으로 비디오 프레임을 나타내는 비트 패킷들의 집합이 그것을 새로운 프레임으로 식별하는 비트로부터 시작한다. 양자화 및 다른 제어 코드들의 양이 통상적으로 뒤따른다. 이후, 스케일링된 그루핑 차이(74)를 나타내는 매크로-블록들의 리스트가 인코딩된다. QCIF에 대해, 매크로-블록들의 수는 99이다(도5(c)참고).

데이터의 보다 효율적인 전송을 용이하게 하기 위해, 각각의 매크로-블록이 매크로블록에서의 제로가 아닌 데이터의 존재 또는 부재를 표시하는 매크로-블록 제로 비트(MBZero-비트)에 의해 속행된다. 매크로-블록이 존재하는 경우, 동작 벡터(58)들의 관련 집합을 포함하는 매크로-블록에 대한 제어 정보가 서브밴드 데이터, 즉, 관련 스케일링된 그루핑 차이(74)가 뒤이어 전송된다. 이런 정보를 포함하는 것은 매크로-블록의 부재가 제로인 매크로-블록의 계수의 전체 스트링을 식별하는데 필요할 모든 비트들 대신에 단일 심볼로 나타내지는 전송선(80)을 통해 전송되는 비트의 수를 실질적으로 감소시킨다.

부가적인 효율이 보유될 수 있는 다른 상태는 서브밴드 매크로-블록 내의 다소의 서브블록들만이 제로인 경우이다. 실시예는 그 계수들이 제로인 서브밴드를 서브밴드 제로 플래그(SBZero 플래그)로 플래깅(flagging)하는 단계를 포함한다. 그 계수들이 제로인 스케일링된 그루핑 차이(74)로부터의 서브밴드는 랭크된 서브밴드 그루핑(53) 및 예측된 그루핑(66)의 상응하는 서브밴드 블록들 사이에서 어떤 변화도 존재하는 것이 발견되지 않는 것을 나타낸다. SBZero 플래그를 표시하는 것이 제로인 각각의 계수를 별도로 표시하는 것보다 작은 비트를 사용한다. 물론, 디코더가 블록(76)의 위치 인코딩동안 도입된 심볼을 해석하기 위해 MBZero-비트 및 SBZero 플래그를 둘 다 인지하도록 프로그램된다. 제로의 스트링을 심볼라이징하기 위한 제로-실행 길이 코드는 하기와 같다.

도3을 계속해서 인용하면, 인코딩된 비트스트림 그루핑(78)이 전송선(80)을 통해 디코더(82)에 의해 수신되며 위치 인코딩 블록(76)의 결과를 반전시키는 위치 디코딩 블록(86)에 전송된다. 동작 벡터(58)의 집합은 비트 스트림 그루핑(78)으로부터 추출되며 예측 블록(98)에 전송된다. 서브밴드 형태(도4(b))의, 디코딩된 스케일링된 그루핑 차이(88)가 양자 복원 블록(quantum recovery block)(90)에 공급된다. 양자 복원 블록(90)에서, 과거 변환 계수들, 및 과거와 현재 탈양자화 텀들은 양자화 변환 계수들의 값을 복원하는데 사용된다, 즉 이들은 그루핑 차이(70)를 재현하는데 사용된다.

서브밴드(92)의 집합, 인코더의 기준 프레임이 지연 블록(94)에 전송된다. 지연된 서브밴드(96)의 집합이 지연 블록(94)으로부터 예측 블록(98)에 전송된다. 인코더의 동작 예측 블록(60)에서 수행된 처리와 유사하게, 동작벡터(58)들의 집합이 예측 블록(98)에서 서브밴드(96)의 지연된 집합에 제공된다. 거기에서, 서브밴드(96)의 지연된 집합은 예측된 그루핑(100), 즉, 그루핑 차이(70)를 포함하지 않는 갱신된 이미지의 서브밴드 표현을 발생시키도록 변경된다. 그루핑 차이(70) 및 예측된 그루핑(100)은 서브밴드(92)의 집합, 즉, 새로운 기준 프레임의 집합을 발생시키는 가산 블록(102)에서 가산된다. 최종적으로, 역 웨이브릿 변환은 서브밴드(92)의 집합에 대해 블록(104)에서 이행된다. 본질적으로, 이런 단계는 개략적으로 상기되었으며 이하에서 더욱 상세히 기술될 전방(forward) 웨이브릿 변환(32)의 역(reverse)이다. 블록(104)으로부터의 결과 출력은 재구성된 이미지(105)이다.

이미 기술되고 도3 및 도4에 도시된 바와 같이, QCIF 이미지(30)(도4(a))는 서브밴드(34)(도4(b))의 집합을 형성시키도록 각각의 비디오 프레임을 변환시키는 전방 웨이브릿 변환(32)에 전송된다. 변환 블록(32)의 실시예는 텐서 곱 웨이브릿 변환을 사용한다. 텐서 곱 웨이브릿 변환의 상세한 기술은 본문에 참고로 인용된, 조엘 로시엔 및 이안 그린실드의, Optical Engineering, Vol.33,Number 8(August 1994), Standard Wavelet Basis Compression of Images를 참고하시오. 잘 공지된 말렛(Mallat), 젠롯(GenLOT), 또는 해르(Harr) 변환 같은 다른 유한 정밀 변환들이 사용될 수 있다. 이런 적절한 변형적인 웨이브릿 변환에 관한 논의에 대해서는 본문에 참고로 인용되는, G. Strang and T. Nguyen, Wellesley-Cambridge Press(1997)의 Wavelets and Filter Banks를 참고하시오.

도4(b)를 참고하면, 여기에서는 QCIF 이미지(30)가 전방 웨이브릿 변환(32)을 통과한 이후의 서브밴드(34)의 집합을 도시된다. 이미 표시된 것처럼, 전방 웨이브릿 변환 처리는 유한 정밀 실현의 결과를 감소시키기 위해 본문에서 수정된 것과 같이 텐서 곱 웨이브릿 변환 또는 다른 잘 공지된 유한 정밀 변환을 사용한다. 일반적으로, 변환 처리는 (m + 1) x (n + 1) 서브밴드를 생성시키기 위해 m x n 단으로 구성될 것이다. 다른 실시예들은 이런 발명의 범위내에 있는 것을 조건으로 본문 기술에 따라 이루어질 수 있다.

도6(a)를 참고하면, 전방 웨이브릿 변환 처리는 3단을 사용하는 행단위(row-by-row)를 기초로 QCIF 이미지 프레임(30)을 초기에 필터링한다. 각각의 단은 저역 통과 필터(108) 및 고역 통과 필터(110)를 포함한다. 일 실시예에서, 각각의 저역 통과 필터(108)는 -1,2,6,2,-1의 값을 가지며 각각의 고역 통과 필터는 -1,2,-1의 값을 가진다.

필터링 이후에, 저역 통과 성분들 및 고역 통과 성분들은 데서매이터(112,114)에 의해 각각의 단에서, 각각 스케일링 및 데서메이팅되거나 또는 다운샘플링되어 이산 신호를 포함하는 샘플값들의 성분들이 제거된다. 예시된 실시예에서, 입력 이미지는 모든 다른 샘플을 버리도록 두 개의 팩터(factor)로 다운샘플링된다. 두 개로의 데서메이팅은 입력의 정확한 재구성을 가능하도록 하기에 필요하고 충분한 변환 계수들을 결국 초래한다. 이후에, 저역 통과 성분들 및 고역 통과 성분들의 다운샘플링된 값들은 도7과 관련하여 아래 본문에 보다 상세히 기술되는 방식으로 각각의 단에서 정규화된다. 제1단의 출력은 저역 통과 필터 성분(A_0R) 및 고역 통과 성분(D_0R)을 포함한다. 저역 통과 성분(A_0R)은 제2 시간 및 이후 제3 시간으로 분해되어 추가적인 행(row) 세부값(D_1R,D_2R) 및 행 평균값(A_2R)을 초래한다.

도6(a)에 도시된 행 단들의 행 출력(D_0R,D_1R,D_2R,A_2R)은 열단위(column-by-column)를 기초로 도6(b)에 도시된 단들에 적용된다. 도6(b)에 도시된 각각의 3단들은 도6(a)와 결합하여 상기된 것과 동일한 방식으로 적용되는 하나의 필터쌍, 다운샘플링 및 정규화 처리를 포함한다. 변환 출력은 도3과 관련하여 상기되고 도4(b)에 예시된 것과 같은 서브밴드(34)의 집합이다.

식별을 위해 도4(b)를 참고하면, 각각의 서브밴드는 서브밴드 표시(SB_ij)에 의해 식별되는데, 여기에서, 각 행에 대해서 i=0,1,2 또는 3이며 각 열에 대해 j=0,1,2 또는 3이다. 음영진 서브밴드 블록들, 실예로, SB₀₀의 서브밴드 블록(116) 및 SB₃₃의 서브밴드 블록(118)은 도4(a)의 QCIF 이미지(30)의 IMB_2,4와 상응한다. 상기 데서메이션 처리 때문에, 각각의 상응하는 서브밴드 블록은 실예로, SB₀₀의 서브밴드 블록(116)이 8x8 계수들을 포함하고 SB₃₃의 서브밴드 블록(118)이 2x2 계수들을 포함하도록 비례적으로 감소된다. 상기한 바와 같이, 관련된 서브밴드 블록들, 실예로, 서브밴드 위치(2,4)에서 발견되는 각각의 서브밴드(SB₀₀ 내지 SB₃₃)의 이런 서브밴드 볼록들은 특정 처리 단계들을 용이하게 하기 위해 블록(36)(도3 및 도5)의 서브밴드 매크로-블록 패킹의 단계동안 모아진다.

기술된 실시예의 특징에 따라, 도7을 참고하면, 서브밴드 인코딩 처리의 각각의 단에 대한 나머지(remainder)가 유한 정밀 변환(finite precision transform) 때문에 유발된 오류를 보상하기 위하여 반대편 필터 경로에 전달된다. 전달된 나머지는 정밀도의 손실을 설명하도록 반대편 필터 경로상의 계수들을 조정하기 위해 사용된다. 더욱이, 필터들이 변경되는 처리는 이들을 이중직교(bi-orthogonal)도 직교도 하지 않는다.

도7은 도6(a)에 도시된 행 변환의 제1 단에 대한 대향 필터 채널들에 나머지를 전달하기 위한 구현체를 도시한다. 유사한 구현체가 각각의 행 단 및 열 단들에 포함된다. 입력 프레임(30)의 계수들은 저역 통과 필터(30) 및 고역 통과 필터(110)에서 정규한 방식으로 필터링된다. 결과들은 샘플러(112,114)들에서 각각 다운샘플링된다. 저역 통과 필터(108)의 분해된 결과들은 저역 통과 정규화 출력(126) 및 저역 통과 나머지(rl)를 발생시키는 저역 통과 정규화 처리부(120)에서 정규화된다. 고역 통과 필터(110)의 분해된 결과들은 고역 통과 정규화 출력(124) 및 고역 통과 나머지(rh)를 발생시키는 고역 통과 정규화 처리부(124)에서 정규화된다. 각각의 정규화 처리부(120,124)로부터 각각 초래되는 나머지(rl,rh)는 예시된 바와 같이 함수 g(rl,rh)(128) 및 f(rl,rh)(130)를 각각 통과한다. 함수 g(rl, rh)(128)의 결과는 A_0R(제1단의 평균치)를 초래하는 가산기(132)에서 저역 통과 정규화 출력(122)에 가산된다. 함수 f(rl,rh)(130)의 결과는 D_0R(제1단의 손실 항)를 초래하는 가산기(133)에서 고역 통과 정규화 출력(126)에 가산된다.

필터 L={-1,2,6,2,-1} 및 H={-1,2,-1}에 대해, 나머지의 함수들의 실시예는: nh=1/2인 f(rl,rh)=최저값(rh+1/2); g(rl,rh)=rh이다. 나머지의 상기된 조작이 각각의 필터 쌍에 대해 반복되어 변환 출력의 감소된 비트 할당을 초래시킨다.

텐서 곱 웨이브릿 쌍의 실시예는 다음과 같다:

여기에서, X_2i= 입력 데이터;

X_2i-1= 입력 데이터 X_2i에 선행하는 데이터;

X_2i+1= 입력 데이터 X_2i를 뒤따르는 데이터;

D_i= 세부 항(데서메이팅된 고역 통과 필터 출력);

D_i+1= D_i를 뒤따르는 세부 항; 및

A_i= 근사 항(데서메이팅된 저역 통과 필터 출력).

상기한 텐서 곱 웨이브릿 변환은 고역 통과(세부값) 및 저역 통과(근사값) 성분들로의 투웨이 분할을 예시한다. 게다가, 기술은 제1대역에서 제2대역으로, 제2대역에서 제1대역으로, 또는 제1대역에서 제2대역으로 그리고 제2대역에서 제1대역으로 둘 다 나머지를 전달할 가능성을 예시한다. 상기된 실시예는 본 발명의 기본 개념을 예시하도록 의도되며 본 발명의 범위를 제한하는 것으로는 절대 인지 되지 말아야한다.

실예로, 텐서 곱 웨이브릿 변환은 3웨이 스플릿(three-way split)이 고역 통과 필터, 중간 대역 통과 필터 및 저역 통과 필터를 포함하는 제1 단을 가질 수 있다. 저역 통과 필터의 출력은 반복될 수 있는데, 즉, 3웨이 스플릿을 갖는 제2단이 저역 통과 필터의 출력에 적용될 수 있어 총 5 서브밴드를 초래한다. 이런 실시예에 있어, 나머지들은 저역 통과 필터 및 고역 통과 필터로부터 중간 대역 통과 필터에 전달될 수 있다. 이 실시예는 어떻게 텐서 곱 웨이브릿 변환이 변화될 수 있고 상기 본 발명의 범위 및 사상을 계속 유지할 수 있는지의 단지 하나의 실시예일 뿐이다. 당업자들은 입력이 각 단에서 분할되고 인터레이트될 수 있는 다수의 다른 방식들이 있고 나머지들이 서브밴드들 사이에서 전달될 수 있는 다수의 다른 방식들이 또한 있다는 것을 용이하게 인지할 것이다.

게다가, 상기한 나머지들의 전달은 텐서 곱 웨이브릿 변환에 대한 사용을 제한하도록 의도되지 않는다. 그것은 임의의 변환과 함께 사용될 수도 있다. 실예로, 나머지들의 전달은 이산 코사인 변환(DCT)과 사용될 수 있다. 또한, 나머지들의 전달은 로스리스(lossless) 또는 로시(lossy) 방식으로 사용될 수 있다.

본문에 상기한 바와 같이, 전방 웨이브릿 변환(32)의 출력은 QCIF 이미지(30)의 완결 표시 또는 과-완결(over-complete) 표시일 수 있다. QCIF 이미지(30)의 완결 표시는 완결 표시 및 중복값, 변형체, 또는 추가적인 서브밴드 표시들을 포함하여 아래 본문에 기술될 동작 보상을 용이하게 한다. 각각의 표시는 기술된 실시예의 값을 가진다. 실예로, 과-완결 표시는 병진운동, 회전 운동 및 스 케일링 같은 다양한 이미지 변화를 포함할 수 있다. 이런 변화들은 동작 보상동안 필요함에 따라 리콜될 수 있어 이미지 변화를 나타내는 문제를 하나의 인덱싱으로 감소시킨다.

본문에 예시된 변환된 이미지 프레임 구조체들이 루마 성분들(luma components)에 대한 것일지라도, 그 구조체들은 또한 채도(chroma) 성분들에 대해 유지하므로 개별적으로 기술되지 않았다는 것을 상기 전방 웨이브릿 변환과 관련하여 인지해야할 것이다.

도3과 관련하여 본문에 상기한 변화-검출 블록(46)에 관하여, 제로(0) 기준치, 또는 실예로, 지연부(48)를 통해 제공된 과거의 가중 그루핑과 같은 다소의 다른 기준치는 얼마나 많이 가중된 그루핑(44)이 변하는지 검출하기 위해 사용될 수 있는 것이 인지된다. 변화-검출 블록(46)의 실시예는 가중된 그루핑(44)이 적용되어야할 변화 검출 미터법을 포함한다.

여기서 e_c = 기준치 R에 대한 상대적인 왜곡의 측정치;

W_i = 적용된 가중치;

G = 서브밴드 변환 계수들의 현재의 그루핑; 및

R = 실예로, 제로(0), 또는 지연 블록(48)을 통해 얻어지는 서브밴드 계수들의 이전 그루핑이다.

변화 검출 미터법은 보다 특정한 형태:

를 취할 수 있다.

게다가, 변화-검출부(46)는 인코딩된 비트스트림 그루핑(78)으로부터 피드백(132)(도3)에 의해 제공된 정보를 사용하여 어느 것이라도 비트 할당과 관련하여 변화-검출부(46)로부터 출력되기에 너무 비싼 것으로 결정되면 가중된 그루핑(44)의 특정 가중된 매크로-블록들을 제거할 수 있다. 더욱이, 변화-검출 블록(46)은 하나의 특징, 실예로 서브밴드 블록을 그 특징을 보다 잘 나타내는 것으로 여겨지는 또다른 것으로 대체될 수 있다.

상기하고 도3에 도시된 바와 같이, 랭크된 서브밴드 그루핑(53) 및 랭크된 서브밴드 매크로-블록 그루핑(54)은 동작 추정을 위해 선(line)(55)을 통해 지연 블록(62) 및 블록(56)에 각각 전송된다. 블록(56)에서, 비교 처리는 랭크된 서브밴드 매크로-블록 그루핑(54)의 서브밴드 블록들, 즉, '현재' 프레임과 지연된 랭크된 서브밴드 그루핑(57)의 관련된 검색영역들, 즉 '기준'프레임 사이에서 수행된다. 당업자들은 현재 프레임에 대한 랭크된 서브밴드 매크로-블록 그루핑(54) 및 기준 프레임에 대한 지연된 랭크된 서브밴드 그루핑(57)을 사용시의 특정 장점을 인지할 것이다. 그러나, 본 발명의 교시를 유지하는 다른 그루핑들 및 조합들이 사용될 수 있음이 인지되어야 한다. 블록(56)에서 수행된 비교 처리는 개략적으로 본문에 상기한 바와 같이, 동작 예측을 위해 블록(60)에 전달되며 비트스트림으로의 위치 인코딩을 위해 블록(76)에 전달되는 동작 벡터(58)들의 집합을 초래한다.

도8 및 도9를 참고하면, 블록(56)의 동작 추정 및 동작 벡터(58)들의 집합의 생성은 보다 상세하게 기술될 것이다. 도8에, 지연된 랭크된 서브밴드 그루핑(57)이 도시된다. 지연된 랭크된 서브밴드 그루핑(57)은 도4(b)에 도시된 서브밴드(34)의 집합과 유사하지만 블록(52)(도3)에 랭크된 그 서브밴드 블록들을 가지므로써 그리고 지연 블록(62)의 적어도 한 프레임마다 지연되므로써 추가로 처리 되었다. 개개의 동작 벡터들을 용이하게 결정하기 위해, 검색 영역들이 적어도 하나의 서브밴드들(SB₀₀ 내지 SB₃₃)의 서브밴드 블록들에 대해 한정된다. 이들에 대하여 한정되는 검색 영역들을 갖도록 선택되는 각각의 서브밴드내의 서브밴드 블록들은 변화-검출 블록(46)에서 중요한 것으로 한정되는 것들이다. SB₀₀ 내의 유효한 서브밴드 블록들에 근거하여 동작 벡터들을 전개시키기에 충분하다.

계속해서 도8을 참고하면, QCIF 이미지(30)(도4(a))의 이미지 매크로-블록(2,4)(IMB_2,4)에 상응하는 각각의 서브밴드 블록에 대하여 전개된 검색 영역들이 도시된다. 검색영역들의 크기는 변동될 수 있다. 그러나, 서브밴드 블록들에 대한 검색 영역들은 이미지와의 이들의 분수 관계에 따라 항상 비례할 것이다. 실예로, QCIF 이미지(30)(도13)의 P x P 펠의 기본 검색 영역은 도면부호 136으로 표시된 것처럼, P/2 x P/2(도8)의 SB₀₀의 서브밴드 블록(137)에 대한 검색영역으로 바꿔지고 도면부호139로 표시된 것 처럼, P/4 x P/2(도8)의 SB₀₁의 서브밴드 블록(140)에 대한 검색영역으로 바꿔진다.

이하 본문에 제공된 동작 추정의 실시예들에 있어, 도13의 P x P 검색 영역(107)은 32 x 32 펠을 포함해야하는데, 이는 16 x 16펠을 갖는 IMB_2,4의 4배 크기이다. 그러므로, P/2 x P/2 검색 영역(136)(도8)은 서브밴드 블록(137)(8 x 8계수들)의 4배 크기인 16 x 16계수들을 포함한다. 그리고, P/4 x P/2 검색 영역(139)은 서브밴드 블록(140)(8 x 4계수들)의 4배 크기인 16 x 8계수들을 포함한다. 아래 본문에 보다 기술되는 바와 같이, 서브밴드 검색 영역들은 다소 또는 모든 서브밴드(SB₀₀ 내지 SB₃₃)의 각각의 유효 서브밴드 블록(0,0 내지 8,10)에 대한 동작 벡터들을 용이하게 결정하는데 사용된다.

검색 영역의 기본 크기(P x P)는 고려되는 경험적이거나 또는 통계적인 분석, 실예로 프레임들 사이에서 예상되는 운동량에 의해 결정될 수 있다. 게다가, 고려는 해당 검색 영역에서 검색을 실행하기 위해 필요한 컴퓨터 작용이 주어져야 한다. 당업자는 보다 큰 검색 영역들이 보다 많은 컴퓨터 자원을 필요로 하여 고정된 처리기에 대해 보다 내부프레임 지연을 필요로 한다는 것을 이해할 것이다. 역으로, 보다 작은 검색 영역들은 컴퓨터 자원을 덜 필요로 하지만 이미지 품질을 희생한다. 이것은 특히 고 이미지-이동 주기 중에 들어맞는다. 즉, 이미지의 질은 동작의 부분이 검색영역 밖에 위치되어 정밀한 동작 벡터 선택을 가로막기 때문에 감소된다.

상기된 바와 같이, 랭크된 서브밴드 그루핑(53) 및 랭크된 서브밴드 매크로-블록 그루핑(54)은 블록(52)으로부터 선(55)을 통해 지역 블록(62) 및 동작 추정 블록(56)에 각각 전달된다. 아래 본문에 예를 들면, 검색 영역은 지연된 랭크된 서브밴드 그루핑(57)(도8)의 SB₀₀의 서브밴드 블록(2,4) 주변에 위치된다. 그리고, 랭크된 서브밴드 매크로-블록 그루핑(54)의 서브밴드 매크로-블록(2,4)의 SB₀₀의 서브밴드 블록(2,4)(도5(c)의 서브밴드 블록(116)참고)은 변화동안 검색영역을 트래버스하는데 사용된다. 그러나, 상기된 바와 같이, 서브밴드들의 임의의 선택 또는 모든 서브밴드들의 선택은 아래 기술된 방법에 따라 사용될 수 있다.

도3,8,9를 참고하면, 상기된 바와 같이, 랭크된 서브밴드 그루핑(53)은 지연 랭크된 서브밴드 그루핑(57)('기준 프레임')을 생성시키는 지연부(62)에서 지연된다. 지연 랭크된 서브밴드 그루핑(57)은 동작 추정 블럭(56)으로 전송되며, 검색 영역(136)이 서브밴드 블록(137) 주위의 SB₀₀에서 P/2 x P/2 영역을 가지는 것에 관해 식별된다. 이런 실예에 대해, 검색 영역은 16 x 16계수들과 동일하다. 랭크된 서브밴드 매크로-블록 그루핑(54)('현재'프레임)은 도5(c)의 서브밴드 블록(116)의 음영진 영역과 유사한 서브밴드 블록(138)(도9(a))이 이하 기술된 비교 처리에 사용하기 위해 검색되는 동작 추정 블록(56)에 또한 전송된다.

도9(a) 내지 도9(d)에 대해 참고하면, 동작 벡터들(MV_x,x)이 도3의 동작 추정 블록(56)에서 결정되는 처리들이 도시된다. 아래의 실시예에서, 동작 벡터가 하나의 서브밴드 블록, 즉, SB₀₀의 서브밴드 블록(2,4)에 대해 결정된다. 그러나, 동작 벡터들이 각 서브밴드( SB₀₀내지 SB₃₃)의 각 유효 서브밴드 블록에 대해 결정될 수 있다.

도9(a)를 참고하면, 랭크된 서브밴드 매크로-블록 그루핑(54)의 서브밴드 블록(138)은 지연 랭크된 서브밴드 그루핑(57)(도8)의 검색영역(136) 내에 위치된다. 서브밴드 블록(138)은 지연 랭크된 서브밴드 그루핑(57)의 서브밴드 블록(137) 상에 필수적으로 수퍼임포즈(superimpdsed)된다. 상기한 바와 같이, 랭크된 서브밴드 매크로-블록 그루핑(54)은 도5(c)에 도시된 서브밴드 매크로-블록 그루핑(40)과 유사한 구조를 갖는다. 그리고 지연 랭크된 서브밴드 그루핑(57)은 도4(b)에 도시된 서브밴드(34)의 집합과 유사한 구조를 갖는다. 도9(a)를 다시 참고하면, 검색 영역(136)의 계수(141)(각각에서 'x'를 갖는 4개의 원들로 도시됨)들 및 서브밴드 블록(138)의 계수(142)(4개의 원들로 도시됨)들은 동작 벡터를 결정하는 방법을 용이하게 예시하기 위해 본문에 사용된다. 계수(141,142)들이 값에 있어 근사적으로 동일하고 나머지 계수(도시되지 않음)들이 계수(141,142)들과 서로 다른 값으로 이루어지지만 근사적으로 서로 동일한 것으로 추정된다. 계수(141,142)들의 위치의 차이는 두 비디오 프레임들 사이의 변화, 실예로, 병진운동을 나타낸다.

도9(b)를 참고하면, 서브밴드 블록(138)은 서브밴드 블록(138)과 검색 영역(136) 사이의 각 단계에서의 총 절대 차이를 결정하기 위해 탐색하는 검색 영역(136)을 소정 계단식 패턴으로 트래버스(traverse), 즉, 검색한다. 당업자들은 다양한 트래버스 패턴들이 사용될 수 있음을 인지할 것이다. 게다가, 총 절대 차이 이외의 다른 판단 기준이 비교를 위한 기초로서 사용될 수 있다. 초기 비교는 증가적, 또는 전체 단계, 서브밴드 블록(138)의 이동을 사용하여 최량의 매치를 찾으려고 한다. 증가 이동은 x 또는 y 방향으로의 완전한 시프트, 또는 단계를 나타낸다. 실예로, 전체 검색 영역(136)을 검색시, 서브밴드 블록(138)은 검색영역(136)내에서 x방향으로 ±4 증분, 즉, 변환계수들 그리고 y방향으로 ±4증분 씩 시프트한다. 서브밴드 블록(138)이 8 x 8 계수들을 가지면서 검색 영역이 16 x 16계수들을 갖기 때문에 서브밴드 블록(138)은 x 및 y방향으로 ±4증분된다.

도9(b)를 계속 참고하면, 증가 검색을 처리한 이후, 최량의 매치는 양의 x방향으로는 완전 증가 이동이 3개 발견되며 y방향으로는 완전 증가 이동이 2개 발견된다. 이후, 도9(c)에 도시된 바와 같이, 분수적 차이들은 서브밴드 블록(138)과 검색 영역(136) 사이의 차이를 보다 정확하게 나타내도록 결정된다. 이런 처리를 용이하게 하기 위해, 특정 서브밴드에 적절한 분수 이동을 나타내는 마스크들이 서브밴드 블록(138)에 적용된다.

실예로, SB₀₀가 최초 이미지(도4(a)의 IMB_2,4참고)의 관련 매크로-블록의 1/4크기이기 때문에, 서브밴드 블록(138)이 IMB_2,4의 보다 우수한 이동을 보다 정확하게 재생시키도록 할 수 있는 4개의 분수 이동이 있다. 즉, 서브밴드 블록(138)은 x방향으로 증분의 ±1/2, y방향으로 증분의 ±1/2 이동할 수 있다. 그러므로, 4 분수 마스크(143)들은 최량의 매치를 찾아 서브밴드 블록(138)을 변경시키는데 사용된다.

도9(c)를 계속해서 참고하면, 4개의 마스크(143)들이 서브밴드 블록(138)에 적용된다. 각 마스크의 적용물 사이에서 서브밴드 블록(138)과 검색 영역(136)의 계수들 사이의 총 절대 차이가 결정된다. 상기 증가 검색 중에 결정되는 것과 비교하여 보다 우수한 매치가 발견되면, 분수 마스크가 동작 벡터에 가산된다. 실예에서, 최량의 매치는 양의 x 방향으로 +1/2 분수 이동되도록 결정된다. 동작 벡터의 결과적인 x 및 y 성분들은 각각 +3 1/2 및 +2이다.

당업자들은 상기 실시예에 도시된 것 정도로 정확한 매치를 얻는 것이 보통과는 다르다는 것을 인지할 것이다. 이런 의미에서, 서브밴드 블록의 계수들과 검색 영역의 계수들 사이의 '최량 매치'는 둘 사이의 '가장 근접한 근사값'으로 보다 정확하게 기술될 수 있다. 동작 예측치는 정확성의 결여에 대해 보상하도록 나중에 사용된다.

도9(d)를 참고하면, 동작 벡터의 x 및 y 성분들은 그들의 부호를 역전시키고 스케일링된다. 보다 상세하게는, 각각의 x 및 y 성분들에 -1배 하며, SB₀₀ 는 동작 추정에 사용되는 이런 실시예에서, 각각의 x 및 y 성분들에 2배한다. 동작 벡터들이 동작 예측 동안(아래에 보다 상세히 기술됨) 지연 랭크된 서브밴드 그루핑(57)에 적용될 때, 적절한 계수들이 '선행' 프레임 위치에서 '현재'프레임 위치로 이동되도록 x 및 y 성분들의 부호가 역전된다. 그리고, x 및 y 성분들은 최초 QCIF 이미지(IMB_2,4)의 관련 매크로-블록에 관하여 상기 결정된(x=3 1/2, y=2) 이동을 나타내도록 일정비율로 증가(scaled up)된다. 스케일링은 동작 예측 중에 서브밴드 SB₀₀내지 SB₃₃의 적절한 계수들을 시프팅시 사용된 x 및 y 성분들의 보다 단순한 결정을 허용한다.

실시예에서, SMB_2,4의 서브밴드 블록들의 이동을 확인하는 결과적인 동작 벡터는 x=-7 이고 y=-4(MV_2,4)이다. 그러므로, MV_2,4는 랭크된 서브밴드 그루핑(53)('현재' 프레임)을 예측하기 위해 지연 랭크된 서브밴드 그루핑(57)('기준'프레임)의 각각의 서브밴드로부터의 계수들의 특정 집합의 이동을 이들의 새로운 위치들에 표시한다. 상기 처리는 실예로, SB₀₀의 각각의 유효 서브밴드 블록에 대해 반복된다. 처리는 통상적으로 랭킹 순서대로, 즉, 최대량의 이동을 갖는 매크로-블록들로부터 최소량의 이동을 갖는 매크로-블록들까지 진행된다. 아주 비유효한 서브밴드 블록들은 전혀 고려되지 않고 그러므로 할당된 동작 벡터를 갖지 못할 것이다. 이것은 실예로, 프레임들 사이의 이런 위치들에서 비유효하거나 또는 변화가 없을 때 발생할 것이다. 이것은 서브밴드 블록들이 상기 기술된 바와 같이 레퍼런스된 제로일 때 또한 발생할 수 있다.

다른 서브밴드가 동작 벡터들을 계산하는데 사용되어야 한다면, 증가 및 분수 이동은 QCIF 이미지(30)와 관련하여 특정 서브밴드의 비례 관계를 사용하여 상기된 것과 비슷한 방식으로 결정될 것이다. 실예로, SB₀₁의 서브밴드 블록들이 동작 벡터들을 전개하기 위해 사용된다면, 이하 기준이 적용될 것이다: 검색 영역 크기=16 x 8; x 분수 마스크 = ±1/4, ±1/2, 및 ±3/4 증분; y 분수 마스크=±1/2 증분; x 스케일링=4; 및 y 스케일링=2.

상기 방법을 사용하는 장점은 분리가능한 필터들이 채용될 수 있다른 것이다. 달리 말하면, 한 서브밴드 블록의 증가 및 분수 이동에 사용된 필터들은 다른 서브밴드 블록의 증가 및 분수 이동에 사용될 수 있다. 실예로, SB₀₀의 서브밴드 블록들은 x= ±1/2 이고 y = ±1/2의 4개의 가능한 분수 이동을 가진다. 그리고, SB₀₁의 서브밴드 블록들은 x= ±1/4, ±1/2 및 ±3/4 이고, y = ±1/2의 8개의 가능한 분수 이동을 가진다. SB₀₀및 SB₀₁ 의 x= ±1/2 이고 y = ±1/2의 공통 분수 이동 때문에, 분리가능한 단일 필터들은 두 서브밴드들에서 x= +1/2 ,x= -1/2, y = +1/2, 이고 y = -1/2의 분수 이동들에 사용될 수 있다. 이런 방법은 지연 랭크된 서브밴드 그루핑(57)의 모든 공통 분수 이동에 사용될 수 있다. 분리가능한 필터들의 동일한 장점적인 사용은 동작 예측 블록(60)에서 실행될 수 있다.

도10을 참고하면, 모든 유효 서브밴드 블록들이 동작 추정 블록(56)에서 처리된 이후에, 동작 벡터(58)들의 집합이 동작 예측 블록(60) 및 위치 인코딩 블록(76)에 출력된다. 동작 예측 블록(60)에서, 동작 벡터들은 랭크된 서브밴드 그루핑(53)('현재'프레임)을 예측하기 위해 지연 랭크된 서브밴드 그루핑(57)('기준' 프레임)의 각각의 서브밴드로부터 계수들의 특정 집합들의 신규한 위치로의 시프트를 계산하기 위해 사용된다.

어느 마스크가 이런 시프트를 발생시키기 위해 사용되는지 결정하기 위해, x 및 y 성분들은 각 서브밴드 블록의 상응하는 모듈로(modulo)의 역수로 곱해진다. 실예로, SB₀₀의 2,4위치로 이동되도록 결정된 계수(148)들의 8 x 8 집합을 시프트하도록 x 및 y 성분들을 결정하기 위해, MV_2,4의 x 및 y 성분들은 상응하는 모듈로 2의 역수로 각각 곱해진다. 이 계산 결과는 x = -3 1/2 이고 y = -2이다. 그러므로, x=-3의 증가 이동에 대한 마스크, x = -1/2의 분수 이동에 대한 마스크, 및 y= -2의 증가 이동에 대한 마스크는 8 x 8 계수(148)들에 적용된다.

제2 실시예에 따라, SB₀₁의 2,4위치로 이동되도록 결정된 계수(149)들의 8 x 4 집합을 시프트하도록 x 및 y 성분들을 결정하기 위해, MV_2,4의 x 성분은 모듈로 4의 역수로 곱해지고 MV_2,4의 y 성분들은 모듈로 2의 역수로 곱해진다. 이 계산 결과는 x = -3 3/4 이고 y = -2이다. 그러므로, x=-1의 증가 이동에 대한 마스크, x = -3/4의 분수 이동에 대한 마스크, 및 y= -2의 증가 이동에 대한 마스크가 적용된다.

도10은 계수들의 모든 집합들의 SMB_2,4에 상응하는 서브밴드 블록들로의 이동을 예시한다. 동작 벡터(58)들의 집합으로부터 지연 랭크된 서브밴드 그루핑(57)('기준' 프레임)으로의 모든 동작 벡터(MV_x,x)의 적용은 랭크된 서브밴드 그루핑(53)('현재' 프레임)의 예측을 초래하고 예측된 그루핑(66)(도3)으로 칭해진다.

프레임들 사이의 분수 이동을 결정하기 위한 상기 마스킹 처리의 변형 실시예는 3×3 계수 마스크의 사용을 포함한다. 이 마스크들은 선택된 계수를 둘러싸는 계수들의 가중 평균을 취한다. 변형 수단에서, 증가 이동만을 포함하는 동작 벡터(58)들의 집합은 각각의 서브밴드(SB₀₀ 내지 SB₃₃) 또는 선택된 수의 서브밴드, 실예로, SB₀₀만의 각각의 유효 서브밴드 블록에 대해 도 9(a) 및 9(b)에 상기되며 도시된 바와 같이 결정된다. 동작 벡터(58)의 집합은 동작 예측 블록(60)에 전달된다.

동작 예측 블록(60)에서, 동작 벡터(58)들의 집합이 도 10에 도시되는 것과 유사한 방식으로 적용되어 지연 랭크된 서브밴드 그루핑(57)의 유효 서브밴드 블록들이 점증적으로 시프트된다. 이후, 계수들의 각각의 시프트된 집합의 각 계수는 그것에 적용된 3×3 마스크를 가진다. 적용되는 마스크는 각각의 시프트된 계수 주변의 계수들의 가중된 평균을 결정한다. 그 계산의 결과는 시프트된 계수의 예측치, 즉, 새 값의 계수들이다.

동작 벡터(58)들의 집합으로부터의 모든 동작 벡터들이 지연 랭크된 서브밴드 그루핑(57)에 적용되고 동작 벡터들에 의해 시프트된 모든 계수들이 3×3 마스크를 이들에 적용시킨 이후, 결과는 예측된 그루핑(66)으로 동작 예측 블록(60)으로부터 출력된다. 물론, 처리는 디코더(82)의 예측 블록(98)에서 반복되어, 동작 예측 블록(60)에서 실행된 마스킹 처리를 반복한다.

예측치가 상기 방법들 중 어느 하나에 의해 결정된 이후, 예측된 그루핑(66)이 랭크된 서브밴드 그루핑(53)과 예측된 그루핑(66) 사이의 차이가 결정되는 차이 블록(68)에 전달된다. 상기한 바와같이, 차이 블록(68)은 그루핑 차이(70)를 발생 시킨다.

본문에 기술된 동작 보상 방법이 텐서 곱 웨이브릿과 결합하여 함수로 예시되지만, 그 방법들이 다른 유형의 변환들과 사용될 수 있음을 인지하는 것은 중요하다. 이것은 시간 영역 또는 변환 영역의 다른 변환들과 동작 보상 방법들을 사용하는 것을 포함한다. 실예로, DCT로 변환된 데이터는 상기된 것과 유사한 방식으로 보상된 동작일 수 있다. 즉, DCT의 각각 8×8 블록들의 64 변환계수들은 텐서 곱 웨이브릿 변환의 SB₀₀의 각각의 8×8 서브밴드 블록들의 64 변환계수들을 동작 보상하기 위해 사용된 것과 유사한 방식으로 동작 보상될 수 있다.

도 11을 참고하면, 비디오 인코더의 또 다른 실시예가 도시되어 있다. 상기되며 도 3에 도시되는 실시예에 따라, 동작 추정 및 동작 예측은 블럭(150, 152)들의 변환 영역에서 각각 실행된다. 또한, 실시예의 전방부는 상기되고 도 3에 도시된 것과 유사하다. 보다 상세하게, CIF 이미지(26)는 컨버터(28)에서 QCIF이미지(30)로 변환된다. QCIF 이미지(30)는 형상 매핑 성분(20)들에 대한 이미지에 의해 서브밴드 매크로-블록 그루핑(40)으로 변환되어 전환된다. 그리고, 서브밴드(34)의 집합 및 서브밴드 매크로-블록 그루핑(40)은 변화된 형상을 결정하는 것과 관련된 성분들에 의해 랭크된 서브밴드 그루핑(53) 및 랭크된 서브밴드 매크로-블록 그루핑(54)으로 각각 전환된다.

도 3에 도시된 실시예와 또한 유사하게 랭크된 서브밴드 매크로-블록 그루핑(54)은 동작 추정 블록(150)에 전달되며 랭크된 서브밴드 그루핑(53)은 차이 블록(68)에 전달된다. 그러나, 지연 랭크된 서브밴드 그루핑(57)을 기준 프레임으로서 사용하는 대신, 이에 가산된 누적 오류를 갖는 오류 보정 서브밴드 그루핑(171)이 지연블록(156)에 전송되어 지연된 서브밴드 그루핑(172)('기준프레임')을 생성시킨다. 이런 변동은 양자화(또는 스케일링)가 너무 커서 차이 블록(68)에서 발생된 예측 오류(70)들을 실질적으로 변경시킬 때 필요하다.

오류 보정된 서브밴드 그루핑(171)을 전개시키기 위해, 랭크된 서브밴드 그루핑(53)의 복사가 차이 블록(68)을 통해 변화되지 않고 전달되어 시스템이 0으로 레퍼런스될 때, 실예로, 시스템이 초기화되거나 또는 디코더의 기준이 리프레시되어야 할 때, 메모리에 기억된다. 이후에, 예측오류(70)는 각각의 후속 프레임의 예측오류(70)가 양자화 블록(158)을 통과함에 따라, 누적되는데, 즉, 기준치에 가산된다. 갱신된 기준 이미지는 지연블록(156)에 전달되어 지연된 서브밴드 그루핑(172)를 발생시킨다. 이런 방법을 사용하여 인코더의 기준치는 디코더의 기준치와 동기를 유지한다. 당업자들은 다량의 스케일링 및/또는 양자화가 동작예측 및 위치 인코딩 사이에서 실행될 때 이런 배치가 인코더와 디코더 사이의 동기화를 유지할시 유용하다는 것을 인지할 것이다.

동작 추정 블록(150) 및 동작 예측 블록(152)이 지연블록(156)로부터 지연된 서브밴드 그루핑(172)를 수신한 이후, 동작 추정 및 동작 예측은 본문에서 상기되고 도 8 내지 10에 도시되는 것과 유사한 절차에 의해 결정된다. 게다가, 전방 이송부(159)는 블록이 변화된 양에 따라, 특정 블록상에서 이행되어야 할 양자화의 양을 조정하기 위해 변화 검출부(46)와 양자화 블록(158) 사이에 제공된다. 다량 의 변화가 변화 검출부(46)에서 검출될 때, 다수의 비트들이 양자화를 위해 할당된다. 그리고 역으로, 소량의 변화가 변화 검출부(46)에서 검출될 때, 비례적으로 보다 적은 수의 비트들이 양자화를 위해 할당된다.

도 12를 참고하면, 비디오 인코더의 또다른 실시예가 도시된다. 이 실시예의 전방부는 상기되고 도 3 및 도 11에 도시된 실시예들과 유사하다. 그러나, 상기 실시예들과 다르게, 동작 추정이 이미지 영역에서 실행된다. 이런 실시예는 다소의 처리기들에서 현재 사용가능한 특정 하드웨어 구성을 사용한다.

도 12에서, CIF 이미지(26)는 컨버터 블록(28)에서 QCIF 이미지(30)로 전환된다. QCIF 이미지(30)는 매핑 성분(20)들을 특징짓기 위한 이미지에 의해 서브밴드 매크로-블록 그루핑(40)으로 변환 및 전환된다. 서브밴드 매크로-블록 그루핑(40)은 서브밴드 매크로-블록 랭킹을 결정하기 위해 변화된(22) 특징들을 결정하는 것과 관련된 성분들에 의해 처리된다. 결과는 서브밴드(34)의 집합에 적용되어 랭크된 서브밴드 그루핑(53)을 초래한다. 랭크된 서브밴드 그루핑(53)은 이후 차이 블록(68)에 전달된다.

또한 '현재' 프레임으로 칭해지는 QCIF 이미지(30)는 동작 벡터(162)들의 집합을 결정하기 위해 동작 추정 블록(160) 및 지연 블록(166)에 또한 전달된다. 보다 상세하게는, 이미지 프레임(30)이 '기준'프레임으로 칭해지는 지연된 이미지 프레임(167)을 발생시키는 지연부(166)에서 지연된다. 도 13을 참고하면, 지연된 이미지 프레임(167)은 P×P 펠 검색 영역이 각각의 유효 이미지 매크로-블록에 대해 전개되는 동작 추정 블록(160)에 전달된다. 실예로, P×P펠 검색 영역(107)은 이미지 매크로-블록(2, 4)(IMB₂,₄)에 대해 설정된다. 실험적 분석에 근거하여, 32×32펠의 검색 영역(107)은 QCIF 이미지 프레임의 16×16펠 이미지 매크로-블록에 대한 검색 영역으로 사용된다.

동작 추정 블록(160)에서, 현재 QCIF 이미지(30) 프레임의 각각의 유효 이미지 매크로-블록(IMB_X,X)은 동작 벡터들을 결정하기 위해 지연된 이미지 프레임(167)에서 상응하는 검색 영역 내에 위치된다. 실예로, IMB₂,₄는 QCIF 이미지(30)로부터 복원되고 지연된 이미지 프레임(167)의 검색 영역(107)내에 위치된다. 이런 처리는 상기되고 도 8 및 9(a)에 도시된 변환 영역에서 실행되는 것과 유사하다.

상기되고 도9(b)에 도시된 것과 유사한 방식으로, IMB_2,4는 IMB_2,4와 검색 영역(107) 사이의 각 단계에서 최소 총 절대 차이(minimum total absolute difference)를 결정하기 위한 검색 영역(107)을 트래버스한다. 그러나, 상기된 서브밴드 검색과 다르게, 분수(fractional) 검색은 이미지 영역의 검색시에 필요하지 않다. 그러므로, IMB_2,4의 증가 이동을 결정한 이후, ｘ 및 y좌표는 반전(-1로 곱해짐)되며 동작 벡터(162)의 집합과 메모리에 저장된다. 동작 벡터들은 예측 블록(154) 및 위치 인코딩 블록(76)에 전달된다. 이후, 동작 벡터들은 도 3과 관련하여 상기되고 도 10에 도시된 것과 유사한 방식으로 지연된 서브밴드 그루핑(172)에 적용된다.

도 14를 참고하면, 비디오 인코더의 또다른 실시예가 예시되는데, 여기에서, 전방부는 상기되고 도 3, 11 및 12에서 도시된 실시예들과 유사하다. 그러나, 상기된 실시예들과 다르게, 동작 예측 및 동작 추정 둘 모두 이미지 영역에서 실행된다.

도 14에서, 동작 벡터(162)들의 집합은 상기되었으며 도 12 및 13에 도시된 것과 유사한 방식으로 결정된다. 동작 벡터(162)들의 집합은 동작 예측을 위한 블록(164) 및 위치 인코딩을 위한 블록(76)에 전달된다. 상기되었으며 도 11 및 12에 도시된 것과 유사한 방식으로, 이에 가산된 누적 오류들을 갖는 오류 보정된 서브밴드 그루핑(171)은 지연블록(156)에 전달되므로써, 지연된 서브밴드 그루핑(172)('기준프레임')을 발생시킨다. 그러나 상기된 실시예들과 달리, 지연된 서브밴드 그루핑(172)은 이후 재구성된 이미지(176)를 형성하기 위해 역 웨이브릿 변환 블록(174)에 의해 재구성된다. 재구성된 이미지는 도 4(a)에 도시된 QCIF 이미지(30)와 유사한 구조를 가진다.

변형적으로, 지연된 서브밴드 그루핑(172)을 완전히 재구성하는 대신, 일부 그루핑이 재구성되어 유효성을 실현할 수 있다. 실예로, 3, 5 필터는 48×48 펠을 갖는 재구성된 영역을 얻는데 사용될 수 있다. 영역들은 그 영역들이 중심에 있는 이미지 매크로-블록(16×16)의 유효성 즉, 그 내부의 검출된 변화에 근거하여 선택된다.

동작 예측 블록(164)에서, 동작 벡터(162)들의 집합은 재구성된 이미지(176)(또는 영역들이 역 웨이브릿 변환이라면 재구성된 48×48 펠 영역들)에 적용된다. 동작 벡터(162)들의 집합은 QCIF 이미지의 서브밴드 표시의 변환 계수들의 집합을 시프트하기 위해 상기되고 도 10에 도시된 것과 유사한 방식으로 재구성된 기준 이미지(176)에 적용된다. 이후에, 예측치(178)는 예측된 그루핑(66)을 발생시키는 전방 웨이브릿 변환 블록(180)에 전달된다. 예측된 그루핑(66)은 그 후 차이 블록(68)에서 랭크된 서브밴드 그루핑(58)으로부터 감산되어 그루핑 차이(70)를 초래한다. 양자화는 블록(158)에서 수행되고 오류들은(상기된) 기준치를 유지하기 위해 누적되며 또한 위치 인코딩 블록(76)에 전달된다. 양자화된 오류의 위치 인코딩 및 동작 벡터(162)들이 상기된 바와같이 발생되고 전송선(80)을 통해 디코더에 전송된다.

비록 본문에서는 소프트웨어 실현으로 예시되지만, 본 발명의 실시예들의 원리들은 하드웨어, 실예로, 응용 주문형 집적회로(ASIC)를 통해 실현될 수도 있다. 바람직하게는, 필요한 메모리 요건을 포함하는 ASIC 실현체는 ⅰ)실시예와 일치하는 전원 소모를 최소화하고 ⅱ) 13.5㎒이하의 데이터 레이트의 실예로, 완전 CCIR601 같은, 완전 컬러 비디오의 압축을 허용하기 위해 펠 레이트로 작동해야 한다. 전원 소모는 통상적 소프트웨어 및 처리기 구현과 비교하여 ASIC를 사용하므로써 10배의 팩터정도 감소될 것임을 알 수 있다.

변형적으로, 광학 방법은 보다 더 전원을 절약하기 위해 채용될 수 있다. 상기한 바와같이, 이미지에 대한 근사값이 웨이브릿 변환의 각 단에서 생성되며 이 근사값을 만듦으로써 손실된 세부값들이 기록된다. 광-전자 또는 광학 구현에 있어, 광이 어떻게 모아지고 관련 전하가 감지되는지는 각각의 근사값 이미지의 샘플들을 모으기 위해 조절될 수 있다. 이런 근사값 이미지들이 평행하게 공동-등록된다면, 세부 항들은 아날로그 또는 디지털 수단에 의해 이런 중간 값들로부터 계산될 수 있다. 바람직하게는, 아날로그 수단이 아날로그 단의 출력으로 세부 항들을 계산하는데 사용될 수 있다.

세부항들은 양자화 전략을 구현하는 비트 직렬 아날로그/디지털 컨버터의 사용을 통해 양자화될 수 있다. 이런 식으로, 포토닉/광학 장치는 즉, 발생되는 디지털 변이의 갯수는 이미지 데이터 레이트(ASIC의 경우에서 같은) 또는 처리기 데이터 레이트(통상적 처리기의 경우에서 같은) 보다는 오히려 압축된 데이터 레이트로 작동한다. 이것은 매우 적은 전류들 소모하여 전원을 덜 필요로하는 구현체를 초래할 것이다. 광학 방법의 구현은 ASIC 구현의 것보다 약 10배의 팩터만큼 전원 소모를 더 감소시킬 것이라는 것이 예상된다.

본문에 도시되고 기술된 실시예들 및 변형들은 본 발명의 원리들의 예시일 뿐이고 다양한 수정이 본 발명의 범위 및 사상을 벗어나지 않고 당업자들에 의해 구현될 수 있음이 이해되어야 한다.

Claims

제1 및 제2 데이터 세트를 포함하는 데이터를 압축하는 방법에 있어서,

상기 제1 및 제2 데이터 세트를 상응하는 제1 및 제2 변환 계수 세트로 변환하는 단계;

상기 제1 및 제2 변환 계수 세트 사이의 차이를 나타내는 데이터를 발생시키는 단계; 및

전송하기 위해 상기 발생된 데이터를 인코딩하는 단계;를 포함하며,

상기 데이터 발생 단계는:

동작 벡터를 제공하기 위해서 상기 제1 변환 계수 세트와 제2 변환 계수 세트 사이의 차이를 추정하는 단계;

상기 제2 변환 계수 세트의 예측치를 생성하기 위해서 상기 동작 벡터를 상기 제1 변환 계수 세트에 적용하는 단계;

상기 제2 변환 계수 세트로부터 상기 예측치를 감산하여 예측 오류의 세트를 발생시키는 단계;

를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 1 항에 있어서, 상기 제1 및 제2 데이터 세트를 변환시키는 단계는 텐서 곱 웨이브릿 변환을 사용하여 이행되는 것을 특징으로 하는 데이터 압축 방법.
제 2 항에 있어서, 나머지들이 하나의 서브밴드로부터 다른 서브밴드에 전송되는 것을 특징으로 하는 데이터 압축 방법.
삭제
제 1 항에 있어서, 상기 제1 및 제2 변환 계수 세트는 오류 보정되는 것을 특징으로 하는 데이터 압축 방법.
제 1 항에 있어서, 상기 동작 벡터를 상기 제1 변환 계수 세트에 적용하는 단계는 인접 변환 계수들의 가중 평균치를 얻기 위해 각각의 유효 변환 계수에 대해 마스크를 적용하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 1 항에 있어서, 상기 제1 및 제2 변환 계수 세트 사이의 차이를 추정하는 단계는:

변환 계수의 세브세트 주위에서 상기 제1 및 제2 변환 계수 세트들 중 하나로부터 검색 영역을 발생시키는 단계;

변환 계수들의 관련 서브세트를 제1 및 제2 변환 계수 세트들 중 다른 하나로부터 상기 검색 영역에 적용시키는 단계; 및

검색 영역 내에서 변환 계수들의 관련 서브세트를 최량의 증가 매치를 나타내는 위치로 점증적으로 트래버스(traverse)하는 단계;

를 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 7 항에 있어서, 상기 검색 영역 내에서 상기 변환 계수들의 관련 서브세트를 최량의 분수 매치를 나타내는 위치로 분수적으로 트래버스하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 1 항에 있어서, 상기 제1 및 제2 데이터 세트들의 변환은 제1 변환 계수 세트를 서브밴드의 제1 집합(collection)으로 그리고 제2 변환 계수 세트를 서브밴드의 제2 집합으로 발생시키는 것을 특징으로 하는 데이터 압축 방법.
제 9 항에 있어서, 서브밴드 매크로-블록 그루핑을 형성하기 위해 상기 서브밴드의 제2 집합을 패킹하는 매크로-블록을 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 10 항에 있어서, 상기 서브밴드 매크로-블록 그루핑 내의 서브밴드 매크로-블록들에 대해 가중을 가하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 10 항에 있어서, 상기 서브밴드 매크로-블록 그루핑과 기준치 사이의 변화를 검출하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 12 항에 있어서, 상기 서브밴드 매크로-블록 그루핑과 상기 기준치 사이의 변화를 검출하는 단계는 하기 형태의 일반 방정식에 따른 왜곡 평가에 기초하는 것을 특징으로 하는 데이터 압축 방법.
제 13 항에 있어서, 상기 서브밴드 매크로-블록 그루핑과 상기 기준치 사이의 변화를 검출하는 단계는 하기의 더 특정 형태의 방정식에 따른 왜곡 평가에 기초하는 것을 특징으로 하는 데이터 압축 방법.
제 10 항에 있어서, 상기 제1 및 제2 변환 계수 세트들 사이의 차이를 나타내는 데이터를 발생시키는 단계는:

동작 벡터를 제공하기 위해서 서브밴드의 상기 제1 집합과 상기 서브밴드 매크로-블록 그루핑 사이의 차이를 추정하는 단계;

서브밴드의 제2 집합의 예측치를 발생시키기 위해서 상기 동작 벡터를 서브밴드의 상기 제1 집합에 적용하는 단계; 및

서브밴드의 상기 제2 집합으로부터 상기 예측치를 감산하여 예측 오류의 세트를 발생시키는 단계;

를 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 15 항에 있어서, 서브밴드들의 상기 제1 집합과 상기 서브밴드 매크로-블록 그루핑 사이의 차이를 추정하는 단계는:

변환 계수의 서브세트 주위에서 서브밴드들의 제1 집합으로부터 검색 영역을 발생시키는 단계;

변환 계수의 관련 서브세트를 상기 서브밴드 매크로-블록 그루핑으로부터 상기 검색 영역에 적용시키는 단계; 및

상기 검색 영역 내에서 상기 변환 계수의 관련 서브세트를 최량의 증가 매치를 나타내는 위치로 점증적으로 트래버스하는 단계;

를 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 16 항에 있어서, 상기 검색 영역 내에서 상기 변환 계수의 관련 서브세트를 최량의 분수 매치를 나타내는 위치로 분수적으로 트래버스하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 1 항에 있어서, 전송하기 위해 상기 발생된 데이터를 인코딩하는 단계는 제로와 같은 상기 발생된 데이터의 서브세트를 식별하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제1 및 제2 데이터 세트들을 포함하는 데이터를 압축하는 방법에 있어서,

상기 제1 데이터 세트 및 상기 제2 데이터 세트를 상응하는 제1 및 제2 변환 계수 세트로 변환하는 단계;

동작 벡터를 제공하기 위해 상기 제1 변환 계수 세트와 제2 변환 계수 세트 사이의 차이를 추정하는 단계;

상기 동작 벡터를 상기 제1 변환 계수 세트에 적용하여 제2 변환 계수 세트를 예측하는 단계;

예측 오류를 얻기 위해 상기 예측된 제2 변환 계수 세트를 상기 제2 변환 계수 세트로부터 감산하는 단계; 및

디코더에 전달하기 위해 상기 예측 오류 및 상기 동작 벡터를 인코딩하는 단계;

를 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 19 항에 있어서, 상기 제1 데이터 세트 및 상기 제2 데이터 세트를 변환하는 단계는 텐서 곱 웨이브릿 변환을 사용하여 실행되는 것을 특징으로 하는 데이터 압축 방법.
제 19 항에 있어서, 상기 제1 및 제2 변환 계수 세트 사이의 차이를 추정하는 단계는:

변환 계수의 서브세트 주위에서 제1 및 제2 변환 계수 세트 중 어느 하나로부터 검색 영역을 발생시키는 단계;

변환 계수의 관련 서브세트를 제1 및 제2 변환 계수 세트 중 나른 하나로부터 상기 검색 영역에 적용시키는 단계; 및

상기 검색 영역 내에서 상기 변환 계수의 관련 서브세트를 최량의 증가 매치를 나타내는 위치로 점증적으로 트래버스하는 단계를 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 21 항에 있어서, 상기 검색 영역 내에서 상기 변환 계수의 관련 서브세트를 최량의 분수 매치를 나타내는 위치로 분수적으로 트래버스하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 19 항에 있어서, 상기 제1 데이터 세트 및 제2 데이터 세트를 변환하는 단계는 상기 제1 변환 계수 세트를 서브밴드의 제1 집합으로 그리고 상기 제2 변환 계수 세트를 서브밴드의 제2 집합으로 발생시키는 것을 특징으로 하는 데이터 압축 방법.
제 23 항에 있어서, 서브밴드 매크로-블록 그루핑을 형성하기 위해서 상기 서브밴드의 제2 집합을 패킹하는 매크로-블록을 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 24 항에 있어서, 상기 서브밴드 매크로-블록 그루핑을 형성하는 서브밴드 매크로-블록들에 대해 가중을 가하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 24 항에 있어서, 상기 서브밴드 매크로-블록 그루핑과 기준치 사이의 변화를 검출하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 26 항에 있어서, 상기 서브밴드 매크로-블록 그루핑과 기준치 사이의 변화를 검출하는 단계는 하기 형태의 일반 방정식에 따른 왜곡 평가에 기초하는 것을 특징으로 하는 데이터 압축 방법.
제 19 항에 있어서, 상기 디코더에 전달하기 위해 상기 예측 오류 및 상기 동작 벡터를 인코딩하는 단계는 제로와 같은 상기 예측 오류의 서브세트를 식별하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1 및 제2 데이터 세트들을 포함하는 데이터를 압축하는 방법에 있어서,

상기 제1 데이터 세트 및 상기 제2 데이터 세트를 상응하는 제1 및 제2 변환 계수 세트로 변환하는 단계;

동작 벡터를 제공하기 위해서 제1 및 제2 데이터 세트 사이의 차이를 추정하는 단계;

상기 동작 벡터를 상기 제1 변환 계수 세트에 적용하여 제2 변환 계수 세트를 예측하는 단계; 및

예측 오류를 얻기 위해서 상기 제2 변환 계수 세트로부터 상기 예측된 제2 변환 계수 세트를 감산하는 단계;

를 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 29 항에 있어서, 상기 제1 변환 계수 세트는 오류 보정되는 것을 특징으로 하는 데이터 압축 방법.
디코더에 전달되는 비트들의 갯수를 감소시키기 위해서 인코더의 데이터를 압축하는 방법에 있어서,

제1 데이터 세트 및 후속의 제2 데이터 세트를 변환하여 상응하는 제1 및 제2 변환 계수 세트들을 생성하는 단계;

동작 벡터를 제공하기 위해서 제1 데이터 세트와 제2 데이터 세트 사이의 차이를 추정하는 단계;

상기 동작 벡터를 상기 제1 데이터 세트에 적용하여 상기 제2 변환 계수 세트를 예측하고 상기 예측 결과를 변환하는 단계; 및

예측 오류를 얻기 위해서 상기 제2 변환 계수 세트로부터 상기 변환된 예측 결과를 감산하는 단계;

를 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 31 항에 있어서, 상기 제1 변환 계수 세트를 역변환하는 단계 및 상기 제1 변환 계수 세트를 예측동안 기준치로서 제공하는 단계를 더 포함하는 것을 특징으로 하는 데이터 압축 방법.
제 32 항에 있어서, 상기 제1 변환 계수 세트는 오류 보정되는 것을 특징으로 하는 데이터 압축 방법.
삭제
삭제
삭제
데이터 세트를 변환 계수들로 변환시키는 방법으로서, 2개 이상의 필터 경로를 갖는 텐서 곱 웨이브릿 변환을 사용하여 상기 데이터 세트를 변환하는 단계 및 상기 필터 경로들 중 적어도 2개 필터 경로 사이에서 변환중에 유도된 나머지를 전달시키는 단계를 포함하는 것을 특징으로 하는 변환 방법.
제 37 항에 있어서, 나머지는 상기 2개 이상의 필터 경로 중 제1 필터 경로로부터 상기 2개 이상의 경로 중 제2 필터 경로에 전달되고 나머지는 상기 제2 필터 경로로부터 상기 제1 필터 경로에 전달되는 것을 특징으로 하는 변환 방법.
제 37 항에 있어서, 상기 텐서 곱 웨이브릿 변환은 고역 통과 성분 및 저역 통과 성분을 결정하기 위한 텐서 곱 웨이브릿 쌍인 것을 특징으로 하는 변환 방법.
제 39 항에 있어서, 상기 데이터 세트를 변환하고 상기 필터 경로들 간에 나머지를 전달하는 단계는:

상기 데이터 세트의 상기 저역 통과 성분 및 고역 통과 성분을 결정하는 단계;

저역 통과 정규화 출력 및 제1 나머지(rl)를 발생시키기 위해서 상기 저역 통과 성분을 정규화하는 단계;

고역 통과 정규화 출력 및 제2 나머지(rh)를 발생시키기 위해서 상기 고역 통과 성분을 정규화하는 단계;

상기 제1 및 제2 나머지(rl,rh) 에 대해 제1 연산(g(rl,rh))을 수행하며 근사값을 생성하기 위해서 이로부터 나오는 결과를 상기 저역 통과 정규화 출력에 가산하는 단계; 및

상기 제1 및 제2 나머지(rl,rh) 에 대해 제2 연산(f(rl,rh))을 수행하며 세부값을 생성하기 위해서 이로부터 나오는 결과를 상기 고역 통과 정규화 출력에 가산하는 단계;

를 포함하는 것을 특징으로 하는 변환 방법.
제 40 항에 있어서, 상기 저역 통과 성분 및 고역 통과 성분을 다운샘플링하는 단계를 더 포함하는 것을 특징으로 하는 변환 방법.
제 39 항에 있어서, 상기 저역 통과 성분은 값 -1,2,6,2,-1을 갖는 필터를 사용하여 결정되고; 상기 고역 통과 성분은 -1,2,-1을 갖는 필터를 사용하여 결정되며; 하기와 같은 함수를 갖는 제1 연산(g(rl,rh)) 및 제2 연산(f(rl,rh))를 더 포함하는 것을 특징으로 하는 변환 방법.

g(rl,rh) = rh; 및

f(rl,rh) = floor(rh + 1/2), 여기에서, nh =1/2.
제 39 항에 있어서, 텐서 곱 웨이브릿 쌍은 하기 형태인 것을 특징으로 하는 변환 방법.

; 및
데이터 세트를 변환계수들로 인코딩하는 방법으로서, 인코딩 기술을 사용하여 데이터 세트를 변환하는 단계 그리고 인코딩 중에 유도된 나머지들을 인코더의 제1 필터 경로에서 제2 필터 경로로 전달하는 단계를 포함하는 것을 특징으로 하는 변환 방법.
제 44 항에 있어서, 나머지를 상기 제2 필터 경로에서 상기 제1 필터 경로에 전달하는 단계를 더 포함하는 것을 특징으로 하는 변환 방법.
제 44 항에 있어서, 상기 인코딩 기술은 텐서 곱 웨이브릿 변환인 것을 특징으로 하는 변환 방법.
제 44 항에 있어서, 상기 인코딩 기술은 이산 코사인 변환(DCT)인 것을 특징으로 하는 변환 방법.
데이터 세트를 인코딩하는 방법에 있어서,

제1 필터 경로에서 데이터 세트의 제1 필터 성분을 결정하는 단계;

제2 필터 경로에서 데이터 세트의 제2 필터 성분을 결정하는 단계;

정규화된 출력 및 나머지를 발생시키기 위해서 상기 제1 필터 성분을 정규화시키는 단계; 및

상기 나머지를 상기 제2필터 경로로 전달하는 단계

를 포함하는 것을 특징으로 하는 데이터 세트 인코딩 방법.
제1 데이터 세트와 제2 데이터 세트 사이에서 발생하는 변화를 추정하는 방법에 있어서,

상기 제1 및 제2 데이터 세트 중 하나로부터 데이터 서브세트 주위에 검색 영역을 발생하는 단계;

관련 데이터 서브세트를 상기 제1 및 제2 데이터 세트 중 다른 하나로부터 상기 검색 영역에 적용하는 단계; 및

검색 영역 내에서 상기 관련 데이터 서브세트를 최량의 증가 매치를 나타내는 위치로 점증적으로 트래버스하는 단계;

를 포함하는 것을 특징으로 하는 변화 추정 방법.
제 49 항에 있어서, 상기 검색 영역 내에서 상기 관련된 데이터 서브세트를 최량의 분수 매치를 나타내는 위치로 분수적으로 트래버스하는 단계를 더 포함하는 것을 특징으로 하는 변화 추정 방법.
인코더 장치에 있어서,

제1 데이터 세트와 제2 데이터 세트를 수신하도록 형성된 입력부를 구비하며, 상응하는 서브밴드의 제1 및 제2 집합을 발생시키도록 더 형성된 변환 장치; 및

상기 변환 장치에 결합되고 상기 서브밴드의 제1 및 제2 집합을 수신하도록 형성된 입력부를 구비하며, 상기 서브밴드의 제1 및 제2 집합 간의 차이를 효율적으로 나타내도록 더 형성된 동작 보상 장치;

를 포함하는 것을 특징으로 하는 인코더 장치.
제 51 항에 있어서, 상기 동작 보상 장치는 상기 변환 영역에서 상기 서브밴드의 제1 및 제2 집합에 대해 모든 연산을 수행하는 것을 특징으로 하는 인코더 장치.
제 51 항에 있어서, 상기 동작 보상 장치로부터 예측치 및 상기 변환 장치로부터 상기 서브밴드의 제2 집합을 수신하도록 형성되며 예측 오류를 발생시키기 위해 상기 예측치와 상기 서브밴드의 제2 집합 사이의 차이를 결정하도록 더 형성된 차이 블록을 더 포함하는 것을 특징으로 하는 인코더 장치.
제 51 항에 있어서, 상기 동작 보상 장치는:

상기 변환 장치에 결합되며, 동작 벡터를 발생시키기 위해서 상기 서브밴드의 제1 및 제2 집합을 비교하도록 형성된 동작 추정 장치; 및

상기 동작 추정 장치 및 변환 장치에 결합되며, 상기 동작 벡터 및 상기 서브밴드의 제1 집합을 수신하도록 형성되고, 상기 서브밴드의 제2 집합의 예측치를 발생하도록 더 형성된 동작 예측 장치;

를 포함하는 것을 특징으로 하는 인코더 장치.
변화를 검출하기 위한 인코더 장치에 있어서,

제1 데이터 세트 및 제2 데이터 세트를 수신하도록 형성된 입력부를 구비하며, 이로부터 서브밴드들의 제1 집합 및 서브밴드들의 제2 집합을 각각 발생하도록 더 형성된 변환 장치; 및

상기 변환 장치에 결합되고 상기 서브밴드의 제1 집합 및 상기 서브밴드의 제2 집합을 수신하도록 형성된 입력부를 구비하며, 제1 서브밴드 매크로-블록 표시 및 제2 서브밴드 매크로-블록 표시를 각각 발생하도록 더 형성된 매크로-블록 패킹 장치;

를 포함하는 것을 특징으로 하는 인코더 장치.
제 55 항에 있어서, 상기 매크로-블록 패킹 장치와 교신하도록 형성되며 지각적 중요성(perceptual importance)에 근거하여 상기 제1 서브밴드 매크로-블록 표시 및 상기 제2 서브밴드 매크로-블록 표시를 수신 및 스케일링하도록 형성된 입력부를 갖는 가중 장치를 더 포함하는 것을 특징으로 하는 인코더 장치.
제 55 항에 있어서, 상기 매크로-블록 패킹 장치와 교신하도록 형성된 입력부를 가지며 상기 제1 서브밴드 매크로-블록 표시 및 상기 제2 서브밴드 매크로-블록 표시를 비교하여 이들 사이의 변화를 결정하도록 형성된 변화-검출 장치를 더 포함하며, 상기 변화-검출 장치는 상기 변화를 반영하는 변화-검출 그루핑을 발생하도록 더 형성된 것을 특징으로 하는 인코더 장치.
제 57 항에 있어서, 상기 변화-검출 장치에 결합된 입력부를 가지며 상기 변화-검출된 그루핑을 랭크하도록 형성된 매크로-블록 랭킹 장치를 더 포함하는 것을 특징으로 하는 인코더 장치.
제 57 항에 있어서, 상기 제1 서브밴드 매크로-블록 표시 및 상기 제2 서브밴드 매크로-블록 표시의 비교는 하기의 일반 방정식에 따른 왜곡 평가에 근거하는 것을 특징으로 하는 인코더 장치.
제 59 항에 있어서, 상기 제1 서브밴드 매크로-블록 표시 및 상기 제2 서브밴드 매크로-블록 표시의 비교는 하기의 보다 특정 형태의 방정식에 따른 왜곡 평가에 근거하는 것을 특징으로 하는 인코더 장치.