KR20040077777A

KR20040077777A - 드리프트-없는 비디오 엔코딩 및 디코딩 방법, 및 대응장치들

Info

Publication number: KR20040077777A
Application number: KR10-2004-7011386A
Authority: KR
Inventors: 아나우드 보어즈; 에릭 바라우
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2002-01-22
Filing date: 2003-01-20
Publication date: 2004-09-06
Also published as: JP2005516494A; WO2003063497A1; EP1472883A1; US20050018771A1; CN1620815A

Abstract

본 발명은 비디오 시퀀스의 압축을 위한 비디오 엔코딩 방법에 관한 것으로서, 상기 방법은 웨이브렛 분해(wavelet decomposition)에 의해 원래 비디오 시퀀스로부터 저 해상도 시퀀스를 발생시키는 단계; 모션 보상된 공간-시간 분석(motion compensated spatio-temporal analysis)에 의해 상기 저 해상도 시퀀스상에서 저 해상도 분해를 수행하는 단계, 상기 웨이브렛 분해로부터 발생되는 고 주파수 공간 서브대역들을 상기 저 해상도 분해에 앵커링함으로써 전체 해상도 시퀀스를 상기 저 해상도 분해로부터 발생시키는 단계, 및 상기 모션 보상된 공간-시간 분석 동안 발생되는 상기 모션 벡터들 및 상기 전체 해상도 시퀀스를 코딩하는 단계를 포함한다. 본 발명은 또한, 대응하는 디코딩 방법 및 대응하는 엔코딩 및 디코딩 장치들에 관한 것이다.

Description

드리프트-없는 비디오 엔코딩 및 디코딩 방법, 및 대응 장치들{Drift-free video encoding and decoding method, and corresponding devices}

인터넷의 성장 및 다매체 기술들의 진보들은 새로운 응용들 및 서비스들을 가능하게 하였다. 이들 대부분은 가변하는 네트워크 조건들 및 단말기 성능들에 적응하기 위하여 코딩 효율을 필요로 할뿐만 아니라 향상된 기능성 및 유연성을 필요로 한다. 분해능력(scalability)이 이들 요구들에 응답한다. 현재 비디오 압축 표준들은 종종, 각 프레임을 기준 프레임으로부터 일시적으로 예측하고(예측 옵션들은 인트라 프레임들 또는 I 프레임들에 대해선 제로 값 예측, P 프레임들에 대해선 순방향 예측, 또는 B 프레임들에 대해선 양방향 예측) 얻어진 예측 에러를 공간 용장도들의 이점을 얻도록 변환시키는 예측 방식을 토대로 한 소위 하이브리드 해법들을 사용한다. MPEG-2로부터 MPEG-4까지, 표준-기반으로 한 스케일러블 해법들이 제안되었다. 이들은 원래 비디오 시퀀스의 최저 공간, 시간 및/또는 SNR 해상도 버젼을 포함하는 베이스 층 및 (전송 및 디코딩되는 경우) 공간적으로, 시간적으로및/또는 SNR 개선된 재구성(refined reconstruction)하는 하나 또는 여러 개의 인헨스먼트 층들(enhancement layers)의 생성에 좌우된다. 그러나, 이들 층-기반으로 한 분해능력 방식들의 단점은 코딩 효율의 부족에 기인한다.

임베드된 비트스트림들을 발생시킬 수 있는 3차원(3D) 서브대역 코딩과 같은 기술들이 여러 가지 방식에 제안되었다. 다-해상도 분석 구조로 인해, 분해능력은 이들 방식들에 본래부터 존재하여 이들의 고유한 코딩 효율을 저하시키지 않는다. 예를 들어 "A fully scalable 3D subband video codec", "Proceedings of the International Conference on Image Processing(ICIP2001), vol.2, 2001, pp.1017-1020에 서술된 바와 같은 3D 서브대역 코덱에서, 임베드된 비트스트림은 완전히 스케일러블되고 공간 및 시간 해상도들에서 디코딩될 수 있고, 어떤 소망의 SNR 품질로 인해, 공지된 위치들에서 트렁케이션(truncation)에 의해 단순화된다. 이와 같은 방식에서, 연속적인 프레임들의 그룹들(GOFs)은 3D 구조들로서 처리되고 공간-시간적으로 필터링되어, 저 주파수들에서 에너지를 콤팩트화 하며, 모션 보상이 또한 제공되어 전체 코딩 효율을 개선시킨다. 3D 서브대역 구조가 도1에 도시되어 있다. 모션 보상과 함께 도시된 3D 웨이브렛 분해(wavelet decomposition)가 프레임들의 그룹(GOF)에 적용되고, 이 현재의 GOF는 제1 모션-보상(MC)되어, 큰 모션을 지닌 시퀀스들을 처리하고 나서 Haar 웨이브렛들을 사용하여 일시적으로 필터링(TF)된다(점선의 화살표들은 고역 시간 필터(temporal filter)에 대응하는 반면에, 다른 화살표들은 저역 시간 필터링에 대응한다). 모션 보상 동작 및 시간 필터링 동작 후, 각 시간 서브대역은 공간-시간 서브대역(spatio-temporal subband)으로공간적으로 분해되며, 이는 최종적으로 원래의 GOF의 3D 웨이브렛 표현을 야기시키며, 3개의 분해 스테이지들이 도1의 예에 도시되어 있다(L 및 H = 제1 스테이지; LL 및 LH = 제2 스테이지; LLL 및 LLH = 제3 스테이지). 2D로부터 3D로 확장되는 널리 공지된 SPIHT 알고리즘이 선택되어, 공간-시간 분해 구조에 대한 최종 계수 비트-면들을 효율적으로 엔코딩한다.

현재 구현된 바와 같이, 3D 서브대역 코덱은 엔코더 측에서 전체 원래 해상도에서 모션-보상된(MC) 공간-시간 분석을 적용한다 공간 분해능력은 상기 분해에서 최고 공간 서브대역들을 제거함으로써 성취된다. 그러나, 모션 보상이 3D 분석 방식에 사용될 때, 이 방법은 보다 낮은 해상도, 심지어 매우 높은 비트-레이트들에서 조차 비디오 시퀀스를 완전하게 재구성하지 못한다. 이하의 설명에서 드리프트(drift)로서 언급된 이 현상은 목표로한 최종 디스플레이 크기에서 직접 엔코딩과 비교되는 스케일러블 해법의 가시 품질을 낯춘다. P.Y.Cheng 등이 Proceedings of the International Conference on Image Processing(ICIP95), Vol.1, 1995, pp. 606-609에 발표한 "Multiscale video compression using wavelet transform and motion compensation"에 설명된 바와 같이, 이 드리프트는 호환될 수 없는 모션 보상 및 웨이브렛 변환 차수로 기인한다. 실제로, 프레임(A)이 낮은 해상도(a)에서 합성될 때, 다음 연산이 적용된다:

a = DWT_L(L)+MC[DWT_L(H)]

= DWT_L(A)+[MC[DWT_L(H)]-DWT_L(MC[H])

여기서, DWT_L은 3D 분석에서와 같은 웨이브렛 필터들을 사용하는 해상도 다운 샘플을 표시한다. 완전한 스케일러블 해법에서, 다음 식을 갖기를 원한다:

a = DWT_L(A)

그러므로, 식(1)의 나머지 부분은 드리프트에 대응한다. MC가 적용되지 않으면, 드리프트가 제거된다는 것을 알 수 있다. 특정 모션 벡터가 프레임에 적용되면, 동일한 현상이 발생된다(영상 경계들은 예외이다). 그러나, MC는 양호한 코딩 효율을 성취하는 것을 피할 수 없고 특정 글로벌 모션의 가능도(likelihood)는 다음 절의 특정 경우를 제거할 정도로 충분히 작다는 것이 공지되어 있다.

J.W.Woods 외와 같은, 일부 저자들이 IEEE Transactions on Circuits and Systems for Video Technology, vol.1, n°9, Setember 2001, pp. 1035-1044에 발표한 "A resolution and frame-rate scalable subband/wavelet video coder"에 여러 수단에 의해 양호한 공간 분해능력을 성취하기 위하여 이 드리프트를 제거하는 것이 서술되어 있다. 그러나, 상기 문헌에서, 서술된 방식은 대단히 복잡한 것 이외에도 비트스트림에서 여분의 정보(상부 해상도를 정확하게 합성하는데 필요한 드리프트 정정)를 전송하도록 하여, 일부 비트들을 낭비하게 한다(이 문헌 "Multiscale video compression..."에 서술된 해법은 이 병목을 피하게 하지만 예측 방식을 토대로 작업하여 3D 서브대역 코덱으로 운반(transpose)될 수 없다).

본 발명은 연속적인 프레임들의 그룹들(GOFs)로 분할되는 원래 비디오 시퀀스의 압축을 위한 엔코딩 방법 및 대응하는 디코딩 방법에 관한 것이다. 본 발명은 또한, 대응하는 엔코딩 및 디코딩 장치들에 관한 것이다.

도 1은 3D 서브대역 분해를 도시한 도면.

도 2는 최저 해상도에서 모션-보상된 시간 분석을 도시한 도면.

도 3은 본 발명을 따른 엔코딩 방식의 실시예를 도시한 도면.

도 4는 도 3의 엔코딩 방식을 따른 디코딩 방식의 실시예를 도시한 도면.

도 5는 (순방향 모션 보상에 대하여) 높은 공간 서브대역들의 레코더링(recordering)을 도시한 도면.

도 6은 본 발명을 따른 엔코딩 방식의 또 다른 실시예를 도시한 도면.

그러므로, 본 발명의 목적은 이들 결점들을 피하는 해법을 제공하는 것이다.

이를 위하여, 본 발명은 연속적인 프레임들의 그룹들(GOFs)로 분할되는 원래의 비디오 시퀀스의 압축을 위한 비디오 엔코딩 방법에 관한 것이며, 상기 방법은:

(1) 연속적인 저 해상도 GOFs를 포함하는 저 해상도 시퀀스를 웨이브렛 분해에 의해 원래의 비디오 시퀀스로부터 발생시키는 단계와,

(2) 각 저 해상도 GOF의 모션 보상된 공간-시간 분석에 의해 저 해상도 분해를 상기 저 해상도 시퀀스상에서 수행하는 단계와,

(3) 웨이브렛 분해로부터 발생되는 고 주파수 공간 서브대역들을 상기 저 해상도 분해에 앵커링함으로써 전체 해상도 시퀀스를 상기 저 해상도 분해로부터 발생시키는 단계, 및

(4) 출력 코딩된 비트스트림을 발생시키기 위하여, 상기 모션 보상된 공간-시간 분석 동안 발생되는 상기 모션 벡터들 및 상기 전체 해상도 시퀀스를 코딩하는 단계를 포함한다.

제안된 해법은 3DS 분석시 분해 트리의 전체 구조가 보존되고 드리프트 영향(단지 분해/재구성 메커니즘이 변경된다)을 정정하기 위하여 여분의 정보를 전송하지 않는 다는 점에서 현저한 것이다. 모션 추정/보상이 전체 해상도에서 수행되지 않는다면, 이는 복잡도면에서 저비용의 해법이다. 모션 보상이 높은 공간 서브대역들에서 발생되며, 보다 양호한 코딩 효율이 제공된다.

본 발명은 또한, 다음 단계를 포함하는 대응하는 디코딩 방법에 관한 것이며, 상기 방법은:

(1) 디코딩된 전체 해상도 시퀀스 및 이와 관련된 디코딩된 모션 벡터들을 발생시키기 위하여 상기 입력 코딩된 비트스트림을 디코딩하는 단계와,

(2) 상기 디코딩된 전체 해상도 시퀀스에서, 상기 디코딩된 고 주파수 공간 서브대역들 및 상기 디코딩된 저 해상도 분해를 분리하는 단계와,

(3) 모션 보상된 공간-시간 합성에 의해 상기 디코딩된 저 해상도 분해로부터 디코딩된 저 해상도 시퀀스를 발생시키는 단계와,

(4) 상기 디코딩된 저 해상도 시퀀스 및 상기 디코딩된 고 주파수 공간 서브대역들로부터 상기 원래 비디오 시퀀스에 대응하는 출력 전체 해상도 시퀀스를 재구성하는 단계를 포함한다.

본 발명은 또한, 상기 엔코딩 방법 및 상기 디코딩 방법 각각을 수행하기 위하여 제공된 엔코딩 장치 및 디코딩 장치에 관한 것이다.

본 발명은 지금부터 첨부 도면들을 참조하여 보다 상세하게 설명될 것이다.

이 제안된 해법(즉, 모션 보상된 3D 서브대역 코덱에서 드리프트가 없는 공간 분해능력)이 지금부터 2가지 주요 단계들: (a) 최저 해상도에서 모션 보상, (b) 높은 공간 서브대역들을 엔코딩과 관련하여 설명된다.

우선, 보다 낮은 해상도들에서 드리프트를 피하기 위하여, 모션 보상(MC)은 이 레벨에서 적용된다. 결국, 도2에 도시된 바와 같이, 웨이브렛 필터들을 사용하여 GOF를 우선 작게되고(참조 d) 나서, 통상적인 3D 서브대역 MC-분해 방식은 전체 크기의 GOF 대신에 작은 GOF에 적용된다. 도2에서, 시간 서브대역들(L₀,_d, H₀,_d) 및 (L₁,_d, H₁,_d)은 널리 공지된 리프팅 방식(H가 우선 A 및 B로부터 규정되고 나서 L이 A 및 H로부터 규정된다)에 따라서 결정되고, 점선의 화살표들은 고역-통과 시간 필터링에 대응하며, 이어지는 화살표들은 저역-통과 시간 필터링에 대응하고, 곡선의 화살표들((A₀,_d, A₁,_d,A₂,_d, A₃,_d)로 참조된 시퀀스의 프레임들의 저 주파수 공간 서브대역들(A)사이 또는 (L₀,_d, L₁,_d)로 참조된 저 주파수 시간 서브대역들(L) 사이)은 모션 보상에 대응한다(이 방법의 부수 효과는 비트스트림에 전송될 모션 벡터들을 감소시켜, 텍스쳐 코딩을 위한 일부 비트들을 절약한다는 것을 알 수 있다). 서브대역들을 트리-기반으로 한 엔트로피 코더에(예를 들어, B.J.Kim 등이 IEEE Transactions on Circuits and Systems for Video Technology, vol.10, n°8, December 2000, pp. 1374-1387에 발표한 "Low bit-rate scalable video codingwith 3D set partitioning in hierarchical trees(3D-SPIHT)" 문헌에 서술된 바와 같은 3D-SPIHT 엔코더에) 전송하기 전, 전체 해상도를 재구성시키는 높은 공간 서브대역들을 배치한다. 최종 트리 구조는 IEEE Conference on Image Processing(ICIP2001), vol.2, pp. 1017-1020, Thessaloniki, Greece, October 7-10, 2001에 발표한 "A fully scalable 3D subband video codec" 문헌에 서술된 바와 같은 3D 서브대역 코덱의 구조와 매우 유사하게 보이고, 또한, 트리-기반으로 한 엔트로피 코더는 도3의 새로운 엔코딩 방식에 서술된 바와 같이 어떤 제한 없이 이에 적용될 수 있는데, 여기서 참조들은 (전체 해상도 시퀀스의 프레임에 대해) 다음과 같다:

FRS: 전체 해상도 시퀀스

WD : 웨이브렛 분해

LRS : 저 해상도 시퀀스

MC-3DSA: 모션-보상된 3D 서브대역 분석

LRD: 저 해상도 분해

HS: 고 서브대역들

U-HFSS : 프레임의 3개의 고 주파수 공간 서브대역들의 결합(union)

FR-3D-SPIHT : 전체 해상도 3D SPIHT

OCB : 출력 코딩된 비트스트림

도 4에 도시된 대응하는 디코딩 방식은 이 엔코더에 대칭적이다(도 4에서, 부가적인 참조들은 다음과 같다:

MC-3DSS : 모션 보상된 3D 서브대역 합성

HSS : 고 서브대역들 분리

FRR : 전체 해상도 재구성).

공간 분해능력을 인에이블 하기 위하여, 고 주파수 공간 서브대역들은 3DS 코덱의 통상적인 버젼에서 처럼 절단되어야 하며, 도4의 디코딩 방식은 원래의 저 해상도 시퀀스를 얻는 방법을 나타낸다.

그 후, 고 공간 서브대역들을 코딩하기 위하여, 2개의 주요 해법들이 제한되는데, 첫번째는 MC가 없는 것이고, 두번째는 MC를 갖는 것이다.

A) MC가 없음

제 1 해법에서, 높은 서브대역들은 단지, 웨이브렛 분해시에 GOF의 원래(전체 해상도) 프레임들의 고 주파수 공간 서브대역들에 대응한다. 이들 서브대역들은 디코더에서 전체 해상도에서 재구성하도록 한다. 실제로, 프레임들은 저 해상도에서 디코딩될 수 있다. 그러나, 이들 프레임들은 원래 프레임들의 웨이브렛 분석시에 저 공간 서브대역에 대응한다. 그러므로, 저 해상도 프레임들 및 이에 대응하는 높은 서브대역들 모두를 단지 배치하여 웨이브렛 합성을 적용하여, 전체 해상도 프레임들을 얻는다. 최근에는, 이들 높은 서브대역들을 어디에 어떻게 배치하여 3D-SPIHT 엔코더를 최적화하는가? 3D 서브대역 엔코더를 위한 MC 방식에서, 저 시간 서브대역들은 항상 GOF의 원래 프레임들중 한 프레임과 유사하다. 실제로:

L은 A와 유사하다. 결국, 높은 공간 서브대역(A)은 L에 대응하는 저 해상도 분해에 의해 배치되어야 한다. 이 방식(순방향 모션 보상들의 경우에 높은 공간 서브대역의 레코더링)이 도5에 도시되어 있는데, 여기서 DWT_H는 고 주파수 웨이브렛 필터를 표시하고, 계수들(c_jt)은 승산 계수들이다. c_jt를 규정하는 방법이 후술된다.

그러나, 3D 서브대역 구조에서 모션 보상은 순방향 또는 역방향 중 어느 하나 일 수 있다(이는 교대 방향들이 코딩 효율을 개선하는 것이 알려져 왔다). 이하의 알고리즘의 표기법(notations)은 다음과 같다:

.jt : 시간 분해 레벨(0은 전체 프레임 레이트에 대한 것이며, jt_max는 최저 프레임 레이트에 대한 것이다)

.t : 0은 저 시간 서브대역에 대한 것이며, 1은 고 시간 대역에 대한 것이다.

.nf : 시간 레벨 jt에서 서브대역 인덱스

.me_dir_desc_tree : 소정의 시간 레벨 jt에서 사용되는 ME 방향들을 나타내

는 바이트(LSB는 제1 ME/ME의 방향을 나타내고,0은 "순방향"을 의미

하고, 1은 "역방향"을 의미한다),

모션 추정 방향 디스크립션 트리에 따라서, 가장 유사하게 하는 공간-시간 서브대역{jt;n;t} 및 GOF에서 프레임 GOF_index 간의 링크를 만들라.

계수들(c_jt)을 규정하는 방법이 지금부터 설명된다(Haar 필터 경우). α를 시간 2-탭 Haar 필터에서 사용되는 계수라 하자. 종래의 3D 서브대역 방식에서,다음을 갖는다:

제공된 방식에서, 고 공간 서브대역들에 대해 c_jt=α^jt를 사용하면, 시간 분해능력이 여전히 중요하다. 실제로:

여기서, UpSample은 웨이브렛 필터들을 사용하여 크게된 화면(picture)이라 한다. 저 프레임 레이트에서 재구성을 위하여, 낮은 시간 서브대역만이 합성된다:

최종적으로, 각 시간 레벨에서 재구성된 프레임들은 "기준" 원래 프레임 및 블러드 버젼(blurred version)의 다른 프레임의 모션-모상된 평균과 유사한 경향이 있는반면에, 현재 버젼의 3D 서브대역 코덱에서, 이 블러는 도입되지 않는다. 그러나, 시간 분해능력에서 블러를 부가하는 것을 희생한 댓가로 공간 분해능력을 개선시키는 것은 가치있는 단계이다.

B) MC를 가짐

매 서브대여에서 MC를 사용하는 것은 드리프트 없이 재구성하는 것을 허용하지 않기 때문에, 도6에 도시된 바와 같이 부분적으로 MC를 사용하여 높은 공간 서브대역들을 구성하는 것이 가능하고(이는 코딩 효율 면에서 보다 양호하다) 여전히매 해상도마다 재구성할 수 있다(도6에서, 부가적인 참조들은 다음과 같다:

ME/ME: 모션 추정/모션 보상

PRE : 예측 에러)

웨이브렛 분해의 고 주파수 공간 서브대역들을 직접적으로 사용하는 대신에, 웨이브렛 분해는 전체 해상도 시퀀스에 대해 수행되는 MC로부터 얻어진 예측 에러에 대해 실행되고 예를 들어 저 해상도의 모션 벡터들을 재사용한다.

이 해법은 다음과 같이 규정된다:

MC는 높은 시간 서브대역에서 만 사용된다는 것을 알 수 있다. A는 우선 저 시간 서브대역으로 인해 전체 해상도에서 재구성되고 나서, H로 인해 MC를 지닌 프레임(B)를 얻도록 사용된다. 계수들(c_jt)은 앞서와 같이 선택된다. 전체 해상도에서 상기 MC는 저 해상도 모션 벡터들(이는 다른 모션 벡터 오버헤드를 도입하지 않는 장점이 있다)을 단지 업샘플링하거나 이들 업샘플링된 저 해상 벡터들(이는 어떤 부가적인 전송 비트들을 희생하지만 텍스쳐 코딩과 관련하여 효율을 보다 높게한다)을 개선하는 것 중 어느 하나로 수행될 수 있다.

본 발명은 상술된 실시예들로 국한되지 않고 변형들 및 수정들이 본 발명의 영역을 벗어남이 없이 행해질 수 있다는 것을 이해하여야 한다. 하드웨어 또는 소프트웨어의 단일 아이템이 여러 기능들을 실행할 수 있다면, 하드웨어 또는 소프트웨어 또는 이들 둘 다에 의해 본 발명을 따른 방법의 기능들을 수행하는 각종 방법들이 존재한다. 하드웨어 또는 소프트웨어 또는 이들 둘 다의 아이템들의 어셈블리가 기능을 수행하는 것을 배제하지 않음으로, 본 발명을 따른 방법을 수정함이 없이 단일 기능을 형성한다. 상기 하드웨어 또는 소프트웨어 아이템들은 유선 회로 또는 적절하게 프로그램된 집적 회로와 같은 여러 방식들로 구현될 수 있다. 이 집적 회로는 컴퓨터 또는 엔코더 또는 디코더에 포함되고, 예를 들어 컴퓨터 프로그래밍 메모리 또는 엔코더 또는 디코더 메모리에 포함되는 명령들의 세트를 포함하고 컴퓨터 또는 디코더가 본 발명을 따른 방법의 여러 단계들을 실행하도록 한다. 명령들의 세트는 예를 들어 디스크와 같은 데이터 캐리어를 판독함으로써 프로그래밍 메모리에 로딩된다. 서브 제공자는 또한, 명령들의 세트를 예를 들어 인터넷과 같은 통신 네트워크를 통해서 이용 가능하게 한다.

Claims

연속적인 프레임들의 그룹들(GOFs)로 분할되는 원(original) 비디오 시퀀스의 압축을 위한 비디오 엔코딩 방법에 있어서,

(1) 연속적인 저 해상도 GOFs를 포함하는 저 해상도 시퀀스를 웨이브렛 분해에 의해 원 비디오 시퀀스로부터 발생시키는 단계와,

(2) 각 저 해상도 GOF의 모션 보상된 공간-시간 분석에 의해 저 해상도 분해를 상기 저 해상도 시퀀스상에서 수행하는 단계와,

(3) 상기 웨이브렛 분해로부터 발생되는 고 주파수 공간 서브대역들을 상기 저 해상도 분해에 앵커링함으로써 전체 해상도 시퀀스를 상기 저 해상도 분해로부터 발생시키는 단계, 및

(4) 출력 코딩된 비트스트림을 발생시키기 위하여, 상기 모션 보상된 공간-시간 분석 동안 발생되는 상기 모션 벡터들 및 상기 전체 해상도 시퀀스를 코딩하는 단계를 포함하는, 비디오 엔코딩 방법.
제 1 항에 있어서,

매 프레임 마다, 상기 높은 공간 서브대역들은 상기 공간-시간 분해에서, 모션 추정 방향에 따라서 상기 프레임과 가장 유사하게 되는 상기 저 해상도 서브대역에 직접 앵커링되는, 비디오 엔코딩 방법.
제 1 항에 있어서,

예측 모드는 상기 높은 공간 서브대역들을 구성하도록 사용되며, 상기 높은 공간 서브대역들은 상기 원 비디오 시퀀스에 적용되는 모션 보상으로부터 얻어진 예측 에러에 대해 수행되는 제2 웨이브렛 분해로부터 발생되는, 비디오 엔코딩 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 따른 상기 비디오 엔코딩 방법의 구현을 위한 엔코딩 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 따른 엔코딩 방법의 수단으로 코딩된 입력 비트스트림을 디코딩하는 방법에 있어서,

(1) 디코딩된 전체 해상도 시퀀스 및 이와 관련된 디코딩된 모션 벡터들을 발생시키기 위하여 상기 입력 코딩된 비트스트림을 디코딩하는 단계와,

(2) 상기 디코딩된 전체 해상도 시퀀스에서, 상기 디코딩된 고 주파수 공간 서브대역들 및 상기 디코딩된 저 해상도 분해를 분리하는 단계와,

(3) 모션 보상된 공간-시간 합성에 의해 상기 디코딩된 저 해상도 분해로부터 디코딩된 저 해상도 시퀀스를 발생시키는 단계, 및

(4) 상기 디코딩된 저 해상도 시퀀스 및 상기 디코딩된 고 주파수 공간 서브대역들로부터 상기 원 비디오 시퀀스에 대응하는 출력 전체 해상도 시퀀스를 재구성하는 단계를 포함하는, 입력 비트스트림을 디코딩하는 방법.
제 5 항에 따른 상기 비디오 디코딩 방법의 구현을 위한 디코딩 장치.