KR20060006341A - 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더 - Google Patents

Abstract

본 발명은 비디오 압축에 관한 것으로서, 보다 상세하게는 스무딩 필터(smoothing filter)를 적용하여 디코딩 단에서 출력 화질을 향상시키는 방법 및 장치에 관한 것이다.

본 발명에 따른 비디오 디코딩 방법은, 입력된 비트스트림으로부터 차분 프레임을 생성하는 단계와, 차분 프레임에 대하여 웨이블릿 기반의 업샘플링을 수행하는 단계와, 업샘플링된 프레임에 대하여 비웨이블릿 기반의 다운샘플링을 수행하는 단계와, 다운샘플링된 프레임에 대하여 역 시간적 필터링을 수행하는 단계로 이루어진다.

스케일러블 비디오 코딩, 웨이블릿 변환, DCT 변환, 스무딩 필터, 기초 계층

Description

스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오 디코더{Video decoding method using smoothing filter, and video decoder thereof}

도 1은 종래의 스케일러블 비디오 코딩 시스템의 전체적 구성을 나타내는 도면.

도 2는 본 발명의 일 실시예에 따른 스케일러블 비디오 코더의 전체 구성도를 개략적으로 도시한 도면.

도 3은 도 2의 인코더 단에서 스무딩 필터를 적용한 예를 설명하는 도면.

도 4는 웨이블릿 변환에 의한 다운샘플링 또는 역 웨이블릿 변환에 의한 업샘플링 과정을 설명하는 도면.

도 5는 DCT 기반의 다운-업샘플링 과정을 설명하는 도면.

도 6은 본 발명의 일 실시예에 따른 스케일러블 비디오 인코더의 구성을 나타내는 도면.

도 7은 입력 이미지 또는 프레임을 웨이블릿 변환에 의하여 서브밴드로 분해하는 과정의 예를 나타낸 도면.

도 8은 인코더 측으로부터 수신되는 비트스트림 구조의 일 예를 도시한 도면.

도 9는 스케일러블 비트스트림의 구조를 나타내는 도면.

도 10은 각 GOP 필드의 세부 구조를 나타내는 도면.

도 11은 본 발명의 일 실시예에 따른 스케일러블 비디오 디코더의 구성을 나타낸 도면.

도 12는 본 발명의 다른 실시예에 따른 스케일러블 비디오 디코더의 구성을 나타낸 도면.

도 13은 Mibile 시퀀스에서 비트율에 대한 PSNR을 비교한 그래프.

(도면의 주요부분에 대한 부호 설명)

100 : 스케일러블 비디오 인코더 200 : 프리디코더

300, 390 : 스케일러블 비디오 디코더 360 : 스무딩 필터 모듈

361 : 웨이블릿 업샘플링 모듈 362 : DCT 다운샘플링 모듈

본 발명은 비디오 압축에 관한 것으로서, 보다 상세하게는 스무딩 필터를 적용하여 디코딩 단에서 출력 화질을 향상시키는 방법 및 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 예를 들면 640*480의 해상도를 갖는 24 bit 트루 컬러의 이미지는 한 프레임당 640*480*24 bit의 용량 다시 말해서 약 7.37Mbit의 데이터가 필요하다. 이를 초당 30 프레임으로 전송하는 경우에는 221Mbit/sec의 대역폭을 필요로 하며, 90분 동안 상영되는 영화를 저장하려면 약 1200G bit의 저장공간을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy)을 없애는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파에 둔감한 것을 고려한 심리시각 중복을 없앰으로서 데이터를 압축할 수 있다. 데이터 압축의 종류는 소스 데이터의 손실 여부와, 각각의 프레임에 대해 독립적으로 압축하는 지 여부와, 압축과 복원에 필요한 시간이 동일한 지 여부에 따라 각각 손실/무손실 압축, 프레임 내/프레임간 압축, 대칭/비대칭 압축으로 나눌 수 있다. 이 밖에도 압축 복원 지연 시간이 50ms를 넘지 않는 경우에는 실시간 압축으로 분류하고, 프레임들의 해상도가 다양한 경우는 스케일러블 압축으로 분류한다. 문자 데이터나 의학용 데이터 등의 경우에는 무손실 압축이 이용되며, 멀티미디어 데이터의 경우에는 주로 손실 압축이 이용된다. 한편 공간적 중복을 제거하기 위해서는 프레임 내 압축이 이용되며 시간적 중복을 제거하기 위해서는 프레임간 압축이 이용된다.

멀티미디어를 전송하기 위한 전송매체는 매체 별로 그 성능이 다르다. 현재 사용되는 전송매체는 초당 수십 Mbit의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. MPEG-1, MPEG-2, MPEG-4, H.263, 또는 H.264(Advanced Video Coding)와 같은 종전의 비디오 코딩은 모션 보상 예측에 기초하여 시간적 중복은 모션 보상 및 시간적 필터링에 의해 제거하고 공간적 중복은 공간적 변환에 의해 제거한다. 이러한 방법들은 좋은 압축률을 갖고 있지만 주 알고리즘에서 재귀적 접근법을 사용하고 있어 진정한 스케일러블 비트스트림(true scalable bit-stream)을 위한 유연성을 갖지 못한다.

이에 따라 최근에는 웨이블릿 기반(wavelet-based)의 스케일러블 비디오 코딩에 대한 연구가 활발하다. 스케일러블 비디오 코딩은 공간적 영역, 즉 해상도면에서 스케일러빌리티를 갖는 비디오 코딩을 의미한다. 여기서 스케일러빌리티란 압축된 하나의 비트스트림으로부터 부분 디코딩, 즉, 다양한 해상도의 비디오를 재생할 수 있는 특성을 의미한다.

이러한 스케일러빌리티에는 비디오의 해상도를 조절할 수 있는 성질을 의미하는 공간적 스케일러빌리티와 비디오의 화질을 조절할 수 있는 성질을 의미하는 SNR(Signal-to-Noise Ratio) 스케일러빌리티와, 프레임율을 조절할 수 있는 시간적 스케일러빌리티와, 이들 각각을 조합한 것을 포함하는 개념이다.

상기와 같이 공간적 스케일러빌리티는 웨이블릿 변환에 의하여 구현될 수 있으며, SNR 스케일러빌리티는 양자화(quantization)에 의하여 구현될 수 있다. 한편, 시간적 스케일러빌리티를 구현하는 방법으로는 최근, MCTF(Motion Compensated Temporal Filtering), UMCTF(Unconstrained MCTF) 등의 방법이 사용되고 있다.

이와 같은 스케일러빌리티를 지원하는 비디오 코딩 시스템의 전체적 구성은 도 1에 도시하는 바와 같다. 먼저, 인코더(encoder; 40)는 시간적 필터링, 공간적 변환, 및 양자화 과정을 통해 입력 비디오(10)를 부호화하여 비트스트림(20)을 생성한다. 그리고, 프리디코더(pre-decoder; 50)는 디코더(decoder; 60)와의 통신 환경 또는 디코더(60) 단에서의 기기 성능 등을 고려한 조건, 예를 들어, 화질, 해상도 또는 프레임율을 추출 조건으로 하여, 인코더(40)로부터 수신한 비트스트림(20) 일부를 잘라내거나 추출함으로써 간단히 텍스쳐 데이터에 대한 스케일러빌리티를 구현할 수 있다.

디코더(60)는 상기 추출한 비트스트림(25)으로부터 인코더(40)에서 수행된 과정을 역으로 수행하여 출력 비디오(30)를 복원한다. 물론, 상기 추출 조건에 의한 비트스트림의 추출은 반드시 프리디코더(50)에서 수행되어야 하는 것은 아니고 디코더(60)의 프로세싱 능력(processing power)이 부족하여 인코더(40)에서 생성된 비트스트림(20)의 전체 영상을 실시간으로 처리하기 어려운 경우에는 디코더(60)단에서 상기 비트스트림의 추출 과정이 수행될 수도 있다. 물론, 이 과정은 프리디코더(50) 및 디코더(60) 모두에서 수행될 수도 있다.

공간적 스케일러빌리티(spatial scalability)를 지원하기 위하여 상기한 바와 같이 웨이블릿 변환을 사용할 수 있는데, 이러한 웨이블릿 변환은 저주파 밴드(low band)에 대부분의 에너지를 모아 주지기 때문에, 결과적으로 저주파 밴드는 해당 해상도에서 너무 높은 디테일(detail)을 갖는다. 예를 들어, 웨이블릿 변환에 의해 다운샘플링된 QCIF(quarter common intermediate format) 시퀀스는 MPEG 다운샘플 링 필터를 사용하는 경우에 비하여 상당히 높은 디테일을 가지므로 시간적으로 좋은 화질을 제공하지 못한다.

이에 비하여 상대적으로, DCT 기반의 코딩 방법들, 예를 들어 MPEG, H.264(AVC; advanced video coding)등의 코딩 방법들은 특히 낮은 비트율의 이미지로 다운샘플링을 하는 환경에서는, 웨이블릿 변환에 의한 다운샘플링에 비하여 시각적으로 보다 부드러운 이미지를 제공한다. 그러나 이와 같은 DCT 기반의 코딩 방법들은 공간적 스케일러빌리티를 제대로 지원하지 못하는 단점이 있다.

따라서, 공간적 스케일러빌리티를 여전히 지원하면서도, DCT 기반의 코딩 방법들이 다운샘플링시에 갖는 스무딩(smoothing) 특징을 동시에 가지도록 하는 코딩 방법을 강구할 필요가 있다.

본 발명은 상기한 필요성을 고려하여 창안된 것으로, 웨이블릿 기반의 스케일러블 디코더에서 보다 부드러운 화질의 출력을 얻고자 하는 데 그 목적이 있다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 비디오 디코딩 방법은, (a) 입력된 비트스트림으로부터 차분 프레임을 생성하는 단계; (b) 상기 차분 프레임에 대하여 웨이블릿 기반의 업샘플링을 수행하는 단계; (c) 상기 업샘플링된 프레임에 대하여 비웨이블릿 기반의 다운샘플링을 수행하는 단계; 및 (d) 상기 다운샘플링된 프레임에 대하여 역 시간적 필터링을 수행하는 단계를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 비디오 디코딩 방법은, (a) 입력 된 비트스트림으로부터 차분 프레임을 생성하는 단계; (b) 상기 차분 프레임에 대하여 역 시간적 필터링을 수행하여 비디오 시퀀스를 복원하는 단계; (c) 상기 비디오 시퀀스에 대하여 웨이블릿 기반의 업샘플링을 수행하는 단계; 및 (d) 상기 업샘플링된 비디오 시퀀스에 대하여 비웨이블릿 기반의 다운샘플링을 수행하는 단계를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 비디오 디코더는, 입력된 비트스트림으로부터 차분 프레임을 생성하는 역 공간적 변환 모듈; 상기 차분 프레임에 대하여 웨이블릿 기반의 업샘플링 및 비웨이블릿 기반의 다운샘플링을 수행하는 스무딩 필터 모듈; 및 상기 다운샘플링된 프레임에 대하여 역 시간적 필터링을 수행하는 역 시간적 필터링 모듈을 포함한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 비디오 디코더는, 입력된 비트스트림으로부터 차분 프레임을 생성하는 역 공간적 변환 모듈; 상기 차분 프레임에 대하여 역 시간적 필터링을 수행하여 비디오 시퀀스를 복원하는 역 시간적 필터링 모듈; 및 상기 비디오 시퀀스에 대하여 웨이블릿 기반의 업샘플링 및 비웨이블릿 기반의 다운샘플링을 수행하는 스무딩 필터 모듈을 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속 하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

스케일러블 비디오 코딩을 이용하면, 비트율(bit-rate), 해상도(resolution), 프레임율(frame-rate)을 모두 프리디코더(50)에서 변형할 수 있는 장점이 있으며, 높은 비트율에서는 압축률 또한 상당히 우수하다. 그러나, 비트율이 충분하지 않은 경우 MPEG-4, H.264 등 기존 코딩 방법에 비교하여 그 성능이 크게 저하되는 문제를 갖고 있다.

이는 복합적인 원인을 안고 있는데, 먼저 낮은 해상도에서는 웨이블릿 변환이 DCT(Discrete Cosine Transform)에 비해서 그 성능이 떨어지는데 일차적인 원인이 있다. 그리고, 다양한 비트율을 지원해야 하는 스케일러블 비디오 코딩의 특성상, 그 중 한 가지 비트율에 최적화되도록 인코딩 과정이 수행되기 때문에 다른 비트율에서는 그 성능이 떨어지는 것을 또 다른 원인으로 볼 수 있다.

이러한 문제를 해결하고자 최근에는 다운샘플링된 레퍼런스(downsampled reference), 즉 공간적 기초 계층(temporal base-layer)이 웨이블릿 기반의 공간적 스케일러블 비디오 코더(coder)들에 사용되고 있다. 본 발명은 이와 같이 기초 계층을 사용하는 스케일러블 비디오 코더에 보다 효율적으로 적용될 수 있지만, 이에 한하지 않고 기초 계층을 사용하지 않는 통상적인 스케일러블 비디오 코더에도 적용될 수 있다.

본 발명은 프리디코더 단에서, 공간적 스케일이 변화된 비트스트림(bit-stream)을 디코더 단에서 복원할 때 보다 부드러운 화질의 프레임으로 복원하고자 하는 것이다. 따라서, 공간적으로 스케일의 변화가 없는, 예를 들어, 프리디코더에서 화질 스케일 변화 또는 시간적 스케일 변화만 발생하는 경우에는 본 발명에서 제안하는 스무딩 필터를 이용하는 과정은 필요가 없다. 왜냐하면, 원 해상도를 갖는 프레임은 시각적 화질에 대하여 이미 최적으로 되어 있기 때문이다.

따라서 이하에서는 한 레벨의 공간적 스케일러빌리티가 주어지고, 프리디코더 단에서 한 레벨 아래로 해상도를 낮추는 과정이 수행되는 예를 들어서 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 스케일러블 비디오 코더의 전체 구성도를 개략적으로 도시한 도면이다.

먼저, 인코더(100) 단에서의 동작을 살펴 보면, 원 프레임(original frame; O)은 웨이블릿 변환 모듈(70)에 의하여 다운샘플링된다. 이와 같이 다운샘플링된 프레임, 즉 기초 계층은 W(O)로 표시할 수 있다. 이는 역 웨이블릿 변환 모듈(80)에 의하여 업샘플링된 후, 시간적 필터링 모듈(85)에서의 예측 프레임(P)으로서 제공된다.

인코더(100)와 디코더(300) 간의 균형을 위하여 상기 기초 계층은 AVC(Advanced Video Codec; 75) 등의 코덱을 이용하여 기초 계층을 인코딩한 후 디코딩한 결과를 업샘플링한 후 예측 프레임(P)으로 제공할 수도 있다. 상기 웨이블릿 변환에 의한 다운샘플링, 웨이블릿 변환에 의한 업샘플링 과정은 도 4의 설명에서 상세히 설명 할 것이다. 여기서, 상기 코덱에 의하여 인코딩되고 디코딩된 결과는 Q₁·W(O)로 나타낼 수 있다. 이와 같이 두 개의 함수가 곱으로 표시된 것은 우측부터 좌측을 향하여 함수를 실행해 나간다는 것을 의미하며, Q₁(.)은 AVC 양자화 과정을 의미하는 함수를 나타낸다.

상기와 같이 업샘플링된 기초 계층을 예측 프레임(P)으로 제공할 수도 있지만, 통상의 방법처럼 시간적으로 예측되는 다른 프레임(O_r)을 예측 프레임(P)으로 제공할 수도 있다. 여기서, 기초 계층을 업샘플링한 프레임은 W^-1·Q₁·W(O)으로 나타나는 한편, 시간적 참조 프레임은 O_r으로 표시한다. 그러면, 차분 프레임(E)은 기초 계층을 예측 프레임으로 하는 경우에는 수학식 1과 같이, 시간적 참조 프레임을 이용하는 경우에는 수학식 2와 같이 표현될 수 있다. 여기서, 역 웨이블릿 변환을 이용한 업샘플링 과정은 W^-1(0)로 표시하기로 한다.

E = O - W^-1·Q₁·W(O)

E = O - O_r

프리디코더(200)는 공간적 스케일러빌리티를 실행하기 위하여 차분 프레임의 저주파 밴드를 추출한다. 그리고, 화질 스케일러빌리티를 실행하기 위하여 저주파 밴드 의 일부분을 뒤에서부터 잘라내어 버린다. 이와 같이 공간적 스케일러빌리티 및 화질에 관한 스케일러빌리티를 적용한 결과는 W·Q₂(E)가 되고 이것이 디코더(300) 단으로 전송된다. 상기 Q₂(.)는 웨이블릿 양자화 과정을 나타내는 것으로 한다. 여기서 시간적 스케일러빌리티에 관해서는 고려하지 않았는데, 그 이유는 본 발명이 하나의 프레임에 대한 시간적 화질을 고려하는 것이기 때문이다.

한편, 디코더(300) 단에서는, 기초 계층을 참조 프레임으로 이용하는 경우에는, 복원을 위해 가산되어야 하는 프레임(P')(이하, '디코딩 예측 프레임'이라고 함)으로는 인코더(100) 단에서 생성된 기초 계층인 Q₁·W(O)가 그대로 사용된다. 그러면, 최종 출력 D는 다음의 수학식 3과 같이 나타낼 수 있다.

D = Q₁·W(O) + W·Q₂(E)

디코더(300) 단에서 상기 합산은 역 시간적 필터링 모듈(90)에 의하여 수행된다. 프리디코더(200) 단에서 만약, 충분한 비트가 주어진다면, 웨이블릿 양자화 효과인 Q₂는 제거될 수 있고, 따라서 AVC 양자화 효과 Q₁과는 관계없이 D는 수학식 4에서 나타낸 바와 같이, 웨이블릿 다운샘플된 원 신호 W(O)로 근접하게 된다.

D = Q₁·W(O) + W·Q₂(E)

≒ Q₁·W(O) + W(E)

= Q₁·W(O) + W(O - W^-1·Q₁·W(O))

≒ Q₁·W(O) + W(O) - W·W^-1·Q₁·W(O)

≒ W(O)

디코더(300)단에서, 시간적 참조 프레임을 이용하여 이미지를 복원하는 경우에는, 디코딩 예측 프레임(P')으로는 미리 복원된 다른 프레임인 W·Q₂(O_r)이 사용될 수 있다. 따라서, 최종 출력 D는 다음의 수학식 5와 같이 나타낼 수 있다. 이는 현재 프레임 차분(E)과 참조 프레임(O_r) 각각에 대하여 프리디코딩 한 결과를 디코더에서 합하여 복원한다는 것을 나타낸다.

D = W·Q₂(O) = W·Q₂(O_r+E) = W·Q₂(O_r) + W·Q ₂(E)

수학식 3 또는 수학식 5에서 최종적으로 복원된 출력 D는, 프리디코더(200) 단에서 웨이블릿 변환에 의한 다운샘플링을 이용하였으므로 상당히 디테일한 이미지를 가지며, MPEG 또는 AVC에 의하여 다운샘플링한 결과에 비하여 시각적 화질면에서 우수하다고 볼 수 없다. 그러나, 공간적 스케일러빌리티를 위하여 웨이블릿 변환을 사용하여 인코딩하였으므로, 프리디코더(200) 단에서 공간적 다운샘플링 역시 웨이블릿 변환을 이용하여 다운샘플링 되는 것이다. 이러한, 웨이블릿-기반 코딩의 장점으로는, 기본적으로 공간적 스케일러빌리티를 지원한다는 측면 이외에도, 다운샘플링 후 업샘플링 결과가 상당히 우수한 결과를 갖는다는 점이 있다.

본 발명은, 이러한 웨이블릿-기반 코딩 방법에서의 다운-업샘플링시 우수한 복원성과, AVC, MPEG 등(이하에서는 MPEG을 예로서 설명함) 다운샘플링시 부드러운 시각적 화질을 나타내는 코딩 방법의 장점을 이용하여, 디코더(300)에서 출력되는 비디오의 화질을 향상시킬 수 있는 방법을 제시하고자 한 것이다.

본 발명의 일 실시예에 따른 스무딩 필터(smoothing filter) S(.)는 다음의 수학식 6과 같이 정의될 수 있다.

S(.) = M·W^-1(.)

여기서, M(.)은 MPEG 다운샘플링 필터를 의미한다. 이것은 스무딩 필터가 역 웨이블릿 변환을 이용한 업샘플링 후, MPEG 다운샘플링 필터를 적용한다는 것을 의미한다. 이러한 필터 유형은 시각적 화질의 측면에서는 MPEG 다운샘플링 필터에 상응할 만한 속성을 갖는다. 어떤 프레임(A)가 프리디코더에서 웨이블릿 필터에 의하여 다운샘플링 되었다고 하면, 그 결과는 W(A)로 나타낼 수 있고, 여기에 스무딩 필터를 적용하면 그 결과는 수학식 7과 같다.

S·W(A) = M·W^-1·W(A) ≒ M(A)

여기서, W^-1·W(.)는 완전한 가역 함수는 아니지만, 웨이블릿의 속성상 상당한 가역성을 가지므로 그 결과는 원래 프레임 A에 MPEG 다운샘플링을 가한 결과에 근사한다. 즉, MPEG 다운샘플링의 스무딩 효과를 나타냄으로써 시각적 화질의 향상을 가 져올 수 있는 것이다.

이러한 방법이 원래 프레임에 MPEG 다운샘플링 필터를 사용하는 경우와 완전히 동일하지는 않지만, 눈에 띄게 더 부드러운 시각적 화질을 생성해 주기 때문에 낮은 비트율을 갖는 스케일러블 비디오 스트림에 대하여 유용하게 사용할 수 있다.

한편, 디코더(300) 단에서 출력되는 결과는 수학식 3 및 수학식 5와 같이 나타나는데, 그 결과에 스무딩 필터를 적용한 출력(D_F)은 다음의 수학식 8과 같이 표현된다.

D_F = S(D) = S·Q₁·W(O) + S·W·Q₂(E) : 기초 계층을 참조 프레임으로 하는 경우

D_F = S(D) = S·W·Q₂(O_r) + S·W·Q₂(E) : 시간적 참조 프레임을 사용하는 경우

수학식 8은 스무딩 필터(S)가 두 가지로 구현될 수 있음을 의미한다. S(D)이 의미하는 바와 같이 디코딩 출력단에 스무딩 필터를 적용할 수도 있을 것이고, 두 성분 Q₁·W(O)과 W·Q₂(E), 또는 W·Q₂(O_r)와 W·Q₂(E)을 합하기 전에 스무딩 필터를 적용할 수도 있을 것이다. 도 3의 (a)는 전자의 경우를, (b)는 후자의 경우를 나타낸 도면이다.

상기 스무딩 필터(S)는 수학식 7에서 정의된 바와 같이, 웨이블릿 기반의 업샘플링 과정과 비웨이블릿 기반의 다운샘플링 과정을 수행한다. 여기서 비웨이블릿 기반의 다운샘플링은, MPEG, AVC 등 DCT 기반을 사용하는 코덱을 이용한 다운샘플링 과정을 의미한다. 이와 관련하여, 도 4는 웨이블릿 변환에 의한 다운샘플링 또는 역 웨이블릿 변환에 의한 업샘플링 과정을 설명하는 도면이다. 먼저, 다운샘플링 과정을 보면, 입력 프레임에 대하여 웨이블릿 변환을 수행하여 도 4와 같이 4개의 밴드로 분리한 후, LL 밴드(저주파 밴드)만을 선택하면 1/2배로 다운샘플링된 프레임을 얻을 수 있다. 프리디코더(200)에서 공간적으로 스케일을 줄이는 과정은 이와 같은 다운샘플링 과정과 동일한 과정으로 수행되는 것이다.

한편, 업샘플링 과정을 보면, 입력 프레임을 LL 밴드로 하고, 나머지 밴드는 모두 0으로 채운 후 역 웨이블릿 변환을 수행하면 2배로 업샘플링된 프레임을 얻을 수 있다.

도 4와 같은 웨이블릿 기반의 다운-업샘플링과 비하여 DCT 기반의 다운-업샘플링은 도 5와 같은 과정으로 수행된다. DCT 변환과 웨이블릿 변환을 비교하면, DCT 변환의 경우에는 도 5와 같이, 각 DCT 블록의 좌상 부분에 에너지가 집중되지만 그 DCT 블록은 주파수 영역의 프레임 전체에 골고루 존재한다. 반면에 웨이블릿 변환의 경우는 도 4에 나타낸 바와 같이, 웨이블릿 영역의 프레임에서 좌상 부분에 에너지가 집중된다. 따라서, 웨이블릿 변환에 의하여 다운샘플링되는 프레임은 디테일(detail)한 화질을 가지며, 상대적으로 DCT 변환에 의하여 다운샘플링되는 프레임은 부드러운 화질을 갖는다. 이러한 웨이블릿의 특성은 비트율이 낮은 경우에는 상대적으로 좋은 다운샘플링 결과를 기대하기가 어렵다. MPEG 계열의 코덱, AVC 등의 코덱들은 DCT에 의하여 공간적 변환, 다운샘플링, 및 업샘플링을 수행한다.

DCT 기반의 다운샘플링 과정을 보면, 입력 프레임을 8*8 DCT 변환하여 주파수 영역에서의 프레임으로 변환하면, 변환된 프레임은 도 5와 같은 복수의 DCT 블록으로 이루어진다. 일반적으로 DCT 블록은 8*8 픽셀 사이즈를 갖는데, 이 DCT 블록들의 좌상 1/4 영역(4*4 픽셀 사이즈)들만을 모아서 4*4 역 DCT 변환을 수행하면 입력 프레임의 1/2배로 다운샘플링된 프레임이 생성된다. 업샘플링 과정을 보면, 입력 프레임을 4*4 DCT 변환을 한 후 도 5와 같이 배열하고, 나머지 회색 영역에는 모두 0으로 채우고 8*8 역 DCT 변환을 수행하면 2배로 업샘플링된 프레임이 생성된다.

이하에서는, 본 발명에 따른 스케일러블 비디오 코딩 시스템의 전체 구성인 인코더(100), 프리디코더(200), 및 디코더(300)의 구성 및 동작에 대하여 상세히 설명한다.

도 6은 본 발명의 일 실시예에 따른 스케일러블 비디오 인코더(100)의 구성을 나타내는 도면이다. 스케일러블 비디오 인코더(100)는 기초 계층 생성 모듈(110), 시간적 필터링 모듈(120), 모션 추정 모듈(130), 공간적 변환 모듈(150), 양자화 모듈(160), 및 비트스트림 생성 모듈(170), 및 업샘플링 모듈(180)을 포함하여 구성될 수 있다.

입력된 비디오 시퀀스(video sequence)는 기초 계층 생성 모듈(110)과 시간적 필터링 모듈(120)로 입력된다. 기초 계층 생성 모듈(110)은 입력된 비디오 시퀀스를 최저 해상도를 갖는 비디오 시퀀스로 다운 샘플링함으로써 기초 계층을 생성한 후, 이를 소정의 코덱으로 인코딩하여 비트스트림 생성 모듈(170)에 제공한다. 그리고, 생성된 기초 계층을 업샘플링 모듈(180)에 제공한다. 여기서, 상기 다운 샘플링 방법으로는 다양한 방법이 사용될 수 있겠지만, 이 중 해상도 측면에서의 다운 샘플링은 웨이블릿 변환을 이용한 다운 샘플링 방법을 이용하는 것이 바람직하다.

이와 같이, 공간적으로 다운 샘플링된 비디오 시퀀스, 즉 기초 계층을 직접 업샘플 링 모듈(180)에 제공할 수도 있지만, 최종 디코더 단에서 기초 계층을 복원하는 경우와 균형을 고려하여, 상기 코덱으로 인코딩된 기초 계층을 다시 같은 코덱으로 디코딩한 결과를 업샘플링 모듈(180)에 제공할 수 있다. 아무튼, 업샘플링 모듈(180)에 제공되는 모듈은 시간적, 공간적으로 다운 샘플링된 비디오 시퀀스이거나, 이를 인코딩 후 디코딩한 결과 중 하나일 수 있는데, 양자를 통칭하여 기초 계층이라고 명하기로 한다.

여기서, 상기 코덱으로는 낮은 비트율에서 상대적으로 우수한 화질을 보이는 코덱을 사용하는 것이 바람직한데, 이러한 코덱으로서는 비웨이블릿 계열인 H.264, MPEG-4 등을 사용할 수 있을 것이다. 여기서 '우수한 화질'이란 동일한 비트율로 압축한 후 복원하였을 때 원래의 영상과의 왜곡이 작은 것을 의미한다. 이러한 화질의 판단 기준으로는 주로 PSNR(Peek Signal-to-Noise Ratio)이 사용된다.

업샘플링 모듈(180)은 기초 계층 생성 모듈(110)을 통하여 생성된 기초 계층을 시간적 필터링을 수행할 프레임의 해상도와 같은 해상도로 업샘플링한다. 여기서도, 역 웨이블릿 변환을 이용하여 업샘플링하는 것이 바람직하다.

한편, 시간적 필터링 모듈(120)은 시간축 방향으로 프레임을 시간축 방향으로 프레임들을 저주파 프레임(low-pass frame)과 고주파 프레임(high-pass frame)으로 분해함으로써 시간적 중복성을 감소시킨다. 본 발명에서 시간적 필터링 모듈(120)은 시간적 방향으로 필터링을 수행할 뿐만 아니라, 업샘플링된 기초 계층과 해당 프레임의 차이를 이용한 필터링도 함께 수행할 수 있다. 시간적 방향으로 수행하는 필터링을 시간적 차분 코딩(temporal residual coding)이라고 하고, 업샘플링된 기초 계층과의 차이를 이용한 필터링을 차이 코딩(difference coding)이라고 정의한다. 이와 같이, 본 발명에서의 시간적 필터링이란 시간적 방향의 차분 코딩뿐만 아니라 기초 계층을 이용한 차이 코딩도 포함하는 개념으로 이해된다.

참조 프레임을 기준으로 하여 모션 추정을 수행하는 과정은 모션 추정 모듈(130)에 의하여 수행되는데, 시간적 필터링 모듈(120)은 필요할 때마다 모션 추정 모듈(130)로 하여금 모션 추정을 수행하게 하고 그 결과를 리턴 받을 수 있다. 이러한 시간적 필터링 방법으로는, MCTF(motion compensated temporal filtering), UMCTF(unconstrained MCTF) 등을 사용할 수 있다.

모션 추정 모듈(130)은 시간적 필터링 모듈(120) 또는 모드 선택 모듈(140)의 호출을 받아, 시간적 필터링 모듈(120)에서 결정되는 참조 프레임을 기준으로 현재 프레임의 모션 추정을 수행하고 모션 벡터를 구한다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 즉, 주어진 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정하는 것이다. 모션 추정을 위하여 고정된 블록을 이용할 수도 있지만, 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 계층적인 방법을 사용할 수도 있다. 모션 추정 모듈(130)은 모션 추정 결과 구해지는 블록의 크기, 모션 벡터, 참조 프레임 번호 등의 모션 정보를 비트스트림 생성 모듈(170)에 제공한다.

공간적 변환 모듈(150)은 시간적 필터링 모듈(120)에 의하여 시간적 중복성이 제거된 프레임에 대하여, 공간적 스케일러빌리티를 지원하는 공간적 변환법을 사용하여 공간적 중복성를 제거한다. 이러한 공간적 변환법으로는 웨이블릿 변환(wavelet transform)이 주로 사용되고 있다. 공간적 변환 결과 구해지는 계수들을 변환 계수라고 한다.

웨이블릿 변환을 사용하는 예를 보다 자세히 보면, 공간적 변환 모듈(150)은 시간적 중복성이 제거된 프레임에 대하여, 웨이블릿 변환(wavelet transform)을 사용하여 하나의 프레임을 분해하여 저주파 서브밴드(sub-band)와 고주파 서브밴드로 구분하고, 각각에 대한 웨이블릿 계수(wavelet coefficient)를 구한다.

도 7은 입력 이미지 또는 프레임을 웨이블릿 변환에 의하여 서브밴드로 분해하는 과정의 예를 나타낸 것으로, 2단계 레벨로 분할한 것이다. 여기에는 세가지의 고주파 서브밴드, 즉 수평, 수직, 및 대각 위치의 서브밴드가 있다. 저주파 서브밴드, 즉 수평 및 수직 방향 모두에 대하여 저주파인 서브밴드는 ＇LL＇이라고 표기한다. 상기 고주파 서브밴드는 ＇LH＇, ＇HL＇, ＇HH＇로 표기하는데, 이는 각각 수평방향 고주파, 수직방향 고주파, 그리고 수평 및 수직방향 고주파 서브밴드를 의미한다. 그리고, 저주파 서브밴드는 반복적으로 더 분해될 수 있다. 괄호 안의 숫자는 웨이블릿 변환 레벨을 나타낸 것이다.

양자화 모듈(160)은 공간적 변환 모듈(150)에서 구한 변환 계수를 양자화한다. 양자화(quantization)란 임의의 실수값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 인덱스로 매칭(matching)시키는 작업을 의미한다. 특히, 공간적 변환 방법으로 웨이블릿 변환을 이용하는 경우에는 양자화 방법으로서 엠베디드 양자화(embedded quantization) 방법을 이용하는 경우가 많다. 이러한 엠베디드 양자화 방법으로는 EZW(Embedded Zerotrees Wavelet Algorithm), SPIHT(Set Partitioning in Hierarchical Trees), EZBC(Embedded ZeroBlock Coding) 등이 있다.

비트스트림 생성 모듈(170)은 기초 계층 생성 모듈(110)로부터 제공되는 인코딩된 기초 계층 데이터와, 양자화 모듈(150)에 의하여 양자화된 변환 계수와, 모션 추정 모듈(130)에 의하여 제공되는 모션 정보를 무손실 부호화하고 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등의 다양한 엔트로피 부호화(entropy coding)를 사용할 수 있다.

한편, 프리디코더(pre-decoder; 200)는 디코더 단과의 통신 환경 등을 고려한 추출조건에 따라서 인코더로부터 수신한 비트스트림의 일부를 잘라냄으로써 간단히 스케일러빌리티를 구현할 수 있다. 이와 같이 단순히 비트스트림의 일부를 잘라내는 것만으로 화질, 해상도 또는 프레임율을 낮출 수 있다는 점이 스케일러블 비디오 코딩의 장점 중 하나이다.

도 8은 인코더(100) 측으로부터 수신되는 비트스트림(400) 구조의 일 예를 도시한 도면이다. 비트스트림(40)은 인코딩된 기초 계층에 대하여 무손실 부호화한 비트스트림인 기초 계층 비트스트림(450)과, 시간적, 공간적으로 스케일러빌리티가 지원되며 양자화 모듈(160)으로부터 전달된 변환 계수를 무손실 부호화한 비트스트림, 즉 스케일러블 비트스트림(500)으로 구성될 수 있다. 물론 기초 계층을 사용하지 않는 스케일러블 비디오 인코더에 의하여 생성된 비트스트림이라면 기초 계층 비트 스트림(450)은 존재하지 않을 것이다.

도 9에서 도시하는 바와 같이, 스케일러블 비트스트림(500)은 시퀀스 헤더(sequence header) 필드(510) 와 데이터 필드(520)로 구성될 수 있고, 데이터 필드(520)는 하나 이상의 GOP 필드(530, 540, 550)로 구성될 수 있다. 시퀀스 헤더 필드(510)에는 프레임의 가로 크기(2바이트), 세로 크기(2바이트), GOP의 크기(1바이트), 프레임율(1바이트) 등 영상의 특징을 기록한다. 그리고, 데이터 필드(520)는 영상을 나타내는 데이터와, 기타 영상 복원을 위하여 필요한 정보들(모션 정보 등)이 기록된다.

도 10은 각 GOP 필드(510, 520, 550)의 세부 구조를 나타낸 것이다. GOP 필드(510, 520, 550)는 GOP 헤더(551)와, 시간적으로 다른 프레임을 참조하지 않고 인코딩되는 프레임에 관한 정보를 기록하는 T(0) 필드(552)와, 모션 정보가 기록되는 MV 필드(553)와, 상기 다른 프레임을 참조하여 인코딩되는 프레임의 정보를 기록하는 ＇the other T＇필드(554)로 구성될 수 있다. 모션 정보에는 블록의 크기와, 각 블록 별 모션 벡터와, 모션 벡터를 구하기 위하여 참조하는 참조 프레임의 번호 등이 포함된다. 이러한 참조 프레임 번호로는 시간적으로 관련성 있는 프레임들 중 하나의 번호 기록될 수도 있고, 차이 코딩이 있는 경우에는 기초 계층 프레임을 지칭하는 번호(다른 프레임이 사용하지 않는 번호를 특정하여 사용할 수 있다)가 기록될 것이다. 이와 같이 차이 코딩에 의해 생성되는 블록은 참조 프레임은 존재하지만 모션 벡터를 존재하지 않는다.

MV 필드(553)에는 각각의 프레임 별로 세부적인, MV₍₁₎ 내지 MV_(n-1) 필드가 포함된다. 한편, the other T 필드(554)는 각 프레임의 텍스쳐(texture) 데이터가 기록되는 세부적인, T₍₁₎ 내지 T_(n-1) 필드가 포함된다. 여기서, n은 GOP의 크기를 의미한다. 도 9에 나타낸 바와 같이, 하나의 GOP(Group of Pictures)에서 저주파 프레임이 GOP의 시작 부분에 위치하고, 그 개수가 하나인 것으로 나타낸 것은 단지 일 예에 불과하고, 인코더(100)에 단에서의 시간적 추정 방법에 따라서 저주파 프레임은 둘 이상이 존재할 수도 있으며, GOP의 첫번째 위치가 아닌 다른 위치에 존재할 수도 있다.

프리디코더(200)에서 시간적으로 스케일을 낮추고자 하는 경우에는, 상기 T₍₁₎ 내지 T_(n-1) 필드 중 일부의 필드와 그에 상응하는 MVn 필드를 생략하고 나머지 부분만을 추출한다. 그리고, 공간적 스케일을 낮추고자 하는 경우에는, 이미 현재 상태가 웨이블릿 변환된 상태이므로 상기 T₍₁₎ 내지 T_(n-1)의 LL-밴드(도 7에서 LL₍₁₎ , 또는 LL₍₂₎ 밴드) 만을 추출하면 된다. 또한, 화질을 낮추고자 하는 경우에는, 상기 T₍₁₎ 내지 T_(n-1) 각각의 데이터를 뒤에서부터 일부를 잘라내 버리고 남은 데이터만을 추출한다.

도 11은 본 발명의 일 실시예에 따른 스케일러블 비디오 디코더(300)의 구성을 나타낸 도면이다. 스케일러블 비디오 디코더(300)는 비트스트림 해석 모듈(310), 역 양자화 모듈(320), 역 공간적 변환 모듈(330), 역 시간적 필터링 모듈(340), 기초 계층 디코더(350), 및 스무딩 필터 모듈(360)을 포함하여 구성될 수 있다.

먼저, 비트스트림 해석 모듈(310)은 엔트로피 부호화 방식의 역으로서, 입력된 비트스트림을 해석하여 기초 계층의 정보와, 이외 계층의 정보를 분리하여 추출한다. 만약 입력된 비트스트림이 기초 계층 정보를 포함하고 있지 않은 경우에는 기초 계층 디코더(350)는 생략될 수 있다. 여기서, 기초 계층의 정보는 기초 계층 디코더(350)에 제공된다. 그리고, 그 이외 계층의 정보 중 텍스쳐 정보는 역 양자화 모듈(320)에 제공하고, 모션 정보 및 향상 생략 모드 정보는 역 시간적 필터링 모듈(340)에 제공한다.

기초 계층 디코더(350)는 비트스트림 해석 모듈(310)로부터 제공된 기초 계층의 정보를 소정의 코덱으로 디코딩한다. 상기 소정의 코덱으로는 인코딩시 사용된 코덱에 대응하는 코덱이 사용되는데, 이러한 코덱으로는 낮은 비트율에서 우수한 성능을 나타내는 H.264, MPEG-4 등을 이용하는 것이 바람직하다.

한편, 역 양자화 모듈(320)은 비트스트림 해석 모듈(310)로부터 전달된 텍스쳐 정보를 역 양자화하여 변환 계수를 출력한다. 역 양자화 과정은 인코더(100) 단에서 소정의 인덱스로 표현하여 전달한 값으로부터 이와 매칭되는 양자화된 계수를 찾는 과정이다. 인덱스와 양자화 계수 간의 매칭(matching) 관계를 나타내는 테이블은 인코더(100) 단으로부터 전달될 수도 있고, 미리 인코더와 디코더 간의 약속에 의한 것일 수도 있다.

역 공간적 변환 모듈(330)은 공간적 변환을 역으로 수행하여, 상기 변환계수들을 공간적 영역에서의 차분 프레임으로 역 변환한다. 웨이블릿 방식으로 공간적 변환 된 경우에는 웨이블릿 영역에서의 변환 계수를 공간적 영역에서의 변환 계수로 역 변환하는 것이다.

스무딩 필터 모듈(360)은 웨이블릿 기반으로 업샘플링을 수행하는 웨이블릿 업샘플링 모듈(361)과, MPEG, AVC 등에서 사용되는 DCT 기반으로 다운샘플링을 수행하는 DCT 다운샘플링 모듈(362)을 포함하여 구성될 수 있다. 도 4에서 전술한 바와 같이, 웨이블릿 기반의 업샘플링은, 입력 프레임을 저주파 밴드로 하고, 나머지 밴드는 0으로 채운 후 역 웨이블릿 변환을 함으로써 수행된다. 그리고, 도 5에서 전술한 바와 같이, DCT 기반의 업샘플링은 입력 프레임을 8*8 DCT 변환하여 주파수 영역에서의 프레임으로 변환하고, 이에 따라 생성되는 DCT 블록들의 좌상 1/4 영역들만을 모아서 4*4 역 DCT 변환을 함으로써 수행된다.

역 시간적 필터링 모듈(340)은 상기 스무딩 필터를 거쳐 생성된 결과에 대하여, 역 시간적 필터링을 수행하여 비디오 시퀀스를 복원한다. 역 시간적 필터링을 위하여, 역 시간적 필터링 모듈(330)은 비트스트림 해석 모듈(310)로부터 제공되는 모션 정보와, 기초 계층 디코더(350)로부터 제공되는 기초 계층을 이용할 수 있다.

여기서, 역 시간적 필터링은 인코더(100) 단에서 시간적 필터링을 수행한 방법의 역으로 수행되므로, 인코더(100) 단에서 차이 코딩에 의하여 필터링된 경우는 대응하는 기초 계층과의 합을 구함으로써, 시간적 예측 코딩에 의하여 필터링된 경우는 해당 참조 프레임 번호 및 모션 벡터를 이용하여 구성되는 디코딩 예측 프레임과의 합을 구함으로써 수행된다.

도 12는 본 발명의 다른 실시예에 따른 스케일러블 비디오 디코더(390)의 구성을 나타낸 도면이다. 도 12의 구성요소는 도 11의 구성요소와 동일하지만, 그 동작 순서에 있어서는 차이가 있다. 도 11에서는 역 시간적 필터링을 수행하기 이전에 스무딩 필터(360)을 적용하지만, 도 12에서는 역 시간적 필터링을 수행한 후, 최종적으로 출력되기 이전에 스무딩 필터(360)를 적용하는 점에서 차이가 있다. 하지만, 수학식 8의 설명에서 전술한 바와 같이, 양자는 효과면에서는 거의 유사한 특징을 갖는다.

도 13은 Mibile 시퀀스에서 비트율에 대한 PSNR을 비교한 그래프이다. 본 발명에 따른 방법을 사용한 결과는 높은 비트율에서는 종래의 스케일러블 비디오 코딩 방법을 사용한 결과와 유사하고, 낮은 비트율에서는 상당히 우수한 결과를 나타낸다. 이것은 낮은 비트율에서는 웨이블릿 기반의 다운샘플링 보다는 DCT 기반의 다운샘플링의 성능이 우수함을 보여주는 결과이다.

본 발명에 따르면, 스케일러블 비디오 디코더의 출력 영상의 객관적 화질을 향상시키는 효과가 있다.

또한 본 발명에 따르면, 사용자에게 시각적으로 부드러운 화질을 갖는 출력 영상을 제공함으로써 주관적 화질을 향상시키는 효과도 있다.

Claims (15)

1. (a) 입력된 비트스트림으로부터 차분 프레임을 생성하는 단계;

   (b) 상기 차분 프레임에 대하여 웨이블릿 기반의 업샘플링을 수행하는 단계;

   (c) 상기 업샘플링된 프레임에 대하여 비웨이블릿 기반의 다운샘플링을 수행하는 단계; 및

   (d) 상기 다운샘플링된 프레임에 대하여 역 시간적 필터링을 수행하는 단계를 포함하는, 비디오 디코딩 방법.
2. 제1항에 있어서, 상기 비웨이블릿 기반의 다운샘플링은

   DCT 기반의 다운샘플링을 의미하는, 비디오 디코딩 방법.
3. 제1항에 있어서, 상기 (b)단계는

   상기 차분 프레임을 저주파 밴드로 하고, 나머지 밴드는 0으로 채운 후 역 웨이블릿 변환을 함으로써 수행되는, 비디오 디코딩 방법.
4. 제2항에 있어서, 상기 (c)단계는

   상기 차분 프레임을 소정 크기의 DCT 변환하여 주파수 영역에서의 프레임으로 변환하고, 이에 따라 생성되는 DCT 블록들의 좌상 1/4 영역들만을 모아서 역 DCT 변환을 함으로써 수행되는, 비디오 디코딩 방법.
5. 제1항에 있어서, 상기 (d)단계 이전에

   입력된 비트스트림으로부터 기초 계층을 추출하여 디코딩하는 단계; 및

   상기 디코딩된 결과에 대하여 웨이블릿 기반의 업샘플링 및 비웨이블릿 기반의 다운샘플링을 수행하고 그 결과를 역 시간적 필터링에서의 디코딩 예측 프레임으로 제공하는 단계를 더 포함하는, 비디오 디코딩 방법.
6. (a) 입력된 비트스트림으로부터 차분 프레임을 생성하는 단계;

   (b) 상기 차분 프레임에 대하여 역 시간적 필터링을 수행하여 비디오 시퀀스를 복원하는 단계;

   (c) 상기 비디오 시퀀스에 대하여 웨이블릿 기반의 업샘플링을 수행하는 단계; 및

   (d) 상기 업샘플링된 비디오 시퀀스에 대하여 비웨이블릿 기반의 다운샘플링을 수행하는 단계를 포함하는, 비디오 디코딩 방법,
7. 제6항에 있어서, 상기 비웨이블릿 기반의 다운샘플링은

   DCT 기반의 다운샘플링을 의미하는, 비디오 디코딩 방법.
8. 입력된 비트스트림으로부터 차분 프레임을 생성하는 역 공간적 변환 모듈;

   상기 차분 프레임에 대하여 웨이블릿 기반의 업샘플링 및 비웨이블릿 기반의 다운샘플링을 수행하는 스무딩 필터 모듈; 및

   상기 다운샘플링된 프레임에 대하여 역 시간적 필터링을 수행하는 역 시간적 필터링 모듈을 포함하는, 비디오 디코더.
9. 제8항에 있어서, 상기 비웨이블릿 기반의 다운샘플링은

   DCT 기반의 다운샘플링을 의미하는, 비디오 디코더.
10. 제8항에 있어서, 상기 웨이블릿 기반의 업샘플링은

    상기 차분 프레임을 저주파 밴드로 하고, 나머지 밴드는 모두 0으로 채운 후 역 웨이블릿 변환을 함으로써 수행되는, 비디오 디코더.
11. 제9항에 있어서, 상기 비웨이블릿 기반의 다운샘플링은,

    상기 차분 프레임을 소정 크기의 DCT 변환하여 주파수 영역에서의 프레임으로 변환하고, 이에 따라 생성되는 DCT 블록들의 좌상 1/4 영역들만을 모아서 역 DCT 변환을 함으로써 수행되는, 비디오 디코더.
12. 제8항에 있어서,

    입력된 비트스트림으로부터 기초 계층을 추출하여 디코딩하는 기초 계층 디코더를 더 포함하는데, 상기 스무딩 필터 모듈은 상기 디코딩된 기초 계층에 대하여 웨이블릿 기반의 업샘플링 및 비웨이블릿 기반의 다운샘플링을 수행하는, 비디오 디코더.
13. 입력된 비트스트림으로부터 차분 프레임을 생성하는 역 공간적 변환 모듈;

    상기 차분 프레임에 대하여 역 시간적 필터링을 수행하여 비디오 시퀀스를 복원하는 역 시간적 필터링 모듈; 및

    상기 비디오 시퀀스에 대하여 웨이블릿 기반의 업샘플링 및 비웨이블릿 기반의 다운샘플링을 수행하는 스무딩 필터 모듈을 포함하는, 비디오 디코더,
14. 제13항에 있어서, 상기 비웨이블릿 기반의 다운샘플링은

    DCT 기반의 다운샘플링을 의미하는, 비디오 디코더.
15. 제1항 내지 제14항 중 어느 한 항의 방법을 컴퓨터로 판독가능한 프로그램으로 기록한 기록매체.

Images