KR100963864B1

KR100963864B1 - 스케일러블 비디오 코딩에서의 계층 간 예측 모드 코딩을위한 방법 및 시스템

Info

Publication number: KR100963864B1
Application number: KR1020077018334A
Authority: KR
Inventors: 시앙린 왕; 일리앙 바오; 마르타 카르체위츠; 저스틴 리쥐
Original assignee: 노키아 코포레이션
Priority date: 2005-01-12
Filing date: 2006-01-12
Publication date: 2010-06-16
Also published as: WO2006075240A1; TW200704196A; US20060153295A1; KR20070090273A; EP1836857A1; AU2006205633A1; CN101129072A; JP2008527881A; JP2012050153A

Abstract

본 발명은, 베이스 계층의 해상도가 인핸스먼트 계층의 해상도보다 낮으면 베이스 계층에 있는 하나의 4x4 블록의 인트라4x4 모드를 인핸스먼트 계층에 있는 다중의 이웃 4x4 블록들로 복사하고, 베이스 계층의 해상도가 인핸스먼트 계층의 해상도보다 낮고 베이스 계층 해상도가 양 차원에서 인핸스먼트 계층 해상도의 반이면 인트라4x4 모드를 인트라8x8 모드로 사용함으로 해서 베이스 계층 MB가 인트라 코드에서 인코딩될 때에도 MI를 사용하고, RP에서 사용되는 베이스 계층 예측 잉여를 직접 계산하는 것을 실행하고, 메모리 요구를 줄이기 위해 예측 잉여를 클립핑하고, BLTP 모드에서 예측 잉여를 터널링하며; 플래그 비트들을 저장하고 구현의 복잡도를 줄이기 위해 RP 플래그를 조건부로 코딩하여, 잉여 예측을 개선시킨다.

Description

스케일러블 비디오 코딩에서의 계층 간 예측 모드 코딩을 위한 방법 및 시스템{Method and system for inter-layer prediction mode coding in scalable video coding}

본 발명은 비디오 코딩 분야에 대한 것이며, 더 특별하게는 스케일러블 비디오 코딩에 관한 것이다.

H.264와 같은 전형적인 단일 계층(single layer) 비디오 규칙에서 비디오 프레임은 매크로블록들에서 처리된다. 매크로블록(macroblock, 이하 MB)이 인터(inter)-MB 라면, 하나의 매크로블록 내의 픽셀들은 하나 또는 다중의 레퍼런스 프레임들 내의 픽셀들로부터 예측될 수 있다. 매크로블록이 인트라(intra)-MB 라면, 현재 프레임의 MB 내부의 픽셀들 역시 같은 비디오 프레임 내의 픽셀들부터 전적으로 예측될 수 있다.

인터-MB와 인트라-MB의 양쪽을 위해, MB는 다음과 같은 단계들을 거쳐서 디코드된다:

- MB 내의 신택스 엘리먼트(syntax element)들을 디코드하며, 이때에 신택스 엘리먼트들은 예측 모드들 및 연관된 매개변수(parameter)들을 포함;

- 신택스 엘리먼트들에 기반하여 MB의 각 분할구획(partition)에 대한 픽셀 예측자(predictor)를 회수한다. 하나의 MB는 다수의 분할구획들을 포함할 수 있고, 각 분할구획은 자신의 모드 정보를 포함할 수 있다;

- 양자화 계수들을 얻기 위해 엔트로피 디코딩 실행;

- 예측 잉여(residue)를 재구성하기 위해 상기 양자화된 계수들에 대해 역변환 실행; 그리고

- MB의 재구성된 픽섹 값들을 얻기 위해 픽셀 예측자를 상기 재구성된 예측 잉여에 더한다.

인코더 측에서, 예측 잉여는 원 픽셀들과 그 픽셀들의 예측자들 간의 차이이다. 잉여들은 변환되고 그러면 변환 계수가 양자화된다. 그리고 양자화된 계수들은 특정 엔트로피-코딩 규칙을 사용하여 인코딩된다.

MB가 인터-MB라면, 모드 결정에 관련된 다음과 같은 정보를 코딩하는 것이 필요하다:

- 인터-MB 라는 것을 나타내는 MB 유형;

- 사용되는 특정 인터-프레임 예측 모드들. 예측 모드들은 MB가 어떻게 분할구획 되는가를 나타낸다. 예를 들면, MB는 16x16 크기의 하나의 분할구획만을 가질 수 있거나 또는 두 개의 16x8 분할구획들을 가지며 이 때에 각 분할구획은 상이한 모션 정보를 가질 수 있다, 등등;

- 그로부터 픽셀 예측자가 얻어지는 레퍼런스 프레임들을 나타내는 하나 또는 그 이상의 레퍼런스 프레임 인덱스들. 한 MB의 상이한 부분들은 상이한 레퍼런스 프레임들로부터 예측자를 가질 수 있다;

- 예측자가 페치되는 레퍼런스 프레임들의 위치를 나타내는 하나 또는 그 이상의 모션 벡터들.

MB가 인트라-MB인 경우 다음과 같은 정보를 코딩하는 것이 필요하다:

- 인트라-MB라는 것을 나타내는 MB 유형;

- 루마(luma)를 위해 사용되는 인트라-프레임 예측 모드들. 루마 신호가 인트라4x4 모드를 사용하여 예측되면 16x16 루마 블록 내의 각 4x4 블록은 각각 자신의 예측 모드를 가질 수 있으며, 16개의 인트라4x4 모드들은 하나의 MB를 위해 코딩된다. 만일 루마 신호가 인트라16x16 모드를 사용하여 예측된다면 오직 하나의 인트라16x16 모드가 전체 MB와 연관된다;

- 채도(chroma)를 위해 사용되는 인트라-프레임 예측 모드.

어느 경우이건 모드들 및 연관된 매개변수를 코딩하는데 막대한 양의 비트들이 사용된다.

Scalable Video Model 3.0(ISO/IEC JTC 1/SC 29/WG 11N6716, 2004년 10월, Palma de Mallorca, Spain)에 제안된 스케일러블 비디오 코딩 솔루션에서, 비디오 시퀀스는 다중의 계층들로 코딩될 수 있고, 각 계층들은 일정 공간 해상도 또는 일시적인 해상도 또는 일정 품질 수준 또는 상기의 세 가지 경우가 결합된 경우에서의 비디오 시퀀스에 대한 하나의 표시이다. 좋은 코딩 효율을 얻기 위해, 몇몇의 새로운 텍스쳐 예측 모드들 및 신택스 예측 모드들이 계층들 간의 중복(redundancy)을 줄이기 위해 사용된다.

베이스 계층으로부터의 모드 계승(Mode Inheritance from base layer; 이하 MI)

이 모드에서는, MI 플래그를 제외하면 한 MB를 위해 추가적인 신택스 엘리먼트들이 코딩될 필요가 없다. MI 플래그는 이 MB의 모드 결정이 베이스 계층에 있는 대응하는 MB로부터 얻어진 것이라는 것을 나타내기 위해 사용된다. 베이스 계층의 해상도가 인핸스먼트(enhancement) 계층의 해상도와 동일하면 모드 정보는 모두 그 상태 그대로 사용될 수 있다. 베이스 계층의 해상도가 인핸스먼트 계층의 해상도와 다르다면(예를 들면 인핸스먼트 계층 해상도의 반), 인핸스먼트 계층에 의해 사용되는 모드 정보는 해상도 비율에 따라서 유도될 필요가 있다.

베이스 계층 텍스쳐 예측(Base Layer Texture Prediction; 이하 BLTP)

이 모드에서는, MB 전체 또는 MB의 일부를 위한 픽셀 예측자는 베이스 계층에 있는 협응-위치한(co-located) MB로부터 얻어진다. 새로운 신택스 엘리먼트들은 그러한 예측을 가리킬 필요가 있다. 이것은 인터-프레임 예측과 유사하지만, 예측자의 위치가 알려져 있기 때문에 어떤 모션 벡터도 필요하지 않다. 이 모드는 도 1에 도시된다. 도 1에서, C1은 인핸스먼트 계층 코딩에서의 원 MB이며, B1은 C1을 예측하는데 사용된 현재 프레임을 위해 베이스 계층에서 재구성된 MB이다. 도 1에서, 인핸스먼트 계층 프레임 크기는 베이스 계층에서의 크기와 동일하다. 베이스 계층이 다른 크기라면 베이스 계층 재구성 프레임에 대한 적절한 크기 조절 처리가 필요하다.

잉여 예측(Residue Prediction; 이하 RP)

이 모드에서는, 인핸스먼트 계층에서 코딩된 잉여의 양을 줄이기 위해 베이 스 계층의 재구성된 예측 잉여가 사용되며, 두 MB들은 인터 모드에서 인코딩된다.

도 1에서, 블록을 위한 베이스 계층에서의 재구성된 예측 잉여는 (B1-B0)이다. 인핸스먼트 계층에서의 가장 최선의 레퍼런스 블록은 E0이다. C1을 예측하는데 사용되는 실제의 예측기는 (E0+(B1-B0))이다. 그 실제의 예측기는 "잉여-조절된 예측기(residue-adjusted predictor)"로 언급된다. RP 모드에서의 예측 잉여를 계산한다면, 다음과 같은 결과를 얻게 된다.

C1-(E0+(B1-B0))=(C1-E0)-(B1-B0)

잉여 예측이 사용되지 않는다면 인핸스먼트 계층의 보통의 예측 잉여인 (C1-E0)가 인코딩된다. RP 모드에서 인코딩된 것은 인핸스먼트 계층에서의 제1계 예측 잉여와 베이스 계층에서의 제1계 예측 잉여간의 차이이다. 그러므로 이와 같은 텍스쳐 예측 모드가 잉여 예측이라고 언급되는 것이다. 현재 MB를 인코딩 하는데 RP 모드가 사용되는가의 여부를 나타내기 위해 한 개의 플래그가 필요하다.

잉여 예측 모드에서, 모션 벡터 mv_e는 실제의 코딩에서 모션 벡터 mv_b와 같을 필요는 없다.

잉여 예측 모드는 MI와 결합될 수도 있다. 이런 경우, 베이스 계층으로부터의 모드 정보는 인핸스먼트 계층 E0 에서 픽셀 예측자에 억세스하는데 사용되며, 그러면 베이스 계층에서의 재구성된 예측 잉여는 인핸스먼트 계층에서 예측 잉여를 예측함에 있어서 사용된다.

본 발명의 주요 목적은 SVC 계층들에 존재하는 중복성을 추가적으로 제거하는 것이다. 이 목적은 계층 간(inter-layer) 예측 모드들을 개선함으로써 얻어질 수 있다.

베이스 계층 MB가 인트라모드에서 다음과 같이 인코딩될 때에 MI를 사용하여 개선이 이루어질 수 있다:

- 베이스 계층의 해상도가 인핸스먼트 계층 해상도보다 낮으면 베이스 계층에 있는 하나의 4x4 블록의 인트라4x4 모드를 인핸스먼트 계층에 있는 다중의 이웃한 4x4 블록들로 복사.

- 인트라4x4 모드를 인트라8x8 모드로 사용하며, 이는 양 차원에서 베이스 계층 해상도가 인핸스먼트 계층 해상도보다 낮고 베이스 계층 해상도가 인핸스먼트 계층 해상도의 반인 경우에 그렇게 사용한다.

잉여 예측(RP)에서의 개선은 다음에 의해서 이루어진다:

- RP에서 사용된 베이스 계층 예측 잉여를 직접 계산;

- 메모리 요구를 줄이기 위해 예측 잉여 클리핑(clipping);

- BLTP 모드에서 예측 잉여를 터널링(tunneling);

- 플래그 비트들을 세이브하고 구현의 복잡도를 줄이기 위해 RP 플래그를 조건부 코딩

더 나아가, 인핸스먼트 계층이 베이스 계층 텍스쳐 예측(BLTP) 모드에서 코딩될 때에 베이스 계층의 모드 정보에 대한 터널링이 실행된다.

도 1은 스케일러블 비디오 코딩에서의 텍스쳐 예측 모드들을 보여준다.

도 2는 잉여 예측에 사용된 예측 잉여를 계산하는 것을 도시한 것이다.

도 3은 공간 베이스 계층으로부터의 코딩된 블록 패턴과 인트라 모드들을 사용하는 것을 도시한 것이다.

도 4는 본 발명의 실시예가 구현될 수 있는 계층화된 스케일러블 인코더를 보여주는 블록 다이어그램이다.

본 발명은 다음에 설명되는 것과 같이 계층 간(inter-layer) 예측 모드들을 개선시킨다.

베이스 계층 MB가 인트라 모드에서 코딩될 때에 베이스 계층으로부터의 모드 계승

보통은, 인핸스먼트 계층의 MB에 대응하는 베이스 계층에서의 MB가 인터-MB인 경우에만 MI가 인핸스먼트 계층의 MB를 위해 사용된다. 본 발명에 따르면, MI는 베이스 계층 MB가 인트라-MB일 때에도 사용된다. 베이스 계층 해상도가 인핸스먼트 해상도와 동일하면 모드들은 그 상태 그대로 사용된다. 베이스 계층 해상도가 같지 않으면 모드 정보는 따라서 전환된다.

H.264에서는, 다음의 세 가지 인트라 예측 유형이 있다: 인트라4x4, 인트라8x8 그리고 인트라 16x16. 베이스 계층의 해상도가 인핸스먼트 해상도보다 낮으면, 베이스 계층 MB의 루마 신호가 인트라4x4 모드로 코딩되면, 베이스 계층의 한 4x4 블록의 인트라4x4 모드가 인핸스먼트 계층의 다중 4x4 블록들에 적용될 수 있다. 예를 들어, 베이스 계층 해상도가 양 차원에서 인핸스먼트 계층 해상도의 반이면 베이스 계층에서의 하나의 4x4 블록의 인트라 예측 모드는 인핸스먼트 계층에서의 4개의 4x4 블록들에 의해 사용될 수 있으며, 이는 도 2의 우측에 도시되었다.

다른 실시 예에서, 베이스 계층의 해상도가 인핸스먼트 계층의 해상도의 반이고 베이스 계층 MB의 루마 신호가 하나의 인트라4x4 모드로 코딩되면, 베이스 계층에서의 4x4 블록의 인트라4x4 모드가 인핸스먼트 계층의 대응하는 8x8 블록의 인트라8x8 모드로 사용된다. 그것은 인트라8x8 모드가 예측 방향이라는 면에서 인트라4x4 모드들과 유사하게 정의되기 때문이다. 인트라8x8 예측이 베이스 계층에서 적용된다면, 베이스 계층에서의 하나의 8x8 블록의 인트라8x8 예측 모드는 인핸스먼트 계층의 MB 내의 4개의 8x8 블록들 모두에 적용된다.

인트라16x16 모드와 채도(chroma) 예측 모드는 베이스 계층의 해상도가 인핸스먼트 계층의 해상도와 같지 않을지라도 사용될 수 있다.

베이스 계층 텍스쳐 예측 모드에서 모드 정보 터널링

종래 기술에서, MB가 BLTP 모드에서 계층 N-1로부터 예측된다면, 계층 N-1로부터의 어떤 모드 결정 정보도 계층 N에서 그 MB를 코딩하는데 필요하지 않다. 본 발명에 따르면, 계층 N-1에서 MB의 모드 결정 정보 모두는 계층 N에서 그 MB에 의해 승계되며, 그러면, 비록 그 정보는 계층 N에서 MB들을 코딩하는 데 사용될 수 없을 것이지만, 그 정보는 계층 N+1에서 MB(들)을 코딩하는데 사용될 수 있다.

잉여 예측(Residue Prediction; RP)

- RP에서 사용되는 베이스 계층 예측 잉여를 직접 계산

계층 N에서 하나의 MB를 코딩할 때에 잉여 예측을 위해 사용되는 값은 계층 N-1에서는 "진정 잉여(true residue)"이어야 하며, 이는 계층 N-1에서 재구성되어 같이 배치된 블록과 계층 N-1에서 같이 배치된 블록의 비-잉여-조절된(non-residue-adjusted) 예측자 간의 차이로 정의되며, 계층 N-1에서 주어진 대응하는 MB는 인터코딩된다(inter-coded).

디코딩 과정에서, "명의 잉여(nominal-residue)"는 다음의 2 단계를 사용해서 계산될 수 있다:

1. 양자화된 계수들을 탈양자화(dequantize), 그리고

2. 탈양자화된 계수들에 대해 역변환 수행.

베이스 계층의 하나의4x4 블록의 모드는 인핸스먼트 계층의 4개의 4x4 블록들에 의해 사용될 수 있으며, 이는 도 2의 우측에 도시되었다.

잉여 예측이 이 계층에서 MB를 코딩하는데 사용되지 않는다면, 그 계층에서 그 MB에 대해서는 명의 잉여는 진정 잉여와 동일하다. 잉여 예측이 이 계층에서 MB를 코딩하는데 사용된다면, 명의 잉여는 재구성된 픽셀과 잉여-조절된 예측자간의 차이이기 때문에 명의 잉여는 진정 잉여와 다르다.

도 2 좌측의 3-계층 SVC 구조를 예로 든다. 잉여 예측이 계층 0에서 MB를 위해 사용되지 않는다면 명의 잉여와 진정 잉여는 모두 (B1-B0)이다. 그러나, 만일 계층 1에서 잉여 예측이 MB를 위해 사용된다면, 명의 잉여는 (E1-(E0+(B1-B0)))이다. 이 결과는 탈양자화 및 탈양자화된 계수들을 역변환하여 직접 얻어질 수 있다. 진정 잉여는 (E1-E0)이다.

다음은 계층 N-1에서 진정 잉여를 계산하기 위한 두 가지의 예시 방법이며, 이것은 계층 N에서는 잉여 예측으로 사용될 것이다.

방법 A

계층 N-1에서 현재 프레임과 그의 레퍼런스 프레임들 모두에 대해 전체 재구성을 실행하며, 그러면 계층 N-1에서의 진정 잉여가 쉽게 계산될 수 있다. 그러나, 몇몇 애플리케이션을 위해서는 계층 2에서 하나의 프레임을 재구성하는 것이 계층 0과 계층 1에서 프레임에 대한 전체 재구성을 요구하지 않을 것이 요망된다.

방법 B

계층 N-1에서 MB를 위해 잉여 예측이 사용되지 않는다면, 계층 N-1에서의 진정 잉여는 명의 잉여와 동일하다. 그렇지 않다면 그것은 계층 N-1에서의 명의 잉여와 계층 N-2에서의 진정 잉여의 합이다.

도 2에서, 계층 0에서의 진정 잉여는 (B1-B0)이며, 계층 1에서 대응하는 MB를 코딩하는데 RP 모드가 사용된다. 계층 1에서 현재의 MB를 위한 잉여-조절된 예측자는 (E0+(B1-B0))이다. 계층 1에서 재구성된 명의 예측 잉여는 (E1-(E0+(B1-B0)))이다. 따라서 계층 1에서의 진정 잉여는 다음과 같이 계산될 수 있다.

(E1-(E0+(B1-B0))+(B1-B0) = (E1-E0)

방법 B는 하위 계층에서의 프레임에 대한 전체 재구성의 필요가 없다. 이 방법은 진정 잉여에 대해서는 "직접 계산"으로 언급된다.

수학적으로는 방법 A와 방법 B로부터의 결과는 동일하다. 그러나 실제의 구현에 있어서 다양한 클립핑(clipping) 처리가 실행되기 때문에 그 결과들은 약간 차이가 난다. 본 발명에 따라, 다음은 계층 N-1에서 "진정 잉여"를 계산하기 위한 절차이며, 이것은 계층 N에서는 잉여 예측으로 사용된다:

1. 양자화된 계수들을 탈양자화;

2. "계층 N-1에서의 명의잉여(nominalResidue)"를 구하기 위해 탈양자화된 계수들에 대해 역변환 실행;

3. 계층 N-1의 MB를 위해 잉여 예측이 사용되지 않는다면, "임시잉여(tempResidue)"를 "계층 N-1에서 명의잉여(nominalResidue)"와 같게 설정하고, 단계 5로 진행;

4. 계층 N-1의 MB를 위해 잉여 예측이 사용되면, "임시잉여(tempResidue)"를 "계층 N-1에서의 명의잉여(nominalResidue)" + "계층 N-2에서의 진정잉여(trueResidue)"로 설정하고, 단계 5로 진행;

5. 계층 N-1에서 "진정잉여(trueResidue)"를 얻기 위해 "임시잉여(tempResidue)"에 클립핑 실행.

본 발명에서, 진정 잉여는 클립핑되어 잉여 데이터를 저장하기 위해 필요한 메모리를 절약하기 위해 특정 범위 내로 위치할 것이다. 비트 스트림에서 추가적인 신택스 요소인 "residueRange"를 잉여의 동적인 범위를 나타내기 위해 도입될 수 있다. 한 예로, 8비트 비디오 데이터를 위해 [-128, 127]의 영역에 잉여를 잘라낸다(clip). 더 적극적인 클립핑은 특정 복잡도와 코딩 효율간의 트레이드 오프를 위 해 적용될 수 있다.

계수 도메인에서의 잉여 예측

한 실시예에서, 잉여 예측은 계수 도메인에서 실행될 수 있다. 잉여 예측 모드가 사용된다면, 계수 도메인에서의 베이스 계층 잉여는 인핸스먼트 계층의 예측 잉여의 계수 변환으로부터 빼질 수 있다. 이 연산에 인핸스먼트 계층에서의 양자화과정이 이어진다. 계수 도메인에서의 잉여 예측을 실행함으로 해서 모든 베이스 계층들의 공간 도메인에서의 예측 잉여를 재구성하는 역변환 단계가 회피될 수 있다. 그 결과 계산의 복잡도가 크게 줄어들 수 있다.

인트라 및 BLTP 모드에서의 예측 잉여 터널링

보통은, 근접한 베이스 계층의 MB가 인트라-MB이거나 또는 BLTP 모드를 사용하여 그 자체 베이스 계층으로부터 예측된다면 예측 잉여는 0으로 설정된다. 본 발명에 따르면, 예측 잉여는 상위의 인핸스먼트 계층으로 전송될 것이며, 인트라-프레임 예측으로부터는 아무 잉여도 더해지지 않을 것이다. 3-계층의 SVC 구조를 고려한다: MB가 계층 0에서 인터-모드로 코딩되고 계층 1에서 인트라 모드라면, 계층 0의 예측 잉여는 계층 2에서 사용될 수 있다.

현재의 인핸스먼트 계층(예를 들면 도 2의 계층 1)의 MB가 BLTP 모드에서 코딩되면, 일 실시예에서는, 그의 베이스 계층(계층 0)의 예측 잉여, 그 값은 (B1-B0)인 예측 잉여는 계층 1 예측 잉여로 기록될 것이며 상위 인핸스먼트 계층(계층 2)의 잉여 예측에 사용될 것이다. 계층 1의 BLTP 모드로부터의 명의 잉여는 더해지지 않는다. 이것은 이전에 설명된 인트라-모드와 유사한 것이다. 다른 실시예에서, 계층 1에서 (E1-B1) 값의 BLTP 모드 예측 잉여 역시 베이스 계층 예측 잉여 (B1-B0)에 더해진다. 그와 같이, 계층 2 잉여 예측에 사용된 잉여는 (B1-B0)라기 보다는 (E1-B0)이다. 이것은 도 2의 우측에 도시되어 있다.

플래그 비트들을 저장하고 구현 복잡도를 감소시키기 위한 RP 플래그들의 조건부 코딩

RP 플래그는 RP 모드가 인핸스먼트 계층에서 MB를 위해 사용되는가의 여부를 나타내기 위해 사용된다. 인핸스먼트 계층에서의 MB를 위한 잉여 예측에 사용될 수 있는 재구성된 예측 잉여가 0이면, 잉여 예측 모드는 코딩 효율을 개선하는데 도움이 되지 않을 것이다. 본 발명에 따르면, 잉여 예측 모드가 평가되기 전에, 인코더 측에서 이런 상태가 항상 체크된다. 그러므로, 계산의 상당한 양이 모드 결정에서 감소될 수 있다. 인코더 측과 디코더 측의 양쪽에서, 인핸스먼트 계층에서 MB를 위한 잉여 예측에 사용될 수 있는 재구성된 예측 잉여가 0이면 어떤 RP 플래그도 코딩되지 않는다. 그러므로, RP 플래그를 코딩하는데 소모되는 비트들의 개수가 감소한다.

매크로블록을 코딩할 때에, 하나 또는 그 이상의 변수들이 비트스트림으로 코딩되어 MB가 인트라-코딩된 것인지 혹은 인터-코딩된 것인지 혹은 BLTP 모드에서 코딩된 것인지를 나타낸다. 이때에 집합적 변수인 mbType이 이러한 세가지 예측 모드들을 구분하기 위해 사용된다.

명의 예측 잉여는 인트라-코딩된 매크로블록에 대해서는 항상 0이다. 베이스 계층에 배치된(collocated) 매크로블록들의 어느 것도 인터-코딩되지 않았다면, 인 핸스먼트 계층의 MB를 위한 잉여 예측에 사용될 수 있는 재구성된 예측 잉여는 0이다. 예를 들면, 2-계층 SVC 구조에서, 베이스 계층이 인터-코딩되지 않았다면, 계층 1의 매크로블록을 코딩하는데 사용될 수 있는 잉여는 0이며, 잉여 예측 과정은 이 매크로블록을 위해서 생략될 수 있고, 어떤 잉여 예측 플래그도 전송되지 않는다.

비디오 코딩에서, 예측 잉여가 MB에서 어떻게 분포되어 있는가를 나타내기 위해 부호화된 블록 패턴(Coded Block Pattern; CBP)을 이용하는 것이 일반적이다. CBP의 값이 0이라는 것은 예측 잉여가 0이라는 것을 나타낸다.

베이스 계층이 다른 해상도일 때에, 베이스 계층에서의 CBP는 도 3에 나타난 것과 같이 인핸스먼트 계층의 적절한 크기로 변환된다. 특정한 예는 양 차원에서 베이스 계층의 해상도가 인핸스먼트 계층 해상도의 반인 경우이다. 보통 CBP 비트는 한 MB 내의 각 8x8 루마 블록을 위해 전송된다. 적절한 위치에서 하나의 CBP 비트를 검사하여, 공간 베이스 계층으로부터의 예측 잉여가 0인가의 여부를 알 수 있다. 이것은 도 3의 좌측부분에서 설명된다. 채도 CBP 역시 잉여 예측이 사용되어야 하는가 여부를 결정하기 위해 비슷한 방법으로 검사될 수 있다.

본 발명의 일 실시예에서 있어서, 베이스 계층들의 CBP와 mbType 은 현재 MB의 잉여 예측에서 사용될 수 있는 예측 잉여가 0인가의 여부를 추측하기 위해 사용될 수 있다. 그렇게 해서, MB 내의 예측 잉여를 픽셀 단위로 실제 검사하는 것을 피할 수 있다.

CBP와 mbType을 검사한 결과는 예측 잉여를 픽셀 단위로 검사한 결과와 같지 않을 수도 있다는 것에 유의하여야 한다. 왜냐하면 베이스 계층 텍스쳐 데이터가 디코딩된 후에 그 베이스 계층 텍스쳐 데이터에, 베이스 계층 해상도가 인핸스먼트 계층 해상도보다 낮으면 업샘플링 처리 그리고 루프 필터링 처리와 같은 추가적인 처리 단계들이 적용될 수 있기 때문이다. 예를 들면 베이스 계층 해상도가 인핸스먼트 계층 해상도의 반이면 베이스 계층의 재구성된 예측 잉여는 2의 인수(factor)로 업샘플링될 것이다(도 3). 업샘플링 프로세스에서 실행되는 필터링 처리는 0이 아닌 블록으로부터 이웃하는 0 블록으로 적은 양의 에너지를 누출시킬 수 있다. 블록의 예측 잉여가 픽셀 단위로 검사된다면 CBP와 mbType으로부터 추측되는 정보가 0일지라도 잉여가 0이 아닌 것을 알 수 있을 것이다.

그러므로 베이스 계층들에서 CBP와 mbType 값들만을 검사함으로 해서 메모리 접근만이 아니라 계산 복잡도도 감소될 수 있다.

도 4는 본 발명의 실시예가 구현될 수 있는 스케일러블 비디오 인코더(400)의 블록 다이아그램을 도시한 것이다. 도 4에 도시된 것과 같이, 인코더는 두 개의 코딩 모듈들(410, 420)를 포함하며, 각 모듈은 다른 계층의 비트스트림을 생성할 수 있는 엔트로피 인코더를 포함한다. 인코더(400)는 어떻게 계수들이 코딩되는가를 결정하는 소프트웨어 프로그램을 포함한다. 예를 들면, 베이스 계층에 있는 하나의 4x4 블록의 인트라4x4 모드를 인핸스먼트 계층에 있는 다중의 이웃 4x4 블록들로 복사하고 베이스 계층 해상도가 인핸스먼트 계층 해상도의 반이면 인트라4x4 모드를 인트라8x8 모드로 사용함으로 해서 베이스 계층 MB가 인트라 코드에서 인코딩될 때에도, 그 소프트웨어 프로그램은 MI를 사용하기 위한 의사 코드를 포함한 다. 그 소프트웨어 프로그램은 잉여 예측 모드를 직접적으로 사용하는 베이스 계층 예측 잉여를 계산하고 예측 잉여를 잘라내기 위해 사용될 수 있다.

정리하면, 인트라8x8과 인트라4x4는 상이한 루마 예측 유형들이다. 인트라 예측에서의 기본적인 아이디어는 처리될 블록의 픽셀들에 대한 직접적인 예측을 수행하기 위해 인접한 (이미 처리되고 재구성된) 블록의 가장자리 픽셀들을 사용하는 것이다. 어떤 특정한 모드는 예측 방향, 하(下)-우(右) 방향, 수평 방향 등의 예측 방향을 특정한다. 그에 대해 더 자세하게 설명하면, 수평 방향에서 있어서, 현재 블록의 왼쪽 측면의 가장자리 픽셀들은 수평으로 복제될 것이며, 현재 블록의 예측자들로 사용될 것이다.

인트라8x8 예측 유형에서, MB는 4개의 8x8 블록들에서 처리되며, 각 8x8 블록들에 연관된 하나의 인트라8x8 예측 모드가 존재한다. 인트라4x4에서, MB는 4x4 블록들에서 처리된다. 그러나 모드(예측 방향)는 양 예측 유형들을 위해 유사하게 정의된다. 그러므로 본 발명을 구현하는 한 유형에서, 하나의 4x4 블록의 예측 모드를 인핸스먼트 계층의 4개의 4x4 블록들로 복사할 수 있으며, 이는 양 차원에서 프레임 크기가 두 배로 되는 경우에 일어난다. 다른 유형의 구현 예에서는, 동일한 2/1 프레임 크기의 관계일 때에, 하나의 4x4 블록의 예측 모드를 인핸스먼트 계층에 있는 하나의 8x8 블록의 인트라8x8 모드로 사용할 수 있다.

본 발명에서, 양 방향을 위해 절반의 해상도가 존재한다. 그러나 어떤 애플리케이션에서는, 비디오는 한 방향으로만 다운-샘플될 수도 있다. 이런 경우에는, 하나의 인트라4x4 모드를 인핸스먼트 계층의 2개의 4x4 블록들로 복사한다, 그러면 인트라4x4를 인트라8x8로 매핑하는 것은 더 이상 유효하지 않다.

본 발명이 하나 또는 그 이상의 실시예에 관하여 기술되었지만, 본 발명이 속한 기술 분야의 통상의 지식을 가진 자는 본 발명의 요지를 유지하면서도 형식과 상세한 설명의 면에서 전술한 내용과 다양한 다른 변경, 생략 및 유도가 될 수 있다는 것을 이해할 수 있다.

본 발명은 비디오 코딩 분야, 더 특별하게는 스케일러블 비디오 코딩에 사용될 수 있다.

Claims

인코딩된 이미지를 디코딩하는 방법으로서,

현재 이미지의 제1 인핸스먼트 (enhancement) 계층의 한 블록에 대한 제1 예측 잉여 (prediction residue)를 나타내는 정보를, 인코딩된 비트스트림 내에서, 수신하는 단계;

상기 제1 예측 잉여와 상기 현재 이미지의 제2 계층의 블록의 예측 잉여의 의 합을 나타내는, 상기 제1 인핸스먼트 계층의 블록에 대한 제2 예측 잉여를 저장하는 단계; 및

상기 제2 예측 잉여를 기반으로 하여 상기 현재 이미지의 제3 계층의 블록을 디코딩하는 단계;를 포함하는, 인코딩된 이미지를 디코딩하는 방법.
제1항에 있어서,

상기 제1 예측 잉여와 이전에 디코드된 이미지의 인핸스먼트 계층에 관한 예측을 기반으로 하여 상기 제1 인핸스먼트 계층의 블록을 디코딩하는 단계;를 더 포함하는, 인코딩된 이미지를 디코딩하는 방법.
삭제
제1항에 있어서,

상기 제1 인핸스먼트 계층의 블록은 완전하게 재구성된 것이 아닌, 인코딩된 이미지를 디코딩하는 방법.
제1항에 있어서,

상기 제3 계층의 블록을 디코딩하는 것은 상기 제2 예측 잉여와 이전에 디코드된 이미지의 인핸스먼트 계층에 관한 예측을 기반으로 하여 실행되는, 인코딩된 이미지를 디코딩하는 방법.
제1항에 있어서,

상기 제2 계층의 블록의 예측 잉여와 제1 예측 잉여의 합을 상기 제2 예측 잉여의 범위를 제한하기 위해 클립핑 (clipping)하는 단계를 더 포함하는, 인코딩된 이미지를 디코딩하는 방법.
제1항에 있어서,

상기 제2 계층은 상기 현재 이미지의 베이스 (base) 계층인, 인코딩된 이미지를 디코딩하는 방법.
제1항에 있어서,

상기 제2 계층은 상기 현재 이미지의 제2 인핸스먼트 계층인, 인코딩된 이미지를 디코딩하는 방법.
제1항에 있어서,

상기 제2 계층의 블록의 예측 잉여는 상기 인코딩된 비트스트림 내에서 수신되는, 인코딩된 이미지를 디코딩하는 방법.
제1항에 있어서,

상기 제2 예측 잉여는 변환 계수들 (transform coefficients)을 포함하는, 인코딩된 이미지를 디코딩하는 방법.
인코딩된 이미지를 디코딩하기 위한 소프트웨어 애플리케이션이 저장된 컴퓨터로 읽을 수 있는 저장 매체로서,

상기 소프트웨어 애플리케이션은 제1항의 방법을 실행하기 위한 프로그램 코드들을 포함하는, 컴퓨터로 읽을 수 있는 저장 매체.
이미지를 스케일러블 (scalable) 비트스트림으로 인코딩하는 방법으로서,

현재 이미지의 제1 인핸스먼트 계층의 블록에 대한 제1 예측 잉여를 계산하는 단계;

상기 제1 예측 잉여와 상기 현재 이미지의 제2 계층의 블록의 예측 잉여의 의 합을 나타내는, 상기 제1 인핸스먼트 계층의 블록에 대한 제2 예측 잉여를 저장하는 단계; 및

상기 제2 예측 잉여를 기반으로 하여 상기 현재 이미지의 제3 계층의 블록을 인코딩하는 단계;를 포함하는, 이미지를 스케일러블 비트스트림으로 인코딩하는 방법.
제12항에 있어서,

상기 제1 예측 잉여와 이전에 디코드된 이미지의 인핸스먼트 계층에 관한 예측을 기반으로 하여 상기 제1 인핸스먼트 계층의 블록을 인코딩하는 단계;를 더 포함하는, 이미지를 스케일러블 비트스트림으로 인코딩하는 방법.
삭제
제12항에 있어서,

상기 제3 계층의 블록을 인코딩하는 것은 상기 제2 예측 잉여와 이전에 디코드된 이미지의 인핸스먼트 계층에 관한 예측을 기반으로 하여 실행되는, 이미지를 스케일러블 비트스트림으로 인코딩하는 방법.
제12항에 있어서,

상기 제2 계층의 블록의 예측 잉여와 제1 예측 잉여의 합을 상기 제2 예측 잉여의 범위를 제한하기 위해 클립핑 (clipping)하는 단계를 더 포함하는, 이미지를 스케일러블 비트스트림으로 인코딩하는 방법.
제12항에 있어서,

상기 제2 계층은 상기 현재 이미지의 베이스 (base) 계층인, 이미지를 스케일러블 비트스트림으로 인코딩하는 방법.
제12항에 있어서,

상기 제2 계층은 상기 현재 이미지의 제2 인핸스먼트 계층인, 이미지를 스케일러블 비트스트림으로 인코딩하는 방법.
제12항에 있어서,

상기 제2 예측 잉여는 변환 계수들 (transform coefficients)을 포함하는, 이미지를 스케일러블 비트스트림으로 인코딩하는 방법.
이미지를 스케일러블 비트스트림으로 인코딩하기 위한 소프트웨어 애플리케이션이 저장된 컴퓨터로 읽을 수 있는 저장 매체로서,

상기 소프트웨어 애플리케이션은 제12항의 방법을 실행하기 위한 프로그램 코드들을 포함하는, 컴퓨터로 읽을 수 있는 저장 매체.
인코딩된 이미지를 디코딩하는 장치로서,

현재 이미지의 제1 인핸스먼트 (enhancement) 계층의 한 블록에 대한 제1 예측 잉여 (prediction residue)를 나타내는 정보를, 인코딩된 비트스트림 내에서, 수신하는 수신 유닛;

상기 제1 예측 잉여와 상기 현재 이미지의 제2 계층의 블록의 예측 잉여의 의 합을 나타내는, 상기 제1 인핸스먼트 계층의 블록에 대한 제2 예측 잉여를 저장하는 저장 유닛; 및

상기 제2 예측 잉여를 기반으로 하여 상기 현재 이미지의 제3 계층의 블록을 디코딩하는 디코딩 유닛;을 포함하는, 인코딩된 이미지를 디코딩하는 장치.
이미지를 스케일러블 (scalable) 비트스트림으로 인코딩하는 장치로서,

현재 이미지의 제1 인핸스먼트 계층의 블록에 대한 제1 예측 잉여를 계산하는 계산 유닛;

상기 제1 예측 잉여와 상기 현재 이미지의 제2 계층의 블록의 예측 잉여의 의 합을 나타내는, 상기 제1 인핸스먼트 계층의 블록에 대한 제2 예측 잉여를 저장하는 저장 유닛; 및

상기 제2 예측 잉여를 기반으로 하여 상기 현재 이미지의 제3 계층의 블록을 인코딩하는 인코딩 유닛;을 포함하는, 이미지를 스케일러블 (scalable) 비트스트림으로 인코딩하는 장치.