KR20100015448A

KR20100015448A - 하이브리드 비디오 코딩을 위한 양자화

Info

Publication number: KR20100015448A
Application number: KR1020097021085A
Authority: KR
Inventors: 마티아스 나르로쉬케; 한스-게오르그 무스만
Original assignee: 마티아스 나르로쉬케; 한스-게오르그 무스만
Priority date: 2007-03-13
Filing date: 2008-03-10
Publication date: 2010-02-12
Also published as: JP2013229906A; USRE46777E1; US20080225947A1; EP2137980A1; JP2010521113A; HK1140348A1; JP5788927B2; CN101653003B; WO2008110535A1; KR101389408B1; CN101653003A; EP2137980B1

Abstract

하이브리드 코딩을 이용하여 비디오 신호를 코딩하는 방법은, 예측 에러 신호를 규정하기 위해 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감소시키는 단계; 예측 에러 신호의 샘플들이나 예측 에러 신호의 주파수 도메인 변환 결과로 나온 계수들에 대해 양자화를 수행하여 양자화 값들을 획득하고, 양자화된 샘플들이나 양자화된 계수들을 각기 나타내는 단계; 양자화 값들에 대한 양자화 효율을 산정하는 단계; 양자화 값들이 0으로 세팅될 때의 양자화의 제로 효율을 산정하는 단계; 보다 높은 효율을 선택하는 단계; 및 선택된 효율에 따라 추가 진행을 위해 양자화 값들을 유지하거나 양자화 값들을 0으로 세팅하는 단계를 포함한다.

Description

하이브리드 비디오 코딩을 위한 양자화 {Quantization for hybrid video coding}

본 발명은 하이브리드 비디오 코딩 및 데이터 신호들의 양자와와 관련한 코딩 방법, 코더 및 디코더에 관한 것이다.

지금까지 표준화된 비디오 코딩 방법들은 하이브리드 코딩에 기초하고 있다. 하이브리드 코딩은 시간 도메인에서의 코딩 단계와 공간 도메인에서의 코딩 단계를 제공한다. 먼저, 코딩 될 이미지 블록과 모션 벡터에 의해 정해져 이미 전송된 이미지로부터 나온 기준 블록 사이에서 블록 기반 모션 보상 예측을 이용함으로써 비디오 신호들의 시간적 중복이 감소된다. 남은 예측 에러 샘플들이 블록들 안에 정렬되고 주파수 도메인으로 변환되어, 계수들의 블록을 낳는다. 이 계수들은 양자화되고, DC 값을 나타내는 계수부터 시작하는 잘 알려진 고정형 지그재그 스캐닝 (zigzag scanning) 방식에 따라 스캐닝된다. 통상적 표현에 따르면, 그 계수는 블록의 상위 왼편 코너에 있는 저주파수 계수들 사이에 자리한다. 지그재그 스캐닝은 계수들의 일차원 어레이를 생성하고, 그 일차원 어레이는 이어지는 코더에 의해 엔트로피 코딩된다. 코더는 감소하는 에너지를 가진 계수 어레이에 대해 최적화된다. 블록 내 계수들의 배열은 미리 정해지고 고정되어 있으므로, 예측 에러 샘플 들이 상관된 경우 지그재그 스캐닝은 감소하는 에너지의 계수 어레이를 생성한다. 그러면 다음 코딩 단계는 그러한 상황에 맞춰질 것이다. 그러한 목적을 위해, 최근의 표준 H.264/AVC는 콘텍스트 기반의 적응적 바이너리 산술 코딩 (CABAC, Context-Based Adaptive Binary Arithmetic Coding)이나 콘텍스트-적응적 가변장 코딩 (CAVLC, Context-Adaptive Variable-Length Coding)을 제안하고 있다. 그러나, 예측 에러 샘플들이 상관된 경우에만, 변환 (transform)의 코딩 효율성이 높게 된다. 공간 도메인에서 별로 상관되지 않은 샘플들에 대해서 변환은 상대적으로 효율적이지 못하다.

공간상의 중복 (spatial redundancy)은 결과적 예측 에러의 블록-단위 (block-wise) 변환 코딩에 의해 감소될 수 있다. 변환 코딩의 목적으로, H.264/AVC는 16x16 픽처 엘리먼트들로 된 매크로블록을 코딩하기 위해 정수 변환 (integer transform)을 적용하며, 이것은 이산 코사인 변환과 유사하다. 변환 사이즈는 각 매크로블록마다 8x8이나 4x4 픽처 엘리먼트들 사이에서 바뀔 수 있고, 그것은 부차 정보 (side information)를 통해 시그날링된다. 상기 매크로블록에 대해 제1케이스로서 4 개의 8x8 변환이, 제2케이스로서 16 개의 4x4 변환이 적용된다. 적용된 변환 사이즈에 따라, 서로 다른 양자화 절차가 수행된다. 공식적 기준 소프트웨어에서 적용되는 대부분의 인코딩 전략들에 대해 2004년 3월 독일 뮌헨에서의 JVT (Joint Video Team), 문서 JVT-K049 내 K.P. Lim, G. Sullivan, T.Wiegand의 "Text description of Joint Model Reference Encoding Methods and Decoding Concealment Methods"라는 제목의 내용에서 기재되어 있다

8x8 변환의 경우, 양자화는 공식 기준 소프트웨어에서 다음과 같이 수행된다. 매크로블록의 네 8x8 예측 에러 블록들 B _j (j=0,...,3) 각각에 대해 8x8 계수들 c_k,j(k=0,...,63)의 블록을 파생하는 변환이 수행된다. 각 계수는 도 1에 도시된 것 같은 스칼라 양자화기에 의해 양자화 된다. 양자화된 계수들 c'_k,j(k=0,...,63, j=0,...,3)은 DC-계수에서 시작하는 잘 알려진 지그재크 스캔에 의해 스캐닝되고 그 결과 64 개의 양자화 계수들 c'_k,j의 일차원 어레이가 도출된다.

이러한 코딩 단계들에 이어서, 모든 8x8 블록 안에 한번 양자화 된 0이 아닌계수들이 코딩되는 것을 막기 위해 제2양자화 단계가 수행된다. 그 한번 양자화 된 0이 아닌 계수들의 코딩은 높은 데이터 레이트를 요할 수 있고 왜곡을 별로 감소시키지 못할 것이다. 이 목적으로, 양자화 계수의 중요도를 묘사한 값 I _k,j가 64 개의 양자화 계수들 각각과 결부된다. 세 케이스들이 두드러진다. 한 양자화 계수가 절대값 1을 가질 때, 그 값 I _k,j은 이전의 제로 (0) 계수들의 개수 N_k,j에 좌우된다. I _k,j와 N_k,j사이의 종속관계가 이하의 표 1에서 보여진다:

N_k,j	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
I_k,j	3	3	3	3	2	2	2	2	2	2	2	2	1	1	1	1

N_k,j	16	17	18	19	20	21	22	23	24	25	26	27	28	29	30	31
I_k,j	1	1	1	1	1	1	1	1	0	0	0	0	0	0	0	0

따라서, 한 양자화 계수가 절대값 1을 가지고 셋 이하의 이전 제로 계수들이 존재하는 경우, 해당 양자화 계수의 중요도를 묘사하는 값은 3으로 세팅된다. 24 개 이상의 이전 제로 계수들이 존재하는 경우 해당 계수의 중요도를 묘사하는 값은 0으로 설정된다.

1 보다 큰 절대값을 가진 64 개의 양자화 계수들 c' _k,j각각에 대해, I _k,j는 999999 같이 아주 큰 값으로 세팅된다. 0인 64 개 양자화 계수들 c' _k,j 각각에 대해, I _k,j는 0으로 세팅된다. 64개 모두의 I _k,j값들이 더해져서 합

가 된다. 합 I _j가 문턱치 5 보다 작은 경우, 8x8 블록의 모든 양자화 계수들은 0으로 세팅되고 그 결과 I _j 역시 0으로 세팅된다.

네 개의 8x8 예측 에러 블록들 B₁, B₂, B₃ 및 B₄의 I ₁, I ₂, I ₃ 및 I ₄ 값들을 결정한 후, 그 네 값들이 더해져서 전체 매크로블록에 대한 합 I _MB가 된다. I _MB가 문턱치 6 보다 작은 경우, 매크로블록의 전체 256 개 양자화 개수들은 0으로 세팅된다.

4x4 변환의 경우, 양자화는 다음과 같이 수행된다. 매크로블록의 각 8x8 예측 에러 블록 B _j (j=0,...,3)이 네 개의 4x4 블록들인 P _i,j (j=0,...,3, i=0,...,3)으로 분할된다. 그 네 4x4 블록들 각각에 대해 4x4 계수들의 블록 c _k,j,i (k=0,...,15, j=0,...3, i=0,...,3)을 파생하는 변환이 수행된다. 각 계수는 도 1에 도시된 것 같은 스칼라 양자화기에 의해 양자화 된다. 4x4 블록들 각각의 양자화된 계수들 c'_k,j,i은 DC-계수에서 시작해 지그재크 스캐닝되고 그 결과 16 개의 양자화 계수들 c'_k,j,i의 일차원 어레이가 도출된다.

이러한 코딩 단계들에 이어서, 8x8 블록 안에 한번 양자화된 0이 아닌 계수들이 코딩되는 것을 막기 위해 제2양자화 단계가 수행된다. 이 제2양자화 단계에서, 8x8 블록의 네 개의 4x4 블록들의 64개의 양자화 계수들 모두가 고려된다. 이 양자화의 목적으로, 값 I _k,j,i가 64 개의 계수들 각각과 결부된다. 세 케이스들이 두드러진다. 한 양자화 계수가 절대값 1을 가질 때, 그 값 I _k,j은 이전의 제로 (0) 계수들의 개수 N_k,j,i에 좌우된다. I _k,j,i와 N_k,j,i사이의 종속관계가 이하의 표 2에서 보여진다:

N _k,j,i	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
I _k,j,i	3	2	2	1	1	1	0	0	0	0	0	0	0	0	0	0

1 보다 큰 절대값을 가진 64 개의 양자화 계수들 c' _k,j,i각각에 대해, I _k,j,i는 999999 같이 아주 큰 값으로 세팅된다. 0인 64 개 양자화 계수들 c' _k,j,i각각에 대해, I _k,j,i는 0으로 세팅된다. 각 8x8 예측 에러 블록 B_j의 64개 모두의 I _k,j,i값들이 더해져서 합

이와 같이, 8x8 변환의 경우 뿐 아니라 4x4 변환의 경우에서도, 예측 에러 블록들의 계수가 양자화되고 8x8 블록 내 한번 양자화된 0이 아닌 양자화 계수들이 코딩되는 것을 막기 위해 추가 양자화가 수행된다. 따라서, 데이터 레이트를 크게 줄이면서 동시에 왜곡은 거의 증가되지 않도록 하기 위해, 관련이 거의 없다고 간주되는 일부 계수들을 0으로 세팅한다는 규칙이 마련된다. 그러나, 이러한 기존의 절차는 별로 만족스럽지가 못하다.

따라서 본 발명의 목적은 하이브리드 비디오 코딩을 위한 개선된 양자화를 제공하는 데 있다.

본 발명의 한 양태에 따르면, 하이브리드 코딩을 이용해 비디오 신호를 코딩하기 위한 방법이 제공되고, 이 방법은 예측 에러 신호를 규정하기 위해 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감소시키는 단계, 예측 에러 신호나, 예측 에러 신호를 주파수 도메인으로 변환하여 나온 계수들에 대해 양자화를 수행하여 양자화된 샘플들이나 양자화된 계수들을 각각 표시하는 양자화 값들을 획득하는 단계, 양자화 값들에 대한 양자화 효율을 산정하는 단계, 양자화 값들이 0으로 세팅될 때의 양자화의 제로 효율을 산정하는 단계, 더 높은 효율을 선택하는 단계, 및 선택된 효율에 따라 추가 진행을 위해 양자화 값들을 유지하거나 양자화 값들을 0으로 세팅하는 단계를 포함한다.

그에 따르면, 시간상의 중복을 줄이기 위해 블록 기반 모션 보상 예측에 의해 예측 에러 신호가 규정된다. 코딩을 위해, 그러한 예측 에러 신호에 기초한 양자화가 수행되어 양자화 값들이 얻어진다. 그 양자화는 예측 에러 신호에 대해 직접 수행되어 공간 도메인 상의 일차 양자화 샘플들을 도출한다. 다른 가능성에 따르면, 예측 에러 신호가 먼저 주파수 도메인 상으로 변환되어 계수들을 파생한다. 다음으로, 그 계수들에 대한 양자화가 수행되어, 양자화 계수들을 낳는다. 추후 단계에서, 그 양자화 결과는 개선되어야 한다. 즉, 일부 값들 (샘플들이나 계수들)은 코딩 되기 전에 0으로 세팅되어야 한다. 이것은 높은 데이터 레이트를 요하는 샘플들이나 계수들에 각기 유용하지만 왜곡은 별로 줄일 수 없을 것이다. 따라서, 양자화의 양자화 효율이 산정된다. 즉 양자화 값들을 유지하는 데 드는 노력과 득실을 고려한 산정이 수행된다. 이 양자화 효율은 제로 (zero) 효율과 비교된다. 제로 효율은 양자화 값들 (샘플들이나 계수들 각자)이 0으로 세팅될 때의 경우에 대해 산정되는 것이다. 즉, 제로 효율과의 비교 동작은 샘플들이나 계수들을 코딩하는 데 드는 노력은 적을 수 있지만 다른 한편 코딩된 신호의 품질과 관련해 단점들이 주어진다는 것을 고려한다.

이어서, 양자화 효율 및 제로 효율이 서로 비교된다. 그에 따라, 양자화의 양자화 값들을 유지하는 효율이 모든 양자화 값들을 0으로 세팅하는 효율보다 나은 경우, 그 양자화 값들은 그대로 유지된다. 반면, 최초 양자화 값들을 0으로 세팅하는데 따른 효율이 더 낫다면 해당 양자화 값들은 0으로 세팅된다.

따라서, 모든 양자화 값들 (샘플들이나 계수들)을 0으로 세팅할지 그대로 유지할지를 적절히 결정하기 위해, 두 가능성 모두의 효율이 산정된다. 그에 따라 본 발명은 산정된 효율 관련 두 솔루션 가운데 항상 베스트를 선택하는, 샘플들이나 계수들 각자의 양자화 최적화를 제공한다. 그 방법은 일어날 두 가지 가능성들을 모두 고려함으로써, 둘 중 한 선택이 훨씬 나은 것임에도 불구하고 다른 한 선택을 바람직한 선택이라고 추정하여 선택하는 것을 피할 수 있다.

본 발명의 한 양태에 따르면, 에러 신호는 매크로블록들을 포함한다. 상기 코딩 방식은 한 번에 한 매크로블록에 대해 수행된다. 각각의 매크로블록은 복수의 서브블록들로 서브 분할된다. 예를 들어, 한 매크로블록은 16x16 픽처 엘리먼트들을 포함하며 네 개의 8x8 서브 블록들로 서브 분할된다. 여기서 제1양자화는 그 서브블록들 각각에 대해 수행된다. 주파수 도메인으로의 변환이 수반되는 경우, 그것은 양자화 전에 서브블록들에 대해 수행된다.

이어서, 각각의 서브블록에 대해 제1양자화의 양자화 효율 및, 모든 양자화 값들 (샘플들이나 계수들)이 0으로 세팅될 때의 양자화의 제로 효율이 산정된다. 각 서브블록마다 이러한 효율들이 비교되어, 해당 서브블록의 양자화 값들이 유지될지 0으로 세팅될지를 결정하도록 한다. 이어서, 매크로블록의 모든 서브블록들의 양자화에 대한 전반적 양자화 효율 및, 매크로블록의 모든 값들 (샘플들이나 계수들)이 0으로 세팅될 때의 전반적 양자화에 대한 전반적 제로 효율이 산정된다. 매크로블록에 대한 이러한 전반적 효율들이 비교되고, 그에 따라 추가 진행을 위해 양자화 값들이 결정된다. 즉, 전반적 양자화 효율이 전반적 제로 효율보다 우수하면 양자화 값들은 그대로 유지되고, 그렇지 않으면 전체 양자화 값들 (샘플들이나 계수들)이 0으로 세팅된다.

본 발명의 한 양태에 따르면 효율의 산정은 비용 함수에 기반한다. 그러한 비용 함수는 해당 양자화나 제로 값들로의 세팅에 있어 부정적 효과와 긍정적 효과를 고려한다.

한 양태에 따르면, 비용 함수는 레이트 (rate) 왜곡 비용에 기반하며, 레이트 왜곡 비용은, 한편으로는 요구되는 레이트에 좌우되어 산정되고 다른 한편으로는 그에 따라 생기는 왜곡에 좌우되어 산정된다. 코딩에 요구되는 레이트는 해당 블록의 값들을 코딩하는데 필요한 모든 비트들의 합으로, 그것은 부차 정보를 위한 어떤 비트들을 포함할 수 있다.

본 발명의 또 다른 양태에서는 요구되는 레이트 및 평가된 왜곡의 합에 기초한다. 따라서, 각 효율에 대한 값은 요구되는 레이트와 왜곡을 더함으로써 얻어질 것이고, 여기서 왜곡은 가중된 것이다. 왜곡의 가중은 양자화 스텝 사이즈 같은 하나 이상의 파라미터들에 좌우될 수 있다. 당연히, 요구되는 레이트 역시 평가될 수 있고, 혹은 왜곡을 평가하는 대신에 요구되는 레이트가 평가될 수 있다.

본 발명의 한 양태에 따라 레이트 왜곡 비용 C_j가 식 C_j= D_j+ L * R_j를 사용해 산정되는데, 여기서 D_j는 양자화에서 비롯된 왜곡을 나타내고, R_j는 양자화 값들의 코딩에 요구되는 레이트를 나타내고, L은 라그랑주 (Lagrange) 파라미터이며, j는 해당 서브블록을 나타낸다. 왜곡은 양자화 에러들을 제곱한 것들 (제곱 양자화 에러들)의 합, 또는 평균 절대 양자화 오차 (mean absolute quantization error)로서 산정될 수 있다. 당연히 왜곡을 평가하는 다른 실현 수단 역시 존재한다.

본 발명의 일 실시예에 따른 방법은 예측 에러 신호를 주파수 도메인으로 변환할지, 그 예측 에러 신호를 공간 도메인에서 유지할지 여부를 결정하는 단계를 제공한다. 또, 그 방법은 제3의 가능성, 즉 예측 에러 신호의 값들 (샘플들이나 계수들)을 0으로 세팅할 가능성을 체크하는 단계를 제공한다. 그에 따라 이 양태에 따른 본 발명은 그 세 가지 가능성들 사이에서 선택하는 단계를 제공한다. 그러한 선택은 예측 에러 신호가 생성된 매크로블록 같은 각 블록에 대해 수행된다.

예측 에러 신호의 값들 (샘플들이나 계수들)을 0으로, 즉 현 블록 예측 에러 신호의 값들을 0으로 세팅하는 것이 선택되면, 그 결과는 공간 도메인의 예측 에러 신호나 주파수 도메인의 변환된 예측 에러 신호로서 다뤄질 수 있다.

본 발명의 한 양태에 따르면, 하이브리드 코딩을 이용해 비디오 신호를 코딩하는 코더가 제공되고, 이 코더는, 예측 에러 신호를 규정하기 위해 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감소시키는 수단, 예측 에러 신호를 양자화하여 양자화된 샘플들이나 양자화된 계수들을 규정하는 수단, 양자화 효율 및 제로 효율을 산정 및 비교하여 더 우수한 효율을 낳는 양자화를 선택하고, 선택된 양자화에 따라 양자화 샘플들이나 양자화 계수들을 각기 유지하거나 그들을 0으로 세팅하도록 하는 제어 수단을 포함한다.

본 발명의 한 양태에 따르면, 하이브리드 코딩에 기초하여 비디오 신호를 코딩하는 방법이 제공된다. 이 방법은 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감축하여 예측 에러 신호를 규정하는 단계, 및 예측 에러 신호를 주파수 도메인으로 변환할지, 예측 에러 신호를 공간 도메인에 유지시킬지 여부를 결정하는 단계를 포함한다.

본 발명의 한 상응하는 양태에 따라, 비디오 신호의 하이브리드 코딩을 적용하도록 된 코더가 제공된다. 코더는 예측 에러 신호를 규정하기 위해 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감소시키는 수단, 예측 에러 신호를 주파수 도메인으로 변환할지, 예측 에러 신호를 공간 도메인 안에 유지시킬지를 결정하는 수단을 포함한다. 본 발명의 그러한 양태에 따르면, 예측 에러 신호를 주파수 도메인에서 처리할지 공간 도메인에서 처리할지 여부를 적응적으로 결정하기 위한 개념과 해당 기기, 신호들과 어의구조가 제공된다. 예측 에러 샘플들이 단지 미소한 상관성을 가지면, 샘플들을 코딩하는 후속 단계들은 더 효율적일 수 있으며 주파수 도메인에서 계수들을 코딩하는 것과 비교해 더 감축된 데이터 레이트를 가지게 될 것이다. 따라서, 적응적 결정 단계와 결정을 내릴 적응적 제어 수단이 본 발명에 따라 구현된다. 그에 따르면, 예측 에러 신호를 고려해 주파수 도메인 변환을 이용할지 공간 도메인에서 예측 에러 신호를 유지할지 여부가 판단된다. 이어지는 코딩 메커니즘들은 주파수 도메인에 대한 것과 동일하거나 공간 도메인 내 샘플들의 수요에 특별히 적응될 것이다.

본 발명의 또 다른 양태에 따르면, 비디오 신호를 코딩하는 방법 및 특히 디코딩 단계는 비용 함수 (cost function)에 기반한다. 일반적으로, 주파수 도메인의 계수들을 이용할지, 공간 도메인의 샘플들을 이용할지 여부에 대한 결정은 각종 결정 메커니즘들에 의존할 수 있다. 그러한 결정은 비디오 신호의 특정 부분 안에 있는 모든 샘플들에 대해 일제히 내려지거나, 가령 특정 수의 블록들, 매크로블록들, 혹은 슬라이스들에 대해서도 내려질 수 있다. 그 결정은 가령 라그랑쥬 함수 같은 비용 함수에 기반할 수 있다. 비용은 주파수 도메인에서의 코딩과 공간 도메인에서의 코딩 모두에 대해 산정된다. 또, 값들을 0으로 세팅하는 데 대한 비용도 산정된다. 더 낮은 비용으로 코딩하도록 하는 결정이 내려진다.

본 발명의 다른 양태에 따르면, 비용 함수는 공간 및 주파수 도메인에서의 코딩에 대한 레이트 왜곡 비용들을 포함한다. 본 발명의 또 다른 양태에 따르면 레이트 왜곡 비용들은 요구되는 레이트 및 그에 따라 라그랑주 파라미터로 가중된 왜곡에 따라 산정될 수 있다. 또, 왜곡 측정치가 평균 제곱 양자화 에러이거나 평균 절대 양자화 에러일 수 있다.

본 발명의 한 양태에 따르면, 공간 도메인의 샘플들은 주파수 도메인의 계수들에 대해 사용된 것과 실질적으로 동일한 방법에 의해 코딩될 수 있다. 이 방법들에는 CABAC나 CAVLC 코딩 방법들이 포함될 수 있다. CABAC는 콘텍스트 기반 적응적 바이너리 산술 코딩 (context-based adaptive binary arithmetic coding)을 나타내고, CAVLC는 콘텍스트 적응적 가변장 코딩 (context-adaptive variable length coding)을 나타낸다. 이러한 종류의 코딩은 최근 규격 H.264/AVC에 제시되어 있다. 그에 따라, 적응적 제어 수단이 주파수 및 공간 도메인 사이에서 스위칭을 행하기로 결정한 경우 그 코딩 메커니즘에 대한 아주 약간의 조정이 필요하거나 전혀 필요하지 않게 된다. 그러나, 두 도메인들에서의 계수들에 대한 다른 코딩 방식들을 사용하는 것 역시 제안될 수 있을 것이다.

본 발명의 다른 양태에 따르면, 하이브리드 코딩에 기반하여 비디오 신호를 코딩하는 방법이 제공된다. 본 발명의 이 양태에 따르면, 시간상의 중복이 블록 기반 모션 보상 예측에 의해 감소되고 예측 에러 신호의 샘플들이 공간 도메인의 예측 에러 블록으로써 주어진다. 그 예측 에러 블록으로부터 샘플들이 스캐닝되어 특정 순서의 샘플 어레이를 제공한다. 본 발명의 이 양태에 따르면, 스캐닝 방식은 예측 에러 이미지나 예측 이미지로부터 도출된다고 규정된다. 본 발명의 이 양태에 따른 스캐닝 방식은 주파수 도메인에 대한 종래 기술에 따른 지그재그 스캔이 공간 도메인에 대해 가장 효율적인 스캐닝 순서가 아닐 수 있다는 사실을 고려한다. 그에 따라, 적응적 스캐닝 방식이 주어지는데, 그것은 공간 도메인 내 샘플들의 분포 및 크기를 고려한 것이다. 그 스캐닝 방식은 한 예측 에러 이미지나 예측 이미지에 기반함이 바람직할 수 있다. 본 발명의 이러한 양태는 가장 큰 크기를 가진 샘플들 및 가장 0일 가능성이 있는 샘플들의 가장 가능한 위치들을 고려한다. 주파수 도메인에 대한 코딩 이득은 저주파수 성분들이 더 큰 크기를 가지며 대부분의 고주파수 계수들은 제로 (0)인 현상에 주로 기초하기 때문에, CABAC이나 CAVLC 같이 매우 효율적인 가변장 코드 코딩 방식이 적용될 수 있다. 그러나, 공간 도메인에서 가장 큰 크기를 가진 샘플들은 블록 안의 어디에나 자리할 수 있다. 하지만, 예측 에러는 보통 이동 오브젝트의 가장자리에서 가장 크기 때문에, 예측 이미지나 예측 에러 이미지가 가장 효율적 스캐닝 규칙을 규정하는데 사용될 것이다.

본 발명의 한 양태에 따르면, 예측 이미지의 그래디언트들 (gredients)이 사용되어 큰 크기를 가진 샘플들을 식별하도록 할 수 있다. 스캐닝 순서는 예측 이미지 안에서 크기 순서로 그 그래디언트들을 따른다. 이제, 동일한 스캐닝 순서가 예측 에러 이미지, 즉 공간 도메인 내 예측 에러 이미지 내 샘플들에 적용된다.

또, 본 발명의 다른 양태에 따르면, 스캐닝 방식은 기준 블록 (reference block)의 예측 에러 이미지와 함께 모션 벡터에 기초할 수 있다. 스캐닝은 내림 차순으로 예측 에러의 크기들을 추종한다.

본 발명의 한 양태에 따르면, 스캐닝 방식은 예측 이미지의 그래디언트와, 모션 벡터와 공동의 예측 에러 이미지의 선형 조합으로부터 도출된다.

본 발명의 다른 양태에 따르면, 주파수 도메인의 계수들이나 공간 도메인의 샘플들에 대해 따로 정해진 확률에 기초하여 가령 CABAC 등과 같은 코딩 메커니즘들에 대한 특정 코드가 사용된다. 그에 따라, 기존 종래기술에서의 코딩 메커니즘들이 공간 도메인에 대해 가장 효율적인 코딩 메커니즘을 제공하기 위해 적어도 미소하게 조정될 수 있다. 따라서 공간 도메인이나 주파수 도메인에서 코딩하기 위해 적응적으로 제어되는 스위칭 메커니즘은 각자의 도메인들 상의 샘플들이나 계수들에 대한 후속 코딩 단계들을 스위칭하도록 추가 조정될 수 있다.

본 발명의 한 양태에 따라 제공되는 비디오 신호를 코딩하는 방법은 주관적으로 가중된 양자화 에러 최적화나 평균 제곱 양자화 에러 최적화를 포함하는 양자화기에 의해 공간 도메인 상의 예측 에러 샘플들을 양자화하는 단계를 포함한다. 본 발명의 이러한 양태에 따라, 공간 도메인 상의 샘플들을 양자화하는데 사용되는 양자화기는 한 픽처 (picture)에 대해 주관적으로 최적의 시각적 인상을 고려하도록 조정될 수 있다. 그런 다음 양자화기의 대표적 레벨들과 결정 문턱치들이 대응되는 예측 에러 신호의 주관적이거나 통계적인 특성들에 기초해 조정될 수 있다.

또한 본 발명은 위에서 개시된 양태들에 따른 디코딩 방법 및 디코딩 장치와도 관련이 있다. 본 발명의 한 양태에 따르면, 코딩된 비디오 신호의 입력 스트림이, 코딩된 비디오 신호의 예측 에러 신호를 공간 도메인 상에 나타낼지 주파수 도메인 상에 나타낼지를 적응적으로 결정하는 적응적 제어 수단을 포함하는 디코더가 제공된다. 그에 따라, 본 발명의 이 양태에 따른 디코더는 입력 데이터 스트림에 대해, 즉 예측 에러 신호가 주파수 도메인 상에 코딩될지 공간 도메인 상에 코딩될지 여부를 결정하도록 구성된다. 또, 디코더는 공간 도메인이나 주파수 도메인들인 두 도메인들 각각에 대한 각자의 디코딩 수단을 제공한다.

더 나아가, 본 발명의 또 다른 양태에 따르면, 디코더는 예측 신호 또는 예측 에러 신호에 기초해 스캐닝 순서를 제공하는 스캐닝 제어 유닛을 포함한다. 본 발명의 이 양태에 따른 스캐닝 제어 유닛은 스캐닝 순서에 대한 필요 정보를 검색하도록 되어 있으며, 여기서 입력되는 블록의 샘플들은 비디오 신호들의 코딩 중에 스캐닝되었던 것들이다. 또, 디코더는 주파수 도메인 상에서 계수들을 역양자화 및 역 변환하거나, 공간 도메인 상에서 샘플들을 역양자화하기 위한 모든 수단들을 포함할 수 있다. 디코더는 또한 모션 보상 및 디코딩을 지원하는 메커니즘을 포함할 수 있다. 기본적으로, 디코더는 상술한 코딩 단계들에 대응하는 방법의 단계들을 구현하기 위한 모든 수단들을 제공하도록 구성될 수 있다.

본 발명의 또 다른 양태에 따라, 코딩된 비디오 신호를 나타내는 데이터 신호가 제공되며, 그 데이터 신호의 예측 에러 신호의 코딩된 정보가 공간 도메인 상에서 부분 코딩되고 주파수 도메인에서 부분 코딩된다. 본 발명의 이러한 양태는 위에서 개시한 코딩 메커니즘의 결과인 코딩된 비디오 신호와 관련이 있다.

더 나아가, 본 발명의 또 다른 양태에 따르면, 데이터 신호는 슬라이스, 매크로블록, 또는 블록이 코딩되는 도메인을 가리키는 부차 정보, 구체적으로 슬라이스, 매크로블록 또는 블록이 공간 도메인에서 코딩되는지 주파수 도메인에서 코딩되는지 여부에 대한 정보를 포함할 수 있다. 본 발명에 따른 적응 제어가 예측 에러 신호가 공간 도메인이나 주파수 도메인 중 하나에서 코딩되게 되어 있으므로, 코딩된 비디오 신호 안에 해당 정보를 포함시킬 필요가 있다. 따라서, 본 발명은 슬라이스, 매크로블록 또는 블록 같은 특정 부분이 코딩되었던 도메인을 나타내는 특정 정보를 또한 제공한다. 또, 본 발명의 이러한 양태는 전체 매크로블록이나 전체 슬라이스가 두 도메인들 중 하나에서만 코딩될지 모를 가능성을 고려한다. 그래서 가령 전체 매크로블록이 공간 도메인에서 코딩되는 경우, 이것이 하나의 플래그 (flag) 등에 의해 표시될 수 있다. 또, 전체 슬라이스 역시 주파수 도메인이나 공간 도메인에서만 코딩될 수 있으므로, 그 전체 슬라이스를 위해 해당 지시자 (indicator)가 데이터 스트림 안에 포함될 수 있다. 이것이 데이터 레이트를 감소시키고 부차 정보에 대한 보다 효율적 코딩 메커니즘을 가져오게 한다.

본 발명의 양태들은 첨부된 도면을 참조해 설명된 바람직한 실시예들을 기준으로 기술될 것이다.

도 1은 종래 기술에 따른 규격 H.264/AVC에서 계수들에 적용되는 양자화기의 예를 보인 것이다.

도 2는 본 발명의 제1양태에 따른 인코더의 간략화된 블록도이다.

도 3은 본 발명의 한 양태에 따른 개선된 양자화를 예시한 흐름도를 보인다.

도 4는 본 발명에 따른 양태들을 구현하는 인코더의 간략화된 블록도를 도시한 것이다.

도 5는 본 발명의 양태들을 구현하는 디코더의 간략화된 블록도를 도시한 것이다.

도 6은 종래 기술에 따른 스캐닝 방식을 보인다.

도 7은 본 발명에 따른 스캐닝 방식을 보인다.

도 8은 본 발명에 따라 최적화된 양자화기에 사용되는 파라미터들을 예시한다.

도 9는 계측된 평균 절대 재구성 에러의 단순화한 표현을 보인다.

도 2에 따르면, 예측 신호(4)가 입력 신호(1)로부터 감산되어 예측 에러 신호(5)가 생성된다. 예측 에러 신호(5)는 변환 블록(6)에 의해 주파수 도메인 상의 신호(8)로 변환된다. 신호(8)는 블록(7)에서 양자화 된다. 양자화 된 신호(20)는 인코딩 되기 위해 엔트로피 코더(13)로 입력되고, 그에 따라 엔트로피 코더(13)는 전송이나 저장 등등을 위해 코딩된 신호(16)를 출력한다. 양자화 된 신호(20)는 또한 블록(10)에서 역양자화되고, 블록(11)으로 진행해 다시 공간 도메인으로 역변환된다. 이어서, 블록(11)에서 출력된 신호는 다음 예측 신호(4)를 제공하는데 추가로 사용된다. 프레임 메모리(22), 모션 보상 예측 블록(3), 모션 추정 블록(2) 및 모션 정보 인코딩을 위한 블록(17)은 도 4에 따른 블록들 122, 103, 102 및 117과 같다.

본 발명에 따르면, 양자화 블록(7)은 개선된 양자화를 수행한다. 두 가지 일반적 실시예들에 대해 이하에서 상세히 논의할 것이다. 그러나, 본 발명이 이 실시예들에 국한되는 것은 아니다.

두 경우들 모두에서, 16x16 픽처 엘리먼트들을 가진 매크로블록을 구비하는 예측 에러 신호(5)가 주어진다. 16x16 매크로블록은 일 실시예에 따라 네 개의 8x8 블록들로 세분되거나 또 다른 실시예에 다라 16 개의 4x4 블록들로 세분된다. 제1단계에서, 각각의 8x8 블록 또는 4x4 블록이 각각 변환 블록(6)에 의해 주파수 도메인으로 변환된다. 그에 따라 신호(8)은 변환된 8x8 블록들 또는 4x4 블록들을 포함한다. 이어서, 양자화 블록(7) 안에서 이들 8x8 블록들이나 4x4 블록들에 대한 제1양자화가 수행되는데, 이 양자화 블록(7)은 개선된 양자화를 추가 수행한다.

8x8 변환의 경우, 본 발명의 실시예에 따른 방법은 다음과 같이 동작된다.

매크로블록의 네 개 8x8 예측 에러 블록들 B _j (j=0,...,3) 각각에 대해, 배경기술에서 기술된 것과 같은 방식으로 변환 및 제1양자화 단계가 수행된다. 본 발명에서 후속 양자화 단계는 보다 개선된다.

이러한 목적을 위해, 각각의 8x8 블록에 대해 레이트 왜곡 (rate distortion) 비용들 C _j= D _j+ L · R _j가 산정된다. R _j는 요구되는 레이트이고, D _j는 그에 따른 왜곡, 그리고 L 은 라그랑쥬 (Lagrange) 파라미터이다. 왜곡 계측치로서 제곱 양자화 (squared quantization) 에러들의 합이 사용되나, 평균 절대 양자화 에러 (mean absolute quantization errors) 등의 다른 계측치들도 사용될 수도 있다. 라그랑쥬 파라미터 L 로서 H.264/AVC의 코더 제어를 위해 일반적으로 사용되는 라그랑쥬 파라미터가 적용된다:

. QP는 양자화 스텝 사이즈

를 제어하는 양자화 파라미터이다. 레이트 왜곡 비용들을 판단하는 다른 대안적 방법들 역시 있을 수 있다. 이러한 비용들은 8x8 예측 에러 블록의 모든 양자화 계수들이 0으로 세팅되는 경우에 발생하는 비용들 C _j과 비교된다. 보다 낮은 비용을 발생하는 양자화가 선택된다.

매크로블록의 네 8x8 블록들의 비용들 C ₁, C ₂, C ₃, 및 C ₄의 결정 후, 그 네 비용들의 합 C _MB이 산정된다. 이 합은 매크로블록의 모든 양자화 계수들이 0으로 세팅되는 경우에 발생되는 비용들과 비교된다. 재차 보다 낮은 비용을 가진 양자화 선택된다.

4x4 변환의 경우, 본 발명의 실시예에 따른 방법은 다음과 같이 동작된다.

매크로블록의 열 여섯 개 4x4 예측 에러 블록들 B _j (j=0,...,15) 각각에 대해, 배경기술에서 기술된 것과 같은 방식으로 변환 및 제1양자화 단계가 수행된다. 본 발명에서 후속 양자화 단계는 보다 개선된다.

이러한 목적을 위해, 각각의 4x4 블록에 대해 레이트 왜곡 (rate distortion) 비용들 C _j= D _j+ L · R _j가 산정된다. R _j는 요구되는 레이트이고, D _j는 그에 따른 왜곡, 그리고 L 은 라그랑쥬 (Lagrange) 파라미터이다. 왜곡 계측치로서 제곱 양자화 (squared quantization) 에러들의 합이 사용되나, 평균 절대 양자화 에러 (mean absolute quantization errors) 등의 다른 계측치들도 사용될 수도 있다. 라그랑쥬 파라미터 L 로서 H.264/AVC의 코더 제어를 위해 일반적으로 사용되는 라그랑쥬 파라미터가 적용된다:

. QP는 양자화 스텝 사이즈

를 제어하는 양자화 파라미터이다. 레이트 왜곡 비용들을 판단하는 다른 대안적 방법들 역시 있을 수 있다. 이러한 비용들은 4x4 예측 에러 블록의 모든 양자화 계수들이 0으로 세팅되는 경우에 발생하는 비용들 C _j과 비교된다. 보다 낮은 비용을 발생하는 양자화가 선택된다.

매크로블록의 열 여섯 4x4 블록들의 비용들 C ₁- C ₁₆의 결정 후, 그 열 여섯 비용들의 합 C _MB이 산정된다. 이 합은 매크로블록의 모든 양자화 계수들이 0으로 세팅되는 경우에 발생되는 비용들과 비교된다. 재차 보다 낮은 비용의 양자화 선 택된다.

이 실시예들에 따르면, 각각의 8x8 블록이나 각각의 4x4 블록 각자에 대해, 레이트 왜곡 비용들이 산정되고, 해당 블록의 모든 계수들이 0으로 세팅될 때의 경우와 비교된다. 각각의 비교에 따라, 해당 블록의 계수들이 유지되거나 0으로 세팅된다. 또, 각 블록의 해당 레이트 왜곡 비용들은 추가 산정을 위해 보유된다. 즉, 각 블록에 있어 계수들이 비교 결과에 따라 유지되는 경우 그 계수들에 대응하는 레이트 왜곡 비용은 추후 참고되기 위해 보유되는 반면, 계수들을 0을 세팅하기 위한 레이트 왜곡 비용들은 해제된다. 한편, 그 결정이 계수들을 0으로 세팅하는 것이었다면 계수들을 0으로 설정하는 선택에 해당하는 레이트 왜곡 비용들도 추후 참작을 위해 보유된다.

네 개의 8x8 블록들 모두, 또는 열 여섯 개의 4x4 블록들이 모두 고려되었고, 상술한 것과 같은 결정이 취해졌을 때, 모든 네 개의 8x8 블록들이나 모든 열 여섯 개의 4x4 블록들에 대한 최종 체크가 각기 수행될 것이다. 따라서, 추후 참작을 위해 보유되었던 왜곡 비용들이 더해져 한 값이 얻어진다. 이 값은 0으로 세팅된 현재의 매크로블록의 모든 계수들에 대한 레이트 왜곡 비용들과 비교된다.

도 3은 본 발명의 한 양태에 따른 양자화 방법을 예시한다. 예시된 방법은 302 단계에서 에러 예측 신호의 샘플들을 제공하는 것을 시작한다. 이 신호들은 304 단계에서 서브블록들로 세분되는 하나의 매크로블록으로 주어진다. 매크로블록은 16x16 픽처 엘리먼트들의 사이즈를 가질 수 있고, 사이즈 8x8인 네 개의 서브블록들이나 사이즈 4x4인 열 여섯개의 서브블록들로 세분될 수 있다.

도 3에 예시된 방법은 기본적으로 공간 도메인이나 주파수 도메인 상에서 수행될 수 있다. 주파수 도메인에서의 계산을 위해, 각각의 서브블록은 주파수 도메인으로 변환되어 복수의 계수들을 파생한다. 이 계수들도 보통 해당 서브블록과 동일한 사이즈의 매트릭스로서 주어진다. 즉, 공간 도메인의 8x8 서브블록이나 4x4 서브블록이 주파수 도메인으로 변환되어 각기 8x8나 4x4 계수들의 블록을 파생한다.

308 단계에서, 계산이 공간 도메인에서 수행되는 경우 샘플들에 대해, 계산이 주파수 도메인에서 수행되는 경우 계수들에 대해 제1양자화가 수행된다.

308 단계의 계산은 제1양자화 값들을 도출한다. 양자화가 공간 도메인에서 수행되는 경우 그 제1양자화 값들은 제1양자화 샘플들을 나타낸다. 양자화가 주파수 도메인에서 수행되는 경우, 제1양자화 값들은 제1양자화 계수들을 나타낸다. 제1양자화 샘플들 및 제1양자화 계수들에 대해 이어지는 양자화 단계들도 비슷하다. 따라서 양자화 값이라는 용어는 두 경우들 모두를 나타낸다.

310 단계에 따르면, 현 서브블록의 제1양자화 값들에 대한 양자화 효율이 산정된다. 310 단계에서 현 서브블록의 모든 값들이 0으로 세팅될 때의 현 서브블록에 대한 제로 효율 역시 산정된다.

312 단계에서 양자화 효율이 제로 효율과 비교된다. 양자화 효율이 제로 효율보다 높지 않으면, 현 서브블록의 양자화된 모든 값들은 314 단계에서 0으로 세팅되어야 한다. 그렇지 않은 경우라면 양자화 값들이 그대로 유지된다.

316 단계에서는 310-314 단계에 따른 제1최적화가 모든 서브블록들에 대해 수행되었는지 여부가 체크된다. 그에 따르면, 310-312 단계들이 마지막 서브블록을 포함하는 모든 서브블록들에 대해 아직 수행되지 않았을 때 프로세스는 310 단계의 효율성 산정 단계로 돌아간다. 마지막 서브블록에 도달되었으면, 제1최적화가 완료된다. 이어서 318 단계에 따라 매크로블록의 모든 서브블록들에 대한 전반적 효율이 산정된다. 그에 따라, 모든 서브블록들에 대한 전반적 효율은 312 단계의 효율 비교 결과에 기초해 산정된다. 즉, 318 단계에서 312의 비교결과에 따른 각 서브블록에 대한 최고 효율이 매크로블록의 다른 서브블록들의 최고 효율들에 더해진다. 또, 매크로블록의 모든 값들이 0으로 세팅되는 그 매크로블록의 전반적 제로 효율 역시 318 단계에서 산출된다.

전반적 양자화 효율 및 전반적 제로 효율이 320 단계에서 비교된다. 전반적 양자화 효율이 전반적 제로 효율보다 높지 않으면, 매크로블록의 모든 양자화 값들은 320 단계에서 0으로 세팅된다. 그렇지 않은 경우 모든 양자화 값들은 그대로 유지된다.

따라서, 도 3에 예시된 320 단계의 비교 결과에 따른 양자화 값들을 수신함에 따라, 현 매크로블록의 양자화 최적화가 완료된다. 그렇게 수신된 양자화 값들은 인코딩을 위해 엔트로피 코더 등의 코더로 전달될 수 있다.

도 4는 본 발명에 따른 인코더의 간략화된 블록도이다. 그에 따르면, 입력 신호(101)로부터 감산되는 예측 신호(104)를 제공하기 위해 모션 보상 예측이 이뤄지는 것에 기초해, 입력 신호(101)가 모션 추정된다. 그에 따른 예측 에러 신호(105)가 주파수 도메인(106)으로 변환되고 주파수 관련 계수들에 대해 최적화된 양자화기(107)에 의해 양자화된다. 양자화기(107)의 출력 신호(120)는 엔트로피 코드(113)로 전달되고, 엔트로피 코더(113)는 전송되거나 저장되거나 할 출력 신호(116)를 제공한다. 역양자화 블록(110) 및 역변환 블록(111)을 이용해, 양자화된 예측 에러 신호(120)가 다음 예측 단계를 위해 모션 보상 예측 블록(103)에서 추가 사용된다. 역양자화되고 역 DCT 변환된 예측 에러 신호가 예측 신호에 더해져서 모션 보상 예측 블록(103) 및 모션 추정 블록(102)을 위한 이전 이미지들을 저장하는 프레임 메모리(122)로 전달된다. 일반적으로, 본 발명은, 예측 에러 신호를 변환할 주파수 및 공간 도메인 사이에서의 스위치를 위해 종래 기술에 더해 적응적으로 제어된 메커니즘(115)을 사용할 것을 제안하고 있다. 적응적 제어 수단(115)이 주파수 및 공간 도메인 사이의 적응적 변환을 제어하기 위해 신호들과 파라미터들을 생성한다. 그에 따라 적응적 제어 정보 신호(121)가 위치 A와 위치 B 사이를 스위칭하는 두 개의 스위치들에 행사된다. 변환이 주파수 도메인에서 이뤄지면, 두 스위치들은 위치 A에 온다. 공간 도메인이 사용되면, 스위치들은 위치 B로 스위치된다. 또, 그 부차 정보 신호(121), 즉 어떤 도메인이 픽처의 코딩 절차에 사용되었는지에 대한 정보는 엔트로피 코더(113)로도 보내진다. 그에 따라, 그 디바이스에 알맞은 정보가 데이터 스트림 안에 포함된다. 주파수 변환과 나란히, 예측 에러 신호(105)가 다른 경로를 통해 양자화기(109)로 보내진다. 이 양자화 블록(109)은 공간 도메인에서의 예측 에러 신호(105)에 최적화된 양자화를 제공한다. 공간 도메인 상의 양자화된 예측 에러 신호(124)는 제2역양자화 블록(112)으로 보내질 수 있고, 더 나아가 모션 보상 예측 블록(103)의 후방 접속부로 보내 질 수 있다. 또, 모션 벡터(123)와 역양자화된 예측 에러 신호(118), 또는 119 연결을 경유한 예측 신호(104)를 수신하는 스캐닝 제어 블록(114)이 존재한다. 블록 117은 모션 정보를 인코딩하는 일을 한다.

적응 제어 블록(115)은 블록이 주파수 도메인에서 코딩되어야 하는지 공간 도메인에서 코딩되어야 하는지 여부를 결정하고, 그 도메인을 가리키기 위해 해당하는 부차 정보를 생성한다. 적응 제어 수단에 의해 내려지는 결정은 공간 도메인에서의 코딩 및 주파수 도메인에서의 코딩에 대한 레이트 왜곡 비용들에 기초한다. 더 낮은 레이트 왜곡 비용들을 가진 도메인이 코딩을 위해 선택된다. 예를 들어, 레이트 왜곡 비용들 C은 요구되는 레이트 R과 라그랑주 파라미터 L만큼 가중된 그에 따른 왜곡 D에 의해 산정된다: C=L*R+D. 왜곡 계측치로서, 평균 제곱 양자화 에러가 사용될 수 있으나, 평균 절대 양자화 에러 등과 같은 다른 계측치들 또한 적용될 수 있다. 라그랑쥬 파라미터 L로서 H.264/AVC의 코더 제어를 위해 일반적으로 사용되는 라그랑쥬 파라미터가 적용된다:

. 레이트 왜곡 비용들을 판단하기 위한 다른 방법들 역시 있을 수 있다.

블록이 주파수 도메인에서 코딩될지 공간 도메인에서 코딩될지 여부를 결정하는 것 외에, 해당 블록의 값들 (샘플들이나 계수들)이 모두 0으로 세팅될지 말지 여부가 결정된다. 이 결정 역시 레이트 왜곡 비용들에 기초하지만, 그것은 해당 블록의 모든 값들이 0으로 세팅될 대의 경우에 대해 산정된다. 그에 따르면 적어도 세 가지 레이트 왜곡 비용들이 산정된다. 즉, 공간 도메인의 코딩에 대한 레이 트 왜곡 비용들, 주파수 도메인에서의 코딩에 대한 레이트 왜곡 비용들, 그리고 모든 값들이 0으로 세팅되는 경우에 대한 레이트 왜곡 비용들이 그것이다. 그 결과에 따라 산정된 세 가지 비용들이 비교되고, 가장 낮은 레이트 왜곡 비용들을 가져오는 코딩이 선택된다. 코스트들이 모두 동일한 경우, 모든 값들을 0으로 세팅하는 것이 선호되고 그에 따라 공간 도메인에서 코딩을 수행하는 것이 바람직하다.

레이트 왜곡 비용들의 산정은 양자화의 일부로서 이해될 수 있으며, 그에 따라 한 가능성에 따르면 공간 도메인 상의 코딩에 대한 레이트 왜곡 비용들의 산정은 블록(109)에서 수행될 수 있고, 주파수 도메인에서의 코딩의 레이트 왜곡 비용들의 산정은 블록(107)에서 수행될 수 있으며, 값들을 0으로 세팅하는 경우에 대한 산정은 블록 107이나 블록 109에서 수행될 수 있다.

본 발명의 한 양태에 따르면, 특히 양호한 예측 신호(104)가 기대될 때, 공간 도메인에서의 코딩 만이 수행될 수 있고, 코더는 도 3에 따라 사용될 것이나, 스위치들은 위치 B에 고정되고 블록들(106, 107, 110 및 111)은 이 경우 전혀 사용되지 않을 것이다. 그러나, 블록(109)에서 수행되는 양자화는, 상술한 레이트 왜곡 비용들에 따라 에러 예측 신호 블록들의 값들을 0으로 세팅할지 말지를 결정함으로써 보다 개선되게 될 것이다.

적응 제어(115)는 코딩 방법을 그와 다르게 제어할 수 있다. 이것은 가령 예측 신호에 기반하거나 예측 에러의 상관성에 기반하거나, 이미 전송된 프레임들의 모션 보상된 위치에서 예측 에러가 코딩되는 도메인에 기반하여 수행될 것이다.

도 5는 본 발명에 따른 디코더 구조에 대해 간략화한 블록도이다. 그에 따 르면 코딩된 비디오 데이터가 두 개의 엔트로피 디코딩 블록들(201 및 202)로 입력되다. 엔트로피 디코딩 블록(202)은 모션 벡터들 등과 같은 모션 보상 정보를 디코딩한다. 엔트로피 디코딩 블록(201)은 가령 CABAC나 CAVLC에 따른 디코딩 같이, 코더에서 사용된 것의 인버스 코딩 메커니즘을 적용한다. 인코더가 계수들이나 공간 도메인 상의 샘플들에 대해 서로 다른 코딩 메커니즘을 사용하였으면, 상응하는 디코딩 메커니즘은 그에 상응하는 엔트로피 디코딩 블록에서 사용해야 한다. 따라서, 엔트로피 디코딩 블록(201)은 공간 도메인에 대해 알맞은 역 양자화 경로, 즉 역 양자화 동작 블록(206)을 사용하거나 스위치 위치 A에 따른 적절한 블록들, 즉 역 양자화 블록(203) 및 역 변환 블록(204)을 이용하기 위해 위치 A 및 B 사이를 스위치하기 위한 적절한 신호들을 생성한다. 예측 에러가 주파수 도메인 상에서 표현되면, 역 양자화 블록(203)과 역 변환 블록(204)이 해당 역 동작들에 적용된다. 공간 도메인 상의 샘플들은 본 발명의 양태들에 따른 스캐닝 메커니즘에 따라 특정 순서로 정렬되었으므로, 스캐닝 제어 유닛(205)은 엔트로피 디코딩 블록(201)으로 올바른 순서의 샘플들을 제공한다. 인코딩이 공간 도메인에서 수행되었으면, 역 변환 블록(204) 및 역 양자화 블록(203)은 블록(206)의 역 양자화 동작으로 대체된다. 주파수 도메인과 공간 도메인 사이 (즉, 스위치들의 위치 A 및 B)를 스위칭하기 위한 스위칭 메커니즘은 비트스트림으로 보내지고 엔트로피 디코딩 블록(201)에 의해 디코딩된 부차 정보에 의해 제어된다. 또, 공간 도메인의 역 양자화 신호나 주파수 도메인의 역 양자화되어 역 변환된 신호는 디코딩된 비디오 신호(210)를 제공하기 위해 모션 보상된 예측 픽처와 더해진다. 모션 보상은 앞서 디코딩된 비디오 신호 데이터 (이전 픽처들) 및 모션 벡터들에 기초해 블록(209)에서 수행된다. 스캐닝 제어 유닛(205)은 계수들의 정확한 스캔 순서를 결정하기 위해 모션 벡터(212)와 함께 예측 에러 신호(207) 또는 예측 이미지(208)를 사용한다. 스캐닝 메커니즘은 양 픽처들, 즉 예측 에러 픽처 및 예측 픽처 모두에 기초할 수도 있다. 도 4와 관련한 코딩 메커니즘에 대해 기술한 바와 같이, 코딩 중의 스캐닝 시퀀스는 예측 에러 정보(207) 및 모션 보상 벡터들의 결합에 기초할 수 있다. 따라서, 모션 보상 벡터들은 경로(212)를 거쳐 스캐닝 제어 유닛(205)로 보내질 수 있다. 또, 도 4에 대응하여, 필요한 이전 디코딩 픽처들을 저장하기 위한 프레임 메모리(211)가 존재한다.

도 6은 종래 기술에 따른 지그재그 스캐닝을 예시하기 위해 간략화한 도면이다. 그에 따르면, 주파수 도메인으로의 변환 (가령 DCT)의 결과인 계수들이 도 6에 도시된 바와 같이 4x4 블록에 있어 소정 순서로 정렬되어 있다. 이 계수들은 저주파수 부분들을 나타내는 계수들이 일차원 어레이의 좌측 위치들에 우선 자리하도록 특정 순서에 따라 읽혀진다. 어레이의 우측 하단으로 갈수록, 계수들의 해당 주파수들은 더 높다. 코딩될 블록들은 흔히 실질적 저주파수 계수들을 포함하므로, 고주파수 계수들, 또는 적어도 대다수의 고주파수 계수들은 0이다. 이 상황은, 가령 제로들의 긴 시퀀스를 제로들의 개수에 대한 하나의 정보로 대체함으로써 그것을 전송할 데이터를 줄이는데 효과적으로 사용될 수 있다.

도 7은 본 발명의 한 양태에 따른 스캐닝 메커니즘에 대해 간략화된 예를 보인 것이다. 도 7의 (a)는 한 블록의 예측 이미지 내 그래디언트들의 크기를 보인 것이다. 블록의 각 위치의 값들이 현 블록의 예측 이미지의 그래디언트를 나타낸다. 그래디언트 자체는 수평 및 수직 방향의 그래디언트를 나타내는 두 개의 성분들로 이뤄진 벡터이다. 각 성분은 두 이웃하는 샘플들의 차이로서 정해지거나, 여섯 개의 이웃하는 샘플들을 고려하는 잘 알려진 소벨-오퍼레이터 (Sobel-operator)에 의해 정해질 수 있다. 그래디언트의 크기는 벡터의 크기이다. 두 값들이 같은 크기를 가지면, 고정된, 혹은 미리 규정된 스캔 순서가 적용될 수 있다. 스캐닝 순서는 점선으로 표시한 것과 같이 블록의 그래디언트 값들의 크기를 따라간다. 그래디언트 예측 이미지 내 스캐닝 순서가 확립되면, 도 7의 (b)에 보인 양자화된 예측 에러 샘플들로 같은 스캐닝 순서가 적용된다. 도 7의 (b)에 도시된 블록의 공간 도메인에서 양자화된 샘플들이 예측 이미지의 그래디언트들의 크기에 기초해 확립된 스캐닝 순서에 따라 도 7의 (b)의 왼쪽에 표시된 것과 같이 일차원 어레이로 정렬되면, 더 큰 값을 가진 샘플들은 보통 어레이의 첫 번째, 즉 왼쪽 위치에 정렬된다. 오른쪽 위치들은 도 7의 (b)에 표시된 것과 같이 0들로 채워진다.

그래디언트에 의해 제어되는 스캐닝 대신, 미리 규정된 스캐닝이나, 모션 벡터와 함께 이미 전송된 프레임들의 양자화된 예측 에러에 의해 제어되는 스캐닝, 또는 그들의 조합이 사용될 수도 있다 (스캐닝 제어는 도 4 및 도 5와 관련해 설명한 블록들(114 또는 205)와 관련됨). 모션 벡터와 함께 예측 에러 신호에 의해 제어되는 스캐닝의 경우, 스캐닝은 현 블록의 모션 벡터가 참고하는 블록의 양자화된 예측 에러 샘플들의 크기들을 내림 차순으로 따라간다.

모션 벡터가 단편적인 샘플 위치들을 가리키면, 보간 기술을 이용해 필요로 되는 양자화된 예측 에러 샘플들이 정해질 수 있다. 이것은 예측 샘플들을 생성하기 위해 기준 이미지의 보간에 사용된 것과 같은 보간 기술일 수 있다.

스캐닝이 예측 이미지 및 모션 벡터와 공동의 예측 에러 이미지에 의해 제어되는 경우, 그래디언트들의 크기들과 현 블록의 모션 벡터가 참조하는 블록의 양자화된 예측 에러 샘플들의 선형 결합의 결과들을 산출한다. 스캔은 이러한 선형 결합 결과의 값들을 추종한다. 또, 스캐닝 결정 방법이 시퀀스의 세그먼트들에 대해, 가령 블록의 각 프레임이나 각 슬라이스나 그룹에 대해 시그날링될 수 있다. 통상의 표준 프로세싱에 따르면, 예측 이미지가 결정되는 동안 모션 보상 벡터들이 이미 고려된다.

본 발명의 다른 양태에 따르면, 스캐닝 순서 역시 모션 벡터와 함께 예측 에러 픽처에 기초할 수 있다. 또, 상술한 것과 같은 그래디언트 원리와 예측 에러 픽처의 결합 결과들이 생각될 수 있다.

도 8은 본 발명의 양태들에 따라 최적화된 양자화기의 정의를 예시하는데 유용한 간략화된 도면을 보인다. 그에 따르면, 세 개의 파라미터들인 a, b, c가 양자화기를 적응 (조정)하는데 사용되는 파라미터들이다. 규격 H.264/AVC에 따르면, 두 개의 상이한 왜곡 측정치들을 가진 계수들에 대해 레이트 왜곡 최적화된 양자화기들이 적용된다. 제1측정치는 평균 제곱 양자화 에러이고, 제2측정치는 주관적으로 가중된 양자화 에러이다. H.264/AVC 규격에 따르면, 예측 에러 샘플들에 대한 두 양자화기들이 개발되고 있다. 예측 에러의 분포가 라플라스 분포에 가깝기 때문에, 스칼라 량인 데드-존 (dead-zone)에 균일 문턱치를 더한 양자화기가 평균 제 곱 양자화 에러 최적화의 경우에 사용된다. 도 5는 양자화 및 역 양자화의 파라미터들 a, b, c를 보인다.

표 3은 일반적으로 사용되는 H.264/AVC 코딩 방식의 QP (Quantization Parameter)들에 대해 바람직하게 사용될 수 있는 파라미터들 a, b, c를 보인다. 이 파라미터들 a, b, c는 각자 평균 제곱 양자화 에러 최적화를 위해 최적화된 파라미터들이다. 그러나, 이것은 단지 예일 뿐이며, 다른 어플리케이션들에 대해 다른, 혹은 부가적 파라미터들이 사용될 수 있다.

	평균 제곱 양자화 에러 최적화			주관적으로 가중된 양자화 에러 최적화
QP	a	b	c	r₁	r₂	r₃	r₄	r₅
23	9.6	1.6	2.7	0	11	28	46	66
26	14.8	1.4	4.8	0	14	36	58	110
29	22.2	1.4	6.9	0	20	54	92	148
32	30.2	1.4	9.3	0	28	76	130	220

주관적으로 가중된 양자화 에러 최적화에 있어서, 대표 레벨들 r_i, -r_i 및 역시 표 3에 도시된 인접 r_i의 중간의 결정 문턱치들을 가진 비균일 양자화기가 제안된다. 가장자리들에서 높은 예측 에러가 발생하면, 비주얼 마스킹 (visual masking)이 활용된다. 따라서, 가장자리들에서는 높은 양자화 에러들이 허용될 수 있고 이미지 신호가 플랫하면 작은 것들이 허용될 수 있다. H.264/AVC는 표 3에 보인 것처럼 4 개를 넘는 QP들을 이용할 수 있다. 그런 다음 표 3은 더 확장되어야 한다. H.264/AVC는 52 개의 상이한 QP들을 사용할 수 있다. 적절한 대표 레벨들 r_i, -r_i 을 결정하는 기본 사상은 도 9와 관련해 이하에서 설명될 것이다.

도 9는 도 9a의 주파수 도메인과 도 9b의 공간 도메인에서의 주관적 가중 양자화의 경우에서 측정된 픽처 엘리먼트의 평균 절대 재구성 예러에 대한 간략한 표현을 보인 것이다. 주파수 도메인에서 주관적으로 가중된 양자화에 대해 측정된 평균 절대 재구성 에러는 예측 에러의 절대 값의 함수로서 보여진다. 공간 도메인에서 주관적으로 가중된 양자화의 절대 재구성 에러에 있어서, 대표 레벨들 r_i는 평균 절대 재구성 에러가 공간 도메인의 양자화 구간들을 기준으로 주파수 도메인과 공간 도메인에서의 양자화에 대해 동일하게 되도록 조정된다. 단지 예로서, 표 3에 나타낸 것과 같이 QP=26에 대해 r₁,r₂,r₃,및 r₄도 역시 도 9b에 표시되어 있다. 어림잡아, 대표 레벨 r_i는 QP 값이 6만큼 증가할 때 대략 두 배가 된다. 양자화기 디자인은 비주얼 시스템의 다른 특징들을 이용할 수도 있다. 또, 양자화기들이 H.264/AVC 양자화기들의 특성들과 다른 특성들을 가진 양자화 에러를 만드는데 사용될 수 있다.

공간 도메인에서 양자화된 샘플들의 엔트로피 코딩

본 발명의 한 양태에 따르면, 공간 도메인에서의 엔트로피 코딩은 주파수 도메인에서 양자화된 계수들에 대한 것과 동일한 방법에 기초할 수 있다. H.264/AVC 규격에 있어서, 두 바람직한 코딩 방법들은 CABAC 및 CAVLC이다. 그러나, 본 발명의 이 양태에 따르면, 주파수 도메인에서 양자화된 계수들을 코딩하는 대신, 공간 도메인에서 양자화된 샘플들이 상술한 방법을 통해 코딩된다. 위에서 설명한 바와 같이, 주파수 도메인과 같은 데이터 감축을 지원하기 위해 스캐닝 순서가 바뀔 수 있다. 위에서 개시한 바대로, 공간 도메인에서의 스캐닝은 같은 공간적 위치에 있는 이미지 신호의 그래디언트의 크기에 따라 제어될 수 있다. 이 원리에 따르면, 도 7의 (a) 및 도 7의 (b)와 관련해 이미 설명했듯이, 코딩될 샘플들은 그래디언트들의 내림 차순으로 정렬된다. 위에서 언급했듯이 다른 스캐닝 메커니즘들 역시 적용될 수 있을 것이다. 또, 본 발명의 양태들에 따르면, CABAC의 경우 다른 실현가능 모델들을 의미하는 다른 코드들이 공간 도메인에 대해 사용될 수 있다. 그 코드 및 CABAC의 경우 실현가능 모델들의 초기화가 양자화 샘플들의 통계로부터 도출될 수 있다. 공간 도메인에서의 콘텍스트 모델링은 주파수 도메인에서와 같은 방식으로 행해질 수 있다.

부차 정보의 코딩

도 4와 관련해 설명한 적응적 제어 수단은 블록이 코딩될 도메인과 관련한 정보를 생성한다. 블록 사이즈는 변환 사이즈에 따라 4x4 또는 8x8 픽처 엘리먼트들일 수 있다. 그러나, 본 발명의 다른 양태들에 따라, 변환 사이즈와 무관한 다른 블록 사이즈들이 적용될 수도 있다. 본 발명의 양태에 따르면, 부차 정보는 코딩 메커니즘이 코딩 중에 적응적으로 변화되었는지 여부를 나타내는 특정 플래그들을 포함한다. 예를 들어 한 슬라이스의 모든 블록들이 주파수 도메인에서 코딩되면, 이것은 코딩된 비디오 데이터 신호 내 특정 비트에 의해 표시될 수 있다. 본 발명의 이러한 양태는 모두가 두 도메인들 각각에서 혹은 하나의 도메인에서만 코딩될 수 있는 한 매크로블록의 블록들과도 관련될 수 있다. 또, 본 발명의 이러한 양태에 따른 개념이 매크로블록들에도 적용될 수 있고, 매크로블록의 적어도 한 블록이 공간 도메인에서 코딩되는지 여부를 가리키는 정보가 데이터 스트림 안에 포함될 수 있다. 그에 따라, 플래그 Slice_FD_SD_coding_flag가 사용되어 현 슬라이스의 모든 블록들이 주파수 도메인에서 코딩되는지, 혹은 적어도 한 블록이 공간 도메인에서 코딩되는지 여부를 가리킬 수 있다. 이 플래그는 하나의 비트로 코딩될 수 있다. 슬라이스의 적어도 한 블록이 공간 도메인에서 코딩되면, 현 매크로블록의 모든 블록들이 주파수 도메인에서 코딩되는 경우나 적어도 한 블록이 공간 도메인에서 코딩되는 경우, 그것은 현 슬라이스의 각각의 개별 매크로블록에 대해 플래그 MB_FD_SD_coding_flag로 표시될 수 있다. 이 플래그는 이미 코딩된 왼쪽 윗편에 있는 이웃 블록들의 플래그들의 조건에 따라 코딩될 수 있다. 매크로블록의 마지막 하나가 공간 도메인에서 코딩되면, 현재의 블록이 주파수 도메인이나 공간 도메인에서 코딩되는 경우, 그것은 코딩될 그 매크로블록의 각 블록에 대해 플래그 FD_or_SD-Flag로 표시될 수 있다. 이 플래그는 이미 코딩된 상위 왼편의 이웃 블록들의 플래그들의 조건에 따라 코딩될 수 있다. 이와 달리, 사이드 정보는 예측 신호나, 모션 벡터와 함께 예측 에러 신호의 조건에 따라 코딩될 수도 있다.

신택스 및 어의구조

본 발명의 이 양태에 따르면, 본 발명의 양태들을 H.264/AVC 코딩 방식 안에 병합하는 것을 허용하는 전형적 신택스 및 어의구조가 제시된다. 그에 따르면, 플래그 Slice_FD_SD_coding_flag가 표 4에 보인 것 같은 slice_header 안에 도입될 수 있다. 플래그 MB_FD_SD_coding_flag는 표 5에 보인 것처럼 각각의 macroblock_layer 안에 보내질 수 있다. residual_block_cabac 안에서, 주파수 도메인 코딩이나 공간 도메인 코딩이 현재의 블록에 적용되는 경우 그것은 플래그 FD_or_SD_flag에 의해 시그날링되며, 이것이 아래의 표 6에 보여지고 있다. 비슷한 방식이 예측 에러 코딩의 다른 비디오 코딩 알고리즘들에 적용될 수 있다.

Claims

하이브리드 코딩을 이용하여 비디오 신호를 코딩하는 방법에 있어서,

예측 에러 신호를 규정하기 위해 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감소시키는 단계;

상기 예측 에러 신호의 샘플들이나 상기 예측 에러 신호의 주파수 도메인 변환 결과로 나온 계수들에 대해 양자화를 수행하여 양자화된 샘플들이나 양자화된 계수들을 각기 나타내는 양자화 값들을 획득하는 단계;

상기 양자화 값들에 대한 양자화 효율을 산정하는 단계;

상기 양자화 값들이 0으로 세팅될 때의 양자화의 제로 효율을 산정하는 단계;

보다 높은 효율을 선택하는 단계; 및

선택된 효율에 따라 추가 진행을 위해 상기 양자화 값들을 유지하거나 양자화 값들을 0으로 세팅하는 단계를 포함함을 특징으로 하는 방법.
제1항에 있어서, 상기 예측 에러 신호는 복수의 서브블록들로 세분되는 매크로블록들을 포함하고, 제1양자화가 한 서브블록의 샘플들이나 한 서브블록의 예측 에러 신호를 주파수 도메인으로 변환한 결과로부터 나온 계수들에 대해 각각 수행되고,

상기 효율들의 산정하는 단계, 효율을 선택하는 단계 및 양자화 값들을 유지 하거나 0으로 세팅하는 단계는 각 서브블록에 대해 수행되고,

한 매크로블록의 모든 서브블록들의 양자화에 대한 전반적 양자화 효율을 산정하는 단계;

상기 매크로블록의 모든 샘플들이나 계수들이 각기 0으로 세팅될 때의 양자화의 전반적 제로 효율을 산정하는 단계;

보다 높은 효율을 선택하는 단계; 및

상기 매크로블록의 상기 선택된 효율에 따라 추가, 상기 매크로블록에 해당하는 양자화 값들을 유지하거나 0으로 세팅하는 단계를 더 포함함을 특징으로 하는 방법.
제1항에 있어서, 상기 효율의 산정은 비용 함수 (cost function)에 기반함을 특징으로 하는 방법.
제3항에 있어서, 상기 비용 함수는 레이트 왜곡 비용들 (rate distortion costs)에 기반하고, 상기 레이트 왜곡 비용들은 요구되는 레이트 및 그에 따른 왜곡에 의존해 산정됨을 특징으로 하는 방법.
제4항에 있어서, 상기 레이트 왜곡 비용들은 상기 왜곡 및 상기 요구된 레이트를 가중한 것을 합한 것에 기반함을 특징으로 하는 방법.
제5항에 있어서, 상기 레이트 왜곡 비용들 C_j는 식 C_j=D_j+L*R_j을 사용해 산정되고, 여기서 D_j는 양자화에서 비롯된 왜곡을 나타내고, R_j는 양자화에 요구되는 레이트를 나타내고, L은 라그랑쥬 (Lagrange) 파라미터이고 인덱스 j는 해당 서브블록을 나타냄을 특징으로 하는 방법.
제4항에 있어서, 상기 왜곡은 제곱 양자화 에러들 (squared quantization erros)의 합 또는 평균 절대 양자화 에러 (mean absolute quantization error)임을 특징으로 하는 방법.
제2항에 있어서, 상기 매크로블록의 전반적 양자화 효율은 각 서브블록의 선택 효율들의 합임을 특징으로 하는 방법.
하이브리드 코딩을 이용하여 비디오 신호를 코딩하는 방법에 있어서,

예측 에러 신호를 규정하도록 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감소시키는 단계; 및

상기 예측 에러 신호를 주파수 도메인으로 변환하는 단계; 상기 예측 에러 신호를 공간 도메인 내에 유지하는 단계; 또는 상기 예측 에러 신호의 값들을 0으로 세팅하는 단계 중 하나를 선택해 추가 인코딩을 하는 단계를 포함함을 특징으로 하는 방법.
제9항에 있어서, 상기 선택의 단계는 비용 함수에 기반함을 특징으로 하는 방법.
제9항에 있어서, 상기 비용 함수는, 공간 도메인에서의 코딩, 주파수 도메인에서의 코딩 및 상기 예측 에러 신호의 값들을 0으로 세팅하는 데 따른 레이트 왜곡 비용들 (rate distortion costs)을 포함함을 특징으로 하는 방법.
제11항에 있어서, 상기 레이트 왜곡 비용들은 상기 왜곡 및 상기 요구된 레이트를 가중한 것을 합한 것에 기반함을 특징으로 하는 방법.
제12항에 있어서, 상기 레이트 왜곡 비용들 C_j는 식 C_j=D_j+L*R_j을 사용해 산정되고, 여기서 D_j는 양자화에서 비롯된 왜곡을 나타내고, R_j는 양자화에 요구되는 레이트를 나타내고, L은 라그랑쥬 (Lagrange) 파라미터이고 인덱스 j는 해당 서브블록을 나타냄을 특징으로 하는 방법.
제12항에 있어서, 상기 왜곡은 제곱 양자화 에러들 (squared quantization erros)의 합 또는 평균 절대 양자화 에러 (mean absolute quantization error)임을 특징으로 하는 방법.
제9항에 있어서, 상기 공간 도메인의 샘플들은 상기 주파수 도메인의 계수들에 대한 것과 같은 방법에 의해 코딩됨을 특징으로 하는 방법.
제15항에 있어서, 상기 계수들의 코딩은 CABAC 또는 CAVLC에 따라 수행됨을 특징으로 하는 방법.
제9항에 있어서, 상기 공간 도메인에 대해 다른 실행 가능성을 가지는 CABAC의 특정 코드가 사용됨을 특징으로 하는 방법.
제9항에 있어서, CAVLC의 특정 코드가 공간 도메인을 위해 사용됨을 특징으로 하는 방법.
제9항에 있어서,

공간 도메인에서의 평균 제곱 에러 최적화나 주관적 가중 양자화 에러 최적화를 포함하는 양자화기에 의해 상기 예측 에러 샘플들을 추가 양자화하는 단계를 포함함을 특징으로 하는 방법.
제9항에 있어서, 상기 예측 에러 신호를 공간 도메인 상에 유지하는 경우, 추가적으로, 예측 에러 블록 안에 주어진 샘플들을 스캐닝하여 특정 순서의 샘플 어레이를 제공하는 단계를 포함하고, 상기 스캐닝 방식은 예측 에러 이미지나 예측 이미지로부터 도출됨을 특징으로 하는 방법.
제20항에 있어서, 상기 스캐닝 방식은 상기 예측 이미지의 그래디언트 (gradient)로부터 도출됨을 특징으로 하는 방법.
제20항에 있어서, 상기 스캐닝 방식은 기준 블록의 상기 예측 에러와 결합되는 모션 벡터에 기초함을 특징으로 하는 방법.
제20항에 있어서, 상기 스캐닝 방식은 상기 예측 이미지의 그래디언트 및 모션 벡터와 결합되는 상기 기준 블록의 상기 예측 에러 이미지의 선형 결함으로부터 도출됨을 특징으로 하는 방법.
하이브리드 코딩을 이용한 비디오 신호를 디코딩하는 방법에 있어서,

상기 비디오 신호 데이터를 코딩하는데 사용한 코딩 메커니즘에 따라, 코딩된 비디오 데이터를 주파수 도메인이나 공간 도메인에서 효율적으로 디코딩하는 단계를 포함함을 특징으로 하는 방법.
제24항에 있어서, 일차원 어레이로서 수신된 상기 예측 에러 신호 샘플들의 위치들은 앞서 수신된 예측 에러 신호나 예측 이미지에 기초해 정해진 이차원 배열 위치들로 지정됨을 특징으로 하는 방법.
부분적으로 공간 도메인에서 코딩되고 부분적으로 주파수 도메인에서 코딩된 예측 에러 신호의 코딩된 정보를 포함하는 코딩된 비디오 신호를 나타냄을 특징으로 하는 데이터 신호.
제26항에 있어서,

슬라이스, 매크로블록, 또는 매크로블록의 블록이 코딩된 도메인과 관련된 정보, 특히 슬라이스, 매크로블록, 또는 블록이 공간 도메인에서 코딩되는지 주파수 도메인에서 코딩되는지 여부에 대한 정보를 포함함을 특징으로 하는 데이터 신호.
제27항에 있어서, 슬라이스, 매크로블록, 또는 블록에 사용된 코딩과 관련해 각기 slice_fd_sd_coding_flag, mb_fd_sd_coding_flag, 및/또는 fd_sd_flag 정보를 포함함을 특징으로 하는 데이터 신호.
하이브리드 코딩을 사용해 비디오 신호를 코딩하는 코더에 있어서,

- 예측 에러 신호를 규정하기 위해 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감축하는 수단,

- 양자화된 샘플들이나 계수들을 규정하기 위해 상기 예측 에러 신호를 양자 화하는 수단,

- 양자화 효율 및 제로 효율을 산정하고 비교하여, 더 높은 효율을 선택하고, 선택된 효율에 따라 양자화된 샘플들이나 양자화된 계수들을 각기 유지시키거나 0으로 세팅하도록 하는 제어 수단을 포함함을 특징으로 하는 코더.
제29항에 있어서,

상기 예측 에러 신호의 픽처 엘리먼트들을 공간 도메인에서 주파수 도메인으로 변환하는 변환 수단을 더 포함함을 특징으로 하는 코더.
하이브리드 코딩을 이용하여 비디오 신호를 코딩하는 코더에 있어서,

예측 에러 신호를 규정하도록 블록 기반 모션 보상 예측에 의해 시간상의 중복을 감소시키는 수단; 및

상기 예측 에러 신호를 주파수 도메인으로 변환하고 그 결과에 따른 계수들을 코딩하는 단계; 상기 예측 에러 신호를 공간 도메인 내에 유지하고 그 샘플들을 코딩하는 단계; 또는 상기 예측 에러 신호의 값들을 0으로 세팅하는 단계 중 하나를 선택하기 위한 적응적 제어 수단을 포함함을 특징으로 하는 코더.
하이브리드 코딩을 사용해 코딩된 비디오 신호를 디코딩하기 위한 디코더에 있어서,

코딩된 비디오 신호의 입력 스트림이 공간 도메인 상에 상기 코딩된 비디오 신호의 예측 에러 신호를 나타내는지 주파수 도메인 상에 상기 코딩된 비디오 신호의 예측 에러 신호를 나타내는지 여부를 적응적으로 결정하는 적응적 제어 수단을 포함함을 특징으로 하는 디코더.