KR20130056834A - 픽셀 블록을 코딩하고 재구성하는 방법 및 대응하는 장치 - Google Patents

Abstract

본 발명은
예측 블록으로부터 그리고 픽셀 블록으로부터 잔분 블록을 계산하는 단계(100);
상기 잔분 블록을 기저 함수의 집합에 의해 정의된 변환을 사용하여 계수의 블록으로 변환하는 단계(104); 및
상기 계수의 블록을 코딩하는 단계(106)를 포함하는 픽셀 블록을 코딩하는 방법에 관한 것이다.
본 방법은, 변환 단계(104) 전에, 상기 픽셀 블록의 인과적 근방구역 내에서 계산된 잔분으로부터 상기 기저 함수를 재위상화하는 단계(102)를 포함한다. 상기 변환 단계는 상기 재위상화된 기저 함수를 사용한다.

Description

픽셀 블록을 코딩하고 재구성하는 방법 및 대응하는 장치{METHOD FOR CODING AND RECONSTRUCTING A PIXEL BLOCK AND CORRESPONDING DEVICES}

본 발명은 영상 코딩의 일반 분야에 관한 것이다. 특히, 본 발명은 픽셀블록을 코딩하는 방법과 그러한 블록을 재구성하는 방법에 관한 것이다. 본 발명은 또한 코딩 장치 및 그러한 블록을 디코딩하는 장치에 관한 것이다.

픽셀 블록을 코딩하기 위해서 예측 에러를 나타내는 잔분(residue)의 블록을 계산하기 위해 이 블록을 공간적으로 또는 시간적으로 예측하는 것이 알려져 있다. 잔분의 블록은 이후 계수의 블록으로 변환되고 이 계수 블록은 따라서 양자화되며 이후 F스트림으로 코딩된다. 전통적으로, 잔분의 블록은 기저 함수의 집합에 의해 정의되는 변환에 의해 변환된다.

변환의 기저 함수(basis function)는 일반적으로 화상 내의 블록의 위치와 무관하게 동일하게 적용된다. 따라서, 기저 함수가 잔분의 블록에서 관찰된 신호와 정확하게 위상이 맞지 않을 경우, 주파수 확산이 관찰된다. 예컨대, 잔분 블록이 변환의 하나의 기저 함수에 대응하는 패턴으로 즉, 이 기저 함수와 같은 주파수로 구성되었다고 가정하자. 변환이 적용되는 블록의 신호가 기저 함수와 위상이 맞을 때, 변환은 그 에너지가 문제의 해당 신호를 표현하는 유일한 계수를 생성할 것이다. 그러나, 블록의 신호가 기저 함수와 위상이 맞지 않으면, 변환은 여러 계수를 생성할 것이다. 이 경우, 변환에 뒤따르는 양자화는 종종 블록이 위상이 맞는 경우와는 반대로 특정 계수를 제거한다. 이는 정보의 상실로 이어지는 효과를 가진다. 이 정보의 상실은 변환된 도메인 내의 계수의 양자화와 확산에 기인한다. 따라서, 위상이 틀어진 신호의 경우, 에너지가 여러 계수에 걸쳐 분포되기 때문에 에너지가 상실됨과 함께 위상 수준에서의 정확성도 상실되어, 이 두 가지 결점이 화상 및 비디오 압축 분야에서 잘 알려진 블록 효과를 생성한다.

본 발명의 목적은 선행기술의 결점 중 적어도 하나를 극복하는 것이다. 이 목적을 위하여, 본 발명은 이하의 단계들을 포함하는, 픽셀의 블록을 코딩하는 방법에 관한 것이다:

- 픽셀 블록과 예측 블록으로부터 잔분 블록을 생성하는 단계;

- 기저 함수의 집합에 의해 정의된 변환으로 잔분의 블록을 계수의 블록으로 변환하는 단계, 및

- 계수의 블록을 코딩하는 단계.

유리하게는, 본 코딩 방법은, 변환하는 단계 전에, 픽셀 블록의 인과적 근방구역(causal neighbourhood)에서 계산된 잔분으로부터 기저 함수를 재위상화하는 단계를 포함하며, 상기 변환하는 단계는 재위상화된 기저 함수를 사용한다.

본 발명에 따른 코딩 방법은, 유리하게는, 계수가 코딩 비용을 줄임으로써 코딩 효율성을 증가시키는 변환된 도메인 내에 확산될 수 있게 한다. 사실, 변환의 기저 함수의 재위상화에 의한 코딩 방법은 유리하게 이러한 변환을 코딩될 신호에 맞춘다. 이 재위상화된 변환은 신호를, 더 특정하면 잔류 에러를, 저감된 수의 계수로 컴팩트화하는 능력이 향상되므로 더 효과적이다.

본 발명의 다른 측면에 의하면, 변환이 분리가능하며, 기저 함수의 집합은 수평 기저 함수와 수직 기저 함수를 포함한다. 수평 및 수직 기저 함수의 재위상화 단계는 이하 단계를 포함한다:

a) 픽셀 블록의 인과적 근방구역의 잔분의 적어도 하나의 선을 수평 기저 함수를 써서 계수로 변환하는 단계,

b) 더 큰 진폭 계수를 결정하는 단계,

c) 결정된 계수에 대응하는 수평 기저 함수를 식별하는 단계,

d) 식별된 수평 기저 함수와 잔분 선(residue line) 사이의 수평 공간적 이동(horizontal spatial shift)을 결정하는 단계,

e) 수평 기저 함수를 결정된 수평 공간적 이동으로 재위상화하는 단계, 및

f) 단계 d)에서 결정된 수직 공간 이동으로 수직 기저 함수를 재위상화하기 위해 픽셀 블록의 인과적 근방구역의 적어도 하나의 잔분 열(residue column)에 대해 수직으로 단계 a)부터 e)까지 반복하는 단계.

유리하게, 잔분 선의 잔분과 잔분 열은 잔분 블록을 계산하는데 사용된 예측 모드와 동일한 예측 모드에 따라 계산된다.

특수한 특성에 따르면, 수직 공간 이동 및 수평 공간 이동은 위상 상관관계(phase correlation)에 의해 결정되며, 상기 공간 이동들은 주 정점(main peak)이라 불리는 최대 상관관계 정점에 대응되게 된다.

특정한 이로운 실시예에 따르면, 코딩 방법은 단계 d) 와 e) 사이에 주 정점과 주 정점을 둘러싼 상관관계 정점으로부터 무게중심을 계산함으로써 각각 수평 서브픽셀 이동과 수직 서브픽셀 이동을 결정하는 단계를 포함한다. 이 실시예에 따르면, 수평 기저 함수는 수평 공간 이동 및 수평 서브픽셀 이동의 합과 동등한 이동으로 재위상화되며, 수직 기저 함수는 수직 공간 이동 및 수직 서브픽셀 이동의 합과 동등한 이동으로 재위상화된다.

본 발명은 또한 이하의 단계들을 포함하는, 픽셀 블록의 재구성 방법에 관한 것이다:

- 계수의 블록을 디코딩하는 단계,

- 계수의 블록을 기저 함수의 집합에 의해 정의되는 변환을 써서 잔분의 블록으로 변환하는 단계, 및

- 예측 블록과 잔분 블록으로부터 픽셀 블록을 재구성하는 단계.

유리하게, 재구성 방법은 변환 단계 앞에, 기저 함수를 픽셀 블록의 인과적 근방구역 내에서 계산된 잔분으로부터 재위상화하는 단계를 포함하며, 재위상화된 기저 함수를 사용한다.

본 발명의 또 다른 측면에 따르면, 변환은 분리가능하며, 기저 함수의 집합은 수평 기저 함수와 수직 기저 함수를 포함한다. 수평 및 수직 기저 함수의 재위상화 단계는 다음 단계를 포함한다:

a) 픽셀 블록의 인과적 근방구역의 잔분의 적어도 하나의 선을 수평 기저 함수를 써서 계수로 변환하는 단계,

b) 더 큰 진폭 계수를 결정하는 단계,

c) 결정된 계수에 대응하는 수평 기저 함수를 식별하는 단계,

d) 식별된 수평 기저 함수와 잔분 선 사이의 수평 공간적 이동을 결정하는 단계,

e) 수평 기저 함수를 결정된 수평 공간적 이동으로 재위상화하는 단계, 및

f) 단계 d)에서 결정된 수직 공간 이동으로 수직 기저 함수를 재위상화하기 위해 픽셀 블록의 인과적 근방구역의 적어도 하나의 잔분 열(column)에 대해 수직으로 단계 a) 부터 e)까지 반복하는 단계.

유리하게는, 잔분 선의 잔분과 잔분 열은 잔분 블록을 계산하는데 사용된 예측 모드와 동일한 예측 모드에 따라 계산된다.

본 발명의 특수한 특성에 따르면, 수직 공간 이동 및 수평 공간 이동은, 공간 이동이 주 정점(main peak)이라 불리는, 최대 상관관계 정점에 대응되게, 위상 상관관계에 의해 결정된다.

또 다른 실시예에 따르면, 재구성 방법은 단계 d) 와 e) 사이에 주 정점과 주 정점을 둘러싼 상관관계 정점으로부터 무게중심을 계산함으로써 각각 수평 서브픽셀 이동과 수직 서브픽셀 이동을 결정하는 단계를 포함한다. 이 실시예에 따르면, 수평 기저 함수는 수평 공간 이동 및 수평 서브픽셀 이동의 합과 동등한 이동으로 재위상화되며, 수직 기저 함수는 수직 공간 이동 및 수직 서브픽셀 이동의 합과 동등한 이동으로 재위상화된다.

본 발명은 또한 이하를 포함하는 픽셀 블록 코딩 장치에 관한 것이다:

- 픽셀 블록과 예측 블록으로부터 잔분 블록을 계산하는 수단,

- 기저 함수의 집합에 의해 정의되는 변환으로 잔분 블록을 계수 블록으로 변환하는 수단, 및

- 계수의 블록을 코딩하는 수단.

코딩 장치는 픽셀 블록의 인과적 근방구역 내에서 계산된 잔분으로부터 기저 함수를 재위상화하는 수단을 더 포함하며 변환 수단은 재위상화된 기저 함수를 사용한다.

본 발명은 또한, 이하를 포함하는, 픽셀 블록을 나타내는 스트림의 디코딩 장치에 관한 것이다:

- 스트림으로부터 계수의 블록을 디코딩하는 수단,

- 기저 함수의 집합으로 정의되는 변환을 사용하여 계수의 블록을 잔분의 블록으로 변환하는 수단, 및

- 잔분의 블록과 예측 블록으로부터 픽셀 블록을 재구성하는 수단.

디코딩 장치는 픽셀 블록의 인과적 근방구역 내에서 계산된 잔분으로부터 기저 함수를 재위상화하는 수단을 더 포함하며 변환 수단은 재위상화된 기저 함수를 사용한다.

코딩과 재구성 방법에 의해 대칭적으로 수행되는 기저 함수의 재위상화는 추가적인 정보가 스트림으로 더 코딩될 필요가 없다. 특히 공간적 이동은 전송될 필요가 없다.

본 발명은, 제한적이지 않은 실시예와 이로운 실시예에 의해, 이하 첨부된 도면을 참조하여 더 잘 이해되고 설명될 것이다:
도 1은 본 발명에 따른 픽셀 블록(b_cur)의 코딩 방법을 도시한 도면;
도 2는 픽셀 블록(b_cur)과 이 블록(b_cur)의 인과적 근방구역을 도시한 도면;
도 3은 도 1에 도시된 코딩 방법의 세부(detail)를 도시한 도면;
도 4는 변환된 도메인 내의 함수(Z 및 S)를 도시한 도면;
도 5는 변환된 도메인 내의 그리고 공간적 도메인 내의 상관관계 함수를 도시한 도면;
도 6은 본 발명에 따라 픽셀 블록을 재구성하는 방법을 도시한 도면;
도 7은 본 발명에 따른 코딩 장치를 도시한 도면;
도 8은 본 발명에 따른 디코딩 장치를 도시한 도면.

본 발명은 영상의 시퀀스의 픽셀 블록의 재구성을 위한 방법과 그러한 블록을 코딩하는 방법에 관한 것이다. 화상 시퀀스는 여러 화상의 시리즈이다. 각 화상은 각각이 화상 데이터의 적어도 하나의 아이템이 연관된 픽셀 또는 화상 점을 포함한다. 영상 데이터의 아이템은 예컨대 휘도 데이터나 색차 데이터이다. 이후, 코딩과 재구성 방법은 픽셀 블록을 참조하여 기술된다. 이러한 방법이 코딩에 대한 관점에서 그리고 하나 또는 그 이상의 영상의 재구성에 대한 관점에서 하나의 영상의 복수의 블록에 대하여 및 복수의 영상의 시퀀스에 대하여 적용될 수 있음은 명백하다.

"움직임 데이터(motion data)"라는 용어는 가장 넓은 의미로 이해되어야 한다. 이는 움직임 벡터와 가능하게는 참조 영상이 영상 시퀀스에서 식별될 수 있게 하는 참조 영상 인덱스를 지칭한다. 또한 이는 예측 블록을 결정하는 데 사용되는 보간 타입을 나타내는 정보의 아이템을 포함할 수 있다. 사실, 블록(Bc)과 연관된 움직임 벡터가 정수 좌표를 가지지 않는 경우, 예측 블록을 결정하기 위해 참조 영상(Ir) 내의 영상 데이터를 보간하는 것이 필수적이다. 블록과 연관된 움직임 데이터는 일반적으로 예컨대 블록 매칭과 같은, 움직임 추정 방법에 의해 계산된다. 그러나 본 발명은 움직임 벡터가 블록과 연관되게 하는 방법으로 제한되는 것은 결코 아니다.

"잔류 데이터"와 "잔류 에러"라는 용어는 다른 데이터를 추출하고 난 뒤 얻어지는 데이터를 의미한다. 추출은 일반적으로 소스 데이터로부터 픽셀 단위로 예측 데이터를 감산하는 것이다. 그러나, 추출은 보다 일반적이며 특히 예컨대 조명 변화 모델에 대응하기 위한 가중된 감산(weighted subtraction)을 포함한다. "잔류 데이터"라는 용어는 "잔분"이라는 용어와 동의어이다. 잔분 블록은 잔류 데이터가 연관된 픽셀의 블록이다.

"변환된 잔류 데이터"라는 용어는 변환이 적용된 잔류 데이터를 지칭한다. DCT(이산 코사인 변환, Discrete Cosine Transform)는 이러한 변환의 예이며 J. Wiley & Sons에 의해 2003년 9월 출판된 I. E. Richardson의 저서 "H.264 및 MPEG-4 비디오 압축(H.264 and MPEG-4 video compression)"의 3.4.2.2 장에 기술되어 있다. I. E. Richardson의 저서 3.4.2.3장에 기술된 웨이브렛 변환과 하다마르 변환(Hadamard transform)이 다른 예이다. 이러한 변환은 예컨대 잔류 휘도 그리고/또는 색차 데이터와 같은, 영상 데이터의 블록을 "변환 블록", "주파수 데이터 블록" 또는 "계수 블록"이라 불리기도 하는 "변환된 데이터의 블록"으로 "변환"한다. 계수 블록은 일반적으로 연속 계수 또는 DC 계수라는 이름으로 알려진 저주파수 계수와 AC 계수로 알려진 고주파수 계수를 포함한다. "영상 정의역" 또는 "공간 정의역"이라는 용어는 휘도 그리고/또는 색차값이 관련된 픽셀의 정의역을 지칭한다. "주파수 도메인" 또는 "변환된 도메인"은 계수의 도메인을 나타낸다. 영상에 예컨대 DCT와 같은 변환을 적용함에 의해서 공간 정의역으로부터 변환된 정의역으로 변화하며 역으로 변환된 정의역에서 공간 정의역으로 예컨대 역 DCT와 같은 앞의 변환의 역변환을 적용함에 의해 변화한다.

"예측 데이터"라는 용어는 다른 데이터를 예측하는데 사용되는 데이터를 지칭한다. 예측 블록은 예측 데이터가 연관된 픽셀의 블록이다. 예측 블록은 예측하는 블록(공간적 예측 또는 인트라 예측)이 속하는 영상과 같은 영상의 블록 또는 복수의 블록으로부터 또는 예측하는 블록이 속하는 영상과 다른 영상(시간적 예측 또는 인터 예측)의 하나 (단일방향 예측) 또는 복수의 참조 블록(양방향 예측 또는 양방 예측된)으로부터 얻어진다.

"예측 모드"라는 용어는 블록이 예측되는 방법을 지칭한다. 예측 모드 중에서 공간적 예측에 대응하는 인트라(INTRA) 모드와 시간적 예측에 대응하는 인터(INTER) 모드가 있다. 예측 모드는 가능하게는 코딩되기 위해 블록이 분할되는 방법을 특정한다. 따라서, 16×16 사이즈의 블록과 연관된 8×8 인터(INTER) 예측 모드는 16×16 블록이 4개의 8×8 블록으로 분할되고 시간적 예측에 의해 예측된다는 점을 나타낸다.

"재구성된 데이터"라는 용어는 예측 데이터와 잔분을 결합한 뒤 얻어지는 데이터(예컨대 픽셀, 블록)를 지칭한다. 이 결합은 일반적으로 잔여물과 예측 데이터의 합이다. 그러나, 결합은 보다 일반적이며 특히 예컨대 조명 변화 모델에 대응하기 위해 가중된 합을 포함한다. 재구성된 블록은 제구성된 픽셀들의 블록이다.

영상의 디코딩에 관하여, "재구성" 및 "디코딩"이라는 용어는 매우 자주 동의어로 사용된다. 따라서, "재구성된 블록"은 "디코딩된 블록"이라는 용어로도 지칭된다.

코딩이라는 용어는 가장 넓은 의미로 받아들여져야 한다. 코딩은 영상 데이터의 변환 그리고/또는 양자화를 포함할 수 있다. 또한 코딩은 엔트로피 코딩만을 지칭할 수 있다.

현재 블록의 "인과적 근방구역"은 현재 블록 전에 코딩/재구성된 픽셀을 포함하는 현재 블록의 근방구역을 지칭한다.

도 1을 참조하면, 본 발명은 기저 함수의 집합에 의해 정의되는 변환 T에 의한 변환 단계를 포함하는 타입과 N이 정수인 N×N 크기의 픽셀 블록(b_cur)을 코딩하는 방법에 관한 것이다.

단계(100)에서 잔분의 블록(b)은 픽셀 블록(b_cur)과 예측 모드에 따라 결정된 예측 블록(b_p)으로부터 계산된다. 예컨대 (i,j)가 픽셀의 좌표일 때, b(i,j)=b_cur(i,j)-b_p(i,j)이다.

단계(102)에서, 변환(T)의 기저 함수가 블록(b_cur)의 인과적 근방구역으로부터 재위상화된다. 이러한 이웃의 예가 도 2에 영역(ZCx 및 ZCy)에 의해 표시되었다. 더 정확하게, 기저 함수는 이러한 인과적 근방구역 내에서 계산된 잔분으로부터 재위상화된다.

단계(104)에서, 잔분 블록(b)이 재위상화된 기저 함수를 사용하여 계수의 블록(B)으로 변환된다. 계수의 블록(B)은 다음과 같은 방법으로 결정된다:

B=T_phase(b), T_phase는 재위상화된 기저 함수에 의해 정의된 변환.

단계(106)에서, 계수의 블록(B)은 스트림(F)으로 코딩된다. 예컨대, 계수의 블록(B)은 양자화되고 그 후 VLC(Variable Length Coding, 가변 길이 코딩), CAVLC(Context-Adaptive Variable Length Coding, 문맥-적응적 가변 길이 코딩) 또는 CABAC(Context-Adaptive Binary Arithmatic Coding, 문맥-적응적 이진 산술 코딩) 타입의 엔트로피 코딩에 의해 코딩된다. 이러한 기법은 영상 코딩의 당업자에게 잘 알려져 있으며 더 이상 기술되지 않는다. 본 발명은 사용된 엔트로피 코딩의 타입에 의해 제한되지 않는다.

이러한 특정 실시예가 분리된 변환에 대해 도 3을 참조하여 기술된다. 이 경우, 기저 함수의 집합은 수직 기저 함수(Cy)와 수평 기저 함수(Cx)로 분리된다. 이 실시예는 DCT 변환의 특정한 경우에서 기술되지만 본 발명은 이 변환에 의해 제한되지 않는다. 도 3과 관련하여 기술된 실시예는 어떤 분리가능한 변환에도 적용된다.

DCT의 특정한 경우에서, 기저 함수는 다음과 같이 정의된다:

C_x = [c_x(i,j)]_N×N 이고,

C_y = [c_y(i,j)]_N×N 이고,

이며

.

다음과 같은 방식으로 블록(b)이 계수의 블록(B)으로 변환된다:

B=[B(u,v)]_N×N = C_x.b.C_y, (u,v)는 주파수 도메인 내의 계수의 좌표.

이 실시예에 따르면, 기저 함수를 제위상화하는 단계(102)는 다음과 같은 단계를 포함한다:

수평 기저 함수를 재위상화하는 단계, 및

수직 기저 함수를 재위상화하는 단계.

수평 기저 함수를 재위상화하는 단계가 도 3의 좌측 부분과 연관되어 기술된다.

단계(1020)에서, 블록(b_cur)의 인과적 근방구역(ZCx) 내에서 계산된 잔분 z(x)가 수평 기저 함수를 사용하여 도 4에 나타난 Z(u) 계수로 변환된다. 특정 실시에 따르면, 도 2에 도시된 대로 ZCx는 현재 블록(b_cur) 바로 위에 위치한 픽셀의 선을 포함한다. ZCx의 각 픽셀은 잔류 값(z(x))과 연관된다. ZCx는 따라서 잔분 선이다. 변형예에 따르면 ZCx는 현재 블록(b_cur) 위에 위치한 잔류 픽셀의 복수개의 선을 포함한다. 잔분(z(x))은 예컨대 현재 블록에 대해서 계산된 잔류 에러를 이웃(ZCx)으로 확장함으로써 계산된다. 따라서, 값(z(x))은 현재 블록(b_cur)과 연관된 예측 모드(Mode)와 가능하게는 잔분의 블록(b)을 계산하는데 사용된 움직임 데이터(MV)를 사용함으로써 얻어진다. 더 정확하게, Mode와 가능하게는 MV는 예측 데이터(z_p(x))를 이웃(ZCx)의 픽셀에 대해 예측하는 데에 사용되며, 예측 데이터 (z_p(x))로부터는 잔분(z(x))이 계산된다. 예컨대, z(x)=z_cur(x)-z_p(x), z_cur(x)는 휘도 또는 색차 영상 데이터이다.

단계(1022)에서, 더 큰 진폭의 계수 Z(u_max)가 결정된다:

이고 u≠0.

단계(1024)에서, 결정된 계수에 대응하는 수평 기저 함수가 식별된다. 이 목적을 위하여, 단계(1020)에서 적용된 변환의 역변환을, 다음과 같이 정의되고 도 4에 도시된, 중간 함수(S(u))에 적용함으로써 공간 정의역으로 돌아간다:

만일 u=0이면 S(u)=Z(u)

만일 u=u_max이면 S(u)=Z(u)

그 밖의 경우 S(u)=0.

실시예에 의하면, TH가 임계치일 때, Z(u_max)>TH인지가 더 검증된다. 예컨대, TH는 계수의 코딩 동안 사용된 양자화 단계(QP)의 배수이다. 기저 함수의 재위상화는 따라서 Z(u_max)>TH인 경우에만 수행된다.

S(u)의 역변환은 (s(x))로 표시된다. s(x)는 s(x)로부터 식별된 변환(T)의 기저 함수 중 하나에 대응된다.

단계(1026)에서, 식별된 잔분 선(ZCx)과 수평 기저 함수 사이의 수평 공간 이동(dx)이 결정된다. 단순한 설명을 위한 예에 따르면, 수평 공간 이동(dx)은 도 5에 도시된 바와 같이 위상 상관관계에 의해 결정된다. 이 목적을 위하여, 잔분 선(z(x))은 푸리에 변환에 의하여 변환된 신호 (FZ(u))로 변환된다. 유사하게, s(x)는 푸리에 변환에 의하여 변환된 신호 (FS(u))로 변환된다. 상관관계는 따라서 다음 식에 따라 계산된다.

FZ^*(u)는 FZ(u)의 켤레복소수.

변환된 도메인 내의 상관관계는 Corr(u)에 역푸리에 변환 IFT를 적용함으로써 공간 정의역으로 가게 한다. 공간 도메인 내의 상관관계는 corr(x): corr(x)=IFT(Corr(u))로 표시된다.

위상의 이동(dx)은 공간 도메인의 상관관계 정점을 결정함으로써 얻어진다:

실시예의 변형예에 따르면, 수평 공간 이동(dx)은 공간 상관관계에 의해 결정된다. 더 정확하게, 가능한 이동의 유한집합 E 내의 각 이동(dx)에 대해, 공간 상관관계는 dx로 재위상화된 식별된 기저 함수와 잔분 선(ZCx) 사이에서 계산된다. 선택된 이동(dx)은 그에 대해 공간 상관관계가 가장 큰 것이다. 예컨대, E={1, 2, 3, 4}라 하자. 변형예에 의하면, 서브픽셀 이동이 결정될 수 있게끔 E={1, 1.5, 2, 2.5, 3, 3.5, 4}이다. 물론, E는 예컨대 1/4 픽셀에서나, 1/8 픽셀에서 등, 더 정확한 이동을 포함할 수 있다.

단계(1028)에서, 수평 기저 함수는 단계(1026)에서 결정된 수평 공간 이동(dx)으로 재위상화된다. DCT의 경우, Cx는 다음과 같이 재위상화된다:

유사하게, 단계(1020 내지 1028)가 영역(ZCy)에 대해 도 3의 우측 부분에 도시된 대로 수직적으로 적용된다. 기본 수직 함수는 단계(1026)에서 결정된 수직 공간 이동으로 재위상화된다. DCT의 경우, Cy는 다음과 같이 재위상화된다:

이로운 실시예에 따르면, 이동(dx 및 dy)은 단계(1026)에서 결정되고 단계(1027)에서 정교화된다. 예컨대, 공간 정의역에서 상관관계 정점을 둘러싸는 에너지의 무게중심은 도 5에 도시된 대로 주 정점(b)에 중심을 두고 문자 a, b, c로 식별되는 세 개의 에너지 정점에 기반을 두고 결정된다. b'로 표시되는 무게중심은 δx로 표시되는 수평 서브픽셀 이동과 δy로 표시되는 수직 서브픽셀 이동을 결정할 수 있다. 이 실시예에 따르면, 수평 및 수직 기저 함수는 단계(1028)에서 각각 (dx+δx)와 (dy+δy)만큼 이동된다. 다른 변형예에 따르면, 주 정점에 중심을 둔 세 개의 에너지 정점을 지나는 알려진 해석 함수 곡선, 예컨대 포물선이 결정된다. 이 함수의 최대값은 작업이 수평 또는 수직에 대해 이루어졌는가에 따라 이동(dx+δx)또는 (dy+δy)에 대응한다.

도 6을 참조하면, 본 발명은 기저 함수의 집합에 의해 정의된 변환(T')에 의한 변환 단계를 포함하는 타입의 N이 정수일 때 NxN 크기인 픽셀 블록(b_cur)을 재구성하는 방법에 관한 것이다.

단계(200)에서, 재구성할 블록(b_rec)을 나타내는 계수의 블록(B)이 스트림(F)으로부터 디코딩된다. 예컨대, 계수의 블록(B)은 타입 VLC(Variable Length Coding, 가변 길이 코딩), CAVLC(Context-Adaptive Variable Length Coding, 문맥-적응적 가변 길이 코딩) 또는 CABAC(Context-Adaptive Bianry Arithmetic Coding 문맥-적응적 이진 산술 코딩) 타입의 엔트로피 디코딩에 의해 디코딩될 수 있고 역양자화될 수 있다. 이 단계는 코딩 방법의 단계(106)의 역이다.

단계(202)에서, 변환(T')의 기저 함수는 재구성할 블록의 인과적 근방구역으로부터 재위상화된다. 이러한 이웃의 예가 영역(ZCx 및 ZCy)로 도 2에 표시되었다. 더 정확하게, 기저 함수는 이 인과적 근방구역 내에서 계산된 잔분으로부터 재위상화된다.

단계(204)에서, 계수의 블록(B)은 잔분의 블록(B)으로 재위상화된 기저 함수를 사용하여 변환된다. 잔분의 블록은 다음과 같이 결정된다:

b=T'_phase(B), T'_phase는 재위상화된 기저 함수에 의해 정의된 변환.

단계(206)에서, 픽셀 블록(b_rec)은 잔분의 블록(b)으로부터 재구성되고 추정 블록(bp)은 예측 모드에 따라 예측된다. 예컨대 b(i,j)=b_rec(i,j)-b_p(i,j), (i,j)는 픽셀의 좌표이다.

코딩 방법에 대해 도 3, 도 4 및 도 5를 참조하여 기술된 특정한 실시예는 재구성 방법에 그리고 특히 기저 함수를 재위상화하기 위한 단계(202)에도 동일하게 적용된다. 계수의 블록(B)은 단계(204)에서 다음 식에 따라 잔분의 블록으로 변환된다: b=C_y.B.C_x, C_x 및 C_y는 (dx 및 dy)의, 가능하게는 (dx+δx) 및(dy+δy)의 재위상화된 수평 및 수직 기저 함수이다.

도 7 및 도 8을 참조하여, 본 발명은 픽셀 블록의 코딩 장치(CODER)와 그러한 픽셀 블록을 나타내는 스트림(F)의 디코딩 장치(DECODER)에 관한 것이다. 이 도면들에서, 도시된 모듈은 물리적으로 구분할 수 있는 유닛에 대응하거나 대응하지 않을 수 있는 기능 유닛이다. 예컨대, 이 모듈 또는 그 일부는 하나의 구성요소에 함께 그룹화될 수 있으며, 또는 같은 소프트웨어의 기능을 형성할 수도 있다. 반면, 어떤 모듈은 분리된 물리적 요소들로 구성될 수도 있다.

도 7을 참조하면, 코딩 장치(CODER)는 입력으로서 영상의 시퀀스에 속하는 영상(I)을 수신한다. 각 영상은 각각에 대해 예컨대 휘도 그리고/또는 색차와 같은 적어도 하나의 영상 데이터의 아이템이 연관되는, 픽셀 블록(b_cur)으로 분할된다. 코딩 장치(CODER)는 특히 시간적 예측으로 코딩을 구현한다. 시간적 예측 또는 인터(INTER)코딩에 의한 코딩에 관계된 코딩 장치(CODER)의 모듈만이 도 6에 도시되었다. 도시되지 않고 비디오 코더의 당업자에게 알려진 다른 모듈이 공간 예측을 갖추거나 갖추지 않은 인트라(INTRA) 코딩을 구현한다. 코딩 장치(CODER)는 특히, 잔분의 블록(b)을 생성하기 위해 현재 블록(b_cur)으로부터 예측 블록(bp)을 픽셀 단위로 감산하는 것에 의해 코딩 방법의 단계(100)에 따라 추출이 가능한 계산 모듈(ADD1)을 포함한다. 장치는 기저 함수에 의해 정의되는 변환(T)에 의해 잔분의 블록(b)을 계수의 블록(B)으로 변환할 수 있는 변환 모듈(T)을 더 포함한다. 변환(T)은 예컨대 DCT이다. 코딩 장치(CODER)는 도 1을 참조하여 기술된 코딩 절차의 단계(102)에 의하여 변환(T)의 기저 함수를 재위상화할 수 있는 재위상화 모듈(REPHAS)을 더 포함한다. 변환 모듈(T)은 따라서, 코딩 방법의 단계(104)에 따라, 블록(b)에 재위상화된 기저 함수의 집합을 적용한다. 변환 모듈(T)의 출력은 계수의 블록(B)을 양자화된 데이터로 양자화할 수 있는 양자화 모듈(Q)에 연결된다. 양자화 모듈의 출력은 양자화된 데이터를 코딩된 데이터의 스트림(F)으로 코딩할 수 있는 엔트로피 코딩 모듈(COD)의 입력에 연결된다. 코딩 방법의 단계(106)는 따라서 Q 및 COD 모듈에 의해 구현된다. 장치는 변환 모듈(T)의 역연산을 수행하는 모듈(IT)에 연결된 양자화 모듈(Q)의 역연산을 수행하는 모듈(IQ)을 더 포함한다. 모듈(IT)의 출력은 예측 블록(bp)과 모듈(IT)로부터 얻은 데이터의 블록을 픽셀 단위로 덧셈하여 메모리(MEM)에 저장된 재구성된 블록을 생성할 수 있는 계산 모듈(ADD2)에 연결된다.

코딩 장치(CODER)는 또한 메모리(MEM)에 저장된, 이전에 코딩되어 재구성된 참조 영상(Ir)과 블록(b_cur) 사이의 적어도 하나의 움직임 벡터(Vp)를 추정할 수 있는 움직임 추정 모듈(ME)를 포함한다. 한가지 변형예에 의하면, 메모리(MEM)가 움직임 추정 모듈(ME)에 연결되지 않은 경우, 움직임 추정은 현재 블록(bc)과 Ir에 대응하는 소스 영상 사이에서 이루어질 수 있다. 당업자에게 잘 알려진 방법에 의해, 움직임 추정 모듈은 각각 대응하는 소스 영상 내에서, 참조 영상(Ir)내의 움직임 벡터를 검색하여 현재 블록(b_cur)과 상기 움직임 벡터에 의해 식별된, 각각 대응하는 소스 영상 내에서, 참조 영상(Ir)내의 블록 사이의 계산된 에러를 최소화하도록 한다. 한가지 변형예에 의하면, 움직임 벡터는 위상 상관관계 또는 전반적인 움직임 추정 또는 "템플릿 매칭"에 의해서도 결정될 수 있다. 움직임 데이터는 움직임 추정 모듈(ME)에 의해서 블록(b_cur)에 대해 미리 결정된 코딩 모드의 집합에서 코딩 모드를 선택할 수 있는 결정 모듈(DECISION)로 전송된다. 선택된 코딩 모드는 예컨대 비트레이트 왜곡 유형 기준을 최소화하는 것이다. 그러나, 본 발명은 이러한 선택 방법에 제한되지 않으며 선택된 모드는 예컨대 선험적인 타입의 기준과 같은 다른 기준에 따라 선택될 수 있다. 결정 모듈(DECISION)에 의해 선택된 코딩 모드 및, 시간적 예측 모드 또는 인터(INTER) 모드의 경우에 움직임 벡터 또는 벡터와 같은 움직임 데이터는 예측 모듈(PRED)로 전송된다. 움직임 벡터 또는 벡터들과 선택된 코딩 모드는 또한 엔트로피 코딩 모듈(COD)로 전송되어 스트림(F)으로 코딩된다. 만일 예측 모드(INTER)가 결정 모듈(DECISON)에 의해 유지되면, 예측 모듈(PRED)은 참조 영상(Ir)내에 이전에 재구성되고 메모리(MEM)에 저장된, 예측 블록(bp)을 움직임 추정 모듈(ME)에 의해 결정된 움직임 벡터로부터 결정한다. 만일 예측 모드(INTRA)가 결정 모듈(DECISON)에 의해 유지되면, 예측 모듈(PRED)은 현재 영상 내에서, 이전에 코딩되고 메모리(MEM)에 저장된 블록 중에서, 예측 블록(bp)을 결정한다.

도 8을 참조하여, 코딩 장치(DECODER)는 입력에서 영상의 시퀀스 또는 블록과 같은 그러한 시퀀스의 일부를 나타내는 코딩된 데이터의 스트림(F)을 수신한다. 스트림(F)은 예컨대 코딩 장치(CODER)에 의해 전송된다. 디코딩 장치(DECOER)는 예컨대 코딩 모드와 영상의 컨텐츠에 관련된 디코딩된 데이터와 같은 디코딩된 데이터를 생성할 수 있는 엔트로피 디코딩 모듈(DEC)을 포함한다. 디코딩 장치(DECODER)는 움직임 데이터 재구성 모듈을 더 포함한다. 제1 실시예에 따르면, 움직임 데이터 재구성 모듈은 움직임 벡터를 나타내는 스트림(F)의 일부를 디코딩하는 엔트로피 디코딩 모듈(DEC)이다.

도 8에 도시되지 않은 변형예에 따르면, 움직임 데이터 재구성 모듈은 움직임 추정 모듈이다. 이 움직임 데이터를 디코딩 장치(DECODE)에 의해 재구성하는 이 해법은 "템플릿 매칭"이라고 알려져 있다.

영상의 컨텐츠에 관련된 디코딩된 데이터는 디코딩된 데이터를 역양자화하여 계수의 블록(B)을 얻을 수 있는 역양자화 모듈(IQ)로 전송된다. 재구성 방법의 단계(200)는 모듈(DEC 및 IQ)에 구현된다. 모듈(IQ)은 코딩 장치(CODER)의 모듈(T)에 의해 수행된 변환의 역변환을 수행할 수 있는 변환 모듈(IT)에 연결된다. 모듈(IQ 및 IT)은 코딩된 스트림(F)을 생성한 코딩 장치(CODER)의 모듈(IQ 및 IT)과 각각 동일하다. 디코딩 장치(DECODER)는 변환(IT)의 기저 함수를 도 6을 참조하여 기술된 재구성 방법의 단계(202)에 따라 재위상화할 수 있는 재위상화 모듈(REPHAS)을 더 포함한다. 변호나 모듈(IT)은 따라서 재구성 방법의 단계(204)를 따라, 계수의 블록(B)에 재위상화된 기저 함수의 집합을 적용한다. 모듈(IT)은 모듈(IT)로부터 얻어진 잔분의 블록(b)과 예측 블록(bp)을 예컨대 픽셀단위 덧셈에 의해서, 결합하여 메모리(MEM)에 저장된 재구성된 블록(b_rec)을 생성할 수 있는 계산 모듈(ADD3)에 연결된다. 디코딩 장치(DECODER)는 또한 코딩 장치(CODER)의 예측 모듈(PRED)과 동일한 예측 모듈(PRED)을 포함한다. 만일 예측 모드(INTER)가 디코딩된다면, 예측 모듈(PRED)은 이전에 재구성되고 메모리(MEM)에 저장된 참조 영상(IR) 내에서, 예측 블록(b_cur)을 엔트로피 디코딩 모듈(DEC)에 의해 결정한다. 만일 예측 모드 (INTRA)가 디코딩된다면, 예측 모듈(PRED)은 현재 영상 내에서 이전에 재구성되고 메모리(MEM)에 저장된 블록들 중에서, 예측 블록(bp)을 결정한다.

명백히, 본 발명은 위에 언급된 실시예들에 제한되지 않는다. 특히, 당업자는 제시된 실시예에 어떤 변형예도 가할 수 있고 실시예들을 결합하여 그 다양한 이점을 누릴 수 있다. 특히, 인과적 근방구역으로부터의 기저 함수의 재위상화는 크기와 1D, 2D 등의 차원을 불문하고 어떤 타입의 변환에도 적용가능하다. 유사하게는, 본 발명에 따른 인과적 근방구역의 모양도 다양할 수 있다.

Claims (16)

1. 예측 모드에 따라 결정된 예측 블록으로부터 그리고 픽셀 블록으로부터 잔분(residue) 블록을 계산하는 단계(100);
   상기 잔분 블록을 기저 함수(basis function)의 집합에 의해 정의된 변환을 사용하여 계수의 블록으로 변환하는 단계(104); 및
   상기 계수의 블록을 코딩하는 단계(106)를 포함하는, 픽셀 블록을 코딩하는 비디오 코딩 방법으로서,
   상기 방법은, 상기 변환하는 단계(104) 전에, 상기 픽셀 블록의 인과적 근방구역(causal neighbourhood) 내에서 상기 예측 모드에 따라 계산된 잔분으로부터 상기 기저 함수를 재위상화하는 단계(102)를 포함하고, 상기 변환하는 단계는 상기 재위상화된 기저 함수를 사용하는 것을 특징으로 하는 비디오 코딩 방법.
2. 제1항에 있어서, 상기 변환은 분리가능하고, 상기 기저 함수의 집합은 수평 기저 함수와 수직 기저 함수를 포함하고, 상기 기저 함수를 재위상화하는 단계(102)는,
   상기 수평 기저 함수를 재위상화하는 단계; 및
   상기 수직 기저 함수를 재위상화하는 단계를 포함하는 것인 비디오 코딩 방법.
3. 제2항에 있어서, 상기 수평 기저 함수를 재위상화하는 단계는,
   a) 상기 픽셀 블록의 상기 인과적 근방구역의 잔분의 적어도 하나의 선(line)을 상기 수평 기저 함수를 사용하여 계수로 변환하는 단계(1020);
   b) 더 큰 진폭 계수를 결정하는 단계(1022);
   c) 상기 결정된 계수에 대응하는 상기 수평 기저 함수를 식별하는 단계(1024);
   d) 상기 잔분 선과 상기 수평 기저 함수 사이의 수평 공간적 이동(horizontal spatial shift)을 결정하는 단계(1026); 및
   e) 상기 수평 기저 함수를 결정된 상기 수평 공간 이동으로 재위상화하는 단계(1028)를 포함하되,
   상기 수직 기저 함수를 재위상화하는 단계는 상기 수직 기저 함수를 단계 d)에서 결정된 수직 공간 이동으로 재위상화하기 위하여 상기 픽셀 블록의 상기 인과적 근방구역의 적어도 하나의 잔분 열(residue column)에 대해 상기 단계 a)부터 e)를 수직으로 반복하는 단계를 포함하는 것인 비디오 코딩 방법.
4. 제3항에 있어서, 상기 잔분 선과 상기 잔분 열의 잔분은 상기 잔분 블록을 계산하기 위하여 사용된 상기 예측 모드와 동일한 예측 모드에 따라 계산된 것인 비디오 코딩 방법.
5. 제3항 또는 제4항에 있어서, 상기 수직 공간 이동 및 상기 수평 공간 이동은 위상 상관관계(phase correlation)에 의해 결정되고(1026), 상기 공간 이동들은 주 정점(main peak)이라 불리는 최대 상관관계 정점에 대응하는 것인 비디오 코딩 방법.
6. 제5항에 있어서, 상기 단계 d)와 단계 e) 사이에, 상기 주 정점과 상기 주 정점을 둘러싸는 상관관계 정점으로부터 무게중심을 계산함으로써 각각 수평 서브픽셀 이동과 수직 서브픽셀 이동을 결정하는 단계(1027)를 포함하되, 상기 수평 기저 함수는 상기 수평 공간 이동과 상기 수평 서브픽셀 이동의 합과 동등한 이동으로 재위상화되며(1028), 상기 수직 기저 함수는 상기 수직 공간 이동과 상기 수직 서브픽셀 이동의 합과 동등한 이동으로 재위상화되는(1028) 것인 비디오 코딩 방법.
7. 계수 블록과 예측 모드를 디코딩하는 단계(200);
   상기 계수 블록을 기저 함수의 집합에 의해 정의되는 변환을 사용하여 잔분 블록으로 변환하는 단계(204); 및
   상기 잔분 블록으로부터 그리고 상기 예측 모드에 따라 결정된 예측 블록으로부터 픽셀 블록을 재구성하는 단계(206)를 포함하는, 비디오 디코딩 방법으로서,
   상기 변환하는 단계 전에, 상기 기저 함수를 상기 픽셀 블록의 인과적 근방구역 내에서 상기 예측 모드에 따라 계산된 잔분으로부터 재위상화하는 단계(202)를 포함하고, 상기 변환 단계는 상기 재위상화된 기저 함수를 사용하는 것을 특징으로 하는 비디오 디코딩 방법.
8. 제7항에 있어서, 상기 변환은 분리가능하고, 상기 기저 함수의 집합은 수평 기저 함수와 수직 기저 함수를 포함하며, 상기 기저 함수를 재위상화하는 단계(102)는
   상기 수평 기저 함수를 재위상화하는 단계, 및
   상기 수직 기저 함수를 재위상화하는 단계를 포함하는 것인 비디오 디코딩 방법.
9. 제8항에 있어서, 상기 수평 기저 함수를 재위상화하는 단계는
   a) 상기 픽셀 블록의 상기 인과적 근방구역의 잔분의 적어도 하나의 선을 상기 수평 기저 함수를 사용하여 계수로 변환하는 단계(1020);
   b) 더 큰 진폭 계수를 결정하는 단계(1022);
   c) 상기 결정된 계수에 대응하는 상기 수평 기저 함수를 식별하는 단계(1024);
   d) 상기 식별된 수평 기저 함수와 상기 잔분 선 사이의 수평 공간 이동을 결정하는 단계(1026); 및
   e) 상기 수평 기저 함수를 결정된 상기 수평 공간 이동으로 재위상화하는 단계(1028)를 포함하고,
   상기 수직 기저 함수를 재위상화하는 단계는 상기 수직 기저 함수를 단계 d)에서 결정된 수직 공간 이동으로 재위상화하기 위하여 상기 픽셀 블록의 상기 인과적 근방구역의 적어도 하나의 잔분 열에 대해 수직적으로 단계 a)부터 e)를 반복하는 단계를 포함하는 비디오 디코딩 방법.
10. 제9항에 있어서, 상기 잔분 선 및 상기 잔분 열의 잔분은 상기 잔분 블록을 계산하기 위하여 사용된 상기 예측 모드와 동일한 예측 모드에 따라서 계산된 것인 비디오 디코딩 방법.
11. 제9항 또는 제10항에 있어서, 상기 수직 공간 이동 및 상기 수평 공간 이동은 위상 상관관계에 의해 결정되고(1026), 상기 공간 이동들은 주 정점이라 불리는 최대 상관관계 정점에 대응하는 것인 비디오 디코딩 방법.
12. 제11항에 있어서, 상기 단계 d)와 단계 e) 사이에, 상기 주 정점과 상기 주 정점을 둘러싸는 상관관계 정점으로부터 무게중심을 계산함으로써 각각 수평 서브픽셀 이동과 수직 서브픽셀 이동을 결정하는 단계(1027)를 포함하되, 상기 수평 기저 함수는 상기 수평 공간 이동과 상기 수평 서브픽셀 이동의 합과 동등한 이동으로 재위상화되며(1028), 상기 수직 기저 함수는 상기 수직 공간 이동과 상기 수직 서브픽셀 이동의 합과 동등한 이동으로 재위상화되는(1028) 것인 비디오 디코딩 방법.
13. 픽셀 블록으로부터 그리고 예측 모드에 따라 결정된 예측 블록으로부터 잔분 블록을 계산하는 수단(ADD1);
    상기 잔분 블록을 기저 함수의 집합에 의해 정의되는 변환을 사용하여 계수 블록으로 변환하는 수단(T); 및
    상기 계수 블록을 코딩하는 수단(Q, COD)을 포함하는, 픽셀 블록을 코딩하는 비디오 코딩 장치(CODER)로서,
    상기 비디오 코딩 장치는 상기 기저 함수를 상기 픽셀 블록의 인과적 근방구역 내에서 상기 예측 모드에 따라 계산된 잔분으로부터 재위상화하는 수단(REPHAS)을 더 포함하고, 상기 변환하는 수단(T)은 상기 재위상화된 기저 함수를 사용하는 것을 특징으로 하는 비디오 코딩 장치.
14. 제13항에 있어서, 상기 비디오 코딩 장치는 제1항 내지 제6항 중 어느 한 항에 기재된 코딩 방법의 단계들을 실행하기 위해 적응되는 것인 비디오 코딩 장치.
15. 예측 모드와 계수 블록을 디코딩하는 수단(DEC, IQ);
    기저 함수의 집합에 의해 정의된 변환을 사용하여 상기 계수 블록을 잔분 블록으로 변환하는 수단(IT); 및
    예측 모드에 따라 결정된 예측 블록으로부터 그리고 상기 잔분 블록으로부터 상기 픽셀 블록을 재구성하는 수단(ADD3)을 포함하는, 비디오 디코딩 장치(DECODER)로서,
    상기 비디오 디코딩 장치는, 상기 픽셀 블록의 인과적 근방구역 내에서 상기 예측 모드에 따라 계산된 잔분으로부터 상기 기저 함수를 재위상화하는 수단(REPHAS)을 더 포함하고, 상기 변환 수단(T)이 상기 재위상화된 기저 함수를 사용하는 것을 특징으로 하는 비디오 디코딩 장치.
16. 제15항에 있어서, 상기 비디오 디코딩 장치는 제7항 내지 제12항 중 어느 한 항에 기재된 디코딩 방법의 단계들을 실행하기 위해 적응되는 것인 비디오 디코딩 장치.

Images