KR20130029694A - 인트라 모드에서의 색차 예측 블록 생성 방법 - Google Patents

Abstract

본 발명에 따른 색차 인트라 블록 생성 방법은 현재 블록의 색차 인트라 예측 모드를 복원하고, 상기 복원된 색차 인트라 예측 모드에 따라 색차 예측 블록을 생성하고, 색차 잔차 블록을 복원하고, 상기 색차 예측 블록과 색차 잔차 블록을 이용하여 색차 블록을 생성한다.
따라서, 색차 모드에서의 예측 모드 부호화 방식에 대응하는 예측 모드 복호화 방식을 제공할 뿐 아니라, 원본 영상에 가까운 예측 블록을 생성함으로써 부호화량을 줄이는 부호화방식에 대응하는 복호화 방식을 제공하여, 동영상 부호화/복호화시의 고성능 압축 및 재생효율을 발휘하도록 하는 효과가 있다.

Description

인트라 모드에서의 색차 예측 블록 생성 방법{METHOD FOR GENERATING CHROMA PREDICTION BLOCK IN INTRA MODE }

본 발명은 인트라 모드에서의 색차 블록 생성 방법에 관한 것으로, 더욱 상세하게는 색차 인트라 예측 모드를 복원하고, 이를 이용하여 원신호에 가까운 색차 예측 블록을 생성하는 인트라 모드에서의 색차 예측 블록 생성 방법에 관한 것이다.

MPEG-1, MPEG-2, MPEG-4 H.264/MPEG-4 AVC(Advanced Video coding)와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처를 매크로 블록으로 나눈다. 그리고, 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 이용해 각각의 매크로 블록을 부호화한다.

이 중에서 인트라 예측은 현재 픽처(picture)의 블록을 부호화하기 위해서 참조 픽처를 참조하는 것이 아니라, 부호화하려는 현재 블록과 공간적으로 인접한 화소값을 이용하여 부호화를 수행한다. 우선, 인접한 화소값을 이용하여 원본 매크로 블록과 비교하여 왜곡이 적은 인트라 예측 모드를 선택한다. 다음으로, 선택된 인트라 예측 모드 및 인접한 화소값을 이용하여 부호화하려는 현재 블록에 대한 예측값을 계산하고, 예측값과 원본 현재 블록의 화소값의 차이를 구한 후 이를 변환부호화, 양자화, 엔트로피 부호화를 통해 부호화한다. 그리고, 예측 모드도 부호화된다.

종래 기술에 따른 색차 인트라 예측 모드는 4개로 한정되어 있다. 이에 따라 색차 인트라 예측의 정확도가 떨어지게 되는 문제점이 있다.

따라서, 기존의 인트라 예측 모드를 부호화하는 방법보다 효과적인 색차 블록에 대한 인트라 예측 모드의 도입, 인트라 예측 모드를 부호화하는 방식이 필요하고, 이에 대응하여 효과적으로 인트라 예측 모드를 복호화하여 복원블록을 생성하는 방식이 필요하다.

본 발명이 이루고자 하는 목적은 인트라 예측 모드 따라 원본 영상과 유사한 색차 예측 블록을 생성하고, 잔차신호를 복호화하여 잔차 블록을 생성하고, 상기 생성된 잔차 블록과 예측 블록을 이용하여 복원블록을 생성하는 방법을 제공하는데 있다.

본 발명에 따른 색차 인트라 예측 블록 생성 방법은 현재 블록의 색차 인트라 예측 모드를 복원하고, 상기 복원된 색차 인트라 예측 모드에 따라 색차 예측 블록을 생성하고, 색차 잔차 블록을 복원하고, 상기 색차 예측 블록과 색차 잔차 블록을 이용하여 색차 블록을 생성한다.

본 발명에 따른 색차 인트라 블록 생성 방법은 현재 블록의 색차 인트라 예측 모드를 복원하고, 상기 복원된 색차 인트라 예측 모드에 따라 색차 예측 블록을 생성하고, 색차 잔차 블록을 복원하고, 상기 색차 예측 블록과 색차 잔차 블록을 이용하여 색차 블록을 생성한다.

따라서, 색차 모드에서의 예측 모드 부호화 방식에 대응하는 예측 모드 복호화 방식을 제공할 뿐 아니라, 원본 영상에 가까운 예측 블록을 생성함으로써 부호화량을 줄이는 부호화방식에 대응하는 복호화 방식을 제공하여, 동영상 부호화/복호화시의 고성능 압축 및 재생효율을 발휘하도록 하는 효과가 있다.

도 1은 본 발명에 따른 색차 인트라 예측에 사용되는 참조 화소들의 위치를 나타내는 도면이다.
도 2는 본 발명에 따른 휘도 방향성 인트라 예측 모드를 나타내는 도면이다.
도 3은 본 발명에 따른 LM 모드에서의 휘도 참조화소의 제1 서브 샘플링 형태를 나타내는 도면이다.
도 4는 본 발명에 따른 LM 모드에서의 휘도 참조화소의 제2 서브 샘플링 형태를 나타내는 도면이다.
도 5는 본 발명에 따른 휘도 블록의 복원영상을 서브 샘플링하는 형태를 나타내는 도면이다.
도 6은 본 발명에 따른 휘도 신호의 동영상 부호화 장치를 나타내는 블록도이다.
도 7은 본 발명에 따른 색차 신호의 동영상 복호화 장치를 나타내는 블록도이다.

이하, 본 발명의 여러 가지 실시예들을 예시적인 도면을 통해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

1.색차 인트라 예측 모드

본 발명에 따른 색차 블록에 허용 가능한 인트라 예측 모드로는 Luma 모드, LM 모드, DC 모드, planar 모드, Vertical 모드, Horizontal모드 등이 있다.

색차 블록의 허용 가능한 모드는 대응하는 휘도 블록의 형태 및 휘도 블록의 인트라 예측 모드에 따라 적응적으로 결정될 수 있다.

1)휘도 블록이 SDIP가 아닌 경우

색차 블록의 허용 가능한 모드는 Luma 모드, LM 모드, DC 모드, planar 모드, Vertical 모드, Horizontal모드가 될 수 있다. 부호화기는 현재 색차 블록의 인트라 예측 모드에 대응하는 인덱스를 결정하고, 결정된 인덱스에 대응하는 코드워드를 복호기로 전송한다.

모드들 사이에 인덱스를 부여하는 순서는 다음과 같다. 여기서 작은 값을 갖는 인덱스에 짧은 코드워드가 할당된다. 즉, 작은 값을 갖는 인덱스일수록 우선순위가 높다. 상기 관계는 테이블로 설정될 수 있다.

(1)Luma 모드, LM 모드, DC 모드, planar 모드, vertical 모드, Horizontal 모드 순서

(2)Luma 모드, LM 모드, planar 모드, DC 모드, vertical 모드, Horizontal 모드 순서

(3)Luma 모드, LM 모드, vertical 모드, Horizontal 모드, DC 모드, planar 모드 순서

(4)Luma 모드, LM 모드, vertical 모드, Horizontal 모드, planar 모드, DC 모드 순서

상기와 같은 순서들 중 하나로 인덱스를 부여한다. 즉, luma mode에 인덱스 0(또는 최우선순위)을 할당하고, 다음 순서들로 인덱스 1~5를 할당할 수 있다. 그러나, Luma 모드가 DC 모드, planar 모드, vertical 모드 또는 horizontal mode일 경우에는 후순위의 중복되는 모드는 삭제된 후에 모드 인덱스가 부여된다. 따라서, Luma 모드에 따라 chroma 모드의 인덱스(또는 우선순위)가 달리 결정될 수 있다. Luma 모드가 DC 모드, planar 모드, vertical 모드 및 horizontal mode가 아닌 경우에는 상기 순서대로 적용된다.

Luma 모드가 DC 모드, planar 모드, vertical 모드 또는 horizontal mode일 경우와, 그렇지 않은 경우에 따라 서로 다른 엔트로피 부호화 테이블이 설정될 수 있다. 즉, 전자의 경우에는 5개의 인덱스와 이에 대응하는 코드워드를 갖는 테이블, 후자의 경우에는 6개의 인덱스와 이에 대응하는 코드워드를 갖는 테이블을 이용하여 모드 부호화가 수행될 수 있다. 또한, 후자의 하나의 테이블로 이용할 수도 있다.

예를 들어, (3)의 경우이고, luma mode가 DC 모드인 경우에는 다음과 같은 테이블을 이용할 수 있다.

Intra chroma prediction mode	codeword index	Codeword
Luma Mode	0	0
LM mode	1	10
vertical	2	110
horizontal	3	1110
planar	4	1111

LM 모드는 시퀀스 또는 픽쳐 단위로 ON/OFF 할 수 있다. 따라서, LM 모드가 off 된 경우에는 LM 모드를 제외하므로, Luma 모드가 DC 모드, planar 모드, vertical 모드 또는 horizontal mode일 경우에는 4개의 인덱스와 이에 대응하는 코드워드를 갖는 테이블, 그렇지 않을 경우에는 5개의 인덱스와 이에 대응하는 코드워드를 갖는 테이블을 이용하여 모드 부호화가 수행될 수 있다. 또한, 후자의 하나의 테이블을 이용할 수도 있다.

예를 들어, LM 모드가 off 되고, (3)의 경우이고, luma mode가 dc 모드인 경우에는 다음과 같은 테이블이 사용될 수 있다.

Intra chroma prediction mode	codeword index	Codeword
Luma Mode	0	0
Vertical	1	10
Horizontal	2	110
planar	3	111

상기 순서들 중, luma 모드와 LM 모드의 우선순위가 바뀔 수 있다. 이에 따라 대응하는 인덱스 및 코드워드도 달라질 수 있다.

한편, 참조화소들 중 일부가 이용가능하지 않은 경우, 허용되지 않는 모드들이 존재한다. 예를 들어 상측 화소들이 존재하지 않는 경우에는 Luma 모드가 상측 방향성 모드일 경우, 또는 수평 모드 상측 방향의 모드들일 경우, 색차 블록의 luma 모드가 이용가능하지 않는다. 또한, planar 모드도 존재하지 않는다. 이와 같이, 일부 모드들이 존재하지 않는 경우에는 VLC 테이블에서 이를 삭제하고 허용 가능한 모드들만으로 재정렬하여 이용할 수 있다.

2)휘도 블록이 SDIP인 경우

휘도 블록이 SDIP인 경우에는 색차 블록의 Luma 모드는 1~4개의 luma 모드값을 가질 수 있다. 따라서, 상기 색차 블록에 대응하는 휘도 블록의 대응하는 luma 모드값의 수에 따라 서로 다른 인덱스가 각 색차 블록마다 적용될 수 있다.

예를 들어, 대응하는 휘도 블록의 4개의 luma 모드값이 동일하면(즉, 하나의 luma 모드가 존재)하면, 상기한 휘도 블록이 SDIP가 아닌 경우와 동일한 방식이 적용될 수 있다. 이 경우, luma 모드보다 LM 모드가 높은 우선순위를 가질 수 있다.

대응하는 휘도 블록의 3개의 luma 모드값(luma mode1)이 동일하고, 1개의 luma 모드값(luma mode2)이 다르면, luma mode2는 제외시킨 후, 상기 luma mode1을 상기한 휘도 블록이 SDIP가 아닌 경우의 luma mode에 적용할 수 있다. 이 경우, luma 모드보다 LM 모드가 높은 우선순위를 가질 수 있다.

대응하는 휘도 블록의 2개의 luma 모드값(luma mode1)이 동일하고, 2개의 luma 모드값(luma mode2)이 동일하면(단, luma mode1과 luma mode2는 다름), 상기 luma mode1, luma mode2를 순서대로 추가하여 상기한 휘도 블록이 SDIP가 아닌 경우의 luma mode에 적용할 수 있다. 추가하는 순서는 모드번호가 낮은 것을 앞에 추가할 수 있다. 또는 최상측 또는 최좌측의 파티션의 luma 모드값을 앞에 추가할 수 있어 이 경우, luma 모드보다 LM 모드가 높은 우선순위를 가질 수 있다.

대응하는 휘도 블록의 2개의 luma 모드값(luma mode1)이 동일하고, 나머지 2개가 다른 모드값(luma mode2, luma mode3)을 갖는 경우에는 luma mode1만을 추가할 수 있다. 이 경우, luma 모드보다 LM 모드가 높은 우선순위를 가질 수 있다.

대응하는 휘도 블록의 4개의 luma 모드값이 모두 다른 경우에는 색차블록도 SDIP 방식을 이용하여 인트라 예측을 수행하는 모드(Luma Smode)가 추가될 수 있다. 상기 모드는 시퀀스 또는 픽쳐 단위마다 추가 여부가 결정될 수 있다. 상기 모드는 휘도 파티션의 인트라 예측 모드를 색차 파티션에 적용하여 인트라 예측을 수행한다. 이 경우, luma 모드보다 LM 모드가 높은 우선순위를 가질 수 있다.

이 경우 Luma Smod는 미리 정해진 크기 이상의 색차 블록에 대해서만 적용하는 것이 바람직하다. 작은 블록에서는 복잡도가 증가하므로 큰 블록에만 적용하는 것이 타당하다. 상기 미리 정해진 크기는 8x8 또는 16x16인 것이 바람직하다.

2.색차 참조 화소 생성

현재의 표준관련 문서들에서는 색차 참조화소 생성여부에 대한 논의가 없다. 그러나, 색차 블록의 인트라 예측의 경우에도 색차 블록의 인트라 예측에서 참조 화소를 생성하여 예측 블록을 생성하는 것이 부호화 효율을 높일 수 있다.

또한, 색차 블록의 위치 및/또는 luma mode에 따라 luma mode를 사용할 수 없는 경우가 존재한다. 예를 들어, 색차 블록이 슬아이스 경계에 접하는 경우에는 도 1의 상측의 색차 참조화소들(영역 C, D 및 (-1, -1) 위치의 참조 화소)가 존재하지 않는다. 이 경우, luma 모드가 상측의 luma 참조 화소를 이용하는 모드인 경우에는 색차블록의 경우 luma mode를 이용할 수 없다. 현재 색차 블록이 LCU의 우측에 접하는 경우에는 현재 색차 블록의 상측의 우측에 대응하는 참조 화소들(영역 D)이 존재하지 않는다. 이 경우에는 luma 모드가 수직 모드 우측의 방향성 모드들인 경우에는 색차 블록의 luma mode가 존재하지 않는 문제가 발생한다.

이와 같은 문제들을 해결하기 위해, 색차 블록의 유효하지 않은 참조 화소들을 생성하는 것이 필요하다.

이를 위해 다음의 과정을 수행할 수 있다. 아래의 과정은 부호화 및 복호화 과정에 모두 적용 가능하다.

먼저, 이용 가능한 색차 참조 화소들을 유도한다. 그리고, 이용 가능하지 않은 참조 화소들이 존재할 경우에는 이용 가능한 참조 화소들을 이용하여 이용 가능하지 않은 위치의 참조 화소들을 생성한다.

도 1에 도시된 바와 같이, 현재 색차 블록의 상측 참조 화소들은 상측 참조 화소들, 좌측 참조 화소들 및 코너 참조화소로 구성된다. 현재 색차 블록의 상측 참조 화소들은 현재 색차 블록의 가로 길이의 2배에 걸쳐 존재하는 화소들(영역 C, D)이고, 현재 색차 블록의 좌측 화소들은 좌측 참조 화소들은 현재 색차 블록의 세로길이의 2배에 걸쳐 존재하는 화소들(영역 A, B)이다. 현재 색차 블록의 코너 참조화소는 (x=-1, y=-1)에 위치한다.

현재 색차 블록이 픽쳐 또는 슬라이스의 상측 경계에 위치하는 경우에는 현재 색차 블록의 상측 참조화소들(영역 C, D)과 코너 참조화소가 존재하지 않는다. 마찬가지로, 현재 색차 블록이 픽쳐 또는 슬라이스의 좌측 경계에 위치하는 경우에는 좌측 참조 화소들(영역 A, B)과 코너 참조화소가 존재하지 않는다. 이와 같이 어느 한쪽의 참조화소들 및 코너 참조화소가 이용 가능하지 않을 경우, 가장 인접한 이용 가능한 참조 화소를 복사하여 참조 화소를 생성할 수 있다. 전자의 경우, 가장 인접한 이용 가능한 참조 화소는 좌측 가장 위쪽의 참조화소(즉, 영역 A의 가장 위쪽 참조화소)이다. 후자의 경우, 가장 인접한 이용 가능한 참조 화소는 상측 가장 왼쪽의 참조화소(즉, 영역 C의 가장 왼쪽의 참조화소)이다.

다음으로, 부호화할 현재 색차 블록의 상측 또는 좌측의 참조 화소들 중 일부분이 이용 가능하지 않은 경우에 대해 설명한다. 이용 가능하지 않은 참조화소를 기준으로 1) 한쪽 방향으로만 이용 가능한 참조 화소들이 존재하는 경우와, 2) 양쪽 모두 이용 가능한 참조 화소들이 존재하는 경우의 2가지가 존재한다.

먼저, 이용 가능하지 않은 참조화소를 기준으로 한쪽 방향으로만 이용 가능한 참조 화소들이 존재하는 경우에 대해 설명한다.

현재 색차 블록의 상측에 인접하는 참조 화소들(영역 C)은 유효하나 우상측 참조 화소들(영역 D)이 유효하지 않을 수 있다. 현재 색차 블록이 픽쳐 또는 슬라이스의 우측 경계 또는 최대 코딩 유닛의 우측 경계에 위치하는 경우에는 영역 D의 참조화소들이 이용 가능하지 않다. 이 경우에는 하나 이상의 상측 참조화소들을 이용하여 우상측 참조 화소들(영역 D)을 생성한다. 바람직하게는 상측 최우측 참조 화소를 복사할 수 있다. 또한, 2개 이상의 상측 참조 화소를 이용하여 우상측 참조 화소들을 생성할 수도 있다.

현재 예측 블록의 좌측에 인접하는 참조 화소들(영역 A)은 유효하나 좌하측 참조 화소들(영역 B)이 유효하지 않을 수 있다. 현재 색차 블록이 픽쳐 또는 슬라이스의 아래측 경계 또는 최대 코딩 유닛의 아래측 경계에 위치하는 경우에는 영역 B의 참조화소들이 이용 가능하지 않다. 이 경우에는 하나 이상의 좌측 참조 화소들을 이용하여 좌하측 참조 화소들(영역 B)을 생성한다. 바람직하게는 좌측 최하측 참조 화소를 복사할 수 있다. 또한, 2개 이상의 좌측 참조 화소를 이용하여 좌하측 참조 화소들을 생성할 수도 있다.

상기 경우와 같이, 이용 가능하지 않은 참조화소를 기준으로 한쪽 방향으로만 이용 가능한 참조 화소들이 존재하는 경우에는 가장 가까운 위치에 존재하는 이용 가능한 참조 화소를 복사하여 참조 화소들을 생성할 수 있다. 또 다른 방법으로 가장 가까운 위치에 존재하는 복수개의 이용 가능한 참조 화소들을 이용하여 참조 화소들을 생성할 수도 있다.

다음으로, 이용 가능하지 않은 참조화소를 기준으로 양쪽 방향 모두 이용 가능한 참조 화소들이 존재하는 경우에 대해 설명한다.

예를 들어, 현재 색차 블록이 슬라이스의 상측 경계에 위치하고, 상기 현재 색차 블록의 우상측 색차 블록이 이용 가능한 경우, 현재 색차 블록의 영역 C에 대응하는 참조 화소들은 이용 가능하지 않지만, 영역 A 및 영역 D에 위치하는 참조화소들은 이용 가능하다. 이와 같이 양쪽 모두 이용 가능한 참조화소가 존재하는 경우에는, 각 방향으로 가장 가까운 위치에 존재하는 이용 가능한 참조화소 1개씩을 선택하여, 이들(즉, 영역 A의 가장 위쪽 참조화소와 영역 D의 가장 왼쪽 참조화소)을 이용하여 이용 가능하지 않은 위치의 참조화소들을 생성한다.

상기 2개 참조 화소(각 방향으로 가장 가까운 위치에 존재하는 화소)의 반올림한 평균값을 참조화소값으로 생성할 수도 있다. 그러나, 상기 2개의 참조 화소값의 차이가 클 경우가 발생할 가능성이 있으므로, 선형 보간 방법을 사용하여 참조 화소를 생성할 수도 있다. 구체적으로 이용 가능한 2개의 참조 화소들과의 위치를 고려하여 현재 위치의 이용 가능하지 않은 참조 화소를 생성할 수 있다.

한편, 색차 블록의 인트라 예측의 경우에도 색차 블록의 인트라 예측에서 참조 화소를 생성하여 예측 블록을 생성하는 것이 복잡도를 높일 수 있으므로, 참조 화소를 생성하지 않을 수도 있다.

첫번째로, 현재 색차 블록의 이용 가능하지 않은 참조 화소들이 존재하는 경우에는 luma 모드를 off 시킬 수 있다.

두번째로, 현재 색차 블록이 슬라이스의 상측 경계 또는 좌측 경계에 있을 때 luma mode를 off 시킬 수 있다.

세번째로, 이용 가능한 luma mode인지를 판단하여 luma mode를 on/off 시킬 수 있다. 즉, 현재 색차 블록이 상측 경계에 위치하고, luma mode가 horizontal인 경우에는 luma 모드를 이용할 수 있으므로, luma 모드를 on 시키고, luma 모드가 vertical 인 경우에는 색차 블록의 luma mode가 이용 가능하지 않으므로 off시킬 수 있다.

네번째로 항상 luma 모드를 on 시켜 놓고, 색차 블록의 모드를 결정할 수 있다.

3.색차 참조 화소 필터링

색차 참조 화소들에 대해서는 색차 인트라 예측 모드에 따라 적응적으로 필터링을 할 수 있다.

예를 들어, 색차 블록의 인트라 예측 모드가 DC, Vertical, Horizontal 모드의 경우에는 필터링하지 않는다.

Planar 모드의 경우에는 색차 블록의 크기에 따라 적응적으로 필터링할 수 있다. 예를 들어, 색차 블록의 크기가 4x4보다 큰 경우에는 참조 화소를 필터링할 수 있다.

Luma 모드의 경우에는 luma mode에 따라 적응적으로 할 수 있다. 즉, 휘도 블록의 참조 화소들이 luma mode 및 휘도 블록의 크기에 따라 적응적으로 필터링될 경우, 색차 블록의 참조 화소들도 동일하게 적응적으로 필터링될 수 있다. 이 경우, 대응하는 휘도 블록의 참조 화소가 필터링될 경우에 색차 블록의 참조 화소를 필터링할 수도 있고, 휘도 블록의 참조 화소 필터링 조건을 그대로 색차 화소에 적용할 수도 있다. 이 경우, 4:2:0 포맷의 경우, 색차 블록의 크기가 휘도 블록의 크기의 1/4이므로 이를 기준으로 휘도 참조 화소의 필터링 조건을 색차 참조 화소에 적용할 수도 있다.

필터링이 수행될 경우, 현재 색차 블록의 상측의 참조화소들 중 가장 오른쪽의 참조 화소(즉 (x=2N-1, y=-1)에 위치하는 참조 화소)와 현재 예측 유닛의 좌측의 참조 화소들 중 가장 아래쪽에 위치하는 참조 화소(즉 (x=-1, y=2N-1)에 위치하는 참조 화소)는 필터링 하지 않고, 나머지 화소들은 이웃하는 2개의 화소들을 이용하여 필터링한다. 상기 필터링은 참조화소들 사이의 화소값의 변화량을 스무딩(smoothing)하기 위한 것으로, low-pass filter를 적용한다. Low-pass filter는 3-tap 필터인 [1, 2, 1] 또는 5-tap 필터인 [1, 2, 4, 2, 1]일 수 있다.

수직 또는 수평 모드와, 상기 수평 또는 수직 모드에 대해 45° 각도를 갖는 모드들 사이에 존재하는 모드들에 대해서는 색차 블록의 크기에 따라 적응적으로 필터를 적용한다. 이 경우, 상기 수평 또는 수직 모드에 대해 45° 각도를 갖는 모드에 인접하는 미리 정해진 개수의 모드들에서만 필터를 적용할 수 있다. 휘도의 방향성 인트라 예측 모드의 수가 동일한 대응하는 색차 블록 또는 대응하는 크기의 색차 블록들에 대해서는, 상기 미리 정해진 개수는 색차 블록의 크기가 클수록 증가한다. 예를 들어, 8x8 예측 유닛에 대해서는 수평 또는 수직 모드에 대해 45° 각도를 갖는 모드와 이에 인접하는 제1 개수의 모드에서 필터링을 수행하고, 16x16 예측 유닛에 대해서는 수평 또는 수직 모드에 대해 45° 각도를 갖는 모드와 이에 인접하는 제2 개수의 모드에서 필터링을 수행하고, 32x32 예측 유닛에 대해서는 수평 또는 수직 모드에 대해 45° 각도를 갖는 모드와 이에 인접하는 제3 개수의 모드에서 필터링을 수행한다. 여기서, 제1개수는 제2개수보다 작거나 같고, 제2개수는 제3개수보다 작거나 같다.

LM 모드의 경우에도 색차 블록의 참조 화소들을 필터링할 수 있다. 휘도 참조 화소와 색차 참조화소의 상관성을 높이기 위해 휘도 참조 화소의 서브 샘플링 형태에 따라 색차 화소를 필터링할수도 있다.

한편, 복잡도 감소를 위해, 색차 화소는 모두 필터링을 수행하지 않을 수도 있다. 또는 luma 모드의 경우에만 적응적으로 참조 화소를 필터링할 수도 있다.

색차 참조 화소들 중 일부가 이용 가능하지 않은 경우, 이용 가능하지 않는 참조 화소들을 생성하지 않는 경우에는 색차 참조 화소 필터링을 하지 않는 것이 바람직하다.

4.색차 예측 블록 생성

DC 모드의 경우에는 예측 블록이 참조화소들의 평균값으로 이루어지기 때문에 참조화소들과 인접하는 예측 블록 내의 화소 사이에는 단차가 발생할 수 있다. 따라서, 참조화소들과 인접하는 예측 블록 내의 상측 라인의 화소들 및 좌측 라인의 화소들은 참조화소들을 이용하여 필터링할 수 있다. 구체적으로, 예측 블록 내의 좌상측 코너에 위치하는 화소는 인접하는 참조화소가 2개(상측 참조화소와 좌측 참조화소)이므로, 3-tap 필터를 이용하여 상기 좌상측 코너의 화소를 필터링(또는 스무딩)한다. 그리고, 그 이외의 화소들(즉, 예측 블록 내의 상측 라인의 화소들 및 좌측 라인의 화소들)은 인접하는 참조화소가 1개이므로 2-tap 필터를 이용하여 필터링한다. 나머지 위치의 예측 화소들은 참조 화소들의 평균값으로 결정된다. 상기 필터링은 이용되는 색차 참조화소들이 모두 이용 가능한 경우에 적용할 수 있다. 즉, DC 모드의 예측 블록에 사용되는 색차 참조화소들 중 일부가 원래 이용 가능하지 않는 경우에는 필터링을 수행하지 않을 수 있다. 또한, 소정 크기 이하의 색차 블록에 대해서만 예측 화소들의 일부를 필터링할 수도 있다.

Planar 모드의 경우에는 휘도 화소와 동일한 방식으로 예측 블록을 생성한다. 구체적인 방법은 다음과 같다.

predSamples[　x,　y　] = (

(　nS　- 1　- x　)　*　p[　-1,　y　]　+　(　x　+　1　)　*　p[　nS　- 1　,-1　]　+　

(　nS　- 1　- y　)　*　p[　x　,-1　]　+　(　y　+　1　)　*　p[　-1,　nS　-1　]　+　nS　)　>>　(　k　+　1　)

with x,　y　=　0..nS-1 where k　=　log₂(　nS　)

한편, planer 모드의 경우 코너 참조 화소, 좌측 참조 화소 및 상측 참조 화소를 이용하여 예측 블록의 참조 화소를 생성할수도 있다. 생성하고자 하는 참조 화소의 위치가 (a, b)인 경우 생성되는 참조 화소 X(a, b)는 코너 참조 화소 C(x=-1, y=-1), 상측 참조 화소 T(x=a, y=-1) 및 좌측 참조 화소 L(x=-1, y=b)를 이용할 수 있다. 플래너 모드에서는 예측 블록을 필터링하지 않는다.

Vertical 모드에서는 상측 참조 화소를 그대로 복사할 경우, 예측 블록 내의 좌측 화소들과 이에 인접하는 좌측 참조화소들 사이에 correlation이 떨어지게 된다. 상측으로부터 멀어질수록 correlation이 감소하게 된다. 마찬가지로, 수평 모드(모드 번호 1)에서는 예측 블록 내의 상측 화소들과 상측 참조픽셀 사이의 관계도 우측으로 갈수록 correlation이 떨어지게 된다. 이로 인해 수직 모드에서는 예측 블록의 아래쪽으로 갈수록 원본 예측 유닛과의 차이값이 커지게 된다. 따라서, 상기 차이값을 줄이기 위해 수직 모드인 경우에는 예측 블록의 좌측 부분의 픽셀들을 예측 블록 생성에 이용되지 않은 좌측 참조픽셀들을 이용하여 필터링할 수 있다. 마찬가지로, 수평 모드인 경우에는 예측 블록의 상측 부분의 픽셀들을 예측 블록 생성에 이용되지 않은 상측 참조픽셀들을 이용하여 필터링할 수 있다.

Luma 모드의 경우에는 휘도 블록의 luma mode에 따라 적응적으로 예측 블록을 생성하고, 생성된 예측 블록의 일부 화소들을 필터링할 수 있다. luma 모드에서의 모드번호 0과 6 사이의 방향성을 갖는 인트라 예측 모드들(모드번호 22, 12, 23, 5, 24, 13, 25) 및 모드번호 6을 갖는 인트라 예측 모드의 경우, 현재 색차 블록의 상측 참조픽셀들만을 이용하여 예측 블록이 생성되면, 참조픽셀과 인접하는 생성된 예측블록의 좌측 라인의 픽셀들과 상기 참조픽셀 사이의 단차는 아래쪽으로 갈수록 커질 수 있다. 마찬가지로, luma 모드에서의 모드번호 1과 9 사이의 방향성을 갖는 인트라 예측 모드(모드번호 30, 16, 31, 8, 32, 17, 33)들 및 모드번호 9를 갖는 인트라 예측 모드의 경우, 현재 색차 블록의 좌측 참조픽셀들만을 이용하여 예측 블록이 생성되면, 참조픽셀과 인접하는 생성된 예측블록의 상측 라인의 픽셀들과 상기 참조픽셀 사이의 단차는 오른쪽으로 갈수록 단차가 커질 수 있다.

따라서, 상기 단차를 보완하기 위해 DC 이외의 방향성 모드에 대해서도 적응적으로 예측 블록의 일부 화소들을 필터링할 수 있다. 또는 상기 단차를 보완하기 위해 예측 블록 생성을 위해 상측 및 좌측 참조픽셀들을 모두 이용할 수도 있다.

luma 모드에서의 모드번호가 6일 경우에는 상측 참조화소들을 이용하여 예측 블록을 생성하고, 상기 좌측 참조화소와 인접하는 생성된 예측 블록내의 좌측 화소들을 필터링할 수 있다. 현재 색차 블록의 크기에 따라 생성된 예측 블록내의 필터링하는 예측블록에 화소의 영역이 달라질 수 있다. 즉, 색차 블록의 크기에 따라 필터링 되는 라인의 수와 라인 내에서의 필터링되는 픽셀들의 비율이 달라질 수 있다. 예측 유닛의 크기가 커질수록 필터링 되는 라인의 수가 같거나 증가할 수 있다. 또한, 라인 내에서의 필터링되는 픽셀들의 비율이 감소할 수 있다. 또한, 참조픽셀로부터 멀어질수록 필터링 강도를 낮출 수 있다.

luma 모드에서의 모드번호 0, 6 사이의 방향성을 갖는 모드들 중 모드 번호 6에 가까운 방향성을 갖는 소정 개수의 모드들에 대해서도 모드번호 6와 동일한 방법으로 필터링을 수행할 수 있다. 이 경우 모드 번호 6으로부터 먼 모드일수록 멀어질수록 필터링 해야 할 화소의 수가 같거나 작아질 수 있다. 모드번호 0, 6 사이의 방향성을 갖는 모드들 중 모드 번호 0에 가까운 방향성을 갖는 소정 개수의 모드들에 대해서는 수직 모드와 동일한 방법으로 필터링이 수행될 수도 있다.

luma 모드에서의 모드번호가 9인 경우에도 모드번호 6과 동일한 방법을 적용한다. 그리고, 상기 모드번호 1, 9 사이의 방향성을 갖는 모드들에 대해서는 모드번호 0과 6 사이의 방향성을 갖는 모드들과 동일한 방법 적용한다.

한편, 모드번호 6 및 이에 인접한 소정 개수의 모드들에 대해서는 상기한 예측 블록의 일부 화소들을 필터링하는 방법을 적용하지 않고, 상측 및 좌측 참조픽셀들을 모두 이용하여 예측 블록을 생성할 수 있다. 마찬가지로 모드번호 9와 이에 인접한 소정 개수의 모드들에 대해서도 동일한다.

상기한 예측 블록의 일부 화소들을 필터링하는 방법은, 예측 블록의 생성시에 필터링 효과와 동일한 효과를 갖도록 예측 블록의 화소의 위치(즉, 필터링할 화소의 위치)에 따라 서로 다른 방식으로 예측 픽셀을 생성할 수 있다.

한편, 휘도 블록이 8x8(모드수 35개)이고 색차 블록이 4x4인 경우(모드수 10개)에는 예측 블록의 생성을 색차 블록의 크기에 대응하는 모드 수로 매핑하여 색차 예측 블록을 생성할 수도 있다.

다음으로 LM 모드의 예측 블록 생성 방법에 대해 설명한다.

색차성분과 휘도성분은 특정한 영역에서는 다음의 식과 같은 관계를 가질 수 있다.

여기서

는 예측된 색차성분 픽셀값이고,

'은 재생된 휘도성분을 서브샘플링한 값이다. 이러한 상관성이 있는 영역에서는 상기 상관성을 이용하는 것이 색차성분의 부호화 효율을 향상시킬 수 있다. 두 성분간의 상관성은 매개변수가 각각 a와 b인 선형관계로 표현될 수 있다. 색차성분의 예측블럭을 생성할 때, 이미 재생되어 있는 주변블럭의 휘도성분과 색차성분을 사용하여 a와 b를 구하고, 이 매개변수를 색차성분의 예측블럭 생성에 활용한다.

먼저, 현재 색차 블록에 대응하는 luma 대응 블록의 참조 화소를 색차 포맷에 따라 서브 샘플링한다. 도 3은 4:2:0 컬러포맷에 대한 Y 성분의 서브샘플링을 보여주는 제1 실시예이다. 예를 들어, 색차 포맷이 4:2:0인 경우에는 도 3에 도시된 바와 같이, 4개의 휘도 참조 화소들을 1개의 휘도 화소로 서브 샘플링할 수 있다. 이 경우, 서브 샘블핑된 휘도 참조 화소는 다음의 수식을 통해 구할 수 있다.

그러나, 이 경우 상측 휘도 성분을 2라인 저장해야 하므로, 2라인 버퍼를 유지해야 하기 때문에 부호화기 및 복호화기 모두 하드웨어가 복잡해지는 문제가 발생한다. 따라서, 도 4에서와 같이, 하나의 휘도의 참조 화소 라인만을 이용할 수도 있다.

이 경우, 좌측의 서브 샘블핑된 휘도 참조 화소는 다음의 수식을 통해 구할 수 있다.

그러나, 상측의 서브 샘플링된 휘도 참조 화소는 수직 방향으로는 서브 샘블링을 할 수 없으므로, 수평방향으로만 서브 샘블링한 값이다. 따라서, 다음과 같은 수식을 통해 구할 수 있다. 즉, 서브 샘블링된 휘도의 참조 화소를 구하기 위해 수평방향으로의 [1 0]필터를 사용할 수 있다.(제 2실시예)

또는 상기 수직 방향으로의 서브 샘플링을 수행하지 않았기 때문에 발생하는 문제점들을 보완하기 위해 다음의 수식을 통해 구할 수 있다. 즉, 서브 샘블링 휘도의 참조 화소를 구하기 위해 수평 방향으로의 [1 2 1]필터를 사용할 수 있다(제3실시예).

한편, 서브 샘블링된 휘도의 참조 화소를 구하기 위해 [1 1] 필터 또는 [3 1] 필터를 사용할 수도 있다. 이 경우, 각각 다음의 수식을 사용할 수 있다(제4 및 제5 실시예).

한편, 상기에서 제2 내지 제4 실시예는 상측의 휘도 참조 화소들 중 하나의 휘도의 참조 화소 라인만을 이용하는 경우에 적용 가능하다. 이러한 경우를 모든 휘도 블록에 적용할 수도 있지만, 휘도 블록이 LCU 라인의 상측에 접한 경우에만 적용할 수도 있다. 이 명세서에서의 휘도 블록 또는 색차 블록들은 예측 블록들을 의미한다.

다음으로, 색차의 참조 화소와 상기 서브 샘플링된 휘도의 참조 화소를 이용하여 a와 b를 구한다. a와 b는 다음의 수식에 의해 구해진다. 즉, 선형 최소 자승 방식(linear least square method)을 이용한다.

그러나, 블록의 크기가 클수록, a와 b를 구하기 위한 복잡도가 증가하는 문제가 발생한다.따라서, 소정 크기 이상의 블록들에 대해서는 색차 블록의 참조 화소들을 서브 샘플링하고, 이에 대응하는 휘도 블록의 참조 화소들도 서브 샘플링하는 것이 복잡도를 낮출 수 있다. 이하 색차 블록의 크기를 기준으로 설명한다.

(실시예 1)

색차 블록의 크기가 4x4보다 큰 경우 서브 샘플링한다. 이 경우, 색차 블록의 크기가 8x8인 경우에는 색차 블록의 참조 화소들을 2:1로 서브 샘플링한다. 16x16인 경우에는 2:1 또는 4:1로 서브 샘플링한다.

색차 블록의 참조 화소들을 2:1로 서브 샘플링할 경우에는 [1 0] 필터 또는 [1 1] 필터 또는 [0 1] 필터를 이용한다. [1 0] 필터는 상측 2개의 참조 화소들 중 좌측의 값, 좌측 2개의 참조 화소들 중 아래쪽 값을 선택하는 것을 의미한다. [0 1] 필터는 상측 2개의 참조 화소들 중 우측의 값, 좌측 2개의 참조 화소들 중 위쪽 값을 선택하는 것을 의미한다. [1 1] 필터는 2개의 참조 화소들의 평균값을 의미한다. 평균값은 반올림 또는 버림할 수 있다. 또한, [1 2 1] 필터를 사용할수도 있다. 이 필터는 제3 실시예의 방식과 동일하다.

서브 샘플링된다. 좌측 참조화소들은 휘도 블록에 인접한 2번째 라인의 화소들만을 이용하여 서브 샘블링된 참조 화소들을 생성할 수 있다. 이 때 [1 1 1 1] 필터, [1 3 3 1] 필터, [0 1 1 0] 필터 등이 사용될 수 있다. 이때 첫번째 라인의 참조화소들은 이용하지 않는다. 상측 참조화소들은 휘도 블록에 인접한 1번째 라인의 화소들만을 이용하므로 [1 1 1 1] 필터, [1 3 3 1] 필터, [0 1 1 0] 필터 등이 사용될 수 있다.

색차 블록의 참조 화소들을 4:1로 서브 샘블링할 경우에는 [1 1 1 1] 필터, [1 3 3 1] 필터, [0 1 1 0] 필터들 중 하나를 이용할 수 있다.

이 경우, 휘도 블록의 좌측 참조화소들은 16:1 서브샘플링되고, 상측 참조화소들은 8:1 서브 샘플링된다. 좌측 참조화소들은 휘도 블록에 인접한 2번째 라인의 화소들만을 이용하여 서브 샘블링된 참조 화소들을 생성할 수 있다. 이 때 평균값 또는 화소들간의 가중평균을 이용하여 서브 샘플링한다. [1 0 1 0 1 0 1 0] 필터, [0 1 0 1 0 1 0 1] 필터, [1 1 1 1 1 1 1] 필터 중 하나가 사용될 수 있다. 또는 [1 1 1 1 0 0 0 0], [0 0 0 0 1 1 1 1] 필터가 사용될 수도 있다.

상측 참조화소들은 휘도 블록에 인접한 1번째 라인의 화소들만을 이용한다. 상기한좌측 참조화소의 서브샘플링 필터 중 하나가 사용될 수 있다.

한편, 휘도 블록의 좌측 및 상측 참조화소들 모두 평균값으로 서브샘블링을 수행할 수 있다. 이때 좌측은 2:1 서브샘플링의 경우 8개의 평균값이 서브 샘플링된 값일수 있다.

(실시예 2)

색차 블록의 크기가 8x8보다 큰 경우 서브 샘플링한다. 이 경우, 색차 블록의 크기가 16x16인 경우에는 색차 블록의 참조 화소들을 2:1로 서브 샘플링한다. 32x32인 경우에는 2:1 또는 4:1로 서브 샘플링한다.

색차 블록의 참조 화소들을 2:1로 서브 샘플링할 경우에는 [1 0] 필터 또는 [1 1] 필터 또는 [0 1] 필터를 이용한다. [1 0] 필터는 상측 2개의 참조 화소들 중 좌측의 값, 좌측 2개의 참조 화소들 중 아래쪽 값을 선택하는 것을 의미한다. [0 1] 필터는 상측 2개의 참조 화소들 중 우측의 값, 좌측 2개의 참조 화소들 중 위쪽 값을 선택하는 것을 의미한다. [1 1] 필터는 2개의 참조 화소들의 평균값을 의미한다. 평균값은 반올림 또는 버림할 수 있다. 또한, [1 2 1] 필터를 사용할수도 있다. 이 필터는 제3 실시예의 방식과 동일하다.

이 경우, 휘도 블록의 좌측 참조화소들은 8:1 서브샘플링되고, 상측 참조화소들은 4:1 서브 샘플링된다. 좌측 참조화소들은 휘도 블록에 인접한 2번째 라인의 화소들만을 이용하여 서브 샘블링된 참조 화소들을 생성할 수 있다. 이 때 [1 1 1 1] 필터, [1 3 3 1] 필터, [0 1 1 0] 필터 등이 사용될 수 있다. 이때 첫번째 라인의 참조화소들은 이용하지 않는다. 상측 참조화소들은 휘도 블록에 인접한 1번째 라인의 화소들만을 이용하므로 [1 1 1 1] 필터, [1 3 3 1] 필터, [0 1 1 0] 필터 등이 사용될 수 있다.

색차 블록의 참조 화소들을 4:1로 서브 샘블링할 경우에는 [1 1 1 1] 필터, [1 3 3 1] 필터, [0 1 1 0] 필터 들 중 하나를 이용할 수 있다.

이 경우, 휘도 블록의 좌측 참조화소들은 16:1 서브샘플링되고, 상측 참조화소들은 8:1 서브 샘플링된다. 좌측 참조화소들은 휘도 블록에 인접한 2번째 라인의 화소들만을 이용하여 서브 샘블링된 참조 화소들을 생성할 수 있다. 이 때 평균값 또는 화소들간의 가중평균을 이용하여 서브 샘플링한다. [1 0 1 0 1 0 1 0] 필터, [0 1 0 1 0 1 0 1] 필터, [1 1 1 1 1 1 1] 필터 중 하나가 사용될 수 있다. 또는 [1 1 1 1 0 0 0 0], [0 0 0 0 1 1 1 1] 필터가 사용될 수도 있다.

상측 참조화소들은 휘도 블록에 인접한 1번째 라인의 화소들만을 이용한다. 상기한좌측 참조화소의 서브샘플링 필터 중 하나가 사용될 수 있다.

한편, 휘도 블록의 좌측 및 상측 참조화소들 모두 평균값으로 서브샘블링을 수행할 수 있다. 이때 좌측은 2:1 서브샘플링의 경우 8개의 평균값이 서브 샘플링된 값일수 있다.

한편, 휘도 블록(색차 블록)이 픽쳐 또는 슬라이스 경계에 상측으로 인접하여 상측의 참조 화소들이 존재하지 않는 경우에는 좌측의 참조 화소들만을 이용하여 a와 b의 값을 결정하는 것이 바람직하다. 마찬가지로 휘도 블록(색차 블록)이 픽쳐 또는 슬라이스 경계에 좌측으로 인접하여 좌측의 참조 화소들이 존재하지 않는 경우에는 상측의 참조 화소들만을 이용하여 a와 b의 값을 결정하는 것이 바람직하다. 이 경우, 상기한 색차 화소의 서브 샘블링 과정은 달라질 수 있다. 예를 들어, 2:1 서브샘플링은 하지 않고, 4:1 서브샘플링을 2:1 서브 샘플링으로 바꾸어 구현할 수도 있다.

다음으로, 휘도블록을 서브샘블링한다. 그리고, a와 b 및 아래의 수식을 이용하여 색차 블록의 예측 블록을 생성한다. 즉, 휘도 블록의 복원화소들을 서브샘플링하여 색차 블록의 예측 화소를 생성한다.

휘도 블록의 복원화소들의 서브샘플링 방식은 3x2 필터를 사용할 수 있다. 도 5를 참조하면, 6개의 휘도 복원화소를 이용하여 색차 화소 위치에 대응하는 서브샘블링된 화소를 생성한다. 필터는 다음과 같다.

or

또는 휘도 블록의 복원화소들의 서브샘플링 방식은 2x2 필터를 사용할 수 있다. 4개의 휘도 복원화소를 이용하여 색차 화소 위치에 대응하는 서브샘블링된 화소를 생성한다. 상기 4개의 휘도 복원화소의 위치는 4:4:4 포맷의 색차 화소의 위치의 동일하다. 필터는 다음과 같다.

or

한편, 상기 인트라 예측 블록을 생성하는 단위는 색차 블록의 변환 블록의 크기 단위로 수행될 수 있다. 즉, 색차 블록의 인트라 예측 모드는 색차 블록 단위로 수행되지만, 인트라 예측을 수행하는 단위는 변환 블록의 크기 단위로 수행될 수 있다. 따라서, 색차 블록은 그대로 변환 블록으로 사용될 수도 있고, 복수개의 변환 블록으로 분할될 수도 있다.

복수개의 변환블록으로 분할될 경우에는 하나의 인트라 예측 모드를 이용하되, 변환 블록마다 예측 블록을 생성한다.

도 6은 본 발명에 따른 동영상 부호화 장치를 나타내는 블록도이다.

도 6을 참조하면, 본 발명에 따른 동영상 부호화 장치(100)는 픽쳐 분할부(110), 변환부(120), 양자화부(130), 스캐닝부(131), 엔트로피 부호화부(140), 인트라 예측부(150), 인터 예측부(160), 역양자화부(135), 역변환부(125), 후처리부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(195)를 포함한다.

픽쳐 분할부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 가장 큰 코딩 유닛마다 소정 크기의 코딩 유닛으로 분할하여 예측 모드를 결정하고, 상기 코딩 유닛별로 색차 블록의 크기를 결정한다. 그리고, 픽쳐 분할부(110)는 부호화할 색차 블록을 예측 모드에 따라 인트라 예측부(150) 또는 인터 예측부(160)로 보낸다. 또한, 픽쳐 분할부(110)는 부호화할 색차 블록을 감산부(190)로 보낸다.

변환부(120)는 입력된 색차 블록의 원본 블록과 인트라 예측부(150) 또는 인터 예측부(160)에서 생성된 예측 블록의 잔차신호인 잔차 블록을 변환한다. 상기 잔차 블록은 코딩 유닛으로 구성된다. 코딩 유닛으로 구성된 잔차 블록은 최적의 변환 단위로 분할되어 변환된다. 예측 모드(intra or inter)에 따라 서로 다른 변환 매트릭스가 결정될 수 있다. 또한, 인트라 예측의 잔차 신호는 인트라 예측 모드에 따라 방향성을 가지므로 인트라 예측 모드에 따라 적응적으로 변환 매트릭스가 결정될 수 있다. 변환 단위는 2개(수평, 수직)의 1차원 변환 매트릭스에 의해 변환될 수 있다. 예를 들어, 인터 예측의 경우에는 미리 결정된 1개의 변환 매트릭스가 결정된다. 반면에, 인트라 예측의 경우, 인트라 예측 모드가 수평인 경우에는 잔차 블록이 수직방향으로의 방향성을 가질 확률이 높아지므로, 수직방향으로는 DCT 기반의 정수 매트릭스를 적용하고, 수평방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를 적용한다. 인트라 예측 모드가 수직인 경우에는 수직방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를, 수평 방향으로는 DCT 기반의 정수 매트릭스를 적용한다. DC 모드의 경우에는 양방향 모두 DCT 기반 정수 매트릭스를 적용한다. 또한, 인트라 예측의 경우, 변환 단위의 크기에 의존하여 변환 매트릭스가 적응적으로 결정될 수도 있다.

양자화부(130)는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위한 양자화 스텝 사이즈를 코딩 유닛별로 결정한다. 양자화 스텝 사이즈는 미리 정해진 크기 이상의 부호화 단위별로 결정된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다. 그리고, 결정된 양자화 스텝 사이즈 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들을 양자화한다. 양자화부(130)는 현재 부호화 단위의 양자화 스텝 사이즈 예측자로서 현재 부호화 단위에 인접한 부호화 단위의 양자화 스텝 사이즈를 이용한다.

양자화부(130)는 현재 부호화 단위의 좌측 부호화 단위, 상측 부호화 단위, 좌상측 부호화 단위 순서로 검색하여 1개 또는 2개의 유효한 양자화 스텝 사이즈를 이용하여 현재 부호화 단위의 양자화 스텝 사이즈 예측자를 생성한다. 예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 스텝 사이즈를 양자화 스텝 사이즈 예측자로 결정할 수 있다. 또한, 상기 순서로 검색된 유효한 2개의 양자화 스텝 사이즈의 평균값을 양자화 스텝 사이즈 예측자로 결정할 수도 있고, 1개만이 유효한 경우에는 이를 양자화 스텝 사이즈 예측자로 결정할 수 있다. 상기 양자화 스텝 사이즈 예측자가 결정되면, 현재 부호화 단위의 양자화 스텝 사이즈와 상기 양자화 스텝 사이즈 예측자 사이의 차분값을 엔트로피 부호화부(140)로 전송한다.

한편, 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛, 좌상측 코딩 유닛 모두가 존재하지 않을 가능성이 있다. 반면에 최대 코딩 유닛 내의 부호화 순서 상으로 이전에 존재하는 코딩 유닛이 존재할 수 있다. 따라서, 현재 코딩 유닛에 인접한 코딩 유닛들과 상기 최대 코딩 유닛 내에서는 부호화 순서상 바로 이전의 코딩 유닛이 후보자가 될 수 있다. 이 경우, 1) 현재 코딩 유닛의 좌측 코딩 유닛, 2) 현재 코딩 유닛의 상측 코딩 유닛, 3) 현재 코딩 유닛의 좌상측 코딩 유닛, 4) 부호화 순서상 바로 이전의 코딩 유닛 순서로 우선순위를 둘 수 있다. 상기 순서는 바뀔 수 있고, 상기 좌상측 코딩 유닛은 생략될 수도 있다.

상기 양자화된 변환 블록은 역양자화부(135)와 스캐닝부(131)로 제공된다.

스캐닝부(131)는 양자화된 변환 블록의 계수들을 스캐닝하여 1차원의 양자화 계수들로 변환한다. 양자화 후의 변환 블록의 계수 분포가 인트라 예측 모드에 의존적일 수 있으므로, 스캐닝 방식은 인트라 예측 모드에 따라 결정된다. 또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있다. 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있다. 양자화 계수들의 스캔순서는 역방향으로 스캔한다.

상기 양자화된 계수들이 복수개의 서브셋으로 분할된 경우에는 각각의 서브셋 내의 양자화 계수들에 동일한 스캔패턴을 적용한다. 상기 복수개의 서브셋은 하나의 메인 서브셋과 적어도 하나 이상의 잔여 서브셋으로 구성된다. 메인 서브셋은 DC 계수를 포함하는 좌상측에 위치하고, 상기 잔여 서브셋은 메인 서브셋 이외의 영역을 커버한다.

서브셋 간의 스캔패턴은 지그재그 스캔을 적용한다. 스캔 패턴은 메인 서브셋으로부터 순방향으로 잔여 서브셋들로 스캔하는 것이 바람직하나, 그 역방향도 가능하다. 또한, 서브셋 내의 양자화된 계수들의 스캔패턴과 동일하게 서브셋 간의 스캔패턴을 설정할 수도 있다. 이 경우, 서브셋 간의 스캔패턴이 인트라 예측 모드에 따라 결정된다. 한편, 부호기는 상기 변환 유닛내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 복호기로 전송한다. 각 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보도 복호기로 전송한다. 상기 정보는 각각의 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타내는 정보일 수 있다.

역양자화(135)는 상기 양자화된 양자화 계수를 역양자화한다. 역변환부(125)는 역양자화된 변환 계수를 공간 영역의 잔차 블록으로 복원한다. 가산기는 상기 역변환부에 의해 복원된 잔차블록과 인트라 예측부(150) 또는 인터 예측부(160)로부터의 예측 블록을 합쳐서 복원 블록을 생성한다.

후처리부(170)는 복원된 픽쳐에 발생하는 블록킹 효과의 제거하기 위한 디블록킹 필터링 과정, 화소 단위로 원본 영상과의 차이값을 보완하기 위한 적응적 오프셋 적용 과정 및 코딩 유닛으로 원본 영상과의 차이값을 보완하기 위한 적응적 루프 필터링 과정을 수행한다.

디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 색차 블록 및 변환 단위의 경계에 적용하는 것이 바람직하다. 상기 크기는 8x8일 수 있다. 상기 디블록킹 필터링 과정은 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함한다.

상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 화소값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정된다.

상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 화소들간의 차이값의 절대값이 제2 기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다. 상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.

적응적 오프셋 적용 과정은 디블록킹 필터가 적용된 영상내의 화소와 원본 화소간의 차이값(distortion)을 감소시키기 위한 것이다. 픽쳐 또는 슬라이스 단위로 상기 적응적 오프셋 적용 과정을 수행할지 여부를 결정할 수 있다. 픽쳐 또는 슬라이스는 복수개의 오프셋 영역들로 분할될 수 있고, 각 오프셋 영역별로 오프셋 타입이 결정될 수 있다. 오프셋 타입은 미리 정해진 개수(예를 들어, 4개)의 에지 오프셋 타입과 2개의 밴드 오프셋 타입을 포함할 수 있다. 오프셋 타입이 에지 오프셋 타입일 경우에는 각 화소가 속하는 에지 타입을 결정하여, 이에 대응하는 오프셋을 적용한다. 상기 에지 타입은 현재 화소와 인접하는 2개의 화소값의 분포를 기준으로 결정한다.

적응적 루프 필터링 과정은 디블록킹 필터링 과정 또는 적응적 오프셋 적용 과정을 거친 복원된 영상과 원본 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 적응적 루프 필터링은 상기 결정된 ALF는 4x4 크기 또는 8x8 크기의 블록에 포함된 화소 전체에 적용될 수 있다. 적응적 루프 필터의 적용 여부는 코딩 유닛별로 결정될 수 있다. 각 코딩 유닛에 따라 적용될 루프 필터의 크기 및 계수는 달라질 수 있다. 코딩 유닛별 상기 적응적 루프 필터의 적용 여부를 나타내는 정보는 각 슬라이스 헤더에 포함될 수 있다. 색차 신호의 경우에는, 픽쳐 단위로 적응적 루프 필터의 적용 여부를 결정할 수 있다. 루프 필터의 형태도 휘도와 달리 직사각형 형태를 가질 수 있다.

적응적 루프 필터링은 슬라이스별로 적용 여부를 결정할 수 있다. 따라서, 현재 슬라이스에 적응적 루프 필터링이 적용되는지 여부를 나타내는 정보는 슬라이스 헤더 또는 픽쳐 헤더에 포함된다. 현재 슬라이스에 적응적 루프 필터링이 적용됨을 나타내면, 슬라이스 헤더 또는 픽쳐 헤더는 추가적으로 적응적 루프 필터링 과정에 사용되는 휘도 성분의 수평 및/또는 수직 방향의 필터 길이를 나타내는 정보를 포함한다.

슬라이스 헤더 또는 픽쳐 헤더는 필터 세트의 수를 나타내는 정보를 포함할 수 있다. 이때 필터 세트의 수가 2 이상이면, 필터 계수들이 예측 방법을 사용하여 부호화될 수 있다. 따라서, 슬라이스 헤더 또는 픽쳐 헤더는 필터 계수들이 예측 방법으로 부호화되는지 여부를 나타내는 정보를 포함할 수 있으며, 예측 방법이 사용되는 경우에는 예측된 필터 계수를 포함한다.

한편, 휘도뿐만 아니라, 색차 성분들도 적응적으로 필터링될 수 있다. 따라서, 색차 성분 각각이 필터링되는지 여부를 나타내는 정보를 슬라이스 헤더 또는 픽쳐 헤더가 포함할 수 있다. 이 경우, 비트수를 줄이기 위해 Cr과 Cb에 대한 필터링 여부를 나타내는 정보를 조인트 코딩(즉, 다중화 코딩)할 수 있다. 이때, 색차 성분들의 경우에는 복잡도 감소를 위해 Cr과 Cb를 모두 필터링하지 않는 경우가 가장 빈번할 가능성이 높으므로, Cr과 Cb를 모두 필터링하지 않는 경우에 가장 작은 인덱스를 할당하여 엔트로피 부호화를 수행한다. 그리고, Cr 및 Cb를 모두 필터링하는 경우에 가장 큰 인덱스를 할당하여 엔트로피 부호화를 수행한다.

픽쳐 저장부(180)는 후처리된 영상 데이터를 후처리부(160)로부터 입력받아 픽쳐(picture) 단위로 영상을 복원하여 저장한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다. 픽쳐 저장부(180)는 다수의 픽쳐를 저장할 수 있는 버퍼(도시되지 않음)를 구비한다.

인터 예측부(160)는 상기 픽쳐 저장부(180)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 결정한다. 그리고, 결정된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(180)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 색차 블록에 대응하는 예측 블록을 추출하여 출력한다.

인트라 예측부(150)는 현재 색차 블록이 포함되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행한다. 인트라 예측부(150)는 예측 부호화할 현재 색차 블록을 입력받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행한다. 인트라 예측부는 인트라 예측 블록을 생성하기 위해 참조 화소를 적응적으로 필터링한다. 참조 화소가 이용 가능하지 않은 경우에는 이용 가능한 참조 화소들을 이용하여 참조 화소들을 생성할 수 있다.

엔트로피 부호화부(140)는 양자화부(130)에 의해 양자화된 양자화 계수, 인트라 예측부(140)로부터 수신된 인트라 예측 정보, 인터 예측부(150)로부터 수신된 움직임 정보 등를 엔트로피 부호화한다.

도7은 본 발명의 실시예에 따른 동영상 복호화 장치를 나타내는 블록도이다.

도 7을 참조하면, 본 발명에 따른 동영상 복호화 장치는, 엔트로피 복호부(210), 역스캐닝부(220), 역양자화부(230), 역변환부(240), 인트라 예측부(250), 인터 예측부(260), 후처리부(270), 픽쳐 저장부(280), 가산부(290), 및 인트라/인터전환 스위치(295)를 구비한다.

엔트로피 복호부(210)는, 수신된 부호화 비트 스트림을 복호하여, 인트라 예측 정보, 인터 예측 정보, 양자화 계수 정보 등으로 분리한다. 엔트로피 복호부(210)는 복호된 인터 예측 정보를 인터 예측부(260)에 공급한다. 엔트로피 복호부(210)는 인트라 예측 정보를 복호하여 인트라 예측부(250)로 공급한다. 또한, 상기 엔트로피 복호화(210)는 상기 역양자화 계수 정보를 역스캔부(220)로 공급한다.

역스캐닝부(220)는 상기 양자화 계수 정보를 2차원 배열의 역양자화 블록으로 변환한다. 상기 변환을 위해 복수개의 역스캐닝 패턴 중에 하나를 선택한다. 계수 역스캐닝 패턴은 인트라 예측 모드에 따라 결정될 수 있다. 현재 변환 유닛의 크기가 미리 정해진 크기보다 큰 경우에는 미리 정해진 크기의 서브셋 단위로 역스캔하여 양자화된 변환 유닛을 구성한다. 그리고, 현재 변환 유닛의 크기가 미리 정해진 크기인 경우와 동일한 경우에는 변환 유닛 단위로 역스캔하여 양자화된 변환 유닛을 구성한다. 상기 양자화된 계수들이 복수개의 서브셋 단위로 역스캔될 경우에는 각각의 서브셋 내의 양자화 계수들에 동일한 역스캔패턴을 적용한다. 상기 복수개의 서브셋은 하나의 메인 서브셋과 적어도 하나 이상의 잔여 서브셋으로 구성된다. 메인 서브셋은 DC 계수를 포함하는 좌상측에 위치하고, 상기 잔여 서브셋은 메인 서브셋 이외의 영역을 커버한다.

서브셋 간의 역스캔패턴은 역지그재그 스캔을 적용한다. 스캔 패턴은 잔여 서브셋들로부터 메인 서브셋으로 역스캔하는 것이 바람직하나, 그 역방향도 가능하다. 또한, 서브셋 내의 양자화된 계수들의 역스캔패턴과 동일하게 서브셋 간의 역스캔패턴을 설정할 수도 있다. 역스캐닝부(220)는 현재 변환 유닛 내의 0이 아닌 마지막 양자화 계수의 위치를 나타내는 정보를 이용하여 역스캐닝을 수행한다.

역양자화부(230)는 현재 코딩 유닛의 양자화 스텝 사이즈 예측자를 결정한다. 상기 예측자의 결정과정은 도 6의 양자화부(130)의 예측자 결정 과정과 동일하므로 생략한다. 역양자화부(230)는 결정된 양자화 스텝 사이즈 예측자와 수신한 잔차 양자화 스텝 사이즈를 더하여 현재 역양자화 블록에 적용된 양자화 스텝 사이즈를 얻는다. 역양자화부(230)는 양자화 스텝 사이즈가 적용된 양자화 매트릭스를 이용하여 역양자화 계수를 복원한다. 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스가 선택된다.

역변환부(240)는 역양자화 블록을 역변환하여 잔차 블록을 복원한다. 그리고, 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원한다. 상기 역양자화 블록에 적용할 역변환 매트릭스는 예측 모드(인트라 또는 인터) 및 인트라 예측 모드에 따라 적응적으로 결정될 수 있다. 도 6의 변환부(120)에 적용된 변환 매트릭스의 역변환 매트릭스가 결정되므로 구체적인 기재는 생략한다.

가산부(290)는 역변환부(240)에 의해 복원된 잔차 블록과 인트라 예측부(250) 또는 인터 예측부(260)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원한다.

인트라 예측부(250)는 엔트로피 복호화부(210)로부터 수신된 인트라 예측 정보에 기초하여 현재 블록의 인트라 예측 모드를 복원한다. 그리고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.

인터 예측부(260)는 엔트로피 복호화부(210)로부터 수신된 인터 예측 정보에 기초하여 참조 픽쳐 인덱스와 움직임 벡터를 복원한다. 그리고, 상기 참조 픽쳐 인덱스와 움직임 벡터를 이용하여 현재 블록에 대한 예측 블록을 생성한다. 소수 정밀도의 움직임 보상이 적용될 경우에는 선택된 보간 필터를 적용하여 예측 블록을 생성한다.

후처리부(270)의 동작은 도 6의 후처리부(160)의 동작과 동일하므로 생략한다.

픽쳐 저장부(280)는 후처리부(270)에 의해 후처리된 복호 영상을 픽쳐 단위로 저장한다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 색차 블록 생성 방법에 있어서,
   현재 블록의 색차 인트라 예측 모드를 복원하는 단계;
   상기 복원된 색차 인트라 예측 모드에 따라 색차 예측 블록을 생성하는 단계:
   색차 잔차 블록을 복원하는 단계;
   상기 색차 예측 블록과 색차 잔차 블록을 이용하여 색차 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 인트라 예측 복호화 방법.

Images