KR20130025853A

KR20130025853A - 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치

Info

Publication number: KR20130025853A
Application number: KR20120097251A
Authority: KR
Inventors: 이충구; 김민성; 박준성
Original assignee: (주)휴맥스
Priority date: 2011-09-02
Filing date: 2012-09-03
Publication date: 2013-03-12
Also published as: US20150043640A1; KR20120086232A; US20150043631A1; EP2753081A4; KR101298598B1; WO2013032312A2; EP2753081A2; US20150043643A1; WO2013032312A3; US20140198848A1; US20150043632A1; CN103782600A

Abstract

율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치가 개시된다. 부호화할 마크로 블록을 제공받고, 화면간 예측 및 화면내 예측 중 어느 하나를 실행하여 예측 마크로 블록을 생성하고, 생성된 예측 마크로 블록 및 제공된 마크로 블록에 기초하여 잔여 예측 블록을 생성한 후 생성된 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 하나의 변환 행렬을 적용하여 잔여 예측 블록을 변환한다. 따라서, 율-왜곡을 최적화할 수 있고 영상의 품질을 향상시킬 수 있다.

Description

율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치 {METHOD FOR ENCODING/DECODING VIDEO FOR RATE-DISTORTION OPTIMIZATION AND APPARATUS FOR PERFORMING THE SAME}

본 발명은 영상의 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치에 관한 것이다.

일반적으로 영상 압축 방법에서는 하나의 픽처(picture)를 소정 크기를 가지는 복수의 블록(block)으로 구분하여 부호화를 수행한다. 또한, 압축 효율을 높이기 위해 픽쳐들의 중복도를 제거하는 화면간 예측(inter prediction) 및 화면내 예측(intra prediction) 기술을 이용한다.

화면간 예측을 이용해 영상을 부호화하는 방법은 픽처들 사이의 시간적인 중복성(spatial redundancy)을 제거하여 영상을 압축하는 방법으로서 대표적으로 움직임 보상 예측 부호화 방법이 있다.

움직임 보상 예측 부호화는 현재 부호화되는 픽처의 앞 및/또는 뒤에 위치하는 적어도 하나의 참조 픽처에서 현재 부호화되는 블록과 유사한 영역을 검색하여 움직임 벡터(MV: Motion Vector)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록과 현재 블록의 잔여값(residue)을 DCT(Discrete Cosine Transform)변환하고 양자화한 후 엔트로피 부호화하여 전송한다.

일반적으로 움직임 보상 예측에 사용되는 블록은 16×16, 8×16, 8×8 픽셀 등의 다양한 크기를 가지는 블록이 사용되고, 변환 및 양자화에는 8×8 또는 4×4 픽셀 크기를 가지는 블록이 사용된다.

화면내 예측은 하나의 픽쳐 내에서 블록간의 화소 상관도를 이용하여 공간적 중복성(spatial redundancy)을 제거하여 영상을 압축하는 방법으로, 부호화할 현재 블록과 인접한 부호화된 화소들로부터 현재 블록의 예측값을 생성한 후 생성된 예측값과 현재 블록의 화소의 잔여값을 압축하는 방식이다. H.264/AVC에서는, 화면내 예측에 사용되는 블록의 크기는 4×4, 8×8 또는 16×16 픽셀이고, 4×4 또는 8×8 픽셀 크기를 가지는 블록에 대해서는 각각 9가지의 화면내 예측 모드를 이용하여 화면내 예측을 수행하고, 16×16 픽셀 크기의 블록에 대해서는 4가지 화면내 예측 모드를 이용하여 화면내 예측을 수행한다.

상술한 바와 같이 화면내 예측을 통해 생성된 잔여값은 변환(transform) 및 양자화 과정을 거친다.

그러나, 종래의 변환 방법들은 블록 각각의 특성을 고려하지 않음으로써 율-왜곡 관점에서 변환 성능을 극대화 할 수 없는 단점이 있다.

본 발명의 목적은 변환 성능을 극대화할 수 있는 율-왜곡 최적화를 위한 영상 부호화 및 복호화 방법을 제공하는 것이다.

또한, 본 발명의 다른 목적은 상기한 변환 방법을 실행하는 영상 부호화 장치 및 복호화 장치를 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 부호화 방법은, 부호화할 코딩 유닛을 제공받는 단계와, 상기 코딩 유닛에 대하여 화면간 예측 및 화면내 예측 중 어느 하나를 실행하여 예측 블록을 생성하는 단계와, 생성된 상기 예측 블록 및 상기 제공된 코딩 유닛에 기초하여 잔여 예측 블록을 생성하는 단계 및 생성된 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계를 포함한다.

또한, 상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 방법은, 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 부호화 효율이 가장 우수한 변환 행렬을 적용하여 부호화된 비트스트림을 복호화하는 영상 복호화에서, 상기 비트스트림을 엔트로피 복호화하여 움직임 벡터, 양자화된 잔여 예측 블록, 움직임 벡터, 화면내 예측 모드 및 변환 행렬 중 적어도 하나의 정보를 추출하는 단계와, 상기 양자화된 잔여 예측 블록을 역양자화하는 단계와, 역양자화된 잔여 예측 블록에 대해 상기 변환 행렬을 적용하여 역변환하여 잔여 예측 블록을 복원하는 단계와, 움직임 보상 및 화면내 예측 중 어느 하나를 실행하여 예측 블록을 생성하는 단계 및 상기 복원된 잔여 예측 블록과 상기 생성된 예측 블록을 더하여 원래 코딩 유닛을 복원하는 단계를 포함한다. 상기 변환 행렬은 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 적어도 하나가 될 수 있다. 상기 변환 행렬은 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여 DST(Discrete Sine Transform)가 될 수 있다. 상기 변환 행렬은 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 적어도 하나가 될 수 있다. 상기 변환 행렬은 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여 DST(Discrete Sine Transform)가 될 수 있다.

상술한 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치에 따르면, 화면간 예측 또는 화면내 예측을 통해 생성된 잔여 예측 블록에 대해 변환되는 블록의 크기에 상응하여 미리 정해진 복수의 변환 매트릭스를 모두 적용하여 변환한 후 부호화 효율이 가장 우수한 변환 매트릭스를 적용하여 잔여 예측 블록을 변환함으로써 율-왜곡을 최적화할 수 있고, 영상의 품질을 향상시킬 수 있다.

또한, 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행함으로써 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

또한, 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행함으로써 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

도 1은 본 발명의 일 실시예에 따른 가중치 예측을 이용한 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가중치 예측을 이용한 영상 부호화 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 가중치 예측을 이용한 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 가중치 예측을 이용한 영상 복호화 방법을 나타내는 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

화면내 예측을 통해 생성된 잔여값은 변환(transform) 및 양자화 과정을 거치는데, 변환 과정에서는 하나의 변환 행렬(transform matrices)을 모든 블록에 동일하게 적용하여 변환하거나, 선택된 화면내 예측 모드에 상응하여 미리 정해진 변환 행렬을 적용하여 변환을 수행할 수 있다.

예를 들어, 화면내 예측을 통해 생성된 잔여값(residue)을 감소시키기 위해 MDDT(Mode-Dependent Directional Transform)의 경우 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)에 대해서 화면내 예측 방법의 방향성에 따라 KLT(Karhunen-Loeve Transform)을 기반으로 설계된 기저 벡터(basis vector)를 이용하여 예측 오차 블록의 에너지를 주파수 영역에서 압축한다. MDDT 기술은 화면내 예측 모드에 따라 변환 부호화를 적용하기 때문에 양자화 후에 생성되는 양자화된 변환 계수들의 특성 역시 방향성에 따라 다른 형태로 나타날 수 있고, 이러한 계수들을 보다 효율적으로 부호화 하기 위해서 적응형 스캐닝(adaptive scanning)을 이용한다.

본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예측 유닛의 크기가 4×4 픽셀 크기를 가지는 경우는 예측 방향을 총 18개 중 어느 하나로 결정하고, 예측 유닛의 크기가 8×8 픽셀 크기인 경우에는 예측 방향을 총 35개 중 하나를 사용할 수 있다. 예측 유닛의 크기에 따른 예측 방향의 개수는 전술한 바와 같이 한정되는 것은 아니며 예측 유닛의 크기가 커질수록 영상의 공간 중복 특성을 고려하여 예측 방향을 다양한 개수로 설정할 수도 있다.

따라서, 본 발명의 일 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또는, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행할 수 있다.

상기에서는 본 발명의 실시예들에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 4X4 블록에 대해서만 수행될 경우 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

본 발명의 실시예들에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호를 예로 들어 설명하였으나, 색차(chroma) 신호에 대하여도 동일하게 수행될 수 있다. 이하 구체적으로 살펴본다.

본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

본 발명의 일 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또는, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행할 수 있다.

본 발명의 실시예들에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 4X4 블록에 대해서만 수행될 경우 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

이하, 본 발명의 실시예에서 확장 마크로 블록(Extended Macro Block)은 32×32 픽셀 또는 64×64 픽셀 이상의 크기를 가지는 블록을 의미한다.

도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 부호화 장치(100)는 부호화 제어부(101), 움직임 예측부(103), 움직임 보상부(105), 화면내 예측부(107), 제1 가산기(109), 변환부(111), 양자화부(113), 역양자화부(115), 역변환부(117), 제2 가산기(119), 버퍼(121) 및 엔트로피 부호화부(125)를 포함한다.

부호화 제어부(101)는 입력된 코딩 유닛의 부호화 모드를 화면간 예측 및 화면내 예측 중 어느 하나의 부호화 모드로 결정하고, 결정된 부호화 모드에 기초하여 움직임 보상부(105) 및 화면내 예측부(107) 중 어느 하나를 제1 가산기(109) 및 제2 가산기(119)와 연결한다. 또한, 부호화 제어부(101)는 변환에 사용된 변환 매트릭스 등을 포함하는 부호화 관련 오버헤드 정보들을 엔트로피 부호화부(125)에 제공하고, 부호화 장치에 포함된 구성요소들의 동작을 제어한다. 도 1에서는 부호화 제어부(101)는 부호화 장치(100) 내부에 포함되는 것으로 도시하였으나, 부호화 제어부(101)는 부호화 장치(100)에 포함되지 않도록 구현할 수도 있다.

여기서, 상기 입력된 코딩 유닛(coding unit)은 정사각형 모양을 가지며, 각 코딩 유닛(CU)은 2N X 2N(단위 pixel) 크기의 가변적인 크기를 가질 수 있다. 화면간 예측(또는 인터 예측), 화면내 예측(또는 인트라 예측), 변환, 양자화 및 엔트로피 부호화는 상기 코딩 유닛(CU) 단위로 이루어질 수 있다. 코딩 유닛(CU)은 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)를 포함할 수 있으며, 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)의 크기는 8이상의 크기를 가지는 2의 거듭제곱 값으로 나타낼 수 있다. 예를 들어, 상기 입력된 코딩 유닛은 16×16 픽셀 이하의 크기를 가지거나 32×32 또는 64×64 픽셀 이상의 크기를 가지는 확장 마크로 블록일 수 있다. 상기 확장 마크로 블록은 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도에 적합하도록 32x32 픽셀 이상의 크기, 즉 64x64 픽셀, 128x128 픽셀 또는 그 이상의 크기를 가질 수 있다. 상기 확장 마크로 블록은 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도의 경우 인코더 및 디코더 복잡도를 고려하여 최대 64x64 픽셀 크기 이하로 제한될 수도 있다.

상기 코딩 유닛(CU)은 순환적인 트리 구조를 가질 수 있다. 순환적인 구조는 일련의 플래그(flag)를 통하여 표현될 수 있다. 예를들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)의 플래그(flag)값이 0인 경우, 코딩 유닛(CUk)에 대한 코딩(coding)은 현재의 계층 레벨(level) 또는 계층 깊이(depth)에 대해 이루어지며, 플래그(flag)값이 1인 경우, 현재의 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk+1)으로 분할되며, 분할된 코딩 유닛(CUk+1)은 계층 레벨(level) 또는 계층 깊이(depth)가 k+1이 되며, 크기는 Nk+1 X Nk+1가 된다. 이 경우 코딩 유닛(CUk+1)은 코딩 유닛(CUk)의 서브 코딩 유닛으로 나타낼 수 있다. 코딩 유닛(CUk+1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달할 때까지 코딩 유닛(CUk+1)은 순환적으로(recursive) 처리될 수 있다. 코딩 유닛(CUk+1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)과 동일한 경우에는 더 이상의 분할은 허용되지 않는다.

최대 코딩 유닛(LCU)의 크기 및 최소 코딩 유닛(SCU)의 크기는 시퀀스 파라미터 셋(Sequence Parameter Set; SPS)에 포함될 수 있다. 시퀀스 파라미터 셋(SPS)는 최대 코딩 유닛(LCU)의 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)를 포함할 수 있다. 예를 들어, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)는 5이고, 최대 코딩 유닛(LCU)의 한변의 크기가 128(단위 pixel)인 경우, 128 X 128(LCU), 64 X 64, 32 X 32, 16 X 16 및 8 X 8(SCU)의 5가지 종류의 코딩 유닛 크기가 가능하다. 즉, 최대 코딩 유닛(LCU)의 크기 및 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)가 주어지면 허용가능한 코딩 유닛의 크기가 결정될 수 있다.

상기 코딩 유닛의 크기는 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도의 경우 인코더 및 디코더 복잡도를 고려하여 최대 64x64 픽셀 크기 이하로 제한될 수도 있다.

상기와 같은 순환적 코딩 유닛 구조를 사용할 경우의 장점은 다음과 같다.

첫째, 기존의 16 X 16 매크로블록보다 큰 사이즈를 지원할 수 있다. 만약 관심 이미지 영역이 균일(homogeneous)하다면, 큰 코딩 유닛(LCU)은 여러 개의 작은 블록들을 사용하는 경우보다 관심 이미지 영역을 더 적은 개수의 심볼들로 표시할 수 있다.

둘째, 고정된 크기의 매크로블록을 사용하는 경우에 비하여 임의의 다양한 크기를 가지는 최대 코딩 유닛(LCU)을 지원함으로써 코덱은 다양한 콘텐츠, 애플리케이션 및 장치에 용이하게 최적화될 수 있다. 즉, 최대 코딩 유닛(LCU) 크기 및 최대 계층 레벨(level) 또는 최대 계층 깊이(depth)를 적절히 선택함으로써, 상기 계층적 블록 구조는 목표로 하는 애플리케이션에 보다 더 최적화 될 수 있다.

셋째, 매크로블록, 서브-매크로블록, 확장 매크로 블록을 구분하지 않고 코딩 유닛(LCU)이라는 한 개의 단일 유닛 형태를 사용함으로써, 멀티레벨 계층적 구조를 최대 코딩 유닛(LCU) 크기, 최대 계층 레벨(level)(또는 최대 계층 깊이(depth)) 및 일련의 플래그를 이용하여 매우 간단하게 나타낼 수 있다. 크기 독립적(size-independent)인 신택스 표현(syntax representation)과 함께 사용될 경우 나머지 코딩 툴들에 대한 하나의 일반화된 크기의 신택스 아이템을 명시하는데 충분하게 되며, 이러한 일관성이 실제 파싱 과정등을 단순화 시킬 수 있다. 계층 레벨(level)(또는 최대 계층 깊이(depth))의 최대값은 임의값을 가질 수 있으며 기존의 H.264/AVC 부호화 방식에서 혀용된 값보다 더 큰 값을 가질 수 있다. 크기 독립적 신택스 표현을 사용하여 코딩 유닛(CU)의 크기에 독립적으로 일관된 방식으로 모든 신택스 엘리먼트(syntax elements)를 명시할 수 있다. 코딩 유닛(CU)에 대한 분할 과정(splitting process)은 순환적으로 명시될 수 있고, 말단 코딩 유닛(leaf coding unit)-계층 레벨의 마지막 코딩 유닛-에 대한 다른 신택스 엘리먼트들은 코딩 유닛 크기에 무관하게 동일한 크기로 정의될 수 있다. 상기와 같은 표현법은 파싱 복잡도를 줄이는 데 매우 효과적이며, 큰 계층 레벨 또는 계층 깊이가 허용되는 경우 표현의 명료성이 향상될 수 있다.

상기와 같은 계층적인 분할 과정이 완료되면 더 이상의 분할 없이 코딩 유닛 계층 트리의 말단 노드에 대해 인터 예측 또는 인트라 예측을 수행할 수 있으며, 이러한 말단 코딩 유닛이 인터 예측 또는 인트라 예측의 기본 단위인 예측 유닛(Prediction Unit; PU)으로 사용된다.

인터 예측 또는 인트라 예측을 위하여 상기 말단 코딩 유닛에 대해 파티션(partition) 분할이 수행 된다. 즉, 파티션 분할은 예측 유닛(PU)에 대해 수행된다. 여기서, 에측 유닛(PU)는 인터 예측 또는 인트라 예측을 위한 기본 단위의 의미이며, 기존의 매크로 블록 단위 또는 서브-매크로 블록 단위가 될 수도 있고, 32 X 32 픽셀 크기 이상의 확장 매크로 블록 단위 또는 코딩 유닛 단위가 될 수도 있다.

상기 인터 예측 또는 인트라 예측을 위한 파티션 분할은 비대칭적 파티션 분할(asymmetric partitioning) 방식으로 이루어질 수도 있고, 정사각형이외의 임의의 모양을 가지는 기하학적 파티션 분할(geometrical partitioning) 방식으로 이루어질 수도 있고, 에지 방향에 따른 파티션 분할 방식으로 이루어질 수도 있다.

다시, 도 1을 참조하면, 움직임 예측부(103)는 입력된 코딩 유닛과 복원이 완료되어 버퍼(121)에 저장된 복수의 참조 픽처에 기초하여 화면간 예측을 수행하여 움직임 벡터(Motion Vector)를 생성한다. 여기서, 생성된 움직임 벡터는 움직임 보상부(105) 및 엔트로피 부호화부(125)에 제공된다.

움직임 보상부(105)는 움직임 예측부(103)로부터 제공된 움직임 벡터를 버퍼(121)에 저장된 해당 참조 픽쳐의 참조 블록에 적용하여 움직임 보상이 수행된 예측 블록을 생성한다.

화면내 예측부(107)는 입력된 코딩 유닛과 인접한 부호화된 화소들로부터 현재 블록의 예측값을 생성한다. 여기서, 화면내 예측부(107)는 입력된 코딩 유닛을 4×4, 8×8 또는 16×16 픽셀 크기의 블록으로 구분하고, 구분된 각 블록과 인접한 화소들로부터 예측 블록을 생성할 수 있고, 4×4 또는 8×8 픽셀 크기를 가지는 블록의 화면내 예측을 수행하는 경우에는 H.264/AVC의 9가지의 화면내 예측 모드 중 어느 하나의 모드를 적용하여 화면내 예측을 수행할 수 있고, 16×16 픽셀 크기의 블록에 대해서는 4가지 화면내 예측 모드 중 어느 하나의 모드를 적용하여 화면내 예측을 수행할 수 있다. 또는, 화면내 예측부(107)는 4×4 픽셀 크기를 가지는 예측 유닛을 사용하여 화면내 예측을 수행하는 경우는 예측 방향을 18개 중 어느 하나로 결정하고, 8×8 픽셀 크기를 가지는 화면내 예측을 수행하는 경우는 예측 방향을 총 35개 중 하나로 결정하고, 16×16 픽셀 크기를 가지는 예측 유닛을 사용하여 화면내 예측을 수행하는 경우는 예측 방향을 35개 중 어느 하나로 결정하고, 32×32 픽셀 크기를 가지는 예측 유닛을 사용하여 화면내 예측을 수행하는 경우는 예측 방향을 35개 중 어느 하나로 결정하고, 64×64 픽셀 크기를 가지는 예측 유닛을 사용하여 화면내 예측을 수행하는 경우는 예측 방향을 4개 중 어느 하나로 결정하여 사용할 수 있다. 예측 유닛의 크기에 따른 예측 방향의 개수는 전술한 바와 같이 한정되는 것은 아니며 예측 유닛의 크기가 커질수록 영상의 공간 중복 특성을 고려하여 예측 방향을 다양한 개수로 설정할 수도 있다.

본 발명의 일 실시예에 따른 부호화 장치(100)에서 움직임 예측부(103) 및 움직임 보상부(105)를 통한 화면간 예측 및 화면내 예측부(107)를 통한 화면내 예측은 부호화 제어부(101)의 제어에 따라 어느 하나의 예측 모드만 수행될 수 있고, 화면간 예측 및 화면내 예측 중 어느 하나의 예측 모드가 선택된 경우 부호화 제어부(101)는 움직임 보상부(105)의 출력 및 화면내 예측부(107)의 출력 중 선택된 예측 모드에 상응하는 출력이 제1 가산기(109) 및 제2 가산기(119)에 제공될 수 있도록 연결 경로를 스위칭한다.

제1 가산기(109)는 화면간 예측 부호화가 수행되는 경우에는 입력된 코딩 유닛과 움직임 보상부(105)로부터 제공된 예측 블록을 연산하여 잔여값(residue, 또는 잔여 예측 블록)을 생성하고, 화면내 예측 부호화가 수행되는 경우에는 입력된 코딩 유닛과 화면내 예측부(107)로부터 제공된 예측 블록을 연산하여 잔여값을 생성한다.

변환부(111)는 제1 가산부(109)로부터 제공된 잔여 예측 블록(즉, 잔여값)에 대해 변환이 수행되는 각각의 잔여 예측 블록의 크기 및 부호화 효율을 고려하여 미리 정해진 복수의 변환 행렬(transform matrices) 중 어느 하나의 변환 행렬을 이용하여 변환을 수행한다.

구체적으로, 변환부(111)는 화면내 예측 부호화가 수행되고 변환되는 블록의 크기가 4×4 픽셀 또는 8×8 픽셀인 경우에는 각 변환 블록에 대해 미리 정해진 개수(예를 들면, 9개)의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있고, 화면내 예측 부호화가 수행되고 변환되는 블록의 크기가 16×16 픽셀인 경우에는 각 변환 블록에 대해 미리 정해진 개수(예를 들면, 4개)의 변환 행렬을 모두 적용한 후 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있다. 여기서, 상기 미리 정해진 개수의 변환 행렬은 MDDT(Mode dependent Directional Transform)에서 정의된 변환 행렬을 사용할 수도 있다.

MDDT는 인트라 코딩(Intra-coding) 특정 방향-예를 들어 부호화시 사용한 인트라 모드(또는 인트라 코딩 방향)-을 따라서 변환을 적용한다. 예를 들어 4X4 블록에 대해 9가지 인트라 모드 중 수평 방향 모드로 인트라 코딩이 된 경우 변환시 상기 수평 방향을 따라서 변환을 수행할 수 있다.

상기 변환되는 블록의 크기는 4×4 블록, 8×8 블록, 16×16블록 또는 32×32블록을 가질 수 있다.

변환에 사용되는 블록은 변환 유닛(TU; Transform Unit)으로 구현될 수 있으며, 상기 변환 유닛은 순환적인 트리 구조를 가질 수 있다(hierarchical structured transform). 예를 들어, 상기 변환 유닛은 2-레벨 트리 구조를 가질 수 있다. 예를들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 변환 유닛의 플래그(flag)값이 0인 경우, 변환 유닛에 대한 변환은 현재의 계층 레벨(level) 또는 계층 깊이(depth)에 대해 이루어지며, 플래그(flag)값이 1인 경우, 현재의 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk+1)으로 분할되며, 분할된 코딩 유닛(CUk+1)은 계층 레벨(level) 또는 계층 깊이(depth)가 k+1이 되며, 크기는 Nk+1 X Nk+1가 될 수 있다.

또는, 변환부(111)는 화면간 예측 부호화가 수행되고 변환되는 블록의 크기가 32×32 픽셀 이상인 경우에도, 화면간 예측 부호화에 상응하여 미리 정해진 개수의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있다.

본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법에 따르면, 변환부(111)는 휘도(luma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법에 따르면, 변환부(111)는 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

따라서, 변환부(111)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 변환부(111)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 변환부(111)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 변환부(111)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 변환부(111)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 변환부(111)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 변환부(111)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 변환부(111)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 변환부(111)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 변환부(111)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또는, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법에 따르면, 변환부(111)는 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행할 수 있다.

상기에서는 변환부(111)는 휘도(luma) 신호에 대하여 4X4 블록에 대해서만 수행될 경우 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

본 발명의 실시예들에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호를 예로 들어 설명하였으나, 색차(chroma) 신호에 대하여도 동일하게 수행될 수 있다. 이하 구체적으로 살펴본다. 변환부(111)는 색차(chroma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법에 따르면, 변환부(111)는 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

변환부(111)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 변환부(111)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 변환부(111)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 변환부(111)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 본 발명의 다른 실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 변환부(111)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 변환부(111)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 변환부(111)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 변환부(111)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 변환부(111)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또는, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법에 따르면, 변환부(111)는 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행할 수 있다.

상술한 바와 같이 복수의 변환 행렬 중 변환에 이용된 변환 행렬의 정보는 엔트로피 부호화부(125)에 제공되어 엔트로피 부호화된 후 복호화 장치에 제공되어 복호화에 이용될 수 있다.

양자화부(113)는 변환부(111)로부터 제공된 변환된 데이터를 양자화한 후 역양자화부(115) 및 엔트로피 부호화부(125)에 제공한다.

역양자화부(115)는 양자화부(113)로부터 제공된 양자화된 데이터를 역양자화한 후 역변환부(117)에 제공하고, 역변환부(117)는 변환부(111)에서 변환에 사용된 변환 행렬 정보를 이용하여 역양자화된 데이터를 역변환함으로써 잔여 예측 블록을 복원한 후 제2 가산기(119)에 제공한다.

제2 가산기(119)는 움직임 보상부(105) 또는 화면내 예측부(107)로부터 제공된 예측 블록과 역변환부(117)로부터 제공된 예측 블록을 더하여 코딩 유닛을 복원한 후 버퍼(121)에 저장한다.

버퍼(121)에는 복원된 코딩 유닛의 집합인 픽처들이 저장될 수 있고, 버퍼(121)에 저장된 복수의 픽처들은 움직임 예측 및 보상을 위한 참조 픽처로 사용된다.

엔트로피 부호화부(125)는 양자화된 잔여 예측 블록과, 화면간 예측에 사용된 움직임 벡터 정보, 화면내 예측에 사용된 예측 모드 정보, 변환에 사용된 변환 행렬 정보 등을 엔트로피 부호화하여 비트 스트림을 생성한다.

도 2는 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.

도 2를 참조하면, 먼저 부호화 장치에 코딩 유닛이 입력되면(단계 201), 부호화 장치는 화면간 예측 및 화면내 예측 중 예측 부호화 모드를 선택한다(단계 203). 상기 입력된 코딩 유닛은 16×16 픽셀 이하의 크기를 가지거나 32×32 또는 64×64 픽셀 이상의 크기를 가지는 확장 마크로 블록일 수 있다. 상기 입력된 코딩 유닛은 전술한 순환적 코딩 유닛 구조를 가질 수 있다.

화면간 예측을 수행하는 경우에는, 입력된 코딩 유닛과 복원이 완료되어 버퍼에 저장된 복수의 참조 픽처에 기초하여 움직임 예측을 수행하여 움직임 벡터(Motion Vector)를 생성하고(단계 205), 생성된 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 현재 블록에 상응하는 예측 블록을 생성한다(단계 207).

또는, 화면내 예측을 수행하는 경우에는, 입력된 코딩 유닛과 인접한 부호화된 화소들로부터 현재 블록의 예측값을 생성한다(단계 209). 여기서, 화면내 예측은 입력된 코딩 유닛을 4×4, 8×8, 16×16, 32×32 또는 64×64 픽셀 크기의 블록으로 구분하고, 구분된 각 블록과 인접한 화소들에 대해 화면내 예측 모드를 적용하여 예측 블록을 생성할 수 있다. 4×4 또는 8×8 픽셀 크기를 가지는 블록의 화면내 예측을 수행하는 경우에는 H.264/AVC의 9가지의 화면내 예측 모드 중 어느 하나의 모드를 적용하여 화면내 예측을 수행할 수 있고, 16×16 픽셀 크기의 블록에 대해서는 4가지 화면내 예측 모드 중 어느 하나의 모드를 적용하여 화면내 예측을 수행할 수 있다. 또는, 화면내 예측은 4×4 픽셀 크기를 가지는 예측 유닛을 사용하여 화면내 예측을 수행하는 경우는 예측 방향을 18개 중 어느 하나로 결정하고, 8×8 픽셀 크기를 가지는 화면내 예측을 수행하는 경우는 예측 방향을 총 35개 중 하나로 결정하고, 16×16 픽셀 크기를 가지는 예측 유닛을 사용하여 화면내 예측을 수행하는 경우는 예측 방향을 35개 중 어느 하나로 결정하고, 32×32 픽셀 크기를 가지는 예측 유닛을 사용하여 화면내 예측을 수행하는 경우는 예측 방향을 35개 중 어느 하나로 결정하고, 64×64 픽셀 크기를 가지는 예측 유닛을 사용하여 화면내 예측을 수행하는 경우는 예측 방향을 4개 중 어느 하나로 결정하여 사용할 수 있다. 예측 유닛의 크기에 따른 예측 방향의 개수는 전술한 바와 같이 한정되는 것은 아니며 예측 유닛의 크기가 커질수록 영상의 공간 중복 특성을 고려하여 예측 방향을 다양한 개수로 설정할 수도 있다.

이후, 부호화 장치는 화면간 예측 또는 화면내 예측을 통해 생성된 예측 블록과 입력된 코딩 유닛을 연산하여 잔여 예측 블록을 생성한 후(단계 211),

이후, 부호화 장치는 생성된 잔여 예측 블록에 대해 잔여 예측 블록의 크기 및 부호화 효율을 고려하여 미리 정해진 복수의 변환 행렬(transform matrices) 중 어느 하나의 변환 행렬을 이용하여 변환을 수행한다(단계 213). 즉, 화면내 예측이 수행되고 변환되는 블록의 크기가 4×4 픽셀 또는 8×8 픽셀인 경우에는 각 변환 블록에 대해 미리 정해진 개수(예를 들면, 9개)의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있고, 화면내 예측 부호화가 수행되고 변환되는 블록의 크기가 16×16 픽셀인 경우에는 각 변환 블록에 대해 미리 정해진 개수(예를 들면, 4개)의 변환 행렬을 모두 적용한 후 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있다. 여기서, 상기 미리 정해진 개수의 변환 행렬은 MDDT에서 정의된 변환 행렬을 사용할 수도 있다.

또는, 부호화 장치는 화면간 예측 부호화가 수행되고 변환되는 블록의 크기가 32×32 픽셀 이상인 경우, 화면간 예측 부호화에 상응하여 미리 정해진 개수의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 부호화를 수행할 수 있다.

부호화 장치는 휘도(luma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 부호화 장치는 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

따라서, 부호화 장치는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 부호화 장치는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 부호화 장치는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 부호화 장치는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 부호화 장치는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 부호화 장치는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 부호화 장치는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 부호화 장치는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 부호화 장치는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 부호화 장치는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또는, 부호화 장치는 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행할 수 있다.

본 발명의 실시예들에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은 휘도(luma) 신호에 대하여 4X4 블록에 대해서만 수행될 경우 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

상기에서는 휘도(luma) 신호를 예로 들어 설명하였으나, 색차(chroma) 신호에 대하여도 동일하게 수행될 수 있다. 이하 구체적으로 살펴본다. 부호화 장치는 색차(chroma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 부호화 장치는 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

부호화 장치는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 부호화 장치는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 부호화 장치는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 부호화 장치는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 부호화 장치는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 부호화 장치는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 부호화 장치는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 부호화 장치는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 부호화 장치는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 부호화 장치는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또는, 부호화 장치는 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행할 수 있다.

이후, 부호화 장치는 변환된 데이터에 대해 양자화를 수행하고(단계 215), 양자화된 데이터는 엔트로피 부호화하여 비트 스트림을 생성한다(단계 217). 여기서, 엔트로피 부호화되는 정보는 양자화된 잔여 예측 블록과, 화면간 예측에 사용된 움직임 벡터 정보, 화면내 예측에 사용된 예측 모드 정보, 변환에 사용된 변환 행렬 정보 등을 포함할 수 있다.

도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 부호화 방법에서는 화면간 예측 또는 화면내 예측을 통해 생성된 잔여 예측 블록에 대해 변환되는 블록의 크기에 상응하여 미리 정해진 복수의 변환 매트릭스를 모두 적용하여 변환한 후 부호화 효율이 가장 우수한 변환 매트릭스를 적용하여 잔여 예측 블록을 변환함으로써 부호화 효율을 향상시킬 수 있다.

도 3은 본 발명의 일 실시예에 따른 복호화 장치의 구성을 나타내는 블록도로서, 도 1에 도시된 부호화 장치를 통해 부호화된 영상을 복호화하는 복호화 장치의 구성을 나타낸다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 복호화 장치(300)는 엔트로피 복호화부(301), 역양자화부(303), 역변환부(305), 움직임 보상부(307), 화면내 예측부(309), 버퍼(311) 및 제3가산기(313)를 포함한다.

엔트로피 복호화부(301)는 부호화 장치로부터 제공된 비트 스트림을 엔트로피 복호화하여 양자화된 잔여 예측 블록, 화면간 예측에 사용된 움직임 벡터, 화면내 예측에 사용된 예측 모드 정보, 변환에 사용된 변환 행렬 등을 추출한다.

역양자화부(303)는 엔트로피 복호화부(301)로부터 제공된 양자화된 잔여 예측 블록을 역양자화하고, 역변환부(305)는 역양자화부(303)로부터 제공된 데이터를 역변환한다. 여기서 역변환부(305)는 엔트로피 복호화부(301)로부터 제공된 변환 행렬 정보에 기초하여 역변환함으로써 잔여 예측 블록을 복원한다.

본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법에 따르면, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 본 발명의 일실시예에 따른 모드 의존성 변환(Mode-Dependent Transform) 방법은, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

따라서, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또는, 상기 역변환부(305)는 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행할 수 있다.

상기에서는 상기 역변환부(305)는 휘도(luma) 신호에 대하여 4X4 블록에 대해서만 수행될 경우 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

상기에서는 휘도(luma) 신호를 예로 들어 설명하였으나, 색차(chroma) 신호에 대하여도 동일하게 수행될 수 있다. 이하 구체적으로 살펴본다. 상기 역변환부(305)는 색차(chroma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

따라서, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측이 수행되고 난 후 생성되는 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또는, 상기 역변환부(305)는 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4x4 블록에 대하여만 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 하나를 수행할 수 있다.

상기 역변환부(305)는 색차(chroma) 신호에 대하여 4X4 블록에 대해서만 수행될 경우 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

움직임 보상부(307)는 엔트로피 복호화부(301)로부터 제공된 움직임 벡터를 버퍼(311)에 저장된 참조 픽쳐의 참조 블록에 적용하여 예측 블록을 생성한다.

화면내 예측부(309)는 엔트로피 복호화부(301)로부터 제공된 화면내 예측 모드에 기초하여 현재 복호화할 블록과 인접한 화소들로부터 현재 블록의 예측값을 생성한다. 여기서, 화면내 예측부(309)는 현재 복호화할 블록을 4×4, 8×8, 16×16, 32×32 또는 64×64 픽셀 크기의 블록으로 구분하고, 화면내 예측 모드 정보를 이용하여 구분된 각 블록과 인접한 화소들로부터 예측 블록을 생성할 수 있다.

본 발명의 일 실시예에 따른 복호화 장치(300)에서 움직임 보상부(307) 및 화면내 예측부(309)를 통해 생성되는 예측 블록은 엔트로피 복호화부(301)에서 추출된 선택 정보에 기초하여 어느 하나만 생성될 수 있고, 경로 스위칭을 통해 움직임 보상부(307) 및 화면내 예측부(309) 중 어느 하나만 제3 가산기(313)와 연결될 수 있다. 즉, 복호화 장치(300)에서는 부호화 장치에서 수행된 부호화 모드에 상응하여 화면간 예측 및 화면내 예측 중 어느 하나의 예측 동작만 수행될 수 있다.

버퍼(311)는 복원이 완료된 영상이 저장되어 참조 픽처로 이용된다.

제3가산기(313)는 움직임 보상부(307) 또는 화면내 예측부(309)로부터 제공된 예측 블록과 역변환부(305)로부터 제공된 잔여 예측 블록을 더하여 원래 블록을 복원한다.

도 4는 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.

도 4를 참조하면, 부호화 장치로부터 부호화된 비트 스트림이 입력되면(단계 401), 복호화 장치는 비트 스트림에 대해 엔트로피 복호화를 수행하여 양자화된 잔여 예측 블록, 움직임 벡터, 변환 행렬, 화면내 예측 모드 정보를 추출한다(단계 403). 여기서, 화면내 예측 모드는 부호화 장치에서 화면내 예측을 수행한 경우에만 추출될 수 있고, 상기 엔트로피 복호화된 데이터는 부호화 모드 정보(화면간 예측 또는 화면내 예측)를 포함할 수 있다.

이후, 복호화 장치는 엔트로피 복호화된 잔여값을 역양자화한 후(단계 405), 추출된 변환 행렬 정보를 이용하여 역양자화된 데이터를 역변환함으로써 잔여 예측 블록을 복원한다(단계 407).

상기 역변환은 휘도(luma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측 후 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 상기 역변환은 휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

따라서, 상기 역변환은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측후 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 상기 역변환은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 상기 역변환은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 상기 역변환은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 상기 역변환은 휘도(luma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측 후 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 상기 역변환은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측후 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 상기 역변환은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 상기 역변환은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 상기 역변환은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 상기 역변환은 휘도(luma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

상기 역변환은 휘도(luma) 신호에 대하여 예측모드가 화면내 예측 모드인 4X4 블록에 대해서만 DST(Discrete Sine Transform) 변환 행렬을 사용할 수 있다. 이와같이 상기에서는 상기 역변환은 휘도(luma) 신호에 대하여 예측모드가 화면내 예측 모드인 4X4 블록에 대해서만 수행될 경우 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

상기에서는 휘도(luma) 신호를 예로 들어 설명하였으나, 색차(chroma) 신호에 대하여도 동일하게 수행될 수 있다. 이하 구체적으로 살펴본다. 상기 역변환은 색차(chroma) 신호에 대하여 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 화면내 예측후 잔여값(즉, 예측 오차 블록)을 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

즉, 상기 역변환은 색차(chroma) 신호에 대하여 예측 모드가 화면내 예측 모드인 소정 크기의 블록-예를 들어 4x4 블록 및/또는 8x8 블록-에 대하여 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

상기 역변환은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측후 잔여값(즉, 예측 오차 블록)을 18개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 상기 역변환은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 상기 역변환은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 상기 역변환은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 상기 역변환은 색차(chroma) 신호에 대하여 4x4 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

또한, 상기 역변환은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측후 잔여값(즉, 예측 오차 블록)을 35개의 화면내 예측 모드에 따라 수평방향 또는 수직방향을 따라서 DST(Discrete Sine Transform) 및/또는 DCT(Discrete Cosine Transform)를 수행할 수 있다.

예를 들어, 상기 역변환은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DST(Discrete Sine Transform)를 수행할 수 있다. 또는, 상기 역변환은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수직 모드(또는 0)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DCT를 수행할 수 있다.

또는, 상기 역변환은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수직 방향에 따라 DCT를 수행할 수 있다. 또는, 상기 역변환은 색차(chroma) 신호에 대하여 8x8 블록에 대하여 화면내 예측 모드가 수평 모드(또는 1)인 경우에 화면내 예측후 잔여값(즉, 예측 오차 블록)을 수평 방향에 따라 DST를 수행할 수 있다.

상기 역변환은 색차(chroma) 신호에 대하여 예측모드가 화면내 예측 모드인 4X4 블록에 대해서만 DST(Discrete Sine Transform) 및/또는 DCT 변환 행렬을 사용할 수 있다.

이와 같이, 상기 역변환은 색차(chroma) 신호에 대하여 예측모드가 화면내 예측 모드인 4X4 블록에 대해서만 수행될 경우 4X4 블록 및 8x8 블록에 대해서 모두 수행될 경우에 비하여 상기 4X4 블록 크기에 대해서 단지 한 개의 추가적인 DST 행렬(또는 DCT 행렬)을 저장하기 위한 메모리만이 요구되므로 복잡도가 감소될 수 있다.

또한, 복호화 장치는 엔트로피 복호화한 정보에 포함된 부호화 모드에 기초하여 복호화 모드를 결정하고(단계 409), 복호화 모드가 움직임 보상으로 결정된 경우에는 추출된 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다(단계 411).

또는, 복호화 장치는 복호화 모드가 화면내 예측으로 결정된 경우에는 복호화할 현재 블록과 인접한 화소에 추출된 화면내 예측 모드를 적용하여 예측 블록을 생성한다(단계 413).

이후, 복호화 장치는 복원된 잔여 예측 블록과 단계 411 또는 단계 413에서 생성된 예측 블록을 더하여 원래 블록-즉, 코딩 유닛-을 복원한다(단계 415).

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 부호화 장치 101 : 부호화 제어부
103 : 움직임 예측부 105 : 움직임 보상부
107 : 화면내 예측부 109 : 제1 가산기
111 : 변환부 113 : 양자화부
115 : 역양자화부 117 : 역변환부
119 : 제2 가산기 121 : 버퍼
125 : 엔트로피 부호화부 300 : 복호화 장치
301 : 엔트로피 복호화부 303 : 역양자화부
305 : 역변환부 307 : 움직임 보상부
309 : 화면내 예측부 311 : 버퍼
313 : 제3 가산기

Claims

부호화할 코딩 유닛을 제공받는 단계;
상기 코딩 유닛에 대하여 화면간 예측 및 화면내 예측 중 어느 하나를 실행하여 예측 블록을 생성하는 단계;
생성된 상기 예측 블록 및 상기 코딩 유닛에 기초하여 잔여 예측 블록을 생성하는 단계; 및
생성된 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 하나의 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계를 포함하는 영상 부호화 방법.
제1항에 있어서, 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 하나의 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계는
상기 화면내 예측이 수행되고 변환되는 상기 잔여 예측 블록의 크기가 4×4 픽셀 또는 8×8 픽셀 크기를 가지는 경우에는 각 잔여 예측 블록에 대해 9개의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서, 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 하나의 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계는
상기 화면내 예측이 수행되고 변환되는 상기 잔여 예측 블록의 크기가 16×16 픽셀 크기를 가지는 경우에는 각 잔여 예측 블록에 대해 4개의 변환 행렬을 모두 적용한 후, 가장 부호화 효율이 좋은 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서, 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 하나의 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계는
화면내 예측의 특정 방향을 따라서 상기 미리 정해진 복수의 변환 행렬을 이용하여 변환을 수행하는 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서, 상기 잔여 예측 블록에 대해 미리 정해진 복수의 변환 행렬 중 하나의 변환 행렬을 적용하여 상기 잔여 예측 블록을 변환하는 단계는 상기 잔여 예측 블록이 4X4 픽셀 크기를 가지는 경우 9가지 화면내 예측 모드 중 수평 방향 모드로 화면내 예측이 실행된 경우 변환시 상기 수평 방향을 따라서 상기 미리 정해진 복수의 변환 행렬을 이용하여 변환을 수행하는 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서, 상기 변환에 사용되는 잔여 예측 블록은 변환 유닛(TU; Transform Unit)으로 구현되고, 상기 변환 유닛은 순환적인 트리 구조를 가지는 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서, 상기 예측 유닛은 32×32 픽셀 이상의 크기를 가지는 확장 마크로 블록인 것을 특징으로 하는 영상 부호화 방법.
화면내 예측이 수행된 후 생성되는 잔여값에 대해 미리 정해진 복수의 변환 행렬 중 하나의 변환 행렬을 적용하여 부호화된 비트스트림을 복호화하는 영상 복호화 방법에 있어서,
상기 비트스트림을 엔트로피 복호화하여 움직임 벡터, 양자화된 잔여 예측 블록, 움직임 벡터, 화면내 예측 모드 및 변환 행렬 중 적어도 하나의 정보를 추출하는 단계;
상기 양자화된 잔여 예측 블록을 역양자화하는 단계;
역양자화된 잔여 예측 블록에 대해 상기 변환 행렬을 적용하여 역변환하여 잔여 예측 블록을 복원하는 단계;
움직임 보상 및 화면내 예측 중 어느 하나를 실행하여 예측 블록을 생성하는 단계; 및
상기 복원된 잔여 예측 블록과 상기 생성된 예측 블록을 더하여 원래 코딩 유닛을 복원하는 단계를 포함하는 영상 복호화 방법.
제8항에 있어서, 상기 변환 행렬은
상기 화면내 예측이 수행되고 변환되는 상기 잔여 예측 블록의 크기가 4×4 픽셀 또는 8×8 픽셀 크기를 가지는 경우에는 각 잔여 예측 블록에 대해 9개의 변환 행렬을 모두 적용한 후 가장 부호화 효율이 좋은 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 변환 행렬은
상기 화면내 예측이 수행되고 변환되는 상기 잔여 예측 블록의 크기가 16×16 픽셀 크기를 가지는 경우에는 각 잔여 예측 블록에 대해 4개의 변환 행렬을 모두 적용한 후 가장 부호화 효율이 좋은 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 역양자화된 잔여 예측 블록에 대해 상기 변환 행렬을 적용하여 역변환하여 잔여 예측 블록을 복원하는 단계는
상기 화면내 예측 모드에 기초하여 상기 변환 행렬을 이용하여 역변환을 수행하는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 역양자화된 잔여 예측 블록에 대해 상기 변환 행렬을 적용하여 역변환하여 잔여 예측 블록을 복원하는 단계는
상기 잔여 예측 블록이 4X4 픽셀 크기를 가지는 경우 9가지 화면내 예측 모드 중 수평 방향 모드로 화면내 예측이 실행된 경우 변환시 상기 수평 방향을 따라서 상기 변환 행렬을 이용하여 역변환을 수행하는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 변환에 사용되는 잔여 예측 블록은 변환 유닛(TU; Transform Unit)으로 구현되고, 상기 변환 유닛은 순환적인 트리 구조를 가지는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 코딩 유닛은 32×32 픽셀 이상의 크기를 가지는 확장 마크로 블록인 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 변환 행렬은
휘도(luma) 신호에 대하여 예측모드가 화면내 예측 모드인 4x4 블록에 대하여 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 적어도 하나의 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 변환 행렬은
휘도(luma) 신호에 대하여 예측모드가 화면내 예측 모드인 4x4 블록에 대하여 DST(Discrete Sine Transform) 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 변환 행렬은
색차(chroma) 신호에 대하여 예측모드가 화면내 예측 모드인 4x4 블록에 대하여 DST(Discrete Sine Transform) 및 DCT(Discrete Cosine Transform) 중 적어도 하나의 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 변환 행렬은
색차(chroma) 신호에 대하여 예측모드가 화면내 예측 모드인 4x4 블록에 대하여 DST(Discrete Sine Transform) 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.
제8항에 있어서, 상기 변환 행렬은
휘도(luma) 신호에 대하여 예측 모드가 화면내 예측 모드인 4X4 블록에 대해서만 DST(Discrete Sine Transform) 변환 행렬을 사용하는 것을 특징으로 하는 영상 복호화 방법.