KR101802957B1

KR101802957B1 - 영상 부호화/복호화 방법 및 장치

Info

Publication number: KR101802957B1
Application number: KR1020170101786A
Authority: KR
Inventors: 전병우; 원광현; 양승하
Original assignee: 인텔렉추얼디스커버리 주식회사
Priority date: 2013-07-23
Filing date: 2017-08-10
Publication date: 2017-12-05
Also published as: KR101769427B1; KR101741037B1; KR101709775B1; US10645399B2; KR20170020838A; KR101837040B1; CN105684442A; KR20150011787A; US20160269730A1; KR20170058908A; CN105684442B

Abstract

본 발명은 현재 주로 사용되고 있는 움직임보상-변환부호화 영상압축기술을, 컴퓨터영상과 같이 화소 값의 공간 변화도가 심한 영상에 적용시킬 때 주로 발생하는 압축률 및 화질 저하의 문제를 개선하기 위하여 선택적으로 변환수행을 생략할 수 있게 하는 방법을 제시하는 것으로써, 현재 블록의 변환 크기와 최대변환생략블록크기를 상호 비교하여 선택적으로 변환 수행을 생략할 수 있게 하고, 또한 이에 대한 효율적인 시그널링 기술을 개시한다. 상기 방법은 현재 블록과 예측 블록 간의 차분값에 해당하는 잔차 신호에 대한 변환 여부를 결정하고자 할 때, 현재 TU(Transform Unit) 크기와 최대변환생략블록크기 값을 비교하는 단계 및 상기 TU 크기와 상기 최대변환생략블록크기 값의 비교 정보를 기반으로 변환 여부를 결정하는 단계를 포함한다.

Description

영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR IMAGE ENCODING/DECODING}

본 발명은 영상의 부호화/복호화에 관한 것으로, 보다 상세하게는 변환 생략 여부를 결정하여 영상을 부호화/복호화하는 방법 및 장치에 관한 것이다.

H.264 나 HEVC(High Efficiency Video Coding)와 같은 움직임보상-변환부호화 영상압축기술에 따르면, 변환은 항상 수행된다. 그러나 영상의 압축할 해당 블록내에 공간적 화소값 변화도가 매우 크거나 매우 예리(sharp)한 경우 변환을 하여도 영상 에너지가 저주파로 집중하는 정도가 크지 않으며, 압축과정에서 저주파성분은 주로 유지하고 고주파 성분은 없애 버리거나 양자화를 강하게 적용할 경우 오히려 심각한 화질의 저하를 초래하는 경우가 자주 발생한다. 특히, 컴퓨터에 의하여 만들어진 인공영상의 경우 이러한 문제점이 더욱 크다. 이런 경우, 기존 방법처럼 일률적으로 변환을 수행하는 것보다는 변환을 수행하지 않고 공간영역에서 바로 부호화 하면 오히려 압축 성능이 더 좋거나 화질 저하를 현저하게 줄일 수 있는 경우가 많다. 그러나 기존 영상압축방법들은 영상의 성질과는 상관없이 항상 변환을 수행하여야만 하므로, 기존 영상압축방법을 적용할 경우 화질 저하나 압축률 저하를 피할 수 없는 문제점이 항상 있어 왔다.

이 문제를 피하기 위하여 변환 생략 여부를 지시하는 플래그(flag)를 압축데이터에 삽입하여 매 변환 블록에 대한 변환 생략 여부를 지시하도록 하여 이러한 문제를 해결하는 것을 생각할 수 있다. 그러나, 매 변환블록마다 이러한 플래그(flag)를 보내도록 하면 시그널링에 소요되는 오버헤드가 증가하여 또 다른 문제가 발생한다.

이에 대한 한가지 해결책으로 현재 변환블록크기(TU size)가 4x4일 경우에만, 변환 생략 여부를 결정하는 플래그를 시그널링 하도록 하는 방법이 알려져 있다. 이 기술은 4x4 보다 큰 변환 블록에서는 변환이 생략될 수 없도록 하고, 4x4 의 경우에만 변환수행을 선택적으로 생략하도록 하는 것이며, 따라서 4x4 변환블록의 경우에만 플래그를 보내도록 한 것이다. 최근 개발된 RQT기술을 사용하면 쿼드트리(Quad-tree)로 분할된 다중 크기의 RQT 변환 기술을 사용하여 각 블록에 적합한 변환블록크기를 적응적이며 계층적으로 정할 수 있다. 이런 기술을 적용하면 만일 특정블록 내의 영상의 특성을 살펴본 결과 변환의 효용성이 적다고 판단되면 더 세밀한 변환블록크기로 분할하여 변환을 수행함으로써, 이러한 비효율성의 문제를 일부 변환블록으로 한정시킬 수 있기 때문이다. 가장 작은 변환크기가 4x4 이므로, 현재 고려중인 변환블록크기가 4x4 인 경우에는 더 이상 분할 변환을 할 수 없게 되므로 이 경우에만 변환수행의 생략여부를 결정하고 이 결정 결과를 지시하는 플래그를 전송하도록 하여, 복호화기로 하여금 변환수행 생략여부를 알 수 있게 하는 것이다. 이렇게 함으로써 플래그에 소요되는 오버헤드도 줄이고 변환의 효용성이 떨어지는 경우에는 이를 생략하도록 하는 효과를 누릴 수 있도록 하고 있다.

한편 현재의 비디오 압축기술은 각 부호화기의 독자적인 판단에 따라 복호화기가 사용할 최소 크기의 변환블록크기를 자체적으로 적응적으로 정할 수 있다. 특정 응용에서는 최소변환블록 크기가 4x4 가 아닌 8x8 이나 16x16등 여타의 크기로 정해질 수 있다. 만일 부호화기가 정한 최소 변환블록크기(이하 STU: Smallest TU Size)가 8x8이상일 경우, 현재의 기술은 어떠한 경우에도 블록변환 수행을 생략할 수 없는 기술적 단점을 갖고 있다. 즉, 이 경우 영상내 블록의 변환효율성이 상당히 떨어져 차라리 변환을 생략하는 경우가 더욱 유리한 것이 자명하더라도 현재의 기술을 사용하면 이를 가능하게 할 수 없는 문제가 발생하여 압축률이 떨어지거나 화질 저하의 문제를 감수하여야만 한다.

한편, 변환의 비효율성 문제를 가지고 있는 변환블록의 크기는 영상의 특성에 따라서 매우 여러 가지로 달라질 수 있다. 가장 작은 변환블록크기가 4x4이기 때문에 변환의 비효율성문제가 대부분 4x4 변환블록에서 발생할 수도 있으나, 영상의 특성에 따라서 8x8이나 16x16, 또는 32x32 변환블록크기에서도 상기의 비효율성 문제가 발생할 수 있다. 즉, 4x4 변환블록에만 비효율성 문제를 한정하고 이 경우만 변환을 생략하도록 하는 기존 기술을 사용할 경우 일부 영상에서 압축률이 떨어지거나 화질 저하의 문제가 발생할 수 있다.

상술한 문제점을 해결하기 위한 본 발명의 목적은 현재 (변환)블록의 크기가 부호화기(또는 사용자)가 정한 변환생략을 허용할 수 있는 최대 변환블록 크기 (이하, 이를 최대변환생략블록크기라고 칭할 수 있음)와 같거나 작은지 여부를 보고 현재 변환 블록에 대하여 변환(부호화시) 또는 역변환(복호화시) 과정을 수행을 할 것인가 또는 생략할 것인가 여부를 결정하는 기능을 실현하는 부호화기 및 복호화기를 제공하는 것이다.

본 발명의 다른 목적은 레지듀얼 코딩(residual coding) 데이터 전송보다 상위 레이어 (예를 들어 SPS(Sequence parameter set), PPS(Picture parameter set) 또는 slice header 등에서 선정한 어느 한 레이어일 수 있음)에서 최대변환생략블록크기를 지시하기 위한 Log2MaxTrafoSizeSkip 값을 정의하는 정보를 전달하도록 하여 현재 (변환) 블록의 크기가 부호화기가 (또는 사용자가) 정한 사용 가능한 Log2MaxTrafoSizeSkip와 같거나 작은지 여부에 따라 변환수행을 생략하는지 안하는지를 좀 더 유연하게 조정할 수 있는 부호화기 및 복호화기를 제공하는 것이다.

본 발명의 또 다른 목적은 Log2MaxTrafoSizeSkip 값을 부호화기가 정한 최소 변환블록크기(STU) 보다 같거나 크도록 한정하여 STU가 4x4보다 클 경우에도 부호화기의 판단에 의하여 블록변환(복호화기의 경우 역변환) 수행의 생략 여부를 조정하는 기능을 실현하는 부호화기 및 복호화기를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 영상 부호화 방법은 현재 블록과 예측 블록 간의 차분값에 해당하는 잔차 신호에 대한 변환 여부를 결정하고자 할 때, 현재 TU(Transform Unit) 크기와 최대변환생략블록크기 값을 비교하는 단계 및 상기 TU 크기와 상기 최대변환생략블록크기 값의 비교 정보를 기반으로 변환 생략 여부를 결정하는 단계를 포함할 수 있다.

상기 영상 부호화 방법은 상기 비교 정보에 따라 상기 변환 생략 여부에 대한 결정을 지시하는 플래그(flag)를 부호화하는 단계를 더 포함할 수 있다.

상기 최대변환생략블록 정보를 부호화하는 방법은 1) 상기 최대변환생략블록크기 값 자체를 그대로 비트스트림에 포함시키는 방법, 2) 최대변환생략블록크기와 현재 TU 크기에 대한 상대적인 값을 비트스트림에 포함시키는 방법 및 3) 부호화기가 정한 사용가능한 최소변환블록크기를 나타내는 값에 대한 상기 최대변환생략블록크기의 상대적인 값을 비트스트림에 포함시키는 방법 중 하나를 포함할 수 있다.

잔차값 코딩(residual coding) 데이터 전송보다 상위 레이어에서, 상기 최대변환생략블록 크기 값을 정의하는 정보를 전송하는 단계를 더 포함할 수 있다.

상기 상위 레이어는 픽처 파라미터 셋(Picture parameter set)을 포함할 수 있다.

상기 상위 레이어는 시퀀스 파라미터 셋(Sequence parameter set) 및 슬라이스 헤더(slice header) 중 적어도 하나를 포함할 수 있다.

상기 최대변환생략블록크기 값은 부호화기가 정한 STU(Smallest Transform Unit)의 크기와 최대변환블록크기 사이에서 설정 가능할 수 있다.

상기 현재 TU 크기가 상기 최대변환생략블록크기 값과 같거나 작을 경우, 변환 생략 여부를 결정하고, 변환 생략 여부에 대한 결정을 지시하는 플래그를 비트스트림에 포함시켜 부호화할 수 있다.

변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그가 인에블하고, 코딩 유닛(CU) 레벨에서 변환 및 양자화를 모두 수행하지 않는 것으로 결정하지 않은 경우에 해당하면서, 상기 현재 TU 크기가 상기 최대변환생략블록크기 값과 같거나 작을 경우, 변환 생략 여부를 결정하고, 변환 생략 여부에 대한 결정을 지시하는 플래그를 비트스트림에 포함시켜 부호화할 수 있다.

상기 현재 TU 크기가 상기 최대변환생략블록크기 값보다 클 경우, 변환 생략 여부에 대한 플래그 생성 없이, 상기 현재 변환 블록에 대해 변환을 수행하도록 결정할 수 있다.

상기 결정된 변환 방식을 기반으로 상기 현재 변환 블록에 대한 변환을 수행하는 단계를 더 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 영상 부호화 장치는 현재 블록과 예측 블록 간의 차분값에 해당하는 잔차 신호에 대한 변환 여부를 결정하고자 할 때, 현재 TU(Transform Unit) 크기와 최대변환생략블록크기 값을 비교하는 비교부 및 상기 TU 크기와 상기 최대변환생략블록크기 값의 비교 정보를 기반으로 변환 생략 여부를 결정하는 결정부를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 영상 복호화 방법은 역 양자화된 변환 계수에 대한 역변환을 수행하고자 할 때, 현재 TU(Transform Unit) 크기와 최대변환생략블록크기 값을 비교하는 단계 및 상기 TU 크기와 상기 최대변환생략블록크기 값의 비교 정보를 기반으로 현재 변환 블록의 역변환 생략 여부를 결정하는 단계를 포함할 수 있다.

상기 최대변환생략블록 정보는 1) 상기 최대변환생략블록크기 값 자체를 그대로 비트스트림에 포함되거나, 2) 최대변환생략블록크기와 현재 TU 크기에 대한 상대적인 값이 비트스트림에 포함되거나 또는 3) 부호화기가 정한 사용가능한 최소변환블록크기를 나타내는 값에 대한 상기 최대변환생략블록크기의 상대적인 값이 비트스트림에 포함되어 수신될 수 있다.

상기 영상 복호화 방법은 잔차값 코딩(residual coding) 데이터 전송보다 상위 레이어에서, 상기 최대변환생략블록 크기 값을 정의하는 정보를 수신하는 단계를 더 포함할 수 있다.

상기 최대변환생략블록크기 값은 부호화기가 정한 STU(Smallest Tranform Unit)의 크기와 최대변환블록크기 사이의 값일 수 있다.

상기 현재 TU 크기가 상기 최대변환생략블록크기 값과 같거나 작을 경우, 역변환 생략 여부를 지시하는 플래그를 읽고, 플래그 값에 따라 역변환을 수행하거나 역변환 수행을 생략할 수 있다.

역변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그가 인에블하고, 코딩 유닛(CU) 레벨에서 역변환 및 역양자화를 모두 수행하지 않는 것으로 결정하지 않은 경우에 해당하면서, 상기 현재 TU 크기가 상기 최대변환생략블록크기 값과 같거나 작을 경우, 역변환 생략 여부를 지시하는 플래그를 읽고, 플래그 값에 따라 역변환을 수행하거나 역변환 수행을 생략할 수 있다.

상기 현재 TU 크기가 상기 최대변환생략블록크기 값보다 클 경우, 역변환 생략 여부에 대한 플래그를 읽지 않고, 직접 상기 현재 변환 블록에 대해 역변환을 수행하도록 결정할 수 있다.

상기 결정된 변환 방식을 기반으로 상기 현재 변환 블록에 대한 역변환을 수행하는 단계를 더 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 영상 복호화 장치는 역 양자화된 변환 계수에 대한 역변환을 수행하고자 할 때, 현재 TU(Transform Unit) 크기와 최대변환생략블록크기 값을 비교하는 비교부 및 상기 TU 크기와 상기 최대변환생략블록크기 값의 비교 정보를 기반으로 현재 변환 블록의 역변환 생략 여부를 결정하는 결정부를 포함할 수 있다.

본 발명에 따르면 현재 TU 크기와 Log2MaxTrafoSizeSkip 값을 비교하여 역변환 생략 여부를 결정하는 정보를 좀 더 유연하고 효율적으로 시그널링 함으로써 부호화 효율을 높일 뿐만 아니라 주관적 화질도 향상시킬 수 있다.

또한, 본 발명에 따르면 영상의 압축할 해당 블록내에 공간적 화소값 변화도가 매우 크거나 매우 예리(sharp)하여 변환을 하여도 영상 에너지가 저주파로 집중하는 정도가 크지 않으며, 압축과정에서 저주파성분은 주로 유지하고 고주파 성분은 없애 버리거나 양자화를 강하게 적용할 경우 심각한 화질의 저하를 초래하는 경우에, Log2MaxTrafoSizeSkip 값을 STU크기와 같거나 크게 한정하여 STU가 4x4보다 클 경우에도 부호화기의 판단에 의하여 큰 오버헤드 부담없이 블록변환 수행의 생략여부를 경제적으로 지시할 수 있도록 하여 영상압출률을 증가 시키기거나 화질저하를 최소화 할 수 있는 효과가 있다.

이러한 효과는 특히 컴퓨터에 의하여 만들어진 인공영상의 경우 더 두드러 진다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 최대변환생략블록크기를 기초로 변환 생략 여부를 결정하여 부호화하는 방법을 개략적으로 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 최대변환생략블록크기를 기초로 변환 생략 여부를 결정하여 복호화하는 방법을 개략적으로 나타낸 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

영상 부호화 장치의 구성

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(125), 감산기(130), 변환부(135), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 픽처 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 모드인 경우 스위치(125)가 인트라로 전환되고, 인터 모드인 경우 스위치(125)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀 값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록에 대응하는 영역을 찾아 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 픽처 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

감산기(130)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(135)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다.

영상 부호화 장치(100)는 인터 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서, 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 픽처 버퍼(190)에 저장될 수 있다.

영상 복호화 장치의 구성

도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 픽처 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화한다. 엔트로피 복호화에 의해, 양자화된 (변환) 계수가 생성될 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 복원된 잔차 블록(residual block)이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀 값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나를 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

이하, 블록은 영상 부호화 및 복호화의 단위를 의미할 수 있다. 따라서, 본 명세서에서 블록은 경우에 따라 부호화 단위(CU; Coding Unit), 예측 단위(PU; Prediction Unit), 변환 단위(TU; Transform Unit) 등을 의미할 수도 있다. 또한, 본 명세서에서 부호화/복호화 대상 블록은, 변환/역변환이 수행되는 경우의 변환/역변환 대상 블록 및 예측이 수행되는 경우의 예측 대상 블록 등을 모두 포함하는 의미로 사용될 수 있다.

일반 잔차 신호 변환 과정

한편, 종래 부호화기는 원본 블록과 예측 블록간의 차분값에 해당하는 잔차 신호를 변환 수행시, 현재 TU 크기에 따라서 변환 생략 여부를 결정하는 플래그를 시그널링한다.

현재 TU 크기가 4x4일 경우 변환 생략 여부를 결정하는 플래그를 시그널링할 수 있다. 4x4보다 클 경우는 변환 생략 여부를 결정하는 플래그가 보내지지 않는다 (따라서, 항상 변환을 수행한다).

복호화기는 이 플래그가 1일 경우, 잔차 신호에 대해서 변환을 수행하지 않는다. 플래그가 0일 경우, 잔차 신호에 대해서 변환을 수행한다.

종래기술에서 변환수행을 선택적으로 생략하는 기술은 다음에 의하여 구현된다. 또한, 종래기술에서 변환 생략 여부를 지시하는 정보는 다음과 같이 전송된다.

Picture_parameter_set에서는 변환수행 생략기능 자체가 사용되는지 여부를 transform_skip_enabled_flag으로 지시한다.

여기서, transform_skip_enabled_flag=1인 경우 각 잔차 블록(residual block)마다 변환수행 생략 여부를 지시하는 플래그 정보인 transform_skip_flag 가 존재할 수 있다. 잔차 블록(residual block) 의 문법(syntax)는 표 1과 같다. 표 1과 같이 종래기술에 따르면 transform_skip_flag는 변환블록의 크기가 4x4 일 경우에만 존재할 수 있다. 즉, 변환블록의 크기가 4x4 보다 클 경우는 변환 수행 생략기능이 원천적으로 사용될 수 없는 단점이 있다. transform_skip_flag의 값이 1인 변환블록데이터는 부호화에서 변환이 생략되었다는 의미이므로 역변환과정을 거치지 않는다. transform_skip_flag에 대한 좀 더 자세한 설명은 표 2와 같다.

< residual_coding >

transform_skip_flag[ x0 ][ y0 ][ cIdx ] specifies whether a transform is applied to the associated transform block or not: The array indices x0, y0 specify the location ( x0, y0 ) of the top-left luma sample of the considered transform block relative to the top-left luma sample of the picture. The array index cIdx specifies an indicator for the colour component; it is equal to 0 for luma, equal to 1 for Cb, and equal to 2 for Cr. transform_skip_flag[ x0 ][ y0 ][ cIdx ] equal to 1 specifies that no transform is applied to the current transform block. transform_skip_flag[ x0 ][ y0 ][ cIdx ] equal to 0 specifies that the decision whether transform is applied to the current transform block or not depends on other syntax elements. When transform_skip_flag[ x0 ][ y0 ][ cIdx ] is not present, it is inferred to be equal to 0.

또한 종래의 기술에 따른 역변환 절차는 표 3과 같다.

The (nT)x(nT) array of residual samples r is derived as specified as follows:
If cu_transquant_bypass_flag is equal to 1, the (nT)x(nT) array r is set equal to the (nT)x(nT) array of transform coefficients TransCoeffLevel[xT][yT][cIdx].
Otherwise, the following ordered steps apply:
The scaling process for transform coefficients as specified in subclause 8.6.3 is invoked with the transform block location (xT,yT), the size of the transform block nT, the colour component variable cIdx and the quantization parameter qP as the inputs and the output is a (nT)x(nT) array of scaled transform coefficients d.
The (nT)x(nT) array of residual samples r is derived as follows.
If transform_skip_flag[ xT ][ yT ][ cIdx ] is equal to 1 , the residual sample array values r[x][y] with x=0..nT-1, y=0..nT-1 are derived as:
r[x][y] = (d[x][y]<<7) (8-265)
Otherwise (transform_skip_flag[xT][yT][cIdx] is equal to 0), the transformation process for scaled transform coefficients as specified in subclause 8.6.4 is invoked with the transform block location (xT,yT), the size of the transform block nT, the colour component variable cIdx, and the (nT)x(nT) array of scaled transform coefficients d as the inputs and the output is a (nT)x(nT) array of residual samples r.

종래 기술에 따르면, 하이 레벨 신텍스(high level syntax)에서 설정한 STU가 4x4보다 큰 경우에는 (즉, log2TrafoSize > 2의 경우) 변환수행을 생략할 수 없는 문제점이 있다.

상술한 문제점들을 해결하기 위해서, 본 발명에서는 부호화기에서 결정된 변환 생략 블록의 최대 크기가 가변적이더라도, 부호화기에서 결정된 변환 생략 블록의 최대 크기에 따라 변환 생략 여부를 결정하여 변환 과정을 생략(skip)할 수 있는 방법을 제공한다.

최대변환생략블록크기는 변환 과정을 생략할 수 있는 변환 블록 크기를 위한 것으로써, 블록 크기 그 자체로 표시하거나 이에 대한 base가 2인 logarithm 값으로 표시하도록 할 수 있다. 예를 들어, 최대변환생략블록크기가 16x16이라면 최대변환생략블록크기=16 으로 표시하거나, 최대변환생략블록크기=log2(16)=4로 표시할 수 있다. 본 명세서상에서는 간결한 설명의 편의상, 최대변환생략블록크기를 실제 블록 크기(에를 들어 16x16, 32x32처럼 표시하는 것) 또는 이에 대한 logarithm 값(예를 들어 16 및 32에 대한 base 2의 logarithm 값인 4, 5로 표시하는 것)을 혼동의 여지가 없는 한 혼용하여 설명에 사용한다. 즉, 설명의 편의상, 최대 변환블록 크기는 base가 2인 logarithm으로 표시하고, 그 값을 Log2MaxTrafoSizeSkip 라고 부르자. 이러한 설명의 편의상의 설명방법은 비단 최대변환생략블록크기에 대한 설명 뿐만 아니라, 블록 또는 변환블록의 크기를 지칭할 때도 같은 방식으로 혼용하여 사용한다.

- 부호화기의 경우, 현재 블록의 크기가 Log2MaxTrafoSizeSkip 값과 같거나 작은 경우에는 변환 생략 여부를 결정하고, 이에 따른 정보 플래그를 압축비트스트림(또는 데이터)상에 시그널링 한다.

- 복호화기의 경우 현재 블록의 크기가 Log2MaxTrafoSizeSkip 값과 같거나 작은 경우에는 압축비트스트림(또는 데이터)에서 역변환 생략 여부를 지시하는 플래그를 읽는다. 복호화기는 이 플래그의 값이 1일 경우 역변환 수행을 생략하고, 이 플래그의 값이 0일 경우 역변환을 수행한다(플래그 값의 정의에 따라, 변환 수행여부에 대한 0과 1의 의미가 반대일 수도 있다).

영상 부호화 방법

도 3은 본 발명의 실시예에 따른 최대변환생략블록크기를 기초로 변환 생략 여부를 결정하여 부호화하는 방법을 개략적으로 나타낸 순서도이다. 도 3의 각 단계는 도 1에서 설명한 영상 부호화 장치에 대응하는 구성 내에서 수행될 수 있다.

부호화기는 현재 부호화 대상 블록에 대해 인트라(intra) 예측 또는 인터(inter) 예측을 수행하여 예측 블록을 생성한 후, 현재 부호화 대상 블록과 예측 블록 간의 차분값에 해당하는 잔차 신호(residual)를 획득할 수 있다. 이때, 부호화기는 변환 블록 단위를 기초로 잔차 신호를 변환(transform)하는 과정을 수행할 수 있으며, 도 3과 같은 방법으로 수행될 수 있다.

부호화기는 먼저, 잔차 신호를 획득한 후, 변환을 수행함에 있어서, 현재 변환 블록의 크기와 최대변환생략블록크기 값을 비교한다(S310). 최대변환생략블록크기 값의 전송은 레지듀얼 코딩(residual coding) 데이터 전송보다 상위 레이어(예를 들어, 픽처 파라미터 셋(Picture parameter set) 또는 시퀀스 파라미터 셋(Sequence parameter set), 슬라이스 헤더(slice header) 등)에서 최대변환생략블록크기(Log2MaxTrafoSizeSkip) 값 (또는 이 값을 결정할 수 있는 정보)를 전달하여 달성된다. 상기의 최대변환생략블록크기는 변환 생략을 허용할 수 있는 최대 TU 크기를 조정한다.

또한, Log2MaxTrafoSizeSkip 값을 부호화기가 정한 STU 크기(Smallest Transform Unit: 최소 변환 유닛 크기)보다 같거나 크도록 한정하여 STU크기가 4x4보다 클 경우에도 부호화기의 판단에 의하여 블록변환 수행의 생략여부를 조정한다. 예를 들어, STU크기가 8x8일 경우 최대변환생략블록크기는 8x8부터 시작하여 최대변환블록크기(예를 들어 이를 32x32라고 하자)까지 설정가능하도록 할 수 있다(이 경우, Log2MaxTrafoSizeSkip 값은 3에서 5까지 가능하다). 예를 들어 이 경우 사용자 또는 부호화기는 Log2MaxTrafoSizeSkip = 4로 정할 수 있다. 이런 경우, 블록변환은 8x8, 16x16의 블록크기에 대하여만 생략될 수 있다. 마찬가지의 또 다른 예로, STU크기가 16x16일 경우 최대변환생략블록크기는 16x16부터 시작하여 최대변환블록크기인 32x32까지(이 경우, Log2MaxTrafoSizeSkip값은 4부터 5까지) 설정가능한데, 사용자 또는 부호화기가 Log2MaxTrafoSizeSkip = 4로 정하였다면, 블록변환은 16x16의 블록크기에 대하여만 생략될 수 있다.

만일, 현재 변환 블록 크기와 최대변환생략블록크기보다 작거나 같으면, 부호화기는 현재 변환 블록에 대해 변환을 생략할지 여부를 결정한다(S320). 여기서, 현재 변환 블록은 변환이 수행될 때는, 변환 블록 데이터가 되나 변환이 생략될 시에는 화소 영역 데이터를 의미할 수 있다. 즉, 용어의 불명확함을 회피하기 위해, 위 두 개념을 포괄적으로 포함하는 개념으로 변환 블록이라는 용어를 사용한다.

이때, 현재 변환 블록에 대해 변환 생략 여부를 알려주기 위해서 플래그를 이용할 수 있다. 그리고, 이 플래그 값에 따라 변환을 수행하거나 생략한다. 현재 TU 크기가 Log2MaxTrafoSizeSkip 값보다 클 경우 변환 생략 여부를 알려주는 플래그를 시그널링 하지 않고, 항상 변환을 수행한다.

예컨대, 변환 생략 여부를 지시하는 플래그인 transform_skip_flag를 이용할 수 있다. transform_skip_flag의 값이 1이면 현재 변환 블록에 대해 변환을 수행하지 않고 생략(skip)한 것을 지시할 수 있고, transform_skip_flag의 값이 0이면 현재 변환 블록에 대해 변환을 수행한 것을 지시할 수 있다.

상기 현재 변환 블록에 대한 변환 생략 여부 결정에 따라, 현재 변환 블록 크기가 최대변환생략블록크기보다 같거나 작은 경우 변환 생략 여부를 지시하는 플래그(예를 들어, transform_skip_flag)를 부호화하여 복호화기로 전송할 수 있다. 이때, 변환 생략 여부를 지시하는 플래그(예를 들어, transform_skip_flag)의 값이 1이면(S330), 부호화기는 현재 변환 블록에 대해 변환 수행을 생략한다(S340). 그렇지 않으면, 부호화기는 현재 변환 블록에 대해 변환을 수행한다(S345).

한편, 단계 S310의 판단 결과, 현재 변환 블록 크기가 최대변환생략블록크기보다 크면, 부호화기는 현재 블록에 대해 변환을 수행한다(S345). 이 경우, 변환 생략 여부를 지시하는 플래그(예를 들어, transform_skip_flag)를 부호화하지 않으며, 상기 플래그 정보를 복호화기로 전송하지 않는다.

비트스트림의 구성

본 발명에 따른 비트스트림은 다음과 같이 구성된다.

residual_coding(x0,y0,log2TrafoSize,CIdx)	Descriptor
if(transform_skip_enabled_flag && !cu_transquant_bypass_flag && (log2TrafoSize <= Log2MaxTrafoSizeSkip))
transform_skip_flag[x0][y0][cIdx]
...

표 4를 참조하면, 잔차값 코딩에 있어서, transform_skip_enabled_flag가 인에이블되어야 하고, 코딩 유닛(CU) 레벨에서 변환 및 양자화를 모두 수행하지 않는 것으로 결정하지 않은 경우에 해당하면서, 현재 변환 블록의 크기가 최대변환생략블록크기보다 작거나 같을 경우에 변환 생략을 수행하고, 이때 변환 생략 플래그를 비트스트림에 포함시킨다. 이러한 제한 조건은 역변환시에도 동일하게 적용될 수 있다.

여기에서 Log2MaxTrafoSizeSkip 정보를 부호화기가 복호화기에 알려주어야 하는데, 최대변환생략블록크기(또는 Log2MaxTrafoSizeSkip)를 가리키는 정보를 압축비트스트림에 표시하는 실현방법은 여러 가지가 있을 수 있다.

첫 번째 실현예는 Log2MaxTrafoSizeSkip 값 자체를 그대로 비트스트림에 표시하는 방법이다. 이에 대한 신택스정보를 log2_max_transform_block_size_transform_skip 이라고 부르자. 예를 들면, 변환생략을 허용할 수 있는 최대 변환블록 크기가 4x4 이라면, 변환블록의 한변의 길이인 4에 대한 base가 2인 logarithm 값이 2이므로, 압축비트스트림에는 log2_max_transform_block_size_transform_skip라는 문법(syntax) 요소(Syntax element)를 설정하고 이에 대한 값으로 2를 전송하는 실현방법이다 (방법1).

최대변환생략블록크기(또는 Log2MaxTrafoSizeSkip)를 가리키는 정보를 압축비트스트림에 표시하는 다른 실현방법은 다음과 같다. 4x4 변환블록크기에 대한 최대변환생략블록크기의 상대적인 값을 base가 2인 logarithm 값으로 표현하도록 할 수 있다. 이 값을 log2_max_transform_skip_block_size_minus2 라고 부르자. 이에 대한 구체적인 예를 들어보자. 변환생략을 허용할 수 있는 최대 변환블록 크기가 8x8인 경우 8과 4에 대한 base가 2인 logarithm 값이 각각 3과 2이며, 이에 대한 차이, 즉 3-2는 1이다. 따라서, 압축비트스트림에는 log2_max_transform_skip_block_size_minus2 라는 문법(syntax) 요소(Syntax element)를 설정하고, 이에 대한 값으로 1을 전송하는 실현방법이다(방법 2). 방법 2의 경우는 상기의 log2_max_transform_skip_block_size_minus2 값이 음수가 아니라는 성질이 있어, 부호화시에 이 값을 잘못 설정할 가능성이 줄어 편리하다.

최대변환생략블록크기(또는 Log2MaxTrafoSizeSkip)를 가리키는 정보를 압축비트스트림에 표시하는 또 다른 실현방법은 다음과 같다. 부호화기가 정한 사용가능한 최소변환블록크기(이를 logarithm으로 나타낸 것을 Log2MinTrafoSize라고 하자)를 나타내는 값에 대한 최대 변환블록 크기의 상대적인 값을 표시하도록 할 수 있다(편의상, 이를 오프셋값이라 부르자). 이 경우 그 오프셋값을 그대로 표시하도록 할 수 있다. 또는 그 값을 base가 2인 logarithm 값으로 표현하도록 할 수 있다 (이 값을 비트스트림에 표시하는 신택스 요소를 log2_max_transform_block_size_transform_skip_minus_min_transform 라고 부르자). 이에 대한 구체적인 예를 들어보자. 변환생략을 허용할 수 있는 최대 변환블록 크기가 8x8 이고, 부호화기가 정한 사용가능한 최소변환블록크기가 4x4이라면, 8과 4에 대한 base가 2인 logarithm 값이 각각 3과 2이며, 이에 대한 차이, 즉 3-2는 1다. 따라서, 상기의 오프셋값 (또는 log2_max_transform_block_size_transform_skip_minus2 의 신택스 요소의 값을 1로 표시하는 실현방법이다(방법 3). 방법 3도 방법2와 마찬가지로 상기의 오프셋값 (또는 log2_max_transform_block_size_transform_skip_minus_min_transform)이 음수가 아니라는 성질이 있어, 부호화시에 이 값을 잘못 설정할 가능성이 줄어 편리하다.

위와 같은 다양한 실현예를 통하여 압축데이터 또는 비트스트림의 해당값을 통하여 전달된 정보를 사용하여 최종적으로 Log2MaxTrafoSizeSkip 정보는 아래의 수학식 중 하나로 정하여질 수 있다.

Log2MaxTrafoSizeSkip = log2_max_transform_block_size_transform_skip

Log2MaxTrafoSizeSkip = log2_max_transform_skip_block_size_minus2+2

Log2MaxTrafoSizeSkip = Log2MinTrafoSize+ log2_max_transform_block_size_transform_skip_minus_min_transform

설명의 편의상, 표 6의 비트스트림 구성의 실현예를 log2_max_transform_skip_block_size_minus2를 사용하여 Log2MaxTrafoSizeSkip 정보를 표시하는 것을 기준으로 설명한다.

변환을 수행할 현재 블록의 크기는 위의 신텍스(syntax)에 따르면 N=2^{(log2TrafoSize)} 이다. 이때 변환블록크기는 (즉, TU 크기)는 NxN 이다. 최대변환생략블록크기 (Log2MaxTrafoSizeSkip)를 가리키는 정보는 Picture_parameter_set에서 사용을 허락하는 다음의 문법요소(log2_max_transform_skip_block_size_minus2) 를 사용하여 지시한다. 이때, Log2MaxTrafoSizeSkip의 크기는 다음에 의하여 결정된다.

Log2MaxTrafoSizeSkip = log2_max_transform_skip_block_size_minus2+2

본 발명의 일 실시예에 따르면 log2_max_transform_skip_block_size_minus2은 아래 수학식과 같이 한정된다.

log2_max_transform_skip_block_size_minus2 >= log2_min_transform_block_size_minus2 ..........(1)

여기서, 신택스 요소("log2_min_transform_block_size_minus2")는 시퀀스 파라미터 셋(Sequence_parameter_set)에 표시되는, 부호화기가 사용을 허락하는 최소변환블록(STU)의 크기를 지시하는 정보이다.

상기 신택스 요소(log2_max_transform_skip_block_size_minus2)를 비트스트림에 표시하는 실현예는 다음과 같다 (더욱 구체적인 실현예로써, 픽처 파라미터 셋(Picture_parameter_set) 레이어에 표시하는 방법을 보인다)

Picture_parameter_set

....

transform_skip_enabled_flag

if (transform_skip_enabled_flag)

log2_max_transform_skip_block_size_minus2

....

표 5의 신택스 요소인 transform_skip_enabled_flag는 변환 생략 가능 자체의 사용여부를 복호화기에 알려주는 플래그(flag)이다. 만일 주어진 픽처에서 변환생략 기능자체가 disable 된다면 (transform_skip_enabled_flag=0의 경우), 변환생략여부에 대한 특별한 고려없이 변환을 수행하면 되므로, log2_max_transform_skip_block_size_minus2정보는 전송되지 않는다. 즉, transform_skip_enabled_flag=1의 경우에만 log2_max_transform_skip_block_size_minus2 정보를 전송한다(부호화기 입장). 복호화기 입장에서 본다면, 즉, transform_skip_enabled_flag=1의 경우만 log2_max_transform_skip_block_size_minus2 정보를 비트스트림에서 읽는다.

상기 log2_max_transform_skip_block_size_minus2 신택스 요소를 비트스트림에 표시하는 또 다른 실현예로써, Sequence_parameter_set 레이어에 표시하는 방법은 다음과 같다.

Sequence_parameter_set

....

log2_max_transform_skip_block_size_minus2

....

Sequence_parameter_set 레이어에 위 정보를 표시하는 실현예에서는 블록변환 생략에 대한 표 7과 같은 정보를 전송할 수 있다.

Picture_parameter_set

....

transform_skip_enabled_flag

....

상기의 두 실현예에서는, Log2MaxTrafoSizeSkip값을 표시하기 위하여 log2_max_transform_skip_block_size_minus2정보를 전송하는 예를 기준으로 설명하였다. 이와 마찬가지로, 만일 Log2MaxTrafoSizeSkip값을 표시하기 위하여 전술한 다른 실현 방법인 log2_max_transform_block_size_transform_skip 또는 log2_max_transform_block_size_transform_skip_minus_min_transform를 사용하는 경우도 위의 두가지 실현예에서 해당 log2_max_transform_skip_block_size_minus2정보를 대체하는 형태로 동일하게 실현될 수 있다.

본 발명의 부호화 수행 과정을 정리하면 다음과 같다. 단, transform_skip_enabled_flag 가 disable(즉, 0)된 경우에는 해당 픽처에 대하여 블록변환 생략 자체가 모두 disable 된 것이므로 변환생략 과정은 수행되지 않는다.

1 단계: 현재 블록과 예측 블록간의 차분값에 해당하는 잔차신호를 입력 받는다.

2 단계: 현재 TU 크기와 Log2MaxTrafoSizeSkip 값을 비교한다.

3 단계: 현재 TU 크기가 Log2MaxTrafoSizeSkip 값과 같거나 작을 경우 다음을 수행한다.

3-1단계: 블록 변환 생략 여부를 결정한다.

3-2단계: 결정된 블록 변환 생략 여부를 지시하는 플래그를 압축비트스트림상에 시그널링한다(변환수행으로 결정된 경우는 플래그=1을 신호함; 변환 생략으로 결정된 경우는 플래그=0을 신호함).

4 단계: 현재 TU 크기가 Log2MaxTrafoSizeSkip 값보다 클 경우, 또는 블록 변환수행으로 결정된 경우 변환을 수행한다(단, 현재 TU 크기가 Log2MaxTrafoSizeSkip 값보다 클 경우 플래그는 신호하지 않는다). 이때 변환 생략으로 결정된 경우는 변환을 수행하지 않는다.

영상 복호화 방법

도 4는 본 발명의 실시예에 따른 최대변환생략블록크기를 기초로 역변환 생략 여부를 결정하여 복호화하는 방법을 개략적으로 나타낸 순서도이다. 도 4의 각 단계는 도 2에서 설명한 영상 복호화 장치에 대응하는 구성 내에서 수행될 수 있다.

도 4를 참조하면, 복호화기는 역양자화된 변환 계수를 수신한다(S410). 역양자화된 변환계수는 역변환이 될 경우에는 변환 계수이고, 역변환이 생략되는 경우에는 화소 영역의 데이터가 된다. 따라서, 본 명세서에서 역 양자화된 변환 계수는 역변환시의 변환 계수및 역변환이 생략시의 화소 영역의 데이터 값을 포괄적으로 포함하는 의미로 사용될 수 있다.

그리고는, 현재 변환 블록 크기와 최대변환생략블록크기를 비교한다(S420). 앞서 부호화기에서와 마찬가지로, 현재 변환 블록은 역변환이 수행될 때는, 변환 블록 데이터가 되나 역변환이 생략될 시에는 화소 영역 데이터를 의미할 수 있다. 즉, 용어의 불명확함을 회피하기 위해, 위 두 개념을 포괄적으로 포함하는 개념으로 변환 블록이라는 용어를 사용한다.

즉, 복호화기는 부호화기로부터 전송받은 최대변환생략블록크기에 대한 정보를 복호화하고, 현재 변환 블록 크기와 최대변환생략블록크기가 같거나 작은지 여부를 판단한다. 예컨대, 최대변환생략블록크기에 대한 정보가 "log2_max_transform_skip_block_size_minus2" 에 저장된 경우라면, "log2_max_transform_skip_block_size_minus2" 정보를 복호화 한 다음, 최대변환생략블록크기(log2_max_transform_skip_block_size_minus2+2)와 현재 변환 블록 크기(log2TrafoSize)를 비교할 수 있다. 여기는, "log2_max_transform_skip_block_size_minus2"로 최대변환생략블록크기 정보가 수신된 경우를 설명하였는데, "log2_max_transform_block_size_transform_skip" 또는 "log2_max_transform_block_size_transform_skip_minus_min_transform"를 사용하는 경우도 "log2_max_transform_skip_block_size_minus2" 정보를 대체하는 형태로 동일하게 실현될 수 있다.

다음으로, 복호화기는 현재 변환 블록 크기가 최대변환생략블록크기와 같거나 작은 경우, 복호화기는 역변환 생략 여부를 지시하는 플래그(예를 들어, transform_skip_flag)를 복호화 할 수 있다(S430).

복호화기는 상기 복호화된 플래그(예를 들어, transform_skip_flag) 정보가 1인지 판단하여(S440), 판단 결과에 따라 역변환을 수행하거나(S450), 또는 역변환 과정을 생략한다(S455).

예컨대, 상기 복호화된 플래그가 변환 과정을 생략한 것으로 지시하면(예컨대, transform_skip_flag의 값이 1인 경우)(S440), 복호화기는 역변환을 수행하지 않는다(S450). 상기 복호화된 플래그가 변환을 수행한 것으로 지시하면(예컨대, transform_skip_flag의 값이 0인 경우)(S440), 복호화기는 역변환을 수행한다(S455).

한편, 상기 S420 단계에서, 현재 변환 블록 크기가 최대변환생략블록크기보다 큰 경우, 복호화기는 역변환 생략 여부를 지시하는 플래그(예를 들어, transform_skip_flag)를 복호화하지 않고, 현재 변환 블록에 대해 역변환을 수행할 수 있다(S455).

본 발명에서는, 도 3에서 상술한 바와 같은 최대변환생략블록크기에 근거하여 변환 과정을 생략하는 기능 자체 및 도 4에서 상술한 바와 같은 최대변환생략블록크기에 근거하여 역변환 과정을 생략하는 기능 자체를 사용할지 여부를 지시하는 방법을 제공할 수 있다. 예컨대, 부호화기는 최대변환생략블록크기에 근거하여 변환 과정 생략 기능을 사용할지 여부를 지시하는 플래그를 사용할 수 있다. 복호화 과정은 부호화 과정과 대응되어 정확한 역과정이 수행되어야 하므로, 부호화 과정에서 최대변환생략블록크기에 근거하여 변환 과정 생략 기능을 사용할지 여부를 지시하는 상기 플래그가 상기 기능을 사용한다고 지시하는 경우에는 마찬가지로 복호화 과정에서도 최대변환생략블록크기에 근거하여 역변환 과정 생략 기능이 사용됨을 의미한다. 상기 플래그 정보는 픽처 파라미터 세트(Picture Parameter Set; PPS)에 설정되어 복호화기로 전송될 수 있다. 또는, 시퀀스 파라미터 세트(Sequence Parameter Set; SPS), 슬라이스 헤더(Slice header) 등에 설정되어 복호화기로 전송될 수 있다.

본 발명의 부호화 수행 과정을 정리하면 다음과 같다.

1 단계: 현재 TU 크기와 Log2MaxTrafoSizeSkip 값을 비교한다.

2단계: 현재 TU 크기가 Log2MaxTrafoSizeSkip 값과 같거나 작을 경우 다음을 수행한다.

2-1단계: 압축된 영상데이터에서 역(inverse) 변환 생략 여부를 지시하는 플래그(flag)를 읽는다.

2-2단계: 이 플래그가 1일 경우 역(inverse) 변환을 수행하지 않음

2-3단계: 이 플래그가 0일 경우 역(inverse) 변환을 수행함

3 단계: 현재 TU 크기가 Log2MaxTrafoSizeSkip 크기보다 클 경우

3-1단계: 역(inverse) 변환을 수행한다(압축된 영상데이터에서 역(inverse) 변환 수행/생략 여부를 지시하는 플래그를 읽지 않음).

본 발명의 복호화과정 수행을 위하여 추가로 다음의 수행과정이 수행될 수 있다.

picture_parameter_set에서 transform_skip_enabled_flag를 읽는다. 이 transform_skip_enabled_flag = 1의 경우는, 추가로 log2_max_transform_skip_block_size_minus2를 읽는다. 그리고 다음의 과정을 수행한다.

Log2MaxTrafoSizeSkip = log2_max_transform_skip_block_size_minus2+2

본 발명의 복호화과정 수행을 위한 또 다른 실현예로써, 다음의 수행과정이 수행될 수 있다.

Sequence_parameter_set

....

log2_max_transform_skip_block_size_minus2

....

sequence_parameter_set에서 log2_max_transform_skip_block_size_minus2를 읽는다. 그리고 picture_parameter_set에서 transform_skip_enabled_flag를 읽는다. 그 이후 다음의 과정을 수행한다.

if(transform_skip_enabled_flag)

Log2MaxTrafoSizeSkip = log2_max_transform_skip_block_size_minus2+2

else

Log2MaxTrafoSizeSkip = 2

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

변환 수행 생략 기능 자체가 사용되는지 여부를 결정하고, 변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그를 부호화하는 단계;
변환 생략이 가능한 변환 블록의 최대 크기인 최대변환생략블록크기를 결정하고, 상기 최대변환생략블록크기를 나타내는 정보를 부호화하는 단계;
현재 변환 블록 크기와 상기 최대변환생략블록크기를 비교하는 단계;
상기 현재 변환 블록 크기와 상기 최대변환생략블록크기 간의 비교에 기초하여, 현재 변환 블록에 대한 변환 생략 여부를 나타내는 플래그를 부호화하는 단계; 및
상기 변환 생략 여부를 나타내는 플래그에 따라, 상기 현재 변환 블록에 대한 변환을 선택적으로 수행하는 단계를 포함하되,
상기 변환 생략 여부를 나타내는 플래그는, 상기 현재 변환 블록 크기가 상기 최대변환생략블록크기와 같거나 작을 경우에 부호화되고
상기 변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그 및 상기 최대변환생략블록크기를 나타내는 정보는 시퀀스 파라미터 셋, 픽쳐 파라미터 셋 또는 슬라이스 헤더 중 적어도 하나에서 부호화되는 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서,
상기 최대변환생략블록크기를 나타내는 정보를 부호화하는 방법은 1) 상기 최대변환생략블록크기 자체를 그대로 비트스트림에 포함시키는 방법, 2) 상기 최대변환생략블록크기와 4x4 변환 블록 크기에 대한 상대적인 값을 비트스트림에 포함시키는 방법 및 3) 부호화기가 정한 사용가능한 최소변환블록크기를 나타내는 값에 대한 상기 최대변환생략블록크기의 상대적인 값을 비트스트림에 포함시키는 방법 중 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.
[청구항 3은(는) 설정등록료 납부시 포기되었습니다.]

제1항에 있어서,
상기 변환 생략 여부를 나타내는 플래그는, 변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그가 인에이블된 경우에 부호화되는 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서,
상기 최대변환생략블록크기는 영상 부호화 장치의 최대 변환 블록 크기와 같거나 작은 것을 특징으로 하는 영상 부호화 방법.
역변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그를 비트스트림으로부터 획득하는 단계;
상기 역변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그에 기초하여, 변환 생략이 가능한 변환 블록의 최대 크기인 최대변환생략블록크기를 유도하는 단계; 상기 최대변환생략블록크기는 상기 최대변환생략블록크기를 나타내는 정보에 기초하여 가변적으로 결정되고, 상기 최대변환생략블록크기를 나타내는 정보는 비트스트림을 통해 시그날링됨,
현재 변환 블록 크기와 상기 최대변환생략블록크기를 비교하는 단계;
상기 현재 변환 블록 크기와 상기 최대변환생략블록크기 간의 비교에 기초하여, 현재 변환 블록에 대한 역변환 생략 여부를 나타내는 플래그를 획득하는 단계; 및
상기 역변환 생략 여부를 나타내는 플래그에 기초하여, 상기 현재 변환 블록에 대한 역변환을 선택적으로 수행하는 단계를 포함하되,
상기 역변환 생략 여부를 나타내는 플래그는, 상기 현재 변환 블록 크기가 상기 최대변환생략블록크기와 같거나 작을 경우에 상기 비트스트림으로부터 획득되고,
상기 역변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그 및 상기 최대변환생략블록크기를 나타내는 정보는 시퀀스 파라미터 셋, 픽쳐 파라미터 셋 또는 슬라이스 헤더 중 적어도 하나를 통해 시그날링되는 것을 특징으로 하는 영상 복호화 방법.
제5항에 있어서,
상기 최대변환생략블록크기를 나타내는 정보는 1) 상기 최대변환생략블록크기 자체가 그대로 상기 비트스트림에 포함되거나, 2) 상기 최대변환생략블록크기와 4x4 변환 블록 크기에 대한 상대적인 값이 상기 비트스트림에 포함되거나 또는 3) 영상 부호화 장치가 정한 사용가능한 최소변환블록크기를 나타내는 값에 대한 상기 최대변환생략블록크기의 상대적인 값이 상기 비트스트림에 포함되어 수신되는 것을 특징으로 하는 영상 복호화 방법.
[청구항 7은(는) 설정등록료 납부시 포기되었습니다.]

제5항에 있어서,
상기 역변환 생략 여부를 나타내는 플래그는, 역변환 수행 생략 기능 자체가 사용되는지 여부를 지시하는 플래그가 인에이블된 경우에 상기 비트스트림으로부터 획득되는 것을 특징으로 하는 영상 복호화 방법.
제5항에 있어서,
상기 최대변환생략블록크기는 영상 복호화 장치의 최대 변환 블록 크기와 같거나 작은 것을 특징으로 하는 영상 복호화 방법.