KR20200040192A - 양자화된 변환 계수들의 부호화 및 복호화를 위한 방법 및 장치 - Google Patents

Abstract

본 개시는 변환 블록 내 계수들을 효율적으로 표현하는 것과 관련되어 있다. 본 개시의 일 측면에 따르면, 계수들에 대한 유효도 정보, 유효 계수들에 대한 레벨 정보, 및 유효 계수들에 대한 부호 정보를 표현하는 수정된 신택스 엘리먼트들의 세트를 제안한다.

Description

양자화된 변환 계수들의 부호화 및 복호화를 위한 방법 및 장치{Method and Apparatus for Encoding and Decoding Quantized Transform Coefficients}

본 발명은 영상 부호화 또는 복호화에 관한 것으로, 보다 상세하게는, 양자화된 변환 계수들을 효율적으로 표현하는 것과 관련되어 있다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.

동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 데이터량이 많기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다. 따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 인코더를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 디코더에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC 약 40% 정도의 부호화 효율을 향상시킨 2013년 초에 제정된 H.265(HEVC; High Efficiency Video Coding) 표준 기술이 존재한다.

최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질화 됨에 따라 보다 효율적인 영상 압축 기술에 대한 논의가 진행되고 있다.

본 개시는 변환 블록 내 계수들을 보다 효율적으로 표현하기 위해, 변환계수들에 대한 유효도 정보, 유효 계수들에 대한 레벨 정보, 및 유효 계수들에 대한 부호 정보를 표현하는 수정된 신택스 엘리먼트들의 세트를 제안하고자 한다.

본 발명의 일 측면에 의하면, 비트스트림으로부터, 변환 블록 내에 포함된 복수의 서브블록들 중 특정 서브 블록에 적어도 하나의 0이 아닌 유효 계수가 존재하는지 여부를 나타내는 상기 특정 서브 블록에 대한 유효도 정보를 획득하는 단계; 및 상기 특정 서브 블록의 유효도 정보가 상기 특정 서브 블록에 적어도 하나의 유효 계수가 존재함을 나타내는 경우에, 상기 비트스트림으로부터, 상기 특정 서브 블록 내의 각 계수들에 대한 유효도 정보, 유효 계수들에 대한 레벨 정보, 및 유효 계수들에 대한 부호 정보를 표현하는 신택스 엘리먼트들을 획득하는 단계를 포함하는 영상 복호화 방법을 제공한다. 상기 유효 계수들에 대한 레벨 정보는 ⅰ) 관련 유효 계수의 레벨 절대값이 1 보다 큰지 여부를 나타내는 제 1 신택스 엘리먼트, ⅱ) 관련 유효 계수의 패리티를 나타내는 제 2 신택스 엘리먼트, ⅲ) 관련 유효 계수의 레벨 절대값이 3 보다 큰지 여부를 나타내는 제 3 신택스 엘리먼트, 및 ⅳ) 관련 유효 계수의 절대값의 나머지를 나타내는 제 4 신택스 엘리먼트를 포함한다.

본 발명의 다른 측면에 의하면, 변환 계수 블록 내 유효 계수들의 레벨 절대값을 결정하는 것을 포함하는 영상 복호화 방법을 제공한다. 상기 영상 복호화 방법은 대상 유효 계수의 절대값이 1 보다 큰지 여부를 가리키는 제 1 신택스 엘리먼트를 파싱하는 단계; 및 상기 제 1 신택스 엘리먼트가 상기 대상 유효 계수의 절대값이 1 보다 크지 않다고 가리키는 경우에, 상기 대상 유효 계수의 레벨 절대값을 1로 결정하는 단계를 포함한다.

상기 영상 복호화 방법은 상기 제 1 신택스 엘리먼트가 상기 대상 유효 계수의 절대값이 1 보다 크다고 가리키는 경우에, 상기 대상 유효 계수의 패리티를 가리키는 제 2 신택스 엘리먼트와 상기 대상 유효 계수의 레벨 절대값이 3 보다 큰지 여부를 가리키는 제 3 신택스 엘리먼트를 파싱하는 단계; 및 상기 제 3 신택스 요소가 상기 대상 유효 계수의 절대값이 3 보다 크지 않다고 가리키는 경우에, 상기 비트스트림으로부터, 제 2 신택스 엘리먼트가 가리키는 상기 대상 유효 계수의 패리티를 기초로 상기 대상 유효 계수의 레벨 절대값을 2 또는 3 중 하나로 결정하는 단계를 포함한다.

또한, 상기 영상 복호화 방법은 상기 제 3 신택스 엘리먼트가 상기 대상 계수의 절대값이 3 보다 크다고 가리키는 경우에, 상기 대상 계수의 절대값의 나머지를 나타내는 제 4 신택스 엘리먼트를 파싱하고, 상기 제 2 신택스 엘리먼트가 가리키는 상기 대상 유효 계수의 패리티와 상기 제 4 신택스 엘리먼트가 가리키는 상기 대상 계수의 레벨 절대값의 나머지를 기초로 상기 대상 유효 계수의 레벨 절대값을 결정하는 단계를 포함한다.

본 발명의 또 다른 측면에 의하면, 명령어들이 기록된 메모리 및 적어도 하나의 프로세서를 포함하는 영상 복호화 장치로서, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 수행될 때, 영상 복호화 장치로 하여금, 전술한 방법들을 실현하도록 구성된, 영상 복호화 장치를 제공한다.

본 발명의 또 다른 측면에 의하면, 변환 블록 내에 포함된 복수의 서브블록들 중 특정 서브 블록에 적어도 하나의 0이 아닌 유효 계수가 존재하는지 여부를 나타내는 상기 특정 서브 블록에 대한 유효도 정보를 부호화하는 단계; 및 상기 특정 서브 블록의 유효도 정보가 상기 특정 서브 블록에 적어도 하나의 유효 계수가 존재함을 나타내는 경우에, 상기 특정 서브 블록 내의 각 계수들에 대한 유효도 정보, 유효 계수들에 대한 레벨 정보, 및 유효 계수들에 대한 부호 정보를 표현하는 신택스 엘리먼트들을 부호화하는 단계를 포함하는 영상 부호화 방법을 제공한다.

본 발명의 또 다른 측면에 의하면, 명령어들이 기록된 메모리 및 적어도 하나의 프로세서를 포함하는 영상 부호화 장치로서, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 수행될 때, 영상 부호화 장치로 하여금, 전술한 방법을 실현하도록 구성된, 영상 부호화 장치를 제공한다.

도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 현재 블록의 주변블록에 대한 예시도이다.
도 3은 정사각형 계수 블록의 양자화된 계수들의 부호화에 이용되는 예시적인 스캔 방식들을 나타낸 도면이다.
도 3은 복수의 인트라 예측 모드들을 설명하기 위한 도면이다.
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치에 대한 예시적인 블록도이다.
도 5는 정사각형 계수 블록의 양자화된 계수들의 부호화에 이용되는 예시적인 스캔 방식들을 나타낸 도면이다.
도 6은 diagonal 스캔 방식에 대한 더 상세한 서브 블록 및 계수들의 스캔 순서를 예시한 도면이다.
도 7 내지 도 9는, 영상 복호화 장치가, 본 발명의 제 1 실시예에 따른 신택스 엘리먼트들을 이용하여 표현된, 변환 계수들의 레벨을 결정하는 방법들을 도시한 흐름도이다.
도 10 내지 도 12는, 영상 복호화 장치가, 본 발명의 제 2 실시예에 따른 신택스 엘리먼트들을 이용하여 표현된, 변환 계수들의 레벨을 결정하는 방법들을 도시한 흐름도이다.
도 13은 두 개의 스칼라 양자화기를 사용한 의존적 스칼라 양자화를 예시하는 도면이다.
도 14는 상태 머신의 상태를 기술하는 테이블을 이용하여 2 개의 스칼라 양자화기(Q0 및 Q1) 사이에서의 스위칭을 설명하기 위한 도면이다.
도 15는 의존적 스칼라 양자화 기법이 사용되는 경우에 영상 복호화 장치가 변환 계수의 레벨을 재구성하는 방법을 설명하는 흐름도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다. 이하에서는 도 1을 참조하여 영상 부호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.

영상 부호화 장치는 블록 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 부호화부(150), 역양자화부(160), 역변환부(165), 가산기(170), 필터부(180) 및 메모리(190)를 포함하여 구성될 수 있다.

영상 부호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.

하나의 영상(비디오)는 복수의 픽처들로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 타일(Tile) 또는/및 슬라이스(Slice)로 분할된다. 여기서, 하나 이상의 타일을 타일 그룹(Tile Group)으로 정의할 수 있다. 각 타일 또는/슬라이스는 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 타일 내의 모든 블록들에 공통적으로 적용되는 정보는 타일의 신택스로서 부호화되거나 다수 개의 타일을 모아 놓은 타일 그룹의 신택스로서 부호화되며, 하나의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set) 혹은 픽처 헤더에 부호화된다. 나아가, 복수의 픽처가 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 그리고 하나 이상의 SPS가 공통으로 참조하는 정보들은 비디오 파라미터 셋(VPS, Video Parameter Set)에 부호화된다.

블록 분할부(110)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS 의 신택스로서 부호화되어 영상 복호화 장치로 전달된다.

블록 분할부(110)는 영상을 구성하는 각 픽처(picture)를 결정된 크기의 복수 CTU(Coding Tree Unit)로 분할한 이후에, CTU를 트리 구조(tree structure)를 이용하여 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(coding unit)가 된다.

트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 하나 이상을 혼용한 구조일 수 있다. 예컨대, QTBT(QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT(QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다. 여기서, BTTT는 합쳐서 MTT(Multiple-Type Tree)라 칭할 수 있다.

도 2는 QTBTTT 분할 트리 구조를 보인다. 도 2에서 보는 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조 또는 TT 구조 중 어느 하나 이상으로 더 분할될 수 있다. BT 구조 및/또는 TT 구조에서는 복수의 분할 방향이 존재할 수 있다. 예컨대, 해당 노드의 블록이 가로로 분할하는 방향과 세로로 분할하는 방향 두 가지가 존재할 수 있다. 도 2와 같이, MTT 분할이 시작되면, 노드들이 분할되었는지 여부를 지시하는 제2 플래그(mtt_split_flag)와, 분할이 되었다면 추가적으로 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그 및/또는 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.

트리 구조의 다른 예로서, QTBTTT 구조를 사용하여 블록을 분할하는 경우, 먼저 분할 되었음을 나타내는 CU 분할 플래그(split_cu_flag) 및 분할 타입이 QT 분할인지를 지시하는 QT 분할 플래그(split_qt_flag) 정보를 부호화부(150)에 의해 부호화하여 영상 복호화 장치로 시그널링된다. CU 분할 플래그(split_cu_flag) 값이 분할 되지 않았음을 지시하지 않는 경우, 해당 노드의 블록이 분할 트리 구조에서의 리프 노드(leaf node)가 되어 부호화의 기본 단위인 CU(coding unit)가 된다. CU 분할 플래그(split_cu_flag) 값이 분할 되었음을 지시하지 않는 경우, QT 분할 플래그(split_qt_flag) 값을 통해 분할 타입이 QT 혹은 MTT 인지를 구분한다. 분할 타입이 QT인 경우 더 이상의 추가 정보가 없으며, 분할 타입이 MTT인 경우, 추가적으로 MTT 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그(mtt_split_cu_vertical_flag) 및/또는 MTT 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그(mtt_split_cu_binary_flag)가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.

트리 구조의 다른 예시로서 QTBT가 사용되는 경우, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태로는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태를 포함할 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태를 포함할 수도 있다.

CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBTTT의 리프 노드)에 해당하는 블록을 '현재블록'이라 칭한다.

예측부(120)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.

일반적으로, 픽처 내 현재블록들은 각각 예측적으로 코딩될 수 있다. 현재블록의 예측은 (현재블록을 포함하는 픽처로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (현재블록을 포함하는 픽처 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 일반적으로 수행될 수 있다. 인터 예측은 단방향 예측과 양방향 예측 모두를 포함한다.

인트라 예측부(122)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 3에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 비방향성 모드와 65 개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.

인트라 예측부(122)는 현재블록을 부호화하는데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측 모드들을 사용하여 현재블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측 모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택할 수도 있다.

인트라 예측부(122)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 현재블록을 예측한다. 선택된 인트라 예측 모드에 대한 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.

인터 예측부(124)는 움직임 보상 과정을 통해 현재블록에 대한 예측블록을 생성한다. 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재블록을 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.

감산기(130)는 현재블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.

변환부(140)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(140)는 잔차 블록 내의 잔차 신호들을 잔차 블록의 전체 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 변환 영역 및 비변환 영역인 두 개의 서브 블록으로 구분하여, 변환 영역 서브 블록만 변환 단위로 사용하여 잔차 신호들을 변환할 수 있다. 여기서, 변환 영역 서브 블록은 가로축 (혹은 세로축) 기준 1:1의 크기 비율을 가지는 두 개의 직사각형 블록 중 하나일 수 있다. 이런 경우, 서브 블록 만을 변환하였음을 지시하는 플래그(cu_sbt_flag), 방향성(vertical/horizontal) 정보(cu_sbt_horizontal_flag) 및/또는 위치 정보(cu_sbt_pos_flag)가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. 또한, 변환 영역 서브 블록의 크기는 가로축 (혹은 세로축) 기준 1:3의 크기 비율을 가질 수 있으며, 이런 경우 해당 분할을 구분하는 플래그(cu_sbt_quad_flag)가 추가적으로 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.

양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(150)로 출력한다.

부호화부(150)는 양자화된 변환 계수들을 CABAC(Context-based Adaptive Binary Arithmetic Code) 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 이러한 부호화는 통상적으로 복수의 가용 스캔 패턴 중 하나를 이용하여 양자화된 변환 계수에 대해 수행된다.

본 개시의 기술들의 일 측면은, 일반적으로, 양자화된 계수들의 어레이인 계수 블록에 대해 (비-제로) 계수들의 레벨을 효율적으로 부호화하는 것과 관련된다. 따라서, 본 개시의 기법들은 부호화부(150)에 의해 수행될 수도 있다. 즉, 예를 들어, 부호화부(150)는 아래의 도 7 내지 도 12에 대해 기술된 본 개시의 기법들을 수행할 수도 있다. 다른 예들에서, 부호화 장치의 하나 이상의 다른 유닛들이 추가적으로 본 개시의 기법들을 수행하는 데 관여할 수도 있다.

부호화부(150)는 블록 분할과 관련된 CTU 사이즈, CU 분할 플래그, QT 분할 플래그, MTT 분할 방향, MTT 분할 타입 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다.

또한, 부호화부(150)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측 모드에 대한 정보) 또는 인터 예측정보(참조픽처 및 움직임벡터에 대한 정보)를 부호화한다.

역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.

가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.

필터부(180)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 픽셀들에 대한 필터링을 수행한다. 필터부(180)는 디블록킹 필터(182)와 SAO(Sample Adaptive Offset) 필터(184)를 포함할 수 있다.

디블록킹 필터(180)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(184)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(184)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해 사용되는 필터이다.

디블록킹 필터(182) 및 SAO 필터(184)를 통해 필터링된 복원 블록은 메모리(190)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.

도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다. 이하에서는 도 4를 참조하여 영상 복호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.

영상 복호화 장치는 복호화부(410), 역양자화부(420), 역변환부(430), 예측부(440), 가산기(450) 필터부(460) 및 메모리(470)를 포함하여 구성될 수 있다.

도 1의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.

복호화부(410)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출하여 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측 정보와 잔차신호에 대한 정보 등을 추출한다.

복호화부(410)는 SPS (Sequence Parameter Set) 또는 PPS (Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 CTU를 트리 구조를 이용하여 분할한다.

예컨대, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 MTT의 분할과 관련된 제2 플래그(MTT_split_flag) 및 분할 방향(vertical / horizontal) 및/또는 분할 타입(binary / ternary) 정보를 추출하여 해당 리프 노드를 MTT 구조로 분할한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.

또 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 CU의 분할 여부를 지시하는 CU 분할 플래그(split_cu_flag)를 추출하고, 해당 블록이 분할된 경우, QT 분할 플래그(split_qt_flag)를 추출한다. 분할 타입이 QT가 아니고 MTT인 경우, MTT 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그(mtt_split_cu_vertical_flag) 및/또는 MTT 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그(mtt_split_cu_binary_flag)를 추가적으로 추출한다. 분할 과정에서 각 노드는 0번 이상의 반복적인 QT 분할 후에 0번 이상의 반복적인 MTT 분할이 발생할 수 있다. 예컨대, CTU는 바로 MTT 분할이 가능하며, 반대로 CTU는 다수 번의 QT 분할만 발생할 수도 있다.

다른 예로서, QTBT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 방향 정보를 추출한다.

한편, 복호화부(410)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다.

예측 타입 정보가 인트라 예측을 지시하는 경우, 복호화부(410)는 현재블록의 인트라 예측정보(인트라 예측 모드)에 대한 신택스 요소를 추출한다.

예측 타입 정보가 인터 예측을 지시하는 경우, 복호화부(410)는 인터 예측정보에 대한 신택스 요소, 즉, 움직임벡터 및 그 움직임벡터가 참조하는 참조픽처를 나타내는 정보를 추출한다.

한편, 복호화부(410)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다. 본 개시의 기술들의 다른 측면은, 일반적으로, 양자화된 계수들의 어레이인 계수 블록에 대해 (비-제로) 계수들의 레벨을 효율적으로 복호화하는 것과 관련된다. 따라서, 본 개시의 소정의 기법들은 복호화부(410)에 의해 수행될 수도 있다. 즉, 예를 들어, 복호화부(410)는 아래의 도 7 내지 도 12에 대해 기술된 본 개시의 기법들을 수행할 수도 있다. 다른 예들에서, 영상 복호화 장치의 하나 이상의 다른 컴포넌트들이 추가적으로 본 개시의 기법들을 수행하는 데 관여할 수도 있다.

역양자화부(420)는 양자화된 변환계수들을 역양자화하고, 역변환부(430)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다. 역양자화부(420)는 변환 계수에 대한 가용한 재구성 값의 세트가 재구성 순서(혹은 스캔 순서의 역순)상 현재 변환 계수에 선행하는 변환 계수의 레벨에 의존하는, 의존적 스칼라 양자화(Dependent scalar quantization) 기법을 사용할 수 있다. 의존적 스칼라 양자화 기법에 대해서는, 도 13 내지 도 15를 참조하여 후술하기로 한다.

또한, 역변환부(430)는 변환 블록의 일부 영역(서브 블록)만 역변환하는 경우, 변환 블록의 서브 블록 만을 변환하였음을 지시하는 플래그(cu_sbt_flag), 서브 블록의 방향성(vertical/horizontal) 정보(cu_sbt_horizontal_flag) 및/또는 서브 블록의 위치 정보(cu_sbt_pos_flag)를 추출하여, 해당 서브 블록의 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원하고, 역변환되지 않은 영역에 대해서는 잔차신호로 "0"값을 채움으로써 현재블록에 대한 최종 잔차블록을 생성한다.

예측부(440)는 인트라 예측부(442) 및 인터 예측부(444)를 포함한다. 인트라 예측부(442)는 현재블록의 예측 타입인 인트라 예측일 때 활성화되고, 인터 예측부(444)는 현재블록의 예측 타입인 인트라 예측일 때 활성화된다.

인트라 예측부(442)는 복호화부(410)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다.

인터 예측부(444)는 복호화부(410)로부터 추출된 인트라 예측 모드에 대한 신택스 요소를 이용하여 현재블록의 움직임 벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 현재블록을 예측한다.

가산기(450)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.

필터부(460)는 디블록킹 필터(462) 및 SAO 필터(464)를 포함한다. 디블록킹 필터(462)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(464)는, 손실 부호화(lossy coding)으로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 대해 추가적인 필터링을 수행한다. 디블록킹 필터(462) 및 SAO 필터(464)를 통해 필터링된 복원 블록은 메모리(470)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.

전술한 바와 같이, 본 개시의 기술들은 변환 및 양자화 프로세스를 통해 얻어진 양자화된 변환 계수들의 어레이인 계수 블록에 대해 계수들을 효율적으로 부호화하고 복호화하는 것과 관련되어 있다. 개시된 기술들의 적어도 일부는 변환을 거치지 않은 잔차 블록에 대해 직접 적용될 수도 있다.

H.265(HEVC) 표준에서, 양자화 프로세스를 거친 양자화된 계수(quantized coefficient)들 중 비-제로(non-zero) 계수의 위치를 표현하기 위한 신택스(syntax) 요소들은 총 6개로 구성된다.

(1) last_sig_coeff_x_prefix

(2) last_sig_coeff_y_prefix

(3) last_sig_coeff_x_suffix

(4) last_sig_coeff_y_suffix

(5) coded_sub_block_flag

(6) sig_coeff_flag

앞의 네 개의 신택스 요소들은 계수 블록 내 스캔 순서상 마지막 비-제로 계수(즉, 마지막 유효 계수; last significant coefficient)의 위치에 관한 것으로, 해당 위치에 대한 x 성분과 y 성분을 각각 별도로 표시하고, 각 성분은 접두어(prefix) 및 접미어(suffix)로 나누어서 표현된다. coded_sub_block_flag는 계수 블록 내 각 4x4 서브 블록이 비-제로 계수를 하나 이상 포함하고 있는지 여부를 가리키는 플래그이다. 계수 블록에 대한 스캔 순서 상 마지막 유효 계수(Last significant coefficient)가 존재하는 마지막 유효 서브 블록(Last significant sub-block)에 선행하는 서브 블록에 한해서 coded_sub_block_flag가 시그널링된다. 여기서, coded_sub_block_flag는 해당 서브 블록 내 모든 계수들이 제로이면 "0", 하나 이상의 비-제로 계수가 존재하면 "1" 로 표시된다.

sig_coeff_flag는, 서브 블록 내 각 계수에 대해, 해당 계수가 비-제로인지 제로인지를 가리키는 플래그이다. sig_coeff_flag는 제로 계수에 대해 "0"으로 표시되고, 비-제로 계수에 대해 "1"로 표시된다. coded_sub_block_flag가 "1"인 경우에, 해당 서브 블록 내 모든 계수들 각각에 대한 sig_coeff_flag 신택스가 시그널링된다.

계수 블록 내의 계수들의 부호화는 통상적으로 복수의 가용한 스캔 방식 중 하나를 이용하여 수행된다. 도 5는 정사각형 계수 블록의 양자화된 계수들의 부호화에 이용되는 예시적인 스캔 방식들을 나타낸 도면이다. 이들 스캔 방식은 대각(diagonal) 방식, 수평(horizontal) 방식, 수직(vertical) 방식을 포함한다. 일반적으로, 부호화 대상 블록(즉, 현재 블록)이 화면간 예측 방식을 사용하여 부호화하는 경우, 해당 계수 블록의 계수들은 up-right diagonal 방식으로 스캐닝되고, 부호화 대상 블록이 화면내 예측 방식으로 부호화한 경우는 화면내 예측 모드에 따라 상기 세 가지 스캔 방식 중 선택된 하나로 해당 계수 블록의 계수들이 스캐닝된다.

예시된 스캔 방식은 계수 블록 내 서브 블록들 및 각 서브 블록 내 계수들에 대해서 동일한 형태의 스캔 패턴을 보인다. 예컨대, 수평(horizontal) 스캔 방식의 경우, 서브 블록들의 스캔 순서도 수평(horizontal) 방식이고, 각 서브 블록 내 계수들의 스캔 순서도 수평(horizontal) 방식이다. 도 6은 diagonal 스캔 방식에 대한 더 상세한 서브 블록 및 계수들의 스캔 순서를 보인다. 다만, 실제 비트스트림에 저장되는 순서는 스캔 순서의 역순으로 저장이 된다. 즉, 도 6의 255번 위치의 화소부터 0번 위치의 화소 순으로 비트스트림에 저장된다. 다시 말해, 이하에서 더 설명되는 바와 같이, 일단 마지막 비-제로 계수 위치가 알려지고 나면, 계수들은, 영상 복호화 장치에 의해, 스캔 패턴 내의 첫 번째 계수쪽으로 스캔 순서의 반대 방향으로 복호화될 수 있다.

H.265(HEVC) 표준에서, 비-제로(non-zero) 계수의 레벨(level)를 표현하기 위한 신택스(syntax) 요소들은 총 4개로 구성된다.

(7) coeff_abs_level_greater1_flag

(8) coeff_abs_level_greater2_flag

(9) coeff_sign_flag

(10) coeff_abs_level_remaining

coeff_abs_level_greater1_flag는 계수 레벨의 절대값이 1 보다 큰지를 알리는 플래그(이하에서 'G1 flag'로도 지칭될 수 있음)이며, coeff_abs_level_greater2_flag는 계수 레벨의 절대값이 2보다 큰지를 알리는 플래그(이하에서 'G2 flag'로도 지칭될 수 있음)이다. coeff_sign_flag는 계수 레벨의 부호(포지티브 또는 네거티브)를 알리는 플래그(이하에서 'Sign flag'로도 지칭될 수 있음)이며, coeff_abs_level_remaining는 2보다 큰 계수 레벨의 절대값의 나머지 값(remainder; 즉, 계수 레벨의 절대값 마이너스 3을 나타내는 값)을 표현하는 신택스 엘리먼트이다.

변환 계수가 유효하면, 영상 부호화 장치는 변환 계수의 값이 0 보다 크거나 또는 작은지 여부를 나타내는 부호 값(즉, Sign flag) 및 변환 계수의 절대값이 1 보다 큰지 여부를 나타내는 이진 값(즉, G1 flag)을 부호화한다. 또한, 변환 계수가 1 보다 큰 절대값을 가지면, 영상 부호화 장치는 변환 계수가 2 보다 큰 절대값을 갖는지 여부를 나타내는 이진 값(즉, G2 flag)을 추가로 부호화한다. 변환 계수가 2 보다 큰 절대값을 가지면, 영상 부호화 장치는 변환 계수의 절대값 마이너스 3을 나타내는 값(즉, remainder)을 추가로 부호화한다.

표 1은, H.265(HEVC) 표준에 따를 때, 변환 계수의 각 레벨들을 표현하는 신택스 엘리먼트들의 비트 값 혹은 비트 수를 보인다. 표 1에서, sig_flag, G1_flag, G2_flag 열들에는 해당 신택스 엘리먼트들의 비트 값들이 표기되어 있다. 그러나, remainder 열에는 2보다 큰 레벨의 절대값의 나머지 값(즉, 레벨 절대값 마이너스 3)을 표현하기 위해 필요한 정확한 비트 수 대신에, "나머지 값 자체"를 표기해 두었음에 유의한다. 다만, 나머지 값이 클수록 이를 표현하기 위해 필요한 비트수도 많을 것임이 자명하다. 그러한 취지에서, 총 비트 수(Total bits) 열의 비트 수는, remainder 열에 표기된 나머지 값 자체를 그 나머지 값을 표현하기 위한 비트 수로 간주하여, 계산되었다. 또한, 표 1에서, sign_flag 열에는 sign_flag 플래그를 표현하기 위해 필요한 비트 수를 표기해 두었음에 유의한다(즉, sign_flag 열에 표기된 '1'은 비트 값이 아닌 비트 수이다).

표 1를 참조하면, H.265(HEVC) 표준에 따를 때, 예를 들어, 레벨 값 0을 표현하기 위해서는 1 비트가 필요하고, 레벨 절대값 1을 표현하기 위해서는 3 비트가 필요하며, 레벨 절대값 2를 표현하기 위해서는 4 비트가 필요하다.

이제, H.265(HEVC) 표준에 대비되는, 본 개시의 기법에 따른, 계수의 레벨(level)를 표현하기 위한 신택스(syntax) 요소들을 설명한다. 더 적은 비트를 요구하면서 유사한 기능을 제공하기 위해, 본 개시는 계수들에 대한 유효도 정보, 유효 계수들에 대한 레벨 정보, 및 유효 계수들에 대한 부호 정보를 표현하는 수정된 신택스 엘리먼트들의 세트를 제안한다.

제1실시예

본 실시예에서는 계수들의 레벨(level) 값을 표현하기 위해 아래에 나열된 신택스 엘리먼트들을 사용한다.

(1) greater_than_0_flag

(2) greater_than_1_flag

(3) parity_flag

(4) greater_than_3_flag

(5) abs_remainder

(6) sign_flag

greater_than_0_flag는 계수 레벨의 절대값이 0 보다 큰지 여부(즉, 비-제로 레벨인지 여부)를 알리는 플래그(이하에서 'G0 flag'혹은 'sig_coeff_flag' 로도 지칭될 수 있음)로서, 비-제로 계수에 대해 "1"로 표시되며, 제로 계수에 대해 "0"으로 표시될 수 있다. greater_than_1_flag는 계수 레벨의 절대값이 "1"보다 큰지 여부를 알리는 플래그(이하에서 'G1 flag'로도 지칭될 수 있음)로서, 1 보다 큰 레벨 절대값의 계수에 대해 "1"로 표시되고, 그렇지 않으면 "0"으로 표시될 수 있다. parity_flag는 계수 레벨의 패리티(즉, 레벨 값이 짝수 인지 홀수인지)를 알리는 플래그(이하에서 'par_level_flag'로도 지칭될 수 있음)로서, 홀수의 레벨 값에 대해 "1"로, 짝수의 레벨 값에 대해 "0"으로 표시될 수 있다. greater_than_3_flag는 계수 레벨의 절대값이 3 보다 큰지 여부를 알리는 플래그(이하에서 'G3 flag'로도 지칭될 수 있음)로서, 3 보다 큰 레벨 절대값의 계수에 대해 "1"로, 그렇지 않으면 0으로 표시될 수 있다. abs_remainder는 3 보다 큰 계수 레벨의 절대값의 나머지 값(remainder)을 가리키는 신택스 엘리먼트이다. abs_remainder는 레벨 절대값 "2N"과 레벨 절대값 "2N+1"에 대해 동일한 값으로 표시된다(여기서 N은 2 이상의 자연수). sign_flag는 계수 레벨의 부호(포지티브 또는 네거티브)를 알리는 플래그이다.

따라서, 본 발명의 일 실시예에 따르면, 영상 부호화 장치는 변환 계수의 값이 0 보다 크거나 또는 작은지 여부를 나타내는 이진 값(G0_flag; greater_than_0_flag)을 부호화하도록 구성될 수 있다. 변환 계수가 0 보다 큰 절대값을 가지면(즉, 변환계수가 비-제로 계수이면), 영상 부호화 장치는 그 변환 계수의 절대값이 1 보다 큰지 여부를 나타내는 이진 값(G1_flag; greater_than_1_flag)을 추가로 부호화하도록 구성될 수 있다. 또한, 변환 계수가 1 보다 큰 절대값을 가지면, 영상 부호화 장치는 그 변환 계수가 홀수인지 짝수인지를 나타내는 이진 값(parity_flag)과 변환 계수의 절대값이 3 보다 큰지 여부를 나타내는 이진 값(G3_flag; greater_than_3_flag)을 추가로 부호화하도록 구성될 수 있다. 변환 계수가 3 보다 큰 절대값을 가지면, 영상 부호화 장치는 그 레벨 절대값의 나머지 값(remainder)를 추가로 부호화하도록 구성될 수 있다. 영상 부호화 장치는 비-제로 계수에 대해 그 계수 레벨의 부호(포지티브 또는 네거티브)를 알리는 이진 값(sign_flag)를 추가로 부호화하도록 구성될 수 있다.

이들 신택스 엘리먼트들을 이용하여 표현된 레벨 값은, 영상 복호화 장치에 의해, 수학식 1과 같이 산출될 수 있다.

[수학식 1]

level = (1 - 2*sign_flag) * (G0_flag + G1_flag + parity_flag + 2*G3_flag + 2*abs_remainder

표 2는 본 발명의 제 1 실시예에 따른 신택스 엘리먼트들을 사용할 때, 비-제로 계수의 레벨(level)에 대한 신택스 엘리먼트들의 비트 값 혹은 비트 수를 보인다. 표 2의 remainder 열에는, 3 보다 큰 level의 절대값의 나머지 값을 표현하는 정확한 비트들(즉, abs_remainder의 비트값)을 표기하는 대신에, 나머지 값(remainder) 자체를 표기해 두었으며, sign_flag 열에는 sign_flag 플래그를 표현하기 위해 필요한 비트 수를 표기해 두었음에 유의한다(즉, sign_flag 열에 표기된 '1'은 비트 값이 아니다).

특히, 3 보다 큰 레벨값들에 대해 시그널링되는 remainder 값들에 있어서, 레벨 절대값 "2N"과 레벨 절대값 "2N+1"에 대한 remainder 값이 서로 동일함에 주목한다. 이들 두 개의 레벨 절대값들은 parity_flag에 의해 구별될 수 있다.

표 2를 참조하면, 예컨대, 레벨 값 '0'을 표현하기 위해서는 1 비트가 필요하고, 레벨 절대값 '1'을 표현하기 위해서는 3 비트가 필요하며, 레벨 절대값 '2'를 표현하기 위해서는 5 비트가 필요하다. 즉, 표 2로부터, 본 실시예에 따른 신택스 엘리먼트들을 사용하면, H.265 (HEVC) 표준에 비해, 레벨 절대값 "2"를 표현하기 위해 1 비트가 더 필요하지만, 레벨 절대값 "5" 이상부터는 더 적은 비트가 필요함을 알 수 있다. 특히, 레벨 절대값 "2N"과 레벨 절대값 "2N+1"에 대한 remainder 값이 서로 동일하기 때문에, 레벨 절대값이 커질수록, H.265 (HEVC) 표준에 비해, 더 적은 비트가 필요하다.

도 7 내지 도 9는, 본 발명의 제1실시예에 따른 신택스 엘리먼트들의 코딩 순서와 이를 이용하여 영상 복호화 장치가 변환 계수들의 레벨을 결정하는 방법들을 설명하기 위한 흐름도이다.

도 7 내지 도 9의 흐름도에서는 계수 블록 내 마지막 유효(비-제로) 계수(last significant coefficient)의 위치가 이미 결정되어 있다는 것을 전제한다. 즉, 영상 복호화 장치는 비트스트림으로부터 마지막 유효(비-제로) 계수의 위치에 관한 신택스 엘리먼트들(예컨대, last_sig_coeff_x_prefix, last_sig_coeff_y_prefix, last_sig_coeff_x_suffix, 및 last_sig_coeff_y_suffix)를 파싱하여, 계수 블록 내 마지막 유효 계수의 위치를 결정한 상태이다. 또한, 마지막 유효 계수가 위치하는 서브 블록에 대해서는 subblock_sig_flag가 (파싱 없이) '1'로 추론될 뿐, 그 서브 블록 내 스캔 순서상 마지막 유효 계수에 선행하는 계수들에 대해서는, 도 7 내지 도 9의 흐름도를 따른다. DC 계수가 위치하는 서브 블록에 대해서도 subblock_sig_flag가 (파싱 없이) '1'로 추론될 뿐, 서브 블록 내 모든 계수에 대해서는, 도 7 내지 도 9의 흐름도를 따른다. 또한, 유효 서브브록 내 마지막 계수 전까지 모든 계수들의 G0_flag 값이 "0"이라면, 마지막 계수의 G0_flag 값은 (파싱 없이)"1"로 추론된다. 또한, 도 7 내지 도 9의 흐름도에서, sign_flag는 나머지 신택스 엘리먼트들이 파싱된 후에 비로소 파싱될 수도 있다.

도 7의 흐름도에서는, 하나의 변환 계수의 레벨을 표현하는 모든 신택스 엘리먼트들이 다음 스캔 위치로 이동하기 전에 코딩된다.

도 7을 참조하면, 영상 복호화 장치는 subblock_sig_flag를 파싱한다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록이 아님을 가리키면, 그 서브블록 내 모든 변환 계수들은 제로 계수로 추론된다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록(즉, 적어도 하나의 비-제로 계수들이 존재하는 서브블록)임을 가리키면, 영상 복호화 장치는 다음과 같은 방식으로, 유효 서브블록 내 각 변환 계수의 유효성 및 레벨을 결정한다.

먼저, 영상 복호화 장치는, G0_flag(즉, greater_than_0_flag 혹은 sig_coeff_flag)를 파싱한다.

G0_flag가 관련 변환 계수의 레벨 절대값이 0 보다 크지 않다고 가리키면, 영상 복호화 장치는 관련 변환계수의 레벨을 다음과 같이 결정한다. 즉, 관련 변환계수는 제로 계수로 결정된다.

level = 0

G0_flag가 관련 변환 계수가 유효함(즉, 비-제로 계수임)을 가리키면, 영상 복호화 장치는 G1_flag (즉, greater_than_1_flag)과 sign_flag를 파싱한다.

G1_flag가 관련 변환 계수의 레벨 절대값이 1 보다 크지 않다고 가리키면, 영상 복호화 장치는 관련 변환계수의 레벨을 다음과 같이 결정한다.

level = (1 - 2*sign_flag)

G1_flag가 관련 변환 계수의 레벨 절대값이 1 보다 크다고 가리키면, 영상 복호화 장치는 parity_flag와 G3_flag를 추가로 파싱한다. G3_flag가 관련 변환 계수의 레벨 절대값이 3 보다 크지 않다고 가리키면, 영상 복호화 장치는 관련 변환계수의 레벨을 다음과 같이 결정한다. 즉, 관련 변환계수의 절대값이 2 또는 3일 때, 관련 변환계수의 레벨은 다음과 같이 결정된다.

level = (1 - 2*sign_flag) * (G0_flag + G1_flag + parity_flag)

G3_flag가 관련 변환 계수의 레벨 절대값이 3 보다 크다고 가리키면, 영상 복호화 장치는, 레벨 절대 값의 나머지 값(remainder)을 나타내는 abs_remainder를 파싱하고, 관련 변환계수의 레벨을 다음과 같이 결정한다.

level = (1 - 2*sign_flag) * (G0_flag + G1_flag + parity_flag + 2*G3_flag + 2*abs_remainder)

다음으로, 도 8을 참조하면, 영상 복호화 장치는 subblock_sig_flag를 파싱한다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록이 아님을 가리키면, 그 서브블록 내 모든 변환 계수들은 제로 계수로 추론된다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록(즉, 적어도 하나의 비-제로 계수들이 존재하는 서브블록)임을 가리키면, 영상 복호화 장치는 다음과 같은 방식으로, 마지막 유효 서브블록의 마지막 계수에 도달할 때까지, 유효 서브블록 내 각 변환 계수의 유효성 및 레벨을 결정한다.

먼저, 영상 복호화 장치는, 결정하고자 하는 변환 계수의 유효성 및 레벨에 관한 정보를 표현하는 파라미터들(G0_flag, G1_flag, parity_flag, G3_flag, abs_remainder)의 초기값을 모두 '0'으로 설정해 둔다(S803). 이는, 적어도 일부 신택스 엘리먼트들(예컨대, greater_than_1_flag, parity_flag, greater_than_3_flag, abs_remainder)이 명시적으로 시그널링되지 않는 계수들에 대해, 해당 신택스 엘리먼트들의 값은, 영상 복호화 장치에 의해, "0"과 같다고 추론됨을 의미한다.

다음으로, 영상 복호화 장치는, 현재의 변환 계수에 대한 G0_flag(즉, greater_than_0_flag)를 파싱한다.

G0_flag가 관련 변환 계수의 레벨 절대값이 0 보다 크지 않다고 가리키면, 영상 복호화 장치는 관련 변환계수의 레벨을 다음과 같이 결정한다. 즉, 관련 변환계수는 제로 계수로 결정된다(즉, level = 0).

G0_flag가 관련 변환 계수가 유효함(즉, 비-제로 계수임)을 가리키면, 영상 복호화 장치는 G1_flag(즉, greater_than_1_flag)과 sign_flag를 추가로 파싱하고, 파라미터들 G1_flag과 sign_flag의 초기값을 파싱된 값으로 업데이트한다.

G1_flag가 관련 변환 계수의 레벨 절대값이 1 보다 크지 않다고 가리키면, 영상 복호화 장치는 관련 파라미터들의 값을 전술한 수학식 1에 대입하여 관련 변환계수의 레벨을 결정한다.

G1_flag가 관련 변환 계수의 레벨 절대값이 1 보다 크다고 가리키면, 영상 복호화 장치는 parity_flag와 G3_flag(즉, greater_than_3_flag)를 파싱하고, 파라미터들 parity_flag와 G3_flag의 초기값을 파싱된 값으로 업데이트한다. G3_flag가 관련 변환 계수의 레벨 절대값이 3 보다 크지 않다고 가리키면, 영상 복호화 장치는 관련 파라미터들의 값을 전술한 수학식 1에 대입하여 관련 변환계수의 레벨을 결정한다.

G3_flag가 관련 변환 계수의 레벨 절대값이 3 보다 크다고 가리키면, 영상 복호화 장치는 remainder를 나타내는 abs_remainder를 추가로 파싱하고, 파라미터 abs_remainder의 초기값을 파싱된 값으로 업데이트한다. 그리고 영상 복호화 장치는 관련 파라미터들의 값을 전술한 수학식 1에 대입하여 관련 변환계수의 레벨을 결정한다.

다음으로, 도 9에 예시된 흐름도에서는, 서브블록 내의 모든 변환 계수들에 대해 G0_flag가 파싱된 후, G0_flag가 비-제로 계수임을 가리키는 변환 계수들에 대해 G1_flag와 sign_flag가 파싱되고, 그 후 G1_flag가 레벨 절대값이 1 보다 크다고 가리키는 관련 변환 계수들에 대해 parity_flag와 G3_flag가 파싱된다. 그리고, G3_flag가 레벨 절대값이 3 보다 크다고 가리키는 관련 변환 계수들에 대해, abs_remainder가 파싱된다.

도 9를 참조하면, 영상 복호화 장치는 subblock_sig_flag를 파싱한다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록이 아님을 가리키면, 그 서브블록 내 모든 변환 계수들은 제로 계수로 추론된다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록(즉, 적어도 하나의 비-제로 계수들이 존재하는 서브블록)임을 가리키면, 영상 복호화 장치는 다음과 같은 방식으로, 마지막 유효 서브블록의 마지막 계수에 도달할 때까지, 유효 서브블록 내 각 변환 계수의 유효성 및 레벨을 결정한다.

먼저, 영상 복호화 장치는, 결정하고자 하는 변환 계수의 유효성 및 레벨에 관한 정보를 표현하는 파라미터들(G0_flag, G1_flag, parity_flag, G3_flag, abs_remainder)의 초기값을 모두 '0'으로 설정해 둔다. 전술한 바와 같이, 이러한 초기값의 설정은, 적어도 일부 신택스 엘리먼트들(예컨대, greater_than_1_flag, parity_flag, greater_than_3_flag, abs_remainder)이 명시적으로 시그널링되지 않는 계수들에 대해, 해당 신택스 엘리먼트들의 값이 "0"과 같다고 영상 복호화 장치에 의해 추론됨을 의미한다.

다음으로, 영상 복호화 장치는, 현재의 유효 서브블록의 각 계수들에 대한 G0_flag를 파싱하고, 각 변환계수에 대한 파라미터 G0_flag의 초기값을 파싱된 값들로 업데이트한다.

다음으로, G0_flag가 레벨 절대값이 0 보다 크다고(즉, 비-제로 계수라고) 가리키는 관련 변환 계수에 대해, 영상 복호화 장치는 G1_flag과 sign_flag를 추가로 파싱하고, 파라미터 G1_flag의 초기값과 파라미터 sign_flag의 초기값들을 파싱된 값들로 업데이트한다.

다음으로, G1_flag가 레벨 절대값이 1 보다 크다고 가리키는 관련 변환 계수에 대해, 영상 복호화 장치는 parity_flag와 G3_flag를 파싱하고, 파라미터 parity_flag의 초기값과 파라미터 G3_flag의 초기값을 파싱된 값으로 업데이트한다.

다음으로, G3_flag가 레벨 절대값이 3 보다 크다고 가리키는 관련 변환 계수에 대해, 영상 복호화 장치는 remainder를 나타내는 abs_remainder를 추가로 파싱하고, 파라미터 abs_remainder의 초기값을 파싱된 값으로 업데이트한다.

그 후, 영상 복호화 장치는, 각 변환계수들에 대해, 관련 파라미터들의 값을 전술한 수학식 1에 대입하여, 레벨을 결정한다.

제 2 실시예

본 실시예에서, 영상 부호화 장치는 계수들의 레벨(level) 값을 표현하기 위해, 아래에 나열된, 신택스 엘리먼트들을 사용한다.

(1) greater_than_0_flag

(2) greater_than_1_flag

(3) parity_flag

(4) abs_remainder

(5) sign_flag

greater_than_0_flag는 계수 레벨의 절대값이 0 보다 큰지 여부(즉, 비-제로 레벨인지 여부)를 알리는 플래그(이하에서 'G0 flag'혹은 'sig_coeff_flag' 로도 지칭될 수 있음)이고, greater_than_1_flag는 계수 레벨의 절대값이 1 보다 큰지 여부를 알리는 플래그(이하에서 'G1 flag'로도 지칭될 수 있음)이다. parity_flag는 계수 레벨의 패리티(즉, 레벨 값이 홀수 인지 짝수인지)를 알리는 플래그(이하에서 'par_level_flag'로도 지칭될 수 있음)이다. abs_remainder는 1 보다 큰 계수 레벨의 절대값의 나머지 값(remainder)을 알리는 신택스 엘리먼트이다.

따라서, 제 2 실시예에 따르면, 영상 부호화 장치는 변환 계수의 절대값이 0 큰지 여부를 나타내는 이진 값(즉, Greater_than_0_flag)을 부호화하도록 구성될 수 있다. 변환 계수가 0 보다 큰 절대값을 가지면(즉, 변환 계수가 비-제로 계수이면), 영상 부호화 장치는 변환 계수의 절대값이 1 보다 큰지 여부를 나타내는 이진 값(즉, greater_than_1_flag)과 변환 계수의 레벨 값이 양수인지 음수인지 알리는 이진 값(즉, sign_flag)을 추가로 부호화하도록 구성될 수 있다. 또한, 변환 계수가 1 보다 큰 절대값을 가지면, 영상 부호화 장치는 변환 계수 레벨의 패리티(즉, 변환 계수의 레벨이 홀수인지 짝수인지)를 나타내는 값(즉, parity_flag)과 변환 계수의 레벨 절대값의 나머지 값(remainder)을 표현하는 신택스 엘리먼트(즉, abs_remainder)를 추가로 부호화하도록 구성될 수 있다.

이들 신택스 엘리먼트들을 이용하여 표현된 레벨 값은, 영상 복호화 장치에 의해, 수학식 2와 같이 산출될 수 있다.

[수학식 2]

level = (1 - 2*sign_flag) * (G0_flag + G1_flag + parity_flag + 2* abs_remainder)

표 3은 본 발명의 제 2 실시예에 따른 신택스 엘리먼트들을 사용할 때, 계수의 레벨(level)에 대한 신택스 엘리먼트들의 비트 값 혹은 비트 수를 보인다. 표 2와 동일하게, 표 3의 remainder 열에는, 1 보다 큰 계수 레벨의 절대값의 나머지 값을 표현하는 정확한 비트들을 표기하는 대신에, 나머지 값 자체를 표기해 두었으며, sign_flag 열에는 sign_flag 플래그를 표현하기 위해 필요한 비트 수를 표기해 두었음에 유의한다(즉, sign_flag 열에 표기된 "1"은 비트 값이 아니다).

특히, 1 보다 큰 레벨값들에 대해 시그널링되는 remainder 값들에 있어서, 레벨 절대값 "2N"과 레벨 절대값 "2N+1"에 대한 remainder 값이 서로 동일함에 주목한다. 이들 두 개의 레벨 절대값들은 parity_flag에 의해 구별될 수 있다.

표 3을 참조하면, 예컨대, 레벨 값 '0'을 표현하기 위해서는 1 비트가 필요하고, 레벨 절대값 "1"을 표현하기 위해서는 3 비트가 필요하며, 레벨 절대값 "2"를 표현하기 위해서는 5 비트가 필요하다. 표 3으로부터, 제 2 실시예에 따른 신택스 엘리먼트들을 사용하면, H.265(HEVC) 표준에 비해, 레벨 절대값 "2"를 표현하기 위해 1 비트가 더 필요하지만, 레벨 절대값 '5' 이상부터는 더 적은 비트가 필요함을 알 수 있다.

도10 내지 도 12는, 영상 복호화 장치가, 본 발명의 제 2 실시예에 따른 신택스 엘리먼트들을 이용하여 표현된, 변환 계수들의 레벨을 결정하는 방법들을 도시한 흐름도이다.

도 10 내지 도 12의 흐름도는 계수 블록 내 마지막 유효(비-제로) 계수의 위치가 이미 결정되어 있다는 것을 전제한다. 즉, 영상 복호화 장치는 비트스트림으로부터 마지막 유효(비-제로) 계수의 위치에 관한 신택스 엘리먼트들(즉, last_sig_coeff_x_prefix, last_sig_coeff_y_prefix, last_sig_coeff_x_suffix, 및 last_sig_coeff_y_suffix)를 파싱하여, 계수 블록 내 마지막 유효 계수의 위치를 결정한 상태이다. 또한, 마지막 유효 계수가 위치하는 서브 블록에 대해서는 subblock_sig_flag가 (파싱 없이) '1'로 추론될 뿐, 그 서브 블록 내 스캔 순서상 마지막 유효 계수에 선행하는 계수들에 대해서는, 도 10 내지 도 12의 흐름도를 따른다. 또한, DC 계수가 위치하는 서브 블록에 대해서도 subblock_sig_flag가 (파싱 없이) '1'로 추론될 뿐, 서브 블록 내 모든 계수에 대해서는, 도 10 내지 도 12의 흐름도를 따른다. 도 10 내지 도 12의 흐름도에서, 유효 서브블록 내 마지막 계수 전까지 모든 계수들의 G0_flag 값이 "0"이라면, 마지막 계수의 G0_flag 값은 (파싱 없이)"1"로 추론된다. 도 10 내지 도 12의 흐름도에서, sign_flag는 신택스 엘리먼트들 중에서 가장 마지막에 파싱될 수도 있다.

도 10 및 도 11의 흐름도들에서는, 하나의 변환 계수의 레벨 절대값을 표현하는 모든 신택스 엘리먼트들이 다음 스캐닝 위치로 이동하기 전에 코딩된다.

도 10을 참조하면, 영상 복호화 장치는 subblock_sig_flag를 파싱한다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록이 아님을 가리키면, 그 서브블록 내 모든 변환 계수들은 제로 계수로 추론된다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록(즉, 적어도 하나의 비-제로 계수들이 존재하는 서브블록)임을 가리키면, 영상 복호화 장치는 다음과 같은 방식으로, 마지막 유효 서브블록의 마지막 계수에 도달할 때까지, 각 변환 계수의 유효성 및 레벨을 결정한다.

먼저, 영상 복호화 장치는, G0_flag(즉, greater_than_0_flag)를 파싱한다.

G0_flag가 관련 변환 계수의 레벨 절대값이 0 보다 크지 않음(즉, 제로 계수임)을 가리키면, 영상 복호화 장치는 관련 변환계수의 레벨을 다음과 같이 결정한다. 즉, 관련 변환계수는 제로 계수로 결정된다.

level = 0

G0_flag가 관련 변환 계수가 유효함(즉, 비-제로 계수임)을 가리키면, 영상 복호화 장치는 관련 변환 계수에 대한 G1_flag와 sign_flag를 추가로 파싱한다.

G1_flag가 관련 변환 계수의 레벨 절대값이 1 보다 크지 않다고 가리키면(S1008의 'No'), 영상 복호화 장치는 관련 변환계수의 레벨을 다음과 같이 결정한다(S1009).

level = (1 - 2*sign_flag)

G1_flag가 관련 변환 계수의 레벨 절대값이 1 보다 크다고 가리키면, 영상 복호화 장치는 parity_flag와 abs_remainder를 추가로 파싱한다. 그 후, 영상 복호화 장치는 다음 수학식(수학식 2와 동일)을 이용하여 관련 변환계수의 레벨을 결정한다.

level = (1 - 2*sign_flag) * (G0_flag + G1_flag + parity_flag + 2* abs_remainder)

다음으로, 도 11를 참조하면, 영상 복호화 장치는 subblock_sig_flag를 파싱한다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록이 아님을 가리키면, 그 서브블록 내 모든 변환 계수들은 제로 계수로 추론된다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록(즉, 적어도 하나의 비-제로 계수들이 존재하는 서브블록)임을 가리키면, 영상 복호화 장치는 다음과 같은 방식으로, 마지막 유효 서브블록의 마지막 계수에 도달할 때까지, 유효 서브블록 내 각 변환 계수의 유효성 및 레벨을 결정한다.

영상 복호화 장치는, 그 유효성 및 레벨을 결정하고자 하는 변환 계수의 유효성 및 레벨에 관한 정보를 표현하는 파라미터들(G0_flag, G1_flag, parity_flag, abs_remainder)의 초기값을 모두 '0'으로 설정해 둔다.

다음으로, 영상 복호화 장치는, 그 레벨 값을 결정하고자 하는 변환 계수에 대한 G0_flag(즉, greater_than_0_flag)를 파싱한다.

G0_flag가 관련 변환 계수의 레벨 절대값이 0 보다 크지 않다고 가리키면, 영상 복호화 장치는 관련 변환계수의 레벨을 다음과 같이 결정한다. 즉, 관련 변환계수는 제로 계수로 결정된다(즉, level = 0).

G0_flag가 관련 변환 계수가 유효함(즉, 비-제로 계수임)을 가리키면, 영상 복호화 장치는 G1_flag과 sign_flag를 추가로 파싱하고, 파라미터 G1_flag의 초기값과 파라미터 sign_flag의 초기값을 파싱된 값들로 업데이트한다.

G1_flag가 관련 변환 계수의 레벨 절대값이 1 보다 크지 않다고 가리키면, 영상 복호화 장치는 관련 파라미터들의 값을 전술한 수학식 1에 대입하여 관련 변환계수의 레벨을 결정한다.

G1_flag가 관련 변환 계수의 레벨 절대값이 1 보다 크다고 가리키면, 영상 복호화 장치는 parity_flag와 abs_remainder를 추가로 파싱하고, 파라미터 parity_flag의 초기값과 파라미터 abs_remainder의 초기값을 파싱된 값들으로 업데이트한다. 그 후, 영상 복호화 장치는 관련 파라미터들의 값을 전술한 수학식 2에 대입하여 관련 변환 계수의 레벨 값을 결정한다.

도 12에 예시된 흐름도에서는, 서브블록 내의 모든 변환 계수들에 대해 G0_flag가 파싱된 후, G0_flag가 비-제로 계수임을 가리키는 변환 계수들에 대해 G1_flag와 sign_flag가 파싱되고, 그 후 G1_flag가 레벨 절대값이 1 보다 크다고 가리키는 관련 변환 계수들에 대해, parity_flag와 abs_remainder가 파싱된다. 전술한 바와 같이, sign_flag는 나머지 신택스 엘리먼트들이 파싱된 후에 비로소 파싱될 수도 있다.

도 12를 참조하면, 영상 복호화 장치는 subblock_sig_flag를 파싱한다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록이 아님을 가리키면, 그 서브블록 내 모든 변환 계수들은 제로 계수로 추론된다. subblock_sig_flag가 관련 서브블록이 유효한 서브블록(즉, 적어도 하나의 비-제로 계수들이 존재하는 서브블록)임을 가리키면, 영상 복호화 장치는 다음과 같은 방식으로, 마지막 유효 서브블록의 마지막 계수에 도달할 때까지, 유효 서브블록 내 각 변환 계수의 유효성 및 레벨을 결정한다.

먼저, 영상 복호화 장치는, 결정하고자 하는 모든 변환 계수의 유효성 및 레벨에 관한 정보를 표현하는 파라미터들(G0_flag, G1_flag, parity_flag, abs_remainder)의 초기값을 모두 '0'으로 설정해 둔다.

다음으로, 영상 복호화 장치는, 현재의 유효 서브블록의 각 계수들에 대해 greater_than_0_flag(즉, G0_flag)를 파싱하고, 각 변환계수에 대한 파라미터 G0_flag의 초기값을 파싱된 값으로 업데이트한다.

G0_flag가 레벨 절대값이 0 보다 크다고(즉, 비-제로 계수라고) 가리키는 관련 변환 계수들 각각에 대해, 영상 복호화 장치는 G1_flag(즉, greater_than_1_flag)과 sign_flag를 추가로 파싱하고, 파라미터들 G1_flag의 초기값과 sign_flag의 초기값을 파싱된 값들로 업데이트한다.

G1_flag가 레벨 절대값이 1 보다 크다고 가리키는 관련 변환 계수 각각에 대해, 영상 복호화 장치는 parity_flag와 abs_remainder를 파싱하고, 파라미터 parity_flag의 초기값과 파라미터 abs_remainder의 초기값을 파싱된 값으로 업데이트한다.

그 후, 영상 복호화 장치는, 각 변환계수들에 대해, 관련 파라미터들의 값을 전술한 수학식 2에 대입하여, 레벨을 결정할 수 있다.

한편, 변환 계수의 레벨을 표현하는 데에 사용된 신택스 엘리먼트들 중에서 parity_flag는 이하에서 설명할 의존적 스칼라 양자화에서 사용되는 두 개의 스칼라 양자화기를 결정하는 데에 사용될 수 있다.

의존적 스칼라 양자화(Dependent scalar quantization)는 변환 계수에 대한 가용한 재구성 값의 세트가 재구성 순서에서 현재 변환 계수 레벨에 선행하는 변환 계수 레벨의 값에 의존하는 기법을 가리킨다. 이러한 접근법은 (a) 상이한 재구성 레벨들의 세트를 갖는 두 개의 스칼라 양자화기(quantizer)를 정의하고 (b) 2 개의 스칼라 양자화기 사이를 스위칭하는 프로세스를 정의함으로써 실현된다. 스칼라 양자화기는 4 개의 상태(state)를 갖는 상태 머신(state machine)을 통해 선택되며, 여기서 상태는 재구성 순서(즉, 스캔 순서 혹은 코딩 순서상 선행하는 변환 계수의 레벨의 패리티에 기초하여 업데이트된다.

도 13은 두 개의 스칼라 양자화기(Q0 및 Q1 표기됨)를 사용한 의존적 양자화를 예시하는 도면이다. 가용한 재구성 레벨들의 위치는 양자화 스텝 사이즈(Δ)에 의해 고유하게 특정된다.

제 1 양자화기 Q0의 재구성 레벨들은 양자화 스텝 사이즈(Δ)의 짝수 정수 배들로(즉, 도 13에서 'A'및 'B'로 표시된 값들로) 주어진다. 제 1 양자화기 Q0이 사용될 때, 재구성된 변환 계수 t'는 다음에 따라 계산된다.

t' = 2*k*Δ

여기서, k는 관련된 변환 계수 레벨(전송된 양자화 인덱스)을 나타낸다.

제 2 양자화기 Q1의 재구성 레벨들은 양자화 스텝 크기(Δ)의 홀수 정수 배들과 0으로(즉, 도 13에서 'C'및 'D'로 표시된 값들로) 주어진다. 제 2 양자화기 Q1이 사용될 때, 재구성된 변환 계수 t'는 다음에 따라 계산된다.

t' = (2*k - sgn(k)) *Δ

여기서 sgn(k)은 다음과 같은 부호 함수(signum function)이다. 즉, k가 0이면 sgn(k)는 0이고, k가 음수이면 sgn(k)는 -1이며, k가 양수이면 sgn(k)는 1이다.

sgn(k) = (k == 0 ? 0 : (k < 0 ? -1 : 1))

사용된 스칼라 양자화기(Q0 또는 Q1)는 비트스트림에서 명시적으로 시그널링되지 않는다. 대신에, 현재 변환 계수에 사용된 양자화기는 코딩/재구성 순서상 현재 변환 계수에 선행하는 변환 계수 레벨의 패리티에 의해 결정된다.

도 14에 도시된 바와 같이, 2 개의 스칼라 양자화기(Q0 및 Q1) 사이에서의 스위칭은 4 개의 상태를 갖는 상태 머신을 통해 실현된다. 상태는 0, 1, 2, 3의 네 가지 다른 값을 취할 수 있다. 상태 머신의 상태는 코딩/재구성 순서상 현재 변환 계수보다 선행하는 변환 계수 레벨의 패리티에 의해 고유하게 결정된다. 변환 블록(혹은 변환 블록 내의 각 서브블록)에 대한 역 양자화가 시작될 때, 상태는 0으로 설정된다. 변환 계수는 스캔 순서(즉, 엔트로피 복호화되는 것과 동일한 순서)로 재구성된다. 현재 변환 계수가 재구성 된 후, 상태 머신의 상태는 도 14에 도시된 바와 같이 업데이트 혹은 천이되며, 여기서 k는 변환 계수 레벨의 값을 나타낸다. 다음 상태는 현재 상태 및 현재 변환 계수 레벨 k의 패리티(k & 1)에만 의존한다는 점에 유의한다. 따라서, 현재 변환 계수 레벨의 값의 패리티 (k & 1)를 사용하여 상태 업데이트를 다음과 같이 표현할 수 있다.

state = stateTransTable [state] [k & 1]

여기서, 좌변의 state는 다음 상태, 우변의 state는 현재 상태를 의미한다. "&"는 AND 연산자를 의미하며, sateTransTable은 도 14의 우측에 제시된 룩업 테이블을 나타낸다. 또한, 현재 변환 계수의 레벨 절대값이 1 보다 큰 경우에, 현재 변환 계수 레벨의 값의 패리티를 나타내는 신택스 엘리먼트인 parity_flag를 사용하여, 상태 업데이트를 다음과 같이 표현할 수 있다.

state = stateTransTable [state] [parity_flag]

상태는 사용되는 스칼라 양자화기를 고유하게 특정한다. 현재 변환 계수의 상태가 0 또는 1이면, 스칼라 양자화기 Q0가 사용된다. 그렇지 않으면(즉, 상태가 2 또는 3과 같으면), 스칼라 양자화기 Q1이 사용된다.

도 15는 의존적 스칼라 양자화 기법이 사용되는 경우에 영상 복호화 장치가 변환 계수의 레벨을 재구성하는 방법을 설명하는 흐름도이다.

영상 복호화 장치는 비트스트림으로부터 대상 유효 계수에 대한 레벨 정보를 획득하여, 대상 유효 계수에 대한 레벨 값을 결정한다. 대상 유효 계수에 대한 레벨 정보는 ⅰ) 대상 유효 계수의 레벨 절대값이 1 보다 큰지 여부를 나타내는 제 1 신택스 엘리먼트(즉, greater_than_1_flag), ⅱ) 대상 유효 계수의 패리티를 나타내는 제 2 신택스 엘리먼트(즉, parity_flag), ⅲ) 대상 유효 계수의 레벨 절대값이 3 보다 큰지 여부를 나타내는 제 3 신택스 엘리먼트(즉, greater_than_3_flag), ⅳ) 대상 유효 계수의 절대값의 나머지를 나타내는 제 4 신택스 엘리먼트(즉, abs_remainder), v) 대상 유효 계수의 부호를 나타내는 제 5 신택스 엘리먼트(즉, sign_flag) 중 하나 이상의 정보를 포함할 수 있다.

영상 복호화 장치는 스캔 순서의 역순으로 대상 유효 계수에 선행하는 계수에 대해 결정된 상태 머신의 상태에 기초하여, 대상 유효 계수에 대한 역양자화를 수행한다.

영상 복호화 장치는 대상 유효 계수에 선행하는 계수에 대해 결정된 상태 머신의 상태와 대상 유효 계수의 패리티를 기초로, 상태 머신의 상태를 업데이트한다. 특히, 대상 유효 계수의 절대값이 1 보다 큰 경우에, 대상 유효 계수에 대한 제 2 신택스 엘리먼트(parity_flag)가 가리키는 대상 유효 계수의 패리티가 사용될 수 있다.

이상의 설명은 본 발명의 실시예들의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 전술한 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

1. 영상 복호화 방법으로서,
   비트스트림으로부터, 변환 블록 내에 포함된 복수의 서브블록들 중 특정 서브 블록에 적어도 하나의 0이 아닌 유효 계수가 존재하는지 여부를 나타내는 상기 특정 서브 블록에 대한 유효도 정보를 획득하는 단계; 및
   상기 특정 서브 블록의 유효도 정보가 상기 특정 서브 블록에 적어도 하나의 유효 계수가 존재함을 나타내는 경우에, 상기 비트스트림으로부터, 상기 특정 서브 블록 내의 각 계수들에 대한 유효도 정보, 유효 계수들에 대한 레벨 정보, 및 유효 계수들에 대한 부호 정보를 표현하는 신택스 엘리먼트들을 획득하는 단계
   를 포함하고,
   상기 유효 계수들에 대한 레벨 정보는 ⅰ) 관련 유효 계수의 레벨 절대값이 1 보다 큰지 여부를 나타내는 제 1 신택스 엘리먼트, ⅱ) 관련 유효 계수의 패리티를 나타내는 제 2 신택스 엘리먼트, ⅲ) 관련 유효 계수의 레벨 절대값이 3 보다 큰지 여부를 나타내는 제 3 신택스 엘리먼트, 및 ⅳ) 관련 유효 계수의 절대값의 나머지를 나타내는 제 4 신택스 엘리먼트를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
2. 제 1 항에 있어서,
   상기 제 4 신택스 엘리먼트는,
   레벨 절대값 2N과 레벨 절대값 2N+1에 대해(N은 2 이상의 자연수) 동일한 값을 가지는 것을 특징으로 하는, 영상 복호화 방법.
3. 제 1 항에 있어서,
   상기 신택스 엘리먼트들을 획득하는 단계는,
   상기 제 1 신택스 엘리먼트가 상기 관련 유효 계수의 절대값이 1 보다 크다고 가리키는 경우에, 상기 비트스트림으로부터 상기 제 2 신택스 엘리먼트와 상기 제 3 신택스 엘리먼트를 획득하는 단계; 및
   상기 제 3 신택스 요소가 상기 관련 유효 계수의 절대값이 3 보다 크지 않다고 가리키는 경우에, 상기 제 2 신택스 엘리먼트가 가리키는 상기 관련 유효 계수의 패리티를 기초로 상기 대상 유효 계수의 레벨 절대값을 2 또는 3 중 하나로 결정하는 단계
   를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
4. 제 3 항에 있어서,
   상기 신택스 엘리먼트들을 획득하는 단계는,
   상기 제 3 신택스 엘리먼트가 상기 관련 유효 계수의 절대값이 3 보다 크다고 가리키는 경우에, 상기 비트스트림으로부터 상기 제 4 신택스 엘리먼트를 획득하고, 상기 제 2 신택스 엘리먼트가 가리키는 상기 관련 유효 계수의 패리티와 상기 제 4 신택스 엘리먼트가 가리키는 상기 관련 유효 계수의 레벨 절대값의 나머지를 기초로, 상기 관련 유효 계수의 레벨 절대값을 결정하는 단계를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
5. 제 4 항에 있어서,
   상기 특정 서브 블록 내에서 스캔 순서상 상기 대상 유효 계수에 선행하는 계수에 대해 결정된 상태 머신(state machine)의 상태에 기초하여, 상기 관련 유효 계수에 대한 역양자화를 수행하는 단계를 더 포함하는, 영상 복호화 방법.
6. 제 5 항에 있어서,
   상기 관련 유효 계수의 역양자화된 계수 레벨은,
   역양자화 레벨들의 두 세트 중에서 상기 상태 머신의 상태에 따라 결정되는 하나의 세트에 포함된 역양자화 레벨들로 제한되는 것을 특징으로 하는, 영상 복호화 방법.
7. 제 5 항에 있어서,
   ⅰ) 상기 대상 유효 계수에 선행하는 계수에 대해 결정된 상기 상태 머신의 상태와 ⅱ) 상기 제 2 신택스 엘리먼트가 가리키는 상기 대상 유효 계수의 패리티를 기초로, 상기 상태 머신의 상태를 업데이트하는 단계를 더 포함하는, 영상 복호화 방법.
8. 제 2 항에 있어서,
   상기 신택스 엘리먼트들을 획득하는 단계는,
   상기 제 1 신택스 엘리먼트가 상기 관련 유효 계수의 절대값이 1 보다 크지 않다고 가리키는 경우에, 상기 관련 유효 계수의 레벨 절대값을 1로 설정하는 단계를 더 포함하는 것을 특징으로 하는, 영상 복호화 방법.
9. 제 1 항에 있어서,
   상기 신택스 엘리먼트들을 획득하는 단계는,
   상기 특정 서브 블록의 유효도 정보가 상기 특정 서브 블록에 상기 유효 계수가 존재하지 않음을 나타내는 경우에, 상기 특정 서브 블록에 속하는 모든 계수들을 0으로 설정하는 단계를 더 포함하는 것을 특징으로 하는, 영상 복호화 방법.
10. 변환 계수 블록 내 유효 계수들의 레벨 절대값을 결정하는 것을 포함하는 영상 복호화 방법으로서,
    대상 유효 계수의 절대값이 1 보다 큰지 여부를 가리키는 제 1 신택스 엘리먼트를 파싱하는 단계;
    상기 제 1 신택스 엘리먼트가 상기 대상 유효 계수의 절대값이 1 보다 크지 않다고 가리키는 경우에, 상기 대상 유효 계수의 레벨 절대값을 1로 결정하는 단계;
    상기 제 1 신택스 엘리먼트가 상기 대상 유효 계수의 절대값이 1 보다 크다고 가리키는 경우에, 상기 대상 유효 계수의 패리티를 가리키는 제 2 신택스 엘리먼트와 상기 대상 유효 계수의 레벨 절대값이 3 보다 큰지 여부를 가리키는 제 3 신택스 엘리먼트를 파싱하는 단계;
    상기 제 3 신택스 요소가 상기 대상 유효 계수의 절대값이 3 보다 크지 않다고 가리키는 경우에, 상기 비트스트림으로부터, 제 2 신택스 엘리먼트가 가리키는 상기 대상 유효 계수의 패리티를 기초로 상기 대상 유효 계수의 레벨 절대값을 2 또는 3 중 하나로 결정하는 단계; 및
    상기 제 3 신택스 엘리먼트가 상기 대상 계수의 절대값이 3 보다 크다고 가리키는 경우에, 상기 대상 계수의 절대값의 나머지를 나타내는 제 4 신택스 엘리먼트를 파싱하고, 상기 제 2 신택스 엘리먼트가 가리키는 상기 대상 유효 계수의 패리티와 상기 제 4 신택스 엘리먼트가 가리키는 상기 대상 계수의 레벨 절대값의 나머지를 기초로 상기 대상 유효 계수의 레벨 절대값을 결정하는 단계
    를 포함하는, 영상 복호화 방법.
11. 제 10 항에 있어서,
    스캔 순서의 역순으로 상기 대상 유효 계수에 선행하는 계수에 대해 결정된 상태 머신(state machine)의 상태에 기초하여, 상기 대상 유효 계수에 대한 역양자화를 수행하는 단계를 더 포함하는, 영상 복호화 방법.
12. 제 11 항에 있어서,
    상기 대상 유효 계수의 역양자화된 계수 레벨은,
    2개의 스칼라 양자화기 중에서 상기 상태 머신의 상태에 따라 결정되는 하나의 스칼라 양자화기가 제공하는 가용한 역양자화 레벨들로 제한되는 것을 특징으로 하는, 영상 복호화 방법.
13. 제 11 항에 있어서,
    ⅰ) 상기 제 2 신택스 엘리먼트가 가리키는 상기 대상 유효 계수의 패리티와 ⅱ) 상기 대상 유효 계수에 선행하는 계수에 대해 결정된 상기 상태 머신의 상태를 기초로, 상기 상태 머신의 상태를 업데이트하는 단계를 더 포함하는, 영상 복호화 방법.
14. 영상 복호화 장치로서,
    비트스트림으로부터, 변환 블록 내에 포함된 복수의 서브블록들 중 특정 서브 블록에 적어도 하나의 0이 아닌 유효 계수가 존재하는지 여부를 나타내는 상기 특정 서브 블록에 대한 유효도 정보를 획득하는 수단; 및
    상기 특정 서브 블록의 유효도 정보가 상기 특정 서브 블록에 적어도 하나의 유효 계수가 존재함을 나타내는 경우에, 상기 비트스트림으로부터, 상기 특정 서브 블록 내의 각 계수들에 대한 유효도 정보, 유효 계수들에 대한 레벨 정보, 및 유효 계수들에 대한 부호 정보를 표현하는 신택스 엘리먼트들을 획득하는 수단
    을 포함하며,
    상기 유효 계수들에 대한 레벨 정보는 ⅰ) 관련 유효 계수의 레벨 절대값이 1 보다 큰지 여부를 나타내는 제 1 신택스 엘리먼트, ⅱ) 관련 유효 계수의 패리티를 나타내는 제 2 신택스 엘리먼트, ⅲ) 관련 유효 계수의 레벨 절대값이 3 보다 큰지 여부를 나타내는 제 3 신택스 엘리먼트, 및 ⅳ) 관련 유효 계수의 절대값의 나머지를 나타내는 제 4 신택스 엘리먼트를 포함하는 것을 특징으로 하는, 영상 복호화 장치.
15. 영상 부호화 방법으로서,
    변환 블록 내에 포함된 복수의 서브블록들 중 특정 서브 블록에 적어도 하나의 0이 아닌 유효 계수가 존재하는지 여부를 나타내는 상기 특정 서브 블록에 대한 유효도 정보를 부호화하는 단계; 및
    상기 특정 서브 블록의 유효도 정보가 상기 특정 서브 블록에 적어도 하나의 유효 계수가 존재함을 나타내는 경우에, 상기 특정 서브 블록 내의 각 계수들에 대한 유효도 정보, 유효 계수들에 대한 레벨 정보, 및 유효 계수들에 대한 부호 정보를 표현하는 신택스 엘리먼트들을 부호화하는 단계
    를 포함하고,
    상기 유효 계수들에 대한 레벨 정보는 ⅰ) 관련 유효 계수의 레벨 절대값이 1 보다 큰지 여부를 나타내는 제 1 신택스 엘리먼트, ⅱ) 관련 유효 계수의 패리티를 나타내는 제 2 신택스 엘리먼트, ⅲ) 관련 유효 계수의 레벨 절대값이 3 보다 큰지 여부를 나타내는 제 3 신택스 엘리먼트, 및 ⅳ) 관련 유효 계수의 절대값의 나머지를 나타내는 제 4 신택스 엘리먼트를 포함하는 것을 특징으로 하는, 영상 부호화 방법.

Images