KR20170111013A - 직사각형 변환 블록을 위한 선택적 스캔 방식을 이용한 동영상 부호화 및 복호화 방법 및 장치 - Google Patents

Abstract

직사각형 변환 블록을 위한 선택적 스캔 방식을 이용하여 동영상을 부호화/복호화하는 방법 및 장치를 제공한다.

Description

직사각형 변환 블록을 위한 선택적 스캔 방식을 이용한 동영상 부호화 및 복호화 방법 및 장치{IMAGE ENCODING AND DECODING METHOD AND APPARATUS USING ADAPTIVE SCANNING FOR NON/SQUARE TRANSFORM BLOCKS}

본 발명은 동영상 부호화 및 복호화에 관한 것이다.

비디오 영상은 시공간적 중복성 및 시점 간 중복성을 제거하여 압축 부호화되며, 이는 통신 회선을 통해 전송되거나 저장 매체에 적합한 형태로 저장될 수 있다.

본 발명은 비디오 신호의 코딩 효율을 향상시키고자 함에 있다.

상기 과제를 해결하기 위하여 본 발명은 선택적인 스캔 방식에 기반한 비디오 부호화/복호화 방법 및 장치를 제공한다.

본 발명에 따르면, 선택적인 스캔 방식에 기반한 비디오 부호화/복호화를 통해 비디오 신호 코딩 효율을 향상시킬 수 있다.

동영상 압축 기술 표준인 MPEG은 동영상의 해상도 향상과 함께 압축률 향상이라는 목적 하에 지속적으로 발전하여 왔다. 2000년대 초반 H.264/MPEG4 AVC 표준이 MPEG2 대비 2배의 압축률을 보이며 제정되었고, 2010년대 초반 HEVC는 다시 H.264 대비 2배의 압축률을 보이며 제정이 되었다. 최근 Full HD를 넘어 UHD 즉, 4K/8K급 컨텐츠에 대한 수요가 증가하고 이런 trend에 선대응하기 위한 노력으로서 MPEG은 2015년부터 차세대 CODEC에 대한 연구를 착수하였다. ISO와 ITU 전문가들이 모여JVET (Joint Video Exploration Team)을 조직하였고, 현재 HEVC 대비 압축률을 향상시키기 위한 다양한 tool들이 내장된 Joint Exploration Model (JEM) CODEC 알고리즘을 만들고 있는 중이다.

본 발명은 JEM의 압축률을 향상시키기 위한 새로운 알고리즘을 제안하고자 한다. HEVC와 달리 JEM같은 차세대 CODEC에서는 변환 블록이 정사각형이 아닌 직사각형 형태로 수행될 수 있다. 본 발명은 직사각형 형태의 변환 적용시 양자화된 변환 계수들을 지그재그 스캔 방식이 아닌 alternate scan 방식으로 수행하는 방법을 제안한다.

그림1. HEVC 인코더 블록도

HEVC는 이전의 동영상 압축 표준과 마찬가지로 블록 단위의 하이브리드 영상 압축 기술을 기반으로 영상 압축을 수행한다.즉,입력 영상을 일정 블록 단위로 분할한 후,각 블록에 대해서 예측,변환,양자화,엔트로피 부호화 과정을 수행한다. 그림1은 전형적인 HEVC의 인코더를 도시하며, 샘플 적응적 오프셋(SAO) 기술이 추가된 것을 제외하면 큰 그림 측면에서 H.264와 구조는 동일하다.

입력 동영상의 각 프레임은 그림1과 같이 CTU(coding tree unit)이라는 단위로 먼저 분할되고, 분할된 각 CTU에 대해서 순차적으로 encoding을 수행한다. 예를 들면, CTU는 64x64 휘도성분(Y) 블록과 이에 대응하는 32x32 크기의 두 개의 색차성분(Cb, Cr)의 블록들이라고 생각하자. HEVC 인코더는 각 CTU를 효과적으로 인코딩하기 위해서, CU (coding unit)이라는 블록으로 분할하여 인코딩할 수 있다. 예를 들어, CTU가 64x64일 때, 이를 4개의 32x32 블록으로 분할하여 부호화할 수 있는데, 이때 각 32x32 블록이 CU가 된다. 보다 일반적으로 CTU는 쿼드트리 (quad-tree) 형태로 다계층 분할 가능하다. 즉, CU는 CTU보다 작은 블록이고 계층적 측면에서 하위 블록이다. CU는 HEVC에서 화면 간 예측 및 화면 내 예측의 모드가 결정되는 단위이다. 각 CU 내에서 보다 정확한 예측을 위해 CU를 다시 PU (prediction unit)으로 나눌 수 있다. PU는 예측 블록을 생성하는 기본 단위이다. 일반적으로 PU는 CU로부터 분할되며,단일 계층을 가지면서 여러 개의 part로 분할이 가능하다.

각 CU에 대해 motion estimation 및 motion compensation에 근거한 화면 간 예측 또는 화면 내 예측(intra prediction)을 수행하여 예측 블록 P를 생성하고, 이를 원본 CU (O)에서 빼주면 CU 크기와 동일한 차분 블록 R이 생성된다. 생성된 차분 블록 R은 변환(transform), 양자화(quantization) 및 엔트로피 부호화 과정을 거친다. 이때 효과적으로 변환 부호화하기 위해 TU(transform unit)라는 단위를 사용한다. 즉, 차분 블록 R은 TU 단위로 나뉘어서 부호화가 수행된다. 여기서 TU는 CU로부터 다계층 쿼드트리 형태로 분할될 수 있다. 다만, PU에 의존적이어서 TU가 PU보다 큰 블록이 될 수는 없다.

인코더와 디코더에서 미스매치가 발생하지 않도록 하기 위해서는 인코더에서 예측을수행할 때 디코더에서 사용 가능한 값을 사용해야 한다.이를 위해 HEVC 인코더에서는 인코딩한 현재 블록을 다시 복원하는 과정을 수행한다. 그림 1과 같이 양자화된 계수 값들에 다시 역양자화를 수행하고 이를 다시 역변환하여 복원된 차분 R’이 얻어진다. R’은 예측 블록 P와 더해져서 복원 블록 O’이 얻어진다. 이와 같은 과정을 모든 CU에 대해 적용한 후에 디블록킹 필터와 SAO 필터가 순차적으로 복원 영상에 적용된 후에 결과 영상들은 이후에 이루어지는 예측 과정을 위해 decoded picture buffer에 저장된다.

A. HEVC에서 변환 계수 부호화

엔트로피 부호화를 위해서는 먼저 양자화된 변환 계수들을 1차원 배열로 바꾸는 스캔 과정이 선행되어야 한다. HEVC에는 Y성분 기준 변환 블록의 크기가 4x4부터 32x32까지 가능하다. HEVC의 스캔 방식은 4x4블록으로 고정되어있다. 이를 하나의 계수 그룹(CG)이라고 한다. 이는 소위 SIMD 구조를 감안하여 소프트웨어적으로나 하드웨어적으로 효과적인 구현을 염두에 둔 것이다. 예를 들어 8x8 변환 블록은 4개의 4x4 서브 블록 즉, 4개의 CG로 나누어서 스캔한다. 그림 2는 하나의 8x8 변환 블록에 대한 3가지 가능한 스캔 방식이다.

그림2. 8x8 변환 블록의 CG 그룹들.

기본적으로 마지막 계수에서 DC 방향으로 역순으로 스캔한다. Intra 모드의 경우 방향성에 따라 대각모드, 수평모드, 수직모드 중 하나를 택할 수 있다.

B. 변환 단위의 확장 및 문제점

한편, 차세대 CODEC에서는 quadtree plus binary tree (QTBT)라는 블록 구조가 이용될 수 있다. 그림3은 하나의 CTU 혹은 CTB (coding tree block)이 QTBT 구조에 의해 분할된 CU 혹은 CB들의 예이다.

그림3. QTBT의 예.

처음에는 HEVC처럼 quadtree로 나뉘지만 그 아래 계층부터 쿼드트리와 binary tree가 선택적으로 나뉜다. 결과 CU의 모양이 직사각형이 될 수 있다. 반드시 정사각형 모양의 CU를 갖는 HEVC와의 차이가 생긴다. 이렇듯 직사각형 형태의 변환 블록에 대해서는 다른 방식의 스캔이 적용될 필요가 있다.

그림4. 8x4 블록에 대한 스캔 방식의 예

그림5. 4x8 블록에 대한 스캔 방식의 예

C. 스캔 기본 동작

QTBT 블록 구조나 직사각형 모양의 변환이 사용되면 HEVC와는 다른 방식의 스캔이 요구가 된다. 다양한 모양의 직사각형 변환이 가능하나 본 명세서에서는 대표적인 두가지 예를 직사각형 변환 예들을 보인다.

먼저 그림4는 수직으로 긴 8x4 변환 블록(TB)에 대한 스캔 방식들을 도시한다. HEVC 스캔 방식과 유사하게, diagonal 스캔, 수직 스캔, 수평 스캔 등이 가능하다.여기서도 스캔 순서는 마지막 변환 계수에서 출발하여 DC계수로 이어지는 방식이다.수직으로 긴 직사각형 모양의 변환을 할 경우 에너지 compaction의 상태에 따라 그림4와 같이 추가적으로 장 수직 스캔(long vertical scan)이 더 효율적일 수 있다. 이외에도 여러 스캔 방식들이 가능하다. 그림4와 같이 수직으로 긴 직사각형 변환이 사용될 경우 주어진 4가지를 포함한 스캔 방식들 중 하나를 택하여 스캔한다. 또한 스캔 종류를 제한할 필요가 있는 경우, 상기 4가지 중 가장 효율이 좋은 것들을 선별하여 후보를 줄이는 방식도 가능하다.

그림5는 수평으로 긴 4x8 변환 블록(TB)에 대한 스캔 방식들을 보인다. HEVC 스캔 방식과 유사하게, diagonal 스캔, 수직 스캔, 수평 스캔 등이 가능하다. 여기서도 스캔 순서는 마지막 변환 계수에서 출발하여 DC계수로 이어지는 방식이다. 수평으로 긴 직사각형 모양의 변환을 할 경우, 에너지 compaction의 상태에 따라 그림5와 같이 추가적으로 장 수평 스캔(long horizontal scan)이 더 효율적일 수 있다. 이외에도 여러 스캔 방식들이 가능하다. 그림5와 같이 수평으로 긴 직사각형 변환이 사용될 경우 주어진 4가지를 포함한 스캔 방식들 중 하나를 택하여 스캔할 수 있다. 또한 스캔 종류를 제한할 필요가 있는 경우 상기 4가지를 포함한 여러 가능한 스캔 방식들 중 가장 효율이 좋은 것들을 선별하여 후보를 줄이는 방식도 가능하다.

D. 변환 모드에 따른 스캔 방식 설정

4x8 TB나 8x4 TB는 에너지 compaction에 있어 차이를 보인다. 그런 차이를 고려하여 주어진 모드에 따라 자동으로 스캔 방식을 제한할 수 있다.

가. 수직으로 긴 직사각형 변환인 경우 그림4에 근거해서 여러 사례들이 가능하다.사례1: horizontal 모드 선택

사례2: vertical, long vertical 모드 중 하나 선택

나. 수평으로 긴 직사각형 변환인 경우 그림5에 근거해서 여러 사례들이 가능하다.

사례1: vertical 모드 선택

사례2: horizontal, long horizontal 모드 중 하나 선택

즉, 변환 후 변환 블록 모양 하에서 에너지 compaction의 통계적 특성에 기인하여 스캔 방식을 자동적으로 선택하는 것이 가능하다.

E. Intra prediction mode에 따른 스캔 모드 결정

HEVC에서는 intra prediction의 모드에 따라 스캔 모드를 정할 수 있다. 이를 mode dependent coefficient scanning (MDCS)라고 한다. 제안 기술에도 intra prediction 모드에 따라 스캔 모드를 정하는 것이 가능하다. 예를들어, intra prediction 모드가 수평에 가까운 경우 변환 계수 에너지는 처음 몇 개 column에 모이는 경향이 있다. 그런 경우 수직 스캔을 자동적으로 택하게 하여 모드 정보를save할 수 있다. 유사하게 수직에 가까운 intra prediction 모드가 선택이 된 경우 변환 계수 에너지는 처음 몇 개의 row들에 모이는 경향이 있으므로 수평 스캔을 택하는 것이 유리하다.

그림4의 예를 들면, 주어진 8x4 TB에 대응하는intra prediction 모드가 수평에 가까운 경우 vertical 모드나 long vertical 모드를 자동으로 택한다. 반면 수직에 가까운 intra prediction 모드인 경우 horizontal mode를 택한다. 유사하게 그림 5와 같이 4x8 TB에 대응하는 intra prediction 모드가 수평에 가까운 경우 vertical mode를 자동으로 택한다. 반면 수직에 가까운 intra prediction 모드인 경우horizontal mode나 long horizontal mode를 택한다.

F. 디코더에서의 스캔

2가지 방법이 존재한다.

스캔 정보는 소정의 단위로 디코더에 전달될 수 있다. 이런 경우 약속된 스캔 방식에 따라 역변환에 앞서 역스캔이 수행된다.

만약 모드에 따라 스캔 방식이 결정되는 경우에는 별도로 디코더에 스캔 정보를 전송하지 않을 수 있다. 이런 경우 디코더는TB 모양이나 intra prediction 모드에 따라 스캔 방식을 자동적으로 결정한다.

Claims (1)

1. 직사각형 변환 블록을 위한 선택적 스캔 방식을 이용하여 비디오를 복원하는 비디오 신호 처리 방법.