KR20200114601A - 인트라 블록 복사를 처리하는 영상 부호화 방법, 영상 복호화 방법 및 그 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 영상 복호화 장치의 영상 복호화 방법은, 영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternery tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 단계; 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 블록 예측 리스트를 구성하는 단계; 상기 현재 블록의 인트라 블록 복사 복호화를 위한 블록 벡터 예측 후보 리스트를 구성하는 단계; 및 상기 추적 블록 예측 리스트 및 상기 블록 벡터 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 픽쳐 내 기 복원된 블록들 중 상기 현재 블록과 유사한 인트라 복사 블록을 복사하여 예측 복호화하는 인트라 블록 복사 복호화를 수행하는 단계를 포함한다.

Description

인트라 블록 복사를 처리하는 영상 부호화 방법, 영상 복호화 방법 및 그 장치{A VIDEO ENCODING METHOD, A VIDEO DECODING METHOD AND AN APPARATUS FOR PROCESSING INTRA BLOCK COPY}

본 발명은 영상 부호화 방법, 영상 복호화 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 인트라 블록 복사를 효율적으로 처리하는 영상 부호화 방법, 영상 복호화 방법 및 그 장치에 관한 것이다.

영상 압축 방법에서는 하나의 픽처(picture)를 소정 크기를 가지는 복수의 영역으로 구분하여 부호화를 수행한다. 또한, 압축 효율을 높이기 위해 픽쳐들 사이의 중복도를 제거하는 인터 예측(inter prediction) 및 인트라 예측(intra prediction) 기술을 이용한다.

이 경우, 인트라 예측과 인터 예측을 이용하여 잔차 신호(residual signal)를 만들며, 잔차 신호를 구하는 이유는 잔차 신호를 가지고 코딩을 했을 때 데이터의 양이 작아서 데이터 압축률이 높아지고, 예측이 좋을수록 잔차 신호의 값이 작게 되기 때문이다.

인트라 예측 방법은 현재 블록의 주변의 픽셀을 이용하여 현재 블록의 데이터를 예측한다. 실제 값과 예측 값의 차이를 잔차 신호 블록이라고 한다. HEVC의 경우는 인트라 예측 방법이 기존 H.264/AVC에서 사용되던 9개의 예측모드에서 35개의 예측모드로 증가하여 더욱 세분화하여 예측을 한다.

인터 예측 방법의 경우는 현재 블록을 주변의 픽쳐들 내의 블록들과 비교하여 가장 비슷한 블록을 찾는다. 이때 찾은 블록에 대한 위치정보(Vx, Vy)를 모션 벡터라고 한다. 현재블록과 모션 벡터에 의하여 예측된 예측블록간의 블록내 화소 값들의 차이를 잔차 신호(residual signal) 블록이라고 한다 (motion-compensated residual block).

이와 같이 인트라 예측과 인터 예측이 더 세분화 되어 잔차 신호의 데이터 양이 줄어들고 있으나, 동영상의 처리를 위한 연산량은 크게 증가하였다.

한편, 현재 스크린 콘텐츠 코딩의 경우에는 인트라 블록 복사(IntraBC)라고 호칭되는 인트라 코딩 모드가 적용될 수 있다. 이는 전술한 인트라 예측 블록 정보복사하여, 인터 예측 신택스를 이용해 처리하는 방식으로, HEVC SCC 확장 표준에 인터 모드를 이용한 조건부로 적용되어 있다.

인트라 블록 복사는, 현재 블록의 블록 벡터와 복사할 블록의 블록 벡터(Block Vector, BV)간 블록 벡터 차분(BVD, Block vector difference)를 연산하게 하고, 차분값에 기반한 예측 부호화를 처리한다. 이에 따라, 같은 프레임 내의 복원된 영역에서 부호화 하려는 블록과 가장 유사한 인트라 복사 블록이 예측되어 그 차분값만을 처리할 수 있으므로 스크린 콘텐츠와 같은 특수 상황에서의 율-왜곡 효율을 향상시키고 있다.

그러나, 최근에는 360 VR 영상 등, 가상현실을 지원하기 위하여, 각 시점 방향별 복수의 고해상도 영상을 전처리하여 투영 병합한 초고해상도 영상의 처리가 실시간적으로 요구되고 있으며, 이러한 인트라 블록 복사 모드의 적용은 단순히 스크린 콘텐츠에 일부 국한되는 것이 아니라, 각 시점 방향별로 투영 병합된 초고해상도 영상에서의 일반적 적용이 요구된다.

그러나, 현재의 인트라 블록 복사 처리 기법은 스크린 콘텐츠와 같은 일부 케이스에만 효과적일 수 있으며, 최근 대두되는 360 VR 영상 등의 초고해상도 병합 영상 처리등에 있어서는 비효율적일 수 있다.

본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 초고해상도 영상의 부호화 및 복호화에 적합하며, 이를 위한 효율적 인트라 블록 복사를 처리하는 영상 부호화 방법, 영상 복호화 방법 및 그 장치를 제공하는데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 영상 복호화 장치의 영상 복호화 방법은, 영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternery tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 단계; 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 블록 예측 리스트를 구성하는 단계; 상기 현재 블록의 인트라 블록 복사 복호화를 위한 블록 벡터 예측 후보 리스트를 구성하는 단계; 및 상기 추적 블록 예측 리스트 및 상기 블록 벡터 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 픽쳐 내 기 복원된 블록들 중 상기 현재 블록과 유사한 인트라 복사 블록을 복사하여 예측 복호화하는 인트라 블록 복사 복호화를 수행하는 단계를 포함한다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 영상 복호화 장치는, 영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternery tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 픽처 분할부; 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 블록 예측 리스트를 구성하는 추적 블록 벡터 리스트 구성부; 상기 현재 블록의 인트라 블록 복사 복호화를 위한 블록 벡터 예측 후보 리스트를 구성하는 블록 벡터 예측자 후보 리스트 구성부; 및 상기 추적 블록 예측 리스트 및 상기 블록 벡터 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 픽쳐 내 기 복원된 블록들 중 상기 현재 블록과 유사한 인트라 복사 블록을 복사하여 예측 복호화하는 인트라 블록 복사 복호화를 수행하는 인트라 블록 복사 복호화부를 포함한다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 영상 복호화 방법은, 영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternery tree) 구조로 단계적으로 분할한 코딩 유닛을 부호화하기 위한 현재 블록을 결정하는 단계; 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 블록 예측 리스트를 구성하는 단계; 상기 현재 블록의 인트라 블록 복사 부호화를 위한 블록 벡터 예측 후보 리스트를 구성하는 단계; 및 상기 추적 블록 예측 리스트 및 상기 블록 벡터 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 픽쳐 내 기 복원된 블록들 중 상기 현재 블록과 유사한 인트라 복사 블록을 복사하여 예측 부호화하는 인트라 블록 복사 부호화를 수행하는 단계를 포함한다.

본 발명의 실시예에 따르면, 인트라 복사 블록 예측자 후보 리스트 구성에 기초한 인트라 복사 블록 복호화를 처리함에 따라, 초고해상도 영상에 대한 부호화 및 복호화 효율을 향상시킬 수 있다.

특히, 순차적 복호화에 따라 인트라 복사 블록에 대응하는 블록 정보가 타일 단위의 추적 리스트에 의해 관리될 수 있으며, 복호화 장치에서 이에 기초한 인트라 복사 블록 예측자 후보 리스트 구성이 가능하게 되어, 초고해상도 영상의 특성 및 종류에 따라 적응적이고 효율적인 영상 복호화 처리가 가능하게 된다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2 내지 도 5는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제1 실시예를 설명하기 위한 도면이다.
도 6은 영상 부호화 장치에서 인터 예측을 수행하는 방법에 대한 일실시예를 설명하기 위한 블록도이다.
도 7은 본 발명의 일실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 8은 영상 복호화 장치에서 인터 예측을 수행하는 방법에 대한 일실시예를 설명하기 위한 블록도이다.
도 9는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제2 실시예를 설명하기 위한 도면이다.
도 10은 영상을 블록 단위로 분할하여 처리하기 위해 사용되는 신택스(syntax) 구조에 대한 일실시예를 나타내는 도면이다.
도 11은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제3 실시예를 설명하기 위한 도면이다.
도 12는 코딩 유닛을 이진 트리 구조로 분할하여 변환 유닛을 구성하는 방법에 대한 일실시예를 설명하기 위한 도면이다.
도 13은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제4 실시예를 설명하기 위한 도면이다.
도 14 내지 도 16은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 또 다른 실시예들을 설명하기 위한 도면들이다.
도 17 및 도 18은 RDO(Rate distortion Optimization)를 수행하여 변환 유닛의 분할 구조를 결정하는 방법에 대한 실시예들을 설명하기 위한 도면들이다.
도 19는 본 발명의 다른 일 실시 예에 따른 복합 분할 구조를 설명하기 위한 도면들이다.
도 20은 본 발명의 실시 예에 따른 인트라 블록 복사를 포함하는 부호화 프로세스를 설명하기 위한 흐름도이다.
도 21은 본 발명의 실시 예에 따른 복호화 장치의 인트라 복사 블록 복호화 모듈을 보다 구체적으로 설명하기 위한 블록도이다.
도 22는 본 발명의 실시 예에 따른 인트라 블록 복사 처리를 포함하는 복호화 프로세스를 설명하기 위한 흐름도이다.
도 23은 본 발명의 실시 예에 따른 타일 그룹 및 블록 벡터 예측자 후보 리스트의 관계를 설명하기 위한 도면이다.
도 24는 본 발명의 실시 예에 따른 블록 벡터 예측자 후보 리스트와 기 복호화된 추적 블록 벡터 리스트를 설명하기 위한 도면이다.
도 25 및 도 26은 본 발명의 실시 예에 따른 블록 벡터 예측자 및 추적 블록 벡터에 기초한 인트라 복사 블록 색인 및 복원과정을 나타낸다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 블록도로 도시한 것으로, 영상 부호화 장치(10)는 픽쳐 분할부(110), 변환부(120), 양자화부(130), 스캐닝부(131), 엔트로피 부호화부(140), 인트라 예측부(150), 인터 예측부(160), 역양자화부(135), 역변환부(125), 후처리부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(195)를 포함한다.

도 1을 참조하면, 픽쳐 분할부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 코딩 유닛으로 분할하여 예측 모드를 결정하고, 상기 코딩 유닛별로 예측 유닛의 크기를 결정한다.

또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 예측 모드(또는 예측 방법)에 따라 인트라 예측부(150) 또는 인터 예측부(160)로 보낸다. 또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 감산부(190)로 보낸다.

여기서, 영상의 픽쳐(picture)는 복수의 타일 또는 슬라이스로 구성되고, 타일 또는 슬라이스는 픽쳐를 분할하는 기본 단위인 복수의 코딩 트리 유닛(Coding Tree Unit: CTU)들로 분할될 수 있다.

또한, 본 발명의 실시 예에 따른 복수의 타일들은 하나 이상의 타일 그룹을 구성할 수 있으며, 타일 그룹에 기반한 병렬화 처리 프로세스가 수행될 수 있는 바, 이에 대하여는 별도 후술하도록 한다.

그리고, 상기 코딩 트리 유닛은 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 하나 또는 2 이상의 코딩 유닛(Coding Unit: CU)들로 분할될 수 있다.

코딩 유닛(CU)은 예측이 수행되는 기본 단위인 하나 또는 그 이상의 예측 유닛(Prediction unit: PU)들로 분할될 수 있다.

이 경우, 부호화 장치(10)는 상기 분할된 코딩 유닛(CU)들 각각에 대해 인터 예측과 인트라 예측 중 어느 하나를 예측 방법으로 결정하나, 각각의 예측 유닛(PU)에 대해 서로 다르게 예측 블록을 생성할 수 있다.

한편, 코딩 유닛(CU)은 잔차 블록(residual block)에 대한 변환이 수행되는 기본 단위인 하나 또는 2 이상의 변환 유닛(Transform Unit: TU)들로 분할될 수 있다.

이 경우, 픽쳐 분할부(110)는 상기와 같이 분할된 블록 단위(예를 들어, 예측 유닛(PU) 또는 변환 유닛(TU))로 영상 데이터를 감산부(190)에 전달할 수 있다.

도 2를 참조하면, 최대 256x256 픽셀 크기를 가지는 코딩 트리 유닛(CTU)는 쿼드 트리(quad tree) 구조로 분할되어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 분할될 수 있다.

상기 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들은 각각 쿼드 트리 구조로 재 분할될 수 있으며, 상기와 같이 쿼드 트리 구조로 분할되는 코딩 유닛(CU)의 깊이(Depth)는 0부터 3 중 어느 하나의 정수 값을 가질 수 있다.

코딩 유닛(CU)은 예측 모드에 따라 하나 또는 2 이상의 예측 유닛(PU)들로 분할될 수 있다.

인트라 예측 모드의 경우, 코딩 유닛(CU)의 크기가 2Nx2N 일 때, 예측 유닛(PU)은 도 3의 (a)에 도시된 2Nx2N 또는 도 3의 (b)에 도시된 NxN의 크기를 가질 수 있다.

한편, 인터 예측 모드의 경우, 코딩 유닛(CU)의 크기가 2Nx2N 일 때, 예측 유닛(PU)은 도 4의 (a)에 도시된 2Nx2N, 도 4의 (b)에 도시된 2NxN, 도 4의 (c)에 도시된 Nx2N, 도 4의 (d)에 도시된 NxN, 도 4의 (e)에 도시된 2NxnU, 도 4의 (f)에 도시된 2NxnD, 도 4의 (g)에 도시된 nLx2N 및 도 4의 (h)에 도시된 nRx2N 중 어느 하나의 크기를 가질 수 있다.

도 5를 참조하면, 코딩 유닛(CU)는 쿼드 트리(quad tree) 구조로 분할되어, 정사각형의 형태를 가지는 4개의 변환 유닛(TU)들로 분할될 수 있다.

상기 정사각형의 형태를 가지는 4개의 변환 유닛(TU)들은 각각 쿼드 트리 구조로 재 분할될 수 있으며, 상기와 같이 쿼드 트리 구조로 분할되는 변환 유닛(TU)의 깊이(Depth)는 0부터 3 중 어느 하나의 정수 값을 가질 수 있다.

여기서, 코딩 유닛(CU)이 인터 예측 모드인 경우, 해당 코딩 유닛(CU)으로부터 분할된 예측 유닛(PU)와 변환 유닛(TU)은 서로 독립적인 분할 구조를 가질 수 있다.

코딩 유닛(CU)이 인트라 예측 모드인 경우, 해당 코딩 유닛(CU)으로부터 분할된 변환 유닛(TU)은 예측 유닛(PU)의 크기보다 클 수 없다.

또한, 상기와 같이 분할되는 변환 유닛(TU)은 최대 64x64 픽셀 크기를 가질 수 있다.

변환부(120)는 입력된 예측 유닛(PU)의 원본 블록과 인트라 예측부(150) 또는 인터 예측부(160)에서 생성된 예측 블록 사이의 잔차 신호인 잔차 블록을 변환하며, 상기 변환은 변환 유닛(TU)을 기본 단위로 하여 수행될 수 있다.

상기 변환 과정에서 예측 모드(intra or inter)에 따라 서로 다른 변환 매트릭스가 결정될 수 있으며, 인트라 예측의 잔차 신호는 인트라 예측 모드에 따라 방향성을 가지므로 인트라 예측 모드에 따라 적응적으로 변환 매트릭스가 결정될 수 있다.

변환 단위는 2개(수평, 수직)의 1차원 변환 매트릭스에 의해 변환될 수 있으며, 예를 들어 인터 예측의 경우에는 미리 결정된 1개의 변환 매트릭스가 결정될 수 있다.

한편, 인트라 예측의 경우, 인트라 예측 모드가 수평인 경우에는 잔차 블록이 수직방향으로의 방향성을 가질 확률이 높아지므로, 수직방향으로는 DCT 기반의 정수 매트릭스를 적용하고, 수평방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를 적용한다. 인트라 예측 모드가 수직인 경우에는 수직방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를, 수평 방향으로는 DCT 기반의 정수 매트릭스를 적용할 수 있다.

또한, DC 모드의 경우에는 양방향 모두 DCT 기반 정수 매트릭스를 적용할 수 있다.

그리고, 인트라 예측의 경우, 변환 유닛(TU)의 크기에 기초하여 변환 매트릭스가 적응적으로 결정될 수도 있다.

양자화부(130)는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위한 양자화 스텝 사이즈를 결정하며, 양자화 스텝 사이즈는 미리 정해진 크기 이상의 양자화 유닛별로 결정될 수 있다.

양자화 유닛의 크기는 8x8 또는 16x16일 수 있으며, 양자화부(130)는 양자화 스텝 사이즈 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 변환 블록의 계수들을 양자화한다.

또한, 양자화부(130)는 현재 양자화 유닛의 양자화 스텝 사이즈 예측자로서 현재 양자화 유닛에 인접한 양자화 유닛의 양자화 스텝 사이즈를 이용할 수 있다.

양자화부(130)는 현재 양자화 유닛의 좌측 양자화 유닛, 상측 양자화 유닛, 좌상측 양자화 유닛 순서로 검색하여 1개 또는 2개의 유효한 양자화 스텝 사이즈를 이용하여 현재 양자화 유닛의 양자화 스텝 사이즈 예측자를 생성할 수 있다.

예를 들어, 양자화부(130)는 상기 순서로 검색된 유효한 첫번째 양자화 스텝 사이즈를 양자화 스텝 사이즈 예측자로 결정하거나, 상기 순서로 검색된 유효한 2개의 양자화 스텝 사이즈의 평균값을 양자화 스텝 사이즈 예측자로 결정하거나, 또는 1개의 양자화 스텝 사이즈만이 유효한 경우에는 이를 양자화 스텝 사이즈 예측자로 결정할 수 있다.

상기 양자화 스텝 사이즈 예측자가 결정되면, 양자화부(130)는 현재 양자화 유닛의 양자화 스텝 사이즈와 양자화 스텝 사이즈 예측자 사이의 차분값을 엔트로피 부호화부(140)로 전송한다.

한편, 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛, 좌상측 코딩 유닛 모두가 존재하지 않거나. 또는 최대 코딩 유닛 내의 부호화 순서 상으로 이전에 존재하는 코딩 유닛이 존재할 수 있다.

따라서, 현재 코딩 유닛에 인접한 양자화 유닛들과 상기 최대 코딩 유닛 내에서는 부호화 순서상 바로 이전의 양자화 유닛의 양자화 스텝 사이즈가 후보자가 될 수 있다.

이 경우, 1) 현재 코딩 유닛의 좌측 양자화 유닛, 2) 현재 코딩 유닛의 상측 양자화 유닛, 3) 현재 코딩 유닛의 좌상측 양자화 유닛, 4) 부호화 순서상 바로 이전의 양자화 유닛 순서로 우선순위가 설정될 수 있다. 상기 순서는 바뀔 수 있고, 상기 좌상측 양자화 유닛은 생략될 수도 있다.

한편, 상기와 같이 양자화된 변환 블록은 역양자화부(135)와 스캐닝부(131)로 전달된다.

스캐닝부(131)는 양자화된 변환 블록의 계수들을 스캐닝하여 1차원의 양자화 계수들로 변환하며, 이 경우 양자화 후의 변환 블록의 계수 분포가 인트라 예측 모드에 의존적일 수 있으므로 스캐닝 방식은 인트라 예측 모드에 따라 결정될 수 있다.

또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있고, 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있으며, 이 경우 양자화 계수들의 스캔 순서는 역방향으로 스캔될 수 있다.

상기 양자화된 계수들이 복수의 서브셋(sub-set)들로 분할된 경우, 각각의 서브셋 내의 양자화 계수들에 동일한 스캔 패턴이 적용될 수 있으며, 서브셋 간의 스캔 패턴은 지그재그 스캔 또는 대각선 스캔이 적용될 수 있다.

한편, 상기 스캔 패턴은 DC를 포함하는 메인 서브셋으로부터 순방향으로 잔여 서브셋들로 스캔하는 것이 바람직하나, 그 역방향도 가능하다.

또한, 서브셋 내의 양자화된 계수들의 스캔 패턴과 동일하게 서브셋 간의 스캔 패턴을 설정할 수도 있으며, 서브셋 간의 스캔 패턴은 인트라 예측 모드에 따라 결정될 수 있다.

한편, 부호화 장치(10)는 상기 변환 유닛(PU) 내에서 0이 아닌 마지막 양자화 계수의 위치 및 각 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 비트스트림에 포함시켜 복호화 장치(20)로 전송할 수 있다.

역양자화부(135)는 상기와 같이 양자화된 양자화 계수를 역양자화하며, 역변환부(125)는 변환 유닛(TU) 단위로 역변환을 수행하여 상기 역양자화된 변환 계수를 공간 영역의 잔차 블록으로 복원할 수 있다.

가산기(195)는 상기 역변환부(125)에 의해 복원된 잔차 블록과 인트라 예측부(150) 또는 인터 예측부(160)로부터의 수신된 예측 블록을 합하여 복원 블록을 생성할 수 있다.

또한, 후처리부(170)는 복원된 픽쳐에 발생하는 블록킹 효과를 제거하기 위한 디블록킹(deblocking) 필터링 과정, 화소 단위로 원본 영상과의 차이 값을 보완하기 위한 샘플 적응적 오프셋(Sample Adaptive Offset : SAO) 적용 과정 및 코딩 유닛으로 원본 영상과의 차이 값을 보완하기 위한 적응적 루프 필터링(Adaptive Loof Filtering : ALF) 과정 등의 후처리를 수행할 수 있다.

디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 예측 유닛(PU) 또는 변환 유닛(TU)의 경계에 적용될 수 있다.

예를 들어, 디블록킹 필터링 과정은, 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함할 수 있다.

한편, 상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 화소값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정될 수 있다.

상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 화소들간의 차이값의 절대값이 제2 기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다.

상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.

또한, 샘플 적응적 오프셋(SAO) 적용 과정은 디블록킹 필터가 적용된 영상 내의 화소와 원본 화소 간의 차이값(distortion)을 감소시키기 위한 것으로, 픽쳐 또는 슬라이스 단위로 샘플 적응적 오프셋(SAO) 적용 과정을 수행할지 여부가 결정될 수 있다.

픽쳐 또는 슬라이스는 복수의 오프셋 영역들로 분할될 수 있고, 각 오프셋 영역별로 오프셋 타입이 결정될 수 있으며, 상기 오프셋 타입은 미리 정해진 개수(예를 들어, 4개)의 에지 오프셋 타입과 2개의 밴드 오프셋 타입을 포함할 수 있다.

예를 들어, 오프셋 타입이 에지 오프셋 타입일 경우, 각 화소가 속하는 에지 타입을 결정하여 이에 대응하는 오프셋을 적용하며, 상기 에지 타입은 현재 화소와 인접하는 2개의 화소값의 분포를 기준으로 결정될 수 있다.

적응적 루프 필터링(ALF) 과정은 디블록킹 필터링 과정 또는 적응적 오프셋 적용 과정을 거친 복원된 영상과 원본 영상을 비교한 값을 기초로 필터링을 수행할 수 있다.

픽쳐 저장부(180)는 후처리된 영상 데이터를 후처리부(170)로부터 입력받아 픽쳐(picture) 단위로 영상을 복원하여 저장하며, 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다.

인터 예측부(160)는 픽쳐 저장부(180)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 결정할 수 있다.

이 경우, 결정된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(180)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 예측 유닛에 대응하는 예측 블록이 추출될 수 있다.

인트라 예측부(150)는 현재 예측 유닛이 포함되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행할 수 있다.

인트라 예측부(150)는 예측 부호화할 현재 예측 유닛을 입력받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행할 수 있다.

인트라 예측부(150)는 인트라 예측 블록을 생성하기 위해 참조 화소를 적응적으로 필터링하며, 참조 화소가 이용 가능하지 않은 경우 이용 가능한 참조 화소들을 이용하여 참조 화소들을 생성할 수 있다.

엔트로피 부호화부(140)는 양자화부(130)에 의해 양자화된 양자화 계수, 인트라 예측부(150)로부터 수신된 인트라 예측 정보, 인터 예측부(160)로부터 수신된 움직임 정보 등을 엔트로피 부호화할 수 있다.

도 6은 부호화 장치(10)에서 인터 예측을 수행하는 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 인터 예측 부호화기는 움직임 정보 결정부(161), 움직임 정보 부호화 모드 결정부(162), 움직임 정보 부호화부(163), 예측 블록 생성부(164), 잔차 블록 생성부(165), 잔차 블록 부호화부(166) 및 멀티플렉서(167)를 포함하여 구성될 수 있다.

도 6을 참조하면, 움직임 정보 결정부(161)는 현재 블록의 움직임 정보를 결정하며, 움직임 정보는 참조 픽쳐 인덱스와 움직임 벡터를 포함하고, 참조 픽쳐 인덱스는 이전에 부호화되어 복원된 픽쳐 중 어느 하나를 나타낼 수 있다.

현재 블록이 단방향 인터 예측 부호화되는 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타내며, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0(L0)의 참조 픽쳐들 중 하나를 나타내는 참조 픽쳐 인덱스와 리스트 1(L1)의 참조 픽쳐들 중의 하나를 나타내는 참조 픽쳐 인덱스를 포함할 수 있다.

또한, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.

움직임 벡터는 각각의 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 예측 블록의 위치를 나타내며, 상기 움직임 벡터는 화소 단위(정수 단위) 또는 서브 화소 단위일 수 있다.

예를 들어, 상기 움직임 벡터는 1/2, 1/4, 1/8 또는 1/16 화소의 정밀도를 가질 수 있으며, 움직임 벡터가 정수단위가 아닐 경우 예측 블록은 정수 단위의 화소들로부터 생성될 수 있다.

움직임 정보 부호화 모드 결정부(162)는 현재 블록의 움직임 정보에 대한 부호화 모드를 결정할 수 있으며, 부호화 모드는 스킵 모드, 머지 모드 및 AMVP 모드 중 어느 하나로 예시될 수 있다.

스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차 신호가 0인 경우에 적용되며, 상기 스킵 모드는 예측 유닛(PU)인 현재 블록이 코딩 유닛(CU)과 크기가 같을 때 적용될 수 있다.

머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용되며, 상기 머지 모드는 현재 블록이 코딩 유닛(CU)과 크기가 다르거나, 크기가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 한편, 머지 후보자와 스킵 후보자는 동일할 수 있다.

AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용되며, 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택할 수 있다.

다만, 상기 부호화 모드는 상기 예시된 방법 이외의 프로세스로서, 보다 세분화된 움직임 보상 예측 부호화 모드를 적응적으로 포함할 수 있다. 적응적으로 결정되는 움직임 보상 예측 모드는 전술한 AMVP 모드 및 머지 모드, 스킵 모드 뿐만 아니라, 현재 새로운 움직임 보상 예측 모드로 제안되고 있는 FRUC(FRAME RATE UP-CONVERSION) 모드, BIO(BI-DIRECTIONAL OPTICAL FLOW) 모드, AMP(AFFINE MOTION PREDICTION)모드, OBMC(OVERLAPPED BLOCK MOTION COMPENSATION) 모드, DMVR(DECODER-SIDE MOTION VECTOR REFINEMENT) 모드, ATMVP(Alternative temporal motion vector prediction) 모드, STMVP(Spatial-temporal motion vector prediction) 모드, LIC(Local Illumination Compensation) 모드 중 적어도 하나를 더 포함할 수 있으며, 사전 결정된 조건에 따라 블록 적응적으로 결정될 수 있다.

움직임 정보 부호화부(163)는 움직임 정보 부호화 모드 결정부(162)에 의해 결정된 방식에 따라 움직임 정보를 부호화할 수 있다.

예를 들어, 움직임 정보 부호화부(163)는 움직임 정보 부호화 모드가 스킵 모드 또는 머지 모드일 경우에는 머지 움직임 벡터 부호화 과정을 수행하며, AMVP 모드일 경우에는 AMVP 부호화 과정을 수행할 수 있다.

예측 블록 생성부(164)는 현재 블록의 움직임 정보를 이용하여 예측 블록을 생성하며, 움직임 벡터가 정수 단위일 경우 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성한다.

한편, 움직임 벡터가 정수 단위가 아닌 경우, 예측 블록 생성부(164)는 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성할 수 있다.

이 경우, 휘도 화소에 대해 8탭의 보간 필터를 사용하여 예측 화소가 생성되며, 색차 화소에 대해서는 4탭 보간 필터를 사용하여 예측 화소가 생성될 수 있다.

잔차 블록 생성부(165)는 현재 블록과 현재 블록의 예측 블록을 이용하여 잔차 블록을 생성하며, 현재 블록의 크기가 2Nx2N인 경우 현재 블록과 현재 블록에 대응하는 2Nx2N 크기의 예측 블록을 이용하여 잔차 블록을 생성할 수 있다.

한편, 예측에 이용되는 현재 블록의 크기가 2NxN 또는 Nx2N인 경우, 2Nx2N을 구성하는 2개의 2NxN 블록 각각에 대한 예측 블록을 구한 후, 상기 2개의 2NxN 예측 블록을 이용하여 2Nx2N 크기의 최종 예측 블록이 생성될 수 있다.

또한, 상기 2Nx2N 크기의 예측 블록을 이용하여 2Nx2N 크기의 잔차 블록이 생성될 수도 있으며, 2NxN 크기를 가지는 2개의 예측 블록들의 경계 부분의 불연속성을 해소하기 위해 경계 부분의 픽셀들에 대해 오버랩 스무딩이 적용될 수 있다.

잔차 블록 부호화부(166)는 상기 잔차 블록을 하나 이상의 변환 유닛(TU)들로 분할하여, 각각의 변환 유닛(TU)이 변환 부호화, 양자화 및 엔트로피 부호화될 수 있다.

잔차 블록 부호화부(166)는 인터 예측 방법에 의해 생성된 잔차 블록을 정수기반 변환 매트릭스를 이용하여 변환할 수 있으며, 상기 변환 매트릭스는 정수기반 DCT 매트릭스일 수 있다.

한편, 잔차 블록 부호화부(166)는 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위해 양자화 매트릭스를 이용하며, 상기 양자화 매트릭스는 양자화 파라미터에 의해 결정될 수 있다.

상기 양자화 파라미터는 미리 정해진 크기 이상의 코딩 유닛(CU) 별로 결정되며, 현재 코딩 유닛(CU)이 상기 미리 정해진 크기보다 작은 경우 상기 미리 정해진 크기 내의 코딩 유닛(CU)들 중 부호화 순서상 첫번째 코딩 유닛(CU)의 양자화 파라미터만을 부호화하고 나머지 코딩 유닛(CU)의 양자화 파라미터는 상기 파라미터와 동일하므로 부호화하지 않을 수 있다.

또한, 상기 양자화 파라미터 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들이 양자화될 수 있다.

상기 미리 정해진 크기 이상의 코딩 유닛(CU) 별로 결정되는 양자화 파라미터는 현재 코딩 유닛(CU)에 인접한 코딩 유닛(CU)의 양자화 파라미터를 이용하여 예측 부호화될 수 있다.

현재 코딩 유닛(CU)의 좌측 코딩 유닛(CU), 상측 코딩 유닛(CU) 순서로 검색하여 유효한 1개 또는 2개의 유효한 양자화 파라미터를 이용하여 현재 코딩 유닛(CU)의 양자화 파라미터 예측자를 생성할 수 있다.

예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있으며, 또한 좌측 코딩 유닛(CU), 부호화 순서상 바로 이전의 코딩 유닛(CU) 순으로 검색하여 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다.

양자화된 변환 블록의 계수들은 스캐닝되어 1차원의 양자화 계수들로 변환되며, 스캐닝 방식은 엔트로피 부호화 모드에 따라 다르게 설정될 수 있다.

예를 들어, CABAC으로 부호화될 경우 인터 예측 부호화된 양자화 계수들은 미리 정해진 하나의 방식(지그재그, 또는 대각선 방향으로의 래스터 스캔)으로 스캐닝될 수 있으며, CAVLC으로 부호화될 경우 상기 방식과 다른 방식으로 스캐닝될 수 있다.

예를 들어, 스캐닝 방식이 인터의 경우에는 지그재그, 인트라의 경우에는 인트라 예측 모드에 따라 결정될 수 있으며, 계수 스캐닝 방식은 변환 단위의 크기에 따라 상이하게 결정될 수도 있다.

한편, 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있으며, 양자화 계수들의 스캔 순서는 역방향으로 스캔 될 수 있다.

멀티플렉서(167)는 상기 움직임 정보 부호화부(163)에 의해 부호화된 움직임 정보들과 상기 잔차 블록 부호화부(166)에 의해 부호화된 잔차 신호들을 다중한다.

상기 움직임 정보는 부호화 모드에 따라 달라질 수 있으며, 예를 들어 스킵 또는 머지일 경우에는 예측자를 나타내는 인덱스만을 포함하고, AMVP일 경우 현재 블록의 참조 픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스를 포함할 수 있다.

이하, 도 1에 도시된 인트라 예측부(150)의 동작에 대한 일실시예를 상세히 설명하기로 한다.

먼저, 인트라 예측부(150)는 픽쳐 분할부(110)로부터 예측 모드 정보 및 예측 유닛(PU)의 크기를 수신하며, 예측 유닛(PU)의 인트라 예측 모드를 결정하기 위해 참조 화소를 픽쳐 저장부(180)로부터 읽어들일 수 있다.

인트라 예측부(150)는 이용 가능하지 않은 참조 화소가 존재하는지 여부를 검토하여 참조 화소 생성 여부를 판단하며, 상기 참조 화소들은 현재 블록의 인트라 예측 모드를 결정하는데 사용될 수 있다.

현재 블록이 현재 픽쳐의 상측 경계에 위치하는 경우에는 현재 블록의 상측에 인접한 화소들이 정의되지 않고, 현재 블록이 현재 픽쳐의 좌측 경계에 위치하는 경우에는 현재 블록의 좌측에 인접한 화소들이 정의되지 않으며, 상기 화소들은 이용 가능한 화소들이 아닌 것으로 판단될 수 있다.

또한, 현재 블록이 슬라이스 경계에 위치하여 슬라이스의 상측 또는 좌측에 인접하는 화소들이 먼저 부호화되어 복원되는 화소들이 아닌 경우에도 이용 가능한 화소들이 아닌 것으로 판단될 수 있다.

상기와 같이 현재 블록의 좌측 또는 상측에 인접한 화소들이 존재하지 않거나, 미리 부호화되어 복원된 화소들이 존재하지 않는 경우, 이용 가능한 화소들만을 이용하여 현재 블록의 인트라 예측 모드가 결정될 수도 있다.

한편, 현재 블록의 이용 가능한 참조 화소들을 이용하여 이용 가능하지 않은 위치의 참조 화소가 생성될 수도 있으며, 예를 들어 상측 블록의 화소들이 이용 가능하지 않은 경우 좌측 화소들의 일부 또는 전부를 이용하여 상측 화소들을 생성할 수 있고, 그 역으로도 가능하다.

즉, 이용 가능하지 않은 위치의 참조 화소로부터 미리 정해진 방향으로 가장 가까운 위치의 이용 가능한 참조 화소를 복사하여 참조 화소가 생성되거나, 미리 정해진 방향에 이용 가능한 참조 화소가 존재하지 않는 경우 반대 방향의 가장 가까운 위치의 이용 가능한 참조 화소를 복사하여 참조 화소가 생성될 수 있다.

한편, 현재 블록의 상측 또는 좌측 화소들이 존재하는 경우에도 상기 화소들이 속하는 블록의 부호화 모드에 따라 이용 가능하지 않은 참조 화소로 결정될 수 있다.

예를 들어, 현재 블록의 상측에 인접한 참조 화소가 속하는 블록이 인터 부호화되어 복원된 블록일 경우, 상기 화소들을 이용 가능하지 않은 화소들로 판단할 수 있다.

이 경우, 현재 블록에 인접한 블록이 인트라 부호화되어 복원된 블록에 속하는 화소들을 이용하여 이용 가능한 참조 화소들이 생성될 수 있으며, 부호화 장치(10)가 부호화 모드에 따라 이용 가능한 참조 화소를 판단한다는 정보를 복호화 장치(20)로 전송한다.

인트라 예측부(150)는 상기 참조 화소들을 이용하여 현재 블록의 인트라 예측 모드를 결정하며, 현재 블록에 허용 가능한 인트라 예측 모드의 수는 블록의 크기에 따라 달라질 수 있다.

예를 들어, 현재 블록의 크기가 8x8, 16x16, 32x32인 경우에는 34개의 인트라 예측 모드가 존재할 수 있고, 현재 블록의 크기가 4x4인 경우에는 17개의 인트라 예측 모드가 존재할 수 있다.

상기 34개 또는 17개의 인트라 예측 모드는 적어도 하나 이상의 비방향성 모드(비 directional 모드)와 복수개의 방향성 모드들(directional 모드s)로 구성될 수 있다.

하나 이상의 비방향성 모드는 DC 모드 및/또는 플래너(planar) 모드일수 있다. DC 모드 및 플래너모드가 비방향성 모드로 포함되는 경우에는, 현재 블록의 크기에 관계없이 35개의 인트라 예측 모드가 존재할 수도 있다.

이 경우, 2개의 비방향성 모드(DC 모드 및 플래너 모드)와 33개의 방향성 모드가 포함될 수 있다.

플래너 모드의 경우, 현재 블록의 우하측(bottom-right)에 위치하는 적어도 하나의 화소값(또는 상기 화소값의 예측값, 이하 제1 참조값이라 함)과 참조 화소들을 이용하여 현재 블록의 예측 블록이 생성된다.

본 발명의 일실시예에 따른 영상 복호화 장치의 구성은 도 1 내지 도 6을 참조하여 설명한 영상 부호화 장치(10)의 구성으로부터 도출될 수 있으며, 예를 들어 도 1 내지 도 6을 참조하여 설명한 바와 같은 영상 부호화 방법의 과정들을 역으로 수행함으로써 영상을 복호화할 수 있다.

도 7은 본 발명의 일실시예에 따른 동영상 복호화 장치의 구성을 블록도로 도시한 것으로, 복호화 장치(20)는 엔트로피 복호화부(210), 역양자화/역변환부(220), 가산기(270), 후처리부(250), 픽쳐 저장부(260), 인트라 예측부(230), 움직임 보상 예측부(240) 및 인트라/인터전환 스위치(280)를 구비한다.

엔트로피 복호화부(210)는, 영상 부호화 장치(10)에서 부호화된 비트 스트림을 입력받아 복호화하여 인트라 예측 모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리하며, 복호화된 움직임 정보를 움직임 보상 예측부(240)로 전달한다.

엔트로피 복호화부(210)는 인트라 예측 모드 인덱스를 인트라 예측부(230)와 역양자화/역변환부(220)로 전달하여, 역양자화 계수 시퀀스를 역양자화/역변환부(220)로 전달한다.

역양자화/역변환부(220)는 상기 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환하며, 상기 변환을 위해 복수의 스캐닝 패턴들 중 하나를 선택할 수 있으며 예를 들어 현재 블록의 예측 모드(즉, 인트라 예측 또는 인터 예측)와 인트라 예측 모드에 기초하여 스캐닝 패턴을 선택할 수 있다.

역양자화/역변환부(220)는 2차원 배열의 역양자화 계수에 대해 복수의 양자화 매트릭스들 중에서 선택된 양자화 매트릭스를 적용하여 양자화 계수를 복원한다.

한편, 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스가 선택될 수 있다.

역양자화/역변환부(220)는 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원하며, 상기 역변환 과정은 변환 유닛(TU)을 기본 단위로 하여 수행될 수 있다.

가산기(270)는 역양자화/역변환부(220)에 의해 복원된 잔차 블록과 인트라 예측부(230) 또는 움직임 보상 예측부(240)에 의해 생성되는 예측 블록을 합하여 영상 블록을 복원한다.

후처리부(250)는 가산기(270)에 의해 생성된 복원 영상에 후처리를 수행하여, 필터링 등에 의해 양자화 과정에 따른 영상 손실에 기인하는 디블록킹 아티펙트 등을 감소시킬 수 있다.

픽쳐 저장부(260)는 후처리부(250)에 의해 필터 후처리가 수행된 로컬 복호 영상을 저장하기 위한 프레임 메모리이다.

인트라 예측부(230)는 엔트로피 복호화부(210)로부터 수신된 인트라 예측 모드 인덱스에 기초하여 현재 블록의 인트라 예측 모드를 복원하고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.

움직임 보상 예측부(240)는 움직임 벡터 정보에 기초하여 픽쳐 저장부(260)에 저장된 픽쳐로부터 현재 블록에 대한 예측 블록을 생성하며, 소수 정밀도의 움직임 보상이 적용될 경우 선택된 보간 필터를 적용하여 예측 블록을 생성할 수 있다.

인트라/인터 전환 스위치(280)는 부호화 모드에 기초하여 인트라 예측부(230)와 움직임 보상 예측부(240)의 어느 하나에서 생성된 예측 블록을 가산기(270)에 제공할 수 있다.

도 8는 영상 복호화 장치(20)에서 인터 예측을 수행하는 구성에 대한 일실시예를 블록도로 도시한 것으로, 인터 예측 복호화기는 디멀티플렉서(241), 움직임 정보 부호화 모드 판단부(242), 머지 모드 움직임 정보 복호화부(243), AMVP 모드 움직임 정보 복호화부(244), 선택 모드 움직임 정보 복호화부(248), 예측블록 생성부(245), 잔차 블록 복호화부(246) 및 복원블록 생성부(247)를 포함한다.

도 8을 참조하면, 디-멀티플렉서(241)는 수신된 비트스트림으로부터 현재 부호화된 움직임 정보와 부호화된 잔차 신호들을 역다중화하여, 역다중화된 움직임 정보를 움직임 정보 부호화 모드 판단부(242)로 전송하고, 역다중화된 잔차신호를 잔차블록 복호화부(246)로 전송할 수 있다.

움직임 정보 부호화 모드 판단부(242)는 현재 블록의 움직임 정보 부호화 모드를 판단하며, 수신된 비트스트림의 skip_flag가 1의 값을 갖는 경우 현재 블록의 움직임 정보 부호화 모드가 스킵 부호화 모드로 부호화된 것으로 판단할 수 있다.

움직임 정보 부호화 모드 판단부(242)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디-멀티블렉서(241)로부터 수신된 움직임 정보가 머지 인덱스만을 갖는 경우, 현재 블록의 움직임 정보 부호화 모드가 머지 모드로 부호화된 것으로 판단할 수 있다.

또한, 움직임 정보 부호화 모드 판단부(242)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디멀티블렉서(241)로부터 수신된 움직임 정보가 참조 픽쳐 인덱스와 차분 움직임 벡터와 AMVP인덱스를 갖는 경우, 현재 블록의 움직임 정보 부호화 모드가 AMVP 모드로 부호화된 것으로 판단할 수 있다.

머지 모드 움직임 정보 복호화부(243)는 움직임 정보 부호화 모드 판단부(242)가 현재 블록의 움직임 정보 부호화 모드를 스킵 또는 머지 모드로 판단한 경우에 활성화되며, AMVP 모드 움직임 정보 복호화부(244)는 움직임 정보 부호화 모드 판단부(242)가 현재 블록의 움직임 정보 부호화 모드를 AMVP 모드로 판단한 경우에 활성화될 수 있다.

선택 모드 움직임 정보 복호화부(248)는 전술한 AMVP 모드, 머지 모드, 스킵 모드를 제외한 다른 움직임 보상 예측 모드 중 선택된 예측 모드로 움직임 정보를 복호화 처리할 수 있다. 선택 예측 모드는 AMVP 모드 대비 더 정밀한 움직임 예측 모드를 포함할 수 있으며, 미리 결정된 조건(예를 들어, 블록 크기 및 블록 분할 정보, 시그널링 정보 존재, 블록 위치 등)에 따라 블록 적응적으로 결정될 수 있다. 선택 예측 모드는 예를 들어, FRUC(FRAME RATE UP-CONVERSION) 모드, BIO(BI-DIRECTIONAL OPTICAL FLOW) 모드, AMP(AFFINE MOTION PREDICTION)모드, OBMC(OVERLAPPED BLOCK MOTION COMPENSATION) 모드, DMVR(DECODER-SIDE MOTION VECTOR REFINEMENT) 모드, ATMVP(Alternative temporal motion vector prediction) 모드, STMVP(Spatial-temporal motion vector prediction) 모드, LIC(Local Illumination Compensation) 모드 중 적어도 하나를 포함할 수 있다.

예측블록 생성부(245)는 머지 모드 움직임 정보 복호화부(243) 또는 AMVP 모드 움직임 정보 복호화부(244)에 의해 복원된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성한다.

움직임 벡터가 정수 단위일 경우, 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록이 생성될 수 있다.

한편, 움직임 벡터가 정수 단위가 아닐 경우, 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 정수 단위 화소들로부터 예측 블록의 화소들이 생성되며, 이 경우 휘도 화소의 경우에는 8탭의 보간 필터를 사용하고 색차 화소의 경우 4탭 보간 필터를 사용하여 예측 화소가 생성될 수 있다.

잔차 블록 복호화부(246)는 잔차 신호를 엔트로피 복호화하고, 엔트로피 복호화된 계수들을 역스캐닝하여 2차원의 양자화된 계수 블록을 생성하며, 역스캐닝 방식은 엔트로피 복호화 방식에 따라 달라질 수 있다.

예를 들어, CABAC 기반으로 복호화된 경우 대각선 방향의 래스터 역스캔 방식으로, CAVLC 기반으로 복호화된 경우에는 지그재그 역스캔 방식으로 상기 역스캐닝 방식이 적용될 수 있다. 또한, 예측 블록의 크기에 따라 상기 역스캐닝 방식이 상이하게 결정될 수도 있다.

잔차블록 복호화부(246)는 상기와 같이 생성된 계수블록을 역양자화 매트릭스를 이용하여 역양자화하며, 상기 양자화 매트릭스를 유도하기 위해 양자화 파리미터를 복원할 수 있다. 여기서, 양자화 스텝 사이즈는 미리 정해진 크기 이상의 코딩 유닛별로 복원될 수 있다.

잔차블록 복호화부(260)는 상기 역양자화된 계수 블록을 역변환하여 잔차블록을 복원한다.

복원블록 생성부(270)는 상기 예측블록 생성부(250)에 의해 생성된 예측 블록과 상기 잔차블록 복호화부(260)에 의하여 생성된 잔차 블록을 더하여 복원 블록을 생성한다.

이하, 현재 블록을 인트라 예측을 통해 복원하는 과정에 대한 일실시예를 도 7을 다시 참조하여 설명한다.

먼저, 수신된 비트스트림으로부터 현재 블록의 인트라 예측 모드가 복호화되며, 그를 위해 엔트로피 복호화부(210)는 복수의 인트라 예측 모드 테이블들 중 하나를 참조하여 현재 블록의 제1 인트라 예측 모드 인덱스를 복원할 수 있다.

상기 복수의 인트라 예측 모드 테이블들 부호화 장치(10)와 복호화 장치(20)가 공유하는 테이블로서, 현재 블록에 인접한 복수 블록들에 대한 인트라 예측 모드의 분포에 따라 선택된 어느 하나의 테이블이 적용될 수 있다.

예를 들어, 현재 블록의 좌측 블록의 인트라 예측 모드와 현재 블록의 상측 블록의 인트라 예측 모드가 동일하면 제1 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원하고, 동일하지 않으면 제2 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원할 수 있다.

또 다른 예로써, 현재 블록의 상측 블록과 좌측 블록의 인트라 예측 모드가 모두 방향성 예측 모드(directional intra prediction 모드)일 경우, 상기 상측 블록의 인트라 예측 모드의 방향과 상기 좌측 블록의 인트라 예측 모드의 방향이 소정 각도 이내이면 제 1 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원하고, 소정 각도를 벗어나면 제2 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원할 수도 있다.

엔트로피 복호화부(210)는 복원된 현재 블록의 제1 인트라 예측 모드 인덱스를 인트라 예측부(230)로 전송한다.

제1 인트라 예측 모드를 인덱스를 수신한 인트라 예측부(230)는, 상기 인덱스가 최소값을 가질 경우(즉, 0일 경우), 현재 블록의 최대 가능 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다.

한편, 인트라 예측부(230)는, 상기 인덱스가 0 이외의 값을 가질 경우, 현재 블록의 최대 가능 모드가 나타내는 인덱스와 상기 제1 인트라 예측 모드 인덱스를 비교하고, 비교 결과 상기 제1 인트라 예측 모드 인덱스가 상기 현재 블록의 최대 가능 모드가 나타내는 인덱스보다 작지 않으면 상기 제1 인트라 예측 모드 인덱스에 1을 더한 제2 인트라 예측 모드 인덱스에 대응하는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정하고, 그렇지 않으면 상기 제1 인트라 예측 모드 인덱스에 대응하는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다.

현재 블록에 허용 가능한 인트라 예측 모드는 적어도 하나 이상의 비방향성 모드(비 directional 모드)와 복수 개의 방향성 모드들(directional 모드s)로 구성될 수 있다.

하나 이상의 비방향성 모드는 DC 모드 및/또는 플래너(planar) 모드일수 있다. 또한, DC 모드와 플래너 모드 중 어느 하나가 적응적으로 상기 허용 가능한 인트라 예측 모드 셋에 포함될 수 있다.

이를 위해, 픽쳐 헤더 또는 슬라이스 헤더에 상기 허용 가능한 인트라 예측 모드 셋에 포함되는 비방향성 모드를 특정하는 정보가 포함될 수 있다.

다음으로, 인트라 예측부(230)는 인트라 예측 블록을 생성하기 위해, 참조 화소들을 픽쳐 저장부(260)로터 읽어들이고, 이용 가능하지 않은 참조 화소가 존재하는지 여부를 판단한다.

상기 판단은 현재 블록의 복호된 인트라 예측 모드를 적용하여 인트라 예측 블록을 생성하는데 이용되는 참조 화소들의 존재 여부에 따라 행해질 수도 있다.

다음으로, 인트라 예측부(230)는 참조 화소를 생성할 필요가 있을 경우에는 미리 복원된 이용 가능한 참조 화소들을 이용하여 이용 가능하지 않은 위치의 참조 화소들을 생성할 수 있다.

이용 가능하지 않은 참조 화소에 대한 정의 및 참조 화소의 생성 방법은 도 1에 따른 인트라 예측부(150)에서의 동작과 동일할 수 있으나, 현재 블록의 복호화된 인트라 예측 모드에 따라 인트라 예측 블록을 생성하는데 이용되는 참조 화소들이 선택적으로 복원될 수도 있다.

또한, 인트라 예측부(230)는 예측 블록을 생성하기 위해 참조 화소들에 필터를 적용할지 여부를 판단하며, 즉 현재 블록의 인트라 예측 블록을 생성하기 위하여 참조 화소들에 대해 필터링을 적용할지 여부를 상기 복호된 인트라 예측 모드 및 현재 예측 블록의 크기에 기초하여 결정할 수 있다.

블록킹 아티펙트의 문제는 블록의 크기가 커질수록 커지므로, 블록의 크기가 커질수록 참조 화소를 필터링하는 예측모드의 수를 증가시킬 수 있으나, 블록이 소정 크기보다 커지는 경우 평탄한 영역으로 볼 수 있으므로 복잡도 감소를 위해 참조 화소를 필터링하지 않을 수도 있다.

상기 참조 화소에 필터 적용이 필요하다고 판단된 경우, 인트라 예측부(230)는 필터를 이용하여 상기 참조 화소들을 필터링한다.

상기한 참조 화소들 간의 단차의 차이 정도에 따라 적어도 2개 이상의 필터를 적응적으로 적용할 수도 있다. 상기 필터의 필터계수는 대칭적인 것이 바람직하다.

또한, 상기한 2개 이상의 필터가 현재 블록의 크기에 따라 적응적으로 적용될 수도 있으며, 필터를 적용할 경우 크기가 작은 블록에 대해서는 대역폭이 좁은 필터가, 크기가 큰 블록들에 대해서는 대역폭이 넓은 필터가 적용될 수도 있다.

DC 모드의 경우에는 참조 화소들의 평균값으로 예측 블록이 생성되므로 필터를 적용할 필요가 없으며, 상이 수직 방향으로 연관성(correlation)이 있는 수직 모드에서는 참조 화소에 필터를 적용할 필요가 없고, 영상이 수평 방향으로 연관성이 있는 수평 모드에서도 참조 화소에 필터를 적용할 필요가 없을 수 있다.

이와 같이, 필터링의 적용 여부는 현재 블록의 인트라 예측 모드와도 연관성이 있으므로, 현재 블록의 인트라 예측 모드 및 예측 블록의 크기에 기초하여 참조 화소를 적응적으로 필터링할 수 있다.

다음으로, 인트라 예측부(230)는 상기 복원된 인트라 예측 모드에 따라 참조 화소 또는 필터링된 참조 화소들을 이용하여 예측 블록을 생성하며, 상기 예측 블록의 생성은 부호화 장치(10)에서의 동작과 동일할 수 있으므로, 그에 대한 상세한 설명은 생략하기로 한다.

인트라 예측부(230)는 상기 생성된 예측 블록을 필터링할지 여부를 판단하며, 상기 필터링 여부는 슬라이스 헤더 또는 부호화 유닛 헤더에 포함된 정보를 이용하거나 또는 현재 블록의 인트라 예측 모드에 따라 결정될 수 있다.

상기 생성된 예측 블록을 필터링할 것으로 판단할 경우, 인트라 예측부(230)는 현재 블록에 인접한 이용 가능한 참조 화소들을 이용하여 생성된 예측 블록의 특정 위치의 화소를 필터링하여 새로운 화소를 생성할 수 있다.

예를 들어, DC 모드에서는 예측 화소들 중 참조 화소들과 접하는 예측 화소는 상기 예측 화소와 접하는 참조 화소를 이용하여 필터링 될 수 있다.

따라서, 예측 화소의 위치에 따라 1개 또는 2개의 참조 화소를 이용하여 예측 화소가 필터링되며, DC 모드에서의 예측 화소의 필터링은 모든 크기의 예측 블록에 적용할 수 있다.

한편, 수직 모드에서는 예측 블록의 예측 화소들 중 좌측 참조 화소와 접하는 예측 화소들은 상기 예측블록을 생성하는데 이용되는 상측 화소 이외의 참조 화소들을 이용하여 변경될 수 있다.

마찬가지로, 수평 모드에서는 생성된 예측 화소들 중 상측 참조 화소와 접하는 예측 화소들은 상기 예측블록을 생성하는데 이용되는 좌측 화소 이외의 참조 화소들을 이용하여 변경될 수 있다.

이와 같은 방식으로 복원된 현재 블록의 예측 블록과 복호화한 현재 블록의 잔차 블록을 이용하여 현재 블록이 복원될 수 있다.

도 9는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제2 실시예를 설명하기 위한 도시한 것이다.

도 9를 참조하면, 최대 256x256 픽셀 크기를 가지는 코딩 트리 유닛(CTU)은 먼저 쿼드 트리(quad tree) 구조로 나뉘어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 분할될 수 있다.

여기서, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나는 이진 트리(binary tree) 구조로 나뉘어, 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 재 분할될 수 있다.

한편, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나는 쿼드 트리 구조로 나뉘어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 재 분할될 수도 있다.

그리고 상기 이진 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나는 이진 트리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 분할될 수 있다.

한편, 상기 쿼드 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나는 쿼드 트리 구조 또는 이진 크리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 코딩 유닛(CU)들로 분할될 수도 있다.

상기와 같이 이진 트리 구조로 분할되어 구성된 CU들은 들은, 더 이상 분할되지 않고, 예측 및 변환에 이용될 수 있다. 이때, 이진 분할된 CU는 실제 부/복호화를 수행하는 블록 단위인 코딩 블록(Coding block: CB)과 해당 코딩 블록에 해당되는 신택스를 포함할 수 있다. 즉, 도 9에 도시된 바와 같은 코딩 블록(CB)에 속하는 예측 유닛(PU)과 변환 유닛(TU)의 크기는, 해당 코딩 블록(CB)의 크기와 동일할 수 있다.

상기와 같이 쿼드 트리 구조로 분할된 코딩 유닛은 도 3 및 도 4를 참조하여 설명한 바와 같은 방법을 이용하여 하나 또는 2 이상의 예측 유닛(PU)들로 분할될 수 있다.

또한, 상기와 같이 쿼드 트리 구조로 분할된 코딩 유닛은 도 5를 참조하여 설명한 바와 같은 방법을 이용하여 하나 또는 2 이상의 변환 유닛(TU)들로 분할될 수 있으며, 상기 분할된 변환 유닛(TU)은 최대 64x64 픽셀 크기를 가질 수 있다.

도 10은 영상을 블록 단위로 분할하여 처리하기 위해 사용되는 신택스(syntax) 구조에 대한 일실시예를 나타내는 것이다.

도 10 및 도 9를 참조하면, 본 발명의 실시 예에 따른 블록 구조(block structure)는 쿼드 트리 분할 여부를 나타내는 split_cu_flag와 이진 트리 분할 여부를 나타내는 binary_split_flag를 통해 결정될 수 있다.

예를 들어, 앞서 설명한 바와 같은 코딩 유닛(CU)의 분할 여부는 split_cu_flag를 이용하여 나타낼 수 있다. 그리고, 쿼드 트리 분할 이후 이진 분할된 CU에 대응하여, 이진 분할 여부를 나타내는 binary_split_flag 및 분할된 방향을 나타내는 신택스가 결정될 수 있다. 이 때, 이진 분할의 방향성을 나타내는 방법으로서, binary_split_hor과 binary_split_ver과 같이 복수개의 신택스를 복호화하여 이에 기초한 분할 방향을 결정하는 방법 또는 binary_split_mode와 같이 하나의 신택스와 이에 따른 신호 값을 복호화하여 Horizontal(0) 또는 Vertical(1) 방향으로의 분할을 처리하는 방법이 예시될 수 있다.

본 발명에 따른 또 다른 실시예로써, 이진 트리를 이용하여 분할되는 코딩 유닛(CU)의 깊이는 binary_depth를 이용하여 나타내어질 수 있다.

도 9 및 도 10을 참조하여 설명한 바와 같은 방법에 의해 분할된 블록들(예를 들어, 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU))에 대해 도 1 내지 도 8을 참조하여 설명한 바와 같은 방법들이 적용됨으로써, 영상에 대한 부호화 및 복호화가 수행될 수 있다.

이하에서는, 도 11 내지 도 16을 참조하여, 코딩 유닛(CU)을 하나 또는 2 이상의 변환 유닛(TU)들로 분할하는 방법에 대한 또 다른 실시예들을 설명하기로 한다.

본 발명의 실시예에 따르면, 코딩 유닛(CU)은 이진 트리 구조로 나뉘어 잔차 블록에 대한 변환이 수행되는 기본 단위인 변환 유닛(TU)들로 분할될 수 있다.

예를 들어, 도 11을 참조하면, 이진 트리 구조로 분할되어 Nx2N 또는 2NxN의 크기를 가지는 직사각형의 코딩 블록들(CU0, Cu1) 중 적어도 하나는, 다시 이진 트리 구조로 나뉘어, NxN의 크기를 가지는 정사각형의 변환 유닛들(TU0, TU1)로 분할될 수 있다.

상기한 바와 같이, 블록 기반의 영상 부호화 방법은, 예측, 변환, 양자화 및 엔트로피 부호화 단계들을 수행할 수 있다.

상기 예측 단계에서는, 현재 부호화를 수행하는 블록과 기존의 부호화된 영상 또는 주변 영상을 참조하여 예측 신호를 생성하며, 이를 통해 현재 블록과의 차분 신호를 계산할 수 있다.

한편, 변환 단계에서는, 상기 차분 신호를 입력으로 하여 다양한 변환 함수를 이용하여 변환을 수행하며, 상기 변환된 신호는 DC 계수와 AC 계수들로 분류되 에너지 집중(Energy compaction)되어 부호화 효율이 향상될 수 있다.

또한, 양자화 단계에서는 변환 계수(Transform coefficient)들을 입력으로 양자화가 수행하며, 이후 양자화된 신호에 대해 엔트로피 부호화가 수행됨으로써 영상이 부호화될 수 있다.

한편, 영상 복호화 방법은 상기와 같은 부호화 과정의 역순으로 진행되며, 영상의 화질 왜곡 현상이 양자화 단계에서 발생할 수 있다.

부호화 효율을 향상시키면서 화질 왜곡 현상을 줄이기 위한 방법으로서, 변환 단계에서 입력으로 들어오는 차분 신호의 분포 및 영상의 특징에 따라 변환 유닛(TU)의 크기 또는 모양과 적용되는 변환 함수 종류를 다양하게 할 수 있다.

예를 들어, 예측 단계에서 블록 기반 움직임 추정 과정을 통해 현재 블록과 유사한 블록을 찾는 경우, SAD(Sum of Absolute Difference) 또는 MSE(Mean Square error) 등과 같은 코스트(cost) 측정 방법을 이용하여, 차분 신호의 분포는 영상의 특성에 따라 다양한 형태로 생길 수 있다.

그에 따라, 다양한 차분 신호의 분포에 기초해 선택적으로 변환 유닛(CU)의 크기 또는 모양을 결정하여 변환을 수행함으로써, 효과적인 부호화가 수행될 수 있다.

도 12를 참조하면, 임의의 코딩 유닛(CUx) 에서 (a)에 도시된 바와 같이 차분 신호가 발생하는 경우, (b)에 도시된 바와 같이 해당 코딩 유닛(CUx)을 이진 트리 구조로 나누어 2개의 변환 유닛(TU)들로 분할함으로써 효과적인 변환이 수행되도록 할 수 있다.

예를 들어, DC 값은 일반적으로 입력 신호의 평균값을 나타낸다고 말할 수 있으므로, 도 12의 (a)에 도시된 바와 같은 차분 신호가 변환 과정의 입력으로 수신되는 경우, 코딩 유닛(CUx)을 2개의 변환 유닛(TU)들로 분할함으로써 효과적으로 DC 값을 나타낼 수 있다.

도 13을 참조하면, 2Nx2N의 크기를 가지는 정사각형의 코딩 유닛(CU0)이 이진 트리 구조로 나뉘어, Nx2N 또는 2NxN의 크기를 가지는 직사각형의 변환 유닛들(TU0, TU1)로 분할될 수 있다.

본 발명의 또 다른 실시예에 따르면, 상기한 바와 같이 코딩 유닛(CU)을 이진 트리 구조로 분할하는 단계를 2회 이상 반복해 수행하여, 복수의 변환 유닛(TU)들로 분할할 수 있다.

도 14를 참조하면, Nx2N의 크기를 가지는 직사각형의 코딩 블록(CB1)을 이진 트리 구조로 분할하고, 상기 분할된 NxN의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN 또는 NxN/2의 크기를 가지는 직사각형의 블록을 구성한 후, 상기 N/2xN 또는 NxN/2의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN/2의 크기를 가지는 정사각형의 변환 유닛들(TU1, TU2, TU4, TU5)로 분할할 수 있다.

도 15를 참조하면, 2Nx2N의 크기를 가지는 정사각형의 코딩 유닛(CU0)을 이진 트리 구조로 분할하고, 상기 분할된 Nx2N의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 NxN의 크기를 가지는 정사각형의 블록을 구성한 후, 상기 NxN의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN의 크기를 가지는 직사각형의 변환 유닛들(TU1, TU2)로 분할할 수 있다.

도 16을 참조하면, 2NxN의 크기를 가지는 직사각형의 코딩 유닛(CU0)을 이진 트리 구조로 분할하고, 상기 분할된 NxN의 크기를 가지는 블록을 다시 쿼드 트리 구조로 분할하여 N/2xN/2의 크기를 가지는 정사각형의 변환 유닛들(TU1, TU2, TU3, TU4)로 분할할 수 있다.

도 11 내지 도 16을 참조하여 설명한 바와 같은 방법에 의해 분할된 블록들(예를 들어, 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU))에 대해 도 1 내지 도 8을 참조하여 설명한 바와 같은 방법들이 적용됨으로써, 영상에 대한 부호화 및 복호화가 수행될 수 있다.

이하에서는, 본 발명에 따른 부호화 장치(10)가 블록 분할 구조를 결정하는 방법에 대한 실시예들에 대해 설명한다.

영상 부호화 장치(10)에 구비된 픽쳐 분할부(110)는 미리 설정된 순서에 따라 RDO(Rate distortion Optimization)를 수행하여, 상기한 바와 같이 분할 가능한 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU)의 분할 구조를 결정할 수 있다.

예를 들어, 블록 분할 구조를 결정하기 위해, 픽쳐 분할부(110)는 RDO-Q(Rate distortion Optimization- Quantization)를 수행하면서 비트율(bitrate)와 왜곡(distortion) 측면에서 최적의 블록 분할 구조를 결정할 수 있다.

도 17을 참조하면, 코딩 유닛(CU)이 2Nx2N 픽셀 크기의 형태를 가지는 경우, (a)에 도시된 2Nx2N 픽셀 크기, (b)에 도시된 NxN 픽셀 크기, (c)에 도시된 Nx2N 픽셀 크기, (d)에 도시된 2NxN 픽셀 크기의 변환 유닛(PU) 분할 구조 순서로 RDO를 수행하여 변환 유닛(PU)의 최적 분할 구조를 결정할 수 있다.

도 18을 참조하면, 코딩 유닛(CU)이 Nx2N 또는 2NxN 픽셀 크기의 형태를 가지는 경우, (a)에 도시된 Nx2N(또는, 2NxN)의 픽셀 크기, (b)에 도시된 NxN의 픽셀 크기, (c)에 도시된 N/2xN(또는, NxN/2)와 NxN의 픽셀 크기, (d)에 도시된 N/2xN/2, N/2xN 및 NxN의 픽셀 크기, (e)에 도시된 N/2xN의 픽셀 크기의 변환 유닛(PU) 분할 구조 순서로 RDO를 수행하여 변환 유닛(PU)의 최적 분할 구조를 결정할 수 있다.

상기에서는 RDO(Rate distortion Optimization)를 수행하여 블록 분할 구조가 결정되는 것을 예로 들어 본 발명의 블록 분할 방법을 설명하였으나, 픽쳐 분할부(110)는 SAD(Sum of Absolute difference) 또는 MSE(Mean Square Error)를 이용하여 블록 분할 구조를 결정함으로써 복잡도를 감소시키면서도 적절한 효율을 유지할 수 있다.

본 발명의 일실시예에 따르면, 상기한 바와 같이 분할된 코딩 유닛(CU), 예측 유닛(PU) 또는 변환 유닛(TU) 단위로 적응적 루프 필터링(Adaptive Loof Filtering: ALF)의 적용 여부가 결정될 수 있다.

예를 들어, 적응적 루프 필터(ALF)의 적용 여부는 코딩 유닛(CU) 단위로 결정될 수 있으며, 코딩 유닛(CU)에 따라 적용될 루프 필터의 크기 또는 계수는 달라질 수 있다.

이 경우, 코딩 유닛(CU) 별 상기 적응적 루프 필터(ALF)의 적용 여부를 나타내는 정보가 각 슬라이스 헤더에 포함될 수 있다.

색차 신호의 경우, 픽쳐 단위로 적응적 루프 필터(ALF)의 적용 여부를 결정할 수도 있으며, 루프 필터의 형태도 휘도와 달리 직사각형 형태를 가질 수 있다.

또한, 상기 적응적 루프 필터링(ALF)은 슬라이스별로 적용 여부를 결정할 수 있다. 따라서, 현재 슬라이스에 적응적 루프 필터링(ALF)이 적용되는지 여부를 나타내는 정보는 슬라이스 헤더 또는 픽쳐 헤더에 포함될 수 있다.

현재 슬라이스에 적응적 루프 필터링이 적용됨을 나타내면, 슬라이스 헤더 또는 픽쳐 헤더는 추가적으로 적응적 루프 필터링 과정에 사용되는 휘도 성분의 수평 및/또는 수직 방향의 필터 길이를 나타내는 정보를 포함할 수 있다.

슬라이스 헤더 또는 픽쳐 헤더는 필터 세트의 수를 나타내는 정보를 포함할 수 있으며, 필터 세트의 수가 2 이상인 경우 필터 계수들이 예측 방법을 사용하여 부호화 될 수 있다.

따라서, 슬라이스 헤더 또는 픽쳐 헤더는 필터 계수들이 예측 방법으로 부호화 되는지 여부를 나타내는 정보를 포함할 수 있으며, 예측 방법이 사용되는 경우에는 예측된 필터 계수를 포함할 수 있다.

한편, 휘도 뿐만 아니라, 색차 성분들도 적응적으로 필터링 될 수 있으며, 이 경우 색차 성분 각각이 필터링 되는지 여부를 나타내는 정보가 슬라이스 헤더 또는 픽쳐 헤더에 포함될 수 있으며 비트 수를 줄이기 위해 Cr과 Cb에 대한 필터링 여부를 나타내는 정보와 함께 조인트 코딩(즉, 다중화 코딩)될 수 있다.

이 때, 색차 성분들의 경우에는 복잡도 감소를 위해 Cr과 Cb를 모두 필터링하지 않는 경우가 가장 빈번할 가능성이 높으므로, Cr과 Cb를 모두 필터링하지 않는 경우에 가장 작은 인덱스를 할당하여 엔트로피 부호화를 수행할 수 있다.

그리고, Cr 및 Cb를 모두 필터링하는 경우에 가장 큰 인덱스를 할당하여 엔트로피 부호화를 수행할 수 있다.

도 19내지 도 29는 본 발명의 다른 일 실시 예에 따른 복합 분할 구조를 설명하기 위한 도면들이다.

예를 들어, 도 19를 참조하면, 코딩 유닛(CU)이 이진 트리 구조로 분할됨에 따라, 도 19(A)와 같은 가로 길이 W가 세로 길이 H보다 긴 형태의 직사각형과, 도 19(B)와 같이 세로 길이 H가 가로 길이 W보다 긴 형태의 직사각형으로 분할된 코딩 유닛(CU)의 형태가 나타날 수 있다. 이와 같이 특정 방향의 길이가 긴 코딩 유닛의 경우, 중간 영역에 비하여 가장자리 좌우 또는 상하 경계 영역이 상대적으로 부호화 정보가 집중될 가능성이 높다.

따라서, 보다 정밀하고 효율적인 부호화 및 복호화를 위하여, 본 발명의 실시 예에 따른 부호화 장치(10)는 쿼드 트리 및 이진 트리 분할에 의해, 특정 방향 길이가 길게 분할된 코딩 유닛의 가장자리 영역 등을 용이하게 분할하게 할 수 있는 삼진 트리(ternary tree) 또는 삼중 트리(triple tree) 구조로 코딩 유닛을 분할할 수 있다.

예를 들어, 도 19(A)는 분할 대상 코딩 유닛이 수평 분할된 코딩 유닛인 경우, 가로 W/8, 세로 H/4 길이인 좌측 가장자리의 제1 영역과, 가로 W/8*6, 세로 H/4 길이로서, 중간 영역인 제2 영역과, 가로 W/8, 세로 H/4 길이의 우측 가장자리의 제3 영역으로 삼진 분할될 수 있음을 나타내고 있다.

또한, 도 19(B)는 분할 대상 코딩 유닛이 수직 분할된 코딩 유닛인 경우, 가로 W/4, 세로 H/8 길이인 상단 가장자리의 제1 영역과, 가로 W/4, 세로 H/8*6 길이로서, 중간 영역인 제2 영역과, 가로 W/4, 세로 H/8 길이의 하단 가장자리의 제3 영역으로 분할될 수 있음을 나타내고 있다.

그리고, 본 발명의 실시 예에 따른 부호화 장치(10)는, 픽쳐 분할부(110)를 통해 이와 같은 삼진 트리 구조의 분할을 처리할 수 있다. 이를 위해, 픽쳐 분할부(110)는 전술한 쿼드 트리 및 이진 트리 구조로의 분할을 부호화 효율에 따라 결정할 수 있을 뿐만 아니라, 삼진 트리 구조를 함께 고려하여 세분화된 분할 방식을 세결정할 수 있다.

여기서, 삼진 트리 구조의 분할은 별도 제한 없이 모든 코딩 유닛에 대해 처리될 수 있다. 그러나, 전술한 바와 같이 부호화 및 복호화 효율을 고려하면, 특정 조건의 코딩 유닛에 대하여만 삼진 트리 구조를 허용하는 것이 바람직할 수 있다.

또한, 삼진 트리 구조는 코딩 트리 유닛에 대한 다양한 방식의 삼진 분할이 필요할 수 있으나, 부호화 및 복호화 복잡도 및 시그널링에 의한 전송 대역폭을 고려하여, 최적화된 소정 형태만이 허용되는 것이 바람직할 수 있다.

따라서, 픽쳐 분할부(110)는 현재 코딩 유닛의 분할을 결정함에 있어서, 현재 코딩 유닛이 미리 설정된 조건에 대항하는 경우에만 특정 형태의 삼진 트리 구조로의 분할여부를 판단 및 결정할 수 있다. 또한, 이와 같은 삼진 트리의 허용에 따라, 바이너리 트리의 분할 비율도 1:1만이 아닌 3:1, 1:3 등으로 확장 및 가변될 수 있다. 따라서, 본 발명의 실시 예에 따른 코딩 유닛의 분할 구조는 비율에 따라 쿼드 트리, 이진 트리 또는 삼진 트리로 세분화 분할되는 복합 트리 구조를 포함할 수 있다.

예를 들어, 픽쳐 분할부(110)는 상기한 분할 테이블에 기초하여, 분할 대상 코딩 유닛의 복합 분할 구조를 결정할 수 있다.

본 발명의 실시 예에 따르면, 픽쳐 분할부(110)는 블록의 최대 사이즈(예를 들어, 픽셀 기반 128 x 128, 256 x 256 등)에 대응하여, 쿼드 트리 분할을 처리하고, 쿼드 트리 분할된 단말 노드에 대응하는 이중 트리 구조 및 삼중 트리 구조 분할 중 적어도 하나를 처리하는 복합 분할 처리를 수행할 수 잇다.

특히, 본 발명의 실시 예에 따르면 픽쳐 분할부(110)는 분할 테이블에 따라, 현재 블록의 특성 및 사이즈에 대응하는 이진 트리 분할인 제1 이진 분할(BINARY 1), 제2 이진 분할(BINARY 2)과, 삼진 트리 분할인 제1 삼진 분할(TRI 1) 또는 제2 삼진 분할(TRI 2) 중 어느 하나의 분할 구조를 결정할 수 있다.

여기서, 제1 이진 분할은 N:N의 비율을 갖는 수직 또는 수평 분할에 대응할 수 있으며, 제2 이진 분할은 3N:N 또는 N:3N의 비율을 갖는 수직 또는 수평 분할에 대응될 수 있고, 각 이진 분할된 root CU는 분할 테이블에 명시된 각 사이즈의 CU0 및 CU1으로 분할될 수 있다.

한편, 제1 삼진 분할은 N:2N:N의 비율을 갖는 수직 또는 수평 분할에 대응할 수 있으며, 제2 삼진 분할은 N:6N:N의 비율을 갖는 수직 또는 수평 분할에 대응될 수 있고, 각 삼진 분할된 root CU는 분할 테이블에 명시된 각 사이즈의 CU0, CU1 및 CU2로 분할될 수 있다.

다만, 본 발명의 실시 예에 따른 픽쳐 분할부(110)는, 상기 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 또는 제2 삼진 분할을 적용하기 위한 최대 코딩 유닛 크기 및 최소 코딩 유닛 크기를 각각 설정할 수 있다.

이는, 최소 크기, 예를 들어 2 이하의 가로 또는 세로 픽셀을 갖는 블록에 대응하는 부호화 및 복호화 처리를 수행하는 것은 복잡도 측면에서 비효율적일 수 있게 때문이며, 따라서, 본 발명의 실시 예에 따른 분할 테이블은 각 코딩 유닛의 사이즈별 허용 가능한 분할 구조를 사전 정의할 수 있다.

이에 따라, 픽쳐 분할부(110)는 최소 크기, 예를 들어 4 미만의 사이즈로서 가로 또는 세로 픽셀 사이즈가 2인 경우로 분할되는 경우등을 사전 방지할 수 있으며, 이를 위해, 분할 대상 블록의 사이즈로부터 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 또는 제2 삼진 분할에 대응하는 허용 여부를 미리 판단하고, 허용 가능한 분할 구조에 대응하는 RDO 성능 연산을 처리 비교하여 최적의 분할 구조를 결정할 수 있다.

예를 들어, 최대 크기의 루트 코딩 유닛 CU 0가 이진 분할된 경우, 이진 분할 구조는 1:1, 3:1 또는 1:3 수직 분할 중 어느 하나의 구조를 구성하는 CU0, CU1으로 분할될 수 있고, 삼진 분할 구조는 1:2:1 또는 1:6:1 수직 분할 중 어느 하나의 구조를 구성하는 CU0, CU1 및 CU2로 분할 될 수 있다.

분할 대상 코딩 유닛의 사이즈에 따라, 허용 가능한 수직 분할 구조가 제한적으로 결정될 수 있다. 예를 들어, 64X64 코딩 유닛 및 32X32 코딩 유닛의 수직 분할구조는 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 및 제2 삼진 분할이 모두 허용될 수 있으나, 16X16 코딩 유닛의 수직 분할 구조 중 제2 삼진 분할은 불가능한 것으로 제한될 수 있다. 또한, 8X8 코딩 유닛의 수직 분할 구조는 제1 이진 분할만이 제한적으로 허용될 수도 있다. 이에 따라 복잡성을 야기시키는 최소 크기 미만의 블록으로의 분할은 사전에 방지될 수 있다.

마찬가지로, 최대 크기의 루트 코딩 유닛 CU 0가 이진 분할된 경우, 이진 분할 구조는 1:1, 3:1 또는 1:3 수평 분할 중 어느 하나의 구조를 구성하는 CU0, CU1으로 분할될 수 있고, 삼진 분할 구조는 1:2:1 또는 1:6:1 수평 분할 중 어느 하나의 구조를 구성하는 CU0, CU1 및 CU2로 분할 될 수 있다.

분할 대상 코딩 유닛의 사이즈에 따라, 허용 가능한 수평 분할 구조가 제한적으로 결정될 수 있다. 예를 들어, 64X64 코딩 유닛 및 32X32 코딩 유닛의 수평 분할구조는 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 및 제2 삼진 분할이 모두 허용될 수 있으나, 16X16 코딩 유닛의 수평 분할 구조 중 제2 삼진 분할은 불가능한 것으로 제한될 수 있다. 또한, 8X8 코딩 유닛의 수평 분할 구조는 제1 이진 분할만이 제한적으로 허용될 수도 있다. 이에 따라 복잡성을 야기시키는 최소 크기 미만의 블록으로의 분할은 사전에 방지될 수 있다.

한편, 픽쳐 분할부(110)는 분할 테이블에 따라, 수직 분할된 코딩 유닛을 제1 이진 분할 또는 제2 이진 분할로 수평 분할 처리하거나, 제1 삼진 분할 또는 제2 삼진 분할로 수평 분할 처리할 수 있다.

예를 들어, 32X64 로 수직 분할된 코딩 유닛에 대응하여, 픽쳐 분할부(110)는 제1 이진 분할에 따라 32X32의 CU0, CU1으로 분할하거나, 제2 이진 분할에 따라 32X48, 32X16의 C0, CU1으로 분할하거나, 제1 삼진 분할에 따라, 32X32, 32X16, 32X16의 CU0, CU1, CU2로 분할하거나, 제2 삼진 분할에 따라 32X8, 64X48, 32X8의 CU0, CU1, CU2로 분할할 수 있다.

또한, 픽쳐 분할부(110)는 수평 분할된 코딩 유닛을 제1 이진 분할 또는 제2 이진 분할로 수직 분할 처리하거나, 제1 삼진 분할 또는 제2 삼진 분할로 수직 분할 처리할 수 있다.

예를 들어, 32X16 으로 수평 분할된 코딩 유닛에 대응하여, 픽쳐 분할부(110)는 제1 이진 분할에 따라 16X16의 CU0, CU1으로 분할하거나, 제2 이진 분할에 따라 24X16 8X16의 C0, CU1으로 분할하거나, 제1 삼진 분할에 따라, 8X16, 16X16, 8X16의 CU0, CU1, CU2로 분할하거나, 제2 삼진 분할에 따라 4X16, 24X16, 4X16의 CU0, CU1, CU2로 분할할 수 있다.

이러한 분할 허용 구조는 CTU의 크기, CTU 그룹 단위 및 슬라이스 단위와, 수직 및 수평 방향별로 상이하게 조건부로 결정될 수 있는 바, 제1 이진 분할, 제2 이진 분할, 제1 삼진 분할 및 제2 삼진 분할 처리되는 경우의 각 CU 분할 비율 및 결정 크기 정보가 분할 테이블에 의해 정의되거나, 조건 정보가 미리 설정될 수 있다.

한편, 분할 대상 코딩 유닛은 균등한 수평 또는 수직 분할로서 분할될 수 있다. 그러나, 균등분할은 높은 예측 값이 집중되는 영역이 일부 경계영역에만 존재하는 등의 상황에 있어서 매우 비효율적인 예측 방법일 수 있다. 이에 따라, 본 발명의 실시 예에 다른 픽쳐 분할부(110)는, 도 20(C)에 도시된 바와 같은 일정 비율에 따라 비균등하게 분할된 비균등 분할을 조건부로 허용할 수 있다.

예를 들어, 이진 균등 분할이 Binary: 1:1 인 경우, 비균등 분할은 Asymmetric Binary: (1/3, 2/3), (1/4, 3/4), (2/5, 3/5), (3/8, 5/8), (1/5, 4/5)과 같이 그 비율이 결정될 수 있다. 예를 들어, 삼진 균등 분할이 1:2:1 인 경우, 비균등 분할은 1:6:1과 같이 그 비율이 가변적으로 결정될 수 있다.

한편, 본 발명의 실시 예에 따른 픽쳐 분할부(110)는, 예측 단위인 코딩 유닛들을 포함하는 복수의 코딩 트리 유닛(Coding Tree Unit: CTU)들로 픽쳐를 기본적으로 분할될 수 있으며, 복수의 코딩 트리 유닛들은 타일 단위 또는 슬라이스 단위를 구성할 수 있다. 예를 들어, 하나의 픽처는 직사각형 영역들인 복수의 타일들로 분할될 수 있으며, 픽처는 하나 이상의 세로열로 분할하는 타일로 분할되거나, 하나 이상의 가로열로 분할하는 타일로 분할되거나, 또는 하나 이상의 세로열 및 하나 이상의 가로열로 분할하는 타일들로 분할될 수도 있다. 픽처는 픽처 내 가로열 및 세로열의 길이를 기준으로 균등하게 동일한 크기의 타일들로 분할될 수도 있고, 상이한 크기들의 타일들로 분할될 수도 있다.

일반적으로, HEVC 등의 표준 신택스에 의하면, 타일 또는 슬라이스로 분할된 영역의 경우, 다른 타일 또는 슬라이스와는 독립적인 처리를 가능하게 하기 위해, 그 헤더 정보로서 하이 레벨 신택스가 할당 및 부호화될 수 있다. 이러한 하이 레벨 신택스에 의해, 타일 또는 슬라이스별 병렬 처리가 가능할 수 있다.

그러나, 현재의 타일 또는 슬라이스 부호화 방식은 부호화 장치에서의 부호화 조건에만 의존적일 뿐, 복호화 장치의 성능 및 환경이 고려되지 않는 문제점이 있다. 예를 들어, 복호화 장치의 코어나 스레드의 수가 부호화 장치보다 많은 경우라 하더라도, 그 성능을 활용할 수 없는 문제점이 발생될 수 있다.

특히, 최근 대두되는 360도 가상현실 영상 등 초고해상도 및 사용자 시점 트래킹 기반의 부분 복호화 처리가 요구되는 현재 영상에 대하여, 이러한 일방적 분할 구조 및 헤더 결정 프로세스는 부호화 장치 의존적이며, 결과적으로 전체적인 부호화 및 복호화 성능 저하를 야기하는 문제점이 있다.

이를 해결하기 위한 본 발명의 실시 예에 따르면, 픽쳐 분할부(110)는 이와 같이 픽처를 분할하는 복수의 타일들을 각 타일 또는 타일 그룹 내에서 결정되는 독립 타일 또는 의존 타일로 구분할 수 있으며, 다른 타일들과 독립적으로 또는 의존적으로 부호화 및 복호화될 수 있는 각각의 타일별 속성 정보를 할당하여 이에 대응하는 헤더 정보를 구성할 수 있다.

나아가, 본 발명의 실시 예에 따른 픽쳐 분할부(110)는 타일들의 위치 및 속성에 따라, 복수의 타일들이 연속적으로 배열되어 형성되는 타일 그룹으로 상기 픽쳐를 분할할 수 있으며, 각 타일 그룹 및 타일 그룹에 포함되는 각 타일들에 대응하는 구성 정보를 부호화하여 복호화 장치(20)로 전달함으로써, 타일 그룹에 대응하는 타일들의 독립적 또는 의존적 처리를 가능하게 한다.

여기서, 독립이란 인트라 예측, 인터 예측, 변환, 양자화, 엔트로피, 및 필터를 포함한 부호화 및 복호화 과정들이 분할된 다른 타일들과는 무관하게 수행될 수 있는 것을 의미할 수 있다. 다만, 각 타일에 대하여 모든 부호화 및 복호화 과정들이 완전히 독립적으로 수행되는 것을 의미하는 것은 아니고, 인터 예측 또는 인루프 필터 시에 선택적으로 다른 타일의 정보를 이용하여 부호화 및 복호화될 수도 있다.

또한, 의존이란 인트라 예측, 인터 예측, 변환, 양자화, 엔트로피, 및 필터를 포함한 부호화 및 복호화 과정에 있어서, 다른 타일의 부호화 또는 복호화 정보를 필요로 하는 경우를 의미할 수 있다. 다만, 각 타일에 대하여 모든 부호화 및 복호화 과정들이 완전히 의존적으로 수행되는 것을 의미하는 것은 아니고, 일부 프로세스의 경우에는 독립적인 부호화 및 복호화가 처리될 수 있다.

그리고, 전술한 바와 같이, 상기 타일 그룹은 상기 타일들이 연속적으로 배열되어 형성되는 상기 픽쳐 내 특정 영역을 나타낼 수 있는 바, 본 발명의 실시 예에 따른 픽쳐 분할부(110)는 부호화 조건에 따른 타일 그룹 구성 및 타일 그룹 정보 생성 처리를 수행할 수 있으며, 타일 그룹 정보는 복호화 장치(20)에서의 환경 및 성능에 따른 보다 효율적인 병렬 복호화 처리를 가능하게 한다.

한편, 본 발명의 실시 예에 따른 부호화 장치(10)는, 움직임 정보를 나타내는 벡터 정보 기반의 인터 예측 프로세스에 있어서, 상기 벡터 정보를 인트라 블록 복사 연산을 통해 획득되는 블록 벡터(BV, Block Vector)로 대체함으로써 인트라 블록 복사 부호화 프로세스를 수행할 수 있다. 이를 위해, 부호화 장치(10)는, 인트라 블록 복사 부호화 적용시의 율-왜곡 효율 향상여부에 따라, 적용여부를 선택적으로 결정할 수 있으며, 인터 예측부(160)에서 처리되는 인터 신택스 정보를 이용하여, 인트라 블록 복사 부호화 여부를 시그널링할 수있다.

특히, 본 발명의 실시 예에 따른 부호화 장치(10)는 인트라 블록 복사 부호화 수행의 결정 및 그 부호화를 처리함에 있어서, 기존의 스크린 컨텐츠 등만이 고려되던 제한적 조건 하에서의 처리가 아닌, 360 VR 영상과 같은 초고해상도 영상 적용시의 처리를 위한 세부 프로세스들을 더 포함함으로써, 부호화 및 복호화 효율을 향상시킬 수 있다.

또한, 전술한 타일 그룹 정보에 기반한 부호화 및 복호화 프로세스도, 본 발명의 실시 예에 따른 인트라 블록 복사 부호화 및 복호화 프로세스를 포함하여 수행될 수 있는 바, 이하에서는 이러한 본 발명의 실시 예에 따른 인트라 블록 복사를 포함하는 부호화 프로세스를 보다 구체적으로 설명하도록 한다.

도 20은 본 발명의 실시 예에 따른 인트라 블록 복사 부호화를 포함하는 부호화 프로세스를 설명하기 위한 흐름도이다.

인트라 블록 복사 부호화는 전술한 바와 같이, 벡터 정보와 차분값을 처리할 수 있는 인터 예측 모드 신택스에 기반하여, 현재 블록의 블록 벡터와 복사할 블록의 블록 벡터(Block Vector, BV)간 블록 벡터 차분(BVD, Block vector difference)를 연산하게 하고, 차분값에 기반한 예측 부호화를 처리하는 프로세스를 포함할 수 있다. 이에 따라, 같은 픽쳐 내 복원된 영역 중에서 부호화 하려는 블록과 가장 유사한 인트라 복사 블록이 예측되어 그 차분값만이 부호화될 수 있다.

특히, 본 발명의 실시 예에 따른 부호화 및 복호화 프로세스는 스크린 콘텐츠와 같은 특수 상황뿐만 아니라, 360 VR 영상과 같은 투영 병합 영상, 또는 병렬 처리 프로세스가 적용되도록 타일 그룹으로 분할된 픽쳐 등과 같이 유사한 인트라 복사 블록이 존재할 확률이 크게 증가되는 초고해상도 환경에서 적용될 수 있도록 하여, 그 부호화 및 복호화 효율을 더욱 향상시킬 수 있다.

이를 위해, 본 발명의 실시 예에 따른 부호화 장치(10)는 예측 모드를 결정함에 있어서, 스킵 모드 부호화, 인터 예측 모드 부호화, 인트라 예측 부호화에 병행하여, 인트라 블록 복사(Intra Block Copy, IBC) 모드 부호화 여부를 추가적으로 결정하고, 결정된 프로세스에 대응하는 인트라 블록 복사 모드 예측 부호화 처리 및 시그널링 프로세스를 수행할 수 있다.

특히, 본 발명의 실시 예에 따른 인트라 블록 복사 모드 부호화는, 현재 블록의 블록 벡터와 복사할 블록의 블록 벡터(Block Vector, BV)간 블록 벡터 차분(BVD, Block vector difference)를 연산하게 하고, 차분값에 기반한 예측 부호화를 처리할 수 있으며, 상기 차분 연산을 위한 인트라 복사 블록의 결정에 따른 블록 벡터 예측자 후보 리스트 구성, 블록 벡터 예측자 정보 결정 및 추적 블록 벡터 예측자 리스트 구성 처리를 수행하고, 부호화된 블록 벡터 정보 및 시그널링 정보를 변환 및 양자화 처리하여 복호화 장치(20)로 전달할 수 있다. 보다 구체적인 인트라 복사 블록 부호화 및 복호화 과정에 대하여는 후술하도록 한다.

여기서, 인트라 블록 복사 모드 결정에 따른 부호화 프로세스는 움직임 벡터 정보간 차분값 획득을 위한 리스트 구성 및 예측자 처리를 수행하는 인터 예측부(160)에서, 상기 움직임 벡터 정보를 블록 벡터(BV) 정보로 치환하여 수행될 수 있나, 이에 제한되는 것은 아니며 별도의 인트라 블록 복사 부호화를 처리하는 인트라 블록 복사 예측부(미도시)가 부호화 장치(10)의 모듈로서 구비될 수도 있다.

보다 구체적으로, 도 20을 참조하면, 먼저 부호화 장치(10)는 블록 단위별 예측 모드를 결정한다(S101).

여기서, 예측 모드는, 스킵 모드(SKIP MODE), 인터(INTER, 화면 간 예측), 인트라(INTRA 화면 내 예측) 부호화를 포함할 수 있으며, 나아가 전술한 IBC(INTRA BLOCK COPY) 모드를 더 포함할 수 있다.

또한, 블록 단위는 부호화 대상 블록에 대응하여 결정될 수 있으며, 부호화 대상 블록은 코딩 유닛(CU)단위이거나, 트리 구조의 복수의 코딩 유닛들로 구성되는 코딩 트리 유닛(CTU)단위이거나, 복수의 코딩 트리 유닛 시퀀스를 포함하는 타일 또는 슬라이스 단위이거나, 복수의 타일 시퀀스를 포함하는 타일 그룹 단위에 대응하는 블록 단위일 수 있다.

그리고, 상기 부호화 블록 단위는 코딩 트리 유닛(CTU)의 분할에 따른 단말 노드에 대응하는 코딩 유닛(CU)일 수 있으며, 이진 분할, 삼진 분할, 균등 분할 또는 비균등 분할 중 적어도 하나의 분할에 따라 분할되어 그 크기 및 형태가 다양하게 결정될 수 있다.

그리고, 예측 모드 결정에 따른 부호화 예측 모드 정보는 복호화 장치(20)로 전달될 수 있는 바, 시그널링 정보는 상기 부호화 예측 모드를 나타내는 사전 결정된 예측 모드 플래그 정보를 포함할 수 있다. 예를 들어, 예측 모드 플래그 정보는, 스킵 모드 플래그, 인터 모드 플래그, 인트라 모드 플래그 또는 IBC 모드 플래그 중 적어도 하나를 포함할 수 있다.

한편, 부호화 장치(10)의 예측 모드 결정에 있어서, 부호화 대상 블록 단위별 예측 모드는 블록 단위의 타입(TYPE)에 따라 제한적으로 결정되도록 처리될 수 있다.

예를 들어, 하나의 픽쳐는 복수의 타일 그룹으로 분할될 수 있으며, 부호화 대상 블록이 속한 타일 그룹(TILE GROUP)의 타입에 따라, I 타입인 경우 인트라 예측 모드를 이용한 부호화만 수행되며, B 인 경우 양방향 인터 예측 모드를 포함하는 부호화가 수행될 수 있고, P 인 경우 단방향 인터 예측 모드를 포함하는 부호화가 수행될 수 있다.

따라서, 본 발명의 실시 예에 따른 IBC 모드의 경우 B 또는 P 타입의 타일 그룹에만 그 적용이 결정될 수 있고, 대상 블록이 I 타입의 타일 그룹에 포함된 경우에는 그 적용이 제한될 수 있다. 이에 따라, 적용되지 않거나 효율적이지 않은 케이스의 IBC 부호화 여부 판단 연산들을 생략할 수 있게 한다.

그리고, B 또는 P 타입의 타일 그룹에 포함된 블록 단위의 경우, 스킵 모드(SKIP) 또는 머지(MERGE) 모드 부호화 프로세스가 결정될 수 있다(S103).

스킵 모드 또는 머지 모드로 부호화된 경우, 현재 블록 단위에 대응하는 스킵 모드 적용을 나타내는 스킵 모드 플래그 정보(CU_SKIP_FLAG)가 생성될 수 있으며, 머지 모드 적용을 나타내는 머지 인덱스(MERGE INDEX)가 생성되어 복호화 장치(20)로 시그널링될 수 있다.

이에 따라, 복호화 장치(20)는 스킵 모드 플래그 정보를 복호화하여 스킵 모드 부호화 여부를 1차적으로 판단하고, 스킵 모드 플래그가 참(TRUE) 인 상태에서 머지 인덱스가 파싱되는 경우, 머지 인덱스에 기초한 공간적/시간적 주변 블록 중 하나를 참조한 머지 모드 부호화 여부를 판단할 수 있다.

한편, 복호화 장치(20)는 스킵 또는 머지 모드가 아닌 경우, 인터 또는 인트라 예측 모드 부호화를 결정할 수 있으며(S105), 이에 대응하는 부호화 예측 모드 정보를 생성 및 시그널링할 수 있다.

여기서, 부호화 예측 모드 정보는 예측 모드 플래그(PRED_MODE_FLAG)에 의해 지시될 수 있으며, 0 또는 1의 값에 따라 화면 간 인터 예측 또는 화면 내 인트라 예측 부호화를 나타낼 수 있다.

또한, 부호화 예측 모드 정보는 코딩 유닛 예측 모드 플래그(CU_PRED_MODE)에 의해 지시될 수도 있으며, 인터 예측의 경우 CU_PRED_MODE는 MODE_INTER와 같은 값으로서 0으로 설정될 수 있고, 인트라 예측인 경우, CU_PRED_MODE는 MODE_INTRA와 같은 값으로서 1로 설정될 수 있다.

그리고, 스킵/머지 모드와, 인터/인트라 예측 모드 부호화가 아닌 경우, 부호화 장치(10)는, 본 발명의 실시 예에 따른 IBC 모드 예측 모드 부호화를 결정할 수 있으며(S107), 이에 대응하는 IBC 부호화 예측 모드 정보를 생성 및 시그널링할 수 있다.

보다 구체적으로, IBC 부호화 예측 모드 정보는 예측 모드 플래그(PRED_MODE_FLAG) 및 IBC 예측 모드 플래그(PRED_MODE_IBC_FLAG)에 의해 지시될 수 있으며, 예측 모드 플래그가 인터 예측이면서, PRED_MODE_IBC_FLAG가 1인 경우, IBC 부호화 예측 모드를 나타낼 수 있다.

예를 들어, 부호화 대상 블록이 속한 타일 그룹의 타입이 I가 아닌 B 또는 P인 상태에서, 예측 모드 플래그가 인터 예측 모드(INTER_MODE)를 나타내고, PRED_MODE_IBC_FLAG가 참(TRUE)인 경우, IBC 모드 부호화가 수행됨을 나타낼 수 있다.

이에 따라, 복호화 장치(20)는 예측 모드 플래그(PRED_MODE_FLAG) 및 IBC 예측 모드 플래그(PRED_MODE_IBC_FLAG)를 파싱하여, 현재 블록의 IBC 예측 모드 수행여부를 판단할 수 있다.

한편, 부호화 대상 블록이 속한 타일 그룹의 타입이 I인 경우에는, IBC 예측 모드 부호화가 제한적으로 적용될 수 있는 바, 예를 들어 사전 결정된 부호화 조건에 따라, 타일 그룹 내 일부 코딩 유닛(CU)에 대하여만 IBC 모드 부호화가 결정될 수 있다. 이 경우, CU의 스킵 모드 플래그(CU_Skip_flag)가 0(False)이면서, IBC 예측 모드 플래그(Pred_mode_ibc_flag)는 1(TURE)로 지시될 수 있다.

도 21은 본 발명의 실시 예에 따른 복호화 장치의 인트라 복사 블록 복호화 모듈을 보다 구체적으로 설명하기 위한 블록도이다.

도 21을 참조하면, 본 발명의 실시 예에 따른 복호화 장치(20)는, 상기 예측 블록 생성부(245)로 인트라 블록 복사 복호화된 예측 블록 정보를 출력하는 인트라 블록 복사 복호화부(2457)를 더 포함할 수 있으며, 인트라 블록 복사 복호화부(2457)는 IBC 모드 결정부(2450), 블록 벡터 예측자 후보 리스트 구성부(2451), 추적 블록 벡터 리스트 구성부(2453) 및 리스트 초기화부(2455)를 포함하거나 연결 구성되어, 본 발명의 실시 예에 따른 인트라 블록 복사 복호화 모듈을 구성할 수 있다.

이러한 인트라 블록 복사 복호화 모듈은, 복호화 장치(20)의 움직임 보상 예측부(240) 내부에 포함되거나, 별도의 외부 모듈로서 포함될 수 있다.

IBC 모드 결정부(2450)는, 부호화 장치(10)로부터 시그널링된 부호화 정보에 기초하여, 현재 블록의 IBC 모드 적용여부를 판단한다.

예를 들어, 전술한 부호화 프로세스에서 설명한 바와 같이, IBC 모드 결정부(2450)는, 부호화 장치(10)로부터 시그널링된 부호화 정보로부터, 예측 모드 플래그(PRED_MODE_FLAG) 및 IBC 예측 모드 플래그(PRED_MODE_IBC_FLAG)를 파싱하여, 현재 블록의 IBC 예측 모드 수행여부를 판단할 수 있다.

또한, IBC 모드 결정부(2450)는, 부호화 대상 블록이 속한 타일 그룹의 타입이 I인 경우에는, 사전 결정된 부호화 조건에 따라, 타일 그룹 내 일부 코딩 유닛(CU)에 대하여만 IBC 모드 부호화를 판단할 수 있다. 이 경우, CU의 스킵 모드 플래그(CU_Skip_flag)가 0(False)이면서, IBC 예측 모드 플래그(Pred_mode_ibc_flag)는 1(TURE)인경우, IBC 모드 결정부(2450)는 현재 블록이 IBC 모드로 부호화되었음을 판단할 수 있다.

그리고, 인트라 블록 복사 복호화부(2457)는, 인트라 블록 복사 복호화에 이용되는 인트라 복사 블록의 블록 벡터(BV)를 유도하기 위한 블록 벡터 예측자(BLOCK VECTOR PREDICTOR, BVP)를 하나 이상의 주변 블록으로부터 획득할 수 있다. 그리고, 인트라 블록 복사 복호화부(2457)는 블록 벡터 예측자(BVP) 및 블록 벡터 차분 값(Block Vector Difference, BVD)을 이용하여, 인트라 복사 대상 블록의 블록 벡터를 유도할 수 있다.

특히, 본 발명의 실시 예에 따른 인트라 블록 복사 복호화부(2457)는, 인터 예측에 이용되는 모션 벡터의 데이터 구조 및 신택스 정보를 이용하여 블록 벡터(BV)를 유도하고, 이에 기초한 현재 블록의 복호화를 처리할 수 있다.

예를 들어, 인트라 블록 복사 복호화부(2457)는 모션 벡터 데이터 구조를 갖는 블록 벡터 정보(mvL[0],[0])를 인터 예측 신택스 정보에 기초하여 획득하고, 상기 블록 벡터 정보를 이용하여 인트라 복사 블록의 코딩 블록(CU) 좌측 상단 샘플의 위치 정보(x, y), 코딩 블록 폭 정보(width), 코딩 블록 높이 정보(height)를 획득할 수 있다. 그리고, 인트라 블록 복사 복호화부(2457)는 획득된 인트라 복사 블록의 샘플 정보를 현재 블록의 샘플 정보로 그대로 복사(COPY)하여 적용함으로써, 인트라 블록 복사 복호화된 예측 블록을 예측 블록 생성부(245)로 전달할 수 있다. 이에 따라, 예측 블록 생성부(245)는 인트라 블록 복사 복호화된 예측 블록을 출력하고, 복원 블록 생성부(247)는 앞서 복원된 잔차 블록에 가산하여, 복원 블록을 획득 및 출력할 수 있다.

한편, 여기서, 본 발명의 실시 예에 따르면, 상기 블록 벡터 예측자(BVP)를 결정하기 위한 하나 이상의 블록 벡터 예측 후보 리스트가 구성될 수 있으며, 이를 위해, 인트라 블록 복사 복호화부(2457)는, 추적 블록 벡터 리스트 구성부(2453)의 추적 블록 벡터 예측자 리스트와, 블록 벡터 예측자 후보 리스트 구성부(2451)에서 구성되는 블록 벡터 예측자 후보 리스트를 이용할 수 있다.

본 발명의 실시 예에서 '구성'이라 함은 컴퓨터 프로세서 및 메모리를 이용하여, 구성요소들을 포함하는 데이터 세트를 생성하는 프로세스를 의미할 수 있다. 구성 프로세스는 요소 데이터의 추출, 구조화, 파라미터 설정 및 리스트 생성 프로세스를 포함하는 다양한 컴퓨팅 프로세스들을 포함할 수 있다.

여기서, 본 발명의 실시 예에 따른 추적 블록 벡터 리스트 구성부(2453)는, 상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록의 블록 벡터 정보에 따라, 추적 블록 벡터 예측자 리스트를 구성할 수 있다.

그리고, 본 발명의 실시 예에 따른 블록 벡터 예측자 후보 리스트 구성부(2451)는, 상기 현재 블록의 인트라 블록 복사를 위해 블록 벡터 정보를 유도하기 위한, 블록 벡터 예측자 후보 리스트를 구성할 수 있다.

이에 따라, 인트라 블록 복사 복호화부(2457)는, 상기 추적 블록 벡터 예측자 리스트 및 상기 블록 벡터 예측자 후보 리스트 중 적어도 하나를 이용하여, 블록 벡터 예측자를 결정할 수 있다. 인트라 블록 복사 복호화부(2457)는 결정된 블록 벡터 예측자(BVP)와, 부호화된 영상 정보로부터 획득되는 블록 벡터 차분값(BVD)에 기초하여 복호화 할 현재 블록에 대응하는 인트라 블록 복사 대상 블록 벡터(BV)를 결정하고, 블록 벡터에 기초하여 색인된 인트라 복사 블록 정보를 이용한 예측 블록 생성 처리를 수행할 수 있다.

이는 부호화 장치(10)에서도 동일한 프로세스가 수행될 수 있다.

이와 같은 구성에 있어서, 특히 추적 블록 벡터 리스트 구성부(2453)는, 시간적(Temporally) 또는 공간적(spatially)으로, 현재 블록 대비 이전에 복호화된 블록의 블록 벡터 예측 후보를 리스트로 구성하고, 추적 갱신하여 저장 및 관리할 수 있다.

이를 위해, 추적 블록 벡터 리스트 구성부(2453)는, 미리 설정된 조건에 따라, 공간적으로 인접한 블록의 움직임 정보 및 시간적으로 이전에 부호화된 블록으로부터 추적되는 인트라 블록 복사에 이용된 블록 벡터 및 블록 벡터 예측자 정보를 획득할 수 있으며, 우선 순위에 따라 선택된 하나 이상의 블록의 블록 벡터 또는 블록 벡터 예측자 정보를, 기 설정된 순서 인덱스에 매핑하여 상기 추적 블록 벡터 예측자 리스트에 순차적으로 저장 및 관리할 수 있다.

그리고, 블록 벡터 예측자 후보 리스트 구성부(2451)는, 현재 블록에 대응하는 블록 벡터 예측 후보 리스트를 별도로 구성하거나, 상기 추적 블록 벡터 리스트 구성부(2453)로부터 구성된 추적 블록 벡터 예측자 리스트를 이용하여 복합 블록 벡터 예측 후보 리스트를 구성할 수 있다.

그리고, 인트라 블록 복사 복호화부(2457)는, 복합 블록 벡터 예측 후보 리스트를 이용하거나, 개별적으로 생성된 하나 이상의 리스트들을 선택적으로 이용하여 현재 블록에 대응하는 블록 벡터 예측자를 결정할 수 있는 바, 이에 따른 예측 후보 리스트의 구성 범위가 효율적으로 증가될 수 있으며, 증가된 범위에 따른 예측 정확도가 높아지므로, 압축 효율을 높이면서 화질 향상을 가져올 수 있다.

도 22는 본 발명의 실시 예에 따른 인트라 블록 복사 처리를 포함하는 복호화 프로세스를 설명하기 위한 흐름도이다.

도 22 설명에 앞서, 본 발명의 실시 예에 따른 인트라 블록 복사 처리를 위해, 부호화 장치(10)는 인트라 블록 복사 시그널링 정보를 부호화하여 복호화 장치(20)로 전달할 수 있다.

이와 같은 인트라 블록 복사 시그널링 정보는, 영상 스트림의 헤더 정보에 삽입될 수 있으며, 헤더 정보는 픽쳐의 분할 구조 및 시퀀스에 따라 각각 결정될 수 있다.

예를 들어, 픽처가 하나 이상의 타일 그룹(TILE GROUP)으로 분할된 경우, 타일 그룹 시퀀스들에 대응하는 부호화 정보는 SPS(Sequence Parameter Set)에 의해 시그널링될 수 있으며, SPS는 IBC 활성화 플래그(Tile_Group_IBC_Enable_Flag)를 포함할 수 있다.

이에 따라, 도 22를 참조한 본 발명의 실시 예에 따르면, SPS의 IBC Enable Flag가 True 인 경우 SPS에 대응하는 타일 그룹 시퀀스 중 적어도 하나의 타일 그룹에 IBC 부호화된 블록이 존재함을 나타낼 수 있으며, 이를 위해, 복호화 장치(20)의 IBC 모드 결정부(2450)는 먼저 SPS로부터 전술한 Tile_Group_IBC_Enable_Flag 를 파싱하여(S201), 현재 타일 그룹 시퀀스가 IBC 부호화된 블록을 포함하는지 여부를 판단할 수 있다(S203).

예를 들어, IBC 모드 결정부(2450)는, 타일 그룹에 대응하여 SPS로부터 개별적으로 지시되는 IBC 활성화 플래그(Tile_Group_IBC_Enable_Flag)를 이용하여, 현재 타일 그룹 내 타일 시퀀스에 IBC 부호화된 블록(예를 들어, 코딩 유닛)이 포함되어 있는지를 판단할 수 있다.

한편, IBC 모드 결정부(2450)는, SPS로부터 IBC 부호화 블록 포함여부가 확인되지 않더라도, IBC 적용 조건이 유도되었는지 판단한다(S205).

IBC 적용 조건의 경우, 픽쳐 헤더 정보에 기초하여 명시적 또는 비명시적 적용 조건에 따라 유도될 수 있으며, 예를 들어 IBC 적용 조건은 전술한 픽쳐 내 타일 그룹의 타입 정보 (I/B/P)와, 타일 그룹의 특성 정보(독립 타일 및 비 독립 타일)의 조합 및 타일 그룹 헤더 정보등에 기초하여 결정될 수 있다.

이에 따라, 타일 그룹 내 IBC 부호화된 블록이 존재하는지 여부가 SPS에 명시되지 않더라도, 타일 그룹 정보의 조합 조건부 연산에 따라 특정 타일 그룹 내 IBC 부호화된 블록의 포함여부가 결정될 수 있다.

예를 들어, 타일 그룹 정보는 PPS에 포함되어 있을 수 있으며, IBC 모드 결정부(2450)는, 각 타일 그룹 정보로부터 IBC Enable Flag 정보를 유도하여, 각 타일 그룹에 대응하는 IBC 부호화 블록 존재 여부를 결정할 수 있다.

예를 들어, 타일 그룹 정보에는 타일 그룹 식별자별 타입 정보 및 특성 정보가 할당될 수 있는 바, 부호화 장치(10)는, 픽쳐 분할부(110)를 통해 각 타일 그룹에 대응하는 타일 그룹 정보를 생성할 수 있으며, 생성된 타일 그룹 정보를 부호화하여(S1007), 복호화 장치(20)로 전달할 수 있다.

여기서, 타일 그룹 정보는 타일 그룹별 헤더 정보가 예시될 수 있으며, 타일 그룹별 헤더 정보는 하이 레벨 신택스의 형태로서, PPS(Picture Parameter Set)등으로 예시되는 부호화된 영상 비트스트림의 픽쳐 헤더 정보에 포함될 수 있다.

보다 구체적으로, 본 발명의 실시 예에 따른 타일 그룹 정보는 각 타일 그룹별 식별 정보를 포함할 수 있으며, 각각의 타일 그룹이 부분적이고 독립적인 병렬 복호화 처리가 효율적으로 가능할 수 있도록 하는 영상 특성 정보를 포함할 수 있다.

예를 들어, 각각의 타일 그룹들은 사용자 시점(PERSPECTIVE)에 대응하거나, 각각 360 도 영상의 프로젝션 방향에 대응되거나, 특정 배치에 따라 구성될 수 있으며, 이에 따라, 타일 그룹 정보는 각 타일 그룹의 특성 정보와, 상기 타일 그룹 내 포함된 타일들에 대응하는 복호화 또는 참조 우선 순위 정보 또는 병렬화 처리 가능여부 정보들을 포함함으로써, 복호화 장치(20)에서의 가변적이고 효율적인 영상 복호화 처리를 가능하게 한다.

또한, 이러한 타일 그룹 정보는 각 픽쳐가 속한 픽쳐 그룹(Group Of Picture, GOP) 단위에 따라 업데이트 및 갱신될 수 있으며, 이를 위해 NAL(Network abstraction layer) 유닛의 주기에 따라 타일 그룹 정보가 구성되거나 초기화될 수 있다. 그리고, 본 발명의 실시 예에 따른 구체적인 타일 그룹 정보로서, 그룹 레벨 정보가 제안될 수 있다. 그룹 레벨 정보는 각 타일 그룹 내 타일들간 부호화 의존성 또는 독립성을 나타낼 수 있으며, 그릅 레벨 정보에 따라 할당된 값에 대응하는 타일 그룹 내 독립 타일의 존재 여부 또는, 모든 타일들이 독립인지 여부, 또는 모두 의존 타일인지 여부 등이 지시될 수 있다.

예를 들어, 360도 가상현실 영상의 경우, 영상 제작자 또는 컨텐츠 제공자의 의도 등에 따라 고화질 복호화가 요구되는 사용자 뷰 포트(VIEW PORT)에 대응하여, 높은 레벨의 타일 그룹이 결정될 수 있으며, 이러한 높은 레벨의 타일 그룹에는 모든 타일들이 독립 타일로 구성됨을 나타내는 제1 그룹 레벨 정보가 할당될 수 있다. 이 경우, 복호화 장치(20)는 성능 및 환경에 따라, 가능한 한 해당 타일 그룹 내부의 각 타일들을 각각 병렬 처리할 수 있게 된다.

따라서, IBC 모드 결정부(2450)는 이와 같은 타일 그룹 헤더 기반의 IBC 적용 조건을 유도하기 위한 연산 처리를 수행할 수 있다.

예를 들어, IBC 모드 결정부(2450)는, 전술한 바와 같이 헤더 정보에 기초하여 각 타일 그룹별 IBC 활성화 여부를 결정하거나, 픽쳐 내 첫 번째 타일 그룹 헤더로부터 첫 번째 타일 그룹의 IBC 활성화 여부를 결정하고, 두 번째부터 마지막 타일 그룹 헤더까지 명시되는 차분 값(+1 또는 -1 )을 합 또는 곱 연산하여, IBC 활성화 여부를 결정할 수도 있다. 또한, IBC 모드 결정부(2450)는 첫 번째 기본 헤더 정보를 저장하고, 상기 기본 헤더 정보에 대응하는 주변 타일 그룹들의 IBC 활성화 여부를 상대적으로 결정할 수 있다.

한편, IBC 모드 결정부(2450)에서 IBC 활성화 여부가 판단되면, IBC 모드 결정부(2450)는 먼저 현재 부호화 블록의 예측 모드가 스킵 모드인지 여부를 판단한다(S207). 만약 스킵 모드인 경우, 움직임 보상 예측부(240)에서는 스킵 모드 복호화 처리가 별도 수행된다(S219).

스킵 모드가 아닌 경우, IBC 모드 결정부(2450)는 화면 간(인터) 예측 모드인지를 판단한다(S209). 만약 인터 예측 모드가 아닌 경우, 인트라 예측부(230)에서는 인트라 예측 모드 복호화 처리가 별도 수행된다(S217).

한편, IBC 모드 결정부(2450)는 화면간 예측 모드인 경우, 현재 코딩 블록에 대응하는 IBC 모드 적용여부를 판단한다(S211). 만약 IBC 모드가 아닌 경우,움직임 보상 예측부(240)에서는 인터 예측 모드 복호화 처리가 별도 수행된다(S213).

이에 따라, IBC 모드 결정부(2450)는 현재 타일 그룹의 IBC 모드 활성화 여부와, 현재 코딩 블록의 IBC 모드 적용을 결정할 수 있으며, 인트라 블록 복사 복호화부(2457)로 IBC 모드 정보를 전달하여, 전술한 블록 벡터 예측자 후보 리스트 및 추적 블록 벡터 예측자 후보 리스트 기반의 인트라 블록 복사 복호화가 처리되도록 한다.

도 23은 본 발명의 실시 예에 따른 타일 그룹 및 블록 벡터 예측자 후보 리스트의 관계를 설명하기 위한 도면이다.

도 23에 도시된 바와 같이, 각 타일 그룹 내 기-복호화된 코딩 블록들은 스킵, 화면 내 예측, 화면 간 예측 또는 IBC 모드로 복호화 될 수 있다.

그리고, 도 23을 참조하면, 본 발명의 일 실시 예에 따른 추적 블록 벡터 리스트 구성부(2453)는, 현재 블록(Cur)의 주변 블록들(NB) 중 블록 벡터 예측자 후보 리스트 구성을 위한 기 복호화된 IBC 블록(D-IBC)의 BVP 후보들을 추적 블록 벡터 예측 리스트로 구성하여 저장 및 관리할 수 있다.

또한, 이러한 추적 블록 벡터 예측 리스트는 타일 그룹별로 저장 및 관리될 수 있는 바, 타일 그룹이 변경되는 경우 추적 블록 벡터 예측 리스트는 초기화될 수 있다. 또한, 추적 블록 벡터 예측 리스트는 타일 그룹 내 복수의 타일들에 포함된 각 블록들에 대응하여 공통적으로 이용될 수 있다. 따라서, 상기 추적 블록 벡터 리스트는 하나의 타일 그룹 내에서 공유될 수 있다.

이와 같은 경우, 특정 타일 그룹 내 IBC 모드로 기-복호화된 블록의 BVP들은 상기 추적 블록 벡터 예측 리스트에 의해 별도로 추적될 수 있는 바, 추적 블록 벡터 예측 리스트에서 선택되는 하나 이상의 BVP들은 블록 벡터 예측자 후보 리스트 구성부(2451)에 의해 구성되는 블록 벡터 예측자 후보 리스트에 삽입될 수 있다.

또한, 추적 블록 벡터 리스트 구성부(2453)는, 선입 선출(FIFO), 후입 선출(LIFO) 등 다양한 순차 관리 프로세스에 의해 추적 블록 벡터 예측 리스트를 생성, 저장 및 관리할 수 있다.

그리고, 추적 블록 벡터 예측 리스트(Decoded IBC_BVP Candidate list)는 사전 설정된 크기의 리스트일 수 있으며, 부호화 장치(10)에서도 동일한 형태의 리스트가 구성되어 인트라 블록 복사 부호화에 이용될 수 있다.

또한, 추적 블록 벡터 리스트 구성부(2453)는, 프루닝(PRUNING) 방식 등에 의해 중복 BVP 를 추적 블록 벡터 예측 리스트에서 제거할 수 있다.

그리고, 추적 블록 벡터 리스트 구성부(2453)는 블록 벡터 예측자 후보 리스트 구성부(2451)에 의해 자주 선택되는 BVP에 대하여는 우선 순위를 높이는 등의 조정 처리를 수행할 수 있다.

한편, 전술한 바와 같이 타일 그룹에는 개별 타입 정보가 할당될 수 있고, 독립 타일 그룹과 비-독립(의존) 타일로 구분될 수 있는 바, 인트라 블록 복사 복호화부(2457)는, 현재 복호화를 수행하는 코딩 블록(Cur)이 독립 타일 그룹 내 위치한 IBC 부호화된 블록일 경우, 그 블록의 블록 벡터 참조 범위는 상기 코딩 블록(Cur)이 위치한 타일 그룹(예를 들어, Tile Group 0)의 경계 이내로 제한할 수 있다.

반면, 인트라 블록 복사 복호화부(2457)는, 현재 복호화를 수행하는 코딩 블록(Cur)이 비-독립(의존) 타일 그룹 내 위치한 IBC 부호화된 블록일 경우, 그 블록의 블록 벡터 참조 범위는 상기 코딩 블록(Cur)이 위치한 타일 그룹(예를 들어, Tile Group 0)과, 그 이웃한 독립 타일 그룹 중 기-복호화된 타일 그룹의 경계 이내로 확장될 수 있다.

이에 따라, 인트라 블록 복사 복호화부(2457)는, 비-독립(의존) 타일 내 위치한 코딩 블록은 주변의 기-복호화 된 독립 타일에서 획득되는 블록 벡터 정보를 이용하여, 현재 복호화 블록의 IBC 모드 복호화를 처리할 수 있다.

예를 들어, 도 23에 도시된 바와 같이, Tile Group 0 내에 현재 IBC 복호화를 수행할 블록(Cur)이 위치하고, Tile group 0이 비-독립 타일 그룹인 경우, Tile Group 1은 타일 그룹의 독립 여부에 따라 현재 블록(Cur)에 대응하는 IBC 블록 벡터의 색인 범위로 설정될 수 있다. 여기서, 개별 색인 범위는 타일 그룹에 대응되는 스캐닝 오더(Z스캔 오더 또는 Vertical Scanning 또는 Horizontal Scanning)에 따라 범위의 넓이, 폭 또는 길이 조건부로 제한될 수 있다.

반면, Tile Group 0 내에 현재 IBC 복호화를 수행할 블록(Cur)이 위치하고, Tile group 0이 독립 타일 그룹인 경우에는, 독립 타일인 Tile Group 0 경계 내로 블록 벡터 색인 범위가 제한될 수 있다.

도 24는 본 발명의 실시 예에 따른 블록 벡터 예측자 후보 리스트와 기 복호화된 추적 블록 벡터 리스트를 설명하기 위한 도면이다.

도 24를 참조하면, 블록 벡터 예측자 후보 리스트 구성부(2451)는, 주변 블록들(A1, A2, B0. B1. B2) 중 적어도 하나의 블록에 대응하는 블록 벡터를 이용하여, 하나 이상의 블록 벡터 예측자 후보 리스트(BVP Candidate list)를 구성할 수 있다.

예를 들어, 부호화 장치(10)는 BV 및 BVP에 대한 정보를 직접 전송하지 않고, 화면 간 예측에 대응하는 모션 벡터 예측자(MVP, MOTION VECTOR PREDICTOR) 정보의 형태로 부호화하여 전송할 수 있으며, 복호화 장치(20)는 IBC 모드 식별 또는 IBC 모드 판단에 따라, 모션 벡터 정보로부터 상기 BVP 를 유도하여, 전술한 블록 벡터 예측자 후보 리스트(BVP Candidate list)를 구성할 수 있다.

이와 같이, 블록 벡터 예측자 후보 리스트(BVP Candidate list)를 구성함에 있어서, 블록 벡터 예측자 후보 리스트 구성부(2451)는 화면 간 예측 모드에 따른 MVP Candidate list 또는 Merge Candidate list 를 구성하는 방식과 같은 방식으로 주변 블록으로부터 블록 벡터 예측자 후보 정보를 유도할 수 있으며, 이에 기초한 블록 벡터 예측자 후보 리스트(BVP Candidate list)를 구성할 수 있다.

또한, 부호화 장치(10)에서는 움직임 정보 처리시 MVP Candidate list 내 MVP 선택 정보에 대한 인덱스 정보만을 부호화기에서 복호화기로 전송할 수 있는 바, 이와 유사하게, 블록 벡터 예측자 후보 리스트 구성부(2451)는 주변 블록의 화면 간 예측 모드로 기-부호화된 블록의 움직임 정보로부터 IBC 모드 복호화를 위한 BVP를 유도하여, 블록 벡터 예측자 후보 리스트를 구성할 수 있다.

예를 들어, 도 24에 도시된 바와 같이, 블록 벡터 예측자 후보 리스트 구성부(2451)는, 현재 블록(Cur Block) 이 IBC 모드를 이용하여, 복호화를 수행함에 있어서, 그 주변 블록 (B2, B1, B0, A1, A2) 중 적어도 하나로부터 벡터 정보를 유도할 수 있으며 유도된 벡터 정보는 BVP 후보 리스트에 삽입될 수 있다. 도 24에 도시된 바와 같이 블록 벡터 정보(BV)는 각각이 N개의 크기를 갖는 블록 벡터 예측자 후보 리스트에 추가될 수 있다.

또한, 전술한 바와 같이, 추적 블록 벡터 리스트 구성부(2453)에서 구성된 추적 블록 벡터 예측 리스트(Decoded IBC BVP candidate list)에서 선택된 블록 벡터가, 블록 벡터 예측자 후보 리스트 구성부(2451)에 의해 블록 벡터 예측자 후보 리스트에 삽입될 수 있다. 예를 들어, 블록 벡터 예측자 후보 리스트 구성부(2451)는, N개의 BVP 개수가 채워지지 않은 경우, 추적 블록 벡터 예측 리스트(Decoded IBC BVP Candidate list)로부터 하나 또는 그 이상의 BVP 후보를 유도 및 산입하여, 현재 블록의 블록 벡터 예측자 후보 리스트를 구성할 수 있다.

도 25 및 도 26은 본 발명의 실시 예에 따른 블록 벡터 예측자 및 추적 블록 벡터에 기초한 인트라 복사 블록 색인 및 복원과정을 나타낸다.

도 25는, 인트라 블록 복사 복호화부(2457)에서 기 복호화된 IBC 블록을 참조하여, 현재 블록의 블록 벡터(BV)를 연산하는 과정을 설명하기 위한 것으로, 유도 블록 벡터(Derived BV)는, 현재 타일 그룹 내 기 복호화된 IBC 모드 블록이 참조한 복원 블록을 현재 블록이 참조할 수 있도록 처리된 블록 벡터 예측자를 나타낸다.

여기서, 상기 기 복호화된 IBC 블록 정보는 추적 블록 벡터 리스트 구성부(2453)에서 저장 및 관리될 수 있다. 그리고, 블록 벡터 예측자 후보 리스트 구성부(2451)는, 현재 블록의 블록 벡터 예측자 후보 리스트의 크기 및 부호화 조건 등에 따라, 전술한 유도 블록 벡터를 연산할 수 있다. 이와 같은 유도 블록 벡터는 현재 블록의 블록 벡터 예측자 후보 리스트에 추가될 수 있다.

보다 구체적으로, 도 25에 도시된 바와 같이, 인트라 블록 복사 복호화부(2457)는 블록 벡터 예측자 후보 리스트로부터 기 복호화된 IBC 블록에 대응하는 블록 벡터 예측자(BVP, Block vector predictor) BVP 0 을 유도할 수 있으며, 상기 IBC 블록의 블록 벡터 정보로부터, 복원 블록까지의 블록 벡터 예측자 BVP 1 을 획득할 수 있다.

이에 따라, 인트라 블록 복사 복호화부(2457)는, 두 개의 BVP 0 및 BVP 1 간 벡터 합을 연산하여, 유도 블록 벡터(Derived BV)를 연산할 수 있으며, 연산된 유도 블록 벡터는 현재 블록의 블록 벡터 예측자 후보 리스트에 추가될 수 있다.

이와 같은 유도 블록 벡터의 처리에 따라, 인트라 블록 복사 복호화부(2457)는 단순히 블록 벡터 기반으로 특정 블록을 참조할 수 있을 뿐만 아니라, 기 복호화된 다른 IBC 블록이 참조한 복원 블록을 참조하여, 현재 블록의 인트라 블록 복사 처리를 수행할 수 있다. 이에 따라, 별도의 복잡한 프로세스 없이도, 유사 블록들의 색인 범위를 크게 향상시킬 수 있으며, 단계적인 참조를 가능하게 하여 부호화 효율을 크게 향상시킬 수 있다.

또한, 이러한 유도 블록 벡터에 의해 참조된 하나의 블록은, 여러 IBC 블록들이 참조하고 있는 대표적 복원 블록일 수 있으며, 이러한 대표 복원 블록의 경우 에는 그 위치 정보 등이 특정 타일 그룹 내에서 공유될 수도 있다.

한편, 도 26은 본 발명의 다른 실시 예에 따른 IBC 블록 참조 프로세스를 설명하기 위한 도면이다.

기존 HEVC 등에서 정의된 IBC 프로세스의 경우, IBC 블록이 참조하는 블록 벡터의 검색 영역은 타일 또는 슬라이스로 제한되며, 이는 부호화 및 복호화 효율을 감소시킨다.

이에 따라, 본 발명의 실시 예에 따른 인트라 블록 복사 복호화부(2457)는, 현재 복호화할 IBC 블록에 대응하는 참조 영역을 복수의 타일들이 포함된 타일 그룹 경계 범위로 확장할 수 있으며, 이에 따라 같은 타일 그룹 내 포함된 타일들의 경우 참조 가능한 기 복호화된 IBC 블록들이 상호 공유될 수 있다.

또한, 전술한 바와 같이, 타일 그룹은 독립 타일 및 비-독립 타일로 구분될 수 있는 바, 독립 타일의 경우에는 그 타일 경계 내에서만 IBC 블록을 참조 가능하도록 제한될수 있으며, 비-독립 타일의 경우에는 동일한 타일 그룹 내 이웃한 다른 독립 타일로부터 IBC 블록을 참조하여 복호화하도록 그 범위가 부분적으로 확장될 수 있다.

또한, 각 타일별 IBC 활성화 여부가 개별적으로 결정될 수도 있는 바, 이 경우 타일별 IBC 활성화 정보는 IBC_enable _flag 와 같이 플래그의 형태로 타일 그룹 헤더에 저장되어 시그널링 될 수 있다.

예를 들어, 도 26에 도시된 바와 같이, 현재 블록(Cur)이 의존(비-독립) 타일(21-3) 에 포함된 경우, 인트라 블록 복사 복호화부(2457)는 참조할 IBC 블록을 현재 타일 뿐만 아니라, 현재 타일 그룹(Tile Group 0, 21) 내 상단의 이웃한 독립 타일(21-1)을 색인하여 결정할 수 있다. 그러나, 다른 타일 그룹(23)의 블록을 참조할 수는 없도록 제한될 수 있는 것이다.

또한, 본 발명의 실시 예에 따른 인트라 블록 복사 복호화부(2457)는, 영상 비트스트림으로부터 식별되는 타일 그룹 정보를 이용하여, 각 픽쳐 내 복수의 타일 그룹 간 IBC 참조 또는 참조 제한 여부를 사전 결정할 수 있다. 예를 들어, 인트라 블록 복사 복호화부(2457)는 타일 그룹 정보를 타일 그룹 헤더로부터 추출할 수 있으며, 타일 그룹 정보는 타일 그룹 식별 정보를 포함할 수 있고, 타일 그룹 식별 정보에 기초하여 픽쳐 내 복수의 타일 그룹간 구성 정보와, 타일 그룹 내 IBC 적용 여부를 나타내는 플래그 정보가 유도될 수 있다.

이에 따라, 인트라 블록 복사 복호화부(2457)는 타일 그룹별 IBC 적용 여부 플래그 정보, 타일 그룹 식별 정보 및 타일 그룹의 부호화 특성 정보(예를 들어, 의존 타일 또는 독립 타일 등)에 기초한 매칭, 매핑 또는 조합 연산을 수행함으로써, 타일 그룹들의 IBC 활성화 여부와, IBC 복호화를 수행하기 위한 참조 가능 영역을 미리 연산할 수 있다.

보다 구체적으로, 인트라 블록 복사 복호화부(2457)는 헤더 정보의 SPS를 이용하여 현재 복호화를 수행하는 픽쳐 내 IBC 복호화 블록의 존재 여부를 결정할 수 있으며, IBC 복호화 블록이 존재하는 경우 타일 그룹 헤더 정보에 따라 타일 그룹 내 IBC 적용된 블록이 존재하는지 여부를 결정할 수 있다. 예를 들어, 타일 그룹 헤더에는 복수의 타일 그룹을 분류하기 위한 타일 그룹 식별 정보(ID)가 포함될 수 있으며, 상기 헤더 정보에는 각 ID에 대응하여 의존 타일 그룹 또는 독립 타일 그룹을 나타내는 플래그가 할당될 수 있다.

이에 따라, 인트라 블록 복사 복호화부(2457)는 픽쳐 내 복수의 타일 그룹들의 독립 또는 비-독립(의존) 특성을 결정할 수 있고, 이에 기초하여 IBC 복호화 처리시의 블록 참조 가능 영역 또는 참조 제한 영역을 결정할 수 있다. 또한, 인트라 블록 복사 복호화부(2457)는 참조 가능한 타일 그룹의 복원 영상 정보를 별도의 복호화 픽쳐 버퍼에 저장하여, 이후 IBC 복호화 처리시 이용할 수 있도록 한다.

한편, 상기 타일 그룹 헤더에는 픽쳐 내 타일 그룹에 대응하는 구성 정보가 포함될 수 있으며, 구성 정보는 타일 그룹 크기 정보, 병렬화 정보, 독립 타일 또는 의존 타일 플래그 정보 및 타일 그룹 식별 정보(예를 들어 Temporal ID 등)를 포함할 수 있다. 또한, 본 발명의 실시 예에 따르면 전술한 IBC 활성화 플래그 정보를 포함하는 부호화 툴 적용여부 정보가 더 포함될 수 있다.

이에 따라, 복호화 장치(20)는 상기 타일 그룹 헤더로부터 유도되는 타일 그룹 식별 정보를 이용하여, 픽쳐를 구성하는 각각의 타일 그룹에 대응하는 선택 적응적 부호화 툴 적용 여부를 결정하거나, 필터 적용 여부를 결정할 수 있다.

예를 들어, 복호화 장치(20)는 타일 그룹 헤더 정보로부터 특정 타일 그룹의 부호화 툴 적용여부 정보(IBC 활성화 플래그 등), 필터 적용여부 정보(ALF 플래그, SAO 플래그 등)를 유도하고, 현재 타일 그룹에서 적용 가능한 부호화 툴(TOOL) 및 필터 리스트를 구성할 수 있다. 이를 위해, 복호화 장치(20)는 타일 그룹 식별 정보를 인덱스로 하는 타일 그룹 정보 리스트를 구성할 수 있으며, 각 픽쳐 내 타일 그룹들의 부호화 툴 적용 여부, 필터 적용 여부 및 독립/의존 타일 여부 등의 정보를 각 리스트에 삽입할 수 있다.

이에 따라, 복호화 장치(20)는 타일 그룹 정보 리스트에서 타일 그룹 식별 정보를 인덱스로 이용하여, 픽쳐 내 타일 그룹들 별 부호화 툴 적용여부, 필터 적용 여부, 독립/의존 타일 여부를 유도할 수 있다. 또한, 복호화 장치(20)는 같은 픽쳐 내 타일 그룹들에 대응하여, 각 타일 그룹별 시점(PERSPECTIVE) 정보 및 NAL UNIT 정보를 저장 및 관리할 수 있다. 각 타일 그룹별 시점(VIEW PORT) 정보 및 NAL UNIT 정보는 상기 리스트에 포함되거나, 부호화 장치(10)에서 별도 생성되어 시그널링 될 수 있다.

예를 들어, IBC 활성화 플래그를 포함하는 예측 부호화 툴 적용 여부 플래그, ALF(Adaptive Loop Filter) 적용여부 플래그, SAO 적용여부 플래그 등이 타일 그룹 식별 정보에 매핑되어 선택 적응적으로 부호화 장치(10) 또는 복호화 장치(20)에서 처리될 수 있다.

그리고, 360 VR 영상과 같이, 입력 영상이 복수의 시점(VIEW PORT) 영상을 포함하는 경우, 각 타일 그룹에 대응하는 VIEW PORT 정보와, 회전(ROTATION) 정보, 확장(EXTENSION) 정보, 스케일링(SCALING) 정보 중 적어도 하나가 각각의 타일 그룹 식별 정보에 매핑될 수 있다. 이에 따라, 복호화 장치(20)는 타일 그룹의 복원 영상을 획득하고, 회전, 확장 또는 스케일링 처리하여 최종 복원 영상으로 출력할 수 있다.

또한, 인트라 블록 복사 복호화부(2457)는 타일 그룹 식별 정보에 매핑된 정보를 이용하여, 현재 블록의 IBC 복호화 처리시 참조할 타일 그룹(현재 타일 그룹 또는 이웃한 독립 타일 그룹 등)을 결정하고, 회전, 확장 또는 스케일링된 최종 복원 영상에서 참조함으로써, 복원 화질 및 복호화 효율을 향상시킬 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (10)

1. 영상 복호화 장치의 영상 복호화 방법에 있어서,
   영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternery tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 단계;
   상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 블록 예측 리스트를 구성하는 단계;
   상기 현재 블록의 인트라 블록 복사 복호화를 위한 블록 벡터 예측 후보 리스트를 구성하는 단계; 및
   상기 추적 블록 예측 리스트 및 상기 블록 벡터 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 픽쳐 내 기 복원된 블록들 중 상기 현재 블록과 유사한 인트라 복사 블록을 복사하여 예측 복호화하는 인트라 블록 복사 복호화를 수행하는 단계를 포함하는
   영상 복호화 방법.
2. 제1항에 있어서,
   부호화 정보에 따라, 상기 현재 블록의 상기 인트라 블록 복사 복호화를 실행하기 위한 인트라 블록 복사 모드를 결정하는 단계를 더 포함하는
   영상 복호화 방법.
3. 제2항에 있어서,
   상기 결정하는 단계는,
   헤더 정보에 의해 지시된 인트라 블록 복사 예측 모드 플래그에 의해 상기 인트라 블록 복사 모드를 결정하는 단계를 포함하는
   영상 복호화 방법.
4. 제3항에 있어서,
   상기 결정하는 단계는,
   상기 현재 블록이 속한 타일 그룹의 타일 그룹 정보에 따라 상기 인트라 블록 복사 모드를 결정하는 단계를 포함하는
   영상 복호화 방법.
5. 제1항에 있어서,
   상기 추적 블록 예측 리스트를 구성하는 단계는,
   공간적 또는 시계열적으로 기 복호화된 블록들 중 우선 순위에 따라 선택된 하나 이상의 블록의 블록 벡터 정보를, 기 설정된 순서 인덱스에 매핑하여 상기 추적 블록 예측 리스트에 순차적으로 저장하는 단계를 포함하는
   영상 복호화 방법.
6. 제5항에 있어서,
   상기 블록 벡터 예측 후보 리스트를 구성하는 단계는,
   상기 추적 블록 예측 리스트로부터 특정 순서 인덱스에 매칭되는 블록 벡터 후보자 정보를 획득하여 상기 블록 벡터 예측 후보 리스트에 추가하는 단계를 포함하는
   영상 복호화 방법.
7. 제1항에 있어서,
   상기 인트라 블록 복사 복호화를 수행하는 단계는,
   상기 현재 블록이 독립 타일 그룹 내 위치한 블록인 경우, 인트라 블록 복사를 위한 블록 벡터의 참조 범위를 상기 독립 타일 그룹 경계 내로 제한하는 단계를 포함하는
   영상 복호화 방법.
8. 제1항에 있어서,
   상기 인트라 블록 복사 복호화를 수행하는 단계는,
   상기 현재 블록이 비-독립 타일 그룹 내 위치한 블록인 경우, 인트라 블록 복사를 위한 블록 벡터의 참조 범위를 상기 현재 블록이 위치한 타일 그룹과, 그 이웃한 독립 타일 그룹 중 기-복호화된 타일 그룹의 경계 이내로 확장시키는 단계를 포함하는
   영상 복호화 방법.
9. 영상 복호화 장치에 있어서,
   영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternery tree) 구조로 단계적으로 분할한 코딩 유닛을 복호화하기 위한 현재 블록을 결정하는 픽처 분할부;
   상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 블록 예측 리스트를 구성하는 추적 블록 벡터 리스트 구성부;
   상기 현재 블록의 인트라 블록 복사 복호화를 위한 블록 벡터 예측 후보 리스트를 구성하는 블록 벡터 예측자 후보 리스트 구성부; 및
   상기 추적 블록 예측 리스트 및 상기 블록 벡터 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 픽쳐 내 기 복원된 블록들 중 상기 현재 블록과 유사한 인트라 복사 블록을 복사하여 예측 복호화하는 인트라 블록 복사 복호화를 수행하는 인트라 블록 복사 복호화부를 포함하는
   영상 복호화 장치.
10. 영상 부호화 방법에 있어서,
    영상의 픽쳐가 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할되도록, 상기 픽쳐 또는 분할 영역을 쿼드 트리(quad tree), 이진 트리(binary tree) 또는 삼진 트리(ternery tree) 구조로 단계적으로 분할한 코딩 유닛을 부호화하기 위한 현재 블록을 결정하는 단계;
    상기 현재 블록에 대응하여 시간적 또는 공간적으로 기 복호화된 주변 블록 정보에 따라, 추적 블록 예측 리스트를 구성하는 단계;
    상기 현재 블록의 인트라 블록 복사 부호화를 위한 블록 벡터 예측 후보 리스트를 구성하는 단계; 및
    상기 추적 블록 예측 리스트 및 상기 블록 벡터 예측 후보 리스트 중 적어도 하나를 이용하여, 상기 픽쳐 내 기 복원된 블록들 중 상기 현재 블록과 유사한 인트라 복사 블록을 복사하여 예측 부호화하는 인트라 블록 복사 부호화를 수행하는 단계를 포함하는
    영상 부호화 방법.
    

Images