KR20200113346A

KR20200113346A - 비디오 신호 처리 방법 및 장치

Info

Publication number: KR20200113346A
Application number: KR1020190033354A
Authority: KR
Inventors: 이배근
Original assignee: 주식회사 엑스리스
Priority date: 2019-03-25
Filing date: 2019-03-25
Publication date: 2020-10-07

Abstract

타일 및 서브 타일을 이용하여 예측 부호화 방법 및 장치를 제공한다.

Description

비디오 신호 처리 방법 및 장치 {Video signal encoding method and apparatus and video decoding method and apparatus}

본 발명은 비디오 신호 처리 방법 및 장치에 관한 것이다.

비디오 영상은 시공간적 중복성 및 시점 간 중복성을 제거하여 압축 부호화되며, 이는 저장 매체에 적합한 형태로 저장되거나 통신 회선을 통해 전송될 수 있다.

본 발명은 비디오 신호의 코딩 효율을 향상시키고자 함에 있다.

상기 과제를 해결하기 위하여 본 발명은 어파인 인터 예측 부호화를 이용한 비디오 부호화 방법 및 장치를 제공한다.

본 발명에 따른 비디오 신호 처리 방법 및 장치는 장치는 어파인 인터 예측 부호화를 통해 비디오 신호 코딩 효율을 향상 시킬 수 있다.

1 기본 코딩 블록 구조

픽쳐는 그림 1과 같이 복수개의 기본 코딩 유닛(Coding Tree Unit, 이하, CTU)으로 나누어진다.

그림 1

다른 CTU와 겹치지 않도록 구성되어 있다. 예를 들어, 전체 시퀀스에서 CTU 사이즈를 128x128로 설정할 수 있고, 픽쳐 단위로 128x128 내지 256x256 중 어느 하나를 선택해서 사용할 수도 있다.

CTU를 계층적으로 분할하여 코딩 블록/코딩 유닛(Coidng Unit, 이하 CU)을 생성할 수 있다. 코딩 유닛 단위로 예측 및 변환을 수행할 수 있으며, 예측 부호화 모드를 결정하는 기본 단위가 된다. 예측 부호화 모드는 예측 영상을 생성하는 복수개의 방법을 나타내며, 화면 내 예측 (intra prediction, 이하, 인트라 예측), 화면 간 예측(inter prediction, 이하, 인터 예측) 또는 복합 예측(combined prediction)등을 예로 들수 있다. 구체적으로 예를 들어, 코딩 유닛 단위로 인트라 예측, 인터 예측 또는 복합 예측 중 적어도 어느 하나의 예측 부호화 모드를 이용하여 예측 블록(prediction block)을 생성할 수 있다. 화면 간 예측 모드에서 참조 픽쳐가 현재 픽쳐를 가리키는 경우에는 이미 복호화된 현재 픽쳐 내 영역에서 예측 블록을 생성할 수 있다. 참조 픽쳐 인덱스와 모션 벡터를 이용하여 예측 블록을 생성하기 때문에 화면 간 예측에 포함할 수 있다. 인트라 예측은 현재 픽쳐의 정보를 이용하여 예측 블록을 생성하는 방법이고, 인터 예측은 이미 복호화된 다른 픽쳐의 정보를 이용하여 예측 블록을 생성하는 방법이며, 복합 예측은 인터 예측과 인트라 예측을 혼합하여 사용하는 방법이다.

CTU는 그림 2와 같이 쿼드 트리 ,바이너리 트리 또는 트리플 트리 형태로 분할 (파티셔닝)될 수 있다. 분할된 블록은 다시 쿼드 트리, 바이너리 트리 또는 트리플 트리 형태로 추가 분할 될수 있다. 현재 블록을 4개의 정방 형태 파티션으로 나누는 방법을 쿼드 트리 파티셔닝이라고 부르고, 현재 블록을 2개의 비정방 형태 파티션으로 나누는 방법을 바이너리 트리 파티셔닝이라고 부르며, 현재 블록을 3개의 비정방 형태 파티션으로 나누는 방법을 바이너리 트리 파티셔닝이라고 정의 한다.

수직 방향으로 바이너리 파티셔닝(그림 2의 SPLIT_BT_VER)을 수직 바이너리 트리 파티셔닝이라고 부르며, 수평 방향으로 바이너리 트리 파티셔닝 (그림 2의 SPLIT_BT_HOR)을 수평 바이너리 트리 파티셔닝이라고 정의 한다.

수직 방향으로 트리플 파티셔닝 (그림 2의 SPLIT_TT_VER)을 수직 트리플 트리 파티셔닝이라고 부르며, 수평 방향으로 트리플 트리 파티셔닝 (그림 2의 SPLIT_TT_HOR)을 수평 트리플 트리 파티셔닝이라고 정의 한다.

추가 분할 횟수를 파티셔닝 뎁스(partitioning depth)라고 부르며, 시퀀스 내지 픽쳐/타일 세트 별로 파티셔닝 뎁스가 최대치를 서로 다르게 설정할 수도 있으며, 파티셔닝 트리 형태(쿼드 트리/바이너리 트리/트리플 트리)에 따라 서로 다른 파티셔닝 뎁스를 가지도록 설정할 수 있으며, 이를 나타내는 신택스를 시그날링할 수도 있다.

그림 2

분할된 코딩 블록은 쿼드 파티셔닝, 바이너리 파니셔닝 또는 멀티 파티셔닝과 같은 방법으로 추가로 분할하여 코딩 유닛을 구성하거나 추가 분할 없이 코딩 유닛을 구성할 수도 있다.

그림 3

그림 3 과 같이 하나의 CTU를 계층적으로 코딩 유닛을 설정할 수 있으며, 바이너리 트리 파티셔닝, 쿼드 트리 파티셔닝/트리플 트리 파티셔닝을 이용하여 코딩 유닛을 중 적어도 어느 하나를 이용하여 코딩 유닛을 분할할 수 있다. 이와 같은 방법을 멀티 트리 파티셔닝(Multi tree partitioning)이라고 정의 한다.

파티셔닝 뎁스가 k인 임의의 코딩 유닛을 분할하여 생성된 코딩 유닛을 하위 코딩 유닛이라하며, 파티셔닝 뎁스는 k+1이 된다. 파티셔닝 뎁스 k+1인 하위 코딩 유닛을 포함하고 있는 파티셔닝 뎁스 k인 코딩 유닛을 상위 코딩 유닛이라 한다.

상위 코딩 유닛의 파티셔닝 타입 및/또는 현재 코딩 유닛의 주변에 있는 코딩 유닛의 파티셔닝 타입에 따라 현재 코딩 유닛의 파티셔닝 타입이 제한될 수도 있다.

여기서, 파티셔닝 타입은 바이너리 트리 파티셔닝, 쿼드 트리 파티셔닝/트리플 트리 파티셔닝 중 어느 파티셔닝을 사용했는지를 알려주는 지시자를 나타낸다.

2 예측 영상 생성 방법

비디오 부호화에서 예측 영상은 복수 개의 방법으로 생성할 수 있으며, 예측 영상을 생성하는 방법을 예측 부호화 모드라고 한다.

예측 부호화 모드는 인트라 예측 부호화 모드, 인터 예측 부호화 모드, 현재 픽쳐 레퍼런스 부호화 모드 또는 결합 부호화 모드 (combined prediction)등으로 구성될 수 있다.

인터 예측 부호화 모드는 이전 픽쳐의 정보를 이용하여 현재 블록의 예측 블록(예측 영상)을 생성하는 예측 부호화 모드라고 하고, 인트라 예측 부호화 모드는 현재 블록과 이웃한 샘플을 이용하여 예측 블록을 생성하는 예측 부호화 모드라 한다. 현재 픽쳐의 이미 복원된 영상을 이용하여 예측 블록을 생성할 수도 있으며, 이를 현재 픽쳐 레퍼런스 모드 또는 인트라 블록 카피 모드라고 정의 한다.

인터 예측 부호화 모드, 인트라 예측 부호화 모드 또는 현재 픽쳐 레퍼런스 부호화 모드 중 적어도 2개 이상의 예측 부호화 모드를 사용하여 예측 블록을 생성할 수도 있으며, 이를 결합 부호화 모드(Combined prediction)이라고 정의 한다.

2.1 인트라 예측 부호화 방법

인트라 예측은 그림 4와 같이 현재 블록 주변에 있는 이미 부호화된 경계 샘플을 인트라 예측을 생성하는데 사용하며, 이를 인트라 레퍼런스 샘플이라고 정의 한다.

인트라 레퍼런스 샘플의 평균값을 예측 블록 전체 샘플의 값을 설정하거나 (DC 모드), 수평 방향 레퍼런스 가중 예측을 수행하여 생성한 수평 방향 예측 샘플과 수직 방향 레퍼런스 샘플을 가중 예측하여 생성한 수직 방향 예측 샘플을 생성한 후, 수평 방향 예측 샘플과 수직 방향 예측 샘플을 가중 예측하여 예측 샘플을 생성하거나(Planar 모드), 방향성 인트라 예측 모드등을 이용하여 인트라 예측을 수행할 수 있다.

그림 4

그림 5의 왼쪽 그림과 같이 33개의 방향을 사용(총 35개 인트라 예측 모드)하여 인트라 예측을 수행할 수 있고, 그림 5의 오른쪽 그림과 같이 65개의 방향을 사용(총 67개 인트라 예측 모드)할 수도 있다. 방향성 인트라 예측을 사용하는 경우에는 인트라 예측 모드의 방향성을 고려하여 인트라 레퍼런스 샘플(레퍼런스 참조 샘플)을 생성하고, 이로 부터 인트라 예측을 수행할 수 있다.

코딩 유닛의 좌측에 있는 인트라 레퍼런스 샘플을 좌측 인트라 레퍼런스 샘플이라하고, 코딩 유닛의 상측에 있는 인트라 레퍼런스 샘플을 상측 인트라 레퍼런스 샘플이라 한다.

방향성 인트라 예측을 수행하는 경우에는 표 1과 같이 인트라 예측 모드에 따라 예측 방향(또는 예측 각도)을 나타내는 파라미터인 인트라 방향 파라미터 (intraPredAng)를 설정할 수 있다. 아래 표 1은 35개 인트라 예측 모드를 사용할 때 2 내지 34의 값을 가지는 방향성 인트라 예측 모드를 기반으로 하는 일예에 불과하다. 방향성 인트라 예측 모드의 예측 방향(또는 예측 각도)은 더 세분화되어 33개보다 많은 개수의 방향성 인트라 예측 모드가 이용될 수 있음은 물론이다.

그림 5

표 1

그림 6

intraPredAng이 음수인 경우 (예를 들어, 인트라 예측 모드 인덱스가 11과 25 사이인 경우)에는 그림 6과 같이 현재 블록에 좌측 인트라 레퍼런스 샘플과 상측 인트라 레퍼런스 샘플을 인트라 예측 모드의 각도에 따라 1D로 구성된 일차원 레퍼런스 샘플 (Ref_1D)로 재구성할 수 있다.

그림 7

인트라 예측 모드 인덱스가 11과 18 사이인 경우에는 그림 7과 같이 현재 블록의 상변 우측에 위치한 인트라 레퍼런스 샘플부터 좌변 하단에 위치한 인트라 레퍼런스 샘플까지 반 시계 방향으로 일차원 레퍼런스 샘플을 생성할 수 있다.

그 외의 모드에서는 상변 인트라 레퍼런스 샘플 또는 좌변 인트라 레퍼런스 샘플만 이용하여 일차원 레퍼런스 샘플을 생성할 수 있다.

그림 8

인트라 예측 모드 인덱스가 19 와 25 사이인 경우에는 그림 8과 같이 현재 블록의 좌변 하단에 위치한 인트라 레퍼런스 샘플부터 상변 우측에 위치한 인트라 레퍼런스 샘플까지 시계 방향으로 일차원 레퍼런스 샘플을 생성할 수 있다.

참조 샘플 결정 인덱스 iIdx와 iIdx에 기초하여 결정되는 적어도 하나의 참조 샘플에 적용되는 가중치 관련 파라미터 ifact를 다음 식 (1) 내지 (2)와 같이 유도할 수 있다. iIdx와 i_fact는 방향성 인트라 예측 모드의 기울기에 따라 가변적으로 결정되며, iIdx에 의해 특정되는 참조 샘플은 정수 펠(integer pel)에 해당할 수 있다.

iIdx = (y+1) * P _ang /32 (1)

i _fact = [ (y+1) * P _ang ] & 31 (2)

예측 샘플 별로 적어도 하나 이상의 일차원 레퍼런스 샘플을 특정하여 예측 영상을 유도 할 수도 있다. 예를 들어, 방향성 인트라 예측 모드의 기울기 값을 고려하여 예측 샘플 생성에 사용할 수 있는 일차원 레퍼런스 샘플의 위치를 특정할 수 있다. 예측 샘플 별로 상이한 방향성 인트라 예측 모드를 가질 수도 있다. 하나의 예측 블록에 대해 복수의 인트라 예측 모드가 이용될 수도 있다. 복수의 인트라 예측 모드는 복수의 비방향성 인트라 예측 모드의 조합으로 표현될 수도 있고, 하나의 비방향성 인트라 예측 모드와 적어도 하나의 방향성 인트라 예측 모드의 조합으로 표현될 수도 있고, 또는 복수의 방향성 인트라 예측 모드의 조합으로 표현될 수도 있다. 하나의 예측 블록 내의 소정의 샘플 그룹 별로 상이한 인트라 예측 모드가 적용될 수 있다. 소정의 샘플 그룹은 적어도 하나의 샘플로 구성될 수 있다. 샘플 그룹의 개수는 현재 예측 블록의 크기/샘플 개수에 따라 가변적으로 결정될 수도 있고, 예측 블록의 크기/샘플 개수와는 독립적으로 부호화기/복호화기에 기-설정된 고정된 개수일 수도 있다.

구체적으로 예를 들어, 참조 샘플 결정 인덱스 iIdx를 이용하여 일차원 레퍼런스 샘플의 위치를 특정할 수 있다.

인트라 예측 모드의 기울기에 따라 하나의 일차원 레퍼런스 샘플만으로는 인트라 예측 모드의 기울기를 표현할 수 없을 때는 식 (3)와 같이 인접한 일차원 레퍼런스 샘플을 보간하여 제 1 예측 영상을 생성할 수 있다. 인트라 예측 모드의 기울기/각도에 따른 angular line이 정수 펠에 위치한 레퍼런스 샘플을 지나가지 않는 경우, 해당 angular line에 좌/우 또는 상/하에 인접한 레퍼런스 샘플을 보간하여 제1 예측 영상을 생성할 수 있다. 이때 이용되는 보간 필터의 필터 계수는 i_fact에 기초하여 결정될 수 있다. 예를 들어, 보간 필터의 필터 계수는 angular line 상에 위치한 소수 펠과 상기 정수 펠에 위치한 레퍼런스 샘플 간의 거리에 기초하여 유도될 수 있다.

P(x,y) = ((32-i _fact )/32)* Ref_1D(x+iIdx+1) + (i _fact /32)* Ref_1D(x+iIdx+2) (3)

하나의 일차원 레퍼런스 샘플만으로 인트라 예측 모드의 기울기를 표현할 수 있을 때 (i_fact 값이 0 일때) 는 다음 식 (4)와 같이 제 1 예측 영상을 생성할 수 있다.

P(x,y) = Ref_1D(x+iIdx+1) (4)

2.2 와이드 앵글 인트라 예측 부호화 방법

방향성 인트라 예측 모드의 예측 각도는 그림 9와 같이 45 내지 -135 사이로 설정될 수 있다.

그림 9

비정방 형태 코딩 유닛에서 인트라 예측 모드를 수행하는 경우 기 정의된 예측 각도 때문에 현재 샘플과 가까운 인트라 레퍼런스 샘플 대신 현재 샘플과 거리가 먼 인트라 레퍼런스 샘플에서 현재 샘플을 예측하는 단점이 발생할 수 있다.

예를 들어, 그림 10의 왼쪽 그림과 같이 코딩 유닛의 너비가 코딩 유닛의 높이보다 큰 코딩 유닛(이하, 수평 방향 코딩 유닛)에서는 거리가 가까운 샘플 T 대신에 거리가 먼 L에서 인트라 예측을 수행할 수 있다. 또 다른 예를 들어, 그림 10의 오른쪽 그림과 같이 코딩 유닛의 높이가 코딩 유닛의 너비보다 큰 코딩 유닛(이하, 수직 방향 코딩 유닛)에서는 거리가 가까운 샘플 L 대신에 거리가 먼 샘플 T로 부터 인트라 예측을 수행할 수 있다.

그림 10

비정방 형태 코딩 유닛에서는 기 정의된 예측 각도보다 더 넓은 예측 각도에서 인트라 예측을 수행할 수도 있으며, 이를 와이드 앵글 인트라 예측 모드라고 정의 한다.

와이드 앵글 인트라 예측 모드는

내지

의 예측 각도를 가질 수 있으며, 기존 인트라 예측 모드에서 사용된 각도를 벗어나는 예측 각도를 와이드 앵글 각도라고 정의 한다.

그림 10의 좌측 그림에서 수평 방향 코딩 유닛에 있는 샘플 A는 와이드 앵글 인트라 예측 모드를 사용하여 인트라 레퍼런스 샘플 T로 부터 예측할 수 있다.

그림 10의 우측 그림에서 수직 방향 코딩 유닛에 있는 샘플 A는 와이드 앵글 인트라 예측 모드를 사용하여 인트라 레퍼런스 샘플 L로 부터 예측할 수 있다.

기존 인트라 예측 모드 N개에 M개의 와이드 앵글 각도를 더해 N+M 개의 인트라 예측 모드가 정의될 수 있다. 구체적으로 예를 들어, 표 2와 같이 67개 인트라 모드에 28개 와이드 앵글 각도를 더해 총 95개 인트라 예측 모드가 정의될 수 있다.

현재 블록이 이용할 수 있는 인트라 예측 모드는 현재 블록의 형태에 따라 결정될 수 있다. 일 예로, 현재 블록의 크기, 종횡비(예컨대, 너비와 높이의 비율), 레퍼런스 라인 인덱스 중 적어도 하나에 기초하여, 95개의 방향성 인트라 예측 모드 중 65개의 방향성 인트라 예측 모드를 선택할 수 있다.

표 2

표 2에 나타난 인트라 예측 모드 각도는, 현재 블록의 형태, 레퍼런스 라인 인덱스 중 적어도 하나에 기초하여 적응적으로 결정될 수 있다. 일 예로, Mode 15의 intraPredAngle은 현재 블록이 비정방형인 경우보다 현재 블록이 정방형인 경우에 더 큰 값을 갖도록 설정될 수 있다. 또는, Mode 75의 intraPredAngle은 인접 레퍼런스 라인이 선택된 경우보다 비인접 레퍼런스 라인이 선택된 경우 더 큰 값을 갖도록 설정될 수 있다.

와이드 앵글 인트라 예측 모드를 사용하는 경우 그림 11과 같이 상측 인트라 레퍼런스 샘플의 길이를 2W+1로 설정하고, 좌측 인트라 레퍼런스 샘플의 길이를 2H+1로 설정할 수 있다.

그림 11

와이드 앵글 인트라 예측을 사용하는 경우에 와이드 앵글 인트라 예측 모드의 인트라 예측 모드를 부호화 하는 경우에는 인트라 예측 모드의 개수가 많아져서 부호화 효율이 낮아 질수 있다. 와이드 앵글 인트라 예측 모드는 와이드 앵글 인트라에서 사용되지 않는 기존 인트라 예측 모드로 대체하여 부호화 할 수 있으며, 대체되는 예측 모드를 와이드 앵글 대체 모드라고 한다. 와이드 앵글 대체 모드는 와이드 앵글 인트라 예측 모드와 반대 방향인 인트라 예측 모드일 수 있다.

구체적으로 예를 들어, 그림 12와 같이 35개 인트라 예측을 사용하는 경우 와이드 앵글 인트라 예측 모드 35는 와이드 앵글 대체 모드인 인트라 예측 모드 2로 부호화할 수 있고, 와이드 앵글 인트라 예측 모드 36은 와이드 앵글 대체 모드인 인트라 예측 모드 3으로 부호화 할 수 있다.

그림 12

코딩 블록의 형태 또는 코딩 블록 높이대 너비의 비에 따라 대체하는 모드와 개수를 다르게 설정할 수 있다. 구체적으로 예를 들어, 표 3은 코딩 블록의 너비와 높이의 비에 따라 사용되는 인트라 예측 모드를 나타낸다.

표 3

인트라 예측 영상을 생성 한 후, 샘플 포지션에 기초하여 각 샘플 별로 인트라 예측 영상을 업데이트 할수 있으며, 이를 샘플 포지션 기반 인트라 가중 예측 방법 (Position dependent prediction combination, PDPC)라고 정의한다.

2.3 멀티 라인 인트라 예측 부호화 방법

다음 그림 13과 같이 복수 개의 인트라 레퍼런스 라인에서 인트라 예측을 수행할 수도 있으며, 이를 멀티 라인 인트라 예측 부호화 방법이라고 한다.

그림 13

인접한 인트라 페러런스 라인과 비인접 인트라 레퍼런스 라인으로 구성된 복수개의 인트라 레퍼런스 라인 중 어느 하나를 선택해서 인트라 예측을 수행할 수 있으며, 이를 복수 라인 인트라 예측 방법이라고 한다. 비인접 인트라 레퍼런스 라인은 제 1 비인접 인트라 레퍼런스 라인(비인접 레퍼런스 라인 인덱스 1), 제 2 비인접 인트라 레퍼런스 라인(비인접 레퍼런스 라인 인덱스 2), 제 3 비인접 인트라 레퍼런스 라인(비인접 레퍼런스 라인 인덱스 3)으로 구성할 수 있다. 비인접 인트라 레퍼런스 라인 중 일부만 사용할 수도 있다. 일 예로, 제 1 비인접 인트라 레퍼런스 라인 과 제 2 비인접 인트라 레퍼런스 라인만 사용할 수도 있고, 제 1비인접 인트라 레퍼런스 라인과 제 3 비인접 인트라 레퍼런스 라인만 사용할 수도 있다.

인트라 예측에 사용된 레퍼런스 라인을 특정하는 신택스인 인트라 레퍼런스 라인 인덱스(intra_luma_ref_idx)를 코딩 유닛 단위로 시그날링 할 수 있다.

구체적으로 인접 인트라 레퍼런스 라인, 제 1 비인접 인트라 레퍼런스 라인, 제 3 비인접 인트라 레퍼런스 라인을 사용하는 경우에 다음 표 4와 같이 intra_luma_ref_idx를 정의할 수도 있다.

표 4

비인접 인트라 레퍼런스 라인을 사용하는 경우에는 비방향성 인트라 예측 모들를 사용하지 않도록 설정할 수도 있다. 즉, 비인접 인트라 레퍼런스 라인을 사용하는 경우에는 DC 모드 내지 플래너 모드 (Planar mode)를 사용하지 않도록 제한 할 수도 있다.

비인접 인트라 레퍼런스 라인에 속한 샘플의 개수는 인접 인트라 페러런스 라인의 샘플 개수보다 크게 설정할 수 있다. 또한 제 i 비인접 인트라 레퍼런스 라인의 샘플 개수보다 제 i+1 비인접 인트라 레퍼런스 라인의 샘플 개수가 더 많게 설정할 수도 있다. 제 i 비인접 인트라 레퍼런스 라인의 상측 샘플 개수와 제 i-1 비인접 인트라 레퍼런스 라인의 상측 샘플 개수 차이는 레퍼런스 샘플 개수 오프셋 offsetX[i]로 나타낼 수 있다.

offsetX[1]은 제 1 비인접 인트라 레퍼런스 라인의 상측 샘플 개수와 인접 인트라 레퍼런스 라인의 상측 샘플 개수의 차분 값을 나타낸다. 제 i 비인접 인트라 레퍼런스 라인의 좌측샘플 개수와 제 i-1 비인접 인트라 레퍼런스 라인의 좌측 샘플 개수 차이는 레퍼런스 샘플 개수 오프셋 offsetY[i]로 나타낼 수 있다. offsetY[1]은 제 1 비인접 인트라 레퍼런스 라인의 좌측 샘플 개수와 인접 인트라 레퍼런스 라인의 좌측 샘플 개수의 차분 값을 나타낸다.

인트라 레퍼런스 라인 인덱스가 i인 비인접 인트라 레퍼런스 라인은 상측 비인접 레퍼런스 라인 refW + offsetX[i] 와 좌측 비인접 레퍼런스 라인 refH+ offsetY[i] 그리고 좌상단 샘플로 구성될 수 있으며, 비인접 인트라 레퍼런스 라인에 속한 샘플의 개수는 refW + refH + offsetX[i] + offsetY[i] +1 로 구성될 수 있다.

refW =2* nTbW (5)

refH =2*　*nTbH (6)

식 (5) 내지 (6)에서 nTbW는 코딩 유닛의 너비를 나타내고, nTbH는 코딩 유닛의 높이를 나타내며, whRatio는 다음 식 (7)과 같이 정의 할 수 있다.

whRatio = log2(nTbW/nTbH) (7)

멀티 라인 인트라 예측 부호화 방법에서는 비인접 인트라 레퍼런스 라인을 사용하는 경우에는 와이드 앵글 인트라 모드는 사용하지 않도록 설정할 수도 있다. 또는 현재 코딩 유닛의 MPM 모드가 와이드 앵글 인트라 모드이면 멀티 라인 인트라 예측 부호화 방법을 사용하지 않도록 설정할 수도 있다.

이 경우 인트라 레퍼런스 라인 인덱스가 i인 비인접 인트라 레퍼런스 라인은 상측 비인접 레퍼런스 라인 W + H + offsetX[i] 와 좌측 비인접 레퍼런스 라인 H + W + offsetY[i] 그리고 좌상단 샘플로 구성될 수 있으며, 비인접 인트라 레퍼런스 라인에 속한 샘플의 개수는 2W + 2H + offsetX[i] + offsetY[i] +1 로 구성될 수 있으며, whRatio 값에 따라서 offsetX[i]와 offsetY[i] 값이 달라질 수 있다.

예를 들어, whRatio 값이 1 보다 큰 경우에는 offsetX[i] 값을 1, offsetY[i] 값을 0 으로 설정할 수 있고, whRatio 값이 1 보다 작은 경우에는 offsetX[i] 값을 0, offsetY[i] 값을 1로 설정할 수도 있다.

2.5 인터 예측 부호화 및 복호화 방법

이전 픽쳐의 정보를 이용하여 현재 픽쳐에 있는 블록의 예측 블록(예측 영상)을 생성하는 방법을 인터 예측 부호화 모드라고 한다.

현재 블록의 이전 픽쳐 내에 있는 특정 블록으로 부터 예측 블록을 생성할 수도 있다.

부호화 단계에서 이전 픽쳐 내 블록 중 복원 에러가 가장 작은 블록을 콜 블록( collocated block)을 중심으로 탐색하여 선택할 수 있으며, 현재 블록의 좌상단 샘플과 선택된 블록의 좌상단 샘플 사이의 x축 차분 및 y축 차분을 모션 벡터(motion vector)라 정의하고, 이를 비트스트림에 전송하여 시그날링할 수 있다. 모션 벡터가 특정하는 참조 픽쳐의 특정 블록에서 인터폴레이션 등을 통해 생성한 블록을 움직임 보상 예측 블록(motion compensated predictor block)이라 한다.

콜 블록은 그림 14와 같이 현재 블록과 좌상단 샘플의 위치 및 크기가 같은 해당 픽쳐의 블록을 나타낸다. 해당 픽쳐는 참조 픽쳐 레퍼런스와 같은 신택스로 부터 특정 될 수 있다.

그림 14

인터 예측 부호화 모드에서는 오브젝트의 움직임을 고려하여 예측 블록을 생성할 수 있다.

예를 들어, 이전 픽쳐에 있는 오브젝트가 현재 픽쳐에서 어느 방향으로 어느 정도 움직였는지 알면 현재 블록에서 움직임을 고려한 블록을 차분하여 예측 블록(예측 영상)을 생성할 수 있으며, 이를 움직임 예측 블록이라고 정의한다.

현재 블록에서 움직임 예측 블록 또는 해당 예측 블록을 차분하여 잔차 블록을 생성할 수 있다.

오브젝트에 움직임이 발생하면, 해당 예측 블록보다 움직임 예측 블록을 사용하면 잔차 블록의 에너지가 작아져서 압축 성능이 좋아질 수 있다.

이와 같이 움직임 예측 블록을 이용하는 방법을 움직임 보상 예측이라고 부르며, 대부분의 인터 예측 부호화에서는 움직임 보상 예측을 사용한다.

이전 픽쳐에 있는 오브젝트가 현재 픽쳐에서 어느 방향으로, 어느 정도 움직였는지를 나타내는 값을 모션 벡터라고 한다. 모션 벡터는 시퀀스 단위 또는 타일 그룹 단위 또는 블록 단위로 서로 다른 화소 정밀도를 갖는 모션벡터를 사용할 수 있다. 예를 들어, 특정 블록에서 모션 벡터의 화소 정밀도는 octor-pel,Quarter-Pel, Half-Pel, Integer pel, 4 Integer pel 중 적어도 어느 하나 일수 있다.

인터 예측 모드는 translaton 모션을 이용한 인터 예측 방법과 affine 모션을 이용한 affine 인터 예측 방법이 선택적으로 사용될 수도 있다.

2.4.1 어파인 인터 예측 부호화 및 복호화 방법

비디오에서 특정 물체(object)의 움직임이 선형적으로 나타나지 않는 경우가 많이 발생한다. 예를 들어, 그림 15와 같이 카메라 줌인 (Zoom-in), 줌 아웃(Zoom-out), 회전(roation), 임의 형태로 변환을 가능하게 하는 affine 변환 등의 affine motion이 사용된 영상에서는 오브젝트의 움직임을 translation 움직임 벡터만 사용하는 경우 물체의 움직임을 효과적으로 표현할 수 없으며, 부호화 성능이 낮아질 수 있다.

그림 15

어파인 모션은 다음 식 (8)과 같이 표현할 수 있다.

(8)

어파인 모션을 총 6개의 파라미터를 사용하여 표현하는 것은 복잡한 움직임이 있는 영상에 효과적이지만, 어파인 모션 파라미터를 부호화하는데 사용하는 비트가 많아서 부호화 효율이 떨어질 수도 있다.

이에, 4개의 파라미터로 어파인 모션을 간략화하여 표현할 수 있으며,, 이를 4 파라미터 어파인 모션 모델이라고 정의한다. 식 (9)는 4개의 파라미터로 어파인 모션을 표현한 것이다.

(9)

4 파라미터 어파인 모션 모델은 현재 블록의 두 컨트롤 포인트에서의 움직임 벡터를 포함할 수 있다. 컨트롤 포인트는 현재 블록의 좌상단 코너, 우상단 코너 및 좌하단 코너를 포함할 수 있다. 일 예로, 4파라미터 어파인 모션 모델은 그림 16의 좌측 그림과 같이 코딩 유닛의 좌상단 샘플 (x0,y0)에서의 모션 벡터 sv0 와 코딩 유닛의 우상단 샘플 (x1,y1)에서의 모션 벡터 sv1에 의해서 결정 될 수 있으며, sv₀와 sv₁을 어파인 시드 벡터라고 정의한다. 이하, 좌상단에 위치한 어파인 시드 벡터 sv₀를 제 1 어파인 시드 벡터라 가정하고, 우상단에 위치한 어파인 시드 벡터 sv₁를 제 2 어파인 시드 벡터라 가정하기로 한다. 4파라미터 어파인 모션 모델에서 제1/2 어파인 시드 벡터 중 하나를 좌하단에 위치한 어파인 시드 벡터로 교체하여 사용하는 것도 가능하다.

그림 16

6 파라미터 어파인 모션 모델은 그림 16의 우측 그림과 같이 4 파라미터 어파인 모션 모델에 잔여 컨트롤 포인트(예컨대, 좌하단에 샘플 (x2,y2))의 모션 벡터 sv₂가 추가된 어파인 모션 모델이다. 이하, 좌상단에 위치한 어파인 시드 벡터 sv₀를 제 1 어파인 시드 벡터라 가정하고, 우상단에 위치한 어파인 시드 벡터 sv₁를 제 2 어파인 시드 벡터라 가정하고, 좌하단에 위치한 어파인 시드 벡터 sv₂를 제3 어파인 시드 벡터라 가정한다.

어파인 모션을 표현하기 위한 파라미터의 개수에 관한 정보가 비트스트림에 부호화될 수 있다. 예컨대, 6 파라미터의 사용 여부를 나타내는 플래그, 4 파라미터의 사용 여부를 나타내는 플래그가 타일 그룹, 타일, 코딩 유닛 또는 CTU 단위로 부호화될 수 있다. 이에 따라, 타일 그룹, 코딩 유닛 또는 CTU 단위로 4 파라미터 어파인 모션 모델 내지 6 파라미터 어파인 모션 모델을 선택적으로 사용할 수도 있다.

어파인 시드 벡터를 이용하여 그림 17과 같이 코딩 유닛의 서브 블록 별로 모션 벡터를 유도할 수 있으며, 이를 어파인 서브 블록 벡터라고 정의한다. _

그림 17

어파인 서브 블록 벡터는 다음 식 (10)과 같이 유도할 수도 있다. 여기서 서브 블록의 기준 샘플 위치(x,y)는 블록의 코너에 위치한 샘플(예컨대, 좌상단 샘플)일 수도 있고, x축 또는 y축 중 적어도 하나가 중앙인 샘플(예컨대, 중앙 샘플)일 수도 있다.

(10)

어파인 서브 블록 벡터를 이용하여 코딩 유닛 단위 내지 코딩 유닛 내 서브 블록 단위로 움직임 보상을 수행할 수 있으며, 이를 어파인 인터 예측 모드라고 정의한다. 식 (10)에서 (x₁-x₀)는 코딩 유닛의 너비와 유닛의 너비 w와 같은 값이거나, w/2 또는 w/4로 설정할 수도 있다.

현재 코딩 유닛의 주변 블록의 어파인 모션 벡터(어파인 서브 블록 벡터 내지 어파인 시드 벡터)를 이용하여 현재 코딩 유닛의 어파인 시드 벡터 및 참조 픽쳐 리스트를 를 유도할 수 있으며, 이를 어파인 머지 모드라고 부른다.

그림 18

어파인 머지 모드는 현재 코딩 유닛의 주변 블록 (예를 들어, 그림 18의 A, B, C, D, E) 중 적어도 어느 하나가 어파인 모드(어파인 인터 예측 모드 내지 어파인 머지 모드)로 부호화 된 경우에 주변 블록의 어파인 모션 벡터로 부터 현재 블록의 어파인 시드 벡터를 유도할 수 있다. 주변 블록 중 어파인 모드로 부호화 된 블록을 어파인 주변 블록이라고 부른다.

주변 블록의 탐색 순서는 A --> B --> C --> D --> E와 같이 기 정의된 순서를 따르며, 탐색 순서 중 가장 첫 번째 오는 어파인 주변 블록에서 현재 블록의 어파인 시드 벡터를 유도할 수 있다 또는 주변 블록 중 어느 하나의 어파인 주변 블록을 선택하고, 선택된 주변 블록의 인덱스를 부호화할 수도 있다.

그림 19

또는 현재 코딩 유닛의 주변 블록 A0, A1, B0, B1, B2 에서 최대 2개의 어파인 시드 벡터를 유도할 수도 있다. 일 예로, 그림 19의 주변 블록 중 {A0,A1 }중어느 하나의 주변 블록에서 어파인 시드 벡터를 유도하고, {B0, B1, B2 } 중에서 또 하나의 어파인 시드 벡터를 유도할 수 있으며, 이를 어파인 머지 모드라고 한다.

그림 20과 같이 어파인 주변 블록의 시드 벡터 nv₀ = (nv_0x, nv_0y) 및 nv₁ = (nv_1x, nv_1y)에서 제 3 시드 벡터 nv₂= (nv_2x, nv_2y) 를 유도할 수 있다.

그림 20

다음 식 (11)과 같이 어파인 주변 블록의 제 3 시드 벡터를 유도할 수 있다.

(11)

다음 식 (12) 내지 (13)과 같이 주변 블록의 제1 어파인 시드 벡터, 제 2 어파인 시드 벡터 및 제 3 시드 벡터를 이용하여 현재 블록의 시드 벡터를 유도할 수 있다.

(12)

(13)

또는, 주변 블록의 제1 어파인 시드 벡터, 제 2 어파인 시드 벡터 및 제 3 시드 벡터 중 2개를 이용하여 현재 블록의 시드 벡터를 유도할 수도 있다.

그림 21

주변 블록의 제1 시드 벡터, 제2 시드 벡터 또는 제3 시드 벡터 중 적어도 하나를 어파인 주변 블록의 서브 블록 중 최하단에 위치한 서브 블록의 움직임 벡터로 치환할 수 있다. 일 예로, 그림 21와 같이 어파인 주변 블록 중 좌하단 서브 블록 또는 하단 중앙 서브 블록 (이하, 제 4 어파인 서브 블록 )과 어파인 주변 블록 중 우하단 서브 블록 또는 하단 중앙 서브 블록(이하, 제 5 어파인 서브 블록)을 기준으로 특정 샘플 위치를 특정할 수 있고, 특정 샘플 위치를 이용하여 어파인 시드 벡터를 유도할 수도 있다. 이 특정 샘플위치를 어파인 기준 샘플의 위치라고 부른다.

제 4 어파인 서브 블록 및 제 5 어파인 서브 블록의 위치는 대상 블록이 현재 블록의 상위 CTU에 존재하는지 여부에 따라 서로 다르게 설정할 수도 있다. 예를 들어, 대상 블록이 현재 블록의 상위 CTU(현재 블록이 속한 CTU의 상측 CTU)에 존재하면, 그림 22와 같이 제 4 어파인 서브 블록은 하단 중앙 서브 블록으로 설정하고, 제 5 어파인 서브 블록은 우하단 서브 블록으로 설정할 수도 있다. 이 때 제 4 어파인 기준 샘플 (제 4 어파인 서브 블록의 기준 샘플)과 제 5 어파인 기준 샘플(제 5 어파인 서브 블록의 기준 샘플)의 차이는 멱급수(2ⁿ)이 되도록 설정할 수 있다.예컨대, nbW/2이 되도록 설정할 수도 있다. 여기서 nbW는 주변 블록의 너비로 설정할 수도 있다.

그림 22

대상 블록이 현재 블록의 좌측 CTU에 존재하면(현재 블록이 속한 CTU의 좌측 CTU), 제 4 어파인 서브 블록은 좌하단 서브 블록으로 설정하고, 제 5 어파인 서브 블록은 우하단 서브 블록으로 설정할 수도 있다.

그림 23

또 다른 예를 들어, 대상 블록이 현재 블록의 상위 CTU(현재 블록이 속한 CTU의 상측 CTU)에 존재하면, 그림 23과 같이 제 4 어파인 서브 블록은 좌하단 서브 블록으로 설정하고, 제 5 어파인 서브 블록은 하단 중앙 서브 블록으로 설정할 수도 있다. 이 때 제 4 어파인 기준 샘플 (제 4 어파인 서브 블록의 기준 샘플)과 제 5 어파인 기준 샘플(제 5 어파인 서브 블록의 기준 샘플)의 차이는 멱급수(2ⁿ)이 되도록 설정할 수 있다.예컨대, nbW/2이 되도록 설정할 수도 있다. 여기서 nbW는 주변 블록의 너비로 설정할 수도 있다.

어파인 기준 샘플 위치는 서브 블록의 좌상단 블록이나 우하단 블록으로 설정하거나, 중앙에 위치한 샘플로 설정할 수도 있다. 또는 제 4 어파인 서브 블록과 제 5 어파인 서브 블록이 서로 다른 어파인 기준 샘플 위치를 갖도록 설정할 수도 있다. 구체적으로 예를 들어, 그림 24의 왼쪽 그림과 같이 제 4 어파인 서브 블록의 어파인 기준 샘플 위치(이하, 제 4 어파인 기준 샘플 위치) 는 서브 블록 내 좌상단 샘플로 설정할 수 있고, 제5 어파인 서브 블록의 어파인 기준 샘플 위치(이하, 제 5 어파인 기준 샘플 위치)는 서브 블록내 우상단 샘플 (x_i, y_i)의 우측 샘플 (x_i+1, y_i)로 설정할 수 있다.

이때, 제5 어파인 서브 블록의 기준 위치는 우상단 샘플의 우측 샘플을 사용하되, 제5 어파인 서브 블록의 움직임 벡터는 우상단 샘플의 움직임 벡터로 설정될 수 있다. 또는, 우상단 샘플의 우측 샘플의 움직임 벡터를 제5 어파인 서브 블록의 움직임 벡터로 설정할 수 있다.

또 다른 예를 들어, 그림 24의 오른쪽 그림과 같이 제 4 어파인 기준 샘플 위치는 제 4 어파인 서브 블록 내 우상단 샘플 (x_i,y_i)의 좌측 샘플 (x_i-1,y_i)로 설정할 수 있다. 이 때, 제 4 어파인 서브 블록의 기준 위치는 좌상단 샘플의 좌측 샘플을 사용하되, 제 4 어파인 서브 블록의 움직임 벡터는 좌상단 샘플의움직임 벡터로 설정될 수 있다. 또는, 좌상단 샘플의 좌측 샘플의 움직임 벡터를 제 4 어파인 서브 블록의 움직임 벡터로 설정할 수 있다.

그림 24

다른 예를 들어, 그림 25의 좌측 그림과 같이 제 4 어파인 기준 샘플 위치는 서브 블록 내 좌하단 샘플로 설정할 수 있고, 제 5 어파인 기준 샘플 위치는 서브 블록내 우하단 샘플 (x_j, y_j)의 우측 샘플 (x_j+1, y_j)로 설정할 수 있다. 이때, 제5 어파인 서브 블록의 기준 위치는 우하단 샘플의 우측 샘플을 사용하되, 제5 어파인 서브 블록의 움직임 벡터는 우하단 샘플의 움직임 벡터로 설정될 수 있다. 또는, 우하단 샘플의 우측 샘플의 움직임 벡터를 제5 어파인 서브 블록의 움직임 벡터로 설정할 수 있다.

또 다른 예를 들어, 그림 25의 좌측 그림과 같이 제 4 어파인 기준 샘플 위치는 서브 블록 내 좌하단 샘플 (x_j, y_j)의 좌측 샘플 (x_j-1, y_j)로 설정할 수 있고, 제 5 어파인 기준 샘플 위치는 서브 블록내 우하단 샘플로 설정할 수 있다.

이때, 제5 어파인 서브 블록의 기준 위치는 좌하단 샘플의 좌측 샘플을 사용하되, 제5 어파인 서브 블록의 움직임 벡터는 좌하단 샘플의 움직임 벡터로 설정될 수 있다. 또는, 좌하단 샘플의 좌측 샘플의 움직임 벡터를 제5 어파인 서브 블록의 움직임 벡터로 설정할 수 있다.

그림 25

다른 예를 들어, 그림 26의 좌측 그림과 같이 제 4 어파인 기준 샘플 위치는 서브 블록 내 좌상단 샘플과 좌하단 샘플 사이에 있는 샘플(이하, 좌 중간 샘플) 로 설정할 수 있고, 제 5 어파인 기준 샘플 위치는 서브 블록내 우상단 샘플과 우하단 샘플 사이에 있는 샘플 (이하, 우 중간 샘플) (x_k, y_k)의 우측 샘플 (xk+1, yk)로 설정할 수 있다. 이때, 제5 어파인 서브 블록의 기준 위치는 우 중간 샘플의 우측 샘플을 사용하되, 제5 어파인 서브 블록의 움직임 벡터는 우 중간 샘플의 움직임 벡터로 설정될 수 있다. 또는, 우 중간 샘플의 우측 샘플의 움직임 벡터를 제5 어파인 서브 블록의 움직임 벡터로 설정할 수 있다.

또 다른 예를 들어, 그림 26의 우측 그림과 같이 제 4 어파인 기준 샘플 위치는 좌 중간 샘플 (x_k, y_k)의 좌측 샘플 (x_k-1, y_k)로 설정할 수 있고, 제 5 어파인 기준 샘플 위치는 우 중간 샘플로 설정할 수 있다.

그림 26

또는 식 (14) 내지 (15)와 같이 어파인 주변 블록의 제 1 시드 벡터와 제 2 시드 벡터로 부터 제 4 어파인 서브 블록/제 5 어파인 서브 블록의 어파인 모션 벡터를 유도할 수 있으며, 이를 각각 제 4 어파인 시드 벡터 nv₃=(nv_3x, nv_3y) 및 제 5 어파인 시드 벡터 nv₄=(nv_4x, nv_4y)라 부른다.

(14)

(15)

제 4 어파인 시드 벡터 및 제 5 어파인 시드 벡터를 이용하여 식 (16) 내지 (17)과 같이 현재 블록의 제 1 어파인 시드 벡터 및 제 2 어파인 시드 벡터를 유도할 수 있다.

(16)

(17)

식 (16)내지 (17)에서 x_n4-x_n3을 Wseed로 설정할 수 있다. Wseed 를 서브 시드 벡터 너비라고 부른다. 서브 시드 벡터 너비 Wseed는 2의 멱급수(2ⁿ)가 되도록 설정할 수 있다.

서브 시드 벡터 너비 Wseed가 2의 멱급수(2ⁿ)가 아닌 경우에는 Wseed가 2의 멱급수가 되도록 특정 오프셋을 더한 후에 식 (16)내지 (17)을 적용할 수도 있고, 나누기 연산 대신에 비트 쉬프트 연산으로 대체할 수도 있다.

LCU boundary에 존재하는 경우에 식 (14) 내지 (15)와 같이 어파인 시드 벡터를 유도하지 않고, 제 4 어파인 기준 샘플 위치에 있는 translation모션 벡터 정보를 제 4 어파인 시드 벡터로 설정하고, 제 5어파인 기준 샘플 위치에 있는 translation 모션 벡터 정보를 제 5 어파인 시드 벡터로 설정할 수도 있다.

LCU boundary에 존재하는지 여부에 관계없이 제 i 어파인 기준 샘플 위치에 있는 translation 모션 벡터 정보를 제 i 어파인 시드 벡터로 설정할 수 있다. 여기서 i의 범위는 1 내지 5로 설정할 수 있다.

또는 제 4 어파인 기준 샘플 위치에 있는 translation 모션 벡터 정보를 제 1 어파인 시드 벡터로 설정할 수도 있고, 제 5 어파인 기준 샘플 위치에 있는 translation 모션 벡터 정보를 제 2 어파인 시드 벡터로 설정할 수도 있다.

그림 27

또는 어파인 기준 샘플이 어파인 주변 블록에 속하지 않는 경우에는 어파인 기준 샘플과 가장 가까운 어파인 주변 블록의 샘플에서 모션 벡터 정보를 유도할 수도 있으며, 이를 변형 어파인 머지 벡터 유도 방법 이라고 부른다.

구체적으로 예를 들어, 그림 27 과 같이 제 5 어파인 기준 샘플 (X_n4, y_n4)이 어파인 주변 블록에 속하지 않는 경우에는 제 5 어파인 기준 샘플의 좌측 경계 샘플 (즉, (X_n4-1, y_n4) )을 포함하는 블록의 translation 모션 벡터 정보를 제 5 어파인 시드 벡터로 설정할 수도 있다.

2.5.2 머지 모드 부호화 방법

현재 코딩 유닛의 모션 정보(모션 벡터, 참조 픽쳐 인덱스 등)를 부호화 하지 않고, 주변 블록의 모션 정보로 부터 유도할 수 있다. 주변 블록 중 어느 하나의 모션 정보를 현재 코딩 유닛의 모션 정보로 설정할 수 있으며, 이를 머지 모드(merge mode)라고 정의 한다.

머지 모드에 사용되는 주변 블록은 그림 28의 머지 후보 인덱스 0 내지 4 와 같이 현재 코딩 유닛과 인접한 블록 (현재 코딩 유닛의 경계와 맞닿은 블록)일 수도 있고, 그림 28의 머지 후보 인덱스 5 내지 26과 같이 인접하지 않은 블록일 수도 있다.

그림 28

머지 후보가 현재 블록과의 거리가 기정의된 임계값을 넘어가면 가용(available)하지 않은 것으로 설정할 수 있다.

예를 들어, 기 정의된 임계값을 CTU의 높이(ctu_height) 또는 ctu_height+N으로 설정할 수도 있으며, 이를 머지 후보 가용 임계값이라고 정의 한다. 즉 머지 후보의 y축 좌표(y_i)와 현재 코딩 유닛의 좌상단 샘플(이하, 현재 코딩 유닛 기준 샘플)의 y축 좌표 차분 (y₀) (즉, y_{i -}y₀)이 머지 후보 가용 임계값 보다 큰 경우에는 머지 후보를 가용(Available)하지 않은 것으로 설정할 수 있다. 여기서 N은 기 정의된 오프셋 값이다. 구체적으로 예를 들어, N을 16으로 설정할 수도 있고, ctu_height으로 설정할 수도 있다.

그림 29

CTU 경계 (CTU boundary)를 넘어가는 머지 후보가 많은 경우에는 비가용 머지 후보가 많이 발생하여, 부호화 효율이 낮아질 수도 있다. 코딩 유닛의 위쪽에 존재하는 머지 후보(이하, 상측 머지 후보) 는 가능한 작게 설정하고, 코딩 유닛의 좌측 및 하단(이하, 좌하단 머지 후보)에 존재하는 머지 후보는 가능한 많게 설정할 수도 있다.

그림 29와 같이 현재 코딩 유닛 기준 샘플의 y축 좌표와 상측 머지 후보의 y축 좌표의 차가 코딩 유닛 높이의 2배가 넘지 않도록 설정할 수도 있다.

그림 29와 현재 코딩 유닛 기준 샘플의 x축 좌표와 좌하단 머지 후보의 x축 좌표의 차가 코딩 유닛 너비의 2배가 넘지 않도록 설정할 수도 있다.

현재 코딩 유닛과 인접한 머지 후보를 인접 머지 후보라고 부르고, 현재 코딩 유닛과 인접하지 않은 머지 후보를 비인접 머지 후보라고 정의 한다.

현재 코딩 유닛의 머지 후보가 인접 머지 후보인지 여부를 나타내는 플래그 isAdjacentMergeflag을 시그날링할 수 있다.

isAdjacentMergeflag값이 1 이면 현재 코딩 유닛의 모션 정보는 인접 머지 후보에서 유도할 수 있음을 나타내고, isAdjacentMergeflag값이 0 이면 현재 코딩 유닛의 모션 정보는 비인접 머지 후보에서 유도할 수 있음을 나타낸다.

2.4.3 인터 복호화 영역 머지 방법

현재 픽쳐에서 이미 인터 예측으로 부호화된 코딩 유닛의 모션 정보(움직임 벡터 및 참조 픽쳐 인덱스)를 기 정의된 크기의 리스트에 저장할 수 있으며, 이를 인터 영역 모션 정보 리스트이라고 정의한다.

인터 영역 모션 정보 리스트에 있는 모션 정보(움직임 벡터 및 참조 픽쳐 인덱스)를 인터 복호화 영역 머지 후보라고 한다.

인터 복호화 영역 머지 후보를 현재 코딩 유닛의 머지 후보로 사용할 수 있으며, 이런 방법을 인터 복호화 영역 머지 방법이라고 정의한다.

타일 그룹이 초기화 되면 인터 영역 모션 정보 리스트는 비어 있으며, 픽쳐의 일부 영역을 부호화/복호화되면 인터 영역 모션 정보 리스트에 추가할 수 있다. 타일 그룹 헤더를 통해 인터 영역 모션 정보 리스트의 초기 인터 복호화 영역 머지 후보를 시그널링할 수도 있다.

코딩 유닛이 인터 예측으로 부호화/복호화 되면 그림 30과 같이 상기 코딩 유닛의 움직임 정보를 인터 영역 모션 정보 리스트에 업데이트 할 수 있다. 인터 영역 모션 정보 리스트에 있는 인터 복호화 영역 머지 후보의 개수가 최대값인 경우에는, 인터 영역 모션 정보 리스트 인덱스가 가장 작은 값 (가장 먼저 인터 영역 모션 정보 리스트에 있는 인터 복호화 영역 머지 후보)을 제거하고, 가장 최근에 부호화/복호화된 인터 영역의 모션 벡터를 인터 복호화 영역 머지 후보로 추가할 수 있다.

그림 30

디코딩 된 코딩 유닛의 모션 벡터 mvCand를 인터 영역 모션 정보 리스트 HmvpCandList에 업데이트 할수 있다. 이 때 디코딩 된 코딩 유닛의 모션 정보가 인터 영역 모션 정보 리스트에 있는 모션 정보 중 어느 하나와 같은 경우(모션 벡터와 레퍼런스 인덱스가 모두 같은 경우)에는 인터 영역 모션 정보 리스트를 업데이트 하지 않거나, 그림 32와 같이 디코딩 된 코딩 유닛의 모션 벡터 mvCand을 인터 영역 모션 정보 리스트의 제일 마지막에 저장할 수 있다. 이 때 mvCand과 같은 모션 정보를 가지고 있는 HmvpCandList의 인덱스를 hIdx이면, 그림 32와 같이 hIdx 보다 큰 모든 i에 대해 HMVPCandList [i]를 HVMPCandList[i-1]로 설정할 수도 있다. 현재 디코딩된 코딩 유닛에서 서브 블록 머지 후보 (sub-block merge candidates)가 사용된 경우에는 코딩 유닛 내 대표 서브 블록의 모션 정보를 인터 영역 모션 정보 리스트에 저장할 수도 있다.

일 예로, 코딩 유닛 내 대표 서블 블록은 그림 31과 같이 코딩 유닛 내 좌상단 서브 블록으로 설정하거나, 코딩 유닛 내 중간 서브 블록으로 설정할 수도 있다.

그림 31

그림 32

인터 영역 모션 정보 리스트에 총 NumHmvp 개의 모션 정보(움직임 벡터 및 참조 픽쳐 인덱스) 를 저장할 수 있으며, NumHmvp을 인터 영역 모션 정보 리스트 크기라고 정의한다.

인터 영역 모션 정보 리스트 크기는 기 정의된 값을 사용할 수 있다. 타일 그룹 헤더에 인터 영역 모션 정보 리스트 크기를 시그날링할 수도 있다. 일 예로, 인터 영역 모션 정보 리스트 크기는 16으로 정의할 수도 있고, 6으로 정의하거나 5로 정의할 수도 있다.

인터 예측이면서 어파인 모션 벡터를 갖는 코딩 유닛에서는 인터 영역 모션 정보 리스트를 갖지 않도록 한정할 수도 있다.

또는 인터 예측이면서 어파인 모션 벡터를 갖는 경우에는 어파인 서브 블록 벡터를 인터 영역 모션 정보 리스트에 추가할 수도 있다. 이 때 서브 블록의 위치는 좌상단 또는 우상단, 또는 중앙 서브 블록 등으로 설정할 수도 있다.

또는, 각 컨트롤 포인트의 모션 벡터 평균값을 인터 영역 머지 후보 리스트에 추가할 수도 있다.

특정 코딩 유닛을 부호화/복호화를 수행해서 유도한 움직임 벡터 MV0가 인터 복호화 영역 머지 후보 중 어느 하나와 동일한 경우에는 MV0를 인터 영역 모션 정보 리스트에 추가하지 않을 수 있다. 또는, MV0와 동일한 움직임 벡터를 갖는 기존의 인터 복호화 영역 머지 후보를 삭제하고, MV0를 새롭게 복호화 영역 머지 후보에 포함시켜, MV0에 할당되는 인덱스를 갱신할 수 있다.

인터 영역 모션 정보 리스트 이외에 인터 영역 모션 정보 롱텀 리스트 HmvpLTList를 구성할 수도 있다. 인터 영역 모션 정보 롱텀 리스트 크기는 인터 영역 모션 정보 리스트 크기와 같게 설정하거나, 상이한 값으로 설정할 수 있다.

인터 영역 모션 정보 롱텀 리스트는 타일 그룹 시작 위치에 처음 추가한 인터 복호화 영역 머지 후보로 구성될 수 있다. 인터 영역 모션 정보 롱텀 리스트가 모두 가용한 값으로 구성된 이후에 인터 영역 모션 정보 리스트를 구성하거나, 인터 영역 모션 정보 리스트 내 모션 정보를 인터 영역 모션 정보 롱텀 리스트의 모션 정보로 설정할 수도 있다.

이 때 한 번 구성된 인터 영역 모션 정보 롱텀 리스트는 업데이트를 수행하지 않거나, 타일 그룹 중 복호화된 영역이 전체 타일 그룹의 반 이상일 때 다시 업데이트 하거나, m개 CTU 라인마다 업데이트 하도록 설정할 수도 있다. 인터 영역 모션 정보 리스트는 인터 영역으로 복호화될 때마다 업데이트 하거나, CTU 라인 단위로 업데이트 하도록 설정할 수 있다.

인터 영역 모션 정보 리스트에 모션 정보와 코딩 유닛의 파티션 정보 또는 형태를 저장할 수도 있다. 현재 코딩 유닛과 파티션 정보 및 형태가 유사한 인터 영역 머지 후보만 사용하여 인터 복호화 영역 머지 방법을 수행할 수도 있다.

또는, 블록 형태에 따라 개별적으로 인터 영역 머지 후보 리스트을 구성할 수도 있다. 이 경우, 현재 블록의 형태에 따라, 복수의 인터 영역 머지 후보 리스트 중 하나를 선택하여 사용할 수 있다.

그림 33

그림 33과 같이 인터 영역 어파인 모션 정보 리스트와 인터 영역 모션 정보 리스트로 구성할 수도 있다. 복호화된 코딩 유닛이 어파인 인터 또는 어파인 머지 모드인 경우에는 인터 영역 어파인 모션 정보 리스트 HmvpAfCandList에 제1 어파인 시드 벡터와 제 2 어파인 시드 벡터를 저장할 수도 있다. 인터 영역 어파인 머지 후보 리스트에 있는 모션 정보를 인터 복호화 영역 어파인 머지 후보라고 한다.

현재 코딩 유닛에서 사용 가능한 머지 후보는 다음과 같이 구성할 수 있으며, 구성 순서와 같은 탐색 순서를 가질 수 있다.

1. 공간적 머지 후보 (코딩 블록 인접 머지 후보 및 코딩 블록 비인접 머지 후보)

2. 시간적 머지 후보 (이전 참조 픽쳐에서 유도한 머지 후보)

3. 인터 복호화 영역 머지 후보

4. 인터 복호화 영역 어파인 머지 후보

5. Zero motion 머지 후보

그림 34

디코딩된 모션 벡터의 해상도에 따라 서로 다른 인터 영역 모션 정보 리스트에 저장할 수 있다. 예를 들어, 그림 34와 같이 디코딩된 모션 벡터 mvCand가 1/4 pel 해상도를 갖는 경우에는 인터 영역 쿼터펠 모션 정보 리스트 HmvpQPCandList에 mvCand를 저장할 수 있고, 디코딩된 모션 벡터 mvCand가 integer pel 해상도를 갖는 경우에는 인터 영역 하프펠 모션 정보 리스트 HmvpIPCandList에 mvCand를 저장할 수 있으며, 디코딩된 모션 벡터 mvCand가 4 integer pel 해상도를 갖는 경우에는 인터 영역 인티저펠 모션 정보 리스트 Hmvp4IPCandList에 mvCand를 저장할 수 있다.

그림 35

그림 35와 같이 코딩 유닛이 머지 오프셋 벡터 부호화 방법을 사용한 경우에는 이 코딩 유닛의 모션 정보 mvCand를 HmvpCandList에 저장하지 않고 인터 영역 머지 오프셋 모션 정보 리스트 HmvpMMVDCandList에 저장할 수 있다.

먼저 머지 후보 리스트는 mergeCandList는 공간적 머지 후보 및 시간적 머지 후보로 구성할 수 있다. 가용한 공간적 머지 후보 및 시간적 머지 후보의 개수를 가용 머지 후보 개수 (NumMergeCand)라고 정의한다. 가용 머지 후보 개수가 머지 최대 허용 개수보다 작은 경우에는 인터 복호화 영역 머지 후보를 머지 후보 리스트 mergeCandList에 추가할 수 있다.

인터 영역 모션 정보 리스트 HmvpCandList를 머지 후보 리스트 mergeCandList에 추가할 때는 인터 영역 모션 정보 리스트 내 인터 복호화 영역 머지 후보의 모션 정보가 기존 머지 리스트 mergeCandList의 모션 정보와 동일한지 여부를 체크할 수 있다. 모션 정보가 동일한 경우에는 머지 리스트 mergeCandList에 추가하지 않고, 모션 정보가 동일하지 않은 경우에는 머지 리스트 mergeCandList에 인터 복호화 영역 머지 후보를 추가할 수 있다.

인터 복호화 영역 머지 후보 중 인덱스가 큰 것 부터 머지 후보 리스트 mergeCandList에 추가하거나 인덱스가 작은 것 부터 머지 후보 리스트 mergeCandList에 추가할 수 있다.

서브 블록 단위 머지 후보는 다음 프로세스와 같이 유도할 수 있다.

1. 현재 블록의 주변 머지 후보 블록의 모션 벡터로 부터 초기 쉬프트 벡터 (shVector)를 유도할 수 있다.

2. 식 (18)과 같이 코딩 유닛 내 서브 블록의 좌상단 샘플 (xSb,ySb)에 초기 쉬프트 벡터를 가산하여 좌상단 샘플의 위치가 (xColSb, yColSb)인 쉬프트 서브 블록을 유도할 수 있다.

(xColSb, yColSb) = (xSb + shVector[0]>> 4,ySb+shVector[1]>> 4) (18)

3. (xColSb, yColSb)를 포함하고 있는 서브 블록의 센터 포지션과 대응되는 collocated block의 모션 벡터를 좌상단 샘플 (xSb,ySb)를 포함하고 있는 서브 블록의 모션 벡터로 유도할 수 있다.

그림 36

또는 현재 디코딩된 코딩 유닛에서 서브 블록 머지 후보 (sub-block merge candidates)가 사용된 경우에는 코딩 유닛 내 복수 개의 대표 서브 블록의 모션 정보를 인터 영역 서브 블록 모션 정보 리스트 HSubMVPCandList에 저장할 수도 있다. 예를 들어, 복수개의 대표 서브 블록은 그림 36과 같이 코딩 유닛의 좌상단 서브 블록(이하,제 1 대표 서브 블록), 우상단 서브 블록(이하,제 2 대표 서브 블록), 그리고 좌하단 서브 블록(이하,제 3 대표 서브 블록)으로 구성할 수도 있다. 인터 영역 서브 블록 모션 정보 리스트의 개수는 기 정의된 값으로 설정할 수 있으며, 통상 인터 영역 모션 정보 리스트의 개수보다 적게 설정할 수 있다. 제 1 대표 서브 블록의 모션 벡터를 제 1 대표 서브 블록 모션 벡터라 하고, 제 2 대표 서브 블록의 모션 벡터를 제 2 대표 서브 블록 모션 벡터라 하며, 제 3 대표 서브 블록의 모션 벡터를 제 3 대표 서브 블록 모션 벡터라 한다.

인터 영역 서브 블록 모션 정보 리스트 HSubMVPList에 있는 서브 블록 모션 벡터를 어파인 시드 벡터로 사용할 수도 있다. 구체적으로 예를 들어, 인터 영역 서브 블록 모션 정보 리스트 HSubMVPList에 있는 서브 블록 모션 후보의 제 1 대표 서브 블록 모션 벡터를 제 1 어파인 시드 벡터, 제 2 대표 서브 블록 모션 벡터를 제 2 어파인 시드 벡터, 그리고 제 3 대표 서브 블록 모션 벡터를 제 3 어파인 시드 벡터로 설정할 수도 있다. 또 다른 예를 들어, 인터 영역 서브 블록 모션 정보 리스트 HSubMVPList에 있는 제 1 대표 서브 블록 모션 벡터를 제 4 어파인 시드 벡터, 제 2 대표 서브 블록 모션 벡터는 제 5 어파인 시드 벡터로 사용할 수도 있다.

인터 영역 모션 정보 리스트 HMvpCandList에 있는 모션 벡터를 어파인 시드 벡터 중 어느 하나로 사용할 수도 있다. 예를 들어, HMvpCandList에 있는 모션 벡터를 제 1 어파인 시드 벡터 내지 제 5 어파인 시드 벡터 중 어느 하나의 값으로 사용할 수 있다.

인터 복호화 영역 모션 후보를 현재 코딩 유닛의 움직임 정보 예측자 (Motion vector predictor, MVP) 후보로 사용할 수 있으며, 이런 방법을 인터 복호화 영역 움직임 정보 예측 방법이라고 정의한다.

인터 복호화 영역 어파인 모션 후보를 현재 코딩 유닛의 움직임 정보 예측자 (Motion vector predictor, MVP) 후보로 사용할 수 있으며, 이런 방법을 인터 복호화 영역 움직임 정보 어파인 예측 방법이라고 정의한다.

현재 코딩 유닛에서 사용 가능한 움직임 정보 예측자 후보는 다음과 같이 구성할 수 있으며, 구성 순서와 같은 탐색 순서를 가질 수 있다.

1. 공간적 움직임 예측자 후보 (코딩 블록 인접 머지 후보 및 코딩 블록 비인접 머지 후보와 동일)

2. 시간적 머지 후보 (이전 참조 픽쳐에서 유도한 움직임 예측자 후보)

3. 인터 복호화 영역 머지 후보

4. 인터 복호화 영역 어파인 머지 후보

5. Zero motion 움직임 예측자 후보

2.4.4 머지 병렬 부호화 방법

코딩 유닛 단위로 머지 후보를 유도할 수 있으나, 그림 37과 같이 병렬 부호화/복호화를 위해 코딩 유닛 단위 보다 큰 기준 영역(이하, 병렬 머지 영역) 안에 있는 머지 후보는 비가용 머지 후보(unavaialble merge candidates)로 설정할 수도 있다. 구체적으로 예를 들어, 그림 37의 왼쪽 그림에서 코딩 유닛 CU5의 공간적 머지 후보는 병렬 머지 영역 내에 있는 공간적 머지 후보 x3 와 x4를 비가용 머지 후보로 설정하고, 병렬 머지 영역 밖에 있는 공간적 머지 후보 x0 내지 x3는 가용 머지 후보로 설정할 수 있다.

또 다른 예를 들어, 그림 37의 오른쪽 그림에서 코딩 유닛 CU9의 공간적 머지 후보는 병렬 머지 영역 내에 있는 공간적 머지 후보 x6, x7, x8을 비가용 머지 후보로 설정하고, 병렬 머지 영역 밖에 있는 공간적 머지 후보 x5 와 x9는 가용 머지 후보로 설정할 수 있다.

그림 37

병렬 머지 영역은 정방 형태일 수도 있고, 비정방 형태일 수도 있다. 병렬 머지영역의 형태를 나타내는 정보가 비트스트림을 통해 시그날링될 수 있다. 비 정방 형태일 경우, 병렬 머지 영역의 샘플의 개수, 병렬 머지 영역의 너비/높이를 나타내는 정보 중 적어도 하나가 시그날링될 수도 있다.

병렬 머지 영역의 크기는 비트스트림을 통해 시그널링되는 정보, 픽처 해상도, 슬라이스 또는 타일 크기 중 적어도 하나를 기초로 결정될 수 있다.

병렬 머지 영역에 존재하는 복수의 CU의 부호화/복호화가 완료되면, 부호화/복호화가 완료된 CU의 움직임 정보를 인터 영역 머지 리스트에 추가할 수 있다.

다만, 병렬 머지 영역에 존재하는 복수의 CU는 동시에(병렬로) 예측을 수행하기 때문에, 부호화/복호화의 선후 관계를 결정하기 어려운 문제점이 있다. 이에 따라, 병렬 머지 영역에 존재하는 CU들의 움직임 정보를 기 정의된 순서로 인터 영역 머지 리스트 HmvpcandList에 추가할 수 있다. 여기서, 기 정의된 순서는 현재 CTU 또는 MER 내 CU의 스캔 순서, 각 CU의 움직임 정보 또는 동일한 움직임 정보를 갖는 CU의 개수 중 적어도 하나를 기초로 결정될 수 있다. 일 예로, 현재 CTU 또는 MER 내 래스터 스캔, 수직 스캔, 수평 스캔 또는 지그재그 스캔 순서에 따라, 각 CU의 움직임 정보를 인터 영역 머지 리스트 HmvpcandList에 추가할 수 있다. 또는, 단방향 예측인 CU의 움직임 정보를 양방향 예측인 CU의 움직임 정보 보다 먼저(또는 나중에) 인터 영역 머지 리스트에 추가할 수 있다. 또는, 현재 CTU 또는 MER 내 사용 빈도 순(또는 이의 역순)으로 움직임 정보를 인터 영역 머지 리스트에 추가할 수 있다.

인터 복호화 영역 머지 후보가 병렬 머지 영역 내에 있고, 현재 코딩 유닛의 머지 후보로 사용되는 경우에는, 병렬 머지 영역에서 병렬 부호화 및 복호화를 수행할 수 없다. 병렬 머지 영역이 사용되는 경우에, 인터 복호화 영역 머지 후보를 사용하지 않도록 제한할 수도 있다.

인터 영역 머지 리스트를 MER 단위 또는 CTU 단위로 구성할 수도 있다. 예를 들어, 그림 38과 같이 CTU 또는 MER 영역 단위로 인터 영역 MER 머지 리스트 HmvpMERCandList를 구성할 수 있다. 인터 영역 MER 머지 리스트에 추가된 인터 영역 머지 후보는 인터 영역 머지 리스트(HmvpCandList)에 업데이트 하지 않을 수 있다. 현재 CTU 또는 MER 영역내 모션 정보 mvCand는 HmvpMERCandList에 추가될 수 있다. 인터 영역 MER 머지 리스트의 크기는 인터 영역 머지 리스트의 크기와 같도록 설정할 수도 있다. 또는, 현재 CTU 또는 MER의 크기에 따라, 인터 영역 MER 머지 리스트의 크기를 결정할 수도 있다.

그림 38

현재 CTU 또는 MER 영역내 CU는 현재 CTU 또는 MER 영역에 대한 인터 영역 MER 머지 리스트에 포함된 인터 영역 MER 머지 후보를 이용하지 못하도록 제한할 수 있다. 이를 통해, 현재 CU와 동일한 CTU 또는 MER 영역에 속하는 CU의 움직임 정보를 머지 후보로 이용하는 것이 제한될 수 있다. HmvpcandList만 사용하고, HmvpMERCandList는 사용하지 않는 경우에, 현재 코딩 유닛의 머지 후보는 현재 CTU 또는 MER 내의 모션 정보를 이용하지 않기 때문에, 병렬 머지 영역에서 병렬 부호화 및 복호화를 수행할 수 있다.

CTU 또는 MER에 포함된 모든 CU의 부호화/복호화가 끝나면 인터 영역 머지 리스트와 인터 영역 MER 머지 리스트를 병합할 수 있다. 구체적으로, 그림 39와 같이 HmvpcandList는 HmvpMerCandList에와 이전 HmvpcandList에서 업데이트 할 수 있다. 인터 영역 MER 머지 리스트가 포함하는 인터 영역 MER 머지 후보들은 인터 영역 MER 머지 리스트에 삽입된 순서에 따라, 인터 영역 머지 리스트에 추가될 수 있다.

다른 예로, 인터 영역 MER 머지 리스트 HmvpMerCandList에 포함된 인터 영역 MER 머지 후보는 기 정의된 순서로 인터 영역 머지 리스트 HmvpcandList에 추가될 수 있다. 여기서, 기 정의된 순서는 현재 CTU 또는 MER 내 CU의 스캔 순서, 각 CU의 움직임 정보 또는 동일한 움직임 정보를 갖는 CU의 개수 중 적어도 하나를 기초로 결정될 수 있다. 일 예로, 현재 CTU 또는 MER 내 래스터 스캔 순서에 따라, 인터 영역 MER 머지 후보들을 인터 영역 머지 리스트 HmvpcandList에 추가할 수 있다. 또는, 단방향 예측인 인터 영역 MER 머지 후보들을 양방향 예측인 인터 영역 MER 머지 후보들 보다 먼저(또는 나중에) 인터 영역 머지 리스트에 추가할 수 있다. 또는, 현재 CTU 또는 MER 내 사용 빈도 순(또는 이의 역순)으로 인터 영역 MER 머지 후보들을 인터 영역 머지 리스트에 추가할 수 있다.

그림 39

인터 영역 MER 머지 리스트 내 인터 영역 MER 머지 후보는 HmvpMERCand를 HmvpCandList내 인터 복호화 영역 머지 후보로 추가할 수 있다. 이 때, HmvpMERCand이 HmvpCand 중 어느 하나와 같은 경우에 HmvpCandList에 추가하지 않도록 설정할 수도 있다. 또는, HmvpMERCand가 기 정의된 값 이상의 인덱스를 갖는 HmvpCand와 동일한 경우에 HmvpMERCand가 HmvpCandList에 추가되지 않을 수 있다.

2.7 대칭 MVD (Symmetric MVD) 부호화방법

그림 40

그림 40과 같이 L0에서 사용한 모션 벡터의 MVD (Motion vector difference) 의 symmetric MVD(벡터의 크기는 같고, 방향이 반대인 MVD)를 L1의 MVD로 설정할 수도 있으며, 이를 symmetric MVD 부호화 방법이라 한다. Symmetric MVD 부호화를 사용하는 경우 다음 식 (19) 내지 (20)과 같이 MV를 유도할 수 있다.

(mvx0, mvy0) (mvp_x0 + mvd_x0 , mvpy0 + mvdy0) (19)

(mvx0, mvy0) (mvp_x0 - mvd_x0 , mvpy0 - mvdy0) (20)

즉, LIST1의 움직임 예측 정보는 mv

코딩 유닛 단위로 symmetric MVD를 사용하는지 여부를 나타내는 플래그 sym_mvd_flag를 비트스트림을 통해 시그날링할 수 있다. sym_mvd_flag 값이 1 이면, 코딩 유닛에서 symmetric MVD 부호화 방법을 사용함을 나타낸다.

Symmetric MVD 부호화를 사용하는 경우, 제 1 단방향 참조 픽쳐는 제 1 단방향 참조 픽쳐 리스트(RefPicList0) 중 현재 픽쳐보다 POC(Picture order count, 픽쳐 아웃풋 순서)가 작으면서, 현재 픽쳐와 가장 가까운 픽쳐(이하, 좌측 최소 거리 픽쳐)로 설정할 수 있으며, 제 1 단방향 참조 픽쳐 인덱스(RefPicList0)는 좌측 최소 거리 픽쳐의 참조 픽쳐 인덱스로 설정할 수 있다. 여기서 가장 가까운 픽쳐라 함은 현재 픽쳐의 POC와 참조 픽쳐의 POC 차분이 가장 작은 참조 픽쳐를 의미 한다.

또는 제 1 단방향 참조 픽쳐는 RefPicList0[0]로 설정할 수도 있다.

Symmetric MVD 부호화를 사용하는 경우, 제 2 단방향 참조 픽쳐는 제 2 단방향 참조 픽쳐 리스트(RefPicList1) 중 현재 픽쳐보다 POC가 크면서, 현재 픽쳐와 가장 가까운 픽쳐(이하, 우측 최소 거리 픽쳐)로 설정할 수 있으며, 제 2 단방향 참조 픽쳐 인덱스(RefPicList1)는 우측 최소 거리 픽쳐의 참조 픽쳐 인덱스로 설정할 수 있다.

또는 제 2 단방향 참조 픽쳐는 RefPicList1[1]로 설정할 수도 있다.

제 1 단방향 참조 픽쳐 리스트에서 현재 픽쳐보다 POC가 작은 픽쳐가 존재하지 않는 경우, 제 1 단방향 참조 픽쳐 리스트 중 현재 픽쳐보다 POC가 크고 현재 픽쳐와 가장 가까운 픽쳐를 제 1 단방향 참조 픽쳐로 설정할 수도 있다. /

제 2 단방향 참조 픽쳐 리스트에서 현재 픽쳐보다 POC가 큰 픽쳐가 존재하지 않는 경우, 제 2 단방향 참조 픽쳐 리스트 중 현재 픽쳐보다 POC가 작고 현재 픽쳐와 가장 가까운 픽쳐를 제 2 단방향 참조 픽쳐로 설정할 수도 있다.

제 1 단방향 참조 픽쳐의 POC와 제 2 단방향 참조 픽쳐의 POC가 현재 픽쳐의 POC 보다 작고, 제 1 단방향 참조 픽쳐의 POC와 제 2 단방향 참조 픽쳐의 POC가 같은 경우에는 symmetric mvd 부호화를 사용하지 않도록 설정할 수도 있다. 구체적으로 표 5와 같은 신택스 테이블을 사용할 수도 있다.

표 5

제 1 단방향 참조 픽쳐와 제 2 단방향 참조 픽쳐가 현재 픽쳐를 기준으로 모두 좌측에 있거나, 모두 우측에 있는 경우, symmetric MVD 대신에 다음식 (21) 내지 (22)와 같이 L1의 MVD를 스케일링하여 사용할 수도 있다.

(mvx0, mvy0) (mvp_x0 + mvd_x0 , mvpy0 + mvdy0) (21)

(mvx0, mvy0) (mvp_x0 + scale*mvd_x0 , mvpy0 - mvdy0) (22)

다음식 (21) 내지 (22)에서 scale값은 식 (23) 내지 (24)와 같이 정의 할 수 있다.

scale = abs(POC_Curr - POC_L0) / abs(POC_Curr - POC_L1) (23)

scale = abs(POC_Curr - POC_L1) / abs(POC_Curr - POC_L0) (24)

식 (23) 내지 (24)에서 POC_Curr은 현재 픽쳐의 POC 값을 나타내고, POC_L0은 제 1 단방향 참조 픽쳐의 POC 값을 나타내며, POC_L1은 제 2 단방향 참조 픽쳐의 POC 값을 나타낸다.

제 2 단방향 참조 픽쳐 리스트 중 현재 픽쳐보다 POC 값이 큰 참조 픽쳐가 존재하고, 제 1 단방향 참조 픽쳐 리스트 중 현재 픽쳐보다 POC 값이 작은 픽쳐가 적어도 하나 이상 존재하는 경우, symmetric MVD 부호화 방법을 사용하지 않을 수 있다.

또는 제 1 단방향 참조 픽쳐 리스트 중 현재 픽쳐보다 POC 값이 작은 참조 픽쳐가 존재하지 않고, 제 2 단방향 참조 픽쳐 리스트 중 현재 픽쳐보다 POC 값이 큰 참조 픽쳐가 적어도 하나 이상 존재하는 경우, symmetric MVD 부호화 방법을 사용하지 않을 수 있다.

3 변환 및 양자화

원본 영상에서 예측 영상을 차분한 영상을 잔차 영상(residual)이라 한다.

잔차 영상에 DCT(Discrete cosine transform)와 같은 2차원 변환(Transform)을 통하여 2원 주파수 성분으로 분해할 수 있다. 영상에서 고주파 성분을 제거해도 시각적으로 왜곡이 크게 발생하지 않는 특성이 있다. 고주파에 해당하는 값을 작게 하거나 0으로 설정하면 시각적 왜곡이 크지 않으면서도 압축 효율을 크게 할 수 있다.

예측 블록의 크기나 예측 모드에 따라 DST (Discrete sine transform)을 사용할 수도 있다. 구체적으로 예를 들어, 인트라 예측 모드이고, 예측 블록/코딩 블록의 크기가 NxN 보다 작은 크기인 경우에는 DST 변환을 사용하도록 설정하고, 그 외의 예측 블록/코딩 블록에서는 DCT를 사용하도록 설정할 수도 있다.

DCT는 영상을 코사인 (cosine) 변환을 이용하여 2차원 주파수 성분으로 분해(변환)하는 처리이고, 그 때의 주파수 성분들은 기저 영상으로 표현된다. 예를 들어, NxN 블록에서 DCT 변환을 수행하면 N² 개의 기본 패턴 성분을 얻을 수 있다. DCT 변환을 수행한다는 것은 원화소 블록에 포함된 기본 패턴 성분들 각각의 크기를 구하는 것이다. 각 기본 패턴 성분들의 크기는 DCT 계수라고 정의 한다.

대체적으로 저주파에 0이 아닌 성분들이 많이 분포하는 영상에서는 이산 여현 변환(Discrete Cosine Transform, DCT)을 주로 사용하고, 고주파 성분이 많이 분포하는 영상에서는 DST (Discrete Sine Transform)을 사용할 수도 있다.

DST는 영상을 sin 변환을 이용하여 2차원 주파수 성분으로 분해(변환)하는 처리를 나타낸다. DCT 또는 DST 변환 이외의 변환 방법을 사용하여 2차원 영상을 2차원 주파수 성분으로 분해(변환)할 수 있으며, 이를 2차원 영상 변환이라고 정의 한다.

잔차 영상 중 특정 블록에서는 2차원 영상 변환을 수행하지 않을 수 있으며, 이를 변환 스킵(transform skip)이라고 정의 한다. 변환 스킵 이후에 양자화를 적용할 수 있다. 변환 스킵의 허용 여부는, 코딩 유닛의 크기 또는 형태 중 적어도 하나에 기초하여 결정될 수 있다. 일 예로, 변환 스킵은 특정 크기 이하의 코딩 유닛에서만 사용하도록 제한할 수도 있다. 예를 들어, 32x32보다 작은 블록에서만 변환 스킵을 사용하도록 설정할 수도 있다. 또는, 정방형태 블록에서만 변환 스킵을 사용하도록 제한할 수도 있다. 구체적으로 예를 들어, 32x32, 16x16, 8x8, 4x4 블록 단위로 변환 스킵을 적용할 수도 있다.

또는 서브 파티션 인트라 부호화 방법을 사용하는 경우 서브 파티션 단위로 변환 스킵을 선택적으로 적용할 수도 있다. 구체적으로 예를 들어, 그림 41과 같이 상측 서브 파티션에서는 변환 스킵을 사용할 수도 있고, 하측 서브 파티션에서는 수평 방향으로 DST7, 수직 방향으로 DCT8(tu_mts_idx 3)을 수행할 수도 있다.

그림 41

2차원 영상 내에 있는 임의의 블록을 DCT 또는 DST 또는 2차원 영상 변환을 적용할 수 있으며, 이 때 사용된 변환을 제 1 변환이라고 정의 한다. 제 1 변환을 수행 후 변환 블록의 일부 영역에서 변환을 다시 수행할 수 있으며, 이를 제 2 변환이라고 정의 한다.

제 1 변환은 복수개의 변환 코어 중 하나를 사용할 수 있다. 구체적으로 예를 들어, 변환 블록에서 DCT2 , DCT8 또는 DST7 중 어느 하나를 선택하여 사용할 수 있다. 또는 변환 블록의 수평 방향 변환과 수직 방향 변환의 변환 코어를 개별적으로 결정할 수 있다. 이에 따라, 수평 방향 변환 및 수직 방향 변환은 상호 동일할 수도 있고, 상이할 수도 있다. 수평 방향 변환과 수직 방향 변환에서 서로 다른 변환 코어를 사용할 수도 있으며, 이를 복수 변환 코어 부호화 방법(Multiple Transform Selection, MTS)이라 정의 한다.

제 1변환과 제 2 변환을 수행하는 블록 단위가 서로 다르게 설정할 수도 있다. 구체적으로 예를 들어, 잔차 영상의 8x8 블록에서 제 1 변환을 수행한 후, 4x4 서브 블록 별로 제 2 변환을 각각 수행할 수도 있다. 또 다른 예를 들어, 각 4x4 블록에서 제 1 변환을 수행한 후, 8x8 크기의 블록에서 제 2 변환을 각각 수행할 수도 있다.

제 1 변환이 적용된 잔차 영상을 제 1 변환 잔차 영상이라고 정의한다.

제 1 변환 잔차 영상에 DCT 또는 DST 또는 2차원 영상 변환을 적용할 수 있으며, 이 때 사용된 변환을 제 2 변환이라고 정의한다. 제 2 변환이 적용된 2차원 영상을 제 2 변환 잔차 영상이라고 정의한다.

제 1 변환 및/또는 제 2 변환을 수행한 후의 블록 내 샘플 값 또는 변환 스킵을 수행한 후 블록 내 샘플 값을 변환 계수라고 정의한다. 양자화는 블록의 에너지를 줄이기 위해 변환 계수를 기 정의된 값으로 나누는 과정을 말한다. 변환 계수에 양자화를 적용하기 위해 정의된 값을 양자화 파라미터라고 정의한다.

시퀀스 단위 또는 블록 단위로 기 정의된 양자화 파라미터를 적용할 수 있다. 통상적으로 1에서 63 사이의 값으로 양자화 파라미터를 정의할 수 있다.

변환 및 양자화를 수행한 후에, 역양자화 및 역변환을 수행하여 잔차 복원 영상을 생성 할 수 있다. 잔차 복원 영상에 예측 영상을 더해서 제 1 복원 영상을 생성할 수 있다.

현재 블록의 변환 타입을 나타내는 인덱스 정보 'tu_mts_idx'를 비트스트림을 통해 시그날링할 수 있다. tu_mts_idx는 수직 방향 변환 타입 및 수평 방향 변환 변환 타입의 조합 예를 나타내는 복수의 변환 타입 후보 중 하나를 가리킬 수 있다. tu_mts_idx에 의해 특정되는 변환 타입 후보에 기초하여, 수직 방향 변환 및 수평 방향 변환의 스킵 여부, 및 수직 방향 변환 코어 및 수평 방향 변환 코어가 결정될 수 있다. 변환 코어는, DCT2, DCT8, 또는 DST7 중 적어도 하나를 포함할 수 있다. 표 5와 같이 tu_mts_idx 별로 transform type 후보를 설정할 수 있다. 구체적으로 예를 들어, 표 6과 같이 tu_mts_idx가 0이면, 수평 방향 변환과 수직 방향 변환 모두 DCT-II를 적용할 수 있으며, tu_mts_idx가 2이면 수평 방향 변환에 DCT-VIII를 적용하고, 수직 방향 변환에 DST-VII을 적용할 수 있다.

표 6

서브 파티션 부호화 방법을 사용하는 경우 각 서브 파티션 별로 서로 다른 변환 코어 세트를 사용할 수도 있고, 코딩 유닛 단위로 서로 같은 변환 코어 세트를 사용하도록 설정할 수도 있다. 이 때, 첫번째 서브 파티션에서만 tu_mts_idx를 비트스트림을 통해 시그날링할 수 있다.

구체적으로 예를 들어, 그림 42의 좌측 그림과 같이 코딩 유닛 내에 있는 모든 서브 파티션에서 수평 방향 변환 코어로 DST7을 사용하고, 수직 방향 변환 코어로 DCT8을 사용할 수도 있다. 또 다른 예를 들어, 그림 42의 우측 그림과 같이 코딩 유닛 내에 있는 모든 서브 파티션에서 수평 방향 변환 코어로 DCT8을 사용하고, 수직 방향 변환 코어로 DST8을 사용할 수도 있다.

그림 32

5 인루프 필터링 (In-loop filtering)

인루프 필터링(In-loop filtering)은 양자화 및 부호화 과정에서 발생하는 정보의 손실을 줄이기 위해 복호화 된 영상에 적응적으로 필터링을 수행하는 기술이다. 디블록킹 필터(Deblocking filter), 샘플 적응적 오프셋 필터(sample adaptive offset filter, SAO), 적응적 루프 필터(adaptive loop filter, ALF)는 인루프 필터링의 한 예이다.

제 1 복원 영상에 디블록킹 필터 , 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 또는 적응적 루프 필터(adaptive loop filter, ALF) 중 적어도 어느 하나를 수행하여 제 2 복원 영상을 생성할 수 있다.

복원 영상에 디블록킹 필터를 적용한 후, SAO 및 ALF를 적용할 수 있다.

비디오 부호화 과정에서 블록 단위로 변환과 양자화를 수행한다. 양자화 과정에서 발생한 손실이 발생하고, 이를 복원한 영상의 경계에서는 불연속이 발생한다. 블록 경계에 나타난 불연속 영상을 블록 화질 열화(blocking artifact)라고 정의 한다.

Deblocking filter는 제 1 영상의 블록 경계에서 발생하는 블록 화질 열화(blocking artifact)를 완화시키고, 부호화 성능을 높여주는 방법이다.

그림 43

블록 경계에서 필터링을 수행하여 블록 화질 열화를 완화 시킬수 있으며, 그림 43과 같이 블록이 인트라 예측 모드로 부호화 되었는지 여부, 또는 이웃한 블록의 모션 벡터 절대값의 차이가 기 정의된 소정의 문턱값 보다 큰지 여부, 이웃한 블록의 참조 픽쳐가 서로 동일한 지 여부 중 적어도 어느 하나에 기초하여 블록 필터 강도 (blocking strength, 이하 BS) 값을 결정할 수 있다. BS 값이 0이면 필터링을 수행하지 않으며, BS 값이 1 또는 2인 경우에 블록 경계에서 필터링을 수행할 수 있다.

변환 계수에 양자화를 수행하므로 주파수 영역에서 양자화를 수행하기 때문에, 물체 가장 자리에 링이 현상 (ringing artifact)를 발생시키거나, 화소 값이 원본에 비해 일정한 값만큼 커지거나 작아기게 된다. SAO는 제 1 복원 영상의 패턴을 고려하여 블록 단위로 특정 오프셋을 더하거나 빼는 방법으로 링잉 현상을 효과적으로 줄일 수 있다. SAO는 복원 영상의 특징에 따라 에지 오프셋(Edge offset, 이하 EO)과 밴드 오프셋(Band offset, BO)으로 구성된다. 에지 오프셋은 주변 화소 샘플 패턴에 따라 현재 샘플에 오프셋을 다르게 더해주는 방법이다. 밴드 오프셋은 영역 안의 비슷한 화소 밝기 값을 가진 화소 집합에 대해 일정 값을 더해 부호화 오류를 줄이는 것이다. 화소 밝기를 32개의 균일한 밴드로 나눠 비슷한 밝기 값을 가지는 화소를 하나의 집합이 되도록 할 수 있다. 예를 들어, 인접한 4개의 밴드를 하나의 범주로 묶을 수 있다. 하나의 범주에서는 동일한 오프셋 값을 사용하도록 설정할 수 있다.

ALF (Adaptive Loop Filter)는 식 (25)와 같이 제 1 복원 영상 또는 제 1 복원 영상에 deblocking filtering을 수행한 복원 영상에 기 정의된 필터 중 어느 하나를 사용하여 제 2 복원 영상을 생성하는 방법이다.

(25)

그림 44

이 때 필터는 픽쳐 단위 또는 CTU 단위로 선택할 수 있다.

Luma 성분에서는 다음 그림 44와 같이 5x5, 7x7 또는 9x9 다이아몬드 형태 중 어느 하나를 선택할 수 있다. Chroma 성분에서는 5x5 다이아몬드 형태만 사용할 수 있도록 제한할 수도 있다.

5 비디오 부호화 구조

그림 45

그림 45는 비디오 부호화 구조를 나타내는 다이아그램이다. 입력 비디오 신호는 Rate distortion 값이 가장 작은 소정의 코딩 유닛으로 나눌수 있다. 코딩 유닛 별로 인터 예측 또는 인트라 예측 또는 복합 예측 중 적어도 어느 하나를 수행하여 예측 영상을 생성할 수 있다. 부호화 단계에서 인터 예측을 수행하기 위해서는 움직임 추정 (Motion estimaition)을 수행할 수도 있다. 원본 영상에서 예측 영상을 차분하여 잔차 영상을 생성할 수 있다.

잔차 영상을 제 1 변환 및/또는 제 2 변환을 수행하여 변환 계수를 생성하거나 변환 스킵을 수행하여 변환 스킵 계수를 생성할 수 있다. 변환 계수 또는 변환 스킵 계수에 양자화를 수행하여 양자화된 변환 계수 내지 양자화된 변환 스킵 계수를 생성할 수 있다.

양자화된 변환 계수 내지 양자화된 변환 스킵 계수를 역양자화 및 역 변환을 수행하여 복원 영상을 생성할 수 있다. 이 복원 영상에 인루프 필터링을 수행하여 필터링 복원 영상을 생성할 수 있다. 이 필터링 복원 영상이 인코딩 단계에서 최종 아웃풋 (output) 영상이 된다. 필터링 복원 영상은 참조 픽쳐 버퍼 (Decoded picture buffer)로 저장되어 다른 픽쳐에서 참조 픽쳐로 사용할 수 있다.

6 타일을 이용한 비디오 부호화 방법

파노라믹 비디오나 360도 비디오 내지 4K/8K UHD(Ultra High Definition)과 같은 실감 미디어 어플리케이션에서는 고해상도 영상을 사용한다. 고해상도 영상을 실시간 내지 저지연 부호화를 위해서 병렬화가 필요하다. 병렬화를 위해서는 픽쳐의 일정 영역이 서로 독립적으로 부호화/복호화 할 수 있어야 한다.

타일(tile)은 비디오의 병렬화를 지원하기 위한 하나의 도구이다. 타일은 직사각형(rectangular) 형태를 가질 수 있다. 또는, 비직사각형 형태의 타일을 허용할 수 있다. 비직사각형 형태의 타일이 존재하는지 여부를 나타내는 정보가 부호화될 수 있다. 다른 타일에 있는 데이터에서 영상 부호화/복호화에 필요한 정보를 유도하지 않는다. 각 타일 단위로 CABAC(Context adaptive Binary Arithmetric Coding) 컨텍스트의 확률 테이블을 초기화 할 수 있다. 타일 바운더리 (이웃한 두 타일의 경계 부분)에서 loop filter를 사용하지 않도록 설정할 수 있다. 또는, 타일 바운더리에서 loop filter 사용 여부를 나타내는 정보가 부호화될 수 있다.

그림 50와 같이 좌측 또는 우측으로 인접한 타일의 높이는 서로 같도록 구성(이하, 가로 방향 타일 세트)할 수도 있고, 위쪽 또는 아래쪽으로 인접한 타일의 너비가 같도록 구성(이하, 세로 방향 타일 세트)할 수도 있으며, 픽쳐 내에서 픽쳐 바운더리에 인접한 타일들 제외한 모든 타일들이 모두 동일한 크기를 갖도록 제한할 수도 있다.

그림 50

픽쳐 파라미터 세트 또는 시퀀스 파라미터 세트 또는 슬라이스 헤더에 픽쳐 내에 세로 방향 타일 세트의 개수가 몇개인지를 나타내는 신택스 num_tile_columns_minus1을 시그날링할 수 있다. 그림 50의 예시에서는 세로 방향 타일 세트의 개수는 4이며, 이를 나타내는 신택스 num_tile_columns_minus1 값은 3으로 설정할 수 있다. 각 세로 방향 타일 세트의 너비를 나타 내는 신택스 column_width_minus1을 시그날링할 수 있다.

픽쳐 파라미터 세트 또는 시퀀스 파라미터 세트 또는 슬라이스 헤더에 픽쳐 내에 가로 방향 타일 세트의 개수가 몇개인지를 나타내는 신택스 num_tile_rows_minus1을 시그날링할 수 있다. 그림 50의 예시에서는 가로 방향 타일 세트의 개수는 3이며, 이를 나타내는 신택스 num_tile_rows_minus1 값은 2으로 설정할 수 있다. 각 가로 방향 타일 세트의 높이를 나타내는 신택스 row_height_minus1을 시그날링할 수 있다.

다음 uniform_tile_spacing_flag은 픽쳐 내에 있는 각 타일의 너비 및 높이가 균등하게 나누어져 있는지를 나타내는 플래그이고, loop_filter_across_tiles_enabled_flag은 타일 바운더리 (이웃한 두 타일의 경계 부분)에서 loop filter를 사용하지 않도록 설정하는지를 나타내는 플래그이다.

표 7과 같은 신택스 테이블을 사용할 수도 있다.

uniform_tile_spacing_flag은 픽쳐 내에 있는 각 타일의 너비 및 높이가 균등하게 나누어져 있는지를 나타내는 플래그이고, loop_filter_across_tiles_enabled_flag은 타일 바운더리 (이웃한 두 타일의 경계 부분)에서 loop filter를 사용하지 않도록 설정하는지를 나타내는 플래그이다.

표 7

uniform_tile_spacing_flag의 값이 1인 경우, 가로 방향 타일 개수 num_tile_columns_minus1과 세로 방향 타일 개수 num_tile_rows_minus1를 기초로, 타일의 크기가 결정될 수 있다.

uniform_tile_spacing_flag의 값이 1인 경우, 각 타일의 너비 및 높이를 나타내는 정보가 부호화될 수 있다. 일 예로, i번째 타일의 너비를 나타내는 column_width_minus1[i] 및 i번?? 타일의 높이를 나타내는 row_height_minus1[i]이 부호화될 수 있다.

또는, 타일들 간의 너비/높이의 차분값을 부호화할 수 있다.

구체적으로, 가로 방향 타일 세트에 속하는 타일 중 타일의 너비가 가장 작은 타일을 최소 너비 타일 이라고 한다. 최소 너비 타일의 너비를 나타내는 신택스 min_column_width_minus1 값을 시그날링할 수 있으며, 최소 너비 타일의 너비는 min_column_width_minus1+1 값으로 설정할 수 있다.

세로 방향 타일 세트에 속하는 타일 중 타일의 높이가 가장 작은 타일을 최소 높이 타일이라고 한다. 최소 높이 타일의 높이를 나타내는 신택스 min_row_height_minus1값을 시그날링할 수 있으며, 최소 높이 타일의 높이는 min_row_height_minus1+1 값으로 설정할 수 있다.

표 8

최소 너비 타일과 i번째 타일의 너비 사이의 차분값을 나타내는 정보 diff_column_width[i] 및 최소 높이 타일과 i번째 타일의 높이 사이의 차분값을 나타내는 정보 diff_row_height[i]를 부호화할 수 있다.

가로 방향 타일 세트의 높이는 다음 식 (26)와 같이 유도할 수 있다.

column_width_minus[1] = min_columnn_width_minus1 + diff_column_width[i] (26)

세로 방향 타일 세트의 타일 높이는 다음 식 (27)과 같이 유도할 수 있다.

row_height_minus[1] = min_row_height_minus1 + diff_row_height[i] (27)

또는, i번째 타일과 i-1번째 타일 사이의 너비 차분값 또는 높이 차분값을 부호화할 수 있다.

표 9

표 9과 같이 동일 크기 타일 플래그 uniform_tile_spacing_flag를 비트스트림을 통해 시그날링할 수 있다. Uniform_tile_spacing_flag 값이 1이면 픽쳐 내에 있는 각 타일의 너비가 균등하게 나누어 져 있으며, 각 타일의 높이도 균등하게 나누어져 있음을 나타낸다. Uniform_tile_spacing_flag 값이 0인 경우에 한정하여 각 타일의 너비를 나타내는 신택스 tile_column_width_minus1과 각 티일의 너비를 나타내는 신택스 tile_row_height_minus1를 시그날링 할 수 있다.

표 10

적어도 하나 이상의 타일을 포함하는 타일 그룹을 정의할 수 있다. 픽처 내 타일 그룹 구성에 관한 정보가 부호화될 수 있다. 타일 그룹 구성에 관한 정보는, 픽처가 하나의 타일로 구성되어 있는지 여부를 나타내는 플래그 (e.g., single_tile_in_pic_flag), 각 타일 그룹이 하나의 타일만으로 구성되어 있는지 여부를 나타내는 플래그 (e.g., single_tile_per_tile_group_flag), 타일 그룹이 사각형인지 여부를 나타내는 플래그 (e.g., rect_tile_group_flag), 픽처 내 타일 그룹의 개수를 나타내는 정보 (e.g., num_tile_groups_in_pic_minus1), 타일 그룹의 가로 방향 개수를 나타내는 정보 (e.g., num_tile_columns_minus1), 타일 그룹의 세로 방향 개수를 나타내는 정보 (e.g., num_tile_rows_minus1) 중 적어도 하나를 포함할 수 있다.

타일 그룹 별로 각 타일 세트에 포함된 타일들의 너비/높이가 균등하게나누어져 있는지를 나타내는 신택스를 부호화할 수 있다. 표 10과 같이 타일 그룹 i에 있는 각 타일의 너비가 균등하게 나누어 져 있는지를 나타내는 신택스 uniform_tile_spacing_inTG[i]를 비트스트림을 통해 시그날링할 수 있다. uniform_tile_spacing_inTG[i] 값이 1 이면, i 번째 타일 그룹 내에 있는 타일의 너비가 균등하게 나뉘어져 있음을 나타내고, uniform_tile_spacing_inTG[i] 값이 1 이면, i 번째 타일 그룹 내에 있는 타일의 너비가 균등하게 나뉘어져 있음을 나타낸다.

uniform_tile_spacing_inTG[i]는 uniform_tile_spacing_flag 값이 0인 경우에만 시그날링될 수 있으며, 시그날링되지 않은 경우에는 그 값을 0으로 설정할 수 있다. 또는, 타일 그룹의 형태에 따라, uniform_tile_spacing_inTG[i]의 부호화 여부가 결정될 수 있다. 일 예로, 타일 그룹이 사각형인 경우에 한하여 uniform_tile_spacing_inTG[i]가 부호화될 수 있다. 타일 그룹이 비-사각 형태인 경우, uniform_tile_spacing_inTG[i]의 부호화는 생략될 수 있다.

각 타일 그룹 별로 세로 방향 타일 세트의 너비를 나타내는 신택스 column_width_minus1을 시그날링할 수 있다. 각 타일 그룹 별로 가로 방향 타일 세트의 개수를 나타내는 신택스 num_tile_rows_minus1을 시그날링할 수 있다.

uniform_tile_spacing_inTG[i] 값이 0인 경우에 한정하여 타일의 너비를 나타내는 신택스 tile_column_width_minus1 및 높이를 나타내는 신택스 tile_row_height_minus1를 시그날링할 수 있다.

타일 그룹(Tile group)은 그림 51와 같이 복수 개의 타일로 정의할 수 있다. 타일 그룹을 특정하기 위해 tile_group_index를 비트스트림을 통해 시그날링할 수 있으며, 시퀀스 또는 픽쳐 내에 총 타일 그룹의 개수를 나타내는 신택스 numTotalTileGruop_minus1을 시그날링할 수 있다. TileGroup이 시작하는 위치의 CTU 주소 (CTU address ) 내지 Tile 주소 (Tile address)를 시그날링할 수 있다.

각 타일 그룹 내 타일의 너비 및 높이는 서로 다르게 설정할 수도 있다. 일 예로, 그림 51에서 tile group1에 속한 Tile3와 Tile4의 높이는 서로 다르게 설정되어 있다.

그림 51

인접하는 타일들의 높이가 상이한 경우, 높이가 상이한 타일들은 서로 다른 타일 그룹에 포함되도록 설정할 수 있다. 여기서, 타일간의 인접성은, 공간적 위치 또는 스캔 순서를 기초로 결정될 수 있다. 일 예로, raster scan order를 따를 경우, 그림 52의 Tile 3과 Tile 4는 상호 인접한 것으로 결정될 수 있다. 그림 52과 같이 Tile3와 Tile4의 높이가 서로 다른 경우에는 다른 tile group에 속하도록 설정할 수도 있다.

그림 52

Tile group은 사각 형태로 구성할 수도 있으며, 이를 사각 타일 그룹이라 한다. 픽쳐 파라미터 세트에 tile group이 사각 형태로 구성되어 있는지를 나타내는 신택스 rect_tile_group_flag을 비트스트림을 통해 전송할 수 있다. rect_tile_group_flag 값이 1이면, tile group이 사각 형태로 구성될 수 있음을 나타낸다.

사각 타일 그룹인 경우, 타일 그룹의 좌상단에 위치한 타일의 아이디 (이하, top_left_tile_idx) 및 우상단에 위치한 타일의 아이디 (이하,bottom_right_tile_idx)를 비트스트림을 통해 전송할 수 있다.

Tile group 내 복수 개의 타일을 갖는지를 나타내는 플래그 isMultipleTileInTileG_flag을 시그날링 할 수도 있다.

isMultipleTileInTileG_flag 값이 1 이면, Tile group 내 적어도 2개 이상의 타일이 존재함을 나타내고, isMultipleTileInTileG_flag 값이 0이면, 픽쳐 내 모든 Tile group에서 1개의 타일만 존재함을 나타낸다.

그림 53

사각 타일 그룹이면서 맨 마지막 타일 그룹인 경우에는 top_left_tile_idx 내지 bottom_right_tile_idx 중 적어도 하나를 시그날링하지 않고, 생략할 수 있다. 구체적으로 예를 들어, 그림 53의 예와 같이 전체 타일 그룹의 개수는 4개인 경우, tile group0, tile group1, tile group2의 위치와 크기가 설정된 경우(각 타일 그룹 별 top_left_tile_idx 및 bottom_right_tile_idx를 시그날링하여 tile group0, tile group1, tile group2의 위치와 크기가 설정할 수 있다.

픽쳐의 맨 마지막 타일 그룹인 tile group3의 크기는 tile group0, tile group1, tile group2이 아닌 영역으로 설정할 수 있으며, 이 영역 중 가장 좌상단 타일의 아이디를 top_left_tile_idx값으로 유도하고, 가장 우하단 타일의 아이디를 bottom_right_tile_idx값으로 유도할 수 있다.

통상 하나의 Tile은 복수개의 CTU로 구성될 수 있다. 이때, 픽처 우측/하단 바운더리에 인접하는 타일을 제외하고는, 타일은 CTU 보다 작은 크기의 영역을 포함할 수 없다. 즉, 타일의 경계는 CTU의 경계와 동일하게 설정될 수 있다. 픽처의 우측 및 좌측 경계에 인접하는 타일들에서는 예외적으로 CTU보다 작은 크기의 영역을 포함할 수 있다.

예를 들어, uniform_tile_spacing_flag이 1인 경우에 첫번째 타일의 우측 경계는 3번째 CTU column(CTU 2, CTU 9)의 우측 경계로 설정될 수 있다.

다만, 이 경우, 각 타일의 크기가 상이해지는 문제가 발생한다. 일 예로, 그림 24의 좌측 그림에서, 첫번째 타일의 크기는, 픽처의 우측에 인접하는 타일 및 픽처의 하단에 인접하는 타일과 상이하다.

그림 54

타일을 더 작은 단위의 서브 타일로 분할 할 수도 있다. 예를 들어,그림 54의 Tile8과 같이, 특정 타일이 서브 타일로 분할 될 수도 있다. 서브 타일은 그림 54의 Tile8과 같이 수직 및 수평 방향으로 분할 할 수도 있고, 그림 54의 Tile8과 같이 수평 방향으로 분할할 수도 있다. 타일의 제일 처음 서브 타일에서 CABAC state를 초기화할 수도 있다. 즉 두번 째 서브 타일에서는 cabac state를 초기화 하지 않을 수도 있다.

현재 픽쳐에 적어도 하나의 서브 타일이 존재하는지를 나타내는 신택스 sub_tile_present_flag를 비트스트림을 통해 시그날링할 수 있다. sub_tile_present_flag 값이 1 이면, 픽쳐 내 적어도 하나의 서브 타일이 존재함을 나타내고, sub_tile_present_flag 값이 0이면, 픽쳐 내 서브 타일이 존재하지 않음을 나타낸다.

타일 그룹 i에 있는 타일 중 서브 타일이 사용되는 경우, 서브 타일의 너비 및/또는 높이가 균등하게 나누어져 있는지를 나타내는 신택스 uniform_subtile_spacing_flag[i]를 비트스트림을 통해 시그날링할 수 있다.

uniform_subtile_spacing_flag[i] 가 1이면 타일 그룹 i 또는 타일 i에 있는 서브 타일의 너비 및/또는 높이가 균등하게 나누어져 있음을 나타낸다.

서브 타일의 개수를 나타내는 플래그 num_subtile_row_minus1를 비트스트림을 통해 시그날링할 수 있다.

uniform_subtile_spacing_flag[i]가 1일 때, 타일을 균등하게 나눌 서브 타일의 높이를 나타내는 신택스 subtile_rows_height_minus1를 시그날링할 수 있다. 예를 들어, subtile_row_height_minus1이 7이면 타일 그룹 또는 타일 내 서브 타일의 높이가 8이 되도록 균등하게 분할할 수 있음을 나타낸다.

각 타일 별로 서브 타일로 분할하는지를 나타내는 플래그 sub_tile_split_flag[　j　]를 시그날링할 수 있다. sub_tile_split_flag[　j　] 값이 1 이면, 타일 인덱스가 j인 타일 (이하, j번째 타일)이 서브 타일로 분할됨을 나타낸다.

uniform_subtile_spacing_flag[i] 가 0이고 sub_tile_split_flag[j] 값이 1이면, j번째 타일 내 서브 타일의 가로 방향 개수를 나타내는 신택스 num_sub_tile_columns_minus1[j] 및 세로 방향 개수를 나타내는 신택스 num_sub_tile_rows_minus1[　j　]를 비트스트림으로 전송할 수 있다.

타일 내에서 좌측 또는 우측으로 인접한 서브 타일의 높이는 서로 같도록 구성(이하, 가로 방향 서브 타일 세트)할 수도 있고, 위쪽 또는 아래쪽으로 인접한 서브 타일의 너비가 같도록 구성(이하, 세로 방향 서브 타일 세트)할 수도 있다.

각 타일 별로 세로 방향 서브 타일 세트의 너비를 나타내는 신택스sub_tile_column_width_minus1을 시그날링할 수 있다. 각 타일 별로 가로 방향 타일 세트의 개수를 나타내는 신택스 sub_tile_num_tile_rows_minus1을 시그날링할 수 있다.

다음 표 11 내지 표 12와 같은 신택스 테이블을 이용하여 타일 및 서브 타일의 정보를 시그날링할 수 있다.

표 11

표 12

표 13과 같이 uniform_subtile_spacing_flag 값이 1이면, 서브 타일의 개수를 나타내는 플래그 num_subtile_row_minus1를 시그날링하지 않을 수 있다. 이 때 num_subtile_row_minus1는 subtile_rows_height_minus1로 부터 유도할 수 있다. 구체적으로 예를 들어, 식 (28)과 같이 num_subtile_row_minus1 값을 유도할 수 있다.

num_subtile_row_minus1 = (TileWidth / subtile_rows_height_minus1) (28)

표 13

현재 타일의 세로 방향 서브 타일 세트의 너비는 현재 타일이 속한 세로 방향 타일 세트의 너비보다 작게 설정할 수 있다. 즉, 현재 타일의 세로 방향 서브 타일 세트의 너비는 현재 타일이 속한 세로 방향 타일 세트의 너비보다 같거나 크도록 설정할 수 없다.

또한 현재 타일의 가로 방향 서브 타일 세트의 너비는 현재 타일이 속한 가로 방향 타일 세트의 너비보다 작게 설정할 수 있다. 즉, 현재 타일의 가로방향 서브 타일 세트의 너비는 현재 타일이 속한 가로 방향 타일 세트의 너비보다 같거나 크도록 설정할 수 없다.

그림 55

그림 55와 같이 타일 그룹 내 모든 타일이 서브 타일을 가질 수도 있다.

타일 그룹 내 모든 타일이 서브 타일을 갖는지를 나타내는 신택스 isAll_subtile_flag을 비트스트림을 통해 시그날링할 수도 있다.

isAll_subtile_flag 값이 1이면 타일 그룹 내 모든 타일이 서브 타일이 존재함을 나타낸다. isAll_subtile_flag 값이 0이면 서브 타일이 존재하지 않는 타일이 타일 그룹 내에 적어도 하나 존재함을 나타낸다.

다음 표 14와 같은 신택스 테이블을 이용하여 타일 및 서브 타일의 정보를 시그날링할 수 있다.

표 14

이에, CTU 크기 보다 작은 tile을 허용하여, 각 타일의 크기가 보다 균등해지도록 조절할 수 있다. 이를, 플렉서블 사이즈 타일이라고 정의 한다.

그림 56

예를 들어, uniform_tile_spacing_flag 이 1 인 경우에 그림 56의 우측 그림 처럼 CTU 보다 작은 영역이 타일에 속하도록 파티셔닝할 수 있다. 타일에 속하는 CTU 보다 작은 영역을 최소 단위 타일 영역이라 한다.

타일 내 서브 타일은 CTU 보다 크거나 같도록 설정할 수 있다. 플렉서블 사이즈 타일을 사용하는 경우에는 CTU 작은 서브 타일을 사용할 수도 있다.

Claims

타일 및 서브 타일을 이용한 예측 부호화 방법