KR20210007987A - 쿼드트리-이진 트리에 대한 블록 형상 적응적 인트라 예측 방향들 - Google Patents

Abstract

비디오 인코더 또는 디코더가 인트라 코딩을 이용하여 그리고 가변 블록 형상들에 의해 비디오의 부분들을 처리한다. 일반적인 양태들 하에서, 인트라 예측 방향들은 블록 형상 또는 종횡비에 적응된다. 설명된 일반적인 양태들은 여러 종래의 각도 인트라 예측 모드를 비-정사각형 블록들에 대한 광각 인트라 예측 모드들로 적응적으로 대체한다. 임의의 블록에 대한 각도 방향들의 총 개수는 종래의 비디오 코딩 표준들에서와 동일하게 유지될 수 있거나 또는 감소되거나 확장될 수 있다. 동일한 개수의 예측 방향들을 유지하기 위해, 타겟 블록의 더 짧은 직사각형 에지를 따른 방향들이 제거되지만 직사각형 타겟 블록의 더 긴 에지를 따른 추가 방향들로 대체된다. 광각들을 갖는 방향들에 대해, 참조 샘플 평활화가 수행된다. 예측 모드들 및 방향들에 관해 대응하는 디코더에게 알리기 위해 시그널링이 제공될 수 있다.

Description

쿼드트리-이진 트리에 대한 블록 형상 적응적 인트라 예측 방향들

본 양태들은 비디오 압축 및 비디오 인코딩 및 디코딩에 관한 것이다.

HEVC(High Efficiency Video Coding, ISO/IEC 23008-2, ITU-T H.265) 비디오 압축 표준에서, 비디오의 연속적인 픽처들 사이에 존재하는 중복성을 활용하기 위해 움직임 보상된 시간적 예측이 채택된다.

이를 위하여, 움직임 벡터(motion vector)는 각각의 예측 유닛(prediction unit, PU)과 연관된다. 각각의 코딩 트리 유닛(Coding Tree Unit, CTU)은 압축 도메인에서 코딩 트리에 의해 표현된다. 이것은 CTU의 쿼드-트리 분할(quad-tree division)이고, 여기서 각각의 리프(leaf)는 코딩 유닛(Coding Unit, CU)으로 칭해진다.

이후, 각각의 CU에는 일부 인트라 또는 인터 예측 파라미터들(예측 정보)이 부여된다. 이를 위하여, 이것은 하나 이상의 예측 유닛(PU)들로 공간적으로 파티셔닝되고, 각각의 PU는 일부 예측 정보를 할당받는다. 인트라 또는 인터 코딩 모드는 CU 레벨에 대해 할당된다.

JEM(Joint Exploration Model)으로 알려진, 새로운 비디오 압축 표준에 대한 JVET(Joint Video Exploration Team) 제안에서, 높은 압축 성능으로 인해 QTBT(quadtree-binary tree) 블록 파티셔닝 구조를 받아들일 것이 제안되었다. BT(binary tree)에서의 블록은 그것을 중앙에서 수평으로 또는 수직으로 분할함으로써 2개의 동일한 크기의 서브 블록으로 분할될 수 있다. 결과적으로, BT 블록은, 블록들이 항상 동일한 높이 및 폭을 갖는 정사각형 형상을 갖는 QT에서의 블록들과는 달리, 동일하지 않은 폭 및 높이를 갖는 직사각형 형상을 가질 수 있다. HEVC에서, 각도 인트라 예측 방향들은 180 각도에 걸쳐 45도 내지 -135도로 정의되었고, 이들은 JEM에서 유지되었으며, 이는 타겟 블록 형상과 독립적인 각도 방향들의 정의를 이룬다.

종래 기술의 허점들 및 단점들은 인코딩 및 디코딩에서의 블록 형상 적응적인 인트라 예측 방향들에 관한, 본 명세서에 설명된 일반적인 양태들에 의해 해결된다.

제1 양태에 따르면, 방법이 제공된다. 방법은 직사각형 블록의 블록 형상에 기초한 방향을 따라 놓인 이웃 블록의 적어도 하나의 샘플에 기초하여 직사각형 블록에 속하는 비디오 샘플을 예측하는 단계; 및 예측된 비디오 샘플에 기초하여 인트라 예측을 이용하여 직사각형 블록을 인코딩하는 단계를 포함한다.

또 다른 양태에 따르면, 제2 방법이 제공된다. 방법은 직사각형 블록의 블록 형상에 기초한 방향을 따라 놓인 이웃 재구성된 블록의 적어도 하나의 샘플에 기초하여 직사각형 블록에 속하는 비디오 샘플을 예측하는 단계; 및 예측된 비디오 샘플에 기초하여 인트라 예측을 이용하여 직사각형 블록을 디코딩하는 단계를 포함한다.

또 다른 양태에 따르면, 장치가 제공된다. 이 장치는 메모리 및 프로세서를 포함한다. 프로세서는 전술한 방법들 중 어느 하나를 실행함으로써 비디오의 블록을 인코딩하거나 비트스트림을 디코딩하도록 구성될 수 있다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 디바이스가 제공되는데, 이 디바이스는 디코딩 실시예들 중 임의의 것에 따른 장치; 및 (i) 신호를 수신하도록 구성된 안테나 - 신호는 비디오 블록을 포함함 -, (ii) 수신된 신호를 비디오 블록을 포함하는 주파수들의 대역에 제한하도록 구성된 대역 제한기, 및 (iii) 출력을 디스플레이하도록 구성된 디스플레이 중 적어도 하나를 포함한다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 설명된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 데이터 콘텐츠를 포함하는 비일시적 컴퓨터 판독가능 매체가 제공된다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 설명된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 비디오 데이터를 포함하는 신호가 제공된다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 비트스트림은 설명된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 데이터 콘텐츠를 포함하도록 포맷팅된다.

적어도 하나의 실시예의 또 다른 일반적인 양태에 따르면, 컴퓨터에 의해 프로그램이 실행될 때, 컴퓨터로 하여금 설명된 디코딩 실시예들 또는 변형들 중 임의의 것을 수행하게 야기하는 명령어들을 포함하는 컴퓨터 프로그램 제품이 제공된다.

일반적 양태들의 이들 및 다른 양태, 특징 및 이점은 첨부 도면과 연계하여 읽어볼 이하의 예시적 실시예들에 대한 상세한 설명으로부터 분명해질 것이다.

도 1은 상단 및 좌측 참조 어레이들을 갖는 정사각형 타겟 블록을 도시한다.
도 2는 그들의 상단 및 좌측 참조 어레이들을 갖는 직사각형 타겟 블록들(좌측상의 납작한 블록, 우측상의 키 큰 블록)을 도시한다.
도 3은 그들의 상단 및 좌측 참조 어레이들을 갖는 직사각형 타겟 블록들(좌측상의 납작한 블록, 우측상의 키 큰 블록)을 도시한다.
도 4는 직사각형 블록의 속성들을 도시한다.
도 5는 직사각형 블록에 대한 예측 방향들의 정의를 도시한다.
도 6은 상단 참조 어레이가 길이 2W+1을 갖는 것과, 좌측 참조 어레이가 길이 2H+1을 갖는 것을 도시한다.
도 7은 동일한 블록 형상, 또는 종횡비를 갖는 블록들이 동일한 예측 방향들 및 따라서 동일한 modeShift를 갖는 것을 도시한다.
도 8은 -135도를 넘는 수직 방향에 대한 각도 파라미터 A의 예시적인 도출을 도시한다.
도 9a는 상이한 방향들과 연관된 (dir# 로서 도시된) dirIndex를 도시하고 도 9b는 감소된 예측 방향들의 예를 도시한다.
도 10은 실시예 1에서의 LUMA 블록들에 대한 인코더 및 디코더 흐름도들을 도시한다.
도 11은 실시예 2에서의 LUMA 블록들에 대한 인코더 및 디코더 흐름도들을 도시한다.
도 12는 본 실시예들이 적용될 수 있는 일반적 인코딩 실시예를 도시한다.
도 13은 본 실시예들이 적용될 수 있는 일반적 디코딩 실시예를 도시한다.
도 14는 다양한 양태들 및 예시적인 실시예들이 구현되는 예시적인 통신 채널의 블록도를 도시한다.
도 15는 일반적 설명된 양태들 하에서 인코딩하기 위한 방법의 일 실시예를 도시한다.
도 16은 일반적 설명된 양태들 하에서 디코딩하기 위한 방법의 일 실시예를 도시한다.
도 17은 일반적 설명된 양태들 하에서 인코딩 또는 디코딩하기 위한 장치의 일 실시예를 도시한다.

JEM(Joint Exploration Model)으로 알려진, 새로운 비디오 압축 표준에 대한 JVET(Joint Video Exploration Team) 제안에서, 높은 압축 성능으로 인해 QTBT(quadtree-binary tree) 블록 파티셔닝 구조를 받아들일 것이 제안되었다. BT(binary tree)에서의 블록은 그것을 중앙에서 수평으로 또는 수직으로 분할함으로써 2개의 동일한 크기의 서브 블록으로 분할될 수 있다. 결과적으로, BT 블록은, 블록들이 항상 동일한 높이 및 폭을 갖는 정사각형 형상을 갖는 QT(Quad Tree)에서의 블록들과는 달리, 동일하지 않은 폭 및 높이를 갖는 직사각형 형상을 가질 수 있다. HEVC에서, 각도 인트라 예측 방향들은 180 각도에 걸쳐 45도 내지 -135도로 정의되었고, 이들은 JEM에서 유지되었으며, 이는 타겟 블록 형상과 독립적인 각도 방향들의 정의를 이룬다. 그러나, CTU(Coding Tree Unit)을 CU들로 파티셔닝하는 아이디어가 객체들 또는 객체들의 부분들을 캡처하고 블록의 형상은 객체들의 방향성과 연관되기 때문에, 더 높은 압축 효율을 위해, 정의된 예측 방향들을 블록 형상에 따라 적응시키는 것이 의미가 있다. 이런 맥락에서, 설명된 일반적 양태들은 직사각형 타겟 블록들에 대해 인트라 예측 방향들을 재정의하는 것을 제안한다.

본 명세서에 설명된 일반적인 양태들은 QTBT 구조에 의한 인트라 예측을 개선함으로써 종래의 비디오의 압축 성능을 개선하는 것을 목표로 한다. 이는 CU의 형상에 따라 인트라 예측 방향들을 적응시키는 것을 제안한다. CU의 형상이 정사각형인 경우, JEM에서의 이미 정의된 방향들은 변하지 않은 채로 남아있다. 그렇지 않으면, 검색된 방향들은 CU의 형상에 따라 수정된다. 그러나, 임의의 CU에 대한 각도 방향들의 총 개수는 변하지 않은 채로 남아있다. 예측 방향들을 블록 형상에 적응시키려는 목적은 블록 형상과 독립적인, 현재 정의된 예측 방향들의 세트에 걸친 예측 정확도를 개선하는 것이다.

더욱이, 타겟 CU에 대한 예측 방향들의 총 개수는 변하지 않은 채로 남아 있으므로, MPM(Most Probable Mode) 세트를 사용하는 예측 모드의 인코딩 및 디코딩은 변하지 않은 채로 남아있다. 그러나, 상이한 형상들을 갖는 CU들은 상이한 정의된 방향 세트들을 갖기 때문에, 이웃 블록들의 예측 모드들은 타겟 블록의 예측 모드들에 매핑된다. 매핑은 단지 모드들의 리인덱싱(re-indexing)이고, 실제 예측 방향들은 변경되지 않는다.

HEVC(High Efficiency Video Coding, H.265)에서, 비디오 시퀀스의 프레임의 인코딩은 QT(quadtree) 블록 파티셔닝 구조에 기초한다. 프레임은 모두가 RD(rate-distortion) 기준에 기초하여 다중의 CU(coding unit)로의 쿼드트리 기반 분할을 겪는 정사각형 CTU(coding tree unit)들로 분할된다. 각각의 CU는 인트라-예측되는데, 즉, 이것은 인과적 이웃 CU들로부터 공간적으로 예측되거나, 또는 인터-예측되는데, 즉, 이것은 이미 디코딩된 참조 프레임들로부터 시간적으로 예측된다. I-슬라이스들에서, 모든 CU들은 인트라-예측되는 반면, P 및 B 슬라이스들에서 CU들은 인트라-예측 또는 인터-예측 둘 다일 수 있다. 인트라 예측을 위해, HEVC는 하나의 평면 모드(모드 0으로서 인덱싱됨), 하나의 DC 모드(모드 1로서 인덱싱됨) 및 33개의 각도 모드(모드들 2-34로서 인덱싱됨)을 포함하는 35개의 예측 모드를 정의한다. 각도 모드들은 시계 방향으로 45도 내지 -135도 범위의 예측 방향들과 연관된다. HEVC는 QT(quadtree) 블록 파티셔닝 구조를 지원하기 때문에, 모든 PU들(prediction units)은 정사각형 형상들을 갖는다. 따라서, 45도로부터 -135도까지의 예측 각도들의 정의는 PU(Prediction Unit) 형상의 관점에서 정당화된다. 크기 NxN 픽셀들의 타겟 예측 유닛에 대해, 상단 참조 어레이 및 좌측 참조 어레이는 각각 크기 2N+1 샘플을 가지며, 이것은 모든 타겟 픽셀들에 대해 전술한 각도 범위를 커버하도록 요구된다. PU의 높이와 폭이 동일한 길이를 가짐을 고려하면, 2개의 참조 어레이의 길이들의 동일성도 또한 이치에 맞다.

다음 비디오 코딩 표준에 대해, JEM(Joint Exploration Model)으로서의 JVET의 시도는 평면 및 DC 모드들 외에 65개의 각도 인트라 예측 모드들을 사용하는 것을 제안한다. 그러나, 예측 방향들은 동일한 각도 범위에 걸쳐, 즉, 시계 방향으로 45도로부터 -135도까지 정의된다. 크기 WXH 픽셀의 타겟 블록에 대해, 상단 참조 어레이 및 좌측 참조 어레이는 각각 크기 (W+H+1) 픽셀을 가지며, 이는 모든 타겟 픽셀들에 대해 전술한 각도 범위를 커버하도록 요구된다. JEM에서의 각도의 이러한 정의는 임의의 다른 특정 이유에 대해서보다 단순성을 위해 더 많이 행해졌다. 그러나, 그렇게 함에 있어서, 일부 비효율성이 도입되었다.

JEM에서, 더 높은 압축 성능으로 인해, 쿼드트리 구조만을 쓰는 것 대신에 QTBT(quadtree-binary tree) 블록 파티셔닝 구조를 사용하는 것이 제안되었다. 항상 정사각형 형상인 QT 블록들과는 달리, BT 블록들은 수평 또는 수직 2진 분할로 인해 동일하지 않은 폭 및 높이를 갖는 직사각형일 수 있다. 현재의 JEM 코드에서, 직사각형 블록의 종횡비는 2:1에서 8:1까지 변할 수 있다. 따라서, 상이한 각도 예측 모드들의 아이디어는 상이한 객체 방향성들을 캡처하는 것이고, CTU를 CU들로 파티셔닝하는 아이디어는 이러한 방향성들을 갖는 객체들 또는 객체들의 부분들을 캡처하는 것이다. 따라서, 타겟 블록의 형상은 블록에서의 객체의 방향성에 구조적으로 관련된다. 블록의 형상이 직사각형인 경우, 특정 예측 방향들은 다른 것들보다 더 많이 발생할 가능성이 있다. 따라서 예측 방향들의 정의는 타겟 블록 형상과 관련되어야 하는데, 이는 JEM에서의 경우이다.

정사각형 블록의 경우에는, 구조적 대칭이 있다. 정사각형 블록은 높이와 폭 모두를 따라 대칭일 뿐만 아니라, 도 1에 도시된 바와 같이 2개의 참조 어레이에 대해 대칭적으로 배치된다.

도 1은 상단 및 좌측 참조 어레이들을 갖는 정사각형 타겟 블록을 도시한다. 타겟 블록은 2개의 참조 어레이에 대하여 대칭으로 배치된다. 예측 방향들은 시계 방향으로 45도 내지 -135도로 정의되며, 여기서 모드 2는 45도 각도에 대응하고 모드 66은 -135도 각도에 대응한다.

직사각형 블록의 경우에, 이는 현재 정의된 방향들에 대해 그렇지 않다. 블록이 납작할 때(즉, W > H), 이것은 상단 참조 어레이에 더 가깝게 배치되지만 비대칭적으로 배치된다. 유사하게, 블록이 키가 클 때(예를 들어, W < H), 이것은 좌측 참조 어레이에 더 가깝게 배치되지만, 비대칭적으로 배치된다. 이 비대칭은 도 2에 도시되어 있다.

도 2는 그들의 상단 및 좌측 참조 어레이들을 갖는 직사각형 타겟 블록들(좌측상의 납작한 블록, 우측상의 키 큰 블록)을 도시한다. 타겟 블록들은 2개의 참조 어레이에 대하여 비대칭으로 배치된다.

이 비대칭의 결과는 일부 예측 모드들에 대해 타겟 픽셀이 더 먼 참조 어레이로부터 예측될 것인 반면, 더 가까운 참조 어레이는 정의된 각도들 때문에 배제될 것이라는 점이다. 이것은 도 3에 도시되어 있다.

도 3은 그들의 상단 및 좌측 참조 어레이들을 갖는 직사각형 타겟 블록들(좌측상의 납작한 블록, 우측상의 키 큰 블록)을 도시한다. 좌측에서, 타겟 픽셀 A는 수평 예측 방향을 갖는 좌측 참조 어레이상의 예측자 샘플 L을 갖는다. 상단 참조 어레이상의 샘플 T가 더 가깝기는 하지만, 수직 예측 방향은, T가 A에 대한 예측자 샘플일 수 있도록, JEM에서 허용되지 않는다. 우측 도면은 키 큰 블록에서의 타겟 픽셀에 대한 유사한 경우를 도시한다.

블록이 더 납작하거나 더 키가 클수록(즉, 더 짧은 측에 대한 더 긴 측의 비율이 더 높을수록), 이러한 비대칭은 더 현저해진다. 예측의 부정확성 때문에, 이러한 예측 모드들은 실제 테스트 결과들에서 알 수 있는 바와 같이 가능성이 더 적게 된다.

현재 정의된 방향들에서의 비효율성에 대한 또 다른 논점은, 수평으로 및 수직으로 예측 방향들의 개수의 동등성이다. JEM에서는, 대각선 모드(모드 34)를 제외하고, 수평 방향과 수직 방향 모두에 32개의 모드가 있다. 정사각형 CU에 대해, 높이와 폭 둘 다가 동일하면, 수평 방향 및 수직 방향 모두를 따라 동일한 개수의 예측 모드들을 갖는 것이 이치에 맞는다. 블록이 한 변이 다른 변보다 긴 직사각형일 때, 더 긴 변에서의 예측 방향들의 개수는 단순히 해당 변에서의 더 높은 수의 구조적 방향성들의 가능성 때문에 더 커야 한다. 납작한 블록에 대해, 수직 대 수평 모드 개수의 비율은 폭 대 높이의 비율의 차수를 가져야 한다. 유사하게, 키 큰 블록에 대해, 수평 대 수직 모드 개수의 비율은 높이 대 폭의 비율의 차수를 가져야 한다. 고려할 관련 사항은 참조 어레이들의 길이이다. 높이 및 폭 둘 다가 동일한 정사각형 CU에 대해, 참조 어레이들에 대해 동일한 길이를 갖는 것이 이치에 맞다. 그러나, 직사각형 블록들에 대해, 직관적으로, 폭이 높이보다 큰 경우, 상단 참조 어레이는 좌측의 것보다 더 많은 샘플들을 가져야 한다.

유사하게, 폭보다 큰 높이를 갖는 블록들에 대해, 좌측 참조 어레이는 상단의 것보다 더 많은 샘플들을 가져야 한다. 이러한 직관은 납작한(키 큰) 직사각형 블록이 수평 (수직) 방향을 따라 더 많은 샘플들 또는 정보를 갖는다는 사실에 기초한다. 마찬가지로, 키 큰 직사각형 블록은 수직 방향을 따라 더 많은 샘플들 또는 정보를 갖는다. 따라서, 45도 내지 -135도의 현재 정의된 방향들은, 수평 및 수직 방향들 모두에서 동일한 개수의 예측 모드들을 낳을 뿐만 아니라 동일한 길이의 참조 어레이들을 낳는데, 직사각형 블록들에 대해 다소 비효율적이다.

전술한 문제들을 해결하고 직사각형 블록들의 예측 효율을 개선하기 위해, 이하에서는 다양한 블록 형상들에 대한 각도 예측 모드들을 정의하고 인덱싱하는 체계적인 방식이 제시된다. 이후, 다음 섹션에서, 이 모드 정의를 지원하기 위해 예측 모드 코딩에서의 제안된 변경들이 제시될 것이다.

JEM에서, BT(2진 트리) 타겟 블록들은 그들의 폭들 및 높이들의 길이들에 의존하여 상이한 형상들을 가질 수 있다. 블록 형상에 의존하는 모드들을 정의하기 위해, 일반적인 방법이 아래에 제시된다. 이 방법에서, 임의의 블록에 대한 예측 모드들의 개수는 JEM에서와 동일하게 유지되지만, 예측 방향들은 상이한 형상들의 블록들에 대해 상이할 수 있다. 게다가, 정사각형 형상의 블록은 단지 동일한 높이 및 폭을 갖는 특별한 경우이며, 이 경우에는 아무것도 변경되지 않는다. 다시 말해서, 정사각형 타겟 블록의 경우, 예측 모드들 및 연관된 예측 방향들은 변하지 않은 채로 남아있다.

직사각형은 도 4에 도시된 바와 같이 그 폭 W 및 높이 H에 의해 정의된다. A, B, C, 및 D가 그의 4개의 꼭지점을 나타낸다면, 도면에 도시된 바와 같이, AC는 그의 주 대각선이고 BD는 그의 2차 대각선이다. 정사각형은 W=H일 때의 특수 직사각형이다. 도 4는 직사각형 블록의 속성들을 도시한다.

폭 W 및 높이 H의 임의의 타겟 블록에 대해, 도 5에 도시된 바와 같이, 2차 대각선을 따라 모드 2는 꼭지점 D로부터 꼭지점 B를 향하는 방향과, 모드 66은 꼭지점 B로부터 꼭지점 D를 향하는 방향과 연관될 것이다. 대각선 모드는 주 대각선을 따라 꼭지점 A로부터 꼭지점 C로의 방향과 연관된다. 모드 2로부터 대각선 모드까지의 모든 모드들은 좌측 모드들로 명명될 것이다. 유사하게, 대각선 모드를 포함하여 대각선 모드로부터 모드 66까지의 모든 모드들은 상단 모드로 명명될 것이다. 좌측 모드들은 수평 방향들과 연관된다. 유사하게, 상단 모드들은 수직 방향들과 연관된다. 수평 모드 또는 순수 수평 모드는 0도 각도에 대응하는 좌측 모드이다. 수직 모드 또는 순수 수직 모드는 -90 도 각도에 대응하는 상단 모드이다.

도 5는 직사각형 블록에 대한 예측 방향들의 정의를 도시한다. 모드 2는 꼭지점 D로부터 꼭지점 B로의 2차 대각선을 따른 것이다. 모드 66은 모드 2에 대한 반대 방향을 따른 것이다. 대각선 모드는 꼭지점 A로부터 꼭지점 C로의 주 대각선을 따른다.

도 6은 상단 참조 어레이가 길이 2W+1을 갖는 것과, 좌측 참조 어레이가 길이 2H+1을 갖는 것을 도시한다. 폭 W 및 높이 H는 도 6의 백색 블록들의 치수이다.

이들 예측 방향을 지원하기 위해, 길이 2W+1을 갖는 상단 참조 및 길이 2H+1을 갖는 좌측 참조가 도 6에 도시된 바와 같이 정의된다. 정사각형 블록의 경우에, 도면은 도 1에서의 경우와 동일할 것이며, 여기서 W=H=N이다.

납작한 블록에 대해, 상단 참조의 길이는 좌측 참조 어레이의 길이보다 크다는 점에 유의한다. 상단 모드들의 개수도 좌측 모드들에 비해 크다. 유사하게, 키 큰 블록에 대해, 그 반대가 참이다. 좌측 참조의 길이는 해당 경우에 상단 참조 어레이의 길이보다 크다.

더욱이, 블록의 위치는 참조 어레이들에 대해 대칭이다. 타겟 블록이 정사각형일 때, 완벽한 대칭이 있고, 예측 방향들 및 참조 어레이들의 길이들은 도 1에서와 같이 JEM 정의들을 정확히 매칭시킨다.

상기 정의의 아름다움은 블록 형상과의 예측 방향들의 적응성이다. 여기서, 모드들 2 및 66은 45도 각도 및 -135도 각도를 따른 방향들에 대응하는 것으로 정의되지 않고, 오히려 2차 대각선을 따른 방향들로 정의된다는 점에 주목한다. 납작한 블록의 경우에, 45도 부근에 있고 그를 포함하는 일부 방향들이 제거되지만, 동일한 개수의 방향들이 -135도 각도를 넘어서 정확히 반대 방향들에서 추가된다. 유사하게, 키 큰 블록의 경우에, -135도 부근에 있고 그를 포함하는 일부 방향들이 제거되지만, 동일한 개수의 방향들이 -45도 각도를 넘어서 정확히 반대 방향들에서 추가된다. 45도 각도로부터의 모드 2의 오프셋을 "modeShift"로서 지칭할 것이며, 이것은 (모드 2와 45도 각도 사이의) 제거된 모드들의 개수로, 또는 등가적으로 (각도 -135도와 모드 66 사이의) 추가된 모드들의 개수로 정의된다. 납작한 블록들은 양의 modeShift를 갖는 반면, 키 큰 블록들은 음의 modeShift를 가질 것이다. 정사각형 블록에 대해, modeShift는 0이다.

블록의 modeShift는 정사각형 블록의 시작 모드에 대한 그 시작 모드(즉, 모드 2)의 오프셋을 나타낸다. 분명히, 그것은 블록의 형상의 함수이다. 중요한 관찰은 블록의 modeShift가 그의 폭 및 높이의 절대값들에 의존하지 않고 오히려 그들의 비율에 의존한다는 것이다. 이것은 도 7에 도시되어 있다. 직사각형 ABCD(폭 W1 및 높이 H1) 및 직사각형 EFGH(폭 W2 및 높이 H2)는 동일한 예측 방향들(따라서, 동일한 modeShift)을 갖는다. 삼각형들의 닮음을 사용하면, W1/W2=H1/H2가 보여질 수 있다. 따라서, W1/H1=W2/H2이다. 따라서, 폭 대 높이(또는 그 반대)의 동일한 비율을 갖는 블록들은 수평 및 수직 방향들 모두에서 동일한 예측 모드들을 가질 것이다.

도 7은 동일한 종횡비(폭 대 높이의 비율)를 갖는 블록들이 동일한 예측 방향들 및 따라서 동일한 modeShift를 갖는 것을 도시한다.

모드 번호(2-66)는 예측 방향에 대한 인덱스 또는 라벨에 불과하다. 대응하는 방향은 HEVC 및 JEM에서의 각도 파라미터 A에 의해 특정된다. JEM에서의 상이한 예측 모드들에 대한 A의 값들이 표 1에 제시된다.

45도 또는 -135도 각도들을 넘어서 도입되는 방향들에 대한 각도 파라미터들은 반대 방향들의 각도 파라미터로부터 쉽게 도출될 수 있다. 타겟 픽셀이 -135도 각도를 넘은 예측 방향을 따라 수직으로 예측되는 도 8을 고려한다. W 및 H가 블록의 폭 및 높이를 나타낸다고 하자. 타겟 픽셀의 좌표를 (x, y)로서 표기하고 여기서 0<=x<W이고 0<=y<H이다. 타겟 샘플로부터 상단 참조 어레이상의 예측자 샘플의 수평 변위는

로 주어진다. 예측 방향이 좌측 참조 어레이와 교차하도록 확장되면, 타겟 샘플로부터의 교차 포인트의 수직 변위는

로 주어진다.

도 8은 -135도를 넘은 수직 방향에 대해 각도 파라미터 A를 도출하는 예이다.

은 (x, y)에서의 타겟 픽셀에 대한 예측자의 수평 변위이다. 예측이 반대 방향(수평인 것)에서 있었던 경우, 예측자는 수직 변위

을 가질 것이다.

삼각형들의 닮음을 사용하는 것은 다음과 같은 결과를 낳는다:

[표 1]

[표 2]

JEM에서 사용되는 바와 같이, 여기서 계산은 2개의 가장 가까운 샘플 간의 거리가 (1/32) 샘플 해상도를 이용하여 (1<<5)라는 사실을 사용하였다. 이것을 단순화하면 다음의 결과를 낳는다:

예측 각도는 수평 방향과 반대이며

을 갖고, 여기서 A는 수평 방향에 대한 각도 파라미터의 값을 나타낸다. 상기 수학식에 대입하면, 다음의 결과를 낳는다:

따라서, 수직 방향에 대한 각도 파라미터는 다음과 같이 주어진다

여기서 A는 반대 방향의 각도 파라미터이다. A가 단지 정수 값들을 갖기 때문에, 위의 표현은

에 대한 분수 값들을 야기할 수 있다. 따라서, 값을 가장 가까운 정수로 반올림하면:

45도 각도를 넘은 수평 방향을 고려하였다면 동일한 표현이 획득될 것이다.

그 경우, A는 반대 수직 방향의 각도 파라미터를 나타낼 것이다. BT 블록 형상에 관계없이, 블록이 직사각형이면, 새롭게 도입된 방향들은 (반올림 내에서) 제거된 방향들과 정확히 반대라는 점에 유의한다. 따라서, 제거된 방향들의 A 파라미터는 새롭게 도입된 반대 방향의 A 파라미터를 계산하기 위해 사용될 수 있다. 제거된 방향들 및 새로 도입된 방향들 모두는 항상 양이다(양의 수평 또는 양의 수직). 따라서, 이들은 양의 A 파라미터 값들을 갖는다. 표 2는 JEM에서의 양의 A 값들, 및 상기 계산된 바와 같은

의 대응하는 값들을 열거한다.

표 2로부터의 값들을 이용하면, 상이한 납작한 블록 형상들에 대한 각도 파라미터들이 아래에 주어진다. 키 큰 블록들에 대한 각도 파라미터들은 유사한 방식으로 도출될 수 있지만, 여기서는 도시되지 않는다. 표들을 지정하기 전에, 유의할 2가지 점이 있다. 먼저, 상기 표에서 알 수 있는 바와 같이, JEM은 이산 각도 방향들에 대한 각도들을 지정한다. 따라서, 시작 및 종료 방향들은 2차 대각선과 정확히 매칭되지 않을 수 있다. 유사하게, 한 방향은 대각선 방향과 정확히 매칭되지 않을 수 있다. 이 경우, JEM에서의 지정된 방향들을 변경하지 않고서, 제안된 방법은 이 목적을 위해 가장 가까운 방향들을 취할 것이다. 둘째로, JEM에서, BT 블록에 대해, 더 큰 변 대 더 작은 변의 길이의 비율은 값들 1, 2, 4, 및 8 만을 가질 수 있다. 비율이 1이면, 그것은 정사각형 블록이고, 이 경우에 방향들은 변경되지 않은 채로 남아있다. 따라서, 이하에서는, 단지 2, 4, 및 8과 동일한 W/H(폭/높이)를 갖는 모드 번호에 대한 블록들에 대한 A 값들이 제시된다. W/H 값이 증가함에 따라, 수평 방향들의 개수가 감소되고, 수직 방향들의 개수가 증가된다. 따라서, 4와 동일한 W/H에 대해, 2와 동일한 W/H로부터의 수직 방향들을 재사용하고, 8과 동일한 W/H에 대해, 4와 동일한 W/H에 대한 수직 방향들을 재사용한다. 이들은 표에서 볼드체로 도시된다. 관례에 따라, 수직 방향에서의 대각선 모드가 포함된다.

JEM에서의 또는 임의의 표준에서의 미래의 변화들에 대해 허용될 수 있는, 16 및 32와 같은 더 높은 W/H 비율들에 대해, 유사한 접근법이 뒤따라올 수 있다는 점에 유의한다.

사례 1: W/H = 2

modeShift = 6

수평 방향들(좌측 모드들)의 개수 = 20

수직 방향들(상단 모드들)의 개수 = 2 * 6 + 33 = 45

표 3에서, 모드들 22-27에 대응하는 방향들이 이미 JEM에서 정의된 것을 유의하는데, 여기서 이들은 수평 방향들이다. 여기서, 이들은 대각선 방향이 이제 모드 22에 대응하기 때문에 수직 방향들로 그룹화된다. A 파라미터 값들은 블록의 상단 에지를 따른 변위들의 관점에서 재계산되어야 한다.

사례 2: W/H = 4

modeShift : 10

수평 방향들(좌측 모드들)의 개수 = 12

수직 방향들(상단 모드들)의 개수 = 2 * 4 + 45 = 53

[표 3]

[표 4]

표 4에서, 모드들 14-17에 대응하는 방향들이 이미 JEM에서 정의된 것을 유의하는데, 여기서 이들은 수평 방향들이다. 여기서, 이들은 대각선 방향이 이제 모드 14에 대응하기 때문에 수직 방향들로 그룹화된다.

사례 3: W/H = 8

modeShift : 12

수평 방향들(좌측 모드들)의 개수 = 8

수직 방향들(상단 모드들)의 개수 = 2 * 2 + 53 = 57

표 5에서, 모드들 10-11에 대응하는 방향들이 이미 JEM에서 정의된 것을 유의하는데, 여기서 이들은 수평 방향들이다. 여기서, 이들은 대각선 방향이 이제 모드 10에 대응하기 때문에 수직 방향들로 그룹화된다.

표에서 알 수 있는 바와 같이, 모드 인덱스는 블록 형상에 관계없이 항상 2-66 사이에서 변할 것이다. 그러나, 상이한 블록들에 대해, 동일한 모드 인덱스가 상이한 예측 방향들에 대응할 수 있다. 따라서, 이들 사이를 구별하기 위해, dirIndex라고 불리는 파라미터를 도입하는 것이 여기서 제안되는데, 이것은 다음과 같이 정의된다:

dirIndex는 단지 하나의 예측 방향에 대응할 것이고, 그 반대도 마찬가지이다. 표 6은 modeShift 값들과 함께 상이한 타겟 블록 형상들에 대한 dirIndex의 범위를 나타낸다.

도 9a는 (dir# 로서) 방향 인덱스들로 지정된 예측 방향들을 도시한다. 180도보다 큰 각도에 걸쳐 있는 총 89개의 가능한 예측 방향들이 있다. 방향들의 총 개수가 65보다 크지만, 임의의 주어진 타겟 블록에 대해, 단지 65개의 인접한 방향이 예측에 대해 체크된다. 이들 65개의 방향은 라인을 따라 180도에 걸쳐 있다. 방향들은 수직 또는 수평 방향들에서 더 많거나 더 적은 개수의 방향들을 체크하기 위해 타겟 블록 크기로 적응된다.

예측 방향들의 JEM 정의에서, 방향들이 서로 정확하게 반대인 한 쌍의 방향들(dir# 0 및 dir# 64)만이 있다. 이제, 정확히 반대인 방향 쌍들의 범위가 존재한다는 점에 유의한다.

[표 5]

[표 6]

0보다 작거나 같은, 또는 64보다 크거나 같은 인덱스를 갖는 임의의 방향에 대해, 반대 방향은 모든 가능한 방향들의 세트에 포함된다. 그러나, 임의의 주어진 타겟 블록에 대해, 모드 2 및 모드 66에 대응하는 방향들만이 반대이다. 0보다 작거나 같은 dirIndex를 갖는 방향들은 양의 A 값들을 갖는, 45도 각도를 넘은 양의 수평 방향들에 대응한다. 64보다 크거나 같은 dirIndex를 갖는 방향들은 양의 A 값들을 갖는, -135도 각도를 넘은 양의 수직 방향들에 대응한다.

도 9a는 상이한 방향들과 연관된 (dir#로서 도시된) dirIndex를 도시한다. 정사각형 블록들에 대해, dirIndex는 0으로부터 64까지 변하여 45도로부터 -135도까지 정의된 65개의 방향에 대응한다. 납작한 블록들에 대해, 형상에 의존하여 dirIndex는 일부 수직 방향들에 대해 64보다 크다. 유사하게, 키 큰 블록들에 대해, 형상에 의존하여, dirIndex는 일부 수평 방향들에 대해 0보다 작다.

방향들의 개수는 또한 위에서 제시된 개수를 넘어서 제한되거나 확장될 수 있다. 도 9b에서 33개의 HEVC 방향의 가설적인 경우를 고려하고, 동작을 대각선 모드들에 가장 가까운 2개의 모드에 제한한다. 이 경우, 블록 폭이 그 높이보다 큰 경우, 모드 2 및 모드 3은 제거된 수평 모드들일 것이다. 또한, 모드 3 및 모드 4는 종래의 모드 또는 새롭게 생성된 모드 35 및 모드 36에 의한 플립된(flipped) 광각 방향들을 이용할지를 나타내는 여분의 플래그들을 가질 것이고, 새로운 수직 모드들은 새로운 예측 방향들을 차지한다.

각도 파라미터 A의 상기 정의들에서, 대각선 방향은 블록 형상에 따라 변경되었다. 그러나, 이것은 강제 요건은 아니다. 대각선 모드의 변화는 단지 일부 수평 음의 방향들을 수직 음의 방향들로 변환하거나, 그 반대도 마찬가지이다. 변환은 새로운 방향들을 새로운 각도 파라미터

을 갖는 광각들로서 만든다. 이들 각도는 변환 전의 원래의 음의 방향들과 연관된 원래의 각도들과 동일하지 않을 수 있는데, 그 이유는 각도 파라미터

의 도출에 수반되는 반올림이 있기 때문이다. 그러나 이들은 매우 가까울 것이다. 따라서, 대각선 모드의 변화는 성능 이득에 많은 것을 더하지 않는다. 이것은 양의 방향들에서의 광각들이고(납작한 블록들에 대해 양의 수직 및 키 큰 블록들에 대해 양의 수평), 이는 중요한 일부 기존 양의 방향들(납작한 블록들에 대해 양의 수평, 및 키 큰 블록들에 대해 양의 수직)을 대체하기 위해 더해진다. 따라서, 모든 실용적인 목적을 위해, 원래의 대각선 방향은 변하지 않은 채로 남겨질 수 있다. 표 3, 표 4, 및 표 5에서, 이는 수반된 모드들을 수직 측으로부터 수평 측으로 이동시킬 것이고, 이들의 A 값들은 구 A 값들에 의해 대체된다. 이는 수평 모드들의 최종 열이 29와 동일한 A 값을 가질 것이고, 수직 모드들의 제1 열이 모든 표에 대해 -32와 동일한 A 값을 가질 것임을 의미한다. 대각선 모드를 변하지 않게 유지하는 것은 납작한 블록들에 대해서는 단지 -135도를 넘어서, 그리고 키 큰 블록들에 대해서는 45도를 넘어서 새로운 광각 방향들을 더하려는 목적에 또한 부합될 것이다. 다양한 W/H 비율들에 대한 표들이 하기 표 3-b, 표 4-b, 및 표 5-b에 제시된다.

[표 3-b]

[표 4-b]

[표 5-b]

새로운 예측 방향들을 지원하기 위해, 참조 어레이들의 길이를 조정할 필요가 있다. 앞서 언급된 바와 같이, 제안된 예측 방법에 의해, 상단 참조 어레이의 길이는 2*W+1이고, 좌측 참조 어레이의 길이는 2*H+1인데, 여기서 W 및 H는 타겟 블록의 폭 및 높이를 나타낸다. 그러나, 상이한 블록 형상들에 대한 정의된 방향들이 정확한 방식으로 블록 형상과 매칭되지 않기 때문에, 몇 개의 더 많은 샘플만큼 더 짧은 참조 어레이를 연장하는 것이 필요하다. 더 긴 참조 어레이 크기는 그 측면에서 정의된 방향들을 지원하기에 충분하다. 이는 하기에 설명된다.

W > H인 경우를 먼저 고려한다. 표 3, 표 4, 및 표 5를 참조하면, 모드 인덱스 2에 대응하는 각도 파라미터 A는 ((H * 32)/W)+ 1과 동일하다는 것에 주목한다. 따라서, 2, 4, 및 8과 동일한 W/H에 대해, 각도 파라미터 A는 제각기 17, 9, 및 5이다. 주어진 A 값에 대해, 임의의 행을 따라 W개의 샘플에 대한 예측을 지원하는 참조 어레이의 부분은 (A * W+ 31) >> 5 와 동일하다. 상기 각도에 의해, 타겟 블록의 최종 행에 이를 적용하면, 좌측 참조 어레이상에 1+ H+((A*W+ 31) >> 5)개의 참조 샘플을 갖는 것이 요구된다. 따라서, 좌측 참조 어레이에 대한 요구된 연장은 다음과 같이 주어진다

모드 2에 대응하는 A의 값을 대입하면, 상기 표현식은 다음과 같이 단순화될 수 있다:

상이한 블록 크기들에 대한 H_Ext 값들이 아래에 주어진다. 여기서, 128의 최대 블록 크기가 JEM에서 사용되는 바와 같이 가정된다. 또한, (W/H)의 최대값은 8과 동일하다고 가정한다.

H > W일 때, 상단 참조는 몇 개의 샘플만큼 연장될 필요가 있다. 샘플들의 개수는 유사한 방식으로 추론될 수 있다:

각도 파라미터 A의 대칭 때문에, 여기서 A의 값들은 W > H의 경우에 대한 것들과 동일하다. 모드 인덱스 66에 대응하는 각도 파라미터는 ((W * 32)/H + 1)과 동일할 것이다. 이 값을 사용하면, 위의 표현식은 다음과 같이 단순화될 수 있다:

상이한 블록 크기들에 대한 W_Ext 값들이 아래에 주어진다. 여기서, 128의 최대 블록 크기가 JEM에서 사용되는 바와 같이 가정된다. 또한, (H/W)의 최대값은 8과 동일하다고 가정한다.

연장 값들 H_Ext 및 W_Ext는 더 높은 폭 대 높이, 또는 높이 대 폭 비율들에 대해 동일한 방식으로 계산될 수 있다.

상기 연장들은 더 짧은 참조 어레이에 대해 요구되는 추가 샘플들의 최소 개수이다. 그러나, 구현의 이점을 위해, 모든 예측 각도들을 지원하는데 필요한 최소보다 추가 개수의 참조 샘플들을 취하는 것이 바람직할 수 있다. 하기에서, 여러 변형들을 제공한다.

한 변형에서, 상단 또는 좌측 참조 어레이에 대한 샘플들의 개수는 2 *max(W,H)+1이고, 여기서 W>=H인 경우 max(W,H)=W이고, 다른 경우에는 max(W,H)=H이다.

또 다른 변형에서, 상단 참조 어레이 상의 샘플들의 개수는 W+max(W,H)+1이고, 좌측 참조 어레이 상의 샘플들의 개수는 H+max(W,H)+1이다.

더 긴 참조 어레이 상의 샘플들의 개수는 충분하지만, 항상 필요한 것은 아니다. 일부 경우에, 어떠한 예측 모드에도 사용되지 않는 일부 중복 샘플 더 긴 참조 어레이가 존재한다. 따라서, 더 긴 측면 상의 참조 샘플들의 개수를 감소시키는 것이 가능하다. 또 다른 변형에서, W > H인 경우, 좌측 참조 상의 샘플들의 개수는 (2*H + 1 + d_h)와 동일하고, 상단 참조 어레이 상의 샘플들의 개수는 (2 * W + 1 - d_h)와 동일한데, 여기서 파라미터 d는 블록 크기에 의존한다. 예를 들어, W=8 및 H=4인 경우, d_h=0이고, 다른 경우에는 d_h=H_ext이다. H > W인 경우, 좌측 참조 상의 샘플들의 개수는 (2*H + 1 - d_w)와 동일하고, 상단 참조 어레이 상의 샘플들의 개수는 (2* W+ 1+ d_w)이고, 여기서 파라미터 d_w는 블록 크기에 의존한다. 예를 들어, H=8 및 W=4인 경우, d_w= 0이고, 다른 경우에는 d_w=W_ext이다. 이러한 변형은 참조 어레이들(상단 좌측 샘플의 복제 없음) 둘 모두 상의 샘플들의 총 개수가 정사각형 타겟 블록에 대한 참조 샘플들의 총 개수와 동일한 약 2*W + 2*H +1에 유지된다는 장점을 갖는다.

광각들의 개수가 하드웨어 또는 시스템 제약으로 인한 특정 최대값에 제한되는 경우, 필요한 추가의 샘플들의 개수는 W > H인 경우 모드 인덱스 2에, 또는 H > W인 경우 모드 인덱스 66에 대응하는 각도 파라미터를 사용하여 위에서 주어진 것과 동일한 방식으로 정확하게 계산될 수 있다. ""CE3-related: Wide angle intra prediction for non-square blocks, JVET-K0500, Ljubljana, SI, 10-18 July 2018"에서, 광각들의 최대 개수는 10이고, 이는 W/H=4 또는 H/W=4에 대응한다. W/H(또는 H/W)의 더 큰 값들에 대해, 광각들의 개수는 여전히 10 이고, 이들은 W/H=4(또는 H/W=4)에 대한 것들과 정확히 동일하다. 이러한 제한 때문에, 연장으로서 더 짧은 참조 측에 대해 요구되는 추가 참조 샘플들의 총 개수는 단지 4개의 샘플보다 더 많을 수 있다. 예를 들어, 4x32 블록에 대해, 추가 샘플들의 개수는 1을 대신하여 5와 동일하다. 유사하게, 랜덤 액세스 구성(제각기 W/H=16 및 32를 가짐)에서 JEM에서 허용되는 크기 4x64 및 4x128의 블록들에 있어서, 추가 샘플들의 개수는 제각기 2 및 4를 대신하여 14 및 32이다. 이 경우에, 하기의 변형들이 제안된다.

또 다른 변형에서, 참조 어레이 길이들은 다음과 같이 계산될 수 있다:

또 다른 변형에서, 참조 어레이 길이들은 샘플들의 총 개수가 약 1 + 2*W + 2*H이도록 계산될 수 있다:

64x128 또는 128x64까지의 모든 가능한 블록 크기들을 감당하기 위해 상기 변형들에서 4개 픽셀의 연장이 사용된다는 것을 주목하여야 한다. 최대 블록 크기가 시스템 또는 하드웨어 제약으로 인해 제한되는 경우, 1 또는 2와 같은 더 작은 값들이 사용될 수 있다. 이하의 변형들은 더 짧은 참조 측 상에서 정확한 최소 개수의 요구되는 샘플들을 사용한다.

의사 코드에서의 연산들은 정수 연산들인데, 예를 들어, W/H는 1, 2, 4, 8, 16, 32와만 동일할 수 있다는 점에 유의한다(즉, 어떤 분수도 없음). 하나의 변형에서, 참조 어레이 길이들은 다음과 같이 계산될 수 있다:

상기 변형에서, 더 긴 참조 어레이의 길이는 변경되지 않는다. 또 다른 변형에서, 참조 어레이 길이들은 다음과 같이 계산될 수 있다:

광각들의 최대 개수가 상기와 같이 제한될 때, W > H인 경우 H_Ext 또는 H > W인 경우 W_Ext는 다음과 같이 단순화된 형태로 표현될 수 있다:

이들은 다음과 같이 동등하게 표현될 수 있다:

이들 단순화된 표현들을 사용하며, 앞서 주어진 2개의 변형은 다음과 같이 동등하게 표현될 수 있다: 하나의 변형에서, 더 짧은 참조 어레이만이 연장될 때:

다른 변형에서, 더 긴 참조의 길이는 또한 변경되어 참조 샘플들의 총 개수가 약 1 + 2*W + 2*H가 되도록 한다.

휘도에 대한 예측 모드를 인코딩하기 위해, MPM(most probable mode)의 개념이 JVET에서 유지된다. 인과적 이웃 블록들(이들이 이용가능하고 인트라 예측되는 경우)의 예측 모드들, 평면 및 DC 예측 모드들, 및 직접 수직, 직접 수평, 모드 2, 모드 66 및 모드 34와 같은 일부 고정된 각도 모드들을 사용하면, 6개 모드의 MPM 세트가 구성된다. 나머지 예측 모드들은 16개 모드의 선택된 세트 및 45개의 나머지 모드의 세트로 파티셔닝된다. 타겟 블록의 예측 모드가 MPM 세트에 속하는 경우, 그것은 멤버 MPM의 인덱스로 인코딩된다. 그것이 선택된 세트에 속하는 경우, 그것은 4 비트로 인코딩된다. 그렇지 않으면, 이것은 절단된(truncated) 이진 코드로 인코딩된다.

직사각형 BT 블록들에 대한 예측 방향들의 제안된 수정은 일부 변경들을 가지며 JEM에서와 동일한 코딩 방식을 유지한다. 타겟 블록의 인과적 이웃들은 상이한 형상들을 가질 수 있다. 따라서, 이들은 상이한 예측 방향 범위들을 가질 수 있다. 더욱이, 이들은 이들이 상이한 예측 방향들과 연관되더라도 동일한 예측 모드들을 가질 수 있다. 이는 MPM 세트의 구성에서 문제를 일으킬 것이다. 따라서, 제1 단계에서, 이웃 블록들의 예측 모드들은 예측 방향 인덱스(dirIndex)를 통해 타겟 블록의 예측 모드에 매핑된다.

둘째로, 주어진 타겟 블록에 대해, dirIndex는 65개의 인접한 방향에 PLANAR 및 DC 모드들을 더한 것만을 가질 수 있다. 이웃 블록의 예측 모드가 0(PLANAR) 또는 1(DC)이면, 어떠한 매핑도 수행되지 않고, 모드들은 MPM 세트에 포함시키기 위해 체크된다. 모드가 1보다 큰 경우, 모드는 대응하는 방향 인덱스에 매핑된다. 방향 인덱스가 타겟 블록에 대한 65개 방향의 범위에 속하는 경우, 타겟 블록에 대한 대응하는 모드 번호가 MPM 세트에 포함시키기 위해 체크된다. 그렇지 않으면, 반대 방향에 대응하는 모드가 MPM 세트에 포함시키기 위해 체크된다. 방향이 타겟 블록의 방향 세트에 속하지 않는 경우, 대응하는 광각 방향은 세트에 속해야만 한다는 점에 유의한다.

방향에의 모드의 매핑은 수학식 1을 이용하여 행해진다. 그 다음, 방향이 주어지면, 타겟 블록의 모드에의 매핑은 다음의 수학식을 이용하여 행해진다:

여기서 타겟 블록의 modeShift가 사용된다. 수학식 1로부터 dirIndex를 사용하면, 다음과 같이 된다:

여기서 첨자 TB 및 NB는 제각기 타겟 블록 및 이웃 블록을 표시하기 위해 사용된다. 결과적인 modeIndex_TB가 0보다 작거나 66보다 크면, 이는 이웃 블록의 모드와 연관된 방향이 타겟 블록에 대한 예측 방향들의 세트에 속하지 않는다는 것을 함의한다. 이 경우에, 연관된 광각 방향이 사용된다. modeIndex_TB < 0인 경우, 이에 67을 더하거나, 또는 modeIndex_TB > 66인 경우, 그로부터 65를 뺀다. 결과적인 모드는 연관된 광각 방향과 연관된다.

위의 매핑을 명확하게 하는 2가지 예가 아래에 보여진다.

예 1: 타겟 블록은 W=8 및 H=8을 갖는다. 그것의 좌측 이웃은 W=8 및 H=4를 갖고, 예측 모드 m=2이다.

W/H=2 이기 때문에, 좌측 이웃에 대한 modeShift는 6이다. 타겟 블록은 정사각형이고 그의 modeShift는 0이다. 따라서, 새로운 modeIndex는 m = 2 + 6 - 0 = 8 로서 획득된다.

예 2: 타겟 블록은 W=4 및 H=32를 갖는다. 그것의 좌측 이웃은 W=16 및 H=4를 갖고, 예측 모드 m=8이다.

W/H=16/4=4 이기 때문에, 좌측 이웃에 대한 modeShift는 10이다. 타겟 블록에 대해, W/H=4/32=1/8이다. 그의 modeShift는 -12 이고, 방향 인덱스들은 -12 내지 52의 범위이다. 따라서, 새로운 modeIndex는 m = 8 + 10 -(-12) = 30으로서 획득된다.

모드 코딩 프로세스의 나머지는 변경되지 않은 채로 남아있다. MPM 세트에서의 6개 모드를 제외하고, 나머지 모드들은 16개 모드들의 선택된 세트 및 나머지 45개 모드로 구성된 세트로 분할된다.

타겟 블록이 정사각형이더라도, 매핑은 모두 정사각형은 아닐 수 있는 이웃 블록들의 예측 모드들로 MPM 세트를 구성하기 위해 필요하다는 점에 유의한다.

MPM들의 개수가 변경되더라도, 이웃들의 예측 모드들이 타겟 블록의 예측 모드 세트에 매핑되는 한, 채택된 예측 모드 코딩 알고리즘은 변경되지 않은 채로 남아있을 것이라는 점에 유의한다.

크로마 CU들에 대해, 적어도 하나의 실시예는 루마 및 크로마 성분 트리들이 분리되어 있는 경우(즉, I-슬라이스들에서) 직접 모드들을 획득하기 위해 예측 모드들의 동일한 리매핑(remapping)을 또한 행한다. 병치된 및 이웃 루마 CU들의 예측 모드들은 타겟 크로마 블록의 모드들에 리매핑될 수 있다.

인트라 모드 코딩을 위한 모드 매핑을 회피하는 대안적인 방법은 원래 모드들 및 그들의 연관된 방향들을 유지하는 것이다. 이는 새로운 방향들에 새로운 모드 인덱스들을 수여함으로써 행해지는데, 이것들은 광각 방향들(즉, -135도 또는 45도를 넘는 방향들)로 지칭될 수 있다. 따라서, 모드 66을 넘는 광각 방향들은, 예를 들어, 모드 인덱스들 67, 68 등이 주어진다. 유사하게, 모드 2를 넘는 광각 방향들은 모드 인덱스들 -1, -2 등이 주어진다(모드 0 및 1이 PLANAR 및 DC 모드들과 이미 연관되어 있기 때문임). 이는 앞서 주어진 dirIndex와 유사하고 modeShift를 요구하지 않는다. 이 경우, dirIndex와 modeIndex 사이에 다음과 같이 일대일 매핑이 존재한다:

상이한 블록 형상들에 대한 modeIndex 범위 값들이 표 7에 도시된다. 알 수 있듯이, 주어진 블록 형상 값들에 대해, modeIndex의 최대값은 78 이고 최소값은 -12이다. 여기서, 최대 방향들의 개수가 하드웨어 또는 시스템 제약 때문에 특정 값으로 제한되는 경우, modeIndex 값들의 범위는 그에 따라 결정될 수 있다는 점에 유의한다. 예를 들어, -135도를 넘거나 또는 45도를 넘는 추가된 방향들의 수가 10에 제한되는 경우, "CE3-related: Wide angle intra prediction for non-square blocks, JVET-K0500, Ljubljana, SI, 10-18 July 2018"에서 제안된 대로, W/H=8 및 1/8 경우들에 대한 dirIndex 및 modeIndex의 범위는 제각기 W/H=4 및 W/H=1/4의 범위와 동일하다.

[표 7]

dirIndex 및 modeIndex가 일대일 대응관계를 갖기 때문에, 이제 modeIndex만을 사용하여 작업할 수 있다.

추가된 광각 방향들이 제거되는 일부 원래 방향에 대응하기 때문에, 그들의 modeIndex 값들 사이에도 일대일 대응관계가 또한 존재한다.

일반적으로, origMode 및 waMode가 제각기 블록의 원래 modeIndex, 및 광각들을 갖는 modeIndex를 나타낸다고 하자. modeIndex 값들 0(PLANAR 모드) 및 1(DC 모드)이 각도 모드들에 대응하지 않기 때문에, 여기서 이들을 고려하지 않을 것이다. waMode의 값들은 다음과 같이 origMode 값들로부터 획득된다:

각도 파라미터 A(JEM 코드에서의 intraPredAngle) 및 modeShift가 관련되기 때문에, 위의 매핑은 또한 다음과 같이 등가적으로 행해질 수 있다:

위의 광각 매핑은 제거된 모든 모드마다 반대 방향에 가까운 모드에 의해 대체되는 것을 확실하게 한다. 예를 들어, W/H > 1인 납작한 블록의 경우, 모드 2는 모드 67에 의해 대체된다. 모드 67은 모드 66인, 모드 2의 반대 방향에 대한 가장 가까운 광각 방향이다. 제거되지 않은 그러한 모드들은 매핑 후에 동일한 modeIndex 값들로 계속된다.

광각들의 개수가 "CE3-related: Wide angle intra prediction for non-square blocks, JVET-K0500, Ljubljana, SI, 10-18 July 2018"에서와 같이 10에 제한되는 경우, 매핑은 다음과 같이 획득될 수 있다:

또는 등가적으로 다음과 같다:

이것은 또한 다음과 같이 등가적으로 주어질 수 있다:

위의 매핑은 또한, 65개의 원래 각도 모드에 대해 위의 광각 매핑 후에 65개의 고유 각도 모드가 존재한다는 것을 확실하게 한다. 이는 유일한 고유 매핑이 아니며, 제거된 방향들의 세트와 추가된 광각 방향들의 세트 사이에 가능한 다양한 다른 매핑들이 존재한다는 점에 유의한다. 그러나, 위의 매핑은 추가된 광각 각도 모드를 제거된 모드의 반대 방향에 가깝게 만든다.

위의 방법은 이전에 설명한 바와 같이 인트라 모드 코딩 동안 이웃 블록들의 모드 인덱스들의 매핑을 회피하는 것을 간접적으로 돕는다. 원래 모드 인덱스들의 광각 모드 인덱스들로의 매핑은 예측 단계에서만 행해질 것이다. 인코더에서의 예측 단계를 뒤따르는 인트라 모드 코딩은 광각 모드 인덱스들 대신에 원래 모드 인덱스들을 사용할 것이다. 유사하게, 디코더에서, 예측 단계에 선행하는 인트라 모드 디코딩은 원래의 모드 인덱스들을 사용할 것이지만, 광각 모드 인덱스로의 매핑은 예측 단계에서 행해질 것이다.

본 기술은 범위 [1/8, 8]에서 폭 대 높이 비율을 갖는 직사각형 블록 형상들을 고려하였다. 그러나, 원리는 매우 간단한 방식으로 더 넓은 범위의 폭 대 높이 비율로 확장될 수 있다는 점에 유의한다. 표 8은 블록 형상 비율의 더 높은 값들에 대한 modeIndex 값들을 포함한다. 이 경우, -135도 또는 45도를 넘는 14개의 광각 방향이 있다. 여기서, 추가된 광각 방향들의 개수는 W/H 또는 (H/W)의 더 큰 값들에 대응하여 더 증가된다. 그러나, 앞서 주어진 바와 같이, origMode로부터 waMode로의 매핑이 여전히 적용된다.

[표 8]

제안된 방향 정의에 기초하여, 몇몇 실시예들이 가능한 구현 옵션들로서 제시된다. 이들은 예를 들어, JEM에서 구현될 수 있다.

실시예 1로 불리는 제1 예시적 실시예에서, 타겟 블록들에 대한 각도 예측 방향들은 광각 방향들을 포함하도록 수정된다. 타겟 블록이 정사각형이면, 예측 방향들에서는 변경이 없다. 주어진 예측 모드에 대해, 인코더 및 디코더는 기존의 방식으로 예측을 수행한다. 한편, 타겟 블록이 직사각형인 경우, 앞서 주어진 바와 같이, 타겟 블록 형상에 대응하는 modeShift 값을 이용하여 각도 예측 모드가 먼저 광각 모드에 매핑된다. 인코더 및 디코더는 광각 모드에 대응하는 방향을 따라 예측을 수행한다. 광각 모드로의 매핑은 예측 스테이지에서만 발생한다. 인코더에서의 인트라 모드 코딩 및 디코더에서의 인트라 모드 디코딩은 변하지 않은 채로 남아있다. 인코더는 RD(rate distortion) 최적화를 갖는 보통의 방식으로 최상의 예측 모드 검색을 수행하고 원래의 모드 인덱스들로 구성된 MPM 세트를 이용하여 원래의 모드 인덱스 값을 인코딩한다. 마찬가지로, 디코더는 원래 모드 인덱스들로 구성된 MPM 세트를 이용하여 원래 모드 인덱스 값을 디코딩한다.

실시예 2로 불리는 제2 예시적 실시예에서, 타겟 블록들에 대한 각도 예측 방향들은 앞서 제시된 바와 같이 수정된다. 타겟 블록이 정사각형이면, 예측 방향들에서는 변경이 없다. 그렇지 않고, 타겟 블록이 직사각형이면, 예측 모드들은 블록의 종횡비에 의존하여 정의된 방향들과 연관된다. 인코더는, 모드들 2 내지 66에 대해, 연관된 예측 방향들이 블록 형상에 의존하는 것을 제외하고는, RD(rate distortion) 최적화를 갖는 보통의 방식으로 최상의 예측 모드 검색을 수행한다.

루마 타겟 블록들에 대해, 인코더는, 이전 섹션에서 설명된 바와 같이, MPM 세트를 이용하여 예측 모드를 인코딩하는데, 여기서 MPM 세트는 이웃 블록들의 예측 모드들의 매핑으로 구성된다. 크로마 타겟 블록들에 대해, 그것은 병치된 및 이웃 루마 블록들의 예측 모드들을 매핑함으로써 직접 모드들을 유도한다. 이 매핑은 루마 및 크로마 성분들이 동일한 코딩 트리 구조를 갖는 인터 코딩된 슬라이스들에서의 블록들에 대해 필요하지 않다.

디코더는, 루마 타겟 블록들에 대해, MPM 세트로 예측 모드를 디코딩하며, 이는 인코더가 행하는 것과 동일한 방식으로 구성한다. 크로마 타겟 블록들에 대해, 그것은 병치된 및 이웃 루마 블록들의 예측 모드들을 인코더가 행하는 것과 정확히 동일한 방식으로 매핑한 후 직접 모드들을 유도한다. 그것은, 모드들 2 내지 66에 대해, 연관된 예측 방향들이 블록 형상에 의존하는 것을 제외하고는, 보통의 방식으로 타겟 블록에 대한 예측을 구성한다.

도 10은 실시예 1에서의 루마 블록들에 대한 인코더 및 디코더 흐름도를 도시한다.

실시예 3에서, 실시예 2는 예측 방향들이 관련되는 한 증강된다. 임의의 타겟 블록에 대해, 예측 방향들은 JEM에서 규정된 방향들의 세트(즉, 시계 방향으로 45도 내지 -135도로의 65개의 방향) 및 타겟 블록 형상에 의존하는, 이러한 제안에서 정의되는 방향들의 세트의 합집합으로서 정의된다. 임의의 타겟 블록에 대한 정의된 방향들의 세트가 JEM 방향들의 부분집합과 몇몇 새로 도입된 방향들로 구성되기 때문에, 2 세트의 합집합은 65개의 JEM 방향의 세트 더하기 블록 형상에 의존하는 새로 도입된 방향들로 구성될 것이다. 새로 도입된 방향들은 (제안에서 제거된) JEM 방향 세트에서의 양의 방향들의 일부의 반대이다. modeFlag라고 불리는 1 비트의 플래그가 이러한 반대 쌍의 방향들을 구별하기 위해 사용되는데, 그 수는 블록 형상에 의존하여 변한다. JEM 방향들이 포함되기 때문에, 이 실시예는 또한 JEM에서와 동일한 모드 인덱싱을 유지한다. 즉, 모드 2는 45도 각도에 대응할 것이고 모드 66은 -135도 각도에 대응할 것이다. 또한 반대 방향들을 갖는 모드들(모드 2 및 모드 66을 제외함)은 0과 동일한 그들의 modeFlag 값을 가질 것이다. 반대 방향들은 동일한 모드 번호를 사용하지만 modeFlag 값은 1과 동일할 것이다. 즉, 한 쌍의 반대 방향들은 동일한 모드 번호와 연관될 것이지만, modeFlag는 제각기 0 및 1과 동일하다.

예측 모드 인코딩은 JEM에서와 동일하게 유지된다. 그러나, (모드 2 및 66을 제외한) 반대 방향들을 갖는 모드들에 대해, modeFlag는 고정, 모드 의존적, 또는 이웃 의존적 컨텍스트로 인코딩된다.

방향들의 세트가 증강된 세트이기 때문에, 상단 및 좌측 참조 어레이들의 길이들도 변한다는 점에 유의한다. 상단 참조 어레이의 길이는, 어느 것이 크든지 간에, H+W+1 또는 2W+1이다. 유사하게, 좌측 참조 어레이의 길이는, 어느 것이 크든지 간에, H+W+1 또는 2H+1이다. 이는, 납작한 블록들에 대해, 상단 참조 어레이는 2W+1개의 샘플을 가질 것이고 좌측 참조 어레이는 H+W+1개의 샘플을 가질 것이라는 점을 의미한다. 유사하게, 키 큰 블록들에 대해, 상단 참조 어레이는 H+W+1개의 샘플을 가질 것이고, 좌측 참조 어레이는 2H+1개의 샘플을 가질 것이다. 블록이 정사각형인 경우, 상단 및 좌측 참조 어레이들 둘 모두는 JEM에서와 같이 H+W+1(= 2H+1 = 2W+1, 왜냐하면 W=H이므로) 샘플을 가질 것이다.

디코더 측에서, 예측 모드는 보통의 MPM 기반 방법을 이용하여 디코딩된다. 모드가 반대 방향들을 갖는 방향들의 세트에 속하는 경우, modeFlag 값도 디코딩된다. 예측 모드가 평면 또는 DC인 경우, 디코더는 JEM에서와 같이 예측을 계산할 것이다. 그렇지 않고, modeFlag가 디코딩되지 않았다면, 또는 디코딩되었고 그 값이 0이면, 디코더는 JEM에서와 같이 대응하는 방향에서 예측을 구성한다. 그렇지 않으면, 디코더는 새로운 각도 파라미터 A로, 디코딩된 모드와 연관된 것과 반대 방향으로 예측을 구성한다.

크로마 타겟 블록들에 대해, 직접 모드들은 대응하는 루마 블록들에 대한 modeFlag 값(모드가 반대 방향을 갖는 경우)과 무관하게 JEM에서와 동일한 방식으로 계산된다. 타겟 블록 종횡비에 의존하여, 임의의 직접 모드가 반대 방향을 갖는다면, 인코더는 최상의 예측 모드를 검색하는 동안 검색에서 반대 방향을 또한 포함한다. 그러한 모드가 최상의 모드인 것으로 최종적으로 결정되면, 1 비트의 modeFlag는 최적의 방향에 의존하여 인코딩된다. 디코더에서, 직접 모드들의 도출, 예측 모드의 디코딩, 및 modeFlag(모드가 반대 방향을 갖는 경우)는 인코더에서와 정확히 동일하다.

루마 블록들에 대한 인코더 및 디코더 흐름도들이 도 11에 도시되어 있다.

실시예 4로 불리는, 제4 예시적 실시예에서, 실시예 1 내지 실시예 3에서 설명된 변경들은 관련 참조 샘플들이 이용가능할 때에만 적용된다. 예를 들어, 납작한 블록의 경우, 본 발명은 -135° 이후의 방향들을 연장한다. 그러나, 현재 블록 형상과는 독립적으로, 상단 우측 이웃 블록들은 이용가능하지 않을 수 있다. 그 경우, 타겟 블록은 JEM에서와 같이, 즉 시계 방향으로 45도 내지 -135도의 범위에 걸쳐 있는 65개의 각도 방향을 사용하여 예측될 것이다. 인코더 및 디코더 둘 다가 재구성된 이웃 블록들의 존재를 쉽게 검출할 수 있기 때문에, 이들은 대응하는 방식으로, 연장된 방향들을 적용할지를 결정할 것이다.

실시예 5인 제5 실시예에서, 슬라이스에서의 모든 타겟 블록들은 실시예 1 내지 실시예 4에서와 같이 예측되고, 이것은 슬라이스 헤더에서의 1 비트 플래그를 사용하여 디코더에 시그널링된다.

실시예 6인 제6 실시예에서, 프레임에서의 모든 타겟 블록들은 실시예 1 내지 실시예 4에서와 같이 예측되고, 이것은 PPS(Picture Parameter Set) 헤더에서의 1 비트 플래그를 사용하여 디코더에 시그널링된다.

실시예 7인 제7 실시예에서, 시퀀스의 임의의 프레임에서의 모든 타겟 블록들은 실시예 1 내지 실시예 4에서와 같이 예측되고, 이것은 SPS(Sequence Parameter Set) 헤더에서의 1 비트 플래그를 사용하여 디코더에 시그널링된다.

제안된 실시예들의 하나의 이점은 이들이 직사각형 블록에 대한 예측 방향들을 블록 형상에 적응시키는 것이다. 하나의 목적은 복잡성을 증가시키지 않고 압축 성능을 개선하는 것이다.

도 15는 인코더에서의 적응 블록 크기들에 의한 인트라 예측을 위한 방법(1500)의 일 실시예를 도시한다. 방법은 시작 블록(1501)에서 시작하고, 제어는 직사각형 블록의 종횡비에 기초한 방향을 따라 놓인 이웃 블록의 적어도 하나의 샘플에 기초하여 직사각형 블록에 속하는 비디오 샘플을 예측하기 위한 블록(1510)으로 진행한다. 예측된 비디오 샘플에 기초한 인트라 예측을 이용하여 직사각형 블록을 인코딩하기 위해 제어는 블록(1510)으로부터 블록(1520)으로 진행한다.

도 16은 인코더에서의 적응 블록 크기들을 갖는 인트라 예측을 위한 방법(1600)의 일 실시예를 도시한다. 방법은 시작 블록(1601)에서 시작하고, 제어는 직사각형 블록의 종횡비에 기초한 방향을 따라 놓인 이웃 재구성된 블록의 적어도 하나의 샘플에 기초하여 직사각형 블록에 속하는 비디오 샘플을 예측하기 위한 블록(1610)으로 진행한다. 예측된 비디오 샘플에 기초하여 인트라 예측을 사용하여 직사각형 블록을 디코딩하기 위해 제어는 블록(1610)으로부터 블록(1620)으로 진행한다.

도 17은 적응 블록 크기들을 갖는 인트라 예측을 사용하여 비디오 블록을 인코딩 또는 디코딩하는 장치(1700)의 일 실시예를 도시한다. 장치는 하나 이상의 입력 및 출력 포트를 갖는 프로세서(1710)를 포함하고, 하나 이상의 통신 포트를 통해 메모리(1720)에 인터커넥트된다. 장치(1700)는 도 15 또는 도 16의 방법들 중 어느 하나 또는 임의의 변형을 수행할 수 있다.

이 문서는 도구, 특징, 실시예, 모델, 접근법 등을 포함하는 다양한 양태를 설명한다. 이러한 양태들 중 다수는 특이성으로 설명되고, 적어도 개별적인 특성들을 보여주기 위해, 종종 제한하는 것처럼 들리는 방식으로 설명된다. 그러나, 이것은 설명에서의 명료성을 위한 것이며, 그러한 양태들의 적용 또는 범위를 제한하지는 않는다. 실제로, 상이한 양태들 모두가 추가 양태들을 제공하기 위해 조합되고 교환될 수 있다. 더욱이, 양태들은 또한 더 이른 출원들에서 설명된 양태들과 조합되고 교환될 수 있다.

본 문서에서 설명되고 고려되는 양태들은 많은 상이한 형태들로 구현될 수 있다. 도 12, 도 13 및 도 14는 일부 실시예들을 제공하지만, 다른 실시예들이 고려되고, 도 12, 도 13 및 도 14의 논의는 구현들의 범위를 제한하지 않는다. 양태들 중 적어도 하나는 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고, 적어도 하나의 다른 양태는 일반적으로 생성되거나 인코딩된 비트스트림을 송신하는 것에 관한 것이다. 이들 및 다른 양태들은 방법, 장치, 설명된 방법들 중 임의의 방법에 따라 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령어들이 저장되어 있는 컴퓨터 판독가능 저장 매체, 및/또는 설명된 방법들 중 임의의 방법에 따라 생성되는 비트스트림이 저장되어 있는 컴퓨터 판독가능 저장 매체로서 구현될 수 있다.

본 출원에서, 용어 "재구성된" 및 "디코딩된"은 상호교환가능하게 사용될 수 있고, 용어 "픽셀" 및 "샘플"은 상호교환가능하게 사용될 수 있고, 용어 "이미지", "픽처" 및 "프레임"은 상호교환가능하게 사용될 수 있다. 필수적은 아니지만 보통은, 용어 "재구성된"은 인코더 측에서 사용되는 한편, "디코딩된"은 디코더 측에서 사용된다.

다양한 방법들이 앞서 설명되었고, 방법들 각각은 설명된 방법을 달성하기 위한 하나 이상의 단계 또는 액션을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않으면, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 수정되거나 조합될 수 있다.

예를 들어, 도 12의 움직임 보상(170) 및 움직임 추정(175) 및 도 13의 움직임 추정(275)과 같은 본 문서에서 설명된 다양한 방법들 및 다른 양태들이 모듈들을 수정하기 위해 이용될 수 있다. 더욱이, 본 양태들은 JVET 또는 HEVC에 제한되지 않고, 예를 들어, 기존의 또는 향후 개발되든지 간에 다른 표준들 및 권고안들에, 그리고 임의의 이러한 표준들 및 권고안들(JVET 및 HEVC를 포함함)의 확장들에 대해 적용될 수 있다. 달리 표시되지 않거나 또는 기술적으로 배제되지 않는 한, 본 문서에서 설명되는 양태들은 개별적으로 또는 조합하여 사용될 수 있다.

다양한 수치 값들이 본 문서에 도시될 수 있다. 특정 값들은 예시적인 목적을 위한 것이고, 설명된 양태들은 이러한 특정 값들로만 제한되지는 않는다.

도 12는 예시적인 인코더(100)를 도시한다. 이 인코더(100)의 변형들이 고려되지만, 인코더(100)는 모든 예상되는 변동들을 설명하지 않고서 명료성 목적을 위해 이하에서 설명된다.

인코딩되기 전에, 비디오 시퀀스는 프리-인코딩 처리(101)를 거치는데, 예를 들어, 입력 컬러 픽처에 컬러 변환을 적용하거나(RGB 4:4:4로부터 YCbCr 4:2:0으로의 변환), 또는 (예를 들어, 컬러 성분들 중 하나의 것의 히스토그램 등화를 이용하여) 압축에 더 탄력적인 신호 분포를 획득하기 위해 입력 픽처 성분들의 리매핑을 수행할 수 있다. 메타데이터는 전처리와 연관되고, 비트스트림에 부착될 수 있다.

예시적인 인코더(100)에서, 픽처는 아래에서 설명되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처는 파티셔닝되고(102), 예를 들어, CU들의 유닛들로 처리된다. 각각의 유닛은 예를 들어, 인트라 또는 인터 모드를 이용하여 인코딩된다. 유닛이 인트라 모드(intra mode)에서 인코딩될 때, 이것은 인트라 예측(160)을 수행한다. 인터 모드(inter mode)에서는, 움직임 추정(175) 및 보상(170)이 수행된다. 인코더는 유닛을 인코딩하기 위해 인트라 모드 또는 인터 모드 중 어느 것을 사용할지를 결정하고(105), 예를 들어, 예측 모드 플래그에 의해 인트라/인터 결정을 표시한다. 예측 잔차들은, 예를 들어, 원래의 이미지 블록으로부터 예측된 블록을 감산(110)함으로써 계산된다.

예측 잔차들이 이어서 변환되고(125) 양자화된다(130). 양자화된 변환 계수들뿐만 아니라 움직임 벡터들 및 다른 신택스 요소들은 비트스트림을 출력하도록 엔트로피 코딩된다(145). 인코더는 변환을 스킵하고 양자화를 비변환된 잔차 신호에 직접 적용할 수 있다. 인코더는 변환 및 양자화 둘 모두를 바이패스할 수 있는데, 즉 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접적으로 코딩된다.

인코더는 추가적 예측들을 위한 참조를 제공하기 위해 인코딩된 블록을 디코딩한다. 예측 잔차들을 디코딩하기 위해, 양자화된 변환 계수들이 양자화 해제되고(140) 역변환된다(150). 디코딩된 예측 잔차들 및 예측된 블록을 조합하면(155), 이미지 블록이 재구성된다. 인 루프 필터들(165)이 재구성된 픽처에 적용되어, 예를 들어, 인코딩 아티팩트들을 감소시키도록 디블로킹/SAO(Sample Adaptive Offset) 필터링을 수행한다. 필터링된 이미지는 참조 픽처 버퍼(180)에 저장된다.

도 13은 예시적인 비디오 디코더(200)의 블록도를 도시한다. 예시적인 디코더(200)에서, 비트스트림은 아래에서 설명되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(200)는 일반적으로 도 12에서 설명된 바와 같이 인코딩 패스에 역인 디코딩 패스를 수행한다. 또한, 인코더(100)는 일반적으로 비디오 데이터를 인코딩하는 것의 일부로서 비디오 디코딩을 수행한다.

특히, 디코더의 입력은 비디오 인코더(100)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은, 변환 계수들, 움직임 벡터들, 및 다른 코딩된 정보를 획득하기 위해 먼저 엔트로피 디코딩된다(230). 픽처 파티션 정보는 픽처가 어떻게 파티셔닝되는지를 표시한다. 따라서 디코더는 디코딩된 픽처 파티셔닝 정보에 따라 픽처를 분할할 수 있다(235). 예측 잔차들을 디코딩하기 위해, 변환 계수들이 양자화 해제되고(240) 역변환된다(250). 디코딩된 예측 잔차들 및 예측된 블록을 조합하면(255), 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(260) 또는 움직임 보상된 예측(즉, 인터 예측)(275)으로부터 획득될 수 있다(270). 인 루프 필터들(265)이 재구성된 이미지에 대해 적용된다. 필터링된 이미지는 참조 픽처 버퍼(280)에 저장된다.

디코딩된 픽처는 포스트-디코딩 처리(285), 예를 들어, 역 컬러 변환(예를 들어, YCbCr 4:2:0으로부터 RGB 4:4:4로의 변환) 또는 프리-인코딩 처리(101)에서 수행되는 리매핑 프로세스의 역을 수행하는 역 리매핑을 추가로 거칠 수 있다. 포스트-디코딩 처리는 프리-인코딩 처리에서 도출되고 비트스트림에서 시그널링되는 메타데이터를 이용할 수 있다.

도 14는 다양한 양태들 및 실시예들이 구현되는 시스템의 예의 블록도를 예시한다. 시스템(1000)은 이하에 설명되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있고, 본 문서에 설명된 양태들 중 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예는 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱 박스, 디지털 텔레비전 수신기, 개인 비디오 기록 시스템, 접속된 가전 기기, 및 서버와 같은 다양한 전자 디바이스들을 포함하지만 이에 한정되지는 않는다. 시스템(1000)의 요소들은, 단독으로 또는 조합하여, 단일 집적 회로, 다중 IC, 및/또는 이산 컴포넌트들로 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(1000)의 처리 및 인코더/디코더 요소들은 다중 IC 및/또는 이산 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(1000)은, 예를 들어, 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해 다른 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 결합된다. 다양한 실시예들에서, 시스템(1000)은 본 문서에서 설명된 양태들 중 하나 이상을 구현하도록 구성된다.

시스템(1000)은, 예를 들어, 본 문서에 설명된 다양한 양태들을 구현하기 위해, 그 가운데 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(1010)를 포함한다. 프로세서(1010)는 임베디드 메모리, 입력 출력 인터페이스, 및 본 기술분야에 공지된 다양한 다른 회로들을 포함할 수 있다. 시스템(1000)은 적어도 하나의 메모리(1020)(예를 들어, 휘발성 메모리 디바이스 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(1000)은 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이에 제한되지는 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(1040)를 포함한다. 저장 디바이스(1040)는 비제한적인 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스, 및/또는 네트워크 액세스가능 저장 디바이스를 포함할 수 있다.

시스템(1000)은, 예를 들어, 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 처리하도록 구성된 인코더/디코더 모듈(1030)을 포함하고, 인코더/디코더 모듈(1030)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(1030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 둘 모두를 포함할 수 있다. 또한, 인코더/디코더 모듈(1030)은 시스템(1000)의 별도 요소로서 구현될 수 있거나, 또는 본 기술분야의 통상의 기술자에게 공지된 바와 같이 하드웨어 및 소프트웨어의 조합으로서 프로세서(1010) 내에 통합될 수 있다.

본 문서에서 설명된 다양한 양태들을 수행하기 위해 프로세서(1010) 또는 인코더/디코더(1030)상으로 로딩될 프로그램 코드는 저장 디바이스(1040)에 저장될 수 있고, 후속하여 프로세서(1010)에 의한 실행을 위해 메모리(1020)상으로 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(1010), 메모리(1020), 저장 디바이스(1040), 및 인코더/디코더 모듈(1030) 중 하나 이상은 본 문서에서 설명된 프로세스들의 수행 동안 다양한 아이템들 중 하나 이상을 저장할 수 있다. 이러한 저장된 아이템들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 부분들, 비트스트림, 행렬들, 변수들, 및 수학식들, 공식들, 동작들 및 동작 로직의 처리로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이에 제한되지는 않는다.

몇몇 실시예들에서, 프로세서(1010) 및/또는 인코더/디코더 모듈(1030)의 내부에 있는 메모리는 명령어들을 저장하기 위해 및 인코딩 또는 디코딩 동안 필요한 처리를 위한 작업 메모리를 제공하기 위해 사용된다. 그러나, 다른 실시예들에서, 처리 디바이스 외부의 메모리(예를 들어, 처리 디바이스는 프로세서(1010) 또는 인코더/디코더 모듈(1030) 중 어느 하나일 수 있음)가 이러한 기능들 중 하나 이상을 위해 사용된다. 외부 메모리는 메모리(1020) 및/또는 저장 디바이스(1040), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 몇몇 실시예들에서, 외부 비휘발성 플래시 메모리는 텔레비전의 운영 체제를 저장하기 위해 사용된다. 적어도 일 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는 MPEG-2, HEVC, 또는 VVC(Versatile Video Coding)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 사용된다.

시스템(1000)의 요소들에의 입력은 블록(1130)에 나타낸 바와 같이 다양한 입력 디바이스들을 통해 제공될 수 있다. 이러한 입력 디바이스들은 (i) 예를 들어, 브로드캐스터에 의해 OTA(over the air)로 송신되는 RF 신호를 수신하는 RF 부분, (ii) 복합 입력 단자, (iii) USB 입력 단자, 및/또는 (iv) HDMI 입력 단자를 포함하지만, 이에 제한되지는 않는다.

다양한 실시예들에서, 블록(1130)의 입력 디바이스들은 본 기술분야에 공지된 바와 같은 연관된 제각기 입력 처리 요소들을 갖는다. 예를 들어, RF 부분은 (i) 원하는 주파수를 선택하는 것(또한 신호를 선택하는 것, 또는 주파수들의 대역에 신호를 대역 제한하는 것으로 지칭됨), (ii) 선택된 신호를 다운컨버팅하는 것, (iii) 주파수들의 더 좁은 대역으로 다시 대역 제한하여 특정 실시예들에서 채널로 지칭될 수 있는 (예를 들어) 단일 주파수 대역을 선택하는 것, (iv) 다운컨버팅된 및 대역 제한된 신호를 복조하는 것, (v) 에러 정정을 수행하는 것, 및 (vi) 원하는 데이터 패킷들의 스트림을 선택하기 위해 다중화 해제하는 것을 위해 적합한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소, 예를 들어, 주파수 선택기들, 신호 선택기들, 대역 제한기들, 채널 선택기들, 필터들, 다운컨버터들, 복조기들, 에러 정정기들, 및 디멀티플렉서들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근 기저대역 주파수)로 또는 기저대역으로 다운컨버팅하는 것을 포함하여, 다양한 이러한 기능들을 수행하는 튜너를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 부분 및 그것의 연관된 입력 처리 요소는 유선(예를 들어, 케이블) 매체를 통해 송신되는 RF 신호를 수신하고, 필터링, 다운컨버팅, 및 원하는 주파수 대역으로의 재차 필터링에 의해 주파수 선택을 수행한다. 다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이 요소들의 일부를 제거하고, 및/또는 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소들을 추가하는 것은 기존 요소들 사이 내에 요소들을 삽입하는 것, 예를 들어, 증폭기들 및 아날로그-투-디지털 변환기를 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.

또한, USB 및/또는 HDMI 단말은 USB 및/또는 HDMI 접속을 거쳐 다른 전자 디바이스에 시스템(1000)을 접속하기 위한 제각기 인터페이스 프로세서들을 포함할 수 있다. 입력 처리의 다양한 양태, 예를 들어, 리드-솔로몬(Reed-Solomon) 에러 정정이, 예를 들어, 별도의 입력 처리 IC 내에서 또는 프로세서(1010) 내에서 구현될 수 있다는 것을 이해해야 한다. 유사하게, USB 또는 HDMI 인터페이스 처리의 양태들은 별도의 인터페이스 IC들 내에서 또는 프로세서(1010) 내에서 구현될 수 있다. 복조된, 에러 정정된, 및 디멀티플렉싱된 스트림은, 출력 디바이스상의 제시를 위해 데이터 스트림을 처리하도록, 예를 들어, 프로세서(1010), 및 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(1030)를 포함하는 다양한 처리 요소들에 제공된다.

시스템(1000)의 다양한 요소들이 통합된 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소들이 상호접속될 수 있고, 예를 들어, I2C 버스, 배선, 및 인쇄 회로 기판을 포함하여 관련 기술분야에 공지된 바와 같은 적절한 접속 배열(1140)을 이용하여 그 사이에서 데이터를 송신할 수 있다.

시스템(1000)은 통신 채널(1060)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(1050)를 포함한다. 통신 인터페이스(1050)는 통신 채널(1060)을 통해 데이터를 송신하고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이에 제한되는 것은 아니다. 통신 인터페이스(1050)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이에 제한되지는 않고, 통신 채널(1060)은 예를 들어, 유선 및/또는 무선 매체 내에서 구현될 수 있다.

데이터는, 다양한 실시예들에서, IEEE 802.11과 같은 무선 네트워크를 사용하여 시스템(1000)에 스트리밍된다. 이러한 실시예들의 무선 신호는 Wi-Fi 통신들과 같은 무선 통신들을 위해 적응되는 통신 채널(1060) 및 통신 인터페이스(1050)를 통해 수신된다. 이러한 실시예들의 통신 채널(1060)은 스트리밍 애플리케이션들 및 다른 OTT(over-the-top) 통신들을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 전형적으로 접속된다. 다른 실시예들은 입력 블록(1130)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 이용하여 스트리밍된 데이터를 시스템(1000)에 제공한다. 또 다른 실시예는 입력 블록(1130)의 RF 접속을 이용하여 스트리밍된 데이터를 시스템(1000)에 제공한다.

시스템(1000)은 디스플레이(1100), 스피커들(1110), 및 다른 주변기기 디바이스들(1120)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다른 주변기기 디바이스들(1120)은, 실시예들의 다양한 예들에서, 독립형 DVR, 디스크 플레이어, 스테레오 시스템, 조명 시스템, 및 시스템(1000)의 출력에 기초하는 기능을 제공하는 다른 디바이스들 중 하나 이상을 포함한다. 다양한 실시예들에서, 제어 신호들은 AV.Link, CEC, 또는 사용자 개입을 이용하거나 이용하지 않고 디바이스-투-디바이스 제어를 가능하게 하는 다른 통신 프로토콜들과 같은 시그널링을 이용하여 시스템(1000)과 디스플레이(1100), 스피커들(1110), 또는 다른 주변기기 디바이스들(1120) 사이에서 통신된다. 출력 디바이스들은 제가기 인터페이스들(1070, 1080, 및 1090)을 통한 전용 접속들을 통해 시스템(1000)에 통신가능하게 결합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(1050)를 통해 통신 채널(1060)을 사용하여 시스템(1000)에 접속될 수 있다. 디스플레이(1100) 및 스피커들(1110)은 단일 유닛으로 전자 디바이스, 예를 들어, 텔레비전에서의 시스템(1000)의 다른 컴포넌트들과 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(1070)는 디스플레이 드라이버, 예를 들어, 타이밍 제어기(T Con) 칩을 포함한다.

디스플레이(1100) 및 스피커(1110)는 대안적으로, 예를 들어, 입력(1130)의 RF 부분이 별도의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상으로부터 분리될 수 있다. 디스플레이(1100) 및 스피커들(1110)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는 예를 들어, HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.

예시적인 실시예들은 프로세서(1010)에 의해 또는 하드웨어에 의해, 또는 하드웨어와 소프트웨어의 조합에 의해 구현되는 컴퓨터 소프트웨어에 의해 수행될 수 있다. 비제한적인 예로서, 예시적인 실시예들은 하나 이상의 집적 회로에 의해 구현될 수 있다. 메모리(1020)는 기술적인 환경에 적합한 임의의 유형의 것일 수 있고, 임의의 적합한 저장 기술, 예컨대, 비제한적인 예들로서, 광 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정 메모리 및 착탈식 메모리를 사용하여 구현될 수 있다. 프로세서(1010)는 기술적인 환경에 적합한 임의의 유형의 것일 수 있고, 비제한적 예들로서 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들 및 멀티-코어 아키텍처에 기초한 프로세서들 중 하나 이상을 포함할 수 있다.

본 명세서에 설명된 구현들 및 양태들은 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 비록 단지 단일 형태의 구현의 맥락에서만 논의될지라도(예컨대, 단지 방법으로서만 논의될지라도), 논의된 특징들의 구현은 다른 형식들(예컨대, 장치 또는 프로그램)로 또한 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법은, 예를 들어, 일반적으로 처리 장치를 지칭하고, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래머블 논리 디바이스를 포함하는 프로세서와 같은 장치로 예를 들어 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 폰들(cell phones), PDA(portable/personal digital assistant)들, 및 최종 사용자들 간의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

"일 실시예" 또는 "실시예" 또는 "일 구현" 또는 "구현"뿐만 아니라 그의 다른 변형들에 대한 참조는 실시예와 관련하여 설명된 특정한 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 문서 전반에 걸친 다양한 위치들에서 등장하는 구문 "일 실시예에서" 또는 "실시예에서" 또는 "일 구현에서" 또는 "구현에서"뿐만 아니라 임의의 다른 변형들의 등장은 반드시 모두 동일한 실시예 전부를 참조하는 것은 아니다.

또한, 본 문서는 다양한 정보 피스들을 "결정"하는 것을 지칭할 수 있다. 정보를 결정하는 것은 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터의 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 문서는 정보의 다양한 피스들에 "액세스"하는 것을 지칭할 수 있다. 정보의 액세스는 예를 들어, 정보의 수신, (예를 들어, 메모리로부터의) 정보의 검색, 정보의 저장, 정보의 처리, 정보의 송신, 정보의 이동, 정보의 복사, 정보의 소거, 정보의 계산, 정보의 결정, 정보의 예측, 또는 정보의 추정 중 하나 이상을 포함할 수 있다.

또한, 본 문서는 다양한 정보 피스들을 "수신"하는 것을 지칭할 수 있다. 수신하는 것은, "액세스하는 것"에서와 같이 광의의 용어로 의도된다. 정보의 수신은 예를 들어, 정보의 액세스 또는 (예로서, 메모리로부터의) 정보의 검색 중 하나 이상을 포함할 수 있다. 또한, "수신하는 것"은 통상적으로 예를 들어, 정보의 저장, 정보의 처리, 정보의 송신, 정보의 이동, 정보의 복사, 정보의 소거, 정보의 계산, 정보의 결정, 정보의 예측, 또는 정보의 추정과 같은 동작들 동안 하나의 방식 또는 또 다른 방식으로 수반된다.

본 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현들은 예컨대 저장되거나 또는 송신될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어, 또는 설명된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 비트스트림을 운반하도록 포맷팅될 수 있다. 이러한 신호는 예컨대(예컨대, 스펙트럼의 무선 주파수 부분을 사용하여) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 것으로서 각종의 상이한 유선 또는 무선 링크를 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체상에 저장될 수 있다.

전술한 설명은 다수의 실시예를 설명하였다. 이러한 실시예들은 다양하고 상이한 청구항 카테고리들 및 유형들에 걸쳐, 다음의 선택적 특징들을 단독으로 또는 임의의 조합으로 포함한다:

- -135도 및 45도를 넘어서 인코딩 및 디코딩에서 인트라 예측 동안 예측 방향들을 사용하는 것

- 수평 방향 또는 수직 방향으로 예측 방향들을 연장하면서, 총 방향들의 동일한 개수를 유지하기 위해 반대 방향에서의 일부 방향들을 제거하는 것

- -135도 초과 및 45도 초과 둘 모두로 방향들의 개수를 연장하는 것

- 더 짧은 참조 어레이의 길이는 블록 폭 및 높이 둘 모두에 기초한다.

- 더 짧은 참조 어레이의 길이는 1 더하기 블록의 대응하는 변의 길이의 2배 더하기 작은 연장이다.

- 각도 파라미터 값이 2의 거듭제곱이 아니기 때문에 연장이 필요하다.

더 작은 측에서의 이 연장을 보상하기 위해, 블록의 더 긴 측에서의 참조 어레이 크기는 적절히 감소되어 광각 예측에 요구되는 참조 샘플들의 총 개수가 정상적인 인트라 예측에 필요한 것과 대략 동일하게 남아 있도록 할 수 있다.

- 참조 어레이의 길이는 코딩되거나 디코딩되는 블록의 높이 및 폭 둘 모두에 기초하여 결정된다.

- 예측 방향들이 사용되고 있는 인코더로부터 디코더로의 시그널링

- 예측 방향들의 부분집합을 사용하는 것

- 블록이 직사각형 형상을 갖는 CU인 것

- 다른 블록이 이웃 블록인 것

- 각도 예측 모드가 타겟 블록 형상에 대응하는 값만큼 광각 모드에 매칭되는 것

- 광각 모드들에 대한 각도 모드들의 매핑은 일 대 일인 것.

- 블록에 사용되는 광각 방향들의 개수가 타겟 블록 형상에 의존하는 것.

- 인트라 예측이 광각 각도 모드에 기초하는 것

- 설명된 신택스 요소들 또는 그 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호

- 디코더가 인코더에 의해 수행되는 것에 대한 역 방식으로 비트스트림을 처리할 수 있게 하는 시그널링 신택스 요소들에 삽입하는 것.

- 설명된 신택스 요소들 또는 그 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호를 생성 및/또는 송신 및/또는 수신 및/또는 디코딩하는 것.

- 설명된 임의의 실시예들을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

- 설명된 실시예들 중 임의의 것을 수행하고, 그리고 결과 이미지를 (예를 들어, 모니터, 스크린, 또는 다른 유형의 디스플레이를 사용하여) 디스플레이하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

- 인코딩된 이미지를 포함하는 신호를 수신하기 위해 채널을 (예를 들어, 튜너를 사용하여) 튜닝하고, 그리고 설명된 실시예들 중 임의의 것을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

- 인코딩된 이미지를 포함하는 신호를 (예를 들어, 안테나를 이용하여) 수신하고, 그리고 설명된 실시예들 중 임의의 것을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

- 다양한 다른 일반화된 것뿐만 아니라 특수화된 특징들도 본 개시내용 전체에 걸쳐 지원되고 고려된다.

Claims (15)

1. 방법으로서:
   직사각형 블록의 블록 형상에 기초한 방향을 따라 놓인 이웃 블록의 적어도 하나의 샘플에 기초하여 상기 직사각형 블록에 속하는 비디오 샘플을 예측하는 단계; 및
   상기 예측된 비디오 샘플에 기초하여 인트라 예측을 이용하여 상기 직사각형 블록을 인코딩하는 단계를 포함하는 방법.
2. 비디오 블록을 인코딩하기 위한 장치로서:
   메모리, 및
   프로세서를 포함하고, 상기 프로세서는:
   직사각형 블록의 블록 형상에 기초한 방향을 따라 놓인 이웃 블록의 적어도 하나의 샘플에 기초하여 상기 직사각형 블록에 속하는 비디오 샘플을 예측하고;
   상기 예측된 비디오 샘플에 기초하여 인트라 예측을 이용하여 상기 직사각형 블록을 인코딩하도록 구성된 장치.
3. 방법으로서:
   직사각형 블록의 블록 형상에 기초한 방향을 따라 놓인 이웃 재구성된 블록의 적어도 하나의 샘플에 기초하여 상기 직사각형 블록에 속하는 비디오 샘플을 예측하는 단계; 및
   상기 예측된 비디오 샘플에 기초하여 인트라 예측을 이용하여 상기 직사각형 블록을 디코딩하는 단계를 포함하는 방법.
4. 비디오 블록을 디코딩하기 위한 장치로서:
   메모리, 및
   프로세서를 포함하고, 상기 프로세서는:
   직사각형 블록의 블록 형상에 기초한 방향을 따라 놓인 이웃 재구성된 블록의 적어도 하나의 샘플에 기초하여 상기 직사각형 블록에 속하는 비디오 샘플을 예측하고; 및
   상기 예측된 비디오 샘플에 기초하여 인트라 예측을 이용하여 상기 직사각형 블록을 디코딩하도록 구성된 장치.
5. 제1항 또는 제3항의 방법에 있어서 또는 제2항 또는 제4항의 장치에 있어서, 상기 직사각형 블록의 더 긴 에지를 따라 이웃 블록들의 더 많은 예측 샘플들이 존재하는 방법 또는 장치.
6. 제1항 또는 제3항의 방법에 있어서 또는 제2항 또는 제4항의 장치에 있어서, 상기 직사각형 블록의 더 긴 측을 따라 방향들이 추가되고, 상기 직사각형 블록의 더 짧은 측을 따라 방향들이 제거되는 방법 또는 장치.
7. 제1항 또는 제3항의 방법에 있어서 또는 제2항 또는 제4항의 장치에 있어서, 예측 모드들은 플래그를 이용하여 시그널링되는 방법 또는 장치.
8. 제1항 또는 제3항의 방법에 있어서 또는 제2항 또는 제4항의 장치에 있어서, 예측 모드들은 상기 모드가 최고 확률 모드 리스트에 속하는지에 기초하여 상이하게 시그널링되는 방법 또는 장치.
9. 제1항 또는 제3항의 방법에 있어서 또는 제2항 또는 제4항의 장치에 있어서, 상기 이웃 블록의 예측 모드를 상기 직사각형 블록의 예측 모드들에 매핑하기 위해 인덱스가 사용되는 방법 또는 장치.
10. 제1항 또는 제3항의 방법에 있어서 또는 제2항 또는 제4항의 장치에 있어서, 예측을 발견하기 위해 레이트 왜곡 최적화가 수행되는 방법 또는 장치.
11. 제1항 또는 제3항의 방법에 있어서 또는 제2항 또는 제4항의 장치에 있어서, 상기 직사각형 블록의 더 긴 측을 따라 예측 방향들이 추가되고, 상기 직사각형 블록의 더 짧은 측을 따라 예측 방향들이 추가되는 방법 또는 장치.
12. 디바이스로서:
    제4항 내지 제11항 중 어느 한 항에 따른 장치; 및
    (i) 신호를 수신하도록 구성된 안테나 - 상기 신호는 상기 비디오 블록을 포함함 -, (ii) 상기 수신된 신호를 상기 비디오 블록을 포함하는 주파수들의 대역에 제한하도록 구성된 대역 제한기, 및 (iii) 출력을 디스플레이하도록 구성된 디스플레이 중 적어도 하나를 포함하는 디바이스.
13. 프로세서를 사용한 재생을 위해, 제1항 및 제5항 내지 제11항 중 어느 한 항의 방법에 따라 또는 제2항 및 제5항 내지 제12항 중 어느 한 항의 장치에 의해 생성되는 데이터 콘텐츠를 포함하는 비일시적 컴퓨터 판독가능 매체.
14. 프로세서를 사용한 재생을 위해, 제1항 및 제5항 내지 제11항 중 어느 한 항의 방법에 따라 또는 제2항 및 제5항 내지 제12항 중 어느 한 항의 장치에 의해 생성되는 비디오 데이터를 포함하는 신호.
15. 프로그램이 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금, 제1항 또는 제3항 및 제 5항 내지 제11항 중 어느 한 항의 방법을 수행하게 야기하는 명령어들을 포함하는 컴퓨터 프로그램 제품.
    
    
    

Images