KR20230118711A

KR20230118711A - 4:4:4 크로마 포맷의 비디오 코딩 방법 및 장치

Info

Publication number: KR20230118711A
Application number: KR1020237026238A
Authority: KR
Inventors: 샤오위 슈; 이-원 천; 중-촨 마; 홍-정 주; 샹린 왕; 빙 위
Original assignee: 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date: 2019-10-11
Filing date: 2020-10-12
Publication date: 2023-08-11
Also published as: CN114762337A; MX2022004340A; JP2023002788A; US20220303580A1; JP2022542492A; WO2021072379A1; EP4042698A1; KR20230117265A; KR20230117266A; KR20220071283A; CN115086681A; KR102564189B1; KR20230117263A; JP7193679B2; JP7438317B2; EP4042698A4; KR20230117264A; CN115086681B; JP2023027229A

Abstract

전자 장치는 비디오 데이터를 디코딩하는 방법을 수행하고, 이 방법은, 슬라이스의 코딩 유닛에 LMCS(luma mapping with chroma scaling)가 적용되었는지 여부를 나타내는 슬라이스의 슬라이스 헤더 내의 제1 신택스 요소를 비트스트림으로부터 수신하는 단계; 코딩 유닛이 적응 색 공간 변환(ACT)을 사용하여 코딩되었는지 여부를 나타내는 코딩 유닛에 대한 제2 신택스 요소를 수신하는 단계; 제2 신택스 요소가 0이 아닌 값을 갖는 경우, 코딩 유닛의 루마 및 크로마 잔차를 변환된 색 공간에서 비디오 데이터의 원래 색 공간으로 변환하기 위해 역 ACT를 적용하여 코딩 유닛을 디코딩하는 단계; 및 제1 신택스 요소가 0이 아닌 값을 갖는 경우, 역 ACT를 수행한 후에 루마 샘플에 대한 역 루마 매핑 및 코딩 유닛의 크로마 잔차에 대한 역 스케일링을 수행함으로써 코딩 유닛을 디코딩하는 단계를 포함한다.

Description

4:4:4 크로마 포맷의 비디오 코딩 방법 및 장치{METHODS AND APPARATUS OF VIDEO CODING IN 4:4:4 CHROMA FORMAT}

본 출원은 2019년 10월 11일에 출원된 "METHODS AND APPARATUS OF VIDEO CODEDING IN 4:4:4 CHROMA FORMAT"이라는 제목의 미국 가특허출원 제62/914,282호 및 2019년 10월 18일에 출원된 "METHODS AND APPARATUS OF VIDEO CODING IN 4:4:4 CHROMA FORMAT"이라는 제목의 미국 가특허출원 제62/923,390호의 우선권을 주장하며, 둘 다 전체가 참조로 포함된다.

본 출원은 일반적으로 비디오 데이터 코딩 및 압축에 관한 것으로, 특히 크로마 잔차 스케일링(chroma residual scaling)으로 적응 색 공간 변환(adaptive color-space transform, ACT)을 수행하는 방법 및 시스템에 관한 것이다.

디지털 비디오는 디지털 텔레비전, 랩톱 또는 데스크탑 컴퓨터, 태블릿 컴퓨터, 디지털 카메라, 디지털 기록 기기, 디지털 미디어 플레이어, 비디오 게이밍 콘솔, 스마트폰, 비디오 원격 회의 기기, 비디오 스트리밍 기기 등과 같은, 다양한 전자 기기에 의해 지원된다. 전자 기기는 MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding) 및 VVC(Versatile Video Coding) 표준에 의해 정의된 바와 같은 비디오 압축/압축해제표준을 구현함으로써 디지털 비디오 데이터를 송신, 수신, 인코딩, 디코딩 및/또는 저장한다. 비디오 압축은 전형적으로 비디오 데이터에 고유한 중복성(redundancy)을 줄이거나 제거하기 위해 공간(인트라 프레임) 예측 및/또는 시간(인터 프레임) 예측을 수행하는 것을 포함한다. 블록 기반 비디오 코딩의 경우, 비디오 프레임은 하나 이상의 슬라이스(slice)로 파티셔닝되고(partitioned), 각각의 슬라이스는 코딩 트리 유닛(coding tree unit, CTU)이라고도 하는 다수의 비디오 블록을 포함한다. 각각의 CTU는 하나의 코딩 유닛(coding unit, CU)을 포함하거나 미리 정의된 최소 CU 크기에 도달할 때까지 더 작은 CU로 재귀적으로 쪼개질 수 있다. 각각의 CU(리프(leaf) CU라고도 함)는 하나 또는 다수의 변환 유닛(transform unit, TU)을 포함하고, 각각의 CU는 하나 또는 다수의 예측 유닛(prediction unit, PU)도 포함한다. 각각의 CU는 인트라(Intra) 모드, 인터(Inter) 모드 또는 IBC 모드로 코딩될 수 있다. 비디오 프레임의 인트라 코딩된(I) 슬라이스에서의 비디오 블록은 동일한 비디오 프레임 내의 이웃 블록의 참조 샘플에 대한 공간 예측을 사용하여 인코딩된다. 비디오 프레임의 인터 코딩된(P 또는 B) 슬라이스에서의 비디오 블록은 동일한 비디오 프레임 내의 이웃 블록의 참조 샘플에 대한 공간 예측 또는 다른 이전 및/또는 미래 참조 비디오 프레임의 참조 샘플에 대한 시간 예측을 사용할 수 있다.

이전에 인코딩된 참조 블록, 예를 들어 이웃 블록에 기초한 공간 또는 시간 예측은 코딩될 현재 비디오 블록에 대한 예측 블록을 결과로서 생성한다. 참조 블록을 찾는 프로세스는 블록 매칭 알고리즘에 의해 달성될 수 있다. 코딩될 현재 블록(current block to be coded)과 예측 블록(predictive block) 사이의 픽셀 차이를 나타내는 잔차 데이터는 잔차 블록 또는 예측 오차라고 한다. 인터 코딩된 블록은 예측 블록을 형성하는 참조 프레임 내의 참조 블록을 가리키는 움직임 벡터, 및 잔차 블록에 따라 인코딩된다. 움직임 벡터를 결정하는 프로세스는 전형적으로 움직임 추정이라고 한다. 인트라 코딩된 블록은 인트라 예측 모드 및 잔차 블록에 따라 인코딩된다. 추가 압축을 위해, 잔여 블록은 픽셀 영역(pixel domain)에서 변환 영역(transform domain), 예컨대 주파수 영역(frequency domain)으로 변환된 다음, 양자화될 수 있는 잔차 변환 계수를 결과로서 생성한다. 초기에 2차원 배열로 배치된 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캔될 수 있으며, 그런 다음 훨씬 더 압축을 달성하기 위해 비디오 비트스트림으로 엔트로피 인코딩될 수 있다.

그런 다음 인코딩된 비디오 비트스트림은 디지털 비디오 능력을 구비한 다른 전자 기기에 의해 액세스되거나 유선 또는 무선으로 전자 기기에 직접 송신될 수 있도록 컴퓨터로 판독 가능한 저장 매체(예: 플래시 메모리)에 저장된다. 그러면 전자 기기는, 예컨대, 인코딩된 비디오 비트스트림을 파싱하여 비트스트림으로부터 신택스 요소(syntax element)를 획득하고 비트스트림으로부터 획득된 신택스 요소에 적어도 부분적으로 기초하여 인코딩된 비디오로부터 디지털 비디오 데이터를 그것의 원래 포맷으로 재구축함으로써 (위에서 설명한 비디오 압축의 반대 프로세스인) 비디오 압축해제를 수행하고, 재구축된 디비털 비디오 데이터를 전자 기기의 디스플레이상에 렌더링한다.

디지털 비디오 품질이 고해상도에서 4Kx2K까지 또는 심지어 8Kx4K까지 향상됨에 따라, 인코딩/디코딩될 비디오 데이터의 양이 기하급수적으로 증가한다. 디코딩된 비디오 데이터의 이미지 품질을 유지하면서 비디오 데이터를 보다 효율적으로 인코딩/디코딩할 수 있는 방법의 관점에서 이것은 끊임없는 도전이다.

스크린 콘텐츠 비디오(screen content video)와 같은, 특정 비디오 콘텐츠는 4:4:4 크로마 포맷으로 인코딩되며 이 형식에서는 세 가지 구성성분(루마 구성성분 및 두 개의 크로마 구성요소 모두)가 모두 동일한 해상도를 갖는다. 4:4:4 크로마 포맷은 4:2:0 크로마 포맷 및 4:2:2 크로마 포맷(우수한 압축 효율을 달성하는 데 불리함)에 비해 더 많은 중복성을 포함하지만, 4:4:4 크로마 포맷은 디코딩된 비디오에서 예리한 에지(sharp edge)와 같은, 색 정보를 보존하기 위해 높은 충실도가 필요한 많은 애플리케이션에 여전히 선호되는 인코딩 포맷이다. 4:4:4 크로마 포맷 비디오에 존재하는 중복성을 감안할 때, 4:4:4 비디오의 세 가지 색 성분(예: YCbCr 영역에서의 Y, Cb 및 Cr; 또는 RGB 영역에서의 G, B 및 R) 간의 상관관계를 활용하여 상당한 코딩 개선을 달성할 수 있다는 증거가 있다. 이러한 상관관계로 인해, HEVC 화면 콘텐츠 코딩(screen content coding, SCC) 확장을 개발하는 동안에, 세 가지 색 성분 간의 상관관계를 활용하기 위해 적응적 색 공간 변환(ACT) 도구가 채용된다.

본 출원은 비디오 데이터 인코딩 및 디코딩, 특히 LMCS(luma mapping and chroma scaling)로 적응 색 공간 변환(ACT)을 수행하는 시스템 및 방법과 관련된 구현을 설명한다.

본 출원의 제1 측면에 따르면, 비디오 데이터를 디코딩하는 방법은: 비트스트림으로부터, 슬라이스와 연관된 하나의 슬라이스 헤더에서 제1 신택스 요소를 수신하는 단계 - 상기 제1 신택스 요소는 크로마 스케일링을 사용한 루마 매핑(LMCS: luma mapping with chroma scaling)이 슬라이스의 코딩 유닛에 적용되었는지 여부를 나타냄 -; 상기 비트스트림으로부터, 상기 슬라이스의 하나의 코딩 유닛에 대한 제2 신택스 요소를 수신하는 단계 - 상기 제2 신택스 요소는 상기 코딩 유닛이 적응 색 공간 변환(ACT: adaptive color-space transform)을 사용하여 코딩되었는지 여부를 나타냄 -; 상기 제2 신택스 요소가 0이 아닌 값을 갖는다는 결정에 따라, 상기 코딩 유닛의 루마 및 크로마 잔차를 하나의 변환된 색 공간에서 상기 비디오 데이터의 원래의 색 공간으로 변환하기 위해, 역 ACT를 적용함으로써 상기 코딩 유닛에 대응하는 비디오 데이터를 디코딩하는 단계; 및 상기 제1 신택스 요소가 0이 아닌 값을 갖는다는 결정에 따라, 상기 코딩 유닛의 루마 및 크로마 잔차를 변환하기 위해 역 ACT를 적용한 후에, 역 루마 샘플에 역 루마 매핑을 수행하고 상기 코딩 유닛의 크로마 잔차에 역 스케이링을 수행하는 단계를 포함한다.

본 출원의 제2 측면에 따르면, 비디오 데이터를 디코딩하는 방법은, 인트라 예측 모드에 의해 코딩된 코딩 유닛에 대응하는 비디오 데이터를 비트스트림으로부터 수신하는 단계; 상기 비디오 데이터로부터 제1 신택스 요소를 수신하는 단계 - 상기 제1 신택스 요소는 상기 코딩 유닛이 적응 색 공간 변환(ACT)을 사용하여 코딩되었는지 여부를 나타냄 -; 상기 제1 신택스 요소가 0의 값을 갖는다는 결정에 따라: 상기 비디오 데이터로부터 하나 이상의 신택스 요소를 수신하는 단계 - 상기 하나 이상의 신택스 요소는 상기 코딩 유닛의 크로마 성분이 블록 차분 펄스 코딩 변조(BDPCM: block differential pulse coded modulation)를 사용하여 코딩되었는지 여부를 나타냄 -; 상기 제1 신택스 요소가 0이 아닌 값을 갖는다는 결정에 따라: BDPCM과 연관된 상기 하나 이상의 신택스 요소에 디폴트 값을 할당하는 단계; 및 ACT와 연관된 상기 제1 신택스 요소 및 BDPCM과 연관된 상기 하나 이상의 신택스 요소에 따라 상기 비디오 데이터로부터 상기 코딩 유닛을 디코딩하는 단계를 포함한다.

본 출원의 제3 측면에 따르면, 전자 장치는 하나 이상의 처리 유닛, 메모리 및 상기 메모리에 저장된 복수의 프로그램을 포함한다. 상기 복수의 프로그램은 상기 하나 이상의 처리 유닛에 의해 실행될 때, 상기 전자 장치로 하여금 전술한 비디오 데이터를 디코딩하는 방법을 수행하게 한다.

본 출원 제4 측면에 따르면, 컴퓨터로 판독 가능한 비일시적인 저장 매체는 하나 이상의 처리 유닛을 갖는 전자 장치에 의한 실행을 위한 복수의 프로그램을 저장한다. 상기 프로그램은, 상기 하나 이상의 처리 유닛에 의해 실행될 때, 상기 전자 장치로 하여금 전술한 비디오 데이터를 디코딩하는 방법을 수행하게 한다.

구현예에 대한 추가적인 이해를 제공하기 위해 포함되고 여기에 통합되며 명세서의 일부를 구성하는 첨부 도면은 설명된 구현예를 예시하며 설명과 함께 기본 원리를 설명하는 역할을 한다. 동일한 참조 번호는 대응하는 부분을 나타낸다.
도 1은 본 개시의 일부 구현예에 따른 예시적인 비디오 인코딩 및 디코딩 시스템을 나타낸 블록도이다.
도 2는 본 개시의 일부 구현예에 따른 예시적인 비디오 인코더를 나타낸 블록도이다.
도 3은 본 개시의 일부 구현예에 따른 예시적인 비디오 디코더를 나타낸 블록도이다.
도 4a 내지 도 4e는 본 개시의 일부 구현예에 따라 프레임이 어떻게 상이한 크기 및 형상의 다수의 비디오 블록으로 재귀적으로 파티셔닝되는지를 나타낸 블록도이다.
도 5a 및 도 5b는 본 개시의 일부 구현예에 따라 RGB 색 공간과 YCgCo 색 공간 사이의 잔차를 변환하기 위해 적응적 색 공간 변환(ACT)의 기술을 적용하는 예를 나타낸 블록도이다.
도 6은 본 개시의 일부 구현예에 따른 예시적인 비디오 데이터 디코딩 프로세스에서 LMCS(Luma Mapping with Chroma Scaling)의 기술을 적용하는 블록도이다.
도 7은 본 개시의 일부 구현예에 따른 역 적응적 색 공간 변환(ACT)의 기술을 비디오 디코더가 구현하는 예시적인 비디오 디코딩 프로세스를 나타낸 블록도이다.
도 8a 및 도 8b는 본 개시의 일부 구현예에 따라 비디오 디코더가 역 적응 색 공간 변환(ACT) 및 LMCS(luma mapping with chroma scaling)의 기술을 구현하는 예시적인 비디오 디코딩 프로세스들을 예시하는 블록도들이다.
도 9는 본 개시의 일부 구현예에 따른 적응 색 공간 변환(ACT)과 블록 차동 펄스 코딩 변조(block differential pulse coded modulation, BDPCM)를 수행하는 것 사이의 예시적인 디코딩 로직들을 예시하는 블록도이다.
도 10은 본 개시의 일부 구현예에 따른 역 적응적 색 공간 변환을 조건부로 수행함으로써 비디오 디코더가 비디오 데이터를 디코딩하는 예시적인 프로세스를 나타낸 흐름도이다.

특정 구현예를 상세하게 참조하며, 그 예는 첨부 도면에 나타나 있다. 이하의 상세한 설명에서는, 여기에 제시된 주제의 이해를 돕기 위해 다수의 비한정적인 구체적인 세부사항을 설명한다. 그러나 청구범위의 범위를 벗어나지 않고 다양한 대안이 사용될 수 있고 주제는 그러한 특정 세부사항 없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 예를 들어, 여기에 제시된 주제는 디지털 비디오 능력을 갖춘 많은 유형의 전자 기기에서 구현될 수 있다는 것이 당업자에게 명백할 것이다.

도 1은 본 개시의 일부 구현예에 따라 비디오 블록을 병렬로 인코딩 및 디코딩하기 위한 예시적인 시스템(10)을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 시스템(10)은 목적지 기기(destination device)(14)에 의해 나중에 디코딩될 비디오 데이터를 생성하고 인코딩하는 근원지 기기(source device)(12)를 포함한다. 근원지 기기(12) 및 목적지 기기(14)는 데스크톱 또는 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 셋톱 박스, 디지털 텔레비전, 카메라, 디스플레이 기기, 디지털 미디어 플레이어, 비디오 게이밍 콘솔, 비디오 스트리밍 기기 등을 포함한, 다양한 전자 기기 중 임의의 것을 포함할 수 있다. 일부 구현예에서, 근원지 기기(12) 및 목적지 기기(14)는 무선 통신 능력을 갖추고 있다.

일부 구현예에서, 목적지 기기(14)는 링크(16)를 통해 디코딩될 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)는 근원지 기기(12)로부터 목적지 기기(14)로 인코딩된 비디오 데이터를 이동할 수 있는 임의의 유형의 통신 매체 또는 기기를 포함할 수 있다. 하나의 예에서, 링크(16)는 근원지 기기(12)가 인코딩된 비디오 데이터를 실시간으로 목적지 기기(14)에 직접 전송할 수 있게 하는 통신 매체를 포함할 수 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은, 통신 표준에 따라 변조되어, 목적지 기기(14)로 송신될 수 있다. 통신 매체는 무선 주파수(radio frequency, RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인과 같은, 임의의 무선 또는 유선 통신 매체를 포함할 수 있다. 통신 매체는 근거리 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은, 패킷 기반 네트워크의 일부를 형성할 수 있다. 통신 매체는 라우터, 교환기, 기지국, 또는 목적지 기기(12)에서 목적지 기기(14)로의 통신을 용이하게 하는 데 유용할 수 있는 기타 장비를 포함할 수 있다.

일부 다른 구현예에서, 인코딩된 비디오 데이터는 출력 인터페이스(22)로부터 저장 기기(32)로 전송될 수 있다. 그 후에, 저장 기기(32) 내의 인코딩된 비디오 데이터는 입력 인터페이스(28)를 통해 목적지 기기(14)에 의해 액세스될 수 있다. 저장 기기(32)는 하드 드라이브, 블루레이 디스크(Blu-ray disc), DVD, CD-ROM, 플래시 메모리, 휘발성 또는 비휘발성 메모리 또는 인코딩된 비디오 데이터를 저장하기 위한 기타 적절한 디지털 저장 매체와 같은, 다양한 분산형(distributed) 또는 로컬 액세스형(locally accessed) 데이터 저장 매체를 포함할 수 있다. 다른 예에서, 저장 기기(32)는 근원지 기기(12)에 의해 생성된 인코딩된 비디오 데이터를 보유할 수 있는 파일 서버 또는 다른 중간 저장 기기에 대응할 수 있다. 목적지 기기(14)는 스트리밍 또는 다운로드를 통해 저장 기기(32)로부터 저장된 비디오 데이터에 액세스할 수 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 인코딩된 비디오 데이터를 목적지 기기(14)에 송신할 수 있는 임의의 유형의 컴퓨터일 수 있다. 예시적인 파일 서버로는 웹 서버(예: 웹사이트용), FTP 서버, NAS(Network Attached Storage) 기기 또는 로컬 디스크 드라이브를 포함한다. 목적지 기기(14)는 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하는 데 적합한 무선 채널(예: Wi-Fi 연결), 유선 연결(예: DSL, 케이블 모뎀 등), 또는 이들 양자의 조합을 포함한, 임의의 표준 데이터 연결을 통해, 인코딩된 비디오 데이터에 액세스할 수 있다. 저장 기기(32)로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이 둘의 조합일 수 있다.

도 1에 도시된 바와 같이, 근원지 기기(12)는 비디오 소스(18), 비디오 인코더(20) 및 출력 인터페이스(22)를 포함한다. 비디오 소스(18)는 비디오 캡처 기기, 예컨대, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브(video archive), 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스(video feed interface), 및/또는 소스 비디오인 컴퓨터 그래픽 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 이러한 소스의 조합과 같은 소스를 포함할 수 있다. 하나의 예로서, 비디오 소스(18)가 보안 감시 시스템의 비디오 카메라인 경우, 근원지 기기(12) 및 목적지 기기(14)는 카메라 폰 또는 비디오 폰을 형성할 수 있다. 그러나 본 출원에서 설명된 구현예는 일반적으로 비디오 코딩에 적용될 수 있고, 무선 및/또는 유선 애플리케이션에 적용될 수 있다.

캡처되거나, 미리 캡처되거나, 컴퓨터에 의해 생성된 비디오는 비디오 인코더(20)에 의해 인코딩될 수 있다. 인코딩된 비디오 데이터는 근원지 기기(12)의 출력 인터페이스(22)를 통해 목적지 기기(14)로 직접 송신될 수 있다. 인코딩된 비디오 데이터는 추가로 (또는 대안적으로) 디코딩 및/또는 재생을 위해 목적지 기기(14) 또는 다른 기기에 의한 추후 액세스를 위해 저장 기기(32)에 저장될 수 있다. 출력 인터페이스(22)는 모뎀 및/또는 송신기를 더 포함할 수 있다.

목적지 기기(14)는 입력 인터페이스(28), 비디오 디코더(30), 및 디스플레이 기기(34)를 포함한다. 입력 인터페이스(28)는 수신기 및/또는 모뎀을 포함할 수 있고 링크(16)를 통해 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)를 통해 통신되거나, 저장 기기(32)상에 제공되는 인코딩된 비디오 데이터는 비디오 데이터의 디코딩 시에 비디오 디코더(30)에 의해 사용하기 위해 비디오 인코더(20)에 의해 생성된 다양한 신택스 요소(syntax element)를 포함할 수 있다. 이러한 신택스 요소는 통신 매체상에서 송신되거나, 저장 매체에 저장되거나, 파일 서버에 저장된 인코딩된 비디오 데이터 내에 포함될 수 있다.

일부 구현예에서, 목적지 기기(14)는 디스플레이 기기(34)를 포함할 수 있는데, 디스플레이 기기(34)는 목적지 기기(14)와 통신하도록 구성된 통합 디스플레이 기기 및 외부 디스플레이 기기일 수 있다. 디스플레이 기기(34)는 디코딩된 비디오 데이터를 사용자에게 표시하며, 액정 디스플레이(liquid crystal display, LCD), 플라즈마 디스플레이, 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이, 또는 기타 유형의 디스플레이 기기와 같은, 다양한 디스플레이 기기 중 어느 것을 포함할 수 있다.

비디오 인코더(20)와 비디오 디코더(30)는 VVC, HEVC, MPEG-4, Part 10, AVC(Advanced Video Coding), 또는 이러한 표준의 확장과 같은, 독점(proprietary) 또는 산업 표준에 따라 작동할 수 있다. 본 출원은 특정 비디오 코딩/디코딩 표준에 한정되지 않으며 다른 비디오 코딩/디코딩 표준에 적용될 수 있음을 이해해야 한다. 근원지 기기(12)의 비디오 인코더(20)는 이들 현재 또는 미래의 표준 중 어느 것에 따라 비디오 데이터를 인코딩하도록 구성될 수 있음이 일반적으로 고려된다. 유사하게, 목적지 기기(14)의 비디오 디코더(30)가 이들 현재 또는 미래의 표준 중 어느 것에 따라 비디오 데이터를 디코딩하도록 구성될 수도 있음도 또한 일반적으로 고려된다.

비디오 인코더(20) 및 비디오 디코더(30) 각각은, 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 주문형 집적 회로(application specific integrated circuit, ASIC), 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA), 개별 로직(discrete logic), 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합과 같은, 다양한 적절한 인코더 회로 중 어느 것으로 구현될 수 있다. 전자 기기는, 소프트웨어로 부분적으로 구현되는 경우, 소프트웨어에 대한 명령어를 적절한 컴퓨터로 판독 가능한 비일시적인 매체에 저장하고 하나 이상의 프로세서를 사용하여 하드웨어에서 명령어를 실행하여 본 개시에 개시된 비디오 코딩/디코딩 동작을 수행할 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수도 있고, 둘 중 어느 것이든 결합된 인코더/디코더(CODEC)의 일부로서 개개의 기기에 통합될 수도 있다.

도 2는 본 출원에서 설명된 일부 구현예에 따른 예시적인 비디오 인코더(20)를 나타낸 블록도이다. 비디오 인코더(20)는 비디오 프레임 내의 비디오 블록의 인트라 및 인터 예측 코딩을 수행할 수도 있다. 인트라 예측 코딩은 주어진 비디오 프레임 또는 픽처 내의 비디오 데이터의 공간 중복성을 줄이거나 제거하기 위해 공간 예측에의존한다. 인터 예측 코딩은 인접한 비디오 프레임 또는 비디오 시퀀스의 픽처 내의 비디오 데이터의 시간 중복성을 줄이거나 제거하기 위해 시간 예측에의존한다.

도 2에 도시된 바와 같이, 비디오 인코더(20)는 비디오 데이터 메모리(40), 예측 처리 유닛(41), 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(64), 합산기(50), 변환 처리 유닛(52), 양자화 유닛(54) 및 엔트로피 인코딩 유닛(56)을 포함한다. 예측 처리 유닛(41)은 움직임 추정 유닛(42), 움직임 보상 유닛(44), 파티션 유닛(45), 인트라 예측 처리 유닛(46) 및 인트라 블록 복제(block copy, BC) 유닛(48)을 더 포함한다. 일부 구현예에서, 비디오 인코더(20)는 또한 비디오 블록 재구축을 위해 역양자화 유닛(58), 역변환 처리 유닛(60), 및 합산기(62)를 포함한다. 디블록킹 필터(deblocking filter)(미도시)는 블록 경계를 필터링하여 재구축된 비디오로부터 블록성 아티팩트(blockiness artifact)를 제거하기 위해 합산기(62)와 DPB(64) 사이에 위치될 수 있다. 인루프 필터(in loop filter)(미도시)는 합산기(62)의 출력을 필터링하기 위해 디블로킹 필터에 더해 사용될 수도 있다. 비디오 인코더(20)는 고정된 또는 프로그램 가능한 하드웨어 유닛의 형태를 취할 수 있거나, 예시된 하나 이상의 고정된 또는 프로그램 가능한 하드웨어 유닛 중 하나 이상으로 나뉠 수 있다.

비디오 데이터 메모리(40)는 비디오 인코더(20)의 구성요소들에 의해 인코딩될 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(40) 내의 비디오 데이터는, 예를 들어, 비디오 소스(18)로부터 획득될 수 있다. DPB(64)는 비디오 인코더(20)에 의한 비디오 데이터의 인코딩 시에 사용하기 위한 참조 비디오 데이터를 저장하는 버퍼이다(예: 인트라 또는 인터 예측 코딩 모드에서). 비디오 데이터 메모리(40) 및 DPB(64)는 임의의 다양한 메모리 소자에 의해 형성될 수 있다. 다양한 예에서, 비디오 데이터 메모리(40)는 비디오 인코더(20)의 다른 구성요소와 함께 온칩(on-chip)일 수 있거나, 그러한 구성요소에 대해 오프칩(off-chip)일 수도 있다.

도 2에 도시된 바와 같이, 비디오 데이터를 수신한 후, 예측 처리 유닛(41)의 파티션 유닛(45)은 비디오 데이터를 비디오 블록으로 파티셔닝한다. 이 파티셔닝은 또한 비디오 데이터와 연관된 사분 트리 구조(quad-tree structure)와 같은 미리 정의된 분할 구조(splitting structure)에 따라 비디오 프레임을 슬라이스, 타일(tile), 또는 다른 더 큰 코딩 유닛(CU)으로 파티셔닝하는 것을 포함할 수 있다. 비디오 프레임은 다수의 비디오 블록(또는 타일이라고 하는 비디오 블록의 세트)으로 나뉠 수 있다. 예측 처리 유닛(41)은 오차 결과(예: 코딩 레이트 및 왜곡 레벨)에 기초하여 현재 비디오 블록에 대해, 복수의 인트라 예측 코딩 모드 중 하나 또는 복수의 인터 예측 코딩 모드 중 하나와 같은, 복수의 가능한 예측 코딩 모드 중 하나를 선택할 수 있다. 예측 처리 유닛(41)은 결과로서 생성된 인트라 또는 인터 예측 코딩된 블록을 합산기(50)에 제공하여 잔차 블록을 생성하고 합산기(62)에 제공하여 이후에 참조 프레임의 일부로서 사용하기 위한 인코딩된 블록을 재구축할 수 있다. 예측 처리 유닛(41)은 또한 움직임 벡터, 인트라 모드 지시자, 파티션 정보, 및 기타 신택스 정보와 같은, 신택스 요소를 엔트로피 인코딩 유닛(56)에 제공한다.

현재 비디오 블록에 대한 적절한 인트라 예측 코딩 모드를 선택하기 위해, 예측 처리 유닛(41)의 인트라 예측 처리 유닛(46)은 코딩될 현재 블록과 동일한 프레임 내의 하나 이상의 이웃 블록에 대해 현재 비디오 블록의 인트라 예측 코딩을 수행하여 공간 예측을 제공할 수 있다. 예측 처리 유닛(41) 내의 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)은 하나 이상의 참조 프레임 내의 하나 이상의 예측 블록에 대해 현재 비디오 블록의 인터 예측 코딩을 수행하여 시간 예측을 제공할 수 있다. 비디오 인코더(20)는 예컨대, 비디오 데이터의 블록 각각에 대한 적절한 코딩 모드를 선택하기 위해, 다수의 코딩 패스(coding pass)를 수행할 수 있다.

일부 구현예에서, 움직임 추정 유닛(42)은 움직임 벡터를 생성함으로써 현재 비디오 프레임에 대한 인터 예측 모드를 결정하는데, 이는 비디오 프레임의 시퀀스 내의 미리 결정된 패턴에 따라, 참조 비디오 프레임 내의 예측 블록에 대한 현재 비디오 프레임 내의 비디오 블록의 예측 유닛(prediction unit, PU)의 변위를 지시한다. 움직임 추정 유닛(42)에 의해 수행되는 움직임 추정은, 비디오 블록에 대한 움직임을 추정하는 움직임 벡터를 생성하는 프로세스이다. 예를 들어, 움직임 벡터는 현재 프레임(또는 다른 코딩된 유닛) 내의 코딩되는 현재 블록에 대한 참조 프레임(또는 다른 코딩된 유닛) 내의 예측 블록에 대한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU의 변위를 지시할 수 있다. 미리 결정된 패턴은 시퀀스 내의 비디오 프레임을 P 프레임 또는 B 프레임으로 지정할 수 있다. 인트라 BC 유닛(48)은 인터 예측을 위해 움직임 추정 유닛(42)에 의한 움직임 벡터의 결정과 유사한 방식으로 인트라 BC 코딩을 위해 벡터를, 예컨대 블록 벡터를 결정할 수 있거나, 블록 벡터를 결정하기 위해 움직임 추정 유닛(42)을 활용할 수 있다.

예측 블록은 절대 차의 합(sum of absolute difference, SAD), 제곱 차의 합(sum of square difference, SSD) 또는 기타 차이 메트릭(difference metric)에 의해 결정될 수 있는, 픽셀 차이의 관점에서, 코딩될 비디오 블록의 PU와 밀접하게 매칭되는 것으로 여겨지는 참조 프레임의 블록이다. 일부 구현예에서, 비디오 인코더(20)는 DPB(64)에 저장된 참조 프레임의 정수보다 작은(sub-integer) 픽셀 위치에 대한 값을 계산할 수 있다. 예를 들어, 비디오 인코더(20)는 참조 프레임의 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 다른 분수 픽셀의 값을 보간할 수 있다. 따라서, 움직임 추정 유닛(42)은 전체 픽셀 위치 및 분수 픽셀 위치에 대한 움직임 검색을 수행하고 분수 픽셀 정밀도를 갖는 움직임 벡터를 출력할 수 있다.

움직임 추정 유닛(42)은 PU의 위치를 제1 참조 프레임 목록(List 0) 또는 제2 참조 프레임 목록(List 1)에서 선택된 참조 프레임의 예측 블록의 위치와 비교함으로써 인터 예측 코딩된 프레임 내의 비디오 블록의 PU에 대해 움직임 벡터를 계산하며, 이들 각각은 DPB(64)에 저장된 하나 이상의 참조 프레임을 식별할 수 있게 해준다. 움직임 추정 유닛(42)은 계산된 움직임 벡터를 움직임 보상 유닛(44)에 전송한 다음 엔트로피 인코딩 유닛(56)에 전송한다.

움직임 보상 유닛(44)에 의해 수행되는 움직임 보상은 움직임 추정 유닛(42)에 의해 결정된 움직임 벡터에 기초하여 예측 블록을 인출(fetch)하거나 생성하는 것을 포함할 수 있다. 움직임 보상 유닛(44)은, 현재 비디오 블록의 PU에 대한 움직임 벡터를 수신함에 따라, 움직임 벡터가 참조 프레임 목록 중 하나에서 가리키는 예측 블록의 위치를 찾고, DPB(64)로부터 예측 블록을 검색하고, 예측 블록을 합산기(50)에 포워딩할 수 있다. 그러면 합산기(50)는 코딩되는 현재 비디오 블록의 픽셀 값에서 움직임 보상 유닛(44)에 의해 제공된 예측 블록의 픽셀 값을 감산함으로써 픽셀 차이 값의 잔차 비디오 블록을 형성한다. 잔차 비디오 블록을 형성하는 픽셀 차이 값은 루마 또는 크로마 차이 성분 또는 둘 다를 포함할 수 있다. 움직임 보상 유닛(44)은 또한 비디오 프레임의 비디오 블록을 디코딩할 때 비디오 디코더(30)에 의한 사용을 위해 비디오 프레임의 비디오 블록과 연관된 신택스 요소를 생성할 수 있다. 신택스 요소는, 예를 들어, 예측 블록을 식별하는 데 사용되는 움직임 벡터를 정의하는 신택스 요소, 예측 모드를 지시하는 임의의 플래그, 또는 여기에 설명된 기타 신택스 정보를 포함할 수 있다. 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)은 고도로 통합될 수 있지만, 개념적 목적을 위해 개별적으로 나타낸다는 점에 유의하기 바란다.

일부 구현예에서, 인트라 BC 유닛(48)은 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)과 관련하여 위에서 설명된 것과 유사한 방식으로 벡터를 생성하고 예측 블록을 인출할 수 있지만, 예측 블록은 코딩되는 현재 블록과 동일한 프레임 내에 있고 벡터는 움직임 벡터가 아니라 블록 벡터로 지칭된다. 특히, 인트라 BC 유닛(48)은 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예에서, 인트라 BC 유닛(48)은 예컨대, 개별 인코딩 패스 동안, 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩하고, 레이트 왜곡 분석(rate-distortion analysis)을 통해 그들의 성능을 검사할 수 있다. 다음으로, 인트라 BC 유닛(48)은 다양한 검사된 인트라 예측 모드 중에서 사용하기에 적절한 인트라 예측 모드를 선택하고 그에 따라 인트라 모드 지시자를 생성할 수 있다. 예를 들어, 인트라 BC 유닛(48)은 다양한 검사된 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산할 수 있고, 검사된 모드 중에서 가장 양호한 레이트 왜곡 특성을 갖는 인트라 예측 모드를 사용할 적절한 인트라 예측 모드로 선택할 수 있다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과, 인코딩된 블록을 생성하기 위해 인코딩되었던 원래의, 인코딩되지 않은 블록 사이의 왜곡(또는 오류)의 양은 물론, 인코딩된 블록의 생성에 사용된 비트레이트(즉, 비트 수)도 결정한다. 인트라 BC 유닛(48)은 블록에 대한 최상의 레이트 왜곡 값을 보이는 인트라 예측 모드를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산할 수 있다.

다른 예에서, 인트라 BC 유닛(48)은 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)을 전체적으로 또는 부분적으로 사용하여, 여기에 설명된 구현예에 따른 인트라 BC 예측을 위한 이러한 기능들을 수행할 수도 있다. 어느 경우든, 인트라 블록 복제의 경우, 예측 블록은 픽셀 차이의 관점에서, 절대 차의 합(SAD), 제곱 차의 합(SSD), 또는 다른 차이 메트릭에 의해 결정될 수 있는 코딩될 블록과 밀접하게 매칭되는 것으로 여겨지는 블록일 수 있고, 예측 블록의 식별은 정수 미만의 픽셀 위치에 대한 값의 계산을 포함할 수 있다.

예측 블록이 인트라 예측에 따라 동일한 프레임으로부터 온 것이든 인터 예측에 따라 다른 프레임으로부터 온 것이든, 비디오 인코더(20)는 코딩되는 현재 블록의 픽셀 값에서 예측 블록의 픽셀 값을 감산하여, 픽셀 차이 값을 형성하여 잔차 비디오 블록을 형성할 수 있다. 잔차 비디오 블록을 형성하는 픽셀 차이 값은 루마 및 크로마 성분 차이를 모두 포함할 수 있다.

인트라 예측 처리 유닛(46)은 위에서 설명한 바와 같이, 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)에 의해 수행되는 인터 예측, 또는 인트라 BC 유닛(48)에 의해 수행되는 인트라 블록 복제 예측에 대한 대안으로서, 현재 비디오 블록을 인트라 예측할 수 있다. 특히, 인트라 예측 처리 유닛(46)은 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정할 수 있다. 그렇게 하기 위해, 인트라 예측 처리 유닛(46)은 예컨대, 개별 인코딩 패스 동안, 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩할 수 있고, 인트라 예측 처리 유닛(46)(또는 일부 예에서는 모드 선택 유닛)은 검사된 인트라 예측 모드에서 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 인트라 예측 처리 유닛(46)은 블록에 대한 선택된 인트라 예측 모드를 나타내는 정보를 엔트로피 인코딩 유닛(56)에 제공할 수 있다. 엔트로피 인코딩 유닛(56)은 선택된 인트라 예측 모드를 나타내는 정보를 비트스트림에 인코딩할 수 있다.

예측 처리 유닛(41)이 인터 예측 또는 인트라 예측을 통해 현재 비디오 블록에 대한 예측 블록을 결정하고, 합산기(50)는 현재 비디오 블록에서 예측 블록을 감산하여 잔차 비디오 블록을 형성한다. 잔차 블록 내의 잔차 비디오 데이터는 하나 이상의 변환 유닛(TU)에 포함될 수 있고 변환 처리 유닛(52)에 제공된다. 변환 처리 유닛(52)은 이산 코사인 변환(discrete cosine transform, DCT) 또는 개념적으로 유사한 변환과 같은, 변환을 사용하여 잔차 비디오 데이터를 잔차 변환 계수로 변환한다.

변환 처리 유닛(52)은 결과로서 얻은 변환 계수를 양자화 유닛(54)으로 전송할 수 있다. 양자화 유닛(54)은 비트 레이트를 더 감소시키기 위해 변환 계수를 양자화한다. 양자화 프로세스는 또한 계수의 일부 또는 전부와 연관된 비트 심도(bit depth)를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 양자화 유닛(54)은 그런 다음 양자화된 변환 계수를 포함하는 행렬의 스캔을 수행할 수 있다. 대안적으로, 엔트로피 인코딩 유닛(56)이 스캔을 수행할 수도 있다.

양자화에 이어, 엔트로피 인코딩 유닛(56)이 양자화된 변환 계수를, 예컨대, 컨텍스트 적응형 가변 길이 코딩(context adaptive variable length coding, CAVLC), 컨텍스트 적응형 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC), 신택스 기반 컨텍스트 적응형 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 파티셔닝 엔트로피(probability interval partitioning entropy, PIPE) 코딩 또는 다른 엔트로피 인코딩 방법 또는 기법을 사용하여 비디오 비트스트림으로 엔트로피 인코딩한다. 그런 다음 인코딩된 비트스트림은 비디오 디코더(30)에 송신되거나, 추후에 비디오 디코더(30)에 송신하기 위해 또는 비디오 디코더(30)에 의한 검색을 위해 저장 기기(32)에 보관될 수 있다. 엔트로피 인코딩 유닛(56)은 또한 코딩되는 현재 비디오 프레임에 대한 움직임 벡터 및 다른 신택스 요소를 엔트로피 인코딩할 수 있다.

역양자화 유닛(58)과 역변환 처리 유닛(60)은 각각 역양자화와 역변환을 적용하여, 다른 비디오 블록의 예측을 위한 참조 블록을 생성하기 위해 픽셀 영역에서 잔차 비디오 블록을 재구축한다. 위에서 언급한 바와 같이, 움직임 보상 유닛(44)은 DPB(64)에 저장된 프레임의 하나 이상의 참조 블록으로부터 움직임 보상된 예측 블록을 생성할 수 있다. 움직임 보상 유닛(44)은 또한 예측 블록에 하나 이상의 보간 필터를 적용하여 움직임 추정에 사용하기 위한 정수 미만의 픽셀 값을 계산할 수 있다.

합산기(62)는 재구축된 잔차 블록을 움직임 보상 유닛(44)에 의해 생성된 움직임 보상된 예측 블록에 더하여 DPB(64)에 저장하기 위한 참조 블록을 생성한다. 그 후 참조 블록은 인트라 BC 유닛(48), 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)에 의해 후속 비디오 프레임 내의 다른 비디오 블록을 인터 예측하기 위한 예측 블록으로서 사용될 수 있다.

도 3은 본 출원의 일부 구현예에 따른 예시적인 비디오 디코더(30)를 나타낸 블록도이다. 비디오 디코더(30)는 비디오 데이터 메모리(79), 엔트로피 디코딩 유닛(80), 예측 처리 유닛(81), 역양자화 유닛(86), 역변환 처리 유닛(88), 합산기(90), 및 DPB(92)를 포함한다. 예측 처리 유닛(81)은 움직임 보상 유닛(82), 인트라 예측 처리 유닛(84) 및 인트라 BC 유닛(85)을 더 포함한다. 비디오 디코더(30)는 도 2와 관련하여 비디오 인코더(20)에 대해 위에서 설명된 인코딩 프로세스와 일반적으로 상반되는 디코딩 프로세스를 수행할 수 있다. 예를 들어, 움직임 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 움직임 벡터에 기초하여 예측 데이터를 생성할 수 있는 반면, 인트라 예측 유닛(84)은 엔트로피 디코딩 유닛(80)으로부터 수신된 인트라 예측 모드 지시자에 기초하여 예측 데이터를 생성할 수 있다.

일부 예에서, 비디오 디코더(30)의 유닛은 본 출원의 구현예를 수행하도록 임무를 받을 수도 있다. 또한, 일부 예에서, 본 개시의 구현예는 비디오 디코더(30)의 유닛들 중 하나 이상으로 나뉠 수 있다. 예를 들어, 인트라 BC 유닛(85)은 단독으로, 또는 움직임 보상 유닛(82), 인트라 예측 처리 유닛(84), 및 엔트로피 디코딩 유닛(80)과 같은, 비디오 디코더(30)의 다른 유닛과 조합하여, 본 출원의 구현예를 수행할 수 있다. 일부 예에서, 비디오 디코더(30)는 인트라 BC 유닛(85)을 포함하지 않을 수 있고 인트라 BC 유닛(85)의 기능은 움직임 보상 유닛(82)과 같은 예측 처리 유닛(81)의 다른 구성요소에 의해 수행될 수도 있다.

비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 구성요소에 의해 디코딩될, 인코딩된 비디오 비트스트림과 같은, 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(79)에 저장된 비디오 데이터는 예를 들어, 저장 기기(32)로부터, 카메라와 같은 로컬 비디오 소스로부터, 비디오 데이터의 유선 또는 무선 네트워크 통신을 통해, 또는 물리 데이터 저장 매체(예: 플래시 드라이브 또는 하드 디스크)에 액세스함으로써, 획득될 수 있다. 비디오 데이터 메모리(79)는 인코딩된 비디오 비트스트림으로부터 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼(coded picture buffer, CPB)를 포함할 수 있다. 비디오 디코더(30)의 디코딩된 픽처 버퍼(DPB)(92)는 비디오 디코더(30)에 의해 비디오 데이터의 디코딩에 사용하기 위한 참조 비디오 데이터를 저장한다. 비디오 데이터 메모리(79) 및 DPB(92)는 SDRAM(Synchronous DRAM), MRAM(Magneto-resistive RAM), RRAM(Resistive RAM), 또는 기타 유형의 메모리 소자를 포함한, DRAM(Dynamic Random Access Memory)과 같은, 다양한 메모리 소자 중 임의의 것으로 형성될 수 있다. 예시를 위해, 비디오 데이터 메모리(79)와 DPB(92)는 도 3에서 비디오 디코더(30)의 두 개의 개별 구성요소로서 도시된다. 그러나 비디오 데이터 메모리(79)와 DPB(92)가 동일한 메모리 소자 또는 별개의 메모리 소자에 의해 제공될 수 있다는 것은 당업자에게 명백할 것이다. 일부 예에서, 비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 구성요소과 함께 온칩이거나 그러한 구성요소에 대해 오프칩일 수 있다.

디코딩 프로세스 동안, 비디오 디코더(30)는 인코딩된 비디오 프레임의 비디오 블록 및 연관된 신택스 요소를 나타내는 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더(30)는 비디오 프레임 레벨 및/또는 비디오 블록 레벨에서 신택스 요소를 수신할 수 있다. 비디오 디코더(30)의 엔트로피 디코딩 유닛(80)은 비트스트림을 엔트로피 디코딩하여 양자화된 계수, 움직임 벡터 또는 인트라 예측 모드 지시자, 및 다른 신택스 요소를 생성한다. 그 다음, 엔트로피 디코딩 유닛(80)은 움직임 벡터 및 다른 신택스 요소를 예측 처리 유닛(81)에 포워딩한다.

비디오 프레임이 인트라 예측 코딩된(I) 프레임으로 코딩되거나 다른 유형의 프레임 내의 인트라 코딩된 예측 블록에 대해 코딩되는 경우, 예측 처리 유닛(81)의 인트라 예측 처리 유닛(84)은 시그널링된 인트라 예측 모드 및 현재 프레임의 이전에 디코딩된 블록으로부터의 참조 데이터에 기초하여 현재 비디오 프레임의 비디오 블록에 대한 예측 데이터를 생성할 수 있다.

비디오 프레임이 인터 예측 코딩된(즉, B 또는 P) 프레임으로서 코딩될 때, 예측 처리 유닛(81)의 움직임 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 움직임 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 프레임의 비디오 블록에 대한 하나 이상의 예측 블록을 생성한다. 각각의 예측 블록은 참조 프레임 목록 중 하나 내의 참조 프레임으로부터 생성될 수 있다. 비디오 디코더(30)는 DPB(92)에 저장된 참조 프레임에 기초하여 디폴트 구성 기술을 사용하여, 참조 프레임 목록: 목록 0 및 목록 1을 구성할 수 있다.

일부 예에서, 비디오 블록이 여기에 설명된 인트라 BC 모드에 따라 코딩되는 경우, 예측 처리 유닛(81)의 인트라 BC 유닛(85)은 엔트로피 디코딩 유닛(80)으로부터 수신된 블록 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한다. 예측 블록은 비디오 인코더(20)에 의해 정의된 현재 비디오 블록과 동일한 픽처의 재구축된 범위 내에 있을 수 있다.

움직임 보상 유닛(82) 및/또는 인트라 BC 유닛(85)은 움직임 벡터 및 다른 신택스 요소를 파싱함으로써 현재 비디오 프레임의 비디오 블록에 대한 예측 정보를 결정한 다음, 그 예측 정보를 사용하여 디코딩되는 현재 비디오 블록에 대한 예측 블록을 생성한다. 예를 들어, 움직임 보상 유닛(82)은 수신된 신택스 요소 중 일부를 사용하여, 비디오 프레임의 비디오 블록을 코딩하는 데 사용되는 예측 모드(예: 인트라 또는 인터 예측), 인터 예측 프레임 유형(예: B 또는 P), 프레임에 대한 참조 프레임 목록 중 하나 이상에 대한 구축 정보, 프레임의 인터 예측 인코딩된 비디오 블록 각각에 대한 움직임 벡터, 프레임의 인터 예측 코딩된 비디오 블록 각각에 대한 인터 예측 상태, 및 현재 비디오 프레임 내의 비디오 블록을 디코딩하기 위한 기타 정보를 결정한다.

유사하게, 인트라 BC 유닛(85)은 수신된 신택스 요소 중 일부, 예컨대 플래그를 사용하여, 현재 비디오 블록이 인트라 BC 모드를 사용하여 예측되었다는 것, 프레임의 비디오 블록에 대한 구축 정보가 재구축된 영역 내에 있어야 하고 DPB(92)에 저장되어야 한다는 것, 프레임의 인트라 BC 예측된 비디오 블록 각각에 대한 블록 벡터, 프레임의 인트라 BC 예측된 비디오 블록 각각에 대한 인트라 BC 예측 상태, 및 현재 비디오 내의 비디오 블록을 디코딩하기 위한 기타 정보를 결정할 수 있다.

움직임 보상 유닛(82)은 또한 비디오 블록의 인코딩 동안 비디오 인코더(20)에 의해 사용되는 것과 같은 보간 필터를 사용하여 보간을 수행하여 참조 블록의 정수 미만에 대한 보간된 값을 계산할 수 있다. 이 경우에, 움직임 보상 유닛(82)은 수신된 신택스 요소로부터 비디오 인코더(20)에 의해 사용되는 보간 필터를 결정하고 그 보간 필터를 사용하여 예측 블록을 생성할 수 있다.

역양자화 유닛(86)은 양자화 정도를 결정하기 위해 비디오 프레임 내의 비디오 블록 각각에 대해 비디오 인코더(20)에 의해 계산된 동일한 양자화 파라미터를 사용하여 엔트로피 디코딩 유닛(80)에 의해 디코딩되고 비트스트림으로 제공되는 양자화된 변환 계수를 역양자화한다. 역변환 처리 유닛(88)은 픽셀 영역에서 잔차 블록을 재구축하기 위해 역변환, 예컨대, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스를 변환 계수에 적용한다.

움직임 보상 유닛(82) 또는 인트라 BC 유닛(85)이 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 합산기(90)는 역변환 처리 유닛(88)으로부터의 잔차 블록과 움직임 보상 유닛(82) 및 인트라 BC 유닛(85)에 의해 생성되는 대응하는 예측 블록을 합산함으로써 현재 비디오 블록에 대한 디코딩된 비디오 블록을 재구축한다. 디코딩된 비디오 블록을 추가로 처리하기 위해 합산기(90)와 DPB(92) 사이에 인루프 필터(미도시)가 위치될 수 있다. 그 다음, 주어진 프레임 내의 디코딩된 비디오 블록은 DPB(92)에 저장되며, DPB(92)는 다음 비디오 블록의 후속 움직임 보상에 사용되는 참조 프레임을 저장한다. DPB(92), 또는 DPB(92)와 분리된 메모리 소자도 또한 도 1의 디스플레이 기기(34)와 같은, 디스플레이 기기에 추후 제시하기 위해 디코딩된 비디오를 저장할 수 있다.

전형적인 비디오 코딩 프로세스에서, 비디오 시퀀스는 전형적으로 프레임 또는 픽처의 정렬된 세트를 포함한다. 각각의 프레임은 SL, SCb 및 SCr로 표시된 세 개의 샘플 배열을 포함할 수 있다. SL은 루마 샘플의 2차원 배열이다. SCb는 Cb 크로마 샘플의 2차원 배열이다. SCr은 Cr 크로마 샘플의 2차원 배열이다. 다른 경우에, 프레임은 단색일 수 있으므로 루마 샘플의 2차원 배열 하나만 포함한다.

도 4a에 도시된 바와 같이, 비디오 인코더(20)(또는 보다 구체적으로 파티션 유닛(45))는 먼저 프레임을 코딩 트리 유닛(CTU)의 세트로 파티셔닝함으로써 프레임의 인코딩된 표현을 생성한다. 비디오 프레임은 왼쪽에서 오른쪽으로, 위에서 아래로, 래스터 스캔 순서로 연속적으로 정렬된 정수 개의 CTU를 포함할 수 있다. 각각의 CTU는 최대 논리 코딩 유닛이고 CTU의 너비와 높이는 비디오 인코더(20)에 의해 시퀀스 파라미터 세트에서 시그널링되어, 비디오 시퀀스 내의 모든 CTU는 128×128, 64×64, 32×32, 16×16 중 하나인 동일한 크기를 갖는다. 그러나 본 출원이 반드시 특정한 크기로 한정되는 것은 아니라는 점에 유의해야 한다. 도 4b에 도시된 바와 같이, 각각의 CTU는 루마 샘플의 하나의 코딩 트리 블록(CTB), 크로마 샘플의 두 개의 대응하는 코딩 트리 블록, 및 코딩 트리 블록의 샘플을 코딩하는 데 사용되는 신택스 요소를 포함할 수 있다. 신택스 요소는 코딩된 픽셀 블록의 상이한 유형의 유닛의 속성 및 인터 또는 인트라 예측, 인트라 예측 모드, 움직임 벡터 및 기타 파라미터를 포함한, 비디오 디코더(30)에서 비디오 시퀀스가 재구축될 수 있는 방법을 설명한다. 모노크롬 픽처 또는 세 개의 개별 색 평면을 갖는 픽처에서, CTU는 코딩 트리 블록의 샘플을 코딩하는 데 사용되는 단일 코딩 트리 블록 및 신택스 요소를 포함할 수 있다. 코딩 트리 블록은 샘플의 NxN 블록일 수 있다.

더 나은 성능을 달성하기 위해, 비디오 인코더(20)는 CTU의 코딩 트리 블록들에 대해 이분 트리 파티셔닝, 삼분 트리 파티셔닝, 사분 트리 파티셔닝 또는 이들의 조합과 같은 트리 파티셔닝을 재귀적으로 수행하여, CTU를 더 작은 코딩 유닛(CU)으로 나눌 수 있다. 도 4c에 도시된 바와 같이, 64x64 CTU(400)는 먼저 각각 32x32의 블록 크기를 갖는 4개의 더 작은 CU로 나뉜다. 4개의 더 작은 CU 중에서, CU(410)와 CU(420)는 각각 블록 크기 16x16의 4개의 CU로 나뉜다. 두 개의 16x16 CU(430 및 440)는 각각 블록 크기에 따라 8x8의 4개의 CU로 더 나뉜다. 도 4d는 도 4c에 도시된 바와 같은 CTU(400)의 파티션 프로세스의 최종 결과를 도시하는 사분 트리 데이터 구조를 도시하며, 사분 트리의 리프 노드 각각은 크기가 32x32에서 8x8 범위인 하나의 CU에 대응한다. 도 4b에 도시된 CTU처럼, 각각의 CU는 루마 샘플의 코딩 블록(CB) 및 동일한 크기의 프레임의 크로마 샘플의 두 개의 대응하는 코딩 블록, 및 코딩 블록의 샘플을 코딩하는 데 사용되는 신택스 요소를 포함할 수 있다. 모노크롬 픽처 또는 세 개의 개별 색 평면을 갖는 픽처에서, CU는 단일 코딩 블록 및 코딩 블록의 샘플을 코딩하는 데 사용되는 신택스 구조를 포함할 수 있다. 도 4c 및 도 4d에 도시된 사분 트리 파티셔닝은 단지 예시를 위한 것이며 하나의 CTU는 사분/삼분/이분 트리 파티션에 기초하여 다양한 로컬 특성에 적응하기 위해 CU로 분할될 수 있다. 여러 유형의 트리 구조에서, 하나의 CTU는 사분 트리 구조로 파티셔닝되고 각각의 사분 트리 리프 CU는 이분 및 삼분 트리 구조로 더 파티셔닝될 수 있다. 도 4e에 도시된 바와 같이, 5가지 파티셔닝 유형, 즉 사분 파티셔닝, 수평 이분 파티셔닝, 수직 이분 파티셔닝, 수평 삼분 파티셔닝 및 수직 삼분 파티셔닝이 있다.

일부 구현예에서, 비디오 인코더(20)는 추가로 CU의 코딩 블록을 하나 이상의 MxN 예측 블록(PB)으로 파티셔닝할 수 있다. 예측 블록은 동일한 예측(인터 또는 인트라)이 적용되는 샘플의 직사각형(정사각형 또는 비정사각형) 블록이다. CU의 예측 유닛(PU)은 루마 샘플의 예측 블록, 크로마 샘플의 두 개의 대응하는 예측 블록, 및 예측 블록을 예측하는 데 사용되는 신택스 요소를 포함할 수 있다. 모노크롬 픽처 또는 세 개의 개별 색 평면을 갖는 픽처에서, PU는 단일 예측 블록 및 예측 블록을 예측하는 데 사용되는 신택스 구조를 포함할 수 있다. 비디오 인코더(20)는 CU의 PU 각각의 루마, Cb, 및 Cr 예측 블록에 대한 예측 루마, Cb, 및 Cr 블록을 생성할 수 있다.

비디오 인코더(20)는 PU에 대한 예측 블록을 생성하기 위해 인트라 예측 또는 인터 예측을 사용할 수 있다. 비디오 인코더(20)가 PU의 예측 블록들을 생성하기 위해 인트라 예측을 사용하면, 비디오 인코더(20)는 PU와 연관된 프레임의 디코딩된 샘플에 기초하여 PU의 예측 블록을 생성할 수 있다. 비디오 인코더(20)가 PU의 예측 블록들을 생성하기 위해 인터 예측을 사용하면, 비디오 인코더(20)는 PU와 연관된 프레임 이외의 하나 이상의 프레임의 디코딩된 샘플에 기초하여 PU의 예측 블록을 생성할 수 있다.

비디오 인코더(20)가 CU의 하나 이상의 PU에 대한 예측 루마, Cb, 및 Cr 블록을 생성한 후, 비디오 인코더(20)는 CU의 예측 루마 블록을 그것의 원래 루마 코딩 블록으로부터 감산함으로써 CU에 대한 루마 잔차 블록을 생성하여 CU의 루마 잔차 블록 내의 샘플 각각이 CU의 예측 루마 블록 중 하나 내의 루마 샘플과 CU의 원래 루마 코딩 블록 내의 대응하는 샘플 간의 차이를 지시하도록 한다. 유사하게, 비디오 인코더(20)는 CU에 대한 Cb 잔차 블록 및 Cr 잔차 블록을 각각 생성하여, CU의 Cb 잔차 블록 내의 샘플 각각이 CU의 예측 Cb 블록 중 하나 내의 Cb 샘플과 CU의 원래 Cb 코딩 블록 내의 대응하는 샘플 사이의 차이를 지시할 수 있고, CU의 Cr 잔차 블록 내의 샘플 각각은 CU의 예측 Cr 블록 중 하나 내의 Cr 샘플과 CU의 원래 Cr 코딩 블록 내의 대응하는 샘플 사이의 차이를 지시할 수 있다.

또한, 도 4c에 도시된 바와 같이, 비디오 인코더(20)는 CU의 루마, Cb, 및 Cr 잔차 블록을 하나 이상의 루마, Cb, 및 Cr 변환 블록으로 분해하기 위해 사분 트리 파티셔닝을 사용할 수 있다. 변환 블록은 동일한 변환이 적용되는 샘플의 직사각형(정사각형 또는 비정사각형) 블록이다. CU의 변환 유닛(TU)은 루마 샘플의 변환 블록, 크로마 샘플의 두 개의 대응하는 변환 블록, 및 변환 블록 샘플을 변환하는 데 사용되는 신택스 요소를 포함할 수 있다. 따라서, CU의 TU 각각은 루마 변환 블록, Cb 변환 블록 및 Cr 변환 블록과 연관될 수 있다. 일부 예에서, TU와 연관된 루마 변환 블록은 CU의 루마 잔차 블록의 서브 블록일 수도 있다. Cb 변환 블록은 CU의 Cb 잔차 블록의 서브 블록일 수 있다. Cr 변환 블록은 CU의 Cr 잔차 블록의 서브 블록일 수 있다. 모노크롬 픽처 또는 세 개의 개별 색 평면을 갖는 픽처에서, TU는 단일 변환 블록 및 변환 블록의 샘플을 변환하는 데 사용되는 신택스 구조를 포함할 수 있다.

비디오 인코더(20)는 TU의 루마 변환 블록에 하나 이상의 변환을 적용하여 TU에 대한 루마 계수 블록을 생성할 수 있다. 계수 블록은 변환 계수의 2차원 배열일 수 있다. 변환 계수는 스칼라 양일 수 있다. 비디오 인코더(20)는 TU의 Cb 변환 블록에 하나 이상의 변환을 적용하여 TU에 대한 Cb 계수 블록을 생성할 수 있다. 비디오 인코더(20)는 TU의 Cr 변환 블록에 하나 이상의 변환을 적용하여 TU에 대한 Cr 계수 블록을 생성할 수 있다.

계수 블록(예: 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록)을 생성한 후, 비디오 인코더(20)는 계수 블록을 양자화할 수도 있다. 양자화는 일반적으로 변환 계수를 양자화하여 변환 계수를 나타내는 데 사용되는 데이터의 양을 가능한 감소시켜 추가 압축을 제공하는 프로세스를 가리킨다. 비디오 인코더(20)가 계수 블록을 양자화한 후에, 비디오 인코더(20)는 양자화된 변환 계수들을 나타내는 신택스 요소를 엔트로피 인코딩할 수 있다. 예를 들어, 비디오 인코더(20)는 양자화된 변환 계수를 지시하는 신택스 요소에 대해 CABAC(Context-Adaptive Binary Arithmetic Coding)을 수행할 수 있다. 마지막으로, 비디오 인코더(20)는 저장 기기(32)에 저장되거나 목적지 기기(14)에 송신되는, 코딩된 프레임 및 연관된 데이터의 표현을 형성하는 비트들의 시퀀스를 포함하는 비트스트림을 출력할 수 있다.

비디오 인코더(20)에 의해 생성된 비트스트림을 수신한 후, 비디오 디코더(30)는 비트스트림을 파싱하여 비트스트림으로부터 신택스 요소를 획득할 수도 있다. 비디오 디코더(30)는 비트스트림으로부터 획득된 신택스 요소에 적어도 부분적으로 기초하여 비디오 데이터의 프레임을 재구축할 수 있다. 비디오 데이터를 재구축하는 프로세스는 일반적으로 비디오 인코더(20)에 의해 수행되는 인코딩 프로세스의 역이다. 예를 들어, 비디오 디코더(30)는 현재 CU의 TU와 연관된 계수 블록에 대해 역변환을 수행하여 현재 CU의 TU와 연관된 잔차 블록을 재구축할 수 있다. 비디오 디코더(30)는 또한 현재 CU의 PU에 대한 예측 블록의 샘플을 현재 CU의 TU의 변환 블록의 대응하는 샘플에 추가함으로써 현재 CU의 코딩 블록을 재구축한다. 프레임의 CU 각각에 대한 코딩 블록을 재구축한 후, 비디오 디코더(30)는 프레임을 재구축할 수 있다.

위에서 언급한 바와 같이, 비디오 코딩은 주로 두 개의 모드, 즉, 인트라 프레임 예측(또는 인트라 예측) 및 인터 프레임 예측(또는 인터 예측)을 사용하여 비디오 압축을 달성한다. 팔레트 기반 코딩(palette-based coding)은 많은 비디오 코딩 표준에서 채택한 다른 코딩 방식이다. 스크린 생성된(screen-generated) 콘텐츠 코딩에 특히 적합할 수 있는 팔레트 기반 코딩에서, 비디오 코더(예: 비디오 인코더(20) 또는 비디오 디코더(30))는 주어진 블록의 비디오 데이터를 나타내는 색상의 팔레트 표를 형성한다. 팔레트 표에는 주어진 블록에서 가장 지배적인(예: 자주 사용되는) 픽셀 값이 포함된다. 주어진 블록의 비디오 데이터에서 자주 표현되지 않는 픽셀 값은 팔레트 표에 포함되지 않거나 팔레트 표에 이스케이프 색상(escape color)으로 포함된다.

팔레트 표(palette table)의 엔트리 각각은 팔레트 표에 있는 대응하는 픽셀 값에 대한 색인을 포함한다. 블록 내의 샘플들에 대한 팔레트 색인은 팔레트 표로부터의 어떤 엔트리가 어떤 샘플을 예측하거나 재구축하는 데 사용될 것인지를 지시하기 위해 코딩될 수도 있다. 이 팔레트 모드는 픽처, 슬라이스, 타일 또는 기타 그러한 비디오 블록 그룹화의 첫 번째 블록에 대한 팔레트 예측자(palette predictor)를 생성하는 프로세스로 시작한다. 아래에서 설명되는 바와 같이, 후속 비디오 블록에 대한 팔레트 예측자는 전형적으로 이전에 사용된 팔레트 예측자를 업데이트함으로써 생성된다. 예시를 위해, 팔레트 예측자가 픽처 레벨에서 정의된다고 가정한다. 다시 말해, 픽처는 다수의 코딩 블록을 포함할 수 있으며, 각각은 자신의 팔레트 표를 갖지만 전체 픽처에 대해 하나의 팔레트 예측자가 있다.

비디오 비트스트림에서 팔레트 엔트리를 시그널링하는 데 필요한 비트를 줄이기 위해, 비디오 디코더는 비디오 블록을 재구축하는 데 사용되는 팔레트 표에서 새로운 팔레트 엔트리를 결정하기 위해 팔레트 예측자를 이용할 수 있다. 예를 들어, 팔레트 예측자는 이전에 사용된 팔레트 표의 팔레트 엔트리를 포함하거나 심지어 가장 최근에 사용된 팔레트 표의 모든 엔트리를 포함함으로써 가장 최근에 사용된 팔레트 표로 초기화될 수도 있다. 일부 구현예에서, 팔레트 예측자는 가장 최근에 사용된 팔레트 표로부터 모든 엔트리보다 적은 수의 엔트리를 포함할 수 있고 그 다음 이전에 사용된 다른 팔레트 표로부터의 일부 엔트리를 통합할 수 있다. 팔레트 예측자는 상이한 블록을 코딩하는 데 사용되는 팔레트 표와 동일한 크기를 가질 수 있거나 상이한 블록을 코딩하는 데 사용되는 팔레트 표보다 크거나 작을 수 있다. 일례에서, 팔레트 예측자는 64개의 팔레트 엔트리를 포함하는 FIFO(First-In-First-Out) 표로서 구현된다.

팔레트 예측자로부터 비디오 데이터의 블록에 대한 팔레트 표를 생성하기 위해, 비디오 디코더는 인코딩된 비디오 비트스트림으로부터, 팔레트 예측자의 엔트리 각각에 대한 1비트 플래그를 수신할 수 있다. 1비트 플래그는 팔레트 예측자의 연관된 엔트리가 팔레트 표에 포함될 것임을 지시하는 제1 값(예: 이진 1) 또는 팔레트 예측자의 연관된 엔트리가 팔레트 표에 포함되지 않을 것임을 지시하는 제2 값(예: 이진 0)을 가질 수 있다. 팔레트 예측자의 크기가 비디오 데이터 블록에 사용되는 팔레트 표보다 크면, 비디오 디코더는 팔레트 표의 최대 크기에 도달하면 더 많은 플래그 수신을 중지할 수 있다.

일부 구현예에서, 팔레트 표의 일부 엔트리는 팔레트 예측자를 사용하여 결정되는 대신 인코딩된 비디오 비트스트림에서 직접 시그널링될 수 있다. 그러한 엔트리의 경우, 비디오 디코더는 인코딩된 비디오 비트스트림으로부터, 루마에 대한 픽셀 값을 지시하는 세 개의 개별 m 비트 값 및 엔트리와 연관된 두 개의 크로마 성분을 수신할 수 있으며, 여기서 m은 비디오 데이터의 비트 심도를 나타낸다. 직접 시그널링된 팔레트 엔트리에 필요한 다수의 m 비트 값에 비해, 팔레트 예측자에서 도출된 팔레트 엔트리는 1비트 플래그만 필요로 한다. 따라서, 팔레트 예측자를 사용하여 일부 또는 모든 팔레트 엔트리를 시그널링하는 것은 새로운 팔레트 표의 엔트리를 시그널링하는 데 필요한 비트 수를 상당히 감소시킬 수 있고, 이에 의해 팔레트 모드 코딩의 전체 코딩 효율을 향상시킬 수 있다.

많은 경우에, 하나의 블록에 대한 팔레트 예측자는 하나 이상의 이전에 코딩된 블록을 코딩하는 데 사용되는 팔레트 표에 기초하여 결정된다. 그러나 픽처, 슬라이스 또는 타일의 첫 번째 코딩 트리 유닛을 코딩하는 경우, 이전에 코딩된 블록의 팔레트 표를 사용하지 못할 수 있다. 따라서 이전에 사용된 팔레트 표의 엔트리를 사용하여 팔레트 예측자를 생성할 수 없다. 그러한 경우, 팔레트 예측자 이니셜라이저(palette predictor initializer)의 시퀀스는 이전에 사용된 팔레트 표를 사용할 수 없을 때 팔레트 예측자를 생성하는 데 사용되는 값인 시퀀스 파라미터 세트(sequence parameter set, SPS) 및/또는 픽처 파라미터 세트(picture parameter set, PPS)에서 시그널링될 수 있다. SPS는 일반적으로 각각의 슬라이스 세그먼트 헤더에서 발견되는 신택스 요소에 의해 참조되는 PPS에서 발견되는 신택스 요소의 내용에 의해 결정되는 바와 같이 코딩된 비디오 시퀀스(coded video sequence, CVS)라고 하는 일련의 코딩된 비디오 픽처에 적용되는 신택스 요소의 신택스 구조를 가리킨다. PPS는 일반적으로 각각의 슬라이스 세그먼트 헤더에서 발견되는 신택스 요소에 의해 결정되는 CVS 내의 하나 이상의 개별 픽처에 적용되는 신택스 요소의 신택스 구조를 가리킨다. 따라서, SPS는 일반적으로 PPS보다 높은 레벨의 신택스 구조로 간주되며, 이는 SPS에 포함된 신택스 요소가 일반적으로 PPS에 포함된 신택스 요소에 비해 덜 자주 변경되고 비디오 데이터의 더 큰 부분에 적용됨을 의미한다.

도 5a 및 도 5b는 본 개시의 일부 구현예에 따라 RGB 색 공간과 YCgCo 색 공간 사이의 잔차를 변환하기 위해 적응적 색 공간 변환(ACT)의 기술을 적용하는 예를 나타낸 블록도이다.

HEVC 화면 콘텐츠 코딩 확장에서, ACT는 세 개의 색 성분(예: R, G, B) 사이의 상관(예: 중복성)이 YCgCo 색 공간에서 크게 감소되도록 하나의 색 공간(예: RGB)에서 다른 색 공간(예: YCgCo)으로 잔차를 적응적으로 변환하기 위해 적용된다. 또한, 기존의 ACT 설계에서는 각각의 TU에 대해 하나의 플래그 tu_act_enabled_flag를 시그널링하여 변환 유닛(TU) 레벨에서 서로 다른 색 공간의 적응이 수행된다. 플래그 tu_act_enabled_flag가 1과 같을 때, 현재 TU의 잔차가 YCgCo 공간에서 코딩됨을 지시하고; 그렇지 않으면(즉, 플래그가 0과 같음), 현재 TU의 잔차가 원래 색 공간으로 코딩됨(즉, 색 공간 변환 없음)을 지시한다. 또한, 현재 TU가 무손실 모드 또는 손실 모드로 코딩되는지에 따라, 다른 색 공간 변환 공식이 적용된다. 구체적으로, 손실 모드에 대한 RGB 색 공간과 YCgCo 색 공간 사이의 순방향(forward) 및 역방향(inverse) 색 공간 변환 공식은 도 5a에 정의되어 있다.

무손실 모드의 경우, RGB-YCgCo 변환(YCgCo-LS로도 알려짐)의 가역 버전이 사용된다. RGB-YCgCo 변환의 가역 버전은 도 5b 및 관련 설명에 나타낸 리프팅 연산(lifting operation)에 기초하여 구현된다.

도 5a에 도시된 바와 같이, 손실 모드에서 사용되는 순방향 및 역방향 색 변환 행렬은 정규화되어 있지 않다. 따라서, YCgCo 신호의 크기는 색 변환이 적용된 원래 신호의 크기보다 작다. 순방향 색 변환으로 인한 크기 감소를 보상하기 위해 조정된 양자화 파라미터가 YCgCo 영역의 잔차에 적용된다. 구체적으로, 색 공간 변환이 적용되는 경우, YCgCo 영역 잔차를 양자화하는 데 사용되는 QP 값 QP_Y, QP_Cg및 QP_Co는 각각 QP - 5, QP - 5 및 QP - 3으로 설정되며, 여기서 QP는 원래 색 공간에서 사용된 양자화 파라미터이다.

도 6은 본 개시의 일부 구현예에 따른 예시적인 비디오 데이터 디코딩 프로세스에서 LMCS(Luma Mapping with Chroma Scaling)의 기술을 적용하는 블록도이다.

VVC에서, LMCS는 인루프 필터(예: 디블로킹 필터, SAO 및 ALF) 이전에 적용되는 새로운 코딩 도구로 사용된다. 일반적으로 LMCS에는 두 가지 주요 모듈이 있다: 1) 적응형 구분적 선형 모델(adaptive piecewise linear model)에 기초한 루마 성분의 인루프 매핑; 2) 루마 종속(luma-dependent) 크로마 잔차 스케일링. 도 6은 LMCS가 적용된 수정된 디코딩 프로세스를 나타낸다. 도 6에서, 매핑된 영역에서 수행되는 디코딩 모듈은 엔트로피 디코딩 모듈, 역양자화 모듈, 역변환 모듈, 루마 인트라 예측 모듈 및 루마 샘플 재구축 모듈(즉, 루마 예측 샘플과 루마 잔차 샘플의 가산)을 포함한다. 원래(즉, 매핑되지 않은) 영역에서 수행되는 디코딩 모듈은 움직임 보상된 예측 모듈, 크로마 인트라 예측 모듈, 크로마 샘플 재구축 모듈(즉, 크로마 예측 샘플과 크로마 잔차 샘플의 가산), 그리고 디블록킹 모듈, SAO 모듈, ALF 모듈과 같은 모든 인루프 필터 모듈을 포함한다. LMCS에 의해 도입된 새로운 동작 모듈은 루마 샘플의 순방향 매핑 모듈(610), 루마 샘플의 역방향 매핑 모듈(620), 및 크로마 잔차 스케일링 모듈(630)을 포함한다.

LMCS의 인루프 매핑은 코딩 효율을 향상시키기 위해 입력 신호의 동적 범위를 조정할 수 있다. 기존 LMCS 설계에서 루마 샘플의 인루프 매핑은 두 가지 매핑 함수를 기반으로 한다: 하나는 순방향 매핑 함수인 FwdMap이고 다른 하나는 대응하는 역방향 매핑 함수인 InvMap이다. 순방향 매핑 함수는 16개의 동일한 크기 부분(equal-size piece)이 있는 하나의 구분적 선형 모델을 사용하여 인코더에서 디코더로 시그널링된. 역방향 매핑 함수는 순방향 매핑 함수로부터 직접 도출될 수 있으므로 시그널링될 필요가 없다.

루마 매핑 모델의 파라미터는 슬라이스 레벨에서 시그널링된다. 현재 슬라이스에 대해 루마 매핑 모델이 시그널링되어야 하는지를 지시하기 위해 존재 플래그(presence fla)가 먼저 시그널링된다. 현재 슬라이스에 루마 매핑 모델이 있는 경우, 대응하는 구분적 선형 모델 파라미터가 추가로 시그널링된다. 추가로, 슬라이스 레벨에서, 다른 LMCS 제어 플래그가 슬라이스에 대한 LMCS를 인에이블/디스에이블하도록 시그널링된다.

크로마 잔차 스케일링 모듈(630)은 인루프 매핑이 루마 신호에 적용되는 경우에 루마 신호와 그에 대응하는 크로마 신호 사이의 양자화 정밀도(quantization precision)의 상호작용을 보상하도록 설계된다. 현재 슬라이스에 대해 크로마 잔차 스케일링이 인에이블 또는 디스에이블되는지도 슬라이스 헤더에서 시그널링된다. 루마 매핑이 인에이블되면, 루마 종속 크로마 잔차 스케일링이 적용되는지의 여부를 지시하기 위해 추가 플래그가 시그널링된다. 루마 매핑이 사용되지 않는 경우, 루마 종속 크로마 잔차 스케일링이 항상 디스에이블되고 추가 플래그는 필요하지 않다. 또한, 4개 이하의 크로마 샘플을 포함하는 CU에 대해 크로마 잔차 스케일링이 항상 디스에이블된다.

도 7은 본 개시의 일부 구현예에 따른 역 적응적 색 공간 변환(ACT)의 기술을 비디오 디코더가 구현하는 예시적인 비디오 디코딩 프로세스를 나타낸 블록도이다.

HEVC SCC에서의 ACT 설계와 유사하게, VVC에서의 ACT는 4:4:4 크로마 포맷의 하나의 CU의 인트라/인터 예측 잔차를 원래 색 공간(예: RGB 색 공간)에서 YCgCo 색 공간으로 변환한다. 결과적으로 3가지 색 성분 간의 중복성을 줄여 코딩 효율을 높일 수 있다. 도 7은 역ACT 모듈(710)의 추가를 통해 VVC 프레임워크에 역ACT가 어떻게 적용되는지를 나타낸 디코딩 흐름도를 도시한다. ACT로 인코딩된 CU를 처리하는 경우, 엔트로피 디코딩, 역양자화 및 역 DCT/DST 기반 변환이 먼저 CU에 적용된다. 그 후, 도 7에 나타낸 바와 같이, 역ACT가 디코딩된 잔차를 YCgCo 색 공간에서 원래 색 공간(예: RGB 및 YCbCr)으로 변환하기 위해 호출된다. 또한, 손실 모드의 ACT는 정규화되지 않기 때문에 Y, Cg 및 Co 성분에 (-5, -5, -3)의 QP 조정이 적용되어 변환된 잔차의 변경된 크기를 보상한다.

일부 실시예에서, ACT 방법은 HEVC의 동일한 ACT 코어 변환을 재사용하여 서로 다른 색 공간 사이의 색 변환을 수행한다. 구체적으로, 현재 CU가 손실 방식 또는 무손실 방식으로 코딩되는지에 따라 두 가지 다른 버전의 색상 변환이 적용된다. 손실 경우에 대한 순방향 및 역방향 색 변환은 도 5a에 도시된 바와 같이 비가역적 YCgCo 변환 행렬을 사용한다. 무손실의 경우, 도 5b에 도시된 바와 같이 가역적 색 변환 YCgCo-LS가 적용된다. 또한, 기존 ACT 설계와 달리, 제안된 ACT 방식에 VVC 표준에서의 다른 코딩 도구와의 상호 작용을 처리하기 위해 다음과 같은 변경 사항이 도입된다.

예를 들어, HEVC에서의 하나의 CU의 잔차는 다수의 TU로 파티셔닝될 수 있기 때문에, ACT 제어 플래그는 색 공간 변환이 적용될 필요가 있는지의 여부를 지시하기 위해 각각 TU에 대해 개별적으로 시그널링된다. 그러나 도 4e와 관련하여 위에서 설명된 바와 같이, 이분 및 삼분 파티션 구조로 중첩된 하나의 사분트리가 다중 파티션 유형 개념을 대체하기 위해 VVC에 적용되어, HEVC에서 개별 CU, PU 및 TU 파티션을 제거한다. 이는 지원되는 최대 변환 크기가 CU의 한 구성요소의 너비 또는 높이보다 작지 않는 한, 대부분의 경우 하나의 CU 리프 노드가 추가 분할 없이 예측 및 변환 처리의 유닛으로도 사용됨을 의미한다. 이러한 파티션 구조를 기반으로, 본 개시에서는 CU 레벨에서 ACT를 적응적으로 인에이블 및 디스에이블하는 것을 제안한다. 구체적으로, CU의 잔차를 코딩하기 위해 원래의 색 공간과 YCgCo 색 공간 사이에서 선택하도록 각각의 CU에 대해 하나의 플래그 cu_act_enabled_flag가 시그널링된다. 플래그가 1과 같으면 CU 내의 모든 TU의 잔차가 YCgCo 색 공간으로 코딩됨을 지시한다. 그렇지 않고, 플래그 cu_act_enabled_flag가 0과 같으면 CU의 모든 잔차가 원래 색 공간으로 코딩된다.

일부 실시예에서, 신택스 요소, 예를 들어, sps_act_enabled_flag는 ACT가 시퀀스 레벨에서 인에이블되는지 여부를 나타내기 위해 시퀀스 파라미터 세트(SPS)에 추가된다. 또한 루마 및 크로마 성분(components)이 동일한 해상도(예: 4:4:4 크로마 포맷 4:4:4)를 갖는 비디오 콘텐츠에 색 공간 변환이 적용됨에 따라, ACT가 4:4:4 크로마 포맷에 대해서만 인에이블될 수 있도록 하나의 비트스트림 적합성 요건(conformance requirement)이 추가되어야 한다. 표 1은 위의 신택스가 추가된 수정된 SPS 신택스 표를 보여준다.

표 1: 수정된 SPS 신택스 표

구체적으로, 1인 sps_act_enabled_flag는 ACT가 인에이블됨을 나타내고 0인 sps_act_enabled_flag는 ACT가 디스에이블됨을 나타내며, 이로써 플래그 cu_act_enabled_flag가 SPS를 참조하는 CU에 대해 시그널링되지 않고 0인 것으로 추론된다. ChromaArrayType이 3이 아닐 때, sps_act_enabled_flag의 값이 0이어야 하는 것은 비트스트림 적합성의 요건이다.

다른 실시예에서, sps_act_enabed_flag를 항상 시그널링하는 대신에, 플래그의 시그널링은 입력 신호의 크로마 유형에 대해 조건적으로 된다. 특히, ACT는 루마 및 크로마 성분이 동일한 해상도에 있을 때만 적용된다고 하면, 플래그 sps_act_enabled_flag는 입력 비디오가 4:4:4 크로마 포맷으로 캡처될 때만 신호된다. 이러한 변경으로 인해 수정된 SPS 신택스 표는 다음과 같다.

표 2: 시그널링 조건이 있는 수정된 SPS 신택스 표

일부 실시예에서, ACT를 사용하여 비디오 데이터를 디코딩하기 위한 신택스 설계 사양은 다음 표에 예시되어 있다.

표 3: 시그널링 ACT 모드에 대한 사양

1인 플래그 cu_act_enabled_flag는 코딩 유닛의 잔차가 YCgCo 색 공간에서 코딩됨을 나타내고, 0인 플래그 cu_act_enabled_flag는 코딩 유닛의 잔차가 원래 색 공간(예를 들어, RGB 또는 YCbCr)으로 코딩됨을 나타낸다. 플래그 cu_act_enabled_flag가 없으면 0과 같은 것으로 유추된다.

도 8a 및 8b는 비디오 디코더가 본 개시의 일부 구현예에 따른 크로마 스케일링을 갖는 역 적응 색 공간 변환(ACT) 및 루마 매핑의 기술을 구현하는 예시적인 비디오 디코딩 프로세스들을 예시하는 블록도들이다. 일부 실시예에서, 비디오 비트스트림은 ACT(예를 들어, 도 7의 역 ACT(710)) 및 크로마 잔차 스케일링(예를 들어, 도 6의 크로마 잔차 스케일링(630)) 둘 다를 사용하여 코딩된다. 일부 다른 실시예에서, 비디오 비트스트림은 크로마 잔차 스케일링을 사용하여 코딩되지만 ACT 둘 다를 사용하지 않으므로 역 ACTT(710)를 필요로 하지 않는다.

보다 구체적으로, 도 8a는 비디오 코더가 역 ACT(710) 전에 크로마 잔차 스케일링(630)을 수행하는 실시예를 도시한다. 결과적으로, 비디오 코더는 색 공간 변환된 도메인에서 크로마 잔차 스케일링(630)을 사용하여 루마 매핑을 수행한다. 예를 들어, 입력 비디오가 RGB 형식으로 캡처되어 YCgCo 색 공간으로 변환된다고 가정하면, 비디오 코더는 YCgCo 색 공간의 루마 잔차 Y에 따라 크로마 잔차 Cg 및 Co에 대해 크로마 잔차 스케일링(630)을 수행한다.

도 8b는 비디오 코더가 역 ACT(710) 후에 크로마 잔차 스케일링(630)을 수행하는 대안적인 실시예를 도시한다. 그 결과, 비디오 코더는 원래의 색 공간 영역에서 크로마 잔차 스케일링(630)으로 루마 매핑을 수행한다. 예를 들어, 입력 비디오가 RGB 형식으로 캡처되었다고 가정하면 비디오 코더는 B 및 R 성분에 크로마 잔차 스케일링을 적용한다.

도 9는 본 개시의 일부 구현예에 따른 적응 색 공간 변환(ACT)과 블록 차동 펄스 코딩 변조(BDPCM)를 수행하는 것 사이의 예시적인 디코딩 로직들을 예시하는 블록도이다.

BDPCM은 스크린 콘텐츠 코딩을 위한 코딩 도구이다. 일부 실시예에서, BDPCM 인에이블 플래그는 시퀀스 레벨에서 SPS 내에서 시그널링된다. BDPCM 인에이블 플래그는 SPS에서 변환 스킵 모드가 인에이블된 경우에만 시그널링된다.

BDPCM이 인에이블될 때, CU 크기가 루마 샘플의 관점에서 MaxTsSize x MaxTsSize 이하이고 CU가 인트라 코딩되면, 플래그가 CU 레벨에서 전송되며, 여기서 MaxTsSize는 변환 스킵 모드가 허용되는 최대 블록 크기이다. 이 플래그는 일반 인트라 코딩(regular intra coding)이 사용되는지 BDPCM이 사용되는지를 나타낸다. BDPCM이 사용되는 경우, 예측이 수평인지 수직인지를 나타내기 위해 다른 BDPCM 예측 방향 플래그가 더 전송된다. 그런 다음, 필터링되지 않은 참조 샘플을 사용하여 일반 수평 또는 수직 인트라 예측 프로세스를 사용하여 블록을 예측한다. 잔차는 양자화되고 각각의 양자화된 잔차와 그 예측자 사이의 차이, 즉 수평 또는 수직(BDPCM 예측 방향에 따라 다름) 인접 위치의 이전에 코딩된 잔차가 코딩된다.

M(높이) x N(너비) 크기의 블록에 대해, 이 예측 잔차라고 하자. 는 잔차 _,의 양자화 버전을 나타낸다. BDPCM이 양자화된 잔차 값에 적용되어, 요소 를 가진 수정된 M x N 어레이 이 생성된다. 여기서 는 인접하는 양자화된 잔차 값으로부터 예측된다. 수직 BDPCM 예측 모드의 경우 에 대해 다음을 사용하여 를 유도한다.

수평 BDPCM 예측 모드에 대해, 에 대해, 유도하기 위해 다음이 사용된다:

디코더 측에서, 위의 프로세스는 다음과 같이 을 계산하기 위해 역으로 된다:

역 양자화된 잔차, 가 인트라 블록 예측 값에 추가되어 재구성된 샘플 값을 생성한다.

예측된 양자화된 잔차 값 은 변환 스킵 모드 잔차 코딩에서와 동일한 잔차 코딩 프로세스를 사용하여 디코더에 전송된다. 미래 인트라 모드 코딩을 위한 MPM 모드의 관점에서, BDPCM 예측 방향이 수평 또는 수직인 경우 BDPCM 코딩된 CU에 대해 수평 또는 수직 예측 모드가 각각 저장된다. 디블록킹의 경우, 블록 경계의 측면의 두 블록이 모두 BDPCM을 사용하여 코딩된 경우 해당 특정 블록 경계는 디블록킹되지 않는다. 최신 VVC 작업 초안에 따르면, 입력 비디오가 4:4:4 크로마 포맷일 때 BDPCM은 CU-레벨에서 루마 및 크로마 채널에 대해 두 개의 개별 플래그, 즉 intra_bdpcm_luma_flag 및 intra_bdpcm_chroma_flag를 시그널링하여 루마 및 크로마 성분 모두에 적용될 수 있다.

일부 실시예에서, 비디오 코더는 ACT와 BDPCM 사이의 상호작용을 더 잘 처리하기 위해 다른 로직을 수행한다. 예를 들어, ACT가 하나의 인트라 CU에 적용될 때, BDPCM은 루마 성분에 대해 인에이블되지만 크로마 성분에 대해서는 디스에이블된다(910). 코딩 유닛의 대응하는 수정된 신택스 표는 다음과 같이 예시된다:

표 4: 루마 성분에 대해서만 인에이블된 BDPCM

일부 실시예에서, BDPCM은 ACT가 하나의 인트라 CU에 적용될 때 루마 및 크로마 성분 모두에 대해 인에이블된다(920). 코딩 유닛의 대응하는 수정된 신택스 표는 다음과 같이 예시된다:

표 5: 루마 및 크로마 성분 모두에 대해 인에이블된 BDPCM

일부 실시예에서, BDPCM은 ACT가 하나의 인트라 CU에 적용될 때 루마 및 크로마 성분 모두에 대해 디스에이블된다(930). 이 경우 BDPCM 관련 신택스 요소를 시그널링할 필요가 없다. 코딩 유닛의 대응하는 수정된 신택스 표는 다음과 같이 예시된다:

표 6: BDPCM은 루마 및 크로마 성분 모두에 대해 디스에이블된다.

도 10은, 본 개시의 일부 구현예에 따라, 비디오 코더가 ACT와 다른 코딩 툴(예를 들어, LMCS 및 BDPCM) 사이의 상호작용에 기초하여 역 적응 색 공간 변환(ACT)의 기술을 조건부로 수행함으로써 비디오 데이터를 디코딩하는 예시적인 프로세스를 도시하는 흐름도(1000)이다.

제1 단계로서, 비디오 디코더는 LMCS(luma mapping with chroma scaling)이 슬라이스의 코딩 유닛에 적용되는지 여부를 나타내는 그 슬라이스의 슬라이스 헤더의 제1 신택스 요소를 비트스트림으로부터 수신한다(1010).

그 다음, 비디오 디코더는 비트스트림으로부터 슬라이스의 코딩 유닛에 대한 제2 신택스 요소(예를 들어, cu_act_enabled_flag)를 수신한다(1020). 제2 신택스 요소는 코딩 유닛이 적응 색 공간 변환(ACT)을 사용하여 코딩되었는지 여부를 나타낸다.

제2 신택스 요소가 0이 아닌 값을 갖는 경우(예를 들어, 코딩 유닛이 ACT를 사용하여 코딩되었음을 나타냄), 비디오 디코더는 변환된 색 공간에서 비디오 데이터의 원래 색 공간으로 코딩 유닛의 루마 및 크로마 잔차를 변환하기 위해 역 ACT를 적용함으로써 코딩 유닛에 대응하는 비디오 데이터를 디코딩한다(1030).

코딩 유닛의 루마 및 크로마 잔차를 변환하기 위해 역 ACT를 적용한 후, 제1 신택스 요소가 0이 아닌 값을 갖는 경우(예를 들어, 코딩 유닛이 LMCS로 코딩되었음을 표시하는 경우), 비디오 디코더는 루마 샘플에 역 루마 매핑을 수행하고 코딩 유닛의 크로마 잔차에 역 스케일링을 수행함으로써 코딩 유닛에 대응하는 비디오 데이터를 생성한다(1040).

일부 실시예에서, 제2 신택스 요소를 수신하기 전에, 비디오 디코더는 비트스트림으로부터 제3 신택스 요소(예를 들어, chroma_format_idc)를 수신하며, 여기서 제3 신택스 요소는 비디오 데이터가 미리 정의된 크로마 포맷을 갖는지 여부를 표시한다. 전술한 바와 같이, ACT는 예컨대 4:4:4 크로마 포맷과 같은 임의의 미리 정의된 크로마 포맷에 대해서만 인에이블된다.

일부 실시예에서, 제2 신택스 요소(예를 들어, cu_act_enabled_flag)는 비디오 데이터가 미리 정의된 크로마 포맷을 가질 때만 비트스트림에 존재한다(예를 들어, ACT는 비디오 데이터가 4:4:4 크로마 포맷이 아닌 경우 디스에이블된다.).

일부 실시예에서, 변환된 색 공간은 YCgCo 색 공간인 반면 원래의 색 공간은 RGB 색 공간 또는 YCbCr 색 공간일 수 있다.

일부 실시예에서, 코딩 유닛의 루마 및 크로마 잔차를 변환하기 위해 역 ACT를 수행한 후, 비디오 디코더는 루마 샘플에 대한 역 루마 매핑 및 코딩 유닛의 크로마 잔차에 대한 역 스케일링을 수행하는 것은, 원래 색 공간의 루마 잔차를 예측된 루마 샘플에 추가함으로써 코딩 유닛의 매핑된 도메인에서 중간 루마 샘플을 생성하는 단계, 매핑된 도메인(mapped domain)의 중간 루마 샘플을 하나 이상의 적응형 조각 선형 모델(adaptive piecewise linear model)을 사용하여 매핑 전(pre-mapped) 도메인에서의 재구성된 루마 성분으로 변환하는 단계, 매핑된 도메인에서 대응하는 중간 루마 샘플에 따라 크로마 잔차를 역 스케일링하는 단계, 및 스케일링된 크로마 잔차 및 예측된 크로마 샘플을 사용하여 코딩 유닛의 크로마 성분을 재구성하는 단계에 의해 이루어진다.

일부 실시예에서, 비디오 디코더는 비트스트림으로부터 코딩 유닛에 대응하는 비디오 데이터를 수신하고, 여기서 코딩 유닛은 인트라 예측 모드에 의해 코딩된다. 비디오 코더는 비디오 데이터로부터 제1 신택스 요소(예를 들어, cu_act_enabled_flag)를 수신하고, 여기서 제1 신택스 요소는 코딩 유닛이 적응 색 공간 변환(ACT)을 사용하여 코딩되었는지 여부를 나타낸다. 제1 신택스 요소가 0의 값을 갖는 경우, 비디오 코더는 비디오 데이터로부터 하나 이상의 신택스 요소(예를 들어, intra_bdpcm_chroma_flag, intra_bdpcm_chroma_dir_flag)를 수신하고, 여기서 하나 이상의 신택스 요소는 코딩 유닛의 크로마 성분이 블록 차동 펄스 코딩 변조(BDPCM)를 사용하여 코딩되었는지 여부를 나타낸다.. 제1 신택스 요소가 0이 아닌 값을 갖는 경우, 비디오 코더는 BDPCM과 연관된 하나 이상의 신택스 요소에 디폴트 값을 할당한다. 디폴트 값은 코딩 유닛의 크로마 성분이 역 BDPCM 등을 사용하여 디코딩됨을 나타낼 수 있다. 그 다음, 비디오 코더는 ACT와 연관된 제1 신택스 요소 및 BDPCM과 연관된 하나 이상의 신택스 요소에 따라 비디오 데이터로부터 코딩 유닛을 디코딩한다.

일부 실시예에서, 제1 신택스 요소를 수신하기 전에, 비디오 디코더는 비디오 데이터로부터 제2 신택스 요소를 수신하며, 여기서 제2 신택스 요소는 비디오 데이터가 미리 정의된 크로마 포맷을 갖는지 여부를 나타낸다. 위에서 언급한 바와 같이 ACT는 미리 정의된 특정 크로마 포맷(예: 4:4:4 크로마 포맷)에 대해서만 인에이블된다.

일부 실시예에서, 제1 신택스 요소는 비디오 데이터가 미리 정의된 크로마 포맷을 가질 때만 비트스트림에 존재한다.

일부 실시예에서, 코딩 유닛이 색 공간 변환을 적용하지 않고 코딩될 때 코딩 유닛은 역 BDPCM을 사용하여 디코딩된다.

하나 이상의 예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 하나 이상의 명령어 또는 코드로서, 컴퓨터로 판독 가능한 매체에 저장되거나 이를 통해 송신될 수 있고, 하드웨어 기반 처리 유닛에 의해 실행될 수 있다. 컴퓨터로 판독 가능한 매체로는 데이터 저장 매체와 같은 유형의 매체(tangible medium)에 대응하는 컴퓨터로 판독 가능한 저장 매체, 또는 예컨대, 통신 프로토콜에 따라 컴퓨터 프로그램을 한 장소에서 다른 장소로 전송하는 것을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터로 판독 가능한 매체는 일반적으로 (1) 비일시적인, 유형의 컴퓨터로 판독 가능한 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 출원에서 설명된 구현예를 구현을 위한 명령어, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터로 판독 가능한 매체를 포함할 수 있다.

여기에서 구현예의 설명에 사용된 용어는 특정 구현예를 설명하기 위한 목적으로만 사용되며 청구 범위를 한정하려는 것은 아니다. 구현예 및 첨부된 청구범위의 설명에 사용된 바와 같이, 단수형은 문맥에서 명백하게 달리 나타내지 않는 한 복수형도 포함하도록 의도된다. 또한, 본 명세서에서 사용된 용어 "및/또는"은 관련된 나열된 항목 중 하나 이상의 모든 가능한 조합을 지칭하고 포함하는 것으로 이해될 것이다. 본 명세서에서 사용될 때 용어 "포함하다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 특징, 요소 및/또는 구성요소의 존재를 명시하지만 하나 이상의 다른 특징, 요소, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않음을 이해할 것이다.

제1, 제2 등의 용어가 다양한 요소를 설명하기 위해 본 명세서에서 사용될 수 있지만, 이러한 요소는 이러한 용어에 의해 한정되어서는 안 된다는 것 또한 이해될 것이다. 이러한 용어는 한 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 구현의 범위를 벗어나지 않으면서, 제1 전극은 제2 전극으로 명명될 수 있고, 유사하게 제2 전극도 제1 전극으로 명명될 수 있다. 제1 전극과 제2 전극은 모두 전극이지만 동일한 전극은 아니다.

본 출원의 설명은 예시 및 설명의 목적으로 제시되었으며, 본 발명을 총 망라하거나 개시된 형태로 한정하려는 의도는 아니다. 많은 수정, 변형 및 대안적인 구현이 당업자에게 명백할 것이며 전술한 설명 및 관련 도면에 제시된 교시의 이점을 갖는다. 실시예는 본 발명의 원리, 실제 적용을 가장 잘 설명하고, 당업자가 다양한 구현을 위해 본 발명을 이해할 수 있게 하고 기본 원리 및 다양한 수정을 가한 다양한 구현을 가장 잘 활용할 수 있도록 고려되는 특정 용도에 적합한 것으로서 선택되고 설명되었다. 따라서, 청구범위는 개시된 구현의 특정 예에 한정되지 않고 수정 및 다른 구현이 첨부된 청구범위 내에 포함되도록 의도됨을 이해해야 한다.

Claims

비디오 데이터를 디코딩하는 방법으로서,
비트스트림으로부터, 슬라이스와 연관된 하나의 슬라이스 헤더에서 제1 신택스 요소를 수신하는 단계 - 상기 제1 신택스 요소는 크로마 스케일링을 사용한 루마 매핑(LMCS: luma mapping with chroma scaling)이 슬라이스의 코딩 유닛에 적용되었는지 여부를 나타냄 -;
상기 비트스트림으로부터, 상기 슬라이스의 하나의 코딩 유닛에 대한 제2 신택스 요소를 수신하는 단계 - 상기 제2 신택스 요소는 상기 코딩 유닛이 적응 색 공간 변환(ACT: adaptive color-space transform)을 사용하여 코딩되었는지 여부를 나타냄 -;
상기 제2 신택스 요소가 0이 아닌 값을 갖는다는 결정에 따라, 상기 코딩 유닛의 루마 및 크로마 잔차를 하나의 변환된 색 공간에서 상기 비디오 데이터의 원래의 색 공간으로 변환하기 위해, 역 ACT를 적용함으로써 상기 코딩 유닛에 대응하는 비디오 데이터를 디코딩하는 단계; 및
상기 코딩 유닛의 루마 및 크로마 잔차를 변환하기 위해 역 ACT를 적용한 후, 상기 제1 신택스 요소가 0이 아닌 값을 갖는다는 결정에 따라, 상기 원래의 색 공간의 상기 코딩 유닛의 루마 잔차에 기초하여 중간 루마 샘플을 도출하고, 상기 중간 루마 샘플을 이용하여 역 루마 매핑을 수행하고, 상기 원래의 색 공간의 상기 코딩 유닛의 크로마 잔차를 이용하여 역 스케이링을 수행하는 것에 의해, 상기 코딩 유닛에 대응하는 비디오 데이터를 디코딩하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 제2 신택스 요소를 수신하기 전에, 상기 비트스트림으로부터 제3 신택스 요소를 수신하는 단계를 더 포함하고,
상기 제3 신택스 요소는 상기 비디오 데이터가 미리 정의된 크로마 포맷을 갖는지 여부를 나타내는,
방법.
제2항에 있어서,
상기 미리 정의된 크로마 포맷은 4:4:4 크로마 포맷인, 방법.
제2항에 있어서,
상기 제2 신택스 요소는 상기 비디오 데이터가 미리 정의된 크로마 포맷을 가질 때만 상기 비트스트림에 존재하는, 방법.
제1항에 있어서,
상기 변환된 색 공간은 YCgCo 색 공간인, 방법.
제1항에 있어서,
상기 원래의 색 공간에서의 상기 코딩 유닛의 루마 잔차에 기초하여 중간 루마 샘플을 도출하고, 상기 중간 루마 샘플을 이용하여 역 루마 매핑을 수행하고, 상기 원래의 색 공간에서의 상기 코딩 유닛의 크로마 잔차를 이용하여 역 스케이링을 수행하는 것에 의해, 상기 코딩 유닛에 대응하는 비디오 데이터를 디코딩하는 단계는,
상기 코딩 유닛의 예측된 루마 샘플에 원래의 색 공간의 루마 잔차를 추가함으로써 상기 코딩 유닛의 매핑된 도메인에서 중간 루마 샘플을 생성하는 단계;
하나 이상의 적응형 조각 선형 모델(adaptive piecewise linear model)을 사용하여 상기 매핑된 도메인의 중간 루마 샘플을 매핑 전(pre-mapped) 도메인의 재구성된 루마 성분으로 변환하는 단계;
상기 매핑된 도메인의 대응하는 중간 루마 샘플에 따라 상기 원래의 색 공간의 상기 크로마 잔차를 역 스케일링하는 단계; 및
상기 스케일링된 크로마 잔차 및 상기 코딩 유닛의 예측된 크로마 샘플을 사용하여 코딩 유닛의 크로마 성분을 재구성하는 단계
를 포함하는, 방법.
비디오 데이터를 디코딩하는 방법으로서,
인트라 예측 모드에 의해 코딩된 코딩 유닛에 대응하는 비디오 데이터를 비트스트림으로부터 수신하는 단계;
상기 비디오 데이터로부터 제1 신택스 요소를 수신하는 단계 - 상기 제1 신택스 요소는 상기 코딩 유닛이 적응 색 공간 변환(ACT)을 사용하여 코딩되었는지 여부를 나타냄 -;
상기 제1 신택스 요소가 0의 값을 갖는다는 결정에 따라: 상기 비디오 데이터로부터 하나 이상의 신택스 요소를 수신하는 단계 - 상기 하나 이상의 신택스 요소는 상기 코딩 유닛의 크로마 성분이 블록 차분 펄스 코딩 변조(BDPCM: block differential pulse coded modulation)를 사용하여 코딩되었는지 여부를 나타냄 -;
상기 제1 신택스 요소가 0이 아닌 값을 갖는다는 결정에 따라: BDPCM과 연관된 상기 하나 이상의 신택스 요소에 디폴트 값을 할당하는 단계; 및
ACT와 연관된 상기 제1 신택스 요소 및 BDPCM과 연관된 상기 하나 이상의 신택스 요소에 따라 상기 비디오 데이터로부터 상기 코딩 유닛을 디코딩하는 단계
를 포함하는 방법.
제7항에 있어서,
상기 제1 신택스 요소를 수신하기 전에, 상기 비디오 데이터로부터 제2 신택스 요소를 수신하는 단계를 더 포함하고,
상기 제2 신택스 요소는 상기 비디오 데이터가 미리 정의된 크로마 포맷을 갖는지 여부를 나타내는,
방법.
제8항에 있어서,
상기 미리 정의된 크로마 포맷은 4:4:4 크로마 포맷인, 방법.
제8항에 있어서,
상기 제1 신택스 요소는 상기 비디오 데이터가 미리 정의된 크로마 포맷을 가질 때만 상기 비트스트림에 존재하는, 방법.
제7항에 있어서,
상기 디폴트 값은 역 BDPCM을 사용하지 않고 상기 코딩 유닛의 크로마 성분이 디코딩됨을 나타내는, 방법.
제7항에 있어서,
상기 디폴트 값은 상기 코딩 유닛의 크로마 성분이 역 BDPCM을 사용하여 디코딩됨을 나타내는, 방법.
제7항에 있어서,
상기 코딩 유닛이 변환을 적용하지 않고 코딩되는 경우, 상기 코딩 유닛은 역 BDPCM을 사용하여 디코딩되는, 방법.
전자 장치로서,
하나 이상의 처리 유닛;
상기 하나 이상의 처리 유닛에 연결된 메모리; 및
상기 하나 이상의 처리 유닛에 의해 실행될 때 상기 전자 장치로 하여금 제1항 내지 제13항 중 어느 한 항의 방법을 수행하게 하는 메모리에 저장된 복수의 프로그램
을 포함하는 전자 장치.
하나 이상의 처리 유닛을 갖는 전자 장치에 의해 실행하기 위한 복수의 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체로서,
상기 복수의 프로그램은, 상기 하나 이상의 처리 유닛에 의해 실행될 때, 상기 전자 장치로 하여금 제1항 내지 제13항 중 어느 한 항의 방법을 실행하게 하는,
비일시적 컴퓨터 판독 가능 저장 매체.
하나 이상의 처리 유닛을 가진 전자 장치에 의한 실행을 위한 복수의 프로그램 코드를 포함하는, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램 제품으로서,
상기 복수의 프로그램 코드는, 상기 하나 이상의 처리 유닛에 의해 실행된 때, 상기 전자 장치로 하여금 제1항 내지 제13항 중 어느 한 항의 방법을 실행하게 하는, 컴퓨터 프로그램.