KR20190031495A

KR20190031495A - 디스플레이 적응을 위한 컬러 리맵핑 정보 sei 메시지 시그널링

Info

Publication number: KR20190031495A
Application number: KR1020197003267A
Authority: KR
Inventors: 로할스 호엘 솔레; 산스리 도네 부그다이지; 아다르쉬 크리쉬난 라마수브라모니안; 드미트로 루사노브스키
Original assignee: 퀄컴 인코포레이티드
Priority date: 2016-08-09
Filing date: 2017-08-08
Publication date: 2019-03-26
Also published as: AU2017308831A1; JP6982060B2; US20180048913A1; EP3497934A1; TW201806390A; JP2019527996A; WO2018031572A1; ES2907000T3; EP3497934B1; KR102094650B1; CN109479150B; US10368099B2; AU2017308831B2; BR112019001880A2; TWI713354B; CN109479150A

Abstract

하나의 예에서, 방법은, 비디오 디코딩 유닛에 의해, 현재의 디스플레이의 피크 밝기 값을 결정하는 단계; 비디오 디코딩 유닛에 의해 그리고 비디오 데이터의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 획득하는 단계; 비디오 디코딩 유닛에 의해 그리고 현재의 디스플레이의 피크 밝기 값에 기초하여, 하나 이상의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택하는 단계; 비디오 디코딩 유닛에 의해 그리고 선택된 컬러 리맵핑 메시지에 기초하여, 비디오 데이터의 픽처의 샘플들을 컬러 리맵핑하는 단계; 및 비디오 디코딩 유닛에 의해 그리고 현재의 디스플레이에의 디스플레이를 위해, 비디오 데이터의 픽처의 컬러 리맵핑된 샘플들을 출력하는 단계를 포함한다.

Description

디스플레이 적응을 위한 컬러 리맵핑 정보 SEI 메시지 시그널링

본 출원은 2016년 8월 9일자로 출원된 미국 가출원 제62/372,692호의 이익을 주장하고, 그 전체 내용은 이로써 참조로 통합된다.

기술분야

본 개시는 비디오 코딩에 관한 것이다.

디지털 비디오 능력들은, 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 휴대 정보 단말기 (personal digital assistant; PDA) 들, 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, e-북 리더들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 소위 "스마트 폰들", 비디오 텔레컨퍼런싱 디바이스들, 비디오 스트리밍 디바이스들 등을 포함하는, 광범위한 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, 어드밴스드 비디오 코딩 (Advanced Video Coding; AVC), ITU-T H.265, 고 효율 비디오 코딩 (High Efficiency Video Coding; HEVC) 에 의해 정의된 표준들, 및 이러한 표준들의 확장들에서 설명된 것들과 같은 비디오 코딩 기법들을 구현한다. 비디오 디바이스들은 이러한 비디오 코딩 기법들을 구현함으로써 디지털 비디오 정보를 보다 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.

비디오 코딩 기법들은 비디오 시퀀스들에 내재하는 리던던시를 감소 또는 제거하기 위해 공간 (인트라-픽처) 예측 및/또는 시간 (인터-픽처) 예측을 포함한다. 블록-기반 비디오 코딩의 경우, 비디오 슬라이스 (예를 들어, 비디오 프레임 또는 비디오 프레임의 부분) 는, 트리블록들, 코딩 유닛들 (CU들) 및/또는 코딩 노드들로도 또한 지칭될 수도 있는 비디오 블록들로 파티셔닝될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스에서의 비디오 블록들은 동일한 픽처의 이웃하는 블록들에서의 레퍼런스 샘플들에 대한 공간 예측을 이용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스에서의 비디오 블록들은 동일한 픽처의 이웃하는 블록들에서의 레퍼런스 샘플들에 대한 공간 예측 또는 다른 레퍼런스 픽처에서의 레퍼런스 샘플들에 대한 시간 예측을 이용할 수도 있다. 픽처들은 프레임들로 지칭될 수도 있고, 레퍼런스 픽처들은 레퍼런스 프레임들로 지칭될 수도 있다.

공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 초래한다. 잔차 데이터는 코딩될 원래의 블록과 예측 블록 간의 픽셀 차이들을 표현한다. 인터-코딩된 블록은 예측 블록을 형성하는 레퍼런스 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 간의 차이를 표시하는 잔차 데이터에 따라 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가의 압축을 위해, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어, 후에 양자화될 수도 있는 잔차 변환 계수들을 초래할 수도 있다. 초기에 2 차원 어레이로 배열되는, 양자화된 변환 계수들은, 변환 계수들의 1 차원 벡터를 생성하기 위하여 스캔될 수도 있고, 엔트로피 코딩이 훨씬 더 많은 압축을 달성하기 위해 적용될 수도 있다.

하나의 예에서, 디코딩된 비디오 데이터를 프로세싱하는 방법은, 비디오 디코딩 유닛에 의해, 현재의 디스플레이의 피크 밝기 값을 결정하는 단계; 비디오 디코딩 유닛에 의해 그리고 비디오 데이터의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 획득하는 단계; 비디오 디코딩 유닛에 의해 그리고 현재의 디스플레이의 피크 밝기 값에 기초하여, 하나 이상의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택하는 단계; 비디오 디코딩 유닛에 의해 그리고 선택된 컬러 리맵핑 메시지에 기초하여, 비디오 데이터의 픽처의 샘플들을 컬러 리맵핑하는 단계; 및 비디오 디코딩 유닛에 의해 그리고 현재의 디스플레이에의 디스플레이를 위해, 비디오 데이터의 픽처의 컬러 리맵핑된 샘플들을 출력하는 단계를 포함한다.

다른 예에서, 비디오 데이터를 인코딩하는 방법은, 비디오 인코더에 의해 그리고 비트스트림에서, 비디오 데이터의 픽처에 대한 샘플 값들을 인코딩하는 단계; 비디오 인코더에 의해 그리고 비트스트림에서, 비디오 데이터의 픽처에 대한 하나 이상의 컬러 리맵핑 메시지들을 인코딩하는 단계로서, 컬러 리맵핑 메시지들의 각각은 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 대응하는, 상기 하나 이상의 컬러 리맵핑 메시지들을 인코딩하는 단계; 및 비디오 인코더에 의해, 비트스트림을 출력하는 단계를 포함한다.

다른 예에서, 디코딩된 비디오 데이터를 프로세싱하기 위한 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리; 및 비디오 디코딩 유닛을 포함한다. 이 예에서, 비디오 디코딩 유닛은, 현재의 디스플레이의 피크 밝기 값을 결정하고; 비디오 데이터의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 획득하고; 현재의 디스플레이의 피크 밝기 값에 기초하여, 하나 이상의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택하고; 선택된 컬러 리맵핑 메시지에 기초하여, 비디오 데이터의 픽처의 샘플들을 컬러 리맵핑하고; 그리고 현재의 디스플레이에의 디스플레이를 위해, 비디오 데이터의 픽처의 컬러 리맵핑된 샘플들을 출력하도록 구성된다.

다른 예에서, 비디오 데이터를 인코딩하기 위한 디바이스는 비디오 데이터를 저장하도록 구성된 메모리; 및 비디오 인코딩 유닛을 포함한다. 이 예에서, 비디오 인코딩 유닛은, 비트스트림에서, 비디오 데이터의 픽처에 대한 샘플 값들을 인코딩하고; 비트스트림에서, 비디오 데이터의 픽처에 대한 하나 이상의 컬러 리맵핑 메시지들을 인코딩하는 것으로서, 컬러 리맵핑 메시지들의 각각은 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 대응하는, 상기 하나 이상의 컬러 리맵핑 메시지들을 인코딩하고; 그리고 비트스트림을 출력하도록 구성된다.

다른 예에서, 디코딩된 비디오 데이터를 프로세싱하기 위한 디바이스는, 현재의 디스플레이의 피크 밝기 값을 결정하기 위한 수단; 비디오 데이터의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 획득하기 위한 수단; 현재의 디스플레이의 피크 밝기 값에 기초하여, 하나 이상의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택하기 위한 수단; 선택된 컬러 리맵핑 메시지에 기초하여, 비디오 데이터의 픽처의 샘플들을 컬러 리맵핑하기 위한 수단; 및 현재의 디스플레이에의 디스플레이를 위해, 비디오 데이터의 픽처의 컬러 리맵핑된 샘플들을 출력하기 위한 수단을 포함한다.

다른 예에서, 비디오 데이터를 인코딩하기 위한 디바이스는, 비트스트림에서, 비디오 데이터의 픽처에 대한 샘플 값들을 인코딩하기 위한 수단; 비트스트림에서, 비디오 데이터의 픽처에 대한 하나 이상의 컬러 리맵핑 메시지들을 인코딩하기 위한 수단으로서, 컬러 리맵핑 메시지들의 각각은 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 대응하는, 상기 하나 이상의 컬러 리맵핑 메시지들을 인코딩하기 위한 수단; 및 비트스트림을 출력하기 위한 수단을 포함한다.

다른 예에서, 컴퓨터 판독가능 저장 매체는, 실행될 때, 비디오 프로세싱 디바이스의 하나 이상의 프로세서들로 하여금: 현재의 디스플레이의 피크 밝기 값을 결정하게 하고; 비디오 데이터의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 획득하게 하고; 현재의 디스플레이의 피크 밝기 값에 기초하여, 하나 이상의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택하게 하고; 선택된 컬러 리맵핑 메시지에 기초하여, 비디오 데이터의 픽처의 샘플들을 컬러 리맵핑하게 하고; 그리고 현재의 디스플레이에의 디스플레이를 위해, 비디오 데이터의 픽처의 컬러 리맵핑된 샘플들을 출력하게 하는 명령들을 저장한다.

다른 예에서, 컴퓨터 판독가능 저장 매체는, 실행될 때, 비디오 인코딩 디바이스의 하나 이상의 프로세서들로 하여금: 비트스트림에서, 비디오 데이터의 픽처에 대한 샘플 값들을 인코딩하게 하고; 비트스트림에서, 비디오 데이터의 픽처에 대한 하나 이상의 컬러 리맵핑 메시지들을 인코딩하게 하는 것으로서, 컬러 리맵핑 메시지들의 각각은 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 대응하는, 상기 하나 이상의 컬러 리맵핑 메시지들을 인코딩하게 하고; 그리고 비트스트림을 출력하게 하는 명령들을 저장한다.

하나 이상의 예들의 상세들이 첨부하는 도면들 및 이하의 설명에 기재된다. 다른 피처들, 목적들, 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백해질 것이다.

도 1 은 본 개시의 기법들을 구현하도록 구성된 일 예의 비디오 인코딩 및 디코딩 시스템을 예시하는 블록 다이어그램이다.
도 2 는 고 동적 범위 (HDR) 데이터의 개념들을 예시하는 도면이다.
도 3 은 고 해상도 텔레비전 (HDTV) (BT.709) 및 초 고 해상도 텔레비전 (UHDTV) (BT.2020) 의 비디오 신호의 컬러 가무트 (gamut) 들에 대해 비교하는 개념적 다이어그램이다.
도 4 는 HDR/WCG 표현 변환을 도시하는 개념적 다이어그램이다.
도 5 는 HDR/WCG 역 변환을 도시하는 개념적 다이어그램이다.
도 6 은 전달 함수들의 여러 예들을 도시하는 개념적 다이어그램이다.
도 7 은 CRI SEI 메시지를 적용할 때 비디오 디코더에 의해 이용되는 컬러 리맵핑 정보/프로세스의 통상의 구조를 도시하는 개념적 다이어그램이다.
도 8 은 본 개시의 기법들에 따른 하나 이상의 컬러 리맵핑 메시지들로 비디오 데이터의 픽처를 인코딩하기 위한 일 예의 방법을 예시하는 플로우차트이다.
도 9 는 본 개시의 기법들에 따른 하나 이상의 컬러 리맵핑 메시지들로 비디오 데이터의 픽처를 디코딩하기 위한 일 예의 방법을 예시하는 플로우차트이다.

본 개시는 고 동적 범위 (HDR) 및 와이드 컬러 가무트 (Wide Color Gamut; WCG) 표현들을 가진 비디오 신호들의 코딩의 분야에 관련된다. 보다 구체적으로, 본 개시의 기법들은 H.265/HEVC 비디오 코딩 표준에서 특정된 컬러 리맵핑 정보 (colour remapping information; CRI) SEI 메시지의 적용을 개선시키기 위한 여러 방법들을 포함한다. 본 개시는 디스플레이 적응을 위한 CRI SEI 의 시그널링이 상이한 능력들의 디스플레이들을 타겟팅하는 것을 가능하게 하기 위한 수단을 포함한다.

하이브리드-기반 비디오 코딩 표준들을 포함하는, 비디오 코딩 표준들은, ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼 및 ITU-T H.264 (또한 ISO/IEC MPEG-4 AVC 로도 알려짐) (그 스케일러블 비디오 코딩 (SVC) 및 멀티-뷰 비디오 코딩 (MVC) 확장들을 포함함) 를 포함한다. 새로운 비디오 코딩 표준, 즉 HEVC 의 설계는 ITU-T 비디오 코딩 전문가 그룹 (Video Coding Experts Group; VCEG) 및 ISO/IEC 동화상 전문가 그룹 (Motion Picture Experts Group; MPEG) 의 JCT-VC (Joint Collaboration Team on Video Coding) 에 의해 완결되었다. HEVC 규격 초안 10 (WD10) 으로 지칭되는 HEVC 초안 규격인, Bross et al., "High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Last Call)", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting: Geneva, CH, 14-23 January 2013, JCTVC-L1003v34 는 http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11.JCTVC-L1003-v34.zip 으로부터 입수가능하다. 완결된 HEVC 표준은 HEVC 버전 1 로 지칭된다.

결함 보고서인, Wang et al., "High efficiency video coding (HEVC) Defect Report", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 14th Meeting: Vienna, AT, 25 July-2 August 2013, JCTVC-N1003v1 은 http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip 으로부터 입수가능하다. 완결된 HEVC 표준 문헌은 ITU-T H.265, Series H: Audiovisual and Multimedia Systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Telecommunication Standardization Sector of International Telecommunication Union (ITU), April 2013 으로서 공개되고, 다른 버전이 2014년 10월에 공개되었다.

도 1 은 본 개시의 기법들을 활용할 수도 있는 일 예의 비디오 인코딩 및 디코딩 시스템 (10) 을 예시하는 블록 다이어그램이다. 도 1 에 도시한 바와 같이, 시스템 (10) 은 목적지 디바이스 (14) 에 의해 나중에 디코딩될 인코딩된 비디오 데이터를 제공하는 소스 디바이스 (12) 를 포함한다. 특히, 소스 디바이스 (12) 는 컴퓨터 판독가능 매체 (16) 를 통해 목적지 디바이스 (14) 에 비디오 데이터를 제공한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 전화기 핸드셋들 이를 테면 소위 "스마트" 폰들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함하는, 광범위한 디바이스들 중 임의의 것을 포함할 수도 있다. 일부 경우들에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신용으로 구비될 수도 있다.

목적지 디바이스 (14) 는 컴퓨터 판독가능 매체 (16) 를 통해 디코딩될 인코딩된 비디오 데이터를 수신할 수도 있다. 컴퓨터 판독가능 매체 (16) 는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 인코딩된 비디오 데이터를 이동 가능한 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 하나의 예에서, 컴퓨터 판독가능 매체 (16) 는 소스 디바이스 (12) 가 실시간으로 목적지 디바이스 (14) 에 직접 인코딩된 비디오 데이터를 송신하는 것을 가능하게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 통신 표준, 이를 테면 무선 통신 프로토콜에 따라 변조되고, 목적지 디바이스 (14) 에 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를 테면 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷-기반 네트워크, 이를 테면 로컬 영역 네트워크, 광역 네트워크, 또는 글로벌 네트워크 이를 테면 인터넷의 일부를 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.

일부 예들에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스로 출력될 수도 있다. 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수도 있다. 저장 디바이스는 다양한 분산된 또는 로컬로 액세스된 데이터 저장 매체들, 이를 테면 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스 (14) 는 스트리밍 또는 다운로드를 통해 저장 디바이스로부터 저장된 비디오 데이터에 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 에 송신하는 것이 가능한 임의의 타입의 서버일 수도 있다. 예의 파일 서버들은 웹 서버 (예를 들어, 웹사이트용), FTP 서버, NAS (network attached storage) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는 인터넷 접속을 포함한 임의의 표준 데이터 접속을 통하여 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은 파일 서버 상에 저장된 인코딩된 비디오 데이터에 액세스하는데 적합한 무선 채널 (예를 들어, Wi-Fi 접속), 유선 접속 (예를 들어, DSL, 케이블 모뎀 등), 또는 양자의 조합을 포함할 수도 있다. 저장 디바이스로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 그 조합일 수도 있다.

본 개시의 기법들은 무선 애플리케이션들 또는 설정들에 반드시 제한되는 것은 아니다. 기법들은 공중 경유 (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 인터넷 스트리밍 비디오 송신들, 이를 테면 DASH (dynamic adaptive streaming over HTTP), 데이터 저장 매체 상에 인코딩되는 디지털 비디오, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들과 같은 다양한 멀티미디어 애플리케이션들 중 임의의 것을 지원하여 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오 텔레포니와 같은 애플리케이션들을 지원하기 위해 1-방향 또는 2-방향 비디오 송신을 지원하도록 구성될 수도 있다.

도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 프리프로세서 (19) 및 비디오 인코더 (20) 를 포함하는 비디오 인코딩 유닛 (21), 및 출력 인터페이스 (22) 를 포함한다. 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30) 및 비디오 포스트프로세서 (31) 를 포함하는 비디오 디코딩 유닛 (29), 및 디스플레이 디바이스 (32) 를 포함한다. 본 개시에 따르면, 비디오 프리프로세서 (19) 및 비디오 포스트프로세서 (31) 는 본 개시에서 설명된 예의 기법들을 적용하도록 구성될 수도 있다. 예를 들어, 비디오 프리프로세서 (19) 및 비디오 포스트프로세서 (31) 는 정적 전달 함수를 적용하도록 구성된 정적 전달 함수 유닛을 포함하지만, 신호 특성들을 적응시킬 수 있는 프리- 및 포스트-프로세싱 유닛들과 함께 포함할 수도 있다.

다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 컴포넌트들 또는 어레인지먼트들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 외부 비디오 소스 (18), 이를 테면 외부 카메라로부터 비디오 데이터를 수신할 수도 있다. 마찬가지로, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함하기 보다는, 외부 디스플레이 디바이스와 인터페이스할 수도 있다.

도 1 의 예시된 시스템 (10) 은 하나의 예일 뿐이다. 비디오 데이터를 프로세싱하기 위한 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 일반적으로 본 개시의 기법들은 비디오 인코딩 디바이스에 의해 수행되지만, 기법들은 또한, 통상적으로 "CODEC" 으로 지칭되는, 비디오 인코더/디코더에 의해 수행될 수도 있다. 설명의 용이함을 위해, 본 개시는 비디오 프리프로세서 (19) 및 비디오 포스트프로세서 (31) 가 소스 디바이스 (12) 및 목적지 디바이스 (14) 의 개별의 디바이스들에서 본 개시에서 설명된 예의 기법들을 수행하는 것에 대하여 설명된다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 소스 디바이스 (12) 가 목적지 디바이스 (14) 로의 송신을 위해 코딩된 비디오 데이터를 생성하는 그러한 코딩 디바이스들의 예들일 뿐이다. 일부 예들에서, 디바이스들 (12, 14) 은 디바이스들 (12, 14) 의 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 포함하도록 실질적으로 대칭적인 방식으로 동작할 수도 있다. 그런 이유로, 시스템 (10) 은, 예를 들어, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 텔레포니를 위해, 비디오 디바이스들 (12, 14) 간에 1-방향 또는 2-방향 비디오 송신을 지원할 수도 있다.

소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 캡처 디바이스, 이를 테면, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 및/또는 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스를 포함할 수도 있다. 추가의 대안으로서, 비디오 소스 (18) 는 소스 비디오, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터-생성된 비디오의 조합으로서 컴퓨터 그래픽스-기반 데이터를 생성할 수도 있다. 일부 경우들에서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 상기 언급한 바와 같이, 본 개시에서 설명된 기법들은 일반적으로 비디오 코딩에 적용가능할 수도 있고 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다. 각각의 경우에서, 캡처된, 프리-캡처된, 또는 컴퓨터-생성된 비디오는 비디오 인코딩 유닛 (21) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 그 후 출력 인터페이스 (22) 에 의해 컴퓨터 판독가능 매체 (16) 로 출력될 수도 있다.

컴퓨터 판독가능 매체 (16) 는 일시적 매체들 (transient media), 이를 테면 무선 브로드캐스트 또는 유선 네트워크 송신, 또는 저장 매체들 (즉, 비일시적 저장 매체들), 이를 테면 하드 디스크, 플래시 드라이브, 콤팩트 디스크, 디지털 비디오 디스크, 블루-레이 디스크, 또는 다른 컴퓨터 판독가능 매체들을 포함할 수도 있다. 일부 예들에서, 네트워크 서버 (미도시) 는 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고 인코딩된 비디오 데이터를 예를 들어 네트워크 송신을 통해 목적지 디바이스 (14) 에 제공할 수도 있다. 유사하게, 매체 제조 시설, 이를 테면 디스크 스탬핑 시설의 컴퓨팅 디바이스는 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고 인코딩된 비디오 데이터를 포함하는 디스크를 제조할 수도 있다. 따라서, 컴퓨터 판독가능 매체 (16) 는 다양한 예들에서 다양한 형태들의 하나 이상의 컴퓨터 판독가능 매체들을 포함하는 것으로 이해될 수도 있다.

목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 컴퓨터 판독가능 매체 (16) 로부터 정보를 수신한다. 컴퓨터 판독가능 매체 (16) 의 정보는, 블록들 및 다른 코딩된 유닛들, 예를 들어, 픽처들의 그룹들 (GOP들) 의 특성들 및/또는 프로세싱을 기술하는 신택스 엘리먼트들을 포함하는, 비디오 디코딩 유닛 (29) 의 비디오 디코더 (30) 에 의해 또한 이용되는, 비디오 인코딩 유닛 (21) 의 비디오 인코더 (20) 에 의해 정의된 신택스 정보를 포함할 수도 있다. 디스플레이 디바이스 (32) 는 사용자에게 디코딩된 비디오 데이터를 디스플레이하고, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.

예시한 바와 같이, 비디오 프리프로세서 (19) 는 비디오 소스 (18) 로부터 비디오 데이터를 수신한다. 비디오 프리프로세서 (19) 는 비디오 데이터를 프로세싱하여 그것을 비디오 인코더 (20) 로 인코딩하는데 적합한 형태로 변환하도록 구성될 수도 있다. 예를 들어, 비디오 프리프로세서 (19) 는 동적 범위 콤팩팅 (예를 들어, 비선형 전달 함수를 이용함), 더 콤팩트하거나 또는 강건한 컬러 공간으로의 컬러 변환, 및/또는 부동-대-정수 (floating-to-integer) 표현 변환을 수행할 수도 있다. 비디오 인코더 (20) 는 비디오 프리프로세서 (19) 에 의해 출력된 비디오 데이터에 대해 비디오 인코딩을 수행할 수도 있다. 비디오 디코더 (30) 는 비디오 인코더 (20) 의 역을 수행하여 비디오 데이터를 디코딩할 수도 있고, 비디오 포스트프로세서 (31) 는 비디오 프리프로세서 (19) 의 역을 수행하여 비디오 데이터를 디스플레이에 적합한 형태로 변환할 수도 있다. 예를 들어, 비디오 포스트프로세서 (31) 는 정수-대-부동 변환, 콤팩트하거나 또는 강건한 컬러 공간으로부터의 컬러 변환, 및/또는 동적 범위 콤팩팅의 역을 수행하여 디스플레이에 적합한 비디오 데이터를 생성할 수도 있다.

비디오 인코딩 유닛 (21) 및 비디오 디코딩 유닛 (29) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 그 임의의 조합들과 같은 다양한 고정된 기능 및 프로그래밍가능 회로부 중 임의의 것으로서 구현될 수도 있다. 기법들이 소프트웨어로 부분적으로 구현되면, 디바이스는 적합한 비일시적 컴퓨터 판독가능 매체에 소프트웨어용 명령들을 저장하고 그 명령들을 본 개시의 기법들을 수행하기 위해 하나 이상의 프로세서들을 이용하여 하드웨어에서 실행할 수도 있다. 비디오 인코딩 유닛 (21) 및 비디오 디코딩 유닛 (29) 의 각각은, 어느 하나가 개별의 디바이스에 결합된 인코더/디코더 (CODEC) 의 일부로서 통합될 수도 있는 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있다.

비디오 프리프로세서 (19) 및 비디오 인코더 (20) 는 비디오 인코딩 유닛 (21) 내의 별도의 유닛들인 것으로서 예시되고 비디오 포스트프로세서 (31) 및 비디오 디코더 (30) 는 비디오 디코딩 유닛 (29) 내의 별도의 유닛들인 것으로서 예시되지만, 본 개시에서 설명된 기법들은 이렇게 제한되지는 않는다. 비디오 프리프로세서 (19) 및 비디오 인코더 (20) 는 공통 디바이스 (예를 들어, 동일한 집적 회로 또는 동일한 칩 또는 칩 패키지 내에 하우징됨) 로서 형성될 수도 있다. 유사하게, 비디오 포스트프로세서 (31) 및 비디오 디코더 (30) 는 공통 디바이스 (예를 들어, 동일한 집적 회로 또는 동일한 칩 또는 칩 패키지 내에 하우징됨) 로서 형성될 수도 있다.

일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 비디오 압축 표준, 이를 테면 ISO/IEC MPEG-4 비주얼 및 ITU-T H.264 (또한 ISO/IEC MPEG-4 AVC 로도 알려짐) (그 스케일러블 비디오 코딩 (SVC) 확장, 멀티-뷰 비디오 코딩 (MVC) 확장, 및 MVC-기반 3-차원 비디오 (3DV) 확장을 포함함) 에 따라 동작한다. 일부 인스턴스들에서, MVC-기반 3DV 에 부합하는 임의의 비트스트림은 항상 MVC 프로파일, 예를 들어 스테레오 하이 프로파일 (stereo high profile) 에 순응하는 서브-비트스트림을 포함한다. 더욱이, H.264/AVC 로의 3DV 코딩 확장, 즉 AVC-기반 3DV 를 생성하기 위한 계속 진행 중인 노력이 있다. 비디오 코딩 표준들의 다른 예들은 ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼, 및 ITU-T H.264, ISO/IEC 비주얼을 포함한다. 다른 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 ITU-T H.265, HEVC 표준에 따라 동작하도록 구성될 수도 있다.

HEVC 및 다른 비디오 코딩 표준들에서, 비디오 시퀀스는 통상적으로 일련의 픽처들을 포함한다. 픽처들은 또한 "프레임들" 로 지칭될 수도 있다. 픽처는 S_L, S_Cb, 및 S_Cr 로 표기되는 3 개의 샘플 어레이들을 포함할 수도 있다. S_L 은 루마 샘플들의 2-차원 어레이 (즉, 블록) 이다. S_Cb 는 Cb 색차 샘플들의 2-차원 어레이이다. S_Cr 은 Cr 색차 샘플들의 2-차원 어레이이다. 색차 샘플들은 또한 본 명세서에서 "크로마" 샘플들로 지칭될 수도 있다. 다른 인스턴스들에서, 픽처는 단색 (monochrome) 일 수도 있고 루마 샘플들의 어레이를 단지 포함할 수도 있다.

비디오 인코더 (20) 는 코딩 트리 유닛들 (CTU들) 의 세트를 생성할 수도 있다. CTU들의 각각은 루마 샘플들의 코딩 트리 블록, 크로마 샘플들의 2 개의 대응하는 코딩 트리 블록들, 및 코딩 트리 블록들의 샘플들을 코딩하는데 이용되는 신택스 구조들을 포함할 수도 있다. 단색 픽처 또는 3 개의 별도의 컬러 평면들을 갖는 픽처에서, CTU 는 단일 코딩 트리 블록 및 코딩 트리 블록의 샘플들을 코딩하는데 이용되는 신택스 구조들을 포함할 수도 있다. 코딩 트리 블록은 샘플들의 NxN 블록일 수도 있다. CTU 는 또한 "트리 블록" 또는 "최대 코딩 유닛 (LCU)" 으로 지칭될 수도 있다. HEVC 의 CTU들은 H.264/AVC 와 같은 다른 비디오 코딩 표준들의 매크로블록들과 대체로 유사할 수도 있다. 그러나, CTU 는 특정한 사이즈에 반드시 제한되는 것은 아니며 하나 이상의 코딩 유닛들 (CU들) 을 포함할 수도 있다. 슬라이스는 래스터 스캔으로 연속하여 순서화된 정수 개의 CTU들을 포함할 수도 있다.

본 개시는 샘플들의 하나 이상의 블록들 및 샘플들의 하나 이상의 블록들의 샘플들을 코딩하는데 이용되는 신택스 구조들을 지칭하기 위해 용어 "비디오 유닛" 또는 "비디오 블록" 을 사용할 수도 있다. 비디오 유닛들의 예의 타입들은 HEVC 에서의 CTU들, CU들, PU들, 변환 유닛들 (TU들), 또는 다른 비디오 코딩 표준들에서의 매크로블록들, 매크로블록 파티션들 등을 포함할 수도 있다.

비디오 인코더 (20) 는 CU 의 코딩 블록을 하나 이상의 예측 블록들로 파티셔닝할 수도 있다. 예측 블록은 동일한 예측이 적용되는 샘플들의 직사각형 (즉, 정사각형 또는 비-정사각형) 블록일 수도 있다. CU 의 예측 유닛 (PU) 은 루마 샘플들의 예측 블록, 픽처의 크로마 샘플들의 2 개의 대응하는 예측 블록들, 및 예측 블록 샘플들을 예측하는데 이용되는 신택스 구조들을 포함할 수도 있다. 단색 픽처 또는 3 개의 별도의 컬러 평면들을 갖는 픽처에서, PU 는 단일 예측 블록 및 예측 블록 샘플들을 예측하는데 이용되는 신택스 구조들을 포함할 수도 있다. 비디오 인코더 (20) 는 예측 루마, Cb 및 Cr 블록들을 CU 의 각각의 PU 의 루마, Cb 및 Cr 예측 블록들을 위해 생성할 수도 있다.

비디오 인코더 (20) 는 PU 에 대한 예측 블록들을 생성하기 위해 인트라 예측 또는 인터 예측을 이용할 수도 있다. 비디오 인코더 (20) 가 PU 의 예측 블록들을 생성하기 위해 인트라 예측을 이용하면, 비디오 인코더 (20) 는 PU 와 연관된 픽처의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다.

비디오 인코더 (20) 가 CU 의 하나 이상의 PU들에 대한 예측 루마, Cb 및 Cr 블록들을 생성한 후에, 비디오 인코더 (20) 는 CU 에 대한 루마 잔차 블록을 생성할 수도 있다. CU 의 루마 잔차 블록에서의 각각의 샘플은 CU 의 예측 루마 블록들 중 하나에서의 루마 샘플과 CU 의 원래의 루마 코딩 블록에서의 대응하는 샘플 간의 차이를 표시한다. 추가로, 비디오 인코더 (20) 는 CU 에 대한 Cb 잔차 블록을 생성할 수도 있다. CU 의 Cb 잔차 블록에서의 각각의 샘플은 CU 의 예측 Cb 블록들 중 하나에서의 Cb 샘플과 CU 의 원래의 Cb 코딩 블록에서의 대응하는 샘플 사이의 차이를 표시할 수도 있다. 비디오 인코더 (20) 는 또한 CU 에 대한 Cr 잔차 블록을 생성할 수도 있다. CU 의 Cr 잔차 블록에서의 각각의 샘플은 CU 의 예측 Cr 블록들 중 하나에서의 Cr 샘플과 CU 의 원래의 Cr 코딩 블록에서의 대응하는 샘플 사이의 차이를 표시할 수도 있다.

더욱이, 비디오 인코더 (20) 는 CU 의 루마, Cb 및 Cr 잔차 블록들을 하나 이상의 루마, Cb, 및 Cr 변환 블록들로 분해하기 위해 쿼드-트리 파티셔닝을 이용할 수도 있다. 변환 블록은 동일한 변환이 적용되는 샘플들의 직사각형 블록일 수도 있다. CU 의 변환 유닛 (TU) 은 루마 샘플들의 변환 블록, 크로마 샘플들의 2 개의 대응하는 변환 블록들, 및 변환 블록 샘플들을 변환하는데 이용되는 신택스 구조들을 포함할 수도 있다. 단색 픽처 또는 3 개의 별도의 컬러 평면들을 갖는 픽처에서, TU 는 단일 변환 블록 및 변환 블록 샘플들을 변환하는데 이용되는 신택스 구조들을 포함할 수도 있다. 따라서, CU 의 각각의 TU 는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수도 있다. TU 와 연관된 루마 변환 블록은 CU 의 루마 잔차 블록의 서브-블록일 수도 있다. Cb 변환 블록은 CU 의 Cb 잔차 블록의 서브-블록일 수도 있다. Cr 변환 블록은 CU 의 Cr 잔차 블록의 서브-블록일 수도 있다.

비디오 인코더 (20) 는 TU 에 대한 루마 계수 블록을 생성하기 위해 TU 의 루마 변환 블록에 하나 이상의 변환들을 적용할 수도 있다. 계수 블록은 변환계수들의 2-차원 어레이일 수도 있다. 변환 계수는 스칼라 양일 수도 있다. 비디오 인코더 (20) 는 TU 에 대한 Cb 계수 블록을 생성하기 위해 TU 의 Cb 변환 블록에 하나 이상의 변환들을 적용할 수도 있다. 비디오 인코더 (20) 는 TU 에 대한 Cr 계수 블록을 생성하기 위해 TU 의 Cr 변환 블록에 하나 이상의 변환들을 적용할 수도 있다.

계수 블록 (예를 들어, 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록) 을 생성한 후에, 비디오 인코더 (20) 는 계수 블록을 양자화할 수도 있다. 양자화는 일반적으로 변환 계수들이 변환 계수들을 표현하는데 이용되는 데이터의 양을 가능한 한 감소시키기 위해 양자화되어, 추가의 압축을 제공하는 프로세스를 지칭한다. 더욱이, 비디오 인코더 (20) 는 변환 계수들을 역 양자화하고 변환 계수들에 역 변환을 적용하여 픽처의 CU들의 TU들의 변환 블록들을 복원할 수도 있다. 비디오 인코더 (20) 는 CU 의 TU들의 복원된 변환 블록들 및 CU 의 PU들의 예측 블록들을 이용하여 CU 의 코딩 블록들을 복원할 수도 있다. 픽처의 각각의 CU 의 코딩 블록들을 복원함으로써, 비디오 인코더 (20) 는 픽처를 복원할 수도 있다. 비디오 인코더 (20) 는 디코딩된 픽처 버퍼 (DPB) 에 복원된 픽처들을 저장할 수도 있다. 비디오 인코더 (20) 는 인터 예측 및 인트라 예측을 위해 DPB 에서의 복원된 픽처를 이용할 수도 있다.

비디오 인코더 (20) 가 계수 블록을 양자화한 후에, 비디오 인코더 (20) 는 양자화된 변환 계수들을 표시하는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 양자화된 변환 계수들을 표시하는 신택스 엘리먼트들에 대해 콘텍스트-적응 이진 산술 코딩 (CABAC) 을 수행할 수도 있다. 비디오 인코더 (20) 는 엔트로피-인코딩된 신택스 엘리먼트들을 비트스트림으로 출력할 수도 있다.

비디오 인코더 (20) 는 코딩된 픽처들 및 연관된 데이터의 표현을 형성하는 비트들의 시퀀스를 포함하는 비트스트림을 출력할 수도 있다. 비트스트림은 네트워크 추상화 계층 (NAL) 유닛들의 시퀀스를 포함할 수도 있다. NAL 유닛들의 각각은 NAL 유닛 헤더를 포함하고 원시 바이트 시퀀스 페이로드 (RBSP) 를 캡슐화한다. NAL 유닛 헤더는 NAL 유닛 타입 코드를 표시하는 신택스 엘리먼트를 포함할 수도 있다. NAL 유닛의 NAL 유닛 헤더에 의해 특정된 NAL 유닛 타입 코드는 NAL 유닛의 타입을 표시한다. RBSP 는 NAL 유닛 내에 캡슐화되는 정수 개의 바이트들을 포함하는 신택스 구조일 수도 있다. 일부 인스턴스들에서, RBSP 는 제로 비트들을 포함한다.

상이한 타입들의 NAL 유닛들은 상이한 타입들의 RBSP들을 캡슐화할 수도 있다. 예를 들어, 제 1 타입의 NAL 유닛은 픽처 파라미터 세트 (PPS) 에 대한 RBSP 를 캡슐화할 수도 있고, 제 2 타입의 NAL 유닛은 코딩된 슬라이스에 대한 RBSP 를 캡슐화할 수도 있고, 제 3 타입의 NAL 유닛은 보충 강화 정보 (Supplemental Enhancement Information; SEI) 에 대한 RBSP 를 캡슐화할 수도 있고 등등이다. 예를 들어, NAL 유닛은 CRI SEI 메시지에 대한 RBSP 를 캡슐화할 수도 있다. PPS 는 제로 이상의 전체 코딩된 픽처들에 적용하는 신택스 엘리먼트들을 포함할 수도 있는 신택스 구조이다. (파라미터 세트들 및 SEI 메시지들에 대한 RBSP들과는 대조적으로) 비디오 코딩 데이터에 대한 RBSP들을 캡슐화하는 NAL 유닛들은 비디오 코딩 계층 (VCL) NAL 유닛들로 지칭될 수도 있다. 코딩된 슬라이스를 캡슐화하는 NAL 유닛은 본 명세서에서 코딩된 슬라이스 NAL 유닛으로 지칭될 수도 있다. 코딩된 슬라이스에 대한 RBSP 는 슬라이스 헤더 및 슬라이스 데이터를 포함할 수도 있다.

비디오 디코더 (30) 는 비트스트림을 수신할 수도 있다. 추가로, 비디오 디코더 (30) 는 비트스트림으로부터 신택스 엘리먼트들을 디코딩하기 위해 비트스트림을 파싱할 수도 있다. 비디오 디코더 (30) 는 비트스트림으로부터 디코딩된 신택스 엘리먼트들에 적어도 부분적으로 기초하여 비디오 데이터의 픽처들을 복원할 수도 있다. 비디오 데이터를 복원하기 위한 프로세스는 일반적으로 비디오 인코더 (20) 에 의해 수행되는 프로세스에 상반될 수도 있다. 예를 들어, 비디오 디코더 (30) 는 현재의 CU 의 PU들에 대한 예측 블록들을 결정하기 위해 PU들의 모션 벡터들을 이용할 수도 있다. 비디오 디코더 (30) 는 PU들에 대한 예측 블록들을 생성하기 위해 PU들의 모션 벡터 또는 모션 벡터들을 이용할 수도 있다.

추가로, 비디오 디코더 (30) 는 현재의 CU 의 TU들과 연관된 계수 블록들을 역 양자화할 수도 있다. 비디오 디코더 (30) 는 현재의 CU 의 TU들과 연관된 변환 블록들을 복원하기 위해 계수 블록들에 대해 역 변환들을 수행할 수도 있다. 비디오 디코더 (30) 는 현재의 CU 의 PU들에 대한 예측 샘플 블록들의 샘플들을 현재의 CU 의 TU들의 변환 블록들의 대응하는 샘플들에 가산함으로써 현재의 CU 의 코딩 블록들을 복원할 수도 있다. 픽처의 각각의 CU 에 대한 코딩 블록들을 복원함으로써, 비디오 디코더 (30) 는 픽처를 복원할 수도 있다. 비디오 디코더 (30) 는 출력을 위해 및/또는 다른 픽처들을 디코딩하는데 있어서의 이용을 위해 디코딩된 픽처 버퍼에 디코딩된 픽처들을 저장할 수도 있다.

차세대 비디오 애플리케이션들은 고 동적 범위 (HDR) 및 와이드 컬러 가무트 (WCG) 로 캡처된 풍경을 표현하는 비디오 데이터로 동작할 것으로 예상된다. 활용된 동적 범위 및 컬러 가무트의 파라미터들은 비디오 콘텐츠의 2 개의 독립적인 속성들이고, 디지털 텔레비전 및 멀티미디어 서비스들의 목적을 위한 그들의 규격은 여러 국제 표준들에 의해 정의된다. 예를 들어, ITU-R Rec.709 는 표준 동적 범위 (Standard Dynamic Range; SDR) 및 표준 컬러 가무트와 같은 고 해상도 텔레비전 (high definition television; HDTV) 에 대한 파라미터들을 정의하고, ITU-R Rec.2020 은 HDR 및 WCG 와 같은 초 고 해상도 텔레비전 (ultra-high definition television; UHDTA) 파라미터들을 특정한다. 다른 시스템들에서 동적 범위 및 컬러 가무트 속성들을 특정하는 다른 표준 개발 조직 (SDO들) 문서들이 또한 존재하며, 예를 들어, P3 컬러 가무트는 SMPTE-231-2 (Society of Motion Picture and Television Engineers) 에서 정의되고 HDR 의 일부 파라미터들은 STMPTE-2084 에서 정의된다. 비디오 데이터에 대한 동적 범위 및 컬러 가무트의 간략한 설명이 아래에 제공된다.

동적 범위는 통상적으로 비디오 신호의 최소 밝기와 최대 밝기 간의 비로서 정의된다. 동적 범위는 또한, 'f-스톱' 의 측면에서 측정될 수도 있고, 여기서 1 f-스톱은 신호 동적 범위의 배가 (doubling) 에 대응한다. MPEG 의 정의에서, HDR 콘텐츠는 16 f-스톱들을 넘는 밝기 변동을 특징화하는 그러한 콘텐츠이다. 일부 용어들에서, 10 과 16 f-스톱들 사이의 레벨들이 중간 동적 범위로서 고려되지만, 다른 정의들에서는 HDR 로 고려될 수도 있다. 일부 예들에서, HDR 비디오 콘텐츠는 표준 동적 범위를 가진 종래 이용된 비디오 콘텐츠 (예를 들어, ITU-R Rec.BT.709 에 의해 특정된 바와 같은 비디오 콘텐츠) 보다 더 높은 동적 범위를 갖는 임의의 비디오 콘텐츠일 수도 있다. 동시에, 인간 시각 시스템 (HVS) 은 훨씬 더 큰 동적 범위를 인지하는 것이 가능하다. 그러나, HVS 는 소위 동시 범위 (simultaneous range) 를 좁히기 위한 적응 메커니즘을 포함한다. HDTV 의 SDR, UHDTV 의 예상된 HDR 및 HVS 동적 범위에 의해 제공된 동적 범위의 시각화 (visualization) 가 도 2 에 도시된다.

현재의 비디오 애플리케이션들 및 서비스들은 Rec.709 에 의해 규제되고, 통상적으로 10 f-스톱들 미만에 이르는, 제곱 미터 (m2) 당 약 0.1 내지 100 칸델라 (cd) (종종 "니트 (nits)" 로 지칭됨) 의 밝기 (또는 휘도) 의 범위를 지원하는 SDR 을 제공한다. 차세대 비디오 서비스들은 최대 16 f-스톱들의 동적 범위를 제공하는 것으로 예상된다. 세부 규격이 현재 개발 중이지만, 일부 초기 파라미터들은 SMPTE-2084 및 Rec. 2020 에서 특정되었다.

HDR 이외에도 보다 현실적인 비디오 경험을 위한 다른 양태는 종래에 컬러 가무트에 의해 정의되는 컬러 차원 (color dimension) 이다. 도 3 은 SDR 컬러 가무트 (BT.709 적색, 녹색 및 청색의 원색들에 기초한 삼각형), 및 UHDTV 에 대한 더 넓은 컬러 가무트 (BT.2020 적색, 녹색 및 청색의 원색들에 기초한 삼각형) 를 도시하는 개념적 다이어그램이다. 도 3 은 또한, 천연색들의 한계들을 표현하는, 소위 스펙트럼 궤적 (혓바닥 형상 영역으로 구분됨) 을 묘사한다. 도 3 에 의해 예시된 바와 같이, BT.709 로부터 BT.2020 원색들로 이동하는 것은 약 70% 더 많은 컬러들을 UHDTV 서비스들에 제공하는 것을 목표로 한다. D65 는 주어진 규격들 (예를 들어, BT.709 및/또는 BT.2020 규격들) 에 대해 백색을 특정한다.

컬러 가무트 규격들의 몇몇 예들이 이하 표 1 에 도시된다.

표 1 에서 알 수 있는 바와 같이, 컬러 가무트는 백색점의 x 및 y 값들, 및 원색들 (예를 들어, 적 (R), 녹 (G), 및 청 (B)) 의 x 및 y 값들에 의해 정의될 수도 있다. x 및 y 값들은 X, Y, 및 Z 좌표들로부터 도출되며 여기서 CIE 1931 컬러 공간에 의해 정의되는 바와 같이, X 및 Z 는 색도 (chromaticity) 를 표현하고 Y 는 컬러들의 밝기를 표현한다. CIE 1931 컬러 공간은 (예를 들어, 파장들의 측면에서의) 순색들 간의 링크들 및 사람의 눈이 이러한 컬러들을 인지하는 방법을 정의한다.

HDR/WCG 는 통상적으로 4:4:4 크로마 포맷 및 매우 넓은 컬러 공간 (예를 들어, CIE 1931 XYZ 컬러 공간) 으로, 성분 당 매우 높은 정밀도 (심지어 부동소수점 (floating point)) 로 취득 및 저장된다. 이 표현은 고 정밀도를 목표로 하고 (거의) 수학적으로 무손실이다. 그러나, 이 포맷 피처는 많은 리던던시들을 포함할 수도 있고 압축 목적들을 위해서는 최적이 아니다. HVS-기반 가정을 가진 더 낮은 정밀도 포맷이 통상적으로 최신 기술의 비디오 애플리케이션들을 위해 활용된다.

압축의 목적들을 위한 통상의 비디오 데이터 포맷 변환은 도 4 에 도시된 바와 같이, 3 개의 주된 프로세스들로 이루어진다. 도 4 의 기법들은 비디오 프리프로세서 (19) 에 의해 수행될 수도 있다. 선형 RGB 데이터 (110) 는 HDR/WCG 비디오 데이터일 수도 있고 부동소수점 표현에 저장될 수도 있다. 선형 RGB 데이터 (110) 는 동적 범위 콤팩팅을 위해 비선형 전달 함수 (TF) 를 이용하여 콤팩팅될 수도 있다. 예를 들어, 비디오 프리프로세서 (19) 는 동적 범위 콤팩팅을 위해 비선형 전달 함수를 이용하도록 구성된 전달 함수 유닛 (TF) 유닛 (112) 을 포함할 수도 있다.

TF 유닛 (112) 의 출력은 코드워드들의 세트일 수도 있고, 여기서 각각의 코드워드는 컬러 값들 (예를 들어, 조명 레벨들) 의 범위를 표현한다. TF 유닛 (112) 은 신호의 일부 범위들이 확장될 수도 있고 일부 부분들이 수축될 수도 있도록 비선형 함수를 적용한다; 여러 팩터들은 확장 및 콤팩팅되는 범위들을 결정할 수도 있다 - 상이한 휘도 레벨들에서의 컬러들의 인지 및 HVS 가 팩터들 중 일부이다. 예를 들어, 일부 범위들에서의 값들은 HVS 가 그 범위에서의 손실들에 대해 (상대적으로) 더 인지가능하면 팽창되고, HVC 가 그 영역들에서의 변화들에 대해 (상대적으로) 덜 인지가능하면 콤팩팅될 수도 있다. TF 유닛 (112) 의 출력에서, 샘플들이 여전히 부동소수점에 저장되면, 이상적으로 이러한 콤팩트화 (compaction) 는, TF 에 의해 적용된 역 연산이, 역 연산이 존재하면, TF 유닛 (112) 으로의 입력을 복구할 것이기 때문에 값들의 정밀도의 어떤 손실도 초래하지 않을 것이다. 그러나, 가장 현실적인 시스템들에서 부동소수점 수들은 또한 일부 제한된 정밀도와 함께 저장되고 TF 유닛 (12) 에 의한 콤팩팅은 얼마간의 영향을 미칠 것이다. 다른 예들에서, 동적 범위 콤팩팅은 선형 RGB 데이터 (110) 의 동적 범위가 제 1 동적 범위 (예를 들어, 도 2 에 예시된 바와 같은 인간 시각 범위) 일 수도 있다는 것을 의미할 수도 있다. 결과의 코드워드들의 동적 범위는 제 2 동적 범위 (예를 들어, 도 2 에 예시된 바와 같은 HDR 디스플레이 범위) 일 수도 있다. 따라서, 코드워드들은 선형 RGB 데이터 (110) 보다 더 작은 동적 범위를 캡처하고, 그런 이유로, TF 유닛 (112) 은 동적 범위 콤팩팅을 수행한다.

TF 유닛 (112) 은 코드워드들과 입력 컬러 값들 간의 맵핑이 동일하게 스페이싱되지 않는다 (예를 들어, 코드워드들은 비선형 코드워드들이다) 라는 의미로 비선형 함수들을 수행한다. 비선형 코드워드들은 입력 컬러 값들의 변화들이 출력 코드워드들에서 선형 비례 변화들로서 나타나지 않고, 코드워드들에서 비선형 변화들로서 나타난다는 것을 의미한다. 예를 들어, 컬러 값들이 낮은 조명을 표현하면, 입력 컬러 값들에서의 작은 변화들이 TF 유닛 (112) 에 의해 출력된 코드워드들에서 작은 변화들을 초래할 것이다. 그러나, 컬러 값들이 높은 조명을 표현하면, 입력 컬러 값들에서의 상대적으로 큰 변화들이 코드워드들에서 작은 변화들을 위해 필요할 것이다. 각각의 코드워드에 의해 표현된 조명의 범위는 일정하지 않다 (예를 들어, 제 1 코드워드는 제 1 범위의 조명들에 대해 동일하고 제 2 코드워드는 제 2 범위의 조명들에 대해 동일하고 그리고 제 1 및 제 2 범위들은 상이하다).

더 상세히 설명된 바와 같이, 기법들은 TF 유닛 (112) 이 수신하는 선형 RGB 데이터 (110) 를 스케일링 및 오프셋하고 및/또는 TF 유닛 (112) 이 출력하는 코드워드들을 스케일링 및 오프셋하여 코드워드 공간을 더 잘 활용할 수도 있다. TF 유닛 (112) 은 임의의 수의 비선형 전달 함수들 (예를 들어, SMPTE-2084 에서 정의된 바와 같은 PQ (perceptual quantizer) TF) 을 이용하여 선형 RGB 데이터 (110) (또는 스케일링된 및 오프셋된 RGB 데이터) 를 콤팩팅할 수도 있다.

일부 예들에서, 컬러 변환 유닛 (114) 은 콤팩팅된 데이터를 비디오 인코더 (20) 에 의한 압축에 더 적합한 (예를 들어, 컬러 변환 유닛을 통해 YUV 또는 Y'CbCr 컬러 공간에서) 더 콤팩트하거나 또는 강건한 컬러 공간으로 변환한다. 더 상세히 설명된 바와 같이, 일부 예들에서, 컬러 변환 유닛 (114) 이 컬러 변환을 수행하기 이전에, 기법들은 TF 유닛 (112) 에 의한 TF 의 적용에 의해 출력되는 코드워드들을 스케일링 및 오프셋할 수도 있다. 컬러 변환 유닛 (114) 은 이들 스케일링된 및 오프셋된 코드워드들을 수신할 수도 있다. 일부 예들에서, 일부 스케일링된 및 오프셋된 코드워드들은 개별의 임계값들 초과 또는 미만일 수도 있다; 이들을 위해, 기법들은 개별의 설정된 코드워드들을 할당할 수도 있다.

이 데이터는 그 후 (예를 들어, 양자화 유닛 (116) 을 통해) 부동-대-정수 표현 변환을 이용하여 양자화되어 인코딩되도록 비디오 인코더 (20) 에 송신되는 비디오 데이터 (예를 들어, HDR 데이터 (118)) 를 생성한다. 이 예에서 HDR 데이터 (118) 는 정수 표현으로 있다. HDR 데이터 (118) 는 이제 비디오 인코더 (20) 에 의한 압축에 더 적합한 포맷으로 있을 수도 있다. 도 4 에 묘사된 프로세스들의 순서는 일 예로서 주어지며, 다른 애플리케이션들에서 변할 수도 있는 것으로 이해되어야 한다. 예를 들어, 컬러 변환은 TF 프로세스에 선행할 수도 있다. 추가로, 비디오 프리프로세서 (19) 는 컬러 성분들에 더 많은 프로세싱 (예를 들어, 공간 서브샘플링) 을 적용할 수도 있다.

이에 따라, 도 4 에서, 선형 및 부동소수점 표현의 입력 RGB 데이터 (110) 의 고 동적 범위는 TF 유닛 (112) 에 의한 활용된 비선형 전달 함수, 예를 들어, SMPTE-2084 에서 정의된 바와 같은 PQ TF 로 콤팩팅되고, 이어서 압축에 더 적합한 타겟 컬러 공간, 예를 들어, Y'CbCr 로 (예를 들어, 컬러 변환 유닛 (114) 에 의해) 변환되고, 그 후 양자화되어 (예를 들어, 양자화 유닛 (116)) 정수 표현을 달성한다. 이들 엘리먼트들의 순서는 일 예로서 주어지며, 실세계 애플리케이션에서 변할 수도 있으며, 예를 들어, 컬러 변환은 TF 모듈 (예를 들어, TF 유닛 (112)) 에 선행할 수도 있다. 이러한 공간 서브샘플링으로서의 추가적인 프로세싱은 TF 유닛 (112) 이 전달 함수를 적용하기 이전에 컬러 성분들에 적용될 수도 있다.

디코더 측에서의 역 변환이 도 5 에 묘사된다. 도 5 의 기법들은 비디오 포스트프로세서 (31) 에 의해 수행될 수도 있다. 예를 들어, 비디오 포스트프로세서 (31) 는 비디오 디코더 (30) 로부터 비디오 데이터 (예를 들어, HDR 데이터 (120)) 를 수신하고 역 양자화 유닛 (122) 은 그 데이터를 역 양자화할 수도 있고, 역 컬러 변환 유닛 (124) 은 역 컬러 변환을 수행하고, 역 비선형 전달 함수 유닛 (126) 은 역 비선형 전달을 수행하여 선형 RGB 데이터 (128) 를 생성한다.

역 컬러 변환 유닛 (124) 이 수행하는 역 컬러 변환 프로세스는 컬러 변환 유닛 (114) 이 수행하는 컬러 변환 프로세스의 역일 수도 있다. 예를 들어, 역 컬러 변환 유닛 (124) 은 Y'CbCr 포맷으로부터 다시 RGB 포맷으로 HDR 데이터를 변환할 수도 있다. 역 전달 함수 유닛 (126) 은 데이터에 역 전달 함수를 적용하여 TF 유닛 (112) 에 의해 콤팩팅되었던 동적 범위를 다시 더하여 선형 RGB 데이터 (128) 를 재생성할 수도 있다.

본 개시에서 설명된 예의 기법들에서, 역 전달 함수 유닛 (126) 이 역 전달 함수를 수행하기 이전에, 비디오 포스트프로세서 (31) 는 역 포스트-프로세싱을 적용할 수도 있고 역 전달 함수 유닛 (126) 이 역 전달 함수를 수행한 후에, 역 프리-프로세싱을 적용할 수도 있다. 예를 들어, 상기 설명된 바와 같이, 일부 예들에서, 비디오 프리프로세서 (19) 는 TF 유닛 (112) 이전에 프리-프로세싱 (예를 들어, 스케일링 및 오프셋하는 것) 을 적용할 수도 있고 TF 유닛 (112) 이후에 포스트-프로세싱 (예를 들어, 스케일링 및 오프셋하는 것) 을 적용할 수도 있다. 프리- 및 포스트-프로세싱을 보상하기 위해, 비디오 포스트프로세서 (31) 는 역 TF 유닛 (126) 이 역 전달 함수를 수행하기 이전에 역 포스트-프로세싱을 그리고 역 TF 유닛 (126) 이 역 전달 함수를 수행한 후에 역 프리-프로세싱을 적용할 수도 있다. 프리- 및 포스트-프로세싱 및 역 포스트- 및 역 프리-프로세싱 양자 모두를 적용하는 것은 옵션일 수도 있다. 일부 예들에서, 비디오 프리프로세서 (19) 는 프리- 및 포스트-프로세싱 양자 모두가 아니라 둘 중 하나를 적용할 수도 있고, 이러한 예들에 대해, 비디오 포스트프로세서 (31) 는 비디오 프리프로세서 (19) 에 의해 적용된 프로세싱의 역을 적용할 수도 있다.

도 4 에 예시된 예의 비디오 프리프로세서 (19) 는, 도 5 에 예시된 예의 비디오 포스트프로세서 (31) 가 일반적 상반되는 것을 수행한다는 것을 이해하고, 더욱 상세히 설명된다. 전달 함수가 데이터 (예를 들어, HDR/WCG RGB 비디오 데이터) 에 적용되어 그 동적 범위를 콤팩팅하고 제한된 수의 비트로 데이터를 표현하는 것을 가능하게 한다. 데이터를 표현하는 이들 제한된 수의 비트는 코드워드들로 지칭된다. 이 함수는 통상적으로 Rec.709 에서 SDR 에 대해 특정된 바와 같이 최종-사용자 디스플레이의 전기-광학 전달 함수 (electro-optical transfer function; EOTF) 의 역을 반영하거나 또는 밝기 변화들에 대한 HVS 인지를 HDR 에 대해 SMPTE-2084 에서 특정된 PG TF 에 대한 것으로서 근사화하거나 하는 1-차원 (1D) 비선형 함수이다. OETF 의 역 프로세스 (예를 들어, 비디오 포스트프로세서 (31) 에 의해 수행된 바와 같음) 는, 코드 레벨들을 다시 휘도에 맵핑하는 EOTF (전기-광학 전달 함수) 이다. 도 6 은 비선형 TF들의 여러 예들을 도시한다. 이들 전달 함수들은 또한 각각의 R, G 및 B 성분에 별도로 적용될 수도 있다.

본 개시의 문맥에서, 용어들 "신호 값" 또는 "컬러 값" 은 이미지 엘리먼트에 대한 특정 컬러 성분 (이를 테면 R, G, B, 또는 Y) 의 값에 대응하는 휘도 레벨을 기술하는데 사용될 수도 있다. 신호 값은 통상적으로 선형 광 레벨 (휘도 값) 을 표현한다. 용어들 "코드 레벨", "디지털 코드 값", 또는 "코드워드" 는 이미지 신호 값의 디지털 표현을 지칭할 수도 있다. 통상적으로, 이러한 디지털 표현은 비선형 신호 값을 표현한다. EOTF 는 디스플레이 디바이스 (예를 들어, 디스플레이 디바이스 (32)) 에 제공된 비선형 신호 값들과 디스플레이 디바이스에 의해 생성된 선형 컬러 값들 사이의 관계를 표현한다.

RGB 데이터, 이를 테면 선형 RGB 데이터 (110) 는, 그것이 이미지 캡처링 센서들에 의해 생성되기 때문에, 입력으로서 활용될 수도 있다. 그러나, 이 컬러 공간 (즉, RGB 컬러 공간) 은 그 성분들 중에서 높은 리던던시를 갖고 콤팩트한 표현을 위해서는 최적이 아닐 수도 있다. 더 콤팩트하고 그리고 더 강건한 표현을 달성하기 위해, RGB 성분들은 압축에 더 적합한 더 비상관된 컬러 공간, 예를 들어, Y'CbCr 로 변환될 수도 있다. 이 컬러 공간은 상이한 덜 상관된 성분들에서 휘도 및 컬러 정보의 형태로 밝기를 분리한다.

상기 논의된 바와 같이, 컬러 변환 유닛 (114) 에 의한 프로세싱에 이어, 입력 데이터는 타겟 컬러 공간에서 타겟 비트-심도로 변환되는 높은 비트-심도 (예를 들어, 부동소수점 정확도) 로 여전히 표현될 수도 있다. 소정의 연구들은 PQ TF 와 조합한 10-12 비트 정확도가 최소 식별 차이 (Just-Noticeable Difference) 보다 낮은 왜곡으로 16 f-스톱들의 HDR 데이터를 제공하는데 충분하다는 것을 보여주었다. 10 비트 정확도로 표현된 데이터는 대부분 최신 기술의 비디오 코딩 솔루션들로 추가로 코딩될 수 있다. 이 양자화는 손실 코딩의 엘리먼트이고 변환된 데이터에 도입된 부정확성의 소스일 수도 있다.

보충 강화 정보 (SEI) 메시지들이 비디오 비트스트림들에 포함되어, 통상적으로 디코더에 의해 비트스트림을 디코딩하는데 필수적이지 않을 수도 있는 정보를 반송한다. 이 정보는 디코딩된 출력의 디스플레이 또는 프로세싱을 개선시키는데 있어서 유용할 수도 있다; 예를 들어, 이러한 정보는 콘텐츠의 시인성 (viewability) 을 개선시키기 위해 디코더측 엔티티들에 의해 이용될 수 있다.

품질의 개선이 애플리케이션 표준 (프레임-호환 플라노-스테레오스코픽 (plano-stereoscopic) 3DTV 비디오 포맷에 대한 프레임-패킹 SEI 메시지의 캐리지, 여기서 SEI 메시지는 비디오의 모든 프레임에 대해 반송된다 (ETSI - TS 101 547-2, Digital Video Broadcasting (DVB) Plano-stereoscopic 3DTV; Part 2; Frame compatible plano-stereoscopic 3DTV 를 참조), 3GPP TS 26.114 v13.0.0, 3rd Generation Partnership Project; Technical Specification Group Services and System Aspects; IP Multimedia Subsystem (IMS); Multimedia Telephony; Media handling and interaction (Release 13) 에서의 복구점 SEI 메시지의 핸들링, DVB 에서의 팬-스캔 스캔 직사각형 SEI 메시지의 이용 (ETSI - TS 101 154, Digital Video Broadcasting (DVB); Specification for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Stream 을 참조)) 에 부합하는 모든 디바이스들에 야기될 수 있도록 소정의 애플리케이션 표준들 (예를 들어, DVB, ATSC) 이 비트스트림에서 이러한 SEI 메시지들의 존재를 요구하는 것이 또한 가능하다.

HEVC 표준에서 정의된 컬러 리맵핑 정보 SEI 메시지는 하나의 컬러 공간에서의 픽처들을 다른 것에 맵핑시키는데 이용되는 정보를 전달하는데 이용된다. CRI SEI 메시지의 신택스는 3 개의 부분들을 포함한다; 제 1 세트의 3 개의 1-D 룩업 테이블들 (프리-LUT), 그 다음에 3x3 매트릭스, 그 다음에 제 2 세트의 3 개의 1-D 룩업 테이블들 (포스트-LUT). 각각의 컬러 성분, 예를 들어, R, G, B 또는 Y, Cb, Cr 에 대해, 독립적인 LUT 가 프리-LUT 와 포스트-LUT 양자 모두에 대해 정의된다.

CRI SEI 메시지는, 상이한 값들이 SEI 메시지의 상이한 목적들을 표시하는데 이용될 수도 있는, colour_remap_id 로 불리는 신택스 엘리먼트를 포함한다. 도 7 은 CRI SEI 메시지에 의해 이용되는 컬러 리맵핑 정보/프로세스의 통상적인 구조를 도시한다. CRI SEI 메시지의 일 예의 신택스 테이블은 이하 표 2 에 재현된다.

본 문서에서 설명에 도움이 되는 CRI SEI 메시지들의 일부 시맨틱들이 이하에 설명된다. 완전한 시맨틱들이 (H.265: 고 효율 비디오 코딩 (HEVC), http://www.itu.int/rec/T-REC-H.265-201504-1/en 에서 입수가능한) HEVC 표준의 섹션 D.3.32 에서 입수가능하다.

컬러 리맵핑 정보 SEI 메시지는 출력 픽처들의 복원된 컬러 샘플들의 리맵핑을 가능하게 하기 위한 정보를 제공한다. 컬러 리맵핑 정보는 그들이 루마 및 크로마 도메인에 있는지 또는 RGB 도메인에 있는지에 상관없이, 디코딩된 샘플 값들에 직접 적용될 수도 있다. 컬러 리맵핑 정보 SEI 메시지에서 이용되는 컬러 리맵핑 모델은 각각의 컬러 성분에 적용된 제 1 피스-와이즈 (piece-wise) 선형 함수 (본 명세서에서 신택스 엘리먼트들의 "프리" 세트에 의해 특정됨), 3 개의 컬러 성분들에 적용된 3 바이 3 매트릭스, 및 각각의 컬러 성분에 적용된 제 2 피스-와이즈 선형 함수 (본 명세서에서 신택스 엘리먼트들의 "포스트" 세트에 의해 특정됨) 로 구성된다.

colour_remap_id 는 컬러 리맵핑 정보의 목적을 식별하는데 이용될 수도 있는 식별 번호를 포함한다. colour_remap_id 의 값은 0 에서 2³² - 2 까지의 범위에 있을 것이다.

0 에서 255 까지 및 512 에서 2³¹ - 1 까지의 colour_remap_id 의 값들은 애플리케이션에 의해 결정된 바와 같이 이용될 수도 있다. 256 에서 511 까지, 및 2³¹ 에서 2³²- 2 까지의 colour_remap_id 의 값들은 ITU-T | ISO/IEC 에 의한 장래의 이용을 위해 예비된다. 디코더들은 256 에서 511 까지의 범위, 또는 2³¹ 내지 2³² - 2 까지의 범위의 colour_remap_id 의 값을 포함하는 모든 컬러 리맵핑 정보 SEI 메시지들을 무시할 것이고, 비트스트림들은 이러한 값들을 포함하지 않을 것이다.

colour_remap_id 는 상이한 디스플레이 시나리오들에 적합한 상이한 컬러 리맵핑 프로세스들을 지원하는데 이용될 수 있다. 예를 들어, colour_remap_id 의 상이한 값들은 디스플레이들에 의해 지원된 상이한 리맵핑된 컬러 공간들에 대응할 수도 있다.

colour_remap_matrix_coefficients 는, colour_remap_matrix_coefficients 가 CLVS 에 대해 이용되는 컬러 공간보다는 리맵핑된 복원된 픽처의 컬러 공간을 특정한다는 것을 제외하고는, matrix_coeffs 신택스 엘리먼트에 대한 조항 E.3.1 에서 특정된 바와 동일한 시맨틱들을 갖는다. 존재하지 않으면, colour_remap_matrix_coefficients 의 값은 matrix_coeffs 의 값과 동일한 것으로 추론된다.

colour_remap_input_bit_depth 는 컬러 리맵핑 정보 SEI 메시지의 해석의 목적들을 위해 연관된 픽처들의 RGB 성분들 또는 루마 및 크로마 성분들의 비트 심도를 특정한다. 임의의 컬러 리맵핑 정보 SEI 메시지들이 코딩된 루마 및 크로마 성분들의 비트 심도 또는 코딩된 RGB 성분들의 비트 심도와 동일하지 않은 colour_remap_input_bit_depth 의 값으로 존재하면, SEI 메시지는 코딩된 비디오를 colour_remap_input_bit_depth 와 동일한 비트 심도를 가진 변환된 비디오로 변환하도록 수행된 트랜스코딩 연산의 가설적 결과를 지칭한다.

colour_remap_input_bit_depth 의 값은 8 에서 16 까지의 범위에 있을 것이다. 0 에서 7 까지의, 그리고 17 에서 255 까지의 colour_remap_input_bit_depth 의 값들은 ITU-T | ISO/IEC 에 의한 장래의 이용을 위해 예비된다. 디코더들은 0 에서 7 까지의 범위, 또는 17 에서 255 까지의 범위의 colour_remap_input_bit_depth 를 포함하는 모든 컬러 리맵핑 SEI 메시지들을 무시할 것이고, 비트스트림들은 이러한 값들을 포함하지 않을 것이다.

colour_remap_bit_depth 는 컬러 리맵핑 정보 SEI 메시지에 의해 기술된 컬러 리맵핑 함수의 출력의 비트 심도를 특정한다.

colour_remap_bit_depth 의 값은 8 에서 16 까지의 범위에 있을 것이다. 0 에서 7 까지의, 및 17 에서 255 까지의 범위의 colour_remap_bit_depth 의 값들은 ITU-T | ISO/IEC 에 의한 장래의 이용을 위해 예비된다. 디코더들은 0 에서 7 까지의, 또는 17 에서 255 까지의 범위의 colour_remap_bit_depth 의 값을 포함하는 모든 컬러 리맵핑 SEI 메시지들을 무시할 것이다.

pre_lut_num_val_minus1[c] 플러스 1 은 c 번째 성분에 대한 피스-와이즈 선형 리맵핑 함수에서의 피봇점들의 수를 특정하고, 여기서 0 과 동일한 c 는 루마 또는 G 성분을 지칭하고, 1 과 동일한 c 는 Cb 또는 B 성분을 지칭하고, 그리고 2 와 동일한 c 는 Cr 또는 R 성분을 지칭한다. pre_lut_num_val_minus1[c] 가 0 과 동일하면, c 번째 성분에 대해, 입력 값들의 디폴트 종료점들은 0 및 2^{colour_remap_input_bit_depth} - 1 이고, 출력 값들의 대응하는 디폴트 종료점들은 0 및 2^{colour_remap_bit_depth} - 1 이다. 이 규격의 이 버전에 부합하는 비트스트림들에서, pre_lut_num_val_minus1[c] 의 값은 0 에서 32 까지의 범위에 있을 것이다.

pre_lut_coded_value[c][i] 는 c 번째 성분에 대한 i 번째 피봇점의 값을 특정한다. pre_lut_coded_value[c][i] 를 표현하는데 이용되는 비트의 수는 ((colour_remap_input_bit_depth + 7) >> 3) << 3 이다.

pre_lut_target_value[c][i] 는 c 번째 성분에 대한 i 번째 피봇점의 값을 특정한다. pre_lut_target_value[c][i] 를 표현하는데 이용되는 비트의 수는 ((colour_remap_bit_depth + 7) >> 3) << 3 이다.

post_lut_num_val_minus[], post_lut_coded_value[][], 및 post_lut_target_value[][] 의 시맨틱들은 pre_lut_num_val_minus[], pre_lut_coded_value[][], 및 pre_lut_target_value[][] 의 시맨틱들과 각각 유사하다; post_lut_coded_value[][], 및 post_lut_target_value[][] 를 표현하는데 이용되는 비트의 수는 colour_remap_bit_depth 와 동일하다.

그러나, 상기 설명된 컬러 리맵핑 정보 SEI 메시지에는 하나 이상의 단점들이 있을 수도 있다. 하나의 예로서, 룩업 테이블과 같은 CRI SEI 메시지의 프로세스들은, 디코딩된 샘플들을 탈양자화 (dequantization), 필터링/업샘플링 후, 또는 디코딩된 샘플들의 컬러 공간 변환을 수행한 후 적용될 수 있다. HEVC 에서 정의된 바와 같이, 디코더는 프로세싱 체인에서 CRI SEI 메시지가 적용되어야 하는 장소에 관해 명령을 받지 않는다. 이 명령의 결여는 상이한 비디오 디코더들이 상이한 결과들을 출력하게 할 수도 있으며, 이는 바람직하지 않을 수도 있다.

다른 예로서, CRI SEI 메시지의 규격은 SEI 메시지의 목적을 표시하기 위해 신택스 엘리먼트 colour_remap_id 를 포함하지만, 그 시맨틱들은 상이한 ID들을 가진 동시 또는 순차 CRI SEI 메시지들의 프로세싱, 및 이러한 SEI 메시지들이 반송될 수도 있는지 여부, 및/또는 이러한 동시 또는 순차 CRI SEI 메시지들이 적용될 수도 있는지 여부를 특정하지 않는다.

다른 예로서, CRI SEI 는 디코더의 출력을 특정 디스플레이에 적응시키기 위해 적용될 수 있다. 즉, CRI SEI 는 타겟 디스플레이에의 디스플레이 적응을 위해 이용될 수 있다. 디스플레이는 다른 특성들 중에서도, 그 피크 밝기 및 컬러 가무트에 의해 정의될 수 있다. 그러나, CRI SEI 는 타겟 디스플레이의 이들 특성들 중 일부, 특히, 피크 밝기를 표시하지 않는다. CRI SEI 는 출력의 컨테이너 (즉, 픽셀 값들의 의미) 를 표시하지만, 그 출력의 의도된 이용, 및 구체적으로는, 어떤 종류의 디스플레이가 출력인지를 표시하지 않는다.

본 개시의 하나 이상의 기법들에 따르면, CRI SEI 메시지 시그널링은 디스플레이 적응을 위해 이용될 수도 있다. DVB 및 ATSC 같은 애플리케이션 표준들은 이들 SEI 메시지들을 그들 이용 케이스에 보다 유용하게 만들기 위하여 SEI 메시지들의 양태들을 수정 또는 추가로 특정할 수 있다. 본 개시는 이들 애플리케이션 표준들의 관점에서 CRI SEI 메시지 시그널링을 이용하기 위한 기법들을 기술하지만, 본 개시의 기법들은 다른 표준들과 함께 이용될 수도 있다. 본 개시의 기법들 중 하나 이상은 독립적으로, 또는 다른 것들과 조합하여 적용될 수도 있다.

단일 비디오 비트스트림은 상이한 디스플레이들을 위해 비디오 데이터를 렌더링하기 위해 비디오 디코더들에 의해 이용될 수도 있다. 디스플레이들은 그들이 상이한 디스플레이 특성들을 가질 수도 있다는 점에서 상이한 것으로 고려될 수도 있다. 예의 디스플레이 특성들은 피크 밝기 (예를 들어, 피크 휘도), 컬러 공간 등을 포함하지만, 이들에 제한되지는 않는다. 예를 들어, 제 1 디스플레이는 300 니트의 피크 밝기를 가질 수도 있고 제 2 디스플레이는 1000 니트의 피크 밝기를 가질 수도 있다.

본 개시의 하나 이상의 기법들에 따르면, 비디오 코딩 유닛 (즉, 비디오 인코딩 유닛 (21) 및/또는 비디오 디코딩 유닛 (29)) 은 상이한 타겟 디스플레이에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들 (예를 들어, CRI SEI 메시지들) 을 시그널링할 수도 있다. 본 개시의 목적들을 위해, 타겟 디스플레이가 반드시 특정한 물리적 디스플레이는 아닐 수도 있고 그 대신 소정의 디스플레이 특성들을 가진 이론적 디스플레이를 지칭할 수도 있다. 하나의 예로서, 비디오 인코딩 유닛 (21) 은 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 비트스트림을 출력할 수도 있다. 피크 밝기 값들의 각각은 타겟 디스플레이의 개별의 피크 밝기 값을 표시할 수도 있다. 일부 예들에서, 컬러 리맵핑 메시지들은 CRI SEI 메시지들일 수도 있다. 예를 들어, 비디오 인코딩 유닛 (21) 은 제 1 피크 밝기 값 (예를 들어, 300 니트) 에 대응하는 제 1 CRI SEI 메시지 및 제 2 피크 밝기 값 (예를 들어, 700 니트) 에 대응하는 제 2 CRI SEI 메시지를 포함하는 비트스트림을 출력할 수도 있다. 비디오 디코딩 유닛 (29) 은 비디오 데이터를 디스플레이하기 위한 디스플레이 (예를 들어, 도 1 의 디스플레이 디바이스 (32)) 의 디스플레이 특성들에 기초하여 컬러 리맵핑 메시지들 중의 메시지를 선택할 수도 있다. 비디오 디코딩 유닛 (29) 이 메시지를 선택하기 위해 이용할 수도 있는 일부 디스플레이 특성들은 컬러 가무트, 피크 밝기, 및 지원된 전달 함수들을 포함한다. 이로써, 비디오 디코딩 유닛 (29) 은 colour_remap_id 신택스 엘리먼트, colour_remap_primaries 신택스 엘리먼트, 및/또는 colour_remap_transfer_function 신택스 엘리먼트에 기초하여 CRI SEI 메시지를 선택할 수도 있다.

이렇게 하여, 본 개시의 기법들은 비디오 데이터를 디스플레이하기 위한 디스플레이의 디스플레이 특성들에 테일러링되는 방식으로 비디오 디코딩 유닛이 비디오 데이터의 컬러 리맵핑을 수행하는 것을 가능하게 한다.

CRI SEI 메시지들은 CRI SEI 메시지가 대응하는 피크 밝기 값을 표시하는 신택스 엘리먼트를 각각 포함할 수도 있다. 예를 들어, 비디오 코딩 유닛은 CRI SEI 메시지에 대응하는 타겟 디스플레이의 피크 휘도의 니트 단위 (cd/m2) 의 값을 표시하는 값을 가진 CRI SEI 메시지의 colour_remap_id 신택스 엘리먼트를 시그널링할 수도 있다. 하나의 예로서, 비디오 코딩 유닛은 제 1 CRI SEI 메시지가 제 1 피크 밝기 값 (예를 들어, 300 니트) 에 대응한다는 것을 표시하는 colour_remap_id 신택스 엘리먼트를 가진 제 1 CRI SEI 메시지 및 제 2 CRI SEI 메시지가 제 2 피크 밝기 값 (예를 들어, 700 니트) 에 대응한다는 것을 표시하는 colour_remap_id 신택스 엘리먼트를 가진 제 2 CRI SEI 메시지를 시그널링할 수도 있다.

일부 예들에서, 피크 밝기 값들의 시그널링은 제약될 수도 있다. 하나의 예로서, 피크 밝기 값들은 하한 (예를 들어, 50 니트, 100 니트 등) 과 상한 (예를 들어, 10,000 니트, 15,000 니트 등) 사이에서 제약될 수도 있다. 다른 예로서, 피크 밝기 값들은 50 니트, 100 니트 등의 스텝들로 시그널링될 수도 있다.

CRI SEI 메시지가 CRI SEI 메시지가 대응하는 피크 밝기 값을 표시하는 신택스 엘리먼트를 포함하는 경우, 신택스 엘리먼트의 값은 다음의 식:

에 따라 표현될 수도 있으며,

여기서 Tml 은 CRI SEI 메시지에 대응하는 피크 밝기 값 (예를 들어, 타겟 디스플레이의 최대 휘도) 이고, colour_remap_id 는 CRI SEI 메시지에 포함된 colour_remap_id 신택스 엘리먼트이고, 그리고 ceil 은 상향 반올림 (upward rounding) 함수이다.

본 개시의 하나 이상의 기법들에 따르면, 비디오 코딩 유닛은 컬러 리맵핑 메시지의 정보가 비디오 데이터의 디코딩된 샘플들에 직접 적용되는지 또는 일부 프로세싱 후 샘플들에 적용되는지 (예를 들어, 비디오 디코딩 유닛이 컬러 리맵핑 프로세스를 비디오 데이터의 디코딩된 샘플들에 직접 적용할 것인지 또는 일부 프로세싱 후 샘플들에 적용할 것인지) 를 표시하는 컬러 리맵핑 메시지 (예를 들어, CRI SEI 메시지) 를 시그널링할 수도 있다. 예를 들어, colour_remap_id 신택스 엘리먼트의 시맨틱들은 이 신택스 엘리먼트가 또한 메시지가 디코딩된 샘플들에 직접 적용되거나 또는 일부 프로세싱 후 (예를 들어, Y'CbCr 도메인으로부터 RGB 도메인으로의 디코딩된 샘플들의 변환 후) 샘플들에 적용된다는 정보를 전달하도록 변화될 수 있다. 하나의 예로서, 비디오 코딩 유닛은 컬러 리맵핑 메시지의 정보가 Y'CbCr 도메인에서 비디오 데이터의 디코딩된 샘플들에 적용되어야 한다는 것을 표시하기 위해 제 1 값 (예를 들어, 0 또는 짝수) 을 가진 colour_remap_id 엘리먼트를 시그널링할 수도 있다. 다른 예로서, 비디오 코딩 유닛은 컬러 리맵핑 메시지의 정보가 RGB 도메인으로의 변환 후 비디오 데이터의 디코딩된 샘플들에 적용되어야 한다는 것을 표시하기 위해 제 2 값 (예를 들어, 1 또는 홀수) 을 가진 colour_remap_id 엘리먼트를 시그널링할 수도 있다.

추가적으로, 또는 대안적으로, CRI SEI 의 입력 컬러 공간은, 예를 들어, CRI SEI 메시지의 신택스 엘리먼트들 colour_remap, colour_remap_matrix_coefficients 및 colour_remap_transfer_function 에 의해 시그널링되는 바와 같이, 출력 컬러 공간과 동일한 것으로 부과될 수 있다. 이들 방식들 중 어느 하나 또는 양자 모두에서, 디코더 (이를 테면 비디오 디코딩 유닛 (29)) 은 프로세싱 체인에서 CRI SEI 가 적용되어야 하는 장소를 결정할 수도 있다.

상기 논의된 바와 같이, 일부 예들에서, CRI SEI 메시지의 colour_remap_id 신택스 엘리먼트는 CRI SEI 메시지가 대응하는 타겟 디스플레이의 피크 밝기를 표시할 수도 있다. 또한 상기 논의된 바와 같이, 일부 예들에서, 동일한 colour_remap_id 신택스 엘리먼트는 CRI SEI 의 정보가 비디오 데이터의 디코딩된 샘플들에 직접 적용되는지 또는 일부 프로세싱 후 샘플들에 적용되는지를 표시할 수도 있다. 이로써, 일부 예들에서, CRI SEI 메시지에서의 colour_remap_id 신택스 엘리먼트는 CRI SEI 메시지에 대응하는 타겟 디스플레이의 피크 밝기 그리고 비디오 디코더가 선택된 CRI SEI 메시지의 정보를 비디오 데이터의 디코딩된 샘플들에 직접 적용할 것인지 또는 일부 프로세싱 후 샘플들에 적용할 것인지 양자 모두를 표시할 수도 있다.

본 개시의 하나 이상의 기법들에 따르면, 비디오 코딩 유닛은 비트스트림으로의 특정 타겟 디스플레이를 위한 컬러 리맵핑 메시지의 지속성 (persistence) 을 보장할 수도 있다. 시그널링은 특정 타겟 디스플레이를 가진 CRI SEI 가 랜덤-액세스 픽처 (RAP), 이를 테면 인트라 랜덤-액세스 픽처 (IRAP) 에 존재하면, 그것이 다음의 RAP들에 또한 존재해야 함을 요구할 수도 있다. 이로써, 비디오 코딩 유닛이 비트스트림에서의 현재의 IRAP 에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 세트를 시그널링하면, 비디오 코딩 유닛은 또한, 비트스트림에서의 후속 IRAP들에 대해, 동일한 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 개별의 세트를 시그널링할 것이다.

일부 예들에서, "타겟 디스플레이" 는 다음의 CRI SEI 신택스 엘리먼트들: colour_remap_id, colour_remap_primaries, 및 colour_remap_transfer_function 중 하나 이상의 값들에 기초하여 결정될 수도 있다. 추가적으로, 또는 대안적으로, 타겟 디스플레이는 다른 신택스 엘리먼트들의 값에 의해 결정될 수 있다. 이렇게 하여, 비디오 디코딩 유닛은 비트스트림에 대한 디스플레이 적응을 위해 메타데이터에 의존할 수도 있다.

본 개시의 하나 이상의 기법들에 따르면, 비디오 코딩 유닛은 컬러 맵핑 프로세스의 입력/출력의 비트심도를 제한할 수도 있다. 예를 들어, 비디오 코딩 유닛은 colour_remap_input_bit_depth 및 colour_remap_bit_depth 가 "8", "10" 또는 "12" 로 설정되어야 함을 부과할 수도 있다. 하나의 특정 예에서, 비디오 코딩 유닛은 colour_remap_input_bit_depth 가 "10" 으로 설정되어야 함을 부과할 수도 있다. 이렇게 하여, 컬러 리맵핑 프로세스의 복잡성 (예를 들어, 메모리 및 프로세싱 요건들) 이 제약될 수도 있다.

상기 설명된 예들은 여러 방식들로 조합될 수 있다. 예를 들어, DVB (TS 101 154) 의 문맥에서, PQ10 을 이용하는 HEVC HDR UHDTV 비트스트림들이 권고안 ITU-T H.265/ISO/IEC 23008-2[35] 조항 D.3.32 에서 특정된 바와 같이 컬러 리맵핑 정보 SEI 메시지들을 포함함이 권고될 수도 있다. 컬러 리맵핑 정보 SEI 메시지가 존재하면, 다음의 제약들 중 하나 이상이 적용된다:

CRI SEI 메시지는 적어도 각각의 HEVC DVB_RAP 에서 송신될 것이다.

신택스 엘리먼트 colour_remap_video_signal_info_present_flag 는, colour_remap_full_range_flag, colour_remap_primaries, colour_remap_transfer_function, colour_remap_matrix_coefficients 가 존재하도록 "1" 로 설정될 것이다.

colour_remap_primaries 는 "1" 또는 "9" 로 설정될 것이다.

colour_remap_matrix_coefficients 는 "0", "1" 또는 "9" 로 설정될 것이다.

colour_remap_transfer_function 은 "1", "14" 또는 "16" 으로 설정될 것이다.

colour_remap_input_bit_depth 및 colour_remap_output_bit_depth 는 "8", "10" 또는 "12" 로 설정될 것이다.

신택스 엘리먼트들 colour_remap_full_range_flag, colour_remap_primaries, colour_remap_transfer_function, colour_remap_matrix_coefficients, colour_remap_input_bit_depth 및 colour_remap_output_bit_depth 중 임의의 것으로의 변화들은 HEVC DVB_RAP 에서 단지 일어날 것이다.

colour_remap_id 는 "256" 미만으로 설정될 것이다.

입력 컬러 계수들은 다음과 같이 colour_remap_id 신택스 엘리먼트 값에 의해 결정될 것이다:

colour_remap_id 가 짝수이면, 입력은 Y'CbCr 에 있다

colour_remap_id 가 홀수이면, 입력은 GBR 에 있다

(cd/m2 단위의) 리맵핑 후의 타겟 최대 휘도는 다음과 같이 colour_remap_id 신택스 엘리먼트에 의해 결정될 것이다:

컬러 리맵핑 정보 SEI 메시지가 HEVC DVB_RAP 픽처에서 특정한 타겟 디스플레이를 위해 존재하면, 컬러 리맵핑 정보 SEI 메시지는 적어도 각각의 후속 HEVC DVB_RAP 에 대해 동일한 타겟 디스플레이를 위해 존재할 것이다. "타겟 디스플레이" 는 신택스 엘리먼트들 colour_remap_id, colour_remap_primaries , 및 colour_remap_transfer_function 의 값에 의해 결정된다.

도 8 은 본 개시의 기법들에 따른 하나 이상의 컬러 리맵핑 메시지들로 비디오 데이터의 픽처를 인코딩하기 위한 일 예의 방법을 예시하는 플로우차트이다. 설명의 목적들을 위해, 도 8 의 방법은 비디오 인코딩 유닛 (21) 및 (예를 들어, 도 1 에 예시된) 그 컴포넌트들에 의해 수행되는 것으로서 이하에 설명되지만, 도 8 의 방법은 다른 비디오 인코딩 유닛들에 의해 수행될 수도 있다.

비디오 인코딩 유닛 (21) 은 비디오 데이터의 픽처를 수신할 수도 있다 (802). 예를 들어, 비디오 인코더 (20) 는 비디오 프리프로세서 (19) 로부터 비디오 데이터의 현재의 픽처의 샘플들을 수신할 수도 있다. 비디오 인코딩 유닛 (21) 은 비트스트림에서, 비디오 데이터의 픽처에 대한 샘플들 값들을 인코딩할 수도 있다 (804). 예를 들어, 비디오 인코더 (20) 는 인터 및 인트라 인코딩 모드들의 임의의 조합을 이용하여 비디오 데이터의 현재의 픽처의 샘플들/픽셀 값들을 인코딩할 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 H.265/HEVC 를 이용하여 샘플들을 인코딩할 수도 있다.

비디오 인코딩 유닛 (21) 은 비트스트림에서 그리고 비디오 데이터의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 인코딩할 수도 있다 (806). 예를 들어, 비디오 인코딩 유닛 (21) 은 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 CRI SEI 메시지들을 인코딩할 수도 있다. 하나의 예로서, 비디오 인코딩 유닛 (21) 은 제 1 피크 밝기 값 (예를 들어, 300 니트) 에 대응하는 제 1 CRI SEI 메시지 및 제 2 피크 밝기 값 (예를 들어, 700 니트) 에 대응하는 제 2 CRI SEI 메시지를 포함하는 비트스트림을 출력할 수도 있다. 이렇게 하여, 비디오 인코딩 유닛 (21) 은 비디오 데이터를 디스플레이하기 위한 디스플레이의 디스플레이 특성들에 테일러링되는 방식으로 비디오 디코딩 유닛이 비디오 데이터의 컬러 리맵핑을 수행하는 것을 가능하게 할 수도 있다.

일부 경우들에서, 개별의 피크 밝기에 대응하는 컬러 리맵핑 메시지들은 사전-정의된 알고리즘을 이용하여 비디오 인코딩 유닛 (21) 에 의해 결정될 수도 있다. 비디오 인코딩 유닛 (21) 은 비디오를 입력하고 콘텐츠를 분석하고 사전-정의된 알고리즘을 이용하여 콘텐츠에 적용될 맵핑 파라미터들을 결정할 수도 있다. 이 알고리즘은 디스플레이 특성들과 비디오의 특성들 간의 관계에 기초하여 도출되었을 수도 있다. 다른 경우들에서, 비디오 인코딩 유닛 (21) 에서의 컬러 리맵핑 메시지들의 생성/도출은 이러한 파라미터들을 도출하는 것이 가능한 다른 디바이스를 이용하여 비디오 인코딩 유닛 (21) 에 제공되는 파라미터들에 의해, 또는 비디오 인코딩 유닛 (21) 외측에서 일어나는 프로세스들에 의해 도움을 받을 수도 있다. 예를 들어, 콘텐츠 생성의 포스트-생성 워크플로우에서의 여러 프로세스들은 컬러 리맵핑 파라미터들의 도출을 가능하게 하는 파라미터들을 생성하는 것이 가능할 수도 있다. 비디오 인코딩 유닛 (21) 에 제공된 파라미터들은 그 후 컬러 리맵핑 메시지들을 도출하기 위해 사전-정의된 알고리즘에 의해 이용될 수도 있다. 다른 경우들에서, 컬러 리맵핑 파라미터들은 비디오 인코딩 유닛 (21) 외측에서 전부 도출되고, 비디오 인코딩 유닛 (21) 에 제공될 수도 있고, 비디오 인코딩 유닛 (21) 은 단지 그 파라미터들을 비디오 비트스트림의 신택스에서 컬러 리맵핑 메시지들로 트랜슬레이트하는 것일 뿐일 수도 있다. 이들은 비디오 인코딩 유닛 (21) 이 컬러 리맵핑 메시지들을 생성할 수도 있는 방법의 일부 예들이다; 이러한 생성의 다른 방법들이 존재할 수도 있고 본 명세서에서 설명된 기법들이 또한 그 방법들에 적용되는 것으로 이해되어야 한다.

일부 예들에서, 비디오 인코딩 유닛 (21) 이, 비트스트림에서의 현재의 IRAP 에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 세트를 인코딩하면, 비디오 인코딩 유닛 (21) 은, 비트스트림에서의 후속 IRAP들에 대해, 동일한 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 개별의 세트를 또한 인코딩할 것이다. 예를 들어, 비디오 인코딩 유닛 (21) 이 비트스트림에서의 현재의 IRAP 에 대해 제 1 피크 밝기 값 (예를 들어, 300 니트) 에 대응하는 제 1 CRI SEI 메시지 및 제 2 피크 밝기 값 (예를 들어, 700 니트) 에 대응하는 제 2 CRI SEI 메시지를 인코딩하면, 비디오 인코딩 유닛 (21) 은 비트스트림에서의 모든 후속 IRAP들에 대해 제 1 피크 밝기 값 (예를 들어, 300 니트) 에 대응하는 개별의 제 1 CRI SEI 메시지 및 제 2 피크 밝기 값 (예를 들어, 700 니트) 에 대응하는 개별의 제 2 CRI SEI 메시지를 또한 인코딩할 것이다. 이렇게 하여, 비디오 디코딩 유닛은 비트스트림에 대한 디스플레이 적응을 위해 메타데이터에 의존할 수도 있다.

상기 논의된 바와 같이, 일부 예들에서, CRI SEI 메시지들은 대응하는 피크 밝기 값을 표시하는 신택스 엘리먼트를 포함할 수도 있다. 예를 들어, 비디오 인코딩 유닛 (21) 은 제 1 피크 밝기 값 (예를 들어, 300 니트) 을 표현하는 값을 가진 colour_remap_id 신택스 엘리먼트를 갖는 제 1 CRI SEI 메시지 및 제 2 피크 밝기 값 (예를 들어, 700 니트) 을 표현하는 값을 가진 colour_remap_id 신택스 엘리먼트를 갖는 제 2 CRI SEI 메시지를 포함하는 비트스트림을 출력할 수도 있다. 일부 예들에서, CRI SEI 메시지들의 각각은 입력 비디오 데이터의 비트 심도 (즉, colour_remap_input_bit_depth) 및/또는 출력 비디오 데이터의 비트 심도 (즉, colour_remap_bit_depth) 를 특정하는 하나 이상의 신택스 엘리먼트들을 더 포함할 수도 있다. 일부 예들에서, 입력 비디오 데이터의 비트 심도를 특정하는 신택스 엘리먼트 및 출력 비디오 데이터의 비트 심도를 특정하는 신택스 엘리먼트는 양자 모두 "8", "10", 또는 "12" 와 같은 특정한 값으로 설정될 수도 있다. 이렇게 하여, 컬러 리맵핑 프로세스의 복잡성 (예를 들어, 메모리 및 프로세싱 요건들) 은 제약될 수도 있다.

도 9 는 본 개시의 기법들에 따른 하나 이상의 컬러 리맵핑 메시지들로 비디오 데이터의 픽처를 디코딩하기 위한 일 예의 방법을 예시하는 플로우차트이다. 설명의 목적들을 위해, 도 9 의 방법은 비디오 디코딩 유닛 (29) 및 (예를 들어, 도 1 에 예시된) 그 컴포넌트들에 의해 수행되는 것으로서 이하에 설명되지만, 도 9 의 방법은 다른 비디오 디코딩 유닛들에 의해 수행될 수도 있다.

비디오 디코딩 유닛 (29) 은 비디오 데이터의 현재의 픽처의 인코딩된 표현을 포함하는 비트스트림을 수신하고 (902) 비디오 데이터의 현재의 픽처의 샘플들을 디코딩할 수도 있다 (904). 예를 들어, 비디오 디코더 (30) 는 비트스트림을 수신하고 인터 및 인트라 예측 모드들의 임의의 조합을 이용하여 샘플들을 디코딩할 수도 있다. 일부 예들에서, 비디오 디코더 (30) 는 H.265/HEVC 를 이용하여 샘플들을 디코딩할 수도 있다.

비디오 디코딩 유닛 (29) 은 현재의 디스플레이의 피크 밝기 값을 결정할 수도 있다 (906). 예를 들어, 비디오 디코딩 유닛 (29) 은 디스플레이 디바이스 (32) 의 피크 밝기 값을 결정할 수도 있다. 하나의 예로서, 이를 테면 디스플레이 (32) 가 비디오 디코딩 유닛 (29) 과 동일한 디바이스에 통합되는 경우, 디스플레이 (32) 의 피크 밝기 값은 비디오 디코딩 유닛 (29) 에 의해 액세스가능하게 메모리에 저장된 변수일 수도 있다. 다른 예로서, 비디오 디코딩 유닛 (29) 은 (예를 들어, 확장된 디스플레이 식별 데이터 (Extended Display Identification Data; EDID) 데이터 채널을 통해) 디스플레이 (32) 의 피크 밝기 값을 표시하는 데이터를 디스플레이 (32) 로부터 수신할 수도 있다.

비디오 디코딩 유닛 (29) 은, 비트스트림으로부터 그리고 비디오 데이터의 현재의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 획득할 수도 있다 (908). 예를 들어, 비디오 디코딩 유닛 (29) 은 제 1 피크 밝기 값 (예를 들어, 300 니트) 에 대응하는 제 1 CRI SEI 메시지, 제 2 피크 밝기 값 (예를 들어, 500 니트) 에 대응하는 제 2 CRI SEI 메시지, 및 제 3 피크 밝기 값 (예를 들어, 1000 니트) 에 대응하는 제 3 CRI SEI 메시지를 획득할 수도 있다. 상기 논의된 바와 같이, 일부 예들에서, CRI SEI 메시지들은 대응하는 피크 밝기 값을 표시하는 colour_remap_id 신택스 엘리먼트를 포함할 수도 있다.

비디오 디코딩 유닛 (29) 은, 현재의 디스플레이의 피크 밝기 값에 기초하여, 하나 이상의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택할 수도 있다 (910). 하나의 예로서, 비디오 디코딩 유닛 (29) 은 현재의 디스플레이의 피크 밝기 값에 가장 밀접하게 매칭하는 피크 밝기 값에 대응하는 컬러 리맵핑 메시지를 선택할 수도 있다. 다른 예로서, 비디오 디코딩 유닛 (29) 은 현재의 디스플레이의 피크 밝기 값 이하인 가장 큰 대응하는 피크 밝기 값을 가진 컬러 리맵핑 메시지를 선택할 수도 있다. 다른 예들에서, 비디오 디코딩 유닛 (29) 은 디스플레이의 피크 밝기에 기초한 일부 사전-정의된 알고리즘 또는 룩업 테이블에 기초하여 특정한 피크 밝기에 대응하는 컬러 리맵핑 메시지를 선택할 수도 있다.

일부 예들에서, 현재의 디스플레이의 피크 밝기에 더하여 및/또는 그 대신에, 비디오 디코딩 유닛 (29) 은 현재의 디스플레이의 컬러 가무트 및/또는 어느 전달 함수들이 현재의 디스플레이에 의해 지원되는지에 기초하여 복수의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택할 수도 있다. 다시 말해서, 비디오 디코딩 유닛 (29) 은 colour_remap_id 신택스 엘리먼트, colour_remap_primaries 신택스 엘리먼트, 및/또는 colour_remap_transfer_function 신택스 엘리먼트에 기초하여 CRI SEI 메시지를 선택할 수도 있다. 예를 들어, 비디오 디코딩 유닛 (29) 은 100 니트의 피크 밝기를 표시하는 colour_remap_id 신택스 엘리먼트, BT.709 가무트를 표시하는 colour_remap_primaries 신택스 엘리먼트, 및 HLG 전달 함수를 표시하는 colour_remap_transfer_function 신택스 엘리먼트를 가진 제 1 메시지 MSG1; 및 100 니트의 피크 밝기를 표시하는 colour_remap_id 신택스 엘리먼트, BT.2020 가무트를 표시하는 colour_remap_primaries 신택스 엘리먼트, 및 PQ 전달 함수를 표시하는 colour_remap_transfer_function 신택스 엘리먼트를 가진 제 2 메시지 MSG2 를 수신할 수도 있다. 이 예에서, 현재의 디스플레이가 BT.2020/PQ 를 지원하면, 비디오 디코딩 유닛 (29) 은 MSG2 를 선택할 수도 있다. 그러나, 현재의 디스플레이가 BT.709/HLG 를 지원하면, 비디오 디코딩 유닛 (29) 은 MSG1 을 선택할 수도 있다.

일부 예들에서, 비디오 디코딩 유닛 (29)

비디오 디코딩 유닛 (29) 은, 선택된 컬러 리맵핑 메시지에 기초하여, 비디오 데이터의 현재의 픽처의 샘플들을 컬러 리맵핑할 수도 있다 (912). 예를 들어, 도 5 를 참조하여 상기 설명된 바와 같이, 비디오 포스트프로세서 (31) 는 역 양자화, 역 컬러 변환을 수행하고, 선택된 컬러 리맵핑 메시지에 포함된 정보를 이용하여 (예를 들어, 선택된 CRI SEI 메시지에 포함된 다음의 신택스 엘리먼트들: colour_remap_full_range_flag, colour_remap_primaries, colour_remap_transfer_function, 및 colour_remap_matrix_coefficients 중 하나 이상의 값들에 기초하여) 역 전달 함수를 적용할 수도 있다.

일부 예들에서, 비디오 포스트프로세서 (31) 는 상이한 점들에서 컬러 리맵핑 메시지의 정보를 적용할 수도 있다. 예를 들어, 비디오 포스트프로세서 (31) 는 컬러 리맵핑 메시지의 정보를 비디오 데이터의 디코딩된 샘플들에 직접 적용하거나 또는 일부 프로세싱 후 샘플들에 적용할 수도 있다. 일부 예들에서, 컬러 리맵핑 메시지는 컬러 리맵핑 메시지의 정보가 적용되어야 하는 장소를 표시하는 신택스 엘리먼트를 포함할 수도 있다. 예를 들어, colour_remap_id 신택스 엘리먼트의 시맨틱들은 이 신택스 엘리먼트가 메시지가 디코딩된 샘플들에 직접 적용되는지 또는 일부 프로세싱 후 (예를 들어, Y'CbCr 도메인으로부터 RGB 도메인으로의 디코딩된 샘플들의 변환 후) 샘플들에 적용되는지의 정보를 또한 전달하도록 변화될 수 있다. 하나의 예로서, 비디오 코딩 유닛은 컬러 리맵핑 메시지의 정보가 Y'CbCr 도메인에서 비디오 데이터의 디코딩된 샘플들에 적용되어야 한다는 것을 표시하기 위해 제 1 값 (예를 들어, 0 또는 짝수) 을 가진 colour_remap_id 엘리먼트를 시그널링할 수도 있다. 다른 예로서, 비디오 코딩 유닛은 컬러 리맵핑 메시지의 정보가 RGB 도메인으로의 변환 후 비디오 데이터의 디코딩된 샘플들에 적용되어야 한다는 것을 표시하기 위해 제 2 값 (예를 들어, 1 또는 홀수) 을 가진 colour_remap_id 엘리먼트를 시그널링할 수도 있다.

상기 논의된 바와 같이, 일부 예들에서, CRI SEI 메시지의 colour_remap_id 신택스 엘리먼트는 CRI SEI 메시지가 대응하는 타겟 디스플레이의 피크 밝기를 표시할 수도 있다. 또한 상기 논의된 바와 같이, 일부 예들에서, 동일한 colour_remap_id 신택스 엘리먼트는 CRI SEI 의 정보가 비디오 데이터의 디코딩된 샘플들에 직접 적용되는지 또는 일부 프로세싱 후 샘플들에 적용되는지를 표시할 수도 있다. 이로써, 일부 예들에서, CRI SEI 메시지에서의 colour_remap_id 신택스 엘리먼트는 CRI SEI 메시지에 대응하는 타겟 디스플레이의 피크 밝기 및 비디오 디코더가 선택된 CRI SEI 메시지의 정보를 비디오 데이터의 디코딩된 샘플들에 직접 적용할 것인지 또는 일부 프로세싱 후 샘플들에 적용할 것인지 양자 모두를 표시할 수도 있다.

비디오 디코딩 유닛 (29) 은, 현재의 디스플레이에의 디스플레이를 위해, 비디오 데이터의 현재의 픽처의 컬러 리맵핑된 샘플들을 출력할 수도 있다 (914). 예를 들어, 비디오 디코딩 유닛 (29) 은 디스플레이 디바이스 (32) 로 하여금, 비디오 데이터의 현재의 픽처의 컬러 리맵핑된 샘플들을 디스플레이하게 할 수도 있다.

일부 예들에서, 비디오 디코딩 유닛 (29) 이, 비트스트림에서의 현재의 IRAP 에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 세트를 디코딩하면, 비디오 디코딩 유닛 (29) 은, 비트스트림에서의 후속 IRAP들에 대해, 동일한 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 개별의 세트를 디코딩하는 것이 또한 가능할 것이다. 예를 들어, 비디오 디코딩 유닛 (29) 이 비트스트림에서의 현재의 IRAP 에 대해 제 1 피크 밝기 (예를 들어, 300 니트) 에 대응하는 제 1 CRI SEI 메시지 및 제 2 피크 밝기 (예를 들어, 700 니트) 에 대응하는 제 2 CRI SEI 메시지를 디코딩하면, 비디오 디코딩 유닛 (29) 은 비트스트림에서의 모든 후속 IRAP들에 대해 제 1 피크 밝기 (예를 들어, 300 니트) 에 대응하는 개별의 제 1 CRI SEI 메시지 및 제 2 피크 밝기 (예를 들어, 700 니트) 에 대응하는 개별의 제 2 CRI SEI 메시지를 또한 디코딩할 것이다. 이렇게 하여, 비디오 디코딩 유닛 (29) 은 비트스트림에 대한 디스플레이 적응을 위해 메타데이터에 의존할 수도 있다.

일부 예들에서, CRI SEI 메시지들의 각각은 입력 비디오 데이터의 비트 심도 (즉, colour_remap_input_bit_depth) 및/또는 출력 비디오 데이터의 비트 심도 (즉, colour_remap_bit_depth) 를 특정하는 하나 이상의 신택스 엘리먼트들을 더 포함할 수도 있다. 일부 예들에서, 입력 비디오 데이터의 비트 심도를 특정하는 신택스 엘리먼트 및 출력 비디오 데이터의 비트 심도를 특정하는 신택스 엘리먼트는 항상 양자 모두가 "8", "10", 또는 "12" 와 같은 특정한 값으로 설정될 수도 있다. 이렇게 하여, 컬러 리맵핑 프로세스의 복잡성 (예를 들어, 메모리 및 프로세싱 요건들) 은 제약될 수도 있다.

예에 의존하여, 본 명세서에서 설명된 기법들 중 임의의 것의 소정의 액트들 또는 이벤트들이 상이한 시퀀스로 수행될 수 있고, 함께 추가, 병합, 또는 배제될 수도 있다 (예를 들어, 모든 설명된 액트들 또는 이벤트들이 기법들의 실시에 필수적인 것은 아니다) 는 것이 인정되어야 한다. 더욱이, 소정의 예들에서, 액트들 또는 이벤트들은, 순차적으로라기 보다는, 예를 들어, 멀티-스레디드 프로세싱, 인터럽트 프로세싱, 또는 다중 프로세서들을 통하여, 동시에 수행될 수도 있다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장 또는 이를 통해 송신되고 하드웨어-기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들, 또는 예를 들어 통신 프로토콜에 따라 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다. 이 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 캐리어파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

제한이 아닌 일 예로, 이러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 적절히 컴퓨터 판독가능 매체라 불리게 된다. 예를 들어, 명령들이 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 트위스티드 페어, 디지털 가입자 회선 (DSL), 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들을 이용하여 송신되면, 매체의 정의에는 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들이 포함된다. 그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 접속들, 캐리어파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 그 대신 비일시적, 유형의 저장 매체들과 관련되는 것으로 이해되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본 명세서에서 사용된 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 상기의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 프로세서들, 이를 테면 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 통합된 또는 이산 로직 회로부에 의해 실행될 수도 있다. 이에 따라, 용어 "프로세서" 는, 본 명세서에서 사용된 바와 같이, 전술한 구조 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 추가로, 일부 양태들에서, 본 명세서에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 통합될 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.

본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하는 것은 아니다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하는, 상호동작가능한 하드웨어 유닛들의 콜렉션에 의해 제공될 수도 있다.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims

디코딩된 비디오 데이터를 프로세싱하는 방법으로서,
비디오 디코딩 유닛에 의해, 현재의 디스플레이의 피크 밝기 값을 결정하는 단계;
상기 비디오 디코딩 유닛에 의해 그리고 비디오 데이터의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 획득하는 단계;
상기 비디오 디코딩 유닛에 의해 그리고 상기 현재의 디스플레이의 상기 피크 밝기 값에 기초하여, 상기 하나 이상의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택하는 단계;
상기 비디오 디코딩 유닛에 의해 그리고 선택된 상기 컬러 리맵핑 메시지에 기초하여, 상기 비디오 데이터의 픽처의 샘플들을 컬러 리맵핑하는 단계; 및
상기 비디오 디코딩 유닛에 의해 그리고 상기 현재의 디스플레이에의 디스플레이를 위해, 상기 비디오 데이터의 픽처의 컬러 리맵핑된 상기 샘플들을 출력하는 단계를 포함하는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들은 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 포함하는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 2 항에 있어서,
상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지는 상기 개별의 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트를 포함하고, 상기 디코딩된 비디오 데이터를 프로세싱하는 방법은,
상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지에 대해, 상기 개별의 CRI SEI 메시지에 포함된 상기 개별의 colour_remap_id 신택스 엘리먼트의 값에 기초하여 상기 개별의 피크 밝기 값을 결정하는 단계를 더 포함하는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 3 항에 있어서,
다음의 식:

에 따라 하나 이상의 CRI SEI 메시지들 중의 특정한 CRI SEI 메시지에 대응하는 상기 피크 밝기 값을 결정하는 단계를 더 포함하고,
식중,
은 상기 특정한 CRI SEI 메시지에 대응하는 상기 피크 밝기 값이고,
은 상기 특정한 CRI SEI 메시지에 포함된 상기 colour_remap_id 신택스 엘리먼트이고, 그리고
은 상향 반올림 함수 (upward rounding function) 인, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 개별의 피크 밝기 값들은 100 니트의 최대 휘도와 10000 니트의 최대 휘도 사이인 개별의 값들을 갖는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 비디오 데이터의 픽처는 코딩된 비디오 비트스트림에서의 비디오 데이터의 현재의 인트라 랜덤 액세스 포인트 (IRAP) 픽처를 포함하고, 상기 디코딩된 비디오 데이터를 프로세싱하는 방법은,
상기 비디오 디코딩 유닛에 의해 그리고 상기 코딩된 비디오 비트스트림에서의 비디오 데이터의 각각의 후속 IRAP 픽처에 대해, 동일한 상기 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 개별의 세트를 획득하는 단계를 더 포함하는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 6 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들은 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 포함하고, 상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지는,
상기 개별의 CRI SEI 메시지에 대응하는 상기 개별의 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트; 및
10 의 값을 가진 개별의 colour_remap_input_bit_depth 신택스 엘리먼트를 포함하는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
선택된 상기 컬러 리맵핑 메시지에 기초하여, 상기 메시지의 정보가 상기 비디오 데이터의 픽처의 디코딩된 샘플들에 적용될 것인지 또는 상기 디코딩된 샘플들의 프로세싱 후 상기 디코딩된 샘플들에 적용될 것인지를 결정하는 단계를 더 포함하는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 8 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들은 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 포함하고, 상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지는 상기 개별의 CRI SEI 메시지에 대응하는 상기 개별의 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트를 포함하고, 상기 디코딩된 비디오 데이터를 프로세싱하는 방법은,
선택된 CRI SEI 메시지의 상기 개별의 colour_remap_id 신택스 엘리먼트에 기초하여, 상기 선택된 CRI SEI 메시지의 정보가 Y'CbCr 도메인에서의 상기 비디오 데이터의 픽처의 디코딩된 샘플들에 적용될 것인지 또는 RGB 도메인으로의 상기 디코딩된 샘플들의 변환 후 상기 디코딩된 샘플들에 적용될 것인지를 결정하는 단계를 더 포함하는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
제 1 항에 있어서,
상기 컬러 리맵핑 메시지를 선택하는 단계는,
상기 비디오 디코딩 유닛에 의해 그리고 상기 현재의 디스플레이의 상기 피크 밝기 값 및 상기 현재의 디스플레이의 컬러 가무트 및 상기 현재의 디스플레이에 의해 지원된 전달 함수들 중 하나 또는 양자 모두에 기초하여, 상기 컬러 리맵핑 메시지를 선택하는 단계를 포함하는, 디코딩된 비디오 데이터를 프로세싱하는 방법.
비디오 데이터를 인코딩하는 방법으로서,
비디오 인코더에 의해 그리고 비트스트림에서, 비디오 데이터의 픽처에 대한 샘플 값들을 인코딩하는 단계;
상기 비디오 인코더에 의해 그리고 상기 비트스트림에서, 상기 비디오 데이터의 픽처에 대한 하나 이상의 컬러 리맵핑 메시지들을 인코딩하는 단계로서, 상기 컬러 리맵핑 메시지들의 각각은 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 대응하는, 상기 하나 이상의 컬러 리맵핑 메시지들을 인코딩하는 단계; 및
상기 비디오 인코더에 의해, 상기 비트스트림을 출력하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
제 11 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들을 인코딩하는 단계는 하나 이상의 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
제 12 항에 있어서,
상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지를 인코딩하는 단계는,
상기 개별의 CRI SEI 메시지가 대응하는 상기 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트를 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
제 13 항에 있어서,
상기 하나 이상의 CRI SEI 메시지들 중의 특정한 CRI SEI 메시지의 colour_remap_id 신택스 엘리먼트를 인코딩하는 단계는 다음의 식:

에 따라 특정한 colour_remap_id 신택스 엘리먼트의 값을 인코딩하는 단계를 포함하고,
식중,
은 상기 특정한 CRI SEI 메시지에 대응하는 상기 피크 밝기 값이고,
은 상기 특정한 CRI SEI 메시지에 포함된 상기 colour_remap_id 신택스 엘리먼트이고, 그리고
은 상향 반올림 함수인, 비디오 데이터를 인코딩하는 방법.
제 11 항에 있어서,
상기 개별의 피크 밝기 값들은 100 니트의 최대 휘도와 10000 니트의 최대 휘도 사이인 개별의 값들을 갖는, 비디오 데이터를 인코딩하는 방법.
제 11 항에 있어서,
상기 비디오 데이터의 픽처는 비디오 데이터의 현재의 인트라 랜덤 액세스 포인트 (IRAP) 픽처를 포함하고, 상기 비디오 데이터를 인코딩하는 방법은,
상기 비디오 인코더에 의해 그리고 비디오 데이터의 각각의 후속 IRAP 픽처에 대해, 동일한 상기 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 개별의 세트를 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
제 16 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들은 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 포함하고, 상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지는,
상기 개별의 CRI SEI 메시지에 대응하는 상기 개별의 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트; 및
10 의 값을 가진 개별의 colour_remap_input_bit_depth 신택스 엘리먼트를 포함하는, 비디오 데이터를 인코딩하는 방법.
제 11 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들 중의 각 개별의 메시지에서, 비디오 디코딩 유닛이 상기 개별의 메시지의 정보를 상기 비디오 데이터의 픽처의 디코딩된 샘플들에 적용할 것인지 또는 상기 디코딩된 샘플들의 프로세싱 후 상기 디코딩된 샘플들에 적용할 것인지의 표시를 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
제 18 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들은 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 포함하고, 상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지는 상기 개별의 CRI SEI 메시지에 대응하는 상기 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트를 포함하고, 특정한 CEI SEI 메시지에 대한 상기 표시를 인코딩하는 단계는,
상기 개별의 CRI SEI 메시지에 대응하는 상기 피크 밝기 값 및 상기 비디오 디코딩 유닛이 선택된 CRI SEI 메시지의 정보를 Y'CbCr 도메인에서의 상기 비디오 데이터의 픽처의 디코딩된 샘플들에 적용할 것인지 또는 RGB 도메인으로의 상기 디코딩된 샘플들의 변환 후 상기 디코딩된 샘플들에 적용할 것인지 양자 모두를 표시하는 값을 가진 상기 특정한 CRI SEI 메시지에 대한 상기 colour_remap_id 신택스 엘리먼트를 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
디코딩 비디오 데이터를 프로세싱하기 위한 디바이스로서,
상기 비디오 데이터를 저장하도록 구성된 메모리; 및
비디오 디코딩 유닛을 포함하고,
상기 비디오 디코딩 유닛은,
현재의 디스플레이의 피크 밝기 값을 결정하고;
상기 비디오 데이터의 픽처에 대해, 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 획득하고;
상기 현재의 디스플레이의 상기 피크 밝기 값에 기초하여, 상기 하나 이상의 컬러 리맵핑 메시지들 중의 컬러 리맵핑 메시지를 선택하고;
선택된 상기 컬러 리맵핑 메시지에 기초하여, 상기 비디오 데이터의 픽처의 샘플들을 컬러 리맵핑하고; 그리고
상기 현재의 디스플레이에의 디스플레이를 위해, 상기 비디오 데이터의 픽처의 컬러 리맵핑된 상기 샘플들을 출력하도록 구성된, 디코딩 비디오 데이터를 프로세싱하기 위한 디바이스.
제 20 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들은 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 포함하는, 디코딩 비디오 데이터를 프로세싱하기 위한 디바이스.
제 21 항에 있어서,
상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지는 상기 개별의 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트를 포함하고, 상기 비디오 디코딩 유닛은,
상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지에 대해, 상기 개별의 CRI SEI 메시지에 포함된 상기 개별의 colour_remap_id 신택스 엘리먼트의 값에 기초하여 상기 개별의 피크 밝기 값을 결정하도록 추가로 구성된, 디코딩 비디오 데이터를 프로세싱하기 위한 디바이스.
제 20 항에 있어서,
상기 개별의 피크 밝기 값들은 100 니트의 최대 휘도와 10000 니트의 최대 휘도 사이인 개별의 값들을 갖는, 디코딩 비디오 데이터를 프로세싱하기 위한 디바이스.
제 20 항에 있어서,
상기 비디오 데이터의 픽처는 코딩된 비디오 비트스트림에서의 비디오 데이터의 현재의 인트라 랜덤 액세스 포인트 (IRAP) 픽처를 포함하고, 상기 비디오 디코딩 유닛은,
상기 코딩된 비디오 비트스트림에서의 비디오 데이터의 각각의 후속 IRAP 픽처에 대해, 동일한 상기 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 개별의 세트를 획득하도록 추가로 구성된, 디코딩 비디오 데이터를 프로세싱하기 위한 디바이스.
제 24 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들은 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 포함하고, 상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지는,
상기 개별의 CRI SEI 메시지에 대응하는 상기 개별의 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트; 및
10 의 값을 가진 개별의 colour_remap_input_bit_depth 신택스 엘리먼트를 포함하는, 디코딩 비디오 데이터를 프로세싱하기 위한 디바이스.
제 20 항에 있어서,
상기 디바이스는,
집적 회로;
마이크로프로세서; 또는
상기 비디오 디코딩 유닛을 포함하는 무선 통신 디바이스 중 적어도 하나를 포함하는, 디코딩 비디오 데이터를 프로세싱하기 위한 디바이스.
비디오 데이터를 인코딩하기 위한 디바이스로서,
비디오 데이터를 저장하도록 구성된 메모리; 및
비디오 인코딩 유닛을 포함하고,
상기 비디오 인코딩 유닛은,
비트스트림에서, 비디오 데이터의 픽처에 대한 샘플 값들을 인코딩하고;
상기 비트스트림에서, 상기 비디오 데이터의 픽처에 대한 하나 이상의 컬러 리맵핑 메시지들을 인코딩하는 것으로서, 상기 컬러 리맵핑 메시지들의 각각은 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 대응하는, 상기 하나 이상의 컬러 리맵핑 메시지들을 인코딩하고; 그리고
상기 비트스트림을 출력하도록 구성된, 비디오 데이터를 인코딩하기 위한 디바이스.
제 27 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들을 인코딩하기 위해, 상기 비디오 인코딩 유닛은 하나 이상의 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 인코딩하도록 구성되는, 비디오 데이터를 인코딩하기 위한 디바이스.
제 28 항에 있어서,
상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지를 인코딩하기 위해, 상기 비디오 인코딩 유닛은,
상기 개별의 CRI SEI 메시지가 대응하는 상기 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트를 인코딩하도록 구성되는, 비디오 데이터를 인코딩하기 위한 디바이스.
제 27 항에 있어서,
상기 개별의 피크 밝기 값들은 100 니트의 최대 휘도와 10000 니트의 최대 휘도 사이인 개별의 값들을 갖는, 비디오 데이터를 인코딩하기 위한 디바이스.
제 27 항에 있어서,
상기 비디오 데이터의 픽처는 비디오 데이터의 현재의 인트라 랜덤 액세스 포인트 (IRAP) 픽처를 포함하고, 상기 비디오 인코딩 유닛은,
비디오 데이터의 각각의 후속 IRAP 픽처에 대해, 동일한 상기 피크 밝기 값들의 세트 중의 개별의 피크 밝기 값에 각각 대응하는 하나 이상의 컬러 리맵핑 메시지들을 포함하는 컬러 리맵핑 메시지들의 개별의 세트를 인코딩하도록 추가로 구성된, 비디오 데이터를 인코딩하기 위한 디바이스.
제 31 항에 있어서,
상기 하나 이상의 컬러 리맵핑 메시지들은 컬러 리맵핑 정보 (CRI) 보충 강화 정보 (SEI) 메시지들을 포함하고, 상기 CRI SEI 메시지들 중의 각 개별의 CRI SEI 메시지를 인코딩하기 위해, 상기 비디오 인코딩 유닛은,
상기 개별의 CRI SEI 메시지에 대응하는 상기 개별의 피크 밝기 값을 표시하는 개별의 colour_remap_id 신택스 엘리먼트; 및
10 의 값을 가진 개별의 colour_remap_input_bit_depth 신택스 엘리먼트를 인코딩하도록 구성되는, 비디오 데이터를 인코딩하기 위한 디바이스.
제 27 항에 있어서,
상기 디바이스는,
집적 회로;
마이크로프로세서; 또는
상기 비디오 인코딩 유닛을 포함하는 무선 통신 디바이스 중 적어도 하나를 포함하는, 비디오 데이터를 인코딩하기 위한 디바이스.