KR102389652B1

KR102389652B1 - Ldr 픽처의 픽처/비디오 포맷과 상기 ldr 픽처로부터 획득된 디코딩된 hdr 픽처와 조명 픽처의 픽처/비디오 포맷을 비트스트림에서 시그널링하는 방법 및 디바이스

Info

Publication number: KR102389652B1
Application number: KR1020177001460A
Authority: KR
Inventors: 에두아르 프랑쑤와; 세바스띠앙 라쎄르; 파브리쓰 르레아넥; 삐에르 앙드리봉; 야닉 올리비에; 다비드 뚜즈
Original assignee: 인터디지털 브이씨 홀딩스 인코포레이티드
Priority date: 2014-06-20
Filing date: 2015-06-04
Publication date: 2022-04-22
Also published as: EP3158745A1; MX2016017116A; US20180213259A1; JP6719391B2; MX364806B; CN106464923B; JP2017522794A; WO2015193112A1; TWI680674B; EP2958328A1; KR20170020873A; AU2015276393B2; AU2015276393A1; BR112016029963A2; US10219007B2; JP7053722B2; JP2020174358A; CN106464923A; CN110830804A; TW201601519A

Abstract

본 개시내용은 일반적으로 둘 다 HDR 픽처로부터 획득되는 LDR 픽처와 조명 픽처를 표현하는 비트스트림에서, 출력 LDR 포맷을 나타내는, 상기 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷과, 출력 HDR 포맷을 나타내는, 상기 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷 둘 다를 시그널링하는 방법에 관한 것이고, 본 방법은 출력 LDR 포맷을 정의하는 제1 구문 요소를 비트스트림에 인코딩하는 단계를 포함한다. 본 방법은 제1 구문 요소와 상이하고 출력 HDR 포맷을 정의하는 제2 구문 요소를 비트스트림에 인코딩하는 단계를 추가로 포함하는 것을 특징으로 한다. 본 개시내용은 또한 인코딩/디코딩 방법/디바이스, 컴퓨터 프로그램 제품, 프로세서 판독가능 매체, 비일시적 저장 매체 및 신호에 관한 것이다.

Description

LDR 픽처의 픽처/비디오 포맷과 상기 LDR 픽처로부터 획득된 디코딩된 HDR 픽처와 조명 픽처의 픽처/비디오 포맷을 비트스트림에서 시그널링하는 방법 및 디바이스{METHOD AND DEVICE FOR SIGNALING IN A BITSTREAM A PICTURE/VIDEO FORMAT OF AN LDR PICTURE AND A PICTURE/VIDEO FORMAT OF A DECODED HDR PICTURE OBTAINED FROM SAID LDR PICTURE AND AN ILLUMINATION PICTURE}

본 개시내용은 일반적으로 이중 변조 인코딩/디코딩 방식을 포함하는 배포 프레임워크(distribution framework)에서 출력 픽처/비디오 포맷들을 시그널링하는 것에 관한 것이다.

본 개시내용은 추가로 LDR 픽처와 조명 픽처(illumination picture)를 표현하는 비트스트림을 발생시키는 인코딩 방법과 비트스트림에 의해 시그널링된 출력 픽처/비디오 포맷에 따라 LDR 또는 HDR 픽처를 디코딩하는 디코딩 방법 및 디바이스에 관한 것이다.

본 섹션은 이하에서 기술되고 그리고/또는 청구되는 본 개시내용의 다양한 양태들에 관련되어 있을 수 있는, 기술분야의 다양한 양태들을 읽는 사람에게 소개하려고 의도되어 있다. 이 논의는 본 발명의 다양한 양태들의 보다 나은 이해를 용이하게 하기 위한 배경 정보를 읽는 사람에게 제공하는 데 도움을 주는 것으로 생각된다. 그에 따라, 이 서술들은 종래 기술의 인정으로서가 아니라 이러한 관점에서 읽혀져야 한다는 것을 잘 알 것이다.

이하에서, 픽처(종래 기술에서 때때로 영상 또는 프레임이라고 불리움)는 픽처(또는 비디오)의 픽셀 값들에 대한 모든 정보와 픽처(또는 비디오)를 시각화 및/또는 디코딩하기 위해 디스플레이 및/또는 디코딩 디바이스에 의해 사용될 수 있는 모든 정보를 명시하는 특정 픽처/비디오 포맷으로 된 하나 또는 몇 개의 샘플(픽셀 값) 어레이들을 포함한다. 픽처는 제1 샘플 어레이의 형상으로 된 적어도 하나의 성분, 보통 루마(luma)(또는 루미넌스(luminance)) 성분과, 어쩌면, 적어도 하나의 다른 샘플 어레이의 형상으로 된 적어도 하나의 다른 성분, 보통 색 성분을 포함한다.

LDR 픽처(Low-Dynamic-Range picture)들은 제한된 수(종종 8개 또는 10개)의 비트들로 표현되는 루마 샘플들을 갖는 픽처들이다. 이 제한된 표현은, 특히 어두운 루미넌스 범위와 밝은 루미넌스 범위에서, 작은 신호 변동들의 정확한 렌더링을 가능하지 하지 않는다. HDR 픽처(high-dynamic range picture)들에서, 신호의 전체 범위에 걸쳐 신호의 높은 정확도를 유지하기 위해 신호 표현이 확장된다. HDR 픽처들에서, 루마 샘플들은 보통 부동 소수점 포맷(각각의 성분에 대해 32-비트 또는 16-비트, 즉, float 또는 half-float) - 가장 인기있는 포맷은 openEXR half-float 포맷(RGB 성분당 16-비트, 즉, 샘플당 48 비트)임 - 또는 전형적으로 적어도 16 비트인, long 표현을 갖는 정수들로 표현된다.

이중 변조 방식은 입력 HDR 픽처를 비트스트림에 인코딩하고 비트스트림을 적어도 부분적으로 디코딩하는 것에 의해 입력 HDR 픽처의 디코딩된 버전을 획득하는 전형적인 접근법이다. 그의 원리는 입력 HDR 픽처로부터 조명 픽처(조명 맵(illumination map) 또는 백라이트 픽처(backlight picture)라고도 불리움)를 획득하는 것이다. 잔차 픽처(residual picture)가 이어서 입력 HDR 픽처를 조명 픽처로 나누는 것에 의해 획득되고, 조명 픽처(또는 조명 픽처를 표현하는 조명 데이터)와 잔차 픽처 둘 다가 이어서 직접 인코딩된다.

이 접근법을 사용하여 입력 HDR 픽처를 인코딩하는 것은 2개의 성분들: 보이는 픽처일 수 있는, 잔차 픽처(이하에서 LDR 픽처라고 불리움)와, 조명 픽처(또는 조명 픽처를 표현하는 조명 데이터)를 인코딩하는 것에 이르게 된다. LDR 픽처의 디코딩된 버전이 이어서 비트스트림을 적어도 부분적으로 직접 디코딩하는 것에 의해 획득될 수 있고, 입력 HDR 픽처의 디코딩된 버전이 또한 LDR 픽처의 디코딩된 버전과 비트스트림을 적어도 부분적으로 디코딩하는 것에 의해 획득된 조명 픽처의 디코딩된 버전을 곱하는 것에 의해(또는 비트스트림을 적어도 부분적으로 디코딩하는 것에 의해 획득된 조명 데이터로부터) 획득될 수 있다.

LDR 픽처와 조명 픽처는 상이한 입력 입력 픽처/비디오 포맷들(YUV, RGB, XYZ, ...)을 가질 수 있고, 꼭 동일한 포맷을 가지는 것은 아닐 수 있다. 예를 들어, 조명 픽처는 흑백(monochrome)일 수 있고, LDR 픽처 포맷는 YUV 또는 RGB일 수 있다.

이하에서 출력 LDR 포맷이라고 불리우는, 입력 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷 및, 이하에서 출력 HDR 포맷이라고 불리우는, 입력 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷은, 이하에서 입력 LDR 포맷 및 입력 HDR 포맷이라고 각각 불리우는, 입력 LDR 픽처의 포맷 및 입력 HDR 픽처의 포맷과 동일할 수 있다.

그렇지만, 입력 포맷들과 출력 포맷들은 보통 동일하지 않은데, 그 이유는 출력 포맷들이 특정 조건들에 맞춰 적합하게 되는 것이 유리하기 때문이다. 예를 들어, 출력 LDR 또는 HDR 포맷은 어떤 목표로 한 특정 디스플레이들, 디코딩된 픽처들을 디스플레이하기 위한 주변 조건들 또는 사용자 기본설정에 맞춰 적합하게 될 수 있다. 출력 포맷들의 이러한 적합화는 상기 목표로 한 특정 디스플레이들에 걸쳐 픽처들의 디코딩된 버전의 시각적 품질을 증가시키는 데, 그 이유는 인코딩/디코딩 방식이 상기 목표로 한 특정 디스플레이에 대한 보다 나은 시각적 품질에 도달하기 위해 주어진 비트 레이트의 배포를 최적화하기 때문이다.

본 개시내용에 의해 해결될 문제는 동일한 비트스트림으로부터 디코딩될 수 있는 LDR 또는 HDR 픽처 둘 다가 입력 LDR 또는 HDR 포맷과 상이한 특정의 출력 LDR 또는 HDR 포맷에 부합해야 한다는 것이다.

단일 픽처(또는 단일 비디오)를 인코딩하는 데 적합한 종래의 인코딩/디코딩 방식에서, 입력 픽처의 픽처/비디오 포맷이 구문 요소: 예를 들어, HEVC 권고안("High Efficiency Video Coding", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, April 2013) 또는 H264/AVC 권고안("Advanced video coding for generic audiovisual Services", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standardization Sector of ITU, February 2014)에서 정의된 바와 같은 소위 VUI(video usability information)를 사용하여 비트스트림에서 시그널링된다.

입력 픽처의 디코딩된 버전의 픽처/비디오 포맷은 그러면 VUI에 의해 정의된 픽처/비디오 포맷이고, 즉, 입력 픽처의 픽처/비디오 포맷과 동일하다.

더욱이, 이러한 종래의 인코딩/디코딩 방식은 인코딩될 픽처의 입력 픽처/비디오 포맷을 시그널링하기 위해 단일 VUI만이 허용하기 때문에, 종래의 방식은, 각각이 비트스트림으로부터 디코딩될 수 있는 픽처에 대한 것인, 2개의 픽처/비디오 출력 포맷을 동일한 비트스트림에서 시그널링하는 데 그다지 적합하지 않다.

이상의 내용을 바탕으로, 본 개시내용의 양태들은 컴퓨터 시스템 상에서 데이터 객체들 사이의 시맨틱 관계(semantic relationship)들을 생성하고 유지하는 것에 관한 것이다. 이하는 본 개시내용의 일부 양태들에 대한 기본적인 이해를 제공하기 위해 본 개시내용의 간략화된 요약을 제공한다. 이 요약은 본 개시내용의 전반적인 개요가 아니다. 이는 본 개시내용의 핵심적인 또는 아주 중요한 요소들을 확인하는 것으로 의도되어 있지 않다. 이하의 요약은 본 개시내용의 일부 양태들을 이하에서 제공되는 보다 상세한 설명에 대한 서문으로서 단순화된 형태로 제공하는 것에 불과하다.

본 개시내용은, HDR 픽처로부터 획득되는 LDR 픽처를 표현하는 비트스트림에서, 출력 LDR 포맷을 나타내는, 상기 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷과, 출력 HDR 포맷을 나타내는, 상기 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷 둘 다를 시그널링하는 방법으로서, 출력 LDR 포맷을 정의하는 제1 구문 요소를 비트스트림에 인코딩하는 단계를 포함하는 방법에 의해서 종래 기술의 단점들 중 일부를 해결하려고 한다. 본 방법은 제1 구문 요소와 상이하고 출력 HDR 포맷을 정의하는 제2 구문 요소를 비트스트림에 인코딩하는 단계를 추가로 포함하는 것을 특징으로 한다.

본 개시내용은 또한 인코딩/디코딩 방법/디바이스, 컴퓨터 프로그램 제품, 프로세서 판독가능 매체, 비일시적 저장 매체 및 신호에 관한 것이다.

본 개시내용의 특정의 특성은 물론, 본 개시내용의 다른 목적들, 장점들, 특징들 및 용도들이 첨부 도면들과 관련하여 작성되는 실시예들의 이하의 설명으로부터 명백하게 될 것이다.

도면들에, 본 발명의 실시예가 예시된다.
도 1은 본 개시내용의 일 실시예에 따른, HDR 픽처(I)를 비트스트림(F1)에 인코딩하는 방법 - LDR 픽처와 조명 픽처는 상기 HDR 픽처로부터 획득됨 - 의 단계들의 블록도를 도시하고;
도 2는 본 개시내용의 일 실시예에 따른, LDR 픽처와 조명 픽처를 표현하는 비트스트림으로부터 HDR 픽처 또는 LDR 픽처를 디코딩하는 방법의 블록도를 도시하고;
도 3은 본 개시내용의 일 실시예에 따른, HEVC 권고안에 부합하는 구문을 갖는 출력 LDR 포맷을 표현하는 VUI 메시지의 예를 도시하고;
도 4는 새로운 SEI 메시지의 존재를 시그널링하기 위한 HEVC 규격의 상위 레벨 구문의 변화들을 도시하고;
도 5는 본 개시내용의 일 실시예에 따른, 출력 HDR 포맷을 표현하는 SEI 메시지의 예를 도시하고;
도 5a는 도 5에서의 SEI 메시지의 변형을 도시하고;
도 6은 조명 픽처의 데이터를 내장(embed)하기 위해 사용되는 부가 SEI 메시지의 예를 도시하고;
도 7은 도 5에 도시된 HDR 출력 포맷을 표현하는 SEI 메시지의 구문의 변형의 예를 도시하고;
도 8은 본 개시내용의 일 실시예에 따른, 둘 다 HDR 픽처로부터 획득되는 LDR 픽처와 조명 픽처를 인코딩하기 위한 단계(11)의 서브단계들의 블록도를 도시하고;
도 9는 본 개시내용의 일 실시예에 따른, LDR 픽처와 조명 픽처를 표현하는 비트스트림을 디코딩하기 위한 단계(21)의 서브단계들의 블록도를 도시하고;
도 10은 본 개시내용의 일 실시예에 따른, 프레임 패킹 배열(frame-packing arrangement)에 관한 SEI 메시지의 구문의 예를 도시하고;
도 11은 도 10의 플래그　"content_interpretation_type"의 해석이 주어져 있는 표를 도시하고;
도 12는 도 10의 플래그　"frame_packing_arrangement_type"의 해석이 주어져 있는 표를 도시하고;
도 13은 본 개시내용의 일 실시예에 따른, 프레임 패킹 배열 방식의 예를 도시하고;
도 14는 본 개시내용의 일 실시예에 따른, 프레임 패킹 배열 방식의 예를 도시하고;
도 15는 본 개시내용의 일 실시예의 변형에 따른, 프레임 패킹 배열 방식의 예를 도시하고;
도 16은 본 개시내용의 일 실시예에 따른, 단계(10)의 서브단계들의 블록도를 도시하고;
도 17은 본 발명의 일 실시예에 따른, 단계(162)의 서브단계들의 블록도를 도시하고;
도 18은 본 발명의 일 실시예에 따른, 단계(162)의 서브단계들의 블록도를 도시하고;
도 19는 본 발명의 일 실시예에 따른, 단계(162)의 서브단계들의 블록도를 도시하고;
도 20은 도 1에 기술된 바와 같은 방법의 변형에 따른 방법의 단계들의 블록도를 도시하고;　
도 21은 도 2에 기술된 바와 같은 방법의 변형에 따른 방법의 단계들의 블록도를 도시하고;
도 22 및 도 23은 본 개시내용의 일 실시예에 따른, 출력 LDR 포맷을 표현하는 SEI 메시지의 일 예와 출력 HDR 포맷을 표현하는 VUI 메시지의 예를 도시하고;
도 24는 본 개시내용의 일 실시예에 따른, 디바이스의 아키텍처의 예를 도시하고;
도 25는 본 개시내용의 일 실시예에 따른, 2개의 원격 디바이스가 통신 네트워크를 통해 통신하는 것을 도시한다.
유사하거나 동일한 요소들이 동일한 참조 번호들로 참조된다.

본 개시내용의 실시예들이 도시되어 있는 첨부 도면들을 참조하여 이후부터 본 개시내용이 보다 상세히 기술될 것이다. 그렇지만, 본 개시내용이 많은 대안의 형태들로 구현될 수 있고, 본원에 기재된 실시예들로 제한되는 것으로 해석되어서는 안된다. 그에 따라, 본 개시내용에 대한 다양한 수정들 및 대안의 형태들이 있을 수 있지만, 그의 특정 실시예들이 예로서 도면들에 도시되어 있고 본원에 상세히 기술될 것이다. 그렇지만, 본 개시내용을 개시된 특정의 형태들로 제한하려는 의도는 없으며, 그와 달리, 본 개시내용이 청구항들에 의해 한정되는 바와 같은 본 개시내용의 사상 및 범주 내에 속하는 모든 수정들, 등가물들, 및 대안들을 포함한다는 것을 잘 알 것이다.

본원에서 사용되는 용어가 특정의 실시예들을 설명하기 위한 것에 불과하고 본 개시내용을 제한하는 것으로 의도되어 있지 않다. 본원에서 사용되는 바와 같이, 단수 형태 "어떤", "한" 및 "그"는, 문맥이 명확하게 달리 나타내지 않는 한, 복수 형태도 포함하는 것으로 의도되어 있다. 또한, 용어 "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", "포함하는(including)"이, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들이 존재함을 명시하고 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것을 잘 알 것이다. 더욱이, 한 요소가 다른 요소에 "응답"하거나 "연결"되어 있다고 말해질 때, 한 요소가 다른 요소에 직접 응답하거나 연결되어 있을 수 있거나 중간 요소들이 존재할 수 있다. 이와 달리, 한 요소가 다른 요소에 "직접 응답"하거나 "직접 연결"되어 있다고 말해질 때, 중간 요소들이 존재하지 않는다. 본원에서 사용되는 바와 같이, "및/또는"이라는 용어는 연관된 열거된 항목들 중 하나 이상의 항목들의 모든 조합을 포함하고, "/"로 줄여쓸 수 있다.

비록 용어들 "제1", "제2" 등이 본원에서 다양한 요소들을 기술하는 데 사용될 수 있지만, 이 요소들이 이 용어들에 의해 제한되어서는 안된다는 것을 잘 알 것이다. 이 용어들은 한 요소를 다른 요소와 구별하기 위해 사용되는 것에 불과하다. 예를 들어, 본 개시내용의 교시를 벗어나지 않고, 제1 요소가 제2 요소라고 지칭될 수 있고, 이와 유사하게, 제2 요소가 제1 요소라고 지칭될 수 있다.

도면들 중 일부가 주된 통신 방향을 나타내기 위해 통신 경로들 상에 화살표들을 포함하고 있지만, 통신이 도시된 화살표들과 반대 방향으로 일어날 수 있다는 것을 잘 알 것이다.

일부 실시예들은 각각의 블록이 명시된 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어들을 포함하는 회로 요소, 모듈, 또는 코드 부분을 나타내는 블록도들 및 동작 플로우차트들과 관련하여 기술된다. 또한, 다른 구현들에서, 블록들에 표시된 기능(들)이 표시된 순서와 달리 일어날 수 있다는 것에 유의해야만 한다. 예를 들어, 관여된 기능에 따라, 연속하여 도시된 2개의 블록들이, 실제로는, 실질적으로 동시에 실행될 수 있거나, 블록들이 때때로 정반대 순서로 실행될 수 있다.

본원에서 "일 실시예(one embodiment)" 또는 "일 실시예(an embodiment)"라고 언급하는 것은 그 실시예와 관련하여 기술된 특정의 특징, 구조, 또는 특성이 본 개시내용의 적어도 하나의 구현에 포함될 수 있다는 것을 의미한다. 본 명세서의 다양한 곳들에서 나오는 "일 실시예에서" 또는 "일 실시예에 따르면"이라는 문구는 모두가 꼭 동일한 실시예를 지칭하는 것이 아니며 다른 실시예들과 꼭 상호 배타적인 별도의 또는 대안의 실시예들도 아니다.

청구항들에 나오는 참조 번호들은 예시에 불과하고, 청구항들의 범주를 제한하는 효과를 갖지 않는다.

명시적으로 기술되어 있지는 않지만, 본 실시예들 및 변형들이 임의의 컴비네이션 또는 서브컴비네이션으로 이용될 수 있다.

이하에서 기술되는 방법들은 HDR 픽처를 인코딩하는 데 적합하게 되어 있지만, HDR 픽처들의 시퀀스(비디오)를 인코딩하도록 확장될 수 있는데, 그 이유는 시퀀스의 픽처들이 서로 독립적으로 인코딩되기 때문이다.

일반적으로 말하면, 본 개시내용은 출력 LDR 포맷이라고 불리우는, HDR 픽처로부터 획득된 LDR 픽처(RF)의 디코딩된 버전의 픽처/비디오 포맷과 출력 HDR 포맷이라고 불리우는, 상기 원래의 HDR 픽처(I)의 디코딩된 버전의 픽처/비디오 포맷 둘 다를, 비트스트림에서, 시그널링하는 방법에 관한 것이다.

본 방법은 출력 LDR 포맷을 정의하는 제1 구문 요소 및 제1 구문 요소와 상이하고 출력 HDR 포맷을 정의하는 제2 구문 요소를 비트스트림에 인코딩하는 단계를 포함한다.

도 1은 본 개시내용의 일 실시예에 따른, HDR 픽처(I)를 비트스트림(F1)에 인코딩하는 방법 - LDR 픽처와 조명 픽처는 상기 HDR 픽처로부터 획득됨 - 의 단계들의 블록도를 나타내고 있다.

본 방법은 출력 LDR 포맷을 정의하는 제1 구문 요소(SE1) 및 제1 구문 요소(SE1)와 상이하고 출력 HDR 포맷을 정의하는 제2 구문 요소(SE2)를, 비트스트림(F2)에, 인코딩(단계(12))하도록 구성되어 있는 모듈(FENC)을 포함한다.

이는 인코딩될 입력 HDR 픽처로부터 LDR 픽처와 조명 픽처(IF)를 결정하는 널리 공지된 방법들이다. ("High Dynamic Range video coding", JCTVC-P0159, San Jose, US, 9-17 Jan. 2014.)

예를 들어, 조명 픽처(IF)는 입력 HDR 픽처(I)의 각각의 샘플에 대한 조명 값들의 삼중항(triplet)을 포함할 수 있고, 삼중항의 각각의 값은 샘플의 색 성분 값에 대한 조명 값이다. 조명 픽처(IF)는 형상 함수(shape function)들의 가중 선형 결합 또는 HDR 픽처(I)의 루미넌스 성분의 저주파수 버전에 의해 표현될 수 있지만, 본 개시내용이 인코딩될 HDR 픽처(I)에 대한 조명 픽처(IF)를 획득하거나 표현하기 위한 임의의 특정 수단으로 제한되지 않는다.

LDR 픽처(RF)는 보통 HDR 픽처 및 조명 픽처(IF)로부터 획득된 잔차 픽처이다. 보통, 잔차 픽처는 HDR 픽처(I)를 조명 픽처(IF)로 나누는 것에 의해 획득된다.

단계(10)에서, 스플리터(splitter)(SPLM)는 LDR 픽처(RF)와 조명 픽처(IF)를 획득하도록 구성되어 있다.

일 실시예에 따르면, 모듈(SPLM)은 로컬/원격 메모리로부터 및/또는 통신 네트워크로부터 LDR 픽처(RF) 또는 조명 픽처(IF) 중 어느 하나 또는 둘 다를 획득하도록 구성된다.

일 실시예에 따르면, 모듈(SPLM)은 HDR 픽처(I)를 LDR 픽처(RF)와 조명 픽처(IF)로 분할하도록 구성되어 있다.

단계(11)에서, LDR 픽처와 조명 픽처(또는 대안적으로 조명 픽처(IF)를 표현하는 조명 데이터)는 인코더(ENC)에 의해 인코딩된다.

일 변형에 따르면, 모듈(FENC)은 인코더(ENC)에 의해 사용되는 일부 파라미터들(Param)을 인코딩하도록 추가로 구성된다.

일 실시예에 따르면, 파라미터들(Param)은 비트스트림(F2)에 인코딩된다.

일 실시예에 따르면, 적어도 일부 파라미터들(Param) 및 비트스트림(F1)(및/또는 어쩌면 F2)이 비동기적으로 전송된다.

파라미터들(Param) 중 일부는 이하에서 상세히 설명될 것이다.

도 2는 본 개시내용의 일 실시예에 따른, LDR 픽처와 조명 픽처를 표현하는 비트스트림으로부터 HDR 픽처 또는 LDR 픽처를 디코딩하는 방법의 블록도를 나타내고 있다.

단계(20)에서, 모듈(FDEC)은 비트스트림(F2)을 적어도 부분적으로 디코딩하는 것에 의해 출력 LDR 포맷을 정의하는 제1 구문 요소(SE1)와 출력 HDR 포맷을 정의하는 제2 구문 요소(SE2)를 획득하도록 구성된다.

일 변형에 따르면, 모듈(FDEC)은 로컬 메모리로부터 또는 비트스트림(F2)을 적어도 부분적으로 디코딩하는 것에 의해 일부 파라미터들(Param)을 획득하도록 추가로 구성된다.

일 변형에 따르면, 적어도 일부 파라미터들(Param) 및 비트스트림(F1)(및/또는 어쩌면 F2)이 비동기적으로 수신된다.

단계(21)에서, 디코더(DEC)는 비트스트림(F1)을 적어도 부분적으로 디코딩하는 것에 의해 LDR 픽처(RF)의 디코딩된 버전(

) 및 조명 픽처(IF)의 디코딩된 버전(

)을 획득하도록 구성된다.

단계(21)의 일 실시예에 따르면, 조명 픽처(IF)의 디코딩된 버전(

)은 조명 데이터로부터 획득될 수 있다.

변형들에 따르면, LDR 픽처(RF)의 디코딩된 버전(

) 및/또는 조명 픽처(IF)의 디코딩된 버전(

)은 로컬 메모리로부터 획득된다.

일 변형에 따르면, LDR 픽처(RF)의 디코딩된 버전(

)은 일부 파라미터들(Param)에 따라 추가로 획득된다.

LDR 픽처(RF)의 디코딩된 버전(

)은 제1 구문 요소(SE1)의 출력 LDR 포맷에 의해 정의되는 포맷을 갖는다.

단계(22)에서, 모듈(ISPLM)은 LDR 픽처(RF)의 디코딩된 버전(

) 및 조명 픽처(IF)의 디코딩된 버전(

)으로부터 HDR 픽처(I)의 디코딩된 버전(

)을 획득하도록 구성된다.

HDR 픽처(I)의 디코딩된 버전(

)은 제2 구문 요소(SE2)의 출력 HDR 포맷에 의해 정의되는 포맷을 갖는다.

일 변형에 따르면, HDR 픽처(I)의 디코딩된 버전(

)은 일부 파라미터들(Param)에 따라 획득된다.

본 방법의 제1 실시예에 따르면, 제1 구문 요소(SE1)는, 예를 들어, "vui-parameter()"라고 불리우는 VUI(Video Usability Information) 메시지이고, 제2 구문 요소(SE2)는, 예를 들어, "dual-modulation-info()"라고 불리우는 SEI(Supplemental Enhancement Information) 메시지이다.

도 3은 본 개시내용의 일 실시예에 따른, HEVC 권고안에 부합하는 구문을 갖는 출력 LDR 포맷을 표현하는 VUI 메시지 "vui-parameter()"의 일 예를 나타내고 있다.

VUI 메시지는, 출력 LDR 포맷을 실제로 정의하는, 태그들을 포함한다:

- video_format은 LDR 픽처의 포맷(예컨대, PAL 또는 SECAM)을 나타낸다;

- video_full_range_flag는 LDR 픽처가 코딩된 값들의 전체 이용가능 범위를 차지하는지 여부를 나타낸다;

- colour_description_present_flag가 1인 플래그라는 것은 디스플레이가 색상들을 정확하게 렌더링할 수 있게 하기 위해 3개의 요소 colour_primaries, transfer_characteristics 및 matrix_coeffs가 사용되어야 하는지를 나타낸다.

- colour_primaries는 소스 원색들의 색도 좌표들를 나타낸다;

- transfer_characteristics는 LDR 픽처의 광전자 전달 특성을 나타낸다;

- matrix_coeffs는 녹색 원색, 청색 원색, 및 적색 원색으로부터 루마 성분 및 크로마 성분을 도출하는 데 사용되는 행렬 계수들을 나타낸다.

도 5는 본 개시내용의 일 실시예에 따른, 출력 HDR 포맷을 표현하는 SEI 메시지 "dual-modulation-info()"의 일 예를 나타내고 있다.

SEI 메시지 "dual-modulation-info()"는 HDR 픽처(I)의 디코딩된 버전(

)의 출력 HDR 포맷에 관한 정보를 제공한다.

- modulation_channel_cancel_flag = 1은 SEI 메시지 "dual-modulation-info()"가 출력 순서에서 임의의 이전의 SEI 메시지 "dual-modulation-info()"의 지속성을 취소시킨다는 것을 나타낸다.

- modulation_channel_cancel_flag = 0은 조명 픽처 정보가 뒤따른다는 것을 나타낸다.

- modulation_channel_target_sample_format은 HDR 픽처(I)의 디코딩된 버전(

)의 루마 및 크로마 샘플 어레이들의 샘플들의 포맷을 명시한다.

일 실시예에 따르면, 태그 modulation_channel_target_sample_format = 0은 샘플들이 정수 포맷으로 되어 있다는 것을 나타낸다. modulation_channel_target_sample_format의 0보다 큰 값들은 ITU-T | ISO/IEC에 의해 장래의 사용을 위해 예비되어 있다. 존재하지 않을 때, modulation_channel_target_sample_format의 값은 0인 것으로 추론된다.

일 실시예에 따르면, 태그 modulation_channel_target_sample_format =1은 16-비트 half-float 포맷을 지원한다.

일 실시예에 따르면, 태그 modulation_channel_target_sample_format = 2는 32-비트 full-float 포맷을 지원한다.

- modulation_channel_target_bit_chroma_format_idc가, CVS(Coded Video Sequence)를 위해 사용되는 크로마 포맷보다는, HDR 픽처(I)의 디코딩된 버전(

)의 크로마 포맷을 명시한다는 것을 제외하고는, modulation_channel_target_bit_chroma_format_idc는 chroma_format_idc 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 7.4.3.2에 명시된 바와 동일한 시맨틱을 가진다.

modulation_channel_target_bit_chroma_format_idc가 SEI 메시지 "dual-modulation-info()"에 존재하지 않을 때, modulation_channel_target_bit_chroma_format_idc의 값은 (LDR 픽처와 관련되어 있는) chroma_format_idc인 것으로 추론된다.

- modulation_channel_target_bit_depth_luma_minus8 + 8은 HDR 픽처(I)의 디코딩된 버전(

)의 루마 샘플 어레이의 샘플들의 비트 깊이를 명시한다.

태그 modulation_channel_target_bit_depth_luma_minus8은 0부터 8(경계 포함)까지의 범위에 있어야 한다. modulation_channel_target_bit_depth_luma_minus8이 SEI 메시지 "dual-modulation-info()"에 존재하지 않을 때, modulation_channel_target_bit_depth_luma_minus8의 값은 bit_depth_luma_minus8인 것으로 추론된다.

- modulation_channel_target_bit_depth_chroma_minus8 + 8은 HDR 픽처(I)의 디코딩된 버전(

)의 크로마 샘플 어레이들의 샘플들의 비트 깊이를 명시한다.

태그 modulation_channel_target_bit_depth_chroma_minus8은 0부터 8(경계 포함)까지의 범위에 있어야 한다. modulation_channel_target_bit_depth_chroma_minus8이 SEI 메시지 "dual-modulation-info()"에 존재하지 않을 때, modulation_channel_target_bit_depth_chroma_minus8의 값은 bit_depth_chroma_minus8인 것으로 추론된다.

- modulation_channel_target_video_full_range_flag가, CVS를 위해 사용되는 색 공간보다는, HDR 픽처(I)의 디코딩된 버전(

)을 위해 사용되는 색 공간을 명시한다는 것을 제외하고는, modulation_channel_target_video_full_range_flag는 video_full_range_flag 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 E.2.1에 명시된 바와 동일한 시맨틱스를 가진다.

태그 modulation_channel_target_video_full_range_flag가 SEI 메시지 "dual-modulation-info()"에 존재하지 않을 때, modulation_channel_target_video_full_range_flag의 값은 video_full_range_flag인 것으로 추론된다.

- modulation_channel_target_colour_primaries가, CVS를 위해 사용되는 색 공간보다는, HDR 픽처(I)의 디코딩된 버전(

)을 위해 사용되는 색 공간을 명시한다는 것을 제외하고는, modulation_channel_target_colour_primaries는 colour_primaries 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 E.2.1에 명시된 바와 동일한 시맨틱스를 가진다. modulation_channel_target_colour_primaries가 SEI 메시지 "dual-modulation-info()"에 존재하지 않을 때, modulation_channel_target_colour_primaries의 값은 colour_primaries인 것으로 추론된다.

- modulation_channel_target_transfer_characteristics가, CVS를 위해 사용되는 색 공간보다는, HDR 픽처(I)의 디코딩된 버전(

)을 위해 사용되는 색 공간을 명시한다는 것을 제외하고는, modulation_channel_target_transfer_characteristics는 transfer_characteristics 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 E.2.1에 명시된 바와 동일한 시맨틱스를 가진다.

modulation_channel_target_transfer_characteristics가 SEI 메시지 "dual-modulation-info()"에 존재하지 않을 때, modulation_channel_target_transfer_characteristics의 값은 transfer_characteristics인 것으로 추론된다.

- modulation_channel_target_matrix_coeffs가, CVS를 위해 사용되는 색 공간보다는, HDR 픽처(I)의 디코딩된 버전(

)을 위해 사용되는 색 공간을 명시한다는 것을 제외하고는, modulation_channel_target_matrix_coeffs는 matrix_coeffs 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 E.2.1에 명시된 바와 동일한 시맨틱스를 가진다.

modulation_channel_target_matrix_coeffs가 SEI 메시지 "dual-modulation-info()"에 존재하지 않을 때, modulation_channel_target_matrix_coeffs의 값은 matrix_coeffs인 것으로 추론된다.

SEI 메시지 "dual-modulation-info()"는 HDR 픽처(I)의 디코딩된 버전(

)을 획득하기 위해 사용되는 조명 픽처(IF)의 디코딩된 버전(

)을 획득하기 위한 정보를 추가로 제공한다.

- modulation_channel_type은 HDR 픽처(I)의 디코딩된 버전(

)을 발생시키는 데 사용되는 모드를 나타낸다. 태그 modulation_channel_type = 0은, 어쩌면 보조 픽처가 주 코딩된 픽처보다 더 작은 폭 및/또는 높이를 갖는 경우 업샘플링 후에, 조명 픽처(IF)의 디코딩된 버전(

)이 보조 코딩된 픽처의 샘플 값들에 대응한다는 것을 나타낸다. 유의할 점은, 보조 픽처와 주 픽처가 앞서 인용된 HEVC 권고안에 의해 정의된다는 것이다.

도 5에 도시된 일 실시예에 따르면, 태그 modulation_channel_type = 1은 조명 픽처(IF)의 디코딩된 버전(

)이 형상 함수들(이하에서 상세히 설명되는 바와 같이 PSF)의 가중 선형 결합에 의해 표현된다는 것을 나타낸다.

이 경우에, 파라미터들 "modulation_PSF_X_spacing", "modulation_PSF_Y_spacing", "modulation_PSF_width", "modulation_PSF_height", "modulation_PSF_length_ minus1", 및 "modulation_PSF_coefs"는 PSF의 설명에 곤련되어 있다.

modulation_channel_type에 대한 1보다 큰 값들은 ITU-T | ISO/IEC에 의해 장래의 사용을 위해 예비되어 있다. 존재하지 않을 때, modulation_channel_type의 값은 0인 것으로 추론된다.

일 실시예에 따르면, 조명 픽처(IF)의 디코딩된 버전(

)을 획득하기 위해 PSF에 적용되는 가중 계수들이 HEVC 권고안에 부합하는 구문을 갖는 보조 픽처에 내장된다.

도 6에 예시된 일 실시예에 따르면, SEI 메시지 "dual_modulation_info()"에 부가하여, 부가의 SEI 메시지 "modulation_channel_info()"가 명시된다.

조명 픽처(IF)의 디코딩된 버전(

)을 획득하기 위해 PSF에 적용되는 가중 계수들이 SEI 메시지 "modulation_channel_info()"에 내장(코딩)된다.

- modulation_channel_width는 제1 색 성분(예를 들면, 루마 성분 또는 Y 성분일 수 있음)의 가중 계수 행렬의 라인(line)당 샘플들의 수에 대응한다.

- modulation_channel_height는 제1 색 성분(예를 들면, 루마 성분 또는 Y 성분일 수 있음)의 가중 계수 행렬의 열(column)당 샘플들의 수에 대응한다.

- modulation_channel_width_CbCr은 제2 및/또는 제3 색 성분(예를 들면, 크로마 성분, 또는 X 또는 Z 성분일 수 있음)의 가중 계수 행렬의 라인당 샘플들의 수에 대응한다.

- modulation_channel_height_CbCr은 제2 및/또는 제3 색 성분(예를 들면, 크로마 성분, 또는 X 또는 Z 성분일 수 있음)의 가중 계수 행렬의 열당 샘플들의 수에 대응한다.

- modulation_channel_sample[c][cy][cx]는 가중 계수 행렬들에서 수평 위치 cx 및 수직 위치 cy에 있는 색 성분 c의 샘플의 샘플 값이다.

SEI 메시지 "dual-modulation-info()"는 LDR 픽처(RF)의 디코딩된 버전을 조명 픽처(IF)의 디코딩된 버전과 곱하기 전에 LDR 픽처(RF)의 디코딩된 버전에 적용되도록 의도되는 후처리의 파라미터들에 관한 정보를 추가로 제공한다.

- "modulation_Idr_mapping_type"은 LDR 픽처(RF)의 디코딩된 버전(

)에 적용될 프로세스의 유형에 관련되어 있다. 이 태그는 LDR 픽처가 Lab 색 공간에서 또는 YCbCr(또는 Yuv) 색 공간에서 표현되는지를 나타낸다.

일 변형에 따르면, LDR 픽처가 YCbCr 색 공간에서 표현될 때, 일부 부가의 파라미터들("modulation_slog_a0", "modulation_slog_b0", "modulation_slog_c0", "modulation_scaling_factor", "modulation_RGB_factor")이 도 5에서의 SEI 메시지 "dual_modulation_info()"에 내장된다. 이 파라미터들은 곱하기 이전에 LDR 픽처(RF)의 디코딩된 버전(

)에 적용되도록 의도되는 후처리에 의해 사용된다.

이 변형에 대한 대안에 따르면, 부가의 파라미터들을 SEI 메시지에 인코딩하기보다는, 후처리가 개개의 샘플 값들에 대한 단사 연산(injective operation)들을 수반할 때 그리고 그 연속적인 동작들이 하나의 단일 동작으로 연결(concatenate)될 수 있을 때 룩업 테이블들이 SEI 메시지에 내장된다.

예를 들어, 각각의 샘플 값에 대해, 다음과 같은 간단한 수학적 연산들의 캐스케이딩(cascading)이 있고:

여기서 S, a0, b0, 0, RGB_factor는 전형적으로 이전의 변형들에 따른 SEI 메시지에 내장된 파라미터들이다.

- modulation_channel_LUT0_size는 어레이 modulation_channel_LUT0_coefs의 크기를 나타낸다.

- modulation_channel_LUT0_coefs는 조명 픽처의 제1 성분 어레이의 샘플들에 적용되는, 크기 modulation_channel_LUTO_size의 어레이에 대응한다.

- modulation_channel_LUT1_size는 어레이 modulation_channel_LUT1_coefs의 크기를 나타낸다.

- modulation_channel_LUT1_coefs는 조명 픽처의 적어도 제2 성분 어레이의 샘플들에 적용되는, 크기 modulation_channel_LUT1_size의 어레이에 대응한다.

- modulation_LDR_LUT0_size는 어레이 modulation_LDR_LUT0_coefs의 크기를 나타낸다.

- modulation_LDR_LUT0_coefs는 LDR 픽처의 제1 성분 어레이의 샘플들에 적용되는, 크기 modulation_LDR_LUT0_size의 어레이에 대응한다.

- modulation_LDR_LUT1_size는 어레이 modulation_LDR_LUT1_coefs의 크기를 나타낸다.

- modulation_LDR_LUT1_coefs는 LDR 픽처의 적어도 제2 성분 어레이의 샘플들에 적용되는, 크기 modulation_LDR_LUT1_size의 어레이에 대응한다.

이 대안의 변형은 파라미터들(예를 들어, "modulation_slog_a0", "modulation_slog_b0", "modulation_slog_c0", "modulation_scaling_factor", "modulation_RGB_factor")로부터 룩업 테이블들을 작성하기 위해, 샘플 값들을 후처리하기 전에, 이 파라미터들을 SEI 메시지에 인코딩하는 것이다.

본 방법의 일 변형에 따르면, 비트스트림이 픽처들의 시퀀스를 표현할 때, 가중 계수 행렬들이 각각의 픽처에 대한 비트스트림에 인코딩될 수 있고, 제1 및 제2 구문 요소들은 변하지 않은 채로 있을 수 있다.

일 변형에 따르면, LDR 픽처에 대한 Lab 색 공간(여기서 modulation_Idr_mapping_type = 0에 대응함, 도 5)이 사용될 때, LDR 픽처(RF)의 디코딩된 버전(

)이, 처리되지 않고는 디스플레이 또는 렌더링 디바이스에 의해 직접 해석될 수 없다는 것을 나타내기 위해 VUI 메시지(도 3)에서의 일부 파라미터들이 'Unspecified'에 대응하는 값으로 고정되어야만 한다.

- colour_primaries = 2 (Unspecified)

- transfer_characteristics = 2 (Unspecified)

- matrix_coeffs = 2 (Unspecified).

조명 픽처(IF)가 도 6에 도시된 바와 같이 부가의 SEI 메시지 "modulation_channel_Info"에서 시그널링될 때, 조명 픽처의 재구성을 위해 로컬화된 PSF들에 적용될 가중 계수들의 작은 어레이의 시그널링에 대응하는 변조 모드만을 가능하게 하는 것에 의해 SEI 메시지 "dual-modulation-info()"가 단순화될 수 있다. 실제로 이 변형은, 조명 픽처의 보통의 샘플 수(예컨대, HD 픽처에 대한 수백 내지 수천개의 샘플들)와 비교하여, SEI 메시지 내의 코딩된 값들(샘플들)의 수를 상당히 감소시키는 것을 가능하게 한다. 이것은 따라서 감소된 크기로 유지되어야 하는 SEI 메시지의 개념에 보다 적합하게 된다. 그러나 단순화가, 프레임 패킹 또는 부가의 SEI 메시지인, 조명 픽처의 임의의 유형의 시그널링에도 적용될 수 있다.

도 7은 도 5에 도시된 HDR 출력 포맷을 표현하는 단순화된 SEI 메시지의 일 예를 나타내고 있다.

HEVC 권고안에 따르면, 임의의 SEI 메시지의 페이로드가 비트스트림에 표시되어야 한다.

도 4는 "SEI_payload"라고 불리우는 구문 구조 내로의 SEI 메시지 시그널링의 일 예를 나타내고 있다. 이는 도 5(또는 도 7)와 관련하여 기술된 특정 SEI 메시지를 비트스트림(F2)에서 시그널링하기 위해 사용된다. SEI 페이로드 "sei-payload()"는, SEI 메시지 "dual-modulation-info()"를 시그널링하기 위해 추가된 굵은 체로 된 텍스트를 제외하고는, HEVC 권고안에 부합하는 구문을 갖는다. 유의할 점은, "XXX"가 HEVC 권고안에서 이미 사용된 값들에 기초하여 정의될 고정된 주어진 값이라는 것이다.

도 8은 본 개시내용의 일 실시예에 따른, LDR 픽처와 조명 픽처(IF)를 인코딩하기 위한 단계(11)의 서브단계들의 블록도를 나타내고 있다.

도 8과 관련하여 이하에서 기술되는 실시예들의 일 변형에 따르면, LDR 픽처(RF)의 디코딩된 버전(

)을 HDR 픽처(I)로부터 차감하는 것에 의해 제2 잔차 픽처가 획득된다. 이 제2 잔차 픽처는 이하에서 제2 LDR 픽처라고도 불리운다. 이 제2 잔차 픽처는 HDR 픽처(I)를 LDR 픽처(RF)로 나누는 것에 의해 획득될 수 있다. 제2 잔차 픽처는 이어서 HDR 픽처(I)와 LDR 픽처(RF) 사이의 비 잔차 정보(ratio residual information)를 이룬다.

서브단계(80)에서, 모듈(PACKM)은 특정 프레임 패킹 배열 방식(FPAS)에 따라 LDR 픽처(RF)와 조명 픽처(IF)(그리고 어쩌면 제2 잔차 픽처와 같은 적어도 다른 픽처)를 단일 프레임(SF)에 패킹하도록 구성된다.

이하에서, LDR 픽처와 조명 픽처의 경우만이 개시되어 있지만, 이하의 개시내용을 2개 초과의 픽처들을 단일 프레임(SF)에 패킹하는 것으로 확장하는 것은 명백하다.

서브단계(81)에서, 인코더(VENC)는 프레임(SF)을 비트스트림(F1) 내에 인코딩한다.

일 실시예에 따르면, 단일 프레임(SF)은 특정 프레임 패킹 배열 방식에 의존하는 인코딩 파라미터들에 따라 인코딩된다. 이 파라미터들은 일부 파라미터들(Param)인 것으로 간주될 수 있다.

이 실시예의 일 변형에 따르면, 단일 프레임이 2개의 개별적인 슬라이스들 - 하나는 LDR 픽처(RF)를 포함하고 다른 하나는 조명 픽처(IF)를 포함함 - 로 인코딩되도록 인코딩 파라미터들이 정의된다. 이 슬라이스들은 또한, 이용되는 표준 인코딩 방식(H.264/AVC, HEVC, JPEG2000)에 따라, 슬라이스 그룹들, 타일들, 타일 그룹들, 구역(precinct)들 형태를 취할 수 있다.

이 변형이 유리한데, 그 이유는, 특정 인코딩과 같은 특정 처리가 LDR 픽처(RF)(각각 조명 픽처(IF))가 아니라 조명 픽처(IF)(각각 LDR 픽처(RF))에 적용되는 것을 가능하게 하기 때문이다.

비트스트림(F1)은 이와 같이 2개의 개별적인 패킹된 구성 픽처들: LDR 픽처(RF)와 조명 픽처(IF)의 샘플들을 포함하는 프레임(SF)을 포함한다.

서브단계(82)에서, 모듈(IDM)은 프레임(SF)이 특정 프레임 패킹 배열 방식(FPAS)에 따라 적어도 2개의 개별적인 패킹된 구성 픽처들의 샘플들을 포함한다는 것을 나타내는 정보 데이터(ID)를 처리한다.

정보 데이터(ID)는 적어도 하나의 플래그를 포함하고, 일부 파라미터들(Param)일 수 있다.

모듈(IDM)은 정보 데이터(ID)가 적어도 2개의 개별적인 패킹된 구성 픽처들 중 하나가 LDR 픽처(RF)에 대응하고 적어도 2개의 개별적인 패킹된 구성 픽처들 중 다른 것이 상기 LDR 픽처(RF)와 연관된 조명 픽처(IF)에 대응한다는 것을 나타낸다는 것을 명시하도록 추가로 구성된다.

일 실시예에 따르면, 정보 데이터(ID)는 적어도 2개의 개별적인 패킹된 구성 픽처들 중 다른 것이, 예를 들어, 제2 잔차 픽처, 즉 LDR 픽처의 인코딩된/디코딩된 버전을 LDR 픽처로부터 차감하는 것에 의해 획득된 잔차 픽처와 같은 다른 픽처에 대응한다는 것을 추가로 나타낸다.

일 실시예에 따르면, 정보 데이터(ID)는 특정 프레임 패킹 배열 방식을 식별해준다. 이어서, 인코딩 파라미터들이 특정 프레임 패킹 배열 방식에 의해 제약될 수 있다.

서브단계(82)의 일 실시예에 따르면, 모듈(IDM)은 정보 데이터(ID)가 LDR 픽처와 조명 픽처가 동일한 크기를 갖지 않고(동일한 수의 행들 또는 동일한 수의 열들 또는 둘 다를 갖지 않음) 그리고/또는 프레임(SF)에서 특정 위치들을 갖지 않는다는 것을 나타낸다는 것을 정의하도록 추가로 구성된다.

서브단계(82)의 일 실시예에 따르면, 모듈(IDM)은 정보 데이터(ID)가 LDR 픽처의 크기(행들의 수 및 열들의 수) 및/또는 위치 및/또는 조명 픽처의 크기 및/또는 위치를 나타낸다는 것을 정의하도록 추가로 구성된다.

서브단계(82)의 일 실시예에 따르면, 특정 프레임 패킹 배열 방식은 LDR 픽처 및/또는 조명 픽처 중 어느 하나가 몇 개의 단편들로 분할된다는 것을 나타내고, 모듈(IDM)은 그러면 프레임(SF)에서의 각각의 단편의 위치를 나타내기 위해 적어도 하나의 파라미터를, 정보 데이터(ID)에, 추가하도록 구성된다.

일 실시예에 따르면, 특정 프레임 패킹 배열 방식(FPAS)과, 어쩌면 상대적 인코딩(relative encoding) 파라미터들이 일부 파라미터들(Param)이다.

본 개시내용의 일 실시예에 따르면, 정보 데이터(ID)는 로컬 또는 원격 메모리에 저장되고 그리고/또는 통신 인터페이스를 통해(예컨대, 버스로 또는 통신 네트워크 또는 브로드캐스트 네트워크를 거쳐) 전송될 수 있다.

본 개시내용의 일 실시예에 따르면, 비트스트림(F1) 및 정보 데이터(ID)는 상이한 통신 인터페이스를 거쳐(상이한 버스로 또는 상이한 통신 네트워크 또는 브로드캐스트 네트워크를 거쳐) 전송된다.

본 개시내용의 일 실시예에 따르면, 정보 데이터 및 비트스트림(F1)은 비동기 방식으로 전송된다.

도 9는 본 개시내용의 일 실시예에 따른, LDR 픽처와 조명 픽처를 표현하는 비트스트림을 디코딩하기 위한 단계(21)의 서브단계들의 블록도를 나타내고 있다.

서브단계(90)에서, 디코더(VDEC)는 비트스트림(F1)을 적어도 부분적으로 디코딩하는 것에 의해 디코딩된 프레임(SF)을 획득한다.

서브단계(81)에서, 모듈(IDD)은 정보 데이터(ID)를, 어쩌면 파라미터들(Param) 및/또는 로컬/원격 메모리로부터, 획득한다. 정보 데이터(ID)는 디코딩된 프레임(SF)이 특정 프레임 패킹 배열 방식(FPAS)에 따라 적어도 2개의 개별적인 패킹된 구성 픽처들의 샘플들을 포함한다는 것을 나타낸다.

일 실시예에 따르면, 특정 프레임 패킹 배열 방식(FPAS)은 정보 데이터(ID)에 의해 정의되거나 메모리로부터 획득된다.

서브단계(82)에서, 모듈(CH)은 정보 데이터(ID)가 적어도 2개의 개별적인 패킹된 구성 픽처들 중 하나가 LDR 픽처에 대응하고 적어도 2개의 개별적인 패킹된 구성 픽처들 중 다른 것이 조명 픽처에 대응한다는 것을 나타내는지를 검사한다.

정보 데이터가 적어도 하나의 개별적인 패킹된 구성 픽처들 중 하나가 LDR 픽처에 대응하고 적어도 하나의 개별적인 패킹된 구성 픽처들 중 다른 것이 조명 픽처에 대응한다는 것을 나타낼 때, 서브단계(83)에서, 모듈(UPACKM)은 특정 프레임 패킹 배열 방식(FPAS)에 따라 LDR 픽처와 조명 픽처 둘 다를, 디코딩된 단일 프레임(SF)으로부터, 획득한다.

LDR 픽처와 조명 픽처는 이어서, 예를 들어, 정보 데이터(ID)에 의해 정의된 바와 같은 방법에 따라, 예를 들어, HDR 픽처를 획득하기 위해 사용된다.

일 실시예에 따르면, 디코딩된 픽처는 특정 프레임 패킹 배열 방식(FPAS)에 의존하는 디코딩 파라미터들에 따라 디코딩된다.

본 개시내용의 일 실시예에 따르면, 정보 데이터는 SEI 메시지(Supplementary Enhancement Information message)이다.

도 10은 본 개시내용의 일 실시예에 따른, 프레임 패킹 배열에 관한 이러한 SEI 메시지의 구문의 일 예를 나타내고 있다.

SEI 메시지의 구문은 앞서 인용된 H.264 권고안에 의해 정의된 바와 같은 프레임 패킹 배열 SEI 메시지의 구문의 확장이다. 확장 대신에, 기존의 것에 부가하여, 새로운 프레임 패킹 배열 SEI 메시지가 또한 특히 HDR 픽처 디코딩 프로세스를 위해 정의될 수 있다. 다수의 상이한 SEI 메시지들을 피하기 위해, 프레임 패킹 SEI 메시지는 또한 출력 HDR 포맷에 그리고 LDR 픽처(RF)의 디코딩된 버전(

) 및 조명 픽처(IF)의 디코딩된 버전(

)으로부터 HDR 픽처(I)의 디코딩된 버전(

)을 발생시키는 모듈(ISPLM)에 관련된 파라미터들을 포함할 수 있다. 이 새로운 프레임 패킹 SEI 메시지는 따라서 프레임 패킹에 관련된 파라미터들과 도 5 또는 도 7에서 언급된 파라미터들을 병합할 것이다.

간략히 말하면, 프레임 패킹 배열 SEI 메시지는 출력 디코딩된 픽처가 표시된 프레임 패킹 배열 방식을 사용하여 다수의 개별적인 공간적으로 패킹된 구성 픽처들의 샘플들을 포함한다는 것을 디코더에 통보한다. 이 정보는 샘플들을 적절히 재배열하고 구성 픽처들의 샘플들을 디스플레이하는 것 또는 다른 목적들을 위해 적절히 처리하기 위해 디코더에 의해 사용될 수 있다.

도 10에서의 SEI 메시지의 구문은 인용된 H.264 권고안의 섹션 D.1.25의 표에 의해(그리고 또한 HEVC 권고안에 의해) 주어진 구문과 유사하다.

도 11은 도 10의 플래그　"content_interpretation_type"의 해석이 주어져 있는 표를 나타내고 있다.

태그 "content_interpretation_type"은 인용된 ITU-T 권고안 H.264(표 D-10)에 정의된 바와 같은 3개의 값들(0-2)일 수 있다.

본 개시내용의 일 실시예에 따르면, 이 태그는 또한 적어도 2개의 개별적인 패킹된 구성 픽처들 중 하나가 LDR 픽처에 대응하고 적어도 2개의 개별적인 패킹된 구성 픽처들 중 다른 것이 상기 LDR 픽처와 연관된 HDR 조명 픽처에 대응한다는 것을 나타내는 특정 값(여기서 3)일 수 있다.

일 변형에 따르면, 태그 "content_interpretation_type"의 이 특정 값은, 예를 들어, 디코딩된 LDR 픽처 및 조명 픽처로부터 HDR 픽처를 검색하기 위해, 예를 들어, 순서상 프레임(SF)의 디코딩 후에 적용될 후처리를 추가로 나타낼 수 있다.

도 12는 도 10의 플래그　"frame_packing_arrangement_type"의 해석이 주어져 있는 표를 나타내고 있다.

플래그의 각각의 값은 특정 프레임 패킹 배열 방식을 정의한다. 태그는 인용된 H.264 권고안(표 D-9)에 정의된 바와 같은 높이 값들(0-7)일 수 있다.

본 개시내용의 일 실시예에 따르면, 이 태그는 LDR 픽처와 조명 픽처가 동일한 크기를 갖지 않고 그리고/또는 프레임(SF)에서 특정 위치들을 갖지 않는다는 것을 나타내기 위해 특정 값(여기서 8)일 수 있다.

이 태그는 상이한 크기들 및/또는 위치들이 적어도 하나의 부가 플래그에 의해 정의된다는 것을 추가로 나타낼 수 있다.

일 변형에 따르면, LDR 픽처(각각 조명 픽처)의 크기는 SEI 메시지에서의 부가 파라미터에 의해 정의되고, 조명 픽처(각각 LDR 픽처)의 크기는 SPS(Sequence Parameters Set)로부터 도출될 수 있다. 유의할 점은, SPS가 픽처(SF)의 크기를 포함한다는 것이다.

"different_views_size_flag"라고 표기된 제1 부가 플래그 1이, LDR 픽처와 조명 픽처가 동일한 크기를 갖지 않고 그리고/또는 프레임(SF)에서 특정 위치를 갖지 않는다는 것을 나타내기 위해, SEI 메시지의 구문에 추가된다.

부가 파라미터들의 세트 2가, LDR 픽처의 크기 및 조명 픽처의 크기(폭 및 높이)를 나타내기 위해, SEI 메시지의 구문에 추가된다: 값 "picture0_pic_width_in_luma_samples"는 picture0의 좌측 상단 코너로부터의 picture0의 열들의 수를 나타내고, 값 "picture0_pic_height_in_luma_samples"는 picture0의 좌측 상단 코너로부터의 picture0의 행들의 수를 나타내며, 플래그 "picture1_pic_width_in_luma_samples"는 picture1의 좌측 상단 코너로부터의 picture1의 열들의 수를 나타내고, 플래그 "picture1_pic_height_in_luma_samples"는 picture1의 좌측 상단 코너로부터의 picture1의 행들의 수를 나타낸다.

부가 파라미터들의 세트 3이, 프레임(SF)에서의 LDR 픽처의 위치 및 조명 픽처의 위치를 나타내기 위해, SEI 메시지의 구문에 추가된다: 값　"picture0_offset_x_in_luma_samples"는 픽처(SF)의 첫 번째 행으로부터의 오프셋을 나타내고, 값 "picture0_offset_y_in_luma_samples"는 프레임(SF)의 첫 번째 열로부터의 오프셋을 나타내며, 값 "picture1_offset_x_in_luma_samples"는 프레임(SF)의 첫 번째 행으로부터의 오프셋을 나타내고, 값 "picture1_offset_y_in_luma_samples"는 프레임(SF)의 첫 번째 열로부터의 오프셋을 나타낸다.

도 10에서, picture0은 LDR 픽처(각각 조명 픽처(IF))를 지칭하고 picture1은 조명 픽처(IF)(각각 LDR 픽처)를 지칭한다.

일 실시예에 따르면, 플래그 "picture_packing_arrangement_type"은 특정 프레임 패킹 배열(FPAS)에 따라 프레임(SF)을 인코딩하도록 인코더를 제약하기 위해 특정 값일 수 있다.

예를 들어, 인코더는 (예를 들어, 도 13, 도 14 또는 도 15에 도시된 바와 같이) 프레임(SF)을 슬라이스별로 인코딩하도록 또는 도 14 및 도 15에 도시된 바와 같이 프레임(SF)과 일치하는 타일 경계들을 갖도록 제약될 수 있다.

일 실시예에 따르면, 플래그 "picture_packing_arrangement_type"은 LDR 픽처 및/또는 조명 픽처 중 어느 하나가 몇 개의 단편들로 분할되는 특정 프레임 패킹 배열 방식(FPAS)을 나타낸다. 특정 프레임 패킹 배열 방식(FPAS)은 프레임(SF)에서의 각각의 단편의 위치를 추가로 나타낸다.

도 13은 이 실시예에 따른, 이러한 프레임 패킹 배열 방식의 일 예를 나타내고 있다.

이 프레임 패킹 배열 방식에 따르면, picture1(LDR 픽처 또는 조명 픽처 중 어느 하나)은 4개의 슬라이스들(단편들)로 분할되고 슬라이스들은 픽처(SF)의 하단에 위치된다.

도 15는 도 14의 프레임 패킹 배열 방식의 변형을 나타내고 있다.

여기서, 2개의 방향들을 따라 picture1을 다운샘플링하는 것에 의해 4개의 서브픽처들이 획득된다.

본 개시내용의 범주가 개시된 프레임 패킹 배열 방식들로 제한되지 않고, 2개의 픽처들을 단일 픽처에 패킹하기 위해 임의의 프레임 패킹 배열 방식으로 확장된다.

도 16은 본 개시내용의 일 실시예에 따른, 단계(10)의 서브단계들의 블록도를 나타내고 있다.

단계(161)에서, 모듈(IC)은 인코딩될 HDR 픽처(I)의 루미넌스 성분(L) 그리고 어쩌면 적어도 하나의 색 성분(C(i))을 획득한다.

예를 들어, HDR 픽처(I)가 색 공간(X,Y,Z)에 속할 때, 루미넌스 성분(L)은 성분(Y)의 변환(f(.)), 예컨대, L=f(Y)에 의해 획득된다.

HDR 픽처(I)가 색 공간(R,G,B)에 속할 때, 루미넌스 성분(L)은 하기의 식에 의해 주어지는 선형 결합에 의해, 예를 들어, 709 색역(gamut)에서 획득된다:

L=0.2127.R+0.7152.G+0.0722.B

단계(162)에서, 모듈(BAM)은 HDR 픽처(I)의 루미넌스 성분(L)으로부터 조명 픽처(IF)를 결정한다.

도 17에 예시된 단계(162)의 일 실시예에 따르면, 모듈(BI)은 백라이트 픽처(Ba)를 수학식 1에 의해 주어지는 형상 함수들(

)의 가중 선형 결합인 것으로서 결정하고:

여기서

는 가중 계수들이다.

이와 같이, 루미넌스 성분(L)으로부터 백라이트 픽처(Ba)를 결정하는 것은 백라이트 픽처(Ba)가 루미넌스 성분(L)에 적합하도록 하기 위해　최적의 가중 계수들(그리고 어쩌면 또한, 이전에 알려져 있지 않은 경우, 최적의 형상 함수들)을 찾는 것으로 이루어져 있다.

가중 계수들(a_i)을 찾는 많은 널리 공지된 방법들이 있다. 예를 들어, 백라이트 픽처(Ba)와 루미넌스 성분(L) 사이의 평균 제곱 오차를 최소화하기 위해 최소 평균 제곱법(least mean square method)을 사용할 수 있다.

유의해야 할 점은, 형상 함수들이 디스플레이 백라이트(예를 들어, LED들로 제조됨, 각각의 형상 함수는 그러면 하나의 LED의 응답에 대응함)의 실제 물리 응답일 수 있거나 루미넌스 성분을 최상으로 적합하게 하기 위한 순전한 수학적 구성일 수 있다는 것이다.

이 실시예에 따르면, 단계(162)로부터 출력되는, 조명 픽처(IF)는 수학식 1에 의해 주어진 백라이트 픽처(Ba)이다.

도 18에 예시된 단계(162)의 일 실시예에 따르면, 모듈(BM)은 (수학식 1에 의해 주어지는) 백라이트 픽처(Ba)를 모듈(HL)에 의해 획득된 입력 HDR 픽처(I)의 평균 루미넌스 값(L_mean)으로 변조한다.

이 실시예에 따르면, 단계(162)로부터 출력되는, 조명 픽처(IF)는 변조된 백라이트 픽처이다.

일 실시예에 따르면, 모듈(HL)은 루미넌스 성분(L) 전체에 걸쳐 평균 루미넌스 값(L_mean)을 계산하도록 구성된다.

일 실시예에 따르면, 모듈(HL)은 하기의 식에 의해 평균 루미넌스 값(L_mean)을 계산하도록 구성되고,

여기서 β는 1보다 작은 계수이고, E(X)는 루미넌스 성분(L)의 수학적 기대값(평균)이다.

이 마지막 실시예는 유리한데, 그 이유는 평균 루미넌스 값(L_mean)이, HDR 픽처(I)가 영상들의 시퀀스에 속할 때 아주 짜증나는 일시적인 평균 밝기 불안정성을 야기하는 것이 보통인, 극히 높은 값들을 갖는 몇몇 픽셀들에 의해 영향을 받는 것을 피하기 때문이다.

본 발명은 평균 루미넌스 값(L_mean)을 계산하는 특정 실시예로 제한되지 않는다.

도 19에 예시된 이 실시예의 일 변형에 따르면, 모듈(N)은, HDR 픽처에 대한(또는 HDR 픽처(I)가 픽처들의 시퀀스에 속하는 경우 모든 HDR 픽처들에 대한) 중간 회색 보상 백라이트 영상(mid-gray-at-one backlight image)(Ba_gray)을 얻도록, 백라이트 영상(Ba)(수학식 1에 의해 주어짐)을 그의 평균값 E(Ba)에 의해 정규화한다:

이어서, 모듈(BM)은, 수학식 2의 관계를 사용하여, 중간 회색 보상 백라이트 영상(Ba_gray)을 HDR 픽처(I)의 평균 루미넌스 값(L_mean)으로 변조하도록 구성되어 있으며,

여기서 cst_mod는 변조 계수이고, α는 1보다 작은, 전형적으로 1/3인 다른 변조 계수이다.

이 변형에 따르면, 단계(162)로부터 출력되는, 조명 픽처(IF)는 수학식 2에 의해 주어진 변조된 백라이트 픽처(Ba_mod)이다.

유의할 점은, 변조 계수(cst_mod)가 잔차 픽처에 대한 보기 좋은 밝기를 얻기 위해 조정(tune)되고 백라이트 픽처를 획득하는 프로세스에 크게 의존한다는 것이다. 예를 들어, 백라이트 픽처에 대한 cst_mod

1.7이 최소 평균 제곱에 의해 획득된다.

실제로는, 선형성에 의해, 백라이트 영상을 변조하는 모든 연산들이 계수들(a_i)을 새로운 계수들(

)로 변환하는 보정 인자로서 백라이트 계수들(a_i)에 적용되며, 따라서 하기의 식이 얻어진다:

단계(163)에서, 잔차 픽처(Res)는 HDR 픽처(I)를 조명 픽처(IF)의 디코딩된 버전(

)으로 나누는 것에 의해 계산된다.

인코더측과 디코더측 둘 다에서 동일한 조명 데이터를 보장하고, 이로써 HDR 픽처(I)의 디코딩된 버전(

)의 보다 나은 정밀도에 이르게 하기 위해 HDR 조명 픽처(IF)의 디코딩된 버전(

)을 사용하는 것이 유리하다.

보다 상세하게는, 모듈(IC)로부터 획득되는, HDR 픽처(I)의 루미넌스 성분(L) 및 어쩌면 각각의 색 성분(C(i))은 조명 픽처(IF)의 디코딩된 버전(

)에 의해 나누어진다. 이 나눗셈은 픽셀별로 행해진다.

예를 들어, 입력 HDR 픽처(I)의 성분들(R, G 또는 B)이 색 공간(R,G,B)에서 표현될 때, 성분들(R_Res, G_Res 및 B_Res)이 다음과 같이 획득된다:

예를 들어, HDR 픽처(I)의 성분들(X, Y 또는 Z)이 색 공간(X,Y,Z)에서 표현될 때, 성분들(X_Res, Y_Res 및 Z_Res)이 다음과 같이 획득된다:

본 방법의 일 실시예에 따르면, 조명 픽처(IF)의 디코딩된 버전(

)이 도 2와 관련하여 기술된 바와 같은 디코더(DEC)(단계(21))에 의해 비트스트림(F1)을 적어도 부분적으로 디코딩하는 것에 의해 획득된다.

도 20은 도 1에 기술된 바와 같은 방법의 변형에 따른 방법의 단계들의 블록도를 나타내고 있다.

서브단계(201)에서, 모듈(TMO)은 보이는 LDR 픽처(Res_v)를 얻기 위해 단계(10)의 출력인 잔차 픽처(Res)를 톤 매핑(tone-map)한다.

잔차 영상(Res)의 동적 범위가 너무 높기 때문에 그리고 이 잔차 영상(Res)의 디코딩된 버전이 너무 보이는 아티팩트들을 보여주기 때문에 잔차 영상(Res)이 보이지 않을 수 있을지도 모른다. 잔차 영상을 톤 매핑하는 것은 이 단점들 중 적어도 하나를 해결한다.

본 발명은 임의의 특정 톤 매핑 연산자(tone-mapping operator)로 제한되지 않는다. 이 단일 조건은 톤 매핑 연산자가 가역적(reversible)이어야 한다는 것이다.

예를 들어, Reinhard에 의해 정의된 톤 매핑 연산자가 사용될 수 있다(Reinhard, E., Stark, M., Shirley, P., and Ferwerda, J., ＼Photographic tone reproduction for digital images, " ACM Transactions on Graphics 21 (July 2002), or Boitard, R., Bouatouch, K., Cozot, R., Thoreau, D., & Gruson, A. (2012)). Temporal coherency for video tone mapping. In A. M. J. van Eijk, C. C. Davis, S. M. Hammel, & A. K. Majumdar (Eds.), Proc. SPIE 8499, Applications of Digital Image Processing (p. 84990D-84990D-10)).

단계(201)의 일 실시예에 따르면, 잔차 픽처(Res)를 톤 매핑하는 것은 잔차 픽처의 픽셀 값들에 따라 감마 보정 또는 SLog 보정 중 어느 하나를 포함한다.

보이는 LDR 픽처(Res_v)는 그러면, 예를 들어, 하기의 식에 의해 주어지고:

여기서 A는 상수 값이고, γ는, 예를 들어, 1/2.4인, 감마 곡선의 계수이다.

대안적으로, 보이는 LDR 픽처(Res_v)는, 예를 들어, 하기의 식에 의해 주어지고:

여기서 a, b 및 c는 0과 1이 불변이도록 결정되는 SLog 곡선의 계수들이고, 감마 곡선에 의해 1 아래로 연장될 때 SLog 곡선의 도함수가 1에서 연속적이다. 이와 같이, a, b 및 c는 파라미터 γ의 함수들이다.

일 실시예에 따르면, 감마-SLog 곡선의 파라미터 γ는 파라미터(Param)로서 인코딩된다.

잔차 픽처(Res)에 대해 감마 보정을 적용하는 것은 어두운 영역들을 끌어올리지만 밝은 픽셀들의 버닝(burning)을 피하기 위해 충분히 높은 광을 낮추지 않는다.

잔차 픽처(Res)에 SLog 보정을 적용하는 것은 충분히 높은 광을 낮추지만 어두운 영역들을 끌어올리지 않는다.

이어서, 단계(201)의 바람직한 실시예에 따르면, 모듈(TMO)은 잔차 픽처(Res)의 픽셀 값들에 따라 감마 보정 또는 SLog 보정 중 어느 하나를 적용한다.

잔차 픽처(Res)의 픽셀 값이 문턱값(예를 들어, 1임) 미만일 때, 감마 보정이 적용되고, 그렇지 않은 경우, SLog 보정이 적용된다.

구성에 의해, 보이는 LDR 픽처(Res_v)는 HDR 픽처(I)의 밝기에 따라 보통 1에 다소 가까운 평균 값을 가지며, 상기 감마-Slog 조합의 사용을 특히 효율적인 것으로 만든다.

본 방법의 일 실시예에 따르면, 단계(202)에서, 모듈(SCA)은 잔차 픽처(Res) 또는 보이는 LDR 픽처(Res_v)의 각각의 성분을 스케일링 인자(cst_scaling)와 곱하는 것에 의해 인코딩(단계(11)) 이전에 잔차 픽처(Res) 또는 보이는 잔차 픽처(Res_v)를 스케일한다. 그 결과 얻어지는 LDR 픽처(Res_s)는 그러면, 예를 들어, 하기의 식에 의해 주어진다:

또는

특정 실시예에서, 스케일링 인자(cst_scaling)는 잔차 픽처(Res) 또는 보이는 LDR 픽처(Res_v)의 값들을 0부터 최대 값(2^N-1) 사이에 매핑하도록 정의되고, 여기서 N은 잔차 픽처(Res) 또는 보이는 LDR 픽처(Res_v)를 인코딩하는 데 사용되는 인코더에 의한 인코딩을 위한 입력으로서 허용된 비트 수이다.

이것은 자연스럽게 값 1(대체로 잔차 픽처(Res) 또는 보이는 LDR 픽처(Res_v)의 평균 값임)을 중간 회색 값(2^N-1)에 매핑하는 것에 의해 획득된다. 이와 같이, 표준의 비트 수 N=8을 갖는 잔차 픽처(Res) 또는 보이는 LDR 픽처(Res_v)에 대해, 120인 스케일링 인자는 아주 일관성있는 값인데, 그 이유는 2⁷=128에서 중성 회색(neutral gray)에 아주 가깝기 때문이다.

본 방법의 일 실시예에 따르면, 단계(203)에서, 모듈(CLI)은, 예를 들어, 잔차 픽처를 인코딩하는 데 사용되는 인코더의 능력에 따라, 잔차 픽처(Res, Res_v 또는 Res_s)의 동적 범위를 정의된 목표 동적 범위(TDR)로 제한하기 위해 인코딩 이전에 잔차 픽처(Res, Res_v 또는 Res_s)를 클리핑한다.

이 마지막 실시예에 따르면, 그 결과 얻어진 LDR 픽처(Res_c)는, 예를 들어, 본 방법의 실시예들에 따라 하기의 식에 의해 주어진다:

또는

본 발명은 이러한 클리핑(max(.))으로 제한되지 않고 임의의 종류의 클리핑으로 확장된다.

스케일링 실시예와 클리핑 실시예를 결합시키는 것은 본 방법의 실시예들에 따라 하기의 식에 의해 주어지는 LDR 픽처 영상(Ress_c)에 이른다:

또는

본 방법의 실시예들에 따르면, 잔차 픽처(RF)는 잔차 픽처들(Res, Res_v, Res_s 또는 Res_c) 중 하나이다.

조명 픽처(IF)와 잔차 픽처(RF)는 이어서 도 1과 관련하여 기술된 바와 같은 인코더(ENC)(단계(11))에 의해 인코딩된다.

잔차 픽처의 톤 매핑 및 스케일링은 파라미터 프로세스이다. 유의할 점은, 파라미터들(α, cst_mod, cst_scaling, γ, β)이 후반 작업(post-production) 및 컬러 그레이딩(color grading)에서의 전문가의 취향에 따라 콘텐츠에 최상으로 적합할 수 있다는 것이다. 더욱이, 이 파라미터들이 고정되거나 그렇지 않을 수 있고, 후자의 경우에, 일부 파라미터들(Param)인 것으로 간주될 수 있다.

다른 한편으로, 아주 다양한 픽처들 전부에 대해 타당하도록 범용 파라미터(universal parameter)들이 정의될 수 있다.

도 21은 도 2에 기술된 바와 같은 방법의 변형에 따른 방법의 단계들의 블록도를 나타내고 있다.

앞서 설명한 바와 같이, LDR 픽처(RF)의 디코딩된 버전(

) 및 조명 픽처(IF)의 디코딩된 버전(

)은 단계(21)로부터 획득된다.

단계(213)에서, HDR 픽처(I)의 디코딩된 버전(

)은 LDR 픽처(RF)의 디코딩된 버전(

)을 조명 픽처(IF)의 디코딩된 버전(

)과 곱하는 것에 의해 획득된다.

일 실시예에 따르면, 파라미터들(

및/또는

)은 또한 로컬 메모리로부터 또는 모듈(FDEC)(단계(20))로부터 획득된다.

본 방법의 일 실시예에 따르면, 단계(211)에서, 모듈(ISCA)은 LDR 픽처(RF)의 디코딩된 버전(

)을 파라미터(

)로 나누는 것에 의해 LDR 픽처(RF)의 디코딩된 버전(

)에 역 스케일링(inverse scaling)을 적용한다.

일 실시예에 따르면, 단계(212)에서, 모듈(ITMO)은 파라미터들(

)에 의해 LDR 픽처(RF)의 디코딩된 버전(

)에 역 톤 매핑(inverse-tone-mapping)을 적용한다.

예를 들어, 파라미터(

)는 감마 곡선을 정의하고 역 톤 매핑은, 감마 곡선으로부터, LDR 픽처(RF)의 디코딩된 버전(

)의 픽셀 값들에 대응하는 값들을 찾아내기 위한 것에 불과하다.

단계(213)에서 사용되는 LDR 픽처(RF)의 디코딩된 버전(

)은 따라서 방법의 일부 실시예에 따라 단계(21)의 출력인, LDR 픽처(RF)의 디코딩된 버전(

) 또는 그의 역 스케일링된 버전(단계(211)의 출력) 또는 그의 역 톤 매핑된 버전(단계(211)가 없는 단계(212)의 출력) 또는 그의 역 스케일링된 그리고 역 톤 매핑된 버전(단계(211)를 갖는 단계(212)의 출력) 중 어느 하나이다.

비트스트림(F1)은 로컬 또는 원격 메모리에 저장되고 그리고/또는 통신 인터페이스를 통해(예컨대, 버스로 또는 통신 네트워크 또는 브로드캐스트 네트워크를 거쳐) 전송될 수 있다.

비트스트림(F2)은 로컬 또는 원격 메모리에 저장되고 그리고/또는 통신 인터페이스를 통해(예컨대, 버스로 또는 통신 네트워크 또는 브로드캐스트 네트워크를 거쳐) 전송될 수 있다.

비트스트림들(F1 및 F2)은 비동기적으로 전송될 수 있다.

비트스트림(F1 및 F2)은 본 개시내용의 일 변형에 따라 단일 비트스트림을 표현하기 위해 서로 결합될 수 있다.

디코더들(DEC, FDEC 및 VDEC)은 인코더들(ENC, FENC 및 VENC)에 의해, 각각, 인코딩된 데이터를 디코딩하도록 구성된다.

인코더들(ENC, FENC 및 VENC)(그리고 디코더들(DEC, FDEC 및 VDEC))은 특정 인코더(디코더)로 제한되지 않고, 엔트로피 인코더(디코더)가 요구될 때, 허프만 코더, 산술 코더 또는 h264/AVC 또는 HEVC에서 사용되는 Cabac과 같은 상황 적응적 코더(context adaptive coder)와 같은 엔트로피 인코더가 유리하다.

인코더들(ENC, FENC 및 VENC)(그리고 디코더들(DEC, FDEC 및 VDEC))은, 예를 들어, JPEG, JPEG2000, MPEG2, h264/AVC 또는 HEVC와 같은 손실을 갖는 영상/비디오 코더일 수 있는 특정 인코더로 제한되지 않는다.

변형들에 따르면, 출력 LDR 포맷은 SEI 메시지(제1 메시지(SE1))에 인코딩되고, 출력 HDR 포맷은 VUI 메시지(제2 구문 요소(SE2))에 인코딩된다.

이 변형들은 디코딩된 LDR 픽처가 임의의 렌더링 LDR 디바이스 상에서 어떤 경우에도 보이지 않을 때 관련성이 있을 수 있는데, 그 이유는 디코딩된 LDR 픽처가, 예를 들어, 임의의 기존의 렌더링 LDR 디바이스에 의해 지원되지 않는 색 공간(예컨대, Lab 색 공간)에 대응하기 때문이다. 이러한 경우에, 출력 HDR 포맷을 시그널링하기 위해 VUI를 유지하는 것이 바람직할 수 있다.

도 22 및 도 23은 본 개시내용의 일 실시예에 따른, 출력 LDR 포맷을 표현하는, 예를 들어, "LDR_video_info()"라고 불리우는, SEI 메시지의 일 예와 HEVC 권고안에 부합하는 구문을 갖는 출력 HDR 포맷을 표현하는, 예를 들어, "vui_parameters()"라고 불리우는, VUI 메시지의 일 예를 나타내고 있다.

SEI 메시지 "LDR_video_info()"는 출력 LDR 포맷을 실제로 정의하는 태그들을 포함한다:

LDR_video_cancel_flag,

LDR_video_full_range_flag, LDR_video_colour_primaries,

LDR_video_transfer_characteristics, 및

LDR_video_matrix_coeffs.

이 태그들의 시맨틱스는, 구문 요소들이 LDR 픽처에 관련되어 있는 것을 제외하고는, 도 3과 관련하여 기술된 SEI 메시지에 대해 언급된 시맨틱스와 유사하다. 예를 들어:

- LDR_video_cancel_flag = 1은 SEI 메시지 "LDR_video_info()"가 출력 순서에서 임의의 이전의 SEI 메시지 "LDR_video_info()"를 취소시킨다는 것을 나타낸다.

- LDR_video_full_range_flag는, 다음과 같은 것들을 제외하고는, video_full_range_flag 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 E.2.1에 명시된 바와 동일한 시맨틱스를 갖는다: LDR_video_full_range_flag는, CVS를 위해 사용되는 색 공간보다는, HDR 픽처(I)의 디코딩된 버전(

)을 위해 사용되는 색 공간을 명시한다. 태그 LDR_video_full_range_flag가 SEI 메시지 "LDR_video_info()"에 존재하지 않을 때, LDR_video_full_range_flag의 값은 video_full_range_flag인 것으로 추론된다.

- LDR_video_target_colour_primaries는, 다음과 같은 것들을 제외하고는, colour_primaries 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 E.2.1에 명시된 바와 동일한 시맨틱스를 갖는다: LDR_video_target_colour_primaries는, CVS를 위해 사용되는 색 공간보다는, HDR 픽처(I)의 디코딩된 버전(

)을 위해 사용되는 색 공간을 명시한다. LDR_video_target_colour_primaries가 SEI 메시지 "LDR_video_info()"에 존재하지 않을 때, LDR_video_target_colour_primaries의 값은 colour_primaries인 것으로 추론된다.

- LDR_video_target_transfer_characteristics는, 다음과 같은 것들을 제외하고는, transfer_characteristics 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 E.2.1에 명시된 바와 동일한 시맨틱스를 갖는다: LDR_video_target_transfer_characteristics는, CVS를 위해 사용되는 색 공간보다는, HDR 픽처(I)의 디코딩된 버전(

)을 위해 사용되는 색 공간을 명시한다. LDR_video_target_transfer_characteristics가 SEI 메시지 "LDR_video_info()"에 존재하지 않을 때, LDR_video_target_transfer_characteristics의 값은 transfer_characteristics인 것으로 추론된다.

- LDR_video_target_matrix_coeffs는, 다음과 같은 것들을 제외하고는, matrix_coeffs 구문 요소에 대한 앞서 인용된 HEVC 권고안의 하위조항 E.2.1에 명시된 바와 동일한 시맨틱스를 갖는다: LDR_video_target_matrix_coeffs는, CVS를 위해 사용되는 색 공간보다는, HDR 픽처(I)의 디코딩된 버전(

)을 위해 사용되는 색 공간을 명시한다. LDR_video_target_matrix_coeffs가 SEI 메시지 "LDR_video_info()"에 존재하지 않을 때, LDR_video_target_matrix_coeffs의 값은 matrix_coeffs인 것으로 추론된다.

SEI 메시지 "LDR_video_info()"의 다른 태그들은 HDR 픽처(I)의 디코딩된 버전(

)을 획득하기 위해 사용되는 조명 픽처(IF)의 디코딩된 버전(

)을 획득하기 위해 모듈(ISPLM)에 의해 사용되는 파라미터들에 관한 정보를 제공한다. 이 태그들의 시맨틱스는 도 5와 관련하여 기술된 SEI 메시지에 대해 언급된 시맨틱스와 유사하다.

도 23은 VUI 메시지 "vui_parameters()"의 예를 나타내고 있다.

태그들의 시맨틱스는, 구문 요소들이 HDR 픽처에 관련되어 있는 것을 제외하고는, 도 3과 관련하여 기술된 VUI 메시지에 대해 언급된 시맨틱스와 유사하다.

일 변형에 따르면, 특정 구문 요소 "sample_format"이 비정수 포맷(부동 소수점 포맷)에 대한 지원을 허용하기 위해 VUI에 추가된다. 일 예로서, 구문 요소 "sample_format"의 시맨틱은 HDR 픽처(I)의 디코딩된 버전(

)의 루마 및 크로마 샘플 어레이들의 샘플들의 포맷을 명시하도록 제안되어 있다. 이어서, 도 23에서의 태그 "sample_format"은 샘플들이 정수 포맷으로 되어 있다는 것을 나타내기 위해 0이다. 플래그 "sample_format"에 대한 0보다 큰 값들은 ITU-T | ISO/IEC에 의해 장래의 사용을 위해 예비되어 있다. 존재하지 않을 때, 태그 "sample_format"의 값은 0인 것으로 추론된다.

예를 들어, 일 변형에 따르면, 샘플들이 half-float 포맷으로 되어 있다는 것을 나타내기 위해 태그 "sample_format"이 1이다.

도 1 내지 도 23에서, 모듈들은 구별가능한 물리적 유닛들과 관련되어 있을 수 있거나 그렇지 않을 수 있는 기능 유닛들이다. 예를 들어, 이 모듈들 또는 그들 중 일부는 독자적인 컴포넌트 또는 회로에 모여 있을 수 있거나, 소프트웨어의 기능들에 기여할 수 있다. 이와 달리, 일부 모듈들은 어쩌면 개별적인 물리적 엔티티들로 이루어져 있을 수 있다. 본 발명과 호환되는 장치들은, 예를 들어, ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field-Programmable Gate Array) 또는 VLSI(Very Large Scale Integration)와 같은 전용 하드웨어를 사용하는 순수 하드웨어를 사용하여, 또는 디바이스에 내장된 몇 개의 통합된 전자 컴포넌트들로부터 또는 하드웨어와 소프트웨어 컴포넌트들의 혼합으로부터 구현된다.

도 24는 도 1 내지 도 23과 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스(240)의 예시적인 아키텍처를 나타내고 있다.

디바이스(240)는 데이터 및 주소 버스(241)에 의해 서로 연결되어 있는 하기의 요소들을 포함한다:

- 예를 들어, DSP(또는 Digital Signal Processor)인, 마이크로프로세서(242)(또는 CPU);　

- ROM(또는 Read Only Memory)(243);

- RAM(또는 Random Access Memory)(244);

- 전송할 데이터를 애플리케이션으로부터 수신하기 위한 I/O 인터페이스(245); 및

- 배터리(246).

일 변형에 따르면, 배터리(246)는 디바이스의 외부에 있다. 도 24의 이 요소들 각각은 본 기술분야의 통상의 기술자에게 널리 알려져 있고, 추가로 개시되지 않을 것이다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 단어 "레지스터"는 작은 용량(몇 비트)의 영역에 또는 아주 큰 영역(예컨대, 프로그램 전체 또는 대량의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. ROM(243)은 적어도 프로그램 및 파라미터들을 포함한다. 본 발명에 따른 방법들의 알고리즘은 ROM(243)에 저장된다. 스위치 온될 때, CPU(242)는 프로그램을 RAM에 업로드하고 대응하는 명령어들을 실행한다.

RAM(244)은 레지스터 내의 CPU(242)에 의해 실행되고 디바이스(240)의 스위치 온 후에 업로드되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들에서의 중간 데이터, 및 레지스터 내의 방법의 실행을 위해 사용되는 다른 변수들을 포함한다.

본원에 기술되는 구현들이, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현과 관련하여 논의되어 있을 뿐이지만(예를 들어, 방법 또는 디바이스로서만 논의되어 있음), 논의된 특징들의 구현이 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치가, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들이, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 논리 디바이스를 포함하는, 일반 처리 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터, 휴대폰, 휴대용/퍼스널 디지털 어시스턴트(portable/personal digital assistant)("PDA"), 및 최종 사용자들 간의 정보의 전달을 용이하게 하는 다른 디바이스들과 같은, 통신 디바이스들을 포함한다.

인코딩 또는 인코더의 특정 실시예에 따르면, 입력 HDR 픽처가 소스로부터 획득된다. 예를 들어, 소스는 하기의 것들을 포함하는 세트에 속한다:

- 로컬 메모리(243 또는 244), 예컨대, 비디오 메모리 또는 RAM(또는 Random Access Memory), 플래시 메모리, ROM(또는 Read Only Memory), 하드 디스크;

- 저장소 인터페이스(245), 예컨대, 대용량 저장소,　RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 지지체와의 인터페이스;

- 통신 인터페이스(245), 예컨대, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 통신망(wide area network) 인터페이스, 근거리 통신망(local area network) 인터페이스) 또는 무선 인터페이스(IEEE　802.11 인터페이스 또는 블루투스® 인터페이스 등); 및

- 픽처 포착 회로(예컨대, 센서 - 예를 들어, CCD(또는 Charge-Coupled Device) 또는 CMOS(또는 Complementary Metal-Oxide-Semiconductor) 등 -).

디코딩 또는 디코더의 상이한 실시예들에 따르면, 디코딩된 픽처(

) 및/또는 IF는 목적지로 송신되고; 구체적으로는, 목적지는 하기의 것들을 포함하는 세트에 속한다:

- 로컬 메모리(243 또는 244), 예컨대, 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;

- 통신 인터페이스(245), 예컨대, 유선 인터페이스(예를 들어, 버스 인터페이스(예컨대, USB(또는 Universal Serial Bus)), WAN(wide area network) 인터페이스, LAN(local area network) 인터페이스, HDMI(High Definition Multimedia Interface) 인터페이스) 또는 무선 인터페이스(IEEE　802.11 인터페이스, WiFi® 또는 블루투스® 인터페이스 등); 및

- 디스플레이.

인코딩 또는 인코더의 상이한 실시예들에 따르면, 비트스트림(F) 및 정보 데이터(ID)는 목적지로 송신된다. 일 예로서, 비트스트림(F) 및 정보 데이터(ID) 또는 둘 다는 로컬 또는 원격 메모리, 예컨대, 비디오 메모리(244) 또는 RAM(244), 하드 디스크(243)에 저장된다. 일 변형에서, 비트스트림(F) 또는 정보 데이터(ID) 중 어느 하나 또는 둘 다는 저장소 인터페이스(245), 예컨대, 대용량 저장소, 플래시 메모리, ROM, 광학 디스크 또는 자기 지지체와의 인터페이스로 송신되고 그리고/또는 통신 인터페이스(245), 예컨대, 점 대 점 링크(point to point link), 통신 버스, 점 대 다중점(point to multipoint) 링크 또는 브로드캐스트 네트워크에의 인터페이스를 거쳐 전송된다.

디코딩 또는 디코더의 상이한 실시예들에 따르면, 비트스트림(F) 및/또는 정보 데이터(ID)는 소스로부터 획득된다. 예로서, 비트스트림 및/또는 정보 데이터(ID)는 로컬 메모리, 예컨대, 비디오 메모리(244), RAM(244), ROM(243), 플래시 메모리(243) 또는 하드 디스크(243)로부터 읽혀진다. 일 변형에서, 비트스트림 및/또는 정보 데이터(ID) 는 저장소 인터페이스(1405), 예컨대, 대용량 저장소, RAM, ROM, 플래시 메모리, 광학 디스크 또는 자기 지지체와의 인터페이스로부터 수신되고 그리고/또는 통신 인터페이스(245), 예컨대, 점 대 점 링크, 버스, 점 대 다중점 링크 또는 브로드캐스트 네트워크에의 인터페이스로부터 수신된다.

상이한 실시예들에 따르면, 도 1과 관련하여 기술된 방법을 구현하도록 구성된 디바이스(240)는 하기의 것들을 포함하는 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 정지 영상 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 정지 영상 서버; 및

- 비디오 서버(예컨대, 브로드캐스트 서버, 주문형 비디오 서버 또는 웹 서버).

상이한 실시예들에 따르면, 도 2와 관련하여 기술된 방법을 구현하도록 구성된 디바이스(240)는 하기의 것들을 포함하는 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 셋톱 박스;

- TV 세트;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 디스플레이; 및

- 디코딩 칩.

도 25에 예시된 일 실시예에 따르면, 통신 네트워크(NET)를 통한 2개의 원격 디바이스들(A와 B) 사이의 전송 상황에서, 디바이스(A)는 도 1과 관련하여 기술된 바와 같은 방법을 구현하도록 구성된 수단들을 포함하고, 디바이스(B)는 도 2와 관련하여 기술된 바와 같은 방법을 구현하도록 구성된 수단들을 포함한다.

본 발명의 일 변형에 따르면, 네트워크는 디바이스(A)로부터 디바이스(B)를 비롯한 디코딩 디바이스들로 정지 픽처들 또는 비디오 픽처들을 브로드캐스트하는 데 적합하게 되어 있는 브로드캐스트 네트워크이다.

본원에 기술되는 다양한 프로세스들 및 특징들의 구현들이 각종의 상이한 장비 또는 애플리케이션들, 특히, 예를 들어, 장비 또는 애플리케이션들에서 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 후처리기(post-processor), 인코더에의 입력을 제공하는 전처리기(pre-processor), 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명백할 것인 바와 같이, 장비는 모바일일 수 있고 심지어 이동 차량에 설치될 수 있다.

그에 부가하여, 방법들이 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현에 의해 생성되는 데이터 값들)은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 컴퓨터 판독가능 저장 매체는 하나 이상의 컴퓨터 판독가능 매체(들)에 구현되는 그리고 컴퓨터에 의해 실행가능한 컴퓨터 판독 가능 프로그램 코드를 구현하고 있는 컴퓨터 판독가능 프로그램 제품의 형태를 취할 수 있다. 컴퓨터 판독가능 저장 매체는, 본원에서 사용되는 바와 같이, 그에 정보를 저장하는 기본 능력은 물론 그로부터의 정보를 검색을 제공하는 기본 능력이 주어져 있는 비일시적 저장 매체로 간주된다. 컴퓨터 판독가능 저장 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 이들의 임의의 적당한 조합일 수 있지만, 이들로 제한되지 않는다. 하기의 것들이, 본 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체의 보다 구체적인 예들을 제공하지만, 본 기술 분야의 통상의 기술자라면 잘 알 것인 바와 같이, 예시적이고 전수적이 아닌 리스트에 불과하다는 것을 잘 알 것이다: 휴대용 컴퓨터 디스켓; 하드 디스크; ROM(read-only memory); 소거가능 프로그래밍가능 판독 전용 메모리(EPROM 또는 플래시 메모리); 휴대용 CD-ROM(compact disc read-only memory); 광학 저장 디바이스; 자기 저장 디바이스; 또는 이들의 임의의 적당한 조합.

명령어들은 프로세서 판독가능 매체 상에 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다.

명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합으로 되어 있을 수 있다. 명령어들은, 예를 들어, 운영 체제, 개별적인 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는, 예를 들어, 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하기 위한 명령어들을 가지는 프로세서 판독가능 매체(저장 디바이스 등)를 포함하는 디바이스 둘 다로서 특징지워질 수 있다. 게다가, 프로세서 판독가능 매체는, 명령어들에 부가하여 또는 그 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.

본 기술 분야의 통상의 기술자에게 명백할 것인 바와 같이, 구현들은, 예를 들어, 저장 또는 전송될 수 있는 정보를 전달하도록 포맷팅된 각종의 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하는 명령어들, 또는 기술된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 구문을 쓰거나 읽는 것에 대한 규칙들을 데이터로서 전달하도록, 또는 기술된 실시예에 의해 작성된 실제 구문-값들을 데이터로서 전달하도록 포맷팅될 수 있다. 이러한 신호는, 예를 들어, 전자기파(예를 들어, 무선 주파수 스펙트럼 부분을 사용함)로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 반송파를 인코딩된 데이터 스트림으로 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 공지된 바와 같이, 각종의 상이한 유선 또는 무선 링크들을 거쳐 전송될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

다수의 구현들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 행해질 수 있다는 것을 잘 알 것이다. 예를 들어, 다른 구현들을 생성하기 위해 상이한 구현들의 요소들이 결합, 보완, 수정, 또는 제거될 수 있다. 그에 부가하여, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 것들을 치환할 수 있고 그 결과 얻어진 구현들이 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 기능(들)을, 적어도 실질적으로 동일한 방식(들)으로, 수행할 것임을 이해할 것이다. 그에 따라, 이들 및 다른 구현들이 본 출원에 의해 생각되고 있다.

Claims

HDR 픽처로부터 획득되는 LDR 픽처를 표현하는 비트스트림에서, 출력 LDR 포맷을 나타내는, 상기 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷과, 출력 HDR 포맷을 나타내는, 상기 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷 둘 다를 시그널링(signaling)하는 방법으로서, 상기 방법은 상기 출력 LDR 포맷을 정의하는 제1 구문 요소(syntax element)를 상기 비트스트림에 인코딩하는 단계를 포함하고,
상기 방법은 상기 제1 구문 요소와 상이하고 상기 출력 HDR 포맷을 정의하는 제2 구문 요소를 상기 비트스트림에 인코딩하는 단계를 추가로 포함하는 것을 특징으로 하는, 방법.
HDR 픽처를 비트스트림에 인코딩하는 방법으로서, 상기 HDR 픽처로부터 LDR 픽처가 획득되고, 상기 방법은, 출력 LDR 포맷을 나타내는, 상기 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷을 정의하는 제1 구문 요소를 상기 비트스트림에 인코딩하는 단계를 포함하며,
상기 방법은
- 상기 제1 구문 요소와 상이하고, 출력 HDR 포맷을 나타내는, 상기 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷을 정의하는 제2 구문 요소를 상기 비트스트림에 인코딩하는 단계를 추가로 포함하는 것을 특징으로 하는, 방법.
HDR 픽처 또는 LDR 픽처를 LDR 픽처를 표현하는 비트스트림으로부터 디코딩하는 방법으로서, 상기 방법은
- 비트스트림을 적어도 부분적으로 디코딩하는 것에 의해, 출력 LDR 포맷을 나타내는, 상기 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷을 정의하는 제1 구문 요소를 획득하는 단계를 포함하고,
상기 방법은
- 비트스트림을 적어도 부분적으로 디코딩하는 것에 의해, 상기 제1 구문 요소와 상이하고, 출력 HDR 포맷을 나타내는, 상기 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷을 정의하는 제2 구문 요소를 획득하는 단계를 추가로 포함하는 것을 특징으로 하는, 방법.
원래의 HDR 픽처로부터 획득되는 LDR 픽처를 표현하는 비트스트림에서, 출력 LDR 포맷을 나타내는, 상기 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷과, 출력 HDR 포맷을 나타내는, 상기 원래의 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷 둘 다를 시그널링하는 디바이스로서, 상기 디바이스는 상기 출력 LDR 포맷을 정의하는 제1 구문 요소를 상기 비트스트림에 인코딩하도록 구성된 인코더를 포함하고,
상기 인코더는 상기 제1 구문 요소와 상이하고 상기 출력 HDR 포맷을 정의하는 제2 구문 요소를 상기 비트스트림에 인코딩하도록 추가로 구성되는 것을 특징으로 하는, 디바이스.
HDR 픽처를 비트스트림에 인코딩하는 디바이스로서, 상기 디바이스는
- 상기 HDR 픽처로부터 LDR 픽처와 조명 픽처(illumination picture)를 획득하고,
- 출력 LDR 포맷을 나타내는, 상기 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷을 정의하는 제1 구문 요소를 상기 비트스트림에 인코딩하도록 구성되는 프로세서를 포함하고,
상기 프로세서는 상기 제1 구문 요소와 상이하고, 출력 HDR 포맷을 나타내는, 상기 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷을 정의하는 제2 구문 요소를 상기 비트스트림에 인코딩하도록 추가로 구성되는 것을 특징으로 하는, 디바이스.
HDR 픽처 또는 LDR 픽처를 LDR 픽처를 표현하는 비트스트림으로부터 디코딩하는 디바이스로서, 상기 디바이스는
- 비트스트림을 적어도 부분적으로 디코딩하는 것에 의해, 출력 LDR 포맷을 나타내는, 상기 LDR 픽처의 디코딩된 버전의 픽처/비디오 포맷을 정의하는 제1 구문 요소를 획득하도록 구성되는 프로세서를 포함하고,
상기 프로세서는 비트스트림을 적어도 부분적으로 디코딩하는 것에 의해, 상기 제1 구문 요소와 상이하고, 출력 HDR 포맷을 나타내는, 상기 HDR 픽처의 디코딩된 버전의 픽처/비디오 포맷을 정의하는 제2 구문 요소를 획득하도록 추가로 구성되는 것을 특징으로 하는, 디바이스.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 구문 요소는 VUI에서 시그널링되는 상기 LDR 픽처의 전달 함수를 나타내고, 상기 제2 구문 요소는 SEI 메시지에서 시그널링되는 상기 HDR 픽처의 전달 함수를 나타내는, 방법.
제7항에 있어서, 상기 제1 구문 요소는 HEVC 권고안에 부합하는 구문을 갖는 VUI 메시지이고, 상기 제2 구문 요소는 SEI 메시지인, 방법.
제8항에 있어서, 상기 HDR 픽처로부터 조명 픽처가 획득되고, 상기 제2 구문 요소는 상기 HDR 픽처의 디코딩된 버전을 획득하기 위해 사용되는 상기 조명 픽처의 디코딩된 버전을 획득하기 위한 정보 데이터를 추가로 제공하는, 방법.
제9항에 있어서, 상기 제2 구문 요소는 상기 조명 픽처의 디코딩된 버전이 형상 함수들의 가중 선형 결합(weighted linear combination of shape functions)에 의해 표현된다는 것을 추가로 나타내는, 방법.
제10항에 있어서, 상기 조명 픽처의 디코딩된 버전을 획득하기 위해 상기 형상 함수들에 적용되는 가중 계수들이 HEVC 권고안에 부합하는 구문을 갖는 보조 픽처에 또는 부가의 SEI 메시지에 내장(embed)되는, 방법.
제9항에 있어서, 상기 HDR 픽처의 디코딩된 버전은 상기 LDR 픽처의 디코딩된 버전을 상기 조명 픽처의 디코딩된 버전과 곱하는 것에 의해 획득되고, 상기 제2 구문 요소는 상기 LDR 픽처의 디코딩된 버전을 상기 조명 픽처의 디코딩된 버전과 곱하기 전에 상기 LDR 픽처의 디코딩된 버전에 적용되도록 의도되어 있는 후처리의 파라미터들에 관한 정보를 추가로 제공하는, 방법.
제12항에 있어서, 상기 제2 구문 요소는 상기 LDR 픽처의 디코딩된 버전에 적용되도록 의도되어 있는 후처리의 파라미터들에 관한 정보를 모아둔 룩업 테이블들을 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 구문 요소는 SEI 메시지이고, 상기 제2 구문 요소는 VUI 메시지인, 방법.
제14항에 있어서, 상기 HDR 픽처로부터 조명 픽처가 획득되고, 상기 제1 구문 요소는 상기 HDR 픽처의 디코딩된 버전을 획득하기 위해 사용되는 상기 조명 픽처의 디코딩된 버전을 획득하기 위한 정보를 추가로 제공하는, 방법.
기록 매체에 저장된 컴퓨터 프로그램으로서, 프로그램 코드 명령어들을 포함하고, 상기 프로그램 코드 명령어들은 상기 프로그램이 컴퓨터 상에서 실행될 때 제1항 내지 제3항 중 어느 한 항의 방법의 단계들을 실행시키는, 기록 매체에 저장된 컴퓨터 프로그램.
프로세서로 하여금 적어도 제1항 내지 제3항 중 어느 한 항의 방법의 단계들을 수행하게 하는 명령어들을 저장하고 있는 프로세서 판독가능 매체.
프로그램 코드 명령어들을 담고 있는 비일시적 저장 매체로서, 상기 프로그램 코드 명령어들은 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때 제1항 내지 제3항 중 어느 한 항의 방법의 단계들을 실행시키는, 비일시적 저장 매체.
LDR 픽처와 조명 픽처를 표현하는 비트스트림을 담고 있는 신호를 송수신하기 위한 디바이스로서, 상기 신호가 제1항 내지 제3항 중 어느 한 항의 방법에 의해 처리되는 제1 및 제2 구문 요소들을 담고 있는 것을 특징으로 하는, 디바이스.
제4항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 구문 요소는 VUI에서 시그널링되는 상기 LDR 픽처의 전달 함수를 나타내고, 상기 제2 구문 요소는 SEI 메시지에서 시그널링되는 상기 HDR 픽처의 전달 함수를 나타내는, 디바이스.
제20항에 있어서, 상기 제1 구문 요소는 HEVC 권고안에 부합하는 구문을 갖는 VUI 메시지이고, 상기 제2 구문 요소는 SEI 메시지인, 디바이스.
제21항에 있어서, 상기 HDR 픽처로부터 조명 픽처가 획득되고, 상기 제2 구문 요소는 상기 HDR 픽처의 디코딩된 버전을 획득하기 위해 사용되는 상기 조명 픽처의 디코딩된 버전을 획득하기 위한 정보 데이터를 추가로 제공하는, 디바이스.
제22항에 있어서, 상기 제2 구문 요소는 상기 조명 픽처의 디코딩된 버전이 형상 함수들의 가중 선형 결합(weighted linear combination of shape functions)에 의해 표현된다는 것을 추가로 나타내는, 디바이스.
제23항에 있어서, 상기 조명 픽처의 디코딩된 버전을 획득하기 위해 상기 형상 함수들에 적용되는 가중 계수들이 HEVC 권고안에 부합하는 구문을 갖는 보조 픽처에 또는 부가의 SEI 메시지에 내장(embed)되는, 디바이스.
제22항에 있어서, 상기 HDR 픽처의 디코딩된 버전은 상기 LDR 픽처의 디코딩된 버전을 상기 조명 픽처의 디코딩된 버전과 곱하는 것에 의해 획득되고, 상기 제2 구문 요소는 상기 LDR 픽처의 디코딩된 버전을 상기 조명 픽처의 디코딩된 버전과 곱하기 전에 상기 LDR 픽처의 디코딩된 버전에 적용되도록 의도되어 있는 후처리의 파라미터들에 관한 정보를 추가로 제공하는, 디바이스.
제25항에 있어서, 상기 제2 구문 요소는 상기 LDR 픽처의 디코딩된 버전에 적용되도록 의도되어 있는 후처리의 파라미터들에 관한 정보를 모아둔 룩업 테이블들을 포함하는, 디바이스.
제4항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 구문 요소는 SEI 메시지이고, 상기 제2 구문 요소는 VUI 메시지인, 디바이스.
제27항에 있어서, 상기 HDR 픽처로부터 조명 픽처가 획득되고, 상기 제1 구문 요소는 상기 HDR 픽처의 디코딩된 버전을 획득하기 위해 사용되는 상기 조명 픽처의 디코딩된 버전을 획득하기 위한 정보를 추가로 제공하는, 디바이스.