KR102529013B1

KR102529013B1 - 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치

Info

Publication number: KR102529013B1
Application number: KR1020177020984A
Authority: KR
Inventors: 세바스티앙 라쎄르; 삐에르 앙드리봉; 파브리쓰 르레아넥; 다비드 뚜즈
Original assignee: 인터디지털 브이씨 홀딩스 인코포레이티드
Priority date: 2015-01-30
Filing date: 2016-01-25
Publication date: 2023-05-08
Also published as: AU2021201048A1; MX2017009748A; CN107211130B; CN111654697B; CA2975172C; US20180007372A1; AU2016212243A1; JP2018507619A; WO2016120209A1; EP3251084B1; US11178412B2; US10390027B2; CA2975172A1; JP7356478B2; EP4089627A3; AU2021201048B2; MX371076B; EP3251084A1; US20190268610A1; CN111654697A

Abstract

본 개시내용은 일반적으로, 컬러 컴포넌트들(Ec)을 갖는 컬러 픽처를 인코딩하기 위한 방법 및 디바이스에 관한 것이다. 상기 방법은,
인코딩될 컬러 픽처로부터 휘도 컴포넌트(L) 및 2개의 최종 색차 컴포넌트(C1, C2)를 획득하는 단계(11), 최종 휘도 컴포넌트(L") 및 2개의 최종 색차 컴포넌트(C1", C2")를 획득하는 단계(12), 및 최종 휘도 컴포넌트(L") 및 적어도 하나의 최종 색차 컴포넌트를 인코딩하는 단계(13)를 포함하고,
상기 방법은,
- 휘도 컴포넌트(L)의 각각의 픽셀(i)의 값에 기초하여 제1 인자(β^-1(L(i))를 결정하는 단계;
- 2개의 색차 컴포넌트(C1, C2)를 제1 인자에 의해 스케일링함으로써 2개의 최종 색차 컴포넌트(C1", C2")를 획득하는 단계; 및
- 휘도 컴포넌트(L) 및 2개의 최종 색차 컴포넌트(C1", C2")를 선형적으로 함께 결합함으로써 최종 휘도 컴포넌트(L")를 다음과 같이 획득하는 단계(122):

를 더 포함하고,
L은 휘도 컴포넌트이고, L"은 최종 휘도 컴포넌트이고, C"1 및 C"2는 2개의 최종 색차 컴포넌트이고, m 및 n은 0이 아닌 계수들인 것을 특징으로 한다.

Description

컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치

본 개시내용은 일반적으로 픽처/비디오 인코딩 및 디코딩에 관한 것이다. 특히, 그러나 배타적이지 않게, 본 개시내용의 기술 분야는 픽셀 값들이 하이 다이내믹 레인지(high-dynamic range)에 속하는 픽처의 인코딩/디코딩에 관한 것이다.

본 섹션은 이하에서 설명되고/되거나 청구되는 본 개시내용의 다양한 양태들에 관련될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된 것이다. 이 논의는 독자에게 본 개시내용의 다양한 양태의 더 나은 이해를 용이하게 하는 배경 정보를 제공하는 데 도움이 될 것이라고 생각된다. 따라서, 이러한 진술은 선행 기술의 인정이 아니라 이런 관점에서 읽혀져야 함을 이해해야 한다.

다음에서, 컬러 픽처는 픽처(또는 비디오)의 픽셀 값들과 관련된 모든 정보와, 예를 들어 픽처(또는 비디오)를 시각화 및/또는 디코딩하기 위해 디스플레이 및/또는 임의의 다른 디바이스에 의해 사용될 수 있는 모든 정보를 특정하는 특정 픽처/비디오 포맷으로 된 샘플들(픽셀 값들)의 여러 어레이를 포함한다. 컬러 픽처는, 통상적으로 루마(또는 휘도) 컴포넌트인, 샘플들의 제1 어레이의 형태로 된 적어도 하나의 컴포넌트(component), 및 샘플들의 적어도 하나의 다른 어레이의 형태로 된 적어도 하나의 다른 컴포넌트를 포함한다. 또는, 동등하게, 동일한 정보는 컬러 샘플들(컬러 컴포넌트들)의 어레이들의 세트, 예를 들어 전통적인 삼색 RGB 표현에 의해 또한 표현될 수 있다.

픽셀 값은 C 값들의 벡터에 의해 표현되며, 여기서 C는 컴포넌트들의 수이다. 벡터의 각각의 값은 픽셀 값들의 최대 다이내믹 레인지를 정의하는 다수의 비트로 표현된다.

표준 다이내믹 레인지 픽처들(Standard-Dynamic-Range pictures)(SDR 픽처들)은 그들의 휘도 값들이 2 또는 f-스톱(stop)들의 배율로 보통 측정된 제한된 다이내믹으로 표현되는 컬러 픽처들이다. SDR 픽처들은 약 10 f스톱의 다이내믹, 즉 선형 도메인에서 가장 밝은 픽셀과 가장 어두운 픽셀 간에 비율 1000을 가지며, 다이내믹을 감소시키기 위해 예를 들어, ITU-R BT.709 OEFT(Optico-Electrical-Transfer-Function)(ITU-R BT.709-5, 2002년 4월, 참조) 또는 ITU-R BT.2020 OETF(ITU-R BT.2020-1, 2014년 6월, 참조)를 사용하여 비선형 도메인에서 제한된 비트 수(HDTV(High Definition Television systems) 및 UHDTV(Ultra-High Definition Television systems)에서는 대부분 8 또는 10)로 코딩된다. 이러한 제한된 비선형 표현은, 특히 어두운(dark) 및 밝은(bright) 휘도 범위들 내에서, 작은 신호 변동들의 정확한 렌더링을 허용하지 않는다. 하이 다이내믹 레인지 픽처(HDR 픽처)들에서는, 신호 다이내믹이 훨씬 더 높고(최대 20 f-스톱, 가장 밝은 픽셀들과 가장 어두운 픽셀들 사이에서 백만의 비율), 전체 범위에 걸쳐 신호의 높은 정확도를 유지하기 위해 새로운 비선형 표현이 요구된다. HDR 픽처들에서, 원시 데이터(raw data)는 보통 부동 소수점 포맷(각각의 컴포넌트에 대해 32비트 또는 16비트, 즉 부동 또는 반-부동(half-float))으로 표현되고, 가장 인기 있는 포맷은 openEXR 반-부동 포맷(RGB 컴포넌트당 16비트, 즉 픽셀당 48비트)이거나 또는 긴 표현을 가진 정수들, 전형적으로 적어도 16비트로 되어 있다.

색역(color gamut)은 컬러들의 특정한 완전한 세트이다. 가장 일반적인 사용은 주어진 환경에서, 예를 들어 주어진 컬러 공간 내에서 또는 특정한 출력 디바이스에 의해 정확하게 표현될 수 있는 컬러들의 세트를 말한다.

색역은 때때로, 도 1에 도시된 바와 같은 CIE1931 컬러 공간 색도도(color space chromaticity diagram)에 제공된 RGB 원색들(RGB primaries)과 흰색 점에 의해 정의된다.

소위 CIE1931 컬러 공간 색도도에서 원색들을 정의하는 것이 일반적이다. 이것은 컬러들을 휘도 컴포넌트에 독립적으로 정의하는 2차원 다이어그램(x, y)이다. 임의의 컬러 XYZ는 다음의 변환을 통해 이 다이어그램에 투영된다:

z=1-x-y 컴포넌트도 정의되지만 추가 정보는 갖지 않는다.

색역은 이 다이어그램에서 꼭지점들이 삼원색 RGB의 (x,y) 좌표들의 세트인 삼각형에 의해 정의된다. 흰색 점 W는 삼각형에 속하는 다른 주어진 (x, y) 점이며, 보통 삼각형 중심에 가깝다.

컬러 볼륨은 컬러 공간과 상기 컬러 공간에서 표현되는 값들의 다이내믹 레인지에 의해 정의된다.

예를 들어, 색역은 UHDTV를 위한 RGB ITU-R 권고(Recommendation) BT.2020 컬러 공간에 의해 정의된다. 더 오래된 표준인 ITU-R 권고 BT.709는 HDTV를 위한 더 작은 색역을 정의한다. SDR에서, 다이내믹 레인지는, 일부 디스플레이 기술이 더 밝은 픽셀을 표시할 수 있을지라도, 데이터가 코딩되는 컬러 볼륨에 대해 공식적으로 최대 100 니트(nit)(제곱미터당 칸델라(candela per square meter))로 정의된다.

대니 파스칼(Danny Pascale)의 "A Review of RGB Color Spaces"에서 광범위하게 설명했듯이, 색역의 변화, 즉 삼원색과 흰색 점을 한 색역에서 다른 색역으로 매핑하는 변환은 선형 RGB 컬러 공간에서 3x3 행렬을 사용하여 수행될 수 있다. 또한, XYZ에서 RGB로의 공간 변화는 3x3 행렬에 의해 수행된다. 결과적으로, 어떤 RGB 또는 XYZ가 컬러 공간이더라도, 색역의 변화는 3x3 행렬에 의해 수행될 수 있다. 예를 들어, BT.2020 선형 RGB에서 BT.709 XYZ로의 색역 변화는 3x3 행렬에 의해 수행될 수 있다.

하이 다이내믹 레인지 픽처들(HDR 픽처들)은 그 휘도 값들이 SDR 픽처의 다이내믹보다 높은 HDR 다이내믹으로 표현되는 컬러 픽처들이다.

HDR 다이내믹은 아직 표준에 의해 정의되지는 않았지만 최대 수천 니트까지의 다이내믹 레인지를 예상할 수 있다. 예를 들어, HDR 컬러 볼륨은 RGB BT.2020 컬러 공간에 의해 정의되고, 상기 RGB 컬러 공간에서 표현되는 값들은 0 내지 4000 니트의 다이내믹 레인지에 속한다. HDR 컬러 볼륨의 다른 예가 RGB BT.2020 컬러 공간에 의해 정의되고, 상기 RGB 컬러 공간에서 표현되는 값들은 0부터 1000 니트까지의 다이내믹 레인지에 속한다.

픽처(또는 비디오)를 컬러 그레이딩(color-grading)하는 것은 픽처(또는 비디오)의 컬러들을 변경/향상시키는 프로세스이다. 보통, 픽처를 컬러 그레이딩하는 것은 이 픽처와 관련된 컬러 볼륨(컬러 공간 및/또는 다이내믹 레인지)의 변화 또는 색역의 변화를 수반한다. 따라서, 동일한 픽처의 두 개의 상이한 컬러 그레이딩된 버전들은, 상이한 컬러 볼륨들(또는 색역)에서 값들이 표현되는 이 픽처의 버전들 또는 그들 컬러들 중 적어도 하나가 상이한 컬러 그레이드들에 따라 변경/향상되어 있는 픽처의 버전들이다. 이는 사용자 상호작용들을 수반할 수 있다.

예를 들어, 영화 제작에서, 픽처 및 비디오는 삼색 카메라들을 사용하여 3개의 컴포넌트(적색, 녹색 및 청색)로 이루어진 RGB 컬러 값들로 캡처된다. RGB 컬러 값들은 센서의 삼색 특성들(컬러 원색들)에 의존한다. 캡처된 픽처의 제1 컬러 그레이딩된 버전은 그 후 (특정 극장 그레이드를 사용하여) 극장 렌더(theatrical render)들을 얻기 위하여 획득된다. 전형적으로, 캡처된 픽처의 제1 컬러 그레이딩된 버전의 값들은 UHDTV에 대한 파라미터 값들을 정의하는 BT.2020과 같은 표준화된 YUV 포맷에 따라 표현된다.

YUV 포맷은 전형적으로, 비선형 컴포넌트들 R'G'B'을 획득하기 위해 선형 RGB 컴포넌트들에 광학 전자 전송 함수(Optical Electronic Transfer Function)(OETF)라고 불리는 비선형 함수를 적용한 다음에, 3개의 컴포넌트 YUV를 획득하기 위해 비선형 R'G'B' 컴포넌트들에 컬러 변환(일반적으로 3×3 행렬)을 적용함으로써 수행된다. 제1 컴포넌트 Y는 휘도 컴포넌트이고, 2개의 컴포넌트(U, V)는 색차 컴포넌트들이다.

그 다음에, 컬러리스트(colorist)는, 보통 촬영 감독과 연계하여, 예술적 의도를 심어주기 위하여 일부 컬러 값을 미세 튜닝/트위킹(tweaking)함으로써 캡처된 픽처의 제1 컬러 그레이딩된 버전의 컬러 값들에 대한 제어를 수행한다.

해결되어야 할 문제점은 압축된 HDR 픽처(또는 비디오)의 분배와 동시에, 상기 HDR 픽처(또는 비디오)의 컬러-그레이딩된 버전을 나타내는 연관된 SDR 픽처(또는 비디오)를 분배하는 것이다.

사소한 해결책은 배포 인프라구조에서 SDR 및 HDR 픽처(또는 비디오) 둘 다를 사이멀캐스트(simulcast)하는 것이지만, 단점은 HEVC 메인 10 프로필과 같은 SDR 픽처(또는 비디오)를 브로드캐스트하도록 적응된 레거시 인프라구조 분배와 비교하여 필요한 대역폭을 사실상 2배로 늘린다는 것이다("High Efficiency Video Coding", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, April 2013).

레거시 분배 인프라구조를 사용하는 것은 HDR 픽처(또는 비디오) 분배의 출현을 가속화하기 위한 요구사항이다. 또한, 픽처(또는 비디오)의 SDR 및 HDR 버전 둘 다의 양호한 품질을 보장하면서 비트레이트가 최소화되어야 한다.

또한, 역 호환성(backward compatibility)은 보장될 수 있는데, 즉, SDR 픽처(또는 비디오)는 레거시 디코더 및 디스플레이를 구비한 사용자에게 보일 수 있어야 하며, 즉, 특히, 전체 인지된 밝기(즉, 어두운 장면 대 밝은 장면) 및 인지된 컬러들(예를 들어, 색상의 보존 등)은 보존되어야 한다.

다른 직접적인 해결책은 HDR 픽처(또는 비디오)의 다이내믹 레인지를 적절한 비선형 함수에 의해 전형적으로 제한된 수의 비트(예를 들어, 10비트)로 줄이고 HEVC 메인10 프로필에 의해 직접 압축하는 것이다. 이러한 비선형 함수(곡선)는 SMPTE에서 돌비(Dolby)가 제안한 소위 PQ EOTF와 같이 이미 존재한다(SMPTE standard: High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays, SMPTE ST 2084:2014).

이 해결책의 단점은 역 호환성이 없다는 것이며, 즉, 픽처(비디오)의 획득된 축소 버전이 SDR 픽처(또는 비디오)로서 볼 수 있는 것으로 간주되는 충분한 시각 품질을 갖지 못하고, 압축 성능이 다소 떨어진다.

본 개시내용은 전술한 내용을 염두에 두고 고안되었다.

다음은 본 개시내용의 일부 양태의 기본적인 이해를 제공하기 위하여 본 개시내용의 간략화된 개요를 제시한다. 이 요약은 본 개시내용에 대한 광범위한 개관은 아니다. 그것은 본 개시내용의 키 또는 중요 요소들을 식별하기 위해 의도되지 않았다. 다음의 개요는 단지, 아래에 제공되는 더 상세한 설명에 대한 서문으로서 본 개시내용의 일부 개념들을 간략화된 형태로 제시한다.

본 개시내용은 청구된 바와 같은 방법 및 디바이스로 선행 기술의 단점들 중 적어도 하나를 개선하기 위해 개시된다.

HDR 컬러 픽처의 SDR 버전을 나타내는 2개의 색차 컴포넌트와 휘도 컴포넌트를 함께 결합함으로써 획득된 컬러들은 HDR 컬러 픽처의 컬러들의 색상(hue) 및 인지된 포화도(saturation)를 보존하지 않는 것으로 보일 수 있다.

이러한 SDR 픽처의 컬러들의 색역을 인코딩될 HDR 컬러 픽처의 컬러들의 색역으로 매핑하는 것은 상기 HDR 픽처와 관련된 색상 및 인지된 포화도를 수정한다.

HDR 픽처의 컬러의 색상과 인지된 포화도는 이와 같이 보존되어, 인지된 컬러들이 원래 HDR과 더 잘 일치하는 디코딩된 SDR 픽처의 시각적 품질을 증가시킨다.

실시예에 따르면, 휘도 및 색차 컴포넌트들을 최종 휘도 컴포넌트 및 2개의 최종 색차 컴포넌트로 매핑하는 단계는,

- 2개의 색차 컴포넌트 각각을, 휘도 컴포넌트로부터 획득된 변조 값 및 휘도 컴포넌트의 각각의 픽셀의 값에 의존하는 제1 인자에 의해 스케일링하는 단계; 및

- 휘도 컴포넌트와 2개의 최종 색차 컴포넌트를 선형적으로 함께 결합함으로써 최종 휘도 컴포넌트를 획득하는 단계를 포함한다.

이 실시예는 디코딩된 휘도 및 색차 컴포넌트들을 함께 결합함으로써 SDR 컬러 픽처를 얻는 것을 허용한다. 이런 SDR 컬러 픽처는 레거시 SDR 디스플레이에 의해 표시될 수 있다. 다른 말로 하면, 그러한 SDR 컬러 픽처는 최종 사용자에 의해 그의 레거시 SDR 디스플레이로부터 볼 수 있다. 이 방법은 따라서, SDR 레거시 디스플레이와의 역 호환성을 허용한다. 또한, HDR 픽처는 휘도 및 색차 컴포넌트들(SDR 컬러 픽처)을 상기 최종 휘도 및 색차 컴포넌트들로 매핑함으로써 획득된 최종 휘도 및 색차 컴포넌트들로부터 형성될 수 있고, 그로 인해 SDR 및 HDR 픽처 둘 다를 사이멀캐스트하는 것을 방지한다.

실시예에 따르면, 상기 적어도 하나의 중간 컬러 컴포넌트로부터 상기 2개의 색차 컴포넌트를 획득하는 단계는,

- 각각의 중간 컬러 컴포넌트의 제곱근을 취함으로써 3개의 중간 컴포넌트를 획득하는 단계; 및

- 3개의 중간 컴포넌트를 선형적으로 함께 결합하는 단계

를 포함한다.

제곱근 함수는 인코딩 측에서 요구되는 OEFT(Optico-Electrical-Transfer-Function)를 근사화하는 데 사용된다. 이러한 근사화는 명확한 가역적인 공식들 및 낮은 복잡도의 디코더로 부분적으로 이어지는데, 그 이유는 완전한 다이내믹 입력 픽처를 디코딩하기 위해 디코더 측에서 적용될 EOTF(Electro-Optical-Transfer-Function)가 제곱 함수이기 때문이다.

또한, SDR 픽처는, 제곱근이 HD/UHD TV에서 사용되는 ITU-R 권고 BT.709/BT.2020에 의해 정의된 표준 SDR OETF의 양호한 근사치(이는 주로 배율 0.45임)이기 때문에 다소 일관된 컬러를 나타낸다.

본 개시내용의 다른 양태에 따르면, 본 개시내용은 비트스트림으로부터 컬러 픽처를 디코딩하는 방법에 관한 것이다.

본 개시내용의 다른 양태들에 따르면, 본 개시내용은, 위의 방법을 구현하도록 구성되는 프로세서, 프로그램이 컴퓨터 상에서 실행될 때 위의 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품, 프로세서로 하여금 위의 방법들의 단계들을 적어도 수행하게 하기 위한 명령어들이 저장되어 있는 프로세서 판독 가능 매체, 및 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때 위의 방법의 단계들을 실행하기 위한 프로그램 코드의 명령어들을 반송하는 비일시적인 저장 매체를 포함하는 디바이스들에 관한 것이다.

본 개시내용의 특정 성질뿐만 아니라 본 개시내용의 다른 목적들, 장점들, 특징들 및 용도들이 첨부 도면들과 연계하여 취해지는 다음의 실시예들의 설명으로 명확하게 될 것이다.

도면들에서, 본 개시내용의 실시예가 예시된다.
- 도 1은 색도도들의 예를 도시한다.
- 도 2는 본 개시내용의 실시예에 따른 컬러 픽처를 인코딩하는 방법의 단계들의 다이어그램을 개략적으로 도시한다.
- 도 3은 본 개시내용에 따른 색역 매핑의 원리를 도시한다.
- 도 4는 본 개시내용의 실시예에 따른 단계 12의 하위 단계들의 다이어그램을 개략적으로 도시한다.
- 도 5는 본 개시내용의 실시예에 따른 단계 11의 하위 단계들의 다이어그램을 개략적으로 도시한다.
- 도 6은 본 개시내용의 실시예에 따른 단계 170의 하위 단계들의 다이어그램을 개략적으로 도시한다.
- 도 7은 본 개시내용의 실시예에 따른 단계 170의 하위-단계들의 다이어그램을 개략적으로 도시한다.
- 도 8은 본 개시내용의 실시예에 따라 적어도 하나의 비트 스트림으로부터 컬러 픽처를 디코딩하는 방법의 단계들의 다이어그램을 개략적으로 도시한다.
- 도 9는 본 개시내용의 실시예에 따른 단계 22의 하위 단계들의 다이어그램을 개략적으로 도시한다.
- 도 10은 본 개시내용의 실시예에 따른 단계 23의 하위 단계들의 다이어그램을 개략적으로 도시한다.
- 도 11a 및 도 11b는 본 개시내용의 다른 실시예에 따른 단계 230의 하위 단계들의 다이어그램을 개략적으로 도시한다.
- 도 12는 본 개시내용의 실시예에 따른 단계 231의 하위 단계들의 다이어그램을 개략적으로 도시한다.
- 도 13은 본 개시내용의 실시예에 따른 디바이스의 아키텍처의 예를 도시한다.
- 도 14는 본 개시내용의 실시예에 따라 통신 네트워크를 통해 통신하는 2개의 원격 디바이스를 도시한다.
- 도 15는 색역의 CEI 1931 다이어그램에서의 요소들의 세트의 예를 도시한다.
유사하거나 동일한 요소들이 동일한 참조 번호들로 참조된다.

본 개시내용은 본 개시내용의 실시예가 도시되는 첨부된 도면을 참조하여 이하에서 더 충분히 설명될 것이다. 그러나, 본 개시내용은 많은 대안적 형태로 구체화될 수 있으며 본 명세서에 설명된 실시예에 한정되는 것으로 해석되어서는 안 된다. 따라서, 본 개시내용은 다양한 수정 및 대안적인 형태가 가능하지만, 그 특정 실시예는 도면에서 예로서 도시되며 본 명세서에 상세히 설명될 것이다. 그러나, 본 개시내용을 개시된 특정 형태들로 제한할 의도는 없고, 반대로, 본 개시내용은 청구항들에 의해 정의된 바와 같은 본 개시내용의 정신 및 범위 내에 속하는 모든 변형, 균등물, 및 대체를 커버하는 것으로 이해되어야 한다.

본 명세서에서 사용되는 용어는 특정 실시예들을 설명하기 위한 것일 뿐이며, 본 개시내용을 한정하지 않는다. 본 명세서에서 사용될 때, 단수 형태들("a", "an" 및 "the")은, 문맥상 명확하게 달리 지시하지 않는 한, 복수 형태들도 포함하는 것을 의도한다. "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)" 및/또는 "포함하는(including)"이란 용어들은, 본 명세서에서 사용될 때, 언급된 피처들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 피처들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 그들의 그룹들의 존재 또는 추가를 배제하지는 않는다는 것이 추가로 이해될 것이다. 더구나, 요소가 다른 요소에 "응답하는" 또는 "접속되는" 것으로서 언급될 때, 그 요소는 다른 요소에 직접적으로 응답하거나 접속될 수 있고, 또는 개재하는 요소들이 존재할 수 있다. 반면에, 요소가 다른 요소에 "직접적으로 응답하는" 또는 "직접적으로 접속되는" 것으로서 언급될 때, 개재하는 요소들이 존재하지 않는다. 본 명세서에서 사용될 때, "및/또는"이라는 용어는 나열된 관련 항목들 중 하나 이상의 임의의 또는 모든 조합을 포함하며, "/"로서 축약될 수 있다.

다양한 요소들을 기술하기 위해 제1, 제2 등의 용어들이 본 명세서에 사용될 수 있기는 하지만, 이런 요소들은 이런 용어들에 의해 제한되지 않아야 한다는 것을 이해할 것이다. 이러한 용어들은 하나의 요소와 다른 요소를 구별하는데 이용될 뿐이다. 예를 들어, 본 개시내용의 교시들로부터 벗어나지 않고, 제1 요소는 제2 요소라 명명될 수 있고, 유사하게, 제2 요소는 제1 요소라 명명될 수 있다.

일부 도면이 통신의 주요 방향을 나타내기 위해 통신 경로들 상에 화살표들을 포함하고 있지만, 통신은 묘사된 화살표들과 반대 방향으로 일어날 수 있다는 것을 이해해야 한다.

일부 실시예는 블록도 및 동작 순서도와 관련하여 설명되고, 여기서 각 블록은 회로 요소, 모듈, 또는 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령어를 포함하는 코드의 일부를 나타낸다. 또한 다른 구현들에서, 블록들에서 언급된 기능(들)은 언급된 순서와 다르게 일어날 수 있다는 것에 유의해야 한다. 예를 들면, 연속해서 도시된 2개의 블록은, 실제로는 실질적으로 동시에 실행될 수 있거나 또는 그 블록들은 때때로 수반된 기능에 따라 역순으로 실행될 수 있다.

"일 실시예" 또는 실시예"에 대한 본 명세서에서의 언급은 그 실시예에 관련하여 설명되는 특정한 피처, 구조, 또는 특성이 본 개시내용의 적어도 하나의 구현예에 포함될 수 있다는 것을 의미한다. 명세서의 여러 곳에서 "일 실시예에서" 또는 "실시예에 따른" 구문의 출현은 반드시 모두 동일한 실시예를 지칭하지도 않고, 별도의 또는 대안적인 실시예들이 다른 실시예들과는 반드시 상호 배타적이지도 않다.

청구항에 보이는 참조 번호는 예시만을 목적으로 한 것으로, 청구항의 범위에 한정적인 효과를 미치지 않는다.

명시적으로 설명되지 않을지라도, 본 실시예들 및 변형예들은 임의의 조합 또는 하위-조합으로 이용될 수 있다.

실시예에서, 인자(즉, 실수 값)는 변조 값 Ba에 의존한다. 변조(또는 백라이트) 값은 일반적으로 HDR 픽처와 연관되며 HDR 픽처의 밝기를 나타낸다. 본 명세서에서, (변조)백라이트라는 용어는, 예를 들어 LCD 패널과 같은 컬러 패널로 이루어진 TV 세트, 및 LED 어레이와 같은 후면 조명 장치와 유사하게 사용된다. 일반적으로 백색 광을 생성하는 후면 장치는 TV에 더 많은 밝기를 제공하기 위해 컬러 패널을 조명하는 데 사용된다. 결과적으로 TV의 휘도는 후면 조명기의 휘도와 컬러 패널의 휘도의 곱이다. 이 후면 조명기는 종종 "변조" 또는 "백라이트"라고 불리며, 그 강도는 전체 장면의 밝기를 다소 나타낸다.

이 개시내용은 컬러 픽처를 인코딩/디코딩하는 것으로 설명되지만, 시퀀스의 각각의 컬러 픽처가 후술하는 바와 같이 순차적으로 인코딩/디코딩되기 때문에 픽처들(비디오)의 시퀀스의 인코딩/디코딩으로 확장된다.

이하에서, 컬러 픽처 I는 컬러 픽처 I의 픽셀 값들이 표현되는 3개의 컬러 컴포넌트 Ec(c=1, 2 또는 3)를 갖는 것으로 고려된다.

본 개시내용은, 3개의 컴포넌트 Ec이 표현되는 임의의 컬러 공간에 한정되지 않고 RGB, CIELUV, XYZ, CIELab 등과 같은 임의의 컬러 공간으로 확장된다.

도 2는 본 개시내용의 실시예에 따른 컬러 픽처 I를 인코딩하는 방법의 단계들의 다이어그램을 개략적으로 도시한다.

단계 11에서, 모듈 C는 인코딩될 컬러 픽처 I로부터 휘도 컴포넌트 L 및 2개의 색차 컴포넌트 C1 및 C2를 획득한다. 예를 들어, 컴포넌트들(L, C1, C2)은 컬러 픽처 I에 OETF를 적용한 후에 획득된 YUV 컬러 공간에 속할 수 있고, 컬러 컴포넌트 Ec는 선형 RGB 또는 XYZ 컬러 공간 중 어느 하나에 속할 수 있다.

단계 12에서, 모듈 GM은 휘도 L 및 색차 C1, C2 컴포넌트들을 최종 휘도 컴포넌트 L" 및 2개의 최종 색차 컴포넌트 C"1, C"2에 매핑하여, 상기 최종 휘도(L") 및 색차(C"1, C"2) 컴포넌트들로부터 획득된 컬러들의 색역 G2가 인코딩될 컬러 픽처 I의 컬러들의 색역 G1에 매핑된다.

도 3은 그러한 색역 매핑을 도시한다. 점선에는 컴포넌트 L 및 2개의 색차 컴포넌트 C1 및 C2로부터 획득된 컬러들의 색역(R, G, B, W)이 표현되고, 실선에는 인코딩될 픽처 I의 컬러들의 색역(R', G', B', W')이 표현된다.

색역(R, G, B, W)을 색역(R', G', B', W')에 매핑하는 것은 원색들 R, G, B를 원색들 R', G', B'으로 각각 매핑하고 백색 점 W를 백색 점 W'으로 매핑하는 것을 의미한다. 매핑의 목적은, L", C"1, C"2 컴포넌트들로부터 획득된 인지된 컬러가 (L, C1, C2)로부터 획득된 인지된 컬러보다 더 나은 컬러 픽처 I의 컬러들과 일치하도록 (L, C1, C2)를 (L", C"1, C"2)로 변환하는 것이다.

단계 13에서, 인코더 ENC는 최종 휘도 L" 컴포넌트 및 2개의 최종 색차 컴포넌트 C"1, C"2를 인코딩한다.

실시예에 따르면, 인코딩된 컴포넌트 L" 및 색차 컴포넌트들 C"1, C"2는 로컬 또는 원격 메모리에 저장되고/되거나 비트스트림 F에 부가된다.

도 4에 도시된 단계 12의 실시예에 따르면, 2개의 최종 색차 컴포넌트 C"1, C"2는 2개의 색차 컴포넌트 C1, C2 각각을 휘도 컴포넌트 L의 각각의 픽셀 i의 값에 의존하는 인자 β^-1(L(i))에 의해 스케일링함으로써(단계 121) 획득되고, 모듈 LCC(단계 122)는 휘도 컴포넌트 L과 2개의 최종 색차 컴포넌트 C"1, C"2를 선형적으로 함께 결합하여 최종 휘도 컴포넌트 L"을 획득한다:

여기서 m 및 n은 최고 휘도 피크들을 보정함으로써 컬러 포화도를 피하는 계수(실수 값)이다.

변형예에 따르면, 인자 β^- ¹(L(i))는 변조 값 Ba에 추가로 의존한다.

실시예에 따르면, 계수들 m 및 n은 도 4에 도시된 바와 같이 로컬 또는 원격 메모리에 저장되고/되거나 비트스트림 BF에 부가된다.

(방정식 A)의 모듈 LCC의 변형예에 따르면, 최종 휘도 컴포넌트 L"의 값들은 항상 휘도 컴포넌트 L의 값들보다 낮다:

이것은 최종 휘도 컴포넌트 L"의 값이 휘도 컴포넌트 L의 값을 초과하지 않도록 보장하며, 따라서 컬러 포화도가 발생하지 않도록 보장한다.

실시예에 따르면, 인자 β^- ¹(L(i))는 특정 휘도 값 L(i)과, 옵션으로 추가적인 특정 변조 값 Ba에 대한 룩업 테이블(LUT)로부터 획득된다. 따라서, 예를 들어 1000, 1500 및 4000 니트와 같은 다수의 휘도 피크 값에 대해, 특정 인자 β^- ¹(L(i))는 각각의 특정 변조 값 Ba에 대한 LUT에 저장된다.

변형예에 따르면, 인자 β^- ¹(L(i))는 LUT가 저장되는 다수의 휘도 피크 사이에 휘도 피크들을 보간함으로써 휘도 컴포넌트 L의 픽셀 값에 대해 획득된다.

변형예에 따르면, 특정 변조 값 Ba에 대한 인자 β^- ¹(L(i))는 LUT가 저장되는 다수의 휘도 피크 사이에 휘도 피크들을 보간함으로써 휘도 컴포넌트 L의 픽셀 값에 대해 획득된다.

실시예에 따르면, 방정식(A)의 인자 β^-1(L(i)) 및 계수 m 및 n은 다음과 같이 획득된다.

최종 휘도(L") 및 색차(C"1, C"2) 컴포넌트들로부터 획득된 컬러들의 색역 G2를 (컴포넌트들 L, C1 및 C2로부터 획득된) 컬러 픽처 I의 컬러들의 색역 G1으로 매핑하는 것은 다음에 의해 주어진다:

여기서,

는 컬러 픽처 I의 선형 휘도 Y에 종속하는 매핑 함수이다. 전형적으로, 선형 휘도 Y는 컬러 픽처 I의 컴포넌트들 Ec의 선형 조합으로서 획득된다. 휘도 컴포넌트 L은 선형 휘도 Y 및 백라이트 값 Ba에 명확하게 관련되어,

을 기입할 수 있고, 매핑 함수는 휘도 컴포넌트 L의 함수로서 보이게 된다.

이제, 변조 값 Ba와 특정 선형 휘도 레벨 Y₀을 고정한다. 컬러 컴포넌트들 Ec가 선형 RGB 컬러 공간에서 표현된다고 가정한다. 색역 G2의 연관된 삼원색

는

에 의해 주어지며,

여기서, A1은 선형 RGB로부터 선형 휘도 Y, 즉,

를 정의하는 1행 행렬이다.

이들 삼원색의, 모듈 C(단계 11)의 적용에 대응하는, 이미지들 μ(.)로 이루어진 3x3 행렬을 S로 한다:

매핑 함수

의 목적은 색역 G2의 삼원색에

을 백 매핑하는 것이다. 즉, 행렬

은 다음과 같은 형태이어야 한다:

여기서, r, g, b는 미지의 파라미터들이고, A는 비선형 컬러 공간 R'G'B'을 LC1C2의 컬러 공간으로 변환하는 3x3 행렬이다. 모두를 함께 두면 다음이 얻어진다:

또한, LC1C2의 컬러 공간에서 그 좌표들이 [1 0 0]인 흰색 점의 보존은 다른 조건을 초래한다:

여기서 η는 다른 미지의 파라미터이다. 결과적으로, 행렬 D는 다음에 의해 고유하게 결정된다:

여기서 나눗셈은

의 첫 번째 열에 의한

의 첫 번째 열의 계수 나눗셈으로 이해된다. 결과적으로, 매핑 행렬은 스케일링 인자 η까지 결정된다.

디코딩 측에서 요구되는 매핑 함수

의 역은 L에서 암시적인 비선형 문제를 해결할 것을 요구하기 때문에 쉽게 획득할 수 없는데, 그 이유는 역행렬

을 휘도 컴포넌트 L의 함수로서 쉽게 얻을 수 있지만, 그 카운터 부분

을 최종 휘도 컴포넌트 L"의 함수로서 얻을 수 없기 때문이다.

의 공식화는 단순 역

을 획득하기 위해서 추가로 단순화될 수 있음을 보여준다.

실제로, 매핑 함수는 다음에 의해 표현될 수 있다:

여기서 m 및 n은 휘도 레벨

에 의존하는 계수들(실수 값들)이다. 매핑 함수

의 역

은 다음에 의해 주어지며:

그 첫 번째 열은

에 의해 주어진다.

일부 대수 조작에 따라, 방정식 F가

이 되는 것으로 나타나며, 매핑 함수

를 유도하고, 여기서, m 및 n은 변조 값 Ba 및 휘도 컴포넌트 L에 의존하지 않는 실수 값들(계수들)이고, β=β(Ba, L(i))이고, 고정 행렬

을 정의한다.

방정식들 (B) 및 (G)는 매핑 함수가 다음의 2개의 효과를 갖는 것으로 나타난다: 먼저, 휘도 컴포넌트 L의 다이내믹이 스케일링 인자 η에 의해 스케일링되고, 둘째로, 색차 컴포넌트들 C1 및 C2도 스케일링 인자 ηβ^-1에 의해 스케일링된다.

L과 L" 사이에서 글로벌 휘도 매핑(global luminance mapping)을 보존하기 위해, 파라미터 η는 1로 설정된다. 방정식 G는 다음과 같이 되며:

여기서, β는 변조 값 Ba 및 휘도 컴포넌트에 의존한다. 이 방정식은 역 매핑 함수

를 얻기 위해 반전된다.

여기서, 휘도 컴포넌트 L은 행렬

을 적용함으로써 L", C"1, C"2로부터 다시 획득되고, 그 후 L이 알려졌기 때문에 색차 컴포넌트들 C1, C2를 다시 얻기 위해 최종 색차 컴포넌트들 C"1, C"2에 적용하기 위한 인자 β(Ba, L(i))를 찾는다.

그 후, 매핑 함수

는, 상수 행렬 Φ₀이 컬러 이미지 I의 휘도 피크 P까지의 모든 휘도 레벨에 사용되고 β가 휘도 피크 P까지의 휘도의 전체 범위에 대해 정의되는 방정식(H)에 의해 제공된다.

방정식(B)에 방정식(H)이 포함되면 방정식(A)이 된다.

다른 실시예에 따르면, 인자

는 이전 실시예에서 설명된 바와 같이 주어지는 계수 m 및 n에도 의존하는 것으로서 고려된다.

따라서, 인자 β^-1은 단계 12에서 단일의 미지 값이다.

인자 β^-1은 색역들 G1과 G2 사이에서 계산된 색역 왜곡이 최소화되도록 획득된다. 다시 말하면, 인자 β^-1는 색역 보존의 조건 하에서 최적의 인자이다.

수학적으로 말하면, 인자 β^- ¹는 다음에 의해 획득되며:

,

여기서, Y₀는 휘도 값 L₀에서 추론되는 주어진 휘도 값이고, Ba₀는 주어진 변조 값이며, 색역 왜곡

는 다음에 의해 주어지며:

여기서 색역 왜곡은 색역 G1의 요소(xj, yj)와 색역 G2의 연관된 요소(x'j, y'j) 사이의 제곱 에러의 합에 의해 정의된다.

휘도 값 Y₀을 고정한다.

,

및

에 의해 세트의 각 요소의 대응하는 XYZ 값들을 획득하고, 그 다음에 대응하는 컬러 값들 Ecj(c=1, 2 또는 3)를 획득한다. 단계 121에서

에 사용된 테스트 인자

및 변조 값 Ba0을 고정하고 부과한다.

단계들 11 및 12로 이루어진 코딩 체인을 컬러 컴포넌트들에 적용함으로써 최종 값들 L"j, C"1j 및 C"2j를 획득한다. 이들 최종 값으로부터, CEI 1931 다이어그램에서 연관된 요소(x'j, y'j)의 연관된 색역 세트를 추론한다.

도 15는 색역의 CEI 1931 다이어그램에서 요소들의 세트(xj, yj)의 예를 도시한다. 각 요소(xj, yj)의 XYZ 좌표는

,

및

에 의해 주어진다.

변조 값 Ba₀과 휘도 컴포넌트 L₀을 변화시키고, 연관된 색역 왜곡 GD(.)를 최소화함으로써, 변조 값 Ba₀, 휘도 컴포넌트 L₀ 및 고정 계수 m 및 n에 의존하는 모든 인자들

이 얻어진다.

도 5에 도시된 단계 11의 실시예에 따르면, 단계 110에서, 모듈 IC는 3개의 컴포넌트 Ec를 함께 선형적으로 결합함으로써 컬러 픽처 I의 휘도를 나타내는 컴포넌트 Y를 획득하고:

여기서 A1은 (E1, E2, E3) 컬러 공간에서 컬러 공간 (Y, C1, C2)으로 변환하는 컬러 공간을 정의하는 3x3 행렬 A의 첫 번째 행이다.

단계 130에서, 모듈 FM은 컴포넌트 Y에 비선형 함수 f를 적용하여 휘도 컴포넌트 L을 획득하고:

L = f(Ba, Y) (1)

여기서, Ba는 모듈 BaM(단계 120)에 의해 컴포넌트 Y로부터 획득된 변조 값이다.

컴포넌트 Y에 비선형 함수 f를 적용하면 그 다이내믹 레인지가 감소된다. 달리 말하면, 휘도 컴포넌트 L의 다이내믹은 컴포넌트 Y의 다이내믹에 비해 감소된다.

기본적으로, 컴포넌트 Y의 다이내믹 레인지는 컴포넌트 L의 휘도 값들이 10비트를 사용하여 표현되도록 감소된다.

실시예에 따르면, 컴포넌트 Y는 비선형 함수 f를 적용하기 전에 변조 값 Ba로 나눠진다:

L = f(Y/Ba) (2)

실시예에 따르면, 비선형 함수 f는 감마 함수이다:

여기서, Y₁은 방정식 (1) 또는 (2)의 실시예에 따른 Y 또는 Y/Ba 중 어느 하나와 동일하고, B는 상수 값이며, γ는 파라미터(실제 값은 엄격히 1미만임)이다.

실시예에 따르면, 비선형 함수 f는 S-Log 함수이며:

여기서, a, b 및 c는, f(0) 및 f(1)이 불변이 되도록 결정된 에스로그(SLog) 곡선의 파라미터들(실수 값들)이고, SLog 곡선의 미분 값은 1 미만의 감마 곡선에 의해 연장될 때 1에서 연속적이다. 따라서 a, b 및 c는 파라미터 γ의 함수들이다.

전형적인 값들은 표 1에 표시된다.

유리한 실시예에서, 1/2.5에 가까운 γ의 값은 획득된 SDR 루마의 양호한 시인성뿐만 아니라 HDR 압축 성능 면에서 효율적이다. 따라서, 3개의 파라미터는 유리하게 다음의 값들을 취할 수 있다: a = 0.44955114, b = 0.12123691, c = 0.94855684.

실시예에 따르면, 비선형 함수 f는 컴포넌트 Y의 픽셀 값들에 따라 감마 보정 또는 SLog 보정 중 하나이다.

컴포넌트 Y에 감마 보정을 적용하면, 어두운 영역을 풀 업(pull up)하지만 밝은 픽셀의 버닝을 피하기 위해 충분히 높은 광을 낮추지 않는다.

그 다음, 실시예에 따르면, 모듈 FM은 컴포넌트 Y의 픽셀 값에 따라 감마 보정 또는 SLog 보정 중 어느 하나를 적용한다. 정보 데이터 Inf는 감마 보정 또는 SLog 보정 중 어느 것이 적용되는지를 지시할 수 있다.

예를 들어, 컴포넌트 Y의 픽셀 값이 임계 값(1과 동일함) 미만일 때, 감마 보정이 적용되고 그렇지 않은 경우 SLog 보정이 적용된다.

단계 120의 실시예에 따르면, 변조 값 Ba는 컴포넌트 Y의 픽셀 값들의 평균값, 중앙값, 최소값 또는 최대값이다. 이들 연산은 선형 HDR 휘도 도메인 Y_lin 또는 γ<1인 ln(Y) 또는

와 같은 비선형 도메인에서 수행될 수 있다.

실시예에 따르면, 상기 방법이 픽처들의 시퀀스에 속하는 여러 컬러 픽처를 인코딩하는데 사용될 때, 변조 값 Ba는 각각의 컬러 픽처, GOP(Group of Pictures), 또는 예를 들어, HEVC에 정의된 슬라이스 또는 전송 유닛과 같지만 이에 제한되지 않는 컬러 픽처의 일부에 대해 결정된다.

실시예에 따르면, 값 Ba 및/또는 비선형 함수 f의 파라미터들(예를 들어, a, b, c 또는 γ) 및/또는 정보 데이터 Inf는 도 2 및 5에 도시된 바와 같이 로컬 또는 원격 메모리에 저장되고/되거나 비트스트림 BF에 부가된다.

단계 140에서, 모듈 CC는 컬러 픽처 I로부터 적어도 하나의 컬러 컴포넌트 EC(c=1, 2, 3)를 획득한다. 컬러 컴포넌트 Ec는 로컬 메모리 또는 원격 메모리로부터 직접적으로 획득되거나 컬러 픽처 I에 컬러 변환을 적용함으로써 획득될 수 있다.

단계 150에서, 중간 컬러 컴포넌트 E'c(c=1, 2 또는 3)는 각각의 컬러 컴포넌트 Ec를 휘도 컴포넌트 L에 의존하는 인자 r(L)에 의해 스케일링함으로써 획득되고:

여기서, r(L(i))은 컴포넌트 L의 픽셀 i의 값에 의존하는 모듈 RM(단계 160)에 의해 결정된 인자(실수 값)이고, E'_c(i)는 중간 컬러 컴포넌트 E'_c의 픽셀 i의 값이고, E_c(i)는 컬러 컴포넌트 Ec의 픽셀 i의 값이다.

팩터에 의한 스케일링은 상기 팩터를 곱하거나 상기 팩터의 역으로 나누는 것을 의미한다.

휘도 컴포넌트 L에 의존하는 인자(r(L))에 의해 각각의 컬러 컴포넌트 Ec를 스케일링하는 것은 컬러 픽처 I의 컬러의 색조를 보존한다.

단계 160의 실시예에 따르면, 인자 r(L)은 컴포넌트 Y에 대한 휘도 컴포넌트 L의 비율이며:

여기서, Y(i)는 컴포넌트 Y의 픽셀 i의 값이다. 실제로, 컴포넌트 Y의 픽셀의 값 Y(i)는, 비율이 L(i)의 함수만으로 기입될 수 있도록 휘도 컴포넌트 L의 픽셀의 값 L(i)에 대해 명확하게 의존한다.

이 실시예는, 컴포넌트 Y에 더 의존하는 인자(r(L))에 의해 각각의 컬러 컴포넌트 Ec를 스케일링하는 것이 컬러 픽처 I의 컬러의 색조를 보존하고 따라서 디코딩된 컬러 픽처의 시각 품질을 향상시키기 때문에 유리하다.

보다 정확하게, 색측정(colorimetry) 및 색 이론에서, 채도(colorfulness), 크로마(chroma) 및 포화도(saturation)는 특정 컬러의 인지된 강도를 나타낸다. 채도는 컬러와 회색 간의 차이의 정도이다. 크로마는 유사한 보기 조건하에서 흰색으로 나타나는 다른 컬러의 밝기와 관련된 채도이다. 포화도는 자체 밝기와 관련된 컬러의 채도이다.

매우 다채로운(colorful) 자극은 생생하고 강렬한 반면, 덜 다채로운 자극은 더 뮤트(mute)되어 회색에 가깝게 보인다. 채도가 전혀 없으면, 컬러는 "중립적인" 회색이다(그 컬러들 중 임의의 컬러에 채도가 없는 픽처는 그레이스케일로 불린다). 임의의 컬러는 채도(또는 크로마 또는 포화도), 명도(lightness)(또는 밝기) 및 색조로부터 설명될 수 있다.

컬러의 색조 및 포화도의 정의는 상기 컬러를 표현하는 데 사용된 컬러 공간에 의존한다.

예를 들어, CIELUV 컬러 공간이 사용될 때, 포화도 s_uv는 휘도 L^*에 대한 크로마

사이의 비율로서 정의된다.

그 다음에, 색조는

에 의해 주어진다.

다른 예에 따르면, CIELAB 컬러 공간이 사용될 때, 포화도는 휘도에 대한 크로마의 비율로서 정의된다:

그 다음에, 색조는

에 의해 주어진다.

이들 방정식은 인간의 포화도 인식과 일치하는 포화도 및 색조의 합리적인 예측자이며, 각도 a^*/b^*(또는 u^*/v^*)을 고정되게 유지하면서 CIELAB(또는 CIELUV) 컬러 공간에서 밝기를 조정하는 것이 색조에 영향을 미치므로 동일한 컬러의 인식에 영향을 미치다는 것을 보여준다. 단계 150에서, 동일한 인자에 의해 컬러 컴포넌트들 Ec를 스케일링하는 것은 이 각도를 보존하고, 따라서 색조를 보존한다.

이제, 컬러 픽처 I가 CIELUV 컬러 공간에서 표현되고 픽처 I2가 휘도 컴포넌트 L을 함께 결합함으로써 형성된다고 고려하면, 픽처 I2의 다이내믹 레인지는 컬러 픽처 I의 휘도 및 CIELUV 컬러 공간의 2개의 색차 컴포넌트 U (=C1) 및 V (=C2)의 다이내믹 레인지에 비해 감소된다(단계 130). 따라서, 픽처 I2의 컬러들은 컬러들의 포화도 및 색조가 변하기 때문에 인간에 의해 다르게 인식된다. 이 방법(단계 150)은, 픽처 I2의 컬러의 색조가 컬러 픽처 I의 컬러의 색조와 가장 일치하도록 픽처 I2의 색차 컴포넌트들 C1 및 C2를 결정한다.

단계 160의 실시예에 따르면, 인자 r(L)은 다음에 의해 주어진다:

이 마지막 실시예는 매우 어두운 픽셀에 대해 인자가 0이 되는 것을 방지하기 때문에, 즉 픽셀 값에 관계없이 비율이 가역적일 수 있기 때문에 유리하다.

단계 170에서, 2개의 색차 컴포넌트 C1, C2는 상기 적어도 하나의 중간 컬러 컴포넌트 E'c로부터 획득된다.

도 6에 도시된 단계 170의 실시예에 따르면, 적어도 하나의 중간 컴포넌트 Dc(c=1, 2 또는 3)은 각각의 중간 컬러 컴포넌트(E'c)에 OETF를 적용함으로써(단계 171) 획득된다:

예를 들어, OETF는 ITU-R 권고 BT.709 또는 BT.2020에 의해 정의되며 다음과 같이 명시된다:

이 실시예는 특정 OETF에 따라 다이내믹 레인지의 감소를 허용하지만, 후술되는 바와 같이 복잡한 디코딩 프로세스를 초래한다.

도 7에 도시된 이 실시예의 변형예에 따르면, OETF는 제곱근에 의해 근사화되며, 즉, 적어도 하나의 중간 컴포넌트 Dc(c=1, 2 또는 3)는 각각의 중간 컬러 컴포넌트(E'c)의 제곱근을 취함으로써(단계 171) 획득된다:

이 실시예는, ITU-R 권고 BT.709 또는 BT.2020에 의해 정의된 OETF의 양호한 근사치를 제공하고 낮은 복잡도 디코더를 유도하기 때문에 유리하다.

이 실시예의 다른 변형예에 따르면, OETF는 세제곱근에 의해 근사화되며, 즉, 적어도 하나의 중간 컴포넌트 Dc(c=1, 2 또는 3)는 각각의 중간 컬러 컴포넌트(E'c)의 세제곱근을 취함으로써(단계 171) 획득된다:

이 실시예는 ITU-R 권고 BT.709 또는 BT.2020에 의해 정의된 OETF의 양호한 근사치를 제공하지만 OETF가 제곱근에 의해 근사화될 때 디코더가 획득하는 것보다 다소 더 복잡한 디코더를 유도하기 때문에 유리하다.

단계 172에서, 모듈 LC1은 3개의 중간 컴포넌트 Dc를 선형적으로 결합함으로써 2개의 색차 컴포넌트 C1 및 C2를 획득하며:

여기서 A2와 A3은 3x3 행렬 A의 두 번째와 세 번째 행이다.

도 8은 본 개시내용의 실시예에 따르는 적어도 비트 스트림으로부터 컬러 픽처를 디코딩하는 방법의 단계들의 다이어그램을 개략적으로 도시한다.

단계 21에서, 디코더 DEC는 비트스트림 F를 적어도 부분적으로 디코딩함으로써 로컬 메모리 또는 원격 메모리 중 어느 하나로부터 휘도 컴포넌트 L" 및 2개의 색차 컴포넌트 C"1, C"2를 획득한다.

단계 22에서, 모듈 IGM은 상기 휘도 L" 및 색차 C"1, C"2 컴포넌트들로부터 획득된 컬러들에 대해 역 매핑을 적용함으로써 상기 휘도 L" 및 색차 C"1, C"2 컴포넌트들로부터 최종 휘도 컴포넌트 L 및 2개의 최종 색차 컴포넌트 C1, C2를 획득한다.

단계 23에서, 모듈 INVC는 상기 최종 휘도 L 컴포넌트 및 상기 2개의 최종 색차 C1, C2 컴포넌트들로부터 디코딩될 컬러 픽처의 적어도 하나의 컬러 컴포넌트 Ec를 획득한다. 디코딩된 픽처는 상기 적어도 하나의 컬러 컴포넌트 Ec를 함께 결합함으로써 획득된다.

도 9에 도시된 단계 22의 실시예에 따르면, 모듈 ILCC는 휘도 컴포넌트 L"과 2개의 색차 컴포넌트 C"1, C"2를 선형적으로 함께 결합함으로써 최종 휘도 컴포넌트 L을 획득하고(단계 222), 2개의 최종 색차 컴포넌트 C1, C2는 최종 휘도 컴포넌트 L의 각각의 픽셀 i의 값에 의존하는 인자 β(L(i))에 의해 2개의 색차 컴포넌트 C"1, C"2의 각각을 스케일링함으로써(단계 221) 획득되고:

이며,

여기서 m 및 n은 계수(실수 값들)이다. 계수 m 및 n은 방정식(G)의 행렬 Φ_Ba(L)의 인수 분해에 의해 획득된 것들일 수 있으며, 즉, m 및 n은 Φ₀에서 획득된 것들이다. 따라서, 이들은 컬러 픽처 I의 색역(예를 들어, BT.709 또는 BT.2020 색역)에 의존한다. m 및 n에 대한 전형적인 값은 간격 [0.1,0.5]에서 m

n이다.

변형예에 따르면, 인자는 변조 값 Ba에 더 의존한다.

방정식(J)는 휘도 L" 및 색차 C"1, C"2 컴포넌트들로부터 획득된 컬러들에 역 매핑이 적용되는 것으로 고려된다. 방정식(J)는 컬러 매핑인 것으로 고려되는 방정식(A)로부터 직접 획득된다.

모듈 ILCC의 변형예에 따라, 최종 휘도 컴포넌트 L의 값은 항상 휘도 컴포넌트 L"의 값보다 높다:

이 실시예는, 최종 휘도 컴포넌트 L이 휘도 피크를 정의하기 위해 일반적으로 디코더에 의해 사용되는 잠재적 클리핑 값을 초과하지 않도록 보장하기 때문에 유리하다. 휘도 피크가 디코더에 의해 요구되고, 최종 휘도 컴포넌트 L이 방정식(J)에 의해 주어질 때, 최종 휘도 컴포넌트 L은 클리핑되어 일부 아티팩트(artefact)를 도입한다.

실시예에 따르면, 변조 값 Ba 및/또는 계수들 m 및 n은 도 9에 도시된 바와 같이, 룩업 테이블과 같은 원격 또는 로컬 메모리로부터, 또는 비트스트림 BF로부터 획득된다.

실시예에 따르면, 인자 β^- ¹(L(i))는 최종 휘도 컴포넌트 L의 특정 값 L(i)에 대한 룩업 테이블(LUT)로부터 획득되고, 옵션으로 특정 변조 값 Ba로부터 추가로 획득된다. 따라서, 예를 들어, 1000, 1500 및 4000 니트와 같은 다수의 휘도 피크 값에 대해, 특정 인자 β^-1(L(i))는 각각의 특정 변조 값 Ba에 대한 LUT에 저장된다.

변형예에 따르면, 특정 변조 값 Ba에 대한 인자 β^- ¹(L(i))는 LUT가 저장되는 다수의 휘도 피크 사이에 휘도 피크들을 보간함으로써 최종 휘도 컴포넌트 L의 픽셀 값에 대해 획득된다.

도 10에 도시된 단계 23의 실시예에 따르면, 단계 220에서, 모듈 IFM은, 제1 컴포넌트 Y의 다이내믹이 최종 휘도 컴포넌트 L의 다이내믹에 비해 증가되도록 최종 휘도 컴포넌트 L에 비선형 함수 f ^-1 을 적용함으로써 제1 컴포넌트 Y를 획득한다:

비선형 함수 f ^-1 은 비선형 함수 f의 역이다(단계 130).

따라서, 함수 f ^-1 의 실시예는 함수 f의 실시예에 따라 정의된다.

실시예에 따르면, 비선형 함수 f ^-1 의 파라미터(예를 들어, a, b, c 또는 γ) 및/또는 정보 데이터 Inf는 도 10에 도시된 바와 같이 로컬 또는 원격 메모리(예를 들어, 룩업 테이블) 및/또는 비트스트림 BF로부터 획득된다.

실시예에 따르면, 휘도 컴포넌트 L은 비선형 함수 f ^- ¹ 를 적용한 후 변조 값 Ba에 의해 승산된다:

실시예에 따르면, 비선형 함수 f ^-1 은 감마 함수의 역이다.

컴포넌트 Y는 다음에 의해 주어지며:

여기서, Y₁은 방정식 (A3) 또는 (A4)의 실시예에 따라 Y 또는 Y/Ba와 동일하고, B는 상수 값이며, γ는 파라미터(실제 값은 엄격히 1미만임)이다.

실시예에 따르면, 비선형 함수 f ^-1 은 S-Log 함수의 역이다. 컴포넌트 Y₁은 다음에 의해 주어진다:

실시예에 따르면, 비선형 함수 f는 컴포넌트 Y의 픽셀 값에 따라 감마 보정 또는 SLog 보정 중 어느 하나의 역이다. 이것은 정보 데이터 Inf에 의해 표시된다.

단계 230에서, 모듈 ILC는 제1 컴포넌트 Y, 2개의 최종 색차 컴포넌트 C1, C2, 및 최종 휘도 컴포넌트 L에 의존하는 인자 r(L)로부터 적어도 하나의 컬러 컴포넌트 Ec를 획득한다. 그 후 디코딩된 컬러 픽처는 상기 적어도 하나의 컬러 컴포넌트 Ec를 함께 결합함으로써 획득된다.

일반적인 OETF가 각각의 중간 컬러 컴포넌트 E'c에 적용될 때(도 6의 단계 171), 중간 컴포넌트 Dc는 컴포넌트 Y, 2개의 최종 색차 컴포넌트 C1, C2 및 인자 r(L)과 관련되며:

및

여기서 EOTF(Electro-Optical Trans Function)는 단계 171에서 적용된 OETF의 역이다.

방정식(A5b)는

를 제공하고,

여기서

는 행렬 A에 의존하는 상수이고, L_i는 행렬 A에 또한 의존하는 선형 함수이다. 그러면 방정식 A5a는

이 되고,

그리고 나서

이 된다.

방정식(A8)은 단지 D₁에 대한 암시적 방정식이다. EOTF의 표현에 따라, 방정식(A8)은 간단하게 거의 풀릴 수 있다. 일단 풀리면, D₁이 구해지고, D₂, D₃는 D₁에서 방정식(A6)에 의해 추론된다. 그 후, 중간 컬러 컴포넌트 E'c는 3개의 구해진 중간 컴포넌트 Dc에 EOTF를 적용함으로써 획득되는데, 즉, E'c = EOTF(Dc)이다.

이런 일반적인 경우, 즉 일반적인 OETF(임의의 특정한 특성을 갖지 않음)가 각각의 중간 컬러 컴포넌트 E'c에 적용될 때, 방정식(8)에 대한 분석해(analytic solution)는 존재하지 않는다. 예를 들어, OETF가 ITU-R BT.709/2020 OETF 일 때, 방정식(A8)은 정규 함수의 근(root)을 찾기 위해 소위 뉴턴의 방법 또는 임의의 다른 수치적 방법을 사용하여 수치적으로 풀릴 수 있다. 그러나, 이것은 매우 복잡한 디코더를 초래한다.

이런 일반적인 경우에, 도 11a에 도시된 단계 230의 제1 실시예에 따르면, 단계 231에서, 모듈 ILEC는 상술한 바와 같이 제1 컴포넌트 Y, 2개의 최종 색차 컴포넌트 C1, C2 및 인자 r(L)로부터 3개의 중간 컬러 컴포넌트 E'c를 획득한다. 단계 232에서, 3개의 컬러 컴포넌트 Ec는 각각의 중간 컬러 컴포넌트 E'c를 인자 r(L)에 의해 스케일링함으로써 획득되며:

여기서,

는 최종 휘도 컴포넌트 L의 픽셀 i의 값에 의존하는 단계 160에 의해 주어진 인자이고,

는 중간 컬러 컴포넌트 E'c의 픽셀 i의 값이고,

는 컬러 컴포넌트 Ec의 픽셀 i의 값이다.

실제로, 단계 232 이전의 이런 순서 단계 231은 인코딩 방법의 단계 170에 선행하는 순서 단계(150)의 역이다.

이런 제1 실시예의 변형예에 따르면, OEFT는 제곱근 함수이고, EOTF는 제곱 함수이다.

이런 제1 실시예의 다른 변형예에 따르면, OEFT는 세제곱근 함수이고, EOTF는 삼차 함수이다.

단계 171에서 사용된 OETF가 정류 조건(commutation condition), 즉

을 충족할 때,

컴포넌트 Y 및 컬러 컴포넌트 Ec는 다음에 의해 관련되고:

여기서 Fc는 OETF(Ec)와 동일한 컴포넌트들이고,

이며,

그 결과 정류 조건은

을 제공한다.

방정식(10)은

을 제공하며,

여기서

는 행렬 A에 의존하는 상수들이고, L_i는 행렬 A에 또한 의존하는 선형 함수들이다.

그 다음에, 방정식(A9)은

이 되고,

그리고 나서

이 된다.

OETF가 정류 조건을 충족할 때, 도 11b에 도시된 단계 230의 제2 실시예에 따르면, 단계 232에서, 2개의 중간 컴포넌트 C'1 및 C'2는 2개의 최종 색차 컴포넌트 C1 및 C2를 인자 OEFT(r(L(i)))에 의해 스케일링함으로써 획득되고(여기서 OETF는 도 6의 단계 171에서 사용된 함수임):

여기서, r(L(i))은 최종 휘도 컴포넌트 L의 픽셀 i의 값에 의존하는 단계 160에 의해 주어진 인자이고, C'₁(i), C'₂(i)는 각각 컴포넌트 C'1, C'2의 픽셀 i의 값이고, C₁(i), C₂(i)는 각각 2개의 최종 색차 컴포넌트 C1 및 C2의 픽셀 i의 값이다.

단계 231에서, 모듈 ILEC는 상술한 바와 같이 제1 컴포넌트 Y 및 2개의 중간 색차 컴포넌트 C'1, C'2로부터 3개의 컬러 컴포넌트 Ec를 획득한다.

이런 제2 실시예의 변형예에 따르면, OEFT는 제곱근 함수이고, EOTF는 제곱 함수이다. 그 다음에, 도 11b의 단계 232에서, 2개의 중간 컴포넌트 C'1 및 C'2는 2개의 최종 색차 컴포넌트 C1 및 C2를 인자

에 의해 스케일링함으로써 획득되고,

이다.

방정식(9)은

및

이 되고,

그 결과 정류가

을 제공한다.

방정식(11)은

및

이 된다.

방정식(A14)은 분석적으로 풀릴 수 있는 2차 방정식이다. 이런 분석해는 도 12에 도시된 바와 같은 단계 231의 특정 실시예를 가져온다. 이 실시예는, EOTF(OETF의 역)의 분석 표현과 결국은 픽처의 디코딩된 컴포넌트들의 분석 표현을 허용하기 때문에 유리하다. 더욱이, EOTF는 디코딩 측에서 낮은 복잡도 프로세스인 제곱 함수이다. 단계 2310에서, 모듈 SM은 2개의 중간 색차 컴포넌트 C'1, C'2 및 제1 컴포넌트 Y를 함께 결합함으로써 제2 컴포넌트 S를 획득하며:

여기서 k₀, k₁ 및 k₂는 파라미터 값들이고,

는 컴포넌트 C'_c(c= 1 또는 2)의 제곱을 의미한다.

단계 2311에서, 모듈 LC2는 중간 색차 컴포넌트 C'1, C'2 및 제2 컴포넌트 S를 선형적으로 함께 결합함으로써 3개의 솔버 컴포넌트(solver component) Fc를 획득하며:

여기서 C는 행렬 A의 역으로 정의된 3x3 행렬이다.

단계 2312에서, 3개의 컬러 컴포넌트 Ec는 각각의 중간 컬러 컴포넌트(Dc)의 제곱을 취함으로써 획득된다:

행렬 A는 인코딩될 픽처의 픽셀 값이 표현되는 컬러 공간(E1, E2, E3)으로부터 인코딩될 픽처 I의 컬러 공간(Y, C1, C2)으로의 변환을 결정한다.

이러한 행렬은 인코딩될 컬러 픽처의 색역에 의존한다.

예를 들어, 인코딩될 픽처가 ITU-R Rec. 709에 의해 정의된 바와 같이 BT709 색역에서 표현될 때, 행렬 A는 다음에 의해 주어지고:

행렬 C는 다음에 의해 주어진다:

이런 제2 실시예의 변형예에 따르면, OEFT는 세제곱근 함수이고, EOTF는 삼차 함수이다. 그 다음에, 도 11b의 단계 232에서, 2개의 중간 컴포넌트 C'1 및 C'2는 2개의 최종 색차 컴포넌트 C1 및 C2를 인자

에 의해 스케일링함으로써 획득될 수 있다:

EOTF는 삼차 함수이므로, 소위 카르다노(Cardano)의 방법에 의해 분석적으로 풀릴 수 있는 보다 복잡한 3차 방정식인 F₁에 대한 방정식(14)을 유도한다.

매우 복잡한 분석해는 4차 방정식(페라리(Ferrari)의 방법)에도 존재하지만, 아벨-루피니(Abel-Ruffini) 정리에 의해 제시되는 5 이상의 차수는 더 이상 존재하지 않는다.

디코더 DEC는 인코더 ENC에 의해 인코딩되는 데이터를 디코딩하도록 구성된다.

인코더 ENC(및 디코더 DEC)는 특정 인코더(디코더)에 한정되지 않고, 엔트로피 인코더(디코더)가 요구될 때, 허프만 코더, 산술 코더 또는 H264/AVC 또는 HEVC에서 사용되는 카벡(Cabac)과 같은 컨텍스트 적응 코더와 같은 엔트로피 인코더가 유리하다.

인코더 ENC(및 디코더 DEC)는, 예를 들어 JPEG, JPEG2000, MPEG2, H264/AVC 또는 HEVC와 같은, 손실을 갖는 프레임/비디오 레거시 코더일 수 있는 특정 인코더에 제한되지 않는다.

도 1-12에서, 모듈들은 구별 가능한 물리적 유닛들과 관련될 수 있거나 그렇지 않을 수 있는 기능 유닛들이다. 예를 들어, 이러한 모듈들 또는 이들 중 일부는 고유한 컴포넌트 또는 회로 내에 함께 올 수 있거나, 또는 소프트웨어의 기능성들에 기여할 수 있다. 그에 반해, 일부 모듈은 잠재적으로 별도의 물리적 엔티티들로 구성될 수 있다. 본 개시내용과 호환 가능한 장치는 순수한 하드웨어, 예를 들어 ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field-Programmable Gate Array) 또는 VLSI(Very Large Scale Integration)와 같은 전용 하드웨어를 사용하거나, 또는 디바이스에 내장된 여러 통합 전자 컴포넌트 또는 하드웨어 및 소프트웨어 컴포넌트의 혼합으로부터 구현된다.

도 13은 도 1-12와 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스(1300)의 예시적인 아키텍처를 나타낸다.

디바이스(1300)는 데이터 및 어드레스 버스(1301)에 의해 함께 링크되는 다음의 요소들을 포함한다:

- 예를 들어, DSP(Digital Signal Processor)인 마이크로프로세서(1302)(또는 CPU);

- ROM(또는 Read Only Memory)(1303);

- RAM(또는 Random Access Memory)(1304);

- 애플리케이션으로부터의 데이터의 송신 및/또는 수신을 위한 I/O 인터페이스(1305); 및

- 배터리(1306).

변형예에 따르면, 배터리(1306)는 디바이스 외부에 있다. 도 13의 이들 요소 각각은 본 기술분야의 통상의 기술자에 의해 잘 알려졌으며, 추가로 개시되지 않을 것이다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 단어 <<레지스터>>는 작은 용량(일부 비트)의 영역에 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 많은 양의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. ROM(1303)은 프로그램 및 파라미터를 적어도 포함한다. 본 개시내용에 따른 방법들의 알고리즘은 ROM(1303)에 저장된다. 스위치 온될 때, CPU(1302)는 프로그램을 RAM에 업로드하고 대응하는 명령어들을 실행한다.

RAM(1304)은, 레지스터 내에, 디바이스(1300)의 스위치 온 이후 CPU(1302)에 의해 실행되고 업로딩되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들의 중간 데이터, 및 레지스터 내에서 방법의 실행에 사용되는 다른 변수들을 포함한다.

본 명세서에서 설명된 구현예들은, 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 콘텍스트에서만 논의되었지만(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 피처들의 구현예는 다른 형태들(예를 들어, 프로그램)로 구현될 수도 있다. 장치는, 예를 들어 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그램가능 로직 디바이스를 포함하는 일반적으로 처리 디바이스들을 지칭하는, 예를 들어 프로세서와 같은 장치에서 구현될 수 있다. 프로세서는 또한, 예를 들어 컴퓨터, 셀 폰, 휴대용/개인 휴대 정보 단말기("PDA") 및 최종 사용자들 사이의 정보 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스를 포함한다.

인코딩 또는 인코더의 특정 실시예에 따르면, 컬러 픽처 I가 소스로부터 획득된다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:

- 로컬 메모리(1303 또는 1304), 예로서 비디오 메모리 또는 RAM(또는 Random Access Memory), 플래시 메모리, ROM(또는 Read Only Memory), 하드 디스크;

- 저장 인터페이스, 예로서 대용량 스토리지, RAM, 플래시 메모리, ROM, 광디스크 또는 자기 서포트와의 인터페이스;

- 통신 인터페이스(1305), 예로서 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어, IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및

- 픽처 캡처링 회로(예로서, 예를 들어, CCD(또는 Charge-Coupled Device) 또는 CMOS(또는 Complementary Metal-Oxide-Semiconductor)와 같은 센서)

디코딩 또는 디코더의 상이한 실시예들에 따르면, 디코딩된 픽처는 목적지로 전송되고; 구체적으로는, 목적지는 하기의 것들을 포함하는 세트에 속한다:

- 디스플레이.

인코딩 또는 인코더의 상이한 실시예들에 따르면, 비트스트림 BF 및/또는 F는 목적지에 전송된다. 예로서, 비트스트림 F 및 BF 중 하나 또는 비트스트림들 F 및 BF 모두는 로컬 또는 원격 메모리, 예를 들어, 비디오 메모리(1304) 또는 RAM(1304), 하드 디스크(1303)에 저장된다. 변형예에서, 하나 또는 두 비트스트림 모두는 저장 인터페이스, 예를 들어 대용량 스토리지, 플래시 메모리, ROM, 광디스크 또는 자기 서포트와의 인터페이스에 전송되고/되거나 통신 인터페이스(1305), 예를 들어, 점 대 점 링크, 통신 버스, 점 대 다점 링크 또는 브로드캐스트 네트워크에 대한 인터페이스를 통해 송신된다.

디코딩 또는 디코더의 상이한 실시예들에 따르면, 비트스트림 BF 및/또는 F는 소스로부터 획득된다. 예를 들어, 비트스트림은 로컬 메모리, 예를 들어, 비디오 메모리(1304), RAM(1304), ROM(1303), 플래시 메모리(1303) 또는 하드 디스크(1303)로부터 판독된다. 변형예에서, 비트스트림은 저장 인터페이스, 예를 들어 대용량 스토리지, RAM, ROM, 플래시 메모리, 광디스크 또는 자기 서포트와의 인터페이스로부터 수신되고/되거나, 통신 인터페이스(1305), 예를 들어 점 대 점 링크, 버스, 점 대 다점 링크 또는 브로드캐스트 네트워크에 대한 인터페이스로부터 수신된다.

다른 실시예에 따르면, 디바이스(1300)는 도 2-7과 관련하여 기술된 인코딩 방법을 구현하도록 구성되며, 다음을 포함하는 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 스틸 픽처 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 스틸 픽처 서버; 및

- 비디오 서버(예를 들어, 브로드캐스트 서버, 주문형 비디오 서버 또는 웹 서버).

다른 실시예에 따르면, 도 8-12와 관련하여 기술된 디코딩 방법을 구현하도록 구성되는 디바이스(1300)는 다음을 포함하는 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 셋톱 박스;

- TV 세트;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 디스플레이 및

- 디코딩 칩.

도 14에 도시된 실시예에 따르면, 통신 네트워크 NET를 통해 2개의 원격 디바이스 A 및 B 사이의 송신 컨텍스트에서, 디바이스 A는 도 2-7과 관련하여 설명된 픽처를 인코딩하기 위한 방법을 구현하도록 구성된 수단을 포함하고, 디바이스 B는 도 8-12와 관련하여 설명된 디코딩 방법을 구현하도록 구성된 수단을 포함한다.

본 개시내용의 변형예에 따르면, 네트워크는 디바이스 A로부터 디바이스 B를 포함하는 디코딩 디바이스들로 스틸 픽처들 또는 비디오 픽처들을 브로드캐스트하도록 적응된 브로드캐스트 네트워크이다.

본 명세서에서 설명되는 다양한 프로세스 및 피처의 구현들은 다양한 상이한 장비 또는 애플리케이션에서 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀폰, PDA, 및 픽처 또는 비디오를 처리하기 위한 임의의 다른 디바이스 또는 다른 통신 디바이스들을 포함한다. 명료해야 하는 바와 같이, 장비는 모바일이며, 심지어 차량 내에 설치될 수 있다.

게다가, 그 방법들은 프로세서에 의해 수행되고 있는 명령어들에 의해 수행될 수 있고, 이러한 명령어들(및/또는 구현예에 의해 생성된 데이터 값들)은 컴퓨터 판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독 가능 저장 매체는 하나 이상의 컴퓨터 판독 가능 매체(들) 내에 구현되고 컴퓨터에 의해 실행 가능한 컴퓨터 판독 가능 프로그램 코드가 구현되어 있는 컴퓨터 판독 가능 프로그램 제품의 형태를 취할 수 있다. 본 명세서에 사용되는 컴퓨터 판독 가능 저장 매체는 그 안에 정보를 저장하기 위한 고유 능력은 물론 그로부터 정보의 검색을 제공하기 위한 고유 능력이 주어지는 경우에 비일시적인 저장 매체로 간주된다. 컴퓨터-판독가능 저장 매체는, 예를 들어 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 디바이스, 또는 이들의 임의의 적절한 조합일 수 있지만, 이들로 제한되지 않는다. 다음의 것들은 본 발명의 원리가 적용될 수 있는 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예를 제공하지만, 본 기술분야의 통상의 기술자에 의해 용이하게 이해되는 바와 같이 단지 예시적이고 포괄적인 목록이 아님을 이해해야 한다: 휴대용 컴퓨터 디스켓; 하드 디스크; 판독 전용 메모리(ROM); 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리); 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM); 광학 저장 디바이스; 자기 저장 디바이스; 또는 상기의 임의의 적절한 조합.

명령어들은 프로세서 판독 가능 매체 상에 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다.

명령어들은, 예를 들어 하드웨어, 펌웨어, 소프트웨어, 또는 조합에 존재할 수 있다. 명령어들은, 예를 들어 운영 체제, 별도의 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는, 예를 들어 프로세스를 수행하도록 구성된 디바이스와 프로세스를 수행하기 위한 명령어들을 갖는 프로세서 판독 가능 매체를 포함하는 디바이스(예컨대, 저장 디바이스) 양자 모두로서 특징지을 수 있다. 또한, 프로세서 판독 가능 매체는, 명령어들에 더하여 또는 명령어들 대신에, 구현예에 의해 생성되는 데이터 값들을 저장할 수 있다.

본 기술분야의 통상의 기술자에게 명백할 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 반송하도록 포매팅된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어 방법을 수행하기 위한 명령어들, 또는 설명된 구현예들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 신택스를 기입하거나 판독하기 위한 규칙들을 데이터로서 반송하거나, 또는 설명된 실시예에 의해 기입되는 실제 신택스-값들을 데이터로서 반송하도록 포매팅될 수 있다. 이러한 신호는, 예를 들어 전자기파로서 (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여), 또는 기저대역 신호로서 포매팅될 수 있다. 포매팅은, 예를 들어 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림을 이용하여 반송파를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는, 예를 들어 아날로그 또는 디지털 정보일 수 있다. 알려진 바와 같이, 신호는 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독 가능 매체 상에 저장될 수 있다.

다수의 구현예가 설명되었다. 그럼에도 불구하고, 다양한 변형이 이루어질 수 있음이 이해될 것이다. 예를 들어, 상이한 구현예들의 요소는 조합되고, 보충되고, 수정되거나, 또는 제거되어 다른 구현예들을 생성할 수 있다. 게다가, 통상의 기술자는, 다른 구조들 및 프로세스들이 개시된 것들에 대해 치환될 수 있으며, 결과적인 구현예들이 적어도 실질적으로 동일한 기능(들)을, 적어도 실질적으로 동일한 방식(들)으로 수행하여, 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)를 달성할 것임을 이해할 것이다. 따라서, 이러한 그리고 다른 구현예들이 이 출원에 의해 참작된다.

Claims

방법으로서,
컬러 픽처의 2개의 색차 컴포넌트를 상기 컬러 픽처의 휘도 컴포넌트의 픽셀 값들에 기초하는 인자에 의해 스케일링함으로써 2개의 추가적인 색차 컴포넌트를 획득하는 단계;
상기 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트를 결합함으로써 추가적인 휘도 컴포넌트를 획득하는 단계; 및
상기 추가적인 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트를 인코딩하는 단계
를 포함하는 방법.
제1항에 있어서, 상기 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트를 결합하는 것은 상기 2개의 추가적인 색차 컴포넌트를 선형적으로 결합하는 것을 포함하는 방법.
제2항에 있어서,
상기 선형적으로 결합하는 것에 의해 사용되는 계수들 m 및 n을 로컬 또는 원격 메모리 중 어느 하나에 저장하는 단계; 및
상기 계수들 m 및 n을 비트스트림에 부가하는 단계
중 적어도 하나를 더 포함하고,

이고, L은 상기 휘도 컴포넌트이고, L"은 상기 추가적인 휘도 컴포넌트이고, C"₁ 및 C"₂는 상기 2개의 추가적인 색차 컴포넌트인 방법.
제1항 또는 제2항에 있어서, 상기 인자는 상기 휘도 컴포넌트의 특정 픽셀 값에 대한 룩업 테이블(Look-Up Table)로부터 획득되는 방법.
제4항에 있어서, 상기 휘도 컴포넌트의 특정 픽셀 값에 대한 상기 인자는 룩업 테이블의 값들을 보간함으로써 획득되는 방법.
제3항에 있어서, 상기 인자는 상기 계수들 m 및 n에 추가로 의존하는 방법.
제1항에 있어서, 상기 인자는, 상기 추가적인 휘도 및 색차 컴포넌트들로부터 획득된 컬러들의 색역(gamut)과 인코딩될 상기 컬러 픽처의 컬러들의 색역 사이에서 계산된 색역 왜곡이 낮아지도록 획득되는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 인코딩될 상기 컬러 픽처로부터 휘도 컴포넌트 및 2개의 색차 컴포넌트를 획득하는 단계는,
휘도 컴포넌트를 획득하는 단계로서,
상기 컬러 픽처의 휘도로부터 변조 값을 획득하는 단계;
상기 컬러 픽처의 휘도를 상기 변조 값으로 나눔으로써 스케일링된 휘도(scaled luminance)를 획득하는 단계; 및
상기 휘도 컴포넌트의 다이내믹(dynamic)이 상기 스케일링된 휘도의 다이내믹과 비교하여 감소되도록 상기 스케일링된 휘도에 비선형 함수를 적용함으로써 상기 휘도 컴포넌트를 획득하는 단계
를 포함하는, 상기 휘도 컴포넌트를 획득하는 단계; 및
2개의 색차 컴포넌트를 획득하는 단계로서,
상기 휘도 컴포넌트의 픽셀의 값 및 상기 컬러 픽처에 함께 배치된 픽셀의 휘도 값에 의존하는 제2 인자를 획득하는 단계;
상기 제2 인자를 각각의 컬러 컴포넌트에 곱함으로써 적어도 하나의 중간 컬러 컴포넌트를 획득하는 단계; 및
상기 적어도 하나의 중간 컬러 컴포넌트로부터 상기 2개의 색차 컴포넌트를 획득하는 단계
에 의해 이루어지는, 상기 2개 색차 컴포넌트를 획득하는 단계
를 포함하는 방법.
방법으로서,
비트스트림으로부터 획득된 휘도 컴포넌트 및 2개의 색차 컴포넌트를 결합함으로써 추가적인 휘도 컴포넌트를 획득하는 단계;
상기 2개의 색차 컴포넌트를 상기 추가적인 휘도 컴포넌트의 픽셀 값들에 기초하는 인자에 의해 스케일링함으로써 2개의 추가적인 색차 컴포넌트를 획득하는 단계; 및
상기 추가적인 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트로부터 컬러 픽처를 획득하는 단계
를 포함하는 방법.
제9항에 있어서, 상기 휘도 컴포넌트 및 상기 2개의 색차 컴포넌트를 결합하는 것은 상기 2개의 색차 컴포넌트를 선형적으로 결합하는 것을 포함하는 방법.
제10항에 있어서,
비트스트림으로부터, 또는 로컬 또는 원격 메모리로부터 상기 선형적으로 결합하는 것에 의해 사용되는 계수들 m 및 n을 획득하는 단계를 더 포함하고,

이고, L은 상기 추가적인 휘도 컴포넌트이고, L"은 상기 휘도 컴포넌트이고, C"₁ 및 C"₂는 상기 2개의 색차 컴포넌트인 방법.
제9항에 있어서, 상기 인자는 상기 휘도 컴포넌트의 특정 픽셀 값에 대한 룩업 테이블로부터 획득되는 방법.
제9항에 있어서, 상기 휘도 컴포넌트의 특정 픽셀 값에 대한 상기 인자는 룩업 테이블의 값들을 보간함으로써 획득되는 방법.
제11항에 있어서, 상기 인자는 상기 계수들 m 및 n에 추가로 의존하는 방법.
제9항에 있어서, 상기 추가적인 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트로부터 상기 컬러 픽처를 획득하는 단계는,
제1 컴포넌트를 획득하는 단계로서,
최종 컴포넌트의 다이내믹이 상기 추가적인 휘도 컴포넌트의 다이내믹과 비교하여 증가되도록 상기 추가적인 휘도 컴포넌트에 비선형 함수를 적용함으로써 상기 최종 컴포넌트를 획득하는 단계; 및
디코딩될 상기 컬러 픽처의 휘도로부터 변조 값을 획득하는 단계;
상기 최종 컴포넌트에 상기 변조 값을 곱함으로써 상기 제1 컴포넌트를 획득하는 단계
를 포함하는, 상기 제1 컴포넌트를 획득하는 단계;
상기 추가적인 휘도 컴포넌트의 픽셀의 값에 의존하는 제2 인자를 획득하는 단계;
상기 제1 컴포넌트, 상기 2개의 추가적인 색차 컴포넌트 및 상기 제2 인자로부터 적어도 하나의 컬러 컴포넌트를 획득하는 단계; 및
상기 적어도 하나의 컬러 컴포넌트를 결합함으로써 디코딩된 픽처를 형성하는 단계
를 포함하는 방법.
장치로서,
적어도 하나의 프로세서; 및
명령어들을 저장한 적어도 하나의 메모리
를 포함하고, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 장치로 하여금:
컬러 픽처의 2개의 색차 컴포넌트를 상기 컬러 픽처의 휘도 컴포넌트의 픽셀 값들에 기초하는 인자에 의해 스케일링함으로써 2개의 추가적인 색차 컴포넌트를 획득하고;
상기 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트를 결합함으로써 추가적인 휘도 컴포넌트를 획득하고;
상기 추가적인 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트를 인코딩하게 하도록 동작하는 장치.
제16항에 있어서, 상기 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트를 결합하는 것은 상기 2개의 추가적인 색차 컴포넌트를 선형적으로 결합하는 것을 포함하는 장치.
제17항에 있어서,
상기 선형적으로 결합하는 것에 의해 사용되는 계수들 m 및 n을 로컬 또는 원격 메모리 중 어느 하나에 저장하는 것; 및
상기 계수들 m 및 n을 비트스트림에 부가하는 것
중 적어도 하나를 더 포함하고,

이고, L은 상기 휘도 컴포넌트이고, L"은 상기 추가적인 휘도 컴포넌트이고, C"₁ 및 C"₂는 상기 2개의 추가적인 색차 컴포넌트인 장치.
제16항에 있어서, 상기 인자는 상기 휘도 컴포넌트의 특정 픽셀 값에 대한 룩업 테이블로부터 획득되는 장치.
제16항에 있어서, 상기 휘도 컴포넌트의 특정 픽셀 값에 대한 상기 인자는 룩업 테이블의 값들을 보간함으로써 획득되는 장치.
제18항에 있어서, 상기 인자는 상기 계수들 m 및 n에 추가로 의존하는 장치.
제16항에 있어서, 상기 인자는, 상기 추가적인 휘도 및 색차 컴포넌트들로부터 획득된 컬러들의 색역과 인코딩될 상기 컬러 픽처의 컬러들의 색역 사이에서 계산된 색역 왜곡이 낮아지도록 획득되는 장치.
제16항 내지 제18항 중 어느 한 항에 있어서, 인코딩될 상기 컬러 픽처로부터 휘도 컴포넌트 및 2개의 색차 컴포넌트를 획득하는 것은,
휘도 컴포넌트를 획득하는 것으로서,
상기 컬러 픽처의 휘도로부터 변조 값을 획득하는 것;
상기 컬러 픽처의 휘도를 상기 변조 값으로 나눔으로써 스케일링된 휘도를 획득하는 것; 및
상기 휘도 컴포넌트의 다이내믹이 상기 스케일링된 휘도의 다이내믹과 비교하여 감소되도록 상기 스케일링된 휘도에 비선형 함수를 적용함으로써 상기 휘도 컴포넌트를 획득하는 것
을 포함하는, 상기 휘도 컴포넌트를 획득하는 것; 및
2개의 색차 컴포넌트를 획득하는 것으로서,
상기 휘도 컴포넌트의 픽셀의 값 및 상기 컬러 픽처에 함께 배치된 픽셀의 휘도 값에 의존하는 제2 인자를 획득하는 것;
상기 제2 인자를 각각의 컬러 컴포넌트에 곱함으로써 적어도 하나의 중간 컬러 컴포넌트를 획득하는 것; 및
상기 적어도 하나의 중간 컬러 컴포넌트로부터 상기 2개의 색차 컴포넌트를 획득하는 것
에 의해 이루어지는, 상기 2개의 색차 컴포넌트를 획득하는 것
을 포함하는 장치.
제16항에 있어서, 상기 프로세서에 통신 가능하게 결합되어 상기 인코딩된 추가적인 휘도 컴포넌트 및 상기 인코딩된 2개의 추가적인 색차 컴포넌트를 송신하기 위한 송신 요소를 더 포함하는 장치.
장치로서,
적어도 하나의 프로세서; 및
명령어들을 저장한 적어도 하나의 메모리
를 포함하고, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 장치로 하여금:
비트스트림으로부터 휘도 컴포넌트 및 2개의 색차 컴포넌트를 결합함으로써 추가적인 휘도 컴포넌트를 획득하고;
상기 2개의 색차 컴포넌트를 상기 추가적인 휘도 컴포넌트의 픽셀 값들에 기초하는 인자에 의해 스케일링함으로써 2개의 추가적인 색차 컴포넌트를 획득하고;
상기 추가적인 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트로부터 컬러 픽처를 획득하게 하도록 동작하는 장치.
제25항에 있어서, 상기 휘도 컴포넌트 및 상기 2개의 색차 컴포넌트를 결합하는 것은 상기 2개의 색차 컴포넌트를 선형적으로 결합하는 것을 포함하는 장치.
제26항에 있어서,
비트스트림으로부터, 또는 로컬 또는 원격 메모리로부터 상기 선형적으로 결합하는 것에 의해 사용되는 계수들 m 및 n을 획득하는 것을 더 포함하고,

이고, L은 상기 추가적인 휘도 컴포넌트이고, L"은 상기 휘도 컴포넌트이고, C"₁ 및 C"₂는 상기 2개의 색차 컴포넌트인 장치.
제25항에 있어서, 상기 인자는 상기 휘도 컴포넌트의 특정 픽셀 값에 대한 룩업 테이블로부터 획득되는 장치.
제25항에 있어서, 상기 휘도 컴포넌트의 특정 픽셀 값에 대한 상기 인자는 룩업 테이블의 값들을 보간함으로써 획득되는 장치.
제27항에 있어서, 상기 인자는 상기 계수들 m 및 n에 추가로 의존하는 장치.
제25항에 있어서, 상기 추가적인 휘도 컴포넌트 및 상기 2개의 추가적인 색차 컴포넌트로부터 상기 컬러 픽처를 획득하는 것은,
제1 컴포넌트를 획득하는 것으로서,
최종 컴포넌트의 다이내믹이 상기 추가적인 휘도 컴포넌트의 다이내믹과 비교하여 증가되도록 상기 추가적인 휘도 컴포넌트에 비선형 함수를 적용함으로써 상기 최종 컴포넌트를 획득하는 것;
디코딩될 상기 컬러 픽처의 휘도로부터 변조 값을 획득하는 것; 및
상기 최종 컴포넌트에 상기 변조 값을 곱함으로써 상기 제1 컴포넌트를 획득하는 것
을 포함하는, 상기 제1 컴포넌트를 획득하는 것;
상기 추가적인 휘도 컴포넌트의 픽셀의 값에 의존하는 제2 인자를 획득하는 것;
상기 제1 컴포넌트, 상기 2개의 추가적인 색차 컴포넌트 및 상기 제2 인자로부터 적어도 하나의 컬러 컴포넌트를 획득하는 것; 및
상기 적어도 하나의 컬러 컴포넌트를 결합함으로써 디코딩된 픽처를 형성하는 것
을 포함하는 장치.
제25항에 있어서, 상기 적어도 하나의 프로세서에 통신 가능하게 결합되어 상기 컬러 픽처를 수신하고 디스플레이하기 위한 디스플레이를 더 포함하는 장치.
프로세서에 의해 실행될 때 상기 프로세서로 하여금 제1항 내지 제3항 중 어느 한 항에 따른 인코딩 방법을 수행하게 하는 명령어들을 저장하고 있는 프로세서 판독 가능 매체.
프로세서에 의해 실행될 때 상기 프로세서로 하여금 제9항 내지 제15항 중 어느 한 항에 따른 디코딩 방법을 수행하게 하는 명령어들을 저장하고 있는 프로세서 판독 가능 매체.