KR20220143932A - 포화된 색들에 대한 개선된 hdr 색 처리 - Google Patents

Abstract

SLHDR의 유형의 HDR 비디오 디코딩에 사용되는 픽셀 색 매핑의 일부 문제들을 완화하기 위해, 제1 최대 픽셀 휘도(PB_C1)의 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)와 함께 인코딩하도록 구성된 고 동적 범위 비디오 인코딩 회로(300)로서, 제2 이미지는 제2 이미지의 대응하는 픽셀 루마들(PO)을 획득하기 위해 고 동적 범위 이미지의 픽셀 루마들(Y_PQ)에 적용할 디코더들에 대한 루마 매핑 함수(400)로서 기능적으로 인코딩되고, 인코더는 루마 매핑 함수(400)를 인코딩하는 메타데이터(MET) 및 고 동적 범위 이미지를 비디오 통신 매체(399)에 출력하도록 구성된 데이터 포맷터(304)를 포함하고, 제2 이미지의 기능적 인코딩은 또한 고 동적 범위 이미지의 픽셀 루마들의 모든 가능한 값들에 대한 승정수(B)를 인코딩하는 색 탐색표(CL(Y_PQ))에 기초하고, 포맷터는 메타데이터에서 이러한 색 탐색표를 출력하도록 구성되는, 고 동적 범위 비디오 인코딩 회로(300)에 있어서, 고 동적 범위 비디오 인코딩 회로는: - 정확한 정규화된 휘도 위치와 동일한 루마 위치에 대한 출력 이미지 루마를, 고 동적 범위 이미지의 픽셀의 루마에 대한 출력 루마로 나눈 비율을 정량화하는 루마 이득 값(G_PQ)을 결정하도록 구성된 이득 결정 회로(302)를 포함하고, 고 동적 범위 비디오 인코딩 회로는 고 동적 범위 이미지에 존재하는 픽셀들의 다양한 루마들에 대한 루마 이득 값의 값들에 기초하여 색 탐색표(CL(Y_PQ))를 결정하도록 구성된 색 탐색표 결정 회로(303)를 포함하는 것을 특징으로 하는, 고 동적 범위 비디오 인코딩 회로(300)가 교시된다. 유사하게, 우리는 동일한 원리들이 SLHDR-유형 비디오 디코더에서 구현될 수 있는 방법을 교시한다.

Description

포화된 색들에 대한 개선된 HDR 색 처리

본 발명은, 특히, 입력 및 출력 이미지들이 고도로 포화된 픽셀 색들을 포함할 때, 입력 이미지로부터의 픽셀들의 휘도의 출력 이미지의 픽셀들의 휘도로의 변경들을 수반하는 동적 범위 변환들을 수행하기 위한 방법들 및 장치들에 관한 것이다.

고 동적 범위 비디오 핸들링(코딩, 디스플레이 적응 등)은 여러 미해결된 의문들 및 문제들이 여전히 나타나는 매우 최근의 기술 분야이다. HDR 텔레비전들(통상적으로 1000 니트(nit) 또는 Cd/m^2 이하의 피크 밝기로도 알려진 최대 디스플레이가능 휘도를 가짐)이 현재 수년 동안 판매되고 있지만, 순수 디스플레이 수행 전에 오는 기술(콘텐츠 제작, 코딩, 색 처리)은 여전히 발명/개선 및 배치할 다수의 솔루션들을 갖는다. 생성 및 통신되었던 다수의 영화들, 및 또한 소수의 초기 방송들이 존재했고, 일반적으로 그 결과는 훌륭하지만, 특정 양태에 대해 추가로 개선할 가능성들이 또한 여전히 존재하며, 따라서 기술은 현재 크게 안정된 단계에 있지 않다.

고 동적 범위 이미지들은, 표준 동적 범위 이미지들(이는 20세기의 후반부에 생성 및 디스플레이되었고, 여전히 대부분의 비디오 기술들, 예를 들어, 지상파 방송으로부터 인터넷을 통한 유튜브 비디오 공급 등에 이르는 임의의 기술을 통한 텔레비전 또는 영화 배포의 주류임)로도 알려진 레거시 저 동적 범위 이미지들에 비하여, 통상적으로 더 인상적인 색들을 갖는 이미지들로서 정의되며, 이는 통상적으로 그들이 더 밝은 픽셀들을 가질 수 있다는 것을 의미한다(인코딩뿐만 아니라 디스플레이됨).

공식적으로, 최소 흑색(MB)으로부터 피크 백색 또는 피크 밝기(PB)까지의 모든 휘도들의 스팬(span)으로서 휘도 동적 범위를 정의할 수 있고, 따라서, 원칙적으로, 매우 깊은 흑색들을 갖는 HDR 영화들을 가질 수 있다. 실용적으로, 주로 유일한 값, 즉, 더 높은 피크 밝기 또는 더 공식적으로 휘도에 기초하여 HDR 이미지들을 정의하고, 핸들링, 예를 들어 색 처리할 수 있다(보통, 이것은 밝은 폭발들이든 단지 금속들 및 보석들 등 상의 더 현실적인 거울 반사 스폿들이든, 사용자들이 가장 관심을 갖는 것이고, SDR 이미지 및 HDR 이미지에 대해 최소 흑색이 동일하다고 실용적으로 진술할 수 있다).

실제로 레거시 시간들로부터, SDR 이미지의 1000:1 휘도 동적 범위는 100 니트 미만(및 0.1 니트 초과)에 속할 것이고, HDR 이미지는 통상적으로 적어도 5배 더 밝은 PB, 따라서 500 니트 이상을 가질 것이라고 진술할 수 있다. 보다 정확하게는, 레거시 SDR 이미지가 명확한 최대 휘도를 갖지 않더라도, 대략 100 니트 디스플레이 피크 밝기(PB_D)의 최종 사용자 디스플레이 상에 그것을 디스플레이할 것이다. 그리고, 새로운 HDR 프레임워크에서, SDR 이미지들을, 그의 가장 밝은 픽셀 루마(pixel luma)가 정확히 100 니트에 대응하는 것으로서 재해석할 수 있다.

여기서 불필요할 수 있는 많은 상세들로 구분하지 않고, HDR 이미지에 메타데이터로서 피크 밝기 번호를 연관시킴으로써 어느 종류의 HDR을 갖는지를 나타낼 수 있다는 점에 유의한다. 이것은 이미지에 존재하는 가장 밝은 픽셀, 또는 더 정확하게는 이미지들의 비디오 내의 가장 밝은 코딩가능한 이미지 픽셀의 휘도로서 간주될 수 있고, 종종 기준 디스플레이를 이미지와 연관시킴으로써 공식적으로 정의된다(즉, 가상 디스플레이를 이미지와 연관시키고, 이때 그의 피크 밝기는 이미지 또는 비디오에 존재하는 가장 밝은 픽셀, 즉 디스플레이 수행을 필요로 하는 가장 밝은 픽셀에 대응하고, 이어서 이미지 픽셀 색 행렬에 추가적인 메타데이터로서 그러한 가상 디스플레이의 이러한 PB_C - 코딩에 대한 C - 를 코딩한다). 숙련된 독자는, HDR 이미지의 코딩 피크 밝기 PB_C가 무엇이든, 각각의 픽셀 휘도를 PB_C로 나눔으로써 정규화된 픽셀 휘도들을 생성할 수 있다는 것을 이해할 수 있다. 정규화된 루마들은 또한 가장 높은 가능한 코드, 예를 들어, 10 비트에서의 1023 등으로 나눔으로써 만들어질 수 있다.

이러한 방식으로, 과도한 양의 비트들(예를 들어, 색 성분 당 16 비트)로 HDR 이미지들을 "부적절하게" 코딩할 필요가 없고, 색 성분들에 대해 10 비트 워드 길이로 기존의 기술을 단순히 재사용할 수 있다(12개 이상의 비트들은 다양한 이유들로 인해, 적어도 가까운 미래에, 전체 비디오 핸들링 체인에서 여러 기술 공급자들에 의해 다소 무거운 것으로 이미 간주되었고, 보통은 전문적인 비-소비자 사용만을 위해 고려되었으며; PB_C 메타데이터는 미래의 시나리오들을 위해 HDR 프레임워크를 용이하게 업그레이드하는 것을 허용한다).

일 양태는 그러한 픽셀 색들이 통상적으로 항상 YCbCr 색들로서 통신되므로 고전적인 비디오 엔지니어링으로부터 재사용하였고, 이때 Y는 소위 루마 성분(이는 휘도에 대한 기술적 코딩임)이고, Cb 및 Cr은 3색 가산 색 정의를 완성하는 청색 및 적색 크로마(chroma) 성분이다.

루마는 비-선형 R'G'B' 색 성분들(프라임(')은 색들의 선형 RGB 성분들로부터의 차이, 말하자면 임의의 특정 색의 디스플레이된 픽셀로부터 나오는 적색, 녹색 및 청색 광자들의 양들을 나타냄)로부터 그리고 다음의 수학식을 통해 정의된다:

[수학식 1]

Y=a1*R'+a2*G'+a3*B'.

3개의 상수들은 RGB 색을 정의하는 특정 원색들에 의존한다(명백히, 적색 원색으로서 50% 매우 포화된 강한 적색의 혼합에 의해 색을 정의하는 경우, 적색이 약한 핑크인 원색들의 세트에서 동일한 R=0.5; G=x; B=x 색 정의보다 더 적색인 색을 얻을 것이다).

사실상, 이러한 상수들 a1, a2, a3는 원색들을 정의하는 색의 각각의 트리플릿에 대해, 수학식 1의 선형 RGB 성분들을 채우는 경우에 정확한(절대적, 또는 통상적으로 피크 백색에 대해 1.0을 갖는 상대적) 휘도를 산출하는 그러한 상수들로서 고유하게 결정된다.

비-선형(프라이밍된) 성분들은 광학-전자 전달 함수를 적용함으로써 선형 성분들로부터 도출된다. HDR에 대해, 이것은 대략 제곱근(SDR의 Rec. 709 OETF)보다 가장 어두운 선형 입력 성분들에 대해 더 가파른 기울기를 갖는 함수, 예를 들어, SMPTE 2084에서 표준화된 지각적 양자화기 함수(Perceptual Qunatizer function)이다.

LDR 시대에는 하이 엔드 비디오에 대해 Rec. 709 원색들만을 사용했기 때문에 많은 논쟁은 없었지만, 이제는 예를 들어 Rec. 2020의 넓은 색역 원색들도 갖는다.

Cb는 이어서 Cb=b1*(B'-Y) 및 Cr=c1*(R'-Y)로부터 뒤따르고, 이때 b1 및 c1은 또한 (1.0으로 정규화된 표현에서 오버플로우를 갖지 않도록) 선택된 원색 시스템으로부터 고정된 상수들이다.

비-선형 R'G'B'가 선형 RGB 성분들과 어떻게 관련되는지(사실상 그들에 대해 어떻게 정의되는지)가 문의할 필요가 있는 제2 질문이다. 선형 성분들은 (적어도 재현가능한 색들의 색역 내에서, 예를 들어, 표준 CIE 1976 u'v' 색 평면 내에서, 예를 들어, 선택된 원색들의 3개의 색도 위치들의 삼각형 내부에서; n.b. 원색들은 원칙적으로 마음대로 선택될 수 있지만, 시장의 실제 디스플레이들에 의해 또한 디스플레이될 수 있는, 즉, 예를 들어, 단일 파장 레이저 원색들이 아닌 그러한 원색들에서 이미지들을 정의하는 것이 타당함) 각각이 가산적으로 생성된 색인 것으로 용이하게 결정되는데, 즉 이것은 기본 색측정으로부터 뒤따른다(임의의 색 - 예를 들어, CIE XYZ 또는 색조, 채도, 휘도 - 에 대해, 평균 관찰자에게 동일한 색을 보여주기 위해, 그러한 원색들을 갖는 특정 디스플레이가 디스플레이해야 하는 대응하는 조건 등색 RGB 트리플릿을 계산할 수 있다).

코딩 시스템, 즉 소위 전기-광학 전달 함수, 또는 대응하는 선형 성분들로부터 비-선형 성분들을 계산하는 그의 역인 광학-전기 전달 함수의 정의, 예를 들어:

[수학식 2]

R'=OETF_PQ(R)

은 기술적 문제이다.

또한, OETF를 적색, 녹색 및 청색 픽셀 색 성분에 적용하더라도, 루마 및 휘도는 동일한 OETF를 통해 관련된다는 것을 수학적으로 입증할 수 있다는 점에 유의한다(무채색 회색은 R=G=B 및 R'=G'=B', 따라서 휘도 L= (a1+a2+a3=1.0])*0.x 및 루마 Y= 1.0*OETF[0.x]=OETF[L]을 갖는다).

예를 들어, LDR 시대에는 Rec. 709 OETF만이 있었던 반면, 그 OETF는 EOTF의 역이고(본 특허 출원에 대한 일부 관련없는 상세들을 단축함), 이것은 상당히 양호한 근사치로 단순 제곱근이었다.

그 후, 오직 10 비트에서 큰 범위의 HDR 휘도들(예를 들어, 1/10,000 니트 - 10,000 니트)을 코딩하기 위한 기술적 문제가 출현했을 때- 이는 제곱근 함수로 가능하지 않음 -, 새로운 EOTF, 소위 지각적 양자화기 EOTF(US9077994)가 발명되었다.

따라서, 이러한 상이한 EOTF 정의, 및 그것에 의해 정의되는 임의의 입력 YCbCr 색은 YCbCr_Rec709인지 또는 YCbCr_PQ인지에 따라 상이한 수치 정규화된 성분들을 분명히 가질 것이다(사실상, 상이한 루마의 무채색 회색들의 Y-축이 이제 수직을 형성하면서, R'G'B' 큐브를 그의 흑색 팁 상에서 돌림으로써 이를 볼 수 있으며: 이어서 다양한 이미지 픽셀 색들은 이러한 동일한 이미지 객체 픽셀 색들이 709-기반 색 큐브 또는 PQ-기반 색 큐브로 표현되는지에 따라, 그러한 수직을 따라 상이한 확산들을 가질 것이다).

YCbCr_PQ 코딩의 이러한 주어진 기술적 사실은 본 출원인이 테크니컬러(Technicolor)와 함께 생성한 HDR 코덱과 조합될 때 새로운 흥미로운 실험적 사실들로 이어질 것이다(WO2017157977 및 ETSI 표준 TS 103 433-2 V1.1.1 "High performace Single Layer High Dynamic Range [ SLHDR ], Part 2" 참조; 및 여기서 본 특허 출원에서는 도 1에서 재요약됨).

도 1은 픽셀들이 스캔-라인에서 차례로(pixel after pixel) 처리되고 있는 YCbCr_PQ 정의된 픽셀 색 입력 이미지(Im_1)를 수집할 수 있는 우리의 디코더를 도시한다. 따라서 이러한 이미지는 예를 들어 블루-레이 디스크로부터 올 수 있고, PQ 정규화된 루마들은 10,000 니트의 PQ 피크 휘도에 대응한다. 예를 들어 SDR 이미지로 다운-그레이딩하는 데 필요한 함수들의 형상은 예를 들어 디스크의 영화가 트랜스코딩되고 있을 때 계산된 (비제한적인) 그레이더(grader), 인간 또는 오토마톤(automaton)으로부터 올 수 있다.

처리 회로들의 상부 트랙(이는 통상적으로 집적 회로 상의 하드웨어 블록들이고, 다양한 구성을 가질 수 있음, 예를 들어 전체 루마 처리 하위-회로(101)는 실제로 LUT, 소위 P_LUT(지각적으로 균일화된 루마들(perceptually uniformized lumas)에서 작동함)로서 구현될 수 있지만, 또한 서브-블록들은 집적 회로의 개별 트랜지스터 계산 엔진들 등으로서 구현될 수 있지만, 우리는 이미지의 외관에 대한 기술적 이점들뿐만 아니라, 임의의 가능한 기술적 문제, 및 특히 여기서 아래에서 핸들링되는 것도 생성하는 블록들에 있는 것으로서 그것을 기술적으로 설명할 필요가 있음)은 픽셀 색의 휘도 처리 부분과 관련된다. 이것은 물론 동적 범위 조정의 가장 흥미로운 부분이며: 예를 들어, 입력, 예를 들어, 1000 니트 PB_C HDR 이미지, 600 니트 출력 이미지로부터 계산할 때, YCbCr 색 공간의 Y-축을 따라 다양한 이미지 객체의 정규화된 픽셀 루마들을 재분배할 필요가 있는데, 즉, 통상적으로 이미지의 더 어두운 픽셀 루마들은 Y 축의 더 밝은(정규화된) 회색들을 향해 상향 시프트할 것이고, 그에 의해 더 밝은 픽셀 루마들을 Y-축의 더 작은 하위-범위로 압축한다. 도 1의 회로의 저부 부분은 특히 픽셀들의 색 채도의 색채 처리를 포함하는데, 그 이유는 우리가 입력 및 출력 이미지에서 동일한 색조를 유지하기를 원하기 때문이며, 이는 양호한 품질의 동적 범위 변환을 위해 또한 잘 처리되어야 한다.

이러한 특정 설명 실시예에서, 출력 픽셀 색은 또한 PQ OETF(또는 기술적으로 정확하기 위해 역 EOTF)로 비-선형으로 정의되어, 예를 들어, 그러한 입력(그러나, 출원인의 접근법에 따른 정확한 색-매핑된, 일명 리-그레이딩된 색들을 가짐)을 예상하는 HDR TV에 직접 투과가능한 비-선형 R'', G'' 및 B'' 성분들을 산출한다.

집적 회로 유닛들 중 일부는 그들이 고정된 곡선, 행렬 승산 등을 적용한다는 점에서 정적이고, 일부 블록들은 그들의 거동을 적응시킬 수 있다는 점에서 동적이다. 특히, 그들은 그들의 함수들의 형상을 - 예를 들어, 가장 어두운 입력에 대해 매핑 함수가 얼마나 예리하게 상승하는지 그리고 그것이 가장 밝은 입력들을 얼마나 강하게 압축하는지 - 잠재적으로 비디오의 각각의 연속적인 이미지에 대해 적응시킬 수 있다. 실제로, 이미지 처리에서의 문제는 콘텐츠의 거의 무한한 변동성이 항상 존재한다는 것이다(입력 비디오는 야간에 발생하는 절도의 어두운 할리우드 영화, 또는 온-라인 게임을 플레이하는 누군가의 밝게 채색된 컴퓨터 그래픽을 뒤따르는 유튜브 영화 등일 수 있는데; 즉, 입력은, YCbCr로서 모두 인코딩되더라도, 콘텐츠가 전문가의 또는 저품질의 임의의 카메라에 의해 자연스러운 장면으로부터 생성되든, 그래픽 등으로서 생성되든, 임의의 이미지에서의 그의 픽셀 색들 및 밝기들에 관해 상당히 달라질 수 있다). 따라서 야간 장면은 예를 들어 화창한 해변 장면 이미지와는 입력 이미지 Im_in의 가장 어두운 휘도들 또는 사실상 루마들에 대해 상이한 매핑을 필요로 할 수 있다.

따라서, 회로들 중 일부(대략 동적 범위 변환기(112), 맞춤화가능한 변환기(113), 및 색 탐색표(color lookup table)(102))는 가변-형상 함수들을 적용할 수 있고, 그 형상은 이미지-관련 정보(199)의 소스로부터의 파라미터들에 의해 제어된다. 통상적으로, 이러한 소스는 이미지들(Im_in) 및 메타데이터(MET)를 공급받고, 후자는 그러한 동적 회로들이 적용하는 다양한 루마 매핑 함수들의 형상을 결정하는 파라미터들을 포함한다. 이러한 리-그레이딩 함수 메타데이터는 콘텐츠 생성(인코더) 측으로부터 통신되고, 임의의 비디오 통신 네트워크(케이블, 인터넷 등)를 통해 통신되고, 디코더 내의 또는 디코더에 접속된 메모리에 임시로 저장될 수 있다. 디코더는 이어서 비디오의 생성자가 규정한 그러한 매핑들을 적용할 수 있다.

이미지 내의 픽셀 색들은 YCbCr_PQ로서 들어오는데, 즉 3개의 비-선형 R', G' 및 B' 성분 모두가 지각적 양자화기 함수로 인코딩된다. 루마 성분은 휘도 계산 회로들(129)이 계산하도록 구성되는 PQ EOTF를 통해 송신된다(무채색 회색들에 대해, 이것은 문제 없이 행해질 수 있는데, 그 이유는 그러한 루마 코드들이 다양한 정규화된 휘도들을 고유하게 표현하기 때문이다).

후속하여, 이러한 정규화된 휘도 L은 지각화기(perceptualizer)(111)에 의해 물리시각적으로 지각적으로 균일화되어, 지각적으로 균일한 휘도들 PY를 출력으로서 산출한다. 이는 아래의 수학식들에 의해 수행된다:

[수학식 3]

RHO(PB_C_HDR)= 1+32*power[PB_C_HDR/10,000; 1/(2.4)]

PY=log10[1+(RHO(PB_C_HDR)-1)*power[L; 1/(2.4)]]/ log10[RHO(PB_C_HDR)]

우리는, 이러한 지각화에서, HDR 입력 이미지에서 코딩가능한 가장 큰 값, 즉, 통상적으로 메타데이터(MET)의 일부로서 또한 통신될 수 있는 (즉, 디스플레이될) 이미지에서 발생할 수 있는 가장 큰(절대) 픽셀 휘도 PB_C_HDR에 대한 의존성을 안다. 사실상, 이것은 특정 입력 피크 밝기로부터 출력 피크 밝기까지 이미 이미지 픽셀 루마들, 및 궁극적으로는, 디스플레이될 때, 휘도들의 상당히 합리적인 분포를 제공하지만, 더 나은 품질의 그레이딩된 이미지들을 갖기 위해 콘텐츠 생성자(인코딩 측)는 추가의 구성가능한 회로들(즉, 112 및 113)에서 루마들을 계속 리-매핑할 수 있다.

후속하여, 대략 동적 범위 변환기(112)는 대략 양호한 동적 범위 감소 함수를 적용하고, 그 형상은 상징적으로 제곱근으로서 도시되고(출원인에 의해 유용한 것으로 발견된 실제 함수는 포물선 세그먼트가 사이에 있는, 그 기울기가 메타데이터에 의해 구성가능한 2개의 선형 세그먼트로 구성되고, 관심있는 독자는 SLHDR ETSI 표준에서 그 상세들이 본 논의와 무관하기 때문에 그 상세들을 발견할 수 있음), 이러한 함수는 이미지 스캔을 따라 현재 처리되는 픽셀들의 세트의 입력된 지각적으로 균일한 휘도들 PY로부터 대응하는 대략 루마들 CY를 계산한다. 아이디어는 HDR의 더 어두운 픽셀들을 더 밝은 것들에 비해 상대적으로 밝게 하는 것이고, 이것은 많은 상황들에 대해 이미 충분할 것이며, 따라서 전체가 더 작은 동적 범위에 맞는다.

후속하여, 맞춤화가능한 변환기(113)는 추가의 선택가능한(예를 들어, 콘텐츠 생성 측에서 RAW 캡처된 비디오 또는 영화를 인코딩하고, 그 후 메타데이터로서 비디오로부터의 이러한 특정 이미지 또는 연속 이미지들의 런의 리-그레이딩에 가장 적절한 그의 선택된 함수를 통신하는 색 그레이더 또는 셰이더의 제어 하에 결정된) 휘도 매핑 함수를 이전에 획득된 대략 루마들 CY에 적용하여 지각적 출력 루마들 PO를 획득한다. 이러한 매핑 함수의 형상은 마음대로 결정될 수 있다(예를 들어, 함수의 해당 부분을 함수의 나머지에 대한 트렌드 위로 올림으로써, 이미지 내의 소정의 중요한 객체 또는 영역에 대응하는 휘도들의 서브-세트에서 콘트라스트를 높일 수 있다).

우리는 이러한 함수를 S-형상 함수, 즉, 상부 및 하부 입력 휘도 하위-범위에서 비교적 약한 기울기 및 중간에서 가파른 기울기를 갖는 함수인 것으로(비제한적으로) - 도시된 바와 같이 - 가정할 것이다. 본 발명은 맞춤화가능한 변환기(113)에 의해 적용되는 S-형상 함수들로 제한되지 않고, 특히 입력 루마들의 최저 하위-범위(예를 들어, 0.0 입력 값에서 시작하고 소정의 값 0.x, 통상적으로 0.5 미만에서 끝남)에서 변화하는 기울기 거동이 있는 임의의 시나리오, 예를 들어, 입력 루마들의 최저 하위-범위의 더 밝은 픽셀들에 대한 기울기에 비해, 바로 그 가장 어두운 픽셀들에 대한 비교적 낮은 기울기 또는 평균 기울기를 갖는 유형에 특히 유용하다. 시작 포인트(0.0, 0.0)로부터 공식화된 기울기를 고려할 수 있다.

마지막으로, 지각적 출력 루마들 PO(즉, 이는 현재 이미지 콘텐츠가 필요로 할 때 완전히 휘도가 리-그레이딩되었음, 즉, 입력 마스터 HDR 이미지에 대응하는 최상의 리-그레이딩된 이미지(예를 들어, PB_C=100 니트를 갖는 출력 SDR 이미지로서 출력됨)를 제공함, 예를 들어, 밝기 및 콘트라스트를 그들이 감소된 동적 범위가 허용하는 한 마스터 HDR 이미지에서 갖는 시각적 영향만큼 가능한 한 가깝게 보이게 함, 또는 대안적으로 적어도 적절한 보기 또는 잘 보일 수 있는 이미지 등을 산출함)는 선형화기(114)에 의해 정규화된 출력 휘도들 L_out으로 다시 선형화되고, 선형화기는 수학식 3의 역방정식들을 사용하지만, 이제 PB_C_OUT 값을 갖는다. 우리는, 설명 목적들을 위해, 디코더는 입력 HDR 이미지를 SDR 이미지, 즉, PB_C_OUT=100 니트(표준화에 의해 합의됨)로 다운-그레이딩하지만, 또한 그것은 예를 들어 650 니트 HDR 출력 이미지 등으로 다운-그레이딩할 수 있다고 가정할 것이다(그러면 함수들은 다소 상이한 형상을 가질 것이지만, 그러한 디스플레이 적응 상세는 또한 본 출원의 새로운 기술적 원리들을 이해하는 데 유용하지 않고, 상기 ETSI 표준에서 발견될 수 있다).

더 낮은 트랙은 색채 처리, 또는 환언하면 휘도 처리에 속하는 3D 색 처리의 완료와 관련된다(그 이유는 크로마 성분들을 주의 깊게 취급하는지의 여부에 관계없이 사실상 색 이미지들에 대한 임의의 휘도 처리가 사실상 3D 색 처리이기 때문이다). 이것은 회색 축 상의 무채색들에 대한 동적 범위 변화 거동보다 기술적으로 더 흥미롭게 되는 경우이다.

루마가 통상적으로 색의 밝기를 정량화하는 경우, Cr 및 Cb는 그의 색조(Cb/Cr의 비율) 및 그의 채도(Cb 및 Cr의 크기)를 정량화한다. 공식적으로, Cb 및 Cr은 색차들이다.

게다가, 우리의 코덱 처리 회로는 선택된 바와 같은 형상을 갖고 메타데이터에 의해 다시 구성가능한 Y_PQ의 함수를 지정하는 색 탐색표(102)를 갖는다. 따라서 색차들의 처리는 양 색차들에 동일한 상수 B를 곱한 것에 의해 정의되고, 이러한 상수는 임의의 처리된 픽셀의 루마 Y_PQ의 함수이고, 이러한 함수의 형상, 즉 임의의 가능한 Y_PQ에 대한 B(Y_PQ)의 각각의 개별 값이 또한 구성가능하다.

이러한 LUT의 주요 목적은 변경된(동적 범위 조정된) 정규화된 루마 Y에 대한 Cb 및 Cr 성분들의 너무 많거나 너무 적은 양을 적어도 정정하는 것일 것인데, 그 이유는 실제로 Cb 및 Cr이 이러한 색 공간 표현 YCbCr에서 루마와 공동-진화하지만(색의 채도는 사실상 Cb/Y 및 Cr/Y에 관련됨), 이미지의 다른 비색 양태들이 그와 함께 변경될 수 있기 때문이며, 예를 들어, 밝은 청색 하늘의 채도를 조정할 수 있다. 임의의 경우에, 색 LUT CL(Y_PQ)가 적어도 현재 비디오 이미지를 처리하는 동적 범위에 대해 로딩되고 있다면, 색 탐색표(102)는 각각의 실행중인/색-처리된 픽셀의 Y_PQ 값에 대한 승수 B를 산출할 것이다. 픽셀의 입력 크로마 성분들 Cb_PQ 및 Cr_PQ는 승산기(121)에 의해 이러한 값 B에 의해 승산되어 정정된 크로마 성분들 CbCr_COR을 산출할 것이다. 그 후, 행렬화 연산이 행렬화기(122)에 의해 적용되어 - 그 상세들은 ETSI 표준에서 발견될 수 있음 -, 정규화된 R'G'B'_norm 성분들을 얻는다. 이러한 성분들은 그들이 0.0과 1.0 사이의 비-선형 색 큐브 내에 놓인다는 일반적인 의미에서, 그러나 그들이 동적 범위가 없다는 의미에서(모두 함께 클러스터링됨, 보통의 듀오 대신에 트리오로서의, 즉, 아직 어떠한 휘도 또는 루마도 갖지 않는 단지 "색도들") 정규화되지 않는다. 따라서 실제의 정확한 3D 색을 획득하기 위해, 그들은 루마, 정확하게는 우리가 상부 루마-처리 하위-회로에서 최적으로 결정한 루마와 곱해져야 한다. 이를 위해, 정규화된 출력 휘도 L_out은 PQ OETF 회로(115)가 수행하는 PQ OETF에 의해 매핑될 필요가 있다. 승산기(123)는 색채 하위-회로의 출력인 3개의 정규화된 R'G'B_norm 성분들의 이러한 정확한 승산 스케일링을 수행한다.

마지막으로, 지각적-양자화기-정의 적색, 녹색 및 청색 성분들 R''G''B''_PQ는 예를 들어, 그러한 입력을 이해하도록 구성되는 HDR 디스플레이에 직접 송신될 수 있고, HDR 디스플레이는 그러한 입력을 직접 디스플레이할 수 있다(예를 들어, 650 니트 PB_C 출력 이미지는 650 니트 실제 DISPLAY 피크 휘도 PB_D 디스플레이를 구동하기 위해 우리의 기술에 의해 최적화되었을 수 있고, 따라서 이러한 디스플레이는 공급된 이미지들에 인코딩된 휘도 범위와 그의 디스플레이 수행 능력들 사이의 차이들을 어떻게 핸들링할지를 스스로 알 필요가 없다). 본 기술적 혁신을 설명하기 위해, 우리가 여기서 기본적인 핵심 기술적 요소 거동을 설명했다는 점에 유의한다. ETSI에 의해 표준화된 바와 같은 실제 SLHDR 디코더에는 또한 흑색 제한기 회로 서브-유닛이 존재하지만, 그것은 본 접근법에 필수적이지 않고, 따라서 그의 설명에 필수적이지 않다(흑색 제한기는 다양한 실시예들에서 존재할 수 있거나 존재하지 않을 수 있고, 따라서 도입부에서의 그에 관한 논의는 본질적인 교시들보다 메시지의 더 많은 확산을 생성할 것이지만, 관심있는 독자에 대해서는 우리가 도 5의 그러한 변형을 보여준다). 또한 대략 동적 범위 변환기(112)의 대략 동적 범위 변환은 일부 실시예들에서 선택적일 수 있다는 점에 유의하며: 그의 형상 제어 파라미터들을 설정하여 아이덴티티 변환을 수행하고, 맞춤화가능한 변환기(113)의 맞춤화가능한 매핑만을 적용하게 할 수 있다. 예를 들어 접속된 디스플레이에 대한 출력과 같은 추가 수정들이 있을 수 있고, 또는 이미지를 저장하는 것이 반드시 PQ YCbCr에 있을 필요는 없지만, 그러한 복잡성이 또한 우리의 상세한 교시들의 핵심을 방해한다.

다양한 이미지들의 이러한 비색 최적화는, 우리의 다양한 유닛들이 모든 상황들 및 응용들(예를 들어, 오프-라인 그레이딩된 영화 콘텐츠 대 실시간 방송 등)에 대한 최상의 접근법을 제공하기 위해 수년에 걸쳐 설계되었기 때문에 약간 복잡하지만, 다양한 기술적 고려사항들 및 제한들이 주어지면, 이제 이해될 수 있고, 또한 많은 상이한 입력 이미지 상황들의 대부분에서 매우 만족스럽게 작동한다.

그러나, 도 2에 의해 설명된 바와 같이, 색 디코딩이 여전히 개선될 수 있는 몇몇 다소 흥미로운 상황들이 존재한다. 이러한 문제는 교시된 바와 같이 새로운 기술적 요소들로 핸들링될 것이다.

도 2a는 루마 Y 대신에 정규화된 휘도 L을 수직 축으로서 사용하는 경우에 형성할 수 있는 이상적인 YCbCr 색 공간을 도시한다. 이러한 색 공간은 다음의 의미에서 이상적이다. 특정 색조의 청색은 이러한 다이아몬드 형상을 통해 삼각형 수직 섹션 내에 놓인다. 더 포화된 색들은 수직으로부터 더 큰 각도를 갖고, 따라서 색(201)은 동일한 색조의 청색이지만, 덜 포화된 연한 청색이고, 색(202)은 더 포화된 청색이다. 그러한 색들 양쪽 모두는 동일한 휘도일 수 있고, 이것은 중심에서 수직 축의 휘도 스케일(예를 들어, 휘도 레벨 L1 대 L2)로 용이하게 판독될 수 있다. (픽셀) 색(201) 및 (픽셀) 색(202)의 휘도가 동일하기 때문에, 즉 L1이기 때문에, 우리는 상이하게 채색된 픽셀들 양쪽 모두가 동일한 휘도를 갖는다는 것을 검증할 수 있다.

그러나, 비색적으로 고유한 휘도들과 대조적으로, 루마들은 인간 시각에 대해 완벽한(사용하기 쉬운, 균일한, 기타 등등의) 색 표현이도록 결코 설계되지 않았고, 오히려 색들의 트리플릿을 예를 들어 3×8 비트로 또는 오늘날에는 HDR에 대해 통상적으로 3×10 비트로 코딩하는 것을 용이하게 하는 시스템을 위해 설계되었다(독자는 이러한 3×10 비트가 SDR보다 단지 몇 배가 아니라 100배까지 더 밝은 그리고 부가적으로 또한 훨씬 더 어두운 HDR을 코딩할 수 있다는 것을 통지받는다). 따라서 루마들 및 특히 YCbCr 색 표현들은 색 처리가 아니라 주로 (가역적) 코딩을 위해 설계되었다.

이러한 코딩은 원칙적으로 용이하게 수학적으로 가역적이어서, 항상 - 코딩 시스템이 그의 주요 특성으로서 가질 것으로 가정되기 때문에 - 수신된 YCbCr 픽셀 색 코딩들로부터 원래 의도된 (선형) RGB 성분들을 재도출하고, 이어서 그들을 디스플레이할 수 있다. 그리고, 또한 휘도를 도출할 수 있다.

그러나, 현재 HDR 시대 비디오들에 대해 (필요한) 더 진보된 디코딩을 수행하기 시작하는 경우, 일부 불편한 문제들이 발생할 수 있다. 사실상, 도 2b에 도시된 바와 같이, 유채색들(즉, 이는 순수 회색들이 아님, 이러한 순수 회색들은 수직 축 상에 속하고, Cb=Cr=0 성분 값들을 가짐)에 대해, 루마 Y는 픽셀 휘도(즉, 원래의 선형 RGB 성분들에 대해 수학식 1을 적용하는 것으로부터 바로 뒤따르는 휘도)를 더 이상 정확하게 또는 고유하게 코딩하지 않으며, 즉, 그것은 L=EOTF(Y)를 계산함으로써 휘도로 변환될 수 없다. 사실상, 색의 임의의 선택된 고정된 휘도 값 L에 대해, 대응하는 루마 Y는 색의 채도 S가 더 높을수록 더 낮아진다. 사실상, 도 2d에 예시된 바와 같은 통상적인 상황은, 우리가 객체 - 예를 들어 자주색 꽃 - 를 갖고, 꽃의 모든 픽셀들에 대해 더 많거나 더 적은 동일한 균일한 조명 및 따라서 더 많거나 더 적은 동일한 휘도를 갖지만, 픽셀들에 대해 상이한 채도들을 갖는 경우, 루마들의 정규화된 수평 축 상에 매핑될 때 픽셀 휘도들의 엄격한 거의 단일 값 히스토그램(205)(수직 축 카운트 N(L_in)에 대응함)이 더 낮은 정규화된 (입력) 값에 위치될 뿐만 아니라, 더 확산된 대응하는 루마 히스토그램(206)(카운트 N(PY))을 얻는다는 것이다. 우리가, 무채색 픽셀들에 대해, 루마 Y가 (OETF 형상: Y="L_in"= OETF(픽셀 휘도)로 리매핑함으로써) 정규화된 휘도에 고유하게 대응한다는 것을 알기 때문에, 우리는 주어진 OETF에 의해 정의된 루마 축 상의 위치에 정규화된(또는 절대) 휘도들을 매핑할 수 있다.

이것은 여러 문제를 야기한다. 첫째, 우리가 루마 값 Y를 보는 것만으로부터, 즉, EOTF를 Y에 적용함으로써 우리는 어느 휘도를 갖는지를 정확히 알지 못하고, 이것은, 도 1의 디코더와 같이, 자연적 3D 방식으로, 그러나 1D+2D 방식으로는 실용적인 이유로 3D 색측정을 핸들링하지 못하는 프레임워크들에서 문제를 이미 제기할 수 있다. 실제로, 이론적으로는, Cb 및 Cr의 픽셀에 대한 특정한 값들의 정정 의존성을 도입할 경우 모든 것을 정확하게 수행할 수 있지만, 일부 사전설계된 색 처리 토폴로지들에서는 가능하지 않을 수 있다. 또한, 알 수 있는 바와 같이, 이미 입력 이미지가 휘도가 아니라 픽셀 루마에 의해 코딩되어 있기 때문에, 우리는 휘도 또는 밝기 리-그레이딩 함수들을 (지각적으로 균일화된) 루마들에 실제로 적용한다. 따라서, 우리는 적어도 이론적으로는, 잘못된 무언가를 행할 수 있다.

그럼에도 불구하고, 이것은 보통은 (실제) 문제가 아니며, 많은 상이한 종류의 이미지 콘텐츠를 이용하여 지난 수년에 걸쳐 테스트된 바와 같이, 기술을 실용적으로 보는 것은 합리적인 관심사가 되기에 충분한 에러 크기를 갖는 것으로 보이지 않는다. 따라서, 도 1의 처리를 간단히 행함으로써 대부분의 시간이 모두 양호하게 진행된다고 주장할 수 있으며, 때때로 출력 이미지가 완벽하지 않은 경우라면, 그러한 문제를 수용할 것이다.

그러나, 상황들의 매우 특정한 결합에서, 여기서 아래에 제시되는 개선 솔루션을 보증하기 위해 상당히 큰 이미지 아티팩트들을 볼 수 있다. 이것은, 한편으로는, 매우 포화된 색들을 갖고(예를 들어, Rec. 2020에서, 고도로 포화된 색들을 만들 수 있고; 정상적으로는 발생하지 않을 것인데, 그 이유는 이러한 색들이 실생활에서 거의 발생하지 않기 때문이며, 대부분의 정상 이미지 색들은 그러한 포화된 기초의 색 원색들이 더 많은 불포화된 CbCr 값들을 가질 것이지만, 적어도 이론적으로 가능하기 때문임), 다른 한편으로는, 대략 동적 범위 변환기(112)의 매끄러운 대략 휘도 매핑 함수만을 적용하지 않고, 또한 예를 들어, 후속하여 맞춤화가능한 변환기(113)에서와 같이, 그 안에서 불편한 벤딩들을 갖는 일부 더 진보된 함수, 또한 낮은 입력 루마들 CY에 대응하는 출력 PO 값들에 대해 낮은 값들을 갖는 S-곡선(이는 도 2d에 도시된 바와 같이 그들의 휘도들에 비해 부정확하게 너무 낮고, 또한 객체들 상의 다양한 포인트들에 대해 잠재적으로 차등적으로 상이할 것임)을 적용하는 것을 선택할 때 발생할 수 있다. 즉, 특히, 이러한 전체 처리로 인해 객체를 따른 출력 색, 특히 휘도의 변화들이 문제가 되는 것으로 보일 수 있다. 애석하게도, 특허 시스템은 실제 색 이미지들을 특허 출원 명세서에 포함시키는 것을 허용하지 않지만, 도 2c는 예를 들어 포화된 자주색 꽃에서 보일 것을 상징화하며: 꽃 내의 특정 장소들에 어두운 얼룩들(203)이 있을 수 있거나, 마이크로구조(204)의 과도한 가시성이 있을 수 있고, 이는 정상적으로는 꽃에서; 입력 이미지에서, 실세계에서 보이지 않을 수 있다. 양호한 보이는 꽃은 상당히 매끄럽거나, 적어도 점진적으로 변화하는 휘도로, 그러한 예리하고 마킹된 변화들 없이, 보일 것이고, 이는 색-처리될 색들 중 일부가 그러한 전체 휘도 리-그레이딩이 충분히 상당히 변화하는 포인트에 걸치는 상이한 PY 값들로 동등하게 점프하는 것에 기인한다.

도 2d에서, 픽셀들이 수신될 때의 픽셀들의 정규화된 (색도-의존적) 루마(PY)와 정규화된 휘도(또는 더 정확하게는 휘도-루마, 즉, 루마 1이 무채색 축 상에서 얻어질 수 있음, 즉, 루마 PY의 픽셀의 정확한 휘도) L_in 사이의 차이들은 각각의 루마 히스토그램(206)과 휘도 히스토그램(205)(N은 각각의 값에 대한 카운트들을 나타냄)에 의해 도시된다. 단일 픽셀에 대해, 물론 하나의 루마 PY와 하나의 대응하는 정확한 휘도 L_in이 있을 것이지만, 우리는, 예를 들어, 꽃과 같은, 특정한 평균 휘도 및 채도의 객체의 다수의 픽셀들에 대한 확산을 도시한다. 우리는, 예를 들어, 포화된 자주색 꽃이 균일하게 조명된다면 단지 소수의 휘도 값들이 있을 수 있지만, 꽃 픽셀들에서 상이한 색 채도들이 있을 수 있기 때문에, 루마 히스토그램은 더 확산될 수 있다는 것을 안다. 임의의 경우에, 그들은 휘도들의 1차원 대표들에 관하여 "부정확"하다. 아래에 보여질 바와 같이, 이것은 우리의 SLHDR 디코딩 접근법에서의 처리 에러들을 유발할 수 있고, 이는 반대-정정될(counter-corrected) 필요가 있을 것이고, 특히 교시되고 청구된 바와 같이 반대-정정될 필요가 있을 것이다.

문제들을 용이하게 해결할 수 있는 더 나은, 상이한 3D-기반 디코딩 시스템을 바로 구축하는 것을 이론적으로 고려할 수 있지만, (별개의 휘도 처리와 색채 처리를 갖는) 실제의 기술적으로 제한된 이미 배치된 비디오 생태계에서 이것은 실제로 용이하게 이루어지지 않는다. 임의의 경우에, 우리가 그러한 인코더와 대응하는 디코더를 가지고 있다면, 역시 마지막 사소한 불편함들, 구체적으로는 포화된 색도 객체들에서의 소정의 부정확한 휘도에 대해 개선하기 위해, 변경할 수 있는 것은 그다지 많지 않고, 따라서 실용적 솔루션을 위해 진행하려고 하는 것은 전적으로 소정의 사고와 실험을 수반할 수 있다.

다음의 종래 기술의 문헌들이 발견되었고, 그들의 부수적이고 불충분한 중요성이 짧게 논의된다.

본 출원인의 관심있는 일부 배경 교시들은 다음과 같다.

EP3496028은 출원인의 기본 루마 처리 및 병렬 색차 처리 인코딩 또는 디코딩 픽셀 파이프라인의 다른 개선을 교시하는데, 즉, 특정 루마 매핑들 하에서, 일부 출력 색들, 또는 특히 그들의 루마들은 코딩가능한 색역의 상한 위로 떨어질 수 있다. 따라서, 그들을 색역 내에 유지하고, 더 어두운 색들을 바람직하게 너무 많이 괴롭히지 않는 전략이 필요하다. 게다가, 루마의 3D 색역 내부의 최고 영역들로의 안쪽으로의 특정 매핑이 교시된다. 루마 다운매핑의 일부는 채도 감소에 대해 상호교환될 수 있고, 따라서, 과도하게 다운-매핑될 필요가 있지만, 필요한 루마 다운맵의 특정 백분율에 대해 중립 회색들의 축을 향해 매핑할 수도 있고, 이에 의해 가장 밝은 색들을 다소 불포화시킨다. 임의의 경우에, 이것은 본 발명에서와 같이 G_PQ 계산에 의해, 그리고 또한 색역의 다른 범위에서의 상이한 색 문제들에 대해 발생하지 않는다.

WO2017/157977은 이미지 내의 가장 어두운 루마들에 대한 특정 루마 처리에 관한 것이다. 예를 들어, 비디오 콘텐츠 생성자는 1차 마스터 HDR 이미지로부터 결정가능한 2차 이미지의 색들을 일부 어두운 픽셀들에 대해 과도하게 깊게 만들기를 원할 수 있으며, 이는 디코딩을 위한 역 루마 매핑의 품질에 영향을 줄 수 있다. 게다가, 2개의 대안적인 루마 매핑들의 병렬 전략이 교시되며, 여기서, 제2의 더 안전한 루마 매핑은 콘텐츠 생성자의 문제가 있는 원하는 루마 매핑 곡선들에 대해 킥인(kick in)할 수 있다. 색차 매핑의 표준 수단을 단순히 언급하는 것을 넘어서, 이 발명은 본 출원에서와 같이 색차 매핑의 특정 상세들에 관한 것이 아니다.

US2018/0005356은 HDR 픽셀 루마들의 가장 어둡고 가장 밝은 하위-범위에 대한 구성가능한 선형 기울기에 의한 특히 대략 양호한 루마 매핑에 관한 것이며, 이때 그 사이에는 포물선 평활 매핑이 있다. 그러한 루마 매핑은 우리의 접근법의 루마 처리 트랙에 적용될 수 있거나 적용되지 않을 수 있지만, 색 LUT를 이용한 색차 처리에 관한 교시는 아니다.

드물게 발생하는 이미지 픽셀 색들에 대한 SLHDR 시스템에서의 나머지 문제들은, 제1 최대 픽셀 휘도(PB_C1)의 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)와 함께 인코딩하도록 구성된 고 동적 범위 비디오 인코딩 회로(300)로서,

제2 이미지는 제2 이미지의 대응하는 픽셀 루마들(PO)을 획득하기 위해 고 동적 범위 이미지의 픽셀 루마들(Y_PQ)에 적용할 디코더들에 대한 루마 매핑 함수(400)로서 기능적으로 인코딩되고,

인코더는 루마 매핑 함수(400)를 인코딩하는 메타데이터(MET) 및 고 동적 범위 이미지를 비디오 통신 매체(399)에 출력하도록 구성된 데이터 포맷터(data formatter)(304)를 포함하고,

제2 이미지의 기능적 인코딩은 또한 고 동적 범위 이미지의 픽셀 루마들의 모든 가능한 값들에 대한 승정수(multiplier constant)(B)를 인코딩하는 색 탐색표(CL(Y_PQ))에 기초하고, 이러한 승정수들은 픽셀들의 색차들(Cb, Cr)에 의한 승산을 위한 것이고, 포맷터는 메타데이터에서 이러한 색 탐색표를 출력하도록 구성되는, 고 동적 범위 비디오 인코딩 회로(300)에 있어서,

고 동적 범위 비디오 인코딩 회로는,

- 각각의 픽셀이 루마 및 2개의 색차들을 갖는, 고 동적 범위 이미지(IM_HDR)의 픽셀들을 수신하고, 각각의 픽셀에 대해, 각각의 픽셀의 루마의 정규화된 휘도와 동일한 루마에 대한 제1 출력 루마를, 픽셀의 루마에 대한 제2 출력 루마로 나눈 비율을 정량화하는 루마 이득 값(G_PQ)을 결정하도록 구성된 이득 결정 회로(302)를 포함하고, 제1 출력 루마는 루마 매핑 함수를 정규화된 휘도에 적용함으로써 획득되고, 제2 출력 루마는 루마 매핑 함수를 픽셀의 루마에 적용함으로써 획득되고;

고 동적 범위 비디오 인코딩 회로는 고 동적 범위 이미지에 존재하는 픽셀들의 다양한 루마들에 대한 루마 이득 값의 값들에 기초하여 색 탐색표(CL(Y_PQ))를 결정하도록 구성된 색 탐색표 결정 회로(303)를 포함하고, 루마들(Y_PQ)의 가능한 값들의 적어도 서브-세트로부터의 루마들에 대한 승정수들(B)의 값들은 해당 루마들에 대한 결정된 루마 이득(G_PQ)의 값과 상관되는 것을 특징으로 하는, 고 동적 범위 비디오 인코딩 회로(300)에 의해 완화될 수 있다.

분명히 하기 위해, 이러한 인코딩 회로는 HDR 이미지뿐만 아니라, 통상적으로 더 낮은 동적 범위의 적어도 대응하는 2차 그레이딩된 이미지, 및 보통 PB_C_SDR=100 니트의 표준 동적 범위 이미지를 통신한다. 이것은 수신기들이 휘도-매핑-방식으로 수신 측에서 디스플레이의 피크 휘도 능력(PB_D)보다 훨씬 위에 있는 피크 휘도 PB_C를 갖는 고품질 HDR 이미지(IM_HDR)를 수신할 때 무엇을 해야 할지를 추정할 필요가 없는 것을 보장한다. 실제로, 루마 매핑 함수에 의해, 콘텐츠 생성자, 예를 들어, 그의 색 그레이더는 수신기가 입력 HDR 이미지에서의 모든 휘도들을 대응하는 SDR 휘도들에 대해 어떻게 매핑해야 하는지(예를 들어, 어두운 동굴 내의 음영 영역은 SDR 이미지에서 또한 충분히 밝게 유지되어야 하므로, 거기서 칼을 숨긴 남자가 여전히 충분히 보일 수 있고, 너무 눈에 띄지 않지만, 또한 거의 보이지 않는 등)를 그의 소망들에 따라 구체적으로 결정할 수 있다. 각각의 이미지 - 또는 다수의 시간적으로 연속적인 이미지들 - 에 대해 적어도 하나의 루마 매핑 함수(400)를 통신함으로써, 독자는 이러한 함수에 의해 각각의 입력 픽셀 루마에 대해 하나의 대응하는 출력 루마(또는 무엇이든 루마 매핑이 대응하는 EOTF에 의해 지정된 루마 코딩 시스템으로부터의 선형화 후의 휘도)를 계산할 수 있다는 것을 이해한다. 즉, 예를 들어, 입력 픽셀들은 2000 니트 PB_C 그레이딩되고 인코딩된 이미지(인코딩은 통상적으로 적어도 YCbCr에 대한 매핑을 수반함)로부터 나오고, 출력 픽셀들은 SDR 이미지 픽셀들이다(통상적으로 함수가 어느 종류의 이미지에 관련되는지를 지정하는 메타데이터가 있을 것이고, 이는 SLHDR에 따라, 통상적으로 적어도 HDR 이미지의 PB_C_HDR, 즉, 예를 들어, 2000 니트일 것이라는 점에 유의한다). 사실상, 이러한 2개의 참조 그레이딩들을 통신함으로써, 수신 측은 또한 디스플레이 적응 또는 디스플레이 튜닝이라고 하는 프로세스에 의해, 100 니트와 PB_C_HDR 사이의 PB_C를 갖는 이미지들을 만들어야 한다는 것을 이해할 것이고, 이는 콘텐츠 생성자로부터 수신된 바와 같은 루마 매핑 함수로부터 다른 루마 매핑 함수를 지정하는 것을 수반하지만(ETSI 표준 참조), 그 상세들은 본 논의와 크게 관련되지 않는데, 그 이유는 아래에 설명되는 원리들이 준용될 것이기 때문이다. 즉, 메타데이터는 2차적인 상이한 동적 범위(통상적으로 SDR) 이미지를 기능적으로 공동-인코딩하는 데 필요한 유일한 정보인데, 그 이유는 수신기들이 메타데이터에서 공동-통신된 상기 함수들을 실제로 수신된 YCbCr 픽셀 색 행렬 이미지 IM_HDR의 픽셀 색들에 적용함으로써 그의 픽셀 색들을 계산할 수 있기 때문이다.

본 발명자는, 제1 단계로서, PQ 도메인에서 루마 이득 값(G_PQ)이 계산될 수 있으며, 이는 무채색 축 상의 값(즉, 현재 색의 휘도가 해당 무채색 루마 값에 PQ EOTF를 적용함으로써 고유하게 결정될 수 있는 경우)에 비해 특정 색도에 대해 얼마나 많이 루마 값이 내려갔는지를 정량화한다는 것을 깨달았는데, 그 이유는 유채색이 동일한 휘도, 및 0으로 설정된 크로마들을 갖는 대응하는 회색과 같은, 무채색 축 상에서 판독가능한 바와 같은 휘도-루마를 가져야 하기 때문이다(도 2b 참조).

또한, 본 발명자는 픽셀의 크로마들에 이러한 동일한 루마 이득 값을 적용함으로써 매우 만족스러운 결과들이 달성될 수 있다는 것을 실험적으로 깨달았다. 이것은 색에 대한 소정의 채도 에러를 제공할 수 있지만, 이는 원래의 휘도 에러들보다 훨씬 덜 눈에 띄며, 실제로 그러한 높은 색 채도 객체 문제들을 갖는 이미지들에 대해 수용가능하다.

상관은, Y_PQ의 가능한 값들 중 임의의 특정 값에 대한 루마 이득 값(G_PQ)의 산재된 값을 보는 경우(이는 통상적으로, 소정의 정밀화 단계로 정규화되는데, 즉 0과 1 사이에 속하고, 색 LUT 엔트리들의 수 또는 루마 엔트리들의 수에 대응함), 색 LUT 내의 해당 위치에 대한 B의 값이 G_PQ 값들이 놓여 있는 곳과 대략 동일할 것임을 의미한다. 다양한 알고리즘들은 색 LUT의 형상, 즉 Y_PQ (B[Y_PQ])의 함수로서의 B의 변수 값들의 함수가 G_PQ 값들의 산재된 클라우드와 얼마나 대략 공간적으로 공존할지를 결정할 수 있다. 예를 들어, 한편으로는, 이미지의 픽셀들의 (기하학적) 서브-세트 및 그들의 대응하는 Y_PQ 및 G_PQ 값들만이 산재 플롯(scatter plot)에 기여할 수 있다(예를 들어, 구체적으로 이미지 내의 어느 곳에서 도 2c에서 설명된 바와 같은 유형의 상당한 아티팩트들이 발생하는지에 대한 검출기가 존재할 수 있고, 그러한 픽셀들만이 기여할 수 있고, 나머지는 폐기될 수 있거나, 인코딩 측에서, 기여 픽셀들의 선택은 인간 콘텐츠 생성자에 의해서도 결정될 수 있다). 다른 한편으로는, 이러한 수단에 의해 전체 색 LUT 형상을 결정하는 것이 필요하지 않은데, 예를 들어, 저부 절반 [0, 0.5]인 루마들의 서브-세트에 대해서만 그것을 결정할 수 있거나, 상당한 양의 산재가 발생하고, 다른 절반은 다른 알고리즘들에 의해 결정될 수 있는데, 예를 들어 고정될 수 있다. 모든 픽셀들이 사용되지는 않는 경우에, 변경되는 루마들의 서브-세트는 기여하는 픽셀들의 기하학적 서브-세트와 관련될 수 있다. 디코딩 측에서는, 색 LUT의 결정이 원래 공동-통신된 색 LUT의 편차에 대응할 수 있기 때문에, 상관은 또한 이러한 원래의 색 LUT를 고려할 수 있는데, 즉 출력 이미지를 획득하기 위해 모든 입력 HDR 이미지 픽셀들에 적용될 최종 결정된 LUT는 예를 들어 (Y,PQ, G_PQ) 포인트들의 클라우드 내의 평균 위치로부터 벗어날 수 있다. 결정은 또한 색차들의 소정의 서브-세트로 제한될 수 있고, 이러한 경우에 다른 잘 작동하는 정정된 색 LUT를 얻는다.

색차들은 때때로 크로마들이라고도 한다. 임의의 루마에 대응하는 (정확한) 휘도는 계산될 수 있을 뿐만 아니라, 루마들의 범위 상에 위치될 수도 있는데, 그 이유는 둘 다 1.0으로 정규화되기 때문이다.

인코더의 경우에, 잘 작동하는 색 LUT는 통상적으로 수신-측 디코더들이 그것을 간단히 적용하도록 통신될 것이다. 콘텐츠 생성자는 예를 들어, 그의 측에서 하나 이상의 디스플레이에 대해, 정정이 충분히 작동하는지를 체크할 수 있다.

고 동적 범위 비디오 인코딩 회로(300)의 유용한 실시예는 색 탐색표 결정 회로(303)가 루마 이득 값(G_PQ)의 값들 대 고 동적 범위 이미지 픽셀 루마(Y_PQ)의 대응하는 값들의 산재 플롯을 요약하는 최상 피팅 함수에 기초하여 색 탐색표의 값들을 결정하게 한다. 다수의 피팅들이 동등하게 적용될 수 있는데, 예를 들어, (Y_PQ, G_PQ) 포인트들의 포인트 클라우드의 중간을 대략적으로 통과하는 함수는 만족스럽게 수행할 것이다. 디코더가 그러한 색조 분류 메커니즘 등을 갖는 경우에, 동일한 혁신적인 원리들에 따른 다른 함수들, 예를 들어, 상이한 색조 영역들에 대한 상이한 함수들을 설계할 수 있다.

유리하게는, 고 동적 범위 비디오 인코딩 회로(300)는, 수평 고 동적 범위 이미지 루마들(PY) 및 수직 출력 이미지 루마들(PO)의 지각적 균일화된 루마들의 좌표계에서, 고 동적 범위 이미지 픽셀(Y1)에 대응하는 정규화된 휘도의 위치를 입력 루마(L_e1)로 나누고 고 동적 범위 이미지 픽셀(Y1)과 곱한 것과 동일한, 루마 매핑 함수(400)를 상기 입력 루마(L_e1)에 적용함으로써 획득된 출력 루마(L_o1)의 분할에 대응하는, 고 동적 범위 이미지 픽셀(Y1)에 대한 정정된 출력 루마(Y_corr1)에 도달하기 위해, 루마 매핑 함수(400)를 고 동적 범위 이미지 픽셀(Y1)의 루마에 적용할 때 획득된 출력 루마(Y_o1)의 지각적 증가에 대응하는 지각적 기울기 이득(perceptual slope gain)(SG_PU)을 계산하도록 구성된 지각적 기울기 이득 결정 회로(301)를 추가로 포함한다. 이것은 적어도 대응하는 정확한 휘도 입력 및 출력 포인트로부터 (0,0) 포인트까지 라인을 그림으로써 갖게 될 것과 동일한 기울기를 너무 어두운 루마 색들에 제공함으로써, 비-선형 루마 매핑 함수의 정정된 거동을 선형화하는 방식이다.

정정의 원리들은 또한,

제1 최대 픽셀 휘도(PB_C1)를 갖는 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)에 색 매핑(color map)하도록 구성된 고 동적 범위 비디오 디코딩 회로(700)로서,

고 동적 범위 이미지(IM_HDR)의 픽셀의 루마(Y_PQ)를 루마 매핑 함수(400)로 매핑하도록 배열된 루마 매핑 회로(101), 및

각각의 픽셀 루마(Y_PQ)에 대한 승수 값(B)을, 고 동적 범위 이미지(IM_HDR)의 픽셀의 색차 성분들(CbCr_PQ)과 승수 값(B)을 승산하는 승산기(121)에 출력하도록 배열된 탐색표(102)를 포함하는 색 매핑 회로를 포함하는, 고 동적 범위 비디오 디코딩 회로(700)에 있어서,

비디오 디코딩 회로는,

- 고 동적 범위 이미지의 픽셀들의 세트의 각각의 픽셀에 대해, 각각의 픽셀의 루마(Y_PQ)에 대한 정규화된 휘도와 동일한 루마에 대한 출력 루마를, 각각의 픽셀의 루마(Y_PQ)에 대한 출력 루마로 나눈 비율을 정량화하는 루마 이득 값(G_PQ)을 결정하도록 구성된 이득 결정 회로(302); 및

- 다양한 입력 루마 값들에 대한 출력으로서 승정수들(B)을 지정하는 탐색표(102)에 대한 색 탐색표를 결정하도록 구성된 색 탐색표 결정 회로(303)를 포함하고, 루마들(Y_PQ)의 가능한 값들의 적어도 서브-세트의 승정수들(B)의 적어도 서브-세트의 값들은 해당 루마들에 대한 루마 이득(G_PQ)의 값들에 기초하여 결정되는 것을 특징으로 하는, 고 동적 범위 비디오 디코딩 회로(700)에서 구현될 수 있다.

동일한 원리들은, 인코더가 어떤 이유로든 그의 공동-통신된 CL(Y_PQ) LUT에서 에러 완화를 수행하지 않은 경우, 디코더에서 적용될 수 있다. 게다가, 디코더는 수신된 YCrCb_PQ 색들로부터 대응하는 휘도들 및 휘도-루마들을 계산할 것이다. 그 후, 수신된 HDR 이미지를 상이한 동적 범위의 임의의 기능적으로 공동-인코딩된 2차 이미지, 예를 들어, SDR 100 니트 PB_C_SDR 이미지로 디코딩할 수 있다. 디코더는 SLHDR 디코더의 색 처리 회로의 대응하는 LUT(102)에서 적절한 루마 에러 완화 CL(Y_PQ) 탐색표를 채우기 위해 동일한 새로운 기술 요소들을 사용할 것이다.

또한, 고 동적 범위 비디오를 인코딩하는 방법으로서,

제1 최대 픽셀 휘도(PB_C1)의 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)와 함께 인코딩하도록 구성되고,

제2 이미지는 제2 이미지의 대응하는 픽셀 루마들(PO)을 획득하기 위해 고 동적 범위 이미지의 픽셀 루마들(Y_PQ)에 적용할 디코더들에 대한 루마 매핑 함수(400)로서 기능적으로 인코딩되고,

루마 매핑 함수(400)를 인코딩하는 메타데이터(MET) 및 고 동적 범위 이미지를 비디오 통신 매체(399)에 출력하는 단계를 포함하고,

제2 이미지의 기능적 인코딩은 또한 고 동적 범위 이미지의 픽셀 루마들의 모든 가능한 값들에 대한 승정수(B)를 인코딩하는 색 탐색표(CL(Y_PQ))에 기초하고, 이러한 승정수들은 픽셀들의 색차들(Cb, Cr)에 의한 승산을 위한 것이고, 색 탐색표는 또한 메타데이터에서 출력되는, 고 동적 범위 비디오를 인코딩하는 방법에 있어서,

고 동적 범위 비디오 인코딩은,

- 각각의 픽셀이 루마 및 2개의 색차들을 갖는, 고 동적 범위 이미지(IM_HDR)의 픽셀들을 수신하는 단계, 및 각각의 픽셀에 대해, 각각의 픽셀의 루마의 정규화된 휘도와 동일한 루마에 대한 제1 출력 루마를, 픽셀의 루마에 대한 제2 출력 루마로 나눈 비율을 정량화하는 루마 이득 값(G_PQ)을 결정하는 단계를 포함하고, 제1 출력 루마는 루마 매핑 함수를 정규화된 휘도에 적용함으로써 획득되고, 제2 출력 루마는 루마 매핑 함수를 픽셀의 루마에 적용함으로써 획득되고;

고 동적 범위 비디오 인코딩은 고 동적 범위 이미지에 존재하는 픽셀들의 다양한 루마들에 대한 루마 이득 값의 값들에 기초하여 색 탐색표(CL(Y_PQ))를 결정하는 단계를 포함하고, 루마들(Y_PQ)의 가능한 값들의 적어도 서브-세트로부터의 루마들에 대한 승정수들(B)의 값들은 해당 루마들에 대한 결정된 루마 이득(G_PQ)의 값과 상관되는 것을 특징으로 하는, 고 동적 범위 비디오를 인코딩하는 방법이 유용하다.

또한, 제1 최대 픽셀 휘도(PB_C1)를 갖는 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)에 색 매핑하기 위한, 고 동적 범위 비디오 디코딩의 방법으로서,

고 동적 범위 이미지(IM_HDR)의 픽셀들의 루마들(Y_PQ)을 루마 매핑 함수(400)로 매핑하여 함수의 출력으로서 제2 이미지의 루마들을 획득함으로써 제2 이미지를 형성하는 단계를 포함하고,

색 매핑은 고 동적 범위 이미지(IM_HDR)의 픽셀들의 색차 성분들(CbCr_PQ)과 승수 값들(B)을 승산함으로써 제2 이미지의 색차들을 획득하는 단계를 추가로 포함하고,

이러한 승수 값들(B)은 고 동적 범위 이미지(IM_HDR)의 픽셀들의 루마들(Y_PQ)의 다양한 값들에 대한 탐색표(102)에 지정되는, 고 동적 범위 비디오 디코딩의 방법에 있어서,

비디오 디코딩은,

- 고 동적 범위 이미지의 픽셀들의 세트의 각각의 픽셀에 대해, 각각의 픽셀의 루마(Y_PQ)에 대한 정규화된 휘도와 동일한 루마에 대한 출력 루마를, 각각의 픽셀의 루마(Y_PQ)에 대한 출력 루마로 나눈 비율을 정량화하는 루마 이득 값(G_PQ)을 결정하는 단계; 및

- 해당 루마들에 대한 루마 이득(G_PQ)의 값들에 기초하여, 루마들(Y_PQ)의 가능한 값들의 적어도 서브-세트의 승정수들(B)의 적어도 서브-세트의 값들을 계산함으로써 색 탐색표를 결정하는 단계를 포함하는 것을 특징으로 하는, 고 동적 범위 비디오 디코딩의 방법이 유용하다.

본 새로운 기술들은 비디오 콘텐츠 생성자가 일부 문제가 있는 루마 매핑들을 행하는 경우에 개선된 리-그레이딩된, 즉 특히 더 낮은 피크 밝기에 대해 다운-매핑된 이미지들을 허용하면서, 다른 상황들에 대한 문제들을 유발하지 않는다. 계산된 바와 같은 G_PQ 값들은 주로 색 LUT의 Y_PQ-의존적 출력들로서 정의되는 바와 같은 B-상수들의 값들을, G_PQ 계산으로부터 획득된 값들과 상관시킴으로써, 색채 경로에서의 추가적인 채도 처리로서 구현될 수 있다. 즉, Y_PQ 당 단일 B-값은 인코더 또는 디코더 내의 공동-위치의 소정의 사전-엔지니어링된 메트릭에 의해 G_PQ 값들의 산재의 위치를 대략 따른다.

본 발명에 따른 방법 및 장치의 이들 및 다른 양태들은 후술하는 구현들 및 실시예들로부터 명백할 것이고, 그들을 참조하여 그리고 첨부 도면들을 참조하여 설명될 것이며, 도면들은 더 일반적인 개념들을 예시하는 비제한적인 특정 예시들의 역할을 할 뿐이며, 도면들에서 대시선들 또는 점선들은 컴포넌트가 선택적이라는 것을 나타내는 데 사용되고, 대시선이 아닌 컴포넌트들은 반드시 본질적이지는 않다. 대시선들 또는 점선들은 본질적인 것으로 설명되지만 객체 안에 숨겨진 요소들을 나타내기 위해 또는 예를 들어 객체들/영역들의 선택들(및 그들이 디스플레이 상에 표시될 수 있는 방법)과 같은 비유형적인 것들에 대해 사용될 수도 있다.
도면들에서:
도 1은 ETSI TS 103 433-2 V1.1.1에서 표준화된 바와 같은 소위 단일 계층 HDR 이미지 디코더(SLHDR)에 따른 출원인의 HDR 이미지 디코더를 개략적으로 예시하고; 인코더는 통상적으로 잠재적으로 매핑 함수 형상들이 조정된, 대응하는 디코더와 동일한 토폴로지의 이미지 처리 회로들을 가질 수 있다는 점에 유의한다(인코더가 디코더들에 의해 적용될 그러한 다운그레이딩 함수들을 결정하는 방법과 동일한 다운그레이딩 방향으로 디코딩이 진행하기 때문에, 볼록함과 같은 형상 양태들은 인코딩 및 디코딩에 대해 동일할 수 있지만, 어느 출력 피크 밝기에 루마들을 매핑하기를 원하는지에 따라, 예를 들어 1/7 거듭제곱의 공동-통신된 루마 매핑 함수가 1/4 거듭제곱으로서 디코딩에서 적용될 수 있다).
도 2는 이러한 SLHDR 디코더(또는 대응하는 인코더)에서 사용되는 루마들을 갖는 고도로 색 포화된 객체들을 갖는 외래 이미지들에 대해 발생할 수 있는 일부 문제들을 개략적으로 예시한다.
도 3은 본 발명의 혁신적인 원리들에 따른 SLHDR 인코딩을 수행하는 새로운 방식, 및 대응하는 HDR 비디오 인코더(300)를 개략적으로 도시하며; 특히, 색차들에 의한 승산을 위해 상수들(B)을 결정하기 위한 색 LUT를 결정하기 위한, 예를 들어, 도 1과 유사한 인코더 토폴로지의 일부를 도시한다.
도 4는 본 발명자에 의해 고려되는 바와 같은 본 접근법을 그에 따라 구현할 수 있는 일부 원리들, 및 구체적으로 본 발명의 원리들에 따른 지각적 기울기 이득 결정 회로(301)의 실시예의 내부 기능을 개략적으로 예시한다.
도 5는 이득 결정 회로(302)의 실시예가, 즉, 승산기(401)에 대한 상이한 승정수와 함께, 모든 도시된 루마 처리 회로들 중 적어도 일부를 통해 픽셀 색을 두 번 송신함으로써 작동하는 방법을 개략적으로 예시한다.
도 6은 색 탐색표 결정 회로(303)가 회로(302)에 의해 입력 HDR 이미지의 픽셀들에 대해 계산된 바와 같은 다양한 (Y_PQ, G_PQ) 값들로부터 LUT(102)에 로딩될 각각의 Y_PQ 값에 대한 B 승수들을 코딩하는 함수를 결정할 수 있는 방법을 개략적으로 예시한다(LUT를 결정하는 다른 방식들이 존재함).
도 7은 SLHDR-코딩된 HDR 비디오 데이터의 수신 측에서, 인코더(300)와 동일한 혁신적인 처리를 적용하도록 구성된 HDR 비디오 디코더(700)를 개략적으로 예시한다.
도 8은 본 기술의 통상적인 배치, 즉 실시간 텔레비전 방송 및 수신에서의 장치들을 도시한다(동일한 원리들은 다른 비디오 통신 기술들, 예를 들어 비실시간 디지털 영화 제작 및 그레이딩, 및 영화관들에 대한 나중의 통신 등에서도 사용될 수 있다).

도 3은 우리의 SLHDR HDR 비디오 인코딩 접근법을 따르는 수정된 인코더가 작동하는 방법을 설명한다. 인코딩 측에서, 이용가능한 원래의 마스터 HDR 이미지(예를 들어, 인간 색 그레이더에 의해 그레이딩된 바와 같은 5000 니트 PB_C 이미지, 따라서 예를 들어 동굴들 내의 밝은 폭발들 및 어두운 음영 영역들과 같은 다양한 비디오 이미지들 내의 모든 객체들이 최적으로 보임)를 입력으로서 가져서, 이용가능한 픽셀 휘도들(L) 및 대응하는 루마들(Y) 둘 다를 갖는다. 도 4(즉, 도 1의 회로(113))에 도시되고 논의된 바와 같은 최적의, 예를 들어 S-형상 루마 매핑 곡선을 결정할 수 있는 루마 매핑 함수 결정 회로(350)가 포함된다(또는 접속된다). 우리가 이러한 S-형상 매핑 함수로 원리들을 설명하지만, 처리는 함수가 무엇이든 포괄적이라는 점에 유의한다(그것은 개선되지도 악화되지도 않는 상황들에서도 작동할 수 있다). 우리는 이것이 출원인에 의해 개발된 다양한 실시예들에 의해 행해질 수 있는 많은 방식들에 대해 자세히 설명할 필요가 없지만, 예를 들어, 이것은 (수신기들에 IM_HDR로서 궁극적으로 통신될) 마스터 HDR 입력 이미지에 존재하는 루마들을 분석하고, 루마들의 그러한 분포에 대한 최적의 함수(예를 들어, S-곡선)를 결정하는 오토마톤에 의해 행해질 수 있거나, 인코딩 장치들의 다른 물리적 실시예에서, 그것은 인간 색 그레이더에 의해 착색 콘솔과 같은 사용자 인터페이스를 통해 구성될 수 있다. 루마 매핑 함수 결정 회로(350)로부터의 3개의 화살표는 결정된 루마 매핑 함수(400)를 각각의 다른 회로들에 전달하는데, 예를 들어, 그것은 지각적 기울기 이득 결정 회로(301)에 의해 사용될 것이며, 그의 통상적인 작동 실시예가 도 4에 의해 교시된다. 통상적으로 실시예들은 수학식 3에 의해 정의된 필립스 지각적 도메인에서 작동할 수 있는 반면, 이것은 우리의 혁신의 필요한 요소가 아니며, 이는 일부 실시예들에서 PQ 이득으로 직접 공식화될 수 있고, 따라서 회로(301)는 선택성을 나타내는 점선으로 도시된다는 점에 유의한다. 궁극적으로, 데이터 포맷터(304)는 수신기들에 대한 마스터 HDR 이미지에 기초하여 적어도 2개의 상이하게 그레이딩된 이미지들(이들 중 하나는 픽셀 색들의 실제 이미지, IM_HDR, 예를 들어, MPEG 또는 예를 들어, AV1과 같은 유사한 비디오 코딩 표준에서와 같이 압축된 DCT로서 통신됨)을 인코딩하는 모든 데이터를 통신할 것이다. 즉, 그것은 임의의 비디오 통신 매체(399)(이는, 예를 들어, 직렬 디지털 인터페이스(SDI) 케이블 또는 HDMI 케이블 또는 인터넷 케이블과 같은 유선 접속, 예를 들어, 지상파 방송 채널, 블루-레이 디스크와 같은 비디오 데이터를 송신하기 위한 물리적 매체와 같은 무선 데이터 접속 등일 수 있음)에, 마스터 HDR 이미지의 인코딩되고 통상적으로 압축된 버전, 즉, 고 동적 범위 이미지 IM_HDR, (상이한, 통상적으로 더 낮은 피크 밝기들로 리-그레이딩될 때) 수신기들이 적용하기 위한 적어도 하나의 루마 매핑 함수, 및 색 탐색표(CL_(Y_PQ))를 출력할 것이고, 후자 2개는 사용되는 비디오 통신 프로토콜이 예를 들어 SEI 메시지들인 것에 의존하여 메타데이터(MET)로서 출력될 것이다. 색 탐색표는 (픽셀의) 각각의 탐색 위치 Y_PQ에 대해, 임의의 픽셀의 2개의 색차 값들 Cb 및 Cr에 의한 승산을 위해 값 B를 전달하는 역할을 한다.

도 4는 이러한 경우에 SDR 출력 루마들을 획득하기 위해, (SLHDR 루마 매핑이 지정되는 지각적으로 균일화된 도메인에 표현된 바와 같은) HDR 입력 루마들에 적용되는 매핑을 도시한다. 지각적으로 균일화된 루마들은 정규화되며, 즉, 수직 축 상의 값 1.0은 SDR 피크 밝기 PB_C2=100 니트에 대응하고, 수평 축 상의 1.0은 이러한 예에서 고 동적 범위 이미지(IM_HDR)의 1000 니트의 마스터 HDR 이미지 피크 밝기 PB_C1에 대응한다. 이것은 루마 매핑들을 설명하는 유용한 방식이며, 예를 들어, 그것은 매핑이 휘도 도메인에서 고유하게 지정될 때보다 더 나은 제어를 인간 색 그레이더에 제공한다(숙련된 독자는 축들이 상이하게 정량화되면, 임의의 루마 매핑 함수의 형상만이 예측가능한 방식으로 변경될 것임을 이해한다). 이러한 설명 예에서, 우리는 대략 동적 범위 변환기(112)의 대략 루마 매핑(그리고 또한 도 5에 예시된 흑색/백색 스트레치 및 이득 제한과 같이 우리의 코덱이 허용하는 다른 처리)을 생략했고, 루마 매핑은 전적으로 이러한 S-곡선으로 구성된다(그러한 곡선은, 예를 들어, 더 어두운 부분들에서 콘트라스트 스트레치를 행하기를 원하는 다소 밝은 장면이 있는 경우 발생할 수 있고, 이는 출력 SDR 이미지를 더 잘 보이게 한다).

루마 Y1을 갖는 특정 픽셀의 색, 예를 들어, 포화된 마젠타 색을 살펴보자. 이러한 루마가 루마 매핑 곡선(400)에 의해 매핑되면, 출력 루마 Y_o1이 (입력 루마 Y2를 갖는 다른 픽셀에 대해 유사하게) 발생한다. 이것은 (지각적으로 균일화된 축들이 사실상 다소 로그인 것을 염두에 두어야 하기 때문에) 비교적 어두운 출력 결과일 수 있다. 루마, 또는 기술적으로 더 정확하게는 (인코더가 이용가능한 모든 정보를 갖기 때문에, 인코더 측에서 [OETF를 통해 휘도에 고유하게 대응하는 루마인] 정확한 휘도-루마일 수 있는) 휘도 L_e1에 고유하게 대응하는 루마(또는 수평 축 상의 위치) 대신에 "휘도"를 매핑하는 경우, 실제로 더 양호했어야 하는 것은 L_o1의, 즉 Y_o1보다 더 밝은 출력 루마를 획득하는 것이다. 즉, 이러한 L_e1은, (예를 들어, PQ 또는 필립스의 지각적으로 균일화된 루마들의) 루마 표현에서 강한 휘도-누설이 없는 경우, 그의 실제 루마 Y1 대신에, 이러한 이미지 객체의 다채로운 픽셀이 가졌어야 하는 루마 축 값이다.

실제로, 무채색 회색들에 대해, 해당 축 상에서 색도-의존적 루마 손실이 없고, EOTF(루마)는 휘도와 동등하기 때문에, 고유하고 정확하게, 실제로 이러한 휘도-루마 L_e1에 따라 매핑할 것이다(즉, 이미지 내의 중립/무채색 및 거의 중립 색들에 대해, 예를 들어, 일부 훌륭한 짙은 흑색을 만들기 위해, 그러한 바람직한 리-그레이딩을 따를 것이다). 또한, 도 2d에 나타난 바와 같이, 원래 유사했던 색들에 대해, 루마 값들이 원래 거의 동일한 휘도들을 가졌고, 그 후 또한, 그러한 매우 비-선형인 S-곡선에 대해, 루마들 중 하나가 함수의 매우 상이한 매핑 부분, 예를 들어, 가장 어두운 입력 루마들 대 높은 기울기의 중간 부분을 매핑하는 작은 기울기의 선형 부분으로 점프할 수 있다는 점에서, 루마 값들(Y1 대 Y2)의 상당한 확산이 있을 수 있다.

따라서, 한편으로는, 고도로 포화된 객체들에서 너무 어두운 출력 색들의 문제가 존재하며, 따라서 (적어도 특정 이미지 색들에 대해) 소정의 명화(brightening)가 적용되어야 한다는 것을 알았다. 또한, 본 발명자는 선형 곡선들에 대해 상당한 시각적 교란이 존재하지 않는다는 것을 실험적으로 발견하였다(소정의 에러가 존재하더라도, 그것은 시각적으로 중요한 것이 아니다).

그러나, 이러한 루마 매핑 함수(400)를 단순히 변경할 수 없는데, 그 이유는 이것이 2차 이미지가 (콘텐츠 생성자에 따라) 수신된 이미지(IM_HDR)로부터 예를 들어 100 니트 PB_C_SDR SDR 이미지로 어떻게 리-그레이딩될 필요가 있는지를 결정하는 중요한 메타데이터이기 때문이다. 전술한 바와 같이, 이러한 루마 매핑 함수는 무채색 및 거의 중립 색들에 대해 정확히 정확하고, 따라서 변경되는 경우, 그러한 색들은 갑자기 부정확하게 휘도-리-그레이딩될 것이고, 그러한 색들은 보통, 예를 들어, 얼굴 색들과 같이 더 중요한 색들이다. 다른 한편으로는, 많은 시나리오들에서, 함수는 또한 비-무채색들에 대해 원하는 대로 충분히 작동한다.

도 3을 다시 참조하면, 지각적 기울기 이득 결정 회로(301)는 단순히 "상황 특성화기 값", 즉 지각적 기울기 이득 SG_PU를 결정하고, 이는 다음과 같이 결정된다:

[수학식 4]

SG_PU= (L_o1/L_e1)/(Y_o1/Y1)

즉, 그것은 2개의 기울기들의 비율: 첫째, 루마 매핑 곡선을 (실질적으로 또는 정확하게) 루마 값 L_e1을 표현하는 정확한 휘도에 적용하여 획득되는 바와 같은 출력 루마를 그러한 휘도-루마 L_e1으로 나눈 것; 및 둘째, (입력 이미지의) 그러한 특정 색 픽셀 Y1에 대한 입력 루마에 대한 출력 루마를 그러한 입력 루마 Y1으로 나눈 것의 비율이다. 실질적으로 또는 정확하게, 정확한 휘도 위치는, 일부 실시예들에서는, 휘도를 정확하게 결정할 수 있고, 다른 실시예들에서는, (다양한 방식들로 행해질 수 있는) 휘도를 추정하기를 원할 수 있다는 사실을 지칭하지만, 우리는 "정규화된 휘도"(그리고 특정 필립스 지각적 균일화된 범위로 표현됨)로 계속할 것이고, 독자는 그것이 정확히 정확한 휘도 값(예를 들어, 비디오 생성자가 그레이딩한 것, 및 예를 들어 컴퓨터에서 이미지의 픽셀의 선형 RGB 계수들에 수학식 1을 적용하여 계산할 수 있는 것)이라고 가정할 수 있다.

도 5에서, 우리는 이러한 지각적 기울기 이득 SG_PU가 사용되는 이득 결정 회로(302)의 실시예를 도시한다. 궁극적으로 필요한 것은, 도 1에서 볼 수 있는 바와 같이, (US9077994의 그리고 SMPTE ST.2084로서 표준화된) PQ 도메인에서의 정정인 반면, 적어도 SLHDR 디코더의 모든 루마 매핑은 (위의 수학식 3의) 지각적으로 균일한 (PU) 도메인에서 발생한다. 본 발명자는 크로마들에 대한 조정(및 인코더들에서, 수신-측 디코더들에 통신될 색 탐색표 CL(Y_PQ)의 결정)에 의해 매우 적절하게 문제를 다룰 수 있다는 것을 깨달았다. 즉, 이것은 그레이더가 초기 것을 이미 정의했을 때 변경된 색 탐색표일 수 있다. 즉, 루마 매핑 하위-회로(101)에서의 모든 것은 PU 도메인에서 발생하지만, 입력 Y_PQ 및 CbCr_PQ는 PQ 도메인에 있다.

따라서, 실제로 본 접근법에 따라, 회로(302)가 수행하는 것인, PQ 도메인에서의 포화된 이미지 객체들의 얼룩들 및 다른 너무 어두운 부분들의 에러들에 대한 정정을 결정해야 한다. 예시적인 실시예에서, 그것은 스위칭된 승산 값으로 승산기에 의해 제어되는 (이미지의 각각의 픽셀 색에 대한) 2개의 패스들을 실행한다. 숙련자는 예를 들어, 버퍼링, 이미지 지연 제공 등과 같은 구현 상세들을 스스로 이해할 수 있다는 점에 유의한다.

먼저, 이러한 값이 1로 설정되고, 이어서 (PQ EOTF를 그에 적용함으로써 입력 루마 Y_PQ로부터 계산될 수 있는) 입력 휘도 L이 다시 지각적으로 균일화된 루마 도메인으로 변환되는데, 즉 등가의 대표적인 지각적 루마 값 PY로 변환된다. 따라서, 전체 매핑 거동은 도 2d에 도시된 것에 대한 이러한 패스의 픽셀(들)이 PY 값이 되도록 적용될 것이다.

사실상, 이러한 유닛의 블록들은 도 1 및 또한 ETSI TS 103 433-2 V1.1.1 표준의 도 4에서 설명된 것에 대응한다. 새롭게 도시된 블록들은 흑색 및 백색 레벨 오프세터(402)이며, 이는 입력 HDR 루마들의 특정 상수 값을 지각적으로 균일화된 표현의 0 내지 1 값으로 시프트할 수 있다. 예를 들어, HDR이 0.1 니트(또는 이와 동등한 임의의 루마 표현 값)보다 더 어두워지지 않은 경우, 추가의 루마 매핑을 적용하기 전에 이러한 값을 이미 최저 SDR 값 0으로 그리고 최고 값으로 사전-매핑하는 것이 종종 유리하다. 이득 제한기(403)는, 특정 상황들 하에서 킥인하고 상부 트랙(즉, 회로(402, 112, 113 등))에서 다양한 처리 단계들을 적용하여 발생한 것과 대안적인 루마 매핑 전략을 적용하여 발생한 것 사이의 최대 값을 결정하는 회로이며, 따라서 이러한 루마 매핑을 입력 이미지의 모든 픽셀들에 적용하여 발생하는 이미지에서의 출력 루마들은 너무 낮아지지 않는다(상세들에 대해서는 ETSI 표준을 참조하고; 본 혁신에 대해 알 필요가 있는 것은 단지, 본 발명이 없는 고전적인 SLHDR 루마 매핑에 대해 정상 상황들 하에서 적용할 처리 전부를 적용한다는 것, 즉, 예를 들어, 대략 매핑이 적용되는 경우, 회로(302)가 그것을 적용하고, 그렇지 않은 경우, 회로(302)가 정확하게 유사하게 또한 그것을 적용하지 않는다는 것이다).

따라서, 제1 패스에서, 승수를 1로 설정할 때, 픽셀 루마 입력 Y1(또는 유사하게 Y2와 같은 임의의 다른 입력 루마에 대한 대응하는 출력 루마)에 대해 정상 출력 루마 Y_o1이 나온다. 이러한 Y_o1 값은 여전히 지각적으로 균일화된 루마 도메인(PO)에 있으며, 따라서 수학식 3의 역에 의해 (선형화 회로(114)에 의해) 여전히 선형화되어야 하고, 이어서 (회로(115)에 의해) PQ 도메인-변환되어야 한다는 점에 유의한다.

제2 패스에서, 승산기는 지각적 루마 PY를 지각적 기울기 이득 값 SG_PU(회로(301)에 의해 결정됨)와 승산하고, 이어서 도 4에서 Y_corr1으로 도시된 정정된 값이 나온다. 이것은 (진정한) 정규화된 휘도의 우리의 계산을 적용하고, 해당 위치(L_e1, L_o1)에 대한 전체 매핑 곡선에 어떤 기울기가 존재하는지를 탐색하고, 그것을 사용하여 기울기를 국지적으로 증가시키고, Y1에 대해 출력하는 것에 대응한다.

사실상, 이득 결정 회로(302)는 다음과 같이 PQ-도메인 루마 이득 값(G_PQ)을 계산한다:

[수학식 5]

G_PQ= OETF_PQ[Inv_PU(Y_corr1)]/ OETF_PQ[Inv_PU(Y_o1)]

여기서, Inv_PU는 수학식 3의 지각적 균일화의 역, 즉 대응하는 (선형) 정규화된 휘도들의 계산을 나타낸다.

즉, G_PQ는 우리의 전체 SLHDR 루마 처리 체인을 통해 정정되지 않은(즉, 수신된 바와 같은) 루마 값을 송신할 때 (PQ 도메인에서) 획득된 출력 루마와, 정정된 PQ-도메인 루마의 비율이고, 이러한 정정된 PQ-도메인 루마는 루마 처리 체인을 통한 휘도-루마, 즉 EOTF(Y1)이다. 인코딩 측에서, 인코더를 구축하기 위한 몇 가지 대안이 있을 수 있는데, 예를 들어, 실제 색도-의존적 루마(즉, 그것이 인코더의 출력 이미지 IM_HDR에서 인코딩될 것이기 때문임) 및 휘도-루마를 나타내는 정확한 (무채색) 휘도로부터 G_PQ 값을 직접 계산할 수 있고, 즉, 회로(301)는 우리의 혁신의 본질적인 핵심 기술 요소가 아니고, 일부 인코더 실시예들에서 존재하지 않을 수 있다(그러한 경우에 회로(302)는 루마 Y 및 휘도-루마 L을 각각 입력으로 하여 그의 2개의 계산들을 행할 것이고, 양쪽 상황들에서 승수가 없거나 1x로 설정되는 것을 도시하는 도 3의 점선을 참조)는 점에 유의한다.

이러한 G_PQ 값은 이제 탐색표 결정 회로(303)에 의해 대응하는 색 LUT CL(Y_PQ)의 그의 결정에서 사용될 것이다. 이것을 수행하기 위한 여러 방식들이 있을 수 있고(달성하기를 원하는 것에 따라: 상황에 대해 결정될 수 있는 LUT 함수의 하나의 형상만이 있지만, 예를 들어, 전체 거동에 초점을 맞추는 대신에, 이미지 내의 특정 색들 등과 같은 특정 양태들에 구체적으로 초점을 맞출 수 있음), 이는 도 6에서 하나의 원형적 예에 의해 예시될 수 있다. 사실상, (1D-2D 처리 분할에 의한 단순화로 인해) SLHDR 접근법이 작동하는 방법은 아니지만, 구체적으로 각각의 픽셀에 대한 정정을 수행하기를 이상적으로 원할 것이다. 아이디어는 루마 처리 아티팩트가 발생하는 (적어도) 픽셀들의 채도를 증대시키기를 원한다는 것이다. 그 후, 그러한 더 높은 크로마에 대응하는 더 낮은 루마는 출력 R''G''B'' 색에서 더 높은 휘도로 재변환될 것이다. 단점은 입력 및 출력 색들 사이에 소정의 채도 변화가 존재한다는 것이지만, 이는 수용가능한데, 그 이유는 또한 눈이 채도 변화들보다 휘도에 더 임계적이기 때문에, 그리고 또한 휘도 재조정이 동적 범위 조정에서 더 중요한 시각적 특성이기 때문이다. 임의의 경우에, 정규화는 (그것이 색들을 다소 "전역적으로" 왜곡할 수 있지만) 도 2c의 꽃들 내의 얼룩들과 같은 불쾌한 국지화된 아티팩트들을 제거하거나 완화하며, 이는 계산들의 본 배열이 수행되는 이유이다.

도 6은 우리가 회로(302)에 의해 (즉, Y_PQ, 그러나 G_PQ 값이 나오는 Cb 및 Cr 값들도 갖는 비디오의 적어도 하나의 특정 이미지 내의 임의의 픽셀에 대해) 계산된 데이터 포인트들에 대한 피팅 함수를 결정함으로써 정정 전략을 (평균적으로) 결정할 수 있는 방법을 도시한다. 즉, 회로(302)는, 예를 들어, 이미지의 모든(또는 일부; 예를 들어, 특정의 영향받은 픽셀들만이 검출되고, 알고리즘, 즉 색 LUT 결정에 기여하는 경우) 픽셀들을 얻고, 위에서 설명된 기술적 프로세스에 의해 G_PQ 값들을 계산한다. 2D 플롯 구조에서 그들을 조직할 때, 임의의 단일 값에 대해, (각각의 픽셀들에 대해) 여러 개의 필요한 G_PQ 값들이 (특히 더 낮은 Y_PQ 값들에 대해) 발생할 수 있다는 것을 안다. 도 6의 플롯은 회로(302)로부터 나오는 다양한 (Y_PQ, G_PQ) 값들을 도시한다. 통상적으로 높은 루마들 Y_PQ에 대한 확산을 알지 못한다(어떠한 정정도 없음과 같은 승정수 1이 존재함). 통상적으로 포화된 색들(또는 어두운 불포화된 색들)에 대응하는 더 낮은 영역에서, 특정 Y_PQ를 갖는 픽셀들이 가질 수 있는 다양한 Cb, Cr 값들로 인해, 각각의 Y_PQ 위치에 대한 G_PQ 값들의 확산이 존재한다. 도 1로부터의 색 LUT, CL(Y_PQ)는 또한 이러한 플롯에 도시될 수 있는 거동을 갖는데: 그것은 각각의 Y_PQ 값에 대한 부스트 값들을 결정하고, 따라서 루마 처리 트랙에 대해 위에서 계산된 바와 같은 G_PQ와 B를 동일시하는 경우(그러나 루마 트랙에서 변경가능하지 않은 것으로 계산가능함), 1D 색 LUT CL(Y_PQ)에 채워진 값들에 대응하는 함수를 그릴 수 있다. 숙련된 독자는 함수를 포인트들의 클러스터에 어떻게 피팅할지에 대한 다양한 방식들이 존재한다는 것을 안다. 예를 들어, 평균 제곱 에러의 최소화를 사용할 수 있다.

이러한 기능이 인코더 측에서 적용되는 경우, (도 3에 도시된 바와 같이) 기본적으로 색 LUT만이 결정되어야 하며, 이어서 이러한 색 LUT는 수신 측들로 통신되고, 이어서 디코더는 그것을 간단히 적용할 수 있다. 이는 본 원리들을 구현하는 하나의 훌륭한 방식이다.

그러나, 동일한 프로세스가 (인코딩 측에서 이미 적용되지 않은 때) 디코딩 측에서 또한 적용될 수 있지만, 몇 가지 작은 차이들을 가질 것이다. 그러나, 동일하게 유지될 것은, 휘도 리-그레이딩이 발생할 필요가 있을 때마다, 승산기(121)가 다음을 계산함으로써 루마 문제에 대한 크로마 성분들을 반대-정정할 것이라는 점이다:

[수학식 6]

Cb_COR=CL(Y_PQ)*Cb_PQ 및 Cr_COR=CL(Y_PQ)*Cr_PQ

도 7은 본 발명에 따른 디코더(700)를 도시한다. 기본적으로 거의 모든 블록들은 도 1의 인코더(100)에서와 동일하다. 특히, 이득 결정 회로(302)는 적어도 아티팩트-손상된 픽셀들에 대해 다시 루마 이득 값들(G_PQ)의 세트를 결정해야 하며, 이는 (올바른) 정규화된 휘도 위치(즉, 도 2b에 예시된 바와 같이 무채색 회색들의 수직 축 상에서 발견할 비-감소된 루마 위치)와 동일한 루마 위치에 대한 출력 이미지 루마를, 고 동적 범위 이미지의 픽셀의 색도-의존적 루마에 대한 출력 루마로 나눈 비율을 다시 정량화한다. 그리고 이제 고 동적 범위 비디오 디코딩 회로는 디코더의 픽셀 색 프로세서 파이프라인에, 즉 LUT(102)에 로딩될 색 LUT CL(Y_PQ)를 결정하기 위해 이러한 G_PQ 값들을 사용하는 유사한 색 탐색표 결정 회로(303)를 포함하지만, 이제 디코더 측에서 모두가 결정된다. 색 LUT를 결정 및 로딩하는 것이 아니라, 통신되는 바와 같은 색 LUT를 변경하는 상세한 실시예들이 여전히 존재할 수 있고, 그들은 원래의 채도 처리 LUT의 (회로(303) 또는 등가의 개별 회로에서의) 거동과, 본 발명에 따른 필요한 정정을 균형화하지만, 그들은 상세들이다. 예를 들어 2개의 LUT들이 보간될 수 있고, 가중 인자는 아티팩트의 심각성의 척도(예를 들어, 평균 픽셀이 그의 주변에 비하여 얼마나 더 어두운지, 또는 에지 강도들 또는 텍스처 척도들의 누적에 기초한 척도 등)에 의존할 수 있고, 이어서 예를 들어 더 큰 에러에 대해, 회로(303)는 본 접근법에 따라 결정된 바와 같은 LUT가 예를 들어 80% 가중치를 얻는 것, 즉 다른 LUT가 도 6의 그래프의 상부에 도시될 수 있지만, 단지 20%의 강도 등으로만 그것을 향해 풀링할 수 있는 것을 지시할 수 있다. 기술에 대해 매우 통상적인 바와 같이, 솔루션은 100% 완벽하지는 않지만, 문제는 분명히 완화된다.

이러한 디코더에서 새로운 것은 디코더가 원칙적으로 휘도 L(이는 보통 인코딩 측에서 용이하게 이용가능함)을 갖지 않고, Y_PQ만을 갖는다는 것이다.

휘도 계산기(701)에 의해 수행되는 L을 결정할 수 있는 여러 방식이 존재할 수 있지만, 가장 간단한 방식은 단지 YCbCr로부터 비-선형 R'G'B'_PQ로의 행렬화를 행하고, 이어서 EOTF_PQ를 통해 선형화하고, 이어서 수학식 1에서 설명된 바와 같은 R, G 및 B 성분의 가중을 통해 휘도를 계산하는 것이다. 휘도 계산기(701)는 통상적으로 도 5에서 설명된 바와 같이 전체 루마 매핑 체인을 통과하는 그의 계산들 중 두 번째에서 회로(302) 내로 들어가는 휘도-루마를 계산한다는 점에 유의한다.

디코더는 또한 인코더가 그것이 통신하는 색 탐색표에서 필요한 정정을 이미 적용하였는지를 표시하는 메타데이터 내의 표시자를 체크하도록 구성된 메타데이터 체커를 포함할 수 있다는 점에 유의한다. 보통, 디코더는 이후 상기 탐색표에 어떠한 정정도 적용하지 않을 것이지만, 일부 실시예들은 수신된 색 탐색표를 검증 및/또는 미세-튜닝하기 위해 그들 자신의 계산들을 여전히 행할 수 있다. 생성/코딩 측과 소비 측 사이의 합의를 위한 다른 메커니즘, 예를 들어, 특정 HDR 비디오 공급 경로에 대한 프리픽싱된 상황(prefixed situation), 또는 소프트웨어 업데이트 또는 사용자 제어 등을 통해 구성된 무언가가 이용되는 것도 가능하다.

도 8은 비디오 통신 생태계의 통상적인 (비제한적인) 예를 도시한다. 비디오 생성 측에서, 우리는 발표자(803)가 예를 들어 과학 쇼를 발표하고 있는 생방송 스튜디오를 본다. 그는 스튜디오의 다양한 부분들을 통해 걸어다닐 수 있고, 이는 상당히 창조적으로 (자유로이) 조명될 수 있다. 예를 들어, 다수의 스튜디오 라이트들(802)에 의해 조명되는 발표 영역의 밝은 영역(801)이 있을 수 있다. 더 어두운 영역들(804)도 있을 수 있다. 비디오 이미지들은 하나 또는 통상적으로 더 많은 카메라들(805, 806)에 의해 캡처된다. 이상적으로 그들은 동일한 유형이고, 색-조정되지만, 예를 들어, 카메라들 중 하나는 드론 등일 수 있다. 최종 제작, 특히 그의 색 측정에 대해 결정하는 최종 책임자(820)가 있다(숙련자는 제작의 종류에 따라, 여러 시스템들 및 심지어 사람들이 수반될 수 있다는 것을 알지만, 우리는 이러한 설명을 위해 이러한 사람(820)을 색 그레이더로 지칭할 것이다). 그는 스위칭, 디렉팅, 착색 등을 위한 패널과 같은 수단을 가질 수 있다. 그는 HDR 참조 모니터들, 및/또는 SDR 모니터들 등에 대한 생 제작들 중 하나 이상을 감시할 수 있다. 예를 들어, 이러한 쇼는 또한 교시를 위해 예를 들어 수중 장면에 대한 보조 비디오(810)를 포함할 수 있다. 이는 예를 들어, 생 카메라 피드(들)와 상이한 휘도 동적 범위 특성들의 SDR 비디오 또는 HDR 비디오일 수 있다. 논의의 최고 레벨을 보면, 2개의 상황들이 있을 수 있는데: 보조 비디오(810)는 실제로 특정 광 레벨로 도시될 수 있고, 상당히 밝다고 가정할 수 있거나, 그것은 녹색 스크린일 수 있고, 비디오는 최종 책임자(820)의 제작실에만 존재한다.

본 논의에 대해 흥미로운 것은, 제작실에서 루마 매핑이 결정될 수 있다는 것이다. 예를 들어, 생 액션이 시작되기 전에, HDR 카메라들을 양호한 홍채 레벨로 설정한 후에, 모든 조명 영역들에 대해 양호하게 또는 상당히 양호하게 작동하는 매핑 함수를 최적화할 수 있다. 그러나 또한 다양한 영역들에 대한 함수들의 쌍, 예를 들어, 어두운 영역에서의 카메라 줌인을 결정하거나, 비디오 인코더(822)에서 최종 HDR 이미지 출력을 계산할 때 함수들을 스위칭하거나, 수동 개입 등에 의해 또는 그것 없이, 함수의 이미지당 오토마톤-최적화된 버전에 대해 이러한 함수들을 사용할 수 있다. 마지막으로, 이러한 예에서, 우리는 위성 안테나(830)를 통해 소비자들 또는 전문 중간 스테이션들에 대한 위성 링크를 갖지만, 코딩된 HDR 비디오는 또한 비디오 통신 기술로서의 인터넷 등을 통해 출력될 수 있다. 수신 측에서, 우리는 통상적으로 소비자의 집, 예를 들어, 그의 거실(850)을 갖는다. 우리는 이러한 소비자가 그의 지역 위성 안테나(851), 및 위성 tv 셋톱박스(852)를 통해 방송된 HDR 비디오를 얻고, 이미지는 HDR 텔레비전(853), 또는 다른 디스플레이 상에서 최종적으로 뷰어인 것으로 설명했다. HDR 비디오 디코더는 셋톱박스 또는 디스플레이에 포함될 수 있다. 수신된 바와 같은 HDR 이미지의, 그의 코딩된 피크 밝기 PB_C에 의한, 소비자의 텔레비전의 최대 휘도 PB_D로의 추가의 이미지 휘도 최적화가 있을 수 있다. 이것은 셋톱박스에서 발생할 수 있고, 이때 최적화된 이미지는 예를 들어, HDMI 케이블 또는 무선 비디오 링크 등을 통해 TV로 가거나, 셋톱박스는 단순히 데이터 전달기일 수 있고, 텔레비전은 위에 설명된 바와 같은 임의의 디코더 실시예를 포함할 수 있다.

여기서 위에서 교시된 혁신의 임의의 전체 또는 일부를 제공하는 기술적 컴포넌트들은 (전체적으로 또는 부분적으로) 실제로 하드웨어(예를 들어, 주문형 IC의 부분들)로서 또는 특수 디지털 신호 프로세서, 또는 범용 프로세서, FPGA 등에서 실행되는 소프트웨어로서 실현될 수 있다. 임의의 프로세서, 프로세서의 일부, 또는 접속된 프로세서들의 복합체는 내부 또는 외부 데이터 버스들, 온-보드 또는 오프-보드 메모리, 예를 들어, 캐시, RAM, ROM 등을 가질 수 있다. 프로세서가 포함되는 장치들은, 예를 들어, 디스플레이 등에 접속하기 위한 HDMI와 같은 이미지 통신 케이블 프로토콜들과 같은, 하드웨어로의 특수 접속들, 또는 장치가 디스플레이인 경우 디스플레이 패널에 접속하기 위한 내부 접속들을 위한 특수 프로토콜들을 가질 수 있다. 회로들은 그들의 기술적 액션들을 수행하기 전에 동적 명령어들에 의해 구성될 수 있다. 임의의 요소 또는 장치는 임의의 콘텐츠 생성 또는 배포 사이트 등에서 비디오 생성 시스템과 같은 더 큰 기술적 시스템의 일부를 형성할 수 있다.

숙련자는, 세계의 다른 부분에 있든, 예를 들어, HDR-적합 비디오 케이블들 등과 같은 2개의 인접한 장치들 사이에 있든 간에, 어느 기술적 컴포넌트들이 이미지들을 통신(또는 저장)하기 위해 이용가능하거나 사용가능한지를 이해해야 한다. 숙련자는 어느 상황들 하에서 어느 형태의 비디오 또는 이미지 압축을 사용할 수 있는지를 이해할 것이다. 숙련자는, 신호들은 혼합될 수 있고, 그것은 절대적으로 필요한 것이 아니라, 예를 들어, 최적의 S-곡선의 결정과 같은, 이미지들에 대한 일부 계산들을 적용하기 전에 먼저 혼합하는 것이 유리할 수 있지만, 이러한 결정은, 사전혼합된 이미지에 적용될 때에도, 예를 들어, 카메라 피드 이미지들 및 2차 이미지의 다양한 이미지 양태들을 다양한 특정 방식들로 여전히 가중할 수 있다는 것을 이해할 수 있다. 숙련자는, 예를 들어, 여러 HDR 비디오들 또는 비디오 스트림들을 출력하기 위해 여러 비디오 인코더들을 사용함으로써, 다양한 실현들이 병렬로 작동할 수 있다는 것을 이해한다.

숙련자는 본 설명으로부터 어느 컴포넌트들이 선택적인 개량들일 수 있고, 다른 컴포넌트들과 조합하여 실현될 수 있는지 그리고 방법들의 (선택적인) 단계들이 장치들의 각각의 수단에 어떻게 대응하는지 및 그 반대도 마찬가지라는 것을 이해할 수 있어야 한다. 본 출원에서 단어 "장치"는 그의 가장 넓은 의미, 즉 특정 목적의 실현을 가능하게 하는 기술적 요소들의 그룹으로서 사용되며, 따라서 예를 들어 IC 또는 전용 기구(예컨대, 디스플레이를 갖는 기구) 또는 네트워킹된 시스템의 일부 등(의 작은 회로 부분)일 수 있다. "배열" 또는 "시스템"은 또한 가장 넓은 의미로 사용되는 것을 의도하며, 따라서 그것은 특히 단일 장치, 장치의 일부, 협력 장치들(의 부분들)의 집합 등을 포함할 수 있다.

방법의 동작에 필요한 단계들 중 일부는 컴퓨터 프로그램에서 설명되는 대신에 프로세서의 기능에서 이미 존재했을 수 있다. 유사하게, 본 혁신이 협력하는 일부 양태들은 잘 알려진 기술 회로들 또는 요소들, 또는 개별 장치들, 예를 들어 일부 색 코딩 디지털 값들에 의해 구동될 때 스크린의 정면에 대응하는 디스플레이된 색들을 나타내는 디스플레이 패널의 기능에 존재할 수 있고, 그러한 기존의 상세들은 기술 분야에 정확히 기여되는 것에 초점을 맞춤으로써 교시들을 더 분명하게 하기 위해 철저히 논의되지는 않을 것이다.

전술한 실시예들은 발명을 제한하는 것이 아니라 예시한다는 점에 유의해야 한다. 숙련자가 제시된 예들의 청구항들의 다른 영역들로의 매핑을 쉽게 실현할 수 있는 경우, 우리는 간소화를 위해 모든 이러한 옵션들을 깊이 언급하지 않았다. 예들 또는 청구항들에서 조합되는 바와 같은 본 발명의 요소들의 조합들 외에, 요소들의 다른 조합들이 가능하다. 요소들의 임의의 조합이 단일 전용 요소에서 실현될 수 있다. 숙련된 독자는 일부 처리 순서들이 교환될 수 있다는 것을 이해할 수 있다.

청구항에서의 괄호 안의 임의의 도면 부호는 청구항을 제한하도록 의도되지 않는다. 단어 "포함하는"은 청구항에 열거되지 않은 요소들 또는 양태들의 존재를 배제하지 않는다. 요소에 선행하는 단수형 표현("a" 또는 "an")은 복수의 그러한 요소들의 존재를 배제하지 않는다.

Claims (6)

1. 제1 최대 픽셀 휘도(PB_C1)의 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)와 함께 인코딩하도록 구성된 고 동적 범위 비디오 인코딩 회로(300)로서,
   상기 제2 이미지는 상기 제2 이미지의 대응하는 픽셀 루마들(pixel lumas)(PO)을 획득하기 위해 상기 고 동적 범위 이미지의 픽셀 루마들(Y_PQ)에 적용할 디코더들에 대한 루마 매핑 함수(400)로서 기능적으로 인코딩되고,
   인코더는 상기 루마 매핑 함수(400)를 인코딩하는 메타데이터(MET) 및 상기 고 동적 범위 이미지를 비디오 통신 매체(399)에 출력하도록 구성된 데이터 포맷터(data formatter)(304)를 포함하고,
   상기 제2 이미지의 상기 기능적 인코딩은 또한 상기 고 동적 범위 이미지의 상기 픽셀 루마들의 모든 가능한 값들에 대한 승정수(multiplier constant)(B)를 인코딩하는 색 탐색표(color lookup table)(CL(Y_PQ))에 기초하고, 상기 승정수들은 상기 픽셀들의 색차들(Cb, Cr)에 의한 승산을 위한 것이고, 상기 포맷터는 상기 메타데이터에서 상기 색 탐색표를 출력하도록 구성되는, 상기 고 동적 범위 비디오 인코딩 회로(300)에 있어서,
   상기 고 동적 범위 비디오 인코딩 회로는,
   - 각각의 픽셀이 루마 및 2개의 색차들을 갖는, 상기 고 동적 범위 이미지(IM_HDR)의 픽셀들을 수신하고, 각각의 픽셀에 대해, 각각의 픽셀의 상기 루마의 정규화된 휘도와 동일한 루마에 대한 제1 출력 루마를, 상기 픽셀의 상기 루마에 대한 제2 출력 루마로 나눈 비율과 동일한 루마 이득 값(G_PQ)을 결정하도록 구성된 이득 결정 회로(302)를 포함하고, 상기 제1 출력 루마는 상기 루마 매핑 함수를 상기 정규화된 휘도에 적용함으로써 획득되고, 상기 제2 출력 루마는 상기 루마 매핑 함수를 상기 픽셀의 상기 루마에 적용함으로써 획득되고;
   상기 고 동적 범위 비디오 인코딩 회로는 상기 고 동적 범위 이미지에 존재하는 픽셀들의 다양한 루마들에 대한 상기 루마 이득 값의 값들에 기초하여 상기 색 탐색표(CL(Y_PQ))를 결정하도록 구성된 색 탐색표 결정 회로(303)를 포함하고, 상기 루마들(Y_PQ)의 상기 가능한 값들의 적어도 서브-세트로부터의 루마들에 대한 상기 승정수(B)의 값들은 해당 루마들에 대한 상기 결정된 루마 이득(G_PQ)의 상기 값과 상관되는 것을 특징으로 하는, 고 동적 범위 비디오 인코딩 회로(300).
2. 제1항에 있어서, 상기 색 탐색표 결정 회로(303)는 상기 루마 이득 값(G_PQ)의 값들 대 상기 고 동적 범위 이미지 픽셀 루마(Y_PQ)의 대응하는 값들의 산재 플롯(scatter plot)을 요약하는 최상 피팅 함수에 기초하여 상기 색 탐색표의 값들(B)을 결정하도록 배열되는, 고 동적 범위 비디오 인코딩 회로(300).
3. 제1항 또는 제2항에 있어서, 수평 고 동적 범위 이미지 루마들(PY) 및 수직 출력 이미지 루마들(PO)의 지각적 균일화된 루마들(perceptual uniformized lumas)의 좌표계에서, 상기 고 동적 범위 이미지 픽셀(Y1)에 대응하는 정규화된 휘도의 위치를 입력 루마(L_e1)로 나누고 상기 고 동적 범위 이미지 픽셀(Y1)과 곱한 것과 동일한, 상기 루마 매핑 함수(400)를 상기 입력 루마(L_e1)에 적용함으로써 획득된 출력 루마(L_o1)의 분할에 대응하는, 상기 고 동적 범위 이미지 픽셀(Y1)에 대한 정정된 출력 루마(Y_corr1)에 도달하기 위해, 상기 루마 매핑 함수(400)를 상기 고 동적 범위 이미지 픽셀(Y1)의 루마에 적용할 때 획득된 출력 루마(Y_o1)의 지각적 증가에 대응하는 지각적 기울기 이득(perceptual slope gain)(SG_PU)을 계산하도록 구성된 지각적 기울기 이득 결정 회로(301)를 추가로 포함하는, 고 동적 범위 비디오 인코딩 회로(300).
4. 제1 최대 픽셀 휘도(PB_C1)를 갖는 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)에 색 매핑(color map)하도록 구성된 고 동적 범위 비디오 디코딩 회로(700)로서,
   상기 고 동적 범위 이미지(IM_HDR)의 픽셀의 루마(Y_PQ)를 루마 매핑 함수(400)로 매핑하도록 배열된 루마 매핑 회로(101), 및
   각각의 픽셀 루마(Y_PQ)에 대한 승수 값(B)을, 상기 고 동적 범위 이미지(IM_HDR)의 상기 픽셀의 색차 성분들(CbCr_PQ)과 상기 승수 값(B)을 승산하는 승산기(121)에 출력하도록 배열된 탐색표(102)를 포함하는 색 매핑 회로를 포함하는, 상기 고 동적 범위 비디오 디코딩 회로(700)에 있어서,
   상기 비디오 디코딩 회로는,
   - 상기 고 동적 범위 이미지의 픽셀들의 세트의 각각의 픽셀에 대해, 상기 각각의 픽셀의 상기 루마(Y_PQ)에 대한 정규화된 휘도와 동일한 루마에 대한 출력 루마를, 상기 각각의 픽셀의 상기 루마(Y_PQ)에 대한 출력 루마로 나눈 비율을 정량화하는 루마 이득 값(G_PQ)을 결정하도록 구성된 이득 결정 회로(302); 및
   - 다양한 입력 루마 값들에 대한 출력으로서 승정수들(B)을 지정하는 상기 탐색표(102)에 대한 색 탐색표를 결정하도록 구성된 색 탐색표 결정 회로(303)를 포함하고, 상기 루마들(Y_PQ)의 가능한 값들의 적어도 서브-세트의 상기 승정수들(B)의 적어도 서브-세트의 값들은 해당 루마들에 대한 상기 루마 이득(G_PQ)의 값들에 기초하여 결정되는 것을 특징으로 하는, 고 동적 범위 비디오 디코딩 회로(700).
5. 고 동적 범위 비디오를 인코딩하는 방법으로서,
   제1 최대 픽셀 휘도(PB_C1)의 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)와 함께 인코딩하도록 구성되고,
   상기 제2 이미지는 상기 제2 이미지의 대응하는 픽셀 루마들(PO)을 획득하기 위해 상기 고 동적 범위 이미지의 픽셀 루마들(Y_PQ)에 적용할 디코더들에 대한 루마 매핑 함수(400)로서 기능적으로 인코딩되고,
   상기 루마 매핑 함수(400)를 인코딩하는 메타데이터(MET) 및 상기 고 동적 범위 이미지를 비디오 통신 매체(399)에 출력하는 단계를 포함하고,
   상기 제2 이미지의 상기 기능적 인코딩은 또한 상기 고 동적 범위 이미지의 상기 픽셀 루마들의 모든 가능한 값들에 대한 승정수(B)를 인코딩하는 색 탐색표(CL(Y_PQ))에 기초하고, 상기 승정수들은 상기 픽셀들의 색차들(Cb, Cr)에 의한 승산을 위한 것이고, 상기 색 탐색표는 또한 상기 메타데이터에서 출력되는, 상기 고 동적 범위 비디오를 인코딩하는 방법에 있어서,
   상기 고 동적 범위 비디오 인코딩은,
   - 각각의 픽셀이 루마 및 2개의 색차들을 갖는, 상기 고 동적 범위 이미지(IM_HDR)의 픽셀들을 수신하는 단계, 및 각각의 픽셀에 대해, 각각의 픽셀의 상기 루마의 정규화된 휘도와 동일한 루마에 대한 제1 출력 루마를, 상기 픽셀의 상기 루마에 대한 제2 출력 루마로 나눈 비율을 정량화하는 루마 이득 값(G_PQ)을 결정하는 단계를 포함하고, 상기 제1 출력 루마는 상기 루마 매핑 함수를 상기 정규화된 휘도에 적용함으로써 획득되고, 상기 제2 출력 루마는 상기 루마 매핑 함수를 상기 픽셀의 상기 루마에 적용함으로써 획득되고;
   상기 고 동적 범위 비디오 인코딩은 상기 고 동적 범위 이미지에 존재하는 픽셀들의 다양한 루마들에 대한 상기 루마 이득 값의 값들에 기초하여 색 탐색표(CL(Y_PQ))를 결정하는 단계를 포함하고, 상기 루마들(Y_PQ)의 상기 가능한 값들의 적어도 서브-세트로부터의 루마들에 대한 상기 승정수(B)의 값들은 해당 루마들에 대한 상기 결정된 루마 이득(G_PQ)의 상기 값과 상관되는 것을 특징으로 하는, 고 동적 범위 비디오를 인코딩하는 방법.
6. 제1 최대 픽셀 휘도(PB_C1)를 갖는 고 동적 범위 이미지(IM_HDR)를, 더 낮은 동적 범위 및 대응하는 더 낮은 제2 최대 픽셀 휘도(PB_C2)의 제2 이미지(Im_LWRDR)에 색 매핑하기 위한, 고 동적 범위 비디오 디코딩의 방법으로서,
   상기 고 동적 범위 이미지(IM_HDR)의 픽셀들의 루마들(Y_PQ)을 루마 매핑 함수(400)로 매핑하여 상기 함수의 출력으로서 상기 제2 이미지의 루마들을 획득함으로써 상기 제2 이미지를 형성하는 단계를 포함하고,
   상기 색 매핑은 상기 고 동적 범위 이미지(IM_HDR)의 상기 픽셀들의 색차 성분들(CbCr_PQ)과 승수 값들(B)을 승산함으로써 상기 제2 이미지의 색차들을 획득하는 단계를 추가로 포함하고,
   상기 승수 값들(B)은 상기 고 동적 범위 이미지(IM_HDR)의 상기 픽셀들의 상기 루마들(Y_PQ)의 다양한 값들에 대한 탐색표(102)에 지정되는, 고 동적 범위 비디오 디코딩의 방법에 있어서,
   상기 비디오 디코딩은,
   - 상기 고 동적 범위 이미지의 픽셀들의 세트의 각각의 픽셀에 대해, 상기 각각의 픽셀의 상기 루마(Y_PQ)에 대한 정규화된 휘도와 동일한 루마에 대한 출력 루마를, 상기 각각의 픽셀의 상기 루마(Y_PQ)에 대한 출력 루마로 나눈 비율을 정량화하는 루마 이득 값(G_PQ)을 결정하는 단계; 및
   - 해당 루마들에 대한 상기 루마 이득(G_PQ)의 값들에 기초하여, 상기 루마들(Y_PQ)의 가능한 값들의 적어도 서브-세트의 승정수들(B)의 적어도 서브-세트의 값들을 계산함으로써 색 탐색표를 결정하는 단계를 포함하는 것을 특징으로 하는, 고 동적 범위 비디오 디코딩의 방법.

Images