KR102614452B1 - 개선된 고 동적 범위 비디오 컬러 리매핑 - Google Patents

Abstract

입력 이미지와 상이한 (특히, 피크 명도라고도 하는 상이한 최대 휘도에 의해 특성화되는 바와 같은) 휘도 동적 범위의 이미지의 더 양호한 결정을 가능하게 하기 위해, 본 출원은 제1 피크 명도(PB_HDR)에 의해 특성화되는 제1 휘도 동적 범위를 갖는 입력 이미지(MAST_HDR)의 공간적으로 병치된 픽셀의 입력 휘도로부터 제2 피크 명도(PB_LDR; PB_MDR)에 의해 특성화되는 제2 휘도 동적 범위를 갖는 출력 이미지(Im_LDR; Im3000nit)의 픽셀의 출력 휘도를 계산하도록 배열된 휘도 프로세서(501)의 여러 변형들을 교시하며, 휘도 프로세서는:
- 입력 휘도 및 휘도 매핑 함수(FLM)의 함수인 승산 인자(gL)를 계산하도록 배열된 이득 계산 유닛(514);
- 입력 이미지의 픽셀의 컬러의 3개의 적색, 녹색 및 청색 성분들 중 최대 강도 값인 강도 값(V)을 계산하도록 배열된 최대치 계산 유닛(601)으로서, 그러한 성분들은 선형 적색, 녹색 및 청색 성분들 또는 그러한 선형 적색, 녹색 및 청색 성분들의 파워인, 최대치 계산 유닛(601);
- 출력 휘도가 상위 색역 경계에 얼마나 가까운지를 나타내는 오버플로우 척도(T)를 계산하도록 배열된 오버플로우 계산기(602);
- 오버플로우 척도가 임계치(G)보다 큰 경우에 대안 이득 인자(F1(gL))를 결정하도록 배열되고, 그렇지 않은 경우에 원래의 이득 인자를 유지하도록 배열되고, 그들 중 하나를 최종 이득 인자(gF)로서 출력하도록 배열된 이득 인자 수정 유닛(603); 및
- 입력 컬러(R'G'B'_nrm)에 최종 이득 인자(gF)를 곱하여 출력 휘도를 갖는 출력 컬러(R'G'B'_HDR)를 획득하기 위한 승산기(530)를 포함하는 것을 특징으로 한다.

Description

개선된 고 동적 범위 비디오 컬러 리매핑

본 발명은 고 동적 범위 이미지들(high dynamic range images)을 코딩하기 위한 방법들 및 장치들, 특히 이미지를 상이한 휘도 동적 범위(luminance dynamic range)로 변환하기 위한 이미지 픽셀 휘도들의 변경에 관한 것이다.

약 5년 전에, 고 동적 범위 비디오 코딩의 새로운 기술들이 도입되었다.

이것은 모든 비디오들이 그때까지 인코딩되었던 레거시 비디오 코딩과 대조되는데, 레거시 비디오 코딩은 현재 표준 동적 범위(SDR) 비디오 코딩(저 동적 범위 비디오 코딩(LDR)이라고도 함)으로 지칭된다. Rec. 709의 SDR의 루마 코드 정의는 그의 대략 제곱근 함수 형상(루마: Y=sqrt(Luminance L))으로 인해 (광-전기 전달 함수(OETF)라고도 하는) 약 1000:1 휘도 동적 범위만을 (8 또는 10 비트 루마들로) 인코딩할 수 있었으며, 그 당시 모든 디스플레이들의 통상적인 렌더링 능력들에 대해 약 0.1 내지 100 니트(이는 소위 피크 명도(peak brightness)(PB)임)의 휘도들을 인코딩하였다.

제1 HDR 코덱이 시장에 도입되었고, HDR10은 예를 들어 새로운 블랙 리본 HDR 블루-레이들을 생성하기 위해 사용되며, 이는 단지 OETF를 SMPTE 2084에서 표준화된 보다 대수적으로 성형된 지각적 양자화기 함수로 변경하여, 실제 HDR 비디오 생성을 위해 충분한 1/10,000 니트 내지 10,000 니트의 휘도들에 대한 루마들을 정의하는 것을 허용하였다. 루마들의 계산 후에, 픽셀들의 10 비트 평면(또는 오히려 2개의 색차(chrominance) 평면들, 즉 Cb 및 Cr 3 비트 평면)을 가졌고, 이는 그들이 수학적으로, 예를 들어 MPEG 압축된 SDR 이미지인 "것처럼" 라인을 따라 고전적으로 추가로 처리될 수 있었다. 물론, 수신 측은 이제 SDR 이미지가 아니라 HDR 이미지를 얻어야 하거나, 부정확한 렌더링이 발생할 것이다. 단지 선형적으로 (코딩 피크 명도 PB_C라고도 하는 코딩된 이미지 최대 백색을 SDR 디스플레이 피크 명도 PB_D로) 매핑하는 경우, PB_C=1000 니트를 갖는 이미지는 10배 너무 어둡게 보일 것이며, 이는 야간 장면들이 시청 불가능하게 된다는 것을 의미할 것이다. PQ OETF의 대수적 성질 때문에, HDR10 이미지들은 시청 가능하지만, 보기 싫게 악화된 콘트라스트를 가져서, 그들이 특히 워시 아웃되고(washed out) 부정확한 명도를 가진 것으로 보이게 한다.

그러한 단순한 HDR 비디오 이미지의 문제점(HDR 장면이 해당 표현에서 최적으로 보이게 하기 위해, 다양한 장면 객체들이 예를 들어 1000 니트(또는 그 이상)의 PB_C를 갖는 이미지 표현에서 어떤 휘도를 가져야 하는지를 나타내는 워드 그레이딩(word grading)을 갖는 HDR 그레이딩이라고도 함)은 그것이 동일한 PB_D = 1000 니트의 디스플레이 상에서만 정확히 디스플레이할 것이라는 것이고, 따라서 유사한 서라운드 조명 조건들 하에서는 그러한 블루-레이 디스크들이 항상 완벽하게 디스플레이하지는 못하고, 또한 이러한 상황에서는 야간 장면들이 시청 불가능할 수 있다는 것이 곧 밝혀졌다.

그에 따라, 더 진보된 HDR 비디오 코더들은 HDR 장면의 2개의 상이한 그레이딩들: 예를 들어 PB_C = 5000 니트의 더 높은 동적 범위의 이미지, 및 통상적으로 PB_C=100 니트를 갖는 SDR 이미지인 더 낮은 동적 범위의 이미지를 인코딩하는데, 이는 그것이 이어서 레거시 LDR 디스플레이들 상에 즉시 디스플레이 가능하기 때문이다.

(균일하게 조명된 장면이 객체 반사율들의 100:1 비율로 인해 그러한 더 작은 동적 범위만을 갖더라도) 실제 세계 장면들은 상당히 고 동적 범위를 가질 수 있다. 예를 들어, 햇빛이 비치는 외부로의 작은 구멍을 갖는 동굴은 집(home) 텔레비전 시청을 위한 해당 장면의 적합한 HDR 그레이딩을 포함하는 10,000 니트 PB_C 기준 표현에서 동굴 픽셀들에 대해 1 니트 훨씬 아래 그리고 실외(outdoors) 픽셀들에 대해 최대 10,000 니트의 휘도들을 포함할 수 있다. 그러한 도전적인 HDR 이미지는 특히 콘텐츠 생성자가 SDR 렌더링에서도 여전히 상당히 유사한 HDR 모습을 전달하기를 원하는 경우에는 상당히 더 낮은 동적 범위(예를 들어, SDR로 갈 때 적어도 100배)로 그렇게 평범하게 변환되지 못하지만, 도 1과 관련하여 설명된 바와 같이, 원칙적으로는 그것이 행해질 수 있다.

여기서 잘 이해되어야 하는 것은, HDR 이미지들 및 대응하는 더 낮은 동적 범위의 이미지들의 인코딩에 대해 말하고 있는 경우, 제약들이 있을 수 있다는 것이다. 2개의 별도로 그레이딩된 이미지들(원본 장면의 HDR 및 100 니트 PB_C SDR 그레이딩된 이미지)을 실제로 통신하는 대신에, 통상적으로 (도 2에서 추가로 설명되는 바와 같이) 극단 종점의 상이하게 그레이딩된 상이한 PB_C 이미지들의 쌍 중 단지 하나의 그레이딩된 이미지 및 수신된 이미지의 픽셀들의 컬러들 및 특히 그들의 휘도를 다른 그레이딩된 이미지의 컬러들에 매핑하는 메타데이터 함수들을 통신한다.

이미지 코더들의 2개의 클래스들이 존재하는데, 제1 클래스(모드 1)는 HDR10에서와 같이 HDR 이미지들을 수신기들로 통신하고, 따라서 예를 들어 그러한 이미지들을 인코딩하기 위해 PQ OETF를 재사용할 수 있지만, 이러한 HDR 이미지를 더 낮은 동적 범위로 어떻게 휘도 다운그레이딩하는지를 규정하는 메타데이터를 추가한다(예를 들어, 수신된 HDR 이미지로부터 SDR 100 니트 PB_C 이미지를 계산한다)는 것을 이해해야 한다. 제2 클래스(모드 2)는 쌍의 SDR 이미지, 및 HDR 이미지로 업그레이딩하기 위한 역성형 함수들을 통신하며, 이는 레거시 텔레비전들의 큰 설치된 베이스를 서빙하는 데 유용하다(이것은 뒤따르는 임의의 애드-온(add-on) 기술에 대한 추가의 기술적 제약들을 수반한다).

중간 동적 범위(MDR) 이미지들로 지칭되는 중간 PB 이미지들로 리그레이딩하기 위한 기술적 메커니즘들이 존재하며, 따라서 수신된 SDR 이미지를 생성 또는 송신 측에서 콘텐츠 생성자에 의해 생성된 원본, 예를 들어 5000 니트 PB_C 이미지로 변환하는 대신에, 수신기(예를 들어, 셋톱박스, TV, 컴퓨터, 영화 장비 등)는 예를 들어 700 니트 PB_C 이미지를 계산할 수 있다. 이러한 소위 디스플레이 적응이 중요한 이유는 모두가 정확하게 5000 니트 PB_D의 디스플레이를 갖지는 않을 것이기 때문인데, 즉 콘텐츠(이것을 수신 측에서의 임의의 실제 디스플레이와 구별하기 위한 소위 기준 디스플레이)와 자연스럽게 매칭되지는 않고, 따라서 예를 들어 700 니트 디스플레이에 적합한 이미지(5000 니트 HDR 그레이딩, 및 생성 측의 휘도 또는 일반적인 컬러 리그레이딩 함수들에서 형성되는 예술적 의도를 가장 최적으로 전달하는 것을 의미함)가 계산되어야 하기 때문이다. 그렇지 않을 경우, 렌더링의 거동이 정의되지 않고, 통상적으로 콘텐츠의 더 밝은 부분들은 보이지 않거나 적어도 나쁘게 보일 것이다(이것은 예를 들어 밝은 안개 속의 낮은 콘트라스트의 사람이 완전히 사라지게 할 수 있으며, 이는 일부 사람들이 완전히 상이한 영화 스토리를 보게 된다는 것을 의미하고, 이는 매우 바람직하지 않다).

HDR 및 SDR 이미지 그레이딩들(예를 들어, 먼저 HDR 그레이딩 및 그로부터의 SDR 그레이딩)이 인간 컬러 그레이더(human color grader)에 의해 생성되지만, 소정의 응용에서는 자동 시스템이 그레이딩된 이미지들 및 컬러 매핑 함수들(이는 예를 들어 현재, 기존 시스템들의 재사용이 인간 그레이딩과 호환되지 않는 실시간 브로드캐스트에서 바람직함)을 결정한다고 비제한적으로 가정할 것이다.

독자의 편의를 위해 그리고 독자가 관련 양태들 중 일부를 빠르게 이해하게 하기 위해, 도 1은 장래의 HDR 시스템(예를 들어, 1000 니트 PB_D 디스플레이에 연결됨)이 이미지 내의 모든 객체들/픽셀들에 대한 적절한 휘도들을 렌더링하는 것에 의해 정확히 핸들링할 수 있는 필요가 있을 수 있는 많은 가능한 HDR 장면들의 2개의 통상의 예시적인 예들을 도시한다. 예를 들어, ImSCN1은 서부 영화로부터의 화창한 실외 이미지(이는 이상적으로는, 비오는 날의 모습보다 더 화창한 모습을 제공하기 위해 100 니트 디스플레이보다 다소 더 밝게, 예를 들어 이른바 500 니트의 평균 휘도로 렌더링되어야 하는 주로 밝은 영역들을 가짐)인 반면, ImSCN2는 야간 이미지이다.

무엇이 그러한 이미지를 화창하게 하는 데 비해, 다른 하나를 어둡게 하는가? 반드시 상대 휘도들은 아닌데, 적어도 SDR 패러다임에서는 아니다. HDR 이미지 렌더링을 겨우 2년 전에 끝난 SDR 시대에 항상 있었던 방식과 상이하게 만드는 것은 SDR이 제한된 동적 범위(약 PB=100 니트 및 흑색 레벨 약 0.1 내지 1 니트)를 가져서, 주로 객체들의 고유 반사율들(이는 양호한 백색에 대한 90%와 양호한 흑색에 대한 1% 사이에 있을 것임)만이 SDR에서 표시될 수 있다는 것이다. 그것은 균일하고 기술적으로 제어되는 조명 하에서 (소정 양의 그들의 반사로부터의 명도 및 물론 그들의 색도(chromaticity)를 갖는) 객체들을 인식하는 데 양호할 것이지만, 자연스런 장면들에서 가질 수 있는 조명 자체의 아름다운 변동들 및 시청자들에게 미칠 수 있는 어떠한 영향에 대해서는 그렇지 않을 것이다. 디스플레이가 그것을 허용하고, 따라서 이미지 코딩 및 핸들링 기술이 그러해야 하는 경우, SDR 디스플레이와 같이 단지 다소 더 노란 느낌이 아니라 숲속 산책에서 나무들을 통해 햇빛을 실제로 볼 것이고, 사람이 음지에서 양지로 걸을 때 밝고 다채로운 햇빛에 비친 옷을 보기를 원할 것이다. 따라서, 불 및 폭발은 적어도 PB_D가 허용하는 정도까지는 최적의 시각적 영향을 가져야 한다.

SDR에서, 야간 이미지를 루마 히스토그램에서 다소 더 어둡게, 그러나 너무 많지는 않게 어둡게 할 수 있거나, 단지 이미지를 너무 어둡고 보기 싫게 렌더링할 것이다. 또한, 100 니트 TV에서는 또는 100 니트 인코딩에서는, 너무 밝은 임의의 것에 대해 이용 가능한 어떠한 방도 존재하지 않는다. 따라서, 객체들을 그들의 조명과 무관하게 표시해야 하며, 발생할 수 있는 장면의 때때로 높은 콘트라스트의 조명들 모두를 동시에 충실하게 표시할 수 없다. 실제로, 이것은 매우 밝은 화창한 장면이 칙칙한 비오는 날의 장면과 대략 동일한 디스플레이 휘도(0-100 니트)로 렌더링되어야 한다는 것을 의미하였다. 그리고 야간 장면들조차도 너무 어둡게 렌더링될 수 없거나, 시청자는 이미지의 가장 어두운 부분들을 잘 구별할 수 없을 것이며, 따라서 다시 그러한 야간 명도들은 0 내지 100 니트의 범위에 걸쳐 렌더링될 것이다. 그에 대한 통상적인 해결책은 야간 장면들을 푸르게 채색하는 것이었고, 따라서 시청자는 그가 주간 장면을 보고 있지 않다는 것을 이해할 것이다. 현재, 물론, 실생활에서, 인간의 시력은 또한 이용 가능한 양의 광에는 적응하지만, 많은 양에 대해서는 그렇지 못할 것이다(실생활에서 대부분의 사람들은 어두워지는 것, 또는 그들이 더 어두운, 또는 매우 밝은 환경에 있는 것을 인식한다). 따라서, 적어도, 이용 가능한 HDR 디스플레이를 갖는 경우에, 훨씬 더 사실적인 렌더링된 이미지들을 얻기 위해 그 안에 예술적으로 설계할 수 있는 모든 멋진 국지적 및 또한 일시적 조명 효과들을 갖는 이미지들을 렌더링하기를 원할 것이다. 결정할 마스터 그레이딩(들)을 생성하는 컬러 그레이더에 맡길 것은 바로 어두운 방 안의 이른바 광검(light saber)에 대한 적절한 휘도일 것이며, 본 출원은 그러한 이미지들을 생성하고 핸들링하는 데 필요한 기술적 가능성들에 초점을 맞출 것이다.

도 1의 좌측 축 상에는 5000 니트 PB_D 디스플레이에 대해 5000 니트 PB 마스터 HDR 그레이딩으로 보기를 원하는 객체 휘도들이 있다(즉, 그레이더는 집에서의 통상적인 고품질 HDR TV가 5000 니트 PB_D를 가질 것으로 가정하여 이미지를 형성하고, 그가 실제로 그러한 집 시청 방의 표현 내에 앉아서 그러한 그레이딩 디스플레이 상에서 그레이딩할 수 있다). 환상만이 아니라 카우보이가 밝은 햇빛 환경에 있는 현실감을 전달하기를 원하는 경우, 그러한 픽셀 휘도들을 충분히 밝게(그러나, 또한 HDR 이미지 생성 및 핸들링의 통상적인 함정인 성가시게 너무 밝지는 않게), 예를 들어 약 500 니트로 지정 및 렌더링해야 한다. 야간 장면에 대해서는 주로 어두운 휘도들을 원하지만, 모터사이클 상의 주요 캐릭터는 잘 인식될 수 있어야 하는데, 즉 너무 어둡지 않아야 하며(예를 들어, 약 5 니트), 이와 동시에 예를 들어 거리 조명들의 매우 높은 휘도, 예를 들어 5000 니트 디스플레이 상의 약 3000 니트 또는 임의의 HDR 디스플레이(예를 들어, 1000 니트) 상의 대략 피크 명도의 픽셀들이 존재할 수 있다. 제3 예 ImSCN3은 현재 HDR 디스플레이들 상에서 또한 가능한 것을 도시하며: 매우 밝은 픽셀 및 매우 어두운 픽셀 둘 모두가 동시에 렌더링될 수 있다. 그것은 화창한 외부를 볼 수 있는 작은 구멍을 갖는 어두운 동굴을 도시한다. 이 장면의 경우, 나무와 같은 햇빛 속의 객체들이 동굴 내부의 본질적으로 어두운 캐릭터와 더욱 조화되어야 하는 밝은 화창한 풍경, 예를 들어 약 400 니트의 인상을 렌더링하기를 원하는 장면에서보다 다소 덜 밝게 되기를 원할 수 있다. 컬러 그레이더는 (이미 PB_HDR=5000 니트 마스터 HDR 이미지 안의) 모든 객체들의 휘도들을 최적으로 조화시켜, 어떤 것도 부적절하게 어둡거나 밝게 보이지 않고, 콘트라스트가 양호하게 되기를 원할 수 있으며, 예를 들어 이러한 동굴 안의 어둠 속에 서 있는 사람은 (HDR 렌더링이 밝은 하이라이트들뿐만 아니라 어두운 영역들도 렌더링할 수 있을 것으로 가정할 때) 약 0.05 니트의 마스터 HDR 그레이딩된 이미지 안에 코딩될 수 있다.

따라서, 리그레이딩에 대해 다양한 통상적인 거동들이 존재할 수 있다는 것을 알며: 예를 들어, 때때로 휘도들을 모든 휘도 범위들에서 실질적으로 동일하게 유지하기를 원하고, 때때로 그들은 스케일링된다(예를 들어, 감소하는 PB_C로 선형적으로 스케일링된다). 또는 태양과 같은 일부 객체들을 항상 PB_C에 매핑하기를 원할 수 있다.

코딩 프레임워크에서 일부 제한들이 있다는 것을 이해해야 한다. 예를 들어, 모드 1 시스템에서, 단지 좋아하는 것을 자유롭게 할 수 없고, 오히려 통상적으로 매핑은 제한된 세트의 표준화된 휘도 매핑 함수들(luminance mapping functions)에 따라 발생해야 한다(이는 디코더(decoder)가 생성 측에서 행해지는 것을 이해할 필요가 있고, 디코더들이 복잡하고 비용이 많이 들지 않는 것과 같이, 실제 시장 요구들을 충족시킬 필요가 있기 때문이다). 따라서, 정확히 그리고 충분히 시스템의 사용자들 및 콘텐츠 생성자들이 특히 원하는 것에 따라 거동하는 함수들의 세트를 엔지니어링해야 하며, 이는 본 출원인이 수년 전에 발명한 것이다. 모드 2 시스템의 경우, 또한, 함수들이 가역적이고, 특히, SDR 이미지에서 너무 많은 정보가 손실되지 않는 것을 보장해야만 하며, 이러한 손실은 이어서 원본 생성 측 HDR 이미지의 근사 재구성을 획득하려고 시도하는 수신기에서의 리그레이딩에 의해 결코 수학적으로 복구될 수 없다.

최적으로 리그레이딩하기 위한 함수들은 통상적으로 콘텐츠-의존적일 것이고, 따라서 그들은 통상적으로 적어도 동일한, 유사하게 보이는 이미지들의 그리고 유사한 휘도 분포 장면의 샷마다 통신될 것이다.

단지, 잘 이해하는 데 중요한 일부 컴포넌트들의 설명을 위한 일부 기술적 비디오 코딩 가능성들을 예시하기 위해, 본 출원인이 HDR 이미지 및 특히 HDR 비디오 코딩을 위해 설계한 예시적인 HDR 비디오 코딩 시스템을 설명한다(따라서, 독자는 본 발명의 원리들이 설명을 위한 예시적인 시스템과 다른 시스템들에도 적용 가능하다는 것을 이해해야 한다).

이러한 비디오 코딩 시스템은, 필드에서의 통상적인 단일 종류의 디스플레이(예를 들어, 모든 최종 시청자가 1000 니트 PB_D 디스플레이를 갖는다는 가정 하에 PB_C = 1000 니트로 정의되는 이미지들)에 대한 단지 단일의 표준화된 HDR 비디오(예를 들어, 인코딩에 대한 EOTF를 정의하는 루마 코드로서 사용되는 10 비트 지각적 양자화기)의 통신(인코딩)을 핸들링할 수 있을 뿐만 아니라, 이와 동시에, 필드에서 다양한 다른 피크 명도들을 갖는 다양한 가능한 다른 디스플레이 유형들, 특히 100 니트 PB_D SDR 디스플레이를 위한 SDR 이미지에 대해 최적의 모습/그레이딩을 갖는 비디오들을 통신 및 핸들링할 수 있다.

즉, 그러한 HDR 비디오 통신 시스템에서는, 실제로는 하나의 유형의 그레이딩된 이미지들만을 송신되는 픽셀화된 이미지들로서 통신하지만, 통상적으로 이러한 예시적인 SDR 이미지들(또는 대안적으로 HDR 이미지들)에서만은 그렇지 않지만, 또한 HDR 이미지 픽셀 컬러들 및 특히 그러한 SDR 이미지들로부터의 휘도들을 정의하는 하나 이상의 함수를 메타데이터에 추가하기 때문에, (이중 이미지 통신, 또는 픽셀화된 HDR 이미지 데이터의 적어도 제2 계층에서와 같이, HDR 이미지들을 통신하는 것을 실제로 필요로 하지 않고) 장면에 대한 HDR 이미지 모습들도 동시에 통신하였다.

그에 따라, 도 2에 예시된 바와 같이, 일 세트의 적절한 가역적 컬러 변환 함수 F_ct가 정의된다. 도 2는 기본 개념들을 설명하기 위한 목적으로 SDR-통신 유형(즉, 모드 2)의 통상적인 시스템을 비제한적으로 도시한다. 이러한 함수들은 HDR 마스터 이미지 MAST_HDR에 대응하는 적절하게 보이는 SDR 이미지(Im_LDR)를 얻도록 인간 컬러 그레이더에 의해 정의될 수 있는 동시에, 역함수들 IF_ct를 사용함으로써 원본 마스터 HDR(MAST_HDR) 이미지가 재구성된 HDR 이미지(Im_RHDR)로서 충분한 정밀도로 재구성될 수 있는 것을 보장한다. IF_ct 함수들은 통신된 바와 같은 순방향 HDR-SDR 매핑 F_ct 함수들로부터 결정될 수 있거나, 시스템은 IF_ct 함수(들)를 직접 통신할 수도 있다.

컬러 변환기(202)는 통상적으로 최대 휘도가 1.0이도록 정규화되는 것으로 가정될 마스터 HDR 이미지(MAST_HDR) 픽셀들의 상대 휘도들의 F_ct 휘도 매핑을 적용한다. 간단한 방식으로 본 발명의 개념들을 이해하기 위해, 간소화를 위해, 100 니트 PB_C SDR 출력 이미지 Im_LDR(즉, 도 1의 우측)의 픽셀들의 정규화된 SDR 출력 휘도들을 도출하기 위해 제4 파워 휘도 매핑 함수(L_out_SDR=power(L_in_HDR; ¼))를 사용하는 것으로, 즉 그러한 함수가 장면의 마스터 HDR 이미지에 대한 SDR 그레이딩된 대응하는 이미지들에 대한 합당한 모습을 제공하는 것으로 가정할 수 있다(이는 특정 장면에 대해, 대부분의 음영 영역들이 어둡게 보이지 않을 것이고, 램프들 및 다른 발광 객체들이 적어도 SDR 휘도 동적 범위가 허용하는 정도까지 SDR 이미지에서도 더 어두운 이미지 영역들과의 합당한 영역간 콘트라스트를 여전히 갖는 것에 의해 원하는 대로 팝(pop)할 것 등과 같은 양태들을 상당하게 의미하며; 다른 이미지들에 대해서는 다른 인자들이 기여할 수 있지만, 그러한 상세들은 본 발명의 기술적 컴포넌트들의 설명에 본질적이지도 제한적이지도 않다).

수신기들은 수신된 대응하는 SDR 이미지로부터 마스터 HDR 이미지를 재구성할 수 있어야 하거나, 그러나 일부 압축-관련 아티팩트들에 대해서는, 또한 컬러 매핑 함수들이 비디오 인코더(video encoder)(203)에 입력해야 하는 실제의 픽셀화된 이미지들과 별개로 적어도 근사 재구성을 행해야 한다. 제한 없이, 비디오는 MPEG HEVC 비디오 압축기로 압축되고, 함수들은 예를 들어 SEI 메커니즘 또는 유사한 기술에 의해 메타데이터에 저장되는 것으로 가정할 수 있다.

따라서, 이미지 통신 기술 관점에서, 콘텐츠 생성 장치(221)의 동작 이후에, 비디오 인코더(203)는 그가 입력으로서 정상 SDR 이미지를 얻고, 더 중요하게는: Rec. 709 표준 SDR 루마 사양에 따라 기술적으로 SDR 이미지(코딩된 이미지 Im_COD)인 것을 출력하는 것으로 가정한다. 따라서, 이어서, 추가의 기술, 예를 들어 소정의 송신 매체(205)를 통해 진행할 데이터를 포맷(예를 들어, BD 디스크 상에 저장하기 위한 코딩, 또는 케이블 송신을 위한 주파수 코딩 등)하기 위해 모든 필요한 변환들을 적용하는 송신 포맷터(transmission formatter)(204)는 단지 그가 SDR 코딩 패러다임에서 수행하기 위해 사용한 모든 통상적인 단계들을 적용할 수 있다.

이어서, 이미지 데이터는 소정의 송신 매체(205), 예를 들어 위성 또는 케이블 또는 인터넷 송신을 통해, 예를 들어 ATSC 3.0 또는 DVB, 또는 임의의 비디오 신호 통신 원리에 따라 하나 이상의 수신 측(들)으로 이동한다.

임의의 소비자 또는 전문가 측에서, 예를 들어 셋톱박스, 텔레비전 또는 컴퓨터와 같은 다양한 물리적 장치들에 통합될 수 있는 수신기 언포맷터(receiver unformatter)(206)가 언포맷팅 및 채널 디코딩을 적용함으로써 채널 인코딩을 무효화한다. 이어서, 비디오 디코더(207)는 예를 들어 HEVC 디코딩을 적용하여 디코딩된 SDR 이미지 Im_RLDR, 및 컬러 변환 함수 메타데이터 F_ct를 산출한다. 이어서, 컬러 변환기(208)가 SDR 이미지를 임의의 비-SDR 동적 범위(즉, 100 니트보다 높은 PB_C, 통상적으로 적어도 6배 더 높음)의 이미지로 변환하도록 배열된다. 예를 들어, 5000 니트 원본 마스터 이미지 Im_RHDR은 MAST_HDR로부터 Im_LDR을 형성하기 위해 인코딩 측에서 사용되는 컬러 변환들 F_ct의 역 컬러 변환들 IF_ct를 적용함으로써 재구성될 수 있다. 또는, SDR 이미지 Im_RLDR을 상이한 동적 범위로 변환하는 디스플레이 적응 유닛(209)이 포함될 수 있으며, 예를 들어 Im3000 니트는 디스플레이(210)가 3000 니트 PB 디스플레이, 또는 1500 니트 또는 1000 니트 PB 이미지 등인 경우에 최적으로 그레이딩된다. 비디오 디코더 및 컬러 변환기가 단일 비디오 재결정 장치(220) 내에 있는 것으로 비제한적으로 가정하였다. 숙련된 독자는 예를 들어 PB_C=10,000 니트를 갖는 HDR 이미지들을 통신하는 토폴로지를 유사하게 설계할 수 있고, 컬러 변환기가 대응하는 TV 또는 모니터에 대해 예를 들어 PB_C=2500 니트를 갖는 출력 HDR 이미지들을 형성한다는 것을 이해할 수 있다.

도 3은 이론적 컬러 공간에서 (특히, 휘도 매핑을 포함하는) HDR-SDR 컬러 매핑이 무엇처럼 보일지를 설명한다.

컬러 공간은 원통형 카테고리에 속하고, 그의 베이스로서 색도 평면을 갖는다. 2차원 색도는 컬러의 "자신의 성질", 예를 들어 해당 컬러의 조명 또는 명도에 관계없이 소정의 포화된 오렌지색, 또는 오히려 포화되지 않은 적색(즉, 분홍색)을 갖는지를 나타낸다. 명도 척도로서, 공간의 세 번째, 수직 차원인 휘도를 사용한다(실제로는, 최대 1.0이어야 하는 상대 휘도가 사용된다). 색도(Chrom) 좌표들로서, 중심에서 무색 휘도 축으로부터의 거리인 포화도(Sat), 및 색조 각도(H)를 사용하지만, CIE (u,v) 좌표들, 또는 r=R/(R+G+B) 및 g= G/(R+G+B)도 사용할 수 있고, 여기서 R, G, 및 B는 컬러에 대한 적색, 녹색 및 청색 각각의 선형적인 기여 양들(간단히 말해서, 적색 등의 광자들의 양)이다.

SDR 컬러(Col_out)는 HDR 컬러(Col_in)로부터 계산된다. 독자는 정규화된 컬러 공간(PB_C=1.0)에 양쪽 픽셀 컬러들을 나타내며, 따라서 통상적으로 SDR 컬러는 여전히 보이도록 더 밝아야 한다는 것을 이해해야 한다(이것은 상대 휘도 L이 SDR 디스플레이보다 HDR 디스플레이에 대해 훨씬 더 밝아서 동일한 최종 컬러가 디스플레이의 정면에서 보이게 하는 백라이트의 LCD 송신 백분율에 대응하고, HDR 디스플레이가 더 적은 광을 송신해야 하고 그 반대도 마찬가지인 기술을 고려함으로써 이해될 수 있다). 가장 밝은 HDR 컬러들이 SDR에서만 불가능한 컬러들이기 때문에, 동일한 정규화된 색역(gamut)에서 HDR 및 SDR 이미지 휘도들 모두를 보여주는 것은 일부 양태들에 관하여 다소 잘못된 것일 수 있고, 따라서 아티스트(artist) 또는 오토마톤(automaton)은 그것에 대한 합당한 근사를 선택해야 하지만, 이러한 간단한 설명은 수신된 마스터 HDR 이미지로부터 더 낮은 동적 범위 이미지를 생성하는 방식과 같은, HDR 이미지 또는 비디오 핸들링 체인에서 발생하는 기술적 계산들에 관한 것인 본 특허 출원에 대해 충분하다는 점에 빠르게 유의해야 한다.

컬러 변환은 원하는 대로 아주 훌륭하게 거동하는데(특히 직교함, 이는 휘도 변화가 색도에 영향을 주지 않거나 그 반대도 마찬가지라는 것을 의미함), 이는 상대적 명화(relative brightening)가 컬러의 색도(Chrom)의 어떠한 변화도 수반하지 않는다고 간주할 수 있기 때문이다.

이것은 처음부터 그렇게 사소하지 않다. 가장 통상적인 레거시 변환은 3개의 가산 컬러 채널들에 대해 개별적으로 함수를 적용함으로써 이미지들을 밝게 하며(예를 들어, 파워(L;1/3) 함수는 가장 어두운 컬러들을 훌륭하게 밝게 할 것인 반면에, 1.0을 출력으로서 1.0에 매핑하여 오버플로우(overflow)를 산출하지 않을 것임), 이는 색조 에러들을 유발할 것이며, 따라서: 단지 픽셀 컬러들을 밝게 하는 대신에, 그들은 또한 가산 혼합물 내의 R, G, 및 B 컬러 성분의 상대적 양들 사이의 비-선형적으로 변화하는 관계로 인해, 가능한 컬러들의 색역 전부에 걸쳐 그들의 색조를 변경한다.

이론적 컬러 공간에서도 색도, 특히 그의 포화도를 변경하는 또 다른 가능성이 존재한다.

사실상, 모든 컬러들의 공간은 원통형일 것인데, 이는 초신성(supernova)의 광으로 선택된 포화되지 않은 황색을 실제로 조명할 수 있기 때문이다.

그러나, 디스플레이들은 제한들, 및 또한 컬러들의 임의의 실제 코딩을 갖고(이는 정규화된 색역을 도입한 이유임: PB_C= 1.0이 10,000 니트와 같이 매우 높은 니트의 실제의, 절대적인 PB_C에 대응할 수 있더라도, 여전히 그러한 제한이 존재함): 자연적인 구성에 의해, 가장 밝은 컬러가 백색이고, 밝은 황색과 같은 임의의 유색 컬러가 더 작은 휘도를 가져야 한다.

따라서, 이러한 이론적인 컬러 공간에서도, 간단한 명화 매핑이 실현 가능한 색역(GAMU) 위에 매핑되는 것이 예를 들어, 통상적으로 비교적 어두운(예를 들어, 백색의 휘도의 10%) 청색들 근처에서 발생할 수 있고, 이는 실제로, 소정의 컬러 성분(이러한 예에서는 청색)이 그의 최대값으로 클리핑되어(clip), 통상적으로 너무 역포화되고 종종 부정확한 색조(예를 들어, 밝은 청색)를 갖는 상위 색역 경계(upper gamut boundary) 상의 컬러를 산출해야 한다는 것을 의미한다.

그러나, 본 출원인은 모든 필요한 것에 따라 거동하는 간단한 시스템을 구성하도록 관리하였으며: 특히 색역외 문제가 없어서, 이상적으로 요구될 것보다 아마도 다소 낮은 휘도의 비용으로, 모든 컬러들에 대한 정확한 색도를 유도하였다. WO2014056679에 설명된 이러한 HDR 코딩 기술의 원리들(즉, 그들의 F_ct 휘도 매핑 메타데이터 함수들의 결정, 통신 및 사용)은 (본 교시들과의 차이들의 나중의 이해를 위해) 다음과 같이 짧게 재반복된다.

그의 도 5가 도시하는 바와 같이, 명화(또는 암화) 휘도 변환은 3개의 컬러 성분들에 결정된 이득 인자 g를 동등하게 곱함으로써 실제로 적용되며(휘도가 선형 컬러 성분들 R, G, 및 B의 선형 가산 조합, 즉 L=a*R+b*G+c*B인 것을 기억하며; 계수 a,b 및 c는 비디오 정의에서 사용되는 RGB 원색들의 색도들에 의존하고, 예를 들어 Rec. 709에 대해, 그들은 대략 a=0.3; b=0.6; c=0.1임), 이는 그들의 상대적 비례가 변화하지 않음을, 즉 휘도 처리 전후에 컬러의 색조 및 포화도가 동일하게 유지되는 것을 보장한다.

본 교시는 3개의 RGB 성분들 중 어느 것이 가장 큰지에 기초하여 이득 인자가 각각의 가능한 컬러에 대해 결정되는 것을 추가로 규정하며, 이는 매핑이 로컬 Lmax(chrom)로 정확히 스케일링되는 것을, 즉 결코 색역외 문제들을 유발하지 않는 것을 보장한다. 따라서, 그러한 컬러 수학의 구현은 이상적인 선형 및 분리된 컬러/명도 처리 거동을 실현하면서도, 색역, 특히 디스플레이의 색역의 제한들을 완화한다.

그러나, 다양한 이유들로 인해, 다른 컬러 표현들, 즉 다른 컬러 공간들에서도 작동할 수 있는 컬러 처리가 요구된다.

이미 아날로그 비디오(PAL, NTSC) 시대이므로, YCbCr(또는 대응하는 YIQ) 컬러 공간이 정의되었고, 이는 비디오 통신에 대해 매우 유용한 것으로 입증되었지만, 사람들은 또한 (예를 들어, Y 채널 상에서 조절함으로써 명도를 변경하거나, Cb 및 Cr 채널들 상에서 유사하게 변경함으로써 포화도를 변경하는 아날로그 tv 회로들을 이용하여) 그 안에서 컬러 처리를 수행하기를 원하였다.

도 4는 그것이 어떻게 보이고, 그의 특성들이 무엇인지를 도시한다. 먼저, (0-1.0에서) RGB 큐브가 그의 팁 상에서 회전되고, 따라서 이제 R=G=B인 대각선 축은 무색, 즉 컬러 없는 명도 축이 된다.

그러나 새로운 명도 척도는 이제 루마이다.

그것은 휘도와 동일한 a,b,c 계수들로, 그러나, 이제는, Rec. 709에 따라 대략 R=sqrt(R_linear) 등인 비-선형(감마-사전 정정된) RGB 계수들로부터 정의된다. (HDR 시대에서는, 추가의 비-선형 RGB 성분들이 R_nonlin=OETF_HDRcodec(R_lin) 등에 의해 정의되었음에 유의한다).

파워(루마;2)가 휘도와 같다고 생각하는 경향이 있을 것이고, 이는 실제로 무색 축에서 그러하다(R=G=B이므로, power((a+b+c=1)*sqrt(R);2) = power(Y;2)=L). 그러나, 유색 컬러들에 대해 루마는 단순히 1차원적으로 휘도와 관련되는 것이 아니라, 색도(또는 색차)와도 관련되며, 이는 일정하지 않은 휘도 누설로 지칭된다.

이는 소정의 결과들을 갖는데: 함수, 예를 들어 Y_out=power(Y_in; 1/3)을 적용하는 것에 의해 이미지 컬러들을 밝게 하기를 원하는 경우, 입력 루마 Y_in은 색도에 의존하고, 따라서 제1/3 파워 함수(이해를 위해 간단한 것으로 선택됨)의 Y-의존적 동작으로 인해 명화의 강도도 그러하다. 전술한 종래 기술의 시스템에서의 임의의 그러한 루마 매핑 함수(간단한 예시적인 파워 함수인지, 또는 장면 내의 특히 관심 있는 객체들의 휘도들에 대응하는 여러 개의 주의 깊게 선택된 국지적인 더 높거나 더 낮은 기울기들을 갖는 훨씬 더 복잡하고 흥미로운 함수인지에 관계없음)는 루마-의존 이득 g(Y)에 대응하고, 이는 (각각의 가능한 실시예들에서 선형 또는 비-선형인) RGB 성분들에 곱해진다(이는 예를 들어 YCbCr과 같은 선형 RGB의 파워 함수 재정의들에서도 성분 승산을 구현할 수 있기 때문임)는 점에 유의한다. 따라서, "잘못된" 휘도가 상이한 루마로서 (밝아질 필요가 있는 소정의 무채 회색(achromatic grey)과 이론적으로 동일한 휘도를 갖는) 컬러에 대해 추정되는 경우, 그러한 컬러는 "잘못된" 부스트를 얻을 수 있고, 부재중에 적색과 같은 포화된 컬러들의 형광 외관을 유발한다.

도 3의 이론적 컬러 공간과의 세 번째 주요 차이는 컬러 성분들 CbCr이 색도들이 아니라는 것인데, 이는 (상반부의 상단에서의 색역 제한 외에도) 이러한 컬러 공간이 원통형이 아니라 원추형이라는 사실에 의해 알 수 있다.

포화도는 Cb의 증가에 따라 변화하지 않고, 오히려 무색 루마 축으로부터의 각도에 따라 변화한다. 이는 이러한 디스플레이-의존 컬러 시스템에서 재생 가능한 최대 포화도의 청색 원색(ColBlu)을 취하고, 그의 휘도를 가장 밝은 가능한 청색(Blu)을 향해 증가시킴으로써 이해될 수 있다. 이는 동일한 종류의 포화된 청색이며, 그의 색도, 따라서 그의 포화도는 변화하지 않을 것이지만, 그의 Cb 값은 루마에 따라(또는 대응하여 휘도에 따라) 증가한다. 이러한 휘도-의존성은 Cb 및 Cr 성분을 색차(Chrom-inance)로 지칭하는 이유이고, 제1 부분은 그것이 컬러 양태(컬러의 청색성)를 성문화한다는 사실을 나타내지만, 제2 부분은 이것이 비-선형 루마에 따라 선형적으로 변한다는 것을 나타낸다. Cb_out=Sm*Cb_in; Cr_out=Sm*Cr_in이지만, 색차들을 일정한 포화 승수(saturation multiplier)(Sm)와 동등하게 곱함으로써 그러한 YCbCr 표현에서 포화도를 변경할 수 있다.

그러면, 루마는 이러한 처리에 의해 영향을 받지 않기 때문에 변화하지 않지만, 컬러의 휘도는 루마의 일정하지 않은 휘도 특성으로 인해 변화할 것이다(이는 많은 상황들에서 컬러 처리 시스템들의 사용자들에 의해 문제가 되는 것으로 인식되지 않지만, 일부 더 중요한 시나리오들에서는 문제가 될 수 있다). 그러나, CbCr 성분들이 이어서 "잘못된" 휘도, 따라서 상이한 포화도의 컬러에 대응하기 때문에, 루마 부분만을 변경하는 것은 일정 컬러 색도 거동을 유발하지 않는다. 그러나 이는, 루마(또는 휘도-기반 처리에서의 휘도, 예를 들어 선형 YCbCr 공간, 또는 후술되는 바와 같은 비-선형 토폴로지들에 통합된 선형 버전들 등)의 유사한 차이에 의해 CbCr 계수들을 반대-조종함으로써 비교적 쉽게 정정될 수 있다.

색역의 상단에서의 포화도 문제들은, 최대 백색을 향하는 그의 협소화로 인해 임의의 시스템에서 여전히 존재하고(그리고 색조 에러들을 초래할 수 있음), 이것은 본 출원의 새로운 실시예들 및 교시들이 다룰 것이다.

아래의 다양한 교시들의 완전한 이해를 위한 배경 정보로서 흥미로운 마지막 것은 도 5와 함께 설명된다.

도 5는 본 출원인의 공동-개발된 테크니컬러-필립스(Technicolor-Philips)(각각 SLHDR1 및 SLHDR2라고도 함) 기본 HDR 디코더 하드웨어(인코더는 미러 처리임)를 재요약한다. 이것은 2개의 플레이버들(flavors): PQ-기반 YCbCr이 입력되는, 즉 SMPTE 2084 지각적 양자화기 함수인 OETF로 선형 좌표들로부터 계산되는 비-선형 R'G'B' 좌표들에 기초하여 계산되는 경우인 모드 1, 및 정상적인(즉, Rec. 709 디코딩 가능한, 또는 sqrt-OETF-기반으로서 근사화되는) SDR YCbCr 이미지 컬러들이 입력되는 경우인, 여기서 설명되는 모드 2 버전에서 유사하게 구동될 수 있다.

이러한 예와 유사하게, 본 실시예들은 여기서 설명되는 선형(즉, 선형 RGB-기반) YCbCr 컬러 공간 계산, 및 R'=sqrt(R)-기반 예와 같은 파워-법칙 기반 비-선형 계산 둘 모두에서 구현될 수 있다는 점에 유의한다.

이는 선형 공간에서의 계산들이 파워-기반 계산들, 특히 sqrt-파워-기반 계산들, 예를 들어: k*power(a*sqrt(R)+b*sqrt(G);2)=power(a*sqrt(k*R)+b*sqrt(k*G);2)와 동등하게 행해질 수 있기 때문이다.

따라서, 이는, 정확히 암화된 HDR 픽셀 컬러들을 획득하기 위해, 공통 이득 인자 gNL을 비-선형 정규화된 RGB 성분들 R'G'B'_nrm에 적용하더라도, 실제로는 선형적인, 완전히 분리된 휘도-기반 처리를 수행할 수 있다(즉, 일정하지 않은 휘도 루마-기반 명도 처리로 인한 형광 컬러 명도 에러들을 피할 수 있다)는 것을 의미한다.

이는 휘도 프로세서(501)에 의한 전체 SDR-HDR 컬러 매핑의 휘도 처리 부분(도 3에서의 예시적인 컬러의 상향 이동)이 현재 처리된 픽셀의 휘도 L을 입력으로서 얻는다는 사실에 의해 알 수 있다.

컬러 공간 변환기(502)는 그가 일정하지 않은 휘도 루마 Y를 휘도로 변환하도록 배열되는 것에 의해 이를 핸들링할 수 있는데, 이는 다양한 방식들로 행해질 수 있다(예를 들어, 비-선형 R'G'B'-값들은 적절한 역 OETF, 소위 EOTF를 적용함으로써 그들의 선형 값들로 변환되고, 이어서 휘도 L은 위에서 설명된 바와 같이 RGB-삼중 값들에 기초하는 적절한 선형 정의 방정식에 의해 계산된다).

3개의 컬러 성분들에 대한 필요한 선형 승산 인자 gL은 정규화된 출력 휘도 L_out을 정규화된 입력 휘도 L로 나눔으로써 획득된다.

그러나, 매우 흥미롭게도, 휘도에 대한 선형 처리를 행하지만, 실제로는 휘도의 비-선형 버전에서 처리를 지정(및 수행)할 수 있다(분할-오프 휘도-전용 정보 채널로 인해, 이는 동등하게 공식화될 수 있다).

이러한 예에서는, 인간 그레이더(또는 오토마톤)가 그의 동적 범위 리그레이딩 필요성을 지정하는 것이 더 자연스러울 수 있는 지각적으로 균일화된 도메인에서의 처리를 보여준다. 그에 따라, 도메인 변환기(511)는 (예를 들어, PQ OETF, 또는 WO2015007505에서 필립스에 의해 특허된 함수를 적용함으로써 - 그의 교시들은 본 출원의 잠재적인 실시예 교시들로서 본 명세서에 포함됨) 선형 휘도들을 지각적으로 더 균일한 지각적 루마들 PY로 변환한다. 휘도 매퍼(512)는 SDR 지각적 루마 PY의 HDR 출력 지각적 루마들 PY_O로의 매핑을 수행한다. HDR 이미지의 정확한 지각적 루마들이 간단한 제3 파워 법칙: PY_O=power(PY;3)을 적용함으로써 획득된다는 위에 간소화된 설명을 계속하는 것을 가정할 수 있지만, 일반적으로 콘텐츠 생성자는 공동-통신된 메타데이터 SEI(F_ct)로부터 판독되고 예를 들어 LUT 등으로 로딩되는 임의의 복잡한 가장 최적의 곡선 형상을 정의할 수 있다. (예를 들어, PB_C=1000 니트의) 더 높은 동적 범위의 정확한 대응하는 모습의 이미지를 획득하기 위해 상대 휘도들의 대부분을 디밍해야(dim) 한다는 것을 알 수 있다(그것의 역이 입력 이미지보다 작은 동적 범위 및 특히 코딩 피크 명도 PB_C의 이미지에 대한 대응하는 객체 픽셀 휘도들(여기서 실제로 그들의 대응하는 루마들로서 계산됨)을 생성하는 방법에 대해 도 3과 관련하여 설명되었음).

그 후, 제2 도메인 변환기(513)는 지각적 루마들을 재선형화하는데, 즉 정확한 HDR 휘도들 L_out을 획득한다.

따라서, 이러한 토폴로지는, 원하는 대로 다양한 방식들로 색도-보존 순수 휘도 변화를 실현하기 위한 강력한 방식이다(적어도: 공통 승산 인자가 제한 없이 1.0으로 가정될 그들의 최대치보다 높게 R'G'B' 값들 중 어떠한 것도 부스팅하지 않는 한 그러하며, 이는 전술한 색역위 클리핑(above-gamut clipping)이다). 회로의 나머지는 본 발명의 아래의 양태들을 이해하는 데 그렇게 중요하지 않은 실시예이다.

다른 컬러 LUT B(Y)는 (유색 처리 도출기(520)에 의해) 메타데이터로부터 로딩될 수 있어, 각각의 픽셀 루마 Y에 대한 B 인자를 제공하여 (승산기(521)에 의해) 수신된 CbCr 값들과 승산하여 더 적절한 출력 값들 CbCr_COR을 획득할 수 있다. 이는 간단한 전략, 또는 컬러의 V-값도 고려하는 더 복잡한 전략일 수 있으며, 여기서 선형 시나리오에서 V=max(R'G'B'), 또는 V=max(R,G,B)이다. 마지막으로 행렬은 정규화된 R'G'B'-값들 R'G'B'_nrm을 도출한다. 이들은 도 3 및 도 4에 도시된 바와 같이 정규화된 감마에 있지만, 제곱근-분포되는데, 이는 그들이 여전히 입력 이미지 컬러들(Y_SDR, Cb, Cr)의 비-선형 도메인에 있기 때문이다. 사실상, 이들은 그들의 SDR 위치들에 위치하는 컬러들이다(도 3: Col_out(SDR) 참조, 이는 이러한 예에서 SDR 컬러들이 출력 컬러들 대신에 입력 컬러들이기 때문이다). 그들은 각각의 픽셀에 대해 대응하는 gNL-인자에 의해 적절히 매핑될 필요가 있을 것이고, 따라서 승산기(530)는 비-선형, 정규화된 HDR 컬러들 R'G'B'_HDR을 획득하기 위해, 유사하게 해당 인자에 의해 3개의 성분들을 승산할 수 있다.

따라서, 승산기(530)는 다음을 수행한다: R'_HDR= gNL*R'_nrm; G'_HDR= gNL*G'_nrm; B'_HDR= gNL*B'_nrm [수학식 1].

동일한 휘도 변화는 또한 다른 파워-함수-기반 도함수 컬러 표현들, 예를 들어 Y'_HDR= gNL*Y'_nrm; Cb_HDR=gNL*Cb_nrm; Cr_HDR=gNL*Cr_nrm에 대해 대안적으로 구현될 수 있고, 이로써 Cb 및 Cr은 R'G'B'에 기초한 그들의 일반 방정식에 따라 정의되는데, 즉 이 예에서는 SDR 색차들이지만 1로 정규화될 것이다. 본 명세서에서, 프라임 부호는 파워 ½ 기반의 양(즉, 비-선형 루마의 고전적인 Rec. 709 정의)을 가진다는 것을 나타내고, 프라임의 부재는 통상적으로 정상적인 선형 컬러 성분들을 나타내고, 이중 프라임은 컬러 성분들의 또 다른 가능한 HDR 정의를 나타내고, 이때 R"은 통상적으로 R" = OETF_PQ(R)을 나타낸다는 점에 유의한다. 숙련된 독자는 정의된 시스템에서 대응하는 Cb 및 Cr이 정의된다는 것을 이해할 수 있다.

마지막으로, 디스플레이 컨디셔너(540)는 일반적인 기준(예를 들어, 저장의 경우) 또는 특정 연결된 디스플레이에 대한 컬러들을 컨디셔닝할 수 있다. 전자의 예에서, 처리는 감마 1/(2.0)-정의된 R'G'B' 값들을 PQ OETF-정의된 루마들 R"G"B"_PQ로 매우 간단히 변환할 수 있다. 후자의 예에서, 임의의 특정 디스플레이 적응 알고리즘은, 예를 들어 5000 니트 PB_C-정의된 R'G'B'_HDR 대신에, 예를 들어 800 니트 PB_D 최적화된 R"G"B" 값들을 획득하기 위해 디스플레이 컨디셔너(540)에 의해 적용될 수 있다(다른 실시예들에서 이러한 디스플레이 적응은 처리 자체에서, 특히 휘도 프로세서(501)에서 이미 발생했을 수 있다고 오해하지 않아야 한다). 사실상, 디스플레이 컨디셔너는 연결된 디스플레이에 의해 요구되는 임의의 신호 포맷을 산출할 수 있고, (예를 들어, HDMI 케이블 또는 무선 등을 통해) 디스플레이로부터 그것에 대한 정보를 원하는 출력 컬러들 및 그들을 성문화하는 신호를 형성하기 전에 수신하도록 통신할 수 있다.

독자는 이러한 토폴로지가 여러 개의 지금까지 서로 배타적인 컬러 처리 비전들의 소정의 이점들을 갖는다는 것을 알 수 있는데: 그것은 YCbCr-구조를 가지며, 특히 그것은 정상적인 YCbCr 입력 컬러들을 수용하지만, 그것은 또한 정상적인 컬러들의 색조 시프트 없음과 같은 선형 컬러 처리의 모든 훌륭한 특성들을 나타낸다(즉, HDR 이미지들에서, 컬러들의 대부분은 색역 상단보다 훨씬 아래에 놓이는데, 이는 그러한 컬러들이 통상적으로, 때때로 컬러 없는 백색이거나 그들이 역포화되는 경우에 적어도 성가시게 하지 않는 램프 컬러들과 같은 매우 밝은 컬러들을 성문화하기 때문이다). 그러나, 색역위 컬러 매핑의 문제는 여전히 존재하는데, 이는 그것이 임의의 원추형-상단 컬러 공간(원추형-베이스 또는 원통형-베이스인지에 관계없음)과 함께 존재하기 때문이다. 그것은 개별 채널 비-선형 RGB 매핑과 같은 컬러-큐브 처리에서는, 적어도 오버플로우를 피하는 것이 쉬운 그러한 표현에서는 발생하지 않을 것으로 보이지만, 전술한 바와 같이, 그러한 표현들에서는 컬러 성분들의 변경된 비례성들로 인해 컬러 에러들이 재발할 수 있다.

임의의 휘도 매핑 함수(예를 들어, 인간 그레이더에 의해 요구되고 생성되는 함수 형상) 또는 알고리즘이 이득 계산 유닛(514)에 의해 단일 승산 이득 인자로 변환될 수 있는 방법은 다음과 같은데: 입력 휘도가 예를 들어 0.2이고, (일반적으로 도메인 변환을 행하는 2개의 종점 박스들 사이에 있을 수 있고, 최종 결과를 유도하는 임의의 수의 처리들을 포함할 수 있는) 유닛(501) 내의 모든 함수들의 적용이 0.4의 출력 휘도를 산출하는 것으로 가정한다. 그러면, 이득 계산 유닛(514)은 L_out/L로서 (선형 도메인) gL 인자를 산출하는 간단한 분할기일 수 있다.

입력 휘도 L은 입력 컬러 성분들, 예를 들어 선형 R,G,B에 대응할 것이다. 이 예에서 2.0과 동일한 gL 인자와 그들을 곱하는 것은 정확한 출력 컬러 성분들을 산출할 것이며, 이들은 또한 정확한 원하는 출력 휘도를 갖는다. 계산들(즉, IC 토폴로지, 또는 소프트웨어)이 선형 도메인에서 발생하지 않는 경우에, 이득 인자 도메인 변환기(515)가 필요할 수 있는데, 이러한 예에서는 처리가 고전적 감마 2.0 SDR 도메인에서 발생하여, 최종적인, 필요한 비-선형 이득 인자 gNL=sqrt(gL)을 획득하기 위해 제곱근 함수를 적용해야 한다. 휘도 매핑이 휘도를 입력으로 하여 발생한다는 것이 공식화되었다면, 루마를 입력으로 하는 대응하는 공식이 유사하게 구현될 수 있으며, 이를 위해 통상적으로 고전적인 감마 2.0 루마를 사용할 것이다. (유닛(520)의 컬러 처리의 V-의존성은 이전에 교시되지 않았지만, 본 발명과 조합하여 유용하다는 점에 유의한다). 컬러 행렬화기(523)에 의해 적용되어, CbCr_COR로부터 정규화된 R'G'B'_nrm 좌표들을 도출하는 컬러 수학은 컬러 기술에서의 숙련자가 이해하기에 너무 어렵지 않아야 하고, 또한 실제로 중요하지 않은데, 그 이유는 본 교시들이 다양한 컬러 계산 실시예들에 대해, 즉 해당 부분의 존재 여부에 관계없이, 컬러 처리의 부분이 충분히 존재하는 공통 g-인자에 의해 휘도-조정될 수 있는 3개의 컬러 성분들을 도출할 수 있는 한, 즉 관심 있는 501의 상위 부분인 본 교시들에 대해 최대 HDR 디코더 컬러 처리 토폴로지를 보이더라도, 작동하기 때문이다.

WO2017/157977은 또한 HDR 비디오 휘도 리그레이딩에 대한 본 출원인의 바람직한 접근법의 양태들, 특히 매우 깊은 흑색들을 처리하는 방법에 대한 일부 상세들을 교시한다. 그러나, 본 논의와 공통으로, 그것은 휘도 매핑 함수들을 유리하게 정의할 수 있는 방법을 교시하고, 이는 이어서 픽셀(선형 또는 비-선형)의 3개의 컬러 성분들, 예를 들어 통상적으로 YCbCr과 대응하는 g-인자의 공통 승산으로서 적용될 수 있다. 이러한 특허 출원이 교시하지 않는 것은 임의의 결과적인 색역위 거동에 대한 명쾌한 해결책이며, 실제로 이의의 여지가 없는 것으로 밝혀져야 한다(HDR 이미지들은 종종 과도하게 부스팅되지 않을 때 SDR에서 문제들을 생성하지 않을 수 있는 비교적 어두운 컬러들, 및 종종 클리핑될 경우 시각 심리 문제들을 유발하지 않을 소정의 무색 하이라이트들을 포함할 수 있다는 점에 유의한다). 전문가가 통상적으로 행하는 것은 약간 덜 "공격적인"(즉, HDR로부터 SDR로 덜 휘도 부스팅하는) 곡선을 선택하는 것인데, 예를 들어 WO'977의 도 12의 동적 범위 조정기(DRA)에 의해 적용되는 휘도 매핑 함수의 가장 밝은 이미지 휘도들에 대한 더 적절한 기울기를 선택하는 것이다. 이어서, 충분히 중요한 임의의 문제가, 통상적으로 소정의 다른 시각 심리 이미지 효과와 함께 오더라도, 통상적으로 충분히 완화될 수 있다(예를 들어, 상기 상위 선형 세그먼트 기울기의 변화는 통상적으로 연속성 필요성으로 인해 아래의 함수의 형상에도 영향을 줄 것이다).

따라서, 특히 아래에서(그리고 위에서) 설명되는 바와 같은 실질적인 동적 범위 변경 하드웨어 또는 소프트웨어 토폴로지들, 및 유사한 토폴로지들과 매칭될 수 있는 일부 기존 컬러 공간 계산들의 양호한 특성들의 일부를 유지하면서, 동적 범위 변경 컬러 처리의 새로운 기술적 해결책을 제공하는 것이 본 발명자에 의해 구상되었다.

전술한 바와 같이, (통상적으로 배타적이지는 않지만 디스플레이의) 색역 상단 근처의 컬러 매핑 문제는 예를 들어 색조 에러들(예를 들어, 컬러가 더 녹색이 되는 것)을 쉽게 유발할 수 있는 위험한 문제이고, 이는 본 출원이 고 동적 범위 이미지 핸들링 및 (간소화를 위해, 피크 명도 PB_C에 의해 주로 결정되는 것으로 가정될 수 있는) 상이한 동적 범위의 이미지들의 대응하는 도출의 신생 분야에 적합한 그러한 컬러 처리의 새로운 방법을 교시하는 이유이며, 이는 특히 제1 피크 명도(PB_HDR)에 의해 특성화되는 제1 휘도 동적 범위를 갖는 입력 이미지(MAST_HDR)의 공간적으로 병치된 픽셀의 입력 휘도(L)로부터 제2 피크 명도(PB_LDR; PB_MDR)에 의해 특성화되는 제2 휘도 동적 범위를 갖는 출력 이미지(Im_LDR; Im3000nit)의 픽셀의 출력 휘도를 계산하도록 배열된 휘도 프로세서(501)를 포함하며, 휘도 프로세서는:

- 입력 휘도에 대한 휘도 매핑 함수의 출력을 해당 입력 휘도로 나누는 제산으로서 승산 인자: gL=FLM(L)/L을 계산함으로써 승산 인자(gL)를 계산하도록 배열된 이득 계산 유닛(514)으로서, 승산 인자는 입력 휘도를 대응하는 중간 출력 휘도가 되도록 어떻게 조정할지를 나타내는 휘도 매핑 함수(FLM)에 기초하여 입력 이미지의 이미지 픽셀의 임의의 입력 컬러의 입력 휘도에 대해 정의되는, 이득 계산 유닛(514);

- 중간 출력 휘도가 입력 컬러의 색도에서의 상위 색역 경계 위로 얼마나 멀리 있는지를 나타내는 오버플로우 척도(overflow measure)(T)를 계산하도록 배열된 오버플로우 계산기(602)로서, 중간 출력 휘도는 승산 인자(gL)를 입력 컬러에 적용하는 것으로부터 생성되는, 오버플로우 계산기(602);

- 오버플로우 척도가 임계치(G)보다 큰 경우에 더 낮은 대안 이득 인자(F1(gL))를 결정하도록 배열되고, 그렇지 않은 경우에 원래의 이득 인자를 유지하도록 배열되고, 그들 중 하나를 최종 이득 인자(gF)로서 출력하도록 배열된 이득 인자 수정 유닛(603); 및

- 입력 컬러(R'G'B'_nrm)에 최종 이득 인자(gF)를 곱하여 출력 휘도를 갖는 출력 컬러(R'G'B'_HDR)를 획득하기 위한 승산기(530)를 포함하는 것을 특징으로 한다.

출력 이미지는 통상적으로 배타적은 아니지만 더 작은 동적 범위(즉, 더 낮은 PB_C 값)를 가질 수 있는데, 이는 색역 상단 문제(따라서, 그의 해결책)가 동적 범위 업그레이딩에서도 존재하는 시나리오들이 존재하기 때문이며, 어느 경우에나 양쪽 상황들에 처리(예를 들어, 동일한 IC)를 적용할 수 있는데, 이는 그것이 보호 전략으로서 필요하지 않을 경우에는 효과를 나타내지 않을 것이기 때문이다(문제가 없는 컬러들은 단지 콘텐츠-생성 측에 의해 도출된 컬러 매핑 함수들 F_ct, 또는 일반적으로 예를 들어 이미지 분석에 기초하여 수신기 자체에 의해 임의의 방식으로 도출된 바와 같은 컬러 매핑 함수들에 의해 지정되는 바와 같이 처리된다).

이득 계산 유닛은 승산 이득 인자(예를 들어, gL 또는 그것과 관련된 인자)를 결정하는데, 이는 메커니즘이 통상적으로 3개의 컬러 성분들(이들은 자연히 텔레비전과 같은 가산 컬러 재생 시스템들에 대한 선형 적색, 녹색 및 청색 성분들; 또는 레거시 Rec. 709 비디오 OETF의 매우 양호한 근사치인 선형 RGB 성분들의 제곱근들에 기초하여 계산될 수 있는 Y'CbCr과 같은, 그의 멱함수들임)을 유사하게 휘도-스케일링함으로써 작동하기 때문이다.

상황의 잠재적 위험성(이는 한편으로는 컬러들이 이미 밝은 경우에, 그러나 또한 그들이 항상 낮은 휘도들을 갖는 청색들과 같이 특정 유형의 컬러들인 경우에 예를 들어 HDR-SDR 이미지 계산으로 인해 색역 경계 위에 매핑할 가능성이 더 커서 픽셀 컬러가 갖는 입력 휘도에 기초하는 임의의 휘도-매핑이 그러한 청색들에 대해 위험하기 때문임)은 본 발명자의 통찰에 따르면 입력 컬러의 V=max(R,G,B)(또는 수치 값에서 다소 상이하지만 본 접근법의 원리들에 따라 유사하게 거동하는 max(R', G', B'))를 계산하여 시작하고, 이어서 이에 기초하여 오버플로우 척도를 정의함으로써 훌륭하게 판단될 수 있다. 본 발명의 동일한 기술적 원리들을 적용하기 위해 다양한 오버플로우 척도들(정정할 곳 및 필요한 정도)이 정의될 수 있지만, 그 중 일부는 (예를 들어, 각각의 색도에 대한 상위 색역 휘도들을 포함하는 테이블 및 거리 방정식의 계산을 통한 것과 같이) V를 사용할 필요가 없으며, 특히 둘을 곱함으로써 V 값에 gL을 적용하는 것은 오버플로우 척도를 구현하기 위한 명쾌한 방식이다. 이는 독자에 의해 WO2014056679에서 교시되는 것과 같은 이러한 강도 값 V, 즉 V_out=F_Lt(V_in)에 기초하여 휘도 매핑을 항상 적용하는 메커니즘들로서 오해되지 않아야 한다. 예를 들어, 연속적으로 처리되는 픽셀 컬러들의 휘도 L이 아니라 V에 대해 작동하는 리그레이딩 사양에 따라 RGB 성분들에 대한 승산 이득 인자를 계산하는 것은 항상 색역 내부에서 자동으로 매핑하며, 따라서 본 해결책이 부응하지만, 더 어두운, 잠재적으로는 바람직한 것보다 더 어두운 SDR 이미지들을 생성하는 단점을 갖는 문제를 갖지 않는다. 물론, 본 시스템의 실시예들에서는, 더 보수적인 더 어두운 휘도-기반 매핑 함수 F_ct(/FLM의 역)를 만들 수도 있지만, 실시예들은 또한 더 밝은 함수를 만들고, 다른 방식들로 상위 색역 영역 휘도 매핑 문제들을 해결할 가능성을 갖는다. 가장 기본적인 변형들은 또한 가장 밝은 컬러들 중 일부를 상위 색역 경계 상의 컬러로 클리핑하기를 원할 수 있지만, 통상적으로 입력 컬러의 색도와 동일한 색도(또는 적어도 색조)로 보장된다. 이는 단지 이미지의 컬러들 중 일부에만 적용되는 차동 명화를 생성하고, 일부 이미지들에 대해(그리고 특히, 입력 이미지의 동적 범위와 많이 상이하지 않은, 통상적으로 더 낮은, 동적 범위로 가는 경우), 그렇게 클리핑되는 소수의 픽셀들만이 존재할 수 있다. 사실상, 도 6의 우하에 있는 점선 직사각형에 있는 것은 소정의 보호 메커니즘으로 간주될 수 있다. 그것이 실제로 보호 메커니즘인지는 초기 g-인자들로부터 정정된 g-인자들을 생성한다는 의미에서 실시예 유형에 의존한다. 실시예들의 제1 클래스에서, 콘텐츠 생성 측의 오토마톤 또는 인간 그레이더는 소정의 HDR-SDR 휘도 매핑 함수(이는 이미지 컬러들의 대부분에 대해 적절하게 거동하며, 예를 들어 그것은 현재 장면 이미지들의 더 어두운 컬러들 그리고 또한 무색 축 근처의 역포화된 컬러들에 대해 훌륭하게 정확히 밝은 외관을 제공함)를 유연하게 결정하고, 메커니즘이 (소수의) 문제 있는 컬러들, 예를 들어 일부 밝은 적색 및 오렌지색의 일몰 하늘색들에 대한 문제들을 충분히 해결할 것이라는 점에 의존한다. 이는 그러한 메커니즘이 그러한 소수의 중요한 일몰 하늘색들에 대해 컬러-매핑별로 정확하게 발생해야 하고 예를 들어 실시간 콘텐츠 인코딩에 유용할 수 있는 것을 상당히 상세히 지정하는 것을 필요로 하기보다는 이러한 함수를 "빠르고 간편하게" 결정할 수 있다는 이점을 갖는다. 그러한 메커니즘은 여전히 2개의 추가의 서브-카테고리들, 즉 인코더가 콘텐츠 자체에 대한 합당한 값들을 결정하는(또는 심지어는 이것이 아무것도 하지 않는 것에 대응하는 클리핑 에러 심각도를 줄인다는 점에서 일반적으로 가장 중요한 컬러 시나리오들에 대해 잘 작동하고 있는 프리픽싱된(prefixed) 값들을 갖는) 서브-카테고리, 및 콘텐츠 생성 측 자체가 최적의 전략을 결정하는 제2 서브-카테고리로 분류된다. 따라서, 간단한 실시예들은 예를 들어 고정된 G 임계값, 이른바 0.75를 가지는 매우 단순한 변형을 사용할 수 있고, 대안으로서 더 낮은 이득 할당은 G(통상적으로 1보다 낮음)와 예를 들어 1.5(예를 들어, 해당 색도 또는 심지어 모든 색도들에 대한 최대 중간 출력 컬러 내지 [G,1]), 또는 가변적인, 생성자-최적화 가능한 G 임계치를 갖는 것 사이에 휘도들을 선형적으로 분배한다. 그리고, 예를 들어, 도 11과 함께, 이미지 픽셀들 및 이미지 모습의 대부분에 대해 대략 양호한 그의 최초 지정된 리그레이딩 함수(들)에 대한 제2의 정정 패스로서, 예를 들어 인간 그레이더가 색역의 상위 영역들에서의 매핑을 정의하는 2개의 더 많은 파라미터들을 지정할 수 있는 방법을 설명한다(필요성은 통상적으로 출력 색역의 하위 부분들에서만, 즉 FLM 함수에서 콘텐츠 생성자에 의해 지정됨에 따라 리그레이딩을 남긴다는 것이다). G 임계치는 사실상 원래의 리그레이딩에 대한 정정 동작이 최상으로 발생해야 하는 출력 색역의 상위 영역에서의 포인트의 최적화 가능한 또는 적어도 합당한 결정의 역할을 한다.

그러나, rho 등과 같은 파라미터들이 초기에 결정된 g-인자(즉, 예를 들어 함수 FLM 및 현재 컬러의 휘도에 기초하는 gL)의 재계산을 결정하고, 적어도 색역 상단 경계 위에 (현저하게) 매핑될 문제가 있는 컬러들에 대한 것인 "정정" 실시예들에 대한 대안으로서, 인코더는 또한 그것의 모두를 수신 측에서 적용할 최종 컬러 처리 함수들의 세트(또는 심지어 그에 대응하는 g-인자들)로 변환할 수 있다는 것을 알아야 한다. 이는 특히 콘텐츠-생성 측이 (통상적으로 정상적인 미정정 거동에 기초하여 "차동적으로") 상위 색역 영역들에서의 컬러들을 매핑하기 위해 함수를 공동-통신하는 경우에 행해질 수 있다. 그 경우에, 이득 인자 수정 유닛은 "표준" 대략 휘도 매핑을 적용할지 또는 정확히 그의 함수 FADAP에서 콘텐츠 생성자에 의해 지정되는 바와 같은 더 진보된 것을 적용할지를 테스트한다(그리고 독자는 수신 측, 예를 들어 TV가 심지어 이러한 사양에서 그 자신의 소정의 약간의 변동들을 수행할 수 있음을 이해하지만, 교시의 간소화를 위해, 다양한 상위 색역 영역 휘도 또는 일반적인 컬러 매핑 파라미터들에서 통신된 바와 같은 생성 측의 리그레이딩 지혜를 바로 뒤따르는 것으로 가정할 것이다).

오버플로우 계산기(602)는 오버플로우 척도 T를 계산하는데, 이는 상황이 얼마나 중요한지, 즉 매핑된 컬러가 (즉, 휘도 매핑을 그의 g-인자로서 적용한 후에) 색역 경계, 따라서 오버플로우에 얼마나 가까운지, 또는 특히 흥미롭게: 매핑된 컬러가 색역 상단 위로 얼마나 멀리 있는지, 따라서 정정이 얼마나 심각하게 필요한지를 나타낸다(전술한 바와 같이, 정정이 단지 암화로 구성될 수 있지만, 모든 상이한 유형의 HDR 이미지들에 대한 최상의 선택이 아닐 수 있으므로, 특히 더 많은 암화가 필요한 경우에 그리고 아래에 보여질 바와 같이, 실시예들은 또한 예를 들어 소정의 더 적은 양의 암화에 더하여 컬러 역포화의 최적의 양을 결정함으로써 상이한 더 진보된 방식으로 정정을 행하기로 결정할 수 있다). 특히, 실제 오버플로우(예를 들어, 90%) 아래의 오버플로우 척도들은 그 자체가 실제로 오버플로잉하지 않고 대응하는 리그레이딩된 SDR 이미지들로서 HDR 이미지들을 실제로 인코딩하는 모드 2 인코딩과 같은 가역적 컬러 처리를 필요로 하는 시나리오들에서 특히 흥미로운 소정의 인접 컬러들을 또한 리그레이딩함으로써 오버플로우된 컬러들에 대한 공간을 만들 필요가 있는 실시예들에서 유용하다(따라서, 두 이미지들은 자체적으로 또한 양호해야 하는 함수들에 의해 충분한 품질의 HDR 이미지들에 매핑 가능하기에 충분한 상세를 포함해야 한다).

휘도 프로세서(501)가 네트워크(690)를 통해 콘텐츠의 생성자로부터 임계치(G)를 수신하도록 배열된 데이터 수신 수단(689)을 포함하는 것이 유리하다. 휘도 프로세서의 다른 실시예들은, 그 자체로, 예를 들어 HDR 이미지 수신기에서, 예를 들어 그 이미지의 특성들의 분석에 의해(예를 들어, 어떤 유형의 HDR 효과가 있는지, 예컨대 얼마나 많은 픽셀들, 예를 들어 텍스처 특성화기 등과 같은 그 안의 구조의 종류 등을 관찰함으로써) 임계치를 결정할 수 있다. 더 간단한 버전들은 고정된, 또는 적어도 표준 초기값, 예를 들어 G=0.9에서 작동할 수도 있다. 그러나, 콘텐츠의 생성 측이 전체 영화에 대해, 동일한 장면의 N개의 연속적인 이미지들의 샷, 또는 심지어 단일 시간 순간 이미지마다, G의 최적의 값을 지시할 수 있다면 매우 유리할 수 있다. 그러면, 생성 측에서 더 복잡한 이미지 분석이 이용될 수 있을 뿐만 아니라, 인간 그레이더가 도 11에 도시된 바와 같이, 그 자신의 최상의 작동 G 값을 예를 들어 UI에 의해 지정될 수 있다. 단일 G-값에 기초하여, 도 10에 예시된 바와 같이 예를 들어 선형 함수 세그먼트들을 갖는 g-인자 재결정의 전략들을 설계할 수 있다.

휘도 프로세서(501)가 네트워크(690)를 통해 콘텐츠의 생성자로부터 대안 이득 인자를 결정하기 위한 함수(FADAP)를 수신하도록 배열된 데이터 수신 수단(689)을 포함하는 것이 유리하다. 이러한 방식에서, 콘텐츠 생성 측에서 콘텐츠의 특정 요구를 고려하는 매우 복잡한 g-인자 재결정 함수들을 생성할 수 있는데, 이는 상위 색역 영역들에서 매우 특정한 매우 중요한 콘텐츠가 있는 경우에 유용할 수 있다(예를 들어 청색 상용 TL 튜브 상에 기록된 소프트 콘트라스트의 패턴 및 이어서 재결정 함수는 적어도 그러한 텍스트 캐릭터들의 휘도들에 대해 더 높은 휘도 콘트라스트 기울기를 유지하려고 시도하도록 성형될 수 있다). 인간 그레이더(또는 심지어 오토마톤)는 예를 들어 최종 출력 컬러들에 대한 정정 매핑 후에 충분한 콘트라스트를 필요로 하는 이미지의 가장 밝은 부분들 내의 중요한 영역들을 식별할 수 있고, FADAP 함수의 형상을 조정할 수 있으며, 이는 최종 g-인자들이 색역위 의도된 그러나 실현가능하지 않은 컬러들을 상위 색역 영역에 걸쳐 분배할 방법을 조정하는 것과 동일하다. 구름의 일부가 너무 온화하게 보이기 시작할 때, 그러한 FADAP 함수의 형상은 정정될 수 있다(또는 정정의 일부는 포화 처리로 시프트될 수 있다).

여기서, 그러한 FADAP 함수의 결정, 통신 및 최종 적용을 허용하는 프레임워크 양태들을 교시하는데, 교시들로부터 숙련자가 각각의 특정 이미지(들)(연속 세트), 또는 이미지들의 클래스 등에 대한 특정 FADAP 함수 형상을 설계하는 방법에 대한 많은 상세 양태들이 존재할 수 있다는 것을 상상할 수 있기 때문이다(예를 들어, 일부 경우들에서, 콘텐츠 생성자는 소정의 다른 컬러들의 정확도의 대가로 이용 가능한 색역 볼륨을 더 많이 취하는 일부 특정 장면 객체 또는 이미지 영역 컬러들과 함께, 출력 색역의 상단 영역에 걸친 출력 컬러들의 할당을 결정하는 FADAP 함수의 형상에서 이것을 반영하는 가장 밝은 휘도들의 소정의 서브-세트의 휘도 콘트라스트에 중요한 강조를 줄 수 있다). 햇빛이 비치는 노란 저녁 하늘의 간단한 설명 예에서, 독자는 (그들의 구성 회색 값들로부터 구름들의 형상들을 정의하는) 로컬 콘트라스트 중 일부를 아마도 가시 콘트라스트 아래로 줄이거나 적어도 감소된 시각적 느낌을 제공할 필요가 있는 경우에 (그들을 단일 값에 매핑함으로써 간소화를 가정할 때) 회색 값들의 제1 세트를 변경하는 것이 (예를 들어, 제1 휘도들은 일부 중요한 구름들의 밝게 비치는 경계들 주위에서 발생하고, 제2 휘도들은 일부 보조 구름들의 내부 모습을 결정하므로) 휘도들의 다른 서브세트를 괴롭히는 것과 다른 것으로 간주되는 구름 형상들에 대한 상이한 영향을 가질 수 있다는 것을 상상할 수 있다. FADAP의 실시예가 FLM과 유사하게 제산에 의해 g-인자로 변환될 수 있는 정상적인 휘도 함수의 적어도 더 상위 부분을 설명하는지, 또는 그것이 g-인자들(g_out=FADAP(g_in))에 대해 정의되는지는 본 새로운 프레임워크의 특성들 내에서 양호한 대안을 설정하도록 허용하는 원리들에 대해 중요하지 않은 상세이다.

함수가 통신되는 경우에도, 여러 실시예들(예를 들어, 수신기에서 규정된 재결정 메커니즘을 변경하는 것을 허용하는 것들; 또는 함수의 부분적 특성화들)에 대해, 또한 여전히 G-인자를 통신하는 것이 여전히 유용할 수 있다.

휘도 프로세서(501)가 네트워크(690)를 통해 콘텐츠의 생성자로부터, 색조-보존(hue-preserving) 컬러 클리핑이 허용되는 상한을 지정하는 클리핑 파라미터(clipping parameter)(Vmx)를 수신하도록 배열된 데이터 수신 수단(689)을 포함하는 경우가 유리하고, 클리핑 파라미터는 적색, 녹색 및 청색 성분의 최대치로서 정의된다. 이러한 경우에, 컬러들 중 일부가 출력 이미지에서 궁극적으로 동일한 컬러가 될 수 있게 할 수 있는데, 이는, 단일 컬러가 되는 것으로부터 원래의 컬러들을 재결정할 필요가 없는, 비-가역적 시나리오들에 대해 양호한 최적일 수 있다. 이는 클리핑된 컬러들의 서브-세트 아래에서 다른 전략들(예를 들어, 역포화로 균형화된 휘도 디밍)과 함께 작동할 수 있다. 이상적으로(그리고 확실히 일부 응용들에 대해), 전혀 클리핑하지 않을 것이지만, 때때로 그것은 최적의 이미지 리그레이딩의 양호한 성분인데, 그 이유는 그것이 예를 들어 일부 다른 이미지 컬러들에 대해서는 더 적은 암화 또는 역포화를 허용할 수 있고, 이는 특히 예를 들어 평균 이상의 주의, 따라서 상위 출력 색역 영역의 큰 서브-볼륨을 필요로 하는 구름들에서 소정의 중요한 영역들이 존재하는 경우에 유용할 수 있기 때문이다.

파라미터들을 구성하는 방법에 따라, 다수의 통상적인 동작들이 이미지에 대해 발생할 수 있고, 이것의 심각도는 HDR 장면의 종류에 의존하여, 옵션들 사이에서 최적으로 선택하기를 원한다.

가장 간단한 경우에, G를 색역 상단 값(G=1.0)과 동일하게 설정할 수 있고, 이는 단순히 색역 상단 위에, 그러나 색조 및 포화도 보존 방식으로 매핑하기 위해 발생하는 모든 그러한 컬러들에 대한 하드 클리핑을 의미할 것이다. 물론, 이는 입력 이미지(이른바 통상적으로 HDR 이미지)에서 초기에 상이한 여러 컬러들이 더 낮은 동적 범위(통상적으로)의 출력 이미지에서 동일한 컬러에 매핑되는 것을 의미할 수 있다. 이는 색역내 조건을 위반하는 유일한 객체가 예를 들어 다채로운 TL 튜브인 경우에는 매우 수용 가능할 수 있는데, 그 이유는 휘도의 차이들이 아마도 어쨌든(특히, 이것이 단지 배경 내의 소정의 데코 램프()이고, 동작이 어딘가 다른 곳에서 발생하는 경우) 영화 또는 비디오 스토리를 따르는 것에 대해 의미론적으로 의미가 있지 않기 때문이다. 어쨌든 SDR에서 완전한 포화된 적색 및 매우 밝은 TL 튜브를 결코 만들 수 없다(이는 HDR 이미지가 장점을 갖는 이유임)는 것을 알면, 그러한 장면에 대해 아마도, 예를 들어 광 튜브 영역 내부의 소정의 휘도 차이들을 여전히 유지하기 위해(이는 튜브를 보기 싫게 핑크색으로 만듦) 상당히 역포화되기보다는, 최대 명도 원색 적색으로서 SDR에서 전체 TL 튜브를 단지 표현하는 것이 훨씬 더 최적이다. 적색-회색 구름들의 많은 구조를 갖는 훌륭한 적색 일몰의 경우, 최적의 결정은 상당히 상이할 수 있다. 그러한 경우에, 너무 많이 하드 클리핑하여, 잠재적으로 너무 많은 아름다운 구름 구조를 파괴하기를 원하지 않는다. 이는 모든 구름 픽셀 컬러들을 더 균일하게 암화하는 것에 의해 핸들링될 수 있지만, 그것은 낮은 G-값을 유발하거나, 소량의 역포화를 (또한) 유발할 수 있다. 그러나, Vmx 파라미터는 더 낮은 동적 범위 이미지에서 대부분의 구름 구조를 "보호"할 때에도, 여전히 소량의 클리핑이 또한 존재할 수 있는 것을 지정할 수 있게 한다. HDR 이미지들이 임의의 수신 측에서 수신된 SDR 이미지들로부터 재구성될 필요가 있는 모드 2 코딩-기반 통신 시스템과 같이, 가역 이미지 핸들링 방법을 사용하는 경우에, Vmx 값은 통상적으로 2개의 픽셀만이 클리핑되어 구별 가능성을 완화하도록 해야 한다(예를 들어, 램프의 내부는 SDR 이미지에서 모든 동일한 값(1023)이 주어질 수 있고, 이는 여전히 생성 측에서 마스터 HDR 이미지와 수학적으로 정확히 동일하지 않더라도 가까운 충분한 근사치를 시각적으로 제공하는 HDR 재구성을 허용할 것이다).

위의 청구항들 중 어느 한 항에 청구된 바와 같은 휘도 프로세서(501)가 -(gL)에 의한 승산을 위한 정정의 제1 부분을 결정하도록 배열된, 그리고 컬러 포화 계산을 구동하기 위한 포화 승수(S)를 결정하기 위해 정정의 제2 부분을 결정하도록 배열된 부분 매핑 계산기(903)를 포함하는 것이 매우 유용하다. 교시된 바와 같은 본 발명의 새로운 접근법으로부터, 숙련자는 거리가 이상적으로 의도된 바와 같은 색역 경계를 향해 색역위의 원래의 리그레이딩된 컬러로부터 커버되어야 한다는 것을 이해할 수 있다. 도 8을 참조하면, 숙련자는 그러한 거리의 일부(예를 들어, 그것의 절반)를 정의할 수 있고, 그러한 거리의 절반에 매핑하는 대안 g-인자를 설계할 수 있는 것, 즉 정확히 입력 색도((색조, 포화도), 또는 (u,v))를 위해 상위 색역 경계에 아래로 도달하는 데 필요한 전체 암화를 행하지 않는 것을 알 수 있고 이해할 수 있다. 따라서, 어떻게든 커버될 거리(또는 더 정확하게는 오버플로우) Arem이 남고, 그렇지 않은 경우 아마도 색도 보존 클리핑은 디폴트 폴백(default fallback)으로서 효과를 나타낼 수 있지만, 이러한 이미지 내의 그렇게 영향받는 객체들에 대해 최상의 시각적 결과를 제공하지 못할 수 있다. 상위 색역 경계 컬러를 향한 나머지 거리는 직교 방향으로, 즉 대응하는 역포화 처리를 행함으로써 커버될 수 있다.

본 발명자는 필요한 감쇠 A(즉, 색역 내부에 또는 그 경계에 있도록 충분히 아래로 내리기 위한 gL*V에 대한 대응하는 승산 인자)가 제1 부분(Arho) 및 나머지 부분(Arem)으로 상당히 유용하게 구성될 수 있다는 것을 발견하였고, 이들은 다음과 같이 파라미터 rho로 정의된다: Arho=power(A; rho); Arem=power(A; 1-rho) [수학식 2].

그러한 사양은 소정의 최악의 컬러에 기초하여 결정될 수 있고, 이어서 다른 컬러들은 유사하게 처리된다.

이는 휘도 다운매핑, 즉 더 낮은 동적 범위 이미지의 상위 범위에서, 특히 모드 2 HDR 코딩과 같은 함수들의 반전을 요구하는 상황들에 대해 많은 중요한 HDR 효과 컬러들을 얻기 위해 최종 g-인자 gF를 재결정하기 위한 함수의 복잡성을 상당히 완화할 수 있는데, 그 이유는 중간 컬러가 다른 재결정 함수 FADAP 형상을 사용할 때 추가의 암화, 또는 더 극단적인 콘트라스트 감소보다는 역포화 동작을 갖는 색역 경계 위에 여전히 있는 나머지 문제를 핸들링할 수 있기 때문이다. 이는 다시 훨씬 더 많은 자유도가 각각의 특별한 HDR 효과에 대해, 일몰 근처의 밝게 비친 구름들, 또는 밝은 안개 속에서 약간 보이는 남자(섀도우맨(shadowman)), 또는 창문을 통해 보이는 햇빛의 외부, 또는 디스코 또는 팬시 페어 내의 램프들 등과 같이, 문제 있는 색역 상단 근처의 컬러들 중 가장 어두운 것의 다소 더 많은 명도 감소, 또는 그러한 영역들에서의 텍스처의 콘트라스트의 더 많은 감소, 또는 다소 더 많은 포화도 감소를 행하는 것이 더 좋은지에 관계없이 선택되는 것을 가능하게 한다. 선택적으로, (너무 훨씬 비싼 그레이딩 시간을 소비할 필요가 없는 인간 그레이더, 또는 심지어 오토마톤에 의해 비교적 간단하게 실현되는) 이러한 알고리즘의 간단한 전역 동작 대신에, 매우 교묘한 경우들에서, 심지어 다수의 처리 파라미터 세트들, 및 그들을 적용할 컬러 공간의 영역의 사양들(예를 들어, 전경에서의 컨트레주어 하우스(contrejour house)의 파사드()의 청색 TL 튜브 영역에 대한 것보다는 적색 일몰에 대한 상이한 방법)을 송신할 수 있다.

다시, 휘도 프로세서(501)가, 수신기가 최적의 rho 값 자체를 결정해야 하는 것보다는, 네트워크(690)를 통해 콘텐츠의 생성자로부터 상기 수학식들의 분수 값(rho)을 수신하도록 배열된 데이터 수신 수단(689)을 포함하는 경우가 매우 유리할 수 있는데, 이는 종종 이미지들에 대한 기술적 처리의 최적의 값이 본질적으로 예술적일 수 있기 때문인데, 즉 그것은 심지어 첫 번째의 아름다운 일몰에 대해 그의 인간 생성자가 두 번째에 대한 것보다 더 많은 클리핑을 수용할지는 취향의 문제일 수 있기 때문이다(일부 그레이더들은 단지 그들의 모습에 대한 힘찬 컬러들을 원하고, 다른 그레이더들은 더 부드럽고 상세한 패턴들을 원한다).

수신 측 휘도 프로세서가 더 낮은 동적 범위 이미지 컬러들을 획득하기 위해 궁극적으로 할 수 있거나 궁극적으로 수행해야 하는 것에 대한 기술적 미러-청구항은 알고리즘 파라미터들이 생성 측으로부터 수신되는 경우에 그러한 파라미터들, 예를 들어 G 임계치, 또는 FADAP 함수 등을 많이 만드는 시스템이다. 그러한 파라미터들 중 임의의 것 또는 모두는 인간에 의해 또는 오토마톤에 의해 설정될 수 있다(예를 들어, 오토마톤은 필요한 경우 인간에 의해 개선될 양호한 설정을 제안하거나, 인간이 이미지 분석 오토마톤의 존재 없이 단지 임의의 값을 지정하는 것 등). 오토마톤은 (예를 들어, 거리로부터 보이는 화단과 같은 상세한 텍스처에서와 같이 많은 값들, 또는 소수가 존재하는 경우) 영역들의 코히어런스(coherence)로서 그러한 속성들을 식별하고, 여러 영역들에서(예를 들어, 시각적으로 더 중요할 수 있는 이미지의 중심에서) 여러 방향들에서 일부 실행 콘트라스트들을 계산하고, 예컨대 타원이 퍼지 피트(fuzzy fit)를 통해 많은 회색 값들을 갖는 원활하게 진화하는 경계 상에 쉽게 피팅 가능하지만 상기 경계가 임의의 포스터화되어 들쭉날쭉한 경계 등을 생성하는 경우에는 양호한 타원을 획득하는 것이 더 어려운 소정의 인식 가능성 알고리즘을 수행할 수 있다.

예를 들어, HDR 비디오를 표현하는 이미지들과 함께 송신되거나 획득 가능한 필요한 파라미터들을 메타데이터 내에 통상적으로 인코딩하기 위한 고 동적 범위 비디오 인코더는:

- 이미지 소스(1202)로부터 입력 이미지를 수신하기 위한 입력;

- 입력 이미지를 출력 이미지로서 인코딩하기 위한 그리고 적어도 하나의 휘도 매핑 함수(F_Lt)를 인코딩하기 위한 인코더를 포함할 수 있고; 인코더는 제1항에 청구된 바와 같은 휘도 프로세서에 의해 적용될 임계치(G)를 결정하기 위해 비디오의 이미지의 컬러 특성들을 분석하도록 배열된 이미지 평가 프로세서(1210)를 포함하고, 인코더는 이러한 임계치(G)를 메타데이터로서 출력하도록 배열되는 것을 특징으로 한다. 위에서(그리고 아래에서) 설명된 유형들의 휘도 프로세서는 예를 들어 인간이 그의 선택들이 디코더 측에서 어떻게 보일 것인지를 아는 것을 돕기 위해 포함될 수 있지만, 반드시 자동 인코더들에 포함될 필요는 없을 수 있다(그것은 종종 그럴 수 있지만, 그러면 자동 이미지 분석이 예를 들어 입력 및 테스트된 후보 출력 이미지에서 콘트라스트들, 텍스처 메트릭들 등과 같은 소정의 이미지 품질 메트릭을 비교하는 것에 의해, 파라미터들, 예를 들어 최적의 G 임계치의 하나 이상의 후보 선택들로부터 유발되는 하나 이상의 이미지들에 대해 실행될 수 있기 때문이다).

일반적으로, 고 동적 범위 비디오 인코더(1201)는:

- 이미지 소스(1202)로부터 입력 이미지를 수신하기 위한 입력;

입력 이미지를 출력 이미지로서 그리고 적어도 하나의 휘도 매핑 함수(F_Lt)를 인코딩하기 위한 인코더를 포함할 수 있고; 인코더는 비디오의 이미지의 컬러 특성들을 분석하여, a) 최적의 임계치(컬러들을 그대로 남길 곳, 및 완화 알고리즘을 그의 대응하는 컬러 비-이상성을 최상으로 적용하기 시작할 곳)의 사용을 위해 주어지는 예들에 따른 임계치(G), 함수(FADAP), 클리핑 파라미터(Vmx), 및 디밍 대 역포화에 의해 핸들링될 분할 및 정정의 양을 나타내는 분수 값(rho)인 파라미터들 중 적어도 하나를 결정하도록 배열된 이미지 평가 프로세서(1210)를 포함하고, 인코더는 그러한 파라미터들 중 적어도 하나를 메타데이터로서 출력하도록 배열되고, 따라서 임의의 수신기의 휘도 프로세서가 대응하는 리그레이딩을 적용할 수 있는 것을 특징으로 한다.

다시, 실시예에 따라, 예를 들어 Vmx와 같은 아마도 하나의 파라미터만이 실제로 결정되고 통신되며, 이 경우 수신 측은 강도 값 V<=Vmx에 대응하는 컬러들에 대한 색역 상단에 가까운 휘도들의 범위 내의 컬러들의 재할당을 행하는 매핑만을 결정할 수 있다. 그러나, 3개 이상의 파라미터들이 통신되는 경우, 수신 측에서 더 복잡한 균형화 방정식이 사용될 수 있다. 파라미터들의 수를 소수의 가장 중요한 것들로 제한되게 유지하는 것은 물론 슬라이더 또는 트랙볼의 소수의 슬라이드들을 갖는 인간 그레이더가 최종 결과의 품질에 대한 가장 큰 영향을 갖는 그러한 상황 값들을 설정할 수 있는 것과 같은 이점들을 갖는다. 더 간단한 시스템들은 적어도 하나의 파라미터를 결정하기 위한 오토마톤을 가질 것인데, 이는 일부 시나리오들에서는 이것을 수행할 인력을 갖지 않거나, 적어도 생산 요원을 그것으로 괴롭히기를 원하지 않기 때문이다. 그러한 오토마톤은 이미지 분석을 행할 수 있고, 예를 들어 가장 밝은 컬러들의 영역(높은 L 및 특히 높은 V 체크)이 예를 들어 텍스처 분석기들을 이용함으로써 상당한 공간 휘도 변동 구조를 갖는지를 검출할 수 있다. 또한, 여러 실용적인 실시예들은 이미지 저하 품질 평가와 함께 작동할 수 있다. 이는 일부 시나리오들에서 클리핑된 픽셀들의 양 또는 공간 분포를 카운팅하는 것과 같이 간단할 수 있거나, 정정 재결정된 g-인자 처리 전후에 구름들의 휘도 변동들에 대한 실행 콘트라스트 척도와 같은 척도들을 계산할 수 있다.

물론, 이러한 생성 측이 인간 컬러 그레이더(1204)로 하여금 이미지 평가 프로세서(1210)의 출력으로서 파라미터들(G, rho, 또는 사용할 더 복잡한 g-인자 재결정 함수를 지정하는 파라미터 등) 중 적어도 하나를 지정하는 것을 허용하는 사용자 인터페이스 수단(1203)에 연결되는, 설명된 바와 같은 고 동적 범위 비디오 인코더를 포함하는 고 동적 범위 비디오 인코딩 시스템을 갖는 경우가 특히 흥미롭고, 여기서 고 동적 범위 비디오 인코더는 연결된 디스플레이(1220) 상에서 검사될 수 있는 출력 이미지(Im_LDR; Im3000nit)를 계산하도록 배열된 휘도 프로세서(501)를 포함한다. 숙련자는 이것이 다양한 방식들로 구현될 수 있고, 예를 들어 반-자동 결정에서, 이미지 평가 프로세서가 이미 rho, G 등에 대한 제안과 함께 오는 경우가 유리할 수 있지만, 인간은 그들을 미세-조정할 수 있거나, 일부 동작들에서, 그는 심지어 평가를 완전히 바이패스하고 출력 채널 상에서 스스로 값들을 설정하는 것 등을 원할 수 있다는 것을 이해한다. 휘도 프로세서는 이러한 경우들에서 인코더 내부에 존재하여, 인간으로 하여금 동작이 실제로 어떻게 수신 측에서 행해지는지를 알 수 있게 하고, 현재 장면에서 더 양호하게 작동하는 경우 다른 파라미터들에 대해 정정할 수 있게 할 것이다. 디스플레이(1220)는 고 PB_D, 예를 들어 10,000 니트의 기준 디스플레이일 수 있고, 따라서 결과적인 SDR 이미지들은 물론, 많은 가능한 결과적인 MDR 이미지들을 보일 수 있고, 예를 들어 PB_MDR= 3000 니트의 경우에, 3000 니트까지의 픽셀 휘도들을 보여줄 수 있다.

추가의 유리한 실시예들은 특히 다음과 같다:

고 동적 범위 비디오 디코더(1300)는:

- 입력 이미지 및 휘도 매핑 함수(FLM)를 수신하기 위한 입력;

- 임계치(G)의 값을 수신하도록 배열된 제2 입력;

- 휘도 매핑 함수(FLM) 및 임계치(G)를 사용하여 입력 이미지의 픽셀들의 휘도들을 변경하여 출력 이미지를 생성함으로써 출력 이미지를 계산하도록 배열된, 제1항 내지 제7항 중 어느 한 항에 따른 휘도 프로세서(501); 및

- 출력 이미지를 출력하기 위한 출력을 포함한다.

고 동적 범위 비디오 디코더(1300)는 교시된 휘도 프로세서 실시예들 중 임의의 것에 따른 휘도 프로세서(501)를 포함한다;

제1 피크 명도(PB_HDR)에 의해 특성화되는 제1 휘도 동적 범위를 갖는 입력 이미지(MAST_HDR)의 공간적으로 병치된 픽셀의 입력 휘도로부터 제2 피크 명도(PB_LDR; PB_MDR)에 의해 특성화되는 제2 휘도 동적 범위를 갖는 출력 이미지(Im_LDR; Im3000nit)의 픽셀의 출력 휘도를 계산하기 위한 휘도 처리 방법(method of luminance processing)은:

- 입력 휘도 및 휘도 매핑 함수(FLM)의 함수인 승산 인자(gL)를 계산하는 단계;

- 입력 이미지의 픽셀의 컬러의 3개의 적색, 녹색 및 청색 성분들 중 최대 강도 값인 강도 값(V)을 계산하는 단계로서, 그러한 성분들은 선형 적색, 녹색 및 청색 성분들 또는 그러한 선형 적색, 녹색 및 청색 성분들의 파워인, 강도 값(V)을 계산하는 단계;

- 출력 휘도가 상위 색역 경계에 얼마나 가까운지를 나타내는 오버플로우 척도(T)을 계산하는 단계;

- 오버플로우 척도가 임계치(G)보다 큰 경우에 대안 이득 인자(F1(gL))를 결정하고, 그렇지 않은 경우에 원래의 이득 인자를 유지하고, 그들 중 하나를 최종 이득 인자(gF)로서 출력하는 단계; 및

입력 컬러(R'G'B'_nrm)에 최종 이득 인자(gF)를 곱하여 출력 휘도를 갖는 출력 컬러(R'G'B'_HDR)를 획득하는 단계를 포함한다.

제1 피크 명도(PB_HDR)에 의해 특성화되는 제1 휘도 동적 범위를 갖는 입력 이미지(MAST_HDR)의 공간적으로 병치된 픽셀의 입력 휘도로부터 제2 피크 명도(PB_LDR; PB_MDR)에 의해 특성화되는 제2 휘도 동적 범위를 갖는 출력 이미지(Im_LDR; Im3000nit)의 픽셀의 출력 휘도를 계산하기 위한 휘도 처리 방법은:

- 입력 휘도에 대한 휘도 매핑 함수의 출력을 해당 입력 휘도로 나누는 제산으로서 승산 인자: gL=FLM(L)/L을 계산함으로써 승산 인자(gL)를 계산하는 단계로서, 승산 인자는 입력 휘도를 중간 출력 휘도가 되도록 어떻게 조정할지를 나타내는 휘도 매핑 함수(FLM)에 기초하여 입력 이미지의 이미지 픽셀의 임의의 입력 컬러의 입력 휘도에 대해 정의되는, 승산 인자(gL)를 계산하는 단계;

- 중간 출력 휘도가 입력 컬러의 색도에서의 상위 색역 경계 위로 얼마나 멀리 있는지를 나타내는 오버플로우 척도(T)를 계산하는 단계로서, 중간 출력 휘도는 승산 인자(gL)를 입력 컬러에 적용하는 것으로부터 생성되는, 오버플로우 척도(T)를 계산하는 단계;

- 오버플로우 척도가 임계치(G)보다 큰 경우에 더 낮은 대안 이득 인자(F1(gL))를 결정하고, 그렇지 않은 경우에 원래의 이득 인자를 유지하고, 그들 중 하나를 최종 이득 인자(gF)로서 출력하는 단계; 및

- 입력 컬러(R'G'B'_nrm)에 최종 이득 인자(gF)를 곱하여 출력 휘도를 갖는 출력 컬러(R'G'B'_HDR)를 획득하는 단계를 포함한다.

휘도 처리 방법은 임의의 연결된 네트워크를 통해 콘텐츠의 생성자로부터, a) 재결정 처리가 시작되고 재결정된 컬러들이 출력 색역으로 압착되어야 하는 상한인 임계치(G), b) g-인자 결정(또는 강도 값 V의 함수와 같은 그의 임의의 등가물)을 행하기 위해 요구되는 특정 함수(FADAP)의 형상의 파라미터 성문화, c) 가장 위반하는 컬러들, 즉 색역 상단 위로 가장 멀리 떨어지는, 따라서 색역내에서 리매핑하기에 가장 어려운 그러한 컬러들에 대한 소정 양의 클리핑을 여전히 허용하는 클리핑 파라미터(Vmx), 및 d) 2개의 부분 리매핑 전략들, 즉 픽셀 휘도들을 재계산하는 전략, 및 픽셀 포화도들을 재계산하는 전략에서 분할의 지정을 허용하는 분수 값(rho)인 교시된 파라미터들 중 적어도 하나를 수신하는 단계, 및 휘도 계산에서 그러한 적어도 하나의 파라미터를 적용하는 단계를 포함한다.

HDR 이미지 신호는:

- 이미지 높이 픽셀 컬러들에 의해 승산된 이미지 폭을 포함하는 세트;

- 픽셀 컬러의 휘도로부터 출력 휘도를 어떻게 계산할지를 정의하는 적어도 하나의 휘도 매핑 함수, 및 a) 임계치(G), b) 클리핑 파라미터(Vmx), c) 분수 값(rho)인 파라미터들 중 적어도 하나를 포함한다.

HDR 이미지 신호는:

- 이미지 높이 픽셀 컬러들에 의해 승산된 이미지 폭을 포함하는 세트;

- 픽셀 컬러의 휘도로부터 출력 휘도를 어떻게 계산할지를 정의하는 적어도 하나의 휘도 매핑 함수를 포함하고, 함수(FADAP)를 추가로 포함한다.

그러한 신호들은 예를 들어 G의 값이 발생할 특정 휘도 리매핑에서 중요한 역할을 수행하는 실시예들에서 본 발명을 구현한다는 것이 명백하다. 그러한 메타데이터의 의미, 포맷, 고유 식별 가능성은 이러한 설명에 그렇게 관련되지 않은 상세인데, 이는 숙련자가 전체 체인의 정확한 작동(신호는 단지 생성 및 소비 장치 또는 방법 간의 연결을 행함)이 통상적으로 예를 들어 ETSI와 같은 표준화 단체에 의해 협의된 예를 들어 플레이스홀더들(placeholders)로 메타데이터를 적합하게 표준화함으로써 실현되고, 생성 장치가 예를 들어 ETSI SL_HDRxyz 포맷 등으로 신호가 통신되는 헤더에서 통신함으로써 수신 장치가 포맷을 이해하는 것을 보호한다는 것을 쉽게 이해할 것이기 때문이다.

본 발명에 따른 방법 및 장치의 이들 및 다른 양태들은 후술하는 구현들 및 실시예들로부터 명백할 것이고, 그들을 참조하여 그리고 첨부 도면들을 참조하여 설명될 것이며, 도면들은 더 일반적인 개념들을 예시하는 비제한적인 특정 예시들의 역할을 할 뿐이며, 도면들에서 점선들은 컴포넌트가 선택적이라는 것을 나타내는 데 사용되고, 점선이 아닌 컴포넌트들은 반드시 본질적이지는 않다. 점선들은 본질적인 것으로 설명되지만 객체 안에 숨겨진 요소들을 나타내기 위해 또는 예를 들어 객체들/영역들의 선택들(및 그들이 디스플레이 상에 표시될 수 있는 방법)과 같은 비유형적인 것들에 대해 사용될 수도 있다.
도면들에서:
도 1은 고 동적 범위 이미지를 대응하는 최적으로 컬러 그레이딩되고 유사하게 보이는(제1 및 제2 동적 범위들 DR_1 및 DR_2에서 차이가 주어질 때 필요하고 가능한 것과 유사한) 더 낮은 동적 범위 이미지, 예를 들어 가역성(모드 2)의 경우에 HDR 장면을 실제로 인코딩하는 수신된 SDR 이미지의 해당 장면의 재구성된 HDR 이미지로의 매핑에 또한 대응하는 100 니트 피크 명도의 표준 동적 범위 이미지에 최적으로 매핑할 때 발생하는 다수의 통상적인 컬러 변환들을 개략적으로 예시한다.
도 2는 고 동적 범위 이미지들, 즉 통상적으로 적어도 700 니트(즉, SDR 이미지의 PB_C의 적어도 7배) 이상(통상적으로 1000 니트 이상)의 휘도들을 가질 수 있는 이미지들을 인코딩하기 위한 기술의 위성-보기 예를 개략적으로 예시하며, 이 기술은 본 출원인에 의해 최근에 개발되었고, 적어도 수신된 SDR 이미지(들)를 이미지 생성 측에서 생성된 원본 마스터 HDR 이미지(들)의 충실한 재구성인 HDR 이미지(들)로 변환하기 위해 디코더에 의해 사용되는 픽셀 컬러들에 대한 적절한 결정된 휘도 변환을 포함하는 컬러 변환 함수들을 인코딩하는 SDR 이미지 플러스 메타데이터로서 HDR 이미지(들)를 실제로 통신할 수 있다.
도 3은 예를 들어 색도 평면 및 직교 휘도 L 축을 갖는 이론적 컬러 공간에 도시된 바와 같이, 입력 이미지보다 더 낮은 동적 범위의 이미지를 결정할 때, 그러한 HDR 디코딩(또는 인코딩) 및 핸들링에서 발생하는 동적 범위 변환들의 단순한 휘도 변화(즉, 원하지 않는 색도 변화들이 없음)가 통상적으로 어떻게 발생하는지를 도시한다.
도 4는 컬러들 및 컬러 처리가 (다른 기하구조를 갖는) 다른 종류의 컬러 공간에서 어떻게 거동하는지를 개략적으로 설명하며, 이 공간은 비디오의 통상적인 컬러 인코딩 공간: YCbCr이다(여기서, Y는 원칙적으로 선형 휘도 L, 또는 비-선형 감마 2.0 루마 Y', 또는 심지어 PQ-기반 루마 Y"와 같은 다른 OETF로 정의된 소정의 다른 루마일 수 있다).
도 5(제한적인 것으로 의도되지 않음)는 본 출원인이 통상적으로 도 2의 유닛(202 또는 208)의 컬러 변환을 어떻게 수행하는 것을 좋아하는지의 더 상세한 예를 도시한다.
도 6은 본 발명이 예를 들어 도 2 및 도 5에 도시된 것과 같은 시스템들의 휘도 처리에 추가하는 주요 양태의 일반적인 최상위 레벨 설명을 도시한다.
도 7은 색도-휘도 컬러 공간에서의 그러한 시스템의 거동의 일부, 특히 도 6의 정정 요소들이 없는 도 5가 무엇을 하는지를 도시한다.
도 8은 개선된 실시예의 거동을 도시하며, 이 실시예는 역포화 동작에 의해 부분적으로 출력 컬러 공간의 색역의 상단 근처에서의 정정 매핑의 문제를 해결한다.
도 9는 또한 포화 프로세서를 갖는 컬러 프로세서의 일부인 휘도 프로세서의 예를 일반적으로 그리고 개략적으로 도시한다.
도 10은 특히 단지 색역의 상단 근처의 컬러들에 대한 초기 이득 인자의 도출인 결과적인 이득 인자일 수 있는 대응하는 이득 인자 gF로서 본 교시들에 따라 공식화될 수 있는 컬러의 적색, 녹색 및 청색 성분 중 최대 강도 값으로서 정의되는 강도 값 V에 기초하여 색역의 상위 부분 내의 컬러들에 대한 정정 컬러 매핑 전략 및 대응하는 함수들을 결정하기 위한 일부 예들을 개략적으로 도시한다.
도 11은 본 발명의 교시들에 따른 변형들 중 임의의 것의 수신 측 휘도 프로세서에 의해 밝은 색역 상단 근처 컬러들의 휘도 및 일반적으로 컬러 처리를 대략 안내하거나 정확하게 지정하는 2개의 간단하지만 강력한 파라미터들을 지정하도록 콘텐츠 생성 측의 인간 그레이더에게 허용하는 사용자 인터페이스를 도시한다.
도 12는 교시된 실시예들에 따른 디코딩 측 휘도 프로세서 변동들에 필요한 파라미터들을 산출하는 가능한 자동, 반-자동, 또는 수동 인코더들의 예를 개략적으로 도시한다.
도 13은 도 9의 인코더에 대응하는 본 발명 원리들에 따른 모드 2 디코더를 설명한다.

본 발명의 다양한 실시예들의 설명은 이제 도 5의 휘도 프로세서(501) 부분에 초점을 맞추고, 이는 도 6에서 본 발명의 새로운 원리들을 설명하기 위해 더 정교한 구성으로 다시 도시된다.

먼저, 처리가 선형 휘도에 대해 발생하는 것으로 가정하여 설명할 것이지만, 즉 휘도 L이 들어오고 나가지만(L_out), 그러한 분기 내부에서 처리는 PQ와 같은 다른 루마 도메인으로 변환할 수 있지만, 이는 또한 예를 들어 통상적으로 고전적인 Rec. 709 루마, 즉 sqrt(L) 루마 Y'를 갖는 다른 루마 도메인들에서 행해질 수 있다(즉, 휘도 매퍼(512)에 의한 동적 범위 변환의 휘도 매핑은 그러한 시나리오에서 Y'_out=FLM*(Y'_in)으로서 직접 지정될 수 있다).

그러나, 그러한 상황에서, 일정하지 않은 휘도 루마 대신에, (휘도 처리가 제곱근 도메인에서 구현되더라도, 선형 휘도 처리로서 정확하게 거동하고, 부정확한 일정하지 않은 휘도-루마에서의 휘도 추정 오류로 인한 에러들이 형광 적색 코트 등과 같이 발생하지 않는 것을 보장하기 위해) 대응하는 일정한 휘도-루마를 계산하도록 주의해야 한다.

루마의 표준 정의가 Y'=a*sqrt(R)+b*sqrt(G)+c*sqrt(B)인 반면, 일정한 휘도-루마의 정의는 Y'_CL=sqrt(L)이고, 이때 L=a*R+b*G+c*B라는 것을 상기한다.

통상적으로, 비디오 디코더의 휘도 프로세서는 YCbCr 입력을 얻고, 따라서 이것으로부터의 자연 도출된 컬러 성분들은 비-선형 R'G'B'이다. 일정한 휘도-루마를 도출하는 하나의 방식은 컬러 공간 변환기(502)가 적절한 EOTF를 적용함으로써 선형 RGB 성분들을 먼저 계산하고(즉, R=EOTF_rec709(R')=power(R';2) 등), 이어서 L을 계산한 다음, Y'_CL=sqrt(L)을 계산하는 것이다.

하드웨어 영역 또는 처리 비용(/power)이 무제한이 아니기 때문에, 숏-컷들(short-cuts)이 있을 수 있는데, 예를 들어:

임의 수 K 및 L에 대해,

max(K,L)>4* min(K,L)인 경우에 Sqrt(power(K;2)+power(L;2)= 약 max(K,L)

그렇지 않은 경우에 = 약 (7/8)* max(K,L)+(1/2)* max(K,L)

따라서, R'G'B'-값들로부터 Y_CL을 직접 계산하기 위해 이것을 사용할 수 있다.

V는 휘도 L에 따라(또는 루마 Y'를 갖는 sqrt 파워 표현에서) 증가하는 양이지만, 그것과 사소하게 관련되는 것이 아니라, 상위 색역 경계에 대한 근접성의 척도인, 특히 색역 상위 경계 상의 모든 컬러들이 최대 강도 값 V=1.0(명화의 경우에 해당 경계 위로 가고, 컬러 성분들 중 가장 큰 것, 예를 들어 청색은 그의 정규화된 최대치, 예를 들어 B=1.1을 넘을 필요가 있을 것이고, 이는 수학적으로 가능하지만, 물리적으로 불가능함)을 갖는 유용한 특성을 갖는다. 500s로 넘버링된 성분들은 도 5에서와 유사하고, 즉 특히 그들은 휘도 처리 함수 FLM에서 지정된 바와 같이 "정상" 컬러 명화를 행하며, g-인자 결정의 상위 색역 영역 핸들링 메커니즘은 아직 온 상태가 아니다.

도 6의 휘도 프로세서가 HDR 디코더 내에 있고, 이는 YCbCr 픽셀 컬러들로 인코딩된 5000 니트 PB_C HDR을 입력으로서 얻고(이들이 PQ 기반으로 인코딩되면, 변환기는 이 예에서 정확한 수학을 행하여, 휘도 및 선형 RGB로 변환함), 예를 들어 900 니트 MDR 이미지 및 그의 휘도를 도출하는 것으로 가정한다. 강도 값 V가 또한 계산되고, 선형 컬러 성분들이 사용되는 예, 따라서 V=max(R,G,B)로 설명한다.

이제, 흥미롭게도, 본 발명자는, 생성 측에 의해 결정된 매핑 FLM이 픽셀 컬러의 휘도 L에 적용되는 것으로 가정되지만(또는 등가 성질의 컬러 처리가 동일한 휘도-변화 g-인자 gL로 선형 RGB 성분들을 승산하는 것처럼 실제로 수행됨), 그것을 강도 값 V에 적용하는 것이 흥미롭다는 것을 인식하였는데, 그 이유는 그러면 각각의 컬러 색도에 대해 그것이 색역 경계를 초과하여 매핑할 것인지를 알 수 있기 때문이다.

이는 도 7에서 알 수 있다. 휘도 매핑은 그들의 색도들에 관계없이 그들의 휘도에 기초하여 컬러들을 매핑하는 것으로 가정되고, 따라서 휘도 축 상의 무색 컬러들에 대해 그것을 체크할 수 있다. HDR 입력 이미지의 평균 휘도 Col_in의 소정 컬러를 갖는다고 가정하고, 이는 Col_out으로(예를 들어, SDR 또는 MDR 이미지를 생성하도록) 명화되는데, 이는 모든 컬러들이 명화될 필요가 있기 때문이고, 특히 더 어두운 것들이 더 낮은 동적 범위 렌더링에서 영화에서 무엇이 발생하는지를 여전히 합당하게 보일 수 있지만, 명화된 컬러들은 2개의 그레이딩들, 즉 출력 이미지 대 입력 이미지에서 휘도 관계를 유지할 필요성으로 인해 모든 더 선명한 컬러들을 또한 위로 푸시할 것이기 때문이다.

Col_out이 여전히 색역 내부에 양호하게 있는 것처럼 보이기 때문에, 이러한 명화는 무채 회색들에 대해 전혀 문제가 되지 않는다. 그러나, 동등-휘도의 수평 라인들을 그릴 경우, 회색 HDR 컬러들 Col_in과 동일한 휘도의 청색 ColBluH를 그의 LDR 등가 ColBluL에 매핑하는 것을 보고, 색역 위에 매핑할 것이고, 따라서 본 처리에서 무언가가 발생할 필요가 있을 것이거나, 클리퍼는 적어도 하나의 컬러 성분을 1.0으로 자동으로 클리핑할 것이고, 이는 통상적으로 잠재적으로 위험한 색조 에러들을 포함하는 상당한 색도 에러들을 수반할 것이다.

그러나, 등가-V 라인들(두꺼운 점선들)을 그리는 것에 의해, 이러한 상황을 볼 수 있고, 입력 청색 ColBluH는 여전히 색역 내에 양호하게 있지만(예를 들어, V=0.8), 출력 컬러 ColBluL은 예를 들어 V=1.2를 가지며, 따라서 이것은 1.0보다 높다.

이제, 흥미롭게도, 선형 V 척도는 L과 유사하게 비례하여 거동하므로, 동일한 g-인자에 의해 변환되는 것으로 보일 수 있다:

R_out=gL*R_in; G_out=gL*G_in; B_out=gL*B_in이면, max(R_out, G_out, B_out)=gL*V_in이다.

따라서, 이것은 실제로는 도 6의 502에 의해 계산되는 시청하기 위한 기준인 gL의 값*V의 (입력) 값이고, 이는 승산기(602)에 의해 예시적인 실시예에서 계산되고, 결과는 테스트 값 T로 지칭된다.

후속적으로 이득 인자 수정 유닛(603)은 수신기에 의해 국지적으로 결정되거나, 콘텐츠 생성 측으로부터 통상적으로 일부 이미지 메타데이터 코딩 형식주의에 따라 실제 수신된 이미지들과 함께 수신되는 바와 같은 그레이딩 함수 FLM으로부터 도출된 초기 이득 값을 수정하기 위해 이러한 값을 테스트에서 사용한다.

가장 간단한 실시예에서, 임계치 G는 1.0과 동일하다(예를 들어, 휘도 프로세서에서 단단히 고정된다).

이어서, 컬러들이 T=gL(color)*V(color)<= 1.0에 매핑되는 경우, 그들은 실제로 색역 내에서 매핑되고, 어떠한 문제도 없고, 따라서 매핑은 그대로 양호하고, 초기 이득들 gL은 RGB 성분들에 대해 실제 HDR-MDR 컬러 변경을 행하기 위한 최종 이득들 gF로서 수정되지 않은 상태로 전달된다. 계산된 gL 인자 및 V 값 양자는 현재 픽셀 컬러의 컬러 성분 값들에 의존한다는 것을 강조하기 위해 (color)를 추가했다는 점에 유의한다.

그러나, T>G=1.0인 경우, 예를 들어 gL*V가 1.8과 동일할 때, 색역 오버플로우 문제를 갖는다.

이러한 경우에, 매핑된 컬러(및 동시에 그의 V-값)가 적어도 대부분의 컬러들(잠재적으로 Vmx 값이 결정된 경우를 제외하고는, 여전히 클리핑하는 것이 허용되는 소수의 컬러들)에 대해 색역 내부에서 매핑되는 것을 보장하는 함수 F1(gL)이 적용되어야 한다.

디코더에 의해 결정될(예를 들어, 그의 휘도 프로세서 소프트웨어 또는 회로에서 고정될) 수 있는 간단한 함수는 각각의 가능한 색역외 매핑 gL(color)*V(color)에 대해 다음과 같을 수 있다:

T>G=1.0이면, gF=gL*(1/T) [수학식 3].

이러한 경우에, 실제로, 소정 컬러에 대해, 출력 컬러에 대한 원래의 gL 인자와 매핑할 때의 T 값이 예를 들어 1.3인 경우, 동일한 입력 컬러(및 그의 V 값)를 gL/1.3인 상이한 gF와 매핑하는 것은 정확히 1에 매핑할 것이다(그리고 1.8에 매핑하는 다른 컬러에 대해 gF/1.8을 적용하는 것은 동일한 것을 행할 것이고, 기타 등등이다).

물론, 색도-보존적일지라도, 이는 다소 조악한 전략이지만(그러나, 설명을 시작하기 쉽지만), 일부 상황들에서는 훨씬 적합하지만, 더 중요한 종류의 HDR 이미지에는 최적으로 작용하지는 않는다.

그에 따라, 임계값 G를 (적어도) 도입함으로써, 색역 경계 위에 초기에 매핑되는 모든 컬러들에 대한 원래의 휘도 차이들의 차별성을 여전히 유지하는 더 복잡한 매핑 전략을 사용하는 것이 유리할 수 있다. 이러한 임계값은 수신 측 휘도 프로세서에 의해 다시 결정될 수 있거나, 숙련된 독자가 임의의 현재 또는 미래의 이미지 또는 데이터 전달 시스템, 예를 들어 위성 TV 채널, 인터넷인 것으로 이해할 수 있는 네트워크(690)를 통해 콘텐츠의 생성자로부터 임계치(G)를 수신하도록 배열된 데이터 수신 수단(689)에 의해 유리하게 수신되고 이득 인자 수정 유닛(603)에 통신될 수 있거나, 프리픽싱된 패키징된 저장을 위해, 연속적인 비디오 이미지들에 대한 G 값들은 심지어 예를 들어 블루-레이 디스크 상에 저장되고 BD 판독기 등을 통해 액세스될 수 있다.

다양한 gL-재결정 전략들/함수들이 어떻게 구현될 수 있는지가 도 10과 관련하여 설명된다. 도 10a에서, 임계치 G가 0.9로 설정되는 예, 및 Vmx까지의 선형 매핑이 도시된다. 실제로, 이미지, 또는 연속적인 이미지들 VmaxSCN의 런(run)에서 가장 높게 Vmx보다 높게 되는 gL*V 값을 갖는 2개의 컬러들(아마도 수십개의 픽셀들만)이 있을 수 있지만, 이들은 HDR 입력 컬러와 동일한 색도를 갖는 색역 상단 경계 상의 컬러로 하드 클리핑될 수 있다.

T_in은 초기 gL 인자를 갖는 매핑된 컬러의 V 값이고, 색역 경계에 대응하는 1.0까지의 T_out 값들을 산출하는 gF와의 최종 매핑을 가져야 한다. 0.9 미만에서, 이득 인자는 변화하지 않고, 따라서 T_out 값은 또한 T_in 값(SEGPSS)과 동일할 것이다. G와 Vmx 사이의 리매핑은 많은 방식들로 공식화될 수 있고, 선형 세그먼트(SEGADPT)만큼 간단할 수 있다. 감쇠 인자 A는 이러한 축 시스템에서의 표현으로부터 쉽게 계산될 수 있고, 예를 들어 컬러 2.5가 1.0에 매핑해야 하는 경우, gL을 2.5 등으로 나누는 것이 필요하다.

감쇠 A(단지 휘도 방향에서의 총 감쇠)에 대한 예시적인 계산 방정식은 다음과 같다:

A(T)= (T>G?) 1/{1+[(Vmx-1)/(Vmx-G)]*(T-G)}: 1 [수학식 4]

T=Vmx이면, A(T)는 1/Vmx 등이 된다는 것을 알 수 있다.

흥미롭게도, 도 10b는 상기 색역 문제의 일부가 역포화에 의해 해결되는 상황을 도시한다. 그러한 경우에, 컬러들을 초기에 Vmx에 매핑하는 것은 오버플로우의 나머지가 포화 방향으로 도시되기 때문에, y.x>1.0, 예를 들어 1.9(아마도 너무 많은 역포화를 요구하지 않기 위해 색역 경계 위로 너무 멀리 있지 않음)에 매핑할 수 있다.

이는 도 8의 색역 플롯에 도시된다. 총 감쇠 A는 매핑된 컬러를 색역 경계로 가져올 것이다. 그러나, 위와 같이 rho 파라미터를 정의함으로써, 그 사이의 위치에 매핑한 다음, 역포화시킴으로써 ColOut으로 수평으로 시프트할 수 있다.

rho 파라미터는 암화의 유해한 효과 대 역포화의 유해한 효과 사이의 최적의 양으로 가중될 수 있는데, 예를 들어 인간 그레이더에 의해 슬라이더(1101)를 0과 1 사이의 그의 바람직한 위치에 위치시킨다. 또는 일부 실시예들은 고정된 설정, 예를 들어 rho=1/2 등을 가질 수 있다.

역포화에 필요한 승산 파라미터는 다음과 같이 계산될 수 있다:

S= (Vinterm*Arem-Y)/(Vinterm -Y)=(1-Y)/(Vinterm-Y) [수학식 5]이고, 여기서 Vinterm은 휘도 디밍 부분을 행한 후의 여전히 색역 경계 위의 높이이고, Y는 예를 들어 선형 예에서의 중간 휘도(즉, 도 9의 Li)이다. 물론, 더 복잡한 역포화 전략들은 필요한 경우, 특히 그들이 수신 측에 통신되는 경우 (비-상수 S, 즉 컬러 공간에 걸쳐 변할 수 있는 역포화와 함께) 사용될 수 있다(적어도 모드 2 HDR-SDR 통신과 같은 가역 시스템들은 재구성할 모든 것을 알아야 한다).

그러한 정정 전략을 구현할 수 있는 인코더에서의 처리 아키텍처(및 포화 유닛에 연결된 고급 휘도 프로세서 실시예)의 예가 도 9에 도시되어 있다. 원칙적으로, 원하는 것과 반대 순서로 포화 처리 및 휘도 처리를 수행하기 위해 선택할 수 있지만, 선택된 순서에 대해, 디코더는 순서를 반전시켜야 한다(따라서, 인코더가 먼저 휘도 매핑 및 이어서 역포화를 수행한다면, 반전된 디코더는 먼저 대응하는 재포화 및 이어서 휘도 매핑을 행할 것이다). Vinterm 및 Y를 알고 있는 경우, 예를 들어 rho 파라미터에 의해 생성 측으로부터 통신되는 Arem을 알고 있는 경우에 (역포화 또는 재포화를 위한 것인지에 관계없이) S를 안다는 점에 유의한다.

디코더 측에서의 감쇠 A(T)는 다음과 같이 계산될 수 있다:

A(T)= (T>G)? {1-[(Vmx-1)/(Vmx-G)]*G}/{1-[(Vmx-1)/(Vmx-G)]*T} :1 [수학식 6]

부분 매핑 계산기(903)는 이제, 역포화기(911)에 의한 나중의 역포화 단계를 위한 중간 휘도 Li가 되어야 하는 휘도와 함께 RGB 트리오에 대해 승산기(910)에 의해 수행되는 부분 휘도 디밍을 위한 적절한 최종 gF를 획득하기 위해 승산기(902)에서 gL에 의해 승산할 감쇠 인자 Arho를 결정한다. 포화 인자 결정 유닛(901)은 예를 들어 수학식 5에 따라 필요한 포화 인자 S(V,Y,Arem)를 결정할 수 있고, 포화 프로세서(911)가 수학식 7에 따른 휘도 보존 역포화에서 그것을 적용할 수 있다:

Ro=Li+S*(Ri- Li); Go= Li +S*(Gi- Li); Bo= Li +S*(Bi- Li).

그러면, 그러한 출력 컬러 성분들은 예를 들어 HDR 입력 이미지 컬러들로부터 도출된 SDR 컬러(또는 MDR 컬러)에 대한 정확한 컬러 성분들이다.

독자는 인코더 및 디코더 둘 모두에서 다운그레이딩할 때(즉, 통상적으로 PQ-OETF화된 비선형 R"G"B" 값들과 함께, 또는 통상적으로 비디오 코딩이 대응하는 YCbCr 컬러 성분들을 표준, 예를 들어 HEVC 압축을 통과시키므로, 실제로 HDR 이미지 자체가 수신기들로 통신되는 모드 i 상황), 인코더 및 디코더 둘 모두는 동일한 다운그레이딩 방향으로 컬러들을 변환할 것이고, 따라서 디코더에서 컬러 처리의 순서의 어떠한 반전도 존재하지 않을 것이라는 것을 이해해야 한다는 점에 유의한다(인코더가 이러한 경우에, 선택된 파라미터 선택들과 함께, 나중의 디코더 거동을 체크하기 위한 변환만을 수행하는 것을 상상할 수 있음).

그러나, 가역적 HDR 이미지 또는 비디오 인코딩, 즉 이미지들을 SDR 이미지들로 인코딩하는 모드 2에서, 인코더가 다운그레이딩에 의해 그들을 생성하는 경우, 디코더는 반대 방향으로 업그레이딩함으로써 마스터 HDR 이미지들의 근접한 근사를 재생성한다.

그 다음, 디코더는 도 13에 설명된 바와 같이 다소 변화한다.

포화(911) 및 명화(승산기(910))의 반대 순서는 이제 1/gF와 함께 발생하지만, 초기 색역위 컬러 ColBluL을 최종 컬러 ColOut의 중간 휘도로 낮추는 동일한 부분 g-인자이며, 다시 해당 동일 인자에 의한 휘도 부스트에 대한 중간 결과일 것이라는 점에 유의한다. 이제 접미사 s를 사용하여 이러한 시나리오에서 입력 컬러들 RsGsBs 및 휘도 Ls가 SDR 컬러들이고, 출력 컬러들 RoH, GoH, BoH는 (색역 상단 근처 중요 컬러들의 새로운 최적 처리에 따른) 재구성된 HDR 이미지를 갖는다는 것을 나타내었다. 또한, 휘도의 중간 위치가 초기 위치가 아니고, 이제는 g-인자 결정 경로에서 사용되기 때문에, 추가 승산기(1301)에 또한 유의한다.

도 11은 인간 그레이더가 단지 3개의 값들 G, rho, 및 Vmx만큼 간단할 수 있는 파라미터들을 생성하기 위해 사용될 수 있는 사용자 인터페이스의 예를 도시한다.

rho는 예를 들어 슬라이더에 의해 설정될 수 있고, 예를 들어 반-자동 방법의 오토마톤은 설정 0.25가 최적이었다고 결정하였지만, 사용자는 0.2 또는 0.3을 더 좋아한다.

그는 또한 2개의 다른 시프터들(1103 및 1103)을 가지며, 이는 Vmx 및 G 값을 예를 들어 색역 플롯 상에 설정된다. 또한, 처리되는 이미지, 예를 들어 그레이더의 주의를 빠르게 끌기 위해 자동으로 생성된 표시자들(1111)이 존재할 수 있는 연속적인 비디오 이미지들의 샷에서 이미징되는 HDR 장면의 대표적인 이미지의 뷰(1110)가 존재할 수 있다. 예를 들어, 오토마톤은 이러한 영역(햇빛이 비친 구름들)에서 텍스처의 상당한 콘트라스트 감소가 발생하고 있다는 것(아마도 하드 클리핑일 수도 있음)을 계산하였고, 사용자 인터페이스는 예를 들어 그러한 영역 주위에서 명멸하는 적색 경계를 표시할 수 있다.

도 12는 인코더(1201)(이는 임의의 이전에 설명된 모드에 따라 HDR 이미지들을 인코딩할 수 있을 뿐만 아니라, 본 발명의 새로운 파라미터들 rho, G, Vmx, 또는 수신 측에서 g-인자들을 재결정하기 위한 함수를 출력으로서 결정할 수 있음)를 갖는 인코딩 시스템의 예를 도시하며, 이 시스템 상에서 콘텐츠 생성 컬러 그레이더(1204)는 그의 그레이딩 작동, 적어도 본 발명에 따른 하나의 파라미터, 예를 들어 G 또는 rho의 결정을 행할 수 있다. 그는 디스플레이(1220) 상에서 무엇이 발생하고 있는지를 체크할 수 있는데, 이는 휘도 프로세서(501)가 통상적으로 그레이딩 패널, 및 예를 들어 rho의 변화를 트랙볼에 할당하는 소프트웨어일 수 있는 사용자 인터페이스 수단(1203)을 통해 예를 들어 rho의 그레이더의 선택의 결과를 보여주기 위해, 처리(즉, 모드 1에서의 직접 다운그레이딩, 및 통상적으로 모드 2에서 반전된 업그레이딩을 포함하는 전체 인코딩+디코딩 체인)를 적용하기 때문이다. 이미지들은 임의의 이미지 저장소(1202), 예를 들어 서버 상의 하드 디스크 등, 또는 일부 경우들에는 심지어 실시간 스트리밍으로부터 온다. 이미지 평가 프로세서(1210)는 rho, G 등의 제안들에 이르기 위해 모든 종류의 이미지 분석을 행할 수 있고, 자동 실시예들에서는 이는 그러한 파라미터들을 결정하는 유일한 유닛일 것이다.

고 동적 범위 비디오 인코더(1201)는 휘도 프로세서를 사용하여 인간 컬러 그레이더가 (예를 들어, 소정의 데이터 또는 비디오 연결을 통해 메타데이터에서의 제어 파라미터들로서 그러한 파라미터들을 수신하는 디코더에 포함될 때) 그의 휘도 변경 알고리즘의 임의의 실시예를 제어하는 다양한 파라미터들에 대한 적합한 값들을 결정하는 것을 도울 수 있다. 임의의 그러한 제어 파라미터들을 통신하기 위해, HDR 비디오 인코더는:

- 이미지 소스(1202)로부터 입력 이미지를 수신하기 위한 입력;

- 입력 이미지를 출력 이미지로서 그리고 적어도 하나의 휘도 매핑 함수(F_Lt)를 인코딩하기 위한 인코더;

- 비디오의 이미지의 컬러 특성들을 분석하여, a) 소정의 대안 최종 이득 gF가 사용되어야 하는 상한을 나타내고, 휘도 매핑 함수 FLM에 대응하는 원래의 이득이 그의 객체 또는 픽셀 휘도 분포 상세들이 주어질 때 현재 이미지의 동적 범위 리그레이딩에 적합한 하한을 나타내는 임계치(G), b) 처리될 이미지의 더 밝은 컬러들에 대한 대안 이득을 결정하기 위해 사용 가능한 함수(FADAP), c) (휘도 리그레이딩 후에) 입력 휘도 클리핑, 그러나 (그러한 효과가 요구되는 경우) 색도-보존 클리핑이 허용되는 것을 나타내는 클리핑 파라미터(Vmx), 및 d) 픽셀의 입력 컬러의 색조의 보존을 적어도 보장하기 위해, 암화 대 역포화, 예를 들어 최종 gF를 적용한 후에 남은 휘도 거리의 40%에 의해 핸들링되고 역포화에 의해 처리될 색역을 향한 정정의 간격의 분할을 결정하는 분수 값(rho)인 파라미터들 중 적어도 하나를 결정하도록 배열된 이미지 평가 프로세서(1210)를 포함할 수 있고, 인코더는 이러한 파라미터들 중 적어도 하나를 메타데이터로서 출력하도록 배열된다. 숙련자는 본 교시들 모두로부터 예를 들어 적합한 G-값을 결정하는 것과 유사한 방법을 이해할 수 있고, G-값 위에서 소정의 정정이 예를 들어 구름들을 갖는 일광 저녁 하늘의 어느 정도가 설정된 방식으로(예를 들어, 인코딩 측이 디코딩 측이 더 양호한 FADAP가 통신되지 않는 경우에 적용할 것임을 아는 사전-협의된 간단한 전략으로) 악화될 수 있는지를 보는 인간에 의해 원래의 FLM-기반 g-인자-결정된 휘도 변화(완전 색조 보존인지 일부 남아있는 색조 에러 클리핑인지에 관계없으나, 본 색역위 정정 원리들을 적용하지 않는 경우보다 통상적으로 작고 훨씬 적음)에 적용되어야 하며, 또한 다른 파라미터들이 결정될 수 있다. 예를 들어, 인간 컬러 그레이더는 UI를 사용하여, 가장 밝은 컬러들에 대한 gF 값들을 결정하기 위해 사용할 FADAP 함수의 상위 부분의 형상을 그릴 수 있고, 따라서 그들은 예를 들어 적어도 일부 이미지 컬러들을 너무 많이 어둡게 하지 않거나, 구름들의 일부 부분들에서의 일부 픽셀들이 갖는 적어도 일부 휘도들을 그러한 구름의 가시적 텍스처를 너무 많이 악화시키는 방식 등으로 감소시키지 않는다. 또한, 오토마톤은 예를 들어 (예를 들어, 하늘에서의 평탄한 기울기들이 거리 등에서 보이는 화단과 같은 고주파 다색 텍스처 영역들보다 더 쉽게 아티팩트들을 보일 수 있음을 나타내는 낮은 비즈니스 척도와 같은 다른 텍스처 척도들에 기초하여 식별될 수 있는) 상기 구름들과 같은 관심 있는 것으로 추정되거나 중요한 영역 내의 연결된 픽셀들의 다양한 세트들에 걸쳐 콘트라스트들을 계산하는 것에 기초하여 소정의 클리핑을 적용하기로 판단할 수 있다.그러나, 인코더가 자동 이미지 분석 알고리즘들만을 사용하는 경우, 인코더는 임의의 선택된 결과를 비디오 콘텐츠 생성 인간에게 실제로 보여주기 위한 휘도 프로세서를 포함할 필요가 없다.

유사하게, 휘도 처리의 방법은 임의의 연결된 네트워크(네트워크가 가장 넓은 의미에서 명확하게 사용 가능함)를 통해 콘텐츠의 생성자로부터, a) 임계치(G), 함수(FADAP), 클리핑 파라미터(Vmx) 및 분수 값(rho)을 특정 휘도 변경 실시예의 요구에 따라 개별적으로 또는 파라미터들의 임의의 조합으로 수신하는 단계, 및 그의 휘도 계산에서 그러한 적어도 하나의 파라미터를 적용하는 단계를 포함할 수 있다.

본 명세서에 개시되는 알고리즘 컴포넌트들은 실제로 하드웨어(예를 들어, 주문형 IC의 부분들)로서 또는 특수 디지털 신호 프로세서 또는 범용 프로세서 등에서 실행되는 소프트웨어로서 (전체적으로 또는 부분적으로) 실현될 수 있다.

숙련자는 본 설명으로부터 어느 컴포넌트들이 선택적인 개량들일 수 있고, 다른 컴포넌트들과 조합하여 실현될 수 있는지 그리고 방법들의 (선택적인) 단계들이 장치들의 각각의 수단에 어떻게 대응하는지 및 그 반대도 마찬가지라는 것을 이해할 수 있어야 한다. 본 출원에서 단어 "장치"는 그의 가장 넓은 의미, 즉 특정 목적의 실현을 가능하게 하는 수단들의 그룹으로서 사용되며, 따라서 예를 들어 IC 또는 전용 기구(예컨대, 디스플레이를 갖는 기구) 또는 네트워킹된 시스템의 일부 등(의 작은 회로 부분)일 수 있다. "배열"은 또한 가장 넓은 의미로 사용되는 것을 의도하며, 따라서 특히 단일 장치, 장치의 일부, 협력 장치들(의 부분들)의 집합 등을 포함할 수 있다.

컴퓨터 프로그램 제품이라는 용어는 (중간 변환 단계들, 예컨대 중간 언어로의 번역, 및 최종 프로세서 언어를 포함할 수 있는) 일련의 로딩 단계들 후에 범용 또는 특수 목적 프로세서가 명령들을 프로세서에 입력하고, 발명의 특징적인 기능들 중 임의의 것을 실행하는 것을 가능하게 하는 명령들의 집합의 임의의 물리적 실현을 포함하는 것으로 이해되어야 한다. 특히, 컴퓨터 프로그램 제품은 예를 들어 디스크 또는 테이프와 같은 캐리어 상의 데이터, 메모리에 존재하는 데이터, 유선 또는 무선 네트워크 접속을 통해 이동하는 데이터 또는 종이 상의 프로그램 코드로서 실현될 수 있다. 프로그램 코드 외에, 프로그램에 필요한 특징적인 데이터도 컴퓨터 프로그램 제품으로서 구현될 수 있다.

방법의 동작에 필요한 단계들 중 일부, 예컨대 데이터 입력 및 출력 단계들은 컴퓨터 프로그램 제품에서 설명되는 대신에 프로세서의 기능에서 이미 존재했을 수 있다.

전술한 실시예들은 발명을 제한하는 것이 아니라 예시한다는 점에 유의해야 한다. 숙련자가 제시된 예들의 청구항들의 다른 영역들로의 매핑을 쉽게 실현할 수 있는 경우, 모든 이러한 옵션들은 간소화를 위해 깊이 언급되지 않았다. 청구항들에서 조합되는 바와 같은 본 발명의 요소들의 조합들 외에, 요소들의 다른 조합들이 가능하다. 요소들의 임의의 조합이 단일 전용 요소에서 실현될 수 있다.

청구항들에서의 괄호 안의 임의의 도면 부호는 청구항을 제한하도록 의도되지 않는다. 단어 "포함하는"은 청구항에 열거되지 않은 요소 또는 양태의 존재를 배제하지 않는다. 요소에 선행하는 단수형 표현("a" 또는 "an")은 복수의 그러한 요소의 존재를 배제하지 않는다.

Claims (14)

1. 제1 피크 명도(peak brightness)(PB_HDR)에 의해 특성화되는 제1 휘도 동적 범위(luminance dynamic range)를 갖는 입력 이미지(MAST_HDR)의 공간적으로 병치된 픽셀의 입력 휘도(L)로부터 제2 피크 명도(PB_LDR; PB_MDR)에 의해 특성화되는 제2 휘도 동적 범위를 갖는 출력 이미지(Im_LDR; Im3000nit)의 픽셀의 출력 휘도를 계산하도록 배열된 휘도 프로세서(501)에 있어서,
   - 상기 입력 휘도에 대한 휘도 매핑 함수(luminance mapping function)의 출력을 상기 입력 휘도로 나누는 제산으로서 승산 인자: gL=FLM(L)/L을 계산함으로써 상기 승산 인자(gL)를 계산하도록 배열된 이득 계산 유닛(514)으로서, 상기 승산 인자는 상기 입력 휘도를 대응하는 중간 출력 휘도가 되도록 어떻게 조정할지를 나타내는 상기 휘도 매핑 함수(FLM)에 기초하여 상기 입력 이미지의 이미지 픽셀의 임의의 입력 컬러의 상기 입력 휘도에 대해 정의되는, 상기 이득 계산 유닛(514);
   - 상기 중간 출력 휘도가 상기 입력 컬러의 색도(chromaticity)에서의 상위 색역 경계(upper gamut boundary) 위로 얼마나 멀리 있는지를 나타내는 오버플로우 척도(overflow measure)(T)를 계산하도록 배열된 오버플로우 계산기(602)로서, 상기 중간 출력 휘도는 상기 승산 인자(gL)를 상기 입력 컬러를 정의하는 각각의 컬러 성분들에 적용하는 것으로부터 생성되는, 상기 오버플로우 계산기(602);
   - 상기 오버플로우 척도가 임계치(G)보다 큰 경우에 더 낮은 대안 이득 인자(F1(gL))를 결정하도록 배열되고, 그렇지 않은 경우에 상기 승산 인자(gL)를 유지하도록 배열되고, 그렇지 않고 상기 오버플로우 척도가 상기 임계치(G) 또는 상기 승산 인자(gL)보다 큰 경우에 상기 더 낮은 대안 이득 인자(F1(gL))를 최종 이득 인자(gF)로서 출력하도록 배열된 이득 인자 수정 유닛(603); 및
   - 상기 입력 컬러의 상기 각각의 성분들(R'G'B'_nrm)에 상기 최종 이득 인자(gF)를 곱하여 상기 출력 휘도를 갖는 출력 컬러의 각각의 성분들(R'G'B'_HDR)을 획득하기 위한 승산기(530)를 포함하는 것을 특징으로 하는, 휘도 프로세서(501).
2. 제1항에 있어서, 네트워크(690)를 통해 콘텐츠의 생성자로부터 상기 임계치(G)를 수신하도록 배열된 데이터 수신 수단(689)을 포함하는, 휘도 프로세서(501).
3. 제1항 또는 제2항에 있어서, 네트워크(690)를 통해 콘텐츠의 생성자로부터 상기 대안 이득 인자를 결정하기 위한 함수(FADAP)를 수신하도록 배열된 데이터 수신 수단(689)을 포함하는, 휘도 프로세서(501).
4. 제1항 또는 제2항에 있어서, 네트워크(690)를 통해 콘텐츠의 생성자로부터 컬러가 색역 상위 경계 위로 얼마나 멀리 있는지를 나타내는 클리핑 파라미터(clipping parameter)(Vmx)를 수신하도록 배열된 데이터 수신 수단(689)을 포함하고, 상기 클리핑 파라미터는 상기 컬러의 적색, 녹색 및 청색 성분들 중 최대 성분으로서 정의되어, 상기 클리핑 파라미터 위로 떨어지는 컬러 휘도들에 대해 색조-보존 컬러 클리핑(hue-preserving color clipping)이 허용된다는 것을 지정하는, 휘도 프로세서(501).
5. 제1항 또는 제2항에 있어서, 실현 가능한 색역내 컬러에 도달하는 데 필요한 상기 색역 경계를 향한 상기 입력 컬러의 정정의 제1 부분으로서, 최종 승산 인자(gF)에 의한 승산에 의해 핸들링될, 상기 정정의 제1 부분을 결정하도록 배열된, 그리고 컬러 포화 계산을 구동하기 위한 포화 승수(saturation multiplier)(S)를 결정하기 위한 정정의 나머지 제2 부분을 결정하도록 배열된 부분 매핑 계산기(903)를 포함하는, 휘도 프로세서(501).
6. 제5항에 있어서, 네트워크(690)를 통해 상기 콘텐츠의 상기 생성자로부터 상기 정정의 제1 및 제2 부분을 결정하는 분수 값(rho)을 수신하도록 배열된 데이터 수신 수단(689)을 포함하는, 휘도 프로세서(501).
7. 제1항 또는 제2항에 있어서, 상기 오버플로우 척도(T)는 픽셀 컬러의 적색, 녹색 및 청색 성분의 최고 값에 상기 승산 인자(gL)를 곱함으로써 계산되는, 휘도 프로세서(501).
8. 고 동적 범위 비디오 인코더(high dynamic range video encoder)(1201)에 있어서,
   - 이미지 소스(1202)로부터 입력 이미지를 수신하기 위한 입력;
   - 상기 입력 이미지를 출력 이미지로서 인코딩하기 위한 그리고 적어도 하나의 휘도 매핑 함수(F_Lt)를 인코딩하기 위한 인코더를 포함하고; 상기 인코더는 제1항에 청구된 바와 같은 휘도 프로세서에 의해 적용될 임계치(G)를 결정하기 위해 상기 비디오의 이미지의 컬러 특성들을 분석하도록 배열된 이미지 평가 프로세서(1210)를 포함하고, 상기 인코더는 상기 임계치(G)를 메타데이터로서 출력하도록 배열되는 것을 특징으로 하는, 고 동적 범위 비디오 인코더(1201).
9. 고 동적 범위 비디오 인코딩 시스템에 있어서,
   - 인간 컬러 그레이더(human color grader)(1204)가 제1항에 청구된 바와 같은 임계치(G)의 값을 지정하게 하는 사용자 인터페이스(1203);
   - 제1항에 청구된 바와 같은 휘도 프로세서(501)로서, 상기 인간 컬러 그레이더에 의해 지정된 상기 임계치(G)의 상기 값을 수신하고 사용하도록 추가로 배열되고, 상기 휘도 프로세서의 출력 이미지를 디스플레이하기 위해 디스플레이(1220)에 연결되는, 상기 휘도 프로세서(501)를 포함하고; 상기 고 동적 범위 비디오 인코딩 시스템은 상기 임계치(G)를 인코딩하고 출력하도록 배열된 인코더를 추가로 포함하는, 고 동적 범위 비디오 인코딩 시스템.
10. 고 동적 범위 비디오 디코더(high dynamic range video decoder)(1300)에 있어서,
    - 입력 이미지 및 휘도 매핑 함수(FLM)를 수신하기 위한 입력;
    - 임계치(G)의 값을 수신하도록 배열된 제2 입력;
    - 상기 휘도 매핑 함수(FLM) 및 상기 임계치(G)를 사용하여 상기 입력 이미지의 픽셀들의 휘도들을 변경하여 출력 이미지를 생성함으로써 상기 출력 이미지를 계산하도록 배열된, 제1항 또는 제2항에 따른 휘도 프로세서(501); 및
    - 상기 출력 이미지를 출력하기 위한 출력을 포함하는, 고 동적 범위 비디오 디코더(1300).
11. 제1 피크 명도(PB_HDR)에 의해 특성화되는 제1 휘도 동적 범위를 갖는 입력 이미지(MAST_HDR)의 공간적으로 병치된 픽셀의 입력 휘도로부터 제2 피크 명도(PB_LDR; PB_MDR)에 의해 특성화되는 제2 휘도 동적 범위를 갖는 출력 이미지(Im_LDR; Im3000nit)의 픽셀의 출력 휘도를 계산하기 위한 휘도 처리 방법(method of luminance processing)에 있어서,
    - 상기 입력 휘도에 대한 휘도 매핑 함수의 출력을 상기 입력 휘도로 나누는 제산으로서 승산 인자: gL=FLM(L)/L을 계산함으로써 상기 승산 인자(gL)를 계산하는 단계로서, 상기 승산 인자는 상기 입력 휘도를 중간 출력 휘도가 되도록 어떻게 조정할지를 나타내는 상기 휘도 매핑 함수(FLM)에 기초하여 상기 입력 이미지의 이미지 픽셀의 임의의 입력 컬러의 상기 입력 휘도에 대해 정의되는, 상기 승산 인자(gL)를 계산하는 단계;
    - 상기 중간 출력 휘도가 상기 입력 컬러의 색도에서의 상위 색역 경계 위로 얼마나 멀리 있는지를 나타내는 오버플로우 척도(T)를 계산하는 단계로서, 상기 중간 출력 휘도는 상기 승산 인자(gL)를 상기 입력 컬러를 정의하는 각각의 컬러 성분들에 적용하는 것으로부터 생성되는, 상기 오버플로우 척도(T)를 계산하는 단계;
    - 상기 오버플로우 척도가 임계치(G)보다 큰 경우에 더 낮은 대안 이득 인자(F1(gL))를 결정하고, 그렇지 않은 경우에 상기 승산 인자(gL)를 유지하고, 그렇지 않고 상기 오버플로우 척도가 상기 임계치(G) 또는 상기 승산 인자(gL)보다 큰 경우에 상기 더 낮은 대안 이득 인자(F1(gL))를 최종 이득 인자(gF)로서 출력하는 단계; 및
    - 상기 입력 컬러의 상기 각각의 성분들(R'G'B'_nrm)에 상기 최종 이득 인자(gF)를 곱하여 상기 출력 휘도를 갖는 출력 컬러의 각각의 성분들(R'G'B'_HDR)을 획득하는 단계를 포함하는, 휘도 처리 방법.
12. 제11항에 있어서, 임의의 연결된 네트워크를 통해 콘텐츠의 생성자로부터 상기 임계치(G)를 수신하여 상기 출력 컬러의 상기 계산에서 상기 임계치(G)를 적용하는 단계를 포함하는, 휘도 처리 방법.
13. 제11항 또는 제12항에 있어서, 임의의 연결된 네트워크를 통해 콘텐츠의 생성자로부터 함수(FADAP)를 수신하여 상기 대안 이득 인자를 결정하는 단계를 포함하는, 휘도 처리 방법.
14. 삭제

Images