KR20180119684A - Hdr 비디오의 인코딩 및 디코딩 - Google Patents

Abstract

잠재적으로, 실제 상황들에서 양호하게 작동하는 확립된 LDR 비디오 통신 기술들을 통해 대응하는 LDR 이미지들을 전송함으로써 작동할 수 있는 고품질 HDR 비디오 통신을 가능하게 하기 위해, 본 출원인은 수신된 100 니트 표준 동적 범위 이미지(Im_RLDR)에 휘도 변환 함수들의 세트를 적용하는 것에 기초하여 HDR 이미지(Im_RHDR)를 계산하도록 배열되는 HDR 비디오 디코더(600, 1100)를 발명하였으며, 함수들은 적어도 동적 범위 최적화기(603)에 의해 적용되는 대략 휘도 매핑(FC) 및 동적 범위 최적화기의 출력인 중간 루마(Y'HPS)의 가장 어두운 값(0)의 수신된 흑색 오프셋 값(Bk_off)으로의 범위 신장기(604)에 의한 매핑을 포함하고, 비디오 디코더는 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)로부터 HDR 이미지의 가장 어두운 휘도들의 서브세트(502)를 계산하기 위해 대안 휘도 변환 함수를 적용하도록 배열되는 이득 제한기(611, 1105)를 포함한다.

Description

HDR 비디오의 인코딩 및 디코딩

본 발명은 본 명세서에서 HDR 비디오로 불리는 시간적으로 연속적인 고 동적 범위(high dynamic range) 이미지들의 세트를 각각 인코딩 및 디코딩하기 위한 방법들 및 장치들에 관한 것이다.

2년 전까지, 모든 비디오는 표준 동적 범위(standard dynamic range, SDR)로도 불리는 소위 저 동적 범위(low dynamic range, LDR) 철학에 따라 인코딩되었다. 이것은 캡처되는 장면이 무엇이었든, 표준화된 정의에 의하면 코드의 최대값(전형적으로 8 비트 루마(luma) Y'=255; 또는 아날로그 디스플레이 구동을 위한 100% 전압)이 표준 협약에 의하면 100 니트(nit)인 피크 명도(peak brightness, PB)(즉, 렌더링할 수 있는 가장 밝은 백색)를 갖는 디스플레이에 대응, 즉 그 위에 렌더링되어야 한다는 것을 의미하였다. 사람들이 조금 더 어둡거나 밝은 실제 디스플레이를 구입한 경우, 시청자의 시각 시스템은 이미지가 예컨대 (예컨대, 어두운 모습(look)을 가져야 하는 공포 영화의 야간 장면을 갖는 경우에) 성가시게 너무 밝은 게 아니라 여전히 적절하게 그리고 심지어 기준 100 니트 디스플레이 상에서와 동일하게 보이도록 적응할 것으로 가정되었다.

물론, 실제 프로그램 제작의 경우, 이것은 전형적으로 장면 조명 설정의 엄격한 제어의 유지를 의미하였는데, 이는 완벽하게 균일한 조명에서도 다양한 물체들의 확산 반사 백분율이 이미 100:1의 콘트라스트 비(contrast ratio)를 제공할 수 있기 때문이다. 그러한 SDR 디스플레이의 흑색은 전형적으로 양호한 상황에서는 0.1 니트, 그러나 최악의 상황에서는 1 니트 또는 심지어 수 니트일 수 있으며, 따라서 SDR 디스플레이 동적 범위(가장 밝은 백색을 가장 어두운 가시 흑색으로 나눈 값)는 기껏해야 1000:1이거나 더 나쁠 것이며, 이는 그러한 균일한 조명된 장면들에 그리고 대략 2.0의 감마(gamma) 또는 인코딩 역 감마(encoding inverse gamma) 0.5를 갖는 모든 렌더링이 필요한 픽셀 그레이(pixel grey) 값들 또는 명도들에 대한 8 비트 코딩에 훌륭하게 대응한다. Rec. 709는 전형적으로 사용되는 SDR 비디오 코딩이었다. 전형적으로, 카메라들도 매우 밝은 영역 및 다소 어두운 영역 둘 모두를 동시에 캡처하는 데 문제가 있었는데, 즉 창이나 차창 밖에 보이는 장면은 전형적으로 백색으로 클리핑될(clipped) 것이다(적색, 녹색 및 청색 부가 컬러 성분 R=G=B=max.를 제공하며, 이는 그들의 제곱근 코딩 값 R'=G'=B'=255에 대응한다). 본 출원에서 동적 범위가 주로 피크 명도(즉, 가장 밝은 렌더링된 또는 렌더링 가능한 휘도)만으로 지정되는 경우, 가장 낮은 휘도 값은 실용적으로 0이며(반면에 실제로는 디스플레이 프론트 플레이트(front plate) 또는 시네마 스크린 광 반사, 예컨대 0.1 니트와 같은 시청 조건들에 의존할 수 있음), 그러한 추가 상세들은 특정 설명과 무관한 것으로 가정한다는 점에 유의한다. 동적 범위를 정의하는 여러 방법이 있으며, 이하의 설명에서 전형적으로 사용되는 가장 자연스러운 방법은 디스플레이 렌더링된 휘도 동적 범위, 즉 가장 어두운 컬러에 대한 가장 밝은 컬러의 휘도라는 점에도 유의한다.

무언가가 HDR 연구 중에 더 명확해졌고, 모든 사람이 그것을 이해할 수 있도록 여기에 언급되며, 코드 시스템 자체는 기준 디스플레이와 관련되지 않으면 기본적으로 동적 범위를 갖지 않으며, 이는 예컨대 R'=G'=B'=Y'=255가 100 니트 또는 대안적으로 1000 니트 등의 PB와 부합해야 한다는 것을 말한다는 점에도 유의한다. 특히, 일반적으로 사전-가정된 것과는 반대로, 자신들의 루마들과 같은 픽셀들의 컬러 성분들에 사용되는 비트들의 수는 동적 범위에 대한 양호한 지시자가 아닌데, 이는 예컨대 10 비트 코딩 시스템이 인코딩의 타입, 특히 코딩과 관련된, 즉 디스플레이 상에 렌더링되는 것이 필요함에 따라 픽셀들의 루마 코드 [0, 1023]과 대응하는 휘도들 사이의 관계를 정의하는 기준 디스플레이의 전기-광학 전달 함수(EOTF)에 따라 결정되는 HDR 비디오 또는 SDR 비디오를 인코딩할 수 있기 때문이다.

본 명세서에서는 HDR 이미지 또는 비디오가 언급될 때, 이것은 100 니트의 SDR 값보다 높은, 전형적으로는 적어도 4배 더 높은 가장 높은 루마 코드에 대한 대응하는 피크 명도 또는 최대 휘도(또는 예컨대 YCbCr 인코딩이 아니라 RGB 코딩의 경우에는 등가적으로 가장 높은 R', G', B' 값들)를 갖는 것으로 가정하는데, 즉 HDR 이미지가 최적으로 보이게 하기 위한 렌더링될 최대 디스플레이 휘도는 예컨대 1000 니트, 5000 니트 또는 10000 니트일 수 있다(이것은 아래에 상술되는 프리마 파시 복합 개념(prima facie complex concept)과 혼동되지 않아야 한다는 점에 유의하며, 상기 개념에 의하면, 그러한 HDR 이미지 또는 비디오를 SDR 이미지 또는 비디오로서 인코딩할 수 있고, 이러한 경우에 이미지는 100 니트 디스플레이 상에 렌더링될 수 있을 뿐만 아니라, 중요하게는, HDR 이미지를 복원하기 위해 컬러 변환을 인코딩하는 대응하는 관련 메타데이터를 가질 때, 예컨대 1000 니트의 PB를 갖는 HDR 이미지를 생성하기 위한 모든 정보를 포함한다!).

따라서, 고 동적 범위 이미지의 고 동적 범위 코딩은 주변의 렌더링된 장면 또는 반짝거리게 빛나는 금속 표면 등에 비해 예컨대 밝은 폭발을 갖는 양호한 품질의 HDR을 디스플레이-렌더링할 수 있도록 예컨대 최대 1000 니트의 렌더링될 휘도를 갖는 이미지들을 인코딩할 수 있다.

실제로, 세상에는 매우 높은 동적 범위를 가질 수 있는 장면들이 존재한다(예컨대, 1 니트 정도로 어두운 물체들의 실내 캡처링, 반면에 10,000 니트 초과의 휘도를 갖는 창 밖의 햇빛 속의 물체들을 통해 동시에 보는 것은 10000:1 동적 범위를 제공하며, 이는 1000:1 DR보다 10배 크고, 심지어 100:1 동적 범위보다는 100배 크며, 예컨대 TV 시청은 일부 전형적인 상황들, 예컨대 주간 시청 상황에서 30:1 미만의 DR을 가질 수 있다). 디스플레이들은 더 양호해지고 있으므로(100 니트보다 2배 더 밝은 PB, 현재 1000 니트가 나타나고 있으며, 수천 니트 PB가 구상중임), 목표는 이러한 이미지들을 아름답게 렌더링할 수 있는 것이며, 상이한 시청 조건들과 같은 팩터(factor)로 인해 원본과 정확히 동일하지는 않지만, 적어도 매우 자연스럽거나 적어도 즐겁다. 그리고 이것은 SDR 비디오 코딩 시대에는 없었던 것: 양호한 실용적인 HDR 비디오 코딩 기술을 필요로 한다.

독자는 또한, 시청자가 전형적으로 상이한 상황에서(예컨대, 캡처된 밝은 아프리카 풍경 안에 실제로 서 있는 대신에 야간에 약한 조명의 거실에 앉아서 또는 어두운 집 또는 극장에서) 콘텐츠를 시청하고 있으므로, 장면 내의 휘도들과 TV(또는 다른 디스플레이) 상에 최종 렌더링된 것들 사이의 식별이 존재하지 않는다는 것을 이해해야 한다. 이것은 특히, 예컨대 장면 내의 태양이 (그의 실제 값인 10억 니트가 아니라) 5000 니트로 이미지 안에 렌더링되어야 하는 것으로 규정함으로써 인간의 컬러 그레이더(grader)가 이용가능 코딩 DR 상의, 즉 관련 기준 디스플레이의 최적 컬러들을 수동으로 결정하게 함으로써 핸들링될 수 있다. 대안적으로, 자동 알고리즘들은 예컨대 원시 카메라 캡처링으로부터 본 명세서에서 (일반적으로) (마스터) HDR 그레이딩(grading)으로 불리는 것으로의 그러한 변환을 행할 수 있다. 이것은 또한 이러한 마스터 그레이딩을 그것이 이용가능한 위치들에 5000 니트 PB HDR 디스플레이 상에 렌더링할 수 있다는 것을 의미한다.

그러나, 동시에, 다가오는 수년 동안, 100 니트 PB의 레거시(legacy) SDR 디스플레이 또는 5000 니트 백색을 만들 수 없는 소정의 디스플레이를 갖는 사람들의 대형의 설치된 기지(large installed base)가 존재할 것인데, 이는 예컨대 그것이 휴대가능하고, 그러한 사람들이 HDR 영화도 볼 수 있어야 하기 때문이다. 따라서, 동일한 장면의 이미지를 5000 니트 HDR로부터 100 니트 SDR 모습으로 변환하기 위한 소정의 메커니즘이 필요하다.

도 1 은 (예컨대, 1000 니트 PB 디스플레이에 접속된) 미래의 HDR 시스템이 이미지 내의 모든 물체들/픽셀들에 대한 적절한 휘도들을 렌더링함으로써 정확하게 핸들링할 수 있는 것이 필요할 수 있는 많은 가능한 HDR 장면들의 2개의 예시적인 예를 도시한다. 예컨대, ImSCN1은 서부 영화의 화창한 실외 이미지인 반면, ImSCN2는 야간 이미지이다. HDR 이미지 렌더링을 겨우 2년 전에 끝난 LDR 시대에 항상 있었던 방식과 상이하게 만드는 것은 LDR이 제한된 동적 범위(약 PB=100 니트 및 흑색 레벨 +- 0.1 내지 1 니트)를 가져서, 주로 물체들의 반사율(양호한 백색에 대한 90%와 양호한 흑색에 대한 1% 사이에 있을 것임)만이 표시될 수 있다는 것이다. 따라서, 물체들을 그들의 조명과 무관하게 표시해야 하며, 발생할 수 있는 장면의 때때로 높은 콘트라스트의 조명들 모두를 동시에 충실하게 표시할 수 없다. 실제로, 이것은 매우 밝은 화창한 장면이 칙칙한 비오는 날의 장면과 대략 동일한 디스플레이 휘도(0-100 니트)로 렌더링되어야 한다는 것을 의미하였다. 그리고 야간 장면들조차도 너무 어둡게 렌더링될 수 없거나, 시청자는 이미지의 가장 어두운 부분들을 잘 구별할 수 없을 것이며, 따라서 다시 그러한 야간 명도들은 0 내지 100 니트의 범위에 걸쳐 렌더링될 것이다. 따라서, 통상적으로 야간 장면들을 푸르게 채색해야 하며, 따라서 시청자는 그가 주간 장면을 보고 있지 않다는 것을 이해할 것이다. 현재, 물론, 실생활에서, 인간의 시력은 또한 이용가능한 양의 광에는 적응하지만, 많은 양에 대해서는 그렇지 못할 것이다(실생활에서 대부분의 사람들은 어두워지는 것을 인식한다). 따라서, 적어도, 이용가능한 HDR 디스플레이를 갖는 경우에, 훨씬 더 사실적인 렌더링된 이미지들을 얻기 위해 그 안에 예술적으로 설계할 수 있는 모든 멋진 국지적 조명 효과들을 갖는 이미지들을 렌더링하기를 원할 것이다.

따라서, 도 1의 좌측 축은 5000 니트 PB 디스플레이에 대해 5000 니트 PB 마스터 HDR 그레이딩에서 보기를 원하는 바와 같은 물체 휘도들이다. 환상만이 아니라, 밝은 햇빛 속의 환경에 있는 카우보이의 실제 감각을 전달하기를 원할 경우, 그러한 픽셀 휘도들을 (또한 너무 밝지는 않더라도) 예컨대 500 니트 정도로 충분히 밝게 지정하고 렌더링해야 한다. 야간 장면에 대해서는 주로 어두운 휘도들을 원하지만, 모터사이클 상의 주요 캐릭터는 잘 인식될 수 있어야 하는데, 즉 너무 어둡지 않아야 하며(예컨대, 약 5 니트), 이와 동시에 예컨대 거리 조명들의 매우 높은 휘도, 예컨대 5000 니트 디스플레이 상의 대략 3000 니트 또는 임의의 HDR 디스플레이(예컨대, 1000 니트) 상의 대략 피크 명도의 픽셀들이 존재할 수 있다. 제3 예 ImSCN3은 현재 HDR 디스플레이들 상에서 또한 가능한 것을 도시하며: 매우 밝은 픽셀 및 매우 어두운 픽셀 둘 모두가 동시에 렌더링될 수 있다. 화창한 외부를 보는 작은 구멍으로 어두운 동굴을 본다. 이 장면의 경우, 나무와 같은 햇빛 속의 물체들이 동굴 내부의 본질적으로 어두운 캐릭터와 더욱 조화되어야 하는 밝은 화창한 풍경, 예컨대 대략 400 니트의 인상을 렌더링하기를 원하는 장면에서보다 다소 덜 밝게 되기를 원할 수 있다. 컬러 그레이더는 모든 물체들의 휘도들을 최적으로 조정하여, 어떤 것도 부적절하게 어둡거나 밝게 보이지 않고, 콘트라스트가 양호하게 되기를 원할 수 있으며, 예컨대 이 동굴 안의 어둠 속에 서 있는 사람은 (HDR 렌더링이 밝은 하이라이트들뿐만 아니라 어두운 영역들도 렌더링할 수 있는 것으로 가정할 때) 대략 0.05 니트의 마스터 HDR 그레이딩된 이미지 안에 코딩될 수 있다.

모든 이러한 매우 상이한 타입의 HDR 장면에 대한 모든 물체 휘도들을 도 1의 우측에 도시된 훨씬 더 작은 SDR 또는 LDR 동적 범위(DR_1)에서 이용가능한 최적 휘도들에 매핑하는 것은 항상 사소한 작업이 아닐 수 있다는 것을 이해할 수 있으며, 이는 바람직하게 인간 컬러 그레이더가 (적어도 휘도 변환 또는 루마 코드들에 대해 등가적으로 수행될 때의 루마 변환을 포함하는) 컬러 변환을 결정하기 위해 수반될 수 있는 이유이다. 그러나, 예컨대, 이미지 콘텐츠의 컬러 특성들, 예컨대 그의 휘도 히스토그램의 분석에 기초하여 자동 결정된 변환들을 사용하기로 항상 선택할 수 있으며, 이것은 예컨대 더 간단한 종류의 HDR 비디오, 또는 예컨대 실시간 콘텐츠 생산에서와 같이 인간 그레이딩이 덜 바람직한 응용들에 대한 바람직한 옵션일 수 있다(본 특허에서는, 제한 없이, 그레이딩이 또한 예컨대 캡처링의 개시 전에 빠르게 전체 생산에 대한 몇몇 컬러 변환 함수 파라미터의 빠른 설정을 수반할 수 있는 것으로 가정한다).

본 출원인은 (모든 최종 시청자가 예컨대 1000 니트 PB 디스플레이를 갖는 경우) 현장의 전형적인 단일 종류의 디스플레이에 대한 단일 표준화된 HDR 비디오만의 통신(인코딩)을 핸들링할 수 있을 뿐만 아니라, 이와 동시에 현장에서 다양한 다른 피크 명도들을 갖는 다양한 가능한 다른 디스플레이 타입들에 대한 최적의 모습, 특히 100 니트 PB SDR 디스플레이에 대한 SDR 이미지를 갖는 비디오들을 통신 및 핸들링할 수 있는 코딩 시스템을 설계하였다.

정확한 모습, 즉 예컨대 10 비트 레거시 MPEG 또는 유사한 비디오 코딩 기술에서 예컨대 1000 니트 HDR 모니터 상의 렌더링을 위한 이미지 물체 휘도들을 갖는 HDR 이미지 세트만을 인코딩하는 것은 어렵지 않다. 훨씬 더 큰 동적 범위를 갖는 새로운 타입의 이미지, 즉 백색에 비해 상대적으로 어두운 많은 영역에서 밴딩(banding)을 나타내지 않는 이미지에 대한 최적의 OETF(광-전기 전달 함수)를 설정한 후에 모든 픽셀/물체 휘도들에 대한 루마 코드들을 계산하는 것만이 필요하다.

그러나, 본 출원인은 HDR 이미지들을 실제로는 LDR 이미지들로서 통신할 수 있는 시스템을 설계하였는데, 즉 실제로 LDR(또는 더 정확하게는 SDR, 100 니트 PB 기준 디스플레이로 지칭되고 종종 그러한 기준 디스플레이 상에 최적 컬러 그레이딩되는 레거시 Rec. 709-기반 인코딩을 의미하는 표준 동적 범위) 이미지들이 통신되고, 이어서 레거시 100 니트 PB SDR 디스플레이들 상에 정확하게 보이는 SDR 모습을 렌더링하기 위해 이미 즉시 사용될 수 있다. 또한, 도 2 에 예시된 바와 같이, 일 세트의 적절한 가역적 컬러 변환 함수 F_ct가 정의된다. 이러한 함수들은 HDR 마스터 이미지 MAST_HDR에 대응하는 적절하게 보이는 SDR 이미지(Im_LDR)를 획득하도록 인간 컬러 그레이더에 의해 정의될 수 있는 동시에, 역함수들 IF_ct를 사용함으로써 원본 마스터 HDR(MAST_HDR) 이미지가 재구성된 HDR 이미지(Im_RHDR)로서 충분한 정밀도로 재구성될 수 있거나, 적합한 그러한 컬러 변환 함수들 F_ct를 결정하기 위해 콘텐츠 생성 측에서 자동 분석 알고리즘들이 사용될 수 있는 것을 보장한다. 교시 내용이 더 구체적인 설명을 필요로 하지 않는 한, 생성 측에서 2개의 표준 함수, 예컨대 국제 출원 공개 WO2015007505호에서와 같은 로그감마(loggamma)-형상의 초기 HDR 대 SDR 매핑이 사용되는 것으로 가정할 것이며(예컨대, 함수의 구체적인 형상은 HDR 이미지 내의 가장 밝은 컬러들(램프들 참조)의 로브(lobe)가 평균 컬러들(예컨대, 해질녘의 도시 뷰)의 로브로부터 얼마나 멀리 위치하는지에 기초하여 선택됨), 유용한 경우에 추가적인, 예컨대 3 부분 곡선은 컬러들의 가장 어두운 하위-영역, 또는 중간 또는 더 밝은 영역 중 적어도 하나를 조정하며, 예컨대 제한 없이 단지 설명을 위해, 생성 측의 얼굴 검출기 알고리즘이 어둠 속에 적어도 하나의 얼굴이 있는 경우에 어두운 기울기를 제어하는 함수의 파라미터를 결정할 수 있는 것으로 가정한다. 또는, 일부 실시예들에서는 이미 (영화 또는 일반적으로 비디오 콘텐츠의 1회 인스턴트에 대한) 2개의 그레이딩된 이미지가 그러한 2개를 본 발명의 원리들에 따라 통신될 하나의 이미지로서 인코딩하기 전에 생성 측에서 이용가능한 예를 이용하여 설명할 것이며, 제한 없이 이해를 위해, HDR 이미지(예컨대, 1000 니트 코딩 피크 명도 PB_C를 가짐, 즉 그러한 선택된 인코딩의 컬러 표현으로 인코딩될 수 있는 가장 밝은 백색 휘도) 및 SDR(100 니트 PB_C) 이미지 둘 모두가 인간 컬러 그레이더에 의해 이전에 그레이딩된 것으로 가정할 것이다. 함수 F_ct를 IF_ct로 반전시키기 위해 수신 측에 의존하는 대신에, 수신 및 디코딩된 SDR 이미지 Im_RLDR로부터 Im_RHDR을 계산하기 위한 필요한 함수들을 이미 전송했을 수도 있다는 점에 유의한다. 따라서, 컬러 변환 함수들이 실제로 행하는 것은 HDR 이미지(MAST_HDR) 내의 픽셀의 휘도들을 LDR 휘도들로 변경하는 것, 즉 100 니트 PB LDR 동적 범위 DR_1 내의 모든 휘도들을 피팅하기 위한 도 1에 도시된 바와 같은 최적의 휘도 압축을 행하는 것이다. 본 출원인은 후술하는 바와 같이 컬러들의 색도를 일정하게 유지하여 그들의 휘도들만을 효과적으로 변경할 수 있는 방법을 발명하였다.

도 2에 도시된 바와 같은 전형적인 코딩 체인은 다음과 같이 작동한다. 예컨대 최적 그레이딩된 이미지를 제공하는 그레이딩 컴퓨터 또는 HDR 출력 이미지를 제공하는 카메라일 수 있는 소정의 이미지 소스(201)는 컬러 변환 및 인코딩될 마스터 HDR 이미지 MAST_HDR을 전달한다. 컬러 변환기(202)는 결정된 컬러 변환, 예컨대 오목 벤딩 함수(concave bending function)를 적용하며, 이는 설명의 간소화를 위해 계수 gam=1/k 및 2.0보다 큰 수인 k를 갖는 감마 함수인 것으로 가정할 것이다. 물론, 충분히 가역적이라면, 즉 Im_RHDR 이미지가 무시가능하거나 허용가능한 밴딩을 갖는다면, 더 복잡한 휘도 매핑 함수들이 이용될 수 있다. 적어도 휘도 변환 함수들을 포함하는 이러한 컬러 변환 함수들 F_ct를 적용함으로써, 출력 이미지 Im_LDR이 생성된다. 이러한 이미지 또는 이미지들의 세트는 잠재적으로 다소 변경될 수 있는 레거시 LDR 이미지 인코더로 인코딩되며, 예컨대 예측 차이들의 DCT 변환들(DCT-ed transformations)에 대한 양자화 테이블들은 HDR 특성들을 갖는 이미지들에 더 적합하도록 최적화되었을 수 있다(컬러 변환들은 전형적으로 이미 Im_LDR 모습의 통계가 전형적인 HDR 이미지보다 훨씬 더 전형적인 LDR 이미지처럼 보이게 했을 수 있지만, HDR 이미지는 전형적으로 비교적 어두운 휘도들을 갖는 비교적 많은 픽셀을 갖는데, 이는 범위의 상부 부분이 종종 작은 램프 등을 포함할 수 있기 때문이다). 예컨대, MPEG-타입 인코더가 HEVC(H265)와 같이 사용되어, 인코딩된 SDR 이미지 Im_COD를 산출할 수 있다. 이어서, 이러한 비디오 인코더(203)는 정상적인 SDR 이미지를 획득하는 것으로 가장하지만, 마스터 HDR 이미지의 재구성을 가능하게 하는, 즉 SDR 및 HDR 모습 둘 모두, 및 그들의 대응하는 이미지 세트(각각 Im_RLDR, Im_RHDR)의 이중 공동 인코딩을 효과적으로 행하는 함수들 F_ct도 획득한다. 함수들 F_ct의 모든 정보를 포함하는 이러한 메타데이터를 통신하는 여러 방식이 존재할 수 있는데, 예컨대 그들은 SEI 메시지들로서 통신될 수 있다. 이어서, 송신 포맷터(transmission formatter)(204)는 소정 표준, 예컨대 위성 또는 케이블 또는 인터넷 송신에 따라, 예컨대 ATSC 3.0 또는 DVB 또는 임의의 비디오 신호 통신 원리에 따라 소정의 송신 매체(205)를 통해 진행하도록 데이터를 포맷팅하기 위해 모든 필요한 변환을 적용하는데, 즉 데이터의 패킷화, 채널 인코딩 등이 수행된다. 임의의 소비자 또는 전문가 측에서, 예컨대 셋톱 박스, 텔레비전 또는 컴퓨터와 같은 다양한 물리적 장치들에 통합될 수 있는 수신기(206)는 언포맷팅 및 채널 디코딩을 적용함으로써 채널 인코딩을 취소한다. 이어서, 비디오 디코더(video decoder)(207)는 예컨대 HEVC 디코딩을 적용하여 디코딩된 LDR 이미지 Im_RLDR을 산출한다. 이어서, 컬러 변환기(208)는 SDR 이미지를 임의의 비-LDR 동적 범위의 이미지로 변환하도록 배열된다. 예컨대, 5000 니트 원본 마스터 이미지 Im_RHDR은 MAST_HDR로부터 Im_LDR을 형성하기 위해 인코딩 측에서 사용되는 컬러 변환들 F_ct의 역 컬러 변환들 IF_ct를 적용함으로써 재구성될 수 있다. SDR 이미지 Im_RLDR을 상이한 동적 범위로 변환하는 디스플레이 튜닝 유닛(209)이 포함될 수 있으며, 예컨대 Im3000 니트는 디스플레이(210)가 3000 니트 PB 디스플레이 또는 1500 니트 또는 1000 니트 PB 이미지 등인 경우에 최적으로 그레이딩된다.

도 3 은 특정하게 항상 필요하지는 않지만 유용한 특성, 이 예에서는 색도-유지 휘도 재계산을 갖는 HDR 및 SDR 이미지 쌍의 하나의 예시적인(비제한적인) 컬러 변환-기반 인코딩만을 설계할 수 있는 방법을 도시하며, 그 예는 국제 출원 공개 WO2014056679호로부터 취해졌다. SDR 및 HDR 이미지 둘 모두에 대해 1.0 최대 상대 휘도로 정규화된 전영역에서 볼 때 이러한 처리를 이해할 수 있다(즉, SDR 및 HDR이 동일한, 예컨대 Rec. 2020 프라이머리들을 갖는 것으로 가정하면, 그들은 국제 출원 공개 WO2014056679호의 도 1에 도시된 바와 같이 정확히 동일한 텐트-형상 전영역을 갖는다). 예컨대 카우보이가 디스플레이의 피크 명도의 10%의 휘도에 대응하는 루마 코드를 구동 이미지에서 갖는 임의의 디스플레이를 구동할 경우, 그 카우보이는 디스플레이의 PB가 높을수록 더 밝게 렌더링될 것이다. 이것은 바람직하지 않을 수 있는데, 이는 카우보이를 모든 디스플레이들 상에 (대략) 동일한 휘도, 예컨대 60 니트로 렌더링하기를 원할 수 있기 때문이다. 또한, 물론, 그의 상대 휘도(또는 대응하는 10 비트 루마 코드)는 동일한 궁극적인 렌더링된 휘도를 얻기 위해 디스플레이의 PB가 높을수록 더 낮아야 하기 때문이다. 즉, (사용되는 코드들을 정의하는 EOTF의 정확한 형상에 따라) 그러한 소망을 예컨대 SDR 이미지에 대한 루마 코드 800으로부터 예컨대 HDR 이미지에 대한 루마 코드 100으로의 다운그레이딩 매핑으로서 표현할 수 있거나, 휘도들에서, 60% SDR 휘도를 예컨대 4000 니트 HDR 디스플레이 또는 그의 대응하는 최적 그레이딩된 이미지에 대한 것의 1/40^th에 매핑한다. 본 명세서에서의 다운그레이딩은 픽셀들의 루마 코드들(또는 그들의 대응하는 렌더링될 휘도들)을 (즉, 예컨대 1000 니트 PB의 더 높은 PB 디스플레이 상의 렌더링을 위한) 더 높은 피크 명도의 표현으로부터 더 낮은 PB 디스플레이, 예컨대 100 니트 SDR 디스플레이 상의 렌더링을 위한 더 낮은 PB 이미지 내의 동일 장면의 이미지의 루마들로 변경하는 것을 의미하며, 업그레이딩은 더 낮은 PB 이미지를 더 높은 PB 이미지로 변환하기 위한 역 컬러 변환이며, 이것과 각각 새로운 픽셀들을 추가하고 일부 픽셀들 또는 그러한 픽셀들의 일부 컬러 성분들을 제거하는 것인 공간 업스케일링 및 다운스케일링과 혼동하지 않아야 한다. 도 3의 장치에 의해 해당 색도 Lmax(x,y)에 대해 이용가능한(렌더링 가능한) 최대 휘도로 자동 스케일링되는 방식으로, 임의의 컬러에 대해 이를 행할 수 있으며, 여기서 (RGB) 트리플릿(triplet)은 디스플레이 또는 인코딩 코드 전영역 내의 소정 색도 (x,y)에 대응한다. 실제로, 이것은 SDR 이미지 내의 컬러의 입력 휘도 L을 취하는 (특정 색조를 갖는 않는 컬러들의) 무채색 축(achromatic axis) 상에서 최적 HDR 그레이딩된 이미지의 필요한 상대 출력 휘도 L*으로의 유사한 휘도 매핑의 적용에 대응한다는 것을 증명할 수 있다. 상세에 들어가지 않고, 이러한 교시 내용과 관련되는 것은 대응하는 컬러 변환이 그러면 곱셈기(311)에 의한 (바람직하게 선형인) RGB 성분들에 대한 각각의 성분에 대한 개별인 곱셈 변환으로서 실현될 수 있다는 것이며, 상수 g는 1.0보다 크거나 작고, 이는 픽셀의 입력 적색, 녹색 및 청색 값들의 최대의 함수 변환으로도 형성될 수 있는 선택된 휘도 변환 함수 L_out=TM(L_in)의 임의의 형상에 대응한다. 따라서, 각각의 입력 컬러(R, G, B)에 대해, 적절한 g-값은 휘도 매퍼(mapper)(307)가 소정의 SDR-휘도 대 HDR_휘도 매핑 함수, 예컨대 파라미터로 지정된 로그감마 함수 또는 시그모이드(sigmoid) 또는 LUT로서 수신된 다중선형 곡선을 획득할 때 Im_RLDR을 Im_RHDR로 변환하는 원하는 컬러 변환을 적용하기 위해(또는 Im3000 니트와 같은 임의의 다른 그레이딩된 이미지로의 적절히 스케일링된 방식으로) 계산된다. 예시적인 실시예 회로의 컴포넌트들은 305: 처리되는 픽셀 컬러의 R, G 및 B 값들의 최대값(maxRGB)을 출력하는 최대 계산기; 301: 시스템이 현재 작동하는 소정의 컬러 정의 표준, 예컨대 Rec. 2020에 따라 컬러의 휘도를 계산하는 휘도 변환기; 302: Lmax(x,y)를 L/max(R,G,B)로서 산출하는 제산기; 307 maxRGB에 대해 매퍼로서 실제로 작동하여 m*=TM(maxRGB)를 산출하는 휘도 매퍼, TM은 F_ct의 휘도 변환 부분을 정의하는 소정의 함수임; 308: L*=(m*)xLmax(x,y)를 산출하는 곱셈기 및 310 이 실시예에서 실제로는 제산기이고, g=L*/L, 즉 출력 HDR 상대 휘도를 입력 SDR 상대 휘도 L로 나눈 값을 계산하는 이득 결정 유닛; 및 311은 3개의 컬러 성분 R, G, B와 동일 g 팩터를 곱하도록 배열된 곱셈기이다.

이 회로는 일부 컬러 인코딩들에 적절할 수 있다. 그러나, 이상적으로는 전형적인 SDR 인코딩들로 작업하기를 원하는데, 이는 그들이 전형적으로 사용되기 때문이다. HEVC 디코더(207)로부터 출력되는 바와 같은 Im_LDR은 전형적으로 비선형 Y'CbCr 인코딩에 있을 것이다(여기서, 루마 Y'의 Rec. 709 비선형은 대략 제곱근인 것으로, 즉 상수가 아닌 휘도 문제를 무시하는 것으로 가정할 수 있으며 그러면: 대략 Y'=sqrt(L)이다).

도 4는 Y', Cb 및 Cr 픽셀 컬러 성분들에 대한 직접적인 곱셈 전략으로서 동일한 의도된 휘도-변경 컬러 처리를 실현하기 위한 가능성을 도시한다. 또한, 곱셈들에 대한 이득 값을 얻기 위해 (각각, 선택된 실시예에 따르면, 선형 휘도 L 또는 sqrt 입력 루마 Y'에 의한) 제산을 행할 필요가 있는 TM() 함수를 통신하는 대신, 이 경우에는 이 예에서 인코딩된 HDR 장면의 수신된 SDR 모습 이미지로부터 마스터 HDR 이미지를 재구성하기 위해, 수신 측이 정확한 함수 변환 사양을 수신하는 한, 이미지 내의 픽셀들의 가능한 루마 Y' 값들에 대한 필요한 다양한 g 값들을 예컨대 탐색표 g_ct 또는 더 적은 데이터를 요구하는 임의의 등가적인 성문화(codification)로서 이미 통신한다. 기술을 가진 독자는 다양한 양태들이 다양한 실시예들에서 조합되고 교환될 수 있는 것으로 언급하는 경우를 이해해야 한다. 예컨대, HDR, 즉 L_out_HDR 내의 현재 계산될 픽셀 컬러에 대한 정확한 최종 휘도로 컬러(예컨대, 색도)의 휘도-독립 인코딩의 스케일링을 행하는 다른 실시예들도 존재할 수 있다.

디코더(400)에서 (일부 실시예들에서 선택적인 업스케일러들(401, 402), 예컨대 4:4:4 디코딩들 후에) (현재 비선형인, 즉 프라임 부호 '에 의해 표시되는 선형 부가 컬러 성분들의 제곱근인) R', G' 및 B'를 획득하여 최대 계산 유닛(404)에 의해 그러한 3개의 컬러 성분의 최대 성분을 계산하기 위한 컬러 공간 변환 유닛(403)에 의한 YCbCr로부터 RGB로의 변환을 다시 볼 수 있다(일부 대안적인 실시예들은 가중된 버전들, 예컨대 Wr*R' 및 다른 입력들을 사용하여 예컨대 루마 Y' 또는 픽셀 컬러의 휘도 L의 재구성된 값 또는 근사치를 최대화할 수 있지만, 핵심 개념들을 충분히 간단하게 유지하기 위해 그러한 상세들은 설명하지 않을 것이라는 점에 유의한다). 이득 결정 유닛(405)은 생성 측으로부터 (예컨대, BD-디스크 상의 메타데이터 또는 통신된 비디오 신호로서, 예컨대 SEI 메시지들 또는 유사한 메커니즘으로서) 픽셀 컬러(즉, 특정 이미지 콘텐츠)에 의존하는 원하는 이득들의 사양, 즉 예컨대 g_ct를 LUT로서 수신할 것이며, 예컨대 HDR 루마 = g*Y'4L, 즉 수신된 SDR 이미지의 입력 루마 등인 Y'4H와 컬러 성분들을 곱하기 위해 곱셈기들(409, 410, 411)에 의해 사용되도록, 처리되고 있는 이 픽셀에 대한 g 값을 출력하도록 배열된다. 이 예에서, 어떤 g 값이 결정되었는지에 기초하여 그러한 값들을 결정할 선택적인 업스케일러들(407, 408)이 존재하는 경우에 색차 성분들 Cb 및 Cr에 대한 상이한 이득 팩터 g들을 가질 선택적인 가능성도 나타낸다.

추가의 컬러 변환기(412)가 그러한 (예컨대, 디코딩 처리 코어 내부의) YCbCr 컬러를 목적에 적합한 다른 포맷, 예컨대 SMPTE ST.2084 EOTF 또는 코드 할당 함수에 따라 인코딩된 R'' G'' 및 B'' 값들로 변환할 수 있는데, 이는 예컨대 정확히 그레이딩된 이미지들과 함께 서빙될 디스플레이(420)가 예컨대 HDMI 접속을 통한 이미지 컬러 통신 포맷과 같은 포맷을 요구하기 때문이다.

따라서, HDR 인코딩, 통신 및 정확한 디코딩을 가능하게 하기 위한 모든 이러한 각각의 인코더 및 디코더 토폴로지(topology)들이 가능하다. 이것은 원하는 모든 것을 갖는다는 것을 의미하지는 않는다. 사실상, 예컨대 0.01 니트 내지 1000 니트(또는 5000 니트)의 픽셀 휘도들을 렌더링할 수 있는 양호한 HDR 디스플레이를 지정하는 것이 필요하다. 이것은 표시할 훌륭하게 보이는 이미지들을 갖는다는 것을 의미하지 않는다. 그러나, 그것을 창조 예술가의 문제인 것으로 간주하는 경우, 여전히 사이 코딩(in-between coding) 기술을 갖는 것을 실현해야 하며, 단일 HDR 이미지에 대해 임의의 적합한 가역적으로 디코딩 가능한 코드 할당을 인코딩하는 것으로 충분하지만, HDR 장면의 여러 동적 범위 모습(즉, 예컨대, 2개의 HDR 모습, 예컨대 1000 니트 HDR 버전 및 10,000 니트 HDR 이미지를 인코딩할 때 동일한 원리들을 적용할 수 있지만, 적어도 2개, 전형적으로 SDR 및 HDR)을 동시에 인코딩하는 것을 가능하게 하는 코딩 기술들은 세심한 기술적 주의로 핸들링되어야 하는 일부 추가의 실질적인 제한들을 갖거나, 그들은 코딩 시스템의 유용성을 제한할 것이다. 더 구체적으로, 그레이더가 실현할 수 있는 것, 특히 SDR 이미지의 모습의 품질과 (예컨대, 인간 그레이더가 그의 모습을 미세-튜닝(fine-tune)할 시간의 부족 또는 일부 컬러 함수들을 지원하지 않는 소정 IC의 감소된 복잡성 등과 같은 모든 실질적인 제한들을 고려하여) 이상적으로는 양호하거나 적어도 충분한 품질을 가져야 하는 HDR 이미지의 품질 사이의 절충이 존재할 수 있다. 그러나, 적어도, HDR 이미지가 양호한 품질을 가질 것으로 예상할 것이며, 애써 새로운 고품질 시스템을 만들 필요가 없다. 특히, HDR은 렌더링된 이미지들의 훨씬 더 높은 명도 부분들에 대한 것일 수 있지만, 이미지의 어두운 영역들에 대해서도 양호한 기술적 주의가 취해져야 하며, 이것은 아래의 실시예들에 대해 해결할 추가의 실질적인 문제이다.

로코 고리스(Rocco Goris) 등의 문헌["Philips response to Cfe for HDR and WCG, 112, MPEG meeting 23-JUN-2015/July 2015 Warsaw no. MPEG2015/m36266]은 이미지의 HDR 및 SDR 그레이딩들 사이의 그리고 그 반대의 구조화된 변환 및 특히 그의 함수 결합 코딩 및 통신을 허용하기 위해 본 출원인에 의해 개발된 가능한 방식들 중 하나를 설명한다. 그러나, 깊은 HDR 흑색들을 안전하게 취급하기 위한 차별적 고유 방식은 교시되지 않는다.

복잡한 HDR 코딩들, 예컨대 문헌["Paul Lauga, et al.: Segmentation-based optimized tone mapping for HDR image and video coding; 2013 Picture Coding Symposium IEEE 8DEC2013, pp. 257-260"]도 제안되었지만, 그들은 특히 그러한 교시 내용에 대해 (레거시 HEVC 인코딩과 같은) 실질적인 이미 전개된 비디오 핸들링 시스템들로 양호하게 번역되지 않는데, 이는 특정 코딩 트릭(coding trick)이 사용되었기 때문에 디코더가 특히 주의해야 하는 경우에 픽셀들이 어디에 있는지를 지시하기 위해 비트맵의 통신을 필요로 하기 때문이다.

HDR 장면 이미지들을 통신된 SDR 이미지들로서 실용적으로 인코딩하는 매우 유리한 시스템이 수신된 100 니트 표준 동적 범위 이미지(Im_RLDR)에 휘도 변환 함수들의 세트를 적용하는 것에 기초하여 HDR 이미지(Im_RHDR)를 계산하도록 배열되는 HDR 비디오 디코더(600, 1100)를 구비함으로써 획득되며, 함수들은 적어도 동적 범위 최적화기(603)에 의해 표준 동적 범위 이미지의 픽셀 루마에 적용되어 동적 범위 조정된 루마(Y'HPS)를 산출하는 대략 휘도 매핑(coarse luminance mapping)(FC), 및 후속하여 범위 신장기(604)에 의해, 동적 범위 조정된 루마(Y'HPS)의 가장 어두운 값(0)의 수신된 흑색 오프셋 값(Bk_off)으로의 매핑인 제2 함수를 포함하고, 비디오 디코더는 대략 매핑 및 가장 어두운 값의 매핑에 대한 대안 계산으로서, 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)을 HDR 이미지의 가장 어두운 휘도들의 하위-범위(502)로 매핑하는 대안 휘도 변환 함수를 표준 동적 범위 이미지의 픽셀 루마에 적용하도록 배열되는 이득 제한기(611, 1105)를 추가로 포함한다. 범위 신장기는 전형적으로 지각적으로 균일한 공간에서의 선형 매핑(또는 다른 컬러 공간에서의 대응하는 전략)과 함께 작동할 것이다.

이러한 이득 제한기 전략은 자신이 원할 때 HDR 이미지에 대응하는 SDR 모습을 획득하기 위해 자신의 그레이딩 함수들을 선택함에 있어서 다소 거칠 수 있는 인간 컬러 그레이더를 가질 때 유용할 뿐만 아니라(예컨대, HDR 이미지의 일부를 깊은 SDR 흑색들 안으로 밀어넣음으로써 인코딩의 양호한 기술적 특성들, 즉 HDR 이미지들의 충분한 품질 재구성 가능성을 보장함), 예컨대 2개의 이용가능한 사전-생성된 그레이딩들, 즉 HDR 이미지들 및 대응하는 SDR 모습 이미지들, 또는 HDR 이미지 특징들의 분석 등에 기초하여 HDR 이미지들로부터 타당한 SDR 이미지들로서 자동으로 계산되는 SDR 이미지들에 기초하여 함수 형상들 또는 파라미터들을 추정하는 자동 알고리즘들에 특히 유용하다. 그레이더는 기준 디스플레이 상에서 그가 행하고 있는 것을 볼 수 있지만(예컨대, SDR 기준 디스플레이 상에서, 그리고 HDR 디스플레이 상에서 마스터 HDR 이미지로 체크함), 텔레비전 생산 동안 실시간으로 실행되는 자동 알고리즘은 그렇게 할 수 없다. 가장 어두운 HDR 장면 컬러들의 이득 제한된 병렬 (디)코딩은 HDR 재구성의 양호한 품질을 보장한다. 이제, SDR 모습의 예술적 양태들의 요구는 물론, 대응하는 SDR 이미지로서 통신되는 HDR 입력 이미지의 재구성의 품질과 관련하여 SDR 루마들의 전체 범위에 걸쳐 양호한 제어가 존재하며, 시스템은 이국적인 트릭들, 및 휘도 매핑 함수(들)를 초과하는 추가적인 코딩을 필요로 하지 않고 이미 배치된 비디오 통신 시스템들에서의 추가적인 처리(예컨대, MPEG 인코딩/디코딩)와도 관련하여 SDR 이미지에 대해 예측될 것에 따라 간단하다. 본 병렬 전략 계산의 제1 휘도 매핑이 양호한 경우, 이것은 예컨대 생성 측에서의 인간 그레이더에 의한 원하는 그레이딩을 전형적으로 포함할 것이므로 선택될 것이지만, 이와 달리 수신 측에서의 디코더들에 의한 HDR 재구성에 최소한으로 필요한 것보다 나쁠 경우에, 이득 제한 전략이 선택될 것이고, 이는 적어도 HDR 재구성 관점에서 필요한 최소 품질 레벨에 대해 충분히 양호하도록 설계될 것이다.

하기의 변형들 및 실시예들이 또한 유리하다.

HDR 비디오 디코더(600)에 있어서, 이득 제한기는 휘도 변환 함수들의 세트를 적용함으로써 획득된 중간 HDR 휘도(L_HDR_IM) 및 입력 루마(Y'_in)의 함수 중 최소를 계산하도록 배열된다. 필요한 전략이 간단한 계산에 의해 실현되는 경우 인코더들 및 디코더들에 유리하다.

HDR 비디오 디코더(600)에 있어서, 대안 휘도 변환은 사전고정된 또는 수신된 상수(1/gP)와 지각화된 루마(perceptualized luma)(Y'P)의 값들의 곱으로서 정의되고, 지각화된 루마(Y'P)는 입력 루마들에 비선형 함수를 적용함으로써 계산되고, 비선형 함수는 서로로부터의 등거리 위치들에서의 지각화된 루마 값들의 세트가 시각적으로 균일한 명도 외관을 갖는 것을 특징으로 한다. 지각화된 컬러 공간에서의 실시예는 우수하게 작동하는 것으로 밝혀졌다.

HDR 비디오 디코더(600)에 있어서, 비선형 함수는

Y'P=log[(1+(rho-1)*power(L_SDR_in,1/2,4)]/log(rho)의 정의를 갖고, 여기서 L_SDR_in은 표준 동적 범위 이미지(Im_RLDR)의 선형 휘도들이고, rho는 사전고정되거나 통신된 상수이다.

HDR 비디오 디코더(600)에 있어서, 상수(1/gP)는 HDR 비디오 디코더에 의해 HDR 이미지의 코딩 피크 명도(PB_C)의 수신된 값의 함수로서 결정된다.

HDR 비디오 디코더(600)에 있어서, HDR 비디오 디코더는 대안 휘도 변환, 또는 표준 동적 범위 이미지(Im_RLDR)의 적어도 가장 어두운 휘도들에 대한 휘도 변환 함수들의 세트에 기초하는 변환의 선택을 제어하기 위한 프로세서(901)를 포함하고, 휘도 변환 함수들의 세트는 표준 동적 범위 이미지(Im_RLDR)의 가장 어두운 휘도들로의 가장 어두운 HDR 휘도들에 대한 변환의 사양을 포함하는 미세 그레이딩 함수(fine grading function)를 포함한다.

HDR 비디오 디코더(600)에 있어서, 프로세서(901)는 블랙 오프셋(Bk_off)의 수신된 값이 0인지의 여부에 대한 체크에 기초하여 어느 휘도 변환을 적용할지를 결정하도록 배열된다.

더 많은 가능성을 갖는 실시예들은 더 복잡하지만, 복잡한 HDR 시나리오들 또는 요구들에 대한 훨씬 더 양호하고 더 조율된 핸들링을 가능하게 한다.

입력 HDR 이미지(Im_RHDR)의 100 니트 표준 동적 범위 이미지(Im_RLDR) 표현을 계산하도록 배열되는 HDR 비디오 인코더로서, 비디오 인코더는,

- 입력 HDR 휘도 또는 루마(Y'HP)의 값을, 전형적으로 0인 최소 흑색 값에 매핑하도록 배열되는 범위 신장기(702);

- HDR 이미지의 2개의 휘도 하위-영역의 결과적인 루마들(Y'R)의 범위의 2개의 하위-영역으로의 할당을 지정하는 함수와 같은 대략 휘도 매핑(FC)을 적용하도록 배열되는 동적 범위 최적화기(703);

- HDR 이미지의 가장 어두운 휘도들의 서브세트(502)를 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)로 변환하기 위해 대안 휘도 변환 함수를 적용하도록 배열되는 이득 제한기(707)를 포함한다.

입력 HDR 이미지(Im_RHDR)의 100 니트 표준 동적 범위 이미지(Im_RLDR) 표현을 계산하도록 배열되는 HDR 비디오 인코더로서, 비디오 인코더는,

- 입력 HDR 휘도 또는 루마(Y'HP)의 값을, 전형적으로 0인 최소 흑색 값에 매핑하여, 신장된 컬러 표현 휘도 또는 루마(Y'HPS)를 출력으로서 산출하도록 배열되는 범위 신장기(702);

- HDR 이미지의 어두운 그리고 밝은 휘도 하위-영역의 결과적인 루마들(Y'R)의 범위의 대응하는 각각의 어두운 그리고 밝은 하위-영역으로의 할당을 지정하는 대략 휘도 매핑을 신장된 컬러 표현 휘도 또는 루마(Y'HPS)에 적용하도록 배열되는 동적 범위 최적화기(703);

- HDR 이미지의 가장 어두운 휘도들의 서브세트(502)를 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)의 범위로 변환하기 위해 대안 휘도 변환 함수를 입력 HDR 이미지의 휘도들 또는 루마들에 대안 계산으로서 적용하도록 배열되는 이득 제한기(707)를 포함한다.

상기 HDR 비디오 인코더에 있어서, 대안 휘도 변환은 사전고정된 또는 수신된 상수(1/gP)와 지각화된 루마(Y'HP)의 값들의 곱으로서 정의되고, 지각화된 루마(Y'HP)는 HDR 입력 휘도(L_in)에 비선형 함수를 적용함으로써 계산되고, 비선형 함수는 서로로부터의 등거리 위치들에서의 지각화된 루마 값들의 세트가 시각적으로 균일한 명도 외관을 갖는 것을 특징으로 하며, 이득 제한기(1204)는 사전고정된 또는 수신된 상수(gP)를 곱한 지각화된 루마의 최대 값, 및 범위 신장기에 의한 범위 신장 및 동적 범위 최적화기에 의한 대략 휘도 매핑을 지각화된 루마(Y'HP)에 성공적으로 적용함으로써 생성되는 지각 루마(Y'P)의 값을 계산한다.

수신된 100 니트 표준 동적 범위 이미지(Im_RLDR)에 휘도 변환 함수들의 세트를 적용하는 것에 기초하여 HDR 이미지(Im_RHDR)를 계산하도록 배열되는 HDR 비디오 디코딩의 방법으로서, 함수들은 적어도 대략 휘도 매핑(FC)을 포함하고, 방법은,

- 입력 휘도들(L_SDR_in) 또는 입력 루마들(Y'P)인 그들의 함수들에 대략 휘도 매핑(FC)을 적용하여 동적 범위 조정된 루마들(Y'HPS)을 산출하는 단계;

- 대략 매핑을 포함하는 휘도 변환에 대안적인 대안 휘도 변환 함수를 결정하여 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)로부터 HDR 이미지의 가장 어두운 휘도들의 서브세트(502)에 속하는 휘도들을 계산함으로써, 그리고 대안 휘도 변환 함수에 의해 결정된 루마(Y'PFB) 및 적어도 대략 휘도 매핑을 적용함으로써 획득된 루마(Y'HP) 중 가장 낮은 것을 선택함으로써 이득 제한 전략을 적용하는 단계를 포함한다.

제10항에 청구된 바와 같은 HDR 비디오 디코딩의 방법에 있어서, 대안 휘도 변환 함수를 결정하는 단계는 각각의 입력 루마(Y'_in)에 대응하는 지각 루마들(Y'P)의 값들과 사전고정된 또는 수신된 상수(1/gP)를 곱하여 계산된 바와 같은, 지각 균일 공간에서 정의되는 표준 동적 범위 이미지의 적어도 가장 어두운 입력 루마들(Y'_in)에 걸쳐 선형 함수를 결정하는 단계를 포함한다.

입력 HDR 이미지(Im_RHDR)의 100 니트 표준 동적 범위 이미지(Im_RLDR) 표현을 계산하기 위한 HDR 비디오 인코딩의 방법으로서, 방법은,

- 매핑을 적용하는 단계로서, 매핑은 입력 HDR 휘도 또는 루마(Y'HP)의 값을 매핑의 출력인 범위 조정된 루마(Y'HPS)의, 전형적으로 0인 최소 흑색 값에 매핑하는, 매핑을 적용하는 단계;

- HDR 이미지의 각각의 가장 밝은 그리고 가장 어두운 휘도들의 휘도 하위-범위의 결과적인 루마들(Y'R)의 범위의 각각 대응하는 가장 밝은 그리고 가장 어두운 하위-범위들로의 할당을 지정하는 대략 휘도 매핑(FC)을 범위 조정된 루마(Y'HPS)에 후속하여 적용하는 단계;

- 매핑과 대략 휘도 매핑의 조합에 대한 대안 휘도 변환으로서, HDR 이미지의 가장 어두운 휘도들의 하위-범위(502)를 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)로 변환하기 위해 대안 휘도 변환 함수를 적용하도록 배열되는 이득 제한 전략을 적용하는 단계를 포함한다.

제12항에 청구된 바와 같은 HDR 비디오 인코딩의 방법에 있어서, 이득 제한은 입력 HDR 이미지(Im_RHDR)의 휘도(L_in)에 지각화 함수를 적용함으로써 획득된 지각적으로 균일화된 루마(Y'HP)에 팩터(gP)를 곱함으로써 대안 휘도 변환 함수를 계산한다.

새로운 본 기술 아이디어들은 접속된 시스템들, 범용 또는 전용 네트워크들을 통해 통신될 수 있는 원격 위치들 상의 부분 서비스들, 프로세서 상에서 실행될 때 프로세서로 하여금 전술한 방법 청구항들 중 한 청구항의 모든 방법 단계들을 수행할 수 있게 하는 코드를 포함하는 컴퓨터 프로그램 제품, 인코더/송신기와 디코더/수신기 사이에서 협력 통신되어야 하는 다양한 요구된 메타데이터를 포함하는 임의의 비디오 신호 성문화 등과 같은 다양한 형태로 구현될 수 있다.

본 발명에 따른 방법 및 장치의 이들 및 다른 양태들은 후술하는 구현들 및 실시예들로부터 명백할 것이고, 그들을 참조하여 그리고 첨부 도면들을 참조하여 설명될 것이며, 도면들은 더 일반적인 개념들을 예시하는 비제한적인 특정 예시들의 역할을 할 뿐이며, 도면들에서 점선들은 컴포넌트가 선택적이라는 것을 나타내는 데 사용되고, 점선이 아닌 컴포넌트들은 반드시 본질적이지는 않다. 점선들은 본질적인 것으로 설명되지만 물체 안에 숨겨진 요소들을 나타내기 위해 또는 예컨대 물체들/영역들의 선택들(및 그들이 디스플레이 상에 표시될 수 있는 방법)과 같은 비유형적인 것들에 대해 사용될 수도 있다.
도면들에서:
도 1은 고 동적 범위 이미지를 대응하는 최적 컬러 그레이딩된 유사한 모습(제1 및 제2 동적 범위들(각각 DR_1, DR_2)의 차이들이 주어질 경우에 바람직하고 가능한 것과 유사함)에 최적으로 매핑할 때 발생하는 다수의 전형적인 컬러 변환을 개략적으로 예시하는 도면으로서, 그러한 매핑은 가역성의 경우에 HDR 장면의 LDR 이미지의 그러한 장면의 HDR 이미지로의 매핑에 대응하기도 할 것임.
도 2는 고 동적 범위 이미지들, 즉 전형적으로 적어도 700 니트 이상(전형적으로 1000 니트 이상)의 휘도들을 가질 수 있는 이미지들을 인코딩하기 위한 기술을 개략적으로 예시하는 도면으로서, 이 기술은 본 출원인에 의해 최근에 개발되었고, 적어도 수신된 LDR 이미지(들)를 이미지 생성 측에서 생성된 원본 마스터 HDR 이미지(들)의 충실한 재구성인 HDR 이미지(들)로 변환하기 위해 디코더에 의해 사용되는 픽셀 컬러들에 대한 적절한 결정된 휘도 변환을 포함하는 컬러 변환 함수들을 인코딩하는 LDR 이미지 플러스 메타데이터로서 HDR 이미지(들)를 실제로 통신함.
도 3은 입력 이미지의 동적 범위와 상이하고 구체적으로는 더 큰 동적 범위의 이미지에서 필요한 것에 더 부합하게 하기 위해 이미지 물체들 또는 픽셀들의 명도를 변경하기 위해 전영역-내(within-gamut) 컬러(즉, 색도)-유지 휘도 변환을 가능하게 하는 데 사용될 수 있는 본 출원인의 제1 버전 기술을 개략적으로 예시하는 도면으로서, 이는 특정 상황 타입들에 대해 양호하게 작동함.
도 4는 제1 동적 범위의 이미지를 제2 동적 범위의 이미지로 변환하기 위해, 특히 디코딩 측에서 수신된 SDR 이미지로부터 HDR 이미지를 재구성하고, 인코딩 측에서는 반대로 행하기 위해, 인코더 또는 디코더에서 필요한 코어 휘도 변환들의 다른 가능한 실시예를 개략적으로 도시하는 도면으로서, 이는 본 기술들에 유용함.
도 5는 예컨대 자동 알고리즘이 HDR 비디오 코딩을 위해 실용적으로 설계된 바와 같은 표준 리그레이딩 기반 이미지 코딩 함수들의 도구 세트의 예시적인 멤버로서 3-부분 휘도 변환 곡선을 이미지 통계에 이미지-종속적으로 매칭시킬 수 있는 방법을 개략적으로 도시하는 도면으로서, 파라미터들은 수신기로 통신되는 이러한 함수의 형상을 성문화하고, 따라서 수신기는 함수를 재구성 및 적용할 수 있음.
도 6은 본 발명의 원리들에 따른 본 HDR 비디오 디코더의 코어의 제1 기본 실시예를 개략적으로 도시하는 도면.
도 7은 대응하는 인코더의 제1의 가능한 실시예를 개략적으로 도시하는 도면.
도 8은 본 발명의 현재 교시되는 새로운 원리들에 따른 다른 가능한 디코더를 개략적으로 도시하는 도면.
도 9는 전형적으로 콘텐츠가 인코딩된 방법 및 그것이 수신된 제1 동적 범위 이미지(들)로부터의 제2 동적 범위 이미지(들)의 디코딩을 정의하는 휘도 변환을 인코딩하는 메타데이터의 특정 변형들로부터 결정될 수 있는 방법에 기초하여 디코딩 전략들 중에서 선택하기 위한 가능성을 갖는 제3의 더 복잡한 디코더를 개략적으로 도시하는 도면.
도 10은 인코딩 및 디코딩 휘도 변환 형상들이 대각선과 관련된 미러링을 통해 서로 관련되는 방법 및 0에서 시작되는 충분히 큰 기울기 휘도 매핑 함수 부분 세그먼트 및 최대화 전략을 통해 안전한 코드 할당을 정의할 수 있는 방법 둘 모두를 설명하기 위해, 단순한 예술적 변환보다 더 주의 깊은 핸들링을 요구하는 최저 HDR 휘도들(각각 대응하는 최저 SDR 루마들)의 영역을 확대한 도면.
도 11은 설명을 위해 유용한 디코더 실시예의 다른 실시예를 개략적으로 도시하는 도면.
도 12는 대응하는 인코더 실시예를 개략적으로 도시하는 도면.
도 13은 다양한 가능한 코드 피크 명도들(PB_C)에 대한, 이득 제한 전략의 지각적 루마 도메인에서의 가장 어두운 컬러들에 대한 선형 바닥 부분에 대한 곱셈 상수들(gP)을 개략적으로 도시하는 도면.

도 5는 곡선들, 휘도(또는 루마) 매핑 곡선들로 SDR 이미지와 HDR 이미지 사이의 변환을 전형적으로 모델링할 수 있는 방법의 일례를 도시한다. 즉, SDR 이미지를 수신할 때도, 역 곡선을 적용함으로써 생성 측 마스터 HDR 이미지를 대략적으로 재구성할 수 있다. 일부 실시예들에서는, 1차 이미지, SDR PB_C=100 니트 이미지 내의 기하학적으로 대응하는 픽셀들에 기초하여 2차 리그레이딩된 이미지(즉, 본 설명에서, 단지 명료화를 위한 일례로서 PB_C=1000 니트의 HDR 이미지)에서 (예컨대, 물체에 대응하는) 픽셀들의 영역을 계산하는 데 수반되는 다양한 컬러 변환들이 존재할 수 있다. 예컨대, 국지적 컬러 변환은 일부 영역들에만 적용되고, 이미지의 나머지에는 적용되지 않을 수 있다. 그러나, 실질적인 이유들로 인해, 많은 시나리오에서는, 저렴해야 하는 특정 실시예 시스템 내의 IC의 복잡성 또는 인간 그레이딩 개입에 이용가능한 시간 등의 이유들에 관계없이 간단한 변환들(일반적으로는 전역적임, 즉 이미지 내의 그의 기하학적 위치 또는 다른 그러한 비-컬러 관련 특성들이 아니라 픽셀 루마에 의존함)을 원한다. 전형적으로, 도 5에 도시된 바와 같이 그리고 이미 충분히 모델링되었을 수 있는 소정의 콘텐츠에 대해 볼록 형상으로 시작하기를 원한다(이는 입력 x축 상의 1과 1000 니트 사이의 이 곡선의 대부분이 "소문자 r-형상"이라는 것을 알 수 있기 때문이다). HDR 이미지의 재구성은 거의 완벽하지만, 가역적인 휘도 매핑 함수들만의 선택을 허용하는 경우에는 양자화 및 DCT 에러들이 존재한다. (원본 마스터 HDR 이미지의 최적 재구성을 위한 역할을 할 수 있도록 형성된) SDR 이미지를 수신기들로 전송할 때의 그의 품질은 의도된 (예술적인) SDR 모습 이미지로부터 다소 벗어날 수 있지만, 여러 응용에서는 충분할 수 있다(예컨대, 뉴스 쇼의 경우, 예컨대 아나운서(news reader)의 얼굴 등과 같은 주요 이미지 물체가 충분한 품질을 갖는 한, 아나운서 뒤의 벽 상의 모든 그림자가 모든 픽셀에서 정확히 올바른 그레이 값을 갖는 것은 중요하지 않은데, 즉 예술적 및 대응하는 기술적 정밀도 요구들이 완화된다). 본 설명을 위해, 통신될 SDR 대표 이미지를 2개의 기존 그레이딩, 즉 PB_C = 1000 니트 마스터 HDR 그레이딩된 이미지 및 그의 대응하는 최적 모습 SDR 이미지에 기초하여 자동으로 인코딩하는 것으로 가정할 것이다. 즉, 인간이 아니라 이미지 분석 알고리즘이 HDR 대 SDR 휘도 변환(또는 그 반대)의 함수 형상을 결정한다. 예술적으로 최적으로 보인다는 것은 모든 이미지 물체들이 마스터 HDR 이미지에 대한 것보다 이제 10배 더 작은 휘도 동적 범위(0-PB_C_HDR=1000 니트 대신 0-PB_C_SDR=100 니트) 내의 적절한 휘도들을 제공받아서, HDR 마스터 모습을 근사화하는 모습으로서, 모든 물체들이 여전히 상당히 밝고, 영역간 및 물체내 콘트라스트들이 적절하게 보인다는 것을 의미한다. 예컨대 PB_C_SDR = 100 니트로 리스케일링된 HDR 상대 휘도들의 재사용에 대응하는 선형 압축 함수만을 사용하는 경우, 이미지의 더 어두운 영역들은 불편하게 어두울 것이다. 이러한 최적 휘도 매핑은 일반적으로 장면의 타입 및 그의 다양한 동적 범위 모습 이미지들(예컨대, 또한 PB_C_MDR=500 니트를 갖는 MDR 이미지)에 의존할 것인데, 이는 예컨대 이미지 내의 어딘가의 유리 상에 새겨진 백색 상업 로고의 판독성이 해당 영화의 상업 스폰서 및 해당 로고의 소유자에 대한 의무를 이행하기 위해 모든 DR 모습들 안에 양호한 품질로 표현될 물체일 수 있기 때문이다. 따라서, 이제, 덜 중요하고 더 자동적인 실시예들에 관한 일반성의 손실 없이, 인간 컬러 그레이더가 마스터 HDR 및 도출된 (최적으로 보이는 대응하는) SDR 이미지를 정확하게 그레이딩하기에 충분한 시간을 취한 것으로 가정할 것이다.

이제, 그레이딩된 이미지들의 해당 쌍의 인코딩은 또한 자동으로 또는 그레이더의 소정의 개입으로 수행될 수 있다. 간소화를 위해, 자동 코딩 시스템의 예만을 설명할 것이지만, 다시 본 발명의 제한으로 간주되지 않아야 하는데, 이는 인간 그레이더가 HDR/SDR 쌍의 컬러 변환-기반 인코딩을 위한 SDR-이미지의 생성에 수반될 때(즉, 이 경우에, 그레이딩된 이미지들 중 하나만이 메타데이터에서 다른 그레이딩된 이미지를 재계산하기 위한 함수들과 함께 픽셀 컬러들의 행렬로서 실제로 통신됨), 기본 함수들의 제한된 세트로부터 순차적으로 선택할 때(즉, 도 7의 처리 체인과 관련하여 설명되는 바와 같이, 먼저 하나의 간단한 "r-형상" 함수를 사용하여 대략적인 SDR 그레이딩을 행하고, 이어서 또한 영화를 처리하기 위한 그의 시간 및 예산에 비추어 그가 여전히 필요한 것으로 인식하는 경우에 필요한 변환을 미세-튜닝함), 유사한 기술적 원리들이 적용될 것이기 때문이다.일반성의 손실 없이, 자동 휘도 변환 함수 결정(이러한 HDR 처리를 위해 본 출원인에 의해 개발된 지각적 명도 공간 변환에 의해 결정되는 일종의 "로그" 도메인에서의 SDR 대 HDR 이미지의 히스토그램의 비교에 기초함, 아래 참조)이 아래의 타입인 예를 이용하여 원리들을 설명할 것이다.

그레이더 또는 자동 최적 매칭 곡선 계산 유닛이 이미지 내의 밝은 또는 하이라이트 픽셀들에 대한 선형 기울기 부분(영역 505)의 각도(a_H) 및 더 어두운 컬러들에 대한 매핑의 (적어도, 마스터 HDR 이미지에 기초하는 SDR 리그레이딩된 이미지의 대략적인 결정을 위한) 선형 근사화(영역 503)를 위한 각도(a_d)에 의해 정의되는, 마스터 HDR 이미지에 대응하는 SDR 이미지의 적어도 초기 결정에 대한 3-부분 곡선을 입력으로 사용하는 경우에 의사-로그 지각 공간 플롯에서의 데이터에 대한 피팅에 의해서도 알 수 있듯이(도 5의 x 및 y 축의 스케일 참조, 여기서 독자는 등거리일 때 지각적으로 대략 동일한 차이, 즉 그레이 1, 그레이 2 = 20% 더 밝은 그레이, 그레이 3 = 그레이 2보다 20% 더 밝음 등을 갖는 것으로 보이는 위치들을 제공하는 것으로 간주할 수 있음), 이것은 매우 유용한 것으로 밝혀졌다. 이 곡선은 3개의 매우 유용하고 이미지에 대해 많이 전달하는 파라미터만을 필요로 하는데, 이는 2개의 선분이 교차하는 포인트의 양측에서 폭 WP를 넘어 동일하게 신장되어 있는 곡선 선분을 곡선의 제3 부분으로 사용하기 때문이다(즉, a_d, a_H 및 WP만이 수신기로 통신될 필요가 있으며, 이는 너무 많은 메타데이터 통신을 감당할 수 없는 시스템들 또는 연속적인 이미지들의 적어도 일부 샷(shot)들의 그레이딩에 너무 많은 시간을 소비하는 것을 감당할 수 없는 그레이더들 등에 중요하다). 여기서 사용되는 양 단부의 2개의 선형 부분을 연결하는 곡선 부분의 고정 형상 곡선은 전형적으로 포물선 선분(영역 504)이다.

이제, SDR 그레이딩된 이미지들을 결정하는 흥미로운 특성이 존재하며, 이는 실험적으로 검증될 수 있다. 많은 HDR 장면의 SDR 모습 이미지는 충분한 양의 어두운 픽셀들, 즉 SDR 흑색들이 존재하지 않을 경우에는 정량적으로 매우 양호하게 보이지 않는다(Rec. 709 곡선의 경우, 10 비트 루마 코딩에서의 가장 낮은 코드들, 예컨대 0, 1 및 2는 피크 명도의 대략 1/1000^th, 즉 100 니트의 1/1000^th의 디스플레이 렌더링된 휘도들에 대응하며, 이것은 HDR 장면의 이미지 물체들 또는 영역들 중 일부에 대응한다). 따라서, (부적절하게 보일 그러한 물체들에 대한 더 높은 SDR 휘도들을 갖는 그레이딩과 달리) 도 5에 화살표로 도시된 바와 같이 대략 0.1 니트까지 함수(본 예에서, 그러나 SDR 그레이딩된 이미지를 결정하기 위해 다른 함수들을 사용하는 실시예들에서 유사하게, 3 부분 곡선의 어두운 물체 픽셀들에 대한 선형 부분)를 계속할 필요가 있을 것임을 예상할 것이다. 이것은 그러한 HDR 장면들의 훌륭하게 보이는 SDR 이미지 버전을 제공할 것이다. 그러나, HDR 장면들은 물론 잠재적으로 매우 큰 동적 범위(깊은 흑색들)의 픽셀 휘도들을 포함하는 특성을 갖는다. 독자는 코드가 의도되는 전형적인 기준 디스플레이의 피크 명도 또는 사실상 PB_C에 비교되는 상대 휘도들에 대해 얘기하고 있다는 것을 주의 깊게 유의해야 한다(사실상, 이것은, 휘도들의 절대 인코딩으로 작동하기를 선호하지만, 임의의 양호한 모습의 동적 범위 그레이딩에서 그러한 휘도들은 소정의 전형적인 디스플레이 능력, 예컨대 원본 장면이 아니라 어두운 저녁 거실에서 시청되는 1000 니트 디스플레이로 지칭되는 것과 관련되며, 간단히 말하면, 태양은 그의 실제 값인 10억 니트가 아니라 1000 니트로 코딩 및 렌더링될 것이다). 따라서, 예컨대 야간 장면의 전형적인 HDR 장면은 실세계에서 예컨대 1 니트 훨씬 미만(예컨대, 0.01 니트 이하)인 어두운 코너들에서의 휘도들을 가질 수 있는 동시에, 거리 조명은 이미지 내에서 10,000 니트 이상의 휘도들, 즉 1,000,000:1 이상의 동적 범위를 가질 수 있으며, 이는 그의 바로 그러한 특성에 의해 SDR 표현에서만 렌더링 또는 표현되지 못한다. 최적(마스터) HDR 및 SDR 그레이딩에서, 콘트라스트는 다소 낮을 수 있는데, 이는 예술가 그레이더가 장면의 가장 어두운 부분들을 다소 밝게 하고 가장 밝은 픽셀들을 어둡게 하였을 수 있지만, 여전히 훌륭한 표현(모든 사용들에 대한 코딩 자체) 및 예컨대 (그러한 디스플레이가 이용가능할 때마다) 0.05 니트 내지 5000 니트의 예시적인 HDR 장면의 그의 렌더링, 즉 분명히 SDR 능력 위에 있는 100,000:1의 디스플레이-렌더링된 원하는 DR을 원할 수 있기 때문이며, 이는 물론 처음에 HDR 기술을 소개한 이유라는 점에 유의한다.

따라서, SDR 그레이딩에서 HDR 휘도 포인트(501) 아래의 어떤 것도 렌더링(또는 심지어는 Rec. 709-기반 기술을 이용한 인코딩)할 수 없는 경우, 이것은 그의 SDR 표현에서의 영역(502)의 모든 HDR 값들이 동일한 흑색(예컨대, 8, 10 또는 12 비트 표현인지에 관계없이 루마 코드 0)으로 클리핑될 것임을 의미한다. 이것은 실제로는 HDR 이미지들만을 수신기들로 통신하는(즉, 수신된 HDR 픽셀화된 이미지로부터 SDR 그레이딩을 계산하기 위해 수신 측에서만 함수를 사용할), 즉 (예컨대, SMPTE 2084 OETF를 사용하여 인코딩되는 경우에) 1000 니트 HDR 디스플레이 상에 그러한 완전히 인코딩된 이미지 데이터를 직접 렌더링할 수 있고, 1000 니트보다 낮은 디스플레이 피크 명도들 PB_D를 갖는 디스플레이들을 갖는 시청자들에 대한 최적의 그레이딩들을 도출하기 위해 컬러 변환 함수들만을 요구할 시스템들에 대한 문제가 아닐 것이다. 예컨대, 이러한 클리핑 함수들을 사용하여, 수신된 HDR 이미지들로부터 다운그레이딩함으로써 SDR 그레이딩을 행할 수 있으며, 이는 사실상 정확한 최적 SDR 모습을 산출할 것이다.

그러나, HDR 장면의 2개의 상이한 동적 범위 모습(즉, 2개의 상이한 그레이딩)을 인코딩하는 시스템들, 예컨대 양호한 품질의 휘도 처리 없이 직접 렌더링될 때 예컨대 시청자들의 대형의 설치된 기지가 SDR 이미지들을 볼 수 있게 하기 위해 SDR 이미지들을 통신하는 것이 필요하고, HDR 디스플레이를 구매한 고객들에 대한 매우 양호한 품질의 HDR 이미지 재구성을 도출하는 시스템들은 훨씬 더 많은 제약을 갖는다. 통신될 SDR 이미지 내의 더 어두운 HDR 컬러들의 일부를 클리핑하는 경우, 수신 측에서는 필요한 HDR 픽셀 컬러들을 가역적으로 재구성할 수 없다.

해법은 SDR 대 HDR 이미지에서의 대응하는 휘도들의 포인트들의 궤적(locus)(r-형상 내의 포인트들의 더 두꺼운 클라우드)에 접근하고 근사화하지만, SDR 모습의 품질이 심각하게 저하되는 방식으로 흑색에 대한 선형 세그먼트를 선택하는 것이 더 현명하다는 것일 수 있다고 생각할 수 있다. 예컨대, (0,0)으로부터 시작하는 흑색들에 대한 선형 세그먼트를 갖는 그러한 클라우드에 접근할 때, 더 어두운 영역들 중 다수는 너무 밝아지며, 이것은 더 이상 훌륭하게 대조적으로 보이지 않는다(예컨대, 밝은 배경에 대한 실루엣이어야 하는 사람들은 더 밝은 다크 그레이 실루엣이 된다). 이것이 정상적인 LDR 장면들(즉, 예컨대 주의 깊게 균일화된 조명 하에서 1% 내지 95%의 물체 반사율을 갖는 스튜디오 세트)에 대한 더 낮은 품질을 이미 제공한 경우, 특히 HDR 장면들에 대해, 장면의 SDR 변형에서도 충분히 인상적인 영역간 콘트라스트를 보기를 원할 것이다. HDR 장면들의 SDR 표현은 매우 중요하고 복잡할 수 있는데, 이는 동시에 동굴의 어두운 영역이 평균 조명 영역들보다, 예컨대 동굴 입구 근처보다 다소 더 어둡다는 것을 전달하기를 원할 뿐만 아니라, 단지 이러한 어두운 영역들을 매우 어둡게 하는 대신, 예컨대 거기에 서 있는 사람을 여전히 다소 양호하게 보기를 원할 수 있기 때문이다. 문제로서, 그러한 문제는 종종 더 밝은 영역들 안으로도 확장되며(물론, 그들의 단순성으로 인해 예컨대 3-부분 곡선과 같은 리그레이딩 휘도 변환 곡선들은 큰 휘도 하위-범위에 걸쳐 임의의 파라미터 편차를 확장시킴), 이는 주의 깊게 제어되어야 하는 SDR 이미지에서의 여러 국지적 콘트라스트에 심각한 영향을 주는데, 예컨대 장면의 모습에 대해 감독에 의해 주의 깊게 선택되었을 수 있는 먼지 상의 광 빔 산란은 휘도 매핑 곡선의 더 낮은 부분이 양호한 HDR 휘도 클리핑 포인트(501)를 향해, 그러나 다소 절대 0 펀트(punt) HDR_luminance= 0을 향해 휘는 전략을 사용하지 않는 경우에 발생하는 워싱-아웃된(washed-out) 모습에서 거의 사라질 수 있다.

따라서, 이러한 문제를 위해, 추가적인 컴포넌트, 특히 모든 실제 시나리오들에서 이것을 쉽게 핸들링할 수 있는 것이 (그레이딩에서 또는 적어도 코딩에서) 필요하다(다양한 응용들에 대한 상이한 종이 아닌 경우에, 그러나 단일 시스템이 잠재적으로 소정의 미세-튜닝 구성 후에 예컨대 할리우드로부터의 영화들에 대한 고품질 오프라인 그레이딩으로부터 너무 많은 변경, 예컨대 현재 존재하고 사람들이 전문화된 텔레비전 생산 프로세스들을 초과하는 너무 많은 추가적인 인간 전문가 개입 등이 요구되지 않는 매우 저렴한 온-더-플라이(on-the-fly) 텔레비전 방송들까지의 범위에 이르는 응용들의 다양한 요구들을 핸들링할 수 있을 때 실제로 양호한 HDR 코딩 및 핸들링 기술만을 가지며; 여하튼 모든 경우에, 마스터 HDR 그레이딩 및 대응하는 SDR 그레이딩 둘 모두의 생성, 통신 및 사용을 마스터하는 경우에 실제로 양호한 HDR 핸들링 시스템만을 갖는다).

도 6은 이전의 도면들과 관련하여 설명된 디코더 실시예들의 다양한 실시예들에 통합될 수 있는 바와 같이 가장 어두운 HDR 컬러들의 정확한 핸들링을 갖는 (본 출원인의 발명자들에 의해 최근에 발명된 바와 같은 개념들에 기초하고 그 위에 추가로 구축되는) 디코더의 코어 휘도 변환 부분을 도시한다.

입력은 고전적인 Rec. 709 루마 Y'_in(즉, 예컨대, 0-1023 값들)이다. 지각 공간 변환 유닛(601)은 (도 5와 관련하여 이미 소개된 바와 같은) 지각 공간에서 그러한 휘도들을 변환한다. RGB 컬러 공간, 예컨대 Rec. 2020 또는 그의 Y'CbCr 변형과 같은 그의 파생물을 갖는 경우에, 모든 표현가능한 컬러들의 전영역은 1.0으로 정규화될 수 있는 포인티 팁(pointy tip)을 갖는 삼각형 텐트이며, 또한 컬러 변환들은 그 텐트 안의 컬러 포인트들의 위치들(그들의 대응하는 SDR 휘도들 또는 루마들과 상이한 높이들에 속하는 HDR 상대 휘도들 또는 루마들)의 변경들로서 간주될 수 있다는 것을 기억하는 것이 독자에게 유용할 수 있다.

예컨대, 지각 표현에 대한 변경은 다양한 컬러들(즉, 다양한 단위들로 표현되는 그들의 "명도")의 높이들을 변경하는데, 이는 예컨대 휘도 축(백색을 통과하는 텐트의 수직 폴(pole)) 상의 메트릭을 로그가 되도록 재정의하는 것은 예컨대 90%의 상대 휘도를 갖는 컬러의 높이가 해당 위치가 로그 축과 만나는 임의의 위치로 변경되어야 한다는 것을 의미한다.

HDR 장면 이미지들의 SDR 리그레이딩을 핸들링하는 데에 다양한 이점들을 가지므로 로그 표현으로 변경한다. 먼저, 더 지각적인 방식으로의 휘도들의 이러한 균일화는 HDR 이미지의 다소 적절한 매우 대략적인 더 적은 동적 범위 표현을 이미 가졌다는 것을 의미한다. 그러나, 예컨대 우측 모드를 갖기 위해 야간의 어두움을 필요로 하는 장면에서 예술적으로 주의하는 경우, 그러한 로그 이미지를 사용하여 그것을 LDR 디스플레이 상에 직접 렌더링해야 하는 경우, 야간 장면은 너무 밝을 수 있으므로 부정확하게 보일 수 있으며, 특정 디스플레이 피크 명도 PB_D를 갖는 임의의 HDR 디스플레이 상에서 그것이 어떻게 보일 수 있는지에 대해 쉽게 말할 수 없지만, 적어도 중요한 HDR 장면들에 대해 그러한 간단한 핸들링은 어떠한 디스플레이 상에서도 최적으로 보이지 않을 것으로 예상할 수 있을 것이다. 정규화된 컬러 전영역 및 그의 휘도 축에서, HDR 이미지들은 전형적으로 최대 (1,0) 근처의 밝은 물체들을 가질 수 있고, 또한 픽셀 휘도들의 나머지는 이것 아래로 멀리 떨어진다. 이러한 큰 동적 범위를 SDR 휘도 범위로 압축하기 위해, 그러한 2개의 휘도는 서로 더 가까워져야 하는데, 이는 램프들이 (예컨대, HDR에서 10,000:500 = 20x 대신에) 평균 픽셀 휘도(512) = 18%보다 예컨대 단지 2배 밝을 수 있기 때문이다. 이것은 대략 로그 함수 또는 (사실상 "소정의" 부스팅을 행하는) 그것과 형상이 유사한 다소 더 양호한 함수에 의해 이미 대략적으로 달성되었을 수 있다.

그러나, 그러한 SDR 그레이딩들은 HDR 이미지의 양호한 품질의 SDR 그레이딩들의 역할을 하기에는 아직 적합하지 않은데, 이는 그들이 매우 둔하고, 콘트라스트가 없고, 종종 워싱-아웃된 것처럼 보일 것이기 때문이다. 양호한 그레이딩을 위해, 장면 내의 가장 밝은 픽셀들의 결정가능한 범위 및 가장 어두운 휘도들의 하위-범위 중 적어도 하나, 전형적으로는 둘 모두에 대해 발생해야 하는 것에 대해 주의해야 한다. 또한, 가장 간단한 버전들조차도 중간 범위에서 발생하는 것을 중간에 남길 수 있고, 예컨대 평탄한 연결 거동만을 사용할 수 있거나, 시스템들은 거기서 더 정밀한 제어를 행할 수 있다(그러나, 그것을 위해, 본 코덱 토폴로지에서 전형적으로 미세한 그레이딩 함수를 갖는다).

필립스는 선형 휘도들로부터 지각 루마들 Y'P로의 변환을 행하기 위한 함수를 발명하였다:

[수학식 1]

Y'P=log[(1+(rho-1)*power(L,1/2,4)]/log(rho)

여기서, L은 정규화된 휘도이고, rho는 HDR 이미지의 PB_C에 의존하고 10,000 니트에 대해 전형적으로 33인 상수이다. 역함수는 선형화 함수로서, 즉 지각적으로 균일한 루마 도메인으로부터, 즉 휘도들의 선형 도메인으로 변환하는 데 사용될 수 있다. 따라서, 본 실시예들은 임의의 휘도 지각 균일화 곡선과 함께 작동할 수 있는데, 이는 지각 공간 변환 유닛이 휘도들보다 지각적으로 더 등거리로 확산되는 루마 코드들을 생성하고, 특히 입력 이미지가 HDR 이미지였고, 상당한 동적 범위가 등거리 명도 값들에 의해 표현될 필요가 있다는 것을 알기 때문이며(본 출원에서는 루마들을 기술적으로 호출할 수 있고, SDR 코딩 시대에는, 휘도들을 코딩할 단일 방법만이 존재하였으므로, 루마들은 대략 제곱근인 Rec. 709 OETF에 의해 계산되었지만, HDR에 대해 루마 코드들은 흑색들 근처의 제곱근보다 가파른 함수인 임의의 적용된 HDR OETF, 예컨대 SMPTE 2084 PQ 함수에 의해 정의될 수 있음), 그러나 설명의 간소화를 위해, 그것이 전술한 필립스 함수(수학식 1의 rho-파라미터화된 로그감마 함수, 여기서 rho는 고정되거나 가변적일 수 있고, 전형적으로 인코더 및 디코더가 모든 통신되는 비디오 콘텐츠에 대해 고정된 사전-합의된 최대 PB_C, 예컨대 1000 니트와 함께 작동하는 경우에는 고정되고, 상이한 PB_C를 갖는 인코딩들이 사용되는 경우에는 가변적일 것임)인 것으로 가정할 것이다.

그러나, 이 실시예에서, 입력으로서 SQRT Y' 루마는 지각 루마로 변환되며, 따라서 지각 공간 변환 유닛(601)의 변환 함수 형상은 그것을 위해 조정될 것이다(2개의 부분 함수를 조합하여, 먼저 Y'를 제곱하고, 이어서 전술한 필립스 지각화 함수 형상을 적용하는 것과 같게 할 수 있다).

여기서부터, 처리는 (도 5의 축들로서) 지각 공간에 있고, 실제 콘텐츠-종속 이미지/장면-종속 물체 재조명이 시작될 수 있다. 독자가 알 수 있듯이, 함수 HDR 인코딩의 간단한 실시예들은 3개의 블록만을 가질 수 있다(그리고 일부 저렴한 인코딩들은 모든 그러한 것들도 사용하지 않는다).

3개의 처리 블록(미세 그레이딩 유닛(602), 동적 범위 최적화기(603) 및 범위 신장기(604))은 인코더에서 발생한 것의 역순이다(그러나, 인코딩 및 역 디코딩 휘도 변환 둘 모두로서 유닛(601)의 지각화 및 선형화기(605)의 선형화는 지각화된 의사-로그 도메인에서 작동하며, 그러한 변환은 항상 동일한 방식으로 행해진다).

따라서, 도 7의 인코더로 설명을 시작하는 것이 독자에게 더 쉬운데, 이는 인간 그레이더(또는 이것을 에뮬레이션하는 자동 시스템)이 마스터 HDR 모습으로부터 SDR 모습을 생성할 때 행하기를 원할 것으로 추론할 수 있기 때문이다. 지각 공간 변환 유닛(701)은 유닛(601)과 유사하며, 변환이 선형 HDR 휘도들로부터 시작된다는 것을 안다(이 간단한 예에서 일반성의 손실 없이, 일부 다른 인코더들도 HDR 이미지에 대한 다른 컬러 특성화로부터 시작할 수 있지만, 그것들은 본 기술의 개념들을 이해하는 데 불필요한 상세들이다). 즉, 유닛(701)은 수학식 1을 적용한다. 따라서, 출력 컬러 휘도들은 이제 지각 루마들 Y'HP로 표현된다. 루마 신장기(702)는 콘텐츠를 SDR에서의 최대 범위로 신장시킨다. 이것은 많은 실시예들에 대한 중요한 리그레이딩 단계인데, 이는 작은 SDR 동적 범위만을 갖는 경우에 미사용 코드들을 갖기를 확실히 원하지 않으면서 본질적으로 HDR 장면 이미지였던 것을 나타내는 적절한 SDR을 렌더링해야 하기 때문이다. 따라서, 예컨대 최대의 70%까지의 휘도들만을 갖는 영화 또는 장면을 갖는 경우, 신장기는 전형적으로 그 값을 100%(또는 적어도 예컨대 95%에 가까움)에 매핑할 수 있다. 유사하게, Y'HPS=0에 대한 어두운 단부 상의 매핑이 발생할 수 있다. 독자는 일부 장면들 및 그들의 HDR 이미지들이 상당히 큰 동적 범위를 가질 수 있지만, 인코딩 가능한 가장 높은 가능한 동적 범위는 아니라는 점에 유의해야 한다. 예컨대, 마스터 HDR이 10,000 니트 PB_C 표현에 있는 경우, 픽셀들을 약 10,000 니트의 그러한 가장 높은 휘도들에 주의 깊게 할당해야 하고 그렇지 않으면 사람들은 이미지가 너무 밝다고 불평할 수 있다(즉, 그의 전형적인 시청 환경에서, 그러한 장면이 실제 생활에서 있을 방식에 비해 부자연스럽게 밝게 보이거나 단지 불쾌하게 밝게 보인다). 예컨대, 작은 거리 조명은 10,000 니트의 픽셀들을 가질 수 있지만, 실내 환경으로부터 창을 통해 보여지는 가장 밝은 픽셀은 예컨대 단지 1500 니트일 수 있으며, 이는 그러한 이미지에 대해 1500 니트 내지 10,000 니트의 코드들이 사용되지 않는다는 것을 의미한다. 이어서, 루마 신장기(702)는 이미지 내의 이 1500 니트의 가장 밝은 컬러를 중간 컬러 표현 Y'HPS의 최대, 즉 신장된 컬러 표현에 매핑할 것이다(SDR 이미지의 최대로서 볼 수 있는데, 이는 이제 고정 백색 = 1.0 미만의 물체 휘도들의 분포를 교정하는 것에 집중할 수 있기 때문이다). 일부 실시예들은 그것으로부터 벗어날 수 있으며, 예컨대 HDR1 대 HDR2 리그레이딩들에 대해 동일한 기술을 사용하는 경우 제2 이미지 동적 범위의 90%에 매핑할 수 있다. 물론, 메타데이터는 최초로 신장된 1500 니트 포인트를 전송해야 하며, 따라서 디코딩 측에서 범위 신장기(604)는 이 SDR 피크 명도(1023에 대응하는 1.0)를 역으로 HDR 재구성에서의 1500 니트에 매핑할 수 있다.

또한, 흑색 측에서, 그러한 신장이 발생할 수 있지만, 일부 실시예들에서는 주의해야 하는데, 이는 흑색들이 (콘텐츠 시맨틱, 시청 환경, 심리 시각 외관 등과 관련하여) 밝은 것들과 상이하게 거동하기 때문이다. 이러한 흑색 신장 처리 단계를 제거할 수도 있으며, 휘도 변환 함수 형상을 통한 HDR 이미지의 모든 가장 어두운 휘도들의 SDR 이미지로의 휘도 변환의 할당만을 핸들링할 수 있다.

일반적으로, 2개의 모드가 존재할 수 있다. 그레이더가 휘도 변환 곡선들의 파라미터들에 대한 그의 선택들로부터 발생하는 그레이딩된 이미지들, SDR 이미지만이 아니라 HDR 기준 모니터 상의 HDR 재구성도 보고 있고(예컨대, 다이얼을 사용하여 유닛(703)의 3-부분 곡선의 밝은 휘도들 a_H의 각도 등을 줄이거나 늘릴 수 있음), 따라서 재구성 품질에 대한 그의 선택의 영향이 무엇인지를 알 수 있는 전문 모드의 경우, 이 곡선(특히 아래에 논의되는 유닛(704)의 미세 그레이딩 곡선)의 선택이 탁월할 것으로 예상할 수 있다. 인코더가 포함되는 일부 그레이딩 장치 실시예들은 그레이더가 (밴딩 또는 DCT 에러와 같은 재구성 및 코딩 에러에 대한 높은 기울기에서 발생할) 0 주위의 가장 어두운 HDR 값들에서 그의 곡선의 선형 근사화에 대한 기울기를 실제로 낮추는 경우에 경고를 제공할 수 있으며, 이어서 장치는 그레이더의 동의 시에 가장 어두운 HDR 컬러들에 대한 그 자신의 부분 곡선을 제안하고, 그것을 메타데이터 내에서 수신기들로 전송할 수 있다. (예컨대, 사전-그레이딩된 마스터 HDR 및 대응하는 마스터 SDR 그레이딩된 이미지(들)로부터 코딩하는) 자동 그레이딩 시스템들은 더 안전하고 대략적인 접근법을 요구할 수 있으며, 예컨대 여러 자동 시스템은 (유닛(704)의) 미세-튜닝 곡선이 아니라 (유닛(703)의) 2개의 그레이딩을 관련시키기 위한 휘도 변환의 (예컨대, 3-세그먼트 곡선 기반) 대략적인 결정만을 가질 수 있고, 이 경우에 휘도 매핑 곡선(이 곡선이 또한 주로 SDR 그레이딩 곡선 선택이 아니라 HDR 이미지의 재구성을 위한 코드 할당 곡선의 역할을 함)의 바닥 부분의 결정을 위한 간단한 시나리오가 바람직하다. 이러한 자동 시스템들은 또한 전형적으로 예컨대 도 5에 도시된 바와 같은 휘도 분포 통계 상의 곡선 매칭에 의해 흑색 오프셋 거동을 가질 것이라는 점에 유의한다.

이해의 간소화를 위해, 대략 SDR 그레이딩 결정 유닛(703)이 예컨대 도 5에서와 같은 히스토그램 데이터에 기초하는(또는 등가적으로 이것은 인간 그레이더 최적화에 기초할 수 있음) 자동 추정에 의해 전술한 이미지-최적화된 콘텐츠 곡선을 적용하는 것으로 가정한다. 일반적으로, 인간이 개입하는 경우, 대략 그레이딩은 가장 어두운 픽셀들 대 가장 밝은 픽셀들의 대략 재분포, 즉 그들이 HDR 대 SDR 휘도 하위범위 각각에 걸치는 휘도 하위-범위들을 사용할 수 있다. 따라서, 전형적으로, 도시된 3-부분 곡선과 같은 곡선이 포함될 것이며, 이는 적어도 장면의 가장 밝은 부분 및 가장 어두운 부분의 휘도 범위를 제어한다. 독자는 예컨대 상점 창을 갖는 야간 장면의 영역간 콘트라스트 제어로부터 전형적인 사용 시나리오 및 거동을 이해할 수 있다. 상점에서 옷을 걸친 일부 마네킹들이 밝게 조명되거나, 심지어 상점이 조명된 램프들을 판매할 수 있고, 밖에서, 어둠 속에서 예컨대 포장도로의 타일과 같은 다른 물체들이 존재할 수 있다고 한다. 대략적인 제어를 이용하여, 그레이더는 외부의 포장도로의 타일과 같이 이미지의 어두운 영역 내의 물체들의 가시성과 같은 그러한 시각적 양태들을 최적화할 수 있고, 그는 조명된 상점 창 안의 램프들이 얼마나 훌륭하게 밝게 빛날지 등을 제어할 수 있다. 독자는 그의 수학 지식으로부터, SDR 및 HDR 마스터 그레이딩들에서의 픽셀 휘도들의 휘도 분포가 도 5에서와 같은 "r-형상" 거동을 보이는 경우에 자동 휘도 매핑 함수 결정 유닛이 어떻게 대략 그레이딩 함수를 결정할 수 있는지를 이해할 수 있다(그리고, 그는 또한 휘도 분포 클라우드 형상이 다소 상이한 경우에 최적 곡선 매칭을 그리고 이것이 또한 대략 휘도 매핑인 이유를 이해할 수 있으며, 이는 마스터 HDR 이미지에 대응하는, 인코딩 및 통신될 SDR 그레이딩을 계산할 때 이미 타당하게 거동하지만, 미세-튜닝 최적화가능 곡선으로 특정 HDR 장면의 SDR 및 HDR 그레이딩들과 그의 컬러측정 리그레이딩 요구들 사이의 관계를 더 양호하게 근사화하는 함수만큼 완전하지는 않다).

이어서, 일부 실시예들에서, 주로 인간 그레이더들을 수반하는 높은 컬러 품질 그레이딩을 요구하는 것들, 그러나 일부 자동 시스템들도 예컨대 매핑된 3-부분 곡선이 (3 포인트 곡선이 아니라 프리-프럼 곡선(free-from curve)을 결정할) (luminance_SDR, luminance_HDR) 포인트들의 클라우드의 입력 HDR 루마마다의 예컨대 중간 포인트들의 궤적으로부터 너무 많이 벗어나는 입력 HDR 루마 범위의 영역을 식별하는 것에 기초하여 그러한 미세-튜닝 곡선을 결정할 수 있으며, 미세 그레이딩 곡선이 결정될 수 있다. 이 곡선은 (대략 매핑에 의해 처리된 후에) 미세 그레이딩 유닛(704)에 의해 처리되는 각각의 픽셀의 대략적인 루마들 Y'R에 적용된다. 이 미세 그레이딩 루마 매핑 곡선이 대각선 주위에서 진동할 때, 최종 결과는 최종 SDR 출력 이미지에서 특정 명도들을 갖는 픽셀들의 일부 서브세트들이 대략적인 SDR 루마들 Y'R보다 더 밝거나 어둡게, 즉 정밀한 루마들 Y'P(유닛(704)의 출력)로 SDR-그레이딩될 것이라는 것이다. 이 곡선은 여러 예술적 요구를 충족시킬 수 있는데, 예컨대 일부 중간범위 휘도 물체들에 대해 더 높은 콘트라스트들을 생성할 수 있지만, 아래에서 그것이 양호한 HDR 재구성 품질을 유지하면서 가장 어두운 영역들에 대한 양호한 SDR 모습들을 규정하기 위해 어떻게 명쾌하게 사용될 수 있는지를 알게 될 것이다.

마지막으로, 선형화 유닛(705)은 SDR 모습 이미지에 대한 요구대로 완전히 그레이딩된 픽셀 루마들을 선형 휘도 도메인으로 변환하며, 따라서 (도 3과 관련하여 이미 설명된 바와 같이) 곱셈 방식으로 3개의 컬러 성분에 대해 필요한 컬러 변환을 궁극적으로 행하는 데 필요한 (이득 팩터-기반 변환을 사용하는 실시예들에서의) 이득 팩터 g의 후속 결정에서 이 F(L_in)을 사용할 수 있다.

아래의 기술 발명들의 일부를 더 잘 이해하기 위해, 인코더 블록들에 대한 파라미터들을 결정하는 자동 알고리즘의 전형적인 매핑을 추가로 논의한다(이들 파라미터는 인코딩이 실제로 발생할 때, 즉 SDR 이미지가 그러한 파라미터들을 갖는 휘도 변환 함수들을 적용함으로써 생성될 때 사용될 것이며, 사용된 파라미터들(또는 등가적으로 예컨대 LUT들로서의 함수 형상들 자체)은 예컨대 SEI 메시지들 내에서 SDR 이미지들과 함께 공동-인코딩될 것이고, 따라서 수신기는 역 컬러 처리를 행하고 수신된 SDR 이미지(들)로부터 HDR 이미지(들)를 재구성할 수 있다). 그리고, 전술한 바와 같이, 이러한 설명은 본 발명의 청구가능한 범위를 제한하는 것을 의도하지 않는데, 이는 인간 그레이더가 유사한 사항을 고려할 수 있기 때문이다.

자동 알고리즘은 다양한 휴리스틱(heuristics)을 사용하여 흑색 오프셋 Bk_off의 양호한 값을 얻을 수 있지만, 간단한 알고리즘들은 단지 SDR-HDR 휘도 포인트들의 클라우드를 따르는 곡선의 더 낮은 부분들을 매핑함으로써 그것을 결정할 것이다. 즉, 도 5의 예에서, 다수의 이러한 클라우드가 소정의 방향을 따르고, 따라서 3-부분 곡선의 낮은 선형 세그먼트는 화살표가 지시하듯이 계속 x-축(Y'_SDR=0)을 향할 것이며, 이러한 교차는 흑색 오프셋 Bk_off를 정의할 것이다. 이와 달리, (0,0)을 통과하는 선형 부분과 관련하여 진행될 때의 매핑은 이러한 특정 HDR 장면에 대한 실제 클라우드 위에 매우 높게 있을 것이지만, 이것은 더 큰 에러를 가질 것인데, 즉 전형적으로 자동 함수 추정을 벗어나지 못할 것이다. 전술한 바와 같이, 이와 같이 L_HDR= Bk_off에 대한 L_SDR=0으로 직선으로 내려가는 것은 아름다운 SDR 모습을, 그러나 어두운 영역들에 대한 HDR 이미지의 불량한 재구성을 생성할 수 있다(이는 예컨대 통신된 Y'_SDR 루마들의 일대다 역 매핑이 정확한 HDR 휘도들을 산출할 수 없기 때문이다).

이제, 흥미로운 부분은 이득 제한기(707)를 인코더/인코딩 전략에 포함시키는 것인데, 이는 적어도 자동 그레이딩 인코더들이 무엇을 하든지(즉, 흑색 오프셋을 결정한 후에 적어도 3 부분 곡선을 피팅하려고 시도함) 최종 곡선의 가장 낮은 부분(수신기들로의 통신을 위해, HDR 그레이딩의 SDR 그레이딩으로서의 양호한 이중 통신을 가능하게 함)이 재구성을 위한 안전한 곡선인 것을 보장할 것이다. 즉, 이것은 HDR 장면 및 그의 HDR 마스터 이미지의 가장 어두운 영역들에 있는 것을 적어도 대략적으로 인코딩해야 한다. 그러한 곡선을 결정하기 위한 여러 방식이 존재할 수 있으며, 이는 전형적으로 간단한 실시예들에서는 부분 곡선 삽입, 종종 다크들에 대한 고정 부분 곡선의 삽입에 의해 발생할 것이다. 흥미롭게도, 이는 IC들 및 소프트웨어가 가능한 한 저렴해야 하기 때문이다. 적어도, 이론적으로 인코더들은 복잡할 수 있지만, 디코더들은 비교적 간단한 HDR 이미지 재구성 원리를 갖는 것이 바람직하다. 즉, 복잡한 추가 정보를 요구하는 이상한 코딩 전략들처럼 복잡한 어떤 것도 바람직하지 않다. 도 5 및 도 7에서 알 수 있듯이, 이러한 인코딩 전략을 최적 휘도 변환에 의한 SDR 결정된 값(즉, 포인트(501) 아래에서 나쁠, r-형상 곡선 F(L_HDR))과 가장 어두운 영역들에 대한 안전한 곡선 사이의 최대 계산으로서 구현할 수 있다. 그리고, 대부분의 경우에 비교적 간단한 안전 곡선 원리를 사용할 수 있다. 더 낮은 곡선(본 예에서는 단지 라인)에 이어지는 점선으로부터 알 수 있듯이, 포인트(501) 위에서는 정확한 휘도 변환 곡선 F(L_HDR)이 최대 계산으로부터 도출될 것이며, 포인트(501) 아래에서는 휘도 변환 F(L_HDR)의 각각 기울기 및 높이가 너무 낮으므로(본 예에서는 심지어 0으로 클리핑됨), 의미상 중요한 임의의 이미지 데이터가 이러한 가장 어두운 HDR 영역들에 있는 것을 표현하기에 충분한 SDR 코드들을 갖는 임의의 적합하게 선택된 부분 곡선이 최대 계산으로부터 도출될 것이다.

이해를 추가로 간단히 하기 위해, 영역(502) 내의 가장 어두운 HDR 픽셀들을 적합한 SDR 컬러들로 변환하기 위해 선형 부분 곡선을 사용하는 실용적으로 간단한 실시예를 가정할 것이다(이는 또한 예술적으로는 최적이 아닐 수 있지만, HDR 재구성 이미지에 대해서는 적어도 양호하게 가역적이고, 또한 많은 경우에 실용적으로 수용가능하고 시각적 품질이 양호할 수 있다). 이것은 곱셈기(706)에서 착신 픽셀 휘도들 L_in과 상수 dg를 곱함으로써 실현될 수 있다. 이 특정 실시예에서 선형 휘도들은 곱해지며, 그들은 최대 결정을 위해 유닛(705)에 의한 재선형화 후에 예술적으로 완전히 최적화된 매핑을 갖는 더 높은 병렬 처리 트랙의 선형 휘도들과 비교된다는 점에 유의한다. 그러한 곱셈기는 HDR 이미지의 L_in이 정의될 컬러 공간, 특히 그의 PB_C에 관계없이 임의의 시나리오를 핸들링할 수 있다. 그러나, 팩터 dg는 적합하게 선택되어야 한다. 그러나, 장점은, 디코더들이 단지 dg의 값에 대한 양호한 표준 스마트 선택들 또는 오히려 그들 쪽에서는 1/dg를 사용할 것으로 가정하는 경우, 그것이 메타데이터로서 인코딩되고 수신기(들)로 송신될 필요가 없다는 것이다. 적합한 선택은 또한 PB 및 최소값과 같이 (공동) 통신되는 바와 같은 HDR 비디오의 전역적 특성들에 기초하여 그리고 잠재적으로는 이미지들의 예상된 사용 등과 같은 추가적인 컬러측정 양태들에도 기초하여 결정될 수 있다.

이것은 도 10에서 더 잘 알 수 있다. 다수의 어두운 컬러의 선형 매핑은 부스트(또는 부스트 팩터가 1보다 작을 경우에는 디밍 부스트)로 간주될 수 있다. 절대 휘도에서는 HDR 이미지가 SDR 이미지보다 (적어도 약간) 더 밝을 것으로 예상할 수 있지만(k를 갖는 부스트; k>=1), 어두운 영역들에 대해서는 SDR 이미지와 동일한 휘도들을 가질 수도 있는데, 이는 SDR 디스플레이가 밝은 컬러들을 렌더링할 수 없지만, 양 디스플레이들이 어두운 컬러들을 전형적으로 유사하게 렌더링할 수 있기 때문이라는 점에 유의한다. 그리고, 일부 상황들에서, HDR 디스플레이는 그러한 가장 어두운 컬러들에 대한 더 어두운 렌더링된 컬러들(예컨대, 레거시 LCD LDR 디스플레이에 비해 어두운 방에서의 OLED HDR)도 표시할 수 있다. 그러나, 상대적인 시스템(즉, HDR 및 SDR 휘도들 둘 모두가 최대 1.0의 분수들임)에서, HDR 다크들을 대략 동일하게 밝게 SDR 컬러들로서 유지하면서 100 니트보다 10배 또는 100배 밝을 수 있는 PB_C로 지칭되기 위해, 상대 좌표계에서 SDR로부터 HDR로 매핑할 때 디밍을 그리고 도 5에서와 같이 HDR 입력으로부터 SDR로의 변환을 생성할 때 부스팅을 행할 것이다(예컨대, 양 축에서 1 니트의 절대값을 볼 수 있다). 따라서, 곡선(1002)인 HDR 대 SDR 매핑을 위한 가장 어두운 컬러들에 대한 국지적 부스팅은 미세할 수 있으며, 이것은 대각선에 대해 동일한 각도를 갖는 미러인 SDR 대 HDR 재구성 부분(선형) 곡선(1001)에 대응한다. 가장 어두운 HDR 영역에 대한 SDR 코드들을 생성하기 위해 곡선(1002)을 사용할 때, HDR 이미지의 양호한 재구성 가능성을 여전히 가질 수 있다. 그러나, 자동 시스템 또는 그레이더는 더 낮은, 즉 대각선에 더 가까운 국지적 세그먼트를 갖는 소정의 곡선을 선택할 수 있다. 그레이더가 그것을 행할 수 있는 이유는 그렇지 않으면 너무 많은 (SDR) 코드가 가장 어두운 HDR 영역에 대해 사용되고, 이것은 그가 현재 이미지에 대해 원하지 않을 수 있는 2개의 효과를 갖기 때문이다: 1) 매우 어두워야 하는 영역(502)(열린 문을 통해 볼 때 조명이 꺼진 뒤쪽의 방)의 픽셀들의 일부가 너무 밝고, 또한 매우 불편할 수 있음: 2) 포인트(501)(양호하게 표현될 많은 HDR 휘도 영역, 예컨대 어두운 조명되지 않은 컵보드 안으로 보이는 소정의 더 밝은 부분, 열악하게 조명되고 외부 세계로의 창으로부터 멀리 떨어진 내부 복도, 유리창을 통해 복도에 연결된 사무실인 평균 휘도의 영역 및 사무실의 다른 쪽에서 창을 통해 보이는 화창한 외부 세계가 존재할 수 있음) 위의 모든 휘도를 충분한 품질로 인코딩하기에 충분한 SDR 코드들이 존재하지 않을 수 있음. 따라서, 이것은 그가 그러한 낮은 곡선(1003)을 선택하는 이유이다(그리고 자동 알고리즘이 그렇게 할 수 있는 이유는 휘도 포인트 클라우드가 발생할 수 있는 형상에 관계없이 맹목적으로 도 5에서와 같은 데이터를 따르기 때문이다).

따라서, 인코더에서, dg의 최소 허용 값(SDR 이미지로부터의 HDR 이미지의 재구성, 더 정확하게는 입력으로 그의 픽셀의 Y'_SDR 값들을 나타내는 이 플롯에서, 대응하는 수신기/디코더 측 1/dg 값에 대응함)이 선택되는 경우, 곡선(1002)보다 대각선에 더 가까운 곡선의 더 낮은 값은 이득 제한기(707)가 선택된 곡선이 계산하는 임의의 F(L_in) 및 그러한 dg*L_in의 최대를 계산하는 경우에는 결코 선택되지 않을 것이다.

디코딩 측에서, 너무 많이 부스팅되는, 즉 그 아래로부터 대각선에 더 가까운 부분 곡선들은 제2 입력으로서 선형 곡선(1001), 즉 (1/dg)*Y'_SDR을 갖는 최소 계산으로부터 도출될 수 없다. 마지막으로, (이 실시예가 고전적인 Rec 709 해석가능한 SDR 출력 이미지들과 함께 작동하는 것으로 맞추고 설명하였으므로), 제곱근 계산기(708)(또는 Rec 709 OETF 변환기)는 처리되고 있는 픽셀에 대한 정확하게 그레이딩된 픽셀 휘도의 선형 휘도 표현 L_SDR_out으로부터 SDR 루마 Y'_SDR을 계산하며, 이는 일반적으로 예컨대 이 이미지가 비디오 통신을 위해 압축될 때 HEVC 비디오 압축에 사용될 수 있다. 즉, 이러한 통신된 이미지는 사용가능하며, 레거시 시스템들에 의해 직접 렌더링 가능한 양호한 시각 품질의 SDR 이미지로서 취급되는데, 즉 루마들은 렌더링 가능한 SDR 휘도들의 대략적인 제곱근으로 정의된다. 그러나, 설명된 바와 같이, 이 이미지는 또한 도 6의 예시적인 SDR-2-HDR 디코더에서 도시된 바와 같이, 도 7의 더 높은 트랙 대 더 낮은 트랙의 수학적 매핑들을 역으로 적용함으로써 재구성 가능한 HDR 이미지의 코딩이다. 점선으로 도시된 바와 같이, HDR 휘도들은 제곱근 연산, 또는 예컨대 사전-합의된 통신 프로토콜 특성들과 관련하여 디코더로부터 디스플레이로 이미지(들)를 통신하는, 본 출원에 적합한 바와 같은 다른 루마 코드 할당 함수에 의해서도 표현될 수 있다.

파라미터 dg는 SDR 그레이딩의 경우 항상 100 니트인 제2 그레이딩의 피크 명도보다는 마스터 HDR 그레이딩의 피크 명도에 의존한다(그러나, HDR PB_C는 BD 디스크에 대한 그레이딩과 같은 일부 실시예들에서 1000 니트 그리고 다른 실시예들에서는 5000 또는 10,000 니트 등일 수 있다).

PB_C_HDR에 의존하는 g의 실용적인 양호한 값은 선형 도메인에서 dg_lin=0.05*PB_C_HDR/100이다(즉, 인코더 측에서 그리고 디코더 측에서, 본 출원의 대응하는 실시예들은 1/dg를 사용할 것이다). 이러한 선형 0.05 값은 의사-로그 도메인에서 0.287의 값에 대응한다. 인코더는 디코더가 가장 어두운 HDR 휘도들이 이 값에 따라 (예컨대, 간단한 실시예들에서 선형으로) SDR 이미지에서 인코딩될 것을 예상할 것이라는 것을 아는 경우, 그러한 방식으로 SDR 루마들을 생성할 수 있으며, 디코더는 어떠한 추가 정보도 필요로 하지 않고서 1/dg 값들로 그들을 정확하게 디코딩할 것이다. 이것이 대부분의 이미지들 및 상황들에 대해, 특히 자동 인코딩 시스템들에서 훌륭하게 작동하는 경우, 일부 이미지들 또는 상황들은 영역(502)에서의 그러한 가장 어두운 HDR 휘도들에 대한 부분 휘도 매핑 곡선에 반영된 바와 같이, 가장 낮은 HDR 휘도들의 안전한 인코딩의 더 높은 정밀도 및 이미지-종속 최적화를 요구할 수 있다. 이것인 미세 그레이딩 곡선을 통해 간편한 방식으로 행해질 수 있는 방법이 아래에서 설명되는데, 예컨대 그레이더는 그의 선호들에 따라 그의 가장 낮은 부분을 형상화할 것이며, 따라서 선택된 맞춤 곡선(유닛(602)에 의해 디코더에서 적용될 곡선)이 메타데이터 내에서 통신되는 경우에 그러한 어두운 HDR 영역들의 SDR 하위영역들에 대한 더 양호한 모습, 그러나 여전히 양호한 HDR 이미지의 자동 재구성을 제공한다.

인코더에 대한 이러한 설명 후에, 도 6의 하나의 가능한 디코더 실시예의 유닛들은 인코딩의 반대이므로 기술을 가진 독자에 의해 이해될 수 있다. 이제, 미세 그레이딩 유닛(602)은 SDR 입력 이미지의 정밀한 루마들의 픽셀 명도들을 코스 루마들 Y'R로 리셋한다(즉, 이것은 또한 공식화될 수 있으므로, SDR 동적 범위에서 리그레이딩을 행한다). 이어서, 동적 범위 최적화기(603)는 (그러나 이제는 HDR 동적 범위의 상대적 표현인 전체 범위 0.0-1.0에서 여전히 전형적으로 발생하는) HDR 루마들의 스케일링된 버전 Y'HPS를 계산한다. 그리고, 마지막으로, 범위 신장기(604)는 이러한 스케일링된 버전들을 예컨대 PB_C = 5000 니트 HDR 표현의 HDR 휘도 축 상에 정확하게 배치하는데, 전술한 바와 같이, 예컨대 최대 스케일링된 루마를 1500 니트에 매핑한다(즉, 동적 범위 최적화기(603)로부터 생성되는 이미지 표현 Y'HPS의 1.0 포인트가 5000 니트가 아니라 1500 니트에 매핑되는데, 이는 그것이 예컨대 현재 처리되고 있는 장면의 이미지들의 샷 내의 가장 밝은 픽셀이기 때문이다). 마지막으로, 선형화 유닛(605)은 정확하게 재구성된 HDR 휘도, 그러나 여전히 중간 휘도 L_HDR_IM의 휘도 표현을 생성하는데, 이는 이득 제한기(611)가 (생성/인코딩 측에서의 마스터 HDR 이미지의 영역(502)에서의 가장 어두운 원본 HDR 휘도들에 대응하는) 가장 어두운 SDR 루마들에 대한 정확한 코딩-안전(순차적 리그레이딩 처리의 더 높은 트랙에 대한 대안) 전략을 적용하는 것을 여전히 필요로 하기 때문이다.

일반적으로, 이러한 이득 제한기(611)는 생성 측에서 적용된 임의의 매핑 전략의 역을 적용할 것이다. 이해의 간소화를 위해, 전술한 바와 같이 수신된 SDR 이미지(이는 또한 항상 메타데이터 내에서 통신되며, 그렇지 않으면, 수신기는 HDR 이미지의 Y'CbCr 또는 RGB 표현의 정확한 휘도 범위를 결정할 수 없음)가 표현하는 원본 HDR 이미지의 PB_C에 기초하여 임의의 수신기에 의해 계산될 수 있는 적합한 이득 dg를 갖는 선형 전략이 사용된 것으로 다시 가정할 것이다. 그러한 매우 실용적으로 간단한 유용한 실시예에서, 곱셈기(610)는 Y'_in과 1/dg를 곱할 것이다(범용 HDR 코딩 보호 알고리즘이 인코더 및 디코더에서 사용되는 경우, 필요한 임의의 스케일링이 이득 제한기(611)에서 직접 고려될 수 있다). 따라서, 간단한 실시예에서, 디코더 내의 이득 제한기는 L_HDR_IM 및 (1/dg)*Y'_in 중 최소를 계산하여 L_HDR_out을 산출한다. 일부 디코더 실시예들은 예컨대 HDR 이미지에 대한 색도들이 정확한 L_HDR_out을 사용하여 3D 컬러들로 변환되는 경우에 최종 컬러 변환을 수행하기 위해 그 값을 직접 사용할 것이다. 다른 실시예들은 (HDR 이미지 휘도들의 Rec. 709 해석인) 이것의 제곱근 버전을 요구할 수 있으며, 이 경우에 선택적인 제곱근 계산기(612)가 존재할 수 있다.

3개의 컬러 성분에 (이들이 어떤 형태, 예컨대 선형 또는 비선형 RGB, YCbCr 등인지에 관계없이) 곱셈 팩터 g를 곱하기 위해 이 g에 의해 디코딩의 컬러/휘도 변환(HDR에 대한 재구성)을 행하는 다수의 예를 교시하였으므로, 도 8에서는 다른 설명 실시예를 제공한다. 위의 디코더는 이후에 g 팩터의 계산에 여전히 사용될 휘도를 선택하는 원리를 사용한 반면, 도 8로부터는 g 값들에도 기초하여 최소화 전략(또는 일반적으로 어두운 픽셀 디코딩 전략에 대한 임의의 정확한 양호한 품질)을 행할 수 있다는 것을 알 수 있다. 더 높은 분기의 모든 컴포넌트들은 또한 설명된 바와 같다. 이어서, 이득 계산기(801)는 가장 어두운 휘도들에 대한 특정(코딩-안전) 거동을 고려하지 않고 수신된 메타데이터(즉, 예컨대, 대략 변환에 대한 a_d, a_H 및 WP, 예컨대 유닛(602)의 미세 그레이딩 함수에 대한 8 형상 제어 포인트-기반 선형 함수 또는 더 정밀한 LUT 등을 포함하는 SEI 이미지들) 내의 그들의 성문화에 의해 결정되는 바와 같은 다양한 휘도 변환 함수 형상들을 적용함으로써 계산된 F(Y'_in) 값을 나눔으로써 이득을 계산한다. 이 표현에서, 최소 계산 유닛(802)은 이제 이득 계산기(801)에 의해 결정된 이득 g 및 공지된 바와 같은 1/db의 최소를 계산하여(또는 일부 실시예들에서는 이 dg에 대한 값을 통신할 수도 있는데, 이는 그것이 위의 수학식의 표준 값으로부터 벗어나는 경우에 생성 측에서 사용되었기 때문이다), 3개의 컬러 성분과의 곱셈을 위한 최종 g_fin을 산출한다. 기술을 가진 독자는 대응하는 인코더, 또는 다른 전략들이 양호한 g_fin 값들에 도달하기 위해, 예컨대 가장 어두운 휘도들에 대한 생성 측으로부터의 g 값들의 LUT를 수신하기 위해 어떻게 준용하여 사용될 수 있는지를 상상할 수 있다.

더 흥미롭게도, 도 9는 HDR 디코더의 더 복잡한 실시예를 제공하는데, 이는 특히 가장 어두운 SDR 루마들의 양호한 서브세트로서 HDR 이미지의 영역(502)의 가장 어두운 휘도들을 인코딩하기 위한 양호한 전략을 결정하기 위한 가능성들과 관련하여 다양한 방식으로 생성될 수 있는 다양한 콘텐츠를 획득할 수 있는 시스템들에 그것을 넣을 수 있기 때문이다. 그러한 IC 또는 소프트웨어는 예컨대 고품질 그레이딩된 영화 자료, 예컨대 영화 전달 서버로부터 인터넷을 통해 또는 위성 접속을 통한 간단한 텔레비전 방송을 통해 필요한 컬러 변환 함수들(일반적으로, 본 발명을 설명하기 위해 설명된 것 외에도, 예컨대 픽셀 컬러들의 포화를 변경하는 특정 컬러 변환들도 존재할 수 있음)의 메타데이터와 함께 통신되는 SDR(또는 HDR) 이미지들의 세트를 둘 모두 획득할 수 있는 TV 또는 STB에 상주할 수 있다. 이 예에서는, 예컨대 인간 그레이더는 위의 선형 전략보다 가장 어두운 HDR 휘도들을 매핑하기 위한 더 양호한 전략을 생성한 것으로 가정한다. 그는 부분 함수 F_bk를 통해 이를 행할 수 있다. 선형 전략은 실용적으로 간단하지만 대부분의 경우에 훌륭하게 작동하는 전략이지만, 가장 어두운 HDR 장면 픽셀들에 대한 더 복잡하면서도 여전히 코딩-안전한 대안/병렬 전략과 함께, 그레이더는 HDR 장면이 여전히 그것을 필요로 할 경우에 울트라다크들에 대한 특정 그레이딩 거동을 통합할 수 있다. 다양한 실시예들에서, 이를 행하기 위한 여러 방법이 존재하며, 예컨대 그는 유닛(602) 안에, 즉 단일 함수로서 로딩될 미세 그레이딩 휘도 매핑의 LUT 성문화를 통해 이 부분 형상을 통신할 수 있다. 대안적으로, 그는 미세 그레이딩 휘도 매핑 함수 등의 가장 낮은 부분의 형상을 무효화하는 부분 함수를 통신할 수 있다. 이제, 이득 제한의 거동은 그러한 경우에 예컨대 그러한 미세 그레이딩 함수의 가장 낮은 부분의 그레이더-결정된 형상에 의해 결정되어야 하는데, 즉 최소 계산은 우회되어야 하지만(즉, 디코더는 상황, 즉 그것이 울트라다크들 또는 가장 어두운 다크들의 대안/병렬 디코딩에 대한 간단한 전략을 갖는 첫 번째 것인지 또는 울트라다크들에 대한 더 정교한 대안 전략이 인코딩 측에서 사용되었는지를 검출하는 제어 메커니즘을 가져야 함), 다른, 예컨대 대략 자동으로 그레이딩된 콘텐츠가 (예컨대, 시청자가 케이블 또는 위성-제공 비디오 프로그램으로 전환하므로) 나오는 경우에는 도 6과 관련하여 설명된 선형-기반 버전이 (다시) 적용되어야 한다. 유용한 실시예는 흑색 오프셋(BK_off)을 0으로 설정한 후에 미세 그레이딩 곡선에서 L_HDR=0에서 시작하는 SDR로의 모든 HDR 휘도들에 대한 매핑을 결정함으로써 이러한 미세 그레이딩-곡선 기반 접근법을 수행하는 것이다(즉, 디코더 측에서, 미세 그레이딩 함수의 형상에 관계없이, 그리고 도 5와 달리, 포인트(501)의 HDR 휘도가 0에 이미 매핑된 경우, 즉 기울기 dg를 갖는 선형 부분에 대한 이득 제한이 아니라 휘도 변환-기반 처리의 더 높은 분기만을 적용한 경우, (HDR 이미지의) 0인 L_in 값들은 전형적으로 0인 Y'_SDR 루마들에 매핑될 것이다). 체킹 프로그램을 실행하는 프로세서(901)는 이러한 상황을 체크할 것이며: 이 경우에 흑색 오프셋 Bk_off는 0이고, 미세 그레이딩 곡선-기반 디코딩은 바로 가장 어두운 SDR 루마들에 대해 발생해야 하며, 그렇지 않은 경우에는, F(Y'_in)의 최소 - 각각 다른 디코더 실시예에서는 g - 를 계산하는 전략 및 선형 1/dg-기울어진 SDR 디코딩이 발생해야 한다. 따라서, 프로세서(901)는 제어 신호를 스위치(902)로 전송하여 어느 변형이 주어진 상황에 적합한지를 선택한다.

도 12는 특히 본 필립스 지각화 곡선, 예컨대 rho=25와 함께 사용되는 경우에 특히 흥미로운 것으로 연구에서 밝혀진 다른 인코더(1200) 실시예를 도시한다. 본 수학식 1은 디코더에 의해 또한 사용되는(즉, 공지된) 할당 함수를 사용할 수 있는 PB_C 종속 rho 값을 가지며, 따라서 단지 PB_C 값, 예컨대 10,000 니트에 대한 PB_C= 33, 5000에 대한 25, 1000에 대한 13.2가 통신되어야 한다(100 니트의 PB_C는 5.7에 대응하지만, 이것은 분명히 HDR 이미지 코딩들에 대한 PB_C 값이 아니며, 따라서 단지 본 필립스 지각 루마 도메인에 SDR 이미지들을 매핑하기 위한 것이다). 임의의 PB_C에 대한 rho를 획득하기 위한 수학식은:

Rho(PB_C)=1+(33-1)*power(PB_C/10000;1/(2.4))일 수 있으며, HDR 인코딩들에 대해 PB_C는 전형적으로 800 니트를 초과할 것이다.

다양한 유닛들(맞춤 곡선 형상-기반 미세-그레이딩, 이미지의 다크들 및 브라이트들에 대한 콘트라스트들의 제어에 기초하는 3-부분 곡선 대략 그레이딩, 및 흑색 및 백색 오프셋)은 다시 전술한 실시예들과 동일하거나 유사한 것으로 이해될 수 있다. 즉, 예컨대, 그레이더(또는 자동 그레이딩 장치)는 그가 HDR 이미지의 (대응하는 가장 밝은 루마로서 실제로 기술적으로 구현되는) 가장 밝은 휘도를 전형적으로 SDR 루마들의 최대(즉, 예컨대 10 비트 인코딩에서의 1023)에 매핑하기를 원하는 것으로 결정하며, 아마도 또한 흑색은 전형적으로 가장 낮은 SDR 코드(0)로 시프팅된다. 이어서, 그는 브라이트들 및 다크들의 대략 모습 조정, 곡선 형상을 선택함에 의한 범위들, 평균 명도들 및 콘트라스트들의 이미지의 그러한 부분들로의 할당을 행하는데, 예컨대 그렇지 않으면 SDR 디스플레이들 상에서 그들의 HDR 이미지 루마 값들로 너무 어둡게 보일 야간 장면의 가장 어두운 부분들을 밝게 한다. 따라서, 예컨대, 그는 울트라다크들에 대한 범위 0-M1_HDR을 지정하고, 이것을 지각 표현 내의 선형 곡선을 이용하여 0-M1_SDR에 매핑하며, 유사하게 그는 가장 밝은 휘도들의 하위-범위에서의 선형 매핑에 다시 대응하는 M2_SDR-1에 M2_HDR-1을 매핑한다. 이어서, 그는 또는 그레이딩 디바이스/코더 자체는 사이의 휘도 값들에 대한 소정의 평탄 연결 함수를 지정한다. 이어서, 그레이더는 일부 물체들의 휘도들, 또는 실제로는 그들의 대응하는 루마들(각각의 휘도 하위-범위를 따라 위치함)을 더 적절한 위치들로 시프팅시켜, 예컨대 선택된 미세 그레이딩 곡선을 이용하여 얼굴을 더 깨끗하게 보이게 하거나 장면 내의 소정의 램프를 다소 더 밝게 하거나 기타 등등이다. 이것은 지각적으로 균일한 명도 표현(Y'P)에서 SDR "명도들" 또는 더 정확하게는 루마들을 산출한다.

이제, 차이는 최대 계산(또는 일반적으로 출력될 가장 어두운 SDR 루마들 Y'_SDR에 대한 더 적합한 코딩 전략들의 등가적인 결정)이 지각화된 도메인에서 수행된다는 것이다. 또한, 곱셈기(1203)에 의한 (지각 공간 변환 유닛(1201)에 의해 계산된 바와 같은) 지각화된 HDR 루마들 Y'HP와 곱할 최적의 상수 gP가 이 도메인에서 결정되어야 한다. 그러한 인코더 실시예들에서, 선형화 유닛(1205)은 회로 접속 순서에서 이득 제한기(1204) 앞이 아니라 뒤에 오는데, 이는 최대 계산이 지각 공간에서도 발생하기 때문이다.

연구로부터, 본 발명자들은 이러한 전략이 곱셈 상수, 즉 gP에 의해 표현될 수 있는 지각 공간에서 선형 방식으로 가장 어두운 HDR 컬러들 [0-HDRL]의 하위-범위의 가장 어두운 SDR 컬러들 [0-SDRL]의 하위-범위로의 코드 피크 명도(즉, 인코딩될 마스터 HDR 이미지의 PB_C) 독립 할당을 행한 경우에 모든 전형적인 HDR 테스트 이미지들에 대해 양호하게 수행되는 것을 발견하였다.

실험으로부터, (항상, 코딩될 HDR 이미지의 피크 명도에 관계없이) 1 니트의 HDR 휘도에 대응하는 지각 루마는 HDRL 값에 사용하기에 양호하고, 0.1에 대응하는 지각 루마는 SDRL 상위 임계치에 대해 사용하기 양호하다는 것이 발견되었다.

이어서, 곱셈 값 gP는 다음과 같이 인코딩될 수 있다:

[수학식 2]

gP= PH(0.1/100, 100)/PH(1/PB_C,PB_C).

이 표기법에서, PH는 위의 수학식 1의 공식이고, 더 정확하게는 입력이 쉼표 앞의 제1 값인 경우에 나타나는 상대 함수의 값이다. 따라서, 제1 PH는 전형적으로 100 니트인 SDR에 대한 최대 코드 피크 명도까지 사용될 때의 함수 형상이며(아니면, 100 대신에 PB_C_SDR에 예컨대 200을 넣지만, 이러한 실시예의 원리들의 설명에서는 간단하게 유지함), 0.1의 입력에 대한 출력 값, 따라서 최대 가능한 SDR 휘도(100)의 1/1000^th을 취한다. 유사하게, 제2 부분인 제산의 분모는 (그러나 이제는 쉼표 뒤의 PB_C에 의해 지시되는 HDR 입력 이미지가 요구하는 것까지의 범위, 예컨대 PB_C=5000 니트를 포괄해야 하는) 필립스 지각 함수 PH 안에 입력함으로써 생성되는 루마 값, 즉 1 니트 HDR 휘도들에 대응하는 값, 즉 1/PB_C의 상대 값, 예컨대 5000 니트 PB_C의 경우에 1/5000이다. 이것을 gP+-= 0.67log(PB_C)/log(1000)에 의해 근사화할 수 있다.

흥미롭게도, 고정된 PH 함수의 rho-값(또한 전형적으로 2.4인 감마 값)을 선택하는 실시예들은 선택된 gP 값의 인코딩 사이트로부터 임의의 수신 측으로의 통신을 요구하지 않으며(그러나 일부 실시예들은 요구할 수 있음), 디코더는 코드 R=G=B=1023이 어느 렌더링될 백색 휘도에 실제로 대응하는지를 아는 것이 필요하므로 여하튼 통신했어야 하는 HDR 코드(또는 실제로는 이 HDR 이미지를 통신하는 SDR 이미지)의 피크 명도가 무엇인지를 단지 통신함으로써 그의 필요한 역 상수 1/gP 자체를 계산할 수 있다. 따라서, 통신 비트들을 저장할 수 있는데, 이는 또한 메타데이터가 필요하지 않은 경우에 손실 또는 손상에 이어지는 잘못된 결과가 없을 수 있다는 것을 의미한다. 이것은 인코더 및 디코더가 또한 다크들의 매핑의 예컨대 1 니트 및 0.1 니트에 대해 (그들이 예컨대 HEVC-profile-X를 사용하는 인코딩 알고리즘으로 인해) 사전-합의한 경우이다.

실험들은 SDR 이미지 신호에 넣어지고 수신기들로 통신될 실제 SDR 루마들 Y'_SDR을 계산하기 위해 SDR 루마 인코딩 유닛(1206)에서 (고전적으로 사용된 Rec. 709 OETF를 사용하는 것이 아니라) 최근에 표준화된 Rec. 1886 EOTF의 역을 사용하는 경우에 HDR 장면 이미지의 울트라다크들, 즉 1 니트 미만의 휘도들을 갖는 픽셀들 안에 존재하는 임의의 이미지 구조를 코딩하기 위해 약 50개의 루마 코드를 갖는다는 결과를 유도하였다. 이를 위해 전형적으로 사용하는 EOTF는 L_out=a*power((Y'_SDR+b); 2.4)일 것이고, 여기서 a=1.0 및 b=0이다. Y'_SDR 루마들은 파일 내에 기입된 것들이며, 마스터 HDR 이미지(들)에 대해 생성된 SDR 모습의 픽셀 명도는 물론, 그러한 마스터 HDR 이미지들에서의 명도들을 동시에 표현하는데, 이는 물론 그들이 본 컬러 변환 함수들, 특히 본 휘도 변환 함수들을 적용하여 계산되는 경우에 그러하다. Rec. 1886이 표준 SDR 모니터 상의 출력 렌더링된 휘도 L_out으로서 정의하는 것은 전술한 바와 같이 이 EOTF의 역, 즉 휘도들을 루마 코드들로 변환하는 OETF에 대한 입력일 것이다. 휘도들은 그것들을 0-100 니트 휘도 범위 또는 임의의 대응하는 등가 루마 범위로 변환된 후에 HDR 마스터 휘도들을 나타낼 것인데, 즉 그들 도 12의 Lo 값들은 예컨대 원본 마스터 HDR 이미지 픽셀 휘도들의 정확하게 또는 대략 제곱근인 입력 HDR 루마들 Y'_in에 대응하는 SDR-동적 범위 포함 휘도들이다.

다양한 사용 시나리오들이 제공되어야 하는데, 이는 본 인코더가 고품질 렌더링 시스템들에서 수년 후에 사용될 수 있는 원본 비디오의 직접 소비 또는 마스터 저장 둘 모두에 사용될 수 있기 때문이다. 울트라다크들은 0.1 니트 미만의 임의의 것이 대개 흥미롭지도 않고 디스플레이 페이스 플레이트(display face plate) 상의 실내 광의 반사로 인해 보이지도 않는 고전 텔레비전 시스템들 상에 렌더링될 수 있지만, 이미지들은 OLED들과 같은 깊은 흑색들을 렌더링할 수 있는 디스플레이들 상에 어두운 환경들 안에 렌더링될 수도 있으며, 이것은 심지어 디스플레이 또는 그것에 이미지들을 전달하는 장치들이 가장 어두운 컬러들의 휘도를 다소 증가시키는 내부 조명 알고리즘들을 사용하게 할 수 있다. 그러나, HDR 이미지들이 많은 매우 밝은 물체에 더하여 매우 어두운 영역들도 포함할 수 있음에도, 약 50개의 루마 코드는 어둡기 때문에 완전히 가시적이지도 않고 전형적으로 이미지의 가장 중요한 부분도 아닌 그러한 영역들에 충분해야 한다(그리고, 모든 이미지 상세들은 여전히 LDR/SDR 시대에 모든 종류의 이미지들을 "완전히" 표현하는 데 사용된 코드들의 양의 약 1/5로 표현된다). 독자는 또한 이 실시예에서 처리가 입력 HDR 휘도들 L_in 상에서, 즉 단지 HDR 휘도들이 사용되는지 또는 그들이 여전히 입력되는지 여부에 따라 시작되는데, 이는 선형 휘도들의 소정 함수, 예컨대 제곱근이 본 출원의 교시 내용의 모든 다른 부분들과 자유롭게 조합되어 변경될 수 있는 기술적 회로 설계 옵션이기 때문이라는 점에 유의해야 한다.

기술을 가진 독자는 이제 본 발명의 원리의 다양한 조합적인 대안 변형들을 설계하는 방법을 이해하기 시작할 수 있으므로, 도 11은 도 12-타입의 인코더(들)에 대응하는 디코더(1100)의 2개의 교차된 실시예를 도시한다. 일부 실시예들은 수신된 SDR 이미지의 가장 어두운 픽셀들의 디코딩이 최소화 전략으로 디코딩될 것인지 또는 스위치(1102)가 그것을 우회할 것이고, 모든 디코딩이 필요할 경우에 수신된 SDR 루마들 Y'_in을 재구성된 HDR 휘도들 Lo로 변환할 수 있는 코드 결정으로서 기능하는 수신된 함수들로부터 순수하게 핸들링될지와 관련하여 (도 9와 유사하게 이미 설명된 바와 같은) 프로세서(1101)에 의한 상황 조건부 체크를 가질 수 있다는 것을 점선으로 표시하였다. 곱셈기(1103)는 이제 역 상수 1/gP를 사용하며, 이는 전술한 바와 같이 많은 실질적인 실시예들에서 수신 디바이스에 의해 (전형적으로, 영화당 한 번, 또는 일반적으로 예컨대 채널 전환 후에 새로 수신된 콘텐츠마다 한 번) 계산될 수 있는데, 이는 수신 디바이스가 인코더가 유사하게 사용한 것을 알기 때문이다. 따라서, 일부 실시예들은 프로세서(1101)로부터의 선택적인 제어 루프의 존재 없이 이득 제한기(1105)를 갖는 회로를 항상 사용할 것이다. 기술을 가진 독자는 또한 본 발명의 원리들이 1/gP 값이 실제로 통신, 예컨대 디스크의 섹터 상에 저장되거나, 메타데이터 내에서 수신된 신호와 함께 통신되는 것 등을 허용한다는 것을 이해해야 한다.

rho=5.7을 갖는 본 필립스 지각화 함수를 사용할 수 있기 위해, 먼저 Rec. 1886 EOTF(b=0, a=0)를 수신된 SDR 루마들 Y'_in(이들은 예컨대 HEVC 이미지 인코딩된 신호 내에서 통신되므로)에 적용하여 정규화된 선형 SDR 휘도들 L_SDR_in을 시작 포인트로서 획득한다(물론, 일부 실시예들에서, 그러한 2개의 유닛은 고정 LUT이므로 조합될 수 있는데, 이는 SDR의 표준화된 100 니트 PB_C로 인해, 그러한 인코딩들이 입력으로 사용되는 경우 - 이는 적어도 예측가능한 미래에 본 발명의 실시예가 사용될 것과 유사한 방식임 -, rho가 항상 5.7이기 때문이다). 유닛(1111)의 선형 변환은 다시 어떤 HDR 코딩이 사용되었는지를 나타내는 PB_C의 수신된 값에 의존하는 rho를 가질 것이다.

도 13은 가능한 PB_C 코드 피크 명도들(즉, 반드시 이미지 내의 가장 밝은 휘도가 아니라, 이미지가 (모든 코드들이 사용되는 경우, 즉 가장 밝은 픽셀이 최대인 경우) 포함할 수 있고, 코딩이 핸들링할 수 있어야 하는 것)에 대한 g의 일부 전형적인 값들을 나타낸다. 이것을 예컨대 LUT로서 인코딩하고 디코더 하드웨어에 넣을 수 있다.

본 명세서에 개시되는 알고리즘 컴포넌트들은 실제로 하드웨어(예컨대, 주문형 IC의 부분들)로서 또는 특수 디지털 신호 프로세서 또는 범용 프로세서 등에서 실행되는 소프트웨어로서 (전체적으로 또는 부분적으로) 실현될 수 있다.

기술자는 본 설명으로부터 어느 컴포넌트들이 선택적인 개량들일 수 있고, 다른 컴포넌트들과 조합하여 실현될 수 있는지 그리고 방법들의 (선택적인) 단계들이 장치들의 각각의 수단에 어떻게 대응하는지 및 그 반대를 이해할 수 있어야 한다. 본 출원에서 단어 "장치"는 그의 가장 넓은 의미, 즉 특정 목적의 실현을 가능하게 하는 수단들의 그룹으로서 사용되며, 따라서 예컨대 IC 또는 전용 기구(예컨대, 디스플레이를 갖는 기구) 또는 네트워킹된 시스템의 일부 등(의 작은 회로 부분)일 수 있다. "배열"은 또한 가장 넓은 의미로 사용되는 것을 의도하며, 따라서 특히 단일 장치, 장치의 일부, 협력 장치들(의 부분들)의 집합 등을 포함할 수 있다.

컴퓨터 프로그램 제품이라는 용어는 (중간 변환 단계들, 예컨대 중간 언어로의 번역, 및 최종 프로세서 언어를 포함할 수 있는) 일련의 로딩 단계들 후에 범용 또는 특수 목적 프로세서가 명령들을 프로세서에 입력하고, 발명의 특징적인 기능들 중 임의의 것을 실행하는 것을 가능하게 하는 명령들의 집합의 임의의 물리적 실현을 포함하는 것으로 이해되어야 한다. 특히, 컴퓨터 프로그램 제품은 예컨대 디스크 또는 테이프와 같은 캐리어 상의 데이터, 메모리에 존재하는 데이터, 유선 또는 무선 네트워크 접속을 통해 이동하는 데이터 또는 종이 상의 프로그램 코드로서 실현될 수 있다. 프로그램 코드 외에, 프로그램에 필요한 특성 데이터도 컴퓨터 프로그램 제품으로서 구현될 수 있다.

방법의 동작에 필요한 단계들 중 일부, 예컨대 데이터 입력 및 출력 단계들은 컴퓨터 프로그램 제품에서 설명되는 대신에 프로세서의 기능에서 이미 존재했을 수 있다.

전술한 실시예들은 발명을 제한하는 것이 아니라 예시한다는 점에 유의해야 한다. 기술자가 제시된 예들의 청구항들의 다른 영역들로의 매핑을 쉽게 실현할 수 있는 경우, 모든 이러한 옵션들은 간소화를 위해 깊이 언급되지 않았다. 청구항들에서 조합되는 바와 같은 본 발명의 요소들의 조합들 외에, 요소들의 다른 조합들이 가능하다. 요소들의 임의의 조합이 단일 전용 요소에서 실현될 수 있다.

청구항들에서의 괄호 안의 임의의 도면 부호는 청구항을 제한하도록 의도되지 않는다. 단어 "포함하는"은 청구항에 열거되지 않은 요소 또는 양태의 존재를 배제하지 않는다. 요소에 선행하는 단수형 표현("a" 또는 "an")은 복수의 그러한 요소의 존재를 배제하지 않는다.

Claims (13)

1. 수신된 100 니트(nit) 표준 동적 범위 이미지(Im_RLDR)에 휘도 변환 함수들의 세트를 적용하는 것에 기초하여 HDR 이미지(Im_RHDR)를 계산하도록 배열되는 HDR 비디오 디코더(600, 1100)로서,
   상기 함수들은 적어도 동적 범위 최적화기(603)에 의해 상기 표준 동적 범위 이미지의 픽셀 루마(pixel luma)에 적용되어 동적 범위 조정된 루마(Y'HPS)를 산출하는 대략 휘도 매핑(coarse luminance mapping)(FC), 및 후속하여 범위 신장기(604)에 의해, 상기 동적 범위 조정된 루마(Y'HPS)의 가장 어두운 값(0)의 수신된 흑색 오프셋 값(Bk_off)으로의 매핑인 제2 함수를 포함하고, 상기 비디오 디코더는 상기 대략 매핑 및 상기 가장 어두운 값의 상기 매핑에 대한 대안 계산으로서, 상기 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)을 상기 HDR 이미지의 가장 어두운 휘도들의 서브세트(502)로 매핑하는 대안 휘도 변환 함수를 상기 표준 동적 범위 이미지의 상기 픽셀 루마에 적용하도록 배열되는 이득 제한기(611, 1105)를 추가로 포함하는, HDR 비디오 디코더(600, 1100).
2. 제1항에 있어서, 상기 이득 제한기는 상기 휘도 변환 함수들의 세트를 적용함으로써 획득된 중간 HDR 휘도(L_HDR_IM) 및 입력 루마(Y'_in)의 함수 중 최소를 계산하도록 배열되는, HDR 비디오 디코더(600).
3. 제1항 또는 제2항에 있어서, 상기 대안 휘도 변환은 사전고정된 또는 수신된 상수(1/gP)와 지각화된 루마(perceptualized luma)(Y'P)의 값들의 곱으로서 정의되고, 지각화된 루마(Y'P)는 상기 입력 루마들에 비선형 함수를 적용함으로써 계산되고, 비선형 함수는 서로로부터의 등거리 위치들에서의 지각화된 루마 값들의 세트가 시각적으로 균일한 명도 외관을 갖는 것을 특징으로 하는, HDR 비디오 디코더(600).
4. 제3항에 있어서, 상기 비선형 함수는
   Y'P=log[(1+(rho-1)*power(L_SDR_in,1/2,4)]/log(rho)의 정의를 갖고, 여기서 L_SDR_in은 상기 표준 동적 범위 이미지(Im_RLDR)의 선형 휘도들이고, rho는 사전고정되거나 통신된 상수인, HDR 비디오 디코더(600).
5. 제3항 또는 제4항에 있어서, 상기 상수(1/gP)는 상기 HDR 비디오 디코더에 의해 상기 HDR 이미지의 코딩 피크 명도(PB_C)의 수신된 값의 함수로서 결정되는, HDR 비디오 디코더(600).
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 HDR 비디오 디코더는 상기 대안 휘도 변환, 또는 상기 표준 동적 범위 이미지(Im_RLDR)의 적어도 상기 가장 어두운 휘도들에 대한 상기 휘도 변환 함수들의 세트에 기초하는 변환의 선택을 제어하기 위한 프로세서(901)를 포함하고, 상기 휘도 변환 함수들의 세트는 상기 표준 동적 범위 이미지(Im_RLDR)의 상기 가장 어두운 휘도들로의 가장 어두운 HDR 휘도들에 대한 상기 변환의 사양을 포함하는 미세 그레이딩 함수(fine grading function)를 포함하는, HDR 비디오 디코더(600).
7. 제6항에 있어서, 상기 프로세서(901)는 블랙 오프셋(Bk_off)의 상기 수신된 값이 0인지의 여부에 대한 체크에 기초하여 어느 휘도 변환을 적용할지를 결정하도록 배열되는, HDR 비디오 디코더(600).
8. 입력 HDR 이미지(Im_RHDR)의 100 니트 표준 동적 범위 이미지(Im_RLDR) 표현을 계산하도록 배열되는 HDR 비디오 인코더로서,
   - 입력 HDR 휘도 또는 루마(Y'HP)의 값을, 전형적으로 0인 최소 흑색 값에 매핑하여, 신장된 컬러 표현 휘도 또는 루마(Y'HPS)를 출력으로서 산출하도록 배열되는 범위 신장기(702);
   - 상기 HDR 이미지의 어두운 그리고 밝은 휘도 하위-영역의 결과적인 루마들(Y'R)의 범위의 대응하는 각각의 어두운 그리고 밝은 하위-영역으로의 할당을 지정하는 대략 휘도 매핑을 상기 신장된 컬러 표현 휘도 또는 루마(Y'HPS)에 적용하도록 배열되는 동적 범위 최적화기(703);
   - 상기 HDR 이미지의 가장 어두운 휘도들의 서브세트(502)를 상기 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)의 범위로 변환하기 위해 대안 휘도 변환 함수를 상기 입력 HDR 이미지의 상기 휘도들 또는 루마들에 대안 계산으로서 적용하도록 배열되는 이득 제한기(707)
   를 포함하는, HDR 비디오 인코더.
9. 제8항에 있어서, 상기 대안 휘도 변환은 사전고정된 또는 수신된 상수(gP)와 지각화된 루마(Y'HP)의 값들의 곱으로서 정의되고, 지각화된 루마(Y'HP)는 HDR 입력 휘도(L_in)에 비선형 함수를 적용함으로써 계산되고, 비선형 함수는 서로로부터의 등거리 위치들에서의 지각화된 루마 값들의 세트가 시각적으로 균일한 명도 외관을 갖는 것을 특징으로 하며, 상기 이득 제한기(1204)는 상기 사전고정된 또는 수신된 상수(gP)를 곱한 상기 지각화된 루마의 최대 값, 및 상기 범위 신장기에 의한 범위 신장 및 상기 동적 범위 최적화기에 의한 대략 휘도 매핑을 상기 지각화된 루마(Y'HP)에 성공적으로 적용함으로써 생성되는 지각 루마(Y'P)의 값을 계산하는, HDR 비디오 인코더.
10. 수신된 100 니트 표준 동적 범위 이미지(Im_RLDR)에 휘도 변환 함수들의 세트를 적용하는 것에 기초하여 HDR 이미지(Im_RHDR)를 계산하도록 배열되는 HDR 비디오 디코딩의 방법으로서,
    상기 함수들은 적어도 대략 휘도 매핑(FC)을 포함하고, 상기 방법은,
    - 입력 휘도들(L_SDR_in) 또는 입력 루마들(Y'P)인 그들의 함수들에 상기 대략 휘도 매핑(FC)을 적용하여 동적 범위 조정된 루마들(Y'HPS)을 산출하는 단계;
    - 상기 대략 매핑을 포함하는 상기 휘도 변환에 대안적인 대안 휘도 변환 함수를 결정하여 상기 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)로부터 상기 HDR 이미지의 가장 어두운 휘도들의 서브세트(502)에 속하는 휘도들을 계산함으로써, 그리고 상기 대안 휘도 변환 함수에 의해 결정된 루마(Y'PFB) 및 적어도 상기 대략 휘도 매핑을 적용함으로써 획득된 상기 루마(Y'HP) 중 가장 낮은 것을 선택함으로써, 이득 제한 전략을 적용하는 단계
    를 포함하는, HDR 비디오 디코딩의 방법.
11. 제10항에 있어서, 상기 대안 휘도 변환 함수를 결정하는 단계는 상기 각각의 입력 루마(Y'_in)에 대응하는 지각 루마들(Y'P)의 값들과 사전고정된 또는 수신된 상수(1/gP)를 곱하여 계산된 바와 같은, 지각 균일 공간에서 정의되는 상기 표준 동적 범위 이미지의 적어도 상기 가장 어두운 입력 루마들(Y'_in)에 걸쳐 선형 함수를 결정하는 단계를 포함하는, HDR 비디오 디코딩의 방법.
12. 입력 HDR 이미지(Im_RHDR)의 100 니트 표준 동적 범위 이미지(Im_RLDR) 표현을 계산하기 위한 HDR 비디오 인코딩의 방법으로서,
    - 매핑을 적용하는 단계로서, 상기 매핑은 입력 HDR 휘도 또는 루마(Y'HP)의 값을 상기 매핑의 출력인 범위 조정된 루마(Y'HPS)의, 전형적으로 0인 최소 흑색 값에 매핑하는, 상기 매핑을 적용하는 단계;
    - 상기 HDR 이미지의 각각의 가장 밝은 그리고 가장 어두운 휘도들의 휘도 하위-범위의 결과적인 루마들(Y'R)의 범위의 각각의 대응하는 가장 밝은 그리고 가장 어두운 하위-범위들로의 할당을 지정하는 대략 휘도 매핑(FC)을 상기 범위 조정된 루마(Y'HPS)에 후속하여 적용하는 단계;
    - 상기 매핑과 상기 대략 휘도 매핑의 조합에 대한 대안 휘도 변환으로서, 상기 HDR 이미지의 상기 가장 어두운 휘도들의 하위-범위(502)를 상기 표준 동적 범위 이미지의 대응하는 가장 어두운 루마들(Y'_in)로 변환하기 위해 대안 휘도 변환 함수를 적용하도록 배열되는 이득 제한 전략을 적용하는 단계
    를 포함하는, HDR 비디오 인코딩의 방법.
13. 제12항에 있어서, 상기 이득 제한은 상기 입력 HDR 이미지(Im_RHDR)의 휘도(L_in)에 지각화 함수를 적용함으로써 획득된 지각적으로 균일화된 루마(Y'HP)에 팩터(gP)를 곱함으로써 상기 대안 휘도 변환 함수를 계산하는, HDR 비디오 인코딩의 방법.

Images