KR102279842B1 - Hdr 이미지 인코딩 방법 및 장치 - Google Patents

Hdr 이미지 인코딩 방법 및 장치 Download PDF

Info

Publication number
KR102279842B1
KR102279842B1 KR1020207036613A KR20207036613A KR102279842B1 KR 102279842 B1 KR102279842 B1 KR 102279842B1 KR 1020207036613 A KR1020207036613 A KR 1020207036613A KR 20207036613 A KR20207036613 A KR 20207036613A KR 102279842 B1 KR102279842 B1 KR 102279842B1
Authority
KR
South Korea
Prior art keywords
luminance
dynamic range
high dynamic
video
display
Prior art date
Application number
KR1020207036613A
Other languages
English (en)
Other versions
KR20200145843A (ko
Inventor
마크 조제프 윌리엄 머텐스
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Priority claimed from KR1020177006508A external-priority patent/KR102209563B1/ko
Publication of KR20200145843A publication Critical patent/KR20200145843A/ko
Application granted granted Critical
Publication of KR102279842B1 publication Critical patent/KR102279842B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

넓은 범위의 HDR 비디오들의 미래의 비디오 전송을 가능하게 하고 이들을 가변 동적 범위 또는 피크 광도 능력의 디스플레이 상에 렌더링하기 위해, 제 1 최대 휘도(L_max_M)보다 낮은 휘도를 갖는 픽셀 컬러를 갖는 이미지들의 입력된 고 동적 범위 비디오 세트(Im_5000)를, 적어도 900 nit의 대응하는 피크 광도를 갖는 디스플레이 상에 디스플레이하기 위한 최대 휘도를 갖는, 고 동적 범위 이미지인 인코딩된 고 동적 범위 비디오(Im_2000)로 인코딩하기 위한 인코더(301)를 기술하며, 상기 인코딩 정의는 제 1 최대 휘도의 50% 이하의 제 2 최대 휘도(L_max_C)까지 픽셀 컬러 휘도의 인코딩을 가능하게 하고, 상기 인코더는 컨텐트 생성자가 낮은 제 2 최대 휘도(L_max_C)의 인코딩된 고 동적 범위 비디오(Im_2000)를 고 동적 범위 비디오(Im_5000)의 고 동적 범위 비디오 재구성(Im_5000*)으로 컬러 매핑하기 위한 적어도 톤 매핑 함수(F_2Tu)를 지정할 수 있게 하도록 구성된 재-그레이딩 유닛(320); 및 상기 인코딩된 고 동적 범위 비디오(Im_2000)를 비디오 신호(S_im)에 기록하고, 상기 적어도 톤 매핑 함수(F_2Tu, 601)를 메타데이터로서 기록하도록 구성된 포맷터를 포함하는 것을 특징으로 한다. 또한, 관련된 인코더 및 디코더 실시예들과 방법들, 전송의 기술적 구성요소들과 기술들을 기술한다.

Description

HDR 이미지 인코딩 방법 및 장치{METHODS AND APPARATUSES FOR ENCODING HDR IMAGES}
본 발명은 하나의(즉, 스틸) 하지만 바람직하게는 더 많은(즉, 비디오) 높은 동적 범위 이미지(들)의 인코딩에 관한 것이고, 필요한 코딩된 이미지 정보를 수신측으로 전달하는 대응하는 기술 시스템 및 방법, 및 코딩된 이미지를 디코딩하고 궁극적으로 이들을 디스플레이에 사용할 수 있게 하는 디코더에 관한 것이다.
현재 우리가 낮은 동적 범위(LDR: Low Dynamic Range) 코딩이라고 부르는 것인, 오랜 기간 고전적인 이미지/비디오 코딩 기술(NTSC로 시작해서 MPEG 2에서 MPEG-HEVC까지)을 사용한 후, 최근 HDR 장면의 소위 HDR(High Dynamic Range) 이미지를 처리할 수 있는 차세대 비디오 코덱을 결정하는 연구 및 개발이 시작됐다.
이러한 것은 한편으로는 적어도 11 스톱들(예를 들면, ARRI의 현재 카메라는 약 14 스톱들을 얻음), 또는 바람직하게는 16 스톱 이상까지의 증가된 동적 범위를 포착(capture)할 수 있는 카메라를 요구할 것이다. 일부 카메라들은 예를 들면 느리고 빠른 노출을 사용하고 이들을 혼합하며, 또는 다른 카메라들은 서로 다른 감도의 두 개 이상의 센서를 향한 빔 분할을 사용할 수 있다.
고전적 이미징에 있어서 예를 들면 실내 또는 차량 외부에서 많은 정보가 버려지는데(하드 클리핑되는데) 반하여, 현재의 이미징 시스템들은 모든 그러한 정보를 포착할 수 있으며, 문제는 그 때 특히 디스플레이 상에 렌더링할 때 그와 함께 무엇을 해야하는 지가 된다. 16 스톱은 많은(비록 전부는 아니지만) HDR 장면을 포착하기에 이미 충분해야하지만, 디스플레이 상에서는 실제 장면에서처럼 평균 광도와 비교되는 광도의 예를 들면 웰딩 아크(welding arc)를 반드시 렌더링할 필요도 없으며 전형적인 디스플레이 상에서도 그와 같이 할 수 없다. 현재에는 더 높은 동적 범위 디스플레이가 출현하고 있는데, 이는 예를 들면, LDR 디스플레이의 현재의 전형적인 500 nit(또는 100 nit의 그레이딩 기준 모니터) 피크 광도(PB)보다 높은 피크 광도를 가지며, 800-1000 nit 텔레비전이 출현하고 있고, SIM2는 5000 개의 모니터를 만들었다.
하지만, 특히 LDR 코덱 규격은, 특히, 예를 들면, 다양한 IC들에 의해 처리되어야하는(루마라고 하는 코드로서) 휘도를 나타내는 코드 워드의 비트 수에서(예를 들면, 적어도 일부 비디오 통신 애플리케이션에서는 컬러 성분 당 10 비트가 바람직 할 수 있다) 특히 워드 길이와 같은 현재의 전형적인 제한을 고려할 필요가 있을 때, 수신기로의 HDR 이미지의 디테일을 충분히 인코딩할 수 없다. 특히 단기간에 작업 시스템을 원한다면, 당 분야의 기존 기술과 너무 많이 벗어나지 말아야 하고, LDR 이미지보다 더욱 아름다운 HDR 표현으로(예를 들면, 더 밝은 램프 또는 현장감 있는 파이어, 햇빛에서의 도마뱀의 더 큰 명암비의 비늘 등) 이미지의 인코딩, 핸들링 및 최종 디스플레잉을 여전히 허용해야한다.
HDR 이미지는, 장면에서 다양한 캡처된 오브젝트의 컬러 텍스처의 고품질 인코딩을 위한 충분한 정보를 갖는(일반적으로 매우 밝고 어두운 영역 모두를 동시에 포함할 수 있고 중간 광도 영역이 될 수도 있으며 또한 정확하게 이상적으로 렌더링될 필요가 있는 상당 수의 그레이 값들을 갖는) HDR 장면의 텍스처를 인코딩하는 이미지이며, 그에 따라 HDR 장면의 시각적으로 우수한 품질의 렌더링이 예를 들면 5000 nit 같이 높은 피크 광도의 고품질 HDR 디스플레이 상에서 수행될 수 있다. 도 1은 전형적인 HDR 이미지, 즉 밝게 컬러링된 장난감이나 상자가 평균 조명에 비해 강하게 조명된 야간의 장난감 가게를 도시하는데, 이는 그 장난감 중 일부는 특정 위치의 램프에 가까이 있지만 다른 장난감은 그림자 영역에서 멀리 떨어져 있기 때문이다. 태양과 하늘이 각각의 지점을 똑같이 비추는 낮의 장면과는 달리, 야간에는 2 차적으로 감소시키는 방식으로 장면을 비추는 몇몇의 광원들만이 있기 때문이다. 이러한 것은 광원 자체의 주위에 밝은 영역(104)을 생성하고, 멀리 있는 모서리에 어두운 영역을 생성한다. 예를 들면, 하수구 입구(114)는 어느 곳에서도 거의 빛을 얻지 못하므로 하수구에서 매우 어두운 곳이다. 예를 들면, 야간 장면에서 동일한 시간에 램프 자체에 대해 10,000 nit 이상의 이미지 영역 휘도(또는, 선형 카메라로 캡처된 경우: 해당 영역에서의 픽셀 휘도)를 가질 수 있으며, 어두운 영역에서는 1 nit의 일부, 예를 들면 0.001 nit로, 전체 동적 범위는 1 천만 대 1로 만들게 된다. 이러한 것은 가장 밝은 픽셀 대 가장 어두운 픽셀에 대한 이론적 인 범위가 되고, 유용한 동적 범위는 당연히 더 낮을 수 있는데, 한 쌍의 작은 램프들이나 하수구 입구 뒤의 작은 어두운 패치를 뷰어에게 정확하게 표시할 필요가 없기 때문이며, 일반적인 HDR 장면에서 정상적인 관심 오브젝트의 유용한 동적 범위조차도 10,000 : 1(또는 14 스톱)보다 훨씬 높을 수 있다. 2000 nit 피크 광도의 디스플레이에 렌더링된 오브젝트 픽셀 휘도에 대해 예리한 재규정이 없이 이들 휘도를 맹목적으로 매핑하는 것은, "이론적으로"(즉, 상대적-대-피크-화이트 렌더링이 이러한 예시적인 장면의 양호한 시각적 품질 렌더링인 것으로 가정) 최소 0.2 nit의 최소(가시적인) 블랙을 갖는다는 것을 의미한다.
HDR 비디오(또한 스틸 이미지) 인코딩은 최근까지 연구되어 왔을 뿐이며 지금까지는 어려운 작업이었고, 연구 커뮤니티의 일반적인 믿음은 장면 오브젝트의 LDR 범위 이상의 광도를 인코딩하기 위해(예를 들면, 장면 휘도를 직접적으로 인코딩하는 인코딩) 상당히 더 많은 비트를 필요로 하거나, 또는 일부 2층 접근이 필요하다는 것이고, 여기에서, 예를 들면 오브젝트 반사율 이미지 이외에도 조명 부스트 이미지 또는 유사한 분해 전략이 있다. 이러한 시간-인스턴트에 대한 두 이미지의 HDR 비디오 인코딩 시스템의 예는 US8248486B1 또는 WO2005/1040035에서 확인될 수 있다.
출원인은 최근 더욱 간단한 시간-인스턴트에 대한 단일 이미지 접근을 제안했으며(WO2011/107905 및 WO2012/153224 기준), 이는 HDR과 LDR 표현 이미지를 인코딩하는 파라메트릭 기능적 방식인데, 예를 들면 1500 nit의 사전 선택된 기준값 주변의 피크 광도를 갖는(또는 실제의 동적 범위에서) 디스플레이에 통상 적합한 단일의 HDR 이미지를 단순히 인코딩하는 것(또한 소위 표현(look) 또는 그레이딩(grading)) 외에, 마켓에서 다른 동적 범위를 갖는 다른 디스플레이에 대해 우리의 프레임워크로 서비스를 제공하기를 원하기 때문이다. 즉, 인코딩된 높은 동적 범위 이미지를 자동 변환에 의해 어떤 합리적인 표현 LDR 이미지로 어떻게 변경하는지를 수신측에 맹목적으로 남겨두기보다는 예를 들면 500 또는 100 nit의 휴대용 디스플레이가 될 것이기 때문에, 코딩된 HDR 이미지, 즉 콘텐츠 생성자가 동의할 수 있는 LDR 이미지에서 시작하여 적절한 LDR 이미지에 어떻게 도달하는 지를 컬러 프로세싱 기능(및 그 기능적 형태들을 특징화하는 파라미터들)에서 공통 인코딩한다.
"높은 동적 범위(HDR)"에서는 일반적으로 캡처 측에서 캡처된 이미지(들)가 1) 레거시 LDR 인코딩과 비교하여 높은 휘도 명암비(즉, 10.000 : 1 이상의 명암비가 코딩에 의해 달성될 수 있고 이미지 핸들링의 모든 구성 요소가 렌더링까지 연결(chain)될 수 있음)를 가지고; 및 2) 적어도 1000 nit 이상의 캡처된 오브젝트 휘도는 인코딩 가능해야하며, 특히 점등된 램프 또는 밝은 햇빛의 외부를 나타내는 데 필요한 어떤 원하는 외관을 생성하기 위해 주어진 재생 환경에 대해 1000 nit를 초과하여 재생가능하게 될 필요가 있다. 또는 이러한 이미지의 렌더링은 HDR이며(즉, 이미지는 높은 품질의 HDR 렌더링에 충분하고 기술적으로 사용하기 용이한 방식으로 정보를 포함해야한다는 점에서 이미지에 적합해야한다), 이미지는 적어도 1000 nit의 피크 광도를 갖는 디스플레이 상에 렌더링되거나 렌더링되도록 의도되는 것을 의미한다(예를 들면, 다양한 이미지 오브젝트들의 휘도를 재-결정하는 적절한 컬러 매핑 이후에 예컨대 100 nit 피크 광도의 LDR 디스플레이 상에 렌더링 될 수 없음을 의미하지는 않으며, 결과적인 오브젝트 휘도들은 상이한 디스플레이 동적 범위 및 가능하게는 뷰잉 환경에 더 적합하게 된다).
새로운 HDR 코딩 시스템을 설계할 때, 양호한 획일적인 뷰가 없는 어떠한 실제 코딩 시스템의 디테일에 기록할 수 있기 전에, 여러 가지 사항을 지속적으로 연구하고 해결책을 찾아야한다. 첫째, 장면 오브젝트의 휘도를 예를 들면, 픽셀들에 대해 렌더링되는 휘도가 되도록 이들을 실제로 인코딩하는 10 비트(또는 더 낮은 품질 시스템의 경우 8 비트, 또는 전문가 품질의 경우 12 비트)의 루마로 매핑하는 어떤 코드 할당 기능을 사용하는가? 픽셀의 렌더링된 휘도 또는 인지가능한 광도를 인코딩하는 코드를 루마(luma)라고 부를 것인데 이는 이러한 것이 LDR 인코딩에서 또한 주어지는 명칭이기 때문이며, 이제 코드 할당 기능은 가능한 대안 중 하나가 될 수 있지만, 적어도 LDR 비디오 인코딩의 감마 2.2 코드 할당 기능과는 매우 상이하다. 당업자는, 휘도 또는 동등한 루마의 특성을 갖는 기술을 설명할 때, 실제의 실시예에서, Y'가 미리 고정된 코드 할당 함수로 결정된 루마이고 u'및 v'가 색도 좌표이거나 등가적으로 선형 또는 비선형 RGB 표현에 있는 Y'u'v' 컬러 표현를 사용할 때와 같이 프로세싱이 루마 그 자체 상에서 수행될 수 있다는 것을 이해할 수 있을 것이다. 코드 할당 기능의 선택은, HDR의 루마 코드 또는 루마를 기준 디스플레이 상에서 렌더링된 휘도로 변환하는 이론적인 기준 디스플레이 모델을 규정하는 마스터 EOTF(전자 광학 전달 함수)를 정의하는 것과 동등하게 공식화될 수 있다. LDR 변형은 CRT 전자총의 물리적 특성으로부터 우연히 2.2 지수 법칙 또는 소위 감마 함수로 고정되었으며, 약 100 nit의 피크 광도를 갖고 대응하는 LDR 캡처링 이론에 따라 캡처된 이미지를 가지며 특히 관심이 덜한 이미지 영역들의 장면, 정확한 노출 및 클리핑의 합리적으로 균일한 조명을 갖는 그러한 종류의 디스플레이 상에서 시각심리적으로 적합하게 작동하게 된다.
하지만, 둘째로, 코드 범위(예를 들면, 0-1013)를 따라 코드에 대해 휘도를 분배하는 코드 할당 기능을 규정하기 전에, 어떠한 것이 전형적인 HDR을 인코딩하기 위한 최상의 범위인 마스터 휘도 범위를 유발하는지 규정해야한다. 이러한 스텝은 간과해서는 안 된다. 센서의 동적 범위에 관계없이 중간 그레이 및 화이트에 관해 노출함으로써 LDR에서 어떤 범위를 갖게 된다(예를 들면 셀룰로이드 필름의 소프트 경사가 상당한 명암이 없는 이미지를 산출할 수 있고, 디지털 카메라 이미지가 화이트 엔드에서 클리핑을 가질 수 있고 및/또는 인코딩의 블랙 엔드(black end)에서 노이즈에서의 잠김(drowning)을 가질 수 있다). 이를 통해 정지 이미지를 연구하는 초기 연구자들은 장면에서 일반적인 휘도의 선형 범위(즉, nit의 아주 작은 부분에서부터 수십억의 nit까지)를 구현하는 것이 합리적이라고 생각했지만 모든 실질적인 면을 고려한 비디오 코딩의 경우 이것을 고려하면 이러한 마스터 휘도 범위를 태양의 10억 nit까지 높이는 것은 실용적이지 않다.
WO014/009844는 그러한 마스터 휘도 범위 기반의 HDR 비디오 인코딩 시스템의 예를 기술하며, 이는 출원인의 시간-인스턴트에 대한 단일 이미지의 인코딩 이론을 따르고 따라서 단일 이미지는 이 설명에서 첫 번째 LDR(즉, 100 nit) 룩이 될 비디오의 각 시간 인스턴트에 대해 인코딩되며, 또한 그 컬러 프로세싱 기능이 상기 단일 이미지와 연관된 메타데이터로 인코딩되어 이들이 HDR 룩인 두 번째 룩으로 변환된다(5,000 nit 마스터 그레이딩 재구성이 될 수 있음)는 점에서 하기의 실시예들과 유사하다. 하지만, 본 특허출원에서의 설명은 단일 고정된 마스터 휘도 범위 기술적 디자인 이론의 근본적 원리를 따른다. 일반적으로 단일의 LDR 및 HDR 룩만이 인코딩된다(이러한 정보로부터 수신측에서 계산된 다른 중간 룩들이 있을 수 있으며, 예를 들면, LDR 이미지는 1200 nit 연결된 디스플레이에 필요한 룩으로 업그레이드될 수 있지만, 설명된 다른 중간의, 낮은 HDR 품질의 이미지 인코딩 자체는 없으며, 즉 100 nit LDR 이미지들만 전송된다). 이러한 HDR 룩은 5000 nit 마스터 휘도 범위에서 생성된 마스터 룩이 되며, LDR 이미지는 LDR 시기에서 일어나는 것과 같이 100 nit 기준 디스플레이에 대한 이미지가 되며, HDR 이미지는 실제로 단일의 통신 LDR 이미지로부터 기능적 변환을 통해 인코딩된다. 즉, 레거시 디스플레이 등과의 하위 호환성(backwards compatibility)을 위해 일반적으로 요구되는 LDR 룩 이외에 마스터 HDR 예를 들면 5000 nit 이미지(HDR_ORIG, HDR_FIN)가 설명될 뿐이다.
출원인의 US2014/097113은 또한 수신된 단일의 HDR 이미지가 될 수 있는 HDR 이미지와 통신하는 방법을 설명하며, 그로부터 다른 그레이딩들이 계산될 수 있지만, 이러한 문서는 그 양태에 대해 침묵하고 있다. 이러한 선행 기술이 설명하는 것은 기존의 동일한 LDR 인코딩 컨테이너 기술에서 여러 동적 범위 룩들을 번갈아 인코딩 할 수 있다는 것이다. 수신기가 혼동될 수 없게 하기 위해 어떠한 버전이 사용되었는지를 나타내야한다. 예를 들면, 이미지 픽셀들은 표준 LDR 인코딩 정의에 따라 3 개의 16 비트 R, G 및 B 컬러 성분들로 정의된 컬러들을 가질 수 있다(즉, Rec. 709 코드 할당 기능으로). 이 경우, 수신기는 이것이 100 nit 디스플레이에 대한 그레이딩이라는 것을 알게 될 것이고, 디스플레이가 2500 nit의 피크 광도를 가지고 있을 때라도 100 nit와 정확히 또는 거의 동일한 최대 휘도로 이를 디스플레이 할 것이고, 그에 따라 이미지들을 너무 밝게 할 수 있다. 대안적으로, 동일한 R, G 및 B 컬러 성분들은 예를 들면, 5000 nit HDR 이미지의 컬러들을 포함할 수 있으며, 이는 오브젝트 픽셀 컬러들의 상대 값들이 달라질 것이라는 것을 의미한다(예를 들면, 어두운 오브젝트는 LDR에서는 0.05지만 HDR에서는 0.0005의 빨강 구성 요소를 가질 수 있다). 수신된 LDR-컨테이너 인코딩된 이미지들이 실제로 HDR 이미지를 포함하는 경우, 그 사실은 수신된 인코딩이 실제로 무엇인지를 나타내는 메타데이터에 의해 수신기에 표시될 것이다. 따라서, 수신기는 그 자체의 최적화 프로세싱에 의해 특정 디스플레이에서 최적으로 렌더링하는 방법을 알 수 있다. 예를들면, 5000 nit 이미지가 수신되고 4500 nit 디스플레이가 연결되면, 이전의 비색 변환(prior colorimetric transformation) 없이 해당 이미지가 직접 렌더링 될 수 있다. 하지만 100 nit 디스플레이가 연결되면 그러한 수신된 5000 nit 이미지는 먼저 다운-그레이드(down-grade)되어야 하지만, 이미 적절한 100 nit 이미지가 수신 되었다면 요구되지 않는다. 종래 기술에서 설명되는 것은, 예를 들면 1000 nit 수신 HDR 이미지가 예를 들면 500 nit 디스플레이에 대해 더 최적이 되도록 수신기가 그 측에서 일부 컬러 변환을 행하는 것이 필요할 수 있다는 것이지만, 이러한 설명에서는, 전송 측으로부터 더 많은 정보를 전달함으로써 그것이 촉진되어야 하는지 어떻게 촉진되어야 하는지는 차치하고라도 어떻게 행해지는지에 대해서도 전혀 설명되지 않고 있다. 즉, 다양한 HDR 또는 LDR 그레이딩을 어떻게 인코딩하고 지정하는지와는 별개로, 이 문서는 전송기 측에서 적어도 2 개의 HDR 인코딩을 실제로 갖는 시스템 구성에 대해서 및 수신 측에서의 그에 대한 복구 가능성에 대해서 어떠한 것도 설명하고 있지 않다(이 선행 기술에서는 단지 하나의 HDR 이미지 만이 존재할 것이며, 이는 하나의 HDR 이미지가 우리의 마스터 5,000 nit 그레이딩과 동일할 수 있다).
US2012/0230597는 또 다른 대안적인 방식을 설명하며, 5,000 nit HDR 이미지의 재구성을 가능하게 하는 SDR 이미지+데이터로서 하나의 단일 HDR 이미지(5,000 nit 이미지라 칭함)를 인코딩하는 것이다.
US2011/0279506은 프린터용 컬러들을 최선으로 매핑하기 위한 방법에 대해 설명한다. 프린트는 낮은 동적 범위로 복제되고 감산 색채계도 부가적 텔레비전에 대한 비디오 인코딩과는 매우 다르므로, 가치있는 정보는 거의 추출할 수 없다.
보편적인 HDR 인코딩 시스템을 형성할 때 단일의 마스터 휘도 범위에서 궁극적인 HDR 이미지 인코딩에서 벗어나는 것이 언뜻 보기에 다소 비논리적인 것처럼 보일 수 있지만(특히, 합리적으로 가장 높은 렌더링가능한 오브젝트 휘도가 될, HDR 장면의 이러한 최상의 가능한 그레이딩 이외에 다른 어떤 것이 왜 필요한지, 또는 HDR을 정의하는 더 많은 가능한 방법들을 가지면서 왜 복잡한 일이 생길 수 있는지?), 본 발명자는 어떤 응용 분야에 대해 어떤 HDR 휘도, 더 정확하게는 루마가 대응하게 될 하나 이상의 디스플레이에서 렌더링되는 휘도들이 될 휘도 및 루마 코드의 정의와 관련하여 더욱더 다양성에 대한 필요성이 여전히 있어야할 것이라고 생각했다.
미래에 경쟁력을 더욱 갖추게 될 보다 범용적인 HDR 비디오 인코딩 기술의 목적은 제 1 최대 휘도(L_max_M) 이하의 휘도를 갖는 픽셀 컬러를 갖는 이미지 세트(Im_5000)를 포함하는 입력된 고 동적 범위 비디오를 인코딩된 고 동적 범위 비디오(Im_2000)로 인코딩하기 위한 인코더(301)에 의해 실현되며, 상기 인코딩된 고 동적 범위 비디오(Im_2000)에서 임의의 픽셀의 휘도는 적어도 900 nit인 제 2 최대 휘도(L_max_C) 이하이고, 상기 제 1 최대 휘도(L_max_M)는 상기 제 2 최대 휘도(L_max_C)의 적어도 2 배이고, 상기 인코더는:
컨텐트 생성자가 낮은 제 2 최대 휘도(L_max_C)의 인코딩된 고 동적 범위 비디오(Im_2000)를 고 동적 범위 비디오(Im_5000)의 고 동적 범위 비디오 재구성(Im_5000*)으로 컬러 매핑하기 위한 적어도 톤 매핑 함수(F_2Tu)를 지정할 수 있게 하도록 구성된 재-그레이딩 유닛(320); 및
상기 인코딩된 고 동적 범위 비디오(Im_2000)를 비디오 신호(S_im)에 기록하고, 상기 적어도 톤 매핑 함수(F_2Tu, 601)를 메타데이터로서 기록하도록 구성된 포맷터를 포함하는 것을 특징으로 한다.
이러한 것은 그레이더(grader)가 매핑하기 위한 매우 정확한 요구된 컬러 매핑 규격(F_2Tu)을 지정할 수 있게 하기 때문에, 실내에서의 예를 들면 5000 nit 마스터 그레이딩은 기술적인 이유로 사용 가능한 상이한 2000 nit 기준 범위/영역(gamut)에서 사용할 수 있다. 따라서, 어떠한 선행 기술이나 확실해 보이는 추론이 지시하는 것과는 달리 실제로는 두 가지 HDR 그레이딩이 있다. 그 하나는 그레이더가 의도대로 할 수 있다는 것이고, 그레이더는 적어도 하나의 수신기에 전달하기 위해 최적화할 필요가 있다. 제 1 마스터 그레이딩의 휘도는 예를 들면 5000 nit까지 진행한다. 실제로 전달되는 HDR 인코딩의 픽셀의 휘도는 잠재적으로, 외관상으로 더 낮은 품질의 HDR 그레이딩이 되는 낮은 최대치(L_max_C)까지 진행한다. 이러한 최대치들은 그레이딩된 이미지와 연관되며, 예를 들면, 전형적으로, 인코딩된 높은 동적 범위 이미지 픽셀 컬러 데이터는 이것이 가능한 최대 2000 nit(예를 들면, CODE_MAX = 2000)까지의 휘도를 갖는 그레이딩(grading)이라는 것을 나타내는 메타데이터 인디케이터로 보충될 것이다. 전형적으로, 코드 할당 기능을 사용하는 것이 실제적일 것이며, 기능적 형태 또한 추가 메타데이터에서 수신기들에 전달될 것이다. 그레이더(grader)는 5,000 nit 디스플레이가 마스터 그레이딩의 대략 Im_5000*을 필요로 할 때 특히 적합한 인코딩의 품질을 균형있게 할 수 있지만, 이외에 수신기는 또한 약 2,000 nit 피크 광도의 디스플레이에서 렌더링하기 위한 Im_2000의 룩을 필요로 한다. 그레이더가 무엇을 선택하든, 우리의 재-그레이딩 유닛의 툴 세트의 가역성 제약은 합당한 재구성 Im_5000*을 보장할 것이다. 즉, 수신된 2000 nit 이미지로부터 5000 nit 이미지로의 업그레이드 컬러 매핑 함수의 정확한 계산을 지정하는 데이터로서 일반적으로 공동-전달되는 것은 주어진 응용에 대한 5000 nit 이미지에 충분히 근접한 5000 nit 이미지를 생성할 것이다(즉, 통상적으로 상기 기능들은 응용을 위해 공장에서 설계되어 예를 들면 밴딩 또는 노이즈가 합당하게 되며, 본 발명에 대한 임의의 경우 이러한 것은 그레이더가 조정할 수 있는 적어도 하나의 톤 매핑 함수을 포함하는 세트 컬러 변환 기능들이 될 것이고, 즉 일반적으로 Im_5000*을 유도하는 기능들 중 적어도 하나를 선택하고 예를 들면 슬라이더는 선형 세그먼트의 기울기와 같은 그 파라미터를 지정하고 임의의 수신기가 일단 함수들을 수신하면 필요한 Im_5000*을 간단히 산출할 수 있다). 추가의 실시예들은 후드 기술적 계산(hood technical calculations)을 이용할 수 있어, 동일한 단일 인코딩 이미지에서 2000 nit 및 5000 nit 그레이딩/룩을 공동 인코딩하는 최적의 균형을 달성하는 데 그레이더를 추가로 보조하며, 이러한 것은 이러한 것에 대해 인식하고 있고 이러한 미세 조정에 관련되는지에 상관없으며 또는 그의 예술적 판단에만 기초한 최고의 Im_2000 그레이딩을 이루는 것에만 전적으로 집중한다.
인코더(301)의 다양한 실시예는 제 2 최대 휘도(L_max_C)에 대해 사전 합의 된 값들을 사용할 수 있으며, 의도된 애플리케이션(예를 들면, 인터넷으로부터의 프리 비디오는 더 낮은 품질 요건을 가질 수 있다)에 유용하다. L_max_C에 대한 값들은 통상적으로 900 nit와 3500 nit, 바람직하게는 예를 들면 1000 nit와 2000 nit 사이에 있을 수 있다. MPEG_HEVC/265와 같은 MPEG 기술을 재사용하는 실용적인 비디오 인코딩에 대한 적절한 최대 휘도로 보여지며, 특히 이는 가까운 장래에 시장에서 가장 자주 배치되는 디스플레이의 예상되는 평균 피크와 일치하기 때문이다.
일 실시예로서, 입력된 고 동적 범위 비디오를 인코딩하기 위한 인코더(301)가 유익하며, 여기에서 재-그레이딩 유닛(320)이 임의로 형성된 단조롭게 증가하는 톤 매핑 및 휘도-의존성 포화도 곱 기능을 적용하는 컬러 매핑 사양을 포함하는 매핑 함수(F_2Tu)의 명세를 허용하도록 배열되며, 이러한 기능들은 인코딩된 고 동적 범위 비디오(Im_2000)의 입력 이미지들에서와 같이 고 동적 범위 비디오 재구성(Im_5000*)의 출력 이미지들에서 픽셀 컬러에 대한 동일한 색조(hue)를 유지하면서 대응하는 휘도 및 포화도 변화를 적용하는 컬러 프로세싱에 사용될 것이다. 이러한 것은 상술한 기술적 시스템에 부합하고 인코더 또는 디코더 IC 구성 측면에서 단순한 컬러 매핑의 가장 단순하지만 다양한 방식으로 보여 질 수 있다. 색조를 일정하게 유지하는 프로세싱을 사용하는 것이 적합하고, 픽셀의 휘도 및 포화도를 최적으로 변환함으로써 새롭운 렌더링 상황에 대한 원하는 재-그레이딩된 룩, 특히 최적으로 재-그레이딩된 이미지들이 공급되는 연결된 디스플레이의 피크 광도를 얻을 수 있다(동등하게 루마 프로세싱으로서 휘도 프로세싱을 지정할 수 있지만, 본 발명의 주된 개념과 그 실시예들에 대해 설명되어야할 세부사항이 아니다는 것을 유의해야한다). 당업자는, 장면의 의미론적 복잡성과 그 HDR 효과로 인해 그레이더는 낮은 품질(2000 nit)의 HDR 그레이딩과 더 높은 품질의 것(마스터 5000 nit 그레이딩) 사이에 복잡한 매핑을 디자인하기를 원할 수 있음을 이해할 수 있지만, 일반적으로 그러한 기능적 형태는 광도의 전환을 원하지 않기 때문에 단조롭게 증가할 것이다. 또한, 상기 청구내용 중 하나의 방법에 의해 청구된 바와 같이 입력된 고 동적 범위 비디오를 인코딩하기 위한 인코더(301)는 바람직하게 상기 인코딩된 고 동적 범위 비디오(Im_2000)를 상기 제 1 최대 휘도(L_max_M) 및 상기 제 2 최대 휘도(L_max_C)와 상이한 피크 휘도(PL_1, PL_2)로 디스플레이 상에 렌더링하기에 광도가 최적화된 제 3 비디오로 어떻게 컬러 매핑하는지를 지정하는 적어도 하나의 추가의 컬러 매핑 함수(F_2T1, F_d2d)를 지정하도록 구성된 추가의 그레이딩 유닛(325)을 포함한다. 시장에서 인기있는 디스플레이의 각 클래스에 대해 그레이더는 이러한 기술적 메카니즘에 의해 렌더링된 디스플레이 출력으로서 가장 적합한 룩을 얻기 위해 필요한 컬러 프로세싱을 정확하게 지정할 수 있다. 또는, 그레이더는 몇 가지의 그레이딩만을 지정할 수 있으며(예를 들면, 2000 nit의 Im_2000, 5000 nit의 Im_5000* 및 Im_100 nit), 그리고 이러한 정보로부터 2000 nit보다 높거나 낮은 디스플레이 피크 광도로 진행할 때 어떤 최종 프로세싱이 적용하는지를 디스플레이가 평가할 수 있게 한다. 다양한 HDR 그레이딩들 사이의 변환은 HDR과 LDR 그레이딩들 사이의 그레이딩과는 예술적으로나 기술적으로 매우 다를 수 있기 때문에, 그레이더가 하나의 추가의 기준 상황, 보다 구체적으로는 하나의 LDR 그레이딩으로 어떻게 재-그레이딩해야하는 지를 적어도 지정할 수 있다면 유용한다. 그레이더는 자신이 원하는 만큼 대응하는 기능들을 가진 다양한 디스플레이 피크 광도에 대해 많은 컬러 매핑 시나리오들을 지정할 수 있지만, 일반적으로 노력과 예산 측면에서 볼 때, 인코딩된 비디오는 수용할 것으로 추정되는 디스플레이 피크 광도의 범위의 극단적인 몇 가지 핵심의 중요한 변형들만을 지정할 수 있으며, 수신기는 특정 디스플레이에 대한 요구된 그레이딩의 최종 최적화를 행하게 된다(하지만, 본 명세서에서 기술된 인코딩 기술은 적어도 필요한 컬러 매핑 함수 정보의 최소량을 지정할 수 있다).
인코더 실시예는 인코딩된 고 동적 범위 비디오(Im_2000)로부터 100 nit 비디오를 획득하기 위한 컬러 매핑 함수인 적어도 하나의 추가의 컬러 매핑 함수를 지정하도록 구성된 추가의 그레이딩 유닛(325)을 갖는 것이 유익하다. 일반적으로, 사용자는 여전히 일부 레거시 장치(예를 들면, 집에서 그의 자동차로 걷고 있는 동안 그 비디오를 모바일 폰에 공유하기를 원할 수 있음)를 가질 것이므로, 디코더가 역시 레거시 HDR 스트림을 생성할 수 있는 경우 유용하며, 이러한 것은, 인코더들이 그 LDR 그레이딩이 어떻게 보여야 하는가, 특히 HDR 룩과 어떻게 관련되어야하는지, 즉 2000 nit 수신된 이미지들로부터 적어도 변화하는 다양한 오브젝트 휘도를 컬러 프로세싱함으로써 어떻게 유도되어야 하는지를 그레이더로 하여금 지정할 수 있게 해야한다는 것을 의미한다. 또한, 다른 피크 광도의 디스플레이를 위한 다른 그레이딩에 맞추기 위해, 상당히 낮은 피크 광도(전형적으로 레거시 100 nit LDR 디스플레이)의 하나의 기준 디스플레이에 대한 이러한 컬러 매핑, 즉 그 기능들과 그 파라미터들은, 임의의 필요한 디스플레이 피크 광도 그레이딩에 대한 그 자신의 최적화된 컬러 매핑을 행하도록 그러한 기능들을 어떻게 수정하는지를 결정하기 위해 수신기에 대해 매우 유용한 정보를 포함할 것이지만, 임의의 수신기는 매핑 함수를 재산출하기를 원한다.
또한, 인코딩된 높은 동적 범위 비디오(Im_2000) 또는 추가의 컬러 매핑(F_d2d)을 적용함으로써 그로부터 유도된 임의의 비디오가 콘텐트 생성자에 따라 충분한 시각적 품질이 되는 피크 광도의 범위에서 피크 광도를 갖는 디스플레이들의 서브세트를 식별하는 적어도 하나의 디스플레이 피크 광도 한도(LH_100, LL_100)를 컨텐트 생성자로 하여금 지정하게 할 수 있도록 구성된 한도 스펙 유닛(389)을 포함하는 인코더(301) 실시예가 유용하다. 이러한 것은 디스플레이의 범위에 대해 기능적 리매핑 정의가 가장 적합한/최적인지를 명시할 수 있으며, 예시적인 정확한 체계는 하기에서 설명된다.
또한, 인코딩된 고 동적 범위 비디오(Im_2000)로서, 제 1 최대 휘도(L_max_M) 이하의 휘도를 갖는 픽셀 컬러를 갖는 이미지 세트(Im_5000)를 포함하는 입력된 고 동적 범위 비디오를 인코딩하는 방법이 바람직하며, 상기 인코딩된 고 동적 범위 비디오(Im_2000) 내의 임의의 픽셀의 휘도는 적어도 900 nit인 제 2 최대 휘도(L_max_C) 이하이고, 상기 제 1 최대 휘도(L_max_M)는 상기 제 2 최대 휘도(L_max_C)의 적어도 2 배이며, 상기 방법은:
- 상기 낮은 제 2 최대 휘도(L_max_C)의 인코딩된 고 동적 범위 비디오(Im_2000)를 상기 높은 동적 범위 비디오(Im_5000)의 고 동적 범위 비디오 재구성(Im_5000*)으로 컬러 매핑하기 위한 적어도 톤 매핑 함수(F_2Tu)를 포함하는 컬러 매핑을 지정하는 단계;
- 비디오 신호(S_im)에 상기 인코딩된 고 동적 범위 비디오(Im_2000) 픽셀 컬러 데이터를 기록하고, 적어도 톤 매핑 함수(F_2Tu, 601)을 메타데이터로서 기록하는 단계를 포함하는 것을 특징으로 한다.
수신측에서, 다양한 인코더 실시예들을 반영하면, 제 1 최대 휘도(L_max_M)까지의 값을 갖는 휘도를 갖는 픽셀의 이미지 세트(Im_5000)를 포함하는 고 동적 범위 비디오를 디코딩하기 위한 비디오 디코더(401)가 있을 수 있으며, 상기 고 동적 범위 비디오는 인코딩된 고 동적 범위 비디오(Im_2000)로서 인코딩되고, 상기 인코딩된 고 동적 범위 비디오(Im_2000) 내의 임의의 픽셀의 휘도는 적어도 900 nit인 제 2 최대 휘도(L_max_C) 이하이고, 상기 제 1 최대 휘도(L_max_M)는 상기 제 2 최대 휘도(L_max_C)의 적어도 2 배이며, 상기 디코더는:
- 비디오 신호(S_im) 및 압축된 이미지 데이터로부터 판독하고 상기 인코딩된 고 동적 범위 비디오(Im_2000)를 얻도록 이를 압축 해제하도록 구성된 비디오 디컴프레서(403);
- 상기 비디오 신호(S_im)로부터 적어도 하나의 컬러 매핑 사양(F_2Tu)을 추출하도록 구성된 메타데이터 판독 유닛(477); 및
- 상기 제 2 최대 휘도(L_max_C)보다 적어도 2배 높은 제 3 최대 휘도를 갖는 재구성된 고 동적 범위 비디오(Im_5000*)를 획득하기 위해 상기 인코딩된 고 동적 범위 비디오(Im_2000)에 상기 컬러 매핑 사양을 적용하도록 구성된 컬러 프로세싱 유닛(410)을 포함하는 것을 특징으로 한다.
따라서, 이러한 비디오 디코더는 낮은 휘도 범위(Im_2000)의 매우 다른 그레이딩된 이미지 또는 이미지 세트를 수신하더라도 컬러 그레이터의 컴퓨터에 있던 원래의 Im_5000을 대체로 재구성할 수 있다. 이 분야의 다양한 응용들은 인코딩의 최대 휘도에 대한 마스터 그레이딩의 최대 휘도의 비에 대해 다소 야심적일 수도 있지만, 일반적으로 마스터 그레이딩은 적어도 인코딩(L_max_C)의 2 배인 최대치를 가져야 하지만, 또한 예를 들면 10 배 또는 그 이상이 될 수도 있다고 말할 수 있다(일반적으로, 두 개의 HDR 그레이딩 간의 함수 및/또는 그 파라미터는 다소 다를 수 있지만 동일한 기술적 프레임워크가 적용 가능함). 일반적으로, 전송 측에서 그레이더가 어떤 L_max_C를 사용할 것인지 선택할 수 있으며, 그리고 인코딩된 고 동적 범위 비디오에 충실히 인코딩될 수 있도록 자신의 마스터 그레이딩을 구성할 수 있다(또는 그 반대로, 특정 최대치를 갖는 자신의 마스터 그레이딩(master grading)을 구성한 후, 충분한 정확도로 그러한 마스터 그레이딩을 처리할 수 있는 수신기에 대한 전달을 위해 코덱 세트로부터 를 선택할 수 있다).
선택되면, 인코더는 메타데이터로 모든 것을 인코딩할 것이므로, 어떠한 수신기도 어떤 픽셀 컬러를 얻게 되는지, 특히 어떤 컬러 매핑으로 수신된 Im_2000 이미지로부터 Im_5000* 이미지를 재구성해야하는지 정확하게 알게 된다.
제 3 최대 휘도가 제 1 최대 휘도(L_max_M)와 동일한 이미지의 고 동적 범위 비디오 세트를 디코딩하기 위한 비디오 디코더(401)가 유익하다. 이러한 것은 예를 들면, 6000 nit의 것 대신에 정확한 휘도 재구성이 된다. 물론, 디코더는 또한 마스터 그레이딩과는 다른 피크 광도 그레이딩으로 예를 들면, 중간 3000 nit 그레이딩으로 재-그레이딩할 수 있다. 수신된 것과 같이 정확하게 컬러 매핑 함수의 하나의 세트를 적용하거나 수신된 모든 컬러 매핑 함수 중 적어도 일부로부터의 컬러 매핑 함수의 최종 세트를 유도함으로써 디코더는 이를 행할 수 있다(예를 들면, 두 개의 HDR 그레이딩 사이의 재-그레이딩 시에, 수신기는 그레이더가 선택된 두 개의 HDR 그레이딩 사이에서 재-그레이딩해야하는 것을 어떻게 지정했는지를 확인해야한다).
어느 피크 광도를 갖는 적어도 하나의 디스플레이(452)가 연결되는지 비디오가 공급될 필요가 있는지를 결정하고 디스플레이에 전송하기 위한 출력 이미지(Im_x00, Im_5000*)를 얻기 위해 상기 적어도 하나의 디스플레이(452)의 피크 광도에 기초하여 어느 컬러 프로세싱(F_2Tu, F_d2d)이 인코딩된 고 동적 범위 비디오(Im_2000)에 적용될 것인지를 결정하도록 구성된 로직 프로세서(405)를 포함하는 이미지의 고 동적 범위 비디오 세트를 디코딩하는 비디오 디코더(401)가 또한 유용하다.
이러한 로직 프로세서는 수신기가 매우 다양한 범위의 가능하게 접속된 디스플레이들을 위해 생성하는 구동 이미지를 최적화할 수 있게 한다. 이는 Im_2000에서 정의된 오브젝트 픽셀 컬러 텍스처 정보에서 항상 시작하여 적용할 적절한 함수를 판독하고 결정한다.
비디오 디코더(401)의 실시예는 유선 비디오 전송 커넥터(432) 또는 무선 비디오 전송 커넥터(433)에 연결될 수 있으며, 그 유선의 비디오 전송 커넥터(432) 또는 무선 비디오 전송 커넥터(433)를 통해 비디오 전송을 위해 사용가능한 비디오 전송 프로토콜에 필요한 것에 따라 적어도 상기 출력 이미지(Im_x00, Im_5000*)를 포맷팅하도록 구성된 전송 포맷터(415)를 갖는다. 그래서 예를 들면, Wi-Fi 표준이 특정 방식으로, 예를 들면 기준 범위/영역(gamut)의 말하자면 1500 nit의 또 다른 최대 휘도로 HDR 이미지 통신을 요구하는 경우, 포맷터는 해당 형식에 따라 재-인코딩할 수 있다. 중요한 것은 원래의 이미지 정보(Im_5000)와 생성자 갖고 있는 예술적 컬러 비전, 즉 Im_2000에서 인코딩된 것과 그 처리 방법, 즉 적어도 F_2Tu 는 수신측에서 결정가능하고 특정의 로컬 렌더링 상황에 필요한 것으로 최적으로 변환될 수 있다는 것이다.
비디오 디코더(401)의 실시예는, 로직 프로세서(405)가 또한 디스플레이 피크 광도의 적어도 하나의 한도(LH_100, LL_100)를 비디오 신호(S_im)로부터 판독하고 적어도 디스플레이 피크 광도의 한도(LH_100, LL_100)에 기초하여 어떤 컬러 프로세싱(F_2Tu, F_d2d)는 적용되는지를 결정하도록 구성될 수 있다는 것을 특징으로 한다. 이러한 방식으로, 디코더는 이미지를 공급할 필요가 있는 디스플레이가 예를 들면, 비디오 신호(S_im)와 공동-제공되는 제 3 세트의 컬러 매핑 함수(어떤 메커니즘도 수신기가 모든 정보를 제 시간에 갖는다면 그러한 공동-공급과 동일 할 수 있음을 당업자는 이해할 것임을 유의)을 적용하여 예를 들면 재-그레이딩된 이미지를 생성함으로써 서비스될 수 있는 특정 범위에 포함되는지 여부, 또는 예를 들면, 수신된 Im_2000 이미지(들)로부터 그들을 산출함으로써 디스플레이에 전달되는 필요한 재-그레이딩된 이미지를 유도하기 위해 그 자신의 최적의 컬러 매핑 함수를 산출하는 것이 필요한지를 빠르게 확인할 수 있다.
유익한 것은 또한 제 1 최대 휘도(L_max_M)까지 디코딩 가능한 휘도를 갖는 픽셀을 갖는 이미지의 고 동적 범위 비디오 세트의 비디오 디코딩 방법으로서, 상기 고 동적 범위 비디오는 인코딩된 고 동적 범위 비디오(Im_2000)로서 인코딩되고, 상기 인코딩된 고 동적 범위 비디오(Im_2000) 내의 임의의 픽셀의 휘도는 적어도 900 nit인 제 2 최대 휘도(L_max_C) 이하이고 상기 제 1 최대 휘도(L_max_M)는 제 2 최대 휘도(L_max_C)의 적어도 2배이며, 상기 방법은:
- 비디오 신호(S_im)로부터 판독하고 상기 인코딩된 고 동적 범위 비디오(Im_2000)를 압축 해제하는 단계;
- 상기 비디오 신호(S_im)로부터 적어도 하나의 컬러 매핑 사양(F_2Tu)을 추출하는 단계; 및
- 상기 제 2 최대 휘도(L_max_C)의 적어도 2배 높은 제 3 최대 휘도를 갖는 재구성된 고 동적 범위 비디오(Im_5000*)를 획득하기 위해 상기 인코딩된 고 동적 범위 비디오(Im_2000)에 상기 컬러 매핑 사양을 적용하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 방법 및 장치의 이들 및 다른 양태는 이후 기술되는 실행 및 실시예와 첨부된 도면으로부터 명백할 것이고 이들을 기준하여 설명될 것이며, 이는 단지 보다 일반적인 개념을 예시하는 비-제한적 특정 예시로서 제공된다.
도 1은 그레이더가 임의의 HDR 장면을 큰 휘도 기준 범위(예를 들면, 0 nit 내지 5000 nit)를 갖는 높은 품질 마스터 인코딩으로 변환할 수 있는 방법을 개략적으로 도시한다.
도 2는 기준 휘도 범위(GRAD_MSTR) 상에 지정된 이러한 마스터 그레이딩이 실질적으로 더 작은 최대 휘도를 갖는 수신 측으로 전달되도록(여전히 이미지 장면의 HDR 측면의 전부 또는 대부분을 캡쳐링함) HDR 인코딩으로 재정의될 수 있는 방법을 개략적으로 도시하며, 코드 최대 휘도 M_COD_REF는 일반적으로 원래 범위(5000)의 80 % 이하, 예를 들면 2000 nit, 또는 종종 적어도 2배 작다.
도 3은 그레이더가 자신이 필요로 하는 것, 특히 예를 들면, 2000 nit 그레이딩 및 전달된 2000 nit 그레이딩으로부터 5000 nit 그레이딩을 재구성하는 컬러 프로세싱 기능을 사용하여 파라메트릭 기능적 방식으로 기술적으로 그와 함께 공동-인코딩된 5000 nit 그레이딩을 지정할 수 있게 하는 하기의 새로운 설명에 따른 인코더 실시예를 갖는 가능한 생성 측 인코딩 기술을 개략적으로 도시한다.
도 4는 적어도 디스플레이 피크 광도 및 뷰잉 환경, 뷰어 선호도 등과 같은 가능한 다른 요인에 기초하여 각 연결된 디스플레이에 최적으로 그레이딩된 비디오를 사용할 수 있게 하는 가능한 수신 측 디코딩 및 HDR 이미지 사용 시스템을 개략적으로 도시한다.
도 5는 시작 이미지로서 기능하는 인코딩되고 수신된 이미지(Im_2000)의 최대 휘도보다 낮은 피크 광도의 본 예에서는 2개의 디스플레이에 대한 우리의 컬러 매핑 사양(F_d2d)을 갖는 가능한 컬러 리매핑을 개략적으로 도시하며, 상기 컬러 매핑은 각각의 디스플레이(400 또는 100 nit 피크 광도 PB를 갖는)에 대한 비디오 이미지 세트의 적절히 그레이딩된 디스플레이 구동 이미지에 도달하기 위해 적용되고, 예를 들면 교회 내부 또는 어두운 지하실의 장면 숏(shot)의 이미지로부터 일부 선택된 컬러의 상대적인 브라이트닝을 갖는 예시적인 프로세싱을 도시하며, 여기에서 도 5a는 광도 및 다채로움(colorfulness)의 모두에서 중요한 오브젝트에 대해 HDR로의 전형적인 매핑을 도시하고, 도 5b는 특이치(outlier) 컬러를 처리하는 가능한 방법을 도시한다.
도 6은 (인코딩된 비디오 신호(S_im)로 인코딩된) 2000 nit 그레이딩으로부터 최대 휘도 5000 nit, 즉, 룩(look)에서 생성자 측 및 시간에서 마스터 그레이딩 최대치와 실질적으로 동일한 그레이딩된 비디오로 진행하기 위한 가능한 컬러 리매핑을 개략적으로 도시한다.
도 7은 예를 들면 5000 nit 주변의 피크 광도의 디스플레이로 공급하기 위한 또는 추후 사용을 위해 이러한 더 높은 품질 비디오를 저장하기 위해, 2000 nit 기준 비디오로부터 5000 nit 기준 비디오로 진행하는 또 다른 컬러 리매핑 예를 개략적으로 도시한다.
도 8은 상당히 감소된 동적 범위 성능, 즉 예를 들면 2000 nit 또는 1200 nit 등의 최대 광도 L_MAX_C의 HDR 코덱에 의한 전송을 위해 인코딩됨으로써(하지만, 물론 여전히 HDR 인코딩, 즉 900 nit 이상의 연관된 기준 디스플레이 피크 휘도가 최소가 되도록 하는 인코딩된 이미지(들)에 대한 여전히 충분히 높은 최대 휘도), 임의의 피크 휘도 또는 동적 범위 성능의 디스플레이에 사용되도록 임의의 원래의 품질(즉, GRAD_MSTR의 임의의 최대 휘도, 예를 들면, 5000 nit 또는 15000 nit)의 HDR 이미지를 인코딩하기 위해 이하 기술된 방식이 어떻게 사용되는지를 개략적으로 도시한다.
도 9는 높은 피크 광도 HDR 그레이딩과 LDR 그레이딩이 수신된 2000 nit 그레이딩으로부터 어떻게 유도될 수 있는지 및 이들 둘이 기술적으로 어떻게 근본적으로 다른 성격이 될 수 있는지를 개략적으로 도시한다.
도 10은 HDR 이미지의 몇몇의 전형적인 루마 히스토그램을 개략적으로 도시한다.
도 1은 야간에 내부 조명이 있는 장난감 가게의 일반적인 HDR 이미징 시나리오의 예를 도시한다. 여기에는 (야간의 어두운 외부와 비교하여) 강하게 조명된 장난감을 포함하고 있으며, 이는 물론 어떤 반사 오브젝트로서 램프 자체보다 상당히 낮은 픽셀 휘도를 가질 것이지만 여전히 비교적 높은 휘도를 가질 수 있다. 아이들을 위한 장난감은 대개 매우 다채롭다. 그리고 (램프, 조명기구(102), 램프 주변의 영역(104) 사이의 구조의 일부가 이상적으로는 충실히 인코딩외어야 하고 가능할 때 다양한 그레이 값으로 적절히 렌더링되어야 하지만) 뷰어가 품질에 이의를 갖지 않는 용이하게 렌더링되어 클리핑될 수 있는 램프(101)와는 대조적으로, 장난감(106)의 상대적 정보를 클리핑하는 것은 더 낮은 품질로 렌더링되는 이미지들로 이끌게 될 것이다. 코드 할당의 문제, 즉 어느 루마 값들 Y'가 어느 카메라-캡처링된 또는 렌더링된 휘도 Y와 대응해야하는지를 살펴보기 전에(이들이 추가의 디스플레이 최적화보다는 직접 렌더링되는 것으로 가정), 우리는 먼저 어떤 휘도가 어떠한 그러한 코딩에서 캡처링될 것이 필요할 것인지의 문제를 살펴야할 필요가 있으며, 이러한 것은 기준 휘도 범위를 지정함으로써 기술적으로 행해질 수 있다. 이러한 기준 휘도 범위는 이러한 예의 이미지뿐만 아니라 모든 HDR 이미지에 대해 필요한 모든 오브젝트 휘도를 사실적으로 렌더링하기에 충분히 높은 인코딩 가능한 최대 휘도를 갖는다. 상점의 일반적인 조명은 200 lux라고 가정한다. TL 램프에 10배 더 가까운 천장의 장난감은 100배 더 큰 조명, 즉 20,000 lux를 받는다. 따라서, 반사 오브젝트 컬러로서 화이트 휘도는 약 0.8*20,000/pi = 5000 nit가 될 것이다. 이는 최대치가 5000 nit인 경우 상기 비교적 밝은 오브젝트의 휘도를 램프의 휘도에 가깝게 하거나, 또는 적거나 밝은 오브젝트의 컬러가 예를 들면 5000 nit 기준 휘도 범위, 또는 2000 nit 기준 휘도 범위(COD_REF)로도 규정된 가능한 컬러 영역의 상부 영역에 포함될 수 있다. 물론 한편으로는 최적의 렌더링을 위한 컬러는 실제 장면의 값으로 정확하게 그레이딩될 필요는 없으며(이러한 것은 렌더링의 어떠한 특정 뷰잉 환경의 평균 광도가 이미지화된 장면의 평균 광도와 정확히 동일해야하는 경우라도 그 특성상 어느 정도 대략적인 렌더링이 될 뿐일 것이다), 다른 한편으로는 아래에서 설명할 것처럼 다른 휘도 또는 더 정확하게는 다른 휘도를 인코딩하는 것으로 추정된 루마 코드로 휘도를 인코딩하기 위한 수학적 기술이 될 수 있다. 하지만, 이러한 산출은 HDR 인코딩 시스템에 바람직한 기술적 제약 사항에 대한 빠른 뷰를 제공한다. 고 포화도 컬러는 예를 들면 빨간 장난감에서 이것의 약 30%의 휘도를 산출하지만 이들은 또한 그 빨강 코너에서 더 작은 색영역의 최상위 휘도 영역에 존재할 것이다(하드 클리핑이든 또는 소프트 클리핑이든 매핑됨). 이러한 것은 장면의 (자연적인 또는 파생된) 원하는 HDR 인코딩의 속성을 제공하지만, 동일한 장면에 대한 어떠한 더 낮은 동적 범위 룩 이미지에 대해서는 아무것도 지정하지 않으며, 그 기술적 한계의 특성에 의해, 특히 의도된 매체 동적 범위(MDR: Medium Dynamic Range) 렌더링 디스플레이는 매우 다를 수 있다.
어떠한 HDR 이미지 인코딩 체인의 첫 번째 질문은 실제 장면의 휘도를 우리의 기준 휘도 범위 GRAD_MSTR의 휘도로 매핑하는 방법이며, 이에 대해서는 단순함을 위해 일반적으로 콘텐트 생성자가 작업하기를 희망하는 것으로 가정하는데, 즉 원하는 예술적 룩을 생산하는 그의 최종 컬러 그레이딩을 하는 것이다. 이상적으로는, 적어도 충실하게 렌더링된 휘도가 되는데 필요하게 렌더링할 수 있는, 즉 적어도 5000 nit의 피크 광도를 갖는, 고품질 디스플레이(그레이더가 고품질 기준 디스플레이에서 고품질의 마스터 그레이딩을 확인하고자하기 때문에, 최종 디스플레이가 무엇이든 그의 컨텐트가 다양한 뷰어들에게 보여질 것이기 때문에 이상적으로는 일부 렌더링은 매우 높은 피크 광도 HDR 디스플레이에서 일어날 것이고 상기 컨텐트는 여전히 화려하게 보여질 필요가 있다)는 휘도의 기준 범위를 렌더링해야하며, 설명의 간략함을 위해, 실제 뷰잉 환경이 정의된 기준 시청 환경과 동일한 경우, 이러한 기준 디스플레이는 GRAD_MSTR로부터 기준 휘도를 단지 일-대-일로 렌더링한다고 가정할 수 있다고 가정할 수 있고, 지정된 휘도가 예를 들면. 3200 nit이면, 기준 디스플레이는 3200 nit를 렌더링할 것이다.
합리적인 기준 휘도 범위 GRAD_MSTR을 고정시킨 후, 적합한 기준 범위 GRAD_MSTR을 일단 선택하면, 장면 범위를 기준 범위로 어떻게 매핑할지가 여전히 결정된다. 이미 매우 밝은 20,000 nit TL 튜브의 모든 세부 사항을 정확하게 표현/코딩하고자한다면 실제 비디오 인코딩에 대해 확실하게 태양 표면의 10억 nit의 정확하게 인코딩할 필요는 없다. 이러한 첫 번째 단계는 주로 장면 의존적인 예술적 최적화가 될 것이며, 이러한 높은 광도는 "부정확하게 나타내게(misrepresented)" 될 것인데, 즉 GRAD_MSTR에서 합리적인 대체로서 표현된다. 예를 들면, 마스터 그레이더는 그의 마스터 HDR 그레이딩에서 클리핑할 극도로 밝은 오브젝트를 선택할 수 있으며, 예를 들면, 그레이드 및 그로 인하여 어떠한 추후 단계에서 태양을 화이트 또는 단일의 높은 광도의 옐로우, 예를 들면 최대 옐로우(R=G=100%, B=0%)로 나타낸다. HDR 이미지 및 특히 비디오 코딩을 염두에 두고 모든 관련 인자를 취하면, 전형적인 기준 범위 GRAD_MSTR은 예를 들면, 20000 nit 또는 10000 nit 또는 5000 nit가 될 수 있으며, 우리의 실시예의 나머지 설명에서 기술적으로 양호한 실용적인 선택인 휘도 [0,5000]를 커버하기 위해 GRAD_MSTR을 가정할 것이다. 값 0은 실제로 매우 작은 휘도가 될 수 있으며, 그러한 값은 사용되는 표준화된 코드 할당 함수에 따라 달라질 수 있지만, 실용적인 목적으로는 너무 낮아서 0과 동일할 수 있음에 유의해야한다.
두 번째 질문은 캡처된 장면의 휘도를 매핑하는 방법이다. 이러한 문제는, 특정 디스플레이 및 일반적으로 또한 일부 뷰잉 환경에 가장 적합한 렌더링을 얻기 위해서 기준 휘도에서 작용하는 어떠한 렌더링 컬러 변환이 여전히 있을 수 있기 때문에(실제로는 컬러지만 설명의 간략함을 위해 일반적으로 컬러의 색조(hue) 및 포화도가 컬러 변화가 있는 휘도에서만 이미징 파이프라인 전체에서 동일하게 유지된다고 가정한다), 어떠한 디스플레이에서 휘도를 렌더링하는 방법과 반드시 동일하지는 않다는 것이다. 하지만, 기준 범위를 몇 가지 전형적인 가까운 장래와 중반의 디스플레이와 연관시키면 이러한 것들은 기준 범위 자체와 디스플레이의 특성을 다소 연관된다. 앞으로 몇 년 동안, 어쩌면 영원히, 디스플레이는 전형적으로 20000 nit보다 훨씬 넘는 피크 광도를 갖지 않을 것이며, 어쩌면 2000 nit 이상도 아닐 수 있으며, 이러한 것은 뷰의 정확한 장면 인코딩 지점보다는 뷰의 디스플레이 렌더링 가능한 지점으로부터 어떠한 장면 휘도를 인코딩하는 것이 더 합리적이게 한다. 즉, 장면의 휘도를 "부정확하게 나타내게" 될 수 있다. 이를 돕기 위한 두 가지 요인은: 1) 픽셀 텍스처에 대해 충분한 구별가능한 정보가 코딩되어 있는 한 임의의 인코딩으로부터 다른 표현을 유도할 수 있다는 사실 및 통찰(예를 들면, 최악의 경우, 예를 들면 빨간색 킬트의 텍스처를 캡처할 수 있으며, 이를 소프트웨어에서 픽셀 단위로 녹색 킬트로 재-컬러링할 수 있으며, 동일한 작업이 그레이-값 또는 휘도에 대해 수행될 수 있지만, 패턴을 결정하는 다른 휘도 또는 컬러 값은 모두 단일 값으로 함께 그룹화되어서는 안 된다)과, 2) 사람의 시각이 적응할 수 있으며, 특히 뷰어가 현장에 없었고 실제 컬러를 알지 못하는 경우, 특히 뇌는 잘못된 컬러에 대한 상상력으로 수정할 수 있다. 모든 HDR 기술, 특히 인코딩 시스템의 작업은 광도계로 정정하기보다는 믿을 수 있는 이미지를 만들 수 있다는 것이다.
따라서 일반적으로 그레이더는 우리의 장난감 가게와 같은 HDR 장면이나 더 어두운 실내에서 본 햇빛이 잘 드는 풍경을 5000 nit까지의 충분히 큰 기준 범위 GRAD_MSTR에 대해 그의 선호도에 따라 비교적 충분하게 매핑할 수 있다. 초기 마스터 그레이딩이 그 자신의 기술 및 예술적 규칙을 갖고 있지만, 이미지 처리 파이프라인을 따라 기술적 구성 요소에서 일어나는 것을 혼동해서는 안 된다. 특히, (일반적으로 그 시점부터 또는 적어도 파이프 라인의 일부에서) 다양한 이유로 그 HDR 기준 범위와 같은 더 작은 범위를 사용하는 파이프 라인에 다양한 기술이 있을 수 있지만, 그러한 환경을 예를 들면 최대 2000 nit를 갖는 COD_REF와 같은 더 작은 범위로 매핑하는 방법은 사소한 것이 아니다.
본 출원은 보다 크고 더 나은 기준 범위 GRAD_MSTR, 전형적으로는 그 기준 범위에서 그레이딩된 최상의 품질의 이미지로부터 시작하면서 더 작은 기준 범위 COD_REF를 갖는 중간 표현으로 진행하는 일부 실시예를 설명할 것이다.
도 1은 그레이더가 GRAD_MSTR의 다양한 이용가능한 하위 범위로 그의 장면 휘도를 표현(할당)하기를 원할 수 있는지의 예를 설명한다. 그레이더는 TL 튜브 또는 다른 램프(101) 그 자체를 최대 값(L_max_M)에 매핑하거나, 또는 적어도 그것과 매우 근접하게 예를 들면 L1 = 4995 이상 매핑하기를 원할 수 있다.
전형적으로 반사 금속으로 된 조명기구(102) 자체는 단지 "화이트 홀"보다 더욱 사실적으로 렌더링하도록 적어도 일부 차별화된 값으로 제안하기를 원할 수 있는 일부 흥미로운 패턴을 포함하며(균일한 세부사항이 누락된 화이트 영역은 일반적인 LDR 렌더링이 될 것임), 즉 이러한 것을 매우 밝은 빛의 범위 R_BL에서 코딩하기를 원한다. 이들은 아마도 이미 무색이 아니더라도 중립 근처에서 매우 흐릿해질 수 있으므로 이러한 픽셀 컬러는 RGB 코드 가능 영역의 일반적인 좁은 텐트 상단에 맞을 수 있다. 매우 밝은 빛의 범위 R_BL 아래에는 램프에 매우 가까운 장난감(106)과 같은 밝은 오브젝트 R_BO의 범위가 있을 것이다. 밝은 오브젝트의 이러한 픽셀(이 예에서는 장난감뿐만 아니라 예를 들면 햇빛 외부에 있는 잔디 또는 집의 칠한 벽)은 적어도 종종 원래의 장면 컬러와 비교하여 그 코딩된 값을 다소 포화도가 떨어지게 할 수 있는 경우가 있더라도 종종 (강하게) 채색될 수 있으므로, 밝은 색채의 컬러를 표현할 수 있는 RGB 영역 텐트의 범위를 할당할 필요가 있다. 실제 장면과 상대적인 관계가 있으므로 이들이 합리적으로 밝고 합리적으로 채색되는 것이 충분할 수 있다. 도 1a에서, 덜 묘사된 1D 휘도 뷰가 아닌 코딩 가능한 색영역에서의 3 차원(더 정확하게는 그로부터 절단된 2 차원 적색-시안 색-휘도) 서브 세트 선택을 볼 수 있다(본 방법의 실제 구현에서, 상기 선택을 결정하거나 어떠한 컬러 처리를 행하기 위해 예를 들면 Value = max(R,G,B)와 같은 휘도 상관 관계를 또한 사용할 수 있다). 볼 수 있는 바와 같이, 밝은 램프는, 실제로 색채 예를 들면 빨간색 TL 튜브가 아닌 한, 종종 포화도가 감소된 매우 밝은 값으로 표시되며 뷰어는 이를 수용할 것이다. 하지만, 예를 들면 햇볕이 드는 잔디로 그러한 파스텔리제이션(pastellization)을 해서는 안 되는데, 이는 정확히 LDR 코딩에서 발생하는 일종의 오류이기 때문이다. 다채로운 컬러가 필요한 경우, 밝은 합당한 채색 서브레인지 R_BO로 그레이딩될 수 있다. 높은 포화도를 렌더링할 수 있는 디스플레이(예를 들면, 전용 원색을 갖는 멀티프라이머리(multiprimary) 디스플레이)에 대해 원래의 포화도의 절반으로 컬러를 코딩했더라도 너무 과도한 이미지 인공물을 갖지 않고 항상 포화도를 두 배로 늘릴 수 있다.
예를 들면, 5000 nit의 양호한 HDR 기준 디스플레이를 일단 정의하면, 장면 컬러를 어떻게 인코딩하는지 또는 보다 구체적으로는 그 휘도의 문제를 여전히 정의해야한다.
고전적인 LDR 이미징은 그 측면에 대해 너무 많은 고려를 하지 않았다. 장면의 조도가 무엇이든, 카메라의 자동 노출은 이미징된 장면의 일부 밝은 컬러와 코드 화이트(실제로 중간 그레이로 매핑하는 일부 평균 컬러 계산을 통해)를 단지 연관시켰다. 이러한 시점에서 HDR 연구에 대하여 생각해본다면, 이러한 것은 항상 수학적으로 작동하지만 기술적으로나 예술적으로 너무 많은 콘트라스트 비가 없는 밝은 조명 환경에 가장 적합한 장면에서의 매우 특정한 룩이 되며, 예를 들면 일반적으로 균일하게 비추고 어두운 오브젝트 컬러 아래까지 기록하는 1%-100% 반사 오브젝트는 노이즈에 대해 센서 또는 코딩 산술에서 뜻하지 않게 여전히 충실하게 표현된다(임의의 LDR 이미지가 대응되어야하는 렌더링된 휘도에 대해 주어진 유용한 수는 0.1 nit 내지 100 nit 픽셀 휘도가 된다). 일부 또는 심지어 많은 컬러가 클리핑되고, 가장 밝고 충실하게 코딩된 화이트는 햇빛이 비추는 장면에서는 20,000 nit, 또는 길게 노출된 밤의 장면에서는 50 nit가 될 수 있다. 또한 LDR 이미지 처리 이론의 렌더링 측면에서, 100 nit에 이론적으로 최적인 그레이딩이 200 nit, 400 nit 또는 50 nit 디스플레이에서 특정 뷰어에 실제로 보이는지 여부 또는 기차역의 플랫폼에서 또는 어두운 방에서 보이는지의 여부는 신경 쓰지 않았다. 대부분의 이미지와 보통의 중요하지 않은 뷰어에 대해, 하나 또는 두 스톱의 차이는 그다지 중요하지는 않지만, 100 nit로부터 피크 광도에서 복수의 스톱만큼 다른 매우 중요한 HDR 이미지 및/또는 디스플레이에 대한 특정 순간에 차이가 바람직하지 않게 생기게 된다. 궁극적으로 렌더링된 룩과 생성자의 의도된 룩의 유사성은, LDR 코딩 시간에 명확하게 정의되었더라도, 뷰잉 조건이 이론적인 기준과 너무 다르지 않은 경우에만 보장된다는 것은 분명하다.
하지만 미래 지향적인 HDR 이미지 또는 비디오 인코딩 기술에서, 내용의 복잡성이 무엇이든, 이미지는 필드(디스플레이 + 환경)에서 매우 다양한 상이한 렌더링 조건에서 합리적인 렌더링을 위해 정확하게 해석되어야하며, 기준 범위 및 컬러 영역뿐만 아니라 캡처링되고 표현되는 장면 컬러로 이를 사용/채우는 방법이 충분히 고려되어야한다.
LDR에서와 같이 완전히 상대적인 할당을 수행하지 않는 것이 바람직하다(즉, LDR 이미지에 있는 장면이 무엇이든, 코드의 화이트는 항상 디스플레이의 화이트로 매핑되고, 디스플레이의 피크 광도가 무엇이든, 예를 들면 어두운 장면을 렌더링할 필요가 있을 때, 최고 광도 이하의 휘도를 인코딩하는 코드를 사용하는 것이 더 좋다).
눈/뇌는 상대 컬러 검출기이고 렌더링 조건은 상당히 다양할 수 있기 때문에 HDR 인코딩 시스템에 대해 최종 렌더링에는 또한 몇 가지 관련성이 있다. 하지만, 일부 컬러 표현에서 중간에 컬러들의 더욱 수학적으로 정확한 스펙으로부터 시작하지만 수신측에서 가변성이 처리될 수 있다(마켓에서의 디스플레이에만 있었던 EBU 프라이머리 및 감마 2.2로 CRT에 링크된 NTSC와 MPEG2와 같은 하나의 특정 디스플레이 기술에 더 이상 그 자체가 링크되지 않는다).
한 편에서 예를 들면 5000 nit 기준 범위의 기준 휘도에 대한 장면 휘도의 정확한 일 대 일 매핑을 필요로 하는 요구하는 반면에, 다른 한편 디스플레이 렌더링된 휘도에 대한 기준 휘도는 실용적으로 용이하고 다목적으로 사용하기 위한 제약을 제한하는 것이다.
그래서 일반적으로 그와 같이 구성되고 채워진 기준 범위 GRAD_MSTR을 갖고자 하며(즉, 기준 휘도에 대한 장면 휘도의 할당), 대부분의 휘도들은 대략 1:1로 매핑되고, 그에 의해 특정 장면 휘도는 궁극적으로 모든 유형의 수신 디스플레이에서 렌더링된 휘도가 되는 것에 일치할 것이다(그에 의해 장면에서 물리적으로 관찰가능한 휘도들과 디스플레이상의 휘도 사이에 일부 디밍 팩터가 있을 수 있으므로 렌더링된 휘도는 장면 -밝은 햇빛이나 밤의 풍경- 의 카테고리에 대한 장면 휘도와 일치할 필요는 없으며, 이러한 디밍 펙터는 디스플레이에 어느 정도 의존적일 수 있으며, 전형적인 디스플레이 카테고리에 대해 초기에 결정될 수 있다). 다양한 디스플레이에서 더 어둡게 렌더링된 픽셀 휘도의 이러한 대략적인 동일성은 일반적으로 많은 (비록 전부는 아닐지라도) 디스플레이에서 렌더링 될 수 있는 장면에서 낮은 휘도에 대해 정확할 것이다. 하지만, 하이 엔드에서 휘도는 이론적으로 무엇이든 될 수 있으므로(잠재적으로 예를 들면 센서 상에 비추는 이미지 레이저 빔에 대응하는 휘도까지), 가능한 장면 휘도의 밝은 측에서 기준 휘도에 대한 장면 휘도의 보다 자유로운 할당을 사용할 수 있는데, 예를 들면 50,000 nit는 -이미 시장에서 충분한 양의 디스플레이에 렌더링할 수 있다면- (특히, 어두운 뷰잉 환경에서) 너무 밝아 뷰어에게 편안하지 않게 되기 때문이며, 따라서 (렌더링 디스플레이의 피크 광도가 무엇이든간에) 어떻게든 렌더링된 휘도 값이 되도록 더욱 적절하게 변환될 필요가 있다. 출원인에 따라, 비록 10000 nit도 또한 유용한 값이 될 수도 있지만, 5000 nit가 기준 범위의 상한에 대한 합리적인 값이 될 것이다.
다소 어두운, 덜 강하게 조명된 장난감/오브젝트(108)는 LDR 디스플레이 상에 또한 합리적으로 충실히 렌더링될 수 있는 정상 범위 R_N의 일부 휘도에 할당될 수 있고, 오브젝트(110)는 램프로부터 멀리 떨어져 있고, 즉 장면으로부터 선형적으로 측정할 수 있는 픽셀 휘도가 더 어두워질수록, 이들은 또한 기준 범위에 대해 더 낮게 할당된다(여기서 선형 할당 전략을 사용한다고 가정하며, GRAD_MASTR L_ref=k*L_scene에서, k는 1과 같거나 상황에 따라 일부가 (컬러 그레이더에 의해) 최적으로 선택된 스케일링 펙터가 되고, 이러한 것은 일반적으로 예를 들면 0.5로 너무 낮지 않게 되어 모든 픽셀 컬러에 유지되고 특히 더 어두운 것에 충분히 밝게 함). 장난감 가게 밖에서 몇 개의 램프가 켜져 있는 야간 거리에는 아주 어두운 오브젝트가 있을 것이고, 이는 기준 범위의 어두운 하위범위 R_D로 매핑된다. 일반적으로 약간의 비선형 코드 할당을 거기에서 사용하여 광도를 약간 올릴 수 있지만, 휘도에 대해 충분한 코드(예를 들면, 10 비트)가 있는 경우, 그 선택된 값을 갖는 k로 선형 할당을 계속할 수 있다. 예를 들면 어두운 거의 조명이 없는 문(112)의 이들 값은 적어도 클리핑되지 않는 충분히 고유한 코드들로 코딩되며, 이러한 것은 그 어두운 컬러가 배드(bad), 즉 비교적 밝은, 블랙을 갖는 낮은 콘트라스트 LDR 디스플레이 상에 렌더링될(될 수 있는) 것인지의 여부와는 상관없다. 하수구 그리드를 통해 보이는 하수구(114)의 오브젝트가 너무 어둡고, 그레이더가 이들 모두를 예를 들면 루마 1 또는 0의 최소 코드 가능한 값인 코드(최소) 블랙으로, 그에 따른 그 대응하는 휘도로 매핑할 수 있는 것에 관심이 없을 수 있지만, 어두운 배수로 픽셀에도 동일하게 적용될 것이다(먼저 카메라에 의해 이미 충분히 선명하고 노이즈 없게 캡터된 경우).
5000 nit 범위로의 이러한 매핑은 실행에 있어 합리적으로 직접적일 수 있으며, 예를 들면 그레이더가 이를 행하는 것으로 가정할 수 있지만, 이들 값을 더 작은 [0, 2000] nit 범위로 직접 매핑하는 것은 적어도 일부 중요한 장면들에 대해 그레이더에 문제를 제기할 수 있다. 그 문제는 상이한 장면 오브젝트에 대해 적절한 기준 휘도들을 선택하는 그레이더의 예술적 기술에 의해 모두 순수하게 해결될 수 없지만, 그레이더는 리를 도울 수 있는 기술적 솔루션을 가져야한다. 예를 들면, 상점의 조명 및 및 조명된 부분이 어두워져 이들을 COD_REF의 1500-2000 하위 범위에서 매핑하게 된다면, 이러한 어두워짐으로 더 어두워진 부분에는 무슨 일이 일어나겠는가? 어두워진 것이 단순한 비-선형 코드 (재)할당을 사용하는 경우, 예를 들면 고정된 EOTF로 코드들을 디스플레이하는 렌더러들에 의해 적어도 단순한 직접적인 사용에 대해 이들 더 어두워진 컬러들은 너무 어둡게 되지 않을까? 한편으로 휘도 범위를 따라 아마도 존재할 수 있는 (또는 실제 장면에서 존재하는) 각각의 오브젝트 텍스처, 및 하나의 전형적인 렌더링 시나리오(이후 특정 디스플레이에 대한 특정 렌더링 시나리오로 조정하기 위해 비색계 룩에 덜 영향을 미치는 2 차 컬러 변환만을 필요로 할 것임)에 대응하는 적어도 하나의 기준 휘도 범위의 각 오브젝트에 대한 합당한 휘도 값인 이미지의 합당한 룩에 대해 얼마나 많은 코드가 보유될 수 있는지와 같은 측면들 사이에 긴장감이 있다. 몇몇의 교환이 당면한 상황에서 고려할 수 있지만, 항상 잘하기 위해서는 가이드되는 프레임워크가 바람직하다.
도 2에서, 마스터 기준 휘도 범위 GRAD_MSTR를 따른 픽셀 휘도(및 예를 들면, 10 비트 워드와 같이 실제 코드에 대해 사용할 워드가 될 것인, 이와 연관된 루마)를 실질적으로 더 작은(전형적으로 적어도 1/2, 또한 1 스톱보다 적은 것으로 설명될 수 있음) 코딩 기준 휘도 범위 COD_REF로 재-코딩하는 일반적인 문제를 어떻게 처리하는지에 대한 것을 확인할 수 있으며, 예를 들면, [0, 5000] nit의 그레이더 마스터 그레이딩 및 기술 코딩이 블루 레이와 같은 메모리에 저장하기 위해 또는 [0, 2000] nit 표준화된 기준 휘도 범위를 갖는 비디오 전송 코딩 기술에 의한 네트워킹 기술을 통한 전송에 실제로 사용된다.
재 할당 문제는, 물론 원래의 기준 표현(GRAD_MSTR), 궁극적으로 원래 장면과 그 비색 속성을 갖는 그 포함된 오브젝트 또는 그 충분히 충실한 디스플레이 렌더링과 일부 연결되어 있지만, 장면 휘도를 마스터 휘도 범위 [0, 5000]에서 정의 된 합리적으로 그레이딩된 이미지로 초기 마스터 그레이딩하는 것과 기술적으로 매우 다른 문제이다.
이러한 것은 두 가지 측면을 포함한다: 한편으로, 두 범위 모두 무한 코딩 정밀도를 갖는 것으로 간주하는 경우(단순화하기 위해 두 범위에 따른 휘도를 정규화된 휘도의 재정규화된 [0,1] 범위 내의 실수로 기술할 수 있으며, 그에 따라 물론 [0, 5000]의 정의로부터 재정규화된 휘도는 [0, 2000]에서 정의된 것과 동일한 오브젝트의 휘도에 대한 대응하는 휘도와 동일한 값을 갖지 않을 것이다), 원칙적으로 본 설명에 따라, 물론 주어진 상황으로 휘도를 매핑하기 위해 어떠한 비-선형 매핑 함수를 사용할 수 있으며, 일부 매핑은 다른 것들보다 더 바람직한다. 예를 들면, 다양한 이유로 아마도 최적이 아닐지라도 원칙적으로 개념적으로 선형 스트레치가 사용될 수 있다. 반면에,이러한 휘도의 재할당에서, 예를 들면 10 비트 루마인 실제로서 COD_REF의 휘도를 나타내야한다면 발생해야할 필요가 있는 코딩 정밀도의 문제를 처리할 수 있다.
때문에 픽셀 루마를 정의하기 위해 사용할 수 있는 이러한 비트 양은, 특정적으로 선택된 코드 할당 함수가 하위 범위와 그 코드의 양을 휘도 범위에 따라 다양한 오브젝트에 할당하는 방법에 의존하여, 항상 오브젝트의 코딩 정밀도(예를 들면, 피크 휘도의 10%보다 밝지 않음), 특히 충실한 렌더링을 위한 충분한 코드가 있는지 여부를 결정한다(궁극적인 코딩 및 휘도/컬러 재구성 정밀도를 필요하지 않을 수 있는, 배경에서의 장난감 가게의 복잡한 텍스처 부분에 대하여 최고 광도의 20% ~ 30% 사이의 블루의 부드럽게 변화하는 그레이딩).
실제로, 10 비트 루마는 1,024의 다른 휘도들(/ 그레이 값들)만을 (지금의 색채 구성 요소를 무시) 인코딩할 수 있으므로, 어디에서나(밝은 컬러의 하위범위에서 상단-중간-그레이, 하단-중간-그레이, 어두운 부분, 극단적으로 어두운 부분) 궁극적인 정밀도를 필요로 하는 매우 높은 동적 범위 장면을 갖는다면, 모든 이미지 구조를 충실히 인코딩하기 위해 1024보다 많은 서로 다른 값들을 필요로 할 수 있다. 이것이 HDR 이미지 인코딩을 간단한 LDR 이미징 패러다임과 다르게 하는 점이다. 그 상황에서, 5000 nit뿐만 아니라 2000 nit의 범위에서도 장면을 충실히 인코딩할 수 있는 가능한 해결책이 없다고 말할 수 있다. 하지만 모든 실제 이미지에서 충분한 품질의 인코딩에 필요한 코드의 양을 줄일 수 있다. 아마도 공간적으로 텍스처된 영역에서는 더 적은 코드가 요구되므로, 완만한(smooth) 그래디언트에 대해서는 더 많은 코드를 허용할 수 있으며, 최악의 경우에도 가끔 일부 밴딩을 허용할 수도 있으며 적어도 HDR 디스플레이에서 여전히 모든 아름다운 HDR 효과를 렌더링할 수 있다(마스터 범위와 그레이딩을 가짐으로써, 그레이더는 적어도 다양한 이후의 수신측 렌더링 시나리오의 품질에 대한 양호한 초기 뷰를 가질수 있다).
이제 우리는 HDR 코딩과 관련된 새로운 개념을 반영하도록 잠시 멈추어야한다. 즉, 특히 다음의 양쪽 모두에 대해 2000 nit 리매핑의 사용을 원하는 경우 경쟁하는 서로 결합된 두 가지 사안들이 있다: 실질적으로 직접 렌더링하는 픽처(즉, 2800 nit 디스플레이 또는 1500 nit 디스플레이와 같은 궁극적인 디스플레이에 대한 최적의 룩을 얻기위한 일부 추가의 리매핑이 있을 수 있지만, 2000 nit 코딩에서 그레이딩된 룩에서 시작하여, 원래의 룩은 어떻게든 그곳에 여전히 인그레인되고, 이러한 것은 두 단계 접근방식이 있다: 이미지 및 룩 생성과 궁극적인 이미지 렌더링, 및 HDR 이미지 체인의 그 부분에서 일어날 수 있는 모든 추가의 고려 및 실행)과, 동시에 원래의 HDR 장면에 있던 관심의 모든 것의 궁극적인 (즉, 어떠한 추후 사용에 디바이스-의존적이고 독립적인 사용) 전체 인코딩으로서, 원래 장면의 모든 오브젝트의 비색 속성, 또는 그 장면의 적어도 충분한 HDR 품질 표현. 전자의 고려 사항은 예술적 그레이더가 일반적으로 수반되는 것이고, 후자의 요구 사항은 부분적으로 또는 광범위하게 기술적인 문제일 수 있다.
예를 들면, 5000 nit에서 2000 nit로의 간단한 예의 선형 압축으로서 예를 들면 2000 nit 피크 휘도 실제 디스플레이(모니터 또는 TV, 또는 프로젝터 등)에서 2000 nit 범위의, 또는 예를 들면. 5000 nit 디스플레이의 0-2000 nit 하위범위(0-2000 nit를 재-정의한 장면 휘도를 5000 nit 피크 광도 디스플레이로 (재)스트레칭하는 것과는 다를 수 있음)의 직접적인 일-대-일 렌더링을 취한다.
일부 HDR 렌더링 품질 문제를 매핑하는 부적절한 "우연한 선택"으로 인해 인간 시각의 심리학을 고려하여 사용 가능한 디스플레이 하드웨어를 최적화할 수 있다. 예를 들면, 밝은 영역 HDR 효과는 차선책 일 수 있다: 실제 5000 nit 그레이딩 이미지를 사용할 수 없기 때문에, 2000 nit 디스플레이조차도, 밝은 영역을 심미적으로 HDR-ish로 보이게 하기 위해 일부 컬러 프로세싱 트릭을 원할 수 있다. 하지만, 5000 nit 디스플레이를 사용할 수 있다면 어떨까? 매핑과 관련하여 어떠한 스마트한 안내 없이 이러한 휘도를 단순히 스트레칭하는 것은(자동적으로 이미지 프로세싱 소프트웨어 또는 하드웨어에서) 가장 좋은 방법이 5000 nit 디스플레이에서 이들을 가장 최적으로 렌더링하는 것인가? 적어도 더 중요한 HDR 장면의 경우에는 그렇지 않을 가능성이 높다. 다른 한편, 그레이더는 어두운 또는 너무 낮은 코트라스트 등의 직접 렌더링 된 2000 nit 범위의 더 낮은 하위범위에서 오브젝트들 중 일부를 발견할 수 있다. 예를 들면 그 하위범위를 밝게 함으로써, 그에 대해 조정을 하고자한다면, 예를 들면 재-그레이딩/재-매핑으로 이를 소프트-압축함으로써 밝은 HDR 범위를 더욱더 악화시킬 수도 있다.
다른 한편, 일단 예를 들면 시나리오에 대해 정의된 특정 비디오 표준에서 2000 nit 범위에 대한 최적의 코드 할당 함수 또는 EOTF를 확고히 정의했다면(그러한 정의는 일반적으로 특정 휘도 단계가 여전히 가시적인지 아닌지, 2000 nit 범위에 걸쳐 비-균일하게 분산된 가정에서 시작할 수 있으며 일부 로그-감마와 같은 함수 또는 이와 유사한 최적 함수로 나타냄), 각 하위 범위 예를 들면 Lc3과 L_max_C 사이의 범위의 10번째 부분에 대해 얼마나 많은 루마 코드가 사용 가능한지에 대한 문제를 생각해야한다. 어쨌든 너무 적은 코드가 사용 가능하다면, HDR 장면은 최적으로 표현되지 않는데, 이는 예를 들면, 10000 nit 디스플레이에 아름답게 렌더링될 수 있는 중요한 매우 밝은 콘텐트를 갖는 장면의 하위범위가 2000 nit 코딩에서 충분히 인코딩되지 않을 수 있기 때문이다. 2000 nit 디스플레이에 2000 nit 그레이딩을 일대일로 렌더링할 때 이러한 것은 그와 같이 가시적인 문제가 아닐 수 있지만, 예를 들면 20,000 nit 디스플레이에 대한 매핑일 때는 문제로 나타나게 된다.
따라서 이러한 밸런스를 신중하게 다루기 위한 메카니즘이 요구되며, HDR 장면 이미지를 인코딩하는, 특히 하나의 단일 기준 디스플레이(예를 들면, 5000 nit)뿐만 아니라 (장면 인코딩에서 조정 가능한 재결정 가능 룩을 통해) 미래의 시장에서 나타날 모든 디스플레이에 대해 정확히 서비스할 수 있는 우리의 기술에서 소개한 기본 개념은 하기에서 알 수 있는 바와 같이 상기한 문제에 매우 적합하다. 그 요지를 정확하게 얻도록 하기 위해, 두 가지 새로운 명칭(naming)을 사용할 수 있다. 한편으로는 일반적으로 수신기에서 최적화 유닛에 의해 자동적으로 결정될 수 있으며 수신하는 어떠한 코딩된 표현이든 특정 디스플레이로 튜닝하는 최종 그레이딩이 있을 수 있다.
5000 nit라고 하는 하이 엔드 HDR 디스플레이와 약 100 nit 피크 광도를 갖는 레거시 LDR 디스플레이에 대한 100 nit라고 하는 그레이딩의 디스플레이 튜닝의 범위에서 극단의 두 표준 그레이딩 사이에 예를 들면 1250 nit 디스플레이에 렌더링될 이러한 그레이딩을 MDR(medium dynamic range) 그레이딩이라 부른다. 하기의 설명에서, IDR(intermediate dynamic range)이라고 부를 (또한 100과 5000의 극단 범위 사이에 있는) 1000 nit라고 하는 그와 연관된 기준 디스플레이를 갖는 중간 인코딩에 대해 또한 언급할 것이다. 어떤 이유로 특정 기술이 1000 nit 라고 하는 기준 디스플레이 피크 광도의 IDR 인코딩에서 장면의 어떤 동적 범위 이미지든(즉, 원래의 장면이 무엇이든 하지만 렌더링되는 것인) 인코딩하는 것을 규정한다면, 이러한 것은 여전히 렌더링 될 수 있으며, 즉 예를 들면, 실제 연결된 850 nit 디스플레이, 또는 대안적으로 또는 추가적으로 1550 nit 디스플레이 등에 대해 다양한 MDR 그레이딩에 대한 추가의 컬러 변환에 의해 조정될 필요가 있다고 이해해야한다.
제 1 실시예가 인코더(301)를 도시하는 도 3으로 설명되며, 그에 의해 그레이더는 계속 진행되는 것에 대해 너무 신경 쓰지 않고 2000 nit 예술적 그레이딩을 자유롭게 만들 수 있으며, 인코더가 모든 룩에 대한 대표적 이미지로서 2000 nit 이미지의 사용을 필요로 할 수 있으므로 기술적으로 진행해야 한다. 즉, 그레이더는 2000 nit 이미지의 룩에 초점을 맞출 수 있으므로 2000 nit 정도의 피크 광도의 디스플레이에 직접 적용될 때 이미지는 최적으로 보이다(예를 들면, 어둠 속에 숨어있는 사람이 분명히 보이지 않거나 보이지 않을 정도로 충분한 광도, 안개 속에 숨어있는 사람의 절반 정도가 희미하게 보일 정도로 충분한 로컬 콘트라스트, 또는 병이 빛나게 보이는 등). 저장 메모리(300)로부터 나와서 그레이딩 장치(303)에 들어가는 (예를 들면, HDR 카메라에서 곧장, 선형 컬러 표현이라 말하는) 원래의 RAW HDR 비디오가 있다고 가정한다. 당업자는 물론 본 발명의 다른 구현예 또는 실시예가 가능하다는 것을 이해할 수 있으며, 예를 들면 인코더는 카메라와 직접 또는 카메라에 또는 컴퓨터의 컴퓨터 그래픽 슈트 등으로 통합된다.
그레이더는 많은 실시예에서 초기 그레이딩 유닛(310) 및 사용자 입력 제어기(311)를 사용함으로써 마스터 그레이딩이 되는 초기 그레이딩을 만들며, 예를 들면 그레이딩 콘솔이 될 수 있다. 초기 그레이딩 유닛(310)은 예를 들면 다빈치(Da Vinci's)와 같은 그레이딩 소프트웨어를 실행하는 프로세서가 될 수 있으며, 예를 들면 글로벌 톤 및 컬러 매핑 함수를 행할 수 있고, 이미지의 숏에서 이동하는 매트 로컬 영역을 선택하고 그에 따라 프로세싱을 지정할 수 있다. 예를 들면, RAW 비디오는 ARRI 카메라라고 하는 것과는 달리 오브젝트 간 및 오브젝트 내 콘트라스트를 갖는 대수 비디오라고 가정 할 수 있다. 그레이더는 그의 마스터 그레이딩 이미지 Im_5000을 만들며, 여기서 5,000 nit GRAD_MSTR 기준 범위에 특히 그 적절한 휘도를 갖는 모든 오브젝트 및 픽셀 컬러를 지정한다. 어떠한 비디오 전송 표준만이 그 표준에 따라 이러한 5000 nit 참조 비디오를 인코딩하는 방법을 정의한다면, 이러한 것은 특히 DCT 인코딩 등으로 압축된 비디오일 수 있는 HDR 비디오의 멋진 표현이 될 수 있다(전송 표준으로, 무엇보다도 예를 들면 광학 표준형 BD의 비디오와 같은 메모리 캐리어를 통한 전송과 DVB에 의한 항공 방송 또는 인터넷 기반 전송과 같은 네트워크 표준, 또는 HDMI 케이블 통신과 같은 장치 간 통신 시스템을 통한 전송 등).
하지만 표준은 더 많은 자유를 원할 수 있으며 단지 2000 nit 피크 휘도로 정의 된 코딩 비디오를 받아들일 수 있도록 규정한다. 다음에 그레이더는 자신의 5000 nit 기준 내부 인코딩을 직접 사용할 수 없으며 재-인코딩할 필요가 있고, 이는 사소하지 않은 리매핑을 수반할 수 있다(원칙적으로 임의의 재-정의를 사용할 수 있지만 2000 nit 그레이딩의 비색 룩이 2000 nit 디스플레이에서 렌더링할 때 최적이어야하며 5000 nit 룩이 또한 2000 nit 룩 내에서 인코딩되는 경우 반드시 그렇지는 않다). 가능한 시나리오는 그레이더가 대부분의 시간을 2000 nit 그레이딩의 바람직한 모양을 만드는 데 집중하고 보조 작업으로 5000 nit 그레이딩이 어떻게 이루어질 수 있는지에 초점을 맞추는 것이다. 그 밖의 다른 방법이 또한 가능하며(기본적으로 기술적으로 두 시나리오에서 전달되는 낮은 동적 범위 HDR 이미지가 있을 것이고 이러한 것을 수신기에 의해 더 높은 동적 범위 HDR 이미지로 리-그레이딩하는 기능을 한다), 아래의 설명에서, 두 번째 시나리오를 설명하며 여기에서 그레이더는 5000 nit HDR 그레이딩을 만드는데 자신의 대부분 시간을 집중하는데 이어 두 번째를 하고(이는 부분적으로 자동으로 행할 수도 있고, 단지 값 비싼 채점 시간을 절약하도록 수락 또는 수정만을 할 뿐이다), 양호한 2000 nit 룩을 규정할 것이다(또한 전형적으로 100 nit LDR 룩이 5000 nit 룩으로 정의될 수 있고 2000 nit 룩으로부터 재-정의로 변환 될 수 있지만, LDR 룩은 2000 nit 그레이딩된 이미지(들)로부터 시작해서 그레이딩에 의해 정의될 뿐만 아니라 또한 생성되는 예를 설명한다).
그레이더는 재-그레이딩 유닛(320)을 사용하여 고 범위 HDR 이미지(예를 들면, 5000 nit)를 저 범위 HDR 이미지(예를 들면, 2000 또는 1200 nit)로 리매핑한다. 이 유닛(320)은 초기 그레이딩 유닛(310)과 마찬가지로 컬러 그레이딩을 행할 수 있지만 두 가지 근본적 차이가 있다: 1) 제한된 세트의 재-그레이딩 기능만이 사용될 수 있으며(HDR 룩 코딩 시스템이기 때문에, 모든 수신기에 의해 이해가능한 언어를 형성해야한다), 2) 그들은 실질적으로 시각적으로 가역적이어야한다(더욱 일반적으로, 2000 nit 이미지로의 컬러 변환은 모든 고품질, 더 높은 범위의 HDR 정보를 실질적으로 유지해야하며, 따라서 어떤 최적의 디스플레이-종속 매핑 후에 어떤 HDR 렌더링 시스템이든 최적으로 사용될 수 있고, 이미지- 의미론적으로 관심이 덜한 정보만이 예를 들면 열악한 양자화된 인코딩 관점에서 부적절한 값에 의해 현저히 대체될 수 있다). 실질적으로 가역성을 가지고, a) 5000 nit HDR로부터 2000 nit HDR까지 적용된 함수 또는 리매핑 절차의 일부 수학적 역함수(mathematical inverse)를 산출할 수 있으며(예를 들면, [0,1]에서 정규화된 휘도에 제곱근을 적용하면 상기 역함수는 제곱 멱함수(square power function)가 될 것이다), b) 제곱근이 된 이미지의 양자화로 인해 다시 제곱된 이미지는 원래의 이미지와 약간 다르게 보일 수 있지만 시각적으로 너무 심각한 차이는 없어야한다(심각성의 양으로 그레이더 및/또는 자동 이미지 분석 알고리즘이 결정할 수 있음). 예를 들면 텍스처에서, 픽셀의 매우 정확한 컬러 값보다는 공간 패턴이 뇌의 주된 정보이므로 일부 양자화 인공물을 제거할 수 있다. 수학적으로 이러한 것은 전형적으로, 수신된 2000 nit HDR 그레이딩을 예를 들면 5000 nit 그레이딩 이미지(들)의 궁극적인 품질로 컬러 매핑하는 함수가 휘도에서(또는 루마와 같은 일부 등가의 표현, 또는 선형 R, G 및 B 구성요소 중 최대 하나 등) 단조롭게 증가해야하는 것을 의미하지만, 그렇지 않으면 업그레이딩 톤 매핑 함수는 일부 복잡한 HDR 장면에 대해 아주 복잡하게 될 것이다.
독자들에게 명확성을 높이기 위해 여기에 제시된 새로운 HDR 이미지/비디오 코딩 기술을 혼동해서는 안 되는 다른 두 시나리오에 대해 명확하게 구분한다. 예를 들면 2000 또는 1000 nit 피크 광도를 갖는 최적의 의도된 광도 주위의 피크 광도로 디스플레이를 위한 양호한 룩 이미지를 나타내는 예술적 그레이딩이 이루어 지고, 이렇게 얻어진 Im_2000 nit 그레이딩의 뷰어에 대한 궁극적인 룩이 그레이더가 어떠한 다른 디스플레이나 그레이딩을 고려할 필요가 없다면(즉, 단지 예술적으로 유일한 2000 nit 그레이딩을 만들며, 어떠한 더 이상의 그레이딩이 이러한 이미지(들)로부터 유도될 수 있는지를 에서 파생 될 수 있는지 신경 쓸 필요가 없음) 얻게 될 것과 실질적으로 일치할 수 있지만, 우리가 설명하는 기술은 Im_5000 이미지로부터 새로운 Im_2000 이미지를 생성해야만하는 단지 간단한 (재)그레이딩이 아닌 상황을 처리해야할 필요가 있고, 오히려 추가적인 요구사항을 고려해야할 필요가 있다. 2000 nit보다 실질적으로 더 밝은 피크 광도를 가진 디스플레이에서 양호한 HDR 룩을 얻기 위해 최적인 원래의(더 높은 품질의 HDR 렌더링에 필요한) Im_5000 이미지(즉, 기준 디스플레이(360)가 될 수 있는 약 5000 nit 피크 광도를 갖는 대응하는 디스플레이로, 그레이더는 행하고 있던 것의 실제 HDR 시각적 임펙트를 체크하기 위한 콘텐트 생성측에서 사용할 수 있고 5000 nit 최대 및 2000 nit 최대 에뮬레이션 모드 사이를 전환할 수 있다)가 실제로 저장되거나 전송되지 않을 것이기 때문에, 오히려 표준은 2000 nit 이미지를 코딩하는 것을 규정하므로, 인코더는 HDR 장면의 2000 nit 이미지만을 저장하거나 전송한다. 이러한 Im_2000은 궁극적으로 렌더링 될(즉, 컬러이 변형된) 장면의 룩에 관계없이 모든 오브젝트 텍스처에 대해 충분히 정확한 정보를 포함할 필요가 있다.
하지만, 이러한 Im_2000 외에도, 인코더는 5000 nit 룩을 인코딩하는 Im_5000 이미지에서 이러한 추가 정보를 매개변수로 공동-인코딩하는 일부 함수 F_2Tu를 함께 저장할 것이고(이러한 정보는 일반적으로 그 정확한 기하학적 텍스처보다는 오브젝트가 가져야하는 궁극적인 평균 컬러가 됨), 즉, 예를 들면 햇빛이 비추는 옥외 풍경 또는 램프(또는 다른 높은 광도의 HDR 룩 효과)는 상이한 디스플레이 피크 광도에 대응하는 상이한 룩에 대한 휘도 축 또는 전체 범위 컬러 공간을 통해 최적으로 수반하는, 즉 최대 2000 nit 디스플레이 또는 기껏해야 1000 nit 디스플레이와 같은 덜 밝은 디스플레이만을 갖는 것에 비해 더 밝은 디스플레이를 갖는다면 렌러링될 방법이다. 이러한 추가적 기능 F_2Tu의 적어도 한 세트는 5000 nit 룩 자체에 대한 (우리가 디스플레이 조정(tuning)이라고 부를) 재-그레이딩을 허용할뿐만 아니라, 즉 그러한 피크 광도의 최적의 룩 이미지로 서비스될 디스플레이에 대해, 예를 들면, 2000과 5000 nit 사이의 중간의 다른 룩에 대해 허용한다. 따라서, 우리는 단지 전송기 측의 복수의 룩을 재-그레이딩하는 기술만이 아니라 룩의 세트를 인코딩하는 새로운 방법 설명한다.
우리의 현재 기술은 또한 5000 nit 디스플레이는 2000 nit 이미지 Im_2000에 의한 그 렌더링에 대해 직접 서빙되는 또 다른 시나리오와는 명확히 구별화되어야하고 혼동하지 말아야한다. 2000 nit 이미지는 상당한 오브젝트 간 콘트라스트를 갖는 일부 HDR 이미지이며, 따라서 예를 들면 이러한 이미지는 소위 상대적인 코딩 및 렌더링 프레임워크에서 즉 5,000 nit 화이트로서 2,000 nit 화이트가 되도록 가정된 것을 렌더링함으로써 이를 사용하여 예를 들면 5000 nit 디스플레이에서 직접 렌더링될 수 있다(예를 들면 안개가 낀 풍경의 주어진 장면에 대해 너무 광도 때문에 시각적으로 더 아름답거나 덜 바람직하게 보일지라도). 소비 측에서 필요로 하는 이미지일 뿐이라면 2000 nit 룩이지만 잘못된 비색을 사용하는 것처럼 가장하면(즉, 컬러 코드가 올바르지 않을 것이고 2000 nit 디스플레이에 이들 가장된 이미지를 직접 렌더링하기를 원하는 경우 보여주는), 궁극적으로 원하는 5,000 nit 룩을 모방하는 트릭을 상상할 수 있다. 그렇지 않으면, 일부 스마트 자동 변환 기능은 이미지를 분석할 수 있으며 최적의 고화질 HDR 렌더링을 위해 너무 안개가 낀 것으로 이해하고 예를 들면 0.75에서 입력 1에 대한 출력을 끝내는 즉 최대로 밝은 것보다 작게 하는 [0,1] 입력 및 출력 휘도 그래프에서 함수처럼 보이는 디스플레이 최적화 매핑 함수 F_2000_do를 적용할 수 있다. 이러한 시나리오에서, 수신 단에서의 디스플레이는 원래의 Im_5000 이미지가 무엇이었든 정보가 없으며 무엇이든 선택된 예술적 이유에 대해 얻어진, 즉 그레이딩된 Im_2000 이미지만을 갖는다. 따라서 수신자는 수신 단에서 말하자면 5000 또는 6000 nit 디스플레이에 대한 "최적의" 구동 이미지를 유도할 때 모든 종류의 맹목적인 가정을 만들어야한다. 이러한 것은 특히 복잡한 HDR 장면의 경우에는 최적으로 보이지 않는다. 이러한 기술적 이미징 체인이 시장에서 2000 nit 디스플레이를 갖고 있는 사용자의 비율을 최적으로 만족시키더라도 더 높은 품질의 5000 nit HDR 디스플레이에 더 많은 돈을 지불한 사용자는 자신의 돈에 대한 최상의 품질을 얻지 못할지도 모르고 원래의 그레이더가 의도한 것을(그의 최적화된 Im_5000 이미지) 항상 자동으로 하지 못할 수도 있다. 따라서, 우리는 잠재적인 서비스 시장 전체, 즉 특정 사용자가 어떠한 것이든 갖고 있는 시스템에 만족할만한 기술적 수단을 통해 전달될 수 있는 추가 기술이 필요하다. 이는 예를 들면 BD 판독기를 갖는 소정의 장치로 그가 판독하는 BD 디스크의 HDRx-타입 버전을 통해 뷰어가 어떠한 특정 정보를 구매하고, 예를 들면 인터넷을 통해 그 디스크 상에 일부 추가의 컬러 매핑 메타데이터 정보를 (또는 대안적으로) 얻는 시나리오에 대해 작업할 것이고, 사용자는 동일한 시간에 비디오를 2 개의 상이한 디스플레이 상에 예를 들면 그가 머물고 있는 그의 여름 집 또는 값비싼 호텔에 있는 하이 엔드 6000 nit TV와 그의 아들이 집에서 사용하고 있는 500 nit 모바일 폰(451)에서 디스플레이하기를 원한다.
인코딩 시스템은 실제 전송된 이미지와 관련된 기준 디스플레이의 것보다 다양한 가능한 높은 실제 디스플레이 피크 휘도를 제공할 수 있어야 할 뿐만 아니라, 예를 들면 200 nit의 더 낮은 실제 디스플레이 피크 휘도를 제공할 수 있어야한다. 그래서 일반적으로 곧 설명을 할 본 발명의 핵심은 아니지만, 컨텐츠 생성 측에 추가의 그레이딩 유닛(325)이 존재할 것이다. 우리의 코딩 패러다임에서는 단일의 (단지 HDR 룩) 인코딩으로 작동할 수 있지만, 우리는 그레이더가 LDR 룩에 관한 어떤 것(즉, 더 낮은 휘도 동적 범위 성능으로 디스플레이에 최적이 되도록 HDR이 다운그레이딩되어야 하는 방법)으로 말해질 수 있기를 바란다. 여기에 그레이더는 적어도 하나의 함수 F_2T1(또는 일반적으로 픽셀의 휘도 및 크로매틱 컬러 성분 모두에서 작동하는 함수들의 세트, 예를 들면 전역 및/또는 부분적으로 로컬하게 컬러 포화도 변경)을 지정할 수 있으며, 이러한 것은, 예를 들면 100 nit 기준 LDR인 이미지 통신 기술로 코딩된 Im_2000 룩을 매핑하는데 사용될 수 있다.
독자는 2000 nit HDR이 여전히 HDR 이미지이므로 2,000 nit와 5000 nit, 2000 nit와 100 nit(장면에서 LDR 룩) 사이의 변환은 기술적으로나 예술적으로 매우 다를 수 있음을 이해해야한다. 또한, 실제로 전송된 이미지(들)의 기준 범위의 피크 휘도가 예를 들면, 1000 또는 2000 또는 어쩌면 4000 인지의 여부에 관련한다. 전자는 100 nit LDR보다 (단지) 10x 밝은(즉, 약 3 스톱들)데 반하여, 후자는 이미 (특히 흐리거나 어둡기 조차한 뷰잉 환경에서 뷰잉되는 이미지에 대한 주요한 인자인) 인상적인 40x 광도가 된다. 인코딩될 HDR 장면의 유형에 따라 LDR과 비교하여 3개의 추가 스톱에 대해 일부 특별한-밝은 이미지 영역을 이들 추가적인 사용 가능한 스톱들에 할당할 수 있다. 40x(5 스톱들, 즉 또 다른 2개의 추가 스톱들)에 대해, 예를 들면, 극렬하게 밝은 레이저 칼 또는 폭발 등과 같은 스펙터클한 HDR 효과를 생성할 수 있다. 물론, 2000 nit에서 레이저 칼이 또한 렌더링 될 수도 있지만 그다지 스펙터클하게 밝지는 않을 것이다.
다양한 명료한 예들에 대해, 컬러 매핑들이 상대 휘도 영역에서 발생한다고 가정할 것이다: 특정 코덱에 대해 일부 기준 최대 휘도에 대응하는 최대 코드(1023)로 10비트 컬러 성분 표현을 가질 때, 이미지들은 일반적으로 예를 들면 0-1023으로 양자화되므로, 1023에 대응하는 Lmax=1.0에서 물리적으로 코드화가능한/실현가능한 정규화된 피크 휘도를 갖는 상대 색영역 또는 그래프에, 100 nit 기준 LDR 디스플레이에 대한 예를 들면 입력 Im_2000 이미지 및 출력 Im_100 모두를 지정할 수 있으며, 따라서 여기에서 어떠한 컬러 매핑도 지정할 수 있다.
도 9는 어떻게 상향 그레이딩(및 그 정보가 F_2Tu로 전송된 것과 같은)이 즉 2000 미만의 최고 광도의 하향 그레이딩과 현저히 다른지에 대한 설명적인 예를 도시한다(예를 들면 2000에서 100 nit로 재-그레이딩하는 적어도 하나의 또는 한 세트의 함수(들) F_2T1로 인코딩되지만, 예를 들면 800 nit로 재-그레이딩하는 함수들의 추가의 세트는 수신기에 또한 추가로 전달될 수 있으며, 또는 어떻게 다운그레이딩이 일어나야하는지를 일반적으로 지정하는 단지 하나의 컬러 변환 세트에 기초하여 재-그레이딩하는 그 메카니즘이 될 수 있다). 어렵거나 용이한 HDR 장면이 있을 수 있지만 시스템은 물론 합리적으로 모든 장면을 처리할 수 있어야한다는 것을 유의해야한다. 고전적인 비디오 코딩을 갖는 큰 콘트라스트(기술적인 문제를 주로 다루며, 이미지는 DCT 블록으로 분리되어야하고, 일부 블록 인공물과는 별개로 실제로 이미지화된 장면이 무엇이든 관계없이 항상 행할 수 있어야하며, 아마도 움직이는 물이 최악의 장면이 된다)는 이러한 HDR 룩 스펙트럼 인코딩 이론에서 다양한 룩들은 또한 현실적으로 또는 예술적으로 희망하는 것으로 볼 필요가 있고, 이는 장면/이미지의 종류와 특정 렌더링 환경에 적합한 인간 시야의 비선형 특성 모두의 복잡한 함수가 된다. 따라서, 어떤 종류의 오브젝트 렌더링이 10x LDR 범위(즉, 1000 nit까지)와 15x 범위(1000~1500 nit 사이의 부분) 등에서 HDR 효과가 될 수 있는지에 대한 질문을 요청할 수 있다. 이러한 것은 부분적으로 상대적인 질문인데, 시각적인 두뇌가 상황에 매우 잘 적응하고 이미지의 해석을 볼 수 있기 때문이다. 또한 예를 들면 van Schendel의 오래된 페인팅에서, 캔버스 또는 페인트 화이트와 블랙 페인트 사이에 물리적으로 확실히 높은 동적 범위가 없다고 하더라도, 페인터는 더 높은 동적 범위 효과를 에뮬레이트하기 위해 트릭을 사용할 수 있으며, 두뇌는 예를 들면 밝은 빛을 에뮬레이트한다. 따라서, 예를 들면 단지 화창한 날 거리(그 거리의 일부는 그림자 내에 있다)를 촬영하는 경우, 일부 사람들은 그림자가 있어야하는 또는 있지 말아야하는 햇빛이 비추는 부분에 대해 상대적으로 얼마나 어두운지에 대한 것이 중요할 수 있으며, 다른 사람들은 몇몇의 가능한 렌더링을 수용할 수 있다. 햇빛이 드는 부분이 얼마나 밝아야하는지에 관해서는, 더욱 불일치할 수도 있거나 그렇지 않으면 최적의 렌더링에서 더 큰 더 격차를 둘 수 있다. 2000 nit에서 뷰어의 거실에서 최적으로 렌더링되는 것으로 가정하면 물론 1000 nit 피크 광도 모니터는 햇빛이 비추는 거리를 "정확하게" 렌더링하지 못할 수도 있지만, 대략 1000 nit 렌더링이 1000 nit 디스플레이가 이미지를 만들어낼 수 있는 최상의 것이 되며, 이러한 것은 전체적으로 나쁘지 않은 것일 수도 있다(그것은 단지 다소 더 낮은 임펙트 이미지가 되며, 뷰어는 (또한 정확한 광도 표현으로부터) 그것을 실제로 완전하게 경험하는 것보다는 그의 두뇌에서(즉, 광도 인식으로부터) 그 자신의 햇빛이 비추는 경험을 더 많이 채워야한다. 도 9는 의도된 디스플레이의 피크 광도 범위를 따라 다양한 포인트에 대한 그레이딩이 어떻게 달라질 수 있는지(즉, 그들의 지배적인 그레이딩 유도 원리와 관련하여) 좋은 예를 설명한다. 예를 들면 자동차의 헤드라이트, 가로등, 건물 창문을 통한 조명 등으로서 나타날 수 있는 화이트 커플로 자연의 자연주의적인 것보다 더 그래픽적인 이미지를 갖는다고 가정한다. 실생활에서처럼 HDR에서 그리고 LDR과 달리, 여러 개의 화이트가 있을 수 있다. LDR은 그 화이트 자체 및 아마도 하이라이트를 위한 작은 룸을 가질 수 있지만, 실제 현실에서 및 관심있는 주 영역의 확산 화이트 위에 있는 충분한 휘도 범위를 갖는 임의의 코딩에서, 예를 들면, 외부로부터 태양에 의해 강력하게 비춰지는 화이트 또는 TL 튜브 등의 화이트 표면이 될 수 있으며, 이들은 모두 상당히 다른 평균 휘도를 가질 수 있다. 그래픽 렌더링에서, 영화 Sin City 2의 예를 생각해보면, 예술적으로(부자연스럽게) 이루어진 화이트인 오브젝트를 가질 수도 있다. 예를 들면, 화이트 안경을 가진 사람이 있다. LDR에서는 100 nit 또는 500 nit라고 하는 피크 광도로 어떠한 문제도 없이 이들을 렌더링할 수 있지만, 예를 들면 5000 nit 디스플레이의 피크 광도 화이트로 이들을 렌더링한다면, 그 사람은 그의 눈밖으로 나오는 등대 빔을 갖는 것으로 볼 수 있으며, 이는 원래의 의도와 멀어지게 될 수 있다. 따라서, 예를 들면 자동차 헤드라이트보다 상당히 더 낮은 휘도로 HDR에서 이들 화이트를 렌더링하기를 원할 수 있으며, LDR에서는 단지 하나 및 동일한 화이트에 대해 컬러 영역 룸이 있을 수 있다.
이제 도 9를 수신측에서 보는 걸로 가정하자. 그래프(902)는 전송기 측에서 6000 nit 마스터 그레이딩-카메라로부터 똑바로든 아니든, 아마도 카메라 오퍼레이터가 일부 광도 및 콘트라스트 값 또는 고도로 예술적으로 그레이딩된 오프라인을 변경하는 일부 튜닝 버튼을 사용하여 신속하게 룩을 튜닝하는-이 있을 수 있지만, 이제는 전달된 그레이딩(901)으로부터 유도될 수 있는 그레이딩이 될 것이다. 몇몇의 HDR 화이트(또는 밝은 영역)의 실제 현실의 예는, 창문을 통해 실내의 카펫 위에 비치는 햇빛, 바깥쪽 더 밝은 하늘, 예를 들면 밖의 금속 지붕에 비추는 더 밝은 햇빛이 된다.
따라서, 수신기는 2000 nit의 피크 광도에 대응하는 정규화된 휘도 축에 정의된 이미지를 얻을 것이다. 그래프(x 축의 2000 nit 입력이 출력으로서 그 자체에 재-그레이딩되어야하는 경우 여기에서 아이덴티티 변환 또는 대각선으로 도시함)은 4 부분으로 구성된다. 정상적인 장면, 예를 들면 방이나 거리의 반사 오브젝트 등에 대해 가장 어두운 부분은 약 45 %까지 진행한다(즉, 900nit까지 휘도가 렌더링되고, 예를 들면 어두운 뷰잉 환경에서 렌더링된 햇빛이 비추는 옥외를 에뮬레이트할 수 있음). 이러한 범위 위에는 세 가지 밝은 범위가 있으며, 간결함을 위해 화이트 범위를 가정한다(즉, 오브젝트 구조로 인해 약간의 다른 휘도가 있을 수 있지만 컬러가 없다고 가정). 3개의 중 가장 낮은 것은 예를 들면 그 사람의 예술적인 울트라화이트 안경이 될 수 있다. 중간의 것은 외부에서 본 안락한 빛이 비추어진 실내가 될 수 있으며, 가장 높은 것은 가로등, 자동차의 헤드라이트 빔 등이 될 수 있다.
독자는 재-그레이딩, 즉 전달된 Im_2000보다 높은 피크 광도 쪽으로 F_2Tu로 인코딩된 톤 매핑에 의해 수행되는 것이 대부분 조명의 재분배와 관련이 있음을 알 수 있다. 뷰어가 2000 nit 또는 6000 nit 또는 10000 nit 디스플레이를 가졌는지에 관계없이 (하단 부분) 오브젝트 컬러가 동일하게 렌더링되는 것으로 가정했다. 즉, 상대 (선형) 축 상에서, 곡선(902)의 하단 부분은 곡선(901)의 1/3이 될 것이다. 하지만 5000 nit 그레이딩(902)의 밝은 영역은 사실적인 절대 위치에(즉 이미징된 장면의 모든 고화질 렌더링이 어떻게 보여야 하는 것인지) 배치된다. 그레이더는, 평균적으로 두 번째 밝은 영역이 첫 번째 것보다 두 배 밝은 것이 이상적이며, 양호한 추가의 광도 임프레스(avL_2_6000 = 2*avL_1_6000)를 제공하는 것을 알게 되었다. 하지만 2000 nit에서 그레이딩은 간단하게 실현될 수 없다. 두 번째 밝은 영역의 일부가 클리핑되어야 함은 물론 더 중요하게는 세 번째 밝은 영역을 인코딩하기 위해 2000 nit 기준 휘도 축에 더 이상 여유가 없다. 즉, 기술적 필요성에 따라 그들은 더 가깝게 두어져야 한다. 하지만, 그레이더는 한 방법으로 이를 선택할 수 있으므로 avL_2_2000과 avL_1_2000 사이에 여전히 합당한 차이가 있고, 즉 이러한 것의 일부 합당한 임프레션은 여전히 상이한 종류의 빛이 된다. 더욱이, 수신기가 정확한 함수들을 수신하면, 2000 nit 수신된 이미지의 픽셀 휘도에 기초하여 5000 nit 그레이딩에 대해 필요한 상대 휘도를 재-산출할 수 있다. 물론, 어떤 것들이 예술적으로 뷰어에게 최적으로 보일지는 장면에 높게 종속적인 문제가 있을 것이다. 따라서 양호한 HDR 처리 및 인코딩 기술을 갖도록 이러한 모든 특수들을 충분히 처리할 수 있는 시스템이 필요하다. 다운워드 그레이딩에 대해 이러한 것은 컬러 프로세싱 기능의 화살표를 단순히 반전한 것과는 거리가 멀다는 점에 유의해야한다. 이 예에서, 그레이더는 먼저 팩터(20)를 갖는 곡선(901)의 하위 부분을 부스팅하지 않고 100 nit 그레이딩(곡선(903))의 이용가능한 상대 휘도 범위 대부분에 걸쳐 이들 휘도를 확산시키도록 선택하고, 둘째로, 3개의 밝은 영역을 모두 피크 광도 화이트로 만들도록 결정한다. 따라서, 업워드 재-그레이딩과는 대조적으로 이러한 것은 이 예에서 반드시 가역 가능한 동작일 필요는 없다.
도 5a는 LDR에 대한 가능한 매핑의 더욱 상세한 설명을 도시하며, 여기에서 얼룩진 유리창을 갖는 교회의 HDR 범위 이미지를 표현할 필요가 있다. 교회의 내부는 시각적으로 일반적으로는 빛이 비추지만(즉, 그 외양), 하지만 상대적으로 다소 어두운 화이트다. 이는 공간이 밝은 얼룩진 유리창 컬러에 대해 색영역에서 요구되기 때문이다. 즉, 교회 내부 픽셀(CD_HDR2000 또는 CD_LDR100)과 얼룩진 유리 픽셀(CR_HDR2000 또는 CR_LDR100) 사이의 오브젝트 간 콘트라스트 CR_io가 LDR 그레이딩에서도(LDR 그레이딩에서 콘트라스트는 물론 기껏 물리적으로 실현가능하고 여전히 합당할 만큼 커야하며, 이러한 것은 클리핑이 그레이더의 바람직한 솔루션으로서 또는 적어도 컬러 탈포화로서 수반될 수 있다는 것을 종종 의미한다) 커야될 필요가 있다(즉, 코덱 색영역의 휘도 범위의 상당 퍼센트, 렌더링 시에 오브젝트들은 또한 평균 휘도에서 충분히 다르다). 이러한 색영역 표현에서, 이로부터 휘도 축을 따라 크로매틱 작용과 광도 모두를 보여주는 적색-시안 단면을 다시 만들며, 100 nit의 피크 광도를 갖는 일반적인 기준 LDR과 예를 들면 400 nit 피크 광도 디스프레이에 대한 두 번째의 중간 표현 MDR의 HDR Im-2000 (시작 (최상 인코딩) 이미지로서) 사이에 매핑하는 매핑 함수들의 결과를 보여준다(여기서는 일반적인 다중 세그먼트 톤 매핑 함수 및 포화도 제어 기능 및 로컬 영역 선택 기능 등 당업자가 일반적으로 상상할 수 있는 바와 같이 사용될 수 있는 것에 대한 모든 세부 사항을 강조할 필요가 없으며, 본 발명은 오히려 그레이딩 프레임워크에 관련하고, 이 모든 그레이딩 정보가 정확하게 수신 측에 정확하게 도달할 수 있게 하고, 궁극적으로 대응하는 정확한 렌더링을 가능하게 하는 코딩 프레임워크와 연관된다). 더 어두운 피크 광도 디스플레이로 향하는 것은 일반적으로 상대적인 색영역에서 밝게 하는 것을 수반한다. 따라서, 이러한 것은 또한 전형적으로 - 일반적으로 이미지의 기준 디스플레이의 피크 광도와 같이 및 루마 코드를 생성할 때 어떤 코드 할당 함수가 사용됐는지(이들 피크 광도의 값을 다른 피크 광도로 변환하기 위한 함수들이 있다면)- 그들이 무엇인지를 설명하는 메타데이터를 갖는 인코딩 신호와는 별개로- HDR과 LDR 이미지 사이의 차이를 볼 수 있다: LDR 이미지는 장면 오브젝트의 균일한 조명으로 인해 (때때로 단순하게 모노모들(monomodal) 또는 "가우시안(Gaussian)"이라고도 하는) 더 균일하게 분포된 히스토그램을 가지며, HDR은 상대적인 어두운 하위범위(강한 로브(lobe))에서 상당한 컨텐트 및 예를 들면 강하게 빛을 비추는 영역과 같이 밝은 하위범위에서의 콘텐트과 종종 사이에 드물게 할당된 휘도으 갭을 가질 수 있다. 도 10에서, HDR 장면의 예시적인 루마 히스토그램의 커플을 볼 수 있으며, 1001은 외부로의 뷰를 갖는 벙커, 1002는 내부의 더 어두운 부분을 갖는 햇빛이 비추는 외부로부터 보여지는 빌딩, 1003은 교회에서 얼룩진 유리창, 1004는 석양에 대비된 건물과 관목, 1005는 비교적 큰 창문을 통해 보이는 건물과 외부 세계의 상대적으로 어두운 내부. 예를 들면, 하늘은 일반적으로 장면의 나머지 부분보다 밝은 스톱의 커플이 되며, 물론 램프, 최소한 램프 자체는 일반적으로 장면의 나머지 부분보다 훨씬 밝을 것이다. 어두운 로브에서 너무 많은 픽셀로 이미지를 직접 렌더링하면(즉, LDR 디스플레이에서 HDR 이미지를 렌더링하고, HDR 이미지는 LDR 디스플레이에 적합하지 않다), 일반적으로 너무 어두운 이미지를 얻게 되는데, 픽셀의 퍼센트 또는 큰 영역이 거무스름한 것을 식별하기 어렵게 보인다. 즉, 각 장면에 대해 그레이더가 원하는 정확한 컬러 변환이 무엇이든 간에, LDR 재-그레이딩은 그 휘도 히스토그램 하위-로브의 증가하는 콘트라스트 스트레치를 통해 종종 어두운 픽셀을 적어도 밝게 하는 것을 수반할 수 있다. 이러한 것은 또한 일반적인 수단에서 어떤 동적 범위를 나타내는지 리더에게 유용한다. 과거의 전문가들은 아주 간단한 방식으로 즉, 동적 범위는 가장 밝은 렌더링된 컬러의 휘도와 가장 어두운 렌더링된 컬러의 휘도가 될 것이라고 대답했을 것이다. 이는 렌더링에 대한 합리적인 척도가 될 수 있지만 코딩에 대해서는 거의 언급하지 않고있다. 전술한 바와 같이, 이미지는 말하자면 0.01 nit 내지 2000 nit(기준 디스플레이 피크 광도)로서 인코딩될 수 있으며, 즉 200,000:1 동적 범위 장면의 인코딩인 것으로 나타난다. 하지만 5000 nit 표현으로 업그레이드할 수 있다면, 동일한 이미지에 500,000:1 동적 범위의 인코딩을 갖는 것으로 보일 수 있다. 인코딩의 관점에서 볼 때 동적 범위와 더 중요하게는 이미지의 광도-복잡성은 얼마나 많은(어떤 일반적인 렌더링 가능한 평균 휘도가 있어야 하는지) 상기한 그레이-값(또는 일반적으로 다르게 조명되는) 서브-영역들이 있는지에 의해 결정되고, 코딩 품질의 인트라-오브젝트 텍스처/기하학적 오브젝트 특성 복잡성으로 이들이 인코딩된다. 예를 들면, 안개 속에 부분적으로 숨어있는 인간이나 괴물은 시각심리적으로나 예술적으로 그 평균 휘도가 렌더링 가능한 휘도 축에 놓이는 곳의 문제뿐만 아니라 괴물을 정확하게 무섭게 하는데 어떠한 정확한 인트라-오브젝트 콘트라스트가 필요한지가 문제이다. 이러한 광도 분포 특성은 HDR 렌더링을 처리하는 데 있어 상대적인 렌더링(즉, 디스플레이 피크 광도와 LDR 디스플레이의 감지가능한 블랙 사이의 색영역에 대한 압축)이 왜 좋은 방법이 아닌지를 보여준다(이 렌더링 방법은 특정 이미지 및 장면의 정확한 동적 범위 또는 휘도 분포비를 무시하고, 따라서 매우 부정확한 동적 범위 렌더링을 만들게 된다). 또는 기술적 구성요소의 프레임워크는 이들의 모든 측면을 처리할 수 있다. 즉, 5000 nit 디스플레이에서 모든 필요한 픽셀 광도(휘도)의 고품질 렌더링뿐만 아니라 적은 용량의 디스플레이, 즉 더 낮은 피크 광도에서 렌더링할 필요가 있을 때 충실한 근사값까지도 처리할 수 있다. 이러한 것은 장면의 이미지의 고품질 측면, 특히 어떤 HDR 효과(예를 들면, 안개 밖으로 나오는 사람의 콘트라스트에 대한 램프의 광도 표현)가 주어진 더 낮은 디스플레이 피크 광도의 특정 정도로 희생될 필요가 있을 복잡해진 트레이드-오프를 수반할 것이며, 이러한 것은 일부 경우에 스마트 이미지 분석 소프트웨어에 의해 부분적으로 행해질 수 있지만, 종종 사람의 컬러 그레이터에 의해 예술적으로 최적활될 것이다.
도 5a의 교회에 대한 LDR 재-그레이딩으로 돌아가서, 양한 디스플레이에 교회 내부(CD)의 어두운 구석의 컬러가 동일하게 보이도록(즉, 동일한 디스플레이 출력 휘도로 렌더링 됨) -가능한 정도로-원한다면, 2000 nit 디스플레이가 모든 컬러에 대해 보다 20x 밝다면(즉, 예를 들면 피크 화이트에 대해 상대적으로 동일하게 구동될 때), 동일한 출력 렌더링에 대해 LDR 디스플레이(또는 그 컬러 CD_LDR100)에 대한 구동 휘도(또는 실제로 물론 대응하는 루마 R',G', B')를 20배 부스팅해야할 것이다. 물론, 교회 내부를 충분히 볼 수 있는 데 필요한 때에도 이러한 것은 LDR 디스플레이의 주어진 색영역 한계가 가능할 때에만 일어날 수 있다. 예를 들면 CD_HDR2000이 그러한 LDR 변환이 현실적이지 않을 0.05의 휘도를 갖는다면, 물론 일반적으로 매우 어두운 휘도로 떨어질 수 있는 HDR 코딩으로지만, 즉, 화이트인 LDR에 대한 휘도가 1.0이 될 것이기 때문에, 상대적인 휘도는 피크 화이트의 예를 들면 1/10000 이하가 될 것이다. 여전히 물론 CD_HDR2000을 CD_LDR100으로 매핑할 때 그레이더는 그 기준으로서 정확한 출력 휘도 등가물을 사용할 필요는 없지만, 어떠한 것이든 시각적으로 만족스러운 매핑을 사용할 수 있다. Im_2000에서 LDR 이미지를 유도할 필요만 있고 다시 재-그레이딩할 필요는 없기 때문에 더 낮은 동적 범위 룩에 대한 이들 매핑은 가역적이 될 필요가 없다. 물론 어떠한 것이 될 수도 있지만 단순함을 위해, MDR의 매핑은 LDR에 대한 매핑의 일부 보간이 될 수 있으며(예를 들면, 심리시각적 등거리 스케일의 중앙 지점), 그레이더는 심지어 Im_2000에서 MDR로 매핑하는 다른 전용 함수를 지정하기를 원할 수도 있다. 표현할 장면의 얼룩진 유리창에서의 레드 컬러가 높은 포화도로 여전히 매우 밝게 될 수 있다. 이러한 것은, 레드 원색 R의 구동 값(예를 들면 255 또는 1023) 또는 최대 휘도에 근접한 픽셀 컬러들을 인코딩한다면, Im_2000 HDR 이미지에서 발생할 것이다. 다운워드, 예를 들면 MDR로 가면, 그레이더는 시스템의 물리적 한계를 넘어서게 될 것이며, 창문에 대한 광도 임프레션을 가능한 한 많이 얻을 수 있도록, 즉 멋진 밝은 컬러플한 창문으로서 두뇌에서 해석하는 충분한 오브젝트-간 콘트라스트를 유지하기 위해 색채의 균형을 맞추기를 원할 수 있다. 이러한 것은 일반적으로 CD_MDR400으로의 매핑을 수반하는데, 이는 충분한 포화도에서 색영역 텐트 상단의 컬러를 유지하고, 즉 무색의 휘도 축으로부터 여전히 충분한 거리, 즉 색영역의 수렴하는 상단 부분에서 여전히 충분히 낮고 색영역 경계에서 가능한 한 가깝도록 한다(즉, 포스터라이제이션없이 동일하게 되는 텍스처의 인접한 컬러로 인함). LDR의 경우 그레이더는 매핑을 계속하기로 선택한다(예를 들면, 2000에서 400까지는 약 두 스톱이고 400에서 100까지이므로 그레이더는 동일한 방향으로 동일한 거리에서 매핑을 수행하는 것을 고려할 수 있지만 일반적으로 양쪽 디스플레이의 심리시각적 비를 고려하여 밝기와 포화도를 균형있게 하는 임의의 매핑이 있을 수 있으며, 즉, 더 높은 피크 광도의 피크 광도가 시각적인 표현에서 발생하기 시작하는 특정 광 효과를 디스플레이하는 것과 그레이더가 100 nit와 같은 낮은 피크 광도 디스플레이에서 일부 HDR 효과를 과도하게 채우는 것). 이러한 예에서, CR_LDR100의 (가까운) 화이트로 클리핑하는 그레이더의 선택을 보게 되고, 얼룩진 유리창의 픽처 텍스처가 조금만 남겨져 LDR 룩에서 가볍게 비추게 된다. 이러한 다운 매핑 함수 F_2T1을 기술적으로 인코딩하는 방법에는 여러 가지가 있을 수 있다. 예를 들면, 그레이더는 디스크의 기능을 지정하는 기술을 사용하여 (유효한) 제한된 범위 [0,1] 내에 머물게 할 수 있으며, 즉, MDR에 대한 매핑이 Im_2000에 메타데이터로서 공동-인코딩되고, LDR 룩이 그로부터 수학적으로 추정된 수신 측에 있게 된다. 그렇지 않으면, 기술적으로 일반적인 [0,1] 색영역 범위를 벗어나는 확장된 색영역에서 정의된 의사 컬러 PC에 컬러 매핑을 가능하게 할 수 있다. 이 경우, 보간법에 의해 적절한 MDR 컬러 CD_MDR400을 얻기 위한 LDR 컬러 PC를 정확하게 지정할 수 있고, 실제 렌더링 가능한 LDR 컬러 CR_LDR100은 클리핑 메카니즘을 적용하는 디코더에 의해 수신 측에서 결정될 것이다(예를 들면 복수의 선택가능한 클리핑 전력으로부터 선택 번호를 인코딩함으로써 고정될 수 있거나 또한 지정될 수 있음). 도 5b는 아웃라이어가 LDR 그레이딩 이미지 사양에 대해 인코딩될 수 있는 방법의 실시예 중 하나를 도시한다. 하나는 0.0과 1.0 사이의 전체 색영역 555에 매핑되지만, 일부 코드는 LDR에서 렌더링할 수 없는 컬러에 대해 보유된다(하지만 MDR 컬러로 조정할 때 렌더링 가능). LDR 렌더링 가능한 컬러의 실제 식영역은 556이며(즉, 원하는 클리핑을 가능한 수반하여 컬러가 LDR 디스플레이 상에 렌더링되어야 하는 방법), 예를 들면 0.85에서 최대 또는 화이트 포인트 CW를 정의함으로써 지정될 수 있다. 색영역 중에서 556 컬러는 일부 고정된 또는 전달된 클리핑 전략에 의해 LDR 이미지를 렌더링하기 전에 그 색영역으로 클리핑될 것이다. 일부 콘텐츠 생성자는 LDR 오브젝트 영역에 대한 컬러가 적지 않기 때문에 안전한 방법으로 디스크의 MDR 코딩으로부터 LDR 룩의 외삽을 찾을 수 있다. 현재의 이미지(들)에 필요한 LDR 색영역 정의에서 최상의 것 주변에 더 큰 색영역 555를 실제로 편안하게 에워싸서 상대적으로 CW를 정의하기 때문에 여전히 유사한 전략이 된다. 즉, 최대 점유(occupancy)를 갖는, 즉 가장 낮은 인코딩된 이미지에서 클리핑이 없는 이미지로 텍스처 데이터를 정의한다. 따라서 이러한 것은 일부 MDR 이미지를 디스크에 저장하고 매핑을 적용하여 최종 LDR을 렌더링하고 일부 클립핑 구성 요소를 갖는 것과 대응한다.
요약하면, (예를 들면, 이미지에서 실제로 오브젝트의 의미에서 디스플레이 능력에 균형을 맞추고 밝기 표현 외에도 광도 표현에서 심리시각적으로 역할을 하여 이들을 추가적으로 밝게 하기 위해) 일반적으로 HDR 표현 간의 매핑은 일반적으로 상대적인 휘도 축을 따라 더 밝은 오브젝트를 재-배치하는 것을 수반하는데 반하여, LDV 이미지에 대한 매핑은 두 개의 기술적으로 상이한 작업인 이용가능한 렌더링 가능한 주어진 작은 색영역을 어떤 최적의 방법으로 함께 모든 오브젝트 그레이 값 범위의 퍼즐링을 수반한다.
이러한 이면에는, 하나의 단일 HDR 이미지뿐만 아니라 실제로는 다양한 디스플레이 광도를 갖는 다양한 렌더링 상황에 대한 룩들의 스펙트럼을 인코딩하기 위한 유용성의 이론이 있는데, 이러한 것은 사소한 것이 아니며, 각각의 룩 이미지에 대해 물론 예술적 고려사항도 있지만 합의된 컬러 코드의 워드 길이의 기술적 한도(실제로 계산 IC의 복잡성, 또는 커뮤니케이션에 이용가능한 비트 버짓, 예를 들면 위성 비디오 방송 시스템과 같은 레거시 기술의 통합가능성 등)와 같은 주어진 모든 요인에 대한 최적화 실행을 일정하게 필요로 하기 때문이지만, 실제로 이들 모든 요구사항은 함께 최적화된다(그래서 양호한 기술 프레임워크를 필요로 하며, 따라서, 예를 들면 인간의 컬러 그레이더는 예술적으로 환상적인 것을 만들 수 없지만 이용가능한 기술로 매핑하지 않으므로 결국 실망스럽게 보여진다).
예를 들면, 평균적으로 빛을 비추지만 또한 상당한 어두운 영역이 있는 실내 공간을 갖지만, 5000 nit 기준 휘도 범위 또는 컬러 영역에 최적화하도록 이미 복잡한 장면이 될 수 있는 중요한 컬러 및/또는 광도의 여러 영역들을 또한 갖는 햇빛이 드는 외부 세상의 일부 개구를 통한 뷰를 갖는, 동적 범위가 더욱 복잡한 장면을 고려해보자. 여전히 뷰어는 정확한 평균 광도를 정확히 갖는 실내의 안쪽 부분에서 다소 더 어두운 다양한 영역들을 정확하게 볼 것이므로, 가시성은 정확하고 장면 등의 분위기, 실제 외부의 지역을 에뮬레이트하는 다양한 밝은 영역들 또한 그러하다. 하지만 문제는 장면의 모든 더 작은 동적 범위 뷰에 대해 이러한 서로 다른 조명 영역을 균형 잡힌 방식으로 분산시켜주는 방법이다(즉, 최대 휘도가 낮고, 피크 휘도가 낮은 디스플레이에서 렌더링하는 경우). 2000 nit 렌더링은 여전히 상당한 고화질의 HDR 룩을 가질 수 있지만 다소 2000 nit 미만의 휘도에 대해 여전히 3000~5000 nit 사이에 있는 휘도를 어떻게 재-분배해야하는지를 결정해야한다. 예를 들면, 그레이더는 최적으로 행해지도록 모든 휘도를 5000 nit 그레이딩과 동일하게 내부에서 유지하고 외부를 충분히 밝고 빛나게 유지해야한다고 생각할 수 있다. 즉 그 평균 휘도를 최대 2000 nit의 최대치와 근접하게 유지하고(또는 더 양호하고, 외부에 있는 어떤 오브젝트든 충분한 색채의 제약 하에서 달성가능한 최대치), 예를 들면 그 지역의 스펙터클 하이라이트에 대해 다소 희생한다.
1000 nit에 대해, 밝은 영역을 더 결정적으로 재-그레이딩할 필요가 있으므로 이제 내부의 컬러를 어둡게 하여 내부와 외부의 평균 휘도의 콘트라스트 비를 충분히 높게 유지하도록 구려할 수 있다. 로컬 및 세미-글로벌 콘트라스트 등을 여전히 고려하지만, 더 작은 이용가능한 휘도 서브-범위에서 모든 이들 서로 다르게 빛이 비추는 내부 영역들을 함께 퍼즐하도록, 예를 들면, 700 nit에 대해, 그레이더는 실내 오브젝트의 모든 휘도를 크게 변화시킬 필요가 있다고 생각할 수 있다. 물론 옥외에서 오브젝트의 휘도를 다시 볼 필요가있을 수 있다.
HDR 인코딩을 위한 양호한 기술 프레임워크는 물론 이미지 생성 측면에서 필요한 다양한 시나리오, 특히 다양한 방법으로 모든 오브젝트를 적어도 휘도 축 방향으로 재-컬러링할 수 있는 충분한 시나리오를 제공해야한다.
마지막으로, 포맷터(330)는 예를 들면, HDR 이미지를 코딩하기 위해 선택된 비디오 전송 인코딩 표준에 따라 어떠한 규정된 포맷으로 단일의 예를 들면 2000 nit 기준 이미지 Im_2000을 생성한다. 우리는 기존의 LDR 이미지 코딩 및 통신 기술을 광범위하게 재사용할 수 있는 방법을 개발했다. 결국에는 예를 들면 심지어 HDR 이미지의 경우에도 정규화된 RGB 값을 가지므로, 실제로 픽셀이 무엇인지 신경 쓰지 않는 코딩 형식으로 저장할 수 있다(물론 수신기는 루마 또는 비선형 R'G'B 값이 실제로 대응하는 휘도를 설명하는 메타데이터가 필요하며, 실제로 레거시 LDR 이미지를 수신한다고 가정하면 낮은 피크 광도로 디스플레이에서 픽셀의 대부분을 너무 어둡게 렌더링할 것이다). 이용가능한 1024 코드가 루마로서 특정 휘도를 인코딩하는 데 어떻게 사용되는지를 정의하기 위한 올바른 EOTF가 사용된다면, 우리 연구에서 우리는 표준 MPEG 코딩 구조(예를 들면, YCrCb 10 비트)로 HDR 이미지를 인코딩할 수 있음을 보여 주었기 때문에 일반적으로 인코딩된 Im_2000를 얻기 위해 수반된 DCT 인코딩이 있을 수 있다. 더 낮은 동적 범위 디스플레이(예를 들면, 최대 300 nit)에 대한 최종 구동 이미지를 얻기 위해 적어도 하나의 더 낮은 동적 범위 이미지(예를 들면, 일반적으로 100 nit)를 산출하도록 예를 들면 F_2T1 함수와 같이, Im_2000으로부터 어떻게 유도된 이미지(즉, 그레이딩 또는 룩)가 얻어져야 하는지를 규정하는 모든 요구된 메타데이터가 상기 이미지와 공동-전달되어야한다. 이미지 및 메타데이터는 예를 들면 BD 디스크에 놓이거나, 비디오 전송 코딩 신호로서 인코딩되고, 예를 들면 네트워크 연결을 통해 전송되거나, 또는 나중에 전송하기 위해 저장될 수 있다. 본 발명에 따른 것 이외에 메타데이터 MET(F_2Tu)의 부가적인 세트가 있을 것이며, 본 명세서에서 BD 디스크에 저장된 Im_2000 nit 이미지로부터 예를 들면 Im_5000 nit 그레이딩의 매우 가까운 근사를 재구성하기 위해 함수 F_2Tu로서 설명할 것이다. 따라서 요약하면, 유닛(310)에서 일어나는 그레이딩 발생은 기본적인 예술적인 그레이딩이지만, 예술가가 고품질(더 큰 피크 광도) HDR 이미지에 매핑되는 실사 장면을 원하는 것을 정의한다. 제 2 그레이딩 유닛(320)은 그레이더의 방향 하에서 일반적으로 이러한 최적의 HDR 표현을 더 낮은 피크 광도 HDR 이미지에 매핑하는데 사용된다(오브젝트 휘도가 더 낮은 피크 광도 범위에 매핑되었기 때문에 더 높은 피크 광도의 디스플레이에 대해 최적의 재-변환을 가능하게 하기에 충분한 영역의 코딩 품질을 여전히 갖고 있지만, 심리시각적으로 적은 HDR 임팩트를 갖는 트레이드-오프). 몇몇 인코더 실시예는 단지 그것을 할 수 있고, 이미지 전달을 위해 합의된 것보다 높은 피크 광도의 디스플레이 및 렌더링 시나리오를 제공할 필요가 있는 서비스 수신기 애플리케이션을 수행할 수 있다. 하지만, 피크 광도를 더 낮추기 위해 다운-그레이딩하는 방법에 대한 정보를 갖는 것이 일반적으로 유용하므로, 통상적으로 제 3 유닛(325)이 또한 있을 것이고, 이는 자동 알고리즘 또는 일반적으로 또한 그레이더가 통상적으로 2000 nit 이미지가 어떻게 일반적으로 100 nit 이미지로 다운-그레이딩되어야 하는지를 지정하는 것을 가능하게 한다. 마지막으로, 모든 데이터는 합의된 스토리지 또는 통신 시스템에 필요한 포맷에 따라 포맷된다.
우리는 이제 5000 nit 및 2000 nit HDR 인코딩 간의 매핑에 관해 그레이딩이 무엇을 할 수 있는지에 대한 추가의 일부 실시예 양태를 설명할 것이며, 그 기술적 양태와 다양한 기술적 실시예가 이에 대해 제공해야한다. 앞서 말했듯이, 단지 그 자체로 사용되어야만 하는 Im_2000 nit 인코딩만의 그레이딩뿐만 아니라 우리의 파라메트릭 기능 인코딩 기술로 5000 nit 최적의 그레이딩 Im_5000의 코딩할 때, 2000 nit에 대한 그레이딩은 실제로 장면 컬러 표현(즉, 모든 HDR 오브젝트 텍스처의 충분히 정확한 양자화 된 특성)과, 그레이더가 실현하고 그에 대해 관심을 갖든 갖지 않든, 다른 한편 예술적 룩 사이에서 항상 균형있는 실행을 이루게 된다. 따라서 양호한 그레이딩은 최적화할 때 양쪽 제약 조건을 고려해야한다. 우리는 이론적으로 도 6에서 가능한 한 그레이딩 방법으로 시작할 것이다. 조명이 매우 다른 두 개의 하위-영역으로 구성된 HDR 이미지가 있다고 가정한다(예를 들면, 인테리어, 어두운 갈색 선술집, 창문을 통한 밝은 외관 또는 밤의 다른 길: 어두운 외관 및 예를 들면 상점 창 내부 등이 밝게 빛나는 경우). 우리는 두 영역을 적어도 개념적으로 디마크리에이터 Lt로 구분할 것이다. 실제로, 다양한 등가의 방식으로 매핑을 기술적으로 실현하고 인코딩할 수 있는데, 예를 들면 Lt 위의 Im_2000의 휘도에 대한 복잡한 매핑과 아래의 휘도에 대한 단순한 곱셈 스케일링 팩터를 지정하거나 또는 5,000 nit 그레이딩으로 재구성되는 입력 Im_2000의 전체 휘도 범위에 대한 단일 매핑을 지정한다. 그레이더는 5000 nit의 기준(im_5000)에서 술집 인테리어에 대해 멋진 룩 만듬으로써 이러한 예에서 컨텐트 생성을 시작했다. 그는 이제이를 인코딩하고 전송하기 위해 즉, 동일하게 렌더링된 휘도가 되도록, 즉 기준 휘도 범위에서 동일한 휘도로 Im_2000 nit 그레이딩으로 상기 룩을 카피하길 원한다. 즉, Lt 아래의 해당 영역에서 두 개의 그레이딩은 2.5 스케일 팩터로 선형 매핑에 의해 관련된다. 물론 숙련된 독자는, 선형 매핑 곡선(601)에 작은 범핑 업을 주게 될 5000 nit 렌더링/그레이딩에서 행하는 것과 비교하여, 일부 브라운 의자가 2000 nit 렌더링에서 보다 잘 보이기 때문에, 그레이더는 예를 들면 더 낮은 하위부분의 어두운 일부 부분과 같이 모든 종류의 다른 매핑을 사용할 수 있다.
그러면 그레이더는 광도가 더 밝은 컬러로 무엇을 할 것인가에 집중할 수 있다(우리는 간단하게 컬러의 색도가 두 HDR 인코딩에 대해 모두 동일하다고 가정하며, 이러한 것은 휘도 특성에 기초하여 발명을 설명할 수 있음을 의미하지만, 숙련된 독자는 어떻게 더 일반적인 컬러 매핑을 사용하여 예를 들면 컬러 포화도 또는 색조(예를 들면, 햇빛을 에뮬레이트하기 위해 노란색 쪽으로 이동)와 같이 변경할 작업을 하는지 이해할 것이다. 이러한 것은 단지 다양한 밝은 HDR 텍스처의 인코딩 일뿐이고, 즉 이제 이들 영역에 대한 이상적인 휘도의 룩 요건을 무시한다면, 이들이 2000 nit에서 어째든 완전하게 이루어질 수 없기 때문에 또는 사후-처리될 수 있기 때문에, 이미지의 나머지 부분에 대한 부분 매핑 곡선(602)을 사용할 수 있으며, 즉, 이 예에서 정규화된 LN_2000 휘도가 동일한 상대적인/정규화된 LN_5000 휘도로 1 대 1로 Lt 매핑된다(물론 5000 nit 의도된 디스플레이에서 렌더링될 때 비색계(colorimeter) 또는 광도계(photometer)가 더 밝게 보이지만, 인간의 시각 시스템에 대한 룩은 특히 시각적 적응 및 인간의 뇌에 의한 이미지의 인지적 해석에 의존할 것이다). 즉, 아마도 외부 햇빛이 드는 지역의 상부 부분은 5000 nit 디스플레이에서 더 밝아 보일 수 있지만 그렇게 할 수 있고 그렇게 해야한다. 그리고 뇌는 외부에 있을 햇빛이 어떤지 정확히 알지 못하고 관리하지 못하지만 적어도 특정 피크 광도의 임의의 디스플레이가 허용하는 한 "상당히 밝은" 영역을 기대할 것이다. 따라서 일부 유형의 장면에 대해, 여전히 가역적이며, 이제 불연속적인 매핑을 갖기 때문에, 약간은 반직관적이기는 하지만 합리적 결과로 나쁜 그레이딩 전략이 되지 않을 것이다. 가역성 기준(즉, 그레이더가 일부 기능을 적용하여 고품질 5000 nit 그레이딩에서 "낮은 품질" 2000 nit 코딩을 하는 경우, 수신측에서 이들 기능이 리버스로 적용되어 수신된 2000 nit로부터 5000 nit 그레이딩을 재구성해야한다)은 전송측에서, Im_5000에 대한 충분한 시각적 접근성의 속성으로 Im_2000을 재구성 Im_5000*에 매핑하기 위한 몇 가지 F_2Tu 함수(들)를 규정할 수 있는 것만을 요구하며, 따라서 우리의 실시예의 설명에서 인코더는 메타데이터로서, Im_5000*을 재구성하는 데 필요하며 일반적으로 단조롭게 증가할, 다운매핑 함수가 아닌 그 역의 F_2Tu(이 경우 F_2T5는 5000 nit 그레이딩을 재구성하는 것이다)를 인코딩하는 것으로 단순히 가정한다.
아마도 그레이더는, 예를 들면 제한된 그레이딩 툴 세트에서 (조정 가능한 세그먼트 위치를 갖는 멀티-선형과 같은) 연속하는 함수가 있기 때문에, 다른 함수들을 사용할 것이다. 이 경우에, 그는 상위 휘도(상위 휘도 영역 R_U)에 대해 부분 매핑(603)을 사용하도록 선택할 수 있고, 예를 들면, Im_2000을 그레이딩할 수 있어, Lt의 바로 위에 존재하는 휘도 값이 없지만, 예를 들면 입력 휘도 범위의 마지막 1/4에만 있다. 다양한 요구 사항에 대해 지속적으로 균형을 유지해야하며, 따라서 양호한 5000 nit 그레이딩이 유도되기를 원한다면 특히, 그 품질에 대해 책임을 지고 싶다면, 2000 nit 그레이딩에서 행하는 것을 체크하는 것뿐만 아니라 재구성된 5000 nit의 것에 대해서도 체크해야할 것이다. 예를 들면 이들을 나란히 체크하거나 단일 디스플레이에서 토글(toggle)할 수 있다. 토글링은 상당한 변경 영역을 즉시 보여줄 것이며, 그에 반해 나란히 체크하는 것은 다른 유형의 체크에 사용될 수 있다(예를 들면, 일부 추가 이유 또는 효과를 위해 의도적으로 다르게 그레이딩된 하위-영역). 또한, 자동 알고리즘은 예를 들면 밴딩(banding)인, 일부 시각적 측면에 따라 결정적일 수 있는 영역의 사전 분석을 행할 수 있으며, 그러면 그러한 영역은 그곳이 더 결정적으로 보이도록 그레이더에 대해 레드로 깜박이게(blink) 될 수 있다. 두 이미지는 모두 HDR이어야하지만 물론 HDR 이미지와는 다소 다르게 될 것이다. 곡선(603)의 신장은, 특히 Im_5000* 이미지가 밝은 5000 nit 디스플레이 상에 표시되기 때문에, 예를 들면, Im_2000 이미지에서 국부적으로 이용가능한 코드의 수 N과 비교하여 너무 높은 도함수 D로 인하여 예를 들면 밴딩을 갖는 일부 영역으로 이끌어질 것이다. 그러면 그레이더는 이를 고려하도록 그 커브를 재-조정할 수 있다. 예를 들면, 적어도 시각적으로 수용가능하다면, 기울기가 높은 부분들 사이의 낮은 기울기의 일부로 603에 대한 N-자형 곡선을 얻도록 적어도 그 영역에서 곡선의 기울기를 약간 낮출 수 있다. 그렇지 않으면, 602만큼은 아니지만 상기 곡선을 조금 이동시켜 평균적으로 더 작은 기울기를 제공할 수 있다(예를 들면, 창 테두리 주위의 빛의 번짐을 술집 내부로 제한하도록, 내부와 비교하여 외부 영역에 대한 오브젝트 간 콘트라스트를 결정함으로써 스텝 높이를 시각적으로 조정하기를 원할 수 있다). 또는 자동 알고리즘이 그에 대한 것을 할 수도 있다. 이 경우, 일부 기술적으로 그레이딩된 이미지(Im_2000T)는 디스크 상에 저장될 수 있고, 그 다음에 전형적으로, 그레이더에 의해 요구된 대로 예술적 그레이딩 Im_2000을 Im_2000T으로부터 유도하는 예를 들면 F_2T2T인 추가 매핑 파라미터가 있게 될 것이다.
도 7은 기능적 변형에 의해 2 개의 더 밝고 더 어두운 HDR 그레이딩을 연관시키기 위해 그레이더가 하는 것의 일부 일반적인 예를 개략적으로 도시한다. 더 낮은 휘도의 내부 영역의 정확한 재현 대신에, 두 개의 룩 중 하나에 약간의 추가적인 그레이딩 효과를 두게 되는데, 이는 5000 nit에서 더 잘 보이거나 또는 2000 nit의 더 작은 범위에서 최적화가 있다고 생각하기 때문이다. 예를 들면, 전형적인 5000 nit 디스플레이가 어두운 부분(또는 적어도 상대적인 어두운 부분이지만 아마도 또한 완전하게 어두운 부분, 울트라-HDR 디스플레이는 0.01 nit 대신에 예를 들면 0.005 아래까지 이론적으로는 0.0001까지도 렌더링한다)을 더 낫게 렌더링할 수 있다고 생각한다면, 701 매핑 부분을 좀 더 어둡게 벤딩할 수만들 수도 있다. 즉, 그는 약간의 추가적인 어둠의 룩으로 가져올 수 있는데, 이는 예를 들면 어두운 지하실이나 동굴 또는 야간 숲 등의 공포 영화에서의 이미지에 도움이 된다.
유사하게, 상부 부분의 매핑 곡선(703)을 휘게하여 약간 더한 콘트라스트를 가져오고 그 특정 휘도 하위영역을 강조하거나, 또는 그 반대의 경우에는 중요치않게(de-emphasize) 할 수 있다. 우리는 또한 로컬 그레이딩의 예를 보여주었다. 즉, 이미지 Im_2000에서 모든 픽셀에 대해 일반적으로 곡선(710)이 사용될 수 있기는 하지만, 공간 위치에서가 아니라 순전히 픽셀의 휘도에 기초하여, 본 예에서는 곡선(710)은 일부 로컬 영역/오브젝트(예를 들면, 내부의 비교적 어두운 부분에 의해 둘러싸인 작은 창을 통한 밝은 외부 세계의 제 2 뷰)에 대해 사용된다. 이러한 것은 데이터를 특정하는 컬러 프로세싱 함수 형태에 부가하여, 일부 국지적(localization) 정보가 전달될 수 있어 수신기로 하여금 이미지(710)에서 어느 픽셀이 적용되어야하는지를 결정할 수 있게 한다는 것을 의미한다. 이러한 것은, 예를 들면 일부 특정 오브젝트가, 지나치게 과도하게 되지 않도록 완화될 필요가 있는 Im_2000에서 보다 잘 보이도록 부가적인 비-평균적인 부스트가 주어지기 때문에 행해질 수 있다. 또는, 또한 인간 시각의 로컬-적응적인 특성으로 인해, 어두운 실내 벽의 작은 개구를 통해 보이는 하늘의 작은 조각이 이미지의 다른 위치에 있는 하늘의 더 큰 나머지 부분과는 다른 컬러로 인식될 수 있다는 것을 알 수 있으며(이들 모두가 비색적으로 정확히 동일함에도 불구하고), 이러한 것은 로컬 프로세싱 사양에 의해 수정될 수 있다. 또는, 이러한 것은, 전체적인 곡선을 어설프게 고쳐서 유지하기보다는 로컬 프로세싱을 지정하는 것이 숏의 일부 부분에 대해 유익하다는 것을 그레이더가 확인하기 때문에 사용될 수 있을뿐이다. 이러한 모든 요구되는 매핑 함수은 우리가 간략함을 위해 F_2Tu로 개략적으로 표현한 것들이며, 이러한 모든 요구된 파라미터 및 다른 데이터는 수신기에서 이해될 수 있도록 사전에 표준화된 방식으로 메타데이터로서 적절히 인코딩될 것이다. 그레이더는 원칙적으로 5000 nit Im_5000*으로부터 심지어 더 높은 피크 광도 디스플레이로 매핑하는 방법을 공동-인코딩하기를 원할 수 있으며, 이러한 함수 F_5TE는 예를 들면, 햇빛이 비칠 때조차 약간 흰(whitish) 구름이 낀 하늘과 같은 특정의 넓은 영역을 너무 밝지 않게 하도록 하지만, 작은 밝기는 극도록 밝게 하도록 레벨 오프를 규정할 수 있다. 이들 함수는 Im_2000에서 예를 들면 20,000 nit 그레이딩으로 직접 산출하도록 다시 산출되어 디스크에 저장된다. 물론, 그레이더는 또한, Im_5000 nit 이미지가 가장 관심이 있는 최상의 밝기가 되고, 텔레비전 제조사나 STB 제조사, 또는 어떠한 수신 엔드 이미지 변환 장치의 기호가 있더라도 추가의 부스트를 남기는 것을 고려할 수 있다.
예를 들면 광 디스크 상의 저장을 위해 또는 일부 텔레비전 표준을 위해, 이미지 신호(S_im)에서 요구된 컬러 프로세싱 기능 메타데이터의 인코딩은, 예를 들면, 정보의 유형, 및 프로세싱 상황 특히 필요한 컬러 매핑 함수의 형태를 인코딩하는 파라미터임을 나타내는 특정의 인티케이터 코드값으로 HDR 이미지 그레이딩 프로세싱 정의 세그먼트에서 발생할 수 있다. 디스크립터는 한편으로는 요구된 프로세싱을 인코딩할 수 있으며, 다른 한편으로는 2000nit 비디오의 정의를 인코딩할 수 있다. 예를 들면, 그레이딩된 이미지의 최적으로 적합되는 디스플레이 피크 광도의 정의는 다음과 같을 수 있다:
Video_Type_definition_descriptor()
{Peak Luminance of codec reference range
EOTF
}
BD에 기록된 피크 휘도는 우리의 설명된 예에서 2000 nit가 될 것이며, EOTF는 (수학적 함수 또는 LUT로서) 블루레이 스펙에서 규정될 것이다(그들이 정의한 단일이든 다중 변형(들)이든 예를 들면 어느 것이 사용되는지를 나타내도록 정수를 사용하는 다중 케이스로서).
물론, 예를 들면 3000 nit에서 채울 수 있고 일부 3000 nit 코딩을 지정된 2000 nit 정의(예를 들면, 2000 nit 인코딩을 위해 EOTF를 사용)에서 시행할 수 있지만, 보통은 상기 스펙을 따를 것이다.
Im_5000*을 재구성하는 프로세싱은 예를 들면 다음과 같이 정의될 수 있다:
Video_processing_descriptor(){
Characterizing type #2000_to_5000
K 루마 매핑의 선형 세그먼트의 수
부분적 세그먼트 엔드 포인트의 좌표 (i=0;i<K;i++){(LN_2000_i,LN_5000_i)}, LN_2000_i은 x-좌표, LN_5000_i은 예를 들면 세그먼트의 시작 포인트의 an y-좌표, LN_2000_i가 그 최대 값(전형적으로 1)을 갖는다면, 최종 시작 포인트는 엔트 포인트가 됨.
L 루마-의존 포화 멀티플라이어에 대한 선형 세그먼트의 수
현재의 선형 세그먼트를 시작하거나 종료하는 축을 따르는 휘도(또는 루마) 포인트의 좌표 (j=0;j<L;j++){(LN_2000_j,MULT_SAT_j)}, y-방향에서 멀티플라이어의 포화 부스트 값, 예를 들면 0.3 또는 3.5[주의. 그러한 선형 또는 비선형을 따라 예를 들면 0.25-3.0의 표준 범위를 스케일링함으로써 이러한 그래프를 인코딩할 수 있으며, 예를 들면 8bit=255 가능한 값들은 예를 들면 2.0의 SAT_SCAL_FACTOR를 갖는 MULT_SAT=f(mult_sat_code)= e.g. A*mult_sat_code+B로서 분포되어, 포화도를 2.0*3.0까지 인코딩할 수 있다].
}
이러한 메타데이터로부터 (더 단순한 HDR 코딩 시나리오에서) 수신 측은 이제 필요한 모든 정보를 갖는다. Im_2000이 어떻게 지정됐는지, 즉 장치 특정 요구를 이행하도록 요구되는 경우 추가로 조정될 수 있는 (특정 HDR 디스플레이 능력에 대해 HDR 효과를 이미 최적으로 그레이딩함으로써 렌더링 시나리오 클래스에 대해 부분적으로 최적화되는) 장치-독립적 인코딩으로서 비색계적 의미를 확인하게 된다. 또한 디코더는 프로세싱 기능을 판독하고 이를 그 컬러 프로세싱 유닛에 로딩할 수 있다.
도 4는 예시적인 소비자 홈 렌더링 구성에서의 수신 단에서의 (예를 들면, IC 또는 프로세싱 보드 또는 TV, BD 판독기를 갖는 STB, 컴퓨터, 의료 영상 수신 스테이션 등과 같은 장치의 프로세서상에서 실행되는 소프트웨어가 될 수 있는) HDR 이미지(또는 비디오) 디코더(401)를 개략적으로 설명한다(물론 독자는, 우리의 실시예가 또한 예를 들면 영화관을 위한 디지털 시네마와 같은 전문 시스템에 구현될 수 있다는 것을 이해할 수 있을 것이다).
화상 신호 S_im은 예를 들면, 블루레이 디스크(340)로부터 판독되고, 압축해제된 이미지(Im_2000C)를 시작 이미지로서 생성하고, 여기에서 이미지 디컴프레서(403)는 예를 들면, 선형 휘도 CIE(X,Y,Z) 인코딩된 Im_2000을 얻기 위해 런 렝스 디코딩(run length decoding), 역 DCT(inverse DCT) 등을 실행함으로써 예를 들면, 이미지(들)를 압축해제된 이미지(들)로 압축해제한다. 또한, 다양한 메타데이터 프로세싱 함수가 예를 들면, 동일한 디스크 및/또는 메타데이터의 2차 소스로부터 판독되는데, 이들은 예를 들면 Im_2000으로부터 100 nit 룩 이미지를 얻기 위한 함수 F_d2d, 특히 본 발명의 다양한 실시예들에 대해 설명하는 데 있어 관심을 두는 Im_5000*을 재구성하기 위한 F_2Tu 함수들이다. 로직 프로세서(405)는, 어떤 특정 구성이 그 내부 디코더를 갖는 셋톱박스(STB)인지, 특히 어느 디스플레이(들)가 현재 접속되어 있는지를 결정한다(그리고 예를 들면, 평균 뷰잉 주변 조도, 뷰어가 그 원격 제어를 통해 시스템에 저장한 뷰잉 선호도 등과 같은 렌더링 환경의 추가의 측면을 또한 분석할 수 있다). 2000 nit 디스플레이(450)가 현재 접속되어있는 경우에만, 로직 프로세서는 (그러한 디스플레이를 위해 이미 예술적으로 가장 최적이기 때문에) 프로세싱되지 않은 Im_2000 비디오를 그것에 직접적으로 중계할 수 있다. 이러한 것은 전형적으로 전송 포맷터(415)를 통해 진행될 것이고, 이는 또한 (비록 그것이 그 자체로 어떠한 비색계 프로세싱을 할 필요는 없지만) 임의의 특정 비디오 전송(또는 메모리가 연결되고 비디오가 공급되는 경우는 저장) 표준과 호환되도록 이미지를 포맷할 수 있다. 예를 들면, 디스플레이(450)는 케이블 접속 출력(432), 예를 들면 HDMI의 충분한 HDR 지원 버전과 호환되는 HDMI 커넥터를 통해 접속될 수 있다. 메타데이터가 전송되는 경우(예를 들면, 디스플레이가 그 자신의 최종의 비색계 파인튜닝(colorimetric finetuning) 프로세싱을 할 수 있게 하는 유용한 정보로서), 이러한 메타데이터는 HDMI 스펙에서 합의된 포맷으로 전송될 수 있다. 하지만 동시에, STB는 예를 들면, 휴대 전화 또는 태블릿의 휴대용 디스플레이(451)를 서비스할 수 있다. 이러한 것은 예를 들면 무선 출력(433)을 통한(예를 들면, 802.11 와이파이 프로토콜 또는 유사한 것을 통한 비디오 스트리밍에 의해) 무선 접속을 통해 x*100 최적화된 이미지를 전송함으로써 일어난다. 물론, 말하자면 피크 광도 500 nit인 상당히 낮은 동적 범위 성능의 이러한 휴대용 디스플레이는, 상이한 컬러/광도 룩, 즉 상이하게 그레이딩된 이미지를 갖는 프로세싱된 신호를 공급받아야한다. 여기서, 컬러 프로세싱 유닛(410)은 정확한 프로세싱 함수 F_d2d로부터 정보를 취하여 예를 들면 전형적으로 그러한 함수들을 Im_2000에 적용함으로써 적절한 그레이딩을 얻으며, 로직 프로세서(405)는 요구된 데이터, 즉 Im_2000 및 F_d2d를 전송할 것이다. 따라서, 컬러 프로세싱 유닛(410)은 각 시나리오(즉, 수신된 인코딩된 이미지의 피크 휘도가 무엇이든, 그리고 재-그레이딩된 이미지가 표시되는 디스플레이의 피크 광도가 무엇이든)에 대해 수신된 함수로 인코딩된 재-그레이딩 정보에 기초하여 수신된 함수를 직접 적용함으로써 또는 적절한 컬러 매핑 함수를 결정함으로써 적절한 비색 변환을 산출하도록 구성되어, 정확하게 그레이딩된 출력 이미지를 획득하고, 이어서 정확하게 그레이딩된 예를 들면 100 nit 이미지를 또는 3200 nit 이미지 등을 전송 포맷터(415)로 (직접적으로 또는 로직 프로세서를 통해) 전송할 것이다. 따라서, 전송 포맷터(415)는 접속된 디스플레이로 전달가능하게 되도록 요구된 정보에 대해 필요한 어떠한 리포맷팅을 실행할 것인데, 즉 적어도 어떤 사전-합의된 이미지 인코딩 프로토콜에 따른 이미지를 전송하며(예를 들면, LDR 이미지 코딩 컨테이너에 850 nit 이미지를 저장), 그러한 것은 또한 메타데이터로 컬러 매핑 함수의 전부 또는 일부를 전달할 수 있다.
로직 프로세서(405)는, 예를 들면 이미지의 1000 nit 적용된 디코딩된 비디오를 1500 nit 디스플레이를 위한 이미지로 변환하기 위해 어떤 컬러 프로세싱이 필요한지를 결정할 수 있다.
여기에서, 생성자는 컬러 매핑 함수(F_d2d)에 대한 렌더링 상황을 인코딩할 수 있으며, 이는 다음과 같이 행해질 수 있다:
Mapping_function_meaning{
Starting_max_luminance 2000 nit
Optimal_max_luminance 100 nit [즉, 매핑은 "평균으로" 100 nit 디스플레이에 대해 적절히 그레이딩된 구동 이미지를 생성하는 것으로 의미]
Upper_limit_max_luminance 500 nit
Lower_limit_max_luminance 40 nit
}
마지막 2 개의 파라미터는 모든 실시예에서 요구되지는 않지만(전달된 이미지의 피크 광도가 미리-고정되어 있다고 가정하면 함수가 재-그레이드되는 적어도 디스플레이의 의도된 피크 광도만을 인코딩하는 것이 전형적이며, 전형적으로 또한 이러한 인코딩 피크 광도에 채우는 데 유용할 것이며, 여기서는 Starting_max_luminance라고 칭한다), 룩의 적합성에 대한 한도를 전달하는 데 유용할 수 있으며, 따라서 수신기는 그 접속된 디스플레이에 대한 이미지를 재-그레이딩해야할 필요가 있는지를 빠르게 결정할 수 있다.
즉, 콘텐츠 생성자가 최적의 출력 최대 휘도뿐만 아니라 그 한도에도 채울 수 있다면, 그에 따라 본 예에서 Im_2000에서 시작하는 컬러 매핑이 유용한 LDR 디스플레이를 정의하며, 더욱 정확하게는, 예를 들면 500 nit까지 약 100 nit의 디스플레이에서 이미지를 사용할 때[즉, 디스를레이 자신이 그 자신의 개선된 프로세싱하지 않지만 이러한 LDR 그레이딩 Im_100을 직접적으로 렌더링하더라도], 상기 이미지는 여전히 합당하고 너무 밝지 않게 보일 것이다. 예를 들면, 이미지가 너무 어둡지 않고 여전히 50 nit 디스플레이에서 충분한 시각적 품질로 렌더링 될 수 있지만, 예를 들면 40 nit 미만에서는 어두운 영역이 너무 어둡게 되어 적어도 그레이더의 판단에 따라 평균 뷰어가 보기가 쉽지 않다. 이러한 것은 디스플레이 또는 로직 프로세서에 대해 다양한 가능한 함수들 중 어느 것이 예를 들면 750 nit 디스플레이에 대한 Im_750의 예측을 위해 사용하는지를 추정하는 것을 용이하게 할 수 있다. 이러한 것은 예를 들면 F_2000T1000 함수가 아니라 F_2000T400 함수가 될 수 있거나, 또는 디스플레이는 양쪽 예측을 모두 사용할 수 있고, 적절하게 보간할 수 있다. 이러한 제한은 HDR 장면에서 어느 동적 범위 룩에 대해 그레이더의 예술적 렌더링 선택이 유효한지를 지정하고, 이 경우 그 범위에 따른 다양한 평균 오브젝트 휘도의 다른 최적화가 보다 나아진다.
세 번째 예는 STB의 소유자 또는 사용자가 예를 들면 6000 nit의 피크 휘도로 하이 엔드 HDR 디스플레이를 사용할 수 있는 경우이다. 이러한 것은 5000 nit에 충분히 가깝고, Im_5000* 그레이딩된 이미지가 공급될 수 있으며, 다소 차선으로 또는 대안적으로 그 자신의 5000 대 6000 컬러 프로세싱을 하도록 이들을 직접 렌더링한다. 이 예에서, 신호는 출력(431)을 통해 인터넷(420)(또는 이러한 것은 로컬 네트워크일 수 있다)으로 공급되도록 진행된다. 당업자는 인터넷을 통해 다양한 제 3 자 또는 추가적인 기술적 구성요소가 포함될 수 있음을 이해할 것이다. 예를 들면, 디스플레이(452)가 Im_2000 신호(이미 디스플레이-최적화된 이미지 대신에)로 공급되는 경우 2000 대 5000 변환을 행하는 경우에, 사용자는 인터넷을 통하여 제 3자를 통해 디스플레이에 대해 요구되는 F_2Tu 함수를 얻게될 것이다.
우리의 인코딩 프레임워크에는 다양한 변수가 있기 때문에(이제, 코덱 색영역에 대해 상기한 기준 휘도 범위를 갖는 다양한 코덱 정의로 다양한 종류의 LDR 또는 HDR 비디오 캡처를 처리하고 다양한 종류의 디스플레이에 최적의 이미지를 공급할 수 있기를 원하기 때문에), 도 8은 본 발명의 일부 양태를 다시 개략적으로 요약한 것이다.
그레이더가, 예를 들면 어떤 선형 휘로 인코딩에서, 생성 측 상에 그 그레이딩 장치에 내부적으로 갖는 것은 비디오 전송을 위해 아직 최적화되지 않은 예를 들면 OpenEXR 이미지 또는 어떤 것이 좌측 축 상에 있다: L_orig. 상기한 바와 같이, 이러한 마스터 그레이딩 이미지의 픽셀 휘도는 실제 장면의 휘도 자체가 아니지만, 이러한 이미지는 두 개의 상이하게 노출된 ARRI 카메라의 리그(rig)로 이들이 어떻게 캡처되었는지로부터 최종 결과를 편성(codify)한 다음 너무 멀지 않은 미래에 HDR 디스플레이의 대다수에 대한 서비스를 제공하기 위해 적절히 그레이딩된다(물론 그레이딩은 일부 예에서 카메라-맨이 그의 카메라에 구성한 것과 같이 단순할 수 있다). 예로서, 그레이더가 5000 nit의 기준 휘도 범위 최대 휘도를 선택하는 것을 들었는데, 이는 그의 입장에서 얻을 수 있으며 더 밝은 휘도는 어쨌든 볼 수 없는 최상의 기준 디스플레이였기 때문이다. 따라서, 충분한 돈을 가진 소비자가 동일한 디스플레이를 구입하면, 그는 원래의 그레이딩("디렉터의 버전")을 볼 수 있어야한다. 궁극적으로 렌더링되는 것은(코딩 선택들 사이에 대해서는 아직 어떠한 것도 말하지 않았음), L_DISP 축 상에 도시되며, 이는 디스플레이가 출력 휘도로서 휘도를 어떻게 렌더링하는지를 보여준다. 특히, 피크 화이트의 렌더링으로 간략화된다(예를 들면, R'=G'=B'=1023).
하지만, 이러한 체인은 현재 상당히 낮은 코덱 최대치를 통해 진행한다. 휘도 값(상기한 바와 같이 이미지/카메라 각각의 색영역/범위 및 어느 쪽의 디스플레이와도 혼동되어서는 안 되는, 코딩의 색영역의 가능한 표준화된 휘도 최대치의 L_COD 축에 표시), 즉 코덱은 예를 들면 2500 nit의 피크 휘도(L_MAX_C)를 갖도록 규정되었고, 정확한 파이프 라인 전달을 고려하여 모든 코딩 작업을 해야한다. 상기한 바와 같이, 예를 들면 DVB 또는 ATSC 통신을 이용하여 이러한 Im_2500 세트의 비디오 이미지를 전송할 때, 예를 들면 F_2T10인 다양한 컬러 매핑 함수 세트를 함께 공급할 수 있으며, 수신측 컬러 프로세싱 유닛은 예를 들면 Im_2500부터 시작하여 10,000 nit 최적화된 그레이딩 이미지를 도출하도록 공급할 수 있다. 이러한 함수는 또한 간접적으로 지정될 수도 있으며, 예를 들면, 약 50 nit의 피크 광도를 갖는 디스플레이에 대해 50 nit 비디오에 대한 F_D1T05 맵으로, Im_2500에서 직접하는 것보다는 수신 측에서 산출가능한 컬러 매핑된 100 nit로부터 시작한다.
비디오 신호는 예를 들면 블루레이 디스크(340)와 같은 메모리 제품 또는 고체 메모리 제품에서 여러 방식으로 전달될 수 있으며, 상기 고체 메모리 제품은 최대 휘도(L_MAX_C)보다 높은, 바람직하게는 적어도 1.25배 높은 최대 휘도를 갖는 픽셀의 제 2 비디오를 인코딩된 고 동적 범위 비디오(Im_2000)에 컬러 매핑하는 것을 적용함으로써 도출하기 위한 적어도 휘도 매핑 함수를 포함하는 컬러 매핑 사양(F_2Tu) 및, 900 nit와 3500 nit 사이의 바람직하게는 2000 nit 또는 1000 nit인 최대 휘도(L_MAX_C)를 갖는 인코딩된 고 동적 범위 비디오(Im_2000)를 포함하는 비디오 신호(S_im)를 포함한다. 메모리 제품은 선택적으로 적어도 하나의 추가의 컬러 매핑 사양(F_d2d)을 포함하고, 인코딩된 높은 동적 범위 비디오(Im_2000) 또는 컬러 프로세싱에 의해 그로부터 산출된 임의의 비디오가 시각적으로 최적이 되는 디스플레이의 범위를 나타내기 위해 사용가능한 디스플레이 피크 광도(LH_100, LL_100)의 적어도 하나의 한계를 선택적으로 포함한다. 시각적으로 최적은, 예를 들면 더 어두운 디스플레이에서 이미지의 일부가 너무 어두워 용이하게 보기 어렵거나 불쾌하게 판단되는 영역을 포함할 수 있으면서, 그 범위 내의 피크 광도를 갖는 디스플레이에 (예를 들면, RGB 기본 매트릭싱의 변경과 같은 소소한 프로세싱을 제외한) 추가의 컬러 프로세싱 없이 직접 렌더링될 때, (콘텐트 생성자/그레이더에 따라) 이미지가 가장 적절하게 보인다는 것을 의미한다. 특히, 그레이더는 비색적으로 정확한 HDR 효과를 만들 수 있으며, 예를 들면, 1000 내지 2000 nit 사이의 피크 광도의 디스플레이에 최상으로 보이도록 규정될 수 있으며, 예를 들면 500 또는 4000 nit에서, 다른 개별 컬러 프로세싱이 실행되어야 하며, 다소 상이하게 보이는 영역을 제공하고 상이한 동적 범위 능력의 디스플레이에 더 적합하게 HDR을 렌더링한다.
본 명세서에 개시된 알고리즘의 구성요소는 (전체적으로 또는 부분적으로) 실제로 하드웨어(예를 들면, 애플리케이션 특정 IC의 부분)로서 또는 특수 디지털 신호 프로세서 또는 일반 프로세서 등에서 실행되는 소프트웨어로서 구현될 수 있다.
당업자라면 임의의 구성요소가 선택적으로 개선될 수 있고 다른 구성 요소와 조합하여 실현될 수 있고, 방법의 (선택적인) 단계가 각각의 장치 수단에 대응하고 그 역도 가능함을 이해할 수 있어야한다. 본 출원에서 "장치"라는 단어는 가장 넓은 의미로, 즉 특정 목적의 실현을 허용하는 수단의 그룹이며, 따라서 예를 들면, IC의 작은 부분이거나, 전용 어플라이언스(예를 들면, 디스플레이가 있는 어플라이언스) 또는 네트워크 시스템의 일부일 수 있다. "구성"은 또한 가장 넓은 의미로 사용되도록 의도되었으므로, 특히 단일 장치, 장치의 일부, 협력 장치(일부)의 집합체 등을 포함할 수 있다.
표식으로서 본 실시 예들의 컴퓨터 프로그램 제품 버전은 프로세서에 명령들을 입력하고 본 발명의 특징적인 기능 중 임의의 것을 실행하기 위해 (중간 언어로의 변환 및 최종 프로세서 언어와 같은 중간 변환 단계를 포함할 수 있는) 일련의 로딩 단계들 후에 일반 또는 특수 목적 프로세서를 가능하게 하는 명령들의 집합의 임의의 물리적 실현을 포함하는 것으로 이해되어야한다. 특히, 컴퓨터 프로그램 제품은 디스크 또는 테이프와 같은 캐리어 상의 데이터, 메모리에 있는 데이터, 네트워크 연결을 통해 (유선으로 또는 무선으로) 이동하는 데이터, 또는 용지 상에 있는 데이터로서 실현될 수 있다. 프로그램 코드와는 별개로, 프로그램에 요구되는 특성 데이터가 또한 컴퓨터 프로그램 제품으로서 구현될 수 있다. 컴퓨터가 데이터 계산을 수행할 수 있는 임의의 장치를 의미한다는 것이 명백하며, 예를 들면 모바일 폰이 될 수 있다. 또한, 장치 청구 범위는 실시예의 컴퓨터 구현 버전을 포함할 수 있다.
본 방법의 동작에 필요한 단계들 중 일부는 데이터 입력 및 출력 단계들과 같은 컴퓨터 프로그램 제품에서 설명되지 않고 프로세서의 기능에 이미 존재할 수 있다.
상기 언급된 실시예들은 본 발명을 제한하기보다는 예시적인 것임을 유의해야한다. 당업자는 청구범위의 다른 곳에 대해 제시된 예를 용이하게 매핑할 수 있을 것이다. 이러한 모든 옵션을 간결함을 위해 설명하지는 않았다. 청구 범위에서 결합된 본 발명의 요소들의 조합 이외에, 다른 요소들의 조합도 가능하다. 하나의 전용 요소에서 모든 요소의 조합을 구현할 수 있다.
청구 범위의 괄호 안에 있는 모든 기준 기호는 청구 범위를 제한하기 위한 것이 아니다. "포함하는"이라는 단어는 청구항에 포함되지 않은 요소 또는 측면의 존재를 배제하지 않는다. 구성 요소에 선행하는 "하나의(a 또는 an)"라는 단어는 그러한 복수 개의 구성 요소의 존재를 배제하지 않는다.

Claims (16)

  1. 휘도가 제 1 최대 휘도(L_max_M)까지의 값들을 가질 수 있는 픽셀 컬러들을 갖는, 이미지 세트(Im_5000)를 포함하는 입력된 고 동적 범위 비디오를 인코딩하기 위한 인코더(301)로서,
    입력된 고 동적 범위 비디오는 2차 인코딩된 고 동적 범위 비디오(Im_2000)로서 통신을 위해 인코딩되는, 상기 인코더에 있어서,
    인코딩된 고 동적 범위 비디오(Im_2000)에서 임의의 픽셀의 휘도는 제 2 최대 휘도(L_max_C) 이하이고, 상기 제 2 최대 휘도는 상기 제 1 최대 휘도보다 낮고,
    상기 제 2 최대 휘도는 저 동적 범위 디스플레이의 피크 광도보다 높고;
    상기 인코더는:
    - 컨텐트 생성자가 더 낮은 제 2 최대 휘도(L_max_C)의 인코딩된 고 동적 범위 비디오(Im_2000)의 휘도를 고 동적 범위 비디오(Im_5000)와 실질적으로 동일한 고 동적 범위 비디오 재구성(Im_5000*)의 휘도로 매핑하기 위한 적어도 톤 매핑 함수(F_2Tu)를 지정할 수 있게 하도록 구성된 재-그레이딩 유닛(320)으로서, 톤 매핑 함수(F_2Tu)는 수학적으로 역으로 될 수 있는, 상기 재-그레이딩 유닛(320); 및
    - 상기 인코딩된 고 동적 범위 비디오(Im_2000)를 비디오 신호(S_im)에 기록하고, 상기 적어도 톤 매핑 함수(F_2Tu, 601)를 메타데이터로서 기록하도록 구성된 포맷터를 포함하는 것을 특징으로 하는, 인코더.
  2. 제 1 항에 있어서,
    상기 재-그레이딩 유닛(320)은 단조롭게 증가하는 매핑 함수(F_2Tu)의 사양(specification)을 산출하도록 구성되는, 인코더.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 인코딩된 고 동적 범위 비디오에 이산 코사인 변환을 적용하는 비디오 압축기(compressor)를 포함하고, 상기 포맷터는 비디오 신호(S_im)에서 상기 인코딩된 고 동적 범위 비디오의 DCT-압축된 버전을 기록하는, 인코더.
  4. 휘도들이 제 1 최대 휘도(L_max_M) 까지의 값들을 가질 수 있는 픽셀 컬러들을 가지는 이미지 세트(Im_5000)를 포함하는, 입력된 고 동적 범위 비디오를 인코딩하는 방법으로서,
    상기 입력된 고 동적 범위 비디오는 2차 인코딩된 고 동적 범위 비디오(Im_2000)로서 통신을 위해 인코딩되는 상기 인코딩하는 방법에 있어서,
    상기 인코딩된 고 동적 범위 비디오(Im_2000) 내의 임의의 픽셀의 휘도는 제 1 최대 휘도보다 낮은 제 2 최대 휘도(L_max_C) 이하이고,
    제 2 최대 휘도는 저 동적 범위 디스플레이의 피크 광도보다 더 높고,
    상기 인코딩은:
    - 더 낮은 2차 최대 휘도(L_max_C)의 상기 인코딩된 고 동적 범위 비디오(Im_2000)의 휘도들을 상기 고 동적 범위 비디오(Im_5000)와 실질적으로 동일한 고 동적 범위 비디오 재구성(Im_5000*)의 휘도들로 매핑하기 위한 적어도 톤 매핑 함수(F_2Tu)를 지정하는 단계 - 상기 톤 매핑 함수(F_2Tu)는 수학적으로 역으로 될 수 있음 - ; 및
    - 비디오 신호(S_im)에 상기 인코딩된 고 동적 범위 비디오(Im_2000) 픽셀 컬러 데이터를 기록하고, 상기 적어도 톤 매핑 함수(F_2Tu, 601)를 메타데이터로서 기록하는 단계를 포함하는 것을 특징으로 하는, 인코딩 방법.
  5. 제 4 항에 있어서, 단조롭게 증가하는 상기 톤 매핑 함수(F_2Tu)가 지정되는, 인코딩 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 인코딩된 고 동적 범위 이미지에 이산 코사인 변환을 적용하는 단계와,
    상기 비디오 신호(S_im)에서 상기 인코딩된 고 동적 범위 비디오의 DCT-압축된 버전을 기록하는 단계를 포함하는, 인코딩 방법.
  7. 제 1 최대 휘도(L_max_M)까지의 값들을 갖는 휘도들을 가질 수 있는 픽셀들의 이미지 세트(Im_5000)를 포함하는 고 동적 범위 비디오의 인코딩된 버전을 디코딩하기 위한 비디오 디코더(401)로서,
    디코딩은 상기 고 동적 범위 비디오(Im_5000)와 실질적으로 동일한 고 동적 범위 비디오 재구성(Im_5000*)을 산출하는, 상기 비디오 디코더에 있어서,
    상기 고 동적 범위 비디오의 인코딩된 버전은, 임의의 픽셀의 휘도가 제 2 최대 휘도(L_max_C) 이하이고,
    상기 제 2 최대 휘도(L_max_C)가 제 1 최대 휘도(L_max_M)보다 낮고, 제 2 최대 휘도(L_max_C)가 저 동적 범위 디스플레이의 피크 광도보다 높고,
    상기 비디오 디코더는:
    - 인코딩된 버전의 고 동적 범위 비디오(Im_2000)를 수신하는 입력;
    - 적어도 하나의 컬러 매핑 사양(F_2Tu)을 판독하도록 구성된 메타데이터 판독 유닛(477); 및
    - 재구성된 고 동적 범위 비디오(Im_5000*)를 얻도록 인코딩된 버전의 고 동적 범위 비디오(Im_2000)에 컬러 매핑 사양에서 지정된 컬러 매핑을 적용하도록 구성된, 컬러 프로세싱 유닛(410)을 포함하는 것을 특징으로 하는, 비디오 디코더.
  8. 제 7 항에 있어서,
    상기 인코딩된 버전의 고 동적 범위 비디오의 압축된 버전에 DCT-압축해제를 적용하도록 구성된, 디컴프레서(decompressor, 403)를 포함하는, 비디오 디코더.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 컬러 프로세싱 유닛(401)은, 고 동적 범위 비디오(Im_5000)로부터 인코딩된 버전의 고 동적 범위 비디오를 계산하기 위해서, 디코더에 입력된 고 동적 범위 비디오의 인코딩된 버전을 생성한 인코더에서 사용되는 톤 매핑의 수학적 역(inverse)인 톤 매핑(F_2Tu)을 적용하는, 비디오 디코더.
  10. 제 7 항 또는 제 8 항에 있어서,
    톤 매핑은 단조롭게 증가하는, 비디오 디코더.
  11. 제 7 항 또는 제 8 항에 있어서,
    어느 디스플레이 피크 광도를 갖는 적어도 하나의 디스플레이(452)가 연결되는지 고 동적 범위 비디오의 특정 휘도 매핑된 버전이 공급될 필요가 있는지를 결정하고, 디스플레이로의 전송을 위한 출력 이미지(Im_x00)를 얻기 위해서, 상기 적어도 하나의 디스플레이(452)의 디스플레이 피크 광도에 기초하여, 어느 컬러 프로세싱이 인코딩된 버전의 고 동적 범위 비디오(Im_2000)에 적용될 것인지를 결정하도록 구성된 로직 프로세서(logic processor, 405)를 포함하고,
    상기 디스플레이 피크 광도는 제 1 최대 휘도와 상이한, 비디오 디코더.
  12. 제 1 최대 휘도(L_max_M)까지의 값들을 가진 휘도들을 가질 수 있는 픽셀들을 갖는 이미지 세트(Im_5000)를 포함하는, 인코딩된 버전의 고 동적 범위 비디오의 비디오 디코딩 방법으로서,
    비디오 디코딩은 고 동적 범위 비디오(Im_5000)와 실질적으로 동일한 고 동적 범위 비디오 재구성(Im_5000*)을 산출하는, 상기 비디오 디코딩 방법에 있어서,
    인코딩된 버전의 고 동적 범위 비디오는, 임의의 픽셀의 휘도가 제 2 최대 휘도(L_max_C) 이하이고,
    제 2 최대 휘도(L_max_C)는 제 1 최대 휘도(L_max_M)보다 낮고, 제 2 최대 휘도(L_max_C)는 저 동적 범위 디스플레이의 피크 광도보다 높고;
    - 인코딩된 버전의 고 동적 범위 비디오(Im_2000)를 수신하는 단계;
    - 적어도 하나의 컬러 매핑 사양(F_2Tu)을 판독하는 단계; 및
    - 재구성된 고 동적 범위 비디오(Im_5000*)를 획득하기 위해 상기 인코딩된 버전의 고 동적 범위 비디오(Im_2000)에 상기 컬러 매핑 사양에서 지정된 컬러 매핑을 적용하는 단계를 포함하는 것을 특징으로 하는, 비디오 디코딩 방법.
  13. 제 12 항에 있어서,
    상기 인코딩된 버전의 고 동적 범위 비디오의 압축된 버전에 DCT-압축해제를 적용하는 단계를 포함하는, 비디오 디코딩 방법.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 컬러 매핑을 적용하는 단계는 고 동적 범위 비디오(Im_5000)로부터 상기 인코딩된 버전의 고 동적 범위 비디오를 생성한 인코더에서 사용되는 톤 매핑의 수학적 역인 톤 매핑(F_2Tu)을 적용하는, 비디오 디코딩 방법.
  15. 제 14 항에 있어서,
    상기 톤 매핑은 단조롭게 증가하는, 비디오 디코딩 방법.
  16. 제 12 항 또는 제 13 항에 있어서,
    어느 디스플레이 피크 광도를 갖는 적어도 하나의 디스플레이(452)가 연결되는지 고 동적 범위 비디오의 특정 휘도 매핑된 버전이 공급될 필요가 있는지를 결정하고, 디스플레이로의 전송을 위한 출력 이미지(Im_x00)를 얻기 위해서, 상기 적어도 하나의 디스플레이(452)의 디스플레이 피크 광도에 기초하여, 어느 컬러 프로세싱이 인코딩된 버전의 고 동적 범위 비디오(Im_2000)에 적용될 것인지를 결정하도록 구성된 로직 프로세서(logic processor, 405)를 포함하는, 비디오 디코딩 방법.
KR1020207036613A 2014-08-08 2015-07-21 Hdr 이미지 인코딩 방법 및 장치 KR102279842B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP14180314 2014-08-08
EP14180314.8 2014-08-08
US201562135452P 2015-03-19 2015-03-19
US62/135,452 2015-03-19
KR1020177006508A KR102209563B1 (ko) 2014-08-08 2015-07-21 Hdr 이미지 인코딩 방법 및 장치
PCT/EP2015/066653 WO2016020189A1 (en) 2014-08-08 2015-07-21 Methods and apparatuses for encoding hdr images

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177006508A Division KR102209563B1 (ko) 2014-08-08 2015-07-21 Hdr 이미지 인코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200145843A KR20200145843A (ko) 2020-12-30
KR102279842B1 true KR102279842B1 (ko) 2021-07-21

Family

ID=66685305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207036613A KR102279842B1 (ko) 2014-08-08 2015-07-21 Hdr 이미지 인코딩 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102279842B1 (ko)
ZA (1) ZA201701639B (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230597A1 (en) 2004-04-23 2012-09-13 Dolby Laboratories Licensing Corporation Apparatus and Methods for Encoding, Decoding and Representing High Dynamic Range Images
WO2014009844A1 (en) 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US20140079113A1 (en) 2011-05-10 2014-03-20 Koninklijke Philips N.V. High dynamic range image signal generation and processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230597A1 (en) 2004-04-23 2012-09-13 Dolby Laboratories Licensing Corporation Apparatus and Methods for Encoding, Decoding and Representing High Dynamic Range Images
US20140079113A1 (en) 2011-05-10 2014-03-20 Koninklijke Philips N.V. High dynamic range image signal generation and processing
WO2014009844A1 (en) 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices

Also Published As

Publication number Publication date
KR20200145843A (ko) 2020-12-30
ZA201701639B (en) 2018-12-19

Similar Documents

Publication Publication Date Title
JP7343629B2 (ja) Ｈｄｒ画像をエンコードする方法及び装置
JP6596125B2 (ja) Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
US11195492B2 (en) Optimizing high dynamic range images for particular displays
JP6615251B2 (ja) Ｈｄｒ画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
US10863201B2 (en) Optimizing high dynamic range images for particular displays
US10902567B2 (en) Handling multiple HDR image sources
JP6495552B2 (ja) 画像及びビデオのためのダイナミックレンジ符号化
US20230177659A1 (en) Encoding and decoding hdr videos
US10366672B2 (en) Optimizing high dynamic range images for particular displays
JP7313285B2 (ja) 復号された高ダイナミックレンジ画像の彩度を最適化すること
JP2019506817A (ja) 複数のｈｄｒ画像ソースの処理
KR102279842B1 (ko) Hdr 이미지 인코딩 방법 및 장치
BR112017002313B1 (pt) Codificador para codificar um vídeo de entrada de alto alcance dinâmico, método para codificar um vídeo de entrada de alto alcance dinâmico, decodificador de vídeo para decodificar um vídeo de alto alcance dinâmico, decodificador de vídeo para decodificar um conjunto de imagens de vídeo de alto alcance dinâmico e método de decodificação de vídeo de um conjunto de imagens de vídeo de alto alcance dinâmico

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
GRNT Written decision to grant