KR20140146628A - Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들 - Google Patents
Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들 Download PDFInfo
- Publication number
- KR20140146628A KR20140146628A KR20147029956A KR20147029956A KR20140146628A KR 20140146628 A KR20140146628 A KR 20140146628A KR 20147029956 A KR20147029956 A KR 20147029956A KR 20147029956 A KR20147029956 A KR 20147029956A KR 20140146628 A KR20140146628 A KR 20140146628A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- gts
- luma
- encoding
- hdr
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
높은 동적 범위 장면의 이미지를 인코딩하기 위한 이미지 인코더(549)는: N-비트 코드 워드들을 포함한 이미지 표현(Im l)을 가진 이미지의 픽셀들 컬러들을 인코딩하도록 배열된 픽셀 텍스처 인코딩 유닛(552); 상기 이미지의 적어도 하나의 블록에서 제 1 오브젝트의 모든 픽셀들의 루마들을 그것 아래로, 및 상기 이미지의 적어도 하나의 블록에서 제 2 오브젝트의 모든 픽셀들의 루마들을 그것 위로 구분하는 루마 값인, 영역 구별자 그레이 값(gTS)을 결정하고 출력하도록 배열된 이미지 분석 유닛(550); 및 상기 이미지 표현(Im l) 및 상기 영역 구별자 그레이 값(gTS)을 출력 이미지 신호(S(Im_l, MET(gTS))에 공동-인코딩하여, 특히 기존의 MPEG 비디오 코딩 표준들과 호환 가능한 이미지 포맷들에서 그것들을 인코딩한, HDR 장면들을 인코딩한 이미지의 매우 다목적 사용을 가능하게 하도록 배열된 포맷터(554)를 포함한다.
Description
본 발명은 적어도 하나의 이미지 또는 비디오의 개선된 인코딩, 특히 레거시 이미지들(높은 동적 범위 HDR 이미지들이라 불리우며, 레거시 이미지들은 낮은 동적 범위 LDR로 불리운다)과 비교하여 증가된 동적 범위를 가진 이미지(들)의 코딩 및 다양한 이미지 표현들로 또는 그로부터 증가된 양의 명도 정보(또한 높은 동적 범위로서 알려진)를 가진 이미지 정보의 인코딩을 위한 장치들 및 방법들 및 데이터 저장 제품들 또는 인코딩된 신호들과 같은 결과적인 제품들에 관한 것이다.
최근에 새로운 개발들은 이미지들/비디오(캡처된 장면들이든 또는 컴퓨터 그래픽들이든)의 인코딩에 관해 발생하였으며, 즉 예로서 25000 니트(nit)(예로서, 햇빛이 비치는 구름들)와 같은 큰 휘도 값들 및 종종 또한 HDR(높은 동적 범위) 인코딩으로 불리우는, 0.01 니트와 같은 낮은 값들까지, 자연에서 발생하는 오브젝트 휘도들 및 컬러들의 전체 범위를 보다 양호하게 캡처하는 것이 바람직하다. 지금까지, 전통적 이미지 캡처링 시스템들(즉, 카메라에서 시작하는 체인으로서 - 및 통상적으로 비교적 균일한 훨씬 적절한 장면 조명 - 이어서 예로서 이미지 저장 또는 이미지의 디스플레이까지의 송신을 위한 인코딩까지의 체인)은 심각하게 왜곡하는 방식으로 높은 동적 범위 장면들(즉, 특히 또한 중간 휘도들(다양한 그레이들)의 다양한 중요한 영역들이 있다면, 특히 이들 장면 휘도들 중 여러 개가 예로서 디스플레이 상에서의 렌더링에 기초한 선형 매핑과 같은, 체인에서의 구성요소에 의해 사용 가능한 것으로 쉽게 매핑되지 않는다면, 그 안에 낮은 휘도들 및 중요한 오브젝트들을 가진 동시에 중요한 어두운 영역들, 및 높은 휘도들을 가진 밝은 영역들이 있는 장면들)을 다뤄왔다. 예로서, 동작이 자동차 또는 방과 같은 밀폐된 볼륨의 제 1 광 레벨(조도) 내에서 일어난다면, 창을 통해 보여지는 환경과 같은 보다 밝은 조명의 영역들이 캡처되었거나, 또는 적어도 매우 낮은 품질(즉 파스텔, 씻어내어 지거나 또는 클리핑된 컬러들)을 가진 신호로 표현되었을 수 있다. 이것은 특히 지금까지 예로서, 셀룰로이드 막의 보다 관용적 행동에 비교하여, 보다 저렴한 CMOS 기반 카메라들이다. 특히, 몇 개의 대표적인 코드 값들이 거의 이들 밝은 영역들에서의 오브젝트들과 연관되지 않으며, 이것은 오브젝트 텍스처들의 불량 표현, 또는 심지어 인코딩을 위해 사용된 컬러 공간의 최대 값으로의 무딘 클리핑을 야기할 수 있다. 캡처된 이미지의 휘도 축의 이들 영역들에서 그렇게 적은 데이터를 가지는 것은 또한 프로세싱 기능들, 예로서 디스플레이된 이미지 콘트라스트를 최적화하는 것이 양호한 최종 픽셀 데이터를 생성하는 데 문제점들을 가질 수 있음을 의미한다. 요즘에 및 가까운 미래에 훨씬 더 양호한 디스플레이들(예로서, 수 1000s의 니트들의 피크 밝기를 가진), 또는 적어도 보다 스마트한 이미지 프로세싱 기술들이 이용 가능해지면, 보다 높은 품질의 렌더링된 이미지들을 생성할 수 있도록, 상기 상황을 개선하기를 원할 수 있다.
여러 이유들로, 적어도 미래로 수 년들 동안, 몇몇 형태의 역 호환성을 원할 수 있으며, 이것은 소위 낮은 동적 범위(LDR) 인코딩의 데이터가 이용 가능해져야 하거나 또는 이용 가능한 인코딩으로부터 적어도 쉽게 결정 가능해야 하며, 따라서 예로서 신규의 업그레이드된 비디오 프로세싱 박스가 LDR 신호를 보다 낮은 동적 범위 디스플레이(예로서, 이동 디스플레이)로 전달할 수 있는 것을 의미한다. 또한 저장의 관점으로부터, 그것은 가능한 한 다목적인 방식으로, 즉 장면에 대한 최대량의 유용한 데이터와 함께 뿐만 아니라 특히 간단한 방식에 있다면, 이러한 데이터가 많은 잠재적인 미래 애플리케이션들을 서비스할 방식으로 이미지 신호를 저장하기에 매우 유용할 수 있다. 통상적으로 영화의 촬영은 예로서 많은 노력을 필요로 하여, 원 신호가 매우 가치가 있게 되고, 기술이 허용하는 가장 가능한 방식으로 이를 양호하게 인코딩한다. 프로그램의 마스터 인코딩이 데이터가 상이하게 인코딩되었다면 달성 가능할 수 있었을 것 아래의 보다 양호한 품질 디스플레이 시스템들의 이후의 세대를 위한 것이라는 함정에 빠지지 않도록 하자. 그것은 도처에서 값비싼 스턴트를 해야 하는 것을 피할 뿐만 아니라, 독자는 왕실 한 쌍의 결혼 또는 일반 커플의 웨딩 비디오와 같은 기록될 이벤트들의 몇몇이 다시 이루어지지 않음을 또한 상상할 수 있다. 디스플레이 기술의 새로운 세대를 위한 이러한 비디오를 재마스터링하기 위해 노력하는 것은, 매우 어렵지 않다하더라도, 적어도 다루기 힘들다. 인코딩이 제 1 장소에서 장면을 최적으로 캡처하는 것을 허용하며, 심지어 그것의 바로 그 인코딩 구조에 의해, 나중 개선들을 쉽게 허용하는 것이 바람직하다. 그것이 특정한 디스플레이 더하기 시청 환경상에서 어떻게 렌더링되는지에 관계없이, JPEG과 같은 현재 LDR 인코딩에 존재하는 정보(그 중에서도 특정한 캡처된 장면 및 사용된 카메라 시스템에 의존하여)는 현재 대략 11 개의 선형 비트들 또는 정지부들로서(이에 제한되는 것처럼) 보인다. 물론 인코딩이 렌더링을 위해 직접 사용된다면(예로서, 디스플레이-참조된), 정보 비트들 중 몇몇은 가시적이지 않을 수 있다. 다른 한편으로, 코덱은 원래 장면 또는 그래픽스 구성(장면-참조)으로부터의 정보를 포함할 수 있으며, 이것은 예로서 디스플레이가 이미지 프로세싱에 의해 그것의 인간-가시적 범위를 변경할 때 적절하게 될 수 있다. 그러므로 코딩된 이미지에서 잘-표현된 적어도 보다 중요한 이미지 오브젝트들을 갖는 것이 중요하다.
HDR 캡처링 체인은 단지 카메라를 가장 어두운 및 가장 밝은 오브젝트 사이에서의 큰 휘도 콘트라스트 비를 가진 장면으로 향하게 하며 그 장면 내에 있는 것을 선형적으로 기록하는 것 이상이다. 그것은 예로서 영화의 분위기를 전달하기 때문에(장면에서의 오브젝트들 중 몇몇을 이미 어둡게 하는 것은 어두운 분위기를 전달할 수 있다), 오브젝트들 모두에 대한 중간 그레이 값들이 정확하게 무엇인지와 관계가 있다. 그리고 이것은 복잡한 심리학적 프로세스이다. 하나는 예를 들면, 상기 광의 장면 휘도가 장면 오브젝트 휘도들의 나머지에 대한 것과 같은 렌더링된 그레이 값들의 나머지에 대한 비율로 정확하게 밝은 광이 디스플레이 상에 렌더링되는지 여부가 중요하지 않다는 것을 심리학적으로 상상할 수 있다. 오히려, 그것이 화상의 나머지보다 충분히 높은 한, 픽셀들이 "몇몇" 높은 디스플레이 출력 휘도를 갖고 렌더링된다면, 실제 램프의 충실한 인상을 가질 것이다. 그러나 자기-발광 및 반사 오브젝트들(장면의 다양한 조명 영역들에서) 사이에서의 분포는 또한 디스플레이 색범위 및 통상적인 시청 조건들에 의존하는 태스크이다. 또한 보다 어두운 영역들의 인코딩이 바람직하게 행해져, 그것들이 보다 어두운 이미지 콘텐트에 대한 상이한 레벨들의 가시성을 갖는, 상이한 평균 주변 조명 레벨들과 같은 상이한 렌더링 시나리오들에서 쉽게 사용될 수 있는 것을 상상할 수 있다. 일반적으로 이것은 어려운 심리학적 태스크이기 때문에, 아티스트들은 컬러 그레이딩(color grading)이라 불리우는, 최적의 이미지들을 생성하는 것에 수반될 것이다. 특히, "순수 HDR 인코딩 전략"에서 그것이 행해질지라도, 그것은 아티스트들이 별개의 LDR 그레이딩을 만들 때 매우 편리하다. 다시 말해서, 유일한 HDR 카메라 원(RAW) 신호를 인코딩할 때 이러한 시나리오에서, 반드시 그것은 미래에 비디오 소비 시장의 큰 LDR 단편을 위해 사용될 것이라는 이유 때문이 아닌, 그것이 장면에 대한 중요한 정보를 전달하기 때문에, 우리는 여전히 또한 LDR 이미지를 생성할 것이다. 즉 장면에 보다 중요한 영역들 및 오브젝트들이 항상 있을 것이며, LDR 서브구조(개념적으로,전체 캡처링 후, 및 상기 범위 밖에서의 캡처된 휘도들에 관련하여, 자동 노출 알고리즘의 예술적 상대로서 보여질 수 있는)에 이것들을 넣음으로써, 특정한 렌더링 및 시청 특성들을 가진 디스플레이들을 구동하기에 적합한, 중간 범위 표현들(MDR)로의 모든 종류들의 변환들을 하는 것을 더 쉽게 만든다. 이러한 기술적 프레임워크를 사용함으로써, 우리는 심지어 단일 인코딩 이미지, 동시에 예를 들면, 50 니트의 피크 밝기(실내, 또는 더 높은 밝기이지만 높은 옥외 조도와 경쟁하는)를 가진 이동 디스플레이와 같은 LDR 디스플레이들, 1200 니트의 중간 범위 피크 밝기 MDR 디스플레이, 및 8000 니트 피크 밝기의 HDR 디스플레이를 위한 테일러를 갖고 변환을 행할 수 있다. 특히 예로서 표준 기준 LDR 디스플레이(컬러들이 HDR 디스플레이 상에서의 것들과 가능한 한 유사하게 보이는) 상에서 양호한 품질을 갖고 렌더링하거나, 또는 특정 퍼센티지의 총 캡처된 정보(예로서, 특정한 양의 이미지가 가시적이다)를 운반하는 등을 하는 여러 개의 기준들에 따라, 이러한 LDR 부분을 튜닝할 수 있다. 우리는 우리의 아래에 제안된 코덱에서 단일의 모두-둘러싸는 장면 인코딩(또는 그레이딩)이 예로서, 어두운 영역들인 것을 쉽게 식별할 수 있는 수신 디스플레이가 형성할 수 있는 것을 구현할 것이며, 따라서 그것은 디스플레잉 시스템의 그것의 알려진 특성들이 주어지는 경우 통합된 가시성을 최적으로 맞출 수 있다.
HDR 신호를 인코딩하기 위해 그렇게 많은 방식들이 있는 것은 아니다. 보통 종래 기술에서, 단지 천연적으로 HDR 신호를 코딩하며, 즉 픽셀들을 예로서 16 비트 부동 소수점 워드들로 (선형적으로) 매핑시키며, 그 후 최대 캡처된 휘도 값은 LDR 인코딩과 유사한 철학으로 HDR 백색이다(정신 시각적으로 이것은 보통 장면에서 몇몇 반사성 백색이 아닌, 오히려 램프의 밝은 컬러일지라도). 이것은 카메라에 의해 캡처된 원래 장면 오브젝트 휘도들의 본래의 장면-참조 인코딩이다. 통상적으로 감마 함수 또는 유사한 것이 될, 몇몇 "최적의" 루마 변환 함수를 통해 전체 범위 HDR 신호를 8 비트 LDR 범위에 또한 매핑시킬 수 있다. 이것은 특히 수신 측에서 국소적 브라이트닝과 같은 이미지 프로세싱이 예측 가능하다면, 대응하는 렌더링 품질 이슈들을 갖고 컬러 정밀도(이러한 인코딩들을 위한 범위 및 정밀도 사이에서의 트레이드-오프를 고려하여)를 잃는 것을 수반할 수 있지만, 이미지 오브젝트들의 우세 그레이 값 그레이딩(예로서, 오브젝트에 걸친 평균)이 대략 보존된다(즉, 그것들의 상대적/퍼센티지에 관한 루마 관계들).
종래 기술은 또한 통상적으로 일종의 확장 가능한 코딩 개념에 기초하여, 각각의 HDR 이미지에 대한 두 개의 화상 데이터 세트들을 사용하여 몇몇 HDR 인코딩 기술들을 또한 교시하며, 여기에서 몇몇 예측 함수에 의해, "LDR" 인코딩된 로컬 텍스처의 정밀도가 개선되거나, 또는 더 정확히 서술되고, 즉 통상적으로 LDR 휘도들을 스케일링함으로써(이들 기술들에서 LDR은 보통 통상적인 (기준) LDR 디스플레이 상에서 최적의 렌더링에 이미 적합한 보기 좋은 LDR 등급이 아니지만, 통상적으로 HDR 입력상에서의 간단한 프로세싱이다), 상기 텍스터의 HDR 버전으로 투사된다. 그 후 제 2 화상은 예측된 HDR 이미지를 인코딩될 원래 HDR 이미지에 가깝게 하기 위한 정정 화상이다. 단지 인코딩이 두 개의 화상들에 대해 수행되는 이들 기술들에서만, 몇몇 범위/정밀도 정의 기준으로서 작용하는 예측 함수들을 통해, 단일 HDR 이미지 인코딩들에 대한 몇몇 유사성이 있다.
기저-대역 이미지의 루마들을 스케일링하는 것은 변환을 적용하는 것을 수반하며, 이러한 예측 변환은 종종 인코딩될 데이터의 양을 감소시키기 위해, 블록당 정의된다. 이것은 많은 블록들이 동일한 오브젝트를 포함할 것이며, 그러므로 동일한 변환을 요구하기 때문에, 이미 낭비적인 데이터-방식일 수 있다.
말한 대로, 예측과의 원래 HDR 이미지의 차이는, 강화 이미지의 범위 및 정의가 주어졌을 때 가능한 한, 강화 화상으로서 원하는 정도로 공동-인코딩될 수 있다. 예로서, 8 내지 값 146에 의한 분할을 통해 1168의 HDR 그레이 값을 표현할 수 있다. 이러한 HDR 값은 다시 8로 곱함으로써 재생성될 수 있지만, 값(1169)은 동일한 베이스 층 값(146)으로 양자화할 것이기 때문에, 고 품질 HDR 신호를 재생성할 수 있도록 1과 동일한 강화 값을 요구할 것이다. 이러한 기술의 일 예는 특허 EP2009921[Liu Shan 외, 미쓰비시 전기: 역 톤 매핑을 위한 방법(스케일링 및 오프셋에 의한)]에 설명된다. 이러한 방법들에 대한 흥미있는 질문은 항상 강화 방법이 사실상 시각적 정보 개선으로서 무엇을 초래하는지이다. 그것은 보통 맹목적으로 적용되며, 예로서 텍스처화된 영역들에 대해, 특히 고속 변화 비디오에 대해, 때때로 관련 있는 부가적인 정보를 제공하지 않을 수 있다.
또 다른 2-화상 인코딩이 그 모든 교시들이 참조로서 여기에 통합되는, 현재 아직 공개되지 않은 출원 US61/557461에 설명된다.
이제 모든 기존의 HDR 인코딩들에 대한 문제점들이 있다. 예로서, 단지 전역적 변환들을 적용하는 것은 영화(특수 효과들)에서 매우 많이 투자한 후 콘텐트 생성자가 원하는 것에 따라 훨씬 거칠 수 있다. 다른 애플리케이션들은 텔레비전 프로그램 제작과 같이 덜 중요할 수 있지만, 여전히 최종 모습에 대한 양호한 제어가 바람직하다. 그것은 적어도 많은 인코딩된 데이터 비트들을 요구하는 비용에 이를 것이다. 다른 한편으로, 픽셀 당 복잡한 변환들을 특정하는 것은 또한 인코딩될 많은 데이터를 수반한다. 이것은 예로서 제 1 이미지에서 인코딩되는 오브젝트 텍스처 반사들을 위한, 명도 부스트 맵인 제 2 이미지를 인코딩하기 위해 요구하는 것에 적용한다. 또한, 여기에서 부스트 이미지에서의 많은 양의 중복이 있을 수 있다는 것을 깨닫지 않을지라도, 사실상 이미지에 있는(즉, 다목적 사용을 허용하지 않는) 것에 관해 많이 알지 않고, 가능하게는 입력상에서 발생하는 어떤 것이든 맹목적으로 인코딩한다. 상기는 커녕, 이러한 블라인드 데이터는 예로서, 디스플레이 측에서 화상 개선 또는 최적화 알고리즘들과 같은 스마트 알고리즘들을 위해 사용하는 것이 쉽다.
블록 기반으로 작동하는 것은 데이터의 양을 감소시키지만, 여전히 최적이 아니다. 특히, 또한 실제 이미지 콘텐트에 꽤 맹목적이며, 보다 성가시게, 기초 이미지와 관계가 없으며, 그러므로 이미지 특성들(특히 이미지 기하학적 구조)과 대체로 편리하게 매칭하는, 블록 그리드인 새로운 기하학적 구조를 부여하는 이러한 블록 구조는 여러 개의 블록-코딩 관련 아티팩트들이 발생할 수 있다는 것을 의미한다. 사실상 블록은 정확히 단지 큰 픽셀이고, 실제로 스마트 콘텐트-관련 구조가 아니다(오브젝트 또는 영역의 컬러-기하학적 구조도, 그것이 예로서 대개 어두운 곳에서 은닉되어야 하는 오브젝트인 것과 같이, 그것의 의미론적 의미에 관해서도 아닌).
이하의 실시예들은 이들 아티팩트들 중 적어도 몇몇을 완화시키기 위해 용이한 기술적 조치를 제공하는 것을 겨냥한다.
HDR 이미지들의 간단하며 쉽게 사용 가능한 인코딩은 높은 동적 범위 장면의 이미지를 인코딩하기 위한 이미지 인코더(549)와 관련 있는 원칙들을 따르는 여기에 제공한 실시예 개념들에 의해 실현될 수 있으며, 상기 이미지 인코더(549)는:
- N-비트 코드 워드들을 포함한 이미지 표현(Im_l)을 갖고 이미지의 픽셀들 컬러들을 인코딩하도록 배열된 픽셀 텍스처 인코딩 유닛(552);
- 영역 구별자 그레이 값(gTS)을 결정 및 출력하도록 배열된 이미지 분석 유닛(550)으로서, 상기 영역 구별자 그레이 값(gTS)은 상기 이미지의 적어도 하나의 블록에서의 제 1 오브젝트의 모든 픽셀들의 루마들을 그 값 아래로, 및 상기 이미지의 상기 적어도 하나의 블록에서의 제 2 오브젝트의 모든 픽셀들의 루마들을 그 값 위로 구분하는 루마 값인, 상기 이미지 분석 유닛(550); 및
- 상기 이미지 표현(Im_l) 및 상기 영역 구별자 그레이 값(gTS)을 출력 이미지 신호(S(Im_l, MET(gTS))에 공동-인코딩하도록 배열된 포맷터(554)를 포함한다.
단지 하나 또는 몇 개의 이러한 영역 구별자 그레이 값(들)과 함께, 이미지에서의 "백색_이상(above_white)" 또는 "너무 밝은" 영역이 있는 것과 같이, HDR 장면의 근본적인 특성을 이미 전달할 수 있다. 백색 이상은 장면의 주요 부분에서, 보통 조명된 영역에서 백색, 예로서 보통(예로서 설정된 조명 설계자에 따라서로서) 조명된 백색 종이로부터 기록될 백색 이상의 장면 휘도를 의미한다. 구별자들은 장면의 의미론적 콘텐트를 공동-인코딩하기 위한 훌륭한 방식이다. 예로서 전통적인 이미지 인코딩이 가정하는 바와 같이, 실제 장면에서 단지 하나의 백색이 있는 것은 아니다. 전통적인 LDR 이미지 인코딩에서, 실제로 동작이 대략 균일하게 발생하는 장면을 조명하며, 그 후 가장 흰 반사 오브젝트(주요 이미지 영역의 가장 밝은 조명에서)가 통상적으로 이미지 인코딩의 백색 포인트를 결정할 것이다. 클리핑, 예로서 옥외 오브젝트들 대신에, 예로서 재생 감마 곡선에 대한 특정 니-포인트를 특정하는 카메라맨에 의해, 몇몇 백색 이상 오브젝트들을 포함할 수 있지만, 그것은 여전히 주요 백색(예로서, 상기 백색에 비해 6배)에 연결된다.
실제 장면에서, 예로서, 매우 밝은 화창한 옥외가 있을 수 있다. 이들 두 영역들을 함께 보다 적은 양의 비트 인코딩(예로서, 8 비트 전통 화상으로서 그것을 표현하는)에 밀어 넣을 때조차, 루마 축 상에서 서로로부터 분리된 이들 두 개의 영역들/범위들이 좋을 것이다. 이것은 나중에(또는 트랜스코딩 또는 자동 관련 등에서 중간) 이들 영역들을 더 현명하게 처리할 수 있음을 의미한다. 우리는 상기에 램프 오브젝트들에 관해 이미 말하였다. 렌더링 디스플레이는 "가능한 밝은" 및 "시청자에 대해 너무 눈부시지 않은" 중 하나 이상을 정의하는 기준에 따라 그것들을 렌더링하길 원할 수 있다. 그러나 이를 하기 위해, 상이하게 및 심지어 비연속적으로 이들 두 개의 이미지 영역들(램프 대 장면의 나머지)을 처리할 필요가 있을 수 있으며, 그러므로 이미지에서의 무엇이 램프 오브젝트인지를 알 필요가 있을 수 있다. 전통적 감마-함수 기반 인코딩들은 통상적으로 상기 사용된 감마에 의존적인 몇몇 렌더링된 휘도 위치로, 후 처리 동안 램프를 이동시킬 것이지만, 렌더링 시스템 비색 특성들(디스플레이 능력들, 주변 광 등)과 함께 장면 의미론들은 이동시키지 않을 것이다. 유사한 기술적 추론이, 그것들의 구성 휘도-영역-방식, 즉 예로서 한 쌍의 어두움의 범위들, 예로서 "밝은 어두움", "평균 어두움", 및 "매우 어두움"을 안다면, 보다 어두운 영역들에 대해 이루어질 수 있다. 이러한 코드들(즉, 그레이 값 구별자들)은 수치적으로 무언가를 의미할 수 있지만, 우리의 방법은 컬러 그레이더를 허용하여, 의미론적으로 의미 있는 영역들을 갖고 그것들을 나란히 놓기 위해, 예로서 말하자면 블루-레이 디스크 상에서의 저장을 위해 최종 마스터 HDR을 만든다. 예로서, 공포 영화의 어두운 지하층에서, 평균 어두움은 벽들이 렌더링되는(궁극적으로 디스플레이 최적성을 위한 그것의 최종 최선의 톤 매핑에 따라, 렌더링 디스플레이 상에서) 컬러들일 수 있는 반면, 밝은 어두움(즉, 평균 어두움 및 밝은 어두움 사이에서의 렌더링될 휘도 범위)은 그것들을 보다 가시적이게 만들기 위한(렌더링측 비색 특징들을 고려해볼 때) 칼들 및 고문 기구들과 같은 이들 벽들 상에서의 툴들일 수 있으며, 매우 어두움은 예로서, 어두운 코너일 수 있으며, 여기에서 범죄자가 숨을 수 있다. 매우 어두움 코너 영역은 그 후 우리의 제 1 오브젝트이며, 평균 어두움 주요 영역이 실내/옥외 장면에서처럼, 우리의 제 2이고, 화창한 옥외가 제 2 오브젝트일 수 있으며, 실내가 제 1/주요 오브젝트일 수 있다.
또한, 이들 두 개의 서브영역들(예로서, 평균 조명된 주요 동작 및 램프 또는 화창한 옥외)은 인코딩된 이미지 표현에서 함께 매우 가깝게 위치되어, 사이에서의 루마 코드들을 낭비하지 않도록 실제로 접촉할 수 있고, 이는 수신 측에서 맹목적으로 분리하는 것을 매우 어렵게 만든다. 그것들 사이에서의 경계를 마킹하는 이러한 특정 루마 값이 있으며, 이것은 그러므로 수신 측에서 용이한(그러나 간단한) 장면 이해를 위해 영역 구별자 그레이 값(gTS)으로서 공동-인코딩된다. 이것은 그 후 수신 측에서 8 비트 이미지로부터의 HDR 인코딩 및 용이한 재구성과 같은 다양한 애플리케이션들, 컬러 재매핑과 같은 이미지 프로세싱 등을 허용한다.
유리하게는 이미지 인코더(549)는 이미지 표현(Im_l)에서 인코딩된 픽셀 루마들 및 제 2 이미지 표현(IM_RC_HDR)에서의 픽셀들의 루마들 사이에서의 매핑을 정의한 제 1 및 제 2 오브젝트 중 적어도 하나에 대한 루마 매핑(TOM)을 결정하도록 구성되며, 그것을 출력 이미지 신호(S(Im_l, MET(gTS), TOM)로 공동-인코딩하도록 배열되는 포맷터(554)에 루마 매핑(TOM)을 공급하도록 구성된 루마 매핑 결정 유닛(553)을 포함한다. 이러한 루마 매핑들은 한편으로, 화상에서의 정보의 최적의 규격(예로서, 나무의 입자성과 같이, 특정 복잡도의 비교적 충실한 텍스처를 인코딩하기 위해 요구된 코드들의 양) 및 다른 한편으로 예로서 통상적으로 기준 디스플레이 상에서 휘도 위치의 정의에 의한 외관과 같이 이러한 원리들을 고려하는, 다양한 방식들로 결정될 수 있다.
콘텐트 생성자는 그것의 원하는 프로세싱, 예로서 궁극적 디스플레이 렌더링을 하기 위해 수신 측에 그것을 맡길 수 있다. 그것들이 gTS 위의 루마들을 갖기 때문에, 수신 측 시스템이 그 후 무엇이 밝은 오브젝트들인지를 분명히 알기 때문에, 단지 하나의 gTS를 갖는 것으로 이미 많은 상황들에 대해서 충분하다. 그러나, 공동-인코딩 영역의 구별자 그레이 값(들)의 이러한 시스템은 HDR 장면의 훨씬 더 많은 다목적 인코딩(메타데이터에서의 그것들의 구성 또는 심지어 의미론적 의미에 대한 지식) 및 결과적으로 상기 데이터의 다양한 사용을 허용한다. 예로서, 콘텐트 생성자는 상이한 디스플레이들 상에서의 렌더링을 위해서와 같이, 다양한 다른 컬러 공간들에 Im_l에서 인코딩된 픽셀 컬러들/루마들을 매핑시키는 방법에 대해 하나 이상의 시나리오들을 제공할 수 있다. 콘텐트 생성자는 예로서 (대략) 하나의 유형의 디스플레이(예로서, 4000 니트에 가까운 피크 밝기를 가진, 즉 3000 및 5000 니트 사이에서 실제 피크 밝기를 가진 LCD 또는 OLED 디스플레이들에 대해 의도된)에 대한 여러 개의 값들을 인코딩할 수 있으며, 따라서 디스플레이는 궁극적으로 모든 인코딩된 변환 지식(콘텐트 생성자가 어떻게 그의 이미지들이 궁극적으로 보이길 원하는지를 코드화하는)으로부터 최종 렌더링 전략을 선택할 수 있다. 예로서, 보다 적은 디스플레이 가능한 동적 범위를 가진 디스플레이들 상에서, 보다 밝은 영역들에 대한 단일 구별자는, 그것이 밝은 영역들을 렌더링하는 이러한 높은 능력을 갖지 않기 때문에, 이미 충분할 수 있다. 그러나, 8500 니트 디스플레이는 그것이 밝은 휘도들의 그것의 물리적 렌더링 가능한 하위 색역이 예로서 제 1 종류의 램프 오브젝트들 및 램프 오브젝트들의 더 밝은 클래스에 대한 피크 밝기에 가까운 심지어 더 밝은 영역에 대한 것과 같이 예로서 옥외 화창한 오브젝트들에 상이한 휘도 서브범위를 할당한다는 것을 알고 있기 때문에, 상이한 종류들의 밝은 영역을 표시하는 더 많은 gTS 값들을 포함한다면 콘텐트의 훨씬 더 유리한 사용을 할 수 있다.
그레이딩에서 많은 시간을 투자하는데 보다 적은 관심을 가진 콘텐트 생성자는, 예로서 단지 두 개의 그레이딩들을 특정하며, 예로서 그는 LDR 렌더링을 위해 "충분히 양호한" 것으로서, Im_l 또는 그것의 몇몇 자동 변환으로부터 시작할 수 있으며, 그 후 개선된 HDR 이미지(예로서, 추가의 밝은 옥외 영역들, 광들, 또는 윈도우들을 가진)를 획득하기 위해 매핑들을 수정하기 위해 몇몇 시간이 걸릴 수 있다. 그러므로, 콘텐트 생성자는 예로서 8 비트 LDR 이미지(우리가 LDR 컨테이너를 호출할), 및 그 후 몇몇 함수들, 첫 번째로 LDR_컨테이너로부터 원래 마스터 HDR 이미지(예로서, 본래 부동 소수점 16 비트 인코딩에서)를 대략 복구하기 위한 매핑 함수들, 뿐만 아니라 두 번째로 상기 HDR 이미지의 하나 이상의 동조들을 허용하는 몇몇 함수들을 특정할 수 있다. 예로서, 콘텐트 생성자는 14000 니트의 제 2 기준 디스플레이 상에서 디스플레이하기 위해 예로서, 90% 이상의 밝은 영역들의 매핑을 특정할 수 있다(제 1 기준 디스플레이는 원래 마스터 HDR 등급이 예로서, 5000 니트 디스플레이를 다운-매핑함으로써 LDR 컨테이너를 갖고 그것을 코딩하기 전에 그레이딩되는 디스플레이일 수 있다). 유사하게, 이들 함수들은 예로서, 그것들의 매핑 동작을 반전시킴으로써, 약 2000 니트의 MDR 디스플레이들로 하향-조정시키기 위해 사용될 수 있다. 가장 간단한 변형들에서, 보다 적은 시간을 투자하는 그레이더는 영화에서의 적어도 몇몇 장면들을 위한 하나 이상의 gTS 값들을 특정할 수 있으며, 그것의 렌더링 특성들을 위한 양호한 변환이 무엇일지를 알아내기 위해 그것을 디스플레이 또는 렌더러(예로서, 프린터)에 그것을 맡길 수 있다.
수신 측 이미지 프로세싱 장치는 그 후 예로서 이들 두 개 이상의 세트들의 정보(1m_1에서의 인코딩된 LDR 컨테이너 화상, 및 적어도 하나의 구별 그레이 값(gTS), 및 매핑 함수 정보가 무엇이든 이용 가능하다면 그레이더 세부 사항들은 그의 바람들에 따른다)로부터 예로서 그것의 최종 등급을 결정할 수 있다. 예로서, 도 2b를 보면, 콘텐트 생성자는 매우 어두운 오브젝트의 HDR 렌더링을 위해, 부분 매핑(PD_BLCK(i+2,j))이 사용되며(이하에 상세히 설명됨), LDR 렌더링을 위해 보다 밝은 매핑(PD_BLCK(i,j))이 사용될 수 있거나 또는 사용되어야 함(즉, 매우 어두운 오브젝트가 그 후 계단들로서 사용된다)을 신호에 규정할 수 있다. 이제 말하자면 1500 니트 피크 밝기의 수신 디스플레이가 이들 두 개의 전략들(예로서, 그것의 피크 밝기에 가장 가까운, 기껏해야 750 니트를 위한 것인 LDR 그레이딩/매핑(그러므로 아마도 400 니트를 위해 이상인) 및 적어도 예로서 2000 니트를 위한 HDR) 중 하나를 사용하도록 결정할 수 있거나, 또는 이들 두 개의 선형 함수를 위한 것일 몇몇 방식으로 그것들 사이에 보간할 수 있으며, 예로서 그것들 사이에서 중간에 선형 함수를 적용하는 것을 의미한다. 시스템은 콘텐트 생성자로 하여금, 마법사의 손으로부터 방출된 플라즈마 볼과 같이, 예로서 밝은 광을 부스팅하는 "HDR 효과들"로서 HDR을 보도록 허용한다.
우리의 방법은 Im_l 인코딩이 예로서, 전통적 8 또는 10 비트 루마 인코딩을 갖고, 원래 이미지(마스터 HDR)보다 적은 비트들(보다 적은 동적 범위와 동일하지 않은)의 인코딩일 때 사용될 수 있다. 이러한 경우에, 상기 이미지(Im_l)는 보다 낮은 동적 범위(및 피크 밝기, 통상적으로 예로서 500 니트)의 기준 디스플레이를 위해 정의될 수 있으며 구별자 gTS는 보다 높은 디스플레이 동적 범위들(예로서, 2000 니트들의 피크 밝기를 가진 디스플레이를 위해)을 위해 그레이딩들을 자동으로 결정하기에 유용할 수 있다. 그러나 물론 유사하게 단일 인코딩된 이미지(Im_l)는 예로서 상기 2000 니트들 기준 디스플레이(즉, 상기 디스플레이를 구동하거나, 또는 렌더링 전에 적어도 작은 비색 수정들을 요구하기 위해 직접 사용 가능한)를 위해 특정될 수 있으며, 이러한 시나리오에서 gTS 값들(및 변환 함수들 규격들과 같은 다른 데이터)은 그 중에서도, 예로서, 휴대용 디스플레이와 같이, 보다 낮은 동적 범위 디스플레이들을 위한 구동 이미지들을 획득하기 위해 다운매핑하기에 유용할 수 있다.
즉, 유리하게는 이미지 인코더(549)는 제 1 및 제 2 이미지 표현들 중 하나가 높은 동적 범위 표현이도록 사용 시나리오 및 기술적 구성에서 동작하며, 상기 HDR 표현은 예로서 적어도 750 니트 이상의 피크 밝기를 가진 기준 디스플레이를 위해 인코딩된다. 즉, 그것은 대략 아티스트가 의도한 이미지를 렌더링하도록 HDR 디스플레이를 구동하기 위해 큰 추가 수정 없이 사용 가능할 것이다. 이러한 HDR 표현은 예로서 3x32 비트 정수 또는 3x16 부동 소수점 표현(RGB, 또는 YC1C2 등) 등일 수 있다. 이러한 인코딩 전략이 다양한 컬러 공간 표현들 사이에서(예로서, 루마 코드들 등을 할당한 제 1 백색, 감마 함수를 가진 제 1 16 비트 HDR 표현, 및 제 2, 예로서 12 비트 HDR 표현 사이에서)의 다양한 시나리오들에서 사용될 수 있지만, 그것은 특히 이미지들(입력 또는 출력) 중 적어도 하나 또는 이미지들 중 적어도 일부가 높은 동적 범위(즉, HDR 렌더링 디스플레이를 구동하는 높은 비색 품질을 갖고 사용 가능하게 그렇게 코딩되는지 또는 그렇게 획득되는지)이면 유용하며, 특히 그것은 HDR이 이 경우에 그것이 레거시 능력들 또는 그것에 가까운 능력들의 시스템들에서 사용될 수 있는, 몇 개의 비트들(즉, 예로서 14 또는 20 대신에 예로서 8 또는 10)의 루마 워드들을 갖고 인코딩될 때 유용하다. 설명의 완성도를 위해, 최근에 공통적으로 사용된 기술적 용어(높은 동적 범위)는 통상적으로 원래 장면 또는 렌더링에서 더 높은 밝기들, 전통적 현재 LDR 이미징 시나리오들에서 더 높거나 또는 이하에 설명된 바와 같이 훨씬 더 정확한: 보다 큰 범위의 밝기 외관들(예로서 시청자의 인간 시각적 시스템에 따라, 그러나 물론 루마들처럼 기술적 코드들에서 구체화된)을 의미한다. 먼 미래에 합리적으로 예측 가능한 기술들을 위한 최대치인 능력들의 궁극적인 디스플레이를 참조하여 이러한 디스플레이-관련된 신호를 잘 정의할 수 있지만, 이상적으로 HDR 이미지는 적어도 부분적으로 장면-관련하여 정의되지만(미래 디스플레이가 인코딩된 콘텐트를 이용하기 위해 무엇을 할지를 결코 알 수 없으며, 원 마니아들은 이미지가 적어도 잠재적으로 매우 고 품질 카메라 또는 그래픽스 프로그램이 무엇을 캡처하거나 또는 생성할 수 있는지를 저장할 필요가 있다고 말할 것이기 때문에), 그 후 기준 카메라 모델을 사용하는 대신에, 그것의 매우 고 품질 디스플레이에 의해 근사되는 장면으로서 이를 여전히 인코딩할 것이다. 사실상, 코드 할당 함수가 무엇이든지, 0 및 Lmax 사이에서의 임의의 인코딩은 또한 Lmax의 피크 밝기를 가진 이러한 이론적 디스플레이 상에서 렌더링 가능한 것으로 보여질 수 있으며, 인간 시야의 고정된 한계들을 고려해볼 때 먼 미래에서조차, 대형 벽을 둘러싸는 디스플레이들 상에서가 아닌, 특히 모든 이미지 콘텐트가 작은 고체 각도로 보여지는 보다 작은 디스플레이들을 위한 것이 아닌, 햇빛의 휘도를 충실하게 렌더링하도록 결코 요구하지 않을 것이다. 그러므로 그레이더는 그가 그의 코덱 정의에서의 메타데이터를 정의하는 이러한 비색법을 공동-특정하는 한, 500,000 니트 피크 밝기의 궁극적으로 이론적인 것인지, 또는 10,000 니트와 같이 보다 실용적인 것인지에 상관없이, 그가 원하는 어떤 기준 디스플레이든지 이를 갖고 이미지를 인코딩하도록 선택할 수 있다.
유리하게는, 이미지 인코더(549)는 그것이 이미지 표현(Im_l)으로부터 픽셀 컬러들을 인코딩하는 N-비트 코드 워드들 중 여러 개를 포함한 섹션들 사이에서 여러 개의 영역 구별자 그레이 값들(gTS_D_Loc_1, gTS_D_Loc_2)을 인코딩하도록 구성된다. 이것은 생성기(또는 자동 프로세싱 소프트웨어조차)가 이미지의 상이한 부분들에 대한 예로서 "가장 어두운 음영 부분들"의 예로서 상이한 값들을 할당할 수 있으며, 그러므로 이미지의 조화 가능성에 대한 보다 높은 제어를 가질 수 있음을 허용한다. 예로서, 이미지에서의 중심 기하학적 영역에서, 예로서 코드 값(10) 아래에서처럼 정의되는 보다 어두운 오브젝트들을 은닉(노출)할 수 있으며, 코너에서, 가장 어두운 오브젝트들이 코드 값(5) 아래에 있다. 이것은 예로서, 기하학적으로 변하는 조명과 같이, 다양한 물리적 상황들을 핸들링할 수 있으며, 여기에서 어두운 및 가장 어두운 오브젝트 픽셀들 사이에서의 관계는 국소적 gTS의 재정의 뒤를 잇는 블록들에 대하여 여러 번 변경할 수 있다. 이미지 텍스처 데이터(Im_l)에 대한 물리적 관계에서(예로서, 운반 가능한 메모리 상에서) 영역 구별자 그레이 값들의 실제 인코딩은 다양한 방식들로 행해질 수 있지만, 요구된 메타데이터가 그것이 적용 가능한 이들 위치들에서 정확하게, 즉 (통상적으로 다음 블록들의 세분화(segmentation) 또는 프로세싱을 위해 사용될) gTS 아래 및 위의 그레이 값들의 이중 관계를 가진 화상에서의 제 1 블록 전에, 픽셀 컬러 블록 데이터를 갖고 배치되어 인코딩된다면 유리하다.
유리하게는 여러 개의 연속적인 이미지들의 런 전에 영역 구별자 그레이 값을 인코딩하는 이미지 인코더(549)가 배열되며, 이것은 이들 연속적인 이미지들 모두에 대한 영역 구별자 그레이 값이다. 물론, 보다 중요한 영역 구별자 그레이 값들이, 그것들이 예로서 전체 샷 또는 장면에 적용 가능할 수 있기 때문에, 덜 규칙적인 간격들로 인코딩될 수 있다. 예로서, 영화의 어두운 무서운 공포 부분에 대한 상이한 렌더링 환경들을 위해 보다 어두운 영역들을 인코딩하기 위한 여러 개의 전략들을 인코딩할 수 있다. 영화에서 나중에, 밖의 주간 장면에서, 상기 장면의 제 1 이미지 전에, 대개 하늘에 대해 브라이트닝 전략이 사용되도록 별도로 인코딩할 수 있다. 이것은 예로서 지하의 가장 어두운 부분들을 정의하는, 샷 또는 장면 기반으로 프로세싱을 특정하는 것을 허용하며, 이러한 정의는 두 개의 어두운 지하 샷들 사이에서 바깥쪽의 간헐적인 샷 이후 재발생할 수 있다.
유리하게는 적용 가능한 이미지 표현(Im_l)의 기하학적 영역과의 각각의 개별적인 적어도 하나의 영역 구별자 그레이 값의 연관을 허용하는 기하학적 연관 코드와 함께, 이미지 표현(Im_l)을 저장하는 메모리에 물리적으로 인접하지 않은 메모리 내의 적어도 하나의 영역 구별자 그레이 값을 인코딩하는 이미지 인코더(549)가 배열되며, 기하학적 연관은 통상적으로 적어도 이미지 표현(Im_l)의 블록의 좌표들을 포함한다. 이것은 예를 들면, 리마스터링 또는 시청 경험 서비스들을 허용한다. 회사는 예로서 레거시 영화(또는 심지어 본 원리들에 따라 이미 프로세싱된 프로그램 또는 게임 등)를 취할 수 있으며, 그레이더들이 이미지들의 새로운 분석을 하게 한다. 그 후 예로서 인터넷에서의 서버상에서 영역 구별자 그레이 값들, 및 새로운 매핑 함수들 등을 저장할 수 있다. 시청자는 그 후 예를 들면, 상기 서버로부터 메타데이터를 다운로딩함으로써(잠재적으로 임의의 기존의 구분 및/또는 그레이딩 메타데이터를 오버라이딩함으로써) "아티스트_X 새로운 등급" 하에 영화를 시청하도록 선택할 수 있다. 이러한 옵션은 예로서 영화를 시작할 때 사용자 인터페이스를 통해 제공될 수 있다. 다양한 그레이 구별자들(gTS)은 다양한 의도된 프로세싱 함수들의 공동규격을 허용하며, 이러한 구조는 예로서, 최종 렌더링 디바이스 비색적 매핑들, 또는 데이터의 재그레이딩들(Im_l 코드를 변경할 필요가 없는) 등의 용이한 재규격을 위해 파라미터적으로 핸들링될 수 있다. 예로서, 보다 어두운 휘도들 서브범위에서 3개의 gTs 코드들은, gTs1 및 gTs3 사이에서의 모든 휘도들에 대해 비-선형적 스트레치 상에서 단지 선형적일 수 있는 제 1 프로세싱 전략을 위해 요구되지 않을 수 있지만, 중간 영역의 제 2 gTS2 규격은 보다 복잡한 매핑 전략들에서 사용될 수 있다. 예로서, 렌더링 측 디스플레이는 양호한 시각적 콘트라스트를 고려해볼 때 gTS2 및 gTS3 사이에서 휘도들을 프로세싱하도록 선출할 수 있지만, gTS2 아래의 값들을 거의 클리핑한다. 트랜스코더 또는 유사한 중간 장치들은 예를 들면, 이것이 보다 적은 정밀도를 갖고, 즉 보다 적은 코딩 품질을 요구하는, 어쨌든 대부분의 디스플레이들 상에서 거의 가시적이지 않은 어두운 영역들일지라도, 원래 캡처링의 몇몇 정보를 여전히 포함하는 gTS1 및 gTS2 사이에서의 휘도들에 대한 소프트-클리핑을 적용할 수 있다. 생성기는 이러한 방식으로 즉 이미지의 보다 어두운 부분들이 덜 적절한, 이미징된 장면에 대한 부가적인 의미론적 정보를 특정하기 위해 gTS2를 사용한다. 별개의 구조들이 픽셀 데이터 블록들과 인터리빙되며, 보다 자유롭게 조작된 메타데이터보다 더 복잡할 수 있다.
유리하게는 이미지 인코더(549)가 배열되고, 이러한 이미지 인코더는 영역 구별자 그레이 값의 제 1 예약 값을 출력 이미지 신호(S(Im_l, MET(gTS))로 인코딩하고, 출력 이미지 신호는 제 1 예약 값을 갖고 식별 가능한 위치 너머의 이미지를 통해 스캔 방향에 따라 놓인, 이미지 표현(Im_l)의 적어도 하나의 기하학적 영역에 대해, 이미지 표현(Im_l)에서 인코딩된 바와 같은 픽셀 값들로부터 제 2 이미지 표현(IM_RC_HDR)에서의 픽셀 값들로의 변환이 미리 정의된 알고리즘에 따라 수행된다는 것을 표시한다.
예로서, "0" 또는 "-1"과 같은 영역 구별자 그레이 값에 대한 특수 값들은(명확하게 [0,255] 범위 상에서의 유효 루마가 아닌) 장면의 다음의 영역이 상이하게 처리됨을 표시할 수 있다. 예로서, 인코딩에서, 디코더는 이미지 신호의 매우 상이한 부분(예로서, 연결된 탈착 가능한 메모리의 상이한 섹터)으로 불리울 수 있으며, 이것은 이제 최종 출력 신호를 획득하기 위해 참고되는 것이다(예로서, 몇몇 이미지들은 예로서, 상이한 신호 특성들, 또는 기원 등과 같이, 몇몇 이유로 몇몇 두 개의 층 기술에 따라 인코딩될 수 있다.) 상기 경우에, 인코더는 잠재적으로 추가 변환을 행하기 전에 또는 대안적으로 최종 루마 값들로서, 예로서 상기 제 2 메모리 섹터의 이러한 블록을 국소적 위치로, 예로서, Im_l에서 복사할 수 있다. 이미지를 프로세싱할 때, 출력 루마들은 컴퓨터 그래픽스 렌더링 알고리즘을 적용함으로써 부분적으로 획득될 수 있다. 또는 이러한 코드는 추가 이미지 변환이 국소적 픽셀 루마들 또는 텍스처 모습을 변경하기 위해 적용되어야 함을 표시할 수 있다. 스캔 경로(즉, 식별 가능한 위치인, 이미지에서의 몇몇 시작 위치(x, y)로 알고리즘들을 가져오는)가 영역을 특정하는 몇몇 추가 메타데이터에 의해 보완되는 경우에 영역은 어떤 것일 수 있으며, 예로서 그것은 (x, y)로부터의 오프셋된 위치에서 시작하거나 또는 그것의 중심을 가진 타원일 수 있다. 통상적으로 그러나 실시예들은 블록 기반 시스템에서 유리하게 사용될 것이며, 이 경우에, 예로서 연속 16x16 픽셀 블록들(중 몇몇)은 기하학적 영역이다.
유리하게는 영역 구별자 그레이 값의 제 2 예약 값(gTR)을 출력 이미지 신호(S(Im_l, MET(gTS))로 인코딩하는 이미지 인코더(549)가 배열되고, 출력 이미지 신호는 그것이 적어도 하나의 연속적인 이미지에 대해, 디스플레이가 미리 결정된 값 아래의 최대 출력 휘도를 갖고 그것을 렌더링해야 함을 표시한다. 예로서, 값(255, 또는 260)은 이미지의 일 부분, 또는 여러 개의 연속적인 이미지들이 전력을 절약하기 위해 감소된 밝기를 갖고 렌더링됨을 표시할 수 있다.
유리하게는 이미지 인코더(549)는 변환 연결 규칙들을 통해 제 1 및 제 2 오브젝트 중 적어도 하나에 대한 여러 개의 상이한 루마 매핑들(TOM)을 결정하도록 배열된 루마 매핑 결정 유닛(533)을 갖거나, 또는 여러 개의 상이한 루마 매핑들이 제 2 이미지 표현(IM_RC_HDR)의 새로운 컬러 표현으로 제 1 및 제 2 오브젝트 중 적어도 하나의 픽셀 컬러들을 변환하기 위해 사용될 수 있음을 프로세싱 표시자(PROC_IND)를 통해 표시하도록 배열된다. 이제 다양한 적절한(상이한 밝기) 오브젝트들이 임의의 이미지 표현에서 인코딩된 바와 같이 장면에서 쉽게 식별 가능하기 때문에, 임의의 바람직한 방식으로 그것들을 변환하는 것이 또한 용이하다. 예로서, 여러 개의 상이한 컬러 변환 전략들은 여러 개의 의도된 상이한 렌더링 디스플레이들, 또는 시청 환경의 주변 조명들, 또는 사용자 선호도 설정들 등을 위해 말하자면 매우 밝은 오브젝트에 적용될 수 있다. 예로서, 높은 피크 밝기, 즉 이미지의 보다 밝은 서브영역들을 렌더링할 때 고 레벨 능력들을 가진 몇몇 디스플레이들은 제 1 매핑 전략에 의해 정의된 바와 같이 보다 밝은 영역들에 대한 명암이 두드러진 외관을 가진 제 1 전략에 의해 영감을 받거나 또는 그것에 가까운 최종 매핑을 사용할 수 있는 반면, 보다 적은 품질 하위 피크 밝기 디스플레이들은 이러한 밝은 영역의 픽셀들 중 적어도 몇몇의 휘도 간 거리들에 대한 체감 효과를 가진 정확하게 또는 대략 제 2 매핑 전략을 따를 수 있다. 그리고, 이들 변환들은 이미지 신호와 또는 그 안에서 (부분적으로) 공동-인코딩될 수 있거나, 또는 (부분적으로) 임의의 수신 측(최종인지 또는 중간인지 상관없이)에 맡겨질 수 있으며, 후자의 경우에서, 이미지 신호가 어떤 종류들의 변환들이 바람직한지 또는 반대로 바람직하지 않은지에 대한 몇몇 대략적인 표시들을 포함한다면, 이는 유용할 수 있다. 추가 사용에 의존하여, 매핑들 중 하나 이상은 정확하게 이어질 변환들 대 최종 렌더링 디스플레이가 해야 할 것에 대한 대략적인 표시인 변환들을 특정할 수 있다는 것을 주의하자. 전자의 경우는 통상적으로 예로서 매핑이 실제로 몇몇 정확한 그레이딩(예로서, 그것의 8 비트 LDR 컨테이너 인코딩으로부터의 마스터 등급처럼)을 인코딩하는 경우에 발생할 것이며, 후자의 경우는 변환이 상기 마스터 픽셀 루마 데이터가 어떻게 여러 종류들의 디스플레이들에 대해 추가로 최적화될 수 있는지를 표시하는 추가 변환일 때 적용할 수 있다. 예로서, 하위 피크 밝기 디스플레이는 소프트 클리핑 전략(여러 개의 중요한 의미론적 gTS 값 사이에서 특정될 수 있는)의 기능 곡선을 연구할 수 있으며 그 후 규정된 시각적 모습을 거의 유지하는 궁극적 톤 매핑을 사용할 수 있다.
수신 측 상에서, 높은 동적 범위 장면의 인코딩된 이미지 표현(Im_l, MET)을 디코딩하기 위한 이미지 디코더(605)인, 인코더 측의 크게 미러링된 기술을 구성할 수 있으며, 상기 이미지 디코더(605)는:
- 디코딩된 이미지(IM_INTRM)의 픽셀들의 휘도들을 표현한 픽셀 컬러들 포함 데이터를 상기 인코딩된 이미지 표현(Im_l)으로부터 획득하도록 배열된, 픽셀 텍스터 디코딩 유닛(608); 및
- 상기 인코딩된 이미지 표현(Im_l, MET)으로부터 영역 구별자 그레이 값(gTS)을 추출하도록 배열된 디포맷터(607)를 포함한다.
이러한 적어도 하나의 영역 구별자 그레이 값(gTS)은 그 후 예로서, 주어진 렌더링 디스플레이 및 환경을 위한 최종 최선의 컬러 매핑의 결정과 같은, 추가 이미지 프로세싱을 위해 사용될 수 있다. 그러므로 우리의 방법은 원래 디스플레이-독립적 컬러 인코딩 및 최종 디스플레이 종속적 컬러 인코딩을 연결하는 훌륭한 방식이며, 이것은 대략 그것들이 원래 장면에서 인간 시청자에게 보여지는 바와 같이 예를 들면 그것이 디스플레이 시청 환경에서 컬러들을 렌더링해야 함을 가질 수 있다. 실제 이미지 인코딩은 그로부터 매우 상이할 수 있으며(우리는 통상적으로 이미 몇몇 실현 가능한 기준 디스플레이를 참조하여 그것을 인코딩하며, 이는 그러나 여전히 실제 렌더링 상황과 매우 상이할 수 있기 때문에: 예로서, 마스터 HDR 이미지는 비교적 어두운 주변 홈 시청 상태들을 위해 인코딩되며, 상기 홈 텔레비전은 그 후 최종의 다소 더 밝은 상태들을 위해 그것을 미세 조정하지만; 많은 복잡도가 이미 하나 이상의 실현 가능한 기준 시청 디스플레이들을 향해 마스터 등급에서 행해져서, 디스플레이에 대한 최종 컬러 변환 전략을 더 간단하게 한다), 그러나, 보통 픽셀 휘도들의 순서의 반전이 없을 것이기 때문에, 추가로 이미징된 바와 같이 장면을 특성화하기 위한 훌륭한 방식, 및 용이한 디스플레이 상황 성립 가능성을 허용하는 것은 그것을 의미론적으로 휘도/루마 서브부분들, 특히 예로서 이미지의 가장 어두운 또는 가장 밝은 영역들과 같이, 여러 개의 디스플레이 시나리오들 상에서의 그것들의 외관에 대해 통상적으로 중요하며 매우 가변적일 것들로 분리하는 것에 의한다. 이러한 루마가 감마 2.2와 같은 감마 매핑의 잠재적으로 비연속적-일반화인, 몇몇 인코딩 매핑 전략을 통해 실제 휘도(예로서, 이미지가 기준 디스플레이 상에서 출력될 때)에 관련될 것이기 때문에, 예로서 세분화들과 같은 모든 수학적 연산들을 특정하기 위해 단어(루마)를 사용할 수 있다는 것을 주의하자.
유리하게는 이러한 이미지 디코더(605)는 디코딩된 이미지(IM_INTRM)에서 보다 낮은 루마의 세그먼트 및 보다 높은 루마의 세그먼트를 획득하기 위해 영역 구별자 그레이 값(gTS)을 사용하도록 배열된 이미지 세분화 유닛(606)을 포함하며, 즉 영역 구별자 그레이 값(들)에 기초하여 이미지 이해 분리를 하며, 따라서 예로서 최적화된 잡음 프로세싱과 같은 나중 프로세싱은 궁극적으로 상이하게 렌더링되는(예로서, 보다 어두운 부분들에서 잡음의 보다 적은 가시성을 갖고) 영역들에 대해 상이하게 행해질 수 있다.
유리하게는 이미지 디코더(605)는 예로서, 보다 낮은 루마의 세그먼트에서의 복원된 마스터 HDR 이미지의 픽셀들로 적어도 픽셀 컬러들의 루마 값들을 변환시키는 제 1 컬러 변환(PD_BLCK(i,j))를 적용하도록 배열되며, 적어도 픽셀 컬러들의 루마 값들을 보다 높은 루마의 세그먼트에서의 픽셀들로 변환하는 제 1 컬러 변환(PM_BLCK(i,j))을 적용하도록 배열된 픽셀 컬러 변환 유닛(609)을 포함한다. 따라서 예로서 보다 높은 동적 범위의 디스플레이 상에서 렌더링될 최적의 구동 화상을 결정할 수 있다("낮은 및 높은 및 보다 낮은 및 보다 높은"은 서로를 나타내도록 숙련된 판독자에 의해 이해될 것이며, 예를 들면, 이미지 픽셀들의 컬러 인코딩이 350 니트의 기준 디스플레이를 위한 것이라면, 2000 니트의 기준 디스플레이를 위해 의도된 표현으로 그것을 변환하는 것은 이러한 제 2 이미지가 보다 높은 밝기, 또는 상이하게 서술되면 원래 이미지보다 더 높은 동적 범위를 위한 것임을 의미한다). 이러한 분리는 훨씬 더 높은 품질이지만 아직 간단한 인코딩을 의미한다. 단일 전략을 갖고 전체 이미지를 인코딩해야 한다면, 모든 종류들의 실수들을 평균냄으로써 단지 근사적인 모습에 도달할 수 있다(예로서, 얼굴은 밝아야 하지만, 그 후 어두운 지하 밝기는 너무 높게 되며, 따라서 우리는 이상적인 것에 다소 아래로 얼굴을 어둡게 하며, 지하는 단지 너무 많이 밝다). 그러나 이제 예로서, 원하는 대로 지하를 어둡게 하며, 그 후 임계치들 및 업데이트 전략을 갖고 그것을 정의함으로써 얼굴에 대해 국소적으로 정정할 수 있다. 또한 이러한 부분적인 정의는 매핑들의 몇몇만을 변경하는 것을 쉽게 만든다. 예로서, 지하 장면의 샷의 여러 개의 이미지들을 통해, 광 변화들 및/또는 카메라 모션 때문에, PM_BLCK(i,j)은 전체 장면에 적합한 채로 있을 수 있지만, 보다 어두운 부분들의 캡처링(또는 요구된 외관)은 우리가 샷의 연속 화상들을 겪음에 따라 변할 수 있다. 우리는 그 후 예로서, 어두운 코너가 이제부터 다소 더 밝게 됨에 대응하는, 샷의 제 5 이미지 후 상이한 PD_BLCK(i,j) 함수를 로딩할 수 있으며, 또한 물론 조직 가시성 등을 핸들링하기 위해 PD_BLCK(i,j)의 적절한 함수 형태를 사용하여, 그것을 대략 반대로 어둡게 하는 매핑 전략을 요구한다.
유리하게는 이미지 디코더(605)는 디포맷터(607)가 예로서 0 또는 255의 값과 같은, 예약된 값의 영역 구별자 그레이 값(gTS)을 추출한다면, 제 1 및 제 2 오브젝트 중 적어도 하나의 픽셀 컬러들에 특정 컬러 변환 전략을 적용하도록 배열된다. 다시, 이들 예약된 값들은 입력된 신호에서의 어디에서든 검출될 때 임의의 폴백 프로세싱 전략으로 즉시 되돌아가기 위해 사용될 수 있다. 통상적으로 어떤 폴백을 적용할지에 대한 추가 세부사항들이 이용 가능할 것이다(반드시는 아니지만, 수신기는 예로서 이미지 분석에 기초하여 홀로 어떤 것을 수행할 수 있기 때문에). 예로서, 이미지 신호가 메모리 상에 저장된다면, 연속적인 폴백 전략들의 섹터(예로서, 이미지 프로세싱 방법들을 정의하는 알고리즘 코드, 및 그것의 요구된 데이터)가 있을 수 있으며, 그 후 특별한 폴백 예약 코드가 검출될 때마다, 수신 이미지 프로세싱 장치는 그것을 적용하기 위해 다음 폴백 방법으로 점프한다. 또는 코드들은 어떤 폴백을 적용할지(잠재적으로 다수 회)를 나타낼 수 있으며, 예를 들면 260은 제 1 저장된 알고리즘이 사용되어야 함을 표시하고, 261은 제 2 저장된 알고리즘이 사용되어야 함을 표시한다.
유리하게는, 이미지 디코더(605)는 인코딩된 이미지 표현(Im_l, MET)의 데이터 중 임의의 것과 연관되지 않은 메모리 소스로부터 픽셀 컬러 변환 전략을 선택하도록 배열된 변환 결정 유닛(610)을 포함한다. 이러한 방식으로 수신 측 디코더는 픽셀 루마들을 변환하기 위해 사용할 것을 결정하기 위해 보다 많은 다용성을 가진다. 예로서, 그것은 그 자신의 메모리로부터 기능들을 취할 수 있으며, 예로서, 그것의 평균 루마와 같은, 식별된 오브젝트의 속성들에 의존하여 결정할 수 있다. 또는 그것은 잠재적으로 서버에 의한 런 타임시 결정된, 네트워크 연결을 통해 기능들을 취할 수 있다. 신호는 (임의의) 어둡게 하는 매핑을 적용하는 것이 바람직함을 특정함으로써 이것을 부분적으로 여전히 가이딩할 수 있으며(즉, 몇몇 방식으로 오브젝트가 더 어둡게 보이는 시각적 결과로서, 예로서 콘트라스트 변경과 함께 평균 밝기, 및/또는 예로서 흑색 픽셀들 등으로 클리핑된, 매우 어두운 오브젝트에서의 증가된 영역을 가진 변환), 이 경우에 렌더링 측은 바람직하게는 매우 어두운 오브젝트를 밝게 하는 매핑을 적용하지 않아야 한다(물론 주변 조명 등으로 인한 가시성을 고려하여). 궁극적으로 수신 측은, 시청자의 특정 제어하에 있는지 여부에 상관 없이, 물론 이러한 원하는 공동-인코딩된 가이드라인들을 (부분적으로) 준수하거나 또는 그것들을 무시하며 트래버싱하도록 결정할 수 있다. 통상적으로 이미지 인코딩(예로서, 그것이 인코딩되는 디스크)은 예로서 이러한 변환이 무시되지도 심지어 완화되지도 않으며, 그러나 엄격하게 뒤따르거나 또는 반대로 엄격하게 뒤따르지 않아야 함을 규정할 수 있다.
유리하게는 이미지 디코더(605)는 변환 결정 유닛(610)이 디스플레이의 특성, 또는 주변 조명의 레벨, 또는 카메라에 의해 디스플레이의 전면 스크린상에 반사되어 보여지는 바와 같은 컬러들의 패턴 등과 같이, 렌더링 환경의 적어도 하나의 파라미터에 기초하여 픽셀 컬러 변환 전략을 결정하도록 배열되는 것을 특징으로 한다. 그러므로 다시 수신 측 장치는 단지 그것의 측에서 분명히 이용 가능한 중요한 정보에 기초하여 매핑을 적어도 부분적으로 최적화할 수 있다. 콘텐트 생성자는 특정 디스플레이 및 시청 환경(예로서, 대부분의 거실 광들은 단지 몇몇 분위기 있는 조명만을 갖고 스위칭 오프되며, 이것은 실제로 예로서 시청자의 측에서 바닥 상에서의 리빙 컬러들 램프를 가진 시청자를 갖고 현실적으로 대략 실현될 수 있다), 그러나 궁극적으로 렌더링 측이 그것들을 변경할 수 있으며, 그것은 매우 작은 미세 조정(이상적인 경우인)인 가정 하에서 사용될 그것의 매핑들을 특정할 수 있다. 비록 이러한 양의 정밀도는 보통 요구되지 않지만, 콘텐트 생성자는 예로서, PD_BLCK(i+2,j)가 디스플레이 주변에 1 니트의 휘도가 있었던 경우에 대해 의도됨을 신호로 특정할 수 있으며, 이 경우에 렌더링 디스플레이가 2 니트들을 측정한다면, 그는 PD_BLCK(i+2,j)의 기울기를 약간 변경하도록 결정할 수 있다. 어느 경우든지, 이것은 수신 측에서 알고리즘들을 프로세싱하기 위한 유용한 정보일 수 있다.
설명된 실시예들은 다양한 방식들로, 예로서, 높은 동적 범위 장면의 이미지를 인코딩하기 위한 이미지 인코딩의 방법에 의해, 실현될 수 있으며, 상기 방법은:
- N-비트 코드 워드들을 포함한 이미지 표현(Im_l)을 갖고 상기 이미지의 픽셀들 컬러들을 인코딩하는 단계;
- 영역 구별자 그레이 값(gTS)을 결정 및 출력하는 단계로서, 영역 구별자 그레이 값(gTS)은 상기 이미지의 적어도 하나의 블록에서의 제 1 오브젝트의 모든 픽셀들의 루마들을 그것 아래로, 및 상기 이미지의 상기 적어도 하나의 블록에서의 제 2 오브젝트의 모든 픽셀들의 루마들을 그것 위로 구분하는 루마 값인, 상기 결정 및 출력하는 단계; 및
- 상기 이미지 표현(Im_l) 및 상기 영역 구별자 그레이 값(gTS)을 출력 이미지 신호(S(Im_l, MET(gTS))에 공동-인코딩하는 단계를 포함한다.
또는 기술된 실시예들은 높은 동적 범위 장면의 인코딩된 이미지 표현(Im_l, MET)을 디코딩하기 위한 이미지 디코딩의 방법에 의해 구현되고, 상기 방법은:
- 상기 인코딩된 이미지 표현(Im_l)으로부터 디코딩된 이미지(IM_INTRM)의 픽셀들의 픽셀 컬러들을 획득하는 단계; 및
- 상기 인코딩된 이미지 표현(Im_l, MET)으로부터 영역 구별자 그레이 값(gTS)을 추출하는 단계를 포함한다.
또는 컴퓨터 프로그램으로서 프로세싱이 교시된 실시예들에 대응하는 방법들 중 임의의 것을 실행할 수 있게 하는 소프트웨어 코드를 포함하며, 소프트웨어는 디스크 또는 다른 실체적인 제품상에서 구매될 수 있거나, 또는 네트워크 등을 통해 다운로딩될 수 있다.
통상적으로 이미징된 장면에 대한 인코딩된 지식은, 즉 적어도 영역들의 컬러들의 휘도들을 인코딩하는 N-비트 코드 워드들, 및 적어도 영역들의 컬러들의 휘도들을 인코딩하는 N-비트 코드 워드들을 인코딩하기 위해 사용된 코드 시스템에서 높은 동적 범위 장면에서의 보다 높은 휘도 또는 이것들을 인코딩한 N-비트 코드 워드들의 보다 높은 값들의 픽셀들의 적어도 하나의 기하학적 영역, 및 높은 동적 범위 장면에서의 보다 낮은 휘도 또는 이것들을 인코딩한 N-비트 코드 워드들의 보다 낮은 값들의 픽셀들의 적어도 하나의 기하학적 영역 사이에서의 구분을 표시하는 영역 구별자 그레이 값(gTS)을 포함하는, 높은 동적 범위 장면의 영역들의 컬러들을 인코딩한 이미지 신호에 의해, 하나의 장소/장치로부터 또 다른 것으로 이동할 것이다(그것들이 동일한 소비자 장치 또는 예로서 이미지 수신 또는 프로세싱 박스 또는 예로서 HDMI를 통해 연결된 디스플레이와 같이 동일한 사이트에서의 연결된 장치들의 동일한 소비자 장치 또는 시스템, 또는 상이한 국가들에서의 장치들 상에서 구동하는 서비스들 내에서의 유닛들인지에 관계없이). 코드 시스템은 통상 축에 대해 정의되는 루마라 불리우는 물리적 양을 통해, 및 통상 축의 정도를 커버하는 디지털 코드 워드(예로서, 00000000 및 11111111 사이에서), 또는 0.0 및 1.0 사이에서의 부동 소수를 갖고, 및 이러한 휘도들을 루마에 비-선형적으로 매핑하는 할당 함수(통상적으로 감마 함수)를 갖고, 장면 휘도(카메라 캡처를 통해)로부터의 도함수 및 궁극적으로 렌더링될 휘도를 정의하는 기술적-수학적 표현이다. 통상적으로 최대 코드 값이 어떤 렌더링될 피크 휘도와 부합하는지와 같이, 코드 시스템과 연관된 추가 정보가 있을 수 있다. 이러한 신호에 대해 말할 때, 특정된 속성들이 신호에서 몇몇 방식으로 포함되지만, 그것들은 임의의 변환된 방식으로 포함될 수 있음을 의미한다. 예로서, 몇몇 데이터는 임의의 방식으로 병합되거나 또는 분리되며, 구조화될 수 있다. 예로서, 변조와 같은 다른 코드들로의 변환들, 또는 잠재적인 비트 에러 손상들을 보상하기 위한 중복 인코딩 등이 또한 있을 수 있다.
HDR 이미지는 예로서, 이러한 신호를 저장하는 블루-레이 디스크와 같은, 분리할 수 있는 메모리와 같은 메모리 상에서 인코딩될 수 있다(예로서, LDR 컨테이너로 불리우는 LDR 8 비트 텍스처 이미지(Im_l), 더하기 적어도 하나의 전역적 톤 매핑에 의해 마스터 HDR 그레이드의 재구성을 매핑시키기 위한 메타데이터로서).
사실상, 본 발명의 실시예들은 임의의 이미지 인코더, 이미지 디코더, 방법, 이미지 신호, 또는 설명된 실시예들 중 임의의 것의 다른 제품 또는 구현, 또는 비디오 분배 시스템의 임의의 사용을 이용한, 임의의 네트워크 기술을 통해 상기 비디오 분배 시스템에서와 같이, 많은 기술적 실현들, 시나리오들, 또는 사용들에서 사용될 수 있다.
이하에 설명된 실시예들의 많은 추가 변형들이 물론 가능하며, 숙련자는 그것들이 다양한 비즈니스 사용 시나리오들 등에서, 상이한 시간 순간들에서, 또는 서로의 후 여러 번, 그것들의 부분적인 기능을 적용하는, 세계의 상이한 기하학적 영역들에서의 상이한 장치들에서 실현될 수 있다는 것을 이해한다.
본 발명에 따른 방법 및 장치의 이들 및 다른 양상들이 이후 설명된 구현들 및 실시예들로부터 명백하며 그것을 참조하여, 및 단지 보다 일반적인 개념을 대표하는 비-제한적인 특정 예시들로서 작용하며 파선들이 구성요소가 선택적임을 표시하기 위해 사용되고, 비-파선 구성요소들이 반드시 필수적인 것은 아님을 표시하는첨부한 도면들을 참조하여 더 자세히 설명될 것이다. 파선들은 또한 필수적인 것으로 설명되는 요소들이 오브젝트의 내부에, 또는 예로서 오브젝트들/영역들(및 그것들이 어떻게 디스플레이 상에 도시될 수 있는지)의 선택들과 같은 무형의 것들을 위해 은닉됨을 표시하기 위해 사용될 수 있다.
본 발명에 따르면 특정한 HDR 인코딩 상황에서 단지 몇 비트들의 부가적인 데이터를 요구하는 이점을 갖고, 정확한 세분화의 이점들 모두를 가진 인코딩을 허용하는 이미지의 특정한 속성이 거의 항상 있다는 것을 실현하였다.
도 1은 그것들이 상이한 시나리오들에서 렌더링될 바와 같이, 높은 동적 범위 원 장면의 다양한 표현들을 개략적으로 예시하며, 즉: 도 1a는 현재 높은 동적 범위 디스플레이, 영화 극장 디스플레잉, 낮은 동적 범위 디스플레이 및 옥외들에서 사용된 휴대용 디스플레이 대해 서로에 비교된 절대 렌더링 출력 휘도들을 도시하며, 도 1b는 절대 기준 시스템이 표준 인간 시청자에 의해 정의되는, 범용 출현 축 상에서의 렌더링들을 도시하는 도면.
도 2(즉, 도 2a + 도 2b)는 양쪽 모두가 장면 상에서의 동일한 이미지 뷰를 정의하는, 두 개의 컬러 표현들 사이에서 변환하기 위해 어떻게 다양한 서브-컬러 변환들이 이미지 표현의 블록 분해의 여러 개의 블록들에 포함되는, 적어도 매우 상이한 휘도(또는 명도)의 다양한 오브젝트들의 픽셀들의 루마들에 적용될 것인지를 개략적으로 도시하는 도면.
도 3은 특정한 이미지 신호 정의에서 몇몇 실시예들에 따라 몇몇 부가적인 메타데이터를 인코딩하기 위한 방식, 특히 이것들이 적용 가능한 픽셀 컬러 블록들 이전에 영역 구별자 그레이 값들을 인코딩하는 방법을 개략적으로 도시하는 도면.
도 4는 수신 측이 어떻게 영역 구별자 그레이 값들에 기초하여 이미지에서 매우 상이한 휘도 또는 명도의 세그먼트들을 획득할 수 있는지를 개략적으로 도시하는 도면.
도 5는 컬러 그레이더에 의해 동작될 수 있는 인코딩 측 시스템을 개략적으로 도시하는 도면, 인코더의 대표적인 실현은 우리의 발명의 교시들에 대응한다.
도 6은 예로서 메인 텔레비전으로서 이러한 장치들을 포함한 소비자 홈 디스플레이 시스템, 및 휴대용 이미지 뷰어일 수 있는 디코딩 측 시스템, 및 상이한 디스플레이들에 대한 모든 비디오의 분배 및 최적의 프로세싱을 관리하는 중앙 컴퓨터와 같은 이미지 프로세싱 장치를 개략적으로 도시하는 도면.
도 7은 휘도(또는 루마) 범위들이 매핑되는 영역들을 설계하는 것이 어떻게 압축 에러들과 같은 문제점들을 완화시키기 위해 잘-선택될 수 있는지를 개략적으로 도시하는 도면.
도 8은 픽셀 또는 오브젝트 컬러들이 상당히 가변적인 기술적 특성들을 가진 다수의 디스플레이들을 위해 최적의 컬러들에 매핑되어야 하는 시나리오에서 우리의 시스템이 어떻게 사용될 수 있는지를 개략적으로 도시하는 도면.
도 2(즉, 도 2a + 도 2b)는 양쪽 모두가 장면 상에서의 동일한 이미지 뷰를 정의하는, 두 개의 컬러 표현들 사이에서 변환하기 위해 어떻게 다양한 서브-컬러 변환들이 이미지 표현의 블록 분해의 여러 개의 블록들에 포함되는, 적어도 매우 상이한 휘도(또는 명도)의 다양한 오브젝트들의 픽셀들의 루마들에 적용될 것인지를 개략적으로 도시하는 도면.
도 3은 특정한 이미지 신호 정의에서 몇몇 실시예들에 따라 몇몇 부가적인 메타데이터를 인코딩하기 위한 방식, 특히 이것들이 적용 가능한 픽셀 컬러 블록들 이전에 영역 구별자 그레이 값들을 인코딩하는 방법을 개략적으로 도시하는 도면.
도 4는 수신 측이 어떻게 영역 구별자 그레이 값들에 기초하여 이미지에서 매우 상이한 휘도 또는 명도의 세그먼트들을 획득할 수 있는지를 개략적으로 도시하는 도면.
도 5는 컬러 그레이더에 의해 동작될 수 있는 인코딩 측 시스템을 개략적으로 도시하는 도면, 인코더의 대표적인 실현은 우리의 발명의 교시들에 대응한다.
도 6은 예로서 메인 텔레비전으로서 이러한 장치들을 포함한 소비자 홈 디스플레이 시스템, 및 휴대용 이미지 뷰어일 수 있는 디코딩 측 시스템, 및 상이한 디스플레이들에 대한 모든 비디오의 분배 및 최적의 프로세싱을 관리하는 중앙 컴퓨터와 같은 이미지 프로세싱 장치를 개략적으로 도시하는 도면.
도 7은 휘도(또는 루마) 범위들이 매핑되는 영역들을 설계하는 것이 어떻게 압축 에러들과 같은 문제점들을 완화시키기 위해 잘-선택될 수 있는지를 개략적으로 도시하는 도면.
도 8은 픽셀 또는 오브젝트 컬러들이 상당히 가변적인 기술적 특성들을 가진 다수의 디스플레이들을 위해 최적의 컬러들에 매핑되어야 하는 시나리오에서 우리의 시스템이 어떻게 사용될 수 있는지를 개략적으로 도시하는 도면.
도 1(즉 도 1a 및 도 1b)은 원래 HDR 장면(Orig_SCN)이 어떻게 4개의 유형들의 디스플레이(3개의 통상적인 및 포인트를 보다 양호하게 예시하기 위한 가상의 하나, 즉 재생 가능한 출력 휘도들의 작은 범위(R_ERDR_OUTS)만을 가진, 밝은 조명 하에서 저 콘트라스트 e-판독기) 상에서 최적으로 표현될 수 있는지, 및 이미지 코딩 기술이 그러한 것을 어떻게 수용해야 하는지를 개략적으로 도시한다. 우리는 이미지 오브젝트 루마들의 코딩으로부터 장면의 최종 렌더링(즉, 특정한 디스플레이에 의해 물리적으로 출력될 휘도들)에 관한 아이디어들을 개념적으로 분할할 필요가 있다는 것을 강조한다. 그것은 항상 이들 두 개의 대응하는 컬러 공간들을 동일시하는, MPEG2와 같은 전통적 텔레비전 이미징 기술들과 상이한 기술적 철학이며, 따라서 예로서 감마 2.2 인코딩된 신호는 (대략) 정확한 (교정된 방식으로 결정된 스튜디오 측) 렌더링된 출력을 고려해볼 때, (표준) 디스플레이에 직접 적용될 수 있다. 이것은 단지 폐쇄된 체인을 가진, 즉 특정한 시나리오에 대해 교정된다면 유용하지만, 이야기는 특히 높은 동적 범위(HDR) 이미지들, 및/또는 이들 신호들을 렌더링하기 위해 기본적으로 상이한 특성들을 가진 다양한 디스플레이들 및/또는 시청 환경들과 같이 다른 콘텐트를 갖길 원한다면 망가진다. 그렇지만 단지 하나의(또는 적어도 몇 개) 이미지 코딩 신호(들)를 가지며, 각각의 시나리오에 대한 상이한 인코딩된 이미지들(비록 그것들이 상이한 기술적 채널들을 통해 재패키징(예로서, 트랜스코딩된, 추가의 컬러 변환된 등)되고 송신될 수 있을지라도)은 아닌 단순성을 여전히 유사하게 좋아할 것이며, 이것은 그 외 헐리우드 또는 다른 그레이더가 이전과 같이(예로서, 마스터 영화 등급 및 DVD 등급) 1 또는 2라기보다는 예로서, 20 그레이딩들을 해야 함을 의미할 것이다.
HDR 이미지들 또는 HDR 이미징 기술을 정의하는 것은 논의들을 이끌 수 있다. 그것은 물론 간단히, 예로서 최대 워드 길이(예로서, 2^8 대 2^10)가 특정한 백색(예로서, 500 니트)을 위해 사용된다면, 차이는 대개 또는 부분적으로 단지 하나의 정밀도이기 때문에(사실상, 1.000.000:1의 청구된 콘트라스트 비들을 가진 디스플레이들이 이들 코드들 중 최저를 훨씬 식별 가능하게 렌더링하지 않을 수 있으며, 감마 2.2 신호 인코딩에서, 이러한 깊은 흑색들은, 디스플레이가 흑색들 상에서 몇몇 인상적인 흑변 변환을 하지 않는 한, 또한 인코딩되지 않을 수 있다), 기준인 비트들의 수가 아니다.
높은 동적 범위 장면의 보통의 정의는 최소 휘도에 의해 나뉘어진 최대 휘도이다. 그것은 아마도 예로서, 렌더링 디스플레이를 위한, 하드웨어 관점으로부터의 양호한 정의일 것이다.
예로서, 원래 장면에서, 충실하게 기록될 수 없는 어떤 것이 백색 또는 흑색으로 클리핑되기 때문에(및 또한 물론 라운딩 및 잡음이 있다), 그것은 카메라 이미징 센서의 능력들이 무엇이어야 하는지, 또한 이것이 예로서 다수의 노출 기술을 갖고 동작하는지를 결정한다. 그것은 또한 물론 예로서 디스플레이-생성 광의 유리 전면 판 상에서의 산란, 뿐만 아니라 환경으로부터의 반사들(예로서, tv 앞에서의 시청자의 흰색 티셔츠)을 포함하여, 공정한 방식으로 행해지는 경우에만, 디스플레이가 물리적으로 렌더링할 수 있는 것을 표시하기 위한 양호한 방식이다. 그것은 광이 장면의 보다 밝은 스팟들로부터 보다 어두운 스팟들로 모든 종류들의 경로들(그것을 신중하게 구성하며 음영 면적들을 관리하지 않는다면, 장면의 조명 동안), 카메라들에서의 스퓨리어스 경로들(예로서, 렌즈 헤이즈, 또는 본체 반사들), 또는 시청 환경 이슈들(예로서, 디스플레이의 전면 판에서의 디스플레이 또는 주변 광 산란, 광 균질기에 들어가는 디스플레이 내에서의 반사들 등)을 통해 시청자의 자신의 눈까지(그러나, 시청자가 그의 시야에서 강한 광원들을 가질 때, 특히 어두운 영역들에 가까이 있을 때 어두움 식별 정밀도를 잃기 시작할 수 있지만, 우리는 디스플레이가 이상적으로 시청자보다 양호할 필요가 있기 때문에 이러한 인자를 무시할 수 있으며, 적어도 이미지 코딩은 우리가 수신 측이 그것을 어떻게 프로세싱하며 이미지의 영역들의 가시성에 영향을 주는지를 미리 알지 못하기 때문에, 적어도 이미지 인코딩이 더 양호해야 한다) 누설하기 때문인지에 관계없이, 모든 종류들의 광 산란 및 반사들은 실제 캡처된 또는 시청된 동적 범위가 인용된 마켓팅 숫자들보다 종종 더 낮은 이유들이다. 그러므로, 이러한 콘트라스트 비 정의를 갖고, 결코 제로 광의 상황이 없기 때문에, 예로서 오프 LED가 (근) 제로 출력 휘도(그러므로 표준들은 보다 공정한 콘트라스트 비들을 측정하기 위해 예로서 체커-보드 패턴들을 부여한다)을 제공하는 이론적 값이 아닌, 사실상 궁극적으로 여전히 눈에서 식별 가능한(잡음 등을 고려해볼 때) 것을 최소 레벨로서 사용해야 한다.
휘도 비는 그러나 HDR 이미지들의 코딩을 위한 이러한 양호한 동적 범위 기준이 아니다. 코딩되어야 하는 것은 렌더링 가능한 것에 대한 그렇게 많은 이슈는 아니며, 오히려 장면에 있는 것 및 적어도 이론적으로 인지될 수 있는 것, 즉 이미지 신호는 원하는 외관을 재생성할 수 있기 위해 요구된 상기 데이터를 이미지를 렌더링하는 것으로 예측 가능한 모든 디스플레이 환경들에서, 심지어 아마도 먼 미래에서의 보다 양호한 디스플레이들 상에서(예로서 직접 눈으로 비추는) 정확히 또는 대략적으로 포함할 필요가 있다.
예로서, 콘트라스트 비를 단지 특정하는 것은 영화관과 같이 어두운 환경에서, 시각적 시스템이 이미지에서 나타나는 동일한 장면을 보기 위해 보다 많은 콘트라스트를 요구한다는 사실을 고려하지 않는다(반면, 최소 및 최대 상에서의 완전한 곱셈 스케일링은 동일한 콘트라스트 비를 산출할 것이다). 콘트라스트들은 또한 사실상, 비교적 밝은 오브젝트가 보다 밝은 오브젝트들(공간 콘트라스트)에 의해 둘러싸여진다면 훨씬 더 어두운 것으로서 인지되어질 수 있기 때문에, 국소적 현상들이다. 사실상, 심리적으로 시청자는 화상을 분석하기 시작하며, 그가 생각하는 컬러들이 흑색, 백색, 백색-이상 등임을 식별한다. 그리고, 시청자는, 그가 훨씬 더 어두운 흑색 또는 보다 밝은 백색을 인지할 때까지, 어떤 것을 흑색 또는 백색인 것으로 고려할 수 있다. 그러므로 "동적" 화상이 어떻게 보이는지는 장면에서 "흑색" 및 "백색"의 함수뿐만 아니라, 그레이 값들의 할당에 기초하여 정의될 수 있는 다른 보다 많은 국소적 콘트라스트 측정치들의 함수이며(예로서, 바위로 된 텍스처들을 보다 눈에 거슬리게 만드는, 텍스처들에서의 상이한 그레이들의 휘도 거리를 증가시킴으로써 상이한 모습을 생성할 수 있거나, 또는 음영들을 더 어둡게 만들거나, 또는 심지어 선명도 및 콘트라스트 사이에서의 상호관계들을 계속할 수 있다), 안면 텍스처들을 정의하는 코드들은 이러한 동작을 허용해야 하며, 즉, 예로서, 안면 텍스처를 정의하는 단지 두 개의 그레이 값들을 가진다면, 안면 콘트라스트를 변경하는 것은 매우 어려운 동작일 것이다. 안면 컬러들의 이러한 얼룩투성이는 여러 개의 현재 이미지 인코딩 기술들의 하나의 문제점일 수 있다.
문제점을 훨씬 더 명확하게 하기 위해, 코딩 관점으로부터, 동적 범위는 단지 가장 어두운 흑색 및 가장 밝은 백색에 대한 것이 아닌, 이미징 장면에 정확하게 무엇이 있는지에 대한 것이며, 흑색 및 백색 그림(즉, 단지 두 개의 상이한 그레이 값들을 가진)은 5000 니트 백색 및 0.5 니트 흑색을 가진(즉, 높은 휘도 동적 범위를 가진) HDR 디스플레이 상에서 렌더링될 수 있지만, 우리는 실제로 이것이 HDR 이미지인가?를 호출할 것이고, 우리가 어쨌든 디스플레이의 최대 백색(피크 백색) 각각 흑색 특성들을 가진 이러한 단순한 신호를 디스플레이하길 원하는지 여부와 같이, 추가 질문들을 제기할 수 있는 예를 도시하자. 상기와 같은 이들 값들(예로서, 코드(0 및 10000)를 갖고 및 단지 예로서 0 및 2가 아닌)을 직접 인코딩할 필요가 있을지 여부는 고사하고, 그것은 이상하거나, 또는 적어도 불필요하지 않을 것이다. 사실상, 예로서 일반적으로 보다 백색의 영역들을 그레이딩할 때, 일어나기 시작할 수 있는 하나의 외형 아티팩트는 텍스터화된 백색 영역이 백악질로 보이기 시작하는 것이며(마치 분필을 사용함으로써 그려진 것처럼), 이것은 영역이 가져야 하는 실제 물리적 텍스처와 다르다. 우리는 질문에 이르게 될 것이다: 무엇이 다시 "흑색" 및 "백색"인가. 실제로, 환한 조명 하에서, 우리의 예는 흑색-및-백색 그림일 것이라고 가정하자, 예로서 백색은 5000 니트의 실제 장면 휘도를 가질 수 있지만, 상이한 조명 하에서 그것은 단지 또한 50 니트일 수 있다. 장면 조명으로부터 흑색 영역들을 심하게 가리지 않는다면, 그것들은 보통 백색의 대략 1% 및 1/10000이 아닌 어딘가에 있을 것이다. 따라서, 보다 명암이 심한 렌더링된 이미지들이 어느 정도는 선호된 모습을 가질 수 있다는 것을 무시하면, 우리는 아마도 상기 햇빛-조명된 그림 외관을 생성하기 위해 HDR 디스플레이의 높은 휘도 서브범위 상에서 예로서 높은 밝기이지만 대략 100:1 휘도 범위를 가진 상기 흑색 및 백색 화상을 도시하고 싶어할 것이다. 그렇지 않다면 어쨌든 우리는 렌더링된 화상이 이상하게 보이지 않을지라도, 눈이 렌더링 휘도에서의 차이의 일부를 무시하는 것을 위태롭게 하고, 따라서 그레이더를 갖고 우리는 항상 이미지에서의 콘텐트로서 보여지는 것을 고려해볼 때 이용 가능한 디스플레이 동적 범위, 및 시간 효과들을 고려하여 심지어 이전 및 연속적 이미지들을 최적으로 사용하고 싶어할 것이다. 또한 흐릿한 이미지들이 종래에 낮은 동적 범위로서 고려될지라도, 또한 그것 안에 밝은 광들을 가진 이러한 이미지는 적어도 디스플레이 렌더링 가능한 컬러들의 휘도 축의 높은 서브영역에 매핑될 필요가 있을 것임을 주의하자.
우리의 코딩 철학은 인코딩이 양쪽 이들 인자들 모두, 즉 한편으로, 이미지가 통상적으로 궁극적으로 얼마나 동적으로 렌더링되는지, 그러나 다른 한편으로 어떤 종류들의 보다 많거나 또는 보다 적은 밝은 오브젝트들이 이미징된 장면을 포함하는지를 고려할 필요가 있다. 따라서, 우리의 목적들(즉, 이미지 표현 또는 코딩)을 위해, HDR 이미지는: 명도 외형 축(명도는 휘도와 혼동되지 않도록 정신 물리학적 양, 또는 코딩된 루마이다)을 따라 충분히 멀리 떨어진 다수의 범위들을 따르는 충분한 양의 그레이 값들을 포함하는 이미지라고 말하는 것이 더 정확할 것이다. 그러므로 우리는 도 1을 갖고 명료해진 바와 같이, "내포된 출현 범위들"의 개념을 갖고 HDR 이미지들의 물리학 및 요구된 기술적 실현들을 보다 양호하게 설명할 수 있다.
도 1에서, 우리는 동시에 많은 어두운 및 밝은 휘도들을 갖고 캡처될 장면(Orig_SCN), 즉 어두운 및 밝게 비춰진 영역들 양쪽 모두에서의 휘도 범위에 대한 상당한 텍스처 세부사항들을 본다. 밝은 영역/오브젝트(BR_obj)에 대해, 정확하게 인코딩되며 렌더링되어야 하는 많은 훌륭한 컬러들을 가진, 스테인드 글라스 창이 있다. 빌딩의 어두운 내부에서, 어두운 목재 계단(DRK_obj), 및 심지어 더 어두운 오브젝트(VDRK_obj)가 있다. 즉, 상기 원래 장면에 서 있는 인간은 스테인드 글라스 창에서 많은 밝은 휘도들(및 사실상 컬러들), 및 계단들에서 상이한 음영 영역들에서의 많은 상이한 어두운 휘도들을 볼 것이다. 그의 머리를 돌릴 때, 그의 망막 및 두뇌 프로세싱은 스테인드 글라스 창을 보는 것으로 적응할 것이며, 또는 반대로 보다 어두운 영역들에서의 어둡게 보이는 오브젝트들을 식별하려고 노력할 것이다. 모든 것이 얼마나 어둡게 보이는지는 물론 장면 구성기들이 보다 밝은 것들로부터 보다 어두운 영역들을 얼마나 잘 분리하였는지에 의존하지만, 그것은 예로서 매우 화창한 날에 보도에서 작은 하수구 구멍을 통해 보려고 노력하는 예를 상상할 수 있다. 즉 "보다 어두운" 영역들은 어두운 그레이를 보는 것으로부터 식별 가능하지 않은 및 최고 흑색(또는 밤 동안 식별 가능하지 않은 보다 회색빛이 도는 흑색)으로 변할 수 있다. 렌더링 디스플레이 상에서, 우리는 능력들을 고려해볼 때, 적어도 다소 유사한 경험(예로서, 그것들의 적어도 적정하게 거무스름하기에 충분히 낮은 휘도를 갖고, 식별 가능하지 않은 거무스름한 컬러들)을 생성하고 싶어할 수 있으며, 즉 휘도 서브범위 당 상당한 수의 출력 휘도들이 여전히 양호한 가시성 품질을 갖고 밝은 및 어두운 양쪽 모두의 오브젝트들 모두의 오브젝트 텍스처들을 렌더링하는 사실 대 스테인드 글라스 창이 평균보다 상당히 더 밝은 것으로 보여야 하는(특정한 동적 범위의 디스플레이를 고려해볼 때, 이것은 영상 정신 "환상" 효과 대 높은 밝기 디스플레이들에 대한 실제 측광 큰 차이를 사용하여 시뮬레이션 중 보다 많은 것일 수 있다) 사실 양쪽 모두의 균형을 유지하며, 계단은 평균보다 더 어둡다(평균은 예로서 조명된 방 주변의 18% 그레이 레벨이다). 디스플레이가 이를 어떻게 최적으로 행할지에 관계없이, 이미지 인코딩은 적어도 정보 모두를, 및 바람직하게는 쉽게 관리 가능한 방식으로 포함해야 한다.
그것은 이제 단일 데이터 신호를 갖고, 이러한 장면을 캡처 및 인코딩할 수 있다(예로서, 1 내지 1023, 코드들로 입력 또는 출력 휘도들을 매핑시키기 위한 고정 감마 함수를 갖고; 즉, 예로서 감마 함수가 출력 휘도들을 정의한다면, 그것은 먼저 캡처된 이미지를 기준 N-니트, 예로서 16 비트 디스플레이(선형 또는 그 외, 예로서 4000 니트 피크 밝기를 갖고)로 변환할 수 있으며 그 후 기준 디스플레이 상에서 정확한 재생이 발생할 것이며, 예로서 2000 니트 디스플레이가 모습을 근사할 것이라는 의도를 갖고, 예로서 10 비트 표현으로 이들 "새로운 장면 값들"을 인코딩할 수 있다). 또는 인간 시각 시스템의 어두운 환경 행동을 보상하기 위해, 예로서 영화관 신호에 대한 상이한 감마 함수를 적용하는, 상이한 시나리오들에 대한 다양한 인코딩된 신호들을 최적화할 수 있다. 그러나 이상적으로 인간 시각의 매우 국소적 및 비선형 행동을 고려하여 매우 복잡할 수 있는, 주요 프로세싱은 이미 주로 인코딩된 하나 이상의 그레이딩된 이미지들에 존재해야 하고(간단한 HDR 이미지 인코딩들에서, LDR 그레이딩은 HDR 마스터 그레이딩 내에서 동시에, 그에 의해 원칙적인 것이 상기 LDR 인코딩된 그레이딩으로부터 마스터 HDR 이미지(예로서, 전통적으로 인코딩된 MPEG-AVC 이미지)를 재획득할 수 있는, LDR 컨테이너 개념을 사용함으로써, 마스터 HDR 그레이딩으로부터 그것을 만들기 위해 사용된 컬러 매핑 전략을 반전시킴으로써, 상기 매핑을 인코딩한 공동-인코딩된 메타데이터를 사용함으로써 인코딩되지만; 물론 이미지 인코딩은 여러 개의 매핑 함수들을 갖는지 또는 적어도 부분적인 추가 픽셀 이미지들을 갖는지에 상관없이, 여러 개의 그레이딩들을 포함할 수 있다), 즉 모습은 이미 다수의 통상적인 디스플레이 시나리오들을 위해 대략 정확하게 결정된다. 상기 경우에 실제 디스플레이 최적화는 비교적 간단한 동작을 갖고 대략 정확한 최종 모습, 예로서 보다 어두운 주변 시청 등을 위한 콘트라스트를 증가시키기 위한 최종 간단한 감마 함수를 생성할 것이다.
어떤 경우라도, 최종 출현은 도 1b에 도시된 바와 같이 보일 것이며, 광도 측정으로 측정 가능한 출력 휘도들은 도 1a에서 유사할 것이다. 제 1 시나리오는 HDR 디스플레이 상에서 보여지는 신호이다(말한 바와 같이, HDR 디스플레이를 구동하기 위해 직접 사용 가능한 기껏해야 최소 프로세싱(예로서, LCD 밸브 물리학에 대한 부가적인 보상을 가진 CRT-형 행동을 모방하는 것과 같은 몇몇 실제로 하드웨어 세부사항들)을 가진 그 자신의 최적화된 HDR 등급, 또는 단일 인코딩된 HDR 이미지/비디오 신호로부터 도출된 구동 신호). 이러한 디스플레이는 5000 니트의 피크 밝기(백색), 및 0.5 니트의 최소 출력 휘도가 가능하다. 보다 낮은 값은, 그것이 임계적으로 여러 개의 주변 파라미터들에 따라 변할 것이기 때문에, 평균 근사치임을 주의하자. 제어된 환경에서조차, 극장 보안 등들은 스크린으로 광을 누출시킬 수 있으며, 그것들의 이동 전화기들 상에서 스위칭하는 사람들의 예측 가능하지 않은 인자도 그렇게 한다(일반적으로 효과가 제한될 것이지만, 그러나 특히 가장 어두운 휘도들에서, 그것은 렌더링에 영향을 줄 수 있다). 보통의 가정에서, 조명 상황들은 매우 가변적일 수 있다.
그러나 여전히 질문은, 그가 때로는 밖에서 창을 통해 볼 수 있는지 여부에 관계없이, 이것이 그 중에서도 방 조명에 의해 결정된, 그의 시각 시스템의 상태에 의존할 것이기 때문에, 인간이 어떻게 이러한 휘도들을 인지할 것인지이다. 시청자는 그의 원격 제어 상에서의 화상 설정들을 변경함으로써 이러한 양상을 제어할 수 있다. 어떤 경우라도, HDR 디스플레이는 스테인드 글라스 창을 렌더링하기 위해 이용 가능한 밝은 값들의 비교적 큰 서브범위를 가진다(즉, 범위의 상부 부분(R_D_HDR)을 커버하여, 비교적 크게 보인다). 동시에, 계단은 충분히 어둡게, 즉 50 니트 훨씬 아래에서 도시될 수 있다. 우리의 예를 위해, 이것은 이들 계단들이 평균 명도(예로서, 18% 그레이)의 시각적 추정치에 비교하여 양쪽 모두 더 어둡게 보이는 심리 시각적 영향으로서 가지며, 또한 여전히 상당히 쉽게 텍스처 세부사항들은 디스플레이의 전면 유리의 주변 조명 반사들을 통해 보여질 수 있다(예로서, 시청자가 영화 시청 레벨로 그의 주변 조명을 어둡게 하며, 평균 그레이가 대개 텔레비전 및 그것의 이미지 콘텐트 자체에 의해 결정되는 시나리오)고 가정된다. 이러한 HDR 디스플레이(+시청 환경)는 너무 양호해서 그것은 여전히 더 어두운 디스플레이 출력 휘도 및 대응하는 심리 시각적 명도를 가진 매우 어두운 오브젝트도 도시할 수 있다.
이제 영화관에서 디지털 극장 프로젝터 상에서의 동일한 신호를 도시한다면(다시, 최적으로 감마 정정되는지 여부에 관계없이), 이제 이러한 극장 렌더링이 대략 50 니트 이상이지만, 어두운 환경인 어떤 백색들도 도시하지 않을 것이며, 적어도 보다 어두운 샷들은 0.05 니트 아래로의, 즉 홈 룸 HDR 디스플레이 렌더링보다 훨씬 더 어두운 휘도들을 도시할 수 있다. 즉, 극장 출력 휘도 범위(R_CIN)는 0.05와 50 니트 사이로 포함된다. 시청자는 어두운 극장 룸으로 적응되며, 그러므로 (거의) 백색으로서 보다 낮은 출력 휘도들을 보기 때문에, R_CIN에서 보다 높은 휘도들의 보다 작은 서브범위를 할당받을 스테인드 글라스 창이 대략 동일한 출력 휘도들을 갖는 HDR 디스플레이 상에서의 계단들과 동일하게 어둡게 보일 것이라고 말할 수 없다. 즉, 또한 영화관에서, 우리는 비교적 큰 동적 범위, 적어도 화상-간을 가질 수 있다(및 적어도 그것은 양화 필름 또는 디지털 신호 상에 있지 않으며, 그 후 마스터 네거티브상에 있다면 인코딩될 수 있다). 특히 심리 시각적 시뮬레이션 중 일부를 갖고, 예로서 문화적으로 수립된 낮 또는 범 컬러들 상에서 재생하는 것과 같이, 또한 극장 시청자는 여전히 어두운 지하 장면 후, 누군가 햇빛에 들어서는 해결책을 가진다(그것은 HDR 디스플레이 상에서보다 덜 인상적이다).
인간 시각 시스템이 적응한 사실은 도 1b의 심리학적 출현 표현에서 더 양호하게 보여질 수 있으며, 여기에서 우리는 명도 외형 축(Appear_SCAL) 상에 다양한 렌더링된 출력 이미지들을 넣는다. 이것은 사실상 두뇌가 무엇을 보는지(모든 그것의 복잡한 프로세싱을 갖고)이지만, 대략 망막 원추들이 어떻게 행동하는지(또는 적어도 신경절 세포 연결들과 함께)에 그것을 매핑시킬 수 있다. 어쨌든, 우리의 기술적 철학에서, 그것은 항상 콘텐트 생성자로서 그의 콘텐트의 모습을 담당하고 싶어해야 하기 때문에, 상기 복잡도는 인간 그레이더에 의해 핸들링될 수 있다. 우리는 실제로 HDR 홈 룸 디스플레이(DISPL_HDR) 상에서의 렌더링 및 영화관 렌더링(MOV_THTR)이 적당히 유사하다는 것을 안다(적어도 비교적 거무스름한 환경들, 뿐만 아니라 밝은 외부들이 시뮬레이션될 수 있다). 그러나, 영화관 렌더링은 임의의 컬러 변형들 없이 적어도 정확하게 이러한 매우 밝은 영역들을 도시할 수 없다(하이퍼브라이트로부터 외형 축의 밝은 영역으로 이동하는, 스테인드 글라스 창의 다소 더 어두운 픽토그램에 의해 도시되는). 우리는 이러한 효과가 또한 영화관에서 HDR 디스플레이 상에서 동시에 렌더링한다면, 비교는 다시 상이하게 되기 때문에(이제 비교적 어두운 프로젝션 스크린상에서의 밝은 영역들이 HDR 디스플레이 상에서의 것들에 직접 비교될 수 있기 때문에), 영화관에서의 대 가정에서의 HDR 디스플레이 상에서의 별개의 렌더링에 기인한다는 것을 강조하고 싶어한다. 그러나, 비교적 깊은 어두움이면, 극장 렌더링은 예로서, 밤 장면과 같이, 매우 어두운 장면들을 시뮬레이션할 수 있으며, 여기에서 해는 느리게 지평선을 향해 상승하기 시작한다. 밝은 햇빛이 비치는 거실에 앉을 때, 그것은 결코 이러한 외형을 가질 수 없다. 또한 밝은 영역들(예로서, 공동-위치된 밝게 빛나는 HDR 디스플레이)을 가진 임의의 환경은 완전히 어두운 밤 장면의 시각적 "환상"을 보다 적은 또는 보다 큰 정도로 파괴할 것이다. 디스플레이 상에서의 렌더링된 어두운 컬러들이 전면 유리 반사 휘도 아래로 떨어질 것을 무시할지라도, 환경으로부터 큰 각도들로 눈에 들어오는 광 컬러들 모두는 환상을 깰 것이다(그것은 e-판독기 예를 갖고 훨씬 더 양호하게 예시된다). 물론 원칙적으로 그것은 가정에서 보안이 이슈가 아니기 때문에 거실을 영화관에서보다 훨씬 더 어둡게 만들 수 있으며, 이것은 그 후 HDR 디스플레이가 또한 보다 깊은 흑색을 위한 보다 높은 능력들을 갖지만, 보통 가정에서의 사람들은 몇몇 레벨의 아늑한 주변 조명을 갖고 싶어한다는 것을 의미할 것이다.(어떤 경우라도, 모든 렌더링 상황들에 부응하는 인코딩된 이미지는 또한 칠흑같이 새까만 거실에서 가장 무서운 방식으로 그들의 공포 영화들을 보고 싶어하는 이들 사람들에 의해 쉽게 최적화될 수 있으며, 이것은 이미지의 가장 어두운 영역들이 충분한 정밀도를 갖고 인코딩되며 비색적 최적화 프로세싱을 위해 쉽게 액세스 가능한 양쪽 모두이도록 요구함을 의미할 것이다). 또한 매우 어두운 환경들에서, 인간 시각 시스템에 의해 보여지는 바와 같이 장면 콘트라스트는 심하게 저하시킬 수 있으며(즉, 그것은 원래 장면을 볼 것이기 때문에), 그러므로 그것은 피치 블랙 이상의 몇 개의 정지부들에서 다크 그레이를 갖고 가장 어두운 오브젝트들, 및 백색 기준 구역 명도 아래의 몇 개의 정지부들에서 라이트 그레이를 갖고 백색 오브젝트들을 렌더링함으로써 이것들(예로서, 영화관에서, 효과가 아직 그렇게 강하지 않은)을 시뮬레이션할 필요가 있을 수 있다.
그러므로 각각의 가능한 디스플레이 상에서 정확하게 렌더링 가능하지 않을 수 있는 영역들이 있을 수 있지만, 그것들을 렌더링할 수 있는(그것은 예로서 브라이트닝 후) 디스플레이들이 있을 수 있거나 또는 있을 것이기 때문에, 우리는 그것들을 여전히 인코딩하고 싶어할 것이며, 이 예는 극장을 위한 울트라다크 영역, 및 몇몇 HDR 디스플레이들을 위한 하이퍼브라이트 영역을 제공한다. 인간 시각 시스템의 울트라다크 영역은 예로서, 몇몇 광이 저 멀리 균열을 통해 누출시키는 매우 어둑하게 비춰진 동굴을 인코딩하기 위해, 고 레벨의 인간 시각 적응화를 갖고 낮은 측 상에서의 어딘가에서 끝날 수 있다는 것을 주의하자. 그러나, 이러한 레벨은, 이미지/비디오 콘텐트의 보다 밝은 부분들이 시각적 시스템으로 하여금 최적으로 적응하도록 허용하지 않을 것이기 때문에(누구도 동굴에서 동굴들의 영화들을 보지 않는다), 심지어 (이론적인) 가장 어두운 영화관들에서의 디스플레이에 대해 무관하다. 그것은 그러나, 예로서 햇빛에 있은 후 어두운 방에 들어갈 때와 같이, 눈이 요란하게 및 흐릿하게 보이기 시작하는 레벨과 동일시될 수 있다. 이러한 시각적 경험은, 그것이 밝은 측 상에서의 눈부신 광들처럼, 새로운 레벨의 시각적 품질을 운반하기 때문에, 렌더링하고 싶어할 수 있는 어떤 것이다. 즉, 그것은 보여질 수 없는 것과 (단지) 보일 수 있는 것의 균형을 이루는 체제이다. 그러나, 포인트는 어두운 환경 렌더링이, 그것이 외형 축의 어두운 영역 아래로 그것을 렌더링할 수 있기 때문에, 매우 어두운 오브젝트를 보다 양호하게 도시할 수 있다는 것이며, 울트라다크 영역 시작들이 존재한다.
제 3 디스플레이는 LDR 홈 디스플레이(DISPL_LDR 렌더링), 예로서 300 니트의 현대 피크 밝기를 가진 "전통적" 텔레비전이다(예로서 100 니트 피크 밝기의 보다 오래된 디스플레이들에 비교적 유사한 행동들을 우리의 논의를 위해 가정할 것이다). 그것이 다소 보다 덜 깊은 흑색들을 보여줄 수 있다고 가정하자(물론 흑색들에서, 그것은 HDR 디스플레이와 유사할 수 있지만, 설명을 위해 그것은 2D LED 디밍 대신에 전역적 디밍을 갖는다고 하자). 또한 그것은 아마도 보다 낮은 피크 밝기를 고려하여, 그것이 보다 밝은 및 중간 휘도들을 위한 그것의 LDR 범위(R_D_LDR)의 보다 큰 서브범위를 예약할 필요가 있기 때문에 보다 덜 어두운 컬러들을 렌더링할 수 있으며, 따라서 그것은 적어도 시각적으로 대략 동일한 다크 그레이들을 가진 매우 어두운 오브젝트 및 계단 양쪽 모두를 렌더링할 것이다. 사실상, 그것은 계단을 위해 단지 몇 개의 휘도 레벨들만을 예약하여, 그것을 덜 상세하게 텍스처화되게 할 것이며, 매우 어두운 오브젝트는 통상적으로 흑색으로 클리핑될 것이다(및 아마도 심지어 계단의 흑색 부분들로의 클리핑에 대하여 가시적이지 않은 토대). LDR 디스플레이의 또 다른 통상적인 속성은 그것이 하이퍼브라이트 오브젝트들을 충실하게 렌더링할 수 없다는 것이며, 통상적으로 그것들을 매우 작은 범위의 (거의) 백색들로 (소프트) 클리핑할 것이고, 그러한 모두는 그 중에서도 중간 범위 거의 미드그레이를 위해 무슨 콘트라스트를 원하는지에 의존한다. 클리핑 및 근사 전략들은, 두뇌가 특별한 어떤 것이 진행 중임을 인지하기 때문에, 강한 심리 시각적 영향을 가질 수 있다.
그러므로 우리는 렌더링이 사실상 각각의 디스플레이-렌더링 가능한 휘도 범위의 상이한 서브범위들로의 장면의 (인간 시각 적응화-조정된) 휘도들(즉, 사실상 인간 시각 시스템을 위한 대응하는 명도들 및 밝기들)의 할당임을 안다. 몇몇 디스플레이들은 (적어도 하나의 측으로부터) 총 범위에 내포되는 총 범위의 서브부분만을 렌더링할 수 있으며, 몇몇 디스플레이들은 거의 모든 외형들을 비교적 충실하게 렌더링할 수 있다. 즉, 출력 휘도들 또는 사실상 디스플레이 구동 이미지 값들(즉, 예로서 LCD 밸브들 및 몇몇 역광 구동을 구동하기 위해)에 매핑할 때, 적어도 허용 가능하다고 확실하지 않다면, 그것은 몇몇 근사치들 내서, 장면 오브젝트 또는 영역의 정확한 외형을 여전히 적정하게 유사한 외형으로 약간 변경해야 한다. 바깥쪽 햇빛에서의 e-판독기 예는 왜곡의 포인트를 강조하기 위해 선택되었다. 여기에서 그것은 거의 단일의 렌더링 가능한 휘도 값(매우 작은 그것의 휘도 범위(E_ERDR_OUTS))으로 큰 범위의 장면 휘도들을 강요해야 하며, 그것은 외형 축의 상당한 거리들에 대한 이미지의 영역들을 시프트해야 한다(어떤 경우라도 흑색들의 대부분이 환한 반사들에 의해 보다 세게 빛날 것이기 때문에, 적어도 외형 범위는 작을 것이며, 디스플레이는 또한 대응하는 작은 출력 휘도 범위에서 물리적 구동 값들을 사용함으로써 그것을 보상할 수 있다). 이것은 예로서 결과로서 어두운 영역들이 완전히 렌더링되지 않을 수 있음을 가지며, 그것은 심하게 왜곡된 선택들을 해야 한다. 예로서 10% 흑색을 도시하는 대신에, 50%가 최저 가시적인 값이라면, 그것은 또한 상기 값들에 대한 톤 매핑을 갖고, 거의 50% 이상의 이들 값들 모두를 렌더링할 수 있다. 예로서, 그것은 그것의 "흑색"(즉, 그것의 최저 렌더링 가능한 값)으로서 무엇을 갖는지에 대해 전체 보다 어두운 영역을 클리핑할 수 있으며, 이것은, 그것들이 그 후 스테인드 글라스 창 픽셀들의 일부보다 더 밝게 될 수 있으므로, 보다 밝은 휘도들에 걸쳐 어두운 오브젝트 휘도들을 확산시키는 대안은 옵션이 아니기 때문에, 이러한 작은 휘도 범위를 갖고, 흑색으로 보이지 않을 수 있다. 유사하게 그것은 몇몇 장면들이 프린트에서 충실하게 렌더링될 수 있는 바람을 포기해야 한다. 단지 적어도 훌륭한 등가물을 갖도록 매핑 및 심리 시각적 원리들을 사용하기 위해 최선을 다할 수 있다(그러나 형광 잉크들 또는 유사한 것을 통합하며 UV 소스를 갖고 강하게 조사하지 않는다면 어떤 빛나는 창들도 없다). 단순함을 위해 간소화된 1-차원 명도 축에 대한 원리들을 논의하였다는 것을 주의하자. 실제 색영역들의 3-차원 특징(즉, 주로 렌더링 디바이스들의 것들)은 또한 컬러들의 채색 프로세싱, 예로서 그것들의 채도에 대한 관심 있는 영향을 가지며, 이것은 시각적으로 몇몇 상황들에서 밝기와 부분적으로 혼동되고/균형을 이룰 수 있다.
완성도를 위해 우리는 또한, 그것들이 예로서 램프들, 또는 예로서 햇빛 가까이를 응시할 때, 자연의 장면들에서 발생하기 때문에, 포화 외형들을 도시하였다는 것을 주의하자. 이것은 원뿔체 옵신 레벨들이 짧은 시간 동안 얻을 때 심하게 왜곡되며(표백), 당신은 스팟들을 본다. 예로서, 겨울 장면에서, 우리는 낮은 해를 볼 수 있으며, 그 주변의 공기는 매우 밝고, 해 주변의 구름들의 입자들 상에 반사하는 햇빛은 훨씬 더 밝을 수 있다. 물론, 밝은 컬러들로 포화 상태를 이룬 시각 색소를 가진 임의의 HDR 디스플레이 상에서의 이들 영역들을 렌더링하는 것은 바람직하지 않지만, 하이퍼브라이트 영역에서 두 개의 상이한 휘도 서브범위들을 할당할 수 있으며, 즉 예로서 적어도 작은 성가시게 하여 밝은 이들 영역들을 도시한다. 다른 한편으로, 그것은 또한 이들 컬러들이 어쨌든 더 이상 중요하지 않으며(밝게 비춰진 컬러링된 집들의 코딩, 또는 심지어 몇몇 정반사들, 또는 컬러링된 TL 튜브 상용 부호들 등이 어쨌든 여전히 중요할 수 있을지라도, 어쨌든 백열등 필라멘트의 실제 밝기 또는 컬러에 관심을 갖는), 단지 하이퍼브라이트를 호출할 수 있는 클리핑과 유사한 값, 또는 최대 코드들(예로서, 단지 값(1023)) 가까이에서의 영역을 갖고 그것들을 인코딩하지 않는다는 것을 고려할 수 있다. 디스플레이는 그 후 그것이 거슬리게 밝은, 또는 약간 더 적은 출력 휘도를 갖고 이것들을 렌더링하길 원하는지 여부를 선택할 수 있으며, 이 경우에 두뇌는 클리핑으로부터 밝기를 추정할 수 있다. 그것은 또한 콘텐트 생성자가 그가 정확하게 인코딩되길 요구하는 것, 및 예로서 HDR 디스플레이를 구동하기 위해 거의 직접 사용될 때 모든 이들 영역들(예로서, 더 어두운 실내 및 훨씬 더 어두운 방, 및 환한 옥외)에 대한 양호한 품질(예로서, 콘트라스트)을 산출할 것이며, HDR 디스플레이들 상에서조차, 어떤 매우 밝은 영역들이 그가 덜 적절하다고 고려하며 항상 클리핑될 수 있는(잠재적으로, 예로서 전력 절감 모드에서, 피크 아래의 밝기 출력 휘도를 갖고)지에 초점을 맞추도록 허용한다. 이러한 전력 절감 모드들은 그레이더가, 전력 절감기가 다수의 증가된 전력 절감 모드들에 대한 모든 이러한 값들 이상의 이미지를 왜곡시키기 위해 사용할 수 있는, 통상적으로 여러 개의 gTS 값들을 갖고, 다수의 이러한 "부적절하게 밝은" 영역들을 정의한다면 디스플레이에 의해 보다 양호하게 실현될 수 있다. 사실상, 생성기는 이미징된 바와 같이 장면으로부터 중요한 콘텐트를 빠뜨리기 위해, 예로서 매우 포화 모습을 실현하기 위해, 하나 이상의 "포화" 코드들을 훨씬 예술적으로 사용할 수 있다.
이제 제 1 비색법에서의 장면의 표현들을 제 2 비색법으로 변형하길 원할 수 있다 - 특히 제 1 할당 규칙(픽셀 루마로서 인코딩된 로컬 장면 오브젝트 패치 휘도를 정의하는; 및 비록 루마들 대신에 우리가 또한 예로서 XYZ 시스템에서의 휘도들을 갖고 픽셀들을 인코딩할 수 있지만, 우리는 코딩된 그레이 값들 루마들로 간단히 부를 것이다)에 따라 루마 또는 휘도 또는 유사한 그레이 값 관련 축(간소화를 위해 두 개의 채색 컬러 좌표들이 양쪽 표현들, 예로서 색상 및 채도 모두에서 고정된다고 가정하면)을 따라 제 1 좌표들을 갖고 장면 오브젝트들을 정의하는 컬러 공간. 본 발명의 몇몇 개념들 및 실시예들을 아래에 용이하게 설명하기 위한 단지 하나의 예로서, 우리는 선형적으로 인코딩된다면, 예로서 2097152:1, 또는 21 비트들의 휘도 비를 가진 원래 장면을 갖는다고 가정할 것이다. 물론 이것은 2^21 값이 부합하는(어두운 저녁 실내 장면을 위한 것보다 환한 옥외 장면을 위해 상이할 수 있는) 가장 밝은 스팟의 정확한 휘도 값으로 여전히 보완될 수 있다. 실제로, 어떤 디스플레이도 어쨌든 햇빛을 인코딩할 수 없기 때문에, 우리는 추가로 간소화를 위해 우리가 비교적 충실히(즉, 그것의 디스플레이 렌더링된 버전에서 햇빛의 휘도를 낮추는 것과 같이, 심리 시각적으로 덜 중요한 왜곡들을 갖고) 16 비트 마스터 HDR 인코딩(적어도 루마 Y에 대해, 및 우리는 이제 그것이 소수인지 또는 정수인지를 원하지 않는다)을 갖고 이들 원래 HDR 장면들을 인코딩할 수 있다고 가정할 것이다. 그것은 즉, HDR 컬러 공간 코드들에 장면 오브젝트 휘도들을 매핑시키기 위해 마스터 감마를 사용함으로써, 그것의 루마 축을 따라 비선형인 것으로 상기 코딩을 정의할 수 있기 때문이다.
또 다른 예는 예로서 표준 2.2 감마를 갖고, 인코딩 즉 상기 16 비트 인코딩을 새로운 비색법/컬러 공간, 즉 8 비트 코드로 매핑시키는 것이다. 여러 개의 색영역 매핑들은 상기, 예로서 그것이 단지 선형적으로 루마 범위를 압축하기 위해 존재하지만, 그것이 나쁜 결과들을 주기 때문에, 보통 보다 점진적인, 예로서 S자 모양 곡선을 사용하며, 예로서 이미지의 저역-통과 필터링된 버전에 압축을 적용하며, 그 후 상기에 보다 강력한 고역 통과 세부사항을 부가하는 것과 같이, 보다 복잡한 모델들을 사용할 수 있다. 또는 매핑은 예로서, 훨씬 더 낮은 동적 범위의 새로운 프레임워크에, 즉 LDR 디스플레이에서 보여진다면, 인간 시각 시스템이 대략(물론 제한된 하드웨어 상에서 몇몇 종류들의 렌더링을 하기 위해 상기 설명된 불가능이 있다) 어떻게 원래 장면을 볼 것인지를 모델링할 수 있다. 인간 시각 시스템은 비-선형적으로 행동하여, 덜 중요한 시각적 양상들을 약화시키며, 예로서 원래 장면에서의 눈에 거슬리는 음영은 비교적 밝은 회색으로서 보여질 수 있다. 그 후 물론 시각 시스템이 너무 어두운 것으로 그것을 해석할 것이기 때문에, 많은 음영이 상기 디스플레이의 최소 흑색에 접근하도록 LDR 색 영역에 그것을 매핑시키는 실수를 하지 않아야 한다. 다소 (로컬) 콘트라스트를 낮춤으로써 그것을 부드럽게 해야 하며, 따라서 그것은 원래 장면에서처럼, 덜 깊게 보일 것이다. 일반적으로, LDR 색영역으로의 색영역 매핑은 국소적 최적화 등을 적용하는 모든 종류들의 계산을 사용할 수 있다.
따라서 결론적으로, 변형 함수는 8 비트 표현을 획득하기 위해 16 비트 표현의 픽셀들에 적용된다. 예로서, 먼저 전역적 변환, 및 그 후 몇몇 공간적으로 국소적 추가 변환들. 및 그 역 또한 마찬가지이며, 그것은 또 다른 컬러/루마 매핑에 의해, 8 비트 인코딩으로부터 HDR(따라서, 예로서 우리의 16 비트 표현) 표현을 변환(예로서, 예측)할 것이다. 이러한 시스템의 일 예가 WO2012004709에 공개되었다(낮은 동적 범위 이미지들로부터 높은 동적 범위 이미지들의 생성).
8-비트 LDR 인코딩으로부터, 5000 니트 피크 흰색의 HDR 디스플레이의 HDR 디스플레이를 구동하며, 그에 의해 원래 장면(예로서, 그것은, 음영들이 여전히 위협적으로 어둡게 보인다는 점에서, 적정하게 유사하게 보인다; 주의. 원래 16 비트 마스터 인코딩이 예로서, 음영 영역을 훨씬 더 어두컴컴하게 또는 위협적으로 어둡게 만드는, 감독의 지시 및/또는 DOP에 따라 컴퓨터 아티스트에 의해 최적으로 조정된 등급이라면, 품질 의도는 궁극적으로 가능한 한, 즉 의도된 대로 양호한 위협적인 모습을 운반하는 궁극적으로 렌더링한 HDR 디스플레이를 갖는 것일 수 있다)의 예술적으로 기분 좋은(즉, 양호한 품질) 렌더링을 제공하기 위해 사용 가능한 16 비트 HDR 표현으로의 매핑에 초점을 맞춤으로서 설명을 다시 간소화하자.
그것들의 8-비트 코드 값으로부터, 새로운, 상이한 16-비트 코드 값을 가진 픽셀들(동일한 공간 위치에 대해)로 픽셀들을 매핑시키기 위한 상이한 방식들이 있을 수 있다. 예로서, 이러한 매핑은, 어떻게 HDR 디스플레이가 행동하며 HDR 코드가 정의되는지에 기초하여, HDR 디스플레이가 HDR 이미지(간소화를 위해 이것은 HDR 디스플레이를 직접 구동한다고 생각하자)의 픽셀 루마를 획득하기 위해 대응하는 변환과 부합할, 이러한 밝은 영역들을 렌더링할 수 있기 때문에, 스테인드 글라스 창의 렌더링된 밝기를 부스팅할 수 있다. 이미징된 오브젝트의 밝기 동작을 설명하고 예로서 부스팅에 대해 이야기할 때, 간소화를 위해 실제 인코딩된 루마 공간에서 동일한 것이 예로서 오히려 보다 어두운 영역들을 어둑하게 하고(비교적 동일한 결과를 제공하는), 스테인드 글라스 창들을 HDR 및 LDR 인코딩을 위해 양쪽 모두 높게 유지함으로써 실현될 수 있는, 출력 휘도들을 비교할 것임을(예로서, LDR 디스플레이 상에서의 렌더링된 휘도 = 500 중 400 대 HDR 디스플레이 상에서의 3000) 주의하자.
변환은 전역적, 즉 픽셀이 이미지에 위치되는 어디에든 있을 수 있으며, 변환의 함수 형태는 단지 LDR/8-비트 이미지 픽셀 값에 의존적이다, 즉: Y_16b=f(Y_8b), 여기에서 Y_16b는 16 비트 루마이고, 이것은 예로서 2진 코드 워드, 또는 0 및 1 사이에서의 소수 값으로서 표현될 수 있으며, 8 비트 루마 Y_8b에 대해서도 유사하다. 이러한 함수의 일 예는 전역적 감마: Y_16b=g*Y_8b^감마이며, 여기에서 g는 이득 인자이며, 감마는 멱 함수의 계수이다.
이러한 전역적 함수의 이점은 단지 작은 양의 데이터만을 인코딩하도록 요구한다는 것이며, 예로서 동일한 이미지 특성들을 가진, 각각의 화상, 또는 심지어 동일한 장면의 화상들의 샷 전에 감마 및 이득을 송신할 수 있다.
단점은, 그것이 HDR/16으로부터 LDR/8 비트들로 가기 위해 그것을 사용한다면(즉, 200 니트 피크 백색의 LDR 디스플레이 상에서 좋아 보이는 것으로 여겨지는 신호), 그것이 대략 보기를 정확하게 만들지라도(높은 밝은 영역들을 가진 HDR 화상을 선형적으로 압축하는 우세 동작은 하나가 더 어두운 부분들을 너무 많이 압축하여, 평균 보기 상에서의 화상을 LDR 디스플레이들 상에서 어둡게 만들지만, 감마 함수는 이미 대략 두 개의 영역들, 즉 더 어두운 것 대 더 밝은 것을 대략 균형 있게 핸들링할 수 있다는 것이다), 그것은 적절한 감마 형태를 갖고 보다 적은 것을 행함으로써 화상의 보다 어두운 부분들에서의 압축에 대해 정정하기 때문이다. 그러나 그것은 단지 단일의, 간단한 함수 형태이다. 배경에서 몇몇 컬러들을 임계적으로 조정할 때, 전경 오브젝트에서의 유사한 컬러들이 덜 바람직한 상기 오브젝트를 위한 방식으로 그렇게 변할 수 있다. 또한 8에서 16 비트들로 이동할 때, 예로서 우측 HDR 디스플레이 출력 휘도 위치(즉, 우측 Y_16b)에서 밝은 광들을 넣을 수 있지만, 감마 함수를 조정/스트레칭함으로써, 예로서 더 어두운 영역들을 원하는 것보다 더 밝게 만들 수 있다. 또는 최적으로 선택된 제어 포인트들을 가진 스플라인과 같은 보다 복잡한 매핑 함수를 사용할 수 있지만, 아마도 이미지의 컬러 보기를 제어하기 위한 가장 용이한 방식이 아닌 이것에 대해 말하기 위해서가 아닌, 바람직하지 않은 루마들로 중간 회색들의 일부를 시프트하는 것을 여전히 위태롭게 한다.
예로서 원래 HDR 장면의 8 비트 LDR 이미지로의 손실 매핑을 행할 수 있기 때문에 문제가 악화되며, 이것은 어두운 계단 및 매우 어두운 오브젝트에 대해 발생할 수 있다. 원래 매우 어두운 오브젝트가 계단보다 훨씬 더 어두운 캡처될 장면에 있지만, 8 비트 이미지에서, 그것은 계단 픽셀들의 적어도 일부의 값들에 대응하는 루마 값들을 가질 수 있다. 즉, 양호한 소식이 그것들이 이미지의 상이한 공간 영역들에 존재할 수 있다는 점일지라도, (매우) 상이한 루마 값들을 가져야 하는 픽셀들은 이제 동일한 값들(또는 적어도 픽셀들의 세트들의 히스토그램들은 그것들이 하지 않아야 하는 곳을 중첩할 수 있다)을 가진다. 인코딩된 그레이 값들 상에서 동작하는 단일 함수는 더 이상 이들 두 개의 경우들을 식별할 수 없다. 즉, 매우 어두운 오브젝트를 매우 낮은 Y-16b 루마들로 변환하길 원한다면, 동일한 것이 층계 계단들 중 일부를 갖고 잘못되게 발생할 것이며(예로서, 계단들의 몇몇 부분들의 과도하게 명암이 심한 흑화를 야기한다) 그 역 또한 마찬가지이다. 즉, 아티스트 또는 컬러 변환 장치는 이들 두 개의 오브젝트들에 상이한 변환을 적용할 수 있기를 원할 것이다.
변환들의 다른 클래스는 국소적 루마(또는 일반적인 컬러에서) 변환들이며, 이것은 각각의 픽셀에 상이한 함수를 적용한다. 예로서, 픽셀 주변에서의 마스크 영역을 볼 수 있으며, 예로서, 그것들이 거의 동일하지만 다소 상이하다면, 주변 값들이 무엇인지에 의존하여 그것의 루마를 약간의 비트로 부스팅할 수 있다. 이것의 예는 오브젝트 에지들 주변에서 피킹하는 것이며, 여기에서 국소적 픽셀 루마들을 에지의 부근에서의 스텝 프로파일 값의 다소 위 대 아래로 부스팅하길 원한다. HDR 이미지들의 변환/코딩에서의 일 예는 JPEG-HDR 원리이며, 여기에서는 텍스처를 위해 정상 JPEG 이미지를 사용하며, 그 후 각각의 픽셀에 대한 부스트 인자를 가진 부스트 이미지를 공동-인코딩한다. 이점은 어떤 알고리즘적 국소적 변환이 이러한 이미지에서의 최종 결과만큼 실현되길 원할지라도 공동-인코딩할 수 있지만(예로서, 제 1 방식으로 텍스처 콘트라스트를, 및 또 다른 방식으로 준전역적 조명 기울기를 증가시키며, 이것은 그레이딩 아티스트가 그의 바람에 대해 최적화할 수 있다), 이제 각각의 HDR 이미지에 대해, 두 개의 LDR 이미지들이 인코딩되어야 하기 때문에(대 우리의 단일,예로서 상기 언급된 LDR 컨테이너 이미지), 인코딩될 데이터의 증가된 양의 가혹한 가격에 접근한다는 것이다. 그것이 단지 원래 16비트_HDR을 인코딩하기에 더 양호한지 여부에 상관없이, 8비트_텍스처*8비트_부스트를 인코딩하는지를 심지어 자문할 수 있다.
이제, 특정한 부스트가 바람직하다면, 그것은 보통 전체 오브젝트, 예로서 스테인드 글라스 창에 대해 바람직할 것이기 때문에 중간 방식이 있다. 즉, 부스트 이미지에서의 픽셀 루마/부스트 값들은 총 공간적으로 무상관되지 않을 것이며, 점점 더 그럴수록, 스마트하게 프로세싱/인코딩한다면, 그것들은 그렇게 상관될 수 있으며, 그것들을 훨씬 더 간소화하여 표현할 수 있다. 즉, 함수 방식으로, 아마도 공동-인코딩된 메타데이터에 저장될 수 있는 단일 부스트 번호를 갖고 간단하게 그것들을 파라미터로 특정할 수 있다.
그것은 오브젝트들, 또는 보다 일반적으로 기하학적 이미지 영역들을 인코딩하는 것을 요구할 것이다.
조각들로의 이러한 세분화의 하나의 용이한 예는 블록들의 그리드를 정의하며, 그 후 각각의 직사각형 서브-영역에 대한 최적의 변환을 정의하는 것이다. 예로서, EP2009921[Liu Shan 외, 미쓰비시 전기: 역 톤 매핑을 위한 방법]에서처럼 이들 블록들의 각각 및 모든 것에 대한 이득 곱셈기 및 오프셋을 정의할 수 있거나, 또는 각각의 상이한 블록에 대한 국소적 감마를 공동-인코딩한다. 이러한 방법들은 보통 블록 아티팩트들에 빨리 시달린다. 예로서, 블록(BLCK(i+1,j-1)(도 2a 참조)에 적용될 및 아마도 블록(BLCK(i+2,j))에 대한 것보다 BLCK(i+1,j)까지를 넘는 블록들에 대한 상이한 최적의 이득 또는 감마가 될 수 있다. 그것은 전자의 블록에 대해 층계의 최적의 보기를 고도로 평가함으로써 변환을 최적화할 수 있는 반면, 후자의 블록에 대해 예로서 매우 어두운 오브젝트의 가시성 기준에 초점을 맞춤으로써 최적화할 수 있기 때문이다. 곡선의 부분(즉, 몇몇 이용 가능한 픽셀 루마들(Y_8b)에 대해)에서의 매우 작은 편차들은, 누르스름한 잔디에서 숨은 호랑이를 검출하는 것을 의미할 수 있는 것에 대해, 뇌가 이러한 통계적 차이들을 이해하도록 훈련되기 때문에, 이들 두 개의 블록들에서의 배경 부분들/오브젝트들의 루마들(Y_16b)의 통계들의 차이의 가시성을 야기할 수 있으며, 즉 시각적 경계의 지각을 야기한다. 몇몇 알고리즘들을 적용할 때, 대략적 그리드를 볼 수 있으며, 이것은 가시성이 Y_16b로의 변환 후 기본 영역들의 컬러 통계들의 시간적 변조들에 의해 증가된다.
이제 상기 문제에 대한 가능한 해결책이 또한 있으며, 즉 그것은 모든 오브젝트들을 정확하게 인코딩할 수 있으며, 그러므로 어두운 전경 오브젝트의 모든 픽셀들이 그것들의 최적의 국소적 변환을 얻는다는 것, 및 영역이 그것들에게 최적의 렌더링을 제공한 동일한 변환을 얻는다는 점에서 모든 블록들의 배경 영역 픽셀들, 및 시각적 블록 에지들 없이 보장할 수 있다.
그러나 코딩 효율성, 즉 다시 요구된 비트들의 양을 고려하여 사라질 것을 하는 모든 희망들은 우리를 두 개의 이미지 인코딩, 또는 아마도 심지어 원 Y_16b 인코딩(그것은 아마도 그 후 역 호환성을 위해 또 다른 Y_8b 인코딩이 부가적으로 요구될 것이다)을 받아들이기 위한 의무로 이끈다. 더욱이, 예로서, 우리의 계단들의 실제 경계를 정확하게 인코딩하는 것은 예로서 스플라인 함수를 위해 많은 인코딩될 데이터를 수반할 뿐만 아니라, 그레이더들은 종종 특히 영화에서 100초 내지 1000초의 샷들을 하도록 요구할 때, 그들의 오브젝트 선택들을 덜 정확하게 만들고 싶어한다.
과거에 이러한 오브젝트-지향 인코딩들은 MPEG4-2 프레임워크에서 시도되어왔지만, 그것들은 여러 이유들로 결코 성공하지 않았다. 그것은, 그것들의 공간적으로 변화하는 텍스터 패턴 정의들이 무엇인지를 알지 못하기 때문에 단지 이들 오브젝트들을 추출할 수 없으며, 따라서 그것은 그것들의 경계들을 인코딩하는 것으로 이어졌다. 그러나 한편으로, 예로서, 스플라인들 또는 스네이크들과 같은 복잡한 인코딩 구조들(블록-기반 인코딩 기술의 보편적인 간소화에 비교하여), 두 번째로 아마도 이들 스네이크들을 최적으로 배치하기 위한 인간 개입의 요구(예로서, 오브젝트의 코너 조각을 손실한, 경계 오정렬은 많은 알고리즘들의 플레이그이기 때문에), 및 세 번째로 이들 경계 곡선들을 인코딩하기 위한 많은 부가적인 코드 값들을 이끈다. 모든 이들 복잡한 인자들은 실제 비디오 또는 정지 화상 인코딩 표준들에서의 용이한 채택을 지지하는 것처럼 보이지 않는다.
그러나 본 발명자는 특정한 HDR 인코딩 상황에서(즉, 제 1, 예로서 하위 동적 및 제 2, 예로서 장면의 보다 높은 동적 루마 범위 표현 사이에서 변환할 때) 단지 몇 비트들의 부가적인 데이터를 요구하는 이점을 갖고, 정확한 세분화의 이점들 모두를 가진 인코딩을 허용하는 이미지의 특정한 속성이 거의 항상 있다는 것을 실현하였다. 도 1의 모든 렌더링들(또는 기본 이미지 코딩들)에서, 영역 밝기의 계층(상이한 휘도 또는 루마 범위들을 스패닝하는)이 항상 있으며, 예로서 창은 항상 가장 밝은 오브젝트일 것이다. 비록 공간적으로 좌측 상에 보다 어두운 오브젝트들이 있을지라도, 중간에서의 보다 밝은 오브젝트들 및 다시 우측 상에서의 보다 어두운 오브젝트들이 있을지라도, 통상적으로 각각의 국소적 영역에서, 보다 어두운 화상의 몇몇 부분, 및 보다 밝은 몇몇 부분(실제로 또한 중간의 더두운 오브젝트들과 같이, 여러 개의 클래스들이 있을 수 있지만, 적어도 몇몇 픽셀들은 가장 밝으며 몇몇은 가장 어둡고, 보통 그것들은 유리 창의 볼록 고체 충전 구조와 같이 비교적 간단한 기하학적 구조들을 가진다)이 항상 있다. 그러나 블록에서 밝은 하늘에 대하여 감옥 바들의 패턴을 가질지라도, 모든 감옥 바들은 보다 어두운 픽셀들을 가진 것으로 블록 내에서 쉽게 식별되기 때문에, 그것은 문제가 아님을 주의한다. 또한 여러 개의 블록들에 걸친 분포는, 그것이 스캔 경로를 따라 블록들 사이에서의 몇몇 시간들에서 몇몇 gTS 값들을 리셋하는 것을 수반할지라도, 보통 쉽게 관리 가능하다. 우연히 보다 어렵도록 발생할 특이한 경우에 대해, 그것은 물론 보조 방법들 또는 전략들에 대한 의지를 취한다.
원리는 도 2a 및 도 2b와 함께 설명된다.
도 2a에서 우리는 이제 겹쳐진 그것의 블록 세분을 가진 어두운 목재 층계의 스테인드 글라스 조명을 가진 우리의 이미지를 도시하여 왔다. 그것은 이들 블록들에서, 예로서 자동 이미지 분석 알고리즘은 예로서, 국소적 루마 히스토그램(또는 디스플레이 렌더링의, 예로서 기준 비색법에서의 장면 표현의, 그로부터 도출된 휘도 히스토그램)과 같은, 국소적 이미지 통계를 분석하며, Y_8b LDR 이미지를 변환함으로써 Y_16b HDR 이미지를 생성하기 위해 비례하게 될 것이라는 것이다. 예로서, 그것은 통상적인 이미지가 어떻게 보일 것인지(계단들이 이미 비교적 어둡다면, 특정한 제 1 매핑은 통상적으로 LDR 디스플레이 상에서 그것을 너무 어둡게 만들거나, 또는 그레이더는 그것을 검사함으로써 이러한 시나리오를 단지 검사할 수 있다)에 대한 통계 원리들 및 지식을 사용할 수 있으며, 그 후 예로서, 4.3의 매핑 감마를 선택할 수 있다. 이러한 바람직한 변환의 일 예가 도 2b에 도시된다. 상기 말하여진 바와 같이, 픽셀 당 전체 변환 함수 또는 알고리즘(감마 함수 대신에, 그것은 하나 이상의 로컬 픽셀들에 대한 최종 루마 값이 되게 하기 위해, 루마의 국소적 변화에서 국소적인, 예로서 국소적 텍스처 측정치를 산출하기 위해 프로그램된 규칙들의 세트를 가질 수 있다)일 필요는 없지만, 우리는 준-전역적 최적화 변환, 즉 통상적으로 오브젝트 또는 클래스당 변환을 원한다. 블록(BLCK(i-1, j-4))에 의해 커버된 이미지 영역에서, 우리는 두 개의 오브젝트들로 구성된 블록, 즉 스테인드 글라스 창의 일부, 및 그것을 둘러싸는 벽(예로서, 그려지지 않은 간소화를 위해서가 아닌, 그 텍스처가 양호한 품질을 갖고 렌더링되어야 하는 벽돌들 또는 월페이퍼를 가질 수 있는)을 갖고 선택된 영역에서의 국소적 서브-정면을 보며, 이것은 스테인드 글라스 창이 아닌 블록의 이들 픽셀들을 차지한다. 이들 오브젝트들은 매우 어렵기 때문에(밝은 밖에 대하여 보다 어두운 픽셀들의 역광 이미징, 스테인드 글라스 창의 발광 포화 컬러들은 특별한 처리를 요구할 수 있음을 설명하기 위해 시작하지 않는다), 우리는 신호가 통상적으로 의도되거나, 또는 적어도 유용한 디스플레이들의 몇몇 카테고리들에 대해, 예로서 Y_16b와 같은 이미지의 새로운 인코딩을 획득하기 위해 매우 상이한 변환을 적용하고 싶어할 수 있다. 창 및 벽은 매우 상이한 오브젝트들이며, 특히 그것들은 상이하게 조명된다. 룸의 내부에서 있는 광이 무엇이든지 그에 의해 벽(BDRF, 알베도(albedo) 등과 같이, 그것이 자체적으로 갖는 물리적 속성들이 무엇이든지)이 조사되며, 그것은 통상적으로 그것의 주변, 및 특히 그것의 주 조명 소스(들)로부터 광을 반사함으로써 그것의 컬러/휘도를 생성한다. 다른 한편으로 창은, 그것이 외부로부터 광을 흡수에 의해 직접 변조하기 때문에 반투명한 컬러이다. 적어도 하나가 임의의 디스플레이 렌더링에 더 밝게 창을 보고 싶어하지만, 이러한 상이한 컬러 생성 메커니즘을 고려하여 부가적인 렌더링 품질 기준들이 있을 수 있다. 그것은 LDR이 보여줄 것으로부터 너무 다르지 않은, 비교적 어둑한 디스플레이 출력 휘도를 가진 벽을 HDR 디스플레이 상에서 도시하고 싶어하는 것일 수 있거나, 또는 디스플레이 및 시청자의 거무스름한 시청 환경에 있는 실제 벽이 반사할 것이다. 다른 한편으로, 그 외 LDR 디스플레이가 즉, 높은 루마 Y_16b 좌표를 가진, HDR 디스플레이의 실현 가능한 색영역의 최상부에 가까운 어딘가에 있는 루마들로, 어쨌든 그것들을 도시할 수 없기 때문에(비교적 충실히), 그것은 말하자면, 벽의 것들보다 훨씬 더 높지 않은 루마 값들을 갖고 LDR 이미지에서 인코딩되는, 유리 창을 부스팅하고 싶어한다. 즉, 적절한 HDR 이미지는 보다 어두운 벽들, 및 매우 밝은 창들을 갖고 구성되어야 한다.
도 2b에서, 계단들을 갖고 해야 하는 것을 도시하는 또 다른 예를 도시하며, 총 동작 루마 매핑 함수(TM_BLCK(i,j))가 바람직한 것에 대해 도시된다: 임의의 가능한 입력 루마(Luma_in)가 상기 블록에서 픽셀을 위해 존재할 경우에, 무엇이 그 후 HDR Y_16b 이미지의 변환된 출력 루마(Luma_out)인지. 물론 몇몇 컬러들은 실제로 존재하지 않으며(상기 블록에서 스테인드 글라스 창은 없다), 따라서 우리는 그것들을 대시 기호로 도시하였다. 적절한 것은 존재하는 Luma_in의 이들 범위들에 대한 변환 함수들이다. 따라서 숙련자는 이것이, 원하는 다용성 또는 코딩 복잡도에 기초하여, 여러 개의 실시예 실현들을 허용한다고 이해할 것이다. 그것은 몇몇 값들이 제공된 대시 부호로 된 부분들을 갖고 전체 함수(TM_BLCK(i,j))를 저장할 수 있거나(이것은 감마 함수와 같은 함수 형태를 갖고 변환을 인코딩한다면, 또한 변환이 룩업 테이블로서 인코딩된다면 쉽게 달성되며, 및 중간 값들이 그것들이 존재하는 이미지(들)의 부분들에서 편리해질 수 있기 때문에), 또는 그것은 luma_in 범위(RNG_COD_DRK)에 걸쳐 정의된 층계를 위해 요구된 부분 변환(PD_BLCK(i,j))과 같이, 단지 서브변환들을 별개의 위치들에 저장할 수 있으며, 이러한 부분 변환들이 많은 이점들을 가진다는 것을 함께 엮어보자. 그것들은 어딘가에 임의의 이유로 저장될 수 있다. 그것은 부분 변환(PD_BLCK(i,j))이 월페이퍼의 매핑 동작을 인코딩하는 훨씬 더 큰 변환으로서 어딘가에(예로서, 이미지들의 이러한 샷의 초기에, 또는 심지어 영화의 초기에), 또한 그것이 예로서 그것의 부근에서 국소적 램프에 의해 조명되기 때문에 훨씬 밝은 곳에 저장될 수 있다. 그러나 그 후 단지 범위(RNG_COD_DRK) 내에서의 부분만이 상기로부터 취해진다(및 예로서, 상기 블록(TM_BLCK(i,j))의 모든 픽셀들에 루마 매핑 알고리즘을 적용할 때 임시 메모리에 저장된다). 이러한 부분 변환은 예로서, 저작권 보호 서비스 또는 몇몇 오브젝트들의 보다 훌륭한 렌더링을 제공하는 별개의 서비스에서, 또는 게이밍 등과 같은 즉석 시나리오들에서 예로서 인터넷 또는 다른 네트워킹된 서비스로서 전달될 수 있다.
따라서 이 예의 TM_BLCK(i,j)는 두 개의 적절한 부분적 루마 매핑들, 즉 먼저 그것들의 어두운 LDR 이미지 인코딩(즉, Luma_in)에 비교하여 다소 계단들을 밝게 하는, 오프셋을 가진 선형 스트레치인 계단들에 대한 PD_BLCK(i,j) 부분을 도시하며, 그 후 콘트라스트를 다소 부스팅하며, 나무에서의 입자들을 보다 가시적이게 만든다. 두 번째로, 이 예에서, 가변적인 (곡선) 스트레치인, 그 곳에 룸 배경을 위한 부분적 변환(PM_BLCK(i,j))이 있다(이 경우에, 월페이퍼보다는 몇몇 바닥일 수 있다). 동일한 매핑은 통상적으로 블록(BLCK(i+1, j-1))의 양쪽 부분들 모두에 적용 가능할 것이다.
이제 그러나 우리가 블록(BLCK(i+2,j))에 도달한다면, 상기 매핑 전략은, 그것들이 매우 어두운 오브젝트를 이제 인코딩하기 때문에, 배경 부분을 위해 여전히 매우 잘 할 수 있지만, 범위(RNG_COD_DRK)에서의 루마_인(luma_in)들을 가진 픽셀들에 대해서는 아니다. 이것은 HDR 디스플레이 상에서 훨씬 더 어둡게 도시되어야 하며, 즉 LDR 이미지로부터 매핑된 HDR 이미지에서 보다 낮은 루마_아웃(luma_out)들 Y_16b를 가진다. 그것은 상기 블록, 즉 상기 블록에서의 상기 상이한, 새로운 오브젝트에 대한 새로운 부분 변환 전략(PD_BLCK(i+2,j))을 도시하는 보다 두꺼운 라인에 의해 도시된다. 그것은 모든 매우 어두운 오브젝트 컬러들을 매우 어둡게, 및 거의 식별 가능하지 않게 유지하길 원하기 때문에, 그것은 훨씬 더 완만한 스트레치 인자를 가진다.
그러므로 우리는 사실상 상이한 최적의 렌더링들 또는 그레이딩들을 요구하는 실제 오브젝트들에 대응하는, 다양한 블록들의 부분들에 걸쳐 이러한 부분 매핑 전략들을 빨리 변경하는 것을 허용하는 새로운 기술적 메커니즘을 요구한다.
이제, 발명자는 HDR 이미징 세계에서(즉, 통상적으로 동일한 이미지(들)의 상이한 컬러 표현들 사이에서의 매핑을 수반하는, 예로서 Y_8b 내지 Y_16b-기반 커러 공간들) 블록들 내에 이러한 부분 영역들 또는 오브젝트들 사이에서의 특별한 관계가 거의 항상 있다, 즉 그것들의 대표적인 루마들(또는 휘도들 또는 유사한 표현들)이 상이하다는 것을 실현하였다. 대표적인 루마는 평균 루마일 수 있지만, 통상적으로 보다 엄격한 속성은 제 1 오브젝트의 가장 어두운 루마(블록(BLCK(i+2,j))의 예에서)가 보다 어두운 부분 영역(이 예에서 매우 어두운 오브젝트의)에서의 픽셀의 가장 밝은 루마보다 더 밝고/더 높다는 것이다. 즉, 그것은 적어도 상기 블록에 대해 단지 "영역 구별자 그레이 값", 및 통상적으로 이상의 다수의 블록들(특정한 스캔 방향, 예로서 좌측에서 우측으로 지그재그를 가정할 때)을 인코딩함으로써 이들 두 개를 구분할 수 있다. 상기 영역 구별자 그레이 값은 그러므로 그 아래에서 제 1 오브젝트가 인코딩되며 그 위에서 제 2 오브젝트가 인코딩되는 루마(또는 컬러 표현의 유사한 명도 좌표, 사실상 그것은 예로서 동일한 이미지 텍스처 데이터의 [0,255] 인코딩에서 [0.0, 1.0] 인코딩으로의 매핑 전략들을 재정의할 수 있는 것처럼, 이미지들의 휘도 범위들의 상이한 정의들을 위해 항상 재-인코딩할 수 있다) 경계이다. 그리고, 비록 블록(BLCK(i+1,j-1))에서의 계단이 또 다른 영역 구별자 그레이 값을 요구할 수 있지만, 이들 계단들은 매우 어두운 오브젝트보다 LDR 이미지에서 몇몇 더 밝은 값들을 포함하기 때문에, 원칙은 동일한 채로 있다. 블록들을 포함한 스테인드 글라스 창에 대해, 순서는 역전되며 이제 배경은 이들 블록들에서 가장 어두운 부분 영역이지만, 원칙은 동일한 채로 있다. 수신 측 장치가 완전하게 이러한 간단한 영역 구별자 그레이 값을 갖는다면, 픽셀은 필요한 오브젝트들을 정확하게 재구성한다. 이것은, 예로서 물고기가 그 주변에서의 대양에서 또한 발생하는 그것의 내부에서 예로서 청색 컬러들을 포함할 수 있기 때문에, 일반적인 오브젝트 지향 인코딩에서 가능하지 않을 것이지만, HDR 이미지 표현 문제는 항상 보다 어두운 영역들을 가진 이미지에서의 어딘가에 같이-위치된 훨씬 더 밝은 영역들을 갖는다는 것이다. 이것은 통상적으로 예로서 이들 영역들이 상이하게 조명되거나, 또는 심지어 램프들과 같은 자기-발광성이기 때문에 발생할 수 있다. 또 다른 속성은 이러한 (매우) 상이한 휘도 영역들이 추가 최적화를 허용하는, 이미지에서, 즉 종종 상이한 블록들에서 기하학적으로 다소 분리된다는 것이다. 이것은 매우 어두운 오브젝트의 예이며, 이것은 사실상 계단들과 같이 거무스름하며, LDR 이미지에서 동일한 루마 코드들(의 일부)을 사용할 수 있다. 그러나 그것은 상이한 블록에서 발생하기 때문에, 그것이 최적화하도록 요구하는 유일한 것은 표현 의미론 메타데이터이며, 이것은 예로서, 이 예에서 RNG_COD_DRK의 상부 값일 수 있는, 단일 영역 구별자 그레이 값만큼 간단할 수 있다. 즉, 수신 단부 상에서의 오브젝트 세분화 모듈(실제로 전송 단부에서처럼 동일한 종류의 장치일 수 있거나 또는 사실상 전송 단부에 존재할 수 있는, 그러나 그것은 통상적으로 LDR 이미지+다양한 요구된 하나 이상의 영역 구별자 그레이 값들을 포함한 메타데이터를 얻는 모듈이다)은 계단들을 가진 제 1 블록이 시작하기 전에 그것이 수신한 영역 구별자 그레이 값의 값에 기초하여 모든 적절한 오브젝트들을 정확하게 분할할 수 있으며, 모든 연속 블록들에 대해서도 유사하다. 적어도 이러한 인코딩은 계단들을 포함한 모든 블록들에 대해, 즉 매우 어두운 오브젝트가 존재하는, BLCK(i+2,j)에서, 매우 새로운 상황이 제 1 시간 동안 발생할 때까지 사용될 것이다. 상기 블록이 시작되기 전에, 새로운 상황은 영역 구별자 그레이 값의 새로운 값을 송신함으로써 전달된다. 이제 또한 수신 단부에서 디코더는, 송신 단부 상에서의 저장을 마무리 짓기 이전에 검증될 바와 같이, 다시 정확하게 세분화를 하기 위해, 새로운 적절한 값들을 갖고 그렇게 리셋되며 지시받는다. 통상적으로 인코더는 예로서, 그레이더가 적절한 gTS 값들을 정의하도록 쉽게 허용하는 소프트웨어와 연결될 수 있다. 예로서, 그는 값을 설정하며, 그 후 장면(아마도 선택된 블록들에 대해 국소적인)의 부분들이 gTS 미만 또는 초과로서 결정되는 의사컬러들(예로서, 적색 대 녹색)을 보기 위해 슬라이더를 가질 수 있다. 또는 그는 영역들을 대략적으로 선택할 수 있으며, 장치는 이미 반자동적으로 그레이더를 돕고, 통계를 분석하며, 예로서 밝기에서 상당히 변하는 간섭성 영역들의 추정치에 기초하여 gTs의 제 1 값을 제안할 수 있다. 또는 그레이더는 예로서 스테인드 글라스 창 안에서의 영역에 걸쳐 빠르게 스크리블링할 수 있으며, 다양한 사용자 인터페이스 제어기들 중 임의의 것을 통해 그 후 그가 미세 조정할 수 있는, 그것과 함께 gTS에 대한 적어도 시작 값들을 이미 선택할 수 있다.
그리고, 일단 이들 세그먼트들을 가지면, 그것은 요구된 변환들과 그것들을 연관시키기 위한 용이한 태스크이다. 디코더는 예로서 "오브젝트=0"으로서 모든 배경 픽셀들을 라벨링하며 예로서 화상의 시작 전에 인코딩된 바와 같은 전역적 컬러 또는 루마 매핑을 적용할 수 있다(또는 심지어 감마 4.0과 같이, 기준 HDR 디스플레이의 유형에 대한 디폴트). 또는 디코더(및 디코딩 가능성을 먼저 에뮬레이션하기 위한 인코더)는 특정한 블록 전에 배경/오브젝트=0 오브젝트들을 위해 적용될 매핑을 업데이트할 수 있다. 계단은 "오브젝트=1"로서 라벨링될 수 있으며, 몇몇 연결 규칙은 이들 (분할된) 픽셀들과 매핑을 연관시키다. 예로서, 디폴트 규칙은 새로운 매핑이 블록 전에 인코딩된다면, 상기 매핑 함수(또는 알고리즘)는 현재 "영역 구별자 그레이 값" 아래인 픽셀 루마들에 대해 적용된다는 것일 수 있다. 또는 매핑 함수는 이렇게 인코딩될 수 있으며, 예로서 명확히 그것이 두 개(또는 이상의) 영역들의 보다 밝은 오브젝트를 위해 사용되는 것인 (대개 또는 단지) 이러한 루마 범위에 걸쳐 적용 가능할 수 있다.
따라서 단지 오브젝트들을 즉 1 또는 그 이상의 횟수들로, 이미지의 복잡도에 의존하여, 영역 구별자 그레이 값을 인코딩하기 위해 단지 작은 비트만의 부가적인 데이터만을 필요로 한다. 예로서, 단지 외부로의 창만을 가진 가장 간단한 이미지들에 대해, 단일 gTs가 충분할 수 있다. 우리는 심지어 예를 들면, 예로서 가시성을 수정하기 위해 예로서 보다 어두운 비춰진 부분들에 다소 상이한 매핑들을 적용하기 위해 가변 영역 구별자 그레이 값들을 갖고 이 메커니즘을 사용할 수 있는 배경 월페이퍼를 따라 조명 변화도들에 대한, 두 개의 부분 영역들 사이에서의 명확한 루마 비연속성이 없는 경우에, 매핑들을 미세조정하기 위해 상기 전략을 사용할 수 있다.
여러 개의 시나리오들이 가능하다. 대부분의 HDR 장면들에 대해, 블록당 단지 두 개의 상이한 명도 영역들이 있을 것이며, 심지어 단지 둘의 상이한 명도 영역들, 예로서 2(단지 스테인드 글라스 창만이 화상의 나머지에 대해 만족스럽게 판단되는 전역적 매핑에 비교하여 상이한 매핑을 요구하는 경우에)만큼 있을 수 있다. 상기 경우에, 그것은 블록들의 픽셀 컬러 코드들(또는 블록들의 스캔과 함께-추적 가능한 데이터 구조에서, 예로서 픽셀 데이터 밖에서와 같이, 유사한 코딩들) 사이에서의 영역 구별자 그레이 값을 송신하기 위해 단지 두 차례만을 요구할 것이다. 실제로 스테인드 글라스 창의 간단한 시나리오에서, 단일 영역 구별자 그레이 값은 충분할 수 있으며, 즉 그것은 상기 장면을 포함한 영화에서 이미지들의 샷 이전에 공동-인코딩될 수 있다. 상기 경우에, 세분화 모듈은 영역 구별자 그레이 값 이상의 모든 루마가 밝은 창으로서 처리/매핑된 것으로 여겨진다고 이해할 것이다. 몇몇 경우들에서, 단일 블록 위치와 중첩하는 둘 이상의 오브젝트들이 있을 수 있으며, 이 경우에, 보다 어두운 오브젝트, 중간 밝은 것, 및 보다 밝은 것을 가질 것이다. 상기 경우에 그것들은 예로서 상기 블록 이전에 두 개의 영역 구별자 그레이 값들을 송신함으로써 동일한 원칙에 의해 분할될 수 있다. 그것은 단지 보다 어두운 오브젝트만이 현재 블록(예로서, 중간 밝은 것을 가진)에 있는 경우에 또한 동일할 수 있으며, 보다 밝은 오브젝트는 나중에 두 개의 블록들만을 발생시킨다, 즉 그것은 그 후 말하자면 10개의 연속 블록들의 런 동안 이들 두 개의 영역 구별자 그레이 값들을 공동-인코딩한다. 그것들이 어느 하나의 오브젝트에 확실히 할당될 수 있거나, 또는 달리 서술하면 그것들의 둘러싸는 범위들이 중첩(고려 가능한, 그 외 그것은 종종 또한 그렇게 문제가 되지 않는다)함을 의미하는, 유사한 밝기/루마의 두 개의 오브젝트들이 동일한 블록들에서 발생하는 단지 하나의 빈번하지 않게 발생하는 시나리오가 있으며, 즉 그것들은 동일한 루마의 다수의 픽셀들을 가진다. 그것은 어두운 오브젝트가 1) 실제로 이중 할당된 코드들과 함께 인코딩된다면(즉, 그것은 단지 우리의 매우 어두운 오브젝트에 대해 예로서 단지 3개의 코드들, 루마 0, 1, 및 2만을 예약하지 않으며, 이 값들은 그 후 계단들에 존재하지 않는다); 및 2) 이들 두 개의 오브젝트들이 우리의 예에서 분리되지 않지만, 예로서 통상적으로 중첩하는 동일한 블록에서 같은 장소에 배치된다면 그 경우일 것이다. 상기 시나리오에서 및 콘텐트 생성자가 여전히 어쨌든 이들 어두운 영역들의 이러한 고 품질 인코딩을 갖는 것에 여전히 관심을 가질 경우에, 우리의 인코더는 우리의 현재 교시된 메타데이터-가이딩 세분화에 기초하여 세그먼트-국소적 매핑들에 의해 전체 화상을 예측하기 위해서보다는, 예로서 HDR 이미지 인코딩 전략에서, 폴백 시나리오를 사용하도록 요구할 것이며, 우리는 상이한 인코딩을 요구할 것이고, 예로서 그것은 이외에 직접 요구된 Y_16b 값들을 포함한 상기 블록의 크기로 작은 이미지를 공동-인코딩할 수 있으며, 그 후 상기 블록들의 픽셀 위치들에서 HDR 이미지에서 그것들을 겹쳐놓을 수 있다. 그리고, 그것은 특정한 예약 임계치들을 사용함으로써 그것들을 위한 영역 구별자 그레이 값 메커니즘을 여전히 사용할 수 있다. 예로서, 0 또는 -1의 영역 구별자 그레이 값은, 즉, 그것이 폴백(예로서, 중첩) 인코딩 전략을 나타낼 수 있는 이하의 어떤 루마들도 없기 때문에, "이해되지 않는" 것처럼 보일 것이다. 보다 높은 동적 범위 이미지를 생성할 때 이미지의 상기 영역을 위해 대체되도록(또한 통상적으로 적절한 변환 후), Y_8b LDR이 아닌, RAW 부분, 예로서 Y_16b 이미지로서 비디오로부터 이미지의 작은 부분을 인코딩하는 것과 같이, 교체 HDR(또는 다른 이미지) 인코딩 전략을 시그널링하는 것을 제외하고, 그것은 또한 다른 이유들을 위해 예약된 값들을 사용할 수 있다. 예로서, 260의 영역 구별자 그레이 값은 다음의 블록이 분할하기에 너무 어렵다는 것을 표시할 수 있으며, 그것은 인코딩된 루마 범위(예로서, 16, 200, 및 240)에서의 하나 이상의 영역 구별자 그레이 값들에 기초하여 가능하지 않을 것이며, 오히려 또 다른 세분화 전략이 요구된다. 예로서, 260의 이러한 예약된 값을 검출할 때, 수신 측은 적어도 현재 또는 보다 많은 분할된 블록들을 위해 이미 분할된 맵을 사용할 수 있다. 즉, 그것은 그 후 작은 공동-인코딩된 세그먼트 이미지에서 찾을 것이며, 이것들이 존재하는 3개의 유형들의 오브젝트인 경우에, 여기에서 적어도 연속 블록들에 대해, 픽셀들은 예로서 "0", "1", 또는 "5"로서 라벨링된다. 이러한 폴백 세분화가 더 이상 요구되지 않은 후, 규칙적 "영역 구별자 그레이 값"-기반 알고리즘이 예로서, 규칙적 세분화가 오래된 예약되지 않은 값들을 다시 적용할(예로서, 16, 200, 및 240) 제 1 블록 전에 재-인코딩함으로써 재시작될 수 있거나, 또는 270과 같은 또 다른 예약된 gTS 코드가 규칙적인 세분화-메타데이터 인코딩이 재개함을 표시하기 위해 사용될 수 있으며, 이전(통상적으로 수신 측에서 작동 메모리에 저장된) gTS 값들이 다시 적용 가능하다.
그러나 어쨌든, 가끔 드물게 매우 복잡한 상황들에 대한 또 다른 폴백 전략을 요구할 때조차, 단지 매우 드물게 우리가 보다 많은 비트들을 소비하는 대안적인 폴백 코딩을 요구하기 때문에, 우리는 매우 데이터-효율적인(대개 우리는 단지 어떤 픽셀들이 어떤 매핑이 적용되도록 요구하는지에 대해 구분하는 영역 구별자 그레이 값들 및 매핑들, 및 보통 링크를 정확하게 특정하기 위한 몇몇 추가 메타데이터(예로서, 변환 링크 규칙: 오브젝트=3→매핑=5 사용)를 요구하기 때문에) 인코딩을 가진다. 그러나 더욱이, 그것은 또한 예로서 상이한 디스플레이들 상에서 렌더링하기 위해 조정하는 것과 같은, 프로세싱 애플리케이션들에서 매우 다용도이다. 우리의 방법에 의해, 우리는 매우 쉬운 방식으로 상이한 디스플레이들을 향해 조정하기 위해 요구되는, 장면의 HDR 의미론들을 정의하였기 때문이다. 연결 규칙은 동적일 수 있으며, 예로서 저장된 다수의 규칙들이 있을 수 있다. 예로서, 매핑=5는 예로서 어떤 출력 HDR 이미지 컬러 표현이 (예로서, Y_16b 대 Y_10b)에 매핑되는 결과일 것인지, 또는 그것이 어떤 디스플레이를 위한 것일지(예로서, 5000 니트 HDR 디스플레이, 또는 5000 니트 HDR 디스플레이, 또는 1500 니트 HDR 디스플레이) 등에 의존하여 상이한 매핑들에 의해 추가로 채워질 수 있다.
숙련자는 이러한 인코딩이 다양한 방식들로, 예를 들면, 예로서 초기화 시, "오브젝트=3→매핑=5를 사용"에서 "오브젝트=3→매핑=7을 사용"으로 연결 규칙을 변경하는 상이한 규칙들에 의해, 또는 출력 HDR 이미지의 상세들에 의존하여 세분화 모듈이 상이한 세그먼트 코드들을 생성함으로써, 구체화될 수 있거나, 또는 매핑이 동적으로, 예로서 추가 상세들을 참조함으로써(상이한 알고리즘들 또는 LUT들 또는 상이한 등식들의 리스트들에서의 엔트리들의 시작에 대한 가변 포인터 등과 같이) 변경될 수 있다는 것을 이해할 것이다. 이것은 또한 예로서, 장면의 상이한 오브젝트들에 다양한 새로운 매핑 함수들을 재-할당함으로써 구현될 수 있는, 장면의 "전체 밝기 보기"의 사용자-제어된 수정과 같이, 예로서 용이한 사용자 인터페이스 명령어 핸들링을 허용하며, 모든 오브젝트들/그레이 값 영역들은 특정한 매핑 관계에서 명도-수정된다(예로서, 스테인드 글라스 창은, 그것이 이미 밝기 때문에, 크게 수정되지 않을 것이며, 아마도 이미지의 나머지와의 루마 비로 인해 너무 많은 HDR 보기를 잃지 않도록 이미지의 나머지에 비교하여 약간 추가로 밝아지지만, 그것이 대개 이미지 밝기 보기에 영향을 미치는 평균 명도 부분이기 때문에, 주변 룸 인테리어는 밝아질 수 있으며, 사용자가 그것을 예로서 불편하게 밝은 것으로 지각하기 때문에, 디스플레이를 어둑하게 할 때 그 역 또한 마찬가지이다). 단지 상기 겹쳐쓰여진 부분은 그 후 상이하게 처리될 필요가 있지만, 그것이 너무 어렵고 중대하다면, 아마도 그것은 어쨌든 복잡한 렌더링 프로세싱을 요구할 것이다. 따라서 콘텐트 생성자는 밝기가 간단한 오프셋 또는 곱셈이 아닐 필요가 있기 때문에 예로서 무엇이 밝아지고 그것이 어떻게 밝아지는지를 훨씬 더 양호하게 말하지만, 현재 알고리즘들이 아티팩트들을 이끌 수 있는 색영역-제한 디스플레이 시나리오들에서 통상적으로 깔끔한, 서브영역들의 밝기들의 균형을 잡는(예로서, 백색에 대한 픽셀들의 퍼센티지를 클리핑하는) 복잡한 전략일 수 있다.
예약된 세그먼트 구분 임계치의 또 다른 매우 편리한 사용이 도 6의 수신 측 홈 시스템에 예시된다. 여기에서 텔레비전(602)은 예로서 항공로를 통해 텔레비전 국으로부터 신호(SB)를 수신한다. 그것은 다양한 방식들로 공동-송신될 수 있는(그러나 통상적으로 이미지들의 런의 시작에서 메타데이터로서) 메타데이터(METB), 및 HDR 설정 규격 코드(들)(SET_HDR)에 포함하며, 어떻게 디스플레이가 그 후 동작해야 하는지를 특정한다. 관심 있는 SET_HDR 코드는, 우리가 최대 양의 HDR 영화적 효과들을 요구하지 않는, 예로서 스튜디오 뉴스 프로그램을 현재 스트리밍하기 때문에, 예로서 전력을 절감하기 위해, HDR 및 LDR 렌더링 사이에서 폴백을 스위칭하기 위해 사용될 수 있다. 따라서, 예로서 그것 전에서의 광고 또는 영화 및 뉴스 사이에서, "렌더_LDR"의 SET_HDR 코드가 송신될 수 있으며(또는 예로서 홈 하드 디스크 기록기, 또는 인터넷-네트워킹된 비디오 저장 서버상에 저장된 비디오 프로그램에 공동-인코딩될 수 있다), 이것은 그로부터 앞으로, HDR 디스플레이가 예로서, 단지 500 니트(비록 그것이 5000 니트의 피크 밝기 능력을 가질지라도)의 최대 백색 밝기를 갖고 렌더링한다는 것을 의미한다. 이제 우리의 현재 개시된 발명의 실시예들로서, 그것은 영역 구별자 그레이 값(gTR)을 255와 같게 설정함으로써 쉽게 그렇게 할 수 있으며, 이것은 이하의 모든 루마들(즉 8 비트 이미지에서의 모든 가능한 루마들)이 예로서 이미지와 공동-저장되거나, 또는 그 후 최대 500 니트로 모든 것을 렌더링하는 디스플레이 감마 매핑에 사전 저장될 수 있는, 동일한 매핑을 갖고 처리되도록 요구한다는 것을 나타낸다. 예로서, 그것은 어떤 그레이들이 렌더링되고, 아마도 어둑해지는지를 구분하며, 그 이상에서 모든 그레이들이 비교적 어두운 어둑해진 백색으로 클리핑될 수 있는 gTS 값을 사용할 수 있다.
이제 루마들(또는 유사한 명도-관련 코딩들)에 적용하기 위해 두 개의 종류들의 매핑들/변환들이 있다는 것을 이해하는 것이 중요하다.
첫 번째는 간단한 수학적 "하드웨어-관련" 매핑들이며, 이것은 단지 특정한 시청 디스플레이 및 환경을 위해 정정한다. 예로서, 이미지가 감마 2.2 CRT(기준 디스플레이)를 위해 인코딩되지만, S자 모양 전자-광학 전달 함수를 갖고 LCD 상에서 도시된다면, 디스플레이 자체는 상기를 위해 정정하기 위해 기초적인 비색 수학을 사용할 수 있어서, 그것이 마치 기준 CRT인 것처럼 LCD가 이미지를 렌더링하게 한다. 유사하게, 그것은 간단한 수학을 갖고 환경 특성들을 시청하기 위해 크게 최적화할 수 있다. 첫 번째로 물론, 보다 어두운 렌더링으로 스케일링할 때, 그것은 이미지 코딩과 연관된 기준 밝기를 낮추도록 요구한다. 이것은 이미 렌더링 디스플레이의 피크 밝기에 최대 코드 값(예로서, 255)을 매핑시킴으로써 대체로 실현된다. 그러나, 그것은 또한 더 복잡하게 행해질 수 있으며, 예로서 이미지의 루마들의 특정한 서브범위는 디스플레이의 렌더링된 휘도들의 특정한 범위에 할당될 수 있다. 그러나 렌더링된 이미지 및 그것의 주변의 휘도에 의존하여 콘트라스트에서의 변화로서 이러한 것들을 고려하여, 통상적으로 또한 감마 정정이 적용되어야 한다. 이것은 두 개의 시스템들에서의 명도 범위 정보 콘텐트(즉, 다양한 출현 서브범위들에 걸친 정보의 코딩)가 비교적 유사하다면 매우 수용 가능한 결과들을 제공하지만, 출현 범위들이 매우 어려울 때는 어렵다. 훨씬 더 좁은 동적 범위로 가는 것에 대해, 그것은 어떤 서브범위들이 여전히 어떤 품질을 갖고 도시되어야 하는지, 즉 통상적으로 어떤 오브젝트-내 콘트라스트 및 어떤 오브젝트-간 콘트라스트인지를 결정해야 하며, 종종 중첩 범위들이 매핑 알고리즘에 의해 생성된다. 반대로 훨씬 더 어려울 수 있다. 우리가 단지 두 개의 압축된 오브젝트 범위들을 갖는다면, 본 발명의 새로운 루마/출현 값들은 고사하고, 그것들을 출력 HDR 출현 범위에 넣는 곳을 판단하는 것이 어렵다. 그것은 장면-휘도-유사하지 않은 오브젝트들의 8 비트 루마 범위들이 서로와의 중첩을 부적절하게 인코딩한(매우 균일한 조명을 시뮬레이션할 때, 원래 장면 조명의 모든 또는 충분한 정보를 파괴하는 것과 같이) LDR 매핑 이미지로부터 양호한, 자연 HDR 이미지를 생성하는 것은 훨씬 더 어려워진다.
오브젝트 픽셀들의 그레이 값들(또는 일반적으로 컬러들)의 모든 다른 변환들은, 통상적으로 아티스트(그는 상이한 시청 시나리오를 위한 상기 간단한 수학적 교정이 충분히 정확하지 않다면 심지어 정정할 수 있다)에 의해 행해지는 전역적이라기보다는 국소적일 수 있는, 일반적 변환들로서 보여질 수 있다. 아티스트들은 폭풍 보기를 더 위태롭게 만들기 위해, 매우 복잡한 예술적 그레이딩들을 할 수 있으며, 여기에서 그들은 예로서 화상에서의 구름들에 존재하는 상이한 루마들을 변경한다. 또는 그들은 심지어 원하는 픽셀 루마들/컬러들에 의해 표현된 바와 같이, 로봇의 눈들에서 나오는 광선 빔들을 갖기 위해 컴퓨터 그래픽스 렌더링 효과를 사용할 수 있다. 우리의 논의를 위해, 우리는 두 개의 통상적인 시나리오들을 갖고 예를 들 수 있다. 오브젝트 픽셀 그레이 값들(컬러 그레이딩)의 휘도 범위 상에서의 중요한 위치 결정 모두는 마스터 HDR 이미지(IM_MSTR_HDR, 도 4 참조, 이것은 특정한 정의 감마를 가진 16 비트 이미지일 수 있다) 상에서 행해지며, LDR 이미지(Im_l)는 예로서 감마 인자가 HDR 이미지의 히스토그램으로서 이러한 특성들에 기초하여 조정되는 감마 함수와 같이, 상기 HDR 마스터 상에서의 간단한 수학적 변환들에 의해 전적으로 도출되고. 즉 HDR-대-LDR 변환은 단지 그레이 값들의 간단한 적절한 시프팅이며(통상적으로 크지 않은 편차들에 걸쳐), 따라서 모든 정보가 비교적 정확하게 제한되고, 그것은 상이한 코딩 전략에 있다. 이러한 경우에, HDR 디스플레이 상에서 렌더링될 최종 HDR 이미지는 이러한 역 수학적 매핑 전략을 적용함으로써 LDR 이미지로부터 도출될 수 있다. 또는 인간 그레이더(520)가 대안적으로 마스터 HDR 이미지(IM_MSTR_HDR)에서 인코딩된 것처럼(즉, 그는 예로서 마치 그것이 LDR인 것처럼 [0,1.0] 이미지로 시작하며 그의 취향들이 무엇이든지에 따라 그것을 비색적으로 자유롭게 변환하기 시작한다) 마스터 그레이딩으로부터 시작하는 추가의 최적으로 조정된 그레이딩에 기초하여 LDR 이미지를 도출할 수 있다. 즉, 이 시나리오에서, HDR 이미지(IM_MSTR_HDR)에서의 HDR 렌더링 시스템들에 대한 최적의 보기, 및 그레이딩된 LDR(예로서, 유리하게는 8 비트) 이미지(Im_l)에서 인코딩된 LDR 시스템들에 대한 또 다른 최적의 보기의 인코딩 둘 모두가 있다. 우리의 방법들은 통상적으로 다양한 비트 깊이 및/또는 의도된 디스플레이 피크 밝기(유일한 것은 컬러 표현들/이미지 인코딩들 중 적어도 하나에서 더 밝은 및 더 어두운 영역들 사이에서의 양호한 순서 관계가 있음이 요구된다)의, 픽셀 컬러들에 대한 제 1 및 제 2 컬러 공간 정의 사이에서의 오브젝트들에 대한 임의의 컬러 또는 루마 변환에 적용 가능할지라도, 우리는 제 2 유형의 일 예에 우리의 예시를 집중시킬 것이다. 즉, 그레이더는 우리의 전략에서, 일련의 (하나 이상) 영역 구별자 그레이 값들(gTS), 다수의 변환 함수들 또는 알고리즘들, 및 통상적으로 또한 하나 이상의 연결 규칙들, 적용될 변환들과 획득가능한 세그먼트들을 연결하는 것(예로서, 3개의 연속적인 영역 구별자 그레이 값들이 있다면, 제 1 gTS1 아래의 오브젝트들은 "0"으로서 분할될 수 있고, gTS1 위는 "1"로서 분할될 수 있으며, 그 후 제 2 gTS2가 동일한 세트의 오브젝트들(즉, 동일한 루마 범위)에 적용 가능한 보다 높은 값이면, gTS2 이상은 세그먼트들("2")일 것이지만, 루마들 이하는 이미 "1"에 속한다)으로 변환될 이미지(들)의 다양한 서브-오브젝트들 또는 영역들을 위한 luma_out 함수 형태(예로서, LUT로서)로의 즉, 일반적인 luma_in의 많은 미세-조정된 컬러 매핑들을 특정할 수 있다. 우리의 매우 어두운 오브젝트 예에서처럼, gTS2가 단지 더 어두운 및 더 밝은 오브젝트들의 재정의이면, 임계 루마들 이상은 양쪽 경우들 모두에서 세그먼트("1") 배경들일 것이지만, 보다 낮은 루마들은 세그먼트("0"), 각각 세그먼트("2")일 것이다. 관계들이 명확하다면, 어떤 추가 데이터도 공동-인코딩되기 위해 필요하지 않지만, 통상적으로 영역 구별자 그레이 값들의 의미를 설명하는 몇몇 추가 메타데이터가 있을 수 있다. 예로서, 그것은 간단히 "동일한_루마_범위_에서의_추가_구분(further_demarcation_in_same_luma_range)" 또는 "수정된_구분(modified_demarcation)" 등으로서 영역 구별자 그레이 값들의 유형을 정의하기에 충분할 수 있다. 그러나 보다 복잡한 경우들에 대해, 및 실제로 그렇게 너무 부가적인 데이터가 요구되지 않기 때문에, 인코더는 이와 같이 그것을 항상 행하도록 선택할 수 있으며, 그것은 단지 예로서 세그먼트 값 할당 규칙들을 갖고, 각각의 상황에 대해 행해져야 하는 것을 공동-인코딩할 수 있다. 예로서, "루마 < gTS1 → 오브젝트/세그먼트 = 0이면", "루마 > gTS2 → 세그먼트 = 2이면" 등. 이러한 방식으로 그것은 임의의 가능한 잘못된 해석 및 결과적인 부정확한 변환에 대해 보호한다.
도 3은 예로서 AVC와 같이 MPEG 비디오 인코딩 표준, 또는 기타와 같은, 현재 이미지 인코딩 기술들의 프레임워크에 맞춘, 상기 실시예들을 인코딩하는 방법의 하나의 가능한 유리한 예를 명료하게 한다.
통상적으로 우세한 변환들에 유용한, 전역적 헤더(Gen_Im_HDR)(화상마다, 또는 예로서 화상들의 샷의 제 1 화상에 대한)에 메타데이터의 일부를 넣는 것으로 시작할 수 있다. 예로서, 간단한 샷들에 대해, 그것은 화상의 대부분에 적용될 제 1 매핑(Glob_TM1), 및 몇몇, 예로서 훨씬 더 밝은 영역들에 적용될 제 2 전역적 매핑(Glob_TM2)을 여기에서 인코딩하기에 충분할 수 있다. 제 1 매핑은 도 1의 우리의 룸에 적용될 수 있으며(즉, 모든 것은 배경, 층계, 및 매우 어두운 오브젝트이다), 그 후 제 2 매핑이 스테인드 글라스 창을 밝게 하며/부스팅하기 위해 적용될 수 있다. 그리고, 이들 두 개의 오브젝트들 사이에서의 차이는 인코딩된 영역 구별자 그레이 값(gTS_glob)(통상적으로 이 창은 오브젝트의 나머지보다 Y-8b LDR 이미지에서 (훨씬) 더 높은 루마들을 가질 것이며, 그러나 이러한 메타데이터 없이, 이것은 자동으로 결정하기 매우 어려울 수 있다)에 의해 수신 측에서 빨리 발견된다. 그것이 룸에서 카메라를 회전시킨다면, 그것은 예로서 햇빛의 보다 많은 것이 빛나기 때문에 스테인드 글라스 창은 더 밝아지기 시작하는 것일 수 있다. 이것은 샷에서 연속 이미지들에 대한 점차 가변적인 Glob_TM2 및 가능하게는 gTS_glob에 의해 인코딩될 수 있다. 이것은, 그것이 가변 매핑 Glob_TM2를 통해 창 밝기를 부스팅할 수 있기 때문에(즉, 조명 변화들은 픽셀화된 텍스처 컬러 인코딩에서보다는 함수 변환에 있다), 예로서 Y_8b 이미지에서의 스테인드 글라스 창의 인코딩을 연속 이미지들에 걸쳐 동일하게 유지하도록 허용한다(예로서, 스테인드 글라스 상에서의 그림들에서 최대 양의 세부사항을 보유하기 위해 최상의 가능한 코드 할당을 사용하여). 그 후, 다수의 픽셀 데이터 블록들이 예로서 DCT를 통해 인코딩된다. 전역적 인코딩이 전체 이미지에 충분하다면, 모든 픽셀 데이터는 전역적 헤더, 샷의 단부, 심지어 영화 클립까지 따른다. 그러나, 우리는 이 예에서 우리가 특정한 블록(i-1, j-2) 전에 시작하는 이미지에서의 어딘가에서, 우리가 국소적 변환들을 행하기 시작해야 하는 보다 복잡한 시나리오를 갖는다고 가정하였다. 즉, 통상적으로 우리는 여전히 예로서 월페이퍼의 배경 픽셀들을 변환하기 위해, Glob_TM1 등에 이미 인코딩된 것으로서 전역적 변환 지식의 일부를 사용할 수 있지만, 우리는 적어도 하나의 국소적 새로운 오브젝트에 대해 새로운 변환을 행해야 한다. 즉, 변환 전략의 일부는 국소적으로 재정의되며, 예로서 겹쳐 쓰여질 것이다. 이 예에서 국소적 메타데이터(Loc_MET_1)는, 예로서 광과 같이 거기에 훨씬 더 밝은 오브젝트가 있기 때문에, gTS_L_loc_1 이상의 보다 밝은 부분들을 구분하기 위한 새로운 전략을 포함한다. 또한 하나 이상의 어두운 오브젝트(들)(gTS_D_loc_1)을 결정하기 위한 영역 구별자 그레이 값이 공동-인코딩된다. 상기 예에서, 광 오브젝트는 여전히 밝은 영역들을 위한 현재 이용 가능하며 적용 가능한 변환을 갖고 충분히 변환될 수 있지만, 새로운 매핑(Loc_TM_DK)은 어두운 오브젝트들(예로서, 여기에서 처음으로 발생된 층계, 및 우리는 창 및 벽지를 변환하는 방법을 이미 알고 있지만, 그러나 아직 어두운 계단들은 아니다)을 변환하기 위해 인코딩된다. 변환 연결 규칙(LnkRL_1)의 일 예가 또한 공동-인코딩되며, 이것은 규칙이 어두운 오브젝트 영역 구별자 그레이 값(gTS_D_loc_1) 이하의 루마들이 층계(Loc_TM_DK)를 위한 변환과 매핑된다는 것을 서술한다.
이러한 정보는 다시, 우리가 결국 블록(i+2,j) 전이될 때까지, 배경, 또는 계단들을 포함한, 다수의 연속 블록들(또는 일반적으로 일반적인 정의 형태)에 충분하며, 여기에서 우리는 매우 어두운 오브젝트의 세분화를 허용하는 영역 구별자 그레이 값(gTS_D_loc_2) 및 그것의 매핑 전략(Loc_TM_DK_2)을 인코딩해야 한다. DAT_TM은 이미지 코딩으로부터 잘 알려진 바와 같이, 예로서, 스캔 경로를 따라 블록들의 공간(또는 송신에서 시간적) 순서와 같이, 데이터의 순서를 제공한다.
우리는 배치된 예를 단지 설명하였지만, 우리는 또한 메타데이터가 아직 특정한 블록 위치들과 연관 가능한, 픽셀 블록 데이터로부터 물리적으로 분리되는 커버 시스템들에 대해 의도한다. 몇몇 비디오 인코딩 구조들은 상기 예를 완전히 포함할 수 있지만(그것들은 이미 전용된, 또는 포괄적인 마음대로 사용될 메타데이터 메모리 플레이스홀더들을 제자리에 갖기 때문에), 다른 비디오 인코딩 구조들은 몇몇 데이터가 섞여 기록된다면 보다 오래된 시스템들을 혼동함으로써 역 호환성을 잃거나, 또는 모든 것을 저장하기 위해 충분한 메타데이터 메모리를 갖지 않을 수 있다. 그러므로, 다른 동등한 실현들은 신호의 별개의 부분에서 메타데이터(gTS 등) 모두를 인코딩할 수 있으며(예로서, 디스크 상에서의 영화의 처음에, 또는 방송 동안 규칙적인 간격들로 등), 그 후 특정한 블록들 또는 다른 영역들과의 기하학적 연관 코드에 의해 상기 데이터를 연관 가능하게 만든다. 이를 행하기 위한 가장 간단한 방식은 예로서, "gTS1 = 230 / 이미지번호/시간코드 = 2541, Block_loc = (X=20, Y=12)"와 같이 데이터 후, 블록의 번호(및 잠재적으로 또한 이미지 번호, 영화/콘텐트 번호 등)를 기록하기 위해 이를 행하는 것이다. 상기 별개의 메타데이터 부분은 심지어 예로서 상이한 신호에 존재할 수 있으며, 상이한 수단을 통해 공급될 수 있고, 예로서 영화는 플레이어에서 블루-레이 상에 넣어지지만, 영역 구별자 그레이 값(들)과 같이 그것을 "설명하는" 메타데이터는 예로서 인터넷을 통해 네트워킹된 저장 장치(예로서, 개선된 HDR 렌더링을 허용하는 전용 서비스)로부터 검색된다.
도 4는 세분화가 통상적으로 어떻게 보일 것인지를 도시하며, 이 예에서, 우리는 또한 예로서, 스테인드 글라스 창이, 예로서 광의 몇몇을 차단하는 바깥쪽의 부분들로 인해, 예로서 보다 낮은 부분이 덜 밝게 조명된다면, 어떻게 유용한 서브영역들로 세분될 수 있는지를 설명하였다. 상기 경우에, 새로운 세그먼트 유형(SEGM_TYP_2)은 예로서 세그먼트="5"를 발생시킬 것이다. 우리는 이제 최적으로 결정된 영역 구별자 그레이 값들과의 간단한 비교에 의해 세분화 규칙들이 어떻게 블록들과의 그것들과의 관계에 관계없이 정확히 분할될 수 있는 상이한 명도의(통상적으로 HDR 장면에서의 상이한 조명) 오브젝트들을 쉽게 생성할 수 있는지를 이해한다. 그러므로 그것은 블록 기반으로, 현재 사용될 매핑들과 같이, 모든 다른 유용한 데이터를 인코딩할 수 있는 반면, 그 결과들은 여전히, 즉 임의의 할로잉 또는 블록 아티팩트들 등 없이, 여전히 적용된 오브젝트-정확하다.
우리는 gTS 값들에 대해 조금 더 말하고 싶다. 우리는 이미 그것들이 어떤 기술적 루마 인코딩이 사용되든지에 관계없이 정의될 수 있다는 것, 예로서 그것은 감마 2.2 YCrCb 컬러 공간에서 루마 gTS 값들을, 또는 이미지 컬러등의 XYZ 인코딩에서 휘도 Y 구별자 값들을 사용할 수 있음을 언급하였다. gTS 값들이 제 1 또는 제 2 이미지, 예로서 초기 또는 최종 이미지의 기준 컬러 공간에서 정의되는지 여부에 대한 관심 있는 질문이 남아있다. 그것이 HDR 마스터 그레이드를 인코딩하기 위해 매핑된 LDR 표현을 사용한다면, 그것은 상기 LDR 이미지로부터의 휘도 업스케일링 매핑에 의해 상기 HDR 이미지를 복원할 것이다. 따라서 그것은, 원칙적으로 보통의 상황들에서 그것이 HDR 루마 축을 따라 그것들을 또한 특정할 수 있을지라도, HDR 복원 매핑 함수들의 역을 통해, 이들 HDR-기반 gTS 값들이 동등한 LDR-기반 gTS 값들에서 변환될 수 있기 때문에, LDR 이미지 코딩 루마 축을 따라 gTS 값들을 정의하는 것으로 이해할 것이다. 통상적으로, 메타데이터는 비디오 인코딩의 처음에, 어떤 정의가 적용 가능한지를 특정할 것이다. 이제, 몇몇 시나리오들에서 LDR-기반 gTS 값들에 대해 발생할 수 있는 것으로 약간 더 깊게 착수해보자, 원칙적으로, 그것은 마스터 HDR로부터 개별적인 경우(예로서, 계단들의 보다 어두운 부분들의 일부는 또한 매우 어두운 오브젝트에서 발생하는 LDR에서의 루마들을 획득할 수 있다) 원래 HDR 이미지에 있는 영역들의 루마 히스토그램들을 (약간) 중첩시키는 제 2, LDR 이미지로의 매핑을 가질 수 있다. 우리는 그 후 중첩 히스토그램 테일들의 중간에 또는 보다 양호한 루마 위치에서 gTS 구별자를 특정할 수 있다. 원칙적으로 업스케일링할 때 이슈들이 있을 수 있지만, 특히 그것들이 중첩 주위에서 비교적 부드러운 동작을 갖는다면(즉, 픽셀간 콘트라스트를 부스팅하지 않는다면), 이것은 여러 개의 매핑 전략들에 대한 이슈가 아닐 필요가 있다. 그러나, 우리는 이하에서 보통 LDR 및 HDR 이미지 양쪽 모두에서 별개의 히스토그램들을 가져야 하는 시스템들로 그것들 자체를 제한할 것이다. 다양한 장치 실시예들은 예로서, 그레이더가 선택할 수 있는 HDR-대-LDR 매핑의 선택을 제한함으로써, 이러한 제약을 고려하기 위해 제한될 수 있다. 이것은 비-압축된(그에 의해 우리는 DCT와 같이 심리 시각적 공간 압축형 주파수 기술들을 의미하지만, 루마 서브범위의 압축을 의미하지는 않는다) 인코딩들에 대해 용이할 것이다. 압축된 인코딩들에 대해, 우리는 예로서 불완전한 DCT 인코딩으로부터 예로서, 체스판 구조들과 같은 이슈들을 갖고 약간 더 신중해야 한다. 이러한 요구가 항상 실제로 문제일 필요는 없지만, 때때로 아티팩트는 시각적으로 보다 심각해질 수 있으며, 예로서 보다 많은 잡음 영역으로서 보인다. 특히 이것은 원래 비압축된 LDR에서, 계단들 및 배경 히스토그램들이 별개이지만(아마도 터칭, 또는 그 사이에 몇몇 사용되지 않은 코드들을 갖고), DCT 기반 분해 후, 복원된 신호들이 더 어두운 계단들을 위해 할당된 서브범위에 들어가는 더 밝은 주변으로부터 몇몇 더 어두운 체스판 스팟들을 갖는다면 발생할 수 있다. 그것이 또한 계단들 및 배경 사이에서 상기 gTS 값을 따라 심하게 스트레칭하는 톤 매핑 곡선을 갖는다면(예로서, 두 개의 톤 매핑 부분들 사이에서 큰 오프셋을 가진 비연속 함수), 그것은 이들 스팟들이 적어도 계단들에 가까운 배경에서 상당히 더 어두워진다는 것일 수 있다. 다양한 장치(또는 방법) 실시예들이 여러 개의 방식들로 그러한 것을 다룰 수 있으며, 특히 사용자 인터페이스는 이러한 인코딩 동작과 상호작용하며 이를 특정하기 위해 그레이더 상이한 방식들을 제공할 수 있다. 먼저, 그는 톤 매핑 곡선을 덜 가파르게 만들 수 있으며, 장치는, 그가 너무 심각한 것으로서 아티팩트를 판단하는 영역들에 대해서만 매핑들을 재지정하게 하기 위해 그레이더를 제공함으로써, 처음에 단지 덜 가파른 매핑의 선택을 그에게 제공할 수 있거나, 또는 반복적으로(적어도 하나의 반복) 이것들에 대해 정정할 수 있다. 또한, 매핑은 몇몇 여분의 코드들이 있도록 할 수 있다. 특히, 그것은 두 개의 gTS 값들을 갖고 이러한 동작을 쉽게 정의할 수 있다. 도 7은 개략적으로 이러한 시나리오를 예시한다. 이러한 그래프에서, Luma_in은 HDR 이미지의 루마들일 것이며, luma_out은 그것의 대응하는 LDR 인코딩의 루마일 것이고, 이것은 우리가 레거시 MPEG 인코더를 통해 전송할 것이다. 예로서, HDR 이미지에서, 밝은 영역들은 luma_in 축을 따라 그것들의 간격으로부터 도시하는, 어두운 영역들로부터 떨어져 분리된 루마들/휘도들이다. 이론적으로, 우리는 그것들을 Luma_out(LDR) 축을 따라 터치하게 하는 매핑을 설계할 수 있지만, 이제 우리는 그것들 사이에서 빈 코드들의 몇몇 범위(ProtRng)를 두는 매핑을 설계한다 이들 코드들은 LDR 인코딩에 존재하지 않아야 하지만, DCT 분해 후, 체스판들의 더 어두운 부분들의 몇몇은 이러한 ProtRng에 들어갈 수 있다. 디코더는 그러나 HDR 이미지를 복원하기 위해 휘도 업스케일링을 하기 전에, 예로서 밝은 영역의 최저 Luma_out 값으로 그것들을 클리핑함으로써, 이를 인식하고 신호로부터 그것들을 제거할 수 있다. 이러한 원칙을 갖고, 우리는 DCT 분해 후 몇몇 코드들이 LDR 이미지의 어두운 범위에 들어갈 수 있는 그러한 정도로, 상기 보호적 범위(ProtRng)를 감소시킬 수 있으며, 이들 픽셀들에 대한 정확한 매핑, 즉 밝은 매핑(MpBrght) 대신에 어두운 매핑(MapDrk)의 역에 의해 매핑될 수 있다(잠재적으로 HDR 이미지에서의 밝은 영역으로부터 멀리 떨어져). 그러나 이러한 DCT 아티팩트들은 보통 체스 판에서의 가장 어두운 스팟들로 두 개의 중간 값들을 검토하는 구조를 가진다. 따라서 이들 픽셀들이 사실상 단지 안전한 표면상에 있을 어두운 오브젝트로부터의 픽셀들일지라도(약간 부정확한 HDR 효과, 그러나 또한 어떤 강한 잠재적인 아티팩트는 없다), 디코더는 예로서 잠재적인 문제가 있을 수 있는 블록 검출에서 이들 몇몇 부정확한 값들로부터 예로서 검출할 수 있으며, DCT 분해 후, 그러나 LDR 이미지의 밝은 범위에서의 값들로 이러한 값들을 휘도 업스케일링하기 전에 변경할 수 있다. 인코더는 이것이 블록에 대해 발생해야 하는지 여부, 또는 그것이 내버려둬야 하는지 및 단지 업스케일링되어야 하는지 여부를 표시하기 위해 이러한 "범위에 대한 클립(clip-to-range)"(0 또는 1)에 대한 예약 코드를 사용할 수 있으며, 그레이더는 예로서 그의 마우스를 갖고 그것들로 클릭하거나 또는 문제 있는 블록들의 연결된 세트를 통해 스크리블링함으로써, 문제 있는 블록들을 표시할 수 있다. 디코더가 차이를 알 수 없을지라도, 인코더는 원래 신호를 가질 수 있으며 모든 정보는 이러한 문제가 발생할 수 있는지 여부를 결정하고, 따라서 예로서 밝은 포화 적색과 같이 도시된 부정확한 픽셀들, 대 HDR 이미지의 (부정확한) 재구성 후 그것들의 실제 컬러 사이에서 토글링할 수 있는 의사컬러 모드가 있을 수 있다. 여러 개의 다른 (상호 작용적) 옵션들이 또한 이용 가능하며, 예로서 인코더는 그레이더에 의해 문제가 있는 것으로 선택된 블록들에 대한 보다 많은 DCT 코드 워드들, 또는 반대로 보다 적은 DCT 블록들을 사용할 수 있으며, 따라서 여전히 보다 낮은 주파수 에러가 있지만, 급속 체스 패턴들은 이러한 것이 보다 양호한 최종 보기를 제공하는 경우에 제거된다. 또는, 예로서 원래 데이터 또는 DCT 계수들에 대한 작은 변화가 이루어질 수 있으며, 예로서 대향패턴이 그것이 DCT 인코딩되기 전에 LDR 블록에 적용될 수 있으며, 따라서 최저 체스판 값들은 어두운 LDR 범위로 더 이상 들어가지 않는 등이다.
도 5는 그레이더(520)에 의해 제어된, 콘텐트 생성 측에서 가능한 그레이딩 장치(510)의 일 예를 도시한다(숙련자는 본 발명의 동일한 실시예 실현들이 어떻게 예로서 수학적 비색법-기반 자동 트랜스코딩 장치, 또는 임의의 다른 구현에 적용할 것인지를 이해할 것이다).
이미지가 예로서 특수 효과들이 부가될 수 있는, 셀룰로이드 막 또는 전자 디지털 카메라 시스템에 의해 이전에 캡처될 수 있으며, 비디오의 경우에 최종 시간적 구성 시퀀스에서의 이미지일 수 있는, 높은 동적 범위 장면의 이미지를 인코딩하기 위한 이미지 인코더(549)가 그레이딩 장치(510) 내에 있다. 이미지 인코더(우리는 이제 간소화를 위해 IC와 같이 유닛인 것으로 가정하며, 그러나 그것은 소프트웨어 제품군일 수 있고, 여기에서 몇몇 구성요소들은 심지어 원격 서버 등 상에서 구동할 수 있다)는 통상적으로 다양한 서브구성요소들(통상적으로 소프트웨어의 제어 하에서, 그레이더가 파라미터들을 선택하도록 허용하는)을 포함할 수 있으며, 통상적으로 예를 들면, 예로서 8 비트 또는 10 비트 또는 12 비트 코드 워드들과 같이 N-비트 코드 워드들의 루마들, 및 Y_Cr 및 Y_Cb와 같이 색차 인코딩들을 갖고, 특정한 미리 정의된 이미지 표현(Im_l)에 따라 이미지의 픽셀들의 컬러들을 인코딩하기 위해 배열되는, 픽셀 텍스처 인코딩 유닛(552)의 몇몇 변형을 포함할 것이다. 범위가 VC1, VP8, 및 유사한 MPEG-형 인코딩들을 통해, 훨씬 덜 인기있는 프랙탈 인코더들까지 이르는, 여러 개의 인코딩 변형들이 이미 존재하기 때문에, 우리는 추가로 상기 양상을 설명할 필요가 없을 것이다.
그러나 또한 보다 간단한 또는 보다 복잡한 이미지 분석을 적용할 수 있는 이미지 분석 유닛(550)이 포함된다. 상기 예에 도시된 바와 같이 이러한 전문적 그레이딩 장치들에서, 통상적으로 많은 소프트웨어 내장 알고리즘들이 이용 가능하여, 그것의 속성들 및 구성을 연구하고 싶어할 때, 및 그것을 임의로 변경하고 싶어할 때 양쪽 모두, 이미지를 통해 거의 전체 제어를 그레이더에게 제공한다. 그는 예로서, 특정한 컬러를 샘플링하거나(및 그 후 예로서 샘플링된 컬러 주변에서의 적절한 비색 경계들을 선택함으로써 통상적인 "오브젝트 컬러"을 상기 샘플링된 픽셀 컬러로부터 정의할 수 있다), 또는 신호 파형들, 또는 히스토그램들, 또는 영역들의 다른 표현들(예로서, 시스템은 예로서, 의사컬러들에 의해 영역의 최상부 상에 루마의 서브범위들을 매핑시킬 수 있다)을 보기 위해 피펫을 사용할 수 있다. 그는 예로서 하나 이상의 기준 디스플레이들(530) 상에서 그것의 텍스처를 보다 명확하게 시각적으로 검사하기 위해, 특정한 영역을 (일시적으로) 밝게 할 수 있다. 그는 통상적으로 영역을 선명하게 하는 것, 조명 효과를 적용하는 것, 또는 또 다른 효과와 같이, 다수의 이미지 프로세싱들을 적용할 수 있다. 그는 래소 등을 갖고 그 주위의 경계를 그림으로써 오브젝트를 구분할 수 있다.
이제 통상적으로 이미지 분석 유닛은 적어도 오브젝트를 영역 구별자 그레이 값(gTS)으로 변환할 것이거나, 또는 다시 말해서 적어도 하나의 결정된 관련 gTS를 오브젝트와 연관시킬 것이다. 그것은 예로서, 선택된 오브젝트 영역의 히스토그램을 결정하며 그것이 포함하는 최소 루마 값이 주변 영역의 것, 예로서 전체 이미지보다 더 높다고 결정할 수 있다. 상호 작용적 핸들링이 수반될 수 있으며, 예로서 그레이더는 먼저 영역을 밝게 할 수 있고, 따라서 이제 그것의 새로운 최소 값은 이미지의 나머지, 또는 오브젝트에 기하학적으로 관련된 그것의 관련 있는 부분(예로서, 오브젝트를 접하는)에서의 최고 값보다 더 높다.
이러한 영역 구별자 그레이 값(gTS)은 출력 이미지 신호(S(Im_l, MET(gTS))에서, 이미지 표현(Im_l) 및 영역 구별자 그레이 값(gTS)을 공동-인코딩할 수 있는(다시 레거시 또는 신규의, 몇몇 이미지 인코딩 표준의 규칙들을 따르는) 포맷터(554)로 출력될 것이며, 후자는 통상적으로 사전-동의된 텍스처 메타데이터 형태이다. 예로서, 상기 이미지 신호는 블루-레이 디스크(511) 상에서 구워질 수 있거나, 또는 네트워크 서버의 디스크 또는 고체 상태 메모리와 같은 몇몇 다른 메모리로 저장될 수 있거나, 또는 신호 송신 연결 등의 이미지 신호를 실시간으로 송신할 수 있다. 우리가 현재 물리적 구성에서 이러한 기능을 설명하였지만, 다른 실현들이 가능하다는 것이 숙련자에게 명백해야 한다.
통상적으로 그레이딩 장치상에서 그레이딩할 때, 그레이더는 오브젝트들의 적어도 몇몇(그 후 물론 변환, 아마도 아이덴티티 변환을 갖는 다른 오브젝트들, 그러나 상기 변환은 예로서, 렌더링 디스플레이 등에 의해 사전 정의되거나 또는 선택된 것과 같이 디폴트일 수 있다)에 대한 루마 매핑(TOM)을 결정하기 위해 그것의 루마 매핑 결정 유닛(553)을 동시에 사용할 것이다. 그는 제 1 이미지 표현(예로서, 입력 Y(16b HDR 이미지)에서 인코딩된 바와 같은 픽셀 루마들 및 제 2 이미지 표현(예로서, LDR 이미지 Im_l)에서의 픽셀들의 루마들 사이에서의 매핑, 또는 반대로 정의할 것이다. 루마 매핑 결정 유닛(553)은 자체적으로 예로서, HDR 이미지의 다양한 영역의 시각적 속성들을 봄으로써, 예로서, 이를 초기 제안으로서 그레이더에 제안하는 매핑 함수, 및 그것들이 어떻게 여전히 LDR 코딩에서 적정하게 표현될 수 있는지를 수학적으로 결정할 수 있다. 이것은 예로서 전역적 히스토그램의 특정한 서브로브들을 분리함으로써 결정된 무릎들 및 어깨들의 곡선들, 또는 얼굴 검출, 또는 그것에 대한 임의의 변형과 같은 이미지 이해를 갖고, 예로서, S자형 또는 다중세그먼트 매핑을 적용하는 것을 야기할 수 있다. 그레이더는 그 후 예로서 S자형의 어깨를 시프트하거나 또는 구부림으로써, 이러한 함수를 미세조정할 수 있다. 우리의 방법에서, 그는 gTS 값들과 관련 있는 이것을 행할 수 있다. 예로서, 그레이딩 장치는 이미 예로서 멀티세그먼트 매핑 곡선의 일부에 대한 제어 포인트일 수 있는 중요한 그레이 값(예로서, 999)을 정의할 수 있지만, 그레이더는 그 후 이러한 포인트를 개선할 수 있으며, 예를 들면 예로서, 계단들과 같은 오브젝트의 보다 관련 있는 부분이 부분 루마(/톤) 매핑에 의해 이제 변환되도록 그것을 시프트할 수 있다. 우리는 도 8의 예를 추가로 갖는 몇몇 양상들을 예시한다. 이미 언급된 바와 같이, 우리는 단순한 인코딩 방법에서 우리의 방법을 사용할 수 있으며, 예로서 여기에서 HDR 이미지는 인코딩된, 레거시 사용 가능한 LDR 이미지(LDR 컨테이너)를 통해 인코딩되어야 한다. 상기 상황에서, 통상적으로, 두 개의 이미지들 사이에서의 매핑을 위해 몇몇 고정된 함수들만이 있을 것이다. 도 8을 갖고, 우리는 그러나 우리의 시스템이 어떻게 gTS 값들을 갖고 디스플레이 조정 가능성의 추가 시나리오에서 사용될 수 있는지를 설명하며, 여기에서 추가 그레이드들은 이러한 정보가 모두 이미 그레이딩되었는지(즉, 그레이더가 적어도 이러한 변환들이 어떻게 HDR, 작은 동적 범위를 가진 subLDR과 같이 두 개의 매우 상이한 기준 디스플레이들 상에서 보일 것인지를 검사한다) 및 통상적으로 하나 이상의 텍스처 이미지들(Im_l) 상에서 적용될 다양한 함수들로서 이미지 신호에 인코딩되는지에 관계없이, 또는 단지 양호하게 보이는 HDR 그레이드 및 아마도 양호한 LDR 그레이드에 대해 인코딩된 데이터만이 있는지 여부에 관계없이, 상이한 디스플레이들에 대해 결정되며, 렌더링 측에서 디스플레이 시스템(예로서, 디스플레이 또는 컴퓨터)은 상기 데이터 및 우리의 gTS 값들에 기초하여 예로서 중간 동적 범위 디스플레이 MDR에 대한 적어도 하나의 추가 그레이드를 결정한다. 이 그래프에서, 우리는 절대적인 최종 휘도 표현을 사용한다. 휘도_인(luminance_in)은 그것이 예로서 몇몇 기준 디스플레이 상에서 보일 것으로 정의된 바와 같은 입력 신호일 수 있으며, 휘도_아웃(luminance_out)은 상이한 밝기 능력들을 가진 다양한 실제 디스플레이들 상에서의 출력 렌더링된 휘도들일 수 있다. 우리는 보다 낮은 휘도 오브젝트들이 대체로 정확하게 인코딩되고 그에 따라 렌더링되며, 따라서 양쪽 디스플레이들(Dis1, Dis2) 모두는 아이덴티티 변환, 또는 몇몇 콘트라스트 스트레칭일 수 있는 동일한 톤 매핑(TM_FDrk)을 사용할 것이라고 가정한다. 이제 상기 gTSh1은 이미지에서 밝은 영역들을 시작하며, 두 개의 밝은 영역들이 있다(예로서, gTSh2까지 햇빛을 설정함으로써 조명된, 및 gTSh2 이상의 강한 풋볼 스타디온 조명에 의해 조명된). 디스플레이(1)는 매우 높은 피크 밝기를 가질 수 있으며, 따라서 우리는 다양한 시각적 조명 클래스들에 그것의 밝은 서브범위들을 할당하기 위한 많은 룸을 가진다. 제 1 밝은 프로세싱 톤 매핑(TM_TBri1_Dis1)은 밝은 디스플레이가 원래 데이터를 상당히 스트레칭하기 위한 것일 수 있으며, 그러므로 상기 영역은 멋지게 밝으며 명암이 심하게 보인다. 제 2 밝은 프로세싱 톤 매핑(TM_TBri2_Dis1)은 심지어 매우 높은 렌더링된 휘도들에 대한 상기 영역을 오프셋할 수 있으며, 따라서 시각적으로 상기 영역은 햇빛-조명된 부분들과 매우 상이하고, 예로서 스타디온 조명은 실제로 매우 눈에 거슬리게 보인다. 이러한 구별은 gTS 값들을 갖고 쉽게 행해질 수 있다(예로서, 이러한 선형적 매핑의 예에서, 그것들은 심지어 매핑 함수를 파라미터화할 수 있다). 보다 적은 피크 밝기를 가진 디스플레이에 대해, 예로서 최종 매핑을 결정하는 컴퓨터는 gTS 값들에 의해 결정된 다양한 영역들에 대해 다른 것을 할 수 있다. 예로서, 그것은 덜 명암이 심한 매핑 함수(TM_Bril_Dis2)를 갖고 보다 낮은 밝기들을 프로세싱할 수 있으며, 따라서 스타디온-광-비춰진 영역들에 대해 몇몇 룸이 여전히 남아 있고, 이것은 그러나 함수(TM-Bri2_Dis2)를 갖고 소프트-클리핑될 필요가 있다.
이러한 루마 매핑(TOM)은 최종적으로 동의된 이미지 신호 정의 규격들에 따라, 포맷터(554)에 의해 출력 이미지 신호(S(Im_l, MET(gTS), TOM)로 공동-인코딩된다. 다시, 이러한 매핑은 원칙적으로, 그것이 명확하게 특정되며 수신 측과 합의되는 한, 제 1 기준 디스플레이(특히 출력 휘도 동적 범위가 무엇이든지와 함께)가 무엇이든지에 대한 제 1 이미지가 무엇이든지를 결정하는 제 1 컬러 인코딩 규격이면 무엇이든지 사용하는 것으로부터 유사하게 제 2 이미지 인코딩 무엇이든지(특히 보다 높거나 또는 보다 낮은 피크 밝기, 보다 작은 또는 보다 큰 동적 범위 등을 갖고)에 매핑할 수 있다.
통상적으로 실시예 개념들에 따라, 현명하게 선택된 영역 구별자 그레이 값(들)(gTS)을 공동-인코딩하도록 배열되는 이미지 인코더(549)는, 특히 사용되지 않는 코드들(또는 렌더링된 휘도들에 기초한 유사한 정의)에 의해 분리될 때, 높은 밝기의 영역들, 즉 예로서 특정한 백분위수 아래의 루마 히스토그램, 및 최고 값들의 퍼센티지의 부분으로부터 평균 밝기의 영역들을 구분하기에 유용하다. 이들 HDR 장면들이 통상적으로 유사한 장면 오브젝트 휘도들을 갖지 않기 때문에, 이것은 그러므로 어떤 포맷/컬러 공간이든지 이미지가 최종적으로 적어도 하나의 버전(예로서, Y_8b 또는 Y_10b, 또는 Y_16b, 및 의도된 백색 휘도, 흑색, 감마 곡선 등과 같은 추가 정의들)에서 인코딩될 HDR 장면 인코딩에 매우 유용하지만, 그러므로 LDR 제조에서처럼, 조명 설계자들에 의해 사용된 균일한 조명을 고려하여 카메라 캡처링 이미지 루마들 후, 오히려 그것들은 매우 상이한 조명 영역들을 가진다. 그리고 gTS 값들은 적절하게 이것들을 특성화할 수 있다.
따라서 기본적으로 그레이더는 단지 상기 오브젝트 등의 상이한 부분들(통상적인 루마 서브범위들)에 대한 최적의 매핑 곡선들을 정의하는, 오브젝트 선택과 같이 이미지(들)에 대한 그의 전통적인 동작들을 적용하며, 인코더(549)는 영역 구별자 그레이 값들(gTS)과 같이, 본 발명의 실시예들의 파라미터들로 그것을 변환한다.
우리는 궁극적인 기준 그레이딩인 것과 같이, 영화 또는 쇼를 제작할 때 생성되는, 몇몇 영화 또는 텔레비전 쇼의 마스터 HDR 그레이딩(IM_MSTR_HDR)과 같이, 비디오 파일들을 포함하는, 예로서, 연결(581)을 통해 비디오 서버(580)에 대한 액세스를 가진 홈 엔터테인먼트 콘텐트 제작 시스템을 갖고 도 5에서 본 발명을 설명하였다. 이것은 그 후 예로서, 8 비트 MPEG-AVC 이미지(Im_l)로서 인코딩되는 홈 버전 릴리즈에 대한 홈 시네마 그레이딩, 및 본 실시예들 중 임의의 것에 따른 메타데이터로 변환될 것이다. 물론 인코더는 또한 예로서, (예로서, 무선) 이미지/비디오 연결(505)을 통해 카메라(501)로부터 원 카메라 신호로부터 직접 하나 이상의 마스터 그레이드들을 결정하기 위한, 또는 재마스터링을 위한, 또 다른 시스템, 장치, 또는 사용 시나리오로 통합될 수 있다.
도 6은 수신 측 시스템, 즉 홈 소비자 이미지 또는 비디오 렌더링 시스템의 하나의 가능한 실시예를 도시한다. 텔레비전(602)은 예로서, 방송 전파를 통해 제 1 비디오(또는 이미지) 신호(SB(Im_l, MET))를 직접 수신할 수 있다. 이러한 예시적인 비디오 이송은 이미 상기에 설명되었으며, 높은 밝기 및 HDR 정밀도(즉, 또한 이미지의 보기를 결정하는 여러 개의 오브젝트들의 출력 휘도 축 상에서의 정확한 할당에 대하여)를 갖고 영화적으로 렌더링되어야 하거나, 또는 감소된 밝기(및 전력)를 갖고 (근 LDR) 구동되어야 하는 이미지들의 실행들(통상적으로 하나의 콘텐트에서 또 다른 것으로 가는, 또는 뉴스 프로그램에서의 리포팅과 같은 프로그램의 부분들) 사이에서 영역 구별자 그레이 값들을 사용한다. 인터넷(I_net)으로의 하나 이상의 연결들을 통해 그것의 비디오을 얻을 수 있는, 비디오 프로세싱 장치(601)(예로서, 셋탑박스 또는 PC와 같이)가 또한 있을 수 있다. 예로서, 유투브 서버 또는 유사한 것이 HDR 신호를 공급할 수 있으며, 이것은 바람직하게는 양쪽 모두 간단히 인코딩되며, 다양한 상이한 가능한 렌더링 디스플레이들(소위 "디스플레이 조정 가능성" 기준)에 대한 다용도 방식으로 사용 가능하다. 예로서, HDR 신호의 Y_8b 인코딩(Im_l)을 제외하고, 그것은 예로서 HDR 이미지 버전을 획득하기 위해, 상기 실시예 메타데이터, 및 예로서 또한 이러한 이미지(Im_l)가 어떻게 프로세싱될 수 있는지를 특정하는 프로세싱 표시자(PROC_IND) 중 하나 이상을 포함할 것이다. 예로서, 그것은 수신 측이 예로서 "수신기가_최적의_매핑을_결정한다"와 같은 표시자를 갖고, 여러 개의 컬러/루마 변환 전략들을 사용할 수 있다고 특정할 수 있다. 상기 경우에 셋탑박스 또는 tv와 같은 수신 장치가 예로서, 시청자가 그의 시청실에서 스위칭 온된 조명들을 갖는다면 제 1 매핑을, 및 조명들이 스위칭된다면 제 2 매핑을 적용하기 위해 스스로 결정할 수 있다. 사실상, 허용된 프로세싱은 허용 오차들 또는 퍼센티지 변화들에 의하여 특정될 수 있으며, 예로서 렌더링 측 장치는 1.2까지 감마 함수를 적용하도록 허용될 수 있지만, 예로서 디스플레이가 기준 디스플레이의 것의 범위 내에서 피크 밝기를 갖는다면 등급보다 더 강하지 않다(예로서, 등급은 700 니트 기준 디스플레이에 대해 결정될 수 있으며, 실제 디스플레이가 그것의 50%의 범위 내에, 즉 350 및 1050 니트 사이에서의 피크 밝기를 갖는다면 약간 수정 가능하도록 허용된다). 프로세싱 표시자는 또한 단지 하나 또는 두 개의 구체적으로 결정된 변환들 중 하나가 사용될 수 있음을 특정할 수 있다. 표시자는 복잡할 수 있는, 가변적인 정의를 가질 수 있으며, 예로서 그것은 콘텐트 생성자(선택된 서브세트들의 이미지들을 가진 수동 교정) 등에 의해 요구된 대로, 영화의 최적의 보기를 갖기 위해 선택들을 통해 시청자를 안내하는(어둠들을 개선하기 위해 두 개의 방식들과 같이, 몇몇 생성자-승인 최적화 옵션들을 그에게 제공하여, 그것들이 보다 다채롭지만 이미지의 무드를 다소 약화시키게 한다), 사용자 인터페이스 제어를 위한 상세한 가이드라인들을 포함할 수 있다. 보통, 시청자가 궁극적인 제어를 갖기 때문에, 폴백 시나리오들이 있을 것이며, 따라서 이들 가이드라인들은 무시되거나 또는 기각될 수 있고, 그러나 본 실시예들은 예로서 그의 콘텐트가 어떻게 최종 렌더링 환경(홈, 영화관, 옥외, 예로서 축구 스타디움에서의 전문 디스플레이 등인지 여부에 관계없이)에서 렌더링되는지에 대해 콘텐트 생성자에 의해 보다 가깝게 말하는 것과 같이, 높은 정도의 다용성을 허용한다.
이미지 디코더(605)는 통상적으로 다음의 유닛들 중 여러 개를 포함할 수 있다. 픽셀 텍스처 디코딩 유닛(608)은 그것이 많은 표준들에 따라 인코딩될 수 있는, 인입 이미지 신호들을 디코딩하기 위해 필요한 임의의 계산을 수행할 수 있도록 배열될 필요가 있으며, 따라서 예로서 새로운 웨이블릿 인코더가 릴리즈된다면 업그레이드될 수 있는 소프트웨어가 구동될 수 있다. 물론, 신호 언패킹 및 아마도 변조 등이 있을 것이지만(통상적으로 또한 영역 구별자 그레이 값(들)과 같은 메타데이터를 추출하고, 및 잠재적으로 디코딩하는 것과 함께, 디포맷터(607)에 의해 행해질), MPEG-시각적 표준들 및 기타에서의 모든 구성요소들과 같이, 픽셀 텍스처 디코딩 유닛(608)은 예로서, 산술 디코딩, 역 DCT 디코딩 등으로서 이러한 것들을 행할 수 있을 것이다. 이미지 세분화 유닛(606)은 말한 대로 gTS 값들로부터의 임계치에 의해 쉽게 행해질 수 있는 세분화를 행할 것이지만, 보다 복잡한 세분화 전략들이 또한 지원될 수 있다. 그 후 픽셀 컬러 변환 유닛(609)은 예로서 입력 값(Luma_in)으로서 상기 특정한 Im_l 픽셀의 픽셀 루마 값에 속하는 함수(PD_BLCK(i+2,j))의 출력 값을 기록하는 것만큼 간단할 수 있는, 적어도 픽셀 루마들의 매핑을 수행할 것이다. 이러한 출력 값은 상기 픽셀 위치에서 HDR 출력 이미지(IM_RC_HDR)에 기록될 것이다. 상기 이미지는 연결(688)을 통해 TV로 전송된 것일 수 있다(예로서, 또한 컬러 변환들을 행할 수 있는 TV에서 또는 일반적인 디스플레이에서 이미지 프로세싱 유닛(620)에 의한 직접 구동 또는 추가 프로세싱을 위한).
수반된 중간 이미지(IM_INTRM)가 있을 수 있으며, 이것이 임의의 기준 표현일 수 있을지라도, 우리는 현재 간단한 설명을 위해 그것이 8 비트 루마 이미지(또한 2 컬러 채널 표현들을 위한 8 비트 워드들을 갖고)라고 가정한다. 입력 이미지 표현(Im_l)이 (예로서, DCT) 압축되지 않는다면, 이것은 Im_l의 간단한 사본일 수 있으며 그 외 그것은 통상적으로 분해로부터의 결과적인 이미지이다.
시스템은 또한 안테나(699)와 같은 네트워킹 통신 연결 수단을 통해 휴대용 디스플레이(630)(예로서, 시청자가 그의 침실에서의 그의 침대에서 계속해서 TV를 보기 위해 사용하는 IPAD)로의 홈 네트워킹 비디오 분배를 도시한다. 이것은, 장치(601)가 그 후 예로서, LDR(우리는 대략 750 니트 피크 밝기 이상으로 단부들을 정의할 수 있다) 및 2500 니트 이상에서 시작하는 고 품질 HDR 사이에 단지 중간 동적 범위를 가질 수 있는, 이러한 디바이스를 위해 또 다른 이미지 신호(IM_RC_MDR)를 최적으로 전제 조건으로 할 수 있기 때문에, 실시예들의 다용성을 잘 예시한다. MDR 이미지는 그 후 픽셀 텍스처들에 대한 동일한 Im_l 및 동일한 영역 구별자 그레이 값(들)을 사용함으로써 IM_RC_MDR에서 인코딩될 수 있지만, 디스플레이의 상이한 범위에 대한 매핑을 위한 변경된 매핑 함수들은 출력 휘도들을 렌더링한다.
본 실시예들은 또한, 시청자가 예로서 그의 매핑 함수들을 파라미터적으로 조정할 수 있기 때문에, 렌더링 측에서 개선된 사용자-인터페이스 상호 작용을 허용한다. 예로서, 매우 어두운 오브젝트를 밝게 하는 것은 함수(PD_BLCK(i+2,j))의 기울기를 제어하는 것만큼 간단할 수 있다. 스마트 알고리즘들은 단일 버튼의 터치에서(예로서, 스마트 밝기 기능을 가능하게 하는) 심미적 동조에서의 이미지(들)에서의 모든 오브젝트들에 조정된 루마 수정들을 적용할 수 있지만, 보다 복잡한 사용자 인터페이스를 제공함으로써 다양한 오브젝트들의 제어를 가능하게 하는 것이 또한 가능하다. 예로서, tv를 볼 때, 영역 구별자 그레이 값 방법들을 갖고 이미 사전 선택된 다양한 중요한 오브젝트들을 갖고, 사용자는 원격 제어로서 그의 휴대용 디스플레이(630)를 사용할 수 있으며, 상기 원격 제어의 디스플레이 상에서 tv의 이미지의 사본을 가질 수 있다. 시청자는 그 후 두 개의 변화들을 갖고(예로서, 오브젝트들의 최상부에 팝업하는 몇몇 슬라이더들) 하나 또는 두 개의 이미지들 상에서(예로서, 영화의 시작시, 몇몇 중요한 특징적인 장면들, 또는 정지 명령어 하에서, 상기 플레이될 장면에 대한 현재 이미지) 그의 우선 렌더링을 빨리 표시할 수 있다. 해제 버튼은 상황 등을 회복시킬 수 있다. 인공 지능은 심지어 상이한 날들에서와 같이 매우 상이한 플레잉 시간들에서 관련되지 않은 프로그램들에 대한 상세들을 저장함으로써, 그의 동작들로부터 시청자들 선호들을 추론하기 위해 사용될 수 있다. 시스템은 그러므로 시청자가 그의 흑색들을 피치 블랙으로, 또는 반대로 밝게 하는 것을 좋아한다고 추론할 수 있으며, 그 후 다른 이미지들에 이러한 지식을 적용한다.
이 텍스트에 개시된 알고리즘적 구성요소들은 (전체적으로 또는 부분적으로) 특수 디지털 신호 프로세서, 또는 일반 프로세스 등 상에서 구동하는 하드웨어(예로서, 애플리케이션 특정 IC의 부분들) 또는 소프트웨어로서 실제로 구현될 수 있다. 그것들은 적어도 몇몇 사용자 입력이 존재할 수 있거나 존재한다는(예로서, 공장에서, 또는 소비자 입력, 또는 다른 인간 입력) 의미에서 반-자동일 수 있다.
구성요소들이 선택적인 개선들일 수 있으며 다른 구성요소들과 조합하여 실현될 수 있으며, 방법들의 (선택적) 단계들이 어떻게 장치들의 각각의 수단에 대응하는지, 및 그 반대가 우리의 프리젠테이션으로부터 숙련자에게 이해 가능할 것이다. 몇몇 구성요소들이 특정한 관계에서(예로서, 특정한 구성에서 단일 도면에) 본 발명에 개시된다는 사실은 다른 구성들이 여기에 특허를 받기 위해 개시된 것과 동일한 본 발명의 생각 하에서 실시예들로서 가능하지 않다는 것을 의미하지는 않는다. 또한, 실용적인 이유들로, 단지 예들의 제한된 스펙트럼이 설명되었다는 사실은 다른 변형들이 청구항들의 범위 하에 속할 수 없음을 의미하지 않는다. 사실상, 본 발명의 구성요소들은 임의의 사용 체인을 따라 상이한 변형들에서 구체화될 수 있으며, 예로서 인코더와 같은 생성 측의 모든 변형들은 분해된 시스템의 소비 측, 예로서 디코더에서의 대응하는 장치들과 유사하거나 또는 그에 대응할 수 있으며, 그 역 또한 마찬가지이다. 실시예들의 여러 개의 구성요소들은, 인코더 및 디코더 사이에서의 임의의 송신 기술에서, 송신을 위한 신호에서 특정 신호 데이터, 또는 좌표와 같은 추가 사용으로서 인코딩될 수 있다. 본 출원에서 단어("장치")는 그것의 가장 넓은 의미, 즉 특정한 목적의 실현을 허용하는 수단의 그룹으로 사용되며, 그러므로 예로서 IC(의 작은 부분), 또는 전용 기기(디스플레이를 가진 기기와 같은), 또는 네트워킹된 시스템의 일부 등일 수 있다. "배열" 또는 "시스템"은 또한 가장 광범위한 의미로 사용되도록 의도되며, 따라서 그것은 그 중에서도 단일 물리적, 구매 가능한 장치, 장치의 일 부분, 협력 장치들(의 부분들)의 모음 등을 포함할 수 있다.
컴퓨터 프로그램 제품 지시는 본 발명의 특징적인 기능들 중 임의의 것을 실행하기 위해, 일반 또는 특수 목적 프로세서가, 일련의 로딩 단계들 후(중간 언어, 및 최종 프로세서 언어로의 변환과 같은, 중간 변환 단계들을 포함할 수 있는) 프로세서로 명령어들을 입력할 수 있게 하는 명령어들의 모음의 임의의 물리적 실현을 포함하는 것으로 이해되어야 한다. 특히, 컴퓨터 프로그램 제품은 예로서 디스크 또는 테이프와 같은 캐리어 상에서의 데이터, 메모리에 존재하는 데이터, 네트워크 연결 - 유선 또는 무선 -을 통해 이동하는 데이터, 또는 문서상에서의 프로그램 코드로서 실현될 수 있다. 프로그램 코드를 제외하고, 프로그램을 위해 요구된 특징적 데이터는 또한 컴퓨터 프로그램 제품으로서 구체화될 수 있다. 이러한 데이터는 어쨌든 (부분적으로) 공급될 수 있다.
본 발명 또는 비디오 데이터와 같이 본 실시예들의 임의의 철학에 따라 사용 가능한 임의의 데이터는 또한 데이터 캐리어들 상에서의 신호들로서 구현될 수 있으며, 이것은 광 디스크들, 플래시 메모리들, 착탈 가능한 하드디스크들, 무선 수단을 통해 기록 가능한 휴대용 디바이스들 등과 같은 착탈 가능한 메모리들일 수 있다.
임의의 제공된 방법의 동작을 위해 요구된 단계들 중 일부는 데이터 입력 및 출력 단계들, 표준 디스플레이 구동과 같은 잘-알려진 통상적으로 통합된 프로세싱 단계들 등과 같이, 여기에 설명된 컴퓨터 프로그램 제품 또는 임의의 유닛, 장치 또는 방법(본 발명의 실시예들의 세부 사항들을 갖고)에 설명되는 대신에 본 발명의 프로세서 또는 임의의 장치 실시예들의 기능에 이미 존재할 수 있다. 우리는 또한 예로서, 방법들의 임의의 단계에 또는 장치들의 임의의 서브부분에 수반된 특정 신규 신호들, 뿐만 아니라 이러한 신호들의 임의의 새로운 사용들, 또는 임의의 관련 방법들과 같이, 결과적인 제품들 및 유사한 결과들에 대한 보호를 원한다.
상기 언급된 실시예들은 본 발명을 제한하기보다는 예시한다는 것이 주의되어야 한다. 숙련자가 청구항들의 다른 영역들로의 제공된 예들의 매핑을 쉽게 실현할 수 있는 경우에, 우리는 간결함을 위해 모든 이들 옵션들을 면밀하게 언급하지 않았다. 청구항들에 조합된 바와 같이 본 발명의 요소들의 조합들을 제외하고, 요소들의 다른 조합들이 가능하다. 요소들의 임의의 조합이 단일 전용 요소에서 실현될 수 있다.
청구항에서 괄호 사이에서의 임의의 참조 부호는 청구항을 제한하기 위해 이도되지 않았으며 도면들에서 임의의 특정한 심볼도 아니다. 단어("포함하는")는 청구항에서 열거되지 않은 요소들 또는 양상들의 존재를 배제하지 않는다. 요소에 선행하는 단수형은 복수의 이러한 요소들의 존재를 배제하지 않는다.
501: 카메라 505: 이미지/비디오 연결
510: 그레이딩 장치 511: 블루-레이 디스크
549: 이미지 인코더 552: 픽셀 텍스처 인코딩 유닛
553: 루마 매핑 결정 유닛 554: 포맷터
580: 비디오 서버 581: 연결
601: 비디오 프로세싱 장치 602: 텔레비전
605: 이미지 디코더 606: 이미지 세분화 유닛
607: 디포맷터 608: 픽셀 텍스처 디코딩 유닛
609: 픽셀 컬러 변환 유닛 620: 이미지 프로세싱 유닛
630: 휴대용 디스플레이 699: 안테나
510: 그레이딩 장치 511: 블루-레이 디스크
549: 이미지 인코더 552: 픽셀 텍스처 인코딩 유닛
553: 루마 매핑 결정 유닛 554: 포맷터
580: 비디오 서버 581: 연결
601: 비디오 프로세싱 장치 602: 텔레비전
605: 이미지 디코더 606: 이미지 세분화 유닛
607: 디포맷터 608: 픽셀 텍스처 디코딩 유닛
609: 픽셀 컬러 변환 유닛 620: 이미지 프로세싱 유닛
630: 휴대용 디스플레이 699: 안테나
Claims (22)
- 높은 동적 범위 장면의 이미지를 인코딩하기 위한 이미지 인코더(549)에 있어서,
- N-비트 코드 워드들을 포함한 이미지 표현(Im_l)을 갖고 상기 이미지의 픽셀들 컬러들을 인코딩하도록 배열된 픽셀 텍스처 인코딩 유닛(552);
- 영역 구별자 그레이 값(gTS)을 결정 및 출력하도록 배열된 이미지 분석 유닛(550)으로서, 상기 영역 구별자 그레이 값(gTS)은 상기 이미지의 적어도 하나의 블록에서 제 1 오브젝트의 모든 픽셀들의 루마들을 상기 값(gTS) 아래로, 및 상기 이미지의 상기 적어도 하나의 블록에서 제 2 오브젝트의 모든 픽셀들의 루마들을 상기 값(gTS) 위로 구분하는 루마 값인, 상기 이미지 분석 유닛(550); 및
- 상기 이미지 표현(Im_l) 및 상기 영역 구별자 그레이 값(gTS)을 출력 이미지 신호(S(Im_l, MET(gTS))에 공동-인코딩하도록 배열된 포맷터(554)를 포함하는, 이미지 인코더. - 제 1 항에 있어서,
상기 이미지 표현(Im_l)에서 인코딩된 픽셀 루마들 및 제 2 이미지 표현(IM_RC_HDR)에서의 상기 픽셀들의 루마들 사이에서의 매핑을 정의한 상기 제 1 및 상기 제 2 오브젝트 중 적어도 하나에 대한 루마 매핑(TOM)을 결정하도록 배열되며, 상기 루마 매핑(TOM)을 상기 출력 이미지 신호(S(Im_l, MET(gTS), TOM)로 공동-인코딩하도록 배열되는 상기 포맷터(554)에 상기 루마 매핑(TOM)을 공급하도록 배열된, 루마 매핑 결정 유닛(553)을 포함하는, 이미지 인코더. - 제 1 항 또는 제 2 항에 있어서,
상기 제 1 및 제 2 이미지 표현들 중 하나는 높은 동적 범위 표현이고, 상기 하나는 750 니트(nit) 이상의 피크 밝기를 가진 기준 디스플레이를 위해 인코딩되는 것을 특징으로 하는, 이미지 인코더. - 제 1 항에 있어서,
상기 이미지 표현(Im_l)으로부터 상기 픽셀 컬러들을 인코딩하는 상기 N-비트 코드 워드들 중 여러 개를 포함한 공간 이미지 섹션들 사이에서 여러 개의 영역 구별자 그레이 값들(gTS_D_Loc_1, gTS_D_Loc_2)을 인코딩하도록 배열되는, 이미지 인코더. - 제 1 항에 있어서,
다수의 연속 이미지들의 실행 전에 영역 구별자 그레이 값을 인코딩하도록 배열되는, 상기 그레이 값은 모든 이들 연속 이미지들에 대한 영역 구별자 그레이 값인, 이미지 인코더. - 제 1 항에 있어서,
상기 이미지 표현(Im_l)을 저장하는 메모리에 물리적으로 인접하지 않은 메모리 내의 적어도 하나의 영역 구별자 그레이 값을, 적용 가능한 상기 이미지 표현(Im_l)의 기하학적 영역과 각각 개별적인 적어도 하나의 영역 구별자 그레이 값의 연관을 허용하는 기하학적 연관 코드와 함께, 인코딩하도록 배열되며, 상기 기하학적 연관 코드는 통상적으로 적어도 상기 이미지 표현(Im_l)의 블록의 상기 좌표들을 포함하는, 이미지 인코더. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
영역 구별자 그레이 값의 상기 제 1 예약 값을 상기 출력 이미지 신호(S(Im_l, MET(gTS))로 인코딩하도록 배열되고, 상기 출력 이미지 신호는, 제 1 예약 값을 갖고 식별 가능한 위치를 넘어 상기 이미지를 통해 스캔 방향을 따라 놓인, 상기 이미지 표현(Im_l)의 적어도 하나의 기하학적 영역에 대해, 상기 이미지 표현(Im_l)에서 인코딩된 바와 같은 상기 픽셀 값들로부터 제 2 이미지 표현(IM_RC_HDR)에서의 픽셀 값들로의 변환이 미리 정의된 알고리즘에 따라 수행됨을 표시하는, 이미지 인코더. - 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
영역 구별자 그레이 값의 제 2 예약 값(gTR)을 상기 출력 이미지 신호(S(Im_l, MET(gTS))로 인코딩하도록 배열되고, 상기 출력 이미지 신호는, 적어도 하나의 연속 이미지에 대해, 디스플레이가 미리 결정된 값 아래의 최대 출력 휘도를 갖고 그것을 렌더링해야 함을 표시하는, 이미지 인코더. - 제 2 항에 있어서,
상기 루마 매핑 결정 유닛(553)은 변환 연결 규칙들을 통해 상기 제 1 및 상기 제 2 오브젝트들 중 적어도 하나에 대한 여러 개의 상이한 루마 매핑들(TOM)을 결정하도록 배열되거나, 또는 여러 개의 상이한 루마 매핑들이 상기 제 1 및 상기 제 2 오브젝트 중 적어도 하나의 상기 픽셀 컬러들을 상기 제 2 이미지 표현(IM_RC_HDR)의 새로운 컬러 표현으로 변환하기 위해 사용될 수 있음을 프로세싱 표시자(PROC_IND)를 통해 표시하도록 배열되는, 이미지 인코더. - 높은 동적 범위 장면의 인코딩된 이미지 표현(Im_l, MET)을 디코딩하기 위한 이미지 디코더(605)에 있어서,
- 상기 인코딩된 이미지 표현(Im_l)으로부터 디코딩된 이미지(IM_INTRM)의 픽셀들의 픽셀 컬러들을 획득하도록 배열된 픽셀 텍스처 디코딩 유닛(608); 및
- 상기 인코딩된 이미지 표현(Im_l, MET)으로부터 영역 구별자 그레이 값(gTS)을 추출하도록 배열된 디포맷터(607)를 포함하는, 이미지 디코더. - 제 10 항에 있어서,
상기 디코딩된 이미지(IM_INTRM)에서 보다 낮은 루마 세그먼트 및 보다 높은 루마의 세그먼트를 획득하기 위해 상기 영역 구별자 그레이 값(gTS)을 사용하도록 배열된 이미지 세분화 유닛(606)을 포함하는, 이미지 디코더. - 제 11 항에 있어서,
적어도 상기 픽셀 컬러들의 루마 값들을 변환하는 제 1 컬러 변환(PD_BLCK(i,j))을 보다 낮은 루마의 상기 세그먼트에서의 픽셀들에 적용하도록 배열되며, 적어도 상기 픽셀 컬러들의 루마 값들을 변환하는, 제 1 컬러 변환(PM_BLCK(i,j))을 보다 높은 루마의 상기 세그먼트에서의 픽셀들에 적용하도록 배열된 픽셀 컬러 변환 유닛(609)을 포함하는, 이미지 디코더. - 제 10 항에 있어서,
상기 디포맷터(607)가 예로서, 0 또는 255의 값과 같은, 예약 값의 영역 구별자 그레이 값(gTS)을 추출한다면, 상기 제 1 및 상기 제 2 오브젝트 중 적어도 하나의 상기 픽셀 컬러들에 특정 컬러 변환 전략을 적용하도록 배열되는, 이미지 디코더. - 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 인코딩된 이미지 표현(Im_l, MET)의 상기 데이터 중 임의의 것과 연관되지 않는 메모리 소스로부터 픽셀 컬러 변환 전략을 선택하도록 배열된 변환 결정 유닛(610)을 포함하는, 이미지 디코더. - 제 14 항에 있어서,
상기 변환 결정 유닛(610)은 상기 디스플레이의 특성, 또는 주변 조명의 레벨과 같은, 상기 렌더링 환경의 적어도 하나의 파라미터에 기초하여 상기 픽셀 컬러 변환 전략을 결정하도록 배열되는 것을 특징으로 하는, 이미지 디코더. - 제 10 항 내지 제 15 항 중 어느 한 항에 있어서,
물리적으로 분리된 메모리들로부터 상기 인코딩된 이미지 표현(Im_l) 및 상기 영역 구별자 그레이 값(gTS)을 획득하도록 배열되며, 상기 인코딩된 이미지 표현(Im_l)의 기하학적 부분과 상기 영역 구별자 그레이 값(gTS)을 연관시키도록 배열되는, 이미지 디코더. - 높은 동적 범위 장면의 이미지를 인코딩하기 위한 이미지 인코딩의 방법에 있어서,
- N-비트 코드 워드들을 포함한 이미지 표현(Im_l)을 갖고 상기 이미지의 픽셀들 컬러들을 인코딩하는 단계;
- 영역 구별자 그레이 값(gTS)을 결정 및 출력하는 단계로서, 상기 값(gTS)은 상기 이미지의 적어도 하나의 블록에서 제 1 오브젝트의 모든 픽셀들의 루마들을 상기 값(gTS) 아래로, 및 상기 이미지의 상기 적어도 하나의 블록에서 제 2 오브젝트의 모든 픽셀들의 루마들을 상기 값(gTS) 위로 구분하는 루마 값인, 상기 결정 및 출력하는 단계; 및
- 상기 이미지 표현(Im_l) 및 상기 영역 구별자 그레이 값(gTS)을 출력 이미지 신호(S(Im_l, MET(gTS))에 공동-인코딩하는 단계를 포함하는, 이미지 인코딩의 방법. - 높은 동적 범위 장면의 인코딩된 이미지 표현(Im_l, MET)을 디코딩하기 위한 이미지 디코딩의 방법에 있어서,
- 상기 인코딩된 이미지 표현(Im_l)으로부터 디코딩된 이미지(IM_INTRM)의 픽셀들의 픽셀 컬러들을 획득하는 단계; 및
- 상기 인코딩된 이미지 표현(Im_l, MET)으로부터 영역 구별자 그레이 값(gTS)을 추출하는 단계를 포함하는, 이미지 디코딩의 방법. - 프로세싱이 제 17 항 또는 제 18 항의 상기 방법을 실행할 수 있게 하는 소프트웨어 코드를 포함하는, 컴퓨터 프로그램 제품.
- 높은 동적 범위 장면의 영역들의 컬러들을 인코딩하는 이미지 신호에 있어서,
적어도 영역들의 상기 컬러들의 휘도들을 인코딩한 N-비트 코드 워드들, 및 적어도 영역들의 상기 컬러들의 상기 휘도들을 인코딩한 상기 N-비트 코드 워드들을 인코딩하기 위해 사용된 코드 시스템에서, 이것들을 인코딩한 상기 N-비트 코드 워드들 중 더 높은 값들 또는 상기 높은 동적 범위 장면에서의 더 높은 휘도의 픽셀들의 적어도 하나의 제 1 기하학적 영역, 및 이것들을 인코딩한 상기 N-비트 코드 워드들 중 더 낮은 값들 또는 상기 높은 동적 범위 장면에서의 더 낮은 휘도의 픽셀들의 적어도 하나의 제 2 기하학적 영역 사이에서의 구분을 표시하는 영역 구별자 그레이 값(gTS)을 포함하는, 이미지 신호. - 예로서, 제 20 항에 청구된 바와 같은 신호를 저장하는 블루-레이 디스크와 같이, 착탈 가능한 메모리와 같은, 메모리.
- 임의의 네트워크 기술을 통해, 제 1 항 내지 제 21 항 중 어느 한 항의 임의의 이미지 인코더, 이미지 디코더, 방법, 이미지 신호를 이용하는, 비디오 분배 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261615409P | 2012-03-26 | 2012-03-26 | |
| US61/615,409 | 2012-03-26 | ||
| PCT/IB2013/052349 WO2013144809A2 (en) | 2012-03-26 | 2013-03-25 | Brightness region-based apparatuses and methods for hdr image encoding and decoding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140146628A true KR20140146628A (ko) | 2014-12-26 |
| KR102014127B1 KR102014127B1 (ko) | 2019-08-26 |
Family
ID=48325815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147029956A KR102014127B1 (ko) | 2012-03-26 | 2013-03-25 | Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들 |
Country Status (14)
| Country | Link |
|---|---|
| US (2) | US9420288B2 (ko) |
| EP (1) | EP2880624B1 (ko) |
| JP (2) | JP6262198B2 (ko) |
| KR (1) | KR102014127B1 (ko) |
| CN (1) | CN104541301B (ko) |
| BR (1) | BR112014023535B1 (ko) |
| ES (1) | ES2737993T3 (ko) |
| HU (1) | HUE044859T2 (ko) |
| MX (1) | MX337444B (ko) |
| PL (1) | PL2880624T3 (ko) |
| PT (1) | PT2880624T (ko) |
| RU (1) | RU2643663C2 (ko) |
| TR (1) | TR201911093T4 (ko) |
| WO (1) | WO2013144809A2 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160148836A (ko) * | 2015-06-16 | 2016-12-27 | 광운대학교 산학협력단 | 하위 호환성을 고려한 hdr 영상 복호화 장치에서 다이나믹 레인지 매핑 정보를 이용하는 방법 및 장치 |
| KR20180038471A (ko) * | 2015-08-28 | 2018-04-16 | 애리스 엔터프라이지즈 엘엘씨 | 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 |
| KR20180091108A (ko) * | 2015-06-24 | 2018-08-14 | 삼성전자주식회사 | 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템 |
| KR20180119684A (ko) * | 2016-03-18 | 2018-11-02 | 코닌클리케 필립스 엔.브이. | Hdr 비디오의 인코딩 및 디코딩 |
Families Citing this family (78)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104471939B (zh) | 2012-07-13 | 2018-04-24 | 皇家飞利浦有限公司 | 改进的hdr图像编码和解码方法和设备 |
| JP2015008361A (ja) * | 2013-06-24 | 2015-01-15 | ソニー株式会社 | 再生装置、再生方法、および記録媒体 |
| CN105379263B (zh) * | 2013-11-13 | 2017-09-22 | 杜比实验室特许公司 | 用于指导图像的显示管理的方法和设备 |
| KR20150083429A (ko) * | 2014-01-08 | 2015-07-17 | 한국전자통신연구원 | Ｄａｓｈ를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법 |
| US9854176B2 (en) * | 2014-01-24 | 2017-12-26 | Lucasfilm Entertainment Company Ltd. | Dynamic lighting capture and reconstruction |
| US10313709B2 (en) | 2014-02-07 | 2019-06-04 | Sony Corporation | Transmission device, transmission method, reception device, reception method, display device, and display method |
| EP4087247A1 (en) * | 2014-02-26 | 2022-11-09 | Dolby Laboratories Licensing Corp. | Luminance based coding tools for video compression |
| WO2015174108A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 通信装置及び通信方法、並びにコンピューター・プログラム |
| EP3157243B1 (en) * | 2014-06-10 | 2024-07-03 | Panasonic Intellectual Property Management Co., Ltd. | Conversion method and conversion device |
| CN110675840B (zh) * | 2014-06-26 | 2022-03-25 | 松下知识产权经营株式会社 | 显示装置及显示方法 |
| EP3163894B1 (en) | 2014-06-27 | 2020-08-19 | Panasonic Intellectual Property Management Co., Ltd. | Data output device, data output method, and data generation method |
| JP2016538745A (ja) * | 2014-08-08 | 2016-12-08 | エルジー エレクトロニクス インコーポレイティド | ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置 |
| JP6331882B2 (ja) | 2014-08-28 | 2018-05-30 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| EP3231174B1 (en) * | 2014-12-11 | 2020-08-26 | Koninklijke Philips N.V. | Optimizing high dynamic range images for particular displays |
| EP3242487B1 (en) * | 2014-12-29 | 2021-10-13 | Sony Group Corporation | Transmitting device, transmitting method, receiving device and receiving method |
| WO2016120085A1 (en) * | 2015-01-29 | 2016-08-04 | Koninklijke Philips N.V. | Local dynamic range adjustment color processing |
| US9552531B2 (en) | 2015-01-30 | 2017-01-24 | Sony Corporation | Fast color-brightness-based methods for image segmentation |
| CN107258078B (zh) | 2015-01-30 | 2019-09-24 | 皇家飞利浦有限公司 | 简单但通用的动态范围编码 |
| WO2016140954A1 (en) | 2015-03-02 | 2016-09-09 | Dolby Laboratories Licensing Corporation | Content-adaptive perceptual quantizer for high dynamic range images |
| US20180167597A1 (en) * | 2015-05-29 | 2018-06-14 | Thomson Licensing | Methods, apparatus, and systems for hdr tone mapping operator |
| US10136074B2 (en) | 2015-06-02 | 2018-11-20 | Samsung Electronics Co., Ltd. | Distribution-point-based adaptive tone mapping |
| US10043487B2 (en) | 2015-06-24 | 2018-08-07 | Samsung Electronics Co., Ltd. | Apparatus and method for split screen display on mobile device |
| EP3131284A1 (en) * | 2015-08-13 | 2017-02-15 | Thomson Licensing | Methods, systems and aparatus for hdr to hdr inverse tone mapping |
| JP6990172B2 (ja) * | 2015-09-18 | 2022-01-12 | インターデジタル ヴイシー ホールディングス， インコーポレイテッド | Ｈｄｒ符号化／復号のための色成分サンプルの共に配置される輝度サンプルの決定 |
| EP3343913B1 (en) * | 2015-09-30 | 2022-05-25 | Samsung Electronics Co., Ltd. | Display device and method for controlling same |
| JP6624877B2 (ja) * | 2015-10-15 | 2019-12-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP6611576B2 (ja) * | 2015-11-30 | 2019-11-27 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6495552B2 (ja) | 2015-12-17 | 2019-04-03 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 画像及びビデオのためのダイナミックレンジ符号化 |
| PT3394850T (pt) * | 2015-12-21 | 2020-08-14 | Koninklijke Philips Nv | Otimização de imagens de alta gama dinâmica para monitores específicos |
| CN105744157A (zh) * | 2016-02-02 | 2016-07-06 | 西安电子科技大学 | 一种图像像素采样值转换、采样值处理方法及装置 |
| JP6451669B2 (ja) | 2016-03-04 | 2019-01-16 | ソニー株式会社 | 評価装置、評価方法およびカメラシステム |
| JP6460014B2 (ja) | 2016-03-04 | 2019-01-30 | ソニー株式会社 | 信号処理装置、信号処理方法およびカメラシステム |
| CN108781246B (zh) * | 2016-03-14 | 2021-05-28 | 皇家飞利浦有限公司 | 用于动态范围映射的饱和度处理指定 |
| JPWO2017159185A1 (ja) * | 2016-03-17 | 2019-01-24 | パナソニックＩｐマネジメント株式会社 | 照合装置 |
| DE102016003681A1 (de) * | 2016-03-24 | 2017-09-28 | Universität Stuttgart | Datenkompression mittels adaptiven Unterabtastens |
| GB2549521A (en) * | 2016-04-21 | 2017-10-25 | British Broadcasting Corp | Method and apparatus for conversion of dynamic range of video signals |
| US10699391B2 (en) | 2016-04-29 | 2020-06-30 | Disney Enterprises, Inc. | Dynamic range expansion highlight information restoration |
| TWI612334B (zh) * | 2016-08-10 | 2018-01-21 | 國立臺灣大學 | 透視裝置的光度補償方法與系統 |
| WO2018070822A1 (ko) * | 2016-10-14 | 2018-04-19 | 엘지전자 주식회사 | 적응적 영상 재생을 위한 데이터 처리 방법 및 장치 |
| US10244244B2 (en) * | 2016-10-26 | 2019-03-26 | Dolby Laboratories Licensing Corporation | Screen-adaptive decoding of high dynamic range video |
| US10192295B2 (en) * | 2016-11-09 | 2019-01-29 | AI Analysis, Inc. | Methods and systems for normalizing images |
| US10218952B2 (en) | 2016-11-28 | 2019-02-26 | Microsoft Technology Licensing, Llc | Architecture for rendering high dynamic range video on enhanced dynamic range display devices |
| US10176561B2 (en) | 2017-01-27 | 2019-01-08 | Microsoft Technology Licensing, Llc | Content-adaptive adjustments to tone mapping operations for high dynamic range content |
| US10104334B2 (en) | 2017-01-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content |
| US10638144B2 (en) | 2017-03-15 | 2020-04-28 | Facebook, Inc. | Content-based transcoder |
| US10453221B2 (en) * | 2017-04-10 | 2019-10-22 | Intel Corporation | Region based processing |
| CN111033521A (zh) * | 2017-05-16 | 2020-04-17 | 雅腾帝卡(私人)有限公司 | 用于文化制品的分析的数字数据细节处理 |
| US10728559B2 (en) * | 2017-07-07 | 2020-07-28 | Qualcomm Incorporated | Precision of computation and signaling of dynamic range adjustment and color remapping information |
| US11252401B2 (en) | 2017-08-07 | 2022-02-15 | Dolby Laboratories Licensing Corporation | Optically communicating display metadata |
| WO2019042558A1 (en) * | 2017-08-31 | 2019-03-07 | Hp Indigo B.V. | GENERATING MODIFIED AND TRAMED IMAGES FROM A TRAMED SEED IMAGE |
| EP3451677A1 (en) * | 2017-09-05 | 2019-03-06 | Koninklijke Philips N.V. | Graphics-safe hdr image luminance re-grading |
| CN108063947B (zh) * | 2017-12-14 | 2021-07-13 | 西北工业大学 | 一种基于像素纹理的无损参考帧压缩方法 |
| US10546554B2 (en) | 2018-03-26 | 2020-01-28 | Dell Products, Lp | System and method for adaptive tone mapping for high dynamic ratio digital images |
| GB2572571B (en) * | 2018-04-03 | 2021-09-01 | Apical Ltd | Image processing |
| JP6652153B2 (ja) * | 2018-04-26 | 2020-02-19 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| KR102591582B1 (ko) * | 2018-06-22 | 2023-10-19 | 삼성전자주식회사 | 컨텐츠를 표시하는 방법 및 전자 장치 |
| US10863157B2 (en) | 2018-07-06 | 2020-12-08 | Samsung Electronics Co., Ltd. | Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device |
| US10957024B2 (en) | 2018-10-30 | 2021-03-23 | Microsoft Technology Licensing, Llc | Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display |
| US10885612B2 (en) | 2018-10-31 | 2021-01-05 | Hewlett-Packard Development Company, L.P. | Luminance-biased sharpening for thermal media printing |
| US11222248B2 (en) | 2018-10-31 | 2022-01-11 | Hewlett-Packard Development Company, L.P. | Luminance-biased sharpening for thermal media printing |
| US10880354B2 (en) | 2018-11-28 | 2020-12-29 | Netflix, Inc. | Techniques for encoding a media title while constraining quality variations |
| US10841356B2 (en) * | 2018-11-28 | 2020-11-17 | Netflix, Inc. | Techniques for encoding a media title while constraining bitrate variations |
| CN110390664A (zh) * | 2018-11-30 | 2019-10-29 | 武汉滨湖电子有限责任公司 | 一种基于孔洞填充路面裂缝识别方法 |
| CN110163816B (zh) * | 2019-04-24 | 2021-08-31 | Oppo广东移动通信有限公司 | 图像信息的处理方法、装置、存储介质及电子设备 |
| US20210073447A1 (en) | 2019-09-06 | 2021-03-11 | BeamUp, Ltd. | Structural design systems and methods for updating simulation and modeling results |
| CN110691254B (zh) * | 2019-09-20 | 2022-01-18 | 中山大学 | 一种多功能视频编码的快速判决方法、系统及存储介质 |
| US11473971B2 (en) * | 2019-09-27 | 2022-10-18 | Apple Inc. | Ambient headroom adaptation |
| CN113703881A (zh) * | 2020-05-22 | 2021-11-26 | 北京小米移动软件有限公司 | 显示方法、装置及存储介质 |
| CN111784598B (zh) * | 2020-06-18 | 2023-06-02 | Oppo（重庆）智能科技有限公司 | 色调映射模型的训练方法、色调映射方法及电子设备 |
| US11330196B2 (en) | 2020-10-12 | 2022-05-10 | Microsoft Technology Licensing, Llc | Estimating illumination in an environment based on an image of a reference object |
| CN112508328B (zh) * | 2020-10-20 | 2024-06-04 | 中国环境科学研究院 | 一种自然保护地生态质量监控系统及方法 |
| CN114519683A (zh) * | 2020-11-20 | 2022-05-20 | 北京晶视智能科技有限公司 | 图像处理方法及应用其的图像处理装置 |
| CN112435201B (zh) * | 2020-12-07 | 2022-08-02 | 中国人民解放军国防科技大学 | 一种编码模板标定方法、装置、计算机设备和存储介质 |
| US11601665B2 (en) * | 2021-06-23 | 2023-03-07 | Microsoft Technology Licensing, Llc | Embedding frame masks in a video stream |
| KR102564447B1 (ko) * | 2021-11-30 | 2023-08-08 | 엘지전자 주식회사 | 디스플레이 장치 |
| CN115601267B (zh) * | 2022-10-31 | 2023-04-07 | 哈尔滨理工大学 | 一种具有局部细节补偿能力的全局色阶映射方法 |
| CN116193242B (zh) * | 2023-04-24 | 2023-07-14 | 北京城建智控科技股份有限公司 | 一种摄像装置图像解析与传输方法 |
| CN117395380B (zh) * | 2023-12-12 | 2024-02-23 | 上海伯镭智能科技有限公司 | 一种大型矿区无人驾驶矿车调度数据智能管理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011107905A1 (en) * | 2010-03-03 | 2011-09-09 | Koninklijke Philips Electronics N.V. | Apparatuses and methods for defining color regimes |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2670979A1 (fr) * | 1990-12-21 | 1992-06-26 | Philips Electronique Lab | Procede de segmentation binaire locale d'images numerisees, par seuillage d'histogramme. |
| JP3427820B2 (ja) * | 1999-06-14 | 2003-07-22 | 株式会社ニコン | 圧縮符号化方法，圧縮符号化プログラムを記録した記録媒体，および圧縮符号化方法を実施する電子カメラ |
| EP1107610A1 (en) | 1999-06-14 | 2001-06-13 | Nikon Corporation | Compression encoding method, recorded medium on which compression encoding program is recorded, and imaging device |
| US7349574B1 (en) * | 2002-10-11 | 2008-03-25 | Sensata Technologies, Inc. | System and method for processing non-linear image data from a digital imager |
| TWI235706B (en) * | 2003-04-07 | 2005-07-11 | Sumitomo Heavy Industries | Method of controlling injection molding machine |
| CN100481117C (zh) * | 2004-03-15 | 2009-04-22 | 武汉矽感科技有限公司 | 一种二维条码编解码方法 |
| US7480421B2 (en) * | 2005-05-23 | 2009-01-20 | Canon Kabushiki Kaisha | Rendering of high dynamic range images |
| US7557817B2 (en) * | 2005-08-23 | 2009-07-07 | Seiko Epson Corporation | Method and apparatus for overlaying reduced color resolution images |
| JP5249784B2 (ja) * | 2006-01-23 | 2013-07-31 | マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ | 高ダイナミックレンジコーデック |
| CN101416520B (zh) * | 2006-03-31 | 2011-12-14 | 皇家飞利浦电子股份有限公司 | 多视图的高效编码 |
| JP4637812B2 (ja) * | 2006-11-09 | 2011-02-23 | オリンパス株式会社 | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 |
| CA2669028C (en) * | 2006-11-27 | 2016-01-12 | Dolby Laboratories Licensing Corporation | Apparatus and methods for boosting dynamic range in digital images |
| US20100074328A1 (en) * | 2006-12-19 | 2010-03-25 | Koninklijke Philips Electronics N.V. | Method and system for encoding an image signal, encoded image signal, method and system for decoding an image signal |
| JP5660658B2 (ja) * | 2007-01-30 | 2015-01-28 | ファーガソン パテント プロパティーズ リミテッド ライアビリティ カンパニー | 画像捕獲表示システム、ビデオ画像内の関心領域を用いてシステム同期型輝度制御を実行する方法、およびメタデータの使用 |
| US8085852B2 (en) | 2007-06-26 | 2011-12-27 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding |
| US8165393B2 (en) * | 2008-06-05 | 2012-04-24 | Microsoft Corp. | High dynamic range texture compression |
| ES2389458T3 (es) * | 2008-07-10 | 2012-10-26 | The University Of Warwick | Métodos y dispositivos para la compresión de datos de vídeo HDR |
| KR101346008B1 (ko) * | 2009-03-13 | 2013-12-31 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축 |
| US8885977B2 (en) * | 2009-04-30 | 2014-11-11 | Apple Inc. | Automatically extending a boundary for an image to fully divide the image |
| WO2010132237A1 (en) * | 2009-05-11 | 2010-11-18 | Dolby Laboratories Licensing Corporation | Light detection, color appearance models, and modifying dynamic range for image display |
| EP2449526A1 (en) * | 2009-06-29 | 2012-05-09 | Thomson Licensing | Zone-based tone mapping |
| WO2011000392A1 (en) * | 2009-07-02 | 2011-01-06 | Hi-Key Limited | Method and camera system for improving the contrast of a camera image |
| CN101991568B (zh) | 2009-08-12 | 2012-02-08 | 上海张江中药现代制剂技术工程研究中心 | 洋川芎内酯i在制备抗抑郁症药物、偏头痛药物及其他5-羟色胺能系统相关疾病药物中的应用 |
| US20130107956A1 (en) | 2010-07-06 | 2013-05-02 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
| RU2616158C2 (ru) | 2011-04-28 | 2017-04-12 | Конинклейке Филипс Н.В. | Устройства и способы для кодирования и декодирования hdr-изображений |
-
2013
- 2013-03-25 PT PT13721100T patent/PT2880624T/pt unknown
- 2013-03-25 CN CN201380016969.1A patent/CN104541301B/zh active Active
- 2013-03-25 RU RU2014142986A patent/RU2643663C2/ru active
- 2013-03-25 ES ES13721100T patent/ES2737993T3/es active Active
- 2013-03-25 PL PL13721100T patent/PL2880624T3/pl unknown
- 2013-03-25 KR KR1020147029956A patent/KR102014127B1/ko active IP Right Grant
- 2013-03-25 MX MX2014011418A patent/MX337444B/es active IP Right Grant
- 2013-03-25 WO PCT/IB2013/052349 patent/WO2013144809A2/en active Application Filing
- 2013-03-25 BR BR112014023535-0A patent/BR112014023535B1/pt active IP Right Grant
- 2013-03-25 HU HUE13721100 patent/HUE044859T2/hu unknown
- 2013-03-25 JP JP2015502508A patent/JP6262198B2/ja active Active
- 2013-03-25 EP EP13721100.9A patent/EP2880624B1/en active Active
- 2013-03-25 TR TR2019/11093T patent/TR201911093T4/tr unknown
- 2013-03-25 US US14/387,575 patent/US9420288B2/en active Active
-
2016
- 2016-07-28 US US15/221,804 patent/US10057600B2/en active Active
-
2017
- 2017-12-13 JP JP2017238361A patent/JP6526776B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011107905A1 (en) * | 2010-03-03 | 2011-09-09 | Koninklijke Philips Electronics N.V. | Apparatuses and methods for defining color regimes |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160148836A (ko) * | 2015-06-16 | 2016-12-27 | 광운대학교 산학협력단 | 하위 호환성을 고려한 hdr 영상 복호화 장치에서 다이나믹 레인지 매핑 정보를 이용하는 방법 및 장치 |
| KR20220093052A (ko) * | 2015-06-16 | 2022-07-05 | 광운대학교 산학협력단 | 하위 호환성을 고려한 hdr 영상 복호화 장치에서 다이나믹 레인지 매핑 정보를 이용하는 방법 및 장치 |
| US11451837B2 (en) | 2015-06-16 | 2022-09-20 | Kwangwon University Industry-Academic Collaboration Foundation | Method and apparatus for employing dynamic range mapping information for HDR image decoder considering backward compatibility |
| KR20180091108A (ko) * | 2015-06-24 | 2018-08-14 | 삼성전자주식회사 | 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템 |
| KR20180038471A (ko) * | 2015-08-28 | 2018-04-16 | 애리스 엔터프라이지즈 엘엘씨 | 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 |
| US10687080B2 (en) | 2015-08-28 | 2020-06-16 | Arris Enterprises Llc | Color volume transforms in coding of high dynamic range and wide color gamut sequences |
| KR20200079573A (ko) * | 2015-08-28 | 2020-07-03 | 애리스 엔터프라이지즈 엘엘씨 | 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 |
| KR20220040508A (ko) * | 2015-08-28 | 2022-03-30 | 애리스 엔터프라이지즈 엘엘씨 | 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 |
| US11589074B2 (en) | 2015-08-28 | 2023-02-21 | Arris Enterprises Llc | Color volume transforms in coding of high dynamic range and wide color gamut sequences |
| US11973982B2 (en) | 2015-08-28 | 2024-04-30 | Arris Enterprises Llc | Color volume transforms in coding of high dynamic range and wide color gamut sequences |
| KR20180119684A (ko) * | 2016-03-18 | 2018-11-02 | 코닌클리케 필립스 엔.브이. | Hdr 비디오의 인코딩 및 디코딩 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013144809A3 (en) | 2015-02-19 |
| JP6262198B2 (ja) | 2018-01-17 |
| US20150117791A1 (en) | 2015-04-30 |
| US10057600B2 (en) | 2018-08-21 |
| JP2015517250A (ja) | 2015-06-18 |
| KR102014127B1 (ko) | 2019-08-26 |
| CN104541301A (zh) | 2015-04-22 |
| EP2880624A2 (en) | 2015-06-10 |
| MX2014011418A (es) | 2014-12-04 |
| CN104541301B (zh) | 2017-11-03 |
| TR201911093T4 (tr) | 2019-08-21 |
| HUE044859T2 (hu) | 2019-11-28 |
| EP2880624B1 (en) | 2019-05-08 |
| PT2880624T (pt) | 2019-08-26 |
| MX337444B (es) | 2016-03-07 |
| JP6526776B2 (ja) | 2019-06-05 |
| RU2014142986A (ru) | 2016-05-20 |
| US9420288B2 (en) | 2016-08-16 |
| ES2737993T3 (es) | 2020-01-17 |
| BR112014023535B1 (pt) | 2022-06-14 |
| PL2880624T3 (pl) | 2019-12-31 |
| BR112014023535A2 (ko) | 2017-06-20 |
| WO2013144809A2 (en) | 2013-10-03 |
| JP2018061288A (ja) | 2018-04-12 |
| US20170208344A1 (en) | 2017-07-20 |
| RU2643663C2 (ru) | 2018-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10057600B2 (en) | Brightness region-based apparatuses and methods for HDR image encoding and decoding | |
| JP6700322B2 (ja) | 改善されたｈｄｒイメージ符号化及び復号化方法、装置 | |
| JP6596125B2 (ja) | Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 | |
| RU2589871C2 (ru) | Устройства и способы кодирования и декодирования изображения hdr | |
| US9754629B2 (en) | Methods and apparatuses for processing or defining luminance/color regimes | |
| CN107005720B (zh) | 用于编码hdr图像的方法和装置 | |
| KR20180119684A (ko) | Hdr 비디오의 인코딩 및 디코딩 | |
| JP6831389B2 (ja) | 複数のｈｄｒ画像ソースの処理 | |
| KR20240042533A (ko) | Hdr 이미지 중 이차 그래픽 요소의 혼합 | |
| KR102279842B1 (ko) | Hdr 이미지 인코딩 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |