KR101717457B1 - 글로벌 디스플레이 관리 기반의 광 변조 - Google Patents

글로벌 디스플레이 관리 기반의 광 변조 Download PDF

Info

Publication number
KR101717457B1
KR101717457B1 KR1020157020232A KR20157020232A KR101717457B1 KR 101717457 B1 KR101717457 B1 KR 101717457B1 KR 1020157020232 A KR1020157020232 A KR 1020157020232A KR 20157020232 A KR20157020232 A KR 20157020232A KR 101717457 B1 KR101717457 B1 KR 101717457B1
Authority
KR
South Korea
Prior art keywords
dynamic range
specific
input
code values
image
Prior art date
Application number
KR1020157020232A
Other languages
English (en)
Other versions
KR20150103119A (ko
Inventor
티모 쿤켈
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20150103119A publication Critical patent/KR20150103119A/ko
Application granted granted Critical
Publication of KR101717457B1 publication Critical patent/KR101717457B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H04N5/2352—
    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other

Abstract

넓은 동적 범위의 입력 비디오 신호 내의 복수의 입력 이미지들이 수신된다. 글로벌 광 변조의 특정 설정은 상기 복수의 입력 이미지들 내의 특정 입력 이미지에 기초하여 결정된다. 상기 글로벌 광 변조의 특정 설정은 특정의 동적 범위 윈도우를 생성한다. 상기 특정 입력 이미지 내의 복수의 입력 코드값들은 상기 특정 입력 이미지에 대응하는 특정 출력 이미지 내의 복수의 출력 코드값들로 변환된다. 상기 복수의 출력 코드값들은 상기 복수의 입력 코드값들에 의해 나타내지는 바와 동일한 또는 실질적으로 동일한 휘도 레벨들을 생성한다. 상기 특정 입력 이미지 내의 그밖의 다른 픽셀들은 디스플레이 관리를 통해 상기 특정 출력 이미지 내의 상이한 휘도 레벨들로 변환된다.

Description

글로벌 디스플레이 관리 기반의 광 변조{GLOBAL DISPLAY MANAGEMENT BASED LIGHT MODULATION}
관련 출원들에 대한 상호 참조
본 출원은, 그 전체가 참조로서 본 명세서에 통합되는, 2013년 1월 25일에 출원된 미국 가출원 번호 제61/756,713호에 대한 우선권을 주장한다.
본 발명은 일반적으로 이미지 데이터에 관한 것이다. 보다 구체적으로, 본 발명의 실시예는 글로벌 디스플레이 관리 기반의 광 변조에 관한 것이다.
일부 기존의 디스플레이들은 높은 동적 범위(HDR) 디스플레이에 비해 비교적 좁은 동적 범위(예컨대, SDR, LDR 등)를 갖는다. 이들 디스플레이들은 Rec.709 및 디지털 시네마 이니셔티브(DCI) 스펙에 기초하여 프로젝터들 또는 디스플레이 시스템들을 포함한다. 이들 디스플레이 시스템들의 동적 범위들은 그들의 표준들에 명시된 최소 및 최대 휘도 레벨들 또는 (CRT 디스플레이들과 같은) 그들의 표준들을 규정할 때 우세한 디스플레이 능력에 부분적으로 제한되며, 물론 시스템의 다른 기술적 제한들에 의해서도 제한된다.
HDR 또는 확장된 동적 범위 카메라들에 의해 원래 캡쳐된 이미지들은 이전에 언급된 디스플레이 디바이스들에 의해 지원되는 상기 좁은 동적 범위보다 상당히 큰 장면-참조 동적 범위(DR)를 갖는다. 디스플레이 제조자들은 보다 높은 동적 범위의 느낌(impression)을 발생시키기 위해 최소 휘도 레벨, 최대 휘도 레벨, 및 감마(gamma)값들과 같은 글로벌 디스플레이 파라미터들을 조절함으로써 상기 문제를 숨기려하고 있다. 하지만, 이러한 조절들은 입력 신호로부터 디코딩된 좁은 동적 범위 정보에 기초한 이미지에서 동시의(또는 즉각적인) 콘트라스트를 증가시킬 수 없으며, 기껏해야 입력 신호로부터의 이미지에서 동일한 상대적 코트라스트를 유지할 수 있을 뿐이다. 또한, 이들 기술들은 HDR 이미지들의 좁은 동적 범위 버전을 렌더링하는데 있어 열악한 품질을 생산하는 경향이 있으며, 클리핑(clipping), 밴딩(banding), 칼라 시프트(color shift) 등과 같은 부가적인 지각적 아티팩트를 유발하게 된다.
본 발명은 상기한 종래 기술에서의 문제점을 해소 및/또는 개선한 글로벌 디스플레이 관리 기반의 광 변조와 관련한 방법을 제공하고자 하는 것이다.
본 섹션에서 기술된 접근들은 추구될 수 있었을 접근법들이지만, 이전에 반드시 상상되었거나 추구되었던 접근법들은 아니다. 따라서, 그렇지 않다고 명시하지 않는 한, 본 섹션에 기술된 접근들의 어떠한 것도 단지 본 섹션에 그들이 포함되었다는 이유만으로 종래 기술로서 자격이 주어지는 것으로 추정해서는 안 된다. 유사하게, 하나 이상의 접근들과 관련하여 식별된 이슈들은 그렇지 않다고 명시하지 않는 한 본 섹션에 근거하여 어떠한 종래 기술로도 인식되는 것으로 추정하지 않아야된다.
본 발명은 첨부된 도면들을 참조하여 설명되며, 도면들의 수치들은 제한하려는 것이 아니라 예시적인 것이고 동일한 참조 번호는 동일한 요소들을 참조한다.
본 발명은 종래 기술의 문제점을 개선 및 극복하고자 청구범위에 청구된 바와 같은 구성을 제시한다.
도 1은 제한된 동적 범위의 입력 이미지들의 렌더링을 지원하는 디스플레이 시스템들의 예시적 양상을 도시한 도면.
도 2a 및 도 2b는 넓은 동적 범위의 입력 이미지들로부터 제한된 동적 범위의 출력 이미지들로의 맵핑들을 예시적으로 도시한 도면.
도 3은 글로벌 광 변조 능력을 갖거나 갖지않는 LDR 디스플레이 시스템들을 비교한 도면.
도 4는 글로벌 광 변조 능력을 갖는 LDR 디스플레이 시스템에서 프로세싱 및 광 변조 경로들의 예시적 도면.
도 5는 LDR 디스플레이 시스템에 의해 렌더링되는 두 개의 예시적 LDR 이미지들을 도시한 도면.
도 6은 장면에서 입력 VDR 이미지들의 시퀀스에 대한 동적 범위 윈도우들의 예시적 시퀀스를 도시한 도면.
도 7은 예시적인 디스플레이 시스템을 도시한 도면.
도 8은 예시적인 프로세스 플로우들을 도시한 도면.
도 9는 여기에 기술된 컴퓨터 또는 컴퓨팅 디바이스가 실행될 수 있는 예시적인 하드웨어 플랫폼을 도시한 도면.
글로벌 디스플레이 관리 기반의 광 변조에 관한 예시적 실시예들이 본 명세서에 기술된다. 다음의 설명에서, 설명의 목적으로 다양한 특정의 세부사항들이 본 발명의 완전한 이해를 제공하기 위해 설명된다. 하지만, 본 발명은 이들 특정의 세부사항들 없이 실행될 수 있다는 것은 명백할 것이다. 다른 예들에서는, 본 발명을 불필요하게 차단하거나 모호하게 하거나 또는 애매하게 하는 것을 피하도록 널리 알려진 구성들 및 디바이스들은 완전한 세부사항에 기술되지 않았다.
예시적인 실시예들은 다음의 아웃라인에 따라 여기서 기술된다:
1. 일반적인 개요
2. 절대적 휘도 레벨들의 비-지각적 조절들
3. 절대적 휘도 레벨들의 지각적 조절들
4. 디스플레이 시스템들의 비교
5. 예시적인 프로세싱 및 광 변조 경로들
6. 절대적 휘도 레벨들의 비-지각적 조절들
7. 예시적인 디스플레이 시스템
8. 예시적인 프로세싱 플로우들
9. 실행 메카니즘들-하드웨어 개요
10. 등가물, 확장, 대체물 및 기타
1. 일반적인 개요
본 개요는 본 발명의 실시예의 일부 양상들의 기본적인 설명들 제공한다. 이러한 개요는 본 실시예 양상들의 광범위하고 완전한 요약이 아니라는 것을 이해해야 한다. 더욱이, 이러한 개요는 본 실시예의 어떠한 특정의 중대한 양상들 또는 요소들을 식별하는 것으로 의도된 것이 아니라는 것을 이해해야한다. 본 개요는 단지 본 예시적 실시예에 관한 일부 개념들을 압축되고 간략화된 형태로 제시하는 것일 뿐이고, 다음에 이어지는 예시적 실시예들의 보다 상세한 설명에 대한 단지 개념적 전주곡인 것으로 이해되어야 한다.
여기에 설명되는 기술들에서, 입력 이미지들은, 입력 이미지들의 휘도 레벨 분포들에 기초하여 생성된, 상이한 동적 범위 윈도우들(예컨대, 절대적 최소 및 최대 휘도 레벨들 등에 대한 조절을 갖는 제한된 동적 범위의 상이한 경우들)로 출력 이미지들에 맵핑된다.
예에서, 입력 이미지가 어두운 휘도 레벨 분포에서 하나 이상의 두드러진 오브젝트들을 보여줄 때, 입력 이미지는 어두운 동적 범위 윈도우로 출력 이미지에 맵핑된다. 상기 어두운 동적 범위 윈도우의 대부분은 입력 이미지에서 대다수의 비교적 어두운 픽셀들에 대해 동일한 또는 실질적으로 동일한 (예컨대, JND의 5%, 10%, 20% 등 내의) 휘도 레벨들을 생성하는데 이용된다. 어두운 동적 범위 윈도우의 밝은 측은 입력 이미지에서 남아있는 비교적 밝은 픽셀들의 압축된 휘도 레벨들을 호스팅(host)하는데 사용된다.
또 다른 예에서, 입력 이미지가 밝은 휘도 레벨 분포에서 하나 이상의 두드러진 오브젝트들을 보여줄 때, 입력 이미지는 밝은 동적 범위 윈도우로 출력 이미지에 맵핑된다. 밝은 동적 범위 윈도우의 대부분은 입력 이미지에서 대다수의 비교적 밝은 픽셀들에 대해 동일한 또는 실질적으로 동일한 휘도 레벨들을 생성하는데 사용된다. 밝은 동적 범위 윈도우의 어두운 측은 입력 이미지에서 남아있는 비교적 어두운 픽셀들의 압축된 휘도 레벨들을 호스팅하는데 사용된다.
비디오 입력 신호 내의 입력 이미지들은 지각적으로 코딩될 수 있다. 여기서 기술된 바와 같은 기술들은 넓은 동적 범위의 입력 이미지의 두드러진 컨텐트를 캡처하는 대다수의 입력 픽셀들을 동일한 또는 실질적으로 동일한 휘도 레벨들로 제한된 동적 범위의 대응하는 출력 이미지에 맵핑한다. 여기서 기술되는 바와 같은 기술들은 동적 범위 윈도우의 밖 또는 그 주변의 휘도 레벨들을 갖는 픽셀들이 단지 클리핑(clipping)되는 대신에 디스플레이 관리를 통해 최대 정도로 압축될 수 있게 한다. 다른 접근들과 비교하면, 여기서 기술된 바와 같은 접근은 출력 이미지들 내에 입력 이미지들의 지각적 품질(perceptual qualities)을 보다 큰 정도까지 유지한다.
여기서 설명된 바와 같은 기술들은 또한 넓은 동적 범위의 입력 이미지들을 제한된 동적 범위의 대응하는 출력 이미지들에 맵핑하면서, 적응된 색 공간의 하나 이상의 기본 채널들(예컨대, 빨간색, 녹색, 청색 또는 다른 색)을 개별적으로 글로벌하게 변조하는데 사용될 수 있다. 상기 기본 채널들의 개별적인 변조들은 색 영역에서 색 밸런스를 고치며, 특정의 색들(이미지들에서 색조 및 포화 영역들)이 다른 것들보다 현저한 경우 유익하다. 예컨대, 현저한 빨강 및 단지 약간의 뮤티드(muted) 청색만을 가진 장면에서, 청색 쪽으로 큰 영역이 필요하지 않게 됨에 따라 뮤티드 청색들을 지각적으로 정확하게 표시하는 능력을 유지하면서 청색 채널 LED들은 다른 채널들에 비해 더욱 밝기가 낮아질수 있다.
글로벌 광 변조 능력을 갖는 제한된 동적 범위 디스플레이 시스템은 넓은 동적 범위 디스플레이 시스템에 비해 효율적인 비용으로 실행될 수 있다. 여기에 기술된 바와 같은 기술들에서, 상기 제한된 동적 범위 디스플레이 시스템은 확장된 동적 범위(EDR), 가시적 동적 범위(하기 기술될 바와 같이 VDR) 또는 HDR 입력 신호로부터 입력 이미지들에서 리치 하이라이트들(rich highlights)은 물론 딥 블랙들(deep blacks)을 달성할 수 있다. 또한, 통계적인 관점으로부터, 많은 입력 이미지들의 동적 범위는 절대적 최소 및 최대 휘도 레벨들에 대한 조정을 갖는 제한된 동적 범위의 일부 동적 범위 윈도우들 또는 일부 실례들에 놓이게 된다. 이러한 접근에서는 단지 일부 픽셀들만이 디스플레이 관리로 맵핑되거나 또는 압축되는 것이 필요할 수 있다. 극도로 밝고 어두운 성분들이 동시에 보일 때 눈에 밝은 빛(glare in the eye)으로 인해 인간 시력의 동적 범위는 종종 감소하게 되므로, 휘도 레벨들을 넓히기 위한 휘도 압축은 출력 이미지들의 지각적 품질에 지나치게 영향을 주지 않고서 실행될 수 있다.
여기에 기술된 바와 같은 기술들은 또한, 이에 제한되지는 않지만, 에너지 절약, 관련된 광원 소자들 및 전자 부품들(예컨대, LED들)의 수명 연장을 포함하는 다른 이점들을 달성하는데 사용될 수 있다.
일부 실시예들에 있어서, 여기에 기술된 바와 같은 메카니즘들은, 이에 제한되지는 않지만, 핸드헬드 디바이스, 게임 머신, 텔레비전, 랩탑 컴퓨터, 태블릿 컴퓨터, 넷북 컴퓨터, 셀룰러 무선전화, 프로젝터, 시네마 시스템, 전자서적 판독기, 매장 단말, 데스크탑 컴퓨터, 컴퓨터 워크스테이션, 컴퓨터 키오스크, 또는 다양한 다른 종류의 단말들 및 미디어 프로세싱 유닛들을 포함하는 미디어 프로세싱 시스템의 일부를 형성한다.
여기에 설명된 적절한 실시예들에 대한 다양한 변경들과 포괄적인 원리 및 특징들은 본 기술분야에 숙련된 인간들에게는 아주 명백할 것이다. 따라서, 개시된 내용은 보여지는 실시예들에 제한되도록 의도되지 않았으며, 여기에 기술된 원리들과 특징들과 일치하는 최상 폭의 범위에 부합되어야 한다.
2. 절대적 휘도 레벨들의 비-지각적 조절들
도 1은 낮은 동적 범위 또는 LDR(102)의 입력 이미지들에 대한 렌더링을 지원하는 디스플레이 시스템의 예시적 양상들을 도시한다. 제한은 없지만, LDR의 예는 Rec.709 및 디지털 시네마 이니셔티브(DCI) 스펙에 규정된다. 그러한 디스플레이 시스템의 비교적 좁은 동적 범위(예컨대, 104)는 주어진 시간에 (예컨대, 이미지 프레임 동안) 동시에 설정될 수 있는 최소 및 최대 휘도 레벨들(예컨대, 각각 0.1 nit 및 140 nits)에 의해 야기된다.
상기 동적 범위(104)와 같은 비교적 좁은 범위의 문제는 이미지들의 전체 휘도 레벨들에 기초하여 시간에 걸쳐 절대적 최소 및 최대 휘도 레벨들을 위(up) 및 아래(down)로 변화시킴으로써 경감될 수 있다. 임의의 주어진 시간에, 절대적 최소 및 최대 휘도 레벨들 양쪽은 상대적 휘도 레벨들을 그 사이에 보존하면서 위(up) 또는 아래(down)로 함께 이동한다.
도 1에 도시된 바와 같이, 그러한 디스플레이 시스템의 절대적 최소 및 최대 레벨들(각각, 0.1 nit 및 140 nits)은 보다 높은 절대적 최소 및 최대 휘도 레벨들의 동적 범위(104-1)까지 위로, 보다 낮은 절대적 최소 및 최대 휘도 레벨들의 동적 범위(104-3)까지 아래로 시프트될 수 있거나, 또는 동적 범위(104)와 동일한 시프트되지 않은 동적 범위(104-2)로 유지될 수 있다. 입력 이미지들에서의 상대적 휘도 레벨들은 임의의 비트 깊이의 특정 코드 공간(예컨대, 8-비트 코드 공간, 10-비트 코드 공간 등)으로 나타내질 수 있다. 광 경로 내의 글로벌 아이리스(global iris), 애퍼처(aperture), 광 집속 또는 확산 구성요소들, 광 변조 디바이스 등을 사용함으로써 디스플레이 시스템에서 절대적 최소 및 최대 휘도 레벨들을 변경하는 것은 입력 이미지들에서 나타내지는 상대적 휘도 레벨들을 변경하지 않는다. 동일한 상대적 코드값들이 디스플레이 시스템에서 상기 입력 이미지들의 렌더링을 유도하는데 사용된다.
일부 실시예들에서, 상기 상대적 휘도 레벨들은 8-비트 코드값들로 나타내질 수 있다. 절대적 최소 및 최대 휘도 레벨들의 제 1 설정을 갖는 코드값(예컨대, 0)은 제 1 이미지 프레임 동안 첫 번째 시점에 제 1 절대 휘도 레벨(예컨대, 0.001 nits)로 참조되며, 이에 반하여 절대적 최소 및 최대 휘도 레벨들의 상이한 제 2 설정을 갖는 동일한 코드값(0)은 상이한 제 2 이미지 프레임 동안 상이한 두 번째 시점에 상이한 제 2 절대 휘도 레벨(예컨대, 0.1 nits)로 참조될 수 있다.
두 개의 휘도 레벨들이 서로 간에 충분히 상이하지 않다면, 인간의 시력은 이들 두 휘도 레벨들 사이의 차이를 인지할 수 없다. 대신에, 상기 휘도 레벨들이 뚜렷한 차이를 보일만큼 다를 경우 인간의 시력은 그 차이를 인지한다. 인간 시력의 지각의 비선형성으로 인하여, 개별적인 JND들의 양들은 휘도 레벨들의 범위에 걸쳐 균일하게 크기가 표시되거나 스케일되지 않으며, 오히려 상이한 개별적인 휘도 레벨들에 따라 변화하게 된다.
일부 실시예들에서, 디스플레이 시스템으로 입력된 비디오 신호의 이미지 데이터는 지각적으로 인코딩되거나 되지 않을 수 있다. 절대적 최소 및 최대 휘도 레벨들이 상향되거나 하향된 후, 입력 이미지 데이터가 지각적으로 인코딩된다고 하더라도, 입력 이미지 데이터의 상대적 휘도 레벨들도 역시 위 및 아래로 시프트된 절대 휘도 레벨들을 발생시킨다. 상기 시프트된 절대 휘도 레벨들은, Rec.709 또는 DCI 스펙 등에 규정된 바의 0.1 nit와 140 nits 사이와는 다른, 도 1의 시프트된 절대적 최소 및 최대 휘도 레벨들(예컨대, 104-1 또는 104-3)에서 인간 시력의 지각적 비선형성과 대체로 매칭하지 않는다. 절대적 최소 및 최대 휘도 레벨들의 상이한 범위들에 대한 인간 시력의 지각적 비-선형성 사이의 이러한 미스매칭은 입력 이미지들에 대한 감마값들과 같은 글로벌 파라미터들을 조절함으로써 용이하게 정정될 수 없다.
결과적으로, 광 경로 내의 글로벌 아이리스, 애퍼처, 광 집속 또는 확산 구성요소들, 광 변조 디바이스 등을 사용함으로써 디스플레이 시스템에서 절대적 최소 및 최대 휘도 레벨들을 조절하는 것은 이미지 외형 변화들 및 시각적 아티팩트들을 야기시킨다. 이러한 이미지 외형 변화들 및 시각적 아티팩트들은, 이에 제한되지는 않지만, 클리핑, 원래 지각가능한 해상도의 손실, 올바른 색상 지각의 손실, 밴딩, 잘못된 윤곽(contour), 이미지의 어두운 영역들에서의 색 시프트 등을 포함한다.
3. 절대 휘도 레벨들의 지각적 조절들
여기에 기술된 바와 같은 기술들에서, LDR 디스플레이 시스템(예컨대, SDR 디스플레이 시스템 등), 모바일 디바이스, 태블릿 컴퓨터 등은 LDR 디스플레이 시스템에 의해 지원되는(또는 기대되는) 순시 동적 범위보다 상당히 넓은, 비교적 넓은 동적 범위의 이미지들을 제공하는 비디오 신호 입력을 수신하도록 구성된다. 실례로, 디스플레이 시스템에 의해 지원되는 순시 동적 범위는 Rec.709 및 DCI 스펙 등에 필적하거나 다를 바 없을 수 있지만, 상기 비디오 신호 입력에 의해 지원되는 동적 범위는 HDR, VDR 등이 될 수 있다. 일부 실시예에서, 비디오 신호 입력은 캘리포니아 샌프란시스코 등의 돌비 연구소에 의해 개발된 지각적 양자화 인코딩 기술들에 기초하여 이미지 데이터를 전달할 수 있다.
도 2a에 도시된 바와 같이, LDR 디스플레이 시스템에 의해 수신된 바와 같은 비디오 신호 입력에서 인코딩된 넓은 동적 범위(202)는 (디스플레이 시스템의 LDR 보다 훨씬 큰 동적 범위들인) 매우 다양한 현대의 고급 디스플레이 시스템들이 지원할 수 있는 전체 동적 범위를 커버할 수 있다. 넓은 동적 범위의 예는 .001 내지 600 nits 가 될 수 있지만, 이에 제한되지는 않는다. 여기에서 사용되는 용어 "VDR" 또는 "시각적 동적 범위"는 (예컨대, 8-비트 코드값들, 10-비트 코드값들 등으로 나타내지는) 표준 동적 범위보다 넓은 (예컨대, 10-비트 코드값들, 12-비트 코드값들, 14-비트 코드값들 등으로 나타내지는) 동적 범위를 참조할 수 있으며, 이에 제한되지는 않지만, 인간 시력이 순간적으로 최대로 인지할 수 있는 순시적 인지가능한 동적 범위 및 색상 범위까지의 넓은 동적 범위를 포함할 수 있다. VDR에서 지원된 휘도 레벨들은 인간 시력의 지각적 비선형성에 매칭하도록 최적으로 이격되고 양자화되는 방식으로 분포될 수 있다.
넓은 동적 범위(202)의 비디오 신호 입력을 사용하여, 도 2a에 도시된 바와 같이 모두 세 개의 예시적인 범위들의 입력 코드값들(222-1, 222-2 및 222-3)이 나타내어질 수 있다. 하지만, 디스플레이 시스템의 동적 범위는 어떠한 주어진 시점에서 상기 넓은 동적 범위(202)의 적정 서브셋(proper subset)으로 제한된다. 실례로, 도 2a에 도시된 바와 같이, 상기 디스플레이 시스템의 동적 범위는 글로벌 광 변조의 특정 설정(예컨대, 글로벌 아이리스 등의 설정)으로 상기 넓은 동적 범위(202)의 부분(204)에 필적하는 동적 범위 윈도우를 커버한다. 여기에서 이용되는 바와 같이, 용어 "동적 범위 윈도우"는 글로벌 광 변조의 특정 설정하에서 주어진 시간에 발생된 제한된 동적 범위의 경우를 참조하며; 상기 동적 범위 윈도우에서의 휘도 레벨은 대체로 글로벌 광 변조의 상기 특정 설정하에서 출력 코드값으로 발생되고; 임의의 주어진 시간에 LDR 디스플레이 시스템에 의해 발생된 바와 같은 상기 동적 범위 윈도우는 비디오 입력 신호의 상기 넓은 동적 범위(예컨대, 202) 보다 (실례로, 상당히) 협소하다. 따라서, 상기 넓은 동적 범위(202)의 상기 부분(204)에 필적하는 상기 동적 범위 윈도우로, 상기 넓은 동적 범위(202) 내의 상위 코드값들(222-1 및 222-2)이 디스플레이될 수 있지만, 상기 넓은 동적 범위(202) 내의 하위 코드값(222-3)은 상기 동적 범위 윈도우의 밖에 있으므로 클리핑될 수 있다.
일부 실시예에 있어서, 여기서 기술된 바와 같은 기술들 하에서의 LDR 디스플레이 시스템은 글로벌 광 변조 능력을 갖도록 구성된다. 여기에서 기술된 바와 같은 디스플레이 시스템은 특정 VDR 입력 이미지에 대한 특정(예컨대, 최적의) 동적 범위 윈도우를 생성하기 위해 글로벌 광 변조의 특정 설정을 결정하도록 구성된다. 상기 동적 범위 윈도우는 글로벌 광 변조의 상기 특정 설정에 대응하는 특정의 절대적 최소 및 최대 휘도 레벨들을 포함한다. 상기 디스플레이 시스템은 상이한 VDR 입력 이미지들에 대해 상이한 동적 범위 윈도우들을 생성한다. 실례로, 제 1 VDR 입력 이미지(206-1)에 대해, 상기 디스플레이 시스템은 제 1 설정의 글로벌 광 변조를 설정하고 제 1 동적 범위 윈도우에 의해 나타내어지는 제한된 동적 범위를 생성한다. 또 다른 실례에서, 제 2 VDR 입력 이미지(206-2)에 대해, 상기 디스플레이 시스템은 제 2 설정의 글로벌 광 변조를 설정하고 제 2 동적 범위 윈도우에 의해 나타내어지는 제한된 동적 범위를 생성한다.
VDR 입력 이미지들은, 요구되지는 않지만, 전체의 넓은 동적 범위(202)를 커버할 수 있다. 두 개의 VDR 입력 이미지들(예컨대, 206-3 및 206-4)이 상기 넓은 동적 범위(202)의 동일한 부분을 커버한다고 하더라도, VDR 이미지들 중 하나(예컨대, 206-3)는 VDR 이미지들 중 다른 하나(예컨대, 206-4)보다 더 많은 하이라이트들(highlights)을 포함할 수 있다.
일부 VDR 입력 이미지들(예컨대, 206-1 및 206-2)은 글로벌 광 변조의 특정 설정들에 의해 생성된 특정의 동적 범위 윈도우들 내에 각각 맞는 상기 넓은 동적 범위(202)의 단지 일부분들을 차지(take up)할 수 있다. 도 2a의 (c)에 도시된 바와 같이, 제 1 VDR 입력 이미지(206-1)는 글로벌 광 변조의 제 1 설정에 의해 생성된 제 1 동적 범위 윈도우 내에 맞는 상기 넓은 동적 범위(202)의 제 1 부분을 차지할 수 있다. 유사하게, 제 2 VDR 입력 이미지(206-2)는 글로벌 광 변조의 제 2 설정에 의해 생성된 제 2 동적 범위 윈도우 내에 맞는 상기 넓은 동적 범위(202)의 제 2 부분을 차지할 수 있다. 여기서 기술된 바와 같은 디스플레이 시스템은, VDR 입력 이미지(본 예에서는, 제 1 VDR 입력 이미지(206-1) 또는 제 2 VDR 입력 이미지(206-2))의 입력 코드값들을 출력 코드값들(또는 시스템-특정 코드값들)로 변환하여, 비록 일부 실시예들에서는 출력 코드값들의 수치적인 값들이 대응하는 입력 코드값들의 것과 상이하게 될 수도 있겠지만, 글로벌 광 변조의 대응하는 설정(본 예에서는 글로벌 광 변조의 제 1 및 제 2 설정)하의 출력 코드값들이 상기 VDR 입력 이미지들에서 지각적으로 코딩된 입력 코드값들과 동일한 또는 실질적으로 동일한 휘도 레벨들을 생성하게 하도록 구성된다.
본 명세서에서 사용되는 바와 같은 "입력 코드값들"은 VDR 입력 이미지에서 채택된 색 공간의 하나 이상의 채널들의 코드값들로 참조되며; 상기 입력 코드값들은 비교적 높은 비트 길이(예컨대, 10 bits, 12 bits, 14 bits 등)의 코드 공간에서의 값들에 의해 나타내어질 수 있다. 본 명세서에서 사용되는 바와 같은 "출력 코드값들"은 LDR 이미지에서 (VDR 입력 이미지에 대해 채택된 색 공간과 동일할 수도 또는 동일하지 않을 수도 있는) 채택된 색 공간의 하나 이상의 채널들의 (예컨대, 표준 기반의, 시스템 특정 등의) 코드값들로 참조되며; 상기 출력 코드값들은 비교적 낮은 비트 길이(예컨대, 8 bits, 10 bits 등)의 (예컨대, 표준 기반의, 시스템 특정 등의) 코드 공간에서의 값들에 의해 나타내어질 수 있다.
일부 VDR 입력 이미지들(예컨대, 206-3 및 206-4 등)은 글로벌 광 변조의 임의의 설정들에 의해 생성된 어떠한 동적 범위 윈도우들 내에도 맞지 않는 상기 넓은 동적 범위(202)의 큰 부분을 차지할 수 있다. 도 2a의 (d)에 도시된 바와 같이, 제 3 VDR 입력 이미지(206-3)는 상기 디스플레이 시스템에 의해 상기 제 3 VDR 입력 이미지(206-3)에 대해 최적으로 선택된 제 3 동적 범위 윈도우(도시되지 않음) 또는 글로벌 광 변조의 임의의 설정에 의해 생성된 어떠한 동적 범위 윈도우 내에도 맞지 않는 상기 전체의 넓은 동적 범위(202)를 차지할 수 있다. 유사하게, 제 4 VDR 입력 이미지(206-4)는 상기 디스플레이 시스템에 의해 상기 제 4 VDR 입력 이미지(206-4)에 대해 최적으로 선택된 제 4 동적 범위 윈도우(도시되지 않음) 또는 글로벌 광 변조의 임의의 설정에 의해 생성된 어떠한 동적 범위 윈도우 내에도 맞지 않는 상기 넓은 동적 범위(202)를 차지할 수 있다.
비록 상기 제 3 VDR 입력 이미지(206-3)가 상기 제 4 VDR 입력 이미지(206-4)와 동일한 동적 범위를 커버할 수도 있지만, 이들 두 개의 VDR 입력 이미지들(206-3 및 206-4)에 대해 상기 디스플레이 시스템에 의해 결정된 동적 범위 윈도우들은 상이할 수 있다. 실례로, 상기 제 3 VDR 입력 이미지(206-3) 전체는 상기 제 4 VDR 입력 이미지(206-4)보다 많은 하이라이트들과 보더 적은 어두운 영역들을 포함할 수 있으며, 상기 제 3 VDR 입력 이미지(206-3)에 대해 선택된 제 3 동적 범위 윈도우는 상기 제 4 VDR 입력 이미지(206-4)에 대해 선택된 제 4 동적 범위 윈도우에 의해 커버되는 상기 넓은 동적 범위(202)의 부분보다 더 밝은 상기 넓은 동적 범위(202)의 부분을 커버할 수 있다.
일부 실시예들에 있어서, 디스플레이 시스템은 VDR 입력 이미지(예컨대, 206-3, 206-4 등)의 동적 범위를 지각적 보존을 위한 입력 코드값 범위 및 디스플레이 관리를 위한 제로 또는 그 이상의 입력 코드값 범위들로 분할하도록 구성된다. VDR 입력 이미지(예컨대, 206-3, 206-4 등)에 대해 설정된 이들 범위들의 수, 위치들, 크기들은 상기 VDR 입력 이미지(예컨대, 206-3, 206-4 등)의 특정 이미지 데이터에 기초하여 결정되며, 이미지마다 서로 다를 수 있다.
도 2a의 (d)를 참조하면, 상기 제 3 VDR 입력 이미지(206-3)에 대해 결정된 제 3 동적 범위 윈도우는 상기 넓은 동적 범위(202)의 상위 부분을 커버할 수 있다. 일부 실시예들에 있어서, 디스플레이 시스템은 상기 제 3 동적 범위를 상기 넓은 동적 범위(202)의 상위 부분에 위치된 지각적 보존을 위한 입력 코드값 범위(예컨대, 208-1) 및 상기 입력 코드값 범위(208-1) 아래의 디스플레이 관리를 위한 입력 코드값 범위(210-1)로 분할하도록 구성된다. 상기 제 3 VDR 입력 이미지(206-3)에 대해 설정된 이들 범위들(208-1 및 210-1)의 수, 위치들, 크기들은 상기 제 3 VDR 입력 이미지(206-3)의 이미지 데이터에 기초하여 결정된다.
유사하게, 도 2a의 상기 제 4 VDR 입력 이미지(206-4)에 대해 결정된 제 4 동적 범위 윈도우는 상기 넓은 동적 범위(202)의 하위 부분을 커버할 수 있다. 일부 실시예들에 있어서, 디스플레이 시스템은 상기 제 4 동적 범위를 상기 넓은 동적 범위(202)의 하위 부분에 위치된 지각적 보존을 위한 입력 코드값 범위(예컨대, 208-2) 및 상기 입력 코드값 범위(208-2) 위의 디스플레이 관리를 위한 입력 코드값 범위(210-2)로 분할하도록 구성된다. 상기 제 4 VDR 입력 이미지(206-4)에 대해 설정된 이들 범위들(208-2 및 210-2)의 수, 위치들, 크기들은 상기 제 4 VDR 입력 이미지(206-4)의 이미지 데이터에 기초하여 결정된다.
지각적 보존을 위한 입력 코드 범위 내의 입력 코드값들을 갖는 VDR 입력 이미지(예컨대, 206-3, 206-4 등)의 픽셀들은 "범위-내(in-range)" 픽셀들로 참조되며, 비록 출력 코드값들의 수치적인 값들이 대응하는 입력 코드값들과 다를 수는 있다 하더라도, 특정의 동적 범위 윈도우에 대한 글로벌 광 변조의 특정 설정하에서 출력 코드값들이 VDR 입력 이미지(예컨대, 206-3, 206-4 등)에서 지각적으로 코딩된 입력 코드값들과 동일하거나 실질적으로 동일한 휘도 레벨들을 생성하는 출력 코드값들(또는, 시스템-특정 코드값들)을 갖는다. (지각적 보존을 위한 상기 입력 코드 범위 밖에 있는) 제로 이상의 입력 코드값 범위들 내의 입력 코드값들을 갖는 VDR 입력 이미지(예컨대, 206-3, 206-4 등)의 픽셀들은 "범위-밖(out-of-range)" 픽셀들로 참조되며, 특정의 동적 범위 윈도우에 대한 글로벌 광 변조의 특정 설정하에서 출력 코드값들이 VDR 입력 이미지(예컨대, 206-3, 206-4 등)에서 지각적으로 코딩된 입력 코드값들과 동일한 휘도 레벨들을 생성하지 않을 수 있는 출력 코드값들(또는, 시스템-특정 코드값들)을 갖는다. 디스플레이 관리 동작들은 상기 범위-밖 픽셀들 상에서 실행될 수 있다.
일부 실시예에서, 출력 코드값들(또는, 시스템-특정 코드값들)은 상기 넓은 동적 범위(202)에서 입력 코드값들과는 다른 밀도를 가질 수 있다. 상기 "범위-내" 필셀들은 지각적으로 정확하게 조절된 값들을 가질 수 있다. 예컨대, 입력 코드값들에 의해 나타내지는 휘도 레벨들에 대해 LDR 디스플레이 시스템에서 가장 근접한 휘도 레벨들을 발생하는 출력 코드값들이 상기 LDR 디스플레이 시스템의 렌더링 동작들에서 상기 입력 코드값들을 나타내도록 선택될 수 있다.
도 2b에서 도시된 바와 같이, t0에서, VDR 휘도 (레벨) 분포를 갖는 VDR 입력 신호가 수신된다. VDR 휘도 레벨 분포는 아래에 위치되는 두드러진 부분 및 위에 위치되는 적은 하이라이트 부분을 구비한다. 이러한 VDR 입력 이미지는 본 명세서에서 기술되는 바와 같은 기술들로 (예를들면 돌비 글로벌 디밍(Dolby global dimming) 등을 통해) 상기 VDR 휘도 레벨 분포에 기초하여 결정된 바와 같은 동적 범위 윈도우를 갖는 SDR 출력 이미지로 변환된다. 범위-내 픽셀들에 대응하는, 낮은 휘도 레벨들에서 상기 VDR 휘도 레벨 분포의 많은 부분(또는 두드러진 부분)은 거의 상기 SDR 출력 이미지에서 SDR 휘도 레벨들로 맵핑된다. 범위-밖 픽셀들에 대응하는, 높은 휘도 레벨들에서 상기 VDR 휘도 레벨 분포의 적은 부분(또는 하이라이트 부분)은 톤-맵핑(tone-mapping) 등과 같은 디스플레이 관리를 통해 SDR 휘도 레벨들로 압축된다.
t1에서, 상이한 VDR 휘도 (레벨) 분포를 갖는 상이한 VDR 입력 이미지가 수신된다. 상기 상이한 VDR 휘도 레벨 분포는 중간에 위치되는 두드러진 부분, 위에 위치되는 적은 하이라이트 부분(small highlight portion), 및 아래에 위치되는 적은 다크 부분(small dark portion)을 포함한다. 이러한 상이한 VDR 입력 이미지는 본 명세서에서 기술되는 바와 같은 기술들로 (예를 들면 돌비 글로벌 디밍 등을 통해) 상기 VDR 휘도 레벨 분포에 기초하여 결정된 바와 같은 (t0 에서의 상기 VDR 입력 이미지에 대한 동적 범위 윈도우보다 낮은) 상이한 동적 범위 윈도를 갖는 상이한 SDR 출력 이미지로 변환된다. 중간-범위 휘도 레벨들에서 상기 VDR 휘도 레벨 분포의 많은 부분(또는 가장 두드러진 부분)은 거의 상기 SDR 출력 이미지에서 SDR 휘도 레벨들로 맵핑된다. 높은 휘도 레벨들 및 낮은 휘도 레벨들에서 상기 VDR 휘도 레벨 분포의 적은 하이라이트 부분 및 적은 다크 부분 양쪽 모두는 톤-맵핑 등과 같은 디스플레이 관리를 통해 SDR 휘도 레벨들로 압축된다.
여기서 기술된 기술들에서, 상기 VDR 입력 이미지들의 범위-내 픽셀들의 픽셀 값들은 지각적 양자화 공간에서 지각적으로 정확하게 유지되거나 조절되므로, 비록 상기 출력 LDR 이미지들이 LDR 디스플레이 시스템에 의해 지원될 수 있는 제한된 동적 범위이라 하더라도, (LDR 디스플레이 시스템의 렌더링 동작을 실행하는) 출력 코드값들을 구비한 출력 LDR 이미지들은 상기 VDR 입렵 이미지들의 상당한 원래의 지각적 외형을 보존한다.
4. 디스플레이 시스템들의 비교
도 3은 글로벌 광 변조 능력을 갖거나 갖지 않는 LDR 디스플레이 시스템들을 비교한다. 모든 VDR 입력 이미지들이 전체 VDR 범위 등과 같은 비디오 입력 신호의 전체의 넓은 동적 범위(예컨대, 202)를 사용하는 것은 아니다. 도 3에 도시된 바와 같이, 제 5 VDR 입력 이미지(206-5)는 상기 넓은 동적 범위(202)의 제 5 부분, 실례로 0.5 와 4000 nits 사이의 휘도 레벨들을 갖는다. 유사하게, 제 6 VDR 입력 이미지(206-6)는 상기 넓은 동적 범위(202)의 제 6 부분, 실례로 0.005 와 8.0 nits 사이의 휘도 레벨들을 갖는다. 글로벌 광 변조를 갖지 않는 디스플레이 시스템에 대해서는, 제 5 VDR 입력 이미지(206-5) 및 제 6 VDR 입력 이미지(206-6) 양쪽 모두는 LDR 디스플레이 시스템의 동일한 제한된 동적 범위(304)로 맵핑되어, 상기 VDR 입력 이미지들(206-5 및 206-6)에 대해 바람직하지 않은 지각적 외형의 변경들 및 시각적 아티팩트들을 일으킨다. 그러한 LDR 시스템은 로컬 디밍 능력을 여전히 선택적으로 가질 수 있지만, 상기 LDR 디스플레이 시스템의 동적 범위의 절대적 최소 및 최대는 고정된다는 것을 유념해야한다.
극명한 대조로, 글로벌 광 변조를 갖는 디스플레이 시스템에 대해서는, 제 5 VDR 입력 이미지(206-5) 및 제 6 VDR 입력 이미지(206-6) 각각은 상기 VDR 입력 이미지에서 나타내지는 휘도 레벨들에 기초하여 결정된 바와 같이 상기 LDR 디스플레이 시스템의 특정 동적 범위 윈도우(306-1 또는 306-2)로 맵핑된다. 더욱이, 상기 디스플레이 시스템의 렌더링 동작들에 의해 사용되는 출력 코드값들은 상기 VDR 입력 이미지에서 나타내지는 바와 동일한 또는 실질적으로 동일한 휘도 레벨들을 생성하도록 지각적으로 정확하게 조절/변경되어, 상기 VDR 입력 이미지들(206-5 및 206-6)에 대해 지각가능한 외형의 충실한 재생을 가져온다. 그러한 LDR 시스템은 로컬 디밍 능력을 여전히 선택적으로 가질 수 있으며; 상기 LDR 디스플레이 시스템의 동적 범위의 절대적 최소 및 최대는 고정되지 않고, 바람직하게 상이한 동적 범위 윈도우들을 발생하도록 글로벌 광 변조의 설정들로 조절가능하다는 것을 유념해야한다.
VDR 입력 이미지의 동적 범위는 또한 글로벌 변조 능력을 갖는 LDR 디스플레이 시스템에 의해 지각적 보존을 위한 입력 코드값 범위와 디스플레이 관리를 위한 제로 이상의 입력 코드값 범위들로 분할될 수 있다. 지각적 보존을 위한 입력 코드값 범위는 상기 VDR 입력 이미지의 두드러진 부분(예컨대, 상기 VDR 이미지의 중간 섹션, 액션들이 검출되는 섹션 등) 또는 상당히 큰 수의 범위-내 픽셀들로 할당될 수 있다. 상기 VDR 입력 이미지의 전체 동적 범위가 상기 VDR 입력 이미지에 대한 글로벌 광 변조의 임의의 설정으로 최적의 동적 범위 윈도우에 맞춰질 수 없을 때에도, 상기 VDR 입력 이미지들의 두드러진 부분 또는 비교적 많은 수의 픽셀들이 상기 LDR 디스플레이 시스템에 의해 렌더링될 대응하는 LDR 이미지에서 지각적으로 정확하게 보존/조절된다. 따라서, 이에 제한되지는 않지만 글로벌 광 변조 능력을 갖지 않는 디스플레이 시스템들을 포함하는 다른 접근들에 비하여, 상기 VDR 입력 이미지들에서 비교적 많은 수의 지각 정보가 상기 LDR 디스플레이 시스템에 의해 렌더링되는 바의 LDR 이미지들에 유지된다.
5. 예시적 프로세싱 및 광 변조 경로들
도 4는 글로벌 광 변조 능력을 갖는 LDR 디스플레이 시스템에서 예시적 프로세싱 및 광 변조 경로들을 도시한다. 일부 실시예들에서, 프로세싱 경로는 디스플레이 스크린(406)상에서 LDR 이미지들을 렌더링할 목적의 프로젝션 경로에서 광 발생 구성요소들, 광 변조 구성요소들(410), 광 제어 구성요소들(412)을 제어하도록 각각 구성된 글로벌 변조 드라이버(402) 및 디스플레이 관리 모듈(404)을 포함한다. 광 변조 구성요소들(410)은 이에 제한되지는 않지만 광 변조 구성요소들에 기초한 DLP(Digital Light Processing)/LCoS(Liquid Crystal on Silicon)/LCD(Liquid Crystal Display)이 될 수 있다. 광 제어 구성요소들(412)은 이에 제한되지는 않지만 글로벌 애퍼쳐(global aperture), 글로벌 아이리스(global iris) 등이 될 수 있으며, 글로벌 광 변조의 설정에 의해 부분적으로 제어된다. 상기 LDR 이미지들은 넓은 동적 범위(202)의 비디오 신호 입력에서 수신될 수 있는 VDR 입력 이미지들 내의 입력 코드값들을 지각적으로 정확하게 조절함으로써 대부분 얻어진다.
상기 프로세싱 경로에서, 상기 비디오 신호 입력에서의 VDR 입력 이미지는 글로벌 변조 드라이버(402)에 의해 분석되어, 상기 VDR 입력 이미지의 휘도 레벨 분포(예컨대, 히스토그램, 테이블들 등)를 결정하고, 상기 VDR 입력 이미지 내의 입력 코드값들이 맵핑되는 (글로벌 광 변조의 특정 설정에서의 LDR의 경우가 되는) 최적의 동적 범위 윈도우를 결정하게 한다. 상기 최적 동적 범위 윈도우의 결정은 글로벌 광원 모듈(408) 및/또는 글로벌 애퍼쳐, 글로벌 아이리스 등과 같은 글로벌 광 변조 구성요소들에 의해 발생될 절대적 최소 및 최대 휘도 레벨들의 결정을 포함한다. 글로벌 변조 드라이버(402)는 글로벌 광 변조 구성요소들(410)의 제어 동작들을 실행하는 것은 물론 광원 제어 동작들을 실행하도록 구성되고, 디스플레이 스크린(406)상에 (상기 VDR 입력 이미지에 대응하는) LDR 이미지를 렌더링할 목적으로 하나 이상의 로컬 변조 층들을 조사하기 위해 글로벌 광량을 변조하도록 구성될 수 있다. 일부 실시예들에 있어서, 글로벌 변조 드라이버(402)는 또한 글로벌 또는 로컬 광 변조의 일부로서 레이저 변조 제어를 실행하도록 구성될 수 있다.
도 4의 디스플레이 관리 모듈(404)은 최적의 동적 범위 윈도우들의 최소 및 최대 휘도 레벨들과 같은 그 입력 파라미터들을 연속적으로 갱신하도록 구성될 수 있다. 일부 실시예들에서, 상기 최적의 동적 범위 윈도우들의 최소 및 최대 휘도 레벨들은 이미지마다 글로벌 광 변조의 설정들의 함수들로서 다르게 된다. 글로벌 광 변조의 특정 설정들은 특정의 VDR 입력 이미지들의 이미지 데이터에 의존하며 특정의 최소 및 최대 휘도 레벨들 및 최적의 동적 범위들을 생성하도록 특정 상태들로 상기 광원 모듈(408) 및 상기 광 변조 구성요소들(410)을 위치시키는데 사용된다.
도 4의 디스플레이 관리 모듈(404)은 VDR 입력 이미지들 내의 입력 코드값들과 대응하는 LDR 이미지들 내의 출력 코드값들 사이에서 연속적인 조절을 실행하도록 구성될 수 있다. 상기 디스플레이 관리 모듈(404)은 VDR 입력 이미지 내의 입력 코드값들을 상기 VDR 입력 이미지에 기초하여 결정된 특정의 최적의 동적 범위 윈도우로 지각적으로 맵핑하도록 구성될 수 있다. 상기 디스플레이 관리 모듈(404)에 의해 발생된 또는 결정된 픽셀 조절들은 상기 VDR 입력 이미지에 대응하는 지각적으로 정확한 LDR 이미지를 디스플레이 스크린(406)상에 렌더링하도록 픽셀-레벨 또는 픽셀-블록-레벨 광 변조 구성요소들(410)을 제어하는데 사용될 수 있다.
"펌핑(pumping)" 아티팩트들(예컨대, 연속하는 동적 범위 윈도우들에서 절대적 최소 및 최대 휘도 레벨들의 의도치 않은 진동들(oscillations) 또는 갑작스러운 이동들(shifts))을 피하기 위하여, 일시적 댐프닝(temporal dampening)이 적용될 수 있어, 두 개의 상이한 동적 범위 윈도우들이, 지각적으로 말하면, 갑작스럽지 않고 비교적 점진적으로 예컨대 0.5초, 1초, 3초 등의 시간 간격으로 서로 간에 전이될 수 있다.
디스플레이 시스템은 VDR 입력 이미지(예컨대, 206-1, 206-2, 206-3, 206-4 등)에 대한 동적 범위 윈도우를 결정/선택하고, 상기 동적 범위 윈도우에서 지각적 보존을 위한 입력 코드값 범위를 식별/결정하도록 구성된다. 실례로, 상기 디스플레이 시스템은 상기 VDR 입력 이미지의 휘도 레벨 분포를 결정하고, 가능한 상기 휘도 레벨 분포만큼을 커버하도록 상기 동적 범위 윈도우를 선택하고, 상기 디스플레이 시스템의 글로벌 광 변조 능력에 기초하여, 상기 동적 범위 윈도우를 생성하도록 글로벌 광 변조의 특정 설정을 결정할 수 있다. 상기 휘도 레벨 분포에서 휘도 레벨들은 상이하게 가중될 수 있다. 비교적 큰 수들의 픽셀들을 갖는 휘도 레벨들에는 비교적 적은 수들의 픽셀들을 갖는 다른 휘도 레벨들에 비교하여 비교적 높은 가중들이 할당된다. 상기 디스플레이 시스템은 비교적 많은 픽셀들을 갖는 더 많은 휘도 레벨들을 커버하기 위한 상기 동적 범위 윈도우를 선택하도록 바이어스될 수 있다. 또한, 상기 디스플레이 시스템은 상기 동적 범위 윈도우에서 지각적 보존을 위한 입력 코드값 범위를 식별하도록 상기 휘도 레벨 분포를 사용할 수 있다.
상기 디스플레이 시스템은 상기 지각적 보존을 위한 입력 코드값 범위 밖의 "범위-밖(out-of-range)"의 픽셀 수를 최소화하도록 및/또는 휘도 압축을 필요로 하는 레벨들의 수를 최소화하도록 구성될 수 있다. 상기 디스플레이 시스템은 (예컨대, 이에 제한되지는 않지만 캘리포니아 샌프란시스코 등에 소재하는 돌비 레버러터리즈 인크에 의해 개발된 것들을 포함하는 디스플레이 관리 동작들, 톤-맵핑을 통해) 휘도 압축을 필요로 한 휘도 레벨들의 수를 최소화하도록 구성될 수 있다.
상기 디스플레이 시스템은 지각적으로 및 정확하게 상기 범위-내 픽셀들의 입력 코드값들을 출력 코드값들로 조절할 수 있고, 범위-밖 픽셀들의 입력 코드값들을 톤-맵핑 등을 통해 압축된 휘도 레벨들을 갖는 출력 코드값들로 맵핑할 수 있다.
VDR 입력 이미지들의 적어도 두드러진 부분들을 커버하도록 최적의 동적 범위 윈도우들을 선택하는 동작들과 글로벌 광 변조의 설정들을 설정하는 동작들은 상관관계에 있다. 동적 범위 윈도우들을 지속적으로 선택하고 글로벌 광 변조의 설정들을 설정하기 위해 상기 디스플레이 관리 모듈(404)과 상기 글로벌 변조 드라이버(402) 사이에 피드백 루프가 실행될 수 있다. 결과적으로, VDR 입력 이미지들의 전체의 휘도 레벨들이 시간에 걸쳐 변경될 때에도 지각적으로 정확한 이미지들이 유지될 수 있다.
VDR 입력 이미지의 범위-내 픽셀들의 VDR 휘도 레벨들은 지각적 보존을 위해 준비된 동적 범위 윈도우의 하나 이상의 부분들에서 LDR 휘도 레벨들에 의해 지각적으로 유지될 수 있다. 상기 디스플레이 시스템에 의해 수신된 바와 같은 상기 VDR 입력 이미지들의 동적 범위들에 따라, 상기 VDR 입력 이미지의 임의의 VDR 휘도 레벨들이 여전히 상기 선택된 동적 범위 윈도우 밖에 놓이게 되어, 따라서 여전히 클리핑되거나 또는 압축되게 될 수 있다. 일부 VDR 휘도 레벨들의 클리핑 및 압축은 이들 VDR 휘도 레벨들을 디스플레이 관리를 위해 준비된 동적 범위 윈도우의 일부 부분들 내의 LDR 휘도 레벨들로 맵핑함으로써 지각적으로 숨겨질 수 있다. 어떤 주어진 시간에서도 디스플레이 관리를 위해 준비된 동적 범위 윈도우의 제로 이상의 부분들과 지각적 본존을 위해 준비된 상기 동적 범위 윈도우의 하나 이상의 부분들은 상기 전체의 동적 범위 윈도우를 구성한다.
본 명세서에서 기술되는 바와 같은 기술들의 효율을 지원하는 인지 시각 시스템(human visual system)에서의 몇몇의 프로세스들이 있다. 실례로, 상기 인지 시각 시스템의 지각가능한 동적 범위는 눈에서의 환한 빛(glare in the eye)(유사하게 카메라 렌즈들에서 발생할 수 있음)으로 인해 극도로 밝은 그리고 어두운 요소들 양쪽 모두가 가시적일 때 종종 감소된다. 동시 대비(simultaneous contrast)는 흑색 지각(black perception)을 개선할 수 있으며, 이러한 것은 일정 정도까지 상기 디스플레이 시스템의 절대적 흑색 및 백색 레벨들과는 독립적이다.
도 5는 LDR 디스플레이 시스템에 의해 렌더링되는 바와 같은 두 개의 예시적인 LDR 이미지들을 도시한다. 좌측 상에 있는 어두운 이미지는 밝은 하이라이트가 많지 않은 낮은 휘도 레벨들(또는 깊은 블랙 레벨들)의 좁은 셋을 갖는 제 1 VDR 입력 이미지로부터 얻어진다. 우측 상에 있는 밝은 이미지는 낮고 높은 양쪽의 휘도 레벨들의 넓은 셋을 갖는 제 2 VDR 입력 이미지로부터 얻어진다.
여기서 기술된 바와 같은 기술들은 장면(scene)의 픽셀들의 휘도 레벨들을 크게 압축하지 않고서 상기 제 1 VDR 입력 이미지로부터 상기 좌측 상에 있는 어두운 이미지를 생성하는데 사용된다. 최소 및 최대 휘도 레벨들을 제어하는 애퍼쳐 또는 아이리스는 비교적 작은 개구로 설정될 수 있거나, 또는 상기 애퍼쳐 또는 아이리스가 열려있는 기간 동안과 관련하여 비교적 긴 기간 동안 닫혀있을 수 있다. 상응하여, 상기 제 1 VDR 입력 이미지에 기초하여 결정된 최적의 동적 범위 윈도우는 상기 제 1 VDR 입력 이미지에서의 모든 또는 실질적으로 모든 VDR 휘도 레벨들에 대한 완전히 어드레스가능한 블랙 레벨들을 생성한다.
오른쪽 상에 있는 상기 밝은 이미지에서의 태양은 강렬한 하이라이트를 생성한다. 태양의 존재에 의해 야기된 밝은 빛(glare)은 제 2 입력 VDR 이미지에 대해 상승된 블랙 레벨을 가져온다. 따라서, 디스플레이 시스템의 LDR의 기본의 어두운 블랙 레벨은 상기 제 2 VDR 입력 이미지에 대응하는 LDR 이미지를 렌더링하는 시점에 상승된다. 상기 어두운 블랙 레벨의 상승은 상기 제 1 입력 VDR 이미지에 대해 선택된 비교적 어두운 동적 범위 윈도우로부터 상기 제 2 입력 VDR 이미지에 대해 선택된 비교적 밝은 동적 범위 윈도우로 LDR을 위쪽으로 시프팅함으로써 부분적으로 달성된다. 최소 및 최대 휘도 레벨들을 제어하는 애퍼쳐 또는 아이리스는 비교적 큰 개구로 설정될 수 있거나, 또는 애퍼쳐 또는 아이리스가 닫혀있는 기간 동안과 관련하여 비교적 긴 시간 동안 개방될 수도 있다.
여기서 기술된 바와 같은 기술들은 또한 지각적 보존을 위해 준비된 최적의 동적 범위 윈도우의 일부의 출력 코드값들로 지각적 보존을 위한 입력 코드값 범위의 제 2 VDR 입력 이미지의 중간 또는 높은 VDR 휘도 레벨들을 지각적으로 정확하게 유지/조절함으로써 우측 상에 있는 밝은 LDR 이미지를 생성하는데 사용될 수 있다.
상기 제 2 입력 VDR 이미지 내의 비교적 적은 픽셀들은 상기 제 2 입력 VDR 이미지에 기초하여 결정된 바와 같은 최적의 동적 범위 윈도우에 대해 잠재적인 아웃라이어들(potential outliers)이 될 수 있으며 디스플레이 관리 모듈(404)에 의해 상기 최적의 동적 범위 윈도우로 맵핑, 압축될 수 있거나 및/또는 심지어 클리핑될 수도 있다. 상기 제 2 입력 VDR 이미지의 일부 낮은 VDR 휘도 레벨들은 휘도 압축을 위해 준비된 최적의 동적 범위 윈도우의 제로 이상의 부분들로 압축될 수 있다.
도 5에 도시된 바와 같이, VDR 입력 이미지들의 지각적 충실도는 다른 기술들보다는 여기서 기술된 기술들 하에서 비교적 더 양호하게 유지된다. 좌측 상에 있는 어두운 이미지는 상기 제 1 입력 VDR 이미지의 전체 동적 범위를 대부분 보존하지만, 우측 상에 있는 밝은 이미지는 더욱 눈에 띄는 태양의 존재로 인하여 상기 제 2 VDR 이미지의 중요한 부분(두드러진 부분)을 대부분 보존한다. 인간의 시력은 동시의 강력한 밝은 빛을 마주볼 때 낮은 휘도 레벨들을 구별하기 위한 일부 능력을 자연적으로 손실하므로, 우측 상에 있는 밝은 이미지 내의 낮은 휘도 레벨들의 지각적 충실도는 상기 제 2 입력 VDR 이미지 내의 낮은 휘도 레벨들의 휘도 압축에 의한 것보다 더 희생되지 않으며, 만족스러운/수용가능한 정도를 유지한다.
6. 절대적 휘도 레벨들의 비-지각적 조절들
도 6은 장면에서 입력 VDR 이미지들의 시퀀스에 대한 동적 범위 윈도우들의 예시적 시퀀스를 도시한다. 상기 동적 범위 윈도우들 및 그들 최대 및 최소 휘도 값들은 VDR 입력 이미지들의 함수들이다. 비디오 신호 입력 내의 VDR 입력 이미지들은 (기본 십(10)의 대수 영역에서 절대적 휘도 레벨들인) 도 6에서 수직 축을 따라 입력 동적 범위(602)를 커버한다. LDR 디스플레이 시스템은 개개의 시점들에서 별개의 좁은 동적 범위 윈도우들을 생성하도록 글로벌 변조 설정들을 선택/설정할 수 있고, 그러한 윈도우들은 시간에 걸쳐 비교적 넓은 출력 동적 범위(604)를 집합적으로 커버하게 된다.
상기 장면에서 VDR 입력 이미지들은 상기 VDR 입력 이미지들의 함수로서 동적 범위 윈도우들을 결정하도록 상기 LDR 디스플레이 시스템의 글로벌 변조 드라이버(402)에 의해 분석된다. (최대 휘도 값 곡선(606) 상의) 최대 휘도 값 및 (최소 휘도 값 곡선(608) 상의) 최소 휘도 값 등과 같은 파라미터들은 상기 결정된 동적 범위 윈도우들에서 각각의 동적 범위 윈도우를 규정하고, 상기 LDR 디스플레이 시스템의 디스플레이 관리 모듈(404)과 공유되며, 상기 모듈은 VDR 입력 이미지 내의 입력 코드값들을 그 동적 범위 윈도우를 갖는 대응하는 LDR 이미지 내의 출력 코드값들로 맵핑한다.
상기 디스플레이 시스템에서 백라이트 유닛(BLU)과 같은 광원 구성요소(408)와 글로벌 애퍼쳐, 글로벌 아이리스 등과 같은 광 제어 구성요소들(412)은 상기 VDR 입력 이미지가 맵핑되는 상기 LDR 이미지에 대한 글로벌 광 출력을 변조하기 위해 이미지 단위의 특정 설정들로 제어될 수 있다.
설명의 목적으로, (도 6의 수평 축에 의해 도시된 바와 같은) 프레임 1에서 프레임 7까지 상기 글로벌 변조 드라이버(402)에 의해 결정된 바와 같은 동적 범위 윈도우들은 거의 10-1 내지 102 cd/m2 까지 걸쳐있다. 프레임 9에서 프레임 12까지 상기 글로벌 변조 드라이버(402)에 의해 결정된 바와 같은 동적 범위 윈도우들은 10-0.25 내지 102.75 cd/m2 까지 걸쳐있다. 비록 VDR 입력 이미지(예컨대, 프레임 10, 프레임 11 등)는 102.75 cd/m2 보다 높은 최대치를 갖는 동적 범위 윈도우로 더 잘 나타내질 수도 있지만, 전체 파워 광원(full power light source) 및 최대 광 출력 허용량을 갖는 디스플레이 시스템(예컨대, DLP, LCD 등)의 물리적 동적 범위의 최대 휘도 레벨은 여전히 102.75 cd/m2 으로 한도가 정해지며, 이러한 것은 생산하도록 구성되는 예시적 디스플레이 시스템의 최대치이다.
본 명세서에 기술된 기술들은 디스플레이 동작들에서 다양한 목적들을 달성하는데 사용될 수 있다. 이들 목적들은 제한되지는 않지만: 지각되는 동적 범위들을 최대화하고, 글로벌 광 변조로 디스플레이 시스템에서 지각적 정확도를 증가시키고, 에너지 소비를 감소시키고, 열 발생을 감소시키고, LED 오버히팅을 방지하는 등을 포함한다. 실례로, 시간당 어떤 에너지 사용량이 초과될 수 없다면, 여기에 기술된 바와 같은 기술들은 주어진 환경들에 가능한 만큼 상기 VDR 입력 이미지의 지각적 충실도를 유지하면서, LDR 시스템의 광원을 적절한 강도의 레벨로 낮추도록 사용될 수 있다.
다른 실례에서, 열 관련 영구적 손상으로부터 LED 광원들을 보호하기 위해, LDR 디스플레이 시스템에서 LED 광원들은 연장된 시간 동안 오버드라이브되는 것이 방지되어야할 필요가 있을 수 있다. 본 명세서에 기술된 기술들은, 만일 상기 LED 광원들이 미리 구성된 시간 동안 오버드라이브되었다면, 상기 LED 광원들의 강도 레벨을 천천히 낮추도록(또는, 일시적으로 약화시키도록) 사용될 수 있다. 본 명세서에 기술된 기술들에 의해, 주어진 환경들에 가능한 만큼 상기 VDR 입력 이미지의 지각적 충실도에 대한 부정적인 영향을 최소화하면서, 휘도의 결과적인 감소가 지각적으로 보상될 수 있다.
본 명세서에서 사용되는, 용어 "휘도 레벨" 또는 "휘도 값"은 교환가능하게 사용될 수 있으며, 특정의 동적 범위에서 양자화된 휘도 레벨로 참조될 수 있다. 본 명세서에서 사용되는, 용어 "nit" 또는 그 약어 "nt"는, 평방미터당 일(1) 칸델라(또는 cd/m2)와 등가 또는 동일한, 이미지 강도, 밝기, 루마(luma) 및/또는 휘도의 단위와 동의어로 또는 교환가능하게 참조되거나 관련될 수 있다.
설명의 목적으로, 비교적 넓은 동적 범위가 VDR인 것으로 설명되었다. 하지만, 본 발명은 그렇게 제한되지 않을 수도 있다. 본 발명의 기술들은 비교적 좁은 동적 범위를 지원하는 디스플레이 시스템에서 비-VDR 동적 범위의 (입력) 이미지들의 지각적 충실도를 보존하기 위해 사용될 수 있다. 비교적 넓은 동적 범위는 10 bit, 12 bit, 13 bit, 14 bit, 또는 더 높은 코드 공간에 있는 (입력) 코드값들로 나타내질 수 있으며, 이에 반해 비교적 좁은 동적 범위는 14 bit, 13 bit, 12 bit, 10 bit, 8 bit 또는 더 낮은 코드 공간에 있는 (LDR) 코드값들로 나타내질 수 있다.
설명의 목적으로, 비교적 넓은 동적 범위의 입력 코드값들이 비교적 좁은 동적 범위의 출력 코드값들로 맵핑되는 것으로 기술되었다. 본 명세서에 기술된 바와 같은 코드값은 색 공간의 휘도 채널에서의 값이 될 수 있지만, 또한 휘도 채널들과는 다른 채널들의 픽셀 값들이 될 수도 있다는 것을 유념해야한다. 휘도 레벨을 직접적으로 나타내든 또는 휘도 레벨에 대한 부분적인 기여를 나타내든 간에 코드값은 예컨대, 본 명세서에 기술된 바와 같은 기술들 하에서 색들의 지각적 충실도를 유지하기 위해 지각적으로 조절, 맵핑 등이 될 수 있다. 부가적으로, 선택적으로 또는 대안적으로, 휘도 채널(또는 그렇지 않으면 코딩된 휘도 정보)을 구비하는 것(예컨대, YCbCr 등)과는 다른 색 공간(예컨대, RGB, RGB+ 등)이 비교적 넓은 동적 범위의 이미지들 및/또는 상기 비교적 넓은 동적 범위의 이미지들이 맵핑되는 비교적 좁은 동적 범위의 이미지들을 인코딩하는데 사용될 수 있다. 본 명세서에 기술된 바와 같은 기술들은 넓은 동적 범위의 대응하는 입력 이미지들에 기초하여 상이한 동적 범위 윈도우들의 출력 이미지들을 생성할 때 휘도 채널과는 다른 책택된 색 공간의 하나 이상의 색 채널들을 개별적으로 글로벌하게 변조하는데 사용될 수 있다. 상기 색 채널들의 개별적인 변조들은 상기 색 채널들 각각으로부터의 각각의 휘도 기여들을 고려할 수 있으며, 색상 범위(color gamut)에서 색 밸런스를 재형성할 수 있다. 예컨대, 빨간색이 지배적이고(dominant) 청색은 미미한 뮤티드 색상(only a few muted blues)인 장면에서와 같이, 어떤 색상들(예컨대, 이미지들에서 색조 및 포화도 영역들 등)이 다른 것들보다 더 지배적이라면, 청색 채널 LED들은 다른 채널들에 비해 더 흐려(dim)질 수 있다. 상기 색 채널들의 개별적인 변조들은 상기 개별적인 색 채널들의 상이한 두드러진 부분들(본 예에서는 뮤티드인 청색)에 더욱 많은 레벨들을 제공하며, 전체 이미지는 물론 별개의 색 채널들을 디스플레이 시스템상에서 지각적으로 정확하게 렌더링하는 능력을 유지한다.
부가적으로 또는 선택적으로 본 명세서에 기술된 바와 같은 기술들은 로컬 디밍(local dimming)과 연계하여 사용될 수 있다. 예를 들면, 로컬 디밍은 개별적인 광원들을 제어하고, 이미지의 상이한 영역들에서 상이한 로컬 휘도 레벨들을 발생하고, 비교적 넓은 동적 범위를 디스플레이 시스템에 제공하는데 이용될 수 있다. 글로벌 광 변조 기술들은 글로벌 최대 및 최소 휘도 레벨들을 조절하고, 비디오 입력 신호의 보다 넓은 동적 범위조차도 커버하기 위해 로컬 디밍에 의해 발생된 비교적 넓은 동적 범위의 상이한 인스턴스들을 생성하도록 사용될 수 있다. 본 명세서에 기술된 바와 같은 지각적 맵핑 및 디스플레이 관리 기술들은 상기 비디오 입력 신호의 동적 범위보다 좁은 동적 범위의 로컬 디밍 디스플레이 시스템에서 렌더링되는 이미지들의 지각적 품질을 유지하는데 사용될 수 있다.
7. 예시적인 디스플레이 시스템
도 7은 한 실시예에 따라 디스플레이 스크린(406)을 구비하는 예시적인 디스플레이 시스템과, 글로벌 변조 드라이버(402) 및 디스플레이 관리 모듈(404)을 구비하는 디스플레이 제어기(704)를 도시한다. 디스플레이 제어기(704)는 하나 이상의 광원들과, 상기 디스플레이 스크린(406)상에 LDR 이미지들을 렌더링할 목적으로 광 출력을 변조하는 시스템 구성요소들을 제어하도록 구성될 수 있다. 디스플레이 제어기(704)는 이미지 데이터 소스(706)와 동작가능하게 결합될 수 있고, 상기 이미지 데이터 소스(706)로부터 이미지 데이터를 수신하도록 구성된다. 디스플레이 제어기(704)는 상기 이미지 데이터 소스(706)로부터의 이미지 데이터에서 비교적 넓은 동적 범위의 입력 이미지들을 수신하도록 구성될 수 있다. 상기 이미지 데이터는 공중을 통한 방송, 셋-톱 박스, 디스플레이 시스템에 결합된 네트워크 서버 및/또는 저장 매체를 포함하는 다양한 방식으로 상기 이미지 데이터 소스(706)에 의해 디스플레이 시스템에 제공될 수 있다.
디스플레이 시스템에 의해 수신된 바와 같은 이미지 데이터는 초기에 다수의 포맷들(예컨대, 표준에 기초하거나, 소유권이 있거나, 그 확장인 것 등) 중 어느 것으로도 될 수 있으며, 다수의 이미지 소스들(카메라, 이미지 서버, 유형의 미디어 등)의 어느 것으로부터도 얻어질 수 있다. 인코딩될 이미지 데이터의 예들은 이들에만 제한되지는 않지만 가공되지 않은(raw) 또는 다른 높은 비트-깊이의 이미지(들)를 포함한다. 가공되지 않은 또는 다른 높은 비트-깊이의 이미지(들)는 카메라, 스튜디오 시스템, 아트 디렉터 시스템, 또 다른 업스트림 이미지 프로세싱 시스템, 이미지 서버, 컨텐트 데이터베이스 등으로부터 생겨날 수 있다. 상기 이미지 데이터는 이들에만 제한되는 것은 아니지만 디지털 포토들, 비디오 이미지 프레임들, 3D 이미지들, 비(non)-3D 이미지들, 컴퓨터-발생 그래픽 등의 것을 포함할 수 있다. 상기 이미지 데이터는 장면 참조 이미지들(scene-referred images), 디바이스 참조 이미지들 또는 다양한 동적 범위들을 갖는 이미지들을 구비할 수 있다. 이미지 데이터의 예들은 원래 이미지들의 고 품질 버전을 포함할 수 있다. 상기 가공되지 않은 또는 다른 높은 비트-깊이 이미지(들)는 전문가, 스튜디오, 방송 회사, 고가의 미디어 생산 엔티티 등에 의해 사용되는 높은 샘플링 레이트가 될 수 있다. 이미지 데이터는 또한 전체가 또는 부분적으로 컴퓨터 발생될 수 있거나, 또는 오래된 영화들과 다큐멘터리들과 같은 기존의 이미지 소스들로부터 전체로 또는 부분적인 것에 기초하여 얻어질 수조차 있다.
이미지 데이터는 플로팅-포인트 또는 고정된-포인트 이미지 데이터를 구비할 수 있으며, 어떠한 색 공간에 있을 수 있다. 예시적인 실시예에 있어서, 입력 이미지들은 RGB 색 공간에 있을 수 있다. 또 다른 예시적인 실시예에서는, 입력 이미지들은 YCbCr 색 공간에 있을 수 있다. 한 예에서, 여기서 기술된 바와 같은 이미지의 각각의 픽셀은 색 공간에서 규정된 모든 채널들(예컨대, RGB 색 공간에서 빨간색, 녹색 및 청색의 색 채널들)에 대한 플로팅-포인트 픽셀 값들을 구비할 수 있다. 또 다른 예에서, 여기서 기술된 바와 같은 이미지 내의 각각의 픽셀은 색 공간에서 규정된 모든 채널들에 대한 고정된-포인트 픽셀 값들(예컨대, RGB 색 공간에서 빨간색,녹색 및 청색의 색 채널들에 대한 16 bits 또는 더 높은/더 낮은 수들의 비트 고정된-포인트 픽셀 값들)을 구비한다. 각각의 픽셀은 상기 색 공간에서 다른 채널들에 대비하여 상기 색 공간에서 채널들의 하나 이상에 대한 다운샘플링된 픽셀 값들을 구비한다.
8. 예시적 프로세스 플로우들
도 8은 본 발명의 실시예에 따른 예시적 프로세싱 플로우를 도시한다. 일부 실시예들에서, 하나 이상의 컴퓨팅 디바이스들 또는 구성요소들은 이러한 프로세스 플로우를 실행할 수 있다. 블록(802)에서, 디스플레이 시스템은 넓은 동적 범위의 입력 비디오 신호에서 복수의 입력 이미지들을 수신한다.
블록(804)에서, 복수의 입력 이미지들 내의 특정 입력 이미지에 기초하여 디스플레이 시스템은 글로벌 광 변조의 특정 설정을 결정한다. 상기 글로벌 광 변조의 특정 설정은 특정의 동적 범위 윈도우를 생성한다. 상기 특정의 동적 범위 윈도우에 의해 나타내지는 출력 휘도 레벨 범위는 상기 넓은 동적 범위에 의해 나타내지는 휘도 레벨 범위의 적정 서브셋(proper subset)이 된다.
블록(806)에서, 디스플레이 시스템은 상기 특정 입력 이미지 내의 복수의 입력 코드값들을 상기 특정 입력 이미지에 대응하는 특정 출력 이미지 내의 복수의 출력 코드값들로 변환한다. 상기 복수의 출력 코드값들은 상기 복수의 입력 코드값들에 의해 나타내지는 것과 동일한 또는 실질적으로 동일한 휘도 레벨들을 생성한다. 상기 복수의 출력 코드값들은 상기 특정의 동적 범위 윈도우 내에 있게 된다.
한 실시예에서, 상기 복수의 입력 코드값들은 상기 특정 입력 이미지의 하나 이상의 두드러진 부분들을 나타낸다.
한 실시예에서, 상기 특정 입력 이미지는 디스플레이 시스템들과는 별개로 입력 코드값들로 지각적으로 인코딩된다.
한 실시예에서, 상기 디스플레이 시스템은 또한 상기 특정 입력 이미지 내의 하나 이상의 남아있는 입력 코드값들을 상기 특정 출력 이미지 내의 하나 이상의 출력 코드값들로 변환하도록 구성된다. 상기 하나 이상의 출력 코드값들은 상기 하나 이상의 입력 코드값들에 의해 나타내지는 바와 같은 상이한 휘도 레벨들을 생성한다. 상기 하나 이상의 출력 코드값들은 상기 특정의 동적 범위 윈도우 내에 있게 된다.
한 실시예에서, 상기 넓은 동적 범위 또는 상기 특정의 동적 범위 윈도우 중 적어도 하나는: 500 nits 미만의 값, 500 nits와 1000 nits 사이를 포함하는 값, 1000 nits와 5000 nits 사이를 포함하는 값, 5000 nits와 10000 nits 사이를 포함하는 값, 10000 nits와 15000 nits 사이를 포함하는 값, 또는 15000 보다 큰 값의 상한을 갖는 동적 범위를 나타낸다.
한 실시예에서, 상기 동적 범위 윈도우는: 0.001 nits 미만의 값, 0.001 nits와 0.1 nits 사이를 포함하는 값, 0.1 nits와 1 nits 사이를 포함하는 값, 1 nits와 10 nits 사이를 포함하는 값, 10 nits와 100 nits 사이를 포함하는 값, 또는 100 nits 보다 큰 값의 하한을 갖는 동적 범위를 나타낸다.
한 실시예에서, 디스플레이 시스템은 또한 상기 글로벌 광 변조의 특정 설정으로 디스플레이 스크린상에 상기 특정 출력 이미지를 렌더링하도록 구성된다.
한 실시예에서, 상기 디스플레이 시스템은 또한: 상기 복수의 입력 이미지들 내의 제 2 특정 입력 이미지에 기초하여 글로벌 광 변조의 제 2 특정 설정을 결정하는 것으로서, 상기 글로벌 광 변조의 특정 설정은 제 2 특정의 동적 범위 윈도우를 생성하고, 상기 제 2 특정의 동적 범위 윈도우는 상기 특정의 동적 범위 윈도우와는 다른, 상기 결정; 상기 제 2 특정 입력 이미지 내의 제 2 복수의 입력 코드값들을 상기 제 2 특정 입력 이미지에 대응하는 제 2 특정 출력 이미지 내의 제 2 복수의 출력 코드값들로 변환하는 것으로서, 상기 제 2 복수의 출력 코드값들은 상기 제 2 복수의 입력 코드값들에 의해 나타내지는 바와 같은 동일한 또는 실질적으로 동일한 휘도 레벨들을 생성하는, 상기 변환을 실행하도록 구성된다.
한 실시예에서, 상기 특정 입력 이미지는 상기 제 2 특정 입력 이미지와 동일한 최대 및 최소 휘도 레벨들을 구비하며; 상기 특정의 동적 범위 윈도우는 상기 제 2 특정 입력 이미지의 것과는 상이한 최대 및 최소 휘도 레벨들을 구비한다.
한 실시예에서, 상기 비디오 입력 신호는, 고-해상 고 동적 범위(HDR) 이미지 포맷, AMPAS(Academy of Motion Picture Arts and Sciences)의 ACES(Academy Color Encoding Specification) 표준과 관련된 RGB 색 공간, DCI(Digital Cinema Initiative)의 P3 색 공간 표준, RIMM/ROMM(Reference Input Medium Metric/Reference Output Medium Metric) 표준, ITU(International Telecommunications Union)의 BT.709 권고 표준과 관련된 RGB 색 공간 또는 sRGB 색 공간, 이에 제한되지는 않지만 CIELAB 및 CIELUV를 포함하는 CIE(International Commission on Illumination)에 의해 규정된 바와 같은 CIE 색 공간들, YCbCr 색 공간들, IPT 균일 색 공간, LCh 색 공간, 스펙트럴 인코딩과 관련된 색 공간 등 중 하나로 인코딩된 이미지 데이터를 구비한다.
한 실시예에서, 상기 글로벌 광 변조의 특정 설정은 광원 구성요소들 또는 글로벌 광 변조 구성요소들 중 하나 이상에 대한 하나 이상의 특정 설정들을 구비한다.
일부 실시예들에서, 상기 글로벌 광 변조의 특정 설정을 갖는 픽셀-레벨 또는 픽셀-블록-레벨 광 변조층 상의 광 조도(light illumination)는 균일하다. 다른 실시예들에서, 상기 글로벌 광 변조의 특정 설정을 갖는 픽셀-레벨 또는 픽셀-블록-레벨 광 변조층 상의 광 조도는 균일하지 않다.
한 실시예에서, 상기 넓은 동적 범위는: 12 bits 미만의 비트 깊이; 12 bits와 14 bits 사이를 포함하는 비트 깊이; 적어도 14 bits의 비트 깊이; 또는 14 bits 이상의 비트 깊이 중 적어도 하나의 비트 깊이를 갖는 코드 공간의 입력 코드값들을 구비한다.
한 실시예에서, 상기 특정의 동적 범위 윈도우는: 8 bits 미만의 비트 깊이; 8 bits와 12 bits 사이를 포함하는 비트 깊이; 또는 12 bits 이상의 비트 깊이 중 적어도 하나의 비트 깊이를 갖는 코드 공간의 출력 코드값들에 의해 나타내진다.
일부 실시예들에서, 상기 특정 입력 이미지는 상기 특정의 동적 범위 윈도우 내에 맞는 이미지-특정 동적 범위를 구비한다. 상이한 실시예들에서, 상기 특정 입력 이미지는 상기 특정의 동적 범위 윈도우 내에 맞지 않은 이미지-특정 동적 범위를 구비한다.
다양한 실시예들에서, 장치, 컴퓨팅 시스템, 디스플레이 시스템 등이 기술된 바와 같은 전술한 방법들의 어떠한 것도 또는 그 일부를 실행한다.
9. 실행 메카니즘들-하드웨어 개요
본 발명의 실시예에 따라, 본 명세서에 기술된 기술들은 하나 이상의 특정 목적의 컴퓨팅 디바이스들에 의해 실행된다. 상기 특정 목적의 컴퓨팅 디바이스들은 상기 기술들을 실행하도록 하드-와이어(hard-wired)될 수 있거나, 또는 하나 이상의 ASICs(application-specific integrated circuits) 또는 상기 기술들을 실행하도록 지속적으로 프로그램되는 FPGAs(field programmable gate arrays)와 같은 디지털 전자 디바이스들을 포함할 수도 있거나, 또는 펌웨어, 메모리, 다른 저장 장치, 또는 그 조합에서 프로그램 명령들에 따라 상기 기술들을 실행하도록 프로그램된 하나 이상의 범용 하드웨어 프로세서들을 포함할 수도 있다. 그러한 특정 목적 컴퓨팅 디바이스들은 또한 상기 기술들을 달성하도록 주문 프로그래밍된 주문 하드-와이어드 로직, ASICs, 또는 FPGAs를 결합할 수도 있다. 상기 특정 목적 컴퓨팅 디바이스는 데스크탑 컴퓨터 시스템들, 휴대형 컴퓨터 시스템들, 핸드헬드 디바이스들, 네트워킹 디바이스들 또는 상기 기술을 실행하도록 하드-와이어드 및/또는 프로그램 로직을 포함한 어떠한 다른 디바이스도 될 수 있다.
실례로, 도 9는 본 발명의 예시적 실시예가 실행될 수 있는 컴퓨터 시스템(900)을 도시한 블록 다이어그램이다. 컴퓨터 시스템(900)은 버스(902) 또는 정보를 통신하기 위한 다른 통신 메카니즘, 및 정보를 처리하기 위해 버스(902)와 결합된 하드웨어 프로세서(904)를 포함한다. 하드웨어 프로세서(904)는 실례로 범용의 마이크로프로세서가 될 수 있다.
컴퓨터 시스템(900)은 또한 프로세서(904)에 의해 실행될 정보 및 명령들을 저장하기 위해 버스(902)에 결합된, 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은, 주 메모리(906)를 포함한다. 주 메모리(906)는 또한 프로세서(904)에 의해 실행될 명령들의 실행 동안 일시적 변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 그러한 명령들은, 프로세서(904)에 액세스 가능한 비-일시적 저장 매체에 저장될 때, 컴퓨터 시스템(900)을 상기 명령들에서 특정된 동작들을 실행하도록 커스터마이즈된 특정-목적의 머신으로 렌더링한다.
컴퓨터 시스템(900)은 또한 프로세서(904)에 대한 정적 정보 및 명령들을 저장하기 위해 버스(902)에 결합된 판독 전용 메모리(ROM)(908) 또는 다른 정적 저장 디바이스를 포함한다. 자기 디스크 또는 광학 디스크와 같은 저장 디바이스(910)가 제공되어 정보 및 명령들을 저장하기 위해 버스(902)에 결합된다.
컴퓨터 시스템(900)은 또한 컴퓨터 사용자에게 정보를 디스플레이하기 위해 버스(902)를 통해 액정 디스플레이와 같은 디스플레이(912)에 결합될 수 있다. 글자와 숫자 및 다른 키들을 포함하는 입력 디바이스(914)는 프로세서(904)로 정보 및 명령 선택들을 전달하기 위해 버스(902)에 결합된다. 또 다른 유형의 사용자 입력 디바이스는, 방향 정보 및 명령 선택들을 프로세서(904)로 전달하고 디스플레이(912) 상의 커서 움직임을 제어하기 위한 마우스, 트랙볼, 또는 커서 방향키들과 같은 커서 제어(916)가 된다. 이러한 입력 디바이스는 통상 상기 디바이스가 평면상에 위치들을 명시하게 할 수 있도록 하는, 제 1 축(예컨대, x) 및 제 2 축(예컨대, y)인 2개의 축들에서 두 개의 자유도(degrees of freedom)을 갖는다.
컴퓨터 시스템(900)은, 컴퓨터 시스템과 조합하여 컴퓨터 시스템(900)을 특정-목적의 머신이 되도록 하거나 프로그래밍하는, 커스터마이즈된 하드-와이어드 로직, 하나 이상의 ASICs 또는 FPGAs, 펌웨어 및/또는 프로그램 로직을 사용하여 여기서 기술된 기술들을 실행할 수 있다. 하나의 실시예에 따라, 본 명세서의 기술들은 주 메모리(906)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 프로세서(904)에 응답하여 컴퓨터 시스템(900)에 의해 실행된다. 그러한 명령들은 저장 디바이스(910)와 같은 또 다른 저장 매체로부터 주 메모리(906)로 판독될 수 있다. 주 메모리(906)에 포함된 명령들의 시퀀스들의 실행은 프로세서(904)가 본 명세서에 기술된 프로세스 단계들을 실행할 수 있게 한다. 대안적인 실시예들에서, 하드-와이어드 회로가 소프트웨어 명령들을 대신하여 또는 그와 조합하여 사용될 수 있다.
여기에서 사용되는 용어 "저장 매체"는 머신을 특정 방식으로 동작하게 하는 데이터 및/또는 명령들을 저장하는 어떠한 비-일시적 매체로도 참조된다. 그러한 저장 매체는 비-휘발성 매체 및/또는 휘발성 매체를 구비할 수 있다. 비-휘발성 매체는 예컨대 저장 디바이스(910)와 같은 광학 또는 자기 디스크들을 포함한다. 휘발성 매체는 주 메모리(906)와 같은 동적 메모리를 포함한다. 저장 매체의 보통의 형태들은 예컨대, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 고체 상태 디스크, 자기 테이프, 또는 어떠한 다른 자기 데이터 저장 매체, CD-ROM, 어떠한 다른 광학 데이터 저장 매체, 홀 패턴들(patterns of holes)을 갖는 어떠한 물리적 매체, RAM, PROM, 및 EPROM, FLASH-EPROM, NVRAM, 어떠한 다른 메모리 칩 또는 카트리지를 포함한다.
저장 매체는 전송 매체와 별개의 것이지만 그와 결합하여 사용될 수도 있다. 전송 매체는 저장 매체들 사이에 정보를 전달하는데 참여한다. 실례로, 전송 매체는, 버스(902)를 구비하는 와이어들을 포함하는, 동축 케이블, 구리선 및 광섬유를 포함한다. 전송 매체는 또한 전파 및 적외선 데이터 통신 동안 발생되는 바와 같은 음파 또는 광파의 형태를 취할 수 있다.
다양한 매체의 형태들이 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행을 위해 프로세서(904)로 운반하는데 수반될 수 있다. 실례로, 명령들은 초기에 원격 컴퓨터의 자기 디스크 또는 고체 상태 드라이브 상에 담겨있을 수 있다. 원격 컴퓨터는 상기 명령들을 그 동적 메모리에 적재할 수 있으며, 모뎀을 사용하여 전화 라인을 통해 상기 명령들을 전송할 수 있다. 컴퓨터 시스템(900)에 대한 로컬 모뎀은 전화 라인 상에서 데이터를 수신할 수 있으며, 상기 데이터를 적외선 신호로 변환하기 위해 적외선 송신기를 사용할 수 있다. 적외선 검출기가 적외선 신호로 운반된 상기 데이터를 수신할 수 있으며, 적절한 회로가 상기 데이터를 버스(902) 상에 배치할 수 있다. 버스(902)는 상기 데이터를 주 메모리(906)로 운반하고, 프로세서(904)는 주 메모리에서 상기 명령들을 검색하여 실행한다. 주 메모리(906)에 의해 수신된 명령들은 프로세서(904)에 의한 실행 전에 또는 실행 후에 저장 디바이스(910) 상에 선택적으로 저장될 수 있다.
컴퓨터 시스템(900)은 또한 버스(902)에 결합된 통신 인터페이스(918)를 포함할 수 있다. 통신 인터페이스(918)는 로컬 네트워크(922)에 접속된 네트워크 링크(920)에 연결하는 양방향 데이터 통신을 제공한다. 예컨대, 통신 인터페이스(918)는 ISDN(Integrated services digital network) 카드, 케이블 모뎀, 위성 모뎀, 또는 대응하는 유형의 전화 라인에 데이터 통신 접속을 제공하는 모뎀이 될 수 있다. 또 다른 예로서, 통신 인터페이스(918)는 호환성 LAN에 데이터 통신 접속을 제공하는 근거리 통신망(LAN) 카드가 될 수 있다. 무선 링크들이 또한 실행될 수 있다. 그러한 실행에 있어서, 통신 인터페이스(918)는 다양한 유형의 정보를 나타내는 디지털 데이터 스트림들을 운반하는 전기적, 전자기적 또는 광학적 신호들을 송수신한다.
네트워크 링크(920)는 통상 하나 이상의 네트워크들을 통해 다른 데이터 디바이스들로 데이터 통신을 제공한다. 예컨대, 네트워크 링크(920)는 로컬 네트워크(922)를 통해 호스트 컴퓨터(924)로 또는 ISP(Internet Service Provider)(926)에 의해 운용되는 데이터 설비로 접속을 제공할 수 있다. 이어서 ISP(926)는 현재는 통상 "인터넷"(928)으로 칭하는 월드 와이드 패킷 데이터 통신 네트워크를 통해 데이터 통신 서비스들을 제공한다. 로컬 네트워크(922) 및 인터넷(928) 양쪽 모두는 디지털 데이터 스트림들을 운반하는 전기적, 전자기적 또는 광학적 신호들을 사용한다. 컴퓨터 시스템(900)으로 또는 컴퓨터 시스템(900)으로부터 상기 디지털 데이터를 운반하는, 다양한 네트워크들을 통한 신호들과 네트워크 링크(920) 상의 및 통신 인터페이스(918)를 통한 신호들은 전송 매체의 예시적인 형태들이 된다.
컴퓨터 시스템(900)은 네트워크(들), 네트워크 링크(920) 및 통신 인터페이스(918)를 통해 프로그램 코드를 포함하는 데이터를 수신할 수 있고 메시지들을 전송할 수 있다. 인터넷 예에서, 서버(930)는 인터넷(928), ISP(926), 로컬 네트워크(922) 및 통신 인터페이스(918)를 통해 어플리케이션 프로그램을 위해 요청된 코드를 송신해도 좋다.
상기 수신된 코드는 수신된 바대로 프로세서(904)에 의해 실행될 수 있거나 및/또는 이후에 실행하기 위해 저장 디바이스(910) 또는 다른 비-휘발성 저장장치에 저장될 수 있다.
10. 등가물, 확장, 대체물 및 기타
전술한 설명에서, 본 발명의 실시예들은 실행시마다 변화될 수도 있는 다양한 특정의 세부 사항을 참조하여 기술되었다. 따라서, 본 발명에 대한 그리고 본 발명이 되도록 출원인들에 의해 의도되는 것에 대한 유일하며 배타적인 지표는 본 출원에서 살펴 얻어진 청구범위가 되며, 그러한 것은 어떠한 후속하는 정정을 포함하는 상기 청구범위에서 드러낸 특정의 형태에 있다. 그러한 청구범위에 포함된 용어들에 대해 앞서 명확히 나타낸 어떠한 정의들도 청구범위에서 사용되는 바의 그러한 용어들의 의미를 지배할 것이다. 이러한 이유로, 청구범위에서 명확하게 인용되지 않는 한정, 요소, 특성, 특징, 이점 또는 속성이 어떠한 방식으로도 그러한 청구범위의 범위를 한정해서는 안 된다. 따라서, 본 명세서 및 도면은 제한적인 의미가 아니라 하나의 실례로 평가되어야 한다.
902: 버스
904: 프로세서
906: 주 메모리
908: ROM
910: 저장 디바이스
912: 디스플레이
914: 입력 디바이스
916: 커서 제어
918: 통신 인터페이스
920: 네트워크 링크
922: 로컬 네트워크
924: 호스트
926: ISP
928: 인터넷
930: 서버

Claims (19)

  1. 넓은 동적 범위(wide dynamic range)의 입력 비디오 신호에서 복수의 입력 이미지들을 수신하는 단계;
    상기 복수의 입력 이미지들 내의 특정 입력 이미지에 기초하여, 각각의 색 채널에 대해 글로벌 광 변조(global light modulation)의 특정 설정을 결정하는 단계로서, 상기 글로벌 광 변조의 특정 설정은 특정의 동적 범위 윈도우를 생성하고, 상기 특정의 동적 범위 윈도우에 의해 나타내지는 출력 휘도 레벨 범위는 상기 넓은 동적 범위에 의해 나타내지는 휘도 레벨 범위의 적정 서브셋(proper subset)인, 상기 결정 단계;
    제 1 색 채널에 대한 상기 글로벌 광 변조의 특정 설정 동안 상기 특정 입력 이미지 내의 복수의 입력 코드값들을 상기 특정 입력 이미지에 대응하는 특정 출력 이미지 내의 복수의 출력 코드값들로 변환하는 단계로서, 상기 복수의 출력 코드값들은 상기 복수의 입력 코드값들에 의해 나타내지는 것과 동일하거나 실질적으로 동일한 휘도 레벨들을 생성하고, 상기 복수의 출력 코드값들은 상기 특정의 동적 범위 윈도우 내에 있는, 상기 변환 단계; 및
    상기 제 1 색 채널에 대한 상기 글로벌 광 변조의 특정 설정 동안 상기 특정 입력 이미지 내의 하나 이상의 남아있는 입력 코드값들을 상기 특정 출력 이미지 내의 하나 이상의 출력 코드값들로 변환하는 단계로서, 상기 하나 이상의 출력 코드값들은 상기 하나 이상의 입력 코드값들에 의해 나타내지는 것과 상이한 휘도 레벨들을 생성하고, 상기 하나 이상의 출력 코드값들은 상기 특정의 동적 범위 윈도우 내에 있는, 상기 변환 단계를 구비하는, 방법.
  2. 제 1 항에 있어서,
    상기 복수의 입력 코드값들은 상기 특정 입력 이미지의 하나 이상의 두드러진 부분들(salient portions)을 나타내는, 방법.
  3. 제 1 항에 있어서,
    상기 특정 입력 이미지는 디스플레이 시스템들과는 별개로 입력 코드값들로 지각적으로 인코딩되는, 방법.
  4. 제 1 항에 있어서,
    상기 넓은 동적 범위 또는 상기 특정의 동적 범위 윈도우 중 적어도 하나는:
    500 nits 미만의 값,
    500 nits와 1000 nits 사이를 포함하는 값,
    1000 nits와 5000 nits 사이를 포함하는 값,
    5000 nits와 10000 nits 사이를 포함하는 값,
    10000 nits와 15000 nits 사이를 포함하는 값, 또는
    15000 보다 큰 값의 상한을 갖는 동적 범위를 나타내는, 방법.
  5. 제 1 항에 있어서,
    상기 동적 범위 윈도우는:
    0.001 nits 미만의 값,
    0.001 nits와 0.1 nits 사이를 포함하는 값,
    0.1 nits와 1 nits 사이를 포함하는 값,
    1 nits와 10 nits 사이를 포함하는 값,
    10 nits와 100 nits 사이를 포함하는 값, 또는
    100 nits 보다 큰 값의 하한을 갖는 동적 범위를 나타내는, 방법.
  6. 제 1 항에 있어서,
    상기 특정 출력 이미지를 상기 글로벌 광 변조의 특정 설정으로 디스플레이 스크린상에 렌더링하는 단계를 더 구비하는, 방법.
  7. 제 1 항에 있어서,
    상기 복수의 입력 이미지들 내의 제 2 특정 입력 이미지에 기초하여 글로벌 광 변조의 제 2 특정 설정을 결정하는 단계로서, 상기 글로벌 광 변조의 제 2 특정 설정은 제 2 특정의 동적 범위 윈도우를 생성하고, 상기 제 2 특정의 동적 범위 윈도우는 상기 특정의 동적 범위 윈도우와는 상이한, 상기 결정 단계; 및
    상기 제 2 특정 입력 이미지 내의 제 2 복수의 입력 코드값들을 상기 제 2 특정 입력 이미지에 대응하는 제 2 특정 출력 이미지 내의 제 2 복수의 출력 코드값들로 변환하는 단계로서, 상기 제 2 복수의 출력 코드값들은 상기 제 2 복수의 입력 코드값들에 의해 나타내지는 것과 동일한 또는 실질적으로 동일한 휘도 레벨들을 생성하는, 상기 변환 단계를 더 포함하는, 방법.
  8. 제 7 항에 있어서,
    상기 특정 입력 이미지는 상기 제 2 특정 입력 이미지와 동일한 최대 및 최소 휘도 레벨들을 구비하고, 상기 특정의 동적 범위 윈도우는 상기 제 2 특정 입력 이미지의 것들과는 상이한 최대 및 최소 휘도 레벨들을 구비하는, 방법.
  9. 제 1 항에 있어서,
    상기 입력 비디오 신호는: 고-해상 고 동적 범위(HDR) 이미지 포맷, AMPAS(Academy of Motion Picture Arts and Sciences)의 ACES(Academy Color Encoding Specification) 표준과 관련된 RGB 색 공간, DCI(Digital Cinema Initiative)의 P3 색 공간 표준, RIMM/ROMM(Reference Input Medium Metric/Reference Output Medium Metric) 표준, sRGB 색 공간, ITU(International Telecommunications Union)의 BT.709 권고 표준과 관련된 RGB 색 공간, CIE(International Commission on Illumination)에 의해 규정된 바와 같은 CIE 색 공간들, CIELAB 색 공간, CIELUV 색 공간, YCbCr 색 공간들, IPT 균일 색 공간, LCh 색 공간, 또는 스펙트럴 인코딩과 관련된 색 공간들 중 적어도 하나로 인코딩된 이미지 데이터를 구비하는, 방법.
  10. 제 1 항에 있어서,
    상기 글로벌 광 변조의 특정 설정은 광원 구성요소들 또는 글로벌 광 변조 구성요소들 중 하나 이상에 대한 하나 이상의 특정 설정들을 구비하는, 방법.
  11. 제 1 항에 있어서,
    상기 글로벌 광 변조의 특정 설정을 갖는 픽셀-레벨 또는 픽셀-블록-레벨 광 변조층 상의 광 조도(light illumination)는 균일한, 방법.
  12. 제 1 항에 있어서,
    상기 글로벌 광 변조의 특정 설정을 갖는 픽셀-레벨 또는 픽셀-블록-레벨 광 변조층 상의 광 조도는 균일하지 않은, 방법.
  13. 제 1 항에 있어서,
    상기 넓은 동적 범위는:
    12 bits 미만의 비트 깊이;
    12 bits와 14 bits 사이를 포함하는 비트 깊이;
    적어도 14 bits의 비트 깊이; 및
    14 bits 이상의 비트 깊이 중 적어도 하나의 비트 깊이를 갖는 코드 공간의 입력 코드값들을 구비하는, 방법.
  14. 제 1 항에 있어서,
    상기 특정의 동적 범위 윈도우는:
    8 bits 미만의 비트 깊이;
    8 bits와 12 bits 사이를 포함하는 비트 깊이; 및
    12 bits 이상의 비트 깊이 중 적어도 하나의 비트 깊이를 갖는 코드 공간의 출력 코드값들에 의해 나타내지는, 방법.
  15. 제 1 항에 있어서,
    상기 특정 입력 이미지는 상기 특정의 동적 범위 윈도우 내에 맞는 이미지-특정 동적 범위를 구비하는, 방법.
  16. 제 1 항에 있어서,
    상기 특정 입력 이미지는 상기 특정의 동적 범위 윈도우 내에 맞지 않은 이미지-특정 동적 범위를 구비하는, 방법.
  17. 프로세서를 구비하며, 제 1 항 내지 제 16 항 중 어느 한 항에 기재된 방법을 수행하도록 구성된, 장치.
  18. 하나 이상의 프로세서들에 의해 실행될 때 제 1 항 내지 제 16 항 중 어느 한 항에 기재된 방법을 수행하도록 하는 소프트웨어 명령들을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체.
  19. 하나 이상의 프로세서들과, 하나 이상의 프로세서들에 의해 실행될 때 제 1 항 내지 제 16 항 중 어느 한 항에 기재된 방법을 수행하도록 하는 명령들의 셋을 저장하는 하나 이상의 저장 매체를 구비하는, 컴퓨팅 디바이스.
KR1020157020232A 2013-01-25 2014-01-22 글로벌 디스플레이 관리 기반의 광 변조 KR101717457B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361756713P 2013-01-25 2013-01-25
US61/756,713 2013-01-25
PCT/US2014/012568 WO2014116715A1 (en) 2013-01-25 2014-01-22 Global display management based light modulation

Publications (2)

Publication Number Publication Date
KR20150103119A KR20150103119A (ko) 2015-09-09
KR101717457B1 true KR101717457B1 (ko) 2017-03-17

Family

ID=51227993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157020232A KR101717457B1 (ko) 2013-01-25 2014-01-22 글로벌 디스플레이 관리 기반의 광 변조

Country Status (8)

Country Link
US (1) US9654701B2 (ko)
EP (1) EP2949120B1 (ko)
JP (2) JP6005882B2 (ko)
KR (1) KR101717457B1 (ko)
CN (1) CN104956670B (ko)
ES (1) ES2703517T3 (ko)
HK (1) HK1210558A1 (ko)
WO (1) WO2014116715A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020106569A1 (en) * 2018-11-23 2020-05-28 Arterys Inc. Systems and methods for high bit depth rendering of medical images in a web browser

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113990B1 (en) 2013-10-10 2024-04-10 Dolby Laboratories Licensing Corporation Displaying dci and other content on an enhanced dynamic range projector
EP3860119A1 (en) 2013-11-04 2021-08-04 Dolby Laboratories Licensing Corp. Single modulator projector systems with global dimming
US9462215B2 (en) 2013-11-04 2016-10-04 Dobly Laboratories Licensing Corporation Enhanced global dimming for projector display systems
KR20150067904A (ko) * 2013-12-10 2015-06-19 삼성디스플레이 주식회사 유기 전계 발광 표시 장치의 구동 방법
KR102414567B1 (ko) * 2014-02-25 2022-06-29 애플 인크. 비디오 인코딩 및 디코딩을 위한 적응형 전달 함수
JP6439418B2 (ja) * 2014-03-05 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
US20150348496A1 (en) * 2014-05-30 2015-12-03 Pixtronix, Inc. Systems and methods for selecting display operation modes
CN110489073B (zh) * 2014-06-10 2023-09-01 松下知识产权经营株式会社 变换方法及变换装置
WO2015198553A1 (ja) * 2014-06-26 2015-12-30 パナソニックＩｐマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
DE102014114328A1 (de) * 2014-10-02 2016-04-07 Connaught Electronics Ltd. Kraftfahrzeug-Kameravorrichtung mit Histogramm-Spreizung
US10027856B2 (en) * 2015-03-05 2018-07-17 Sony Corporation Devices and methods for transmitting transmission video data
EP3295451B1 (en) 2015-05-12 2020-07-01 Dolby Laboratories Licensing Corporation Metadata filtering for display mapping for high dynamic range images
JP6830190B2 (ja) * 2015-10-07 2021-02-17 パナソニックＩｐマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置
WO2017061071A1 (ja) * 2015-10-07 2017-04-13 パナソニックＩｐマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置
US10373569B2 (en) * 2015-12-08 2019-08-06 Dolby Laboratories Licensing Corporation Display light source timing
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
US11676547B2 (en) 2017-07-07 2023-06-13 Semiconductor Energy Laboratory Co., Ltd. Display system and operation method of the display system
EP3651471A4 (en) * 2017-07-07 2020-05-13 Panasonic Intellectual Property Management Co., Ltd. IMAGE PROCESSING SYSTEM AND METHOD
US10546554B2 (en) 2018-03-26 2020-01-28 Dell Products, Lp System and method for adaptive tone mapping for high dynamic ratio digital images
JP2022502920A (ja) 2018-09-26 2022-01-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 未来のフレームのメタデータを用いたプロジェクタ光源ディミング
JP6808762B2 (ja) * 2019-01-07 2021-01-06 キヤノン株式会社 情報処理装置および情報処理方法
CN110677635B (zh) * 2019-10-07 2020-10-30 董磊 数据参数现场设置系统
CN112449169B (zh) * 2021-01-28 2021-05-18 北京达佳互联信息技术有限公司 色调映射的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090317017A1 (en) * 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
WO2012030620A1 (en) * 2010-08-31 2012-03-08 Dolby Laboratories Licensing Corporation Display backlight normalization

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075802A (ja) 1998-08-26 2000-03-14 Matsushita Electric Ind Co Ltd バックライト装置およびバックライト素子
JP2000115534A (ja) * 1998-09-30 2000-04-21 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
TWI285872B (en) 1999-05-10 2007-08-21 Matsushita Electric Ind Co Ltd Image display device and method for displaying image
ATE538594T1 (de) 2000-07-03 2012-01-15 Imax Corp Verfahren und vorrichtung zur erweiterung des dynamikbereiches eines projektionssystems
JP3487278B2 (ja) * 2000-10-02 2004-01-13 松下電器産業株式会社 液晶表示装置
US7053881B2 (en) 2001-11-02 2006-05-30 Sharp Kabushiki Kaisha Image display device and image display method
JP2005242165A (ja) 2004-02-27 2005-09-08 Seiko Epson Corp 光変調装置および投射型表示装置、並びに光変調方法および画像表示方法
JP2006128986A (ja) * 2004-10-28 2006-05-18 Matsushita Electric Ind Co Ltd 画像処理装置
US7982707B2 (en) 2004-12-02 2011-07-19 Sharp Laboratories Of America, Inc. Methods and systems for generating and applying image tone scale adjustments
US8120570B2 (en) 2004-12-02 2012-02-21 Sharp Laboratories Of America, Inc. Systems and methods for tone curve generation, selection and application
JP4279313B2 (ja) * 2005-06-22 2009-06-17 三菱電機株式会社 撮像装置及び撮像装置における階調変換方法
US7839406B2 (en) 2006-03-08 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics with ambient illumination input
JP4203081B2 (ja) 2006-05-19 2008-12-24 株式会社東芝 画像表示装置および画像表示方法
US8345038B2 (en) 2007-10-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation and brightness preservation
JP5438021B2 (ja) 2007-11-20 2014-03-12 コーニンクレッカ フィリップス エヌ ヴェ 省電力透過ディスプレイ
US8203579B2 (en) 2007-12-26 2012-06-19 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation with image characteristic mapping
US8207932B2 (en) 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
US8169431B2 (en) 2007-12-26 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale design
JP4902556B2 (ja) * 2008-01-15 2012-03-21 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及びコンピュータ読み取り可能な記憶媒体
JP2009205128A (ja) 2008-01-30 2009-09-10 Sharp Corp 表示装置
US20090263037A1 (en) * 2008-04-18 2009-10-22 Hong Kong Applied Science and Technology Research Institute Company Limited Method and Apparatus for Enhancing the Dynamic Range of an Image
US9330630B2 (en) 2008-08-30 2016-05-03 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with rate change control
KR101520069B1 (ko) * 2008-12-26 2015-05-21 삼성전자 주식회사 관심 영역 기반 영상 처리 장치 및 방법
JP5072891B2 (ja) 2009-03-19 2012-11-14 株式会社東芝 画像表示装置
JP5556328B2 (ja) 2010-04-21 2014-07-23 パナソニック株式会社 映像表示装置
KR101076449B1 (ko) 2010-08-06 2011-10-25 포항공과대학교 산학협력단 글로벌 백라이트 디밍 방법과 이를 이용한 액정표시장치
EP2945150A1 (en) 2010-08-26 2015-11-18 Panasonic Intellectual Property Management Co., Ltd. Video display control device
GB201020983D0 (en) 2010-12-10 2011-01-26 Apical Ltd Display controller and display system
US9024951B2 (en) 2011-02-16 2015-05-05 Apple Inc. Devices and methods for obtaining high-local-contrast image data
CN103403759B (zh) * 2011-03-02 2016-08-10 杜比实验室特许公司 局部多等级色调映射运算器
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
CN103891294B (zh) * 2011-04-28 2017-09-01 皇家飞利浦有限公司 用于hdr图像编码和解码的装置与方法
CN102243855B (zh) 2011-08-25 2012-12-26 合肥工业大学 一种用于提高液晶显示对比度的背光整体调光方法和装置
LT3514677T (lt) 2011-12-06 2020-12-28 Dolby Laboratories Licensing Corporation Percepcinio šviesio netiesinio vaizdo duomenų mainų tarp skirtingos gebos ekranų gerinimo įtaisas ir būdas
US9129445B2 (en) * 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
WO2014012680A1 (fr) * 2012-07-18 2014-01-23 Thomson Licensing Procede et dispositif de conversion d'une sequence d'image dont les valeurs de luminance appartiennent a une plage de valeurs de dynamique elevee
EP2896198B1 (en) * 2012-09-12 2016-11-09 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090317017A1 (en) * 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
WO2012030620A1 (en) * 2010-08-31 2012-03-08 Dolby Laboratories Licensing Corporation Display backlight normalization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020106569A1 (en) * 2018-11-23 2020-05-28 Arterys Inc. Systems and methods for high bit depth rendering of medical images in a web browser

Also Published As

Publication number Publication date
ES2703517T3 (es) 2019-03-11
JP6356190B2 (ja) 2018-07-11
CN104956670A (zh) 2015-09-30
US9654701B2 (en) 2017-05-16
CN104956670B (zh) 2017-09-08
EP2949120A4 (en) 2016-09-07
US20150365580A1 (en) 2015-12-17
WO2014116715A1 (en) 2014-07-31
HK1210558A1 (en) 2016-04-22
JP2016511871A (ja) 2016-04-21
JP2016224983A (ja) 2016-12-28
EP2949120A1 (en) 2015-12-02
EP2949120B1 (en) 2018-11-21
KR20150103119A (ko) 2015-09-09
JP6005882B2 (ja) 2016-10-12

Similar Documents

Publication Publication Date Title
KR101717457B1 (ko) 글로벌 디스플레이 관리 기반의 광 변조
US11183143B2 (en) Transitioning between video priority and graphics priority
US10761371B2 (en) Display device
US10255879B2 (en) Method and apparatus for image data transformation
AU2016203103B2 (en) Device and Method of Improving the Perceptual Luminance Nonlinearity-Based Image Data Exchange Across Different Display Capabilities
US9635377B2 (en) High dynamic range image processing device and method
JP5723008B2 (ja) 画像のダイナミックレンジの拡大
KR102176398B1 (ko) 영상처리장치 및 영상처리방법
WO2017053350A1 (en) Techniques for operating a display in the perceptual code space
BR112014006978B1 (pt) Aparelho de processamento de imagem, tela e método de processamento de imagem.
CN111699507A (zh) 改进的高动态范围视频颜色重新映射
CN114999363A (zh) 色偏校正方法、装置、设备、存储介质及程序产品
Huang et al. Luminance and Detail Enhancement for HDR Images Based on Surround-aware Perceptual Quantization Under Ambient Illumination
Hui Real-Time Color Enhancement Method Used for Intelligent Mobile Terminals
CN115176469A (zh) 用于饱和颜色的改进的hdr颜色处理

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant