KR102059256B1 - Hdr 콘텐츠의 렌더링 및 디스플레이 - Google Patents
Hdr 콘텐츠의 렌더링 및 디스플레이 Download PDFInfo
- Publication number
- KR102059256B1 KR102059256B1 KR1020177034499A KR20177034499A KR102059256B1 KR 102059256 B1 KR102059256 B1 KR 102059256B1 KR 1020177034499 A KR1020177034499 A KR 1020177034499A KR 20177034499 A KR20177034499 A KR 20177034499A KR 102059256 B1 KR102059256 B1 KR 102059256B1
- Authority
- KR
- South Korea
- Prior art keywords
- display
- content
- hdr
- rendering
- brightness
- Prior art date
Links
- 238000009877 rendering Methods 0.000 claims abstract description 273
- 238000000034 method Methods 0.000 claims abstract description 114
- 230000007613 environmental effect Effects 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims description 81
- 230000000694 effects Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 12
- 238000002156 mixing Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 37
- 230000006870 function Effects 0.000 description 55
- 230000002093 peripheral effect Effects 0.000 description 41
- 238000004891 communication Methods 0.000 description 33
- 230000006978 adaptation Effects 0.000 description 30
- 238000012546 transfer Methods 0.000 description 25
- 241000023320 Luma <angiosperm> Species 0.000 description 24
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 24
- 238000007726 management method Methods 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 21
- 230000008447 perception Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 239000000872 buffer Substances 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004880 explosion Methods 0.000 description 6
- 239000004744 fabric Substances 0.000 description 6
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000533901 Narcissus papyraceus Species 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 241000665112 Zonitoides nitidus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008278 dynamic mechanism Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
- H04N1/6061—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut involving the consideration or construction of a gamut surface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6088—Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
- H04N5/58—Control of contrast or brightness in dependence upon ambient light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/066—Adjustment of display parameters for control of contrast
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/202—Gamma control
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Picture Signal Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Facsimile Image Signal Circuits (AREA)
- Control Of El Displays (AREA)
- Image Processing (AREA)
- Liquid Crystal Display Device Control (AREA)
Abstract
높은 동적 범위(HDR) 디지털 이미지 콘텐츠를 렌더링 및 디스플레이하기 위한 방법들 및 장치들이 기술된다. HDR 렌더링 및 디스플레이 시스템은 HDR-인에이블형 및 표준 디스플레이들 양측 모두에 대한 표준 동적 범위(SDR) 및 HDR 콘텐츠의 렌더링 및 디스플레이를 지원할 수 있다. HDR 렌더링 및 디스플레이 시스템은, 표준 디스플레이들에 대해서도 HDR 콘텐츠 중 적어도 일부를 보존할 수 있는 디스플레이 프로세싱 기법들을 이용하여, 디지털 이미지 콘텐츠를 HDR 공간 내에 렌더링하고 렌더링된 HDR 콘텐츠를 HDR 또는 표준 디스플레이들의 디스플레이 공간에 맵핑시킨다. HDR 렌더링 및 디스플레이 시스템은 크기와 같은 디스플레이 특성들, 제어 입력들, 이미지 명도와 같은 현재 이미지 특성들, 및 뷰어 포지션 및 주변 조명 레벨들과 같은 환경 정보를 포함하지만 이들로 제한되지 않는 다양한 정보를 고려하여, 타깃 디스플레이에서의 주변 뷰잉 조건들에 따라 디지털 이미지 콘텐츠의 렌더링 및 디스플레이를 동적으로 적응시킬 수 있다.
Description
본 발명은 일반적으로 디지털 비디오 또는 이미지 프로세싱 및 디스플레이에 관한 것이다.
퍼스널 컴퓨터 시스템들, 데스크톱 컴퓨터 시스템들, 랩톱 및 노트북 컴퓨터들, 태블릿 또는 패드 디바이스들, 디지털 카메라들, 디지털 비디오 레코더들, 및 모바일 폰들 또는 스마트 폰들을 포함하지만 이들로 제한되지 않는 다양한 디바이스들이 비디오 프로세싱 방법(들)을 구현할 수 있는 소프트웨어 및/또는 하드웨어를 포함할 수 있다. 예를 들어, 디바이스는 하나 이상의 비디오 프로세싱 방법들에 따라 하나 이상의 소스들로부터 디지털 비디오 입력을 수신 및 프로세싱할 수 있고 프로세싱된 비디오 프레임들을 출력할 수 있는 장치(예를 들어, 집적 회로(IC), 예컨대, 시스템-온-칩(system-on-a-chip, SOC), 또는 IC의 서브시스템)를 포함할 수 있다. 다른 예로서, 소프트웨어 프로그램은, 하나 이상의 비디오 프로세싱 방법들에 따라 하나 이상의 소스들로부터 디지털 비디오 임력을 수신 및 프로세싱할 수 있고 프로세싱된 비디오 프레임들을 하나 이상의 목적지들에 출력할 수 있는 디바이스 상에서 구현될 수 있다.
일례로서, 비디오 인코더는, 비디오 인코딩 방법, 예를 들어, H.264 / AVC(Advanced Video Coding) 포맷 또는 H.265 HEVC(High Efficiency Video Coding) 포맷과 같은 압축된 비디오 포맷에 따라 디지털 비디오 입력이 다른 포맷으로 인코딩 또는 변환되는 장치로서 또는 대안으로 소프트웨어 프로그램으로서 구현될 수 있다. 다른 예로서, 비디오 디코더는, AVC 또는 HEVC와 같은 압축된 비디오 포맷의 비디오가 수신되고, 비디오 디코딩 방법, 예를 들어, 디스플레이 디바이스에 의해 이용되는 디스플레이 포맷에 따라, 다른 (압축해제된) 포맷으로 디코딩 또는 변환되는 장치로서 또는 대안으로 소프트웨어 프로그램으로서 구현될 수 있다. H.264/AVC 표준은 ITU-T에 의해 표제가 "ITU-T Recommendation H.264: Advanced video coding for generic audiovisual services"인 문서에 게재되어 있다. H.265/HEVC 표준은 ITU-T에 의해 표제가 "ITU-T Recommendation H.265: High Efficiency Video Coding"인 문서에 게재되어 있다.
많은 시스템들에서, 장치 또는 소프트웨어 프로그램은, 비디오 인코더 컴포넌트 및 비디오 디코더 컴포넌트 양측 모두를 구현할 수 있고; 그러한 장치 또는 프로그램은 보통 코덱으로 지칭된다. 코덱은 비디오 스트림의 시각적/이미지 데이터 및 오디오/사운드 데이터 양측 모두를 인코딩/디코딩할 수 있다는 점에 주목한다.
디지털 이미지 및 비디오 프로세싱에서, 통상적으로, 디지털 이미지들(예컨대, 비디오 또는 정지 이미지들)은 표준 동적 범위(standard dynamic range, SDR) 이미징으로 지칭되는 제한된 동적 범위에서 캡처, 렌더링, 및 디스플레이된다. 확장된 동적 범위 또는 높은 동적 범위(high dynamic range, HDR) 이미징은, (예컨대, 디스플레이 스크린들 또는 디바이스들 상에 디스플레이되는 바와 같은) 전자 이미지들에서, 표준 디지털 이미징 기술 및 기법들(표준 동적 범위 이미징 또는 SDR 이미징으로 지칭됨)을 이용하여 얻은 것보다 더 넓은 범위의 휘도를 캡처, 표현, 또는 복원하는 기술 및 기법들을 지칭한다. 많은 새로운 디바이스들, 예컨대 이미지 센서들 및 디스플레이들이 HDR 이미징을 지원한다. 이들 디바이스들은 HDR-인에이블형 디바이스들 또는 HDR 디바이스들로 지칭될 수 있다. 동시에, 많은 디스플레이 디바이스들이 HDR 이미징을 직접적으로 지원하지 않을 수도 있는데; 이들 디바이스들은 표준 디스플레이들 또는 SDR 디스플레이들로 지칭될 수 있다. HDR 미디어는, 또한, 예를 들어 레이 트레이스(ray trace), 라디오시티(radiosity), 또는 광 세기를 모델링하는 다른 렌더링 시스템에서와 같이, 직접적으로 합성될 수 있다. HDR 미디어는, 또한, 각각이 상이한 노출(노출 브라케팅(exposure bracketing))로 촬영된 일련의 (잠재적인) SDR 이미지들을 수학적으로 조합함으로써 생성될 수 있다.
높은 동적 범위(HDR) 디지털 이미지 콘텐츠를 렌더링 및 디스플레이하기 위한 방법들 및 장치의 다양한 실시예들이 기술된다. HDR-인에이블형(HDR) 및 비-HDR 인에이블형(표준 또는 SDR) 디스플레이들 양측 모두에 대한 SDR 및 HDR 콘텐츠의 렌더링 및 디스플레이를 지원할 수 있는 HDR 렌더링 및 디스플레이 시스템의 실시예들이 기술된다. HDR 렌더링 및 디스플레이 시스템은, 표준 디스플레이들에 대해서도 HDR 콘텐츠 중 적어도 일부를 보존할 수 있는 디스플레이 프로세싱 기법들을 이용하여, 디지털 이미지 콘텐츠를 HDR 공간 내에 렌더링하고 렌더링된 HDR 콘텐츠를 HDR 또는 표준 디스플레이들의 디스플레이 공간에 맵핑시킨다. HDR 렌더링 및 디스플레이 시스템은 디스플레이 특성들, 제어 입력들, 디스플레이 상에서 렌더링된 현재 이미지의 명도, 디스플레이의 크기 또는 치수들, 디스플레이로부터 뷰어의 거리, 및 주변 조명 레벨들과 같은 환경 정보를 포함하지만 이들로 제한되지 않는 다양한 정보를 고려하여, 타깃 디스플레이에서의 주변 뷰잉 조건들에 따라 디지털 이미지 콘텐츠의 렌더링 및 디스플레이를 동적으로 적응시킬 수 있다.
현재 디스플레이 정보에 따라 HDR 콘텐츠를 렌더링 및 디스플레이하기 위한 방법의 실시예들에서, 현재 디스플레이 정보가 판정될 수 있거나 또는 얻어질 수 있다. 현재 디스플레이 정보는 디스플레이 특성들(예컨대, 비트 심도, 해상도, 크기 등), 디스플레이 파이프라인 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(예컨대, 명도 제어 또는 명도 슬라이더 입력), 및 주변 조명 레벨들과 같은 환경 정보 중 하나 이상을 포함할 수 있지만 이들로 제한되지 않는다. 하나 이상의 렌더링 파이프라인들은 현재 디스플레이 정보에 따라 입력 콘텐츠를 렌더링 및 인코딩하여 인코딩된 HDR 콘텐츠를 생성할 수 있다. 일부 실시예들에서, 현재 디스플레이 정보는, 타깃 디스플레이의 현재 조건들에 따라, 렌더링 파이프라인(들)에 제공될 수 있고 렌더링 디지털 이미지 콘텐츠에서 이용될 수 있다. 예를 들어, 일부 실시예들에서, 현재 디스플레이 정보는, 최대 렌더링 값(M)을 결정할 시, 렌더링 파이프라인(들)에 제공될 수 있고 그(들)에 의해 이용될 수 있다. 이어서, 렌더링 파이프라인(들)은 입력 콘텐츠를 렌더링할 수 있고, 그를 범위 0.0 내지 M 내에 인코딩하여 인코딩된 HDR 출력을 생성할 수 있다.
일부 실시예들에서, 현재 디스플레이 정보를 렌더링 파이프라인(들)에 제공하는 것 대신에 또는 그에 더해서, 현재 디스플레이 정보는, 디스플레이 파이프라인을 포함하여 디스플레이 파이프라인에 의해 현재 지원되는 최대 렌더링 값(M)을 결정하는 디스플레이 관리 시스템에 의해 수집 및 이용될 수 있고, 최대 렌더링 값(M)은 렌더링 파이프라인들 중 하나 이상에 제공될 수 있다. 예를 들어, 검출된 주변광 레벨들 및/또는 명도 제어 입력들은, 타깃 디스플레이에서의 주변 뷰잉 조건들에 따라, 디스플레이에 대한 현재 명도 레벨(B)을 결정하는 데 이용될 수 있다. 현재 명도 레벨(B)은 백분율로서 표현될 수 있고, 표준 범위(SDR) 최대 명도 값(1.0)에 대응할 수 있다. 일부 실시예들에서, 최대 렌더링 값(M)은 B의 역으로서 결정될 수 있다. 이어서, 렌더링 파이프라인(들)은 입력 콘텐츠를 렌더링할 수 있고, 그를 범위 0.0 내지 M 내에 인코딩하여 인코딩된 HDR 출력을 생성할 수 있다.
일부 실시예들에서, M을 결정할 시, M은 정밀도 임계치, 지각 임계치, 및 심미적 임계치가 초과되지 않음을 보장하면서 가능한 한 크게 되도록 최적화될 수 있다. 예를 들어, (특히, 어두운 주변 조건들에서의) 뷰어의 현재 적응에서, 디스플레이의 광 누설이 부적절한 지각 임계치를 넘지 않는다는 것이 중요하며, M은 이러한 임계치 근처이지만 그 아래에 있도록 최적화될 수 있다. 또한, 디스플레이 파이프라인의 정밀도, 및 디더링 기법과 같은 기법들을 통해 더 큰 정밀도를 전달하는 능력이 주어지면, 전달 용량은 평활한 그레디언트(smooth gradient)에 어떠한 지각 밴딩도 유도되지 않게 할 정도로 충분한 것이 중요하며, M을 최적화하는 것은 M을 파이프라인(들)에 의해 지원되는 값으로 제한함으로써 충분한 전달 용량을 보장하는 것에 도움이 된다. 다른 예로서, M이 너무 높게 설정되는 경우, 공칭 디스플레이 범위, 즉 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠가 맵핑되는 디스플레이 공간의 하부 부분은 상이한 휘도 레벨들이 현재의 주변 조건들 및 그들 조건에 대한 뷰어의 적응 하에서 구별가능하지 않은 지점으로 감소될 수 있는데, 그 이유는 그들이 너무 적은 지각 빈(perceptual bin)들에 맵핑되고 있기 때문이다. 따라서, M은 디스플레이 패널에 대한 지각 빈 임계치를 초과하지 않는 동안에는 가능한 한 크게 되도록 최적화될 수 있다. 추가로, 일부 실시예들에서, 흑색 레벨은, 뷰어의 현재 적응이 주어지면, 잠재적으로 압축된 신호가 시인되도록 현재 주변 조건들에 따라 적응될 수 있다. 또한, 콘텐츠를 사용자의 적응된 시야 및 지각 빈들의 모델에 맵핑시키도록 전달 함수가 적용될 수 있다.
일부 실시예들에서, 사용자가, 종래의 디스플레이 명도 제어부, 예를 들어 LCD 백라이트 제어기가 전형적으로 제공하는 것보다 더 디밍한 설정을 선택하게 하는 명도 제어 사용자 인터페이스 요소가 제공될 수 있는데; 종래의 디스플레이 명도 제어부들은 전형적으로 계속해서 흑색까지 줄곧 디밍하지 않는다.
렌더링 파이프라인(들)은, 현재 디스플레이 정보 및 그에 따라서 M이 변경됨에 따라 입력 콘텐츠를 가변 범위 내에 동적으로 렌더링할 수 있다. 따라서, HDR 콘텐츠의 렌더링은 디스플레이 파이프라인 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(예컨대, 명도 제어 또는 명도 슬라이더 입력), 디스플레이 상의 현재 이미지의 명도, 및 주변 조명 레벨들과 같은 환경 정보를 포함하지만 이들로 제한되지 않는 현재 디스플레이 조건들에 따라 동적으로 적응될 수 있다.
적어도 일부 실시예들에서, 디스플레이 파이프라인은 인코딩된 HDR 콘텐츠를 얻고 디코딩한다. 인코딩된 HDR 콘텐츠는 렌더링 파이프라인으로부터 스트림으로서 직접적으로 수신될 수 있거나, 또는 메모리로부터, 예를 들어 DMA 메모리 내의 버퍼(들)로부터 판독될 수 있다. 디스플레이 파이프라인에서, 렌더링 파이프라인(들)에 의해 범위 0.0 내지 M 내에 렌더링된 인코딩된 HDR 콘텐츠는 디코딩될 수 있고, 현재 명도 레벨, 및 주변 조건들 및/또는 명도 제어 설정에 따라 결정된 콘텐츠에 대한 공칭 디스플레이 범위를 포함하지만 이들로 제한되지 않는 현재 디스플레이 조건들에 따라 타깃 디스플레이의 디스플레이 공간에 맵핑될 수 있다. 일부 실시예들에서, 적어도 일부 현재 디스플레이 조건들에 대해, 디스플레이 파이프라인은 디코딩된 HDR 콘텐츠의 표준(범위 0.0 내지 1.0) 부분을 현재 명도 레벨에 따라 결정된 바와 같은 공칭 디스플레이 범위에 맵핑시킬 수 있고, 디코딩된 HDR 콘텐츠의 확장된(범위 1.0 내지 M) 부분을 현재 명도 레벨 초과의 헤드룸에 맵핑시킬 수 있다.
따라서, HDR 렌더링 및 디스플레이 시스템의 실시예들은 디스플레이 특성들(예컨대, 비트 심도, 최대 휘도, 누설, 반사율, 전달 함수(들) 등), 디스플레이 파이프라인 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(예컨대, 명도 제어 또는 명도 슬라이더 입력), 및 주변 조명 레벨들과 같은 환경 정보를 포함하지만 이들로 제한되지 않는 현재 디스플레이 조건들에 따라 HDR 콘텐츠를 동적으로 렌더링 및 디스플레이할 수 있다. 실시예들은 매우 높은 주변 광 레벨들과 같은 불리한 환경들에서 뷰잉될 때 소스 콘텐츠의 동적 범위의 외양을 보존할 수 있다. 실시예들은 또한 불량한 주변 조건들에서 SDR 콘텐츠를 유지하도록 적용될 수 있다. 실시예들을 이용하면, 표준 또는 SDR 디스플레이들은, HDR 콘텐츠가 압축되고 적절한 디더(dither)가 적용되는 경우, 특히 사용자의 지각이 암순응(dark adapt)되도록 하는 디밍 환경에서 뷰잉되는 경우에 HDR 결과들을 생성할 수 있다. 게다가, 상이한 환경들 및 주변 조건들에 디스플레이 패널을 동적으로 적응시킴으로써, 실시예들은 일부 뷰잉 환경들에서 더 적은 백라이트를 이용할 수 있는데, 이는 예를 들어 모바일 디바이스들 상에서의 전력을 절약할 수 있다.
도 1은 일부 실시예들에 따른, 높은 동적 범위(HDR) 렌더링 및 디스플레이 시스템에서의 HDR 콘텐츠 렌더링 및 디스플레이를 도시한다.
도 2a 및 도 2b는 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템 내의 예시적인 디스플레이 파이프라인을 도시한다.
도 3은 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템 내의 예시적인 렌더링 파이프라인을 도시한다.
도 4a 및 도 4b는 예시적인 디스플레이 패널에 대한 인간 지각 범위(human perceptual range)를 도시한다.
도 5a 내지 도 5c는 일부 실시예들에 따른, 현재 디스플레이 정보에 따라 디스플레이에 HDR 콘텐츠를 맵핑시키는 것을 도시한다.
도 6은 일부 실시예들에 따른, 현재 디스플레이 정보에 따라 HDR 콘텐츠를 렌더링 및 디스플레이하기 위한 방법의 고레벨 흐름도이다.
도 7a 내지 도 7d는 일부 실시예들에 따른, 표준 디스플레이에 HDR 콘텐츠를 렌더링 및 디스플레이하기 위한 방법의 흐름도이다.
도 8은 본 명세서에서 기술되는 시스템들 및 방법들의 태양들을 구현하도록 구성될 수 있는 SOC의 일 실시예의 블록 다이어그램이다.
도 9는 하나 이상의 SOC들을 포함할 수 있는 시스템의 일 실시예의 블록 다이어그램이다.
도 10은 일부 실시예들에 따른, 본 명세서에서 기술되는 시스템들 및 방법들의 태양들을 구현하도록 구성될 수 있는 예시적인 컴퓨터 시스템을 도시한다.
도 11은 일부 실시예들에 따른 휴대용 다기능 디바이스의 블록 다이어그램을 도시한다.
도 12는 일부 실시예들에 따른 휴대용 다기능 디바이스를 도시한다.
본 발명이 다양한 수정들 및 대안의 형태들이 가능하지만, 그의 특정 실시예들은 도면들에서 예시로 도시되고, 본 명세서에서 상세하게 기술될 것이다. 그러나, 본 발명에 대한 도면들 및 상세한 설명은 본 발명을 개시된 특정 형태로 제한하는 것으로 의도되는 것이 아니라, 그와는 반대로, 의도는 본 발명의 사상 및 범주 내에 속한 모든 수정물들, 등가물들 및 대안물들을 커버하고자 하는 것임이 이해되어야 한다. 본 출원 전반에 걸쳐 사용되는 바와 같이, "~일 수 있다(may)"라는 단어는 의무적인 의미(즉, "~이어야만 한다(must)"를 의미)라기보다 오히려 허용의 의미(즉, "~에 대해 가능성을 갖는다"는 의미)로 사용된다. 유사하게, "포함하다(include, includes)" 및 "포함하는(including)"이라는 단어들은, 포함하지만 그로 제한되지 않음을 의미한다.
다양한 유닛들, 회로들, 또는 기타 컴포넌트들이 태스크(task) 또는 태스크들을 수행하도록 "구성되는 것"으로 기술될 수 있다. 그러한 맥락에서, "~하도록 구성되는"은, 동작 동안에 태스크 또는 태스크들을 수행하는 "회로를 갖는"을 일반적으로 의미하는 구조의 광의의 설명이다. 이와 같이, 유닛/회로/컴포넌트는 유닛/회로/컴포넌트가 현재 온(on) 상태가 아닐 시에도 태스크를 수행하도록 구성될 수 있다. 일반적으로, "~하도록 구성된"에 대응하는 구조를 형성하는 회로는 하드웨어 회로들을 포함할 수 있다. 유사하게, 다양한 유닛들/회로들/컴포넌트들은 설명의 편의를 위해 태스크 또는 태스크들을 수행하는 것으로 기술될 수 있다. 그러한 설명은 "~하도록 구성된"이라는 문구를 포함하는 것으로 해석되어야 한다. 하나 이상의 태스크들을 수행하도록 구성된 유닛/회로/컴포넌트를 언급하는 것은 그 유닛/회로/컴포넌트에 대해 35 U.S.C. § 112, 6항의 해석을 적용하지 않고자 명백히 의도된다.
도 2a 및 도 2b는 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템 내의 예시적인 디스플레이 파이프라인을 도시한다.
도 3은 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템 내의 예시적인 렌더링 파이프라인을 도시한다.
도 4a 및 도 4b는 예시적인 디스플레이 패널에 대한 인간 지각 범위(human perceptual range)를 도시한다.
도 5a 내지 도 5c는 일부 실시예들에 따른, 현재 디스플레이 정보에 따라 디스플레이에 HDR 콘텐츠를 맵핑시키는 것을 도시한다.
도 6은 일부 실시예들에 따른, 현재 디스플레이 정보에 따라 HDR 콘텐츠를 렌더링 및 디스플레이하기 위한 방법의 고레벨 흐름도이다.
도 7a 내지 도 7d는 일부 실시예들에 따른, 표준 디스플레이에 HDR 콘텐츠를 렌더링 및 디스플레이하기 위한 방법의 흐름도이다.
도 8은 본 명세서에서 기술되는 시스템들 및 방법들의 태양들을 구현하도록 구성될 수 있는 SOC의 일 실시예의 블록 다이어그램이다.
도 9는 하나 이상의 SOC들을 포함할 수 있는 시스템의 일 실시예의 블록 다이어그램이다.
도 10은 일부 실시예들에 따른, 본 명세서에서 기술되는 시스템들 및 방법들의 태양들을 구현하도록 구성될 수 있는 예시적인 컴퓨터 시스템을 도시한다.
도 11은 일부 실시예들에 따른 휴대용 다기능 디바이스의 블록 다이어그램을 도시한다.
도 12는 일부 실시예들에 따른 휴대용 다기능 디바이스를 도시한다.
본 발명이 다양한 수정들 및 대안의 형태들이 가능하지만, 그의 특정 실시예들은 도면들에서 예시로 도시되고, 본 명세서에서 상세하게 기술될 것이다. 그러나, 본 발명에 대한 도면들 및 상세한 설명은 본 발명을 개시된 특정 형태로 제한하는 것으로 의도되는 것이 아니라, 그와는 반대로, 의도는 본 발명의 사상 및 범주 내에 속한 모든 수정물들, 등가물들 및 대안물들을 커버하고자 하는 것임이 이해되어야 한다. 본 출원 전반에 걸쳐 사용되는 바와 같이, "~일 수 있다(may)"라는 단어는 의무적인 의미(즉, "~이어야만 한다(must)"를 의미)라기보다 오히려 허용의 의미(즉, "~에 대해 가능성을 갖는다"는 의미)로 사용된다. 유사하게, "포함하다(include, includes)" 및 "포함하는(including)"이라는 단어들은, 포함하지만 그로 제한되지 않음을 의미한다.
다양한 유닛들, 회로들, 또는 기타 컴포넌트들이 태스크(task) 또는 태스크들을 수행하도록 "구성되는 것"으로 기술될 수 있다. 그러한 맥락에서, "~하도록 구성되는"은, 동작 동안에 태스크 또는 태스크들을 수행하는 "회로를 갖는"을 일반적으로 의미하는 구조의 광의의 설명이다. 이와 같이, 유닛/회로/컴포넌트는 유닛/회로/컴포넌트가 현재 온(on) 상태가 아닐 시에도 태스크를 수행하도록 구성될 수 있다. 일반적으로, "~하도록 구성된"에 대응하는 구조를 형성하는 회로는 하드웨어 회로들을 포함할 수 있다. 유사하게, 다양한 유닛들/회로들/컴포넌트들은 설명의 편의를 위해 태스크 또는 태스크들을 수행하는 것으로 기술될 수 있다. 그러한 설명은 "~하도록 구성된"이라는 문구를 포함하는 것으로 해석되어야 한다. 하나 이상의 태스크들을 수행하도록 구성된 유닛/회로/컴포넌트를 언급하는 것은 그 유닛/회로/컴포넌트에 대해 35 U.S.C. § 112, 6항의 해석을 적용하지 않고자 명백히 의도된다.
서론
높은 동적 범위(HDR) 디지털 이미지 콘텐츠를 렌더링 및 디스플레이하기 위한 방법들 및 장치의 다양한 실시예들이 기술된다. HDR-인에이블형(HDR) 및 비-HDR-인에이블형(표준) 디스플레이들 양측 모두에 대한 표준 동적 범위(SDR) 및 HDR 콘텐츠의 렌더링 및 디스플레이뿐 아니라 가변 동적 범위의 HDR 디스플레이들(예컨대, 더 큰 명도가 가능한 디스플레이들, 더 어두운 흑색의 디스플레이(즉, 더 적은 누설 및 반사)가 가능한 디스플레이들, 및 더 큰 정밀도를 갖는(즉, 더 많은 그레이 레벨들의 디스플레이가 가능한) 디스플레이들)을 지원할 수 있는 HDR 렌더링 및 디스플레이 시스템의 실시예들이 기술된다. HDR 렌더링 및 디스플레이 시스템은, 표준 디스플레이들에 대해서도 HDR 콘텐츠 중 적어도 일부를 보존할 수 있는 디스플레이 프로세싱 기법들을 이용하여, 디지털 이미지 콘텐츠를 HDR 공간 내에 렌더링하고 렌더링된 HDR 콘텐츠를 HDR 또는 표준 디스플레이들의 디스플레이 공간에 맵핑시킨다. HDR 렌더링 및 디스플레이 시스템은 디스플레이 특성들(예컨대, 비트 심도, 최대 휘도, 누설, 반사율, 전달 함수(들) 등), 디스플레이 파이프라인 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들, 디스플레이 상에서 렌더링된 현재 이미지의 명도, 디스플레이의 크기 또는 치수들, 디스플레이로부터 뷰어의 거리, 및 주변 조명 레벨들과 같은 환경 정보를 포함하지만 이들로 제한되지 않는 다양한 정보를 고려하여, 뷰어의 적응된 시야에 대한 지각 모델의 예측에 따라 디지털 이미지 콘텐츠의 렌더링 및 디스플레이를 동적으로 적응시킬 수 있다. 실시예들을 이용하면, 표준 또는 SDR 디스플레이들은, HDR 콘텐츠가 압축되고 적절한 디더가 적용되는 경우, 특히 사용자의 지각이 암순응되도록 하는 디밍 환경에서 뷰잉되는 경우에 HDR 결과들을 생성할 수 있다.
일부 실시예들에서, HDR 렌더링 및 디스플레이 시스템은, 주변 환경 조건들, 디스플레이 패널의 특성들 및 능력들, 명도 제어부와 같은 제어부를 통한 사용자 입력들을 포함하는 디스플레이 패널 설정들, 및 디스플레이 파이프라인 내의 컴포넌트들의 정밀도와 같은 다른 정보에 기초하여 HDR 콘텐츠를 타깃 디스플레이 패널에 자동으로 적응시키는 방법들을 채용할 수 있다. 일부 실시예들에서, HDR 렌더링 및 디스플레이 시스템은 상이한 주변 뷰잉 환경들에서 디스플레이를 위해 콘텐츠를 동적으로 적응시킬 수 있는데, 이는 상이한 환경들에서 그리고/또는 상이한 주변 조건들 하에서 개선된 뷰잉을 제공할 수 있다. 따라서, HDR 렌더링 및 디스플레이 시스템의 실시예들은, 콘텐츠가 뷰잉되고 있는 환경에 적응된 뷰어의 시야 및 지각 범위의 모델에 따라, 디스플레이된 콘텐츠를 자동으로 적응시킴으로써 모바일 또는 다른 디바이스들의 사용자들에게 개선된 뷰잉 경험을 제공할 수 있다. 상이한 환경들 및 주변 조건들에 디스플레이 패널을 동적으로 적응시킴으로써, HDR 렌더링 및 디스플레이 시스템의 실시예들은 일부 뷰잉 환경들에서 더 적은 백라이트/명도를 이용할 수 있는데, 이는 예를 들어 모바일 디바이스들 상에서의 전력을 절약할 수 있다. 일부 실시예들에서, 디스플레이되는 픽셀들 및 백라이트/명도는, 예를 들어 상이한 환경들 및 주변 조건들에 적응하는 경우에 HDR 렌더링 및 디스플레이 시스템이 디스플레이를 더 종이처럼 동작하게 할 수 있는 지각 모델에 맵핑될 수 있다. 다시 말해, HDR 렌더링 및 디스플레이 시스템은 동일한 환경에서 디스플레이를 종이의 휘도 레벨에 매칭시킬 수 있을 뿐 아니라 뷰어의 환경의 화이트 포인트를 추적하고 그에 대해 또는 그를 위해 조절할 수 있다.
HDR 렌더링 및 디스플레이 시스템의 실시예들은, 광범위한 디스플레이들에 걸쳐서 그리고 매우 다양한 콘텐츠에 대해 뷰어에게 어느 정도의 HDR 뷰잉 경험을 제공하도록 콘텐츠가 뷰잉되고 있는 환경에 적응되는 뷰어의 시야 및 지각 범위에 대한 모델에 따라, 디스플레이된 콘텐츠를 동적으로 적응시킬 수 있다. HDR 콘텐츠가 디스플레이 패널의 전체 디스플레이 공간에 맵핑되는 종래의 시스템들과는 달리, 실시예들은, 표준 콘텐츠가 맵핑되는 디스플레이 공간의 하부 부분 또는 서브범위, 및 HDR 콘텐츠가 맵핑되는 디스플레이 공간의 상부 부분 또는 서브범위를 결정할 수 있다(디스플레이 공간의 이들 서브범위들은 전체 디스플레이 공간을 커버할 수도 있지만, 반드시 커버하는 것은 아니라는 점에 주목한다). 콘텐츠의 서브범위들 및 콘텐츠의 범위들로의 맵핑이 다양한 환경들 내에서 다양한 디스플레이들에 대한 최적의 또는 희망하는 뷰잉 경험들을 제공하기 위해 뷰어의 시야 및 지각 범위에 대한 모델에 따라 그리고/또는 뷰어의 선호도들에 따라 동적으로 적응될 수 있는 방법들이 기술된다. 예를 들어, 디스플레이가 더 이상 밝아질 수는 없지만, 확장된 범위 내로 낮은 및 중간범위 값들(즉, 표준 콘텐츠)을 톤 맵핑(tone mapping)하는 한편 명도 부분(bright)들(예컨대, HDR 콘텐츠)을 그 범위의 더 좁은 상부 부분으로 압축함으로써 희망하는 더 높은 명도 지각 레벨이 달성될 수 있게 되는 지점이 있을 수 있다. 따라서, 디스플레이가 더 밝아질 수 없다 하더라도, 낮은 및 중간범위 콘텐츠는 지각적으로 더 밝아 보이게 하도록 향상되어, 그것이 패널의 반사율로 손실되지 않게 할 수 있다.
HDR 렌더링 및 디스플레이 시스템의 실시예들은, 명도를 제공하는 데 백라이트들을 사용하는 디스플레이 패널들(예컨대, LCD 디스플레이들)뿐 아니라 명도를 제공하는 데 백라이트들을 사용하지 않는 디스플레이 패널들(예컨대, 각각의 픽셀이 광을 방출하는 OLED 디스플레이들)에, 본 명세서에서 기술되는 바와 같은 HDR 콘텐츠를 렌더링 및 디스플레이하는 데 이용될 수 있다. HDR 렌더링 및 디스플레이 시스템의 일부 기능들은 명도를 제공하는 데 백라이트들을 사용하는 디스플레이 패널들과 관련하여 기술된다. 그러나, 이들 기능들 중 적어도 일부는 명도를 제공하는 데 백라이트들을 사용하지 않는 디스플레이 패널들에도 적용될 수 있다. 따라서, "명도"라는 용어는, 본 명세서에서 디스플레이 패널들과 관련하여 사용되는 경우, 백라이트들에 의해 또는 LED 기술과 같은 다른 기술들에 의해 제공되는 명도에 적용된다. 또한, "백라이트"라는 용어는, 본 명세서에서 사용되는 경우, 명도를 제공하는 LED 기술과 같은 다른 기술들을 또한 포함하는 것으로 이해되어야 한다.
HDR
렌더링 및 디스플레이 시스템
도 1은 적어도 일부 실시예들에 따른 HDR 렌더링 및 디스플레이 시스템(100)을 도시한다. HDR 렌더링 및 디스플레이 시스템(100)의 실시예들은 HDR-인에이블형 및 표준 디스플레이들(140) 양측 모두에 대한 SDR 및 HDR 콘텐츠의 렌더링 및 디스플레이를 지원할 수 있다. 일부 실시예들에서, HDR 렌더링 및 디스플레이 시스템(100)은 하나 이상의 렌더링 파이프라인들(180), 디스플레이 파이프라인(110), 및 타깃 디스플레이(140)를 포함할 수 있다. 일부 실시예들에서, 각각의 렌더링 파이프라인(180)은 디스플레이를 위해 디지털 이미지 콘텐츠(111)를 생성하는 애플리케이션, 디바이스, 모듈, 컴포넌트, 또는 시스템과 연관될 수 있다. 일부 실시예들에서, 렌더링 파이프라인(180)은 소스(예컨대, 디지털 비디오 카메라 또는 정지 이미지 카메라, 또는 비디오 스트리밍 소스)로부터 "미처리(raw)" 디지털 이미지 콘텐츠(111)를 수신하고, 수신된 디지털 이미지 콘텐츠(111)를 렌더링 및 인코딩하여 인코딩된 콘텐츠(112)를 생성한다. 디스플레이 파이프라인(110)은 하나 이상의 렌더링 아이프라인들(180)로부터 인코딩된 콘텐츠(112)를 수신할 수 있고, 디스플레이 디바이스(140)에의 디스플레이를 위해 포맷화된 디스플레이 콘텐츠(132)를 생성하도록 수신된 콘텐츠(112)를 디코딩 및 프로세싱할 수 있다. HDR 렌더링 및 디스플레이 시스템(100)은 디스플레이 특성들(142), 제어 입력들(162), 디스플레이 파이프라인(110) 내의 컴포넌트들의 전달 용량/정밀도, 및 주변 조명 레벨들과 같은 환경 정보(152)를 포함하지만 이들로 제한되지 않는 다양한 정보를 고려하여 디스플레이(140)의 현재 조건들에 따라 HDR 콘텐츠의 렌더링 및 디스플레이를 동적으로 적응시킬 수 있다. 일부 실시예들에서, 디스플레이 파이프라인(110)은 다른 콘텐츠(119)(예컨대, 사용자 인터페이스(UI) 그래픽들)를 렌더링 파이프라인(들)(180)으로부터 수신된 콘텐츠(112)와 합성 또는 블렌딩할 수 있다.
일반적으로 정의하면, 동적 범위는, 사운드 및 광과 같은 신호들에서와 같이, 변경가능한 양의 최대 가능 값과 최소 가능 값 사이의 비이다. 디지털 이미지 프로세싱에서, 높은 동적 범위(HDR) 이미지는 표준 디지털 이미징 기법들을 이용하여 얻어진 것보다 더 넓은 범위의 광도(luminosity)를 생성하는 HDR 이미징 기법을 이용하여 생성된 이미지이다. 예를 들어, HDR 이미지는 종래의 이미지 프로세싱에서 사용되는 것(전형적으로, 채널당 8개의 비트들, 예컨대 색/크로마에 대해 그리고 루마에 대해 8개의 비트들)보다 채널당 더 많은 비트들(예컨대, 루마 및 크로마 채널당 10개, 12개, 14개, 또는 더 많은 비트들), 또는 광도(루마 채널)에 대해 더 많은 비트들을 포함할 수 있다. (채널당 비트들은 비트 심도로 지칭될 수 있다). 표준 디지털 이미징 기법들을 이용하여 생성된 이미지는 표준 동적 범위(SDR)를 갖는 것으로 지칭될 수 있고, 전형적으로, 채널당 8개의 비트들을 사용한다. 또한, 고정밀 HDR 이미지는, 달리 요구되는 것보다 채널당 더 적은 비트들을 사용하여, 예를 들어, 양자화 이전에 더 높은 정밀 신호를 디더링함으로써, 또는 HDR 레벨들에 걸쳐서 뷰어의 명도 지각과 더 잘 매칭하는 뷰어 시지각(visual perception)에 기초한 전달 함수, 예를 들어 Dolby Laboratories, Inc.에 의해 제안된 지각 양자화기(Perceptual Quantizer, PQ) 전달 함수를 사용함으로써 표현될 수 있다. 동적 범위는 전형적으로 최대 및 최소 값들에 의해 정의된다. 그것은, 동적 범위를 증가시키는 데 2개의 방식들, 즉 최소치를 낮추는 것에 의한 방식 또는 최대치를 증가시키는 것에 의한 방식(또는 양측 모두)이 있음을 의미한다. 정밀도 단독으로는 최소치를 낮추는 것에 도움이 될 수 있지만, 최고 코드의 명도가 그 대신에 또는 또한 증가될 수 있다.
종래의 렌더링 및 디스플레이 시스템들에서, 렌더링 파이프라인들은, SDR 콘텐츠이든 HDR 콘텐츠이든, 모든 디지털 콘텐츠의 휘도(루마) 픽셀 값들을, 인코딩하기 위한 비트 심도(예컨대, 8, 10, 또는 12 비트)로 표준 범위(0.0 내지 1.0)에 맵핑시키고 디스플레이 파이프라인에 출력한다. 각각의 비트 심도는 범위가 맵핑되는 소정 개수의 코드들을 제공한다. 예를 들어, 8개의 비트들은 256개의 코드들(0 내지 255)을 제공하고, 10개의 비트들은 1024개의 코드들(0 내지 1023)을 제공한다. 비트 심도가 10인 경우, 0.0은 0에 맵핑하고, 1.0은 1023에 맵핑한다. 디스플레이 파이프라인은 출력을 얻어 디코딩하고, 이어서, 디지털 콘텐츠 값들(범위 0.0 내지 1.0)을 디스플레이의 디스플레이 공간(예컨대, 8개, 10개, 또는 12개의 비트들)에 맵핑시킨다. 따라서, 1.0은 오리지널 디지털 콘텐츠가 HDR 콘텐츠였는지 아니면 SDR 콘텐츠였는지와는 무관하게, 그리고 디스플레이의 특성들(예컨대, 비트 심도)과는 무관하게, 디스플레이되는 가장 밝은 값이다.
본 명세서에서 기술되는 바와 같은 HDR 렌더링 및 디스플레이 시스템(100)의 실시예들에서, 입력 콘텐츠(111)에 대한 루마 값들을 표준 범위(0.0 내지 1.0)에 맵핑시키는 것 대신, 렌더링 파이프라인들(180)은 콘텐츠(111)를 더 넓은 범위들에 맵핑시킬 수 있다. 예를 들어, 콘텐츠(111)가 일반 또는 표준 명도보다 더 밝은 루마 값들(예컨대, 10x 표준 명도)을 포함하는 경우, 렌더링 파이프라인(180)은 휘도 데이터를 범위 0.0 내지 M에 맵핑시킬 수 있다(여기서, M은 명도에 대한 최대 값임). 다양한 맵핑 기법들 중 임의의 것이 렌더링 파이프라인(180)에 의해 이용될 수 있다. 일부 실시예들에서, 콘텐츠(111)의 표준 또는 SDR 부분은 범위 0.0 내지 1.0에 맵핑될 수 있고, 콘텐츠(111)의 확장된 또는 HDR 부분은 범위 1.0 내지 M에 맵핑될 수 있다. 예를 들어, 10x 표준 명도인 휘도 값들을 포함하는 입력 콘텐츠(111)에 대해, 이어서, 값들이 범위 0.0 내지 10.0에 맵핑될 수 있는데, 이때 1.0은 표준 명도를 나타내고 M = 10.0은 최대 명도를 나타낸다. 디스플레이 파이프라인(110)에서, 렌더링 파이프라인(들)(180)에 의해 범위 0.0 내지 M 내에 렌더링된 인코딩된 HDR 콘텐츠(112)는, 본 명세서에서 기술되는 바와 같은 디스플레이 파이프라인 프로세싱 방법들을 이용하여, 디코딩되어 타깃 디스플레이(140)의 디스플레이 공간(예컨대, 8개, 10개, 또는 12개의 비트들)에 맵핑될 수 있다. 예를 들어, 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠는 디스플레이 공간의 하부 부분(예컨대, 8 비트에 대해 코드들 0 내지 172)에 맵핑될 수 있는데, 이때 확장된 범위(1.0 내지 M) 또는 HDR 콘텐츠는 디스플레이 공간의 나머지 부분(예컨대, 8 비트에 대해 코드들 128 내지 255)에 맵핑된다. 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠가 맵핑되는 디스플레이 공간의 하부 부분은 공칭 디스플레이 범위로 지칭될 수 있다.
일부 실시예들에서, 현재 디스플레이 정보는, 최대 렌더링 값(M)을 결정할 시에 렌더링 파이프라인(들)(180) 및/또는 디스플레이 파이프라인(110)에 의해 수집 및 이용될 수 있다. 일부 실시예들에서, M을 결정할 시, M은 정밀도 임계치, 지각 임계치, 및 심미적 임계치가 초과되지 않음을 보장하면서 가능한 한 크게 되도록 최적화될 수 있다. 예를 들어, (특히, 어두운 주변 조건들에서의) 뷰어의 현재 적응에서, 디스플레이의 광 누설이 부적절한 지각 임계치를 넘지 않는다는 것이 중요하며, M은 이러한 임계치 근처이지만 그 아래에 있도록 최적화될 수 있다. 또한, 렌더링 파이프라인(들)(180)의 정밀도, 및 디더링 기법과 같은 기법들을 통해 더 큰 정밀도를 전달하는 능력이 주어지면, 전달 용량은 평활한 그레디언트에 어떠한 지각 밴딩도 유도되지 않게 할 정도로 충분한 것이 중요하며, M을 최적화하는 것은 M을 파이프라인(들)에 의해 지원되는 값으로 제한함으로써 충분한 전달 용량을 보장하는 것에 도움이 된다. 다른 예로서, M이 너무 높게 설정되는 경우, 공칭 디스플레이 범위, 즉 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠가 맵핑되는 디스플레이 공간의 하부 부분은 상이한 휘도 레벨들이 현재의 주변 조건들 및 그들 조건에 대한 뷰어의 적응 하에서 구별가능하지 않은 지점으로 감소될 수 있는데, 그 이유는 그들이 너무 적은 지각 빈들에 맵핑되고 있기 때문이다. 따라서, M은 디스플레이 패널에 대한 지각 빈 임계치를 초과하지 않는 동안에는 가능한 한 크게 되도록 최적화될 수 있다. 추가로, 일부 실시예들에서, 흑색 레벨은, 뷰어의 현재 적응이 주어지면, 잠재적으로 압축된 신호가 시인되도록 현재 주변 조건들에 따라 적응될 수 있다. 또한, 콘텐츠를 사용자의 적응된 시야 및 지각 빈들의 모델에 맵핑시키도록 전달 함수가 적용될 수 있다.
도 6은 일부 실시예들에 따른, 현재 디스플레이 정보에 따라 HDR 콘텐츠를 렌더링 및 디스플레이하기 위한 방법의 고레벨 흐름도이다. 도 6의 600에서 나타내진 바와 같이, 현재 디스플레이 정보(114)가 판정될 수 있거나 또는 얻어질 수 있다. 현재 디스플레이 정보(114)는 디스플레이 특성들(142)(예컨대, 비트 심도, 해상도, 크기, 최대 휘도, 누설, 반사율, 전달 함수(들) 등), 디스플레이 파이프라인(110) 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(162)(예컨대, 명도 제어 또는 명도 슬라이더 입력), 및 주변 조명 레벨들과 같은 환경 정보(152) 중 하나 이상을 포함할 수 있다. 도 6의 610에서 나타내진 바와 같이, 렌더링 파이프라인(들)(180)은 현재 디스플레이 정보(114)에 따라 입력 콘텐츠(111)를 렌더링 및 인코딩하여 인코딩된 HDR 콘텐츠(112)를 생성할 수 있다. 도 1을 참조하면, 일부 실시예들에서, 현재 디스플레이 정보(114)는, 타깃 디스플레이(140)의 현재 조건들에 따라, 렌더링 파이프라인(들)(180)에 제공될 수 있고 디지털 이미지 콘텐츠(111)를 렌더링할 시에 이용될 수 있다. 예를 들어, 일부 실시예들에서, 현재 디스플레이 정보(114)는, 최대 렌더링 값(M)을 결정할 시, 렌더링 파이프라인(들)(180)에 제공될 수 있고 그(들)에 의해 이용될 수 있다. 이어서, 렌더링 파이프라인(들)(180)은 입력 콘텐츠(111)를 렌더링할 수 있고, 그를 범위 0.0 내지 M 내에 인코딩하여 인코딩된 HDR 출력(112)을 생성할 수 있다.
일부 실시예들에서, 현재 디스플레이 정보(114)를 렌더링 파이프라인(들)(180)에 제공하는 것 대신에 또는 그에 더해서, 현재 디스플레이 정보(114)는, 디스플레이 파이프라인(110)을 포함하여 디스플레이 파이프라인(110)에 의해 현재 지원되는 최대 렌더링 값(M)을 결정하는 디스플레이 관리 시스템에 의해 수집 및 이용될 수 있고, 최대 렌더링 값(M)은 렌더링 파이프라인들(180) 중 하나 이상에 제공될 수 있다. 예를 들어, 검출된 주변광 레벨들 및/또는 명도 제어 입력들은, 타깃 디스플레이에서의 주변 뷰잉 조건들에 따라, 디스플레이(140)에 대한 현재 명도 레벨(B)을 결정하는 데 이용될 수 있다. 현재 명도 레벨(B)은 백분율(예컨대, 0.25 또는 25%, 0.5 또는 50%)로서 표현될 수 있고, 표준 범위(SDR) 최대 명도 값(1.0)에 대응할 수 있다. 일부 실시예들에서, 최대 렌더링 값(M)은 B의 역으로서 결정될 수 있다. 예를 들어, B = 0.25(1/4)인 경우, M = 4/1 = 4.0이다. 유사하게, B = 0.5인 경우, M = 2.0이다. 일부 실시예들에서, M을 결정할 시, M은 정밀도 임계치, 지각 임계치, 및 심미적 임계치가 초과되지 않음을 보장하면서 가능한 한 크게 되도록 최적화될 수 있다. 이어서, 렌더링 파이프라인(들)(180)은 입력 콘텐츠(111)를 렌더링할 수 있고, 그를 범위 0.0 내지 M 내에 인코딩하여 인코딩된 HDR 출력(112)을 생성할 수 있다.
도 6의 620에서 나타내진 바와 같이, 디스플레이 파이프라인(110)은 인코딩된 HDR 콘텐츠(112)를 얻고 디코딩한다. 이어서, 도 6의 630에서 나타내진 바와 같이, 디스플레이 파이프라인(110)은, 현재 디스플레이 정보에 따라, 디코딩된 HDR 콘텐츠를 디스플레이(140)에 맵핑시킨다. 디스플레이 파이프라인(110)에서, 렌더링 파이프라인(180)에 의해 범위 0.0 내지 M 내에 렌더링되는 인코딩된 HDR 콘텐츠(112)는 디코딩되어 타깃 디스플레이(140)의 디스플레이 공간에 맵핑될 수 있다. 맵핑은 선형적일 수 있지만 반드시 그러한 것은 아니라는 점에 주목한다. 예를 들어, 가상(선형)의 경우에 있어서, 타깃 디스플레이(140)가 8-비트 디스플레이이고, B가 현재 50%로 설정되어 있고, M = 2.0인 경우, 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠는 B에 의해 나타내지는 바와 같은 디스플레이 공간의 하부 부분(코드들 0 내지 127)에 맵핑되는데, 이때 확장된 범위(1.0 내지 2.0) 또는 HDR 콘텐츠는 디스플레이 공간의 나머지 부분(코드들 128 내지 255)에 맵핑된다. 일부 실시예들에서, 파이프라인(110)의 패널 백라이트 또는 명도 조절 컴포넌트는, 적어도 부분적으로 현재 명도 레벨(B)에 따라, 타깃 디스플레이 패널에 대한 백라이트 또는 명도 레벨을 조절하여, 디스플레이(140)를, 주변 조명 레벨을 비롯한 현재 환경 조건들에 적응시킬 수 있다.
본 명세서에서 기술되는 바와 같은 HDR 렌더링 및 디스플레이 시스템(100)의 실시예들은, 예를 들어, 하나 이상의 이미지 캡처 디바이스들 및/또는 하나 이상의 디스플레이 디바이스들을 포함하거나 또는 그들에 커플링되도록 구성된 디바이스들 또는 시스템들에서 구현될 수 있다. 이미지 캡처 디바이스는, 디지털 이미지들 또는 비디오를 캡처할 수 있는 광 센서 또는 포토센서를 포함하는 임의의 디바이스일 수 있다. 이미지 캡처 디바이스들은, 비디오 카메라들 및 정지 이미지 카메라들뿐 아니라, 비디오 및 단일 이미지들 양측 모두를 캡처할 수 있는 이미지 캡처 디바이스들을 포함할 수 있지만, 이들로 제한되는 것은 아니다. 이미지 캡처 디바이스들은 독립형 디바이스들일 수 있거나, 또는 스마트폰들, 셀폰들, PDA들, 태블릿 또는 패드 디바이스들, 다기능 디바이스들, 컴퓨팅 디바이스들, 랩톱 컴퓨터들, 노트북 컴퓨터들, 넷북 컴퓨터들, 데스크톱 컴퓨터들 등을 포함하지만 이들로 제한되는 것은 아닌 다른 디바이스들에 통합되는 카메라들일 수 있다. 이미지 캡처 디바이스들은 셀폰들, PDA들, 및 태블릿 디바이스들과 같은 소형 디바이스들에서 사용하기에 적합한 작은 폼팩터의 카메라들을 포함할 수 있다는 점에 주목한다. 도 8 내지 도 12는 본 명세서에서 기술되는 바와 같은 HDR 렌더링 및 디스플레이 시스템(100), 이미지 캡처 디바이스들 또는 카메라들을 포함할 수 있거나 그들을 구현할 수 있는 디바이스들의 비제한적인 예들을 도시한다. 디스플레이들 또는 디스플레이 디바이스들은 스마트폰들, 셀폰들, PDA들, 태블릿 또는 패드 디바이스들, 다기능 디바이스들, 컴퓨팅 디바이스들, 랩톱 컴퓨터들, 노트북 컴퓨터들, 넷북 컴퓨터들, 데스크톱 컴퓨터들 등을 포함하지만 이들로 제한되는 것은 아닌 다른 디바이스들에 통합되는 디스플레이 스크린들 또는 패널들을 포함할 수 있다. 디스플레이 디바이스들은, 또한, 비디오 모니터들, 프로젝터들, 또는 일반적으로, 디지털 이미지들 및/또는 디지털 비디오를 디스플레이 또는 투사할 수 있는 임의의 디바이스를 포함할 수 있다. 디스플레이들 또는 디스플레이 디바이스들은, LCD(liquid crystal display) 기술, LPD(light emitting polymer display) 기술, 또는 LED(light emitting diode) 기술을 이용할 수 있지만, 다른 디스플레이 기술들이 이용될 수도 있다. 디스플레이들 또는 디스플레이 디바이스들은, 명도를 제공하는 데 백라이트들을 사용하는 디스플레이들(예컨대, LCD 디스플레이들)뿐 아니라 명도를 제공하는 데 백라이트들을 사용하지 않는 디스플레이들(예컨대, 각각의 픽셀이 광을 방출하는 OLED 디스플레이들)을 포함할 수 있다.
HDR 렌더링 및 디스플레이 시스템(100)의 실시예들은, HDR 비디오 데이터를 포함하지만 이로 제한되지 않는 HDR 콘텐츠의, HDR-인에이블형 디스플레이 디바이스들 및 HDR 이미징을 지원하지 않는 디스플레이 디바이스들로의 캡처, 프로세싱, 인코딩, 분배, 및 디스플레이를 지원할 수 있다 추가로, 실시예들은, HDR-인에이블형 디스플레이 디바이스들 및 HDR 이미징을 지원하지 않는 디스플레이 디바이스들 양측 모두에 대한, SDR 비디오 데이터를 포함하지만 이로 제한되지 않는 SDR 콘텐츠의 디스플레이를 지원할 수 있다. HDR 렌더링 및 디스플레이 시스템(100)의 실시예들은 비디오 프레임들 또는 시퀀스들을 렌더링 및 디스플레이할 수 있다. 실시예들은, 또한, 비디오 프레임들 또는 시퀀스들뿐 아니라 다른 디지털 이미지들 또는 디지털 콘텐츠 대신에 또는 그들에 더해서, 단일 또는 정지 이미지들을 렌더링 및 디스플레이할 수 있다.
도 8 내지 도 12는 HDR 렌더링 및 디스플레이 시스템(100)의 실시예들이 구현될 수 있는 디바이스들의 비제한적인 예들을 도시한다. 이미지 캡처 디바이스 및/또는 디스플레이 디바이스를 포함하는 디바이스 또는 시스템은 본 명세서에서 기술되는 바와 같은 비디오 데이터를 포함하지만 이로 제한되지 않는 디지털 콘텐츠를 프로세싱하기 위한 기능의 적어도 일부를 구현하는 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 일부 실시예들에서, 본 명세서에서 기술되는 바와 같은 기능의 일부분은 하나의 디바이스 상에서 구현될 수 있는 한편, 다른 부분은 다른 디바이스 상에서 구현될 수 있다. 예를 들어, 일부 실시예들에서, 이미지 캡처 디바이스를 포함하는 디바이스는 포토센서를 통해 캡처된 이미지들 또는 비디오를 프로세싱 및 압축(즉, 인코딩)하는 렌더링 파이프라인(180)을 구현할 수 있는 한편, 디스플레이 패널 또는 스크린(140)을 포함하는 다른 디바이스는 압축된 이미지들을 수신하고, 디스플레이 패널 또는 스크린(140)에의 디스플레이를 위해 프로세싱(즉, 디코딩)하는 디스플레이 파이프라인(110)을 구현할 수 있다. 일부 실시예들에서, 본 명세서에서 기술되는 바와 같은 기능 중 적어도 일부는, 다기능 디바이스들, 스마트폰들, 패드 또는 태블릿 디바이스들, 및 다른 휴대용 컴퓨팅 디바이스들, 예컨대 랩톱, 노트북, 및 넷북 컴퓨터들을 포함하지만 이들로 제한되지 않는 디바이스들에서 사용될 수 있는 SOC의 하나 이상의 컴포넌트들 또는 모듈들에 의해 구현될 수 있다. 예를 들어, 하나 이상의 디스플레이 파이프라인들 또는 디스플레이 관리 시스템들은 SOC 상의 모듈들에서 또는 모듈들(디코딩 모듈들로 지칭됨)로서 구현될 수 있고, 렌더링 파이프라인은 SOC 상의 모듈들에서 또는 모듈들(인코딩 모듈들로 지칭됨)로서 구현될 수 있다. 도 8은 예시적인 SOC를 도시하고, 도 9는 SOC를 구현하는 예시적인 디바이스를 도시한다. 도 10은 본 명세서에서 기술되는 방법들 및 장치를 구현할 수 있는 예시적인 컴퓨터 시스템을 도시한다. 도 11 및 도 12는 본 명세서에서 기술되는 방법들 및 장치를 구현할 수 있는 예시적인 다기능 디바이스들을 도시한다.
본 명세서에서 기술되는 바와 같은 HDR 렌더링 및 디스플레이 시스템(100)의 일부 실시예들에서, 콘텐츠를 하나의 표현 또는 범위로부터 다른 표현 또는 범위로 변환 또는 맵핑시키는 데 GTM(global tone mapping) 기법이 이용될 수 있다. GTM 기법에서, 글로벌 톤 곡선(global tone curve)이 하나 이상의 프레임들에 대해 특정 또는 결정될 수 있고, 콘텐츠를 하나의 표현 또는 범위로부터 다른 표현 또는 범위로 변환하는 데 이용될 수 있다. 일부 실시예들에서, GTM 기법 대신에 또는 그에 더해서, 콘텐츠를 하나의 표현 또는 범위로부터 다른 표현 또는 범위로 변환하여, 예를 들어 달리 표현되지 못할 수도 있는 콘트라스트를 유지하는 데 LTM(local tone mapping) 기법이 이용될 수 있다. LTM 기법에서, 이미지 또는 프레임은 다수의 영역들로 분할되는데, 이때 톤 곡선이 각각의 영역에 대해 특정 또는 결정된다. LTM 기법은, 예를 들어 디스플레이 디바이스의 달리 달성가능한 범위를 지나쳐서 압축할 때, 콘트라스트를 유지하는 데 도움이 될 수 있다. 이는, 예를 들어, 디스플레이 명도가 주변 명도와 필적하고 있는 때, 예를 들어 태양 직사광 속에 있는 때가 그러한 경우일 수 있다.
도 2a, 도 2b, 및 도 3은 HDR 렌더링 및 디스플레이 시스템(200)의 실시예들의 컴포넌트들 및 동작들을 더 상세히 도시한다. HDR 렌더링 및 디스플레이 시스템(200)은 하나 이상의 렌더링 파이프라인들(280), 디스플레이 파이프라인(210), 및 동적 디스플레이 모듈(270)을 포함할 수 있지만, 이들로 제한되지 않는다. HDR 렌더링 및 디스플레이 시스템(200)의 컴포넌트들은 하드웨어에서, 소프트웨어에서, 또는 이들의 조합으로서 구현될 수 있다. 도 2a 및 도 2b는 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템(200) 내의 예시적인 디스플레이 파이프라인(210)의 세부사항들을 도시한다. 도 3은 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템(200) 내의 예시적인 렌더링 파이프라인(280)의 세부사항들을 도시한다. 디스플레이 파이프라인(210)은 적어도 하나의 디스플레이(240)를 포함하거나 그에 커플링되는 디바이스 또는 시스템에서 구현될 수 있다. 렌더링 파이프라인(280)은, 예를 들어, 정지 및/또는 비디오 카메라(들)와 같은 적어도 하나의 디지털 이미지 콘텐츠 소스, 또는 비디오 스트리밍 소스를 포함하거나 그에 커플링되는 디바이스 또는 시스템에서 구현될 수 있다. 렌더링 파이프라인(280) 및 디스플레이 파이프라인(210)은 동일한 디바이스 또는 시스템에서 구현될 수 있거나, 또는 상이한 디바이스들 또는 시스템들에서 구현될 수 있다.
디스플레이 파이프라인(210)은, 타깃 디스플레이(240)를 포함하고 주변 환경 내에 위치되는 디바이스에서 구현될 수 있다. 하나 이상의 뷰어들은 주변 환경 내에 위치될 수 있고, 디스플레이(240)로 출력된 콘텐츠(232)를 뷰잉할 수 있다. 시스템(200)은 디스플레이(240)에 대한 하나 이상의 제어부들(260), 예를 들어 명도 및 콘트라스트 제어부들을 포함 또는 구현할 수 있다. 시스템(200)은, 또한, 광 센서들 또는 카메라들과 같은 하나 이상의 센서들(250)을 포함할 수 있거나, 또는 그들에 액세스할 수 있다. 주변 환경은, 예를 들어, 집 내의 방(침실, 은신처 등), 실외 설정, 사무실용 빌딩 내의 사무실 또는 회의실, 또는 일반적으로, 디스플레이(240)를 갖는 시스템(200)이 존재할 수 있게 되는 임의의 환경일 수 있다. 주변 환경은 실내 환경에서의 램프들 또는 천장 조명들과 같은 하나 이상의 광원들, 다른 인공 광원들, 창문들, 및 실외 환경에서의 태양 또는 다른 광원들을 포함할 수 있다. 시스템(200) 및/또는 디스플레이(240)는 주변 환경 내에서 이동 또는 재위치될 수 있거나, 또는 하나의 주변 환경(예컨대, 방)으로부터 다른 주변 환경(예컨대, 다른 방 또는 실외 환경)으로 이동될 수 있다는 점에 주목한다.
도 2a, 도 2b, 및 도 3은, 또한, HDR 렌더링 및 디스플레이 시스템(200)의 컴포넌트로서 동적 디스플레이 모듈(270)을 도시한다. 일부 실시예들에서, 동적 디스플레이 모듈(270)은, 디스플레이 파이프라인(210)을 포함하는 디스플레이 관리 시스템의 컴포넌트일 수 있거나, 또는, 대안으로, 디스플레이 파이프라인(210)의 컴포넌트일 수 있다. 동적 디스플레이 모듈(270)은 디스플레이 특성들(242), 디스플레이 파이프라인(210) 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(262), 및 주변 조명 레벨들과 같은 환경 정보(252)를 포함하지만 이들로 제한되지 않는 다양한 정보를 수집할 수 있고, HDR 렌더링 및 디스플레이 시스템(200)에 대한 공칭 디스플레이 범위(273), 현재 명도 레벨(272), 및 최대 렌더링 값(274)을 동적으로 결정할 수 있다.
도 2a 및 도 3에 도시된 바와 같이, 적어도 일부 실시예들에서, 렌더링 파이프라인(280)은 소스로부터(예컨대, 렌더링 파이프라인(280)을 포함하는 디바이스 또는 시스템 상의 비디오 카메라로부터, 또는 비디오 스트리밍 소스로부터) 콘텐츠(211)를 수신할 수 있고, 입력 콘텐츠(211)로부터의 HDR 콘텐츠를 렌더링할 수 있고, 인코딩 방법에 따라, 렌더링된 콘텐츠를 인코딩된 또는 압축된 포맷으로, 예를 들어 H.264/AVC 포맷 또는 H.265 HEVC 포맷과 같은 압축된 비디오 포맷으로 인코딩할 수 있다. 인코딩된 HDR 콘텐츠(282A)는 디스플레이 파이프라인(210)으로 스트리밍될 수 있다. 대안으로, 인코딩된 콘텐츠(282A)는 디스플레이 파이프라인(210)에 의한 액세스를 위해 메모리(290) 내로, 예를 들어 DMA(direct memory access) 메모리 내의 버퍼(들) 내로 스트리밍될 수 있다. 디스플레이 파이프라인(210)은 인코딩된 콘텐츠(262B)를 얻을 수 있고, 콘텐츠(262B)를 디코딩할 수 있고, 디스플레이 패널(240) 상에서의 디스플레이를 위해 디스플레이 콘텐츠(232)를 생성하도록 디코딩된 콘텐츠를 프로세싱할 수 있다.
도 2a는 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템(200) 내의 예시적인 디스플레이 파이프라인(210)의 세부사항들을 도시한다. 디스플레이 파이프라인(210)은, 디코더(212) 컴포넌트 또는 모듈, 비디오 파이프(214) 컴포넌트 또는 모듈, 프레임 속도 변환(216) 컴포넌트 또는 모듈, 합성(218) 컴포넌트 또는 모듈, 디스플레이 파이프(220) 컴포넌트 또는 모듈, 및 디스플레이 백엔드(230) 컴포넌트 또는 모듈을 포함할 수 있지만, 이들로 제한되지 않는다. 도 2b는 예시적인 디스플레이 파이프(220) 및 디스플레이 백엔드(230)를 도시한다.
도 2a를 참조하면, 인코딩된 HDR 비디오 스트림(예컨대, H.264/AVC 또는 H.265/HEVC 인코딩된 비디오 스트림)은 디스플레이 파이프라인(210)의 디코더(212) 컴포넌트에서 수신될 수 있다. 디코더(212)는 입력 콘텐츠를 디코딩/압축해제하여, 비디오 파이프(214)로 이송되는 HDR 콘텐츠를 생성할 수 있다. 비디오 파이프(214)는 콘텐츠에 대해, 잡음/아티팩트 감소, 스케일링, 선명화(sharpening), 및 색 프로세싱을 포함하지만 이들로 제한되지 않는 다양한 프로세싱 태스크들 또는 콘텐츠 프로세싱 기법들을 수행할 수 있다. 일부 실시예들에서, 프레임 속도 변환(216) 컴포넌트는 기존 프레임들 사이의 중간 프레임(들)을 생성함으로써 비디오 파이프(214)의 출력을 더 높은 프레임 속도로 변환할 수 있다. 더 높은 프레임 속도로 변환하는 것은, 예를 들어, 더 높은 명도 레벨들에서 더 분명한 플리커로 인해, 예를 들어, HDR 비디오에서 보일 수 있는 저더(judder)를 보상하는 데 도움이 될 수 있다. 프레임 속도 변환(216) 컴포넌트의 출력은, 스케일링, 색 공간 변환(들), 색역(color gamut) 조절, 및 로컬 또는 글로벌 톤 맵핑을 포함하지만 이들로 제한되지 않는 다양한 프로세싱 태스크들을 수행할 수 있는 디스플레이 파이프(220) 내로 공급될 수 있다. 이어서, 디스플레이 백엔드(230)는, 색(크로마) 및 톤(루마) 조절들, 톤 맵핑, 백라이트 또는 명도 조절들, 감마 보정, 화이트 포인트 보정, 블랙 포인트 보정, 및 타깃 디스플레이 패널(240)로 출력되는 디스플레이 콘텐츠(232)를 생성하도록 하는 시공간 디더링(spatio-temporal dithering)을 포함하지만 이들로 제한되지 않는 추가적인 프로세싱 태스크들을 수행할 수 있다. 일부 실시예들에서, 디스플레이 파이프라인(210)은 텍스트 또는 UI 요소들과 같은 다른 SDR 또는 HDR 디지털 정보를 렌더링된 HDR 콘텐츠와 합성 또는 블렌딩하는 합성(218) 컴포넌트를 포함할 수 있다. 일부 실시예들에서, 디스플레이 파이프라인(210)은 합성을 위해 HDR 콘텐츠를 선형 색 공간(예컨대, 선형 RGB 또는 YCC 색 공간)으로 변환할 수 있다.
도 2a에 도시된 바와 같이, 동적 디스플레이 모듈(270)은 디스플레이 특성들(242), 디스플레이 파이프라인(210) 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(262), 및 주변 조명 레벨들과 같은 환경 정보(252)를 포함하지만 이들로 제한되지 않는 다양한 디스플레이 정보를 수집할 수 있고, HDR 렌더링 및 디스플레이 시스템(200)에 대한 공칭 디스플레이 범위(273), 현재 명도 레벨(B)(272), 및 최대 렌더링 값(274)을 동적으로 결정할 수 있다. 공칭 디스플레이 범위(273) 및 현재 명도 레벨(B)(272)은 디스플레이 파이프라인(210) 내의 컴포넌트들 또는 모듈들 중 하나 이상에 입력될 수 있고, 그들에 의해, 정보에 따라 모듈(들)에 의해 수행되는 비디오 프로세싱 기능들 중 하나 이상을 동적으로 조절하는 데 이용될 수 있다. 따라서, 하나 이상의 현재 조건들(예컨대, 주변광, 디스플레이 특성들, 디스플레이 설정 등)이 입력 HDR 콘텐츠(282B)의 렌더링 및 디스플레이를 타깃 디스플레이 패널(240)에 실시간으로 또는 근실시간으로 동적으로 적응시키기 위해 검출, 분석, 및 이용될 수 있다.
일부 실시예들에서, 디스플레이 파이프라인(210)은 인코딩된 HDR 콘텐츠(282B)를 수신하고(루마 성분은 렌더링 파이프(280)에 의해 범위 0.0 내지 M 내에 렌더링됨), 인코딩된 콘텐츠를 디코딩하고, 디코딩된 콘텐츠를 타깃 디스플레이(240)의 디스플레이 공간에 맵핑시켜서, 루마 성분의 동적 범위 0.0 내지 M을 보존한다. 맵핑은 선형적일 수 있지만 반드시 그러한 것은 아니라는 점에 주목한다. 예를 들어, 가상(선형)의 경우에 있어서, 타깃 디스플레이(240)가 8-비트 디스플레이이고, 현재 명도 레벨(B)이 50%로 설정되어 있고, M = 2.0인 경우, 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠는 B에 의해 나타내지는 바와 같은 디스플레이 공간의 하부 부분(코드들 0 내지 127)에 맵핑될 수 있거나 또는 그로 압축될 수 있는데, 이때 확장된 범위(1.0 내지 2.0) 또는 HDR 콘텐츠는 디스플레이 공간의 나머지 부분(코드들 128 내지 255)에 맵핑된다. 따라서, 표준 디스플레이 상에서도, 표준 범위(0.0 내지 1.0)를 초과하는 렌더링된 HDR 콘텐츠가 디스플레이될 수 있다.
도 2b는 일부 실시예들에 따른, 디스플레이 파이프라인(210)의 예시적인 디스플레이 파이프(220) 및 디스플레이 백엔드(230) 컴포넌트들을 도시한다. 일부 실시예들에서, 디스플레이 파이프(220)는 HDR 콘텐츠를 타깃 디스플레이 패널 해상도로 변환하도록 수직 및 수평 스케일링(422)을 수행할 수 있다. 이어서, 스케일링된 콘텐츠를 입력 콘텐츠의 색 공간(예컨대, RGB, YCC, 또는 XYZ 색 공간)으로부터 다른 색 공간(예컨대, YCC 색 공간)으로 변환하도록 색 공간 변환(424)이 수행될 수 있다. 이어서, 비디오 콘텐츠의 색(크로마) 성분을 타깃 디스플레이 패널의 색역으로 조절하도록 콘텐츠에 대해 색역 조절(426)이 수행될 수 있다. 이어서, 비디오 콘텐츠를 디스플레이 백엔드(230)의 색 공간(예컨대, RGB 색 공간)으로 변환하도록 다른 색 공간 변환(428)이 수행될 수 있다. 이어서, 디스플레이 파이프(220)에 의해 프로세싱된 비디오 콘텐츠는 디스플레이 백엔드(230)에 제공될 수 있다.
일부 실시예들에서, 디스플레이 백엔드(230)는 콘텐츠에 대해 추가적인 디스플레이 패널 특정 프로세싱 태스크들을 수행할 수 있다. 디스플레이 백엔드(230)의 일부 실시예들에서, 적응적 픽셀 조절(431) 컴포넌트가 주변광 레벨과 같은 환경 조건들 및 디스플레이 특성들(예컨대, 비트 심도, 최대 휘도, 누설, 반사율, 전달 함수(들) 등)을 포함하지만 이들로 제한되지 않는 정보(275)에 응답하여 콘텐츠 내의 픽셀 값들을 조절할 수 있다. 디스플레이 백엔드(230)의 일부 실시예들에서, 톤 맵핑(432) 컴포넌트가 콘텐츠에 톤 맵핑을 적용할 수 있다. 일반적으로 정의하면, 톤 맵핑은 톤 이미지 값들(예컨대, HDR 이미지 데이터로부터의 루마 값들)의 하나의 세트를 다른 세트에(예컨대, SDR 이미지 데이터에) 맵핑시키는 기법이다. 톤 맵핑은, 예를 들어, 더 많이 제한된 동적 범위(예컨대, SDR)를 갖는 미디어 내의 HDR 이미지들의 외양을 근사화하는 데 이용될 수 있다. 톤 맵핑은, 일반적으로, 루마 이미지 데이터에 적용될 수 있다. 디스플레이 백엔드(230)의 일부 실시예들에서, 패널 백라이트(또는 명도) 조절(433) 컴포넌트가 적어도 부분적으로 현재 명도 레벨(272)에 따라 타깃 디스플레이 패널에 대한 백라이트(또는 명도) 레벨들을 조절할 수 있다. 디스플레이 백엔드(230)의 일부 실시예들에서, 타깃 디스플레이 패널 상에서의 적절한 디스플레이를 위해 콘텐츠의 명도를 조절하도록 패널 감마 보정(434)이 구성될 수 있다. 이어서, 콘텐츠의 화이트 포인트를 타깃 디스플레이 패널의 화이트 포인트로 보정하도록 화이트 포인트 보정(435)이 수행될 수 있다. 이어서, 디스플레이 백엔드(230)의 일부 실시예들에서, 디스플레이된 콘텐츠 내의 아티팩트들(예컨대, 밴딩 패턴들)을 감소시키거나 제거하도록 콘텐츠에 (프레임 내의) 공간적 및/또는 (2개 이상의 프레임들에 걸친) 시간적 디더링(436)이 적용될 수 있다.
도 2b에 도시된 바와 같이, 동적 디스플레이 모듈(270)은 디스플레이 특성들(242), 디스플레이 파이프라인(210) 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(262), 및 주변 조명 레벨들과 같은 환경 정보(252)를 포함하지만 이들로 제한되지 않는 다양한 정보를 수집할 수 있고, HDR 렌더링 및 디스플레이 시스템(200)에 대한 공칭 디스플레이 범위(273), 현재 명도 레벨(272), 및 다른 정보(275)를 동적으로 결정할 수 있다. 공칭 디스플레이 범위(273), 현재 명도 레벨(272), 및 다른 정보(275)는 디스플레이 파이프라인(210)의 디스플레이 파이프(220) 및/또는 디스플레이 백엔드(230) 내의 컴포넌트들 또는 모듈들 중 하나 이상에 입력될 수 있고, 그들에 의해, 정보에 따라 모듈(들)에 의해 수행되는 콘텐츠 프로세싱 기능들 중 하나 이상을 동적으로 조절하는 데 이용될 수 있다. 따라서, 하나 이상의 현재 조건들(예컨대, 주변광, 디스플레이 특성들, 디스플레이 설정 등)이 HDR 콘텐츠(282)의 렌더링 및 디스플레이를 타깃 디스플레이 패널(240)에 동적으로 적응시키기 위해 검출, 분석, 및 이용될 수 있다.
도 3은 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템(200) 내의 예시적인 렌더링 파이프라인(280)의 세부사항들을 도시한다. 렌더링 파이프라인(280)은 디스플레이를 위해 디지털 이미지 콘텐츠(211)를 생성하는 애플리케이션, 디바이스, 모듈, 컴포넌트, 또는 시스템과 연관될 수 있다. 일부 실시예들에서, 렌더링 파이프라인(280)은 소스(예컨대, 디지털 비디오 카메라 또는 정지 이미지 카메라, 또는 비디오 스트리밍 소스)로부터 "미처리" 디지털 이미지 콘텐츠(211)를 수신하고, 수신된 디지털 이미지 콘텐츠(211)를 렌더링 및 인코딩하여 인코딩된 HDR 콘텐츠(282)를 생성한다. 렌더링 파이프라인(280)은 EOTF(electro-optical transfer function)(282) 컴포넌트 또는 모듈, 맵핑(284) 컴포넌트 또는 모듈, 및 인코더(288) 컴포넌트 또는 모듈을 포함할 수 있지만, 이들로 제한되지 않는다.
렌더링 파이프라인(280)으로의 입력 콘텐츠(211)는, 예를 들어, 16 비트의 비트 깊이에서 (선형) CIE 1931 XYZ 색 공간에서 인코딩될 수 있다. 그러나, 입력 콘텐츠(211)는 다른 포맷들, 색 공간들, 및 비트 심도들의 것일 수 있다. EOTF(282) 컴포넌트는 입력 콘텐츠(211) 데이터를 색 공간 내의 n-비트 데이터에, 예를 들어 12-비트 RGB 색 공간에 맵핑시키도록 EOTF 동작을 입력 콘텐츠(211)에 적용할 수 있다. 이어서, 맵핑(284) 컴포넌트는, 예를 들어 톤(루마) 맵핑 및 색역(색) 맵핑 기법들을 이용하여, EOTF(282)에 의해 출력된 콘텐츠(예컨대, 12-비트 RGB 데이터)를 비트 심도 및 색 공간(예컨대, 10-비트 RGB)에 맵핑시킬 수 있다. 그러나, 다양한 맵핑 기법들 중 임의의 것이 맵핑(2284) 컴포넌트에 의해 이용될 수 있다. 일부 실시예들에서, 맵핑(284)은, 적어도 부분적으로 디스플레이 모듈(270) 및/또는 디스플레이 파이프라인(210)으로부터 얻어진 디스플레이 정보에 따라, 수행될 수 있다. 렌더링 파이프라인(280)의 일부 실시예들에서, GTM 기법이 맵핑(284) 컴포넌트에서 이용될 수 있다. 일부 실시예들에서, GTM 기법 대신에 또는 그에 더해서, LTM 기법이 맵핑(284) 컴포넌트에서 이용될 수 있다. LTM 기법에서, 이미지 또는 프레임은 다수의 영역들로 분할되는데, 이때 톤 곡선이 각각의 영역에 대해 특정 또는 결정된다. LTM 기법은, 예를 들어 디스플레이 디바이스의 달리 달성가능한 범위를 지나쳐서 압축할 때, 콘트라스트를 유지하는 데 도움이 될 수 있다. 이는, 예를 들어, 디스플레이 명도가 주변 명도와 필적하고 있는 때, 예를 들어 태양 직사광 속에 있는 때가 그 경우일 수 있다. 일부 실시예들에서, EOTF(282) 컴포넌트의 출력은 맵핑(284) 이전에 다른 색 공간으로, 예를 들어 RGB로부터 YCC 색 공간으로 변환될 수 있다.
종래의 렌더링 파이프라인들에서 행해지는 바와 같이 콘텐츠(211)에 대한 루마 값들을 표준 범위(0.0 내지 1.0)에 맵핑시키는 대신, 렌더링 파이프라인(280)은 콘텐츠를 더 넓은 범위들에 맵핑시킬 수 있다. 예를 들어, 입력 콘텐츠(211)가 일반 또는 표준 명도보다 더 밝은 루마 값들(예컨대, 10x 표준 명도)을 포함하는 경우, 렌더링 파이프라인(280)은 휘도 데이터를 범위 0.0 내지 M에 맵핑시킬 수 있다(여기서, M은 명도에 대한 최대 값임). 따라서, 맵핑(284)의 출력은 HDR 콘텐츠인데, 이때 루마는 범위 0.0 내지 M에 맵핑된다. 일부 실시예들에서, 콘텐츠(211)의 표준 또는 SDR 부분은 범위 0.0 내지 1.0에 맵핑될 수 있고, 콘텐츠(211)의 확장된 또는 HDR 부분은 범위 1.0 내지 M에 맵핑될 수 있다. 예를 들어, 10x 표준 명도인 휘도 값들을 포함하는 입력 콘텐츠(211)에 대해, 이어서, 값들이 범위 0.0 내지 10.0에 맵핑될 수 있는데, 이때 1.0은 표준 명도를 나타내고 M = 10.0은 최대 명도를 나타낸다.
일부 실시예들에서, 디스플레이 특성들(242), 디스플레이 파이프라인(210) 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(262), 및 환경 정보(252)를 포함하지만 이들로 제한되지 않는 현재 디스플레이 정보가 동적 디스플레이 모듈(270)에 의해 수집되어, 디스플레이 파이프라인(210)에 의해 현재 지원되는 최대 렌더링 값(M)(274)을 결정하는 데 이용될 수 있고, 최대 렌더링 값(M)(274)은 렌더링 파이프라인(280)에 제공될 수 있다. 예를 들어, 검출된 주변광 레벨들 및/또는 명도 제어 입력들은 디스플레이(242)에 대한 현재 명도 레벨(B)(272)을 결정하는 데 이용될 수 있다. 현재 명도 레벨(B)(272)은 백분율(예컨대, 0.25 또는 25%, 0.5 또는 50% 등)로서 표현될 수 있고, 표준 범위(SDR) 최대 명도 값(1.0)에 대응할 수 있다. 일부 실시예들에서, 최대 렌더링 값(M)(274)은 B의 역으로서 결정될 수 있다. 예를 들어, B = 0.25(1/4)인 경우, M = 4/1 = 4.0이다. 유사하게, B = 0.5인 경우, M = 2.0이다. 이어서, 렌더링 파이프라인(280)은 입력 콘텐츠(211)의 루마 컴포넌트를 범위 0.0 내지 M에 맵핑하여, 인코딩될 HDR 콘텐츠를 생성할 수 있다.
이어서, 인코더(288) 컴포넌트는 렌더링된 콘텐츠 출력을, 인코딩 방법에 따른 인코딩된 또는 압축된 포맷, 예를 들어 H.264/AVC 포맷, 또는 H.265 HEVC 포맷과 같은 압축된 비디오 포맷으로 인코딩할 수 있다. 일부 실시예들에서, 맵핑(284) 컴포넌트의 출력은 인코더(288) 이전에 다른 색 공간으로, 예를 들어 RGB로부터 YCC 색 공간으로 변환될 수 있다. 인코더(288)의 출력은 인코딩된 HDR 콘텐츠(285A)이다. 인코딩된 HDR 콘텐츠(282A)는 디스플레이 파이프라인(210)으로 스트리밍될 수 있다. 대안으로, 인코딩된 콘텐츠(282A)는 디스플레이 파이프라인(210)에 의한 액세스를 위해 메모리(290) 내로, 예를 들어 DMA 메모리 내의 버퍼(들) 내로 스트리밍될 수 있다.
디스플레이 파이프라인(210)은 인코딩된 콘텐츠(262B)를 얻을 수 있고, 콘텐츠(262B)를 디코딩할 수 있고, 디스플레이 패널(240) 상에서의 디스플레이를 위해 디스플레이 콘텐츠(232)를 생성하도록 디코딩된 콘텐츠를 프로세싱할 수 있다. 일부 실시예들에서, 동적 디스플레이 모듈(270)은 디스플레이 특성들(242), 디스플레이 파이프라인(210) 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(262), 및 주변 조명 레벨들과 같은 환경 정보(252)를 포함하지만 이들로 제한되지 않는 다양한 정보를 수집할 수 있고, HDR 렌더링 및 디스플레이 시스템(200)에 대한 공칭 디스플레이 범위(273), 현재 명도 레벨(272), 및 다른 정보(275)를 동적으로 결정할 수 있다. 공칭 디스플레이 범위(273), 현재 명도 레벨(272), 및 다른 정보(275)는 디스플레이 파이프라인(210) 내의 컴포넌트들 또는 모듈들 중 하나 이상에 입력될 수 있고, 그들에 의해, 정보에 따라 모듈(들)에 의해 수행되는 콘텐츠 프로세싱 기능들 중 하나 이상을 동적으로 조절하는 데 이용될 수 있다. 따라서, 하나 이상의 현재 조건들(예컨대, 주변광, 디스플레이 특성들, 디스플레이 설정 등)이 HDR 콘텐츠(282)의 렌더링 및 디스플레이를 타깃 디스플레이 패널(240)에 동적으로 적응시키기 위해 검출, 분석, 및 이용될 수 있다.
도 2a, 도 2b, 및 도 3에 도시된 다양한 비디오 포맷들, 색 공간들, 비트 심도들 등은 예로서 주어지고 제한하는 것으로 의도되지 않는다는 점에 주목한다. 예를 들어, CIE 1931 XYZ 이외의 다른 색 공간들이 입력 비디오에 이용될 수 있다. 다른 예로서, 일부 실시예들에서, 인코딩 및 디코딩이 H.264/AVC 또는 H.265/HEVC 포맷 이외의 다른 인코딩 포맷들에 따라 수행될 수 있다. 다른 예로서, 렌더링 파이프라인(280) 및 디스플레이 파이프라인(210)에서 사용되는 색 공간들, 및 디스플레이 파이프라인(210)이 콘텐츠를 맵핑시키게 되는 타깃 디스플레이 패널(240)의 색 공간은 다양한 YUV, YCC, RGB, Rec. 709, DCI P3, 및 Rec. 2020 색 공간들을 포함하지만 이들로 제한되지 않는 다양한 색 공간들 중 임의의 것일 수 있다.
뷰어
지각, 공칭 디스플레이 범위, 및 명도
HDR 콘텐츠를 렌더링 및 디스플레이할 시에 고려할 중요한 인자가 뷰어 지각이다. 인간 시각 시스템은 넓은 럭스 범위를 갖는다. 그러나, 임의의 주어진 시간에, 그 범위의 작은 부분에만 시야가 적응된다. 도 1 내지 도 3에 도시된 바와 같은 HDR 렌더링 및 디스플레이 시스템의 적어도 일부 실시예들은, 디스플레이 상에서 렌더링되는 현재 이미지의 명도, 디스플레이의 크기 또는 치수들, 디스플레이로부터의 뷰어의 거리, 및 주변 환경 조건들(주변 조명을 포함하지만 이로 제한되지 않음)을 포함하지만 이들로 제한되지 않는 조건들을 검출, 추적, 및 분석하여 현재 조건들에 따른 뷰어 시야에 대한 현재 범위뿐 아니라 조건들이 최근에 어떻게 변화했는지를 판정할 수 있고, 타깃 디스플레이 패널로의 콘텐츠의 렌더링 및 디스플레이를 현재 조건들에 따라 그 범위에 적응시킬 수 있다.
광도측정법에서, 휘도에 대한 SI 단위는, 제곱미터당 칸델라(cd/m2)이다. 칸델라는 광도(luminous intensity)의 SI 단위이다. 동일 단위에 대한 비-SI 용어는 "NIT"이다. 럭스(lux)는 휘도 및 광출사도(luminous emittance)의 SI 단위인데, 단위 면적당 광속(luminous flux)(루멘, lumen)을 측정한다. 럭스는 제곱미터당 1 루멘과 동일하다. 루멘은 소스에 의해 방출된 가시광의 측정 단위(measure)인 광속의 SI 유도 단위이다.
도 4a 및 도 4b는 예시적인 디스플레이 패널에 대한 인간 지각 범위를 도시한다. 도 4a는 디밍 환경에서의 디스플레이에 대한 지각 범위를 도시한다. 도 4b는 더 밝은 환경에서의 디스플레이에 대한 지각 범위를 도시한다. 도 4a의 곡선에 의해 도시된 바와 같이, 인간 지각은 비선형적이다. 그러나, 인간 시야는 별빛(10-4 럭스) 내지 태양 직사광(104 럭스)인 넓은 럭스 범위를 갖는다. 임의의 주어진 시간에, 인간 시야는 그 범위 중 작은 부분에만 적응되고, 일반적으로, 뷰의 상당한 부분을 대하는 가장 밝은 자극 또는 대상에 적응한다. 임의의 주어진 적응 레벨에서, 구별될 수 있는 세기는 사이에 2^8 내지 2^9개의 빈들만이 있다. 도 4a 및 도 4b에서, 최대 럭스 레벨(도 4a에서는 약 250, 도 4b에서는 약 2500)은 주면 명도의 레벨이며, 이에 상응하게, 뷰어의 지각이 적응된 레벨이다. 유사하게, 곡선의 어두운 단부에서, 제1 지각 빈(곡선의 최저 빈)은 진정한 흑색과는 구별불가능하다.
도 4a는 상당히 디밍한 환경에서 상당히 밝은 디스플레이를 도시하는데; 디스플레이는 인간 시야를 상당히 잘 모방(mimic)한다. 수직축은 512개의 지각 레벨들(세기들)을 나타낸다. 페데스탈 영역은 적절하게 렌더링하기가 어려운 영역이다. 페데스탈 영역은 흑색의 디스플레이 누설뿐 아니라 디스플레이 패널로부터의 주변 반사광으로 인해 디스플레이에 도달될 수 없는 회색의 음영부(shade)들을 포함하고, 디스플레이 상의 흑색이 시야의 관점에서 실제 흑색과는 지각적으로 얼마나 상이한가를 예시한다.
도 4b는 디스플레이가 인간 지각의 일부분만을 자극할 수 있는 더 밝은 환경으로의 인간 지각의 맵핑을 도시한다. 디스플레이 범위로서 나타내진 곡선의 부분은 인간 시각 범위의 절반 미만을 자극한다. 디스플레이의 지각된 응답은 그의 측정된 응답과는 상이하다. 따라서, 디스플레이 상에서 표현될 수 있는 동적 범위와 관련하여 한계가 있을 수 있다.
전술된 바와 같이, 주어진 적응 레벨에서, 인간 시각계가 구별할 수 있는 세기는 2^8 내지 2^9개의 상이한 레벨들만이 있다. 도 1 내지 도 3에 도시된 바와 같은 HDR 렌더링 및 디스플레이 시스템의 실시예들은 현재 조건들에 따라 인간 시야에 대한 현재 범위(공칭 디스플레이 범위로 지칭됨)를 결정하는 주변 조명을 포함하지만 이로 제한되지 않는 주변 환경 조건들을 검출 및 분석할 수 있고, 타깃 디스플레이 패널로의 콘텐츠의 렌더링 및 디스플레이를 현재 조건들에 따라 그 공칭 범위에 적응시킬 수 있다.
도 1 내지 도 3에 도시된 바와 같은 HDR 렌더링 및 디스플레이 시스템의 실시예들에서, 주변 조명을 포함하지만 이로 제한되지 않는 환경 정보(252)는 HDR 콘텐츠를 프로세싱할 시에 레버리징될 수 있다. 주변 조명 조건들이 알려져 있는 경우, 뷰어의 경험을 향상시킬 수 있는 여러 가지 것들이 행해질 수 있다. 도 2a 및 도 3에 도시된 바와 같이, HDR 렌더링 및 디스플레이 시스템(200)은 디스플레이(240)에 대한 환경 조건들을 모니터링할 수 있는 광 센서들 또는 카메라들을 포함하지만 이들로 제한되지 않는 하나 이상의 센서들(250)을 포함할 수 있다. 이러한 환경 정보(252)는 주변 환경에 따라 HDR 콘텐츠의 렌더링 및 디스플레이를 적응시키도록 HDR 렌더링 및 디스플레이 시스템(200) 내의 모듈들 중 하나 이상에 의해 레버리징될 수 있다. 예를 들어, 톤 맵핑 및/또는 색역 맵핑이 디스플레이를 위해 콘텐츠에 적용될 때, 맵핑은 현재 주변 조명에 적어도 부분적으로 기초하여 동적으로 조절될 수 있다. 다른 예로서, 디스플레이 명도는 현재 주변 조명에 적어도 부분적으로 기초하여 위아래로 조절될 수 있다. 일부 실시예들에서, 주변 조명에 더해서, 뷰어 포지션 및 각도와 같은 다른 환경 정보(252)가 또한 수집되어 주변 환경에 따라 HDR 콘텐츠의 렌더링 및 디스플레이를 적응시킬 시에 이용될 수 있다.
주변 조명과 같은 환경 정보(252)에 더해서, 일부 실시예들에서, 뷰어는 뷰어가 희망하는 명도 레벨을 특정하게 하는 디스플레이 명도 슬라이더와 같은 하나 이상의 제어부들(260)을 통해 제어 입력(262)을 제공할 수 있다. 일부 실시예들에서, 사용자가, 종래의 디스플레이 명도 제어부, 예를 들어 LCD 백라이트 제어기가 전형적으로 제공하는 것보다 더 디밍한 설정을 선택하게 하는 명도 제어부(260)가 제공될 수 있는데; 종래의 디스플레이 명도 제어부들은 전형적으로 계속해서 흑색까지 줄곧 디밍하지 않는다. 일부 실시예들에서, 제어 입력(262)은 뷰어를 위해 HDR 콘텐츠의 렌더링 및 디스플레이를 적응시킬 시에 환경 정보(252) 대신에 또는 그에 더해서 이용될 수 있다. 일부 실시예들에서, 디스플레이 특성들(242)(예컨대, 비트 심도, 해상도, 크기/치수들, 누설, 반사율, 전달 함수(들) 등)이 뷰어를 위해 HDR 콘텐츠의 렌더링 및 디스플레이를 적응시킬 시에 HDR 렌더링 및 디스플레이 시스템(200)에 의해 얻어질 수 있고 이용될 수 있다.
도 2a를 참조하면, 일부 실시예들에서, HDR 렌더링 및 디스플레이 시스템(200)은 디스플레이 특성들(242), 디스플레이 파이프라인(210) 내의 컴포넌트들의 전달 용량/정밀도, 제어 입력들(262), 및 환경 정보(252)를 포함하지만 이들로 제한되지 않는 다양한 정보를 얻거나 수집할 수 있는 동적 디스플레이 모듈(270)을 포함할 수 있고, HDR 렌더링 및 디스플레이 시스템(200)에 대한 공칭 디스플레이 범위(273), 현재 명도 레벨(272), 및 최대 렌더링 값(274)을 동적으로 결정하는 데 그 정보를 이용할 수 있다. 최대 렌더링 값(274)은 인코딩된 HDR 콘텐츠(282A)로서 인코딩 및 출력될 HDR 콘텐츠를 생성하기 위해 입력 콘텐츠(211)를 렌더링할 때 루마 값들에 대한 최대 값(M)으로서 이용되도록 하나 이상의 렌더링 파이프라인들(280)로 전달될 수 있다. 공칭 디스플레이 범위(273) 및 현재 명도 레벨(272)은 입력 HDR 콘텐츠(282B)를 타깃 디스플레이(240)의 디스플레이 공간에 맵핑할 때 이용되도록 디스플레이 파이프라인(210)에 전달될 수 있다. 일부 실시예들에서, 동적 디스플레이 모듈(270)은 디스플레이를 위해 HDR 콘텐츠를 프로세싱할 때 사용하기 위해 주변광 레벨과 같은 환경 조건들을 포함하지만 이로 제한되지 않는 다른 정보(275)를 디스플레이 파이프라인(210)으로 전달할 수 있다.
도 5a 내지 도 5c는 일부 실시예들에 따라, 동적 디스플레이 모듈에 의해 생성된 바와 같은 현재 디스플레이 정보를 이용하여 렌더링 파이프라인에 의해 범위 0.0 내지 M 내에 렌더링되는 HDR 콘텐츠를 디스플레이 공간에 맵핑하는 것을 도시한다. 도 5a는 일반 조명 환경에서 HDR 콘텐츠를 일반 또는 표준 디스플레이(예컨대, 8-비트 디스플레이)에 맵핑하는 것을 도시한다. 도 5b는 HDR 콘텐츠를 밝은 또는 HDR-인에이블형 디스플레이(예컨대, 10-비트, 12-비트, 또는 더 큰 비트 디스플레이)에 맵핑하는 것을 도시한다. 도 5c는 디밍한 조명 환경에서 HDR 콘텐츠를 일반 또는 표준 디스플레이(예컨대, 8-비트 디스플레이)에 맵핑하는 것을 도시한다. 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠가 맵핑되는 디스플레이 공간의 부분은 공칭 디스플레이 범위로 지칭될 수 있다.
도 5a는 일부 실시예들에 따라, 일반 조명 환경에서 HDR 콘텐츠를 일반 또는 표준 디스플레이(예컨대, 8-비트 디스플레이)에 맵핑하는 것을 도시한다. 8-비트 디스플레이의 경우, N = 256이다. 일반 조명 환경에서, 공칭 디스플레이 범위(0.0 내지 1.0)는 디스플레이의 모든 코드들에 걸쳐서 확장될 수 있다. 이러한 예에서, 8-비트 디스플레이의 경우, 코드들은 0 내지 255이고, 전형적으로, 0.0은 코드 0에 맵핑하고, 1.0은 코드 255에 맵핑한다. 렌더링 파이프라인(들)에 의해 범위 0.0 내지 M 내에 렌더링되는 입력 HDR 콘텐츠는 디스플레이 파이프라인에 의해 디스플레이 공간의 256개 코드들에 맵핑될 수 있다. 일부 실시예들에서, 최대 값(M)은 1.0/코드 255에 맵핑될 수 있는데, 이때 0.0은 0.0/코드 0에 맵핑된다. 맵핑은 선형적일 수 있지만 반드시 그러한 것은 아니라는 점에 주목한다. 일부 실시예들에서, 간단한 스케일 또는 승산 함수가 맵핑을 수행하는 데 이용될 수 있다. 일부 실시예들에서, 맵핑은 감마 함수, 예를 들어 본 명세서에서 기술되는 바와 같은 지각 모델에 따라 결정된 감마 함수에 따라 수행될 수 있다. 일부 실시예들에서, 하나 이상의 룩업 테이블(LUT)들이 맵핑을 수행하는 데 이용될 수 있다. 일부 실시예들에서, LUT들은 특정 디스플레이들 또는 디스플레이들의 타입들을 보정하도록 또는 달리 맵핑을 왜곡(warp)시키거나 조절하도록 적응될 수 있다.
일부 실시예들에서, 텍스트 또는 UI 요소들과 같은 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠는 디스플레이 이전에 디스플레이 파이프라인에 의해 렌더링된 HDR 콘텐츠와 블렌딩 또는 합성될 수 있다. 일부 실시예들에서, 디스플레이 공간에서 SDR 콘텐츠를 HDR(0.0 내지 M) 콘텐츠와 합성 또는 블렌딩할 때, SDR 콘텐츠, 및 HDR 콘텐츠의 표준(0.0 내지 1.0) 부분은 디스플레이 공간의 하부 부분(예컨대, 8 비트에 대한 코드들 0 내지 127)에 맵핑될 수 있거나 또는 그로 압축될 수 있는데, 이때 HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 나머지 부분(예컨대, 8 비트에 대한 코드들 128 내지 255)에 맵핑된다. 맵핑은 선형적일 수 있지만 반드시 그러한 것은 아니라는 점에 주목한다. 예를 들어, 가상(선형)의 경우에, M = 2이면, SDR 콘텐츠, 및 HDR 콘텐츠의 표준(0.0 내지 1.0) 부분은 8 비트에 대한 코드들 0 내지 127에 맵핑될 수 있거나 또는 그로 압축될 수 있는데, 이때 HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 나머지 부분(8 비트에 대한 코드들 128 내지 255)에 맵핑된다.
도 5b는 일부 실시예들에 따라, HDR 콘텐츠를 밝은 또는 HDR-인에이블형 디스플레이(예컨대, 10-비트, 12-비트, 또는 더 큰 비트 디스플레이)에 맵핑하는 것을 도시한다. 10-비트 디스플레이의 경우, N = 1024이다. 따라서, 코드들은 0 내지 1023이다. 일부 실시예들에서, HDR 콘텐츠의 표준(0.0 내지 1.0) 부분은 디스플레이 파이프라인에 의해 디스플레이 공간의 하부 코드들(0 내지 n)에 맵핑될 수 있는데, 이때 HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 나머지 부분(코드들 n 내지 1023)에 맵핑된다. 맵핑은 선형적일 수 있지만 반드시 그러한 것은 아니라는 점에 주목한다. 일부 실시예들에서, n은 M의 값으로부터 결정될 수 있다. 예를 들어, 가상(선형)의 경우에, M = 4이면, 10-비트 디스플레이에 대해, n = (1024 / 4) - 1 = 255이다. 보다 현실적으로, 실세계 비선형(감마)의 경우, M = 4이면, 2.2의 감마 응답을 갖는 10-비트 디스플레이에 대해, 1.0은 ((0.25)^2.2) * 1023 = 48.45에 맵핑될 것이다. 디스플레이 인터페이스들이 정수들만을 전달할 수 있으므로, 이것은 48로 반올림될 수 있거나 또는 (더 가능성 있게는) 48.45가 디더와 함께 디스플레이에 전달될 수 있다.
일부 실시예들에서, 확장된 디스플레이 공간에서 SDR 콘텐츠를 HDR(0.0 내지 M) 콘텐츠와 합성 또는 블렌딩할 때, SDR 콘텐츠, 및 HDR 콘텐츠의 표준(0.0 내지 1.0) 부분은 디스플레이 공간의 하부 부분(예컨대, 코드들 0 내지 n)에 맵핑될 수 있거나 또는 그로 압축될 수 있는데, 이때 HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 나머지 부분(예컨대, 코드들 n 내지 1023)에 맵핑된다.
도 5c는 일부 실시예들에 따라, 디밍한 조명 환경에서 HDR 콘텐츠를 일반 또는 표준 디스플레이(예컨대, 8-비트 디스플레이)에 맵핑하는 것을 도시한다. 디밍 환경에서는, 심지어 일반 디스플레이조차도 매우 밝아 보일 것이고, 적응된 뷰어 시야에 불편하게 밝아 보일 수 있다. 따라서, 명도(예컨대, 백라이트 명도)는 제어부(예컨대, 명도 슬라이더 UI 요소)를 사용하여 턴다운될 수 있거나, 또는 주변 조명을 검출하는 센서 입력에 응답하여 자동으로 디밍될 수 있다. 일부 실시예들에서, 명도 제어부(예컨대, 명도 슬라이더 UI 요소)는, 사용자가 종래의 디스플레이 명도 제어부, 예를 들어 LCD 백라이트 제어기가 전형적으로 제공하는 것보다 더 디밍한 설정을 선택하게 할 수 있는데; 종래의 디스플레이 명도 제어부들은 전형적으로 계속해서 흑색까지 줄곧 디밍하지 않는다. HDR 렌더링 및 디스플레이 시스템의 실시예들은 100% 미만의 디밍된 명도 레벨에 의해 생성된 디스플레이 공간의 "헤드룸" 또는 미사용된 부분을 활용하여, HDR 콘텐츠를 표준 디스플레이에 디스플레이할 수 있다. 예를 들어, 디스플레이 명도가 50%인 경우, 8-비트 디스플레이에 대해, 디스플레이 코드들의 상위 부분(128 내지 255)은 렌더링 파이프라인(들)에 의해 렌더링된 바와 같은 콘텐츠의 확장된 또는 HDR 부분(루마 값들 1.0 내지 M)에 이용될 수 있는데, 이때 하부 부분(0 내지 127)은 콘텐츠의 표준 또는 SDR 부분(루마 값들 0.0 내지 1.0)에 이용된다.
일부 실시예들에서, 검출된 주변광 레벨들 및/또는 명도 제어 입력은, 타깃 디스플레이에서의 주변 뷰잉 조건들에 따라, 디스플레이에 대한 현재 명도 레벨(B)을 결정하는 데 이용될 수 있다. 현재 명도 레벨(B)은 백분율(예컨대, 0.25 또는 25%, 0.5 또는 50% 등)로서 표현될 수 있다. 일부 실시예들에서, B는 표준 범위(SDR) 최대 명도 값(1.0)에 대응 또는 맵핑할 수 있다. 일부 실시예들에서, 최대 렌더링 값(M)은 B의 역으로서 결정될 수 있다. 예를 들어, B = 0.25(1/4)인 경우, M = 4/1 = 4.0이다. 유사하게, B = 0.5인 경우, M = 2.0이다. 렌더링 파이프라인(들)은 HDR 콘텐츠를 범위 0.0 내지 M 내에 렌더링할 수 있다.
일부 실시예들에서, 현재 디스플레이 정보는, 최대 렌더링 값(M)을 결정할 시에 렌더링 파이프라인(들)에 의해 수집 및 이용될 수 있다. 일부 실시예들에서, M을 결정할 시, M은 정밀도 임계치, 지각 임계치, 및 심미적 임계치가 초과되지 않음을 보장하면서 가능한 한 크게 되도록 최적화될 수 있다. 예를 들어, (특히, 도 5c에 도시된 바와 같은 어두운 주변 조건들에서의) 뷰어의 현재 적응에서, 디스플레이의 광 누설이 부적절한 지각 임계치를 넘지 않는다는 것이 중요하며, M은 이러한 임계치 근처이지만 그 아래에 있도록 최적화될 수 있다. 다른 예로서, 렌더링 파이프라인(들)의 정밀도, 및 디더링 기법과 같은 기법들을 통해 더 큰 정밀도를 전달하는 능력이 주어지면, 전달 용량은 평활한 그레디언트에 어떠한 지각 밴딩도 유도되지 않게 할 정도로 충분한 것이 중요하며, M을 최적화하는 것은, 정밀도, 지각, 및 심미적 한도들을 초과하지 않으면서 M을 파이프라인(들)에 의해 지원되는 값으로 제한함으로써 충분한 전달 용량을 보장하는 것에 도움이 된다. 다른 예로서, M이 너무 높게 설정되는 경우, 공칭 디스플레이 범위, 즉 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠가 맵핑되는 디스플레이 공간의 하부 부분은 상이한 휘도 레벨들이 현재의 주변 조건들 및 그들 조건에 대한 뷰어의 적응 하에서 구별가능하지 않은 지점으로 감소될 수 있는데, 그 이유는 그들이 너무 적은 지각 빈들에 맵핑되고 있기 때문이다. 따라서, M은 디스플레이 패널에 대한 지각 빈 임계치를 초과하지 않는 동안에는 가능한 한 크게 되도록 최적화될 수 있다. 추가로, 일부 실시예들에서, 흑색 레벨은, 뷰어의 현재 적응이 주어지면, 잠재적으로 압축된 신호가 시인되도록 현재 주변 조건들에 따라 적응될 수 있다. 또한, 콘텐츠를 사용자의 적응된 시야 및 지각 빈들의 모델에 맵핑시키도록 전달 함수가 적용될 수 있다.
8-비트 디스플레이에 대해, N = 256 이고, 코드들은 0 내지 255이다. 디밍한 조명 환경에서, HDR 콘텐츠의 표준 범위(0.0 내지 1.0) 부분은 디스플레이 파이프라인에 의해, B에 의해 결정된 바와 같은 디스플레이 공간의 하부 부분에 맵핑될 수 있거나 또는 그로 압축될 수 있다. 예를 들어, 가상의 선형의 경우에, B = 0.5이면, 표준 범위(0.0 내지 1.0)는 8-비트 디스플레이에 대해 코드들 0 내지 127에 맵핑될 수 있다. HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 나머지 부분(B = 0.5를 갖는 8-비트 디스플레이에 대한 코드들 128 내지 255)에 맵핑될 수 있다. 맵핑은 선형적일 수 있지만 반드시 그러한 것은 아니라는 점에 주목한다. 보다 현실적으로, 실세계 비선형(감마)의 경우, M = 4이면, 2.2의 감마 응답을 갖는 10-비트 디스플레이에 대해, 1.0은 ((0.25)^2.2) * 1023 = 48.45에 맵핑될 것이다. 디스플레이 인터페이스들이 정수들만을 전달할 수 있으므로, 이것은 48로 반올림될 수 있거나 또는 (더 가능성 있게는) 48.45가 디더와 함께 디스플레이에 전달될 수 있다.
일부 실시예들에서, 표준 디스플레이 공간에서 SDR 콘텐츠를 HDR(0.0 내지 M) 콘텐츠와 합성 또는 블렌딩할 때, HDR 콘텐츠의 표준 범위(0.0 내지 1.0) 부분은 디스플레이 공간의 하부 부분(예컨대, 8 비트 디스플레이에 대한 코드들 0 내지 127)에 맵핑될 수 있거나 또는 그로 압축될 수 있는데, 이때 HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 나머지 부분(예컨대, 8 비트 디스플레이에 대한 코드들 128 내지 255)에 맵핑된다. 맵핑은 선형적일 수 있지만 반드시 그러한 것은 아니라는 점에 주목한다. 예를 들어, 가상(선형)의 경우에, HDR 콘텐츠의 표준 범위(0.0 내지 1.0) 부분은 B = 0.5를 갖는 8 비트 디스플레이에 대한 코드들 0 내지 127에 맵핑될 수 있거나 또는 그로 압축될 수 있는데, 이때 HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 나머지 부분(B = 0.5를 갖는 8 비트에 대한 코드들 128 내지 255)에 맵핑된다.
일부 실시예들에서, 디스플레이 패널 백라이트는, 도 5c에 도시된 바와 같이, 디밍한 조명 환경에서 HDR 콘텐츠를 일반 또는 표준 디스플레이에 맵핑할 때 최대 전력으로 있게 될 수 있다. 표준 범위(0.0 내지 1.0) 값들은 디스플레이 공간(즉, 공칭 디스플레이 범위)의 하부 부분에 맵핑되거나 또는 그로 압축되는데, 이때 HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 상부 또는 "헤드룸" 부분에 맵핑된다(헤드룸은 1.0 초과의 값들이 맵핑되는 디스플레이 공간의 상부 영역이다). 디밍 환경에서 HDR 콘텐츠를 디스플레이할 때 백라이트를 최대 전력에 있게 하면, 표준 콘텐츠는 뷰어에게 편안한 레벨에서 디스플레이되는 한편, 뷰어의 지각이 디밍 순응되는 경우, 폭발과 같은 매우 밝은 효과들이, 지각적으로 인상적인 방식으로 디스플레이될 수 있다. 그러나, 백라이트를 최대 전력으로 있게 하는 것은 전력 소비의 중요한 근원이다. 일부 실시예들에서, 전력 소비를 감소시키기 위해, 백라이트 전력은 콘텐츠가 디스플레이되는 것에 기초하여 변조된다. 백라이트는, 상부(1.0 내지 M) 범위에 콘텐츠가 없을 때 디밍될 수 있고, 밝은 콘텐츠가 있을 때 턴업될 수 있다. 픽셀 값들은 동일하게 보이는 명도를 유지하도록 백라이트 설정에 따라 디스플레이 파이프라인에 의해 조절될 수 있다. 백라이트가 업되는 경우, 픽셀들은 감소되고; 백라이트가 다운되는 경우, 픽셀들은 논리적으로 더 밝아지게 된다. 따라서, 더 어두운 픽셀들은 더 밝게 이어질 수 있지만, 더 밝은 픽셀들은 압축될 수 있고, 따라서, 밝은 콘텐츠의 세부사항들이 손실될 수 있다. 따라서, 이러한 방법은 일부 상황에서, 예를 들어 UI 요소들과 같은 전형적으로 더 밝은 SDR 콘텐츠를 영화들 또는 비디오들과 같은 전형적으로 더 어두운 HDR 콘텐츠와 블렌딩하는 경우에, 시각적 효과들을 열화시킬 수 있다.
일부 실시예들에서, UI 요소들과 같은 SDR 콘텐츠 및 HDR 콘텐츠가 개별적으로 프로세싱되므로(SDR 콘텐츠는 디스플레이 공간의 하부 부분에 맵핑됨), 백라이트 설정에 따라 픽셀 값들을 조절할 때, SDR 콘텐츠는 보존될 수 있고, 따라서, 압축되지 않을 수 있는데, 이때 조절은 HDR 콘텐츠에만 적용된다. 따라서, UI 요소들과 같은 SDR콘텐츠의 명도 세부사항들이 보존될 수 있다.
도 7a 내지 도 7d는 일부 실시예들에 따른, 표준 디스플레이에 HDR 콘텐츠를 렌더링 및 디스플레이하기 위한 방법의 흐름도이다. 도 7a 내지 도 7d의 방법은, 예를 들어, 도 1 내지 도 3에 도시된 바와 같은 HDR 렌더링 및 디스플레이 시스템에 의해 구현될 수 있다.
도 7a는 일부 실시예들에 따른, 표준 디스플레이에 HDR 콘텐츠를 렌더링 및 디스플레이하기 위한 방법을 나타낸다. 도 7a의 700에 나타내진 바와 같이, 공칭 디스플레이 범위, 명도 레벨(B), 및 최대 렌더링 값(M)은 현재 디스플레이 조건들에 따라 결정될 수 있다. 일부 실시예들에서, 공칭 디스플레이 범위, 명도 레벨(B), 및 최대 렌더링 값(M)은 도 2a, 도 2b, 및 도 3에 도시된 바와 같은 HDR 렌더링 및 디스플레이 시스템의 동적 디스플레이 모듈에 의해 결정될 수 있다. 일부 실시예들에서, 현재 디스플레이 정보는, 최대 렌더링 값(M)을 결정할 시에 수집 및 이용될 수 있다. 일부 실시예들에서, M을 결정할 시, M은 정밀도 임계치, 지각 임계치, 및 심미적 임계치가 초과되지 않음을 보장하면서 가능한 한 크게 되도록 최적화될 수 있다. 추가로, 일부 실시예들에서, 흑색 레벨은, 뷰어의 현재 적응이 주어지면, 잠재적으로 압축된 신호가 시인되도록 현재 주변 조건들에 따라 적응될 수 있다. 도 7b는 일부 실시예들에 따른, 도 7a의 요소(700)를 더 상세히 나타낸다.
도 7a의 710에 나타내진 바와 같이, 최대 렌더링 값(M)은 하나 이상의 렌더링 파이프라인들에 제공될 수 있다. 도 7a의 720에 나타내진 바와 같이, 렌더링 파이프라인(들)은 HDR 콘텐츠를 범위 0.0 내지 M에 렌더링할 수 있다. 도 3은 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템 내의 예시적인 렌더링 파이프라인의 세부사항들을 도시한다. 도 7c는 일부 실시예들에 따른, 도 7a의 요소(720)를 더 상세히 나타낸다.
도 7a의 730에 나타내진 바와 같이, 디스플레이 파이프라인은 렌더링된 HDR 콘텐츠를 얻을 수 있다. 도 7a의 740에 나타내진 바와 같이, 디스플레이 파이프라인은 공칭 디스플레이 범위 및 명도 레벨에 따라, 얻어진 HDR 콘텐츠를 디스플레이에 맵핑시킬 수 있다. 도 2a 및 도 2b는 일부 실시예들에 따른, HDR 렌더링 및 디스플레이 시스템 내의 예시적인 디스플레이 파이프라인의 세부사항들을 도시한다. 도 7d는 일부 실시예들에 따른, 도 7a의 요소(740)를 더 상세히 나타낸다.
도 7a의 750에 나타내진 바와 같이, 맵핑된 콘텐츠는 타깃 디스플레이에 디스플레이될 수 있다. 일부 실시예들에서, 디스플레이 파이프라인은 텍스트 또는 UI 요소들과 같은 다른 SDR 또는 HDR 디지털 정보를 렌더링된 HDR 콘텐츠와 합성 또는 블렌딩할 수 있다. 일부 실시예들에서, 텍스트 또는 UI 요소들과 같은 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠는 디스플레이 이전에 디스플레이 파이프라인에 의해 렌더링된 HDR 콘텐츠와 블렌딩 또는 합성될 수 있다. 일부 실시예들에서, 디스플레이 공간에서 SDR 콘텐츠를 HDR(0.0 내지 M) 콘텐츠와 합성 또는 블렌딩할 때, SDR 콘텐츠, 및 HDR 콘텐츠의 표준(0.0 내지 1.0) 부분은 디스플레이 공간의 하부 부분(예컨대, M = 2인 경우, 8 비트에 대한 코드들 0 내지 127)에 맵핑될 수 있거나 또는 그로 압축될 수 있는데, 이때 HDR 콘텐츠의 확장된 범위(1.0 내지 M) 부분은 디스플레이 공간의 나머지 부분(예컨대, 8 비트에 대한 코드들 128 내지 255)에 맵핑된다. 맵핑은 선형적일 수 있지만 반드시 그러한 것은 아니라는 점에 주목한다.
도 7a의 760에서, 디스플레이 조건들이 변화한 경우, 방법은 변화된 디스플레이 조건들에 따라 공칭 디스플레이 범위, 명도 레벨(B), 및 최대 렌더링 값(M)에 대한 새로운 값들을 결정하도록 요소(700)로 되돌아갈 수 있다. 디스플레이 조건들의 변화들에 대한 비제한적인 예들로서, 뷰어는 명도 레벨을 변경하도록 명도 제어부를 조절할 수 있거나, 또는 주변 조명 조건들의 변화가 센서에 의해 검출될 수 있다. 디스플레이에 영향을 미칠 수 있는 다른 인자들은 화이트 포인트 시프트의 보상(온도 및 교정 보상을 포함함)과 같은 특징들, 전류 또는 열적 한도들과 같은 동적 패널 한도들에 관한 명도 한도들, 또는 배터리 전력 또는 유사한 전력 제약 모드들로의 스위칭과 같은 시스템 구성 변화들이다. 다른 방식으로, 방법은 공칭 디스플레이 범위에 대한 현재 값들, 명도 레벨(B), 및 최대 렌더링 값(M)에 따라 HDR 콘텐츠를 계속해서 렌더링 및 디스플레이하도록 요소(720)로 되돌아갈 수 있다.
도 7b는 일부 실시예들에 따른, 도 7a의 요소(700)를 더 상세히 나타낸다. 도 7b의 방법은, 예를 들어 도 2a, 도 2b, 및 도 3에 도시된 바와 같은 동적 디스플레이 모듈에 의해 수행될 수 있다. 도 7b의 702에 나타내진 바와 같이, 디스플레이 특성들, 환경 정보, 및 제어 입력이 얻어질 수 있다. 예를 들어, 일부 실시예들에서, 도 2a, 도 2b, 및 도 3에 도시된 바와 같은 동적 디스플레이 모듈은 타깃 디스플레이로부터의 디스플레이 특성들(예컨대, 비트 심도, 해상도, 치수들, 최대 휘도, 누설, 반사율, 전달 함수(들) 등), 하나 이상의 센서들로부터의 주변광 레벨 및 디스플레이로부터 뷰어의 거리와 같은 환경 정보, 이미지 명도와 같은 현재 이미지 특성들, 및 명도 슬라이더 바들과 같은 하나 이상의 제어부들로부터의 제어 입력을 얻을 수 있다.
도 7b의 704에 나타내진 바와 같이, 공칭 디스플레이 범위, 명도 레벨(B), 및 최대 렌더링 값(M)은 얻어진 디스플레이 특성들, 환경 정보, 현재 이미지 특성들, 및 제어 입력에 따라 결정될 수 있다. 예를 들어, 일부 실시예들에서, 명도 레벨(B)은 검출된 주변광 레벨의 함수로서 결정될 수 있다. 대안으로, 명도 레벨(B)은 명도 제어 UI 요소로의 제어 입력으로부터 결정될 수 있다. 일부 실시예들에서, 명도 레벨(B)은 주변광 레벨, 및 명도 제어 UI 요소로의 제어 입력의 함수로서 결정될 수 있다. 일부 실시예들에서, 최대 렌더링 값(M)은 B의 역으로서 결정될 수 있다. 예를 들어, B = 0.25(1/4)인 경우, M = 4/1 = 4.0이다. 유사하게, B = 0.5인 경우, M = 2.0이다. 일부 실시예들에서, 명도 레벨(B)은 표준 범위(SDR) 최대 명도 값(1.0)에 대응할 수 있고, 따라서, 공칭 디스플레이 범위를 결정할 수 있다. 일부 실시예들에서, M을 결정할 시, M은 정밀도 임계치, 지각 임계치, 및 심미적 임계치가 초과되지 않음을 보장하면서 가능한 한 크게 되도록 최적화될 수 있다. 예를 들어, (특히, 어두운 주변 조건들에서의) 뷰어의 현재 적응에서, 디스플레이의 광 누설이 부적절한 지각 임계치를 넘지 않는다는 것이 중요하며, M은 이러한 임계치 근처이지만 그 아래에 있도록 최적화될 수 있다. 또한, 렌더링 파이프라인(들)의 정밀도, 및 디더링 기법과 같은 기법들을 통해 더 큰 정밀도를 전달하는 능력이 주어지면, 전달 용량은 평활한 그레디언트에 어떠한 지각 밴딩도 유도되지 않게 할 정도로 충분한 것이 중요하며, M을 최적화하는 것은, 정밀도, 지각, 및 심미적 한도들을 초과하지 않으면서 M을 파이프라인(들)에 의해 지원되는 값으로 제한함으로써 충분한 전달 용량을 보장하는 것에 도움이 된다. 다른 예로서, M이 너무 높게 설정되는 경우, 공칭 디스플레이 범위, 즉 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠가 맵핑되는 디스플레이 공간의 하부 부분은 상이한 휘도 레벨들이 현재의 주변 조건들 및 그들 조건에 대한 뷰어의 적응 하에서 구별가능하지 않은 지점으로 감소될 수 있는데, 그 이유는 그들이 너무 적은 지각 빈 임계치들에 맵핑되고 있기 때문이다. 따라서, M은 디스플레이 패널에 대한 지각 빈 임계치를 초과하지 않는 동안에는 가능한 한 크게 되도록 최적화될 수 있다. 추가로, 일부 실시예들에서, 흑색 레벨은, 뷰어의 현재 적응이 주어지면, 잠재적으로 압축된 신호가 시인되도록 현재 주변 조건들에 따라 적응될 수 있다. 또한, 콘텐츠를 사용자의 적응된 시야 및 지각 빈들의 모델에 맵핑시키도록 전달 함수가 적용될 수 있다.
도 7c는 일부 실시예들에 따른, 도 7a의 요소(720)를 더 상세히 나타낸다. 도 7c의 방법은, 예를 들어 도 3에 도시된 바와 같은 렌더링 파이프라인에 의해 수행될 수 있다. 도 7c의 722에 나타내진 바와 같이, 렌더링 파이프라인은, 예를 들어 도 2a, 도 2b, 및 도 3에 도시된 바와 같은 동적 디스플레이 모듈로부터, 최대 렌더링 값(M)을 얻는다. 도 7c의 724에 나타내진 바와 같이, 렌더링 파이프라인은 소스(예컨대, 비디오 카메라 또는 비디오 스트리밍 소스)로부터 수신된 입력 "미처리" 콘텐츠를 렌더링하여, 루마(명도) 성분을 범위 0.0 내지 M에 맵핑시킬 수 있다. 일부 실시예들에서, 표준 또는 SDR 콘텐츠는 루마 범위 0.0 내지 1.0에 맵핑될 수 있는데, 이때 확장된 또는 HDR 콘텐츠는 루마 범위 1.0 내지 M에 맵핑된다. 도 7c의 726에 나타내진 바와 같이, 렌더링 파이프라인은 HDR 콘텐츠를 인코딩하여(루마 범위 0.0 내지 M을 보존함), 인코딩된 또는 압축된 HDR 콘텐츠를 생성할 수 있다. 일부 실시예들에서, 렌더링 파이프라인은 렌더링된 콘텐츠를, 인코딩 방법에 따른 인코딩된 또는 압축된 포맷, 예를 들어 H.264/AVC 포맷, 또는 H.265 HEVC 포맷과 같은 압축된 비디오 포맷으로 인코딩할 수 있다. 인코딩된 HDR 콘텐츠는 디스플레이 파이프라인으로 스트리밍될 수 있다. 대안으로, 인코딩된 콘텐츠는 디스플레이 파이프라인에 의한 액세스를 위해 메모리 내로, 예를 들어 DMA 메모리 내의 버퍼(들) 내로 스트리밍될 수 있다.
도 7d는 일부 실시예들에 따른, 도 7a의 요소(740)를 더 상세히 나타낸다. 도 7d의 방법은, 예를 들어 도 2a 및 도 2b에 도시된 바와 같은 디스플레이 파이프라인에 의해 수행될 수 있다. 도 7d의 742에 나타내진 바와 같이, 디스플레이 파이프라인은 인코딩된 HDR 콘텐츠를 디코딩할 수 있다. 일부 실시예들에서, 디스플레이 파이프라인은 인코딩된 HDR 콘텐츠를 수신하고(루마 성분은 렌더링 파이프라인에 의해 범위 0.0 내지 M 내에 렌더링됨), 인코딩된 콘텐츠를 디코딩하여, 동적 범위를 보존한다. 인코딩된 HDR 콘텐츠는 렌더링 파이프라인으로부터 스트림으로서 직접적으로 수신될 수 있거나, 또는 메모리로부터, 예를 들어 DMA 메모리 내의 버퍼(들)로부터 판독될 수 있다.
도 7d의 744에 나타내진 바와 같이, 디스플레이 파이프라인은 디코딩된 콘텐츠(범위 0.0 내지 M)를 타깃 디스플레이의 디스플레이 공간에 맵핑시킬 수 있다. 일부 실시예들에서, 디스플레이 파이프라인은 디코딩된 콘텐츠(범위 0.0 내지 M)를 타깃 디스플레이의 디스플레이 공간에 맵핑시켜서, 루마 함유의 동적 범위 0.0 내지 M을 보존한다. 일부 실시예들에서, 디스플레이 파이프라인은 디코딩된 HDR 콘텐츠의 표준(범위 0.0 내지 1.0) 부분을, 현재 명도 레벨에 따라 결정된 바와 같은 공칭 디스플레이 범위에 맵핑시킬 수 있고, 디코딩된 HDR 콘텐츠의 확장된(범위 1.0 내지 M) 부분을 현재 명도 레벨(B) 초과의 헤드룸에 맵핑시킬 수 있다. 예를 들어, 타깃 디스플레이가 8-비트 디스플레이이고, 현재 명도 레벨(B)이 50%로 설정되어 있고, M = 2.0인 경우, 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠는 B에 의해 나타내지는 바와 같은 디스플레이 공간의 하부 부분(코드들 0 내지 127)에 맵핑될 수 있거나 또는 그로 압축될 수 있는데, 이때 확장된 범위(1.0 내지 2.0) 또는 HDR 콘텐츠는 디스플레이 공간의 나머지 부분(코드들 128 내지 255)에 맵핑된다. 따라서, 표준 디스플레이 상에서도, 표준 범위(0.0 내지 1.0)를 초과하는 렌더링된 HDR 콘텐츠가 디스플레이될 수 있다.
일부 실시예들에서, HDR 디지털 이미지 콘텐츠를 렌더링 및 디스플레이하기 위한, 본 명세서에서 기술되는 바와 같은 기능 중 적어도 일부는, 다기능 디바이스들, 스마트폰들, 패드 또는 태블릿 디바이스들, 및 다른 휴대용 컴퓨팅 디바이스들, 예컨대 랩톱, 노트북, 및 넷북 컴퓨터들을 포함하지만 이들로 제한되지 않는 디바이스들에서 사용될 수 있는 SOC의 하나 이상의 컴포넌트들 또는 모듈들에 의해 구현될 수 있다.
HDR
효과
HDR 렌더링 및 디스플레이 시스템의 적어도 일부 실시예들에서, 최대 렌더링 값(M)이 결정될 수 있고, 렌더링 파이프라인(들)에 제공될 수 있다. 이어서, 렌더링 파이프라인(들)은 입력 콘텐츠를 렌더링할 수 있고, 그를 범위 0.0 내지 M 내에 인코딩하여 인코딩된 HDR 출력을 생성할 수 있다. 일부 실시예들에서, 렌더링 파이프라인(들)은 표준 콘텐츠를 범위(0.0 내지 1.0) 내에 렌더링할 수 있고, 더 밝은 또는 매우 밝은 콘텐츠(예컨대, 비디오 장면에서의 폭발 또는 다른 밝은 효과)를 범위(1.0 내지 M)의 확장된 부분 내에 렌더링할 수 있다. 도 5c에 도시된 바와 같이, 디스플레이 파이프라인은 인코딩된 HDR 콘텐츠를 디코딩할 수 있고, 디코딩된 HDR 콘텐츠의 표준(범위 0.0 내지 1.0) 부분을, 현재 명도 레벨에 따라 결정된 바와 같은, 디스플레이를 위한 공칭 디스플레이 범위에 맵핑시킬 수 있고, 디코딩된 HDR 콘텐츠의 확장된(범위 1.0 내지 M) 부분을 현재 명도 레벨 초과의 헤드룸에 맵핑시킬 수 있다. 따라서, 비디오 장면에서의 폭발과 같은 입력 콘텐츠에 밝은 이벤트 또는 효과가 있는 경우, 표준 비디오 콘텐츠가 디스플레이 상에서 현재 명도 레벨 아래로 디밍 다운된다 하더라도, 폭발은 현재 명도 레벨 초과로 디스플레이되고, 따라서 표준 콘텐츠보다 훨씬 더 밝게 보인다. 따라서, 적어도 일부 주변 조건들 및 명도 설정들 하의 표준(비-HDR-인에이블형) 디스플레이(예컨대, 최대 명도 = 400 NIT) 상에서도, 폭발과 같은 매우 밝은 효과는, 예를 들어 뷰어의 지각이 디밍 순응되는 경우에 지각적으로 인상적인 방식으로 디스플레이될 수 있다. 예를 들어, 뷰어가 100 NIT에 적응되는 경우, 400 NIT는 지각적으로 인상적이다. NIT는 제곱미터당 칸델라 단위의 광 측정 단위이다.
일부 실시예들에서, 렌더링 파이프라인 및/또는 디스플레이 파이프라인은 표준 범위(0.0 내지 1.0) 및 확장된 범위(1.0 내지 M)에 대한 지식을 이용하여, 확장된 범위 내에 효과를 부가하게 할 수 있다. 예를 들어, 디스플레이를 위한 사용자 인터페이스(UI) 요소들을 프로세싱 및 디스플레이하는 경우, UI 콘텐츠는 일반적으로 표준 범위 또는 SDR 콘텐츠로서 디스플레이 공간 내에 렌더링, 프로세싱, 및 맵핑될 수 있다. SDR 콘텐츠를 프로세싱하는 렌더링 파이프라인 및/또는 디스플레이 파이프라인은 UI 콘텐츠에 대한 효과를 확장된 범위(1.0 내지 M)에 부가할 수 있다. 예를 들어, 새로운 UI 요소를 추가하는 경우, 요소에 주의를 환기시키기 위해 새로운 요소의 명도가 1.0 공칭 값 초과로 일시적으로 증가될 수 있다. SDR 콘텐츠에 대한 그러한 HDR 효과는, 예를 들어, 리스트에서의 선택을 나타내거나 그에 주의를 환기시키기 위해, 검색 기능에 의해 발견된 문서들 내의 단어들 또는 문장들을 하이라이트 표시하기 위해, 그리고 일반적으로는, 일반적으로 SDR 콘텐츠를 제공하는 애플리케이션, 유틸리티, 및/또는 운영체제가 디스플레이 패널에 디스플레이되는 SDR 콘텐츠 내의 아이템, 요소, 또는 임의의 다른 위치 또는 객체를 하이라이트 표시하거나 그에 주의를 환기시키기 원하는 임의의 장소에서 이용될 수 있다.
지각 모델을 이용한 주변 조건들로의
HDR
렌더링 및 디스플레이의 적응
전술된 바와 같이, 주어진 적응 레벨에서, 인간 시각계가 구별할 수 있는 세기는 약 2^8 내지 2^9개의 상이한 레벨들만이 있다. 일부 실시예들에서, 본 명세서에서 기술되는 바와 같은 HDR 렌더링 및 디스플레이 시스템은 주변 조명을 포함하지만 이로 제한되지 않는 주변 환경 조건들, 및 백라이트/명도 조건들을 검출 및 분석하여 현재 조건들에 따라 인간 시각에 대한 현재 범위를 판정하도록 하는 방법들(본 명세서에서, 적응적 렌더링 방법들로 지칭됨)을 채용할 수 있고, 타깃 디스플레이 패널로의 콘텐츠의 렌더링 및 디스플레이를, 지각 모델을 이용하여 현재 조건들에 따라 그 범위 내에 적응시킬 수 있다. 지각 모델들은 표제가 지각 모델들인 섹션에서 추가로 기술된다. 일부 실시예들에서, 적응적 렌더링 방법들 중 적어도 일부는 도 2a 및 도 2b에 도시된 바와 같은 디스플레이 파이프라인들에 의해 수행될 수 있다. 일부 실시예들에서, 적응적 렌더링 방법들 중 적어도 일부는 도 3에 도시된 바와 같은 렌더링 파이프라인들에 의해 수행될 수 있다. 일부 실시예들에서, 적응적 렌더링 방법들 중 적어도 일부는 도 2a, 도 2b, 및 도 3에 도시된 바와 같은 HDR 렌더링 및 디스플레이 시스템의 동적 디스플레이 컴포넌트 또는 모듈에 의해 수행될 수 있다.
HDR 렌더링 및 디스플레이 시스템의 일부 실시예들에서, 다양한 측정치들, 메트릭들, 또는 특성들이 얻어질 수 있고, 표제가 지각 모델들인 섹션에서 기술되는 바와 같은 지각 모델에 입력될 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 센서들에 의해 검출된 바와 같은 주변광 레벨들, 현재 픽셀 명도, LUT 상태, 백라이트 최대 명도 레벨, 및/또는 현재 백라이트 백분율 또는 레벨이 얻어질 수 있고, 본 명세서에서 기술되는 바와 같은 지각 모델에 입력될 수 있다. 입력으로부터, 지각 모델은 타깃 디스플레이에서의 주변 뷰잉 조건들에 따라 뷰어에 대한 현재 적응 상태 또는 레벨을 판정할 수 있다. 적응 상태 또는 레벨은 주변 뷰잉 조건들에 따라 디스플레이에 대한 현재 명도 레벨(B)을 결정하는 데 이용될 수 있다. 현재 명도 레벨(B)은 백분율로서 표현될 수 있고, 표준 범위(SDR) 최대 명도 값(1.0)에 대응할 수 있다. 현재 명도 레벨(B)은 디스플레이 파이프라인에 의해 현재 지원되는 최대 렌더링 값(M)을 결정하는 데 이용될 수 있다. 일부 실시예들에서, 최대 렌더링 값(M)은 B의 역으로서 결정될 수 있다. 예를 들어 도 2a 내지 도 3에 도시된 바와 같이, 최대 렌더링 값(M)은 렌더링 파이프라인(들)에 제공될 수 있고, 현재 명도 레벨(B)은 디스플레이 파이프라인에 제공될 수 있다. 이어서, 렌더링 파이프라인(들)은 입력 콘텐츠를 렌더링할 수 있고, 그를 범위 0.0 내지 M 내에 인코딩하여 인코딩된 HDR 출력을 생성할 수 있다. 디스플레이 파이프라인에서, 렌더링 파이프라인(들)에 의해 범위 0.0 내지 M 내에 렌더링되는 인코딩된 HDR 콘텐츠는 디코딩되어, 지각 모델로부터 판정된 바와 같은 주변 조건들에 따라 타깃 디스플레이의 디스플레이 공간에 맵핑될 수 있다. 일부 실시예들에서, 적어도 일부 주변 조건들 및 디스플레이들에 대해, 디스플레이 파이프라인은 디코딩된 HDR 콘텐츠의 표준(범위 0.0 내지 1.0) 부분을, 현재 명도 레벨(B)에 따라 결정된 바와 같은 공칭 디스플레이 범위에 맵핑시킬 수 있고, 디코딩된 HDR 콘텐츠의 확장된(범위 1.0 내지 M) 부분을 공칭 디스플레이 범위 초과의 헤드룸에 맵핑시킬 수 있다.
일부 실시예들에서, 지각 모델은, 소정 타입의 디스플레이 패널에 대해 사전측정될 수 있거나 개별 디스플레이 패널에 대해 측정될 수 있는 메트릭들인 디스플레이 패널 측정치들을 포함할 수 있다. 측정치들은, 예를 들어, 디스플레이 패널로부터 측정된 광 누설 및 디스플레이 패널로부터 측정된 주변 반사광을 포함할 수 있는데, 이들 양측 모두는 도 4a에 도시된 바와 같은 페데스탈에 기여할 수 있다. 페데스탈 영역은 흑색의 디스플레이 누설뿐 아니라 디스플레이 패널로부터의 주변 반사광으로 인해 디스플레이에 도달될 수 없는 회색의 음영부들을 포함하고, 디스플레이 상의 흑색이 시야의 관점에서 실제 흑색과는 지각적으로 얼마나 상이한가를 예시한다. 일부 실시예들에서, 이들 측정치들은, 시각적으로 허용가능한 흑색을 여전히 생성하면서, 1.0 공칭 값(공칭 디스플레이 범위의 상단)이 도 5a 내지 도 5c에 도시된 바와 같은 디스플레이 공간 내에서 얼마나 낮게 배치될 수 있는지를 판정하는 데 이용될 수 있다.
일부 실시예들에서, 본 명세서에서 기술되는 바와 같은, 예를 들어 도 5a 내지 도 5c에 도시된 바와 같은 HDR 렌더링 및 디스플레이 시스템에 의해 제공되는 HDR 범위 맵핑 방법들은, 또한, 도 5b 및 도 5c에 도시된 바와 같은 1.0 초과의 렌더링 값들의 HDR 효과를 제공하는 것과 함께 또는 그와는 별개로 디지털 디밍 효과를 제공하는 데 이용될 수 있다. 디지털 디밍 효과는, 동작 동안에 백라이트/명도가 흑화/오프 상태로 디밍하지 않을(다시 말해, 백라이트/명도는 최고 또는 최대 명도와 0.0 초과의 명도 값 사이에서만 조절될 수 있음) 디스플레이들이, 백라이트/명도를 단지 그의 더 낮은 또는 최소 레벨들로만 조절하는 것에 의해 제공될 수 있는 것보다 더 디밍하거나 더 어두운 결과를 제공하게 할 수 있다. 디지털 디밍 효과는, 예를 들어, 백라이트/명도를 공지된 레벨(최고 또는 최대 명도일 수 있지만 반드시 그러한 것은 아님)로 설정함으로써, 그리고 명도 레벨을 효과적으로 조절하기 위해, 본 명세서에서 기술되는 바와 같은 HDR 렌더링 및 디스플레이 시스템에 의해 제공되는 HDR 범위 맵핑 방법들을 이용하여 픽셀 값들을 스케일링 또는 맵핑함으로써 달성될 수 있다.
HDR
렌더링 및 디스플레이 시스템 구현 세부사항들
HDR 렌더링 및 디스플레이 시스템의 다양한 실시예들은, HDR 콘텐츠를 렌더링하는 경우, 색역 맵핑 및 글로벌 또는 로컬 톤 맵핑을 포함하지만 이들로 제한되지 않는 다양한 이미지 프로세싱 알고리즘들 및 기법들을 이용할 수 있다. 일부 실시예들에서, 적응적 렌더링 방법들을 포함하지만 이들로 제한되지 않는, HDR 렌더링 및 디스플레이 시스템의 기능 중 적어도 일부가 하나 이상의 GPU(Graphics Processor Unit)들을 사용하여 구현될 수 있다. 예를 들어, 일부 실시예들은 지각 모델에 따라 결정된 조절사항들을 콘텐츠에 적용할 수 있는 맞춤형 음영부를 구현할 수 있다. 일부 실시예들에서, HDR 렌더링 및 디스플레이 시스템 기능 중 적어도 일부는 맞춤형 하드웨어를 포함하지만 이로 제한되지 않는 다른 하드웨어에서 또는 그에 의해 구현될 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 ISP(Image Signal Processor) 색 파이프들이 렌더링 조절사항들을 콘텐츠에 적용하는 데 사용될 수 있다.
HDR 렌더링 및 디스플레이 시스템의 일부 실시예들에서, 간단한 스케일 또는 승산 함수가 본 명세서에 기술되는 바와 같은 렌더링 및/또는 디스플레이 파이프라인들에서 조절사항들 또는 맵핑들을 픽셀 값들에 적용하는 데 이용될 수 있다. 일부 실시예들에서, 간단한 스케일링 함수들 대신에 또는 그에 더해서, 하나 이상의 LUT들이 렌더링 조절사항들(예컨대, 픽셀 값 맵핑 또는 스케일링) 중 적어도 일부를 콘텐츠에 적용하는 데 이용될 수 있다. 일부 실시예들에서, LUT들은 특정 디스플레이들 또는 디스플레이들의 타입들을 보정하도록 적응될 수 있다.
HDR 렌더링 및 디스플레이 시스템의 일부 실시예들에서, 렌더링 및/또는 디스플레이 파이프라인들은 콘텐츠를 하나의 동적 범위로부터 다른 동적 범위로 맵핑하는 데 이용될 수 있는 GTM 기법을 이용할 수 있다. GTM 기법에서, 글로벌 톤 곡선이 하나 이상의 프레임들에 대해 특정 또는 결정될 수 있고, 콘텐츠를 하나의 동적 범위로부터 다른 동적 범위로 변환하는 데 이용될 수 있다. 일부 실시예들에서, GTM 기법 대신에 또는 그에 더해서, LTM 기법이 콘텐츠를 하나의 동적 범위로부터 다른 동적 범위로 변환하는 데 이용될 수 있다. LTM 기법에서, 이미지 또는 프레임은 다수의 영역들로 분할되는데, 이때 톤 곡선이 각각의 영역에 대해 특정 또는 결정된다. LTM 기법은, 예를 들어 디스플레이 디바이스의 달리 달성가능한 범위를 지나쳐서 압축할 때, 콘트라스트를 유지하는 데 도움이 될 수 있다. 이는, 예를 들어, 디스플레이 명도가 주변 명도와 필적하고 있는 때, 예를 들어 태양 직사광 속에 있는 때가 그 경우일 수 있다.
HDR 렌더링 및 디스플레이 시스템의 일부 실시예들에서, 렌더링 및/또는 디스플레이 파이프라인들은, 본 명세서에서 기술되는 바와 같은 다양한 픽셀 스케일링, 압축, 또는 맵핑 기법들 중 임의의 것을 적용할 때 또는 적용한 후, 디더링 기법들, 예를 들어 확률론적 사전양자화 디더를 채용할 수 있다. 콘텐츠를 맵핑 또는 스케일링한 후에 디더를 적용하는 것은, 오리지널의 스케일링되지 않은 콘텐츠의 외양을 유지하는 데 도움이 될 수 있고, 맵핑 기법들로부터 기인할 수 있는 밴딩 또는 다른 아티팩트들을 감소시킬 수 있거나 또는 제거할 수 있다.
지각 모델들
색 관리 시스템은, 색 현시 모델(color appearance model)에 따라, 카메라 디바이스들 및 디스플레이 디바이스들을 포함하지만 이들로 제한되지 않는 다양한 디바이스들의 색 표현들 사이에서의 변환을 제어할 수 있다. 광의로 정의하자면, 색 현시 모델은, 일반적으로 3개 또는 4개 값들 또는 색 성분들을 이용하여 색이 표현될 수 있는 방식을 설명하는 수학적 모델이다. 색 현시 모델은 색 현시의 치수들(예컨대, 명도(휘도), 밝기, 채도, 크로마, 포화도, 및 색조)을 정의할 수 있다. 색 현시 모델은, 또한, 색 성분들에 적용될 수 있는 하나 이상의 변환들 또는 변환 함수들, 예컨대 색채 적응(chromatic adaptation) 변환을 정의할 수 있다. 색채 적응은, 일반적으로, 상이한 조도들로 객채를 볼 때 화이트 포인트 변화들을 보상하는 인간 시각계의 동적 메커니즘으로서 정의된다. 색 현시 모델에서, 색채 적응 변환은 인간 시각계의 색채 적응을 모델링하는 데 이용될 수 있다. 실시예들에서 이용될 수 있는 예시적인 색 현시 모델은 CIE(International Commission on Illumination) 기술 위원회 8-01에 의해 게재된 CIECAM02(Color Appearance Modelling for Color Management Systems)이다.
종래의 색 관리 시스템들은, 예를 들어 하기와 같이 색역(색, 또는 크로마) 및 감마(톤, 또는 휘도) 맵핑 기법들을 이용하여 소스(예컨대, 비디오) 의도를 측정된 디스플레이 응답에 맵핑 또는 매칭시킬 수 있다:
소스 -> 측정된 디스플레이
그러나, 전술된 바와 같이, 뷰어에 의해 지각된 바와 같은 디스플레이의 응답은 디스플레이의 측정된 응답과는 상이할 수 있다. 따라서, HDR 렌더링 및 디스플레이 시스템의 일부 실시예들은 하기와 같이 추가적인 매칭 단계를 매칭 프로세스에 추가할 수 있고:
소스 -> 측정된 디스플레이 -> 적응된 시야
여기서, 적응된 시야는 현재 주변 조건들(예컨대, 주변광 레벨들) 하의 뷰어 시각 범위이고, (화살표들에 의해 나타내지는) 맵핑들은 색 현시 모델의 변환들(예컨대, 색채 적응 변환들)을 포함할 수 있다. 맵핑 프로세스 내에 이러한 추가적인 단계를 포함하는 수정된 색 관리는 지각 색 관리 시스템으로 지칭될 수 있다. 지각 색 관리 시스템의 색 현시 모델은 지각 모델로 지칭될 수 있다.
HDR 렌더링 및 디스플레이 시스템에서 구현되는 지각 색 관리 시스템의 지각 모델로부터 얻을 수 있고 그에 공급될 수 있는 정보는 디스플레이 정보, 예를 들어 다양한 디스플레이 특성들 및 설정들, 및 뷰어 및 조명 정보를 포함하지만 이들로 제한되지 않는 환경 정보를 포함할 수 있지만, 이들로 제한되지 않는다. 이러한 정보의 일부(예컨대, 비트 심도 및 치수들과 같은 디스플레이 특성들)는 정적일 수 있는 한편, 다른 정보(예컨대, 현재 디스플레이 설정들, 백라이트/명도 레벨, 주변광, 주변 반사광, 뷰어 포지션, 뷰어 위치 등)는 동적일 수 있다. 이러한 정보는 수집되어, 지각 모델에 적용되는 바와 같은 현재 주변 조건들에 따라 디스플레이를 위해 콘텐츠를 적응적으로 렌더링하는 데 이용될 수 있다. 일부 실시예들에서, 콘텐츠가 적응되고 있는 디스플레이 패널을 포함하는 디바이스는 지각 모델에서 이용되는 정보 중 적어도 일부를 수집하는 데 사용될 수 있는 하나 이상의 센서들, 예를 들어 주변광 센서들, 카메라들, 모션 검출기들 등을 포함할 수 있다.
하기는 일부 실시예들에 따라, HDR 렌더링 및 디스플레이 시스템에서 지각 모델로부터 얻을 수 있고 그에 입력될 수 있는 다양한 측정치들, 메트릭들, 또는 특성들을 기술한다. 그러나, 이러한 리스트는 제한하는 것으로 의도되지 않는다:
- 디스플레이 패널의 측정된 응답 - 소스 콘텐츠로부터의 입력 레벨들과 각각의 색(예컨대, RGB) 채널에 대한 디스플레이 패널의 광 출력 레벨들 사이의 맵핑.
- 디스플레이 패널의 측정된 네이티브 화이트 포인트.
- 디스플레이 패널로부터의 측정된 광 누설(도 4a에 도시된 바와 같은 페데스탈에 기여함).
- 디스플레이 패널로부터 측정된 주변 반사광(도 4a에 도시된 바와 같은 페데스탈에 기여함).
- 디스플레이를 위한 측정된 최대 및 최소 백라이트/명도 레벨.
- 디스플레이 패널에 현재 닿고 있는 광. 이것은 각각의 색 채널에 대해 결정될 수 있다.
- 디스플레이로부터 반사되는 광량. 이것은 각각의 색 채널에 대해 결정될 수 있다.
- 뷰어/사용자가 대면하고 있는 시계(field of view) 또는 백그라운드의 메트릭들(예컨대, 명도, 색 등).
- 뷰어가 적응되는 명도 레벨.
- 디스플레이 패널에 대한 뷰어(들)의 포지션(예컨대, 거리, 뷰잉각 등). 일부 실시예들에서, 디스플레이 패널을 포함하는 디바이스의 사용자 대면 카메라가 뷰어의 이미지를 캡처할 수 있고, 이미지는 뷰어로부터 디바이스까지의 거리를 추정하도록 분석될 수 있다. 예를 들어, 뷰어의 얼굴의 이미지는 캡처된 이미지에서 뷰어의 눈과 눈 사이의 측정된 거리에 기초하여 거리를 판정하도록 분석될 수 있는데, 이는 인간의 눈들이 거의 동일한 거리로 떨어져 있는 경향이 있기 때문이다. 뷰어의 추정된 거리는, 예를 들어 디스플레이 패널이 대하는 시계를 추정하는 데 이용될 수 있다.
- 디스플레이 패널의 현재 백라이트/명도 레벨/백분율.
- 현재 평균 픽셀 명도(실제로 빛나는 픽셀들). 예를 들어, 이러한 메트릭은 현재 디스플레이되는 콘텐츠의 명도를 결정하는 데 이용될 수 있다. 이것은 각각의 색 채널에 대해 결정될 수 있다. 일부 실시예들에서, 이것은 픽셀 값들의 히스토그램들에 기초하여 결정될 수 있다.
SDR 디스플레이들 상에서의
HDR
경험의 제공
HDR 렌더링 및 디스플레이 시스템의 실시예들은, 예를 들어, SDR 디스플레이들 상에서 HDR 경험을 뷰어들에게 제공하는 데 이용될 수 있다. 디스플레이들 상에서 동적 범위를 증가시키는 것은 그 범위를 커버할 정도로 충분한 비트들의 정밀도, 예를 들어 더 많은 비트들을 디스플레이 공간의 어두운/흑색 범위에 맵핑시키는 전달 함수, 디스플레이에 의해 지원되는 최대 개수의 NIT들, 및/또는 디스플레이에 의해 지원되는 최소 개수의 NIT들을 필요로 할 수 있다.
일부 SDR 디스플레이들은 비선형(감마형) 입력(공칭 0.0 내지 1.0 명도 범위를 인코딩하는 정밀도의 컴포넌트당 N개의 비트들, 예컨대 8개, 10개, 12개, 또는 16개의 비트들)을 지원하고, 출력의 제한된 개수의 NIT들(전형적으로, 450개 이상의 NIT들)에 적당한 흑색 레벨 내지 높은 흑색 레벨 누설 및 반사율을 제공할 수 있다. 다른 SDR 디스플레이들은 더 높은 범위의 NIT들(예컨대, 1000개의 NIT들)을 제공하고, 매우 밝아질 수 있지만, 마찬가지로 흑색 레벨들을 지원하지 않는다. 다른 SDR 디스플레이들(예컨대, 백라이트를 갖지 않고; 대신에 각각의 픽셀이 빛나는 OLED 기술 디스플레이들)은 대단히 밝아질 수는 없지만, 대단히 어두워질 수는 있다(즉, 매우 양호한 흑색 레벨들을 제공할 수 있다). 많은 SDR 디스플레이들은, 전형적으로, 사무실 조건들에서 또는 더 디밍한 환경들에서 SDR 콘텐츠를 디스플레이할 시에 잘 작동하지만, 전형적으로, 더 밝은 환경들에서는 잘 작동하지 않는다. 통상적으로, SDR 디스플레이들은 그 콘텐츠가 SDR에 톤-맵핑된 경우에 HDR 콘텐츠만을 디스플레이할 수 있다. 전형적으로, SDR 디스플레이의 백라이트 또는 명도는 편안한 야간(또는 다른 어두운 환경) 사용을 위해 디스플레이를 너무 밝게 렌더링하는 지점에만 디밍될 수 있다. 전형적으로 더 높은 소스 비트 표현들이 동적 범위를 확장시키는 것 대신에 추가적인 정밀도를 위해 이용된다.
HDR 디스플레이들은, 전형적으로, SDR 디스플레이들보다 더 밝고, 컴포넌트당 8-비트 초과 입력을 가지며, 명도 지각에 맵핑시키는 비선형 전달 함수를 이용하여, SDR 디스플레이들에 의해 제공되는 것보다 더 큰 정밀도를 안출할 수 있다. HDR 콘텐츠는, 더 어두운 환경들(타깃 뷰잉 환경)에서 볼 때 크게 보이지만, 더 밝은 조건들에서는 부정확하게 보일 수 있다. SDR 콘텐츠는 HDR 디스플레이들 상에서 눈이 부신 것처럼 보여서, SDR 콘텐츠를 뷰잉하기 불편하고 HDR 콘텐츠와 호환불가능하게 만든다. HDR 콘텐츠는 SDR 콘텐츠와 비교해서 디밍하게 보일 것인데, 이는 HDR 콘텐츠의 공칭 레벨이 그의 최대 레벨보다 상당히 더 디밍하기 때문이다(가장 밝은 HDR 콘텐츠는 전형적으로 반사 하이라이트들이다). 따라서, HDR 디스플레이들은 그들이 SDR 콘텐츠를 편안하게 뷰잉하도록 SDR 모드로 수동으로 스위칭되어야 하도록 하는 모드로 될 수 있다.
본 명세서에서 기술되는 바와 같은 HDR 렌더링 및 디스플레이 시스템의 실시예들은, 톤 맵핑 없이, 종래의 SDR 디스플레이들 상에서 HDR 콘텐츠를 뷰잉할 때 실제 HDR 결과를 제공하는 데 이용될 수 있다. 디스플레이의 명도 제어부를 통해 또는 실시예들에 대해 기술된 바와 같은 수정된 명도 슬라이더를 통해 제공되는 바와 같은 사용자의 명도 선호도들을 이용하여, 시스템은 백라이트/디스플레이 헤드룸이 있는지 여부(즉, 사용자가, SDR 콘텐츠가 디스플레이의 최대 출력보다 더 디밍하게 디스플레이되도록 사용자의 희망을 설정하고 있는지 여부)를 판정할 수 있다. 시스템은 백라이트/디스플레이가 최대이지만 공칭 SDR 콘텐츠(예컨대, 컴퓨터의 데스크톱)가 그의 희망 명도로 나타나도록 콘텐츠를 재-스케일링할 수 있다.
지각 모델을 이용하여, 실시예들은 사용자의 시야가 어디에 적응되는지 판정할 수 있다. 디스플레이에 적응되는 경우, 콘텐츠는 공칭 SDR 콘텐츠가 디스플레이의 명도의 부분에 맵핑되도록 디지털적으로 스케일링 및 디더링되어, 그에 따라 디스플레이의 실제 최대 명도가 훨씬 더 높도록 사용자의 시야를 적응시킬 수 있다. 블랙 포인트는 스케일링 및 디더링된 콘텐츠가 사용자에게 시인되도록 결정될 수 있다. 이는 콘텐츠가 디스플레이에 의해 크러시(crush)된 블록들의 구역 내에 있는 것 또는 동일한 지각 빈에 맵핑되고 구별불가능하게 렌더링되는 것을 회피시키기 위해 행해진다.
사용자는 절대 명도에 관해 알지 않고(또는 관리하지 않고); 오히려, 그는 명도의 지각에 관심을 가지며, 이는 그의 적응된 시야에 기초한다. 더 분명한 명도는 2개의 방식들로 이용가능하다:
일부 실시예들에서, 주어진 타깃 디스플레이의 명도 제어를 위해, 심미적 이유로, 단순한 승수(multiplier)가 아닌 스케일링과 백라이트/명도 사이의 관계에 함수가 적용된다. 함수는 지각 모델이 최적화하고 있는 모든 기준들에 따라 최대치를 초과하는 것을 방지할 수 있다. 추가로, 모드들 사이에서의 곤란한 전이를 회피시키기 위해, 함수는 모드들 사이에 매끄러운 전이를 제공할 수 있다. 함수를 이용하여, 명도 제어부의(예컨대, 명도 슬라이더의) 전체 범위에 걸쳐서, 이미지는 SDR 부분들이 어두워지고 있다 하더라도 계속해서 더 잘 보인다.
HDR 콘텐츠의 인코딩은 1.0 HDR이 1.0 SDR(공칭 명도 레벨로 지칭됨)과 동일한 명도를 나타내도록 하는 확장된 범위 인코딩이다. HDR 표현은 임의의 양만큼 1.0을 초과할 수 있고, HDR 표현의 확장된 동적 범위를 나타낼 수 있다. 인코딩이 비선형인 경우, HDR 인코딩에 의해 나타내지는 실제 선형 명도는 간단한 승산을 크게 초과할 수 있다(예컨대, 감마 3 공간에서 인코딩하는 HDR 표현(0.0, 2.0)이 명도 값 2^3(=8)과 공칭 명도의 곱을 인코딩한다).
실시예들은 HDR 콘텐츠가 전형적인 SDR보다 더 큰 명도를 갖는 디스플레이들 상에서 디스플레이되는 경우에 심지어 더 높은 동적 범위 결과들을 생성할 수 있다. 통상적으로, 디스플레이 명도는, 그것이 사용자에게 불편한 지점에 도달할 때 이용불가능하다. 콘텐츠를 스케일링함으로써, 더 밝은 디스플레이들은 (디스플레이/백라이트 헤드룸을 통해) 심지어 더 큰 동적 범위를 공급하면서 표준 사무실 또는 더 디밍한 조건들에서 SDR 콘텐츠의 편안한 뷰잉을 여전히 허용하여, 더 밝은 뷰잉 환경들에서 HDR 경험을 제공하고 허용가능한 SDR 경험들을 더 밝은(예컨대, 태양 직사광) 환경들 내에서 유지하게 할 수 있다.
지각 모델은 적응적이고, 동일한 콘텐츠를 사용하여, 많은 상이한 디스플레이들, 환경들에 걸쳐서 다양한 콘텐츠에 대한 최상의 경험을 생성할 수 있다.
실시예들은 HDR 콘텐츠가 더 양호한(더 어두운) 흑색을 갖는 디스플레이들 상에서 디스플레이되는 경우에 심지어 더 높은 동적 범위 결과들을 생성할 수 있다.
실시예들은 충분히 디밍할 수 없는 디스플레이들 상에서의 HDR 및 SDR 콘텐츠의 편안한 뷰잉을 허용할 수 있다. 종래의 디스플레이들, 특히 백라이트 디스플레이들은, 종종, 흑색으로 연속적으로 디밍할 수 없다. 그 결과, 시야가 암순응되는 사용자에게 불쾌하게 밝게 보일 수 있는 최소 명도 레벨이 있다. 실시예들에서, 신호는 사용자들에게 전형적으로 제공되는 범위 미만의 연속적인 디밍을 허용하도록 스케일링 및 디더링될 수 있다.
일부 실시예들은 사용자에게 명도 제어 어포던스들을 제공할 수 있다. 전형적인 명도 제어부들은 사용자가 그 중에서 연속적으로 선택할 수 있는 가능한 명도 레벨들의 범위를 제공한다. 실시예들은 종래의 사용자 명도 제어부들을 재사용(re-purpose) 및 확장하여, 사용자들이 디딩한 것보다 더 디밍한 것으로부터 HDR에 이르기까지의 그들의 희망 공칭 명도 레벨을 최대 명도로 특정하게 할 수 있다. 일부 실시예들에서, HDR 범위, HDR 범위가 초과된 부분, 백라이트/명도가 최소 레벨에 있는 곳 등을 나타내는 명도 제어 UI 요소가 제공될 수 있다.
일부 실시예들에서, 최소 백라이트/명도 레벨들이 초과되고 여분의 범위(예컨대, 디밍한 것보다 더 디밍한 범위)가 스케일링에 의해 제공될 수 있는 지점의 경계를 정할 수 있는 명도 제어부가 제공될 수 있다. 실제 백라이트/명도 레벨은 디스플레이 명도 제어에 의해 설정된 명도 레벨을
더 이상 추적하지 않고, 최대 명도가 유지되어, HDR이 인에이블되는 상위 범위에서 콘텐츠를 스케일링하는 것을 통해 HDR 효과를 제공한다.
디스플레이가 더 이상 밝아질 수는 없지만, 확장된 범위 내로 낮은 및 중간범위 값들(즉, 표준 콘텐츠)을 톤 맵핑하는 한편 명도 부분들(예컨대, HDR 콘텐츠)을 그 범위의 더 좁은 상위 부분으로 압축함으로써 더 높은 명도 지각 레벨이 달성될 수 있게 되는 다른 지점이 있을 수 있다. 따라서, 디스플레이가 더 밝아질 수 없다 하더라도, 낮은 및 중간범위 콘텐츠는 지각적으로 더 밝아 보이게 하도록 향상되어, 그것이 패널의 반사율로 손실되지 않게 할 수 있다. 일부 실시예들에서, 명도 제어부는, 또한, 이러한 지점의 경계를 정할 수 있다. 예를 들어, 사용자가 (아마도, 밝은 환경에서 비교적 디밍한 디스플레이를 갖는) 더 밝은 전체적 경험을 희망하는 경우, 표준 콘텐츠를 범위의 하위 부분으로 스케일링 다운하는 것 대신, 표준 콘텐츠는 HDR 콘텐츠를 범위의 감소된 상위 부분으로 압축하면서 더 넓은 범위에 (예컨대, 스케일링 및 톤 맵핑의 조합을 이용하여) 맵핑되어, HDR 공칭 레벨들이 디스플레이의 최대 레벨에 더 가깝게 맵핑되게 할 수 있으며, 이때 HDR 태양들의 결과는 손실되지만, HDR 콘텐츠의 SDR 부분은 불리한 환경에서 시인된다.
일부 실시예들은 동적 범위 제한 제어부를 제공할 수 있다. 일부 사용 시나리오들에서, 소스, 디스플레이 파이프라인, 디스플레이, 및 환경이 HDR(예컨대, 대단히 밝은) 경험을 허용한다 하더라도 사용자가 그를 원하지 않을 수도 있다. 일부 실시예들에서, 동적 범위를 제한하는 제어부가 사용자에게 제공될 수 있다. 이는 침대에서 영화를 뷰잉하지만 극적 경험 또는 파트너를 신경쓰이게 하는 것을 원하지 않는 것과 같은 경우들에 유용할 수 있다.
일부 실시예들에서, 동적 범위 확장 제어부가 제공될 수 있다(이는, 동적 범위 제한을 제공하는 상기의 제어부와 동일한 제어부일 수 있지만, 반드시 그러한 것은 아니다). 이러한 제어부는 낮은 콘트라스트의 콘텐츠를 더 시인성이 있게 그리고 심지어 HDR 콘텐츠를 더 흥미진진하게 할 수 있다.
실시예들은 덜 최적인 환경에서 뷰잉되는 디스플레이들 상에서 최적의 HDR 또는 SDR 콘텐츠 경험을 생성할 수 있다. 예를 들어, 종래의 디스플레이들은 태양 직사광에 비해 매우 디밍하다. 실시예들은 환경(사용자의 적응에 영향을 미침)에 기초하여 콘텐츠의 연속적인 스케일링을 허용할 수 있다.
일부 실시예들에서, 명도에 대한 새로운 타깃이 있는 경우에 모드들 사이에서의 전이 시, 디스플레이 범위에서 헤드룸을 증가시킴으로써 명도 레벨을 즉각적으로 조절하는 것 대신, 헤드룸은 시간 경과(예컨대, 수 초)에 따라 점진적으로 증가되어, 디스플레이 누설이 "팝핑(pop)"되지 않게 할 수 있다. 예를 들어, 전력을 보존하기 위해, 어떠한 애플리케이션들도 HDR 콘텐츠를 디스플레이하고 있지 않는 경우, 백라이트/명도는 낮은(디밍) 레벨에 있을 수 있다. 이용가능한 헤드룸이 있지만, 전력 소비의 이유로, 백라이트/명도는 최대가 아니다. 애플리케이션이 HDR 디스플레이 능력을 요청하는 경우, 밝은(HDR) 콘텐츠에 대한 헤드룸이 제공될 필요가 있고, 백라이트/명도는 (예컨대, 최대 레벨로) 상승될 필요가 있으며, 콘텐츠는 그에 따라 디스플레이 공간의 상부 범위 및 하부 범위 내로 스케일링/그에 맵핑될 필요가 있다. 한편, 이는 즉각적으로(예컨대, 하나의 디스플레이 프레임에서) 행해질 수 있다. 그러나, 디스플레이 패널에 누설이 있는 정도까지, 흑색 레벨은 지각적으로 "팝핑"될 수 있다. 따라서, 전이를 즉각적으로 수행하는 것 대신, 전이는 시간 경과에 따라, 예를 들어 1초 이상, 신장되어, 백라이트/명도 레벨을 점진적으로 위로 램핑하여 디스플레이 패널 상에 어떠한 지각 팝도 없게 할 수 있다.
일부 실시예들에서, 지각 모델은 하기 입력들 중 하나 이상에 기초하여 최대 스케일링 인자(M)를 설정하는 데 이용될 수 있다:
- 디스플레이의 공지된 크기.
- 디스플레이로부터 뷰어의 실제 거리(대안으로, 전형적인 뷰잉 거리가 이용될 수 있음)를 판정하기 위한 센서.
- 스크린 상에 떨어지는 광을 검출하는 스크린측 주변 광 센서.
- 디스플레이의 공지의 측정된 반사도.
- 공지의 측정된 디스플레이 누설.
- 디스플레이 패널의 최대 명도.
- 실제 디스플레이 명도.
- 측정된 디스플레이 누설(예컨대, 백라이트/명도의 백분율).
일부 실시예들에서, 글로벌 톤 맵핑은, 그것이 전달될 수 없는 디스플레이들, 파이프라인들, 및 적응된 시야/환경들 상에서 HDR 콘텐츠를 추가로 적응시키는 데 이용될 수 있다. 일부 실시예들에서, 글로벌 톤 맵핑은 사용자가 범위를 제한하기 위해 선택하는 경우에 적용될 수 있다.
일부 실시예들에서, 로컬 톤 맵핑은, 그것이 달리 가능하지 않은 차별화, 그에 덧붙여, 그것이 달리 전달될 수 없는 디스플레이들, 파이프라인들, 및 적응된 시야/환경들 상에서 뷰잉될 때의 HDR 경험을 제공하는 데 이용될 수 있다.
실시예들은 지각 모델에 기초하여 디스플레이를 뷰어의 적응된 시야 전달 함수에 맵핑시킬 수 있다. 이는 블랙 포인트뿐 아니라 디스플레이의 전달 함수(감마)를 적응시킬 수 있고, 뷰어의 적응된 시야 및 지각 빈들에 대응하는 최적의 코드 간격을 제공할 수 있다.
일부 실시예들에서, HDR에서의 공칭 명도는 페이퍼 화이트(paper white), 피부 톤, 및/또는 타이틀 레벨들에 기초할 수 있다. HDR 콘텐츠는, 전형적으로, 0.0 내지 1.0(또는 임의적) 범위에서 인코딩된다. 그러한 HDR 콘텐츠를 본 명세서에서 기술되는 바와 같은 확장된 범위 HDR로 변환하기 위해, 공칭 명도는 식별될 필요가 있고, 콘텐츠는 공칭이 1.0이 되도록 스케일링될 필요가 있다. 공칭 범위는 흰 종이(white paper), 피부 톤, 또는 타이틀과 같은 공통 특징부들의 레벨들을 판정함으로써 수동으로 또는 자동으로 결정될 수 있다. 톤 맵핑이 스케일링에 더해서 적용될 수 있다.
동적 범위의 제한
전술된 바와 같이, 일부 실시예들에서, 최대 렌더링 값(M)을 결정할 시, M은 정밀도 임계치, 지각 임계치, 및 심미적 임계치가 초과되지 않음을 보장하면서 가능한 한 넓은 동적 범위를 제공할 수 있을 정도로 가능한 한 크게 되도록 최적화될 수 있다. 이 섹션은, 임계치들에 따라 M에 의해 제공되는 동적 범위를 제한하면서 최적의 M을 결정하는 태양들을 추가로 기술한다.
일부 실시예들에서, 디스플레이 파이프라인에서 콘텐츠를 뷰어의 적응 레벨에 맵핑시킬 때 부적절한 불연속성(예컨대, 밴딩, 에일리어싱, 팔렛트화, 또는 양자화) 없이 표현가능한 최대 동적 범위는 하기(그러나 이로 제한되지 않음) 중 하나 이상에 기초할 수 있다:
· 디스플레이 패널 특성(예컨대, 최대 명도 레벨, 전달 함수, 비트 심도 등)
- 디스플레이 드라이버(들)의 정밀도;
- 스케일러(들)의 정밀도;
- 선형화 컴포넌트(들)의 정밀도;
- 색 공간 변환 컴포넌트(들)의 정밀도;
- 하나 이상의 전달 함수들의 정밀도;
- 국부적 콘트라스트 적응 컴포넌트(들)의 정밀도;
- 동적 백라이트 제어 컴포넌트(들)의 정밀도;
- 블렌딩 유닛(들)의 정밀도;
- 색 공간 변환을 통해 전달되는 정밀도(예컨대, Y'CbCr은 동일한 성분 깊이의 R'G'B'보다 대략 2 비트 적은 정밀도를 전달함);
- 디스플레이 파이프라인의 공간/시간 디더링(디스플레이 정밀도 x 전달 함수 스텝 크기가 콘텐츠 및 이를 구동하는 디스플레이 파이프라인의 것보다 엄밀하게 더 미세하지 않는 경우); 및
- 재구성 필터들(디스플레이 파이프라인 또는 디스플레이 내의 스케일러들 및 다른 블록들)은 더 일찍 적용되는 디더를 재구성할 수 있고, 디지털 신호의 더 높은 정밀도는 적절한 정밀도(및/또는 디더링)가 포스트-필터에 대해 이용가능하지 않은 경우에 손실될 수 있다.
파이프라인의 전달 용량 또는 정밀도를 초과하는 것은 하기 중 하나 또는 양측 모두를 야기할 수 있다:
그 결과, 최대 렌더링 값은 파이프라인의 전달 용량 또는 정밀도를 초과하지 않으면서 가능한 한 크게(또는 그때 콘텐츠가 필요로 하는 만큼 크게) 그리고 사용자의 희망 레벨보다는 크지 않게 최적화되어야 하며, 하나 이상의 정밀도 임계치들은 그렇지 않음을 보장하는 데 이용될 수 있다.
심미적 임계치의 일례로서, 일부 실시예들에서, 최대 렌더링 값은, 조합된 디스플레이 누설 및 재반사가 흑색이 부적절하게 비-흑색이 되게 할 때(즉, 글로잉 효과)의 지각 모델 예측에 기초하여 제한될 수 있다. 일부 실시예들에서, 예를 들어 순시 요건들(예컨대, 폭발)에 대해서는 더 큰 스케일링/동적 범위를 허용하지만, 소위 흑색의 글로잉이 부적절한 유의미한 흑색의 존재 시에 더 긴 기간 동안에 작은 요소에 대해서는 허용하지 않는 시간 성분이 있을 수 있다.
지각 임계치의 일례로서, 최대 렌더링 값이 너무 높게 설정된 경우, 공칭 디스플레이 범위, 즉 표준 범위(0.0 내지 1.0) 또는 SDR 콘텐츠가 맵핑되는 디스플레이 공간의 하부 부분은 현재 주변 조건들 및 그들 조건들에 대한 뷰어의 적응 하에서 상이한 휘도 레벨들이 구별가능하지 않은 지점까지 감소될 수 있는데, 그 이유는 그들이 디스플레이 패널의 디스플레이 공간에 의해 제공되는 바와 같은 너무 적은 지각 빈들에 맵핑되고 있기 때문이다. 따라서, 최대 렌더링 값은 디스플레이 패널에 대한 지각 빈 임계치를 초과하지 않는 동안에는 가능한 한 크게 되도록 최적화될 수 있다.
예시적인
디바이스들
및 장치
도 8 내지 도 12는 디바이스들 및 장치의 비제한적인 예들을 도시하며, 이러한 디바이스들 및 장치에서 또는 그에 의해, 본 명세서에서 설명되는 바와 같은 다양한 디지털 비디오 또는 이미지 프로세싱 및 디스플레이 방법들 및 장치의 실시예들 및 컴포넌트들이 구현될 수 있다. 도 8은 예시적인 SOC를 도시하고, 도 9는 SOC를 구현하는 예시적인 디바이스를 도시한다. 도 10은 본 명세서에서 기술되는 방법들 및 장치를 구현할 수 있는 예시적인 컴퓨터 시스템을 도시한다. 도 11 및 도 12는 본 명세서에서 기술되는 방법들 및 장치를 구현할 수 있는 예시적인 다기능 디바이스들을 도시한다.
예시적인 시스템-온-칩(
SOC
)
도 8은 실시예들에서 이용될 수 있는 시스템-온-칩(SOC)(8000)의 일 실시예의 블록 다이어그램이다. 메모리(8800)에 커플링된 SOC(8000)가 도시되어 있다. 명칭에서 암시되는 바와 같이, SOC(8000)의 컴포넌트들은 집적회로 "칩"으로서 단일의 반도체 기판 상에 집적될 수 있다. 일부 실시예들에서, 컴포넌트들은 시스템 내의 둘 이상의 별개의 칩 상에서 구현될 수 있다. 그러나, SOC(8000)는 본 명세서에서 일례로서 사용될 것이다. 도시된 실시예에서, SOC(8000)의 컴포넌트들은 중앙 프로세싱 유닛(CPU) 컴플렉스(8020), 디스플레이 파이프라인(8050), 온-칩 주변기기 컴포넌트들(8040A 내지 8040C)(더 간단하게, "주변기기들"), 메모리 제어기(MC)(8030), 및 통신 패브릭(communication fabric)(8010)을 포함한다. 컴포넌트들(8020, 8030, 8040A 내지 8040C, 8050)은 모두 통신 패브릭(8010)에 커플링될 수 있다. 메모리 제어기(8030)는 사용 동안 메모리(8800)에 커플링될 수 있고, 주변기기(8040B)는 사용 동안 외부 인터페이스(8900)에 커플링될 수 있다. 유사하게, 디스플레이 파이프라인(8050)은 사용 동안 디스플레이(8052)에 커플링될 수 있다. 도시된 실시예에서, CPU 컴플렉스(8020)는 하나 이상의 프로세서들(P)(8024) 및 레벨 2(L2) 캐시(8022)를 포함한다.
주변기기들(8040A 내지 8040C)은 SOC(8000)에 포함된 추가 하드웨어 기능의 임의의 세트일 수 있다. 예를 들어, 주변기기들(8040A 내지 8040C)은 비디오 주변기기들, 예컨대 카메라 또는 다른 이미지 센서로부터의 이미지 캡처 데이터를 프로세싱하도록 구성된 이미지 신호 프로세서, 그래픽 프로세싱 유닛(GPU), 비디오 인코더/디코더 또는 코덱, 스케일러, 로테이터, 블렌더 등을 포함할 수 있다. 주변기기들(8040A 내지 8040C)은 오디오 주변기기들, 예컨대 마이크로폰, 스피커, 마이크로폰 및 스피커에 대한 인터페이스, 오디오 프로세서, 디지털 신호 프로세서, 믹서 등을 포함할 수 있다. 주변기기들(8040A 내지 8040C)은, USB(Universal Serial Bus), PCIe(peripheral component interconnect(PCI) Express)를 비롯한 PCI, 직렬 및 병렬 포트 등과 같은 인터페이스들을 포함한, SOC(8000) 외부의 다양한 인터페이스(8900)들에 대한 주변기기 인터페이스 제어기들(예컨대, 주변기기(8040B))을 포함할 수 있다. 주변기기들(8040A 내지 8040C)은 매체 액세스 제어기(MAC)들과 같은 네트워킹 주변기기들을 포함할 수 있다. 하드웨어의 임의의 세트가 포함될 수 있다.
디스플레이 파이프라인(8050)은 디스플레이(8052) 상에 디스플레이하기 위한 하나 이상의 정지 이미지들 및/또는 하나 이상의 비디오 시퀀스들을 프로세싱하는 하드웨어를 포함할 수 있다. 일반적으로, 각각의 소스 정지 이미지 또는 비디오 시퀀스에 대하여, 디스플레이 파이프라인(8050)은 메모리 제어기(8030)를 통해 메모리(8800)로부터 프레임/비디오 시퀀스의 각각의 부분들을 나타내는 데이터를 판독하는 판독 메모리 동작들을 생성하도록 구성될 수 있다.
디스플레이 파이프라인(8050)은 이미지 데이터(정지 이미지들, 비디오 시퀀스들 등)에 대해 임의의 타입의 프로세싱을 수행하도록 구성될 수 있다. 일 실시예에서, 디스플레이 파이프라인(8050)은 정지 이미지들을 스케일링하도록, 그리고 비디오 시퀀스의 프레임들의 그들의 각각의 부분들에 대해 디더링, 스케일링, 및/또는 색 공간 변환을 수행하도록 구성될 수 있다. 디스플레이 파이프라인(8050)은 정지 이미지 프레임들과 비디오 시퀀스 프레임들을 합성 또는 블렌딩하여, 디스플레이하기 위한 출력 프레임들을 생성하도록 구성될 수 있다. 디스플레이 파이프라인(8050)은, 또한, 디스플레이 제어 유닛 또는 디스플레이 제어기로 지칭될 수 있다. 디스플레이 제어 유닛 또는 제어기는, 일반적으로, 하나 이상의 소스들로부터의 디스플레이하기 위한 출력 프레임들, 예컨대 정지 이미지들 및/또는 비디오 시퀀스들을 준비하도록 구성된 임의의 하드웨어 및/또는 소프트웨어일 수 있다.
보다 구체적으로, 디스플레이 파이프라인(8050)은 메모리(8800)에 저장된 하나 이상의 소스 버퍼들(8802A, 8802B)로부터 소스 프레임들의 각각의 부분들을 검색하도록, 소스 버퍼들로부터의 프레임들을 합성하도록, 그리고 생성된 프레임들을 디스플레이(8052)의 대응하는 부분들 상에 디스플레이하도록 구성될 수 있다. 소스 버퍼들(8802A, 8802B)은 메모리(8800)에 저장될 수 있는 임의의 수의 소스 프레임 버퍼들을 나타낸다. 따라서, 디스플레이 파이프라인(8050)은 다수의 소스 버퍼들(8802A, 8802B)을 판독하도록, 그리고 이미지 데이터를 합성하여 출력 프레임을 생성하도록 구성될 수 있다.
디스플레이(8052)는 임의의 종류의 시각적 디스플레이 디바이스일 수 있다. 디스플레이(8052)는, 예를 들어, LCD, LED, 플라즈마, CRT(cathode ray tube) 등일 수 있다. 디스플레이(8052)는 SOC(8000)를 포함한 시스템(예컨대, 스마트폰 또는 태블릿) 내에 통합될 수 있고/있거나 컴퓨터 모니터, 텔레비전, 또는 다른 디바이스와 같은 개별적으로 하우징된 디바이스일 수 있다. 다양한 타입들의 소스 이미지 데이터가 디스플레이(8052) 상에서 보여질 수 있다. 다양한 실시예들에서, 소스 이미지 데이터는, 예를 들어 MPEG(Moving Pictures Expert Group)-4 파트 14(MP4), 고급 비디오 코딩(Advanced Video Coding)(H.264/AVC), 또는 AVI(Audio Video Interleave)와 같은 포맷의 비디오 클립을 나타낼 수 있다. 대안으로, 소스 이미지 데이터는 일련의 정지 이미지들일 수 있으며, 각각의 이미지는, 보통 슬라이드쇼로 지칭되는, 타이밍 구간들 내에 디스플레이될 수 있는 프레임으로 간주될 수 있다. 이미지들은 JPEG(Joint Photographic Experts Group), RAW(raw image format), GIF(Graphics Interchange Format), 또는 PNG(Portable Networks Graphics)와 같은 포맷일 수 있다.
일부 실시예들에서, 디스플레이(8052)는 SOC(8000)에 직접적으로 접속될 수 있고, 디스플레이 파이프라인(8050)에 의해 제어될 수 있다. 즉, 디스플레이 파이프라인(8050)은 하나 이상의 클록 및/또는 수직 블랭킹 기간 및 수평 블랭킹 구간 제어들과 같은 타이밍 신호들을 포함한, 다양한 제어/데이터 신호들을 디스플레이에 제공할 수 있는 하드웨어("백엔드")를 포함할 수 있다. 클록들은 픽셀이 전송되고 있음을 나타내는 픽셀 클록을 포함할 수 있다. 데이터 신호는, 예를 들어, 적색, 녹색 및 청색과 같은 색 신호를 포함할 수 있다. 디스플레이 파이프라인(8050)은 실시간 또는 근실시간으로 디스플레이(8052)를 제어하여, 디스플레이가 프레임에 의해 나타내지는 이미지를 디스플레이하고 있을 때 디스플레이될 픽셀들을 나타내는 데이터를 제공할 수 있다. 이러한 디스플레이(8052)에 대한 인터페이스는, 예를 들어, VGA, HDMI, 디지털 비디오 인터페이스(DVI), LCD 인터페이스, 플라즈마 인터페이스, CRT 인터페이스, 디스플레이포트 인터페이스, 임의의 전용 디스플레이 인터페이스 등일 수 있다.
CPU 컴플렉스(8020)는 SOC(8000)의 CPU로서의 역할을 하는 하나 이상의 CPU 프로세서들(8024)을 포함할 수 있다. 시스템의 CPU는 시스템의 메인 제어 소프트웨어, 예컨대 운영체제를 실행시키는 프로세서(들)를 포함한다. 일반적으로, 사용 동안 CPU에 의해 실행되는 소프트웨어는 시스템의 다른 컴포넌트들을 제어하여 시스템의 원하는 기능을 실현할 수 있다. 프로세서들(8024)은 또한 다른 소프트웨어, 예컨대 애플리케이션 프로그램들을 실행할 수 있다. 애플리케이션 프로그램들은 사용자 기능을 제공할 수 있고, 하위 레벨 디바이스 제어를 위해 운영체제에 의존할 수 있다. 따라서, 프로세서들(8024)은 애플리케이션 프로세서들로도 지칭될 수 있다. CPU 컴플렉스(8020)는 다른 하드웨어, 예컨대, L2 캐시(8022) 및/또는 시스템의 다른 컴포넌트들에 대한 인터페이스(예컨대, 통신 패브릭(8010)에 대한 인터페이스)를 추가로 포함할 수 있다. 일반적으로, 프로세서는 프로세서에 의해 구현된 명령어 세트 아키텍처에 정의된 명령어들을 실행하도록 구성된 임의의 회로 및/또는 마이크로코드를 포함할 수 있다. 명령어들을 실행시키는 것에 응답하여 프로세서들에 의해 동작되는 명령어들 및 데이터는 일반적으로 메모리(8800)에 저장될 수 있지만, 소정 명령어들이 마찬가지로 주변기기들에의 직접적인 프로세서 액세스에 대해 정의될 수 있다. 프로세서들은 시스템-온-칩(SOC(8000)) 또는 다른 레벨들의 통합부로서 다른 컴포넌트들과 함께 집적 회로 상에 구현된 프로세서 코어들을 망라할 수 있다. 프로세서들은 별개의 마이크로프로세서들, 멀티칩 모듈 구현부들 내에 집적화된 프로세서 코어들 및/또는 마이크로프로세서들, 다수의 집적 회로들로서 구현된 프로세서들 등을 추가로 망라할 수 있다.
메모리 제어기(8030)는, 일반적으로, SOC(8000)의 다른 컴포넌트들로부터 메모리 동작들을 수신하기 위한, 그리고 메모리(8800)에 액세스하여 메모리 동작들을 완료하기 위한 회로를 포함할 수 있다. 메모리 제어기(8030)는 임의의 타입의 메모리(8800)에 액세스하도록 구성될 수 있다. 예를 들어, 메모리(8800)는 SRAM(static random access memory), DRAM(dynamic RAM), 예컨대 더블 데이터 레이트(DDR, DDR2, DDR3 등) DRAM을 포함하는 SDRAM(synchronous DRAM)일 수 있다. 저전력/모바일 버전들의 DDR DRAM(예컨대, LPDDR, mDDR 등)이 지원될 수 있다. 메모리 제어기(8030)는, 동작들을 순서화하기 위한(그리고 잠재적으로 재순서화하기 위한) 그리고 동작들을 메모리(8800)에 제시하기 위한, 메모리 동작들에 대한 큐(queue)들을 포함할 수 있다. 메모리 제어기(8030)는 메모리로의 기록을 기다리는 기록 데이터 및 메모리 동작의 소스로의 복귀를 기다리는 판독 데이터를 저장하는 데이터 버퍼들을 추가로 포함할 수 있다. 일부 실시예들에서, 메모리 제어기(8030)는 최근에 액세스된 메모리 데이터를 저장하는 메모리 캐시를 포함할 수 있다. SOC 구현예들에서, 예를 들어, 메모리 캐시는, 다시 곧 액세스될 것으로 예상되는 경우에 메모리(8800)로부터의 데이터의 재-액세스를 회피시킴으로써 SOC에서의 전력 소비를 감소시킬 수 있다. 일부 경우들에 있어서, 메모리 캐시는, 또한, 소정 컴포넌트들만을 서빙하는 프라이빗 캐시들, 예컨대 프로세서들(8024) 내의 L2 캐시(8022) 또는 캐시들과 상반되는 것과 같은, 시스템 캐시로서 지칭될 수 있다. 추가적으로, 일부 실시예들에서, 시스템 캐시는 메모리 제어기(8030) 내에 위치될 필요가 없다.
실시예에서, 메모리(8800)는 칩-온-칩 또는 패키지-온-패키지 구성으로 SOC(8000)와 함께 패키징될 수 있다. SOC(8000) 및 메모리(8800)의 멀티칩 모듈 구성이 마찬가지로 사용될 수 있다. 그러한 구성들은 시스템 내의 다른 컴포넌트들로의(예컨대, 종점들 16A 및 16B로의) 송신보다 (데이터 관측 면에서) 상대적으로 더 안정적일 수 있다. 따라서, 보호 데이터는 메모리(8800)에 암호화되지 않은 상태로 상주할 수 있는 반면, 보호 데이터는 SOC(8000)와 외부 종점들 사이에서의 교환을 위해 암호화될 수 있다.
통신 패브릭(8010)은 SOC(8000)의 컴포넌트들 간의 통신을 위한 임의의 통신 상호접속부 및 프로토콜일 수 있다. 통신 패브릭(8010)은 버스 기반일 수 있으며, 공유 버스 구성, 크로스 바(cross bar) 구성, 및 브리지를 갖는 계층구조 버스일 수 있다. 통신 패브릭(8010)은, 또한, 패킷 기반일 수 있고, 브리지를 갖는 계층구조, 크로스 바, 포인트-투-포인트(point-to-point), 또는 다른 상호접속부들일 수 있다.
SOC(8000)의 컴포넌트들의 개수(및 도 8에 도시된 것들, 예컨대 CPU 컴플렉스(8020) 내에 있는 것들에 대한 서브컴포넌트들의 개수)가 실시예들마다 다를 수 있다는 점에 주목한다. 도 8에 도시된 개수보다 많거나 적은 각각의 컴포넌트/서브컴포넌트가 있을 수 있다.
도 9는 SOC(8000)가 하나 이상의 외부 주변기기들(9020) 및 외부 메모리(8800)에 커플링된 적어도 하나의 사례를 포함하는 시스템(9000)의 일 실시예에 대한 블록 다이어그램이다. 공급 전압들을 SOC(8000)에 공급할 뿐 아니라 하나 이상의 공급 전압들을 메모리(8800) 및/또는 주변기기들(9020)에 공급하는 전력 관리 유닛(PMU)(9010)이 제공된다. 일부 실시예들에서, SOC(8000)의 1개 초과의 사례들이 포함될 수 있다(그리고 1개 초과의 메모리(8800)가 마찬가지로 포함될 수 있다).
주변기기들(9020)은 시스템(9000)의 타입에 따라 임의의 원하는 회로를 포함할 수 있다. 예를 들어, 일 실시예에서, 시스템(9000)은 모바일 디바이스(예컨대, 개인용 휴대 단말기(PDA), 스마트 폰 등)일 수 있으며, 주변기기들(9020)은 다양한 타입들의 무선 통신용 디바이스들, 예컨대 WiFi, 블루투스, 셀룰러, 글로벌 포지셔닝 시스템 등을 포함할 수 있다. 주변기기들(9020)은, 또한, RAM 스토리지, 솔리드 스테이트 스토리지, 또는 디스크 스토리지를 포함한 추가적인 스토리지를 포함할 수 있다. 주변기기들(9020)은 사용자 인터페이스 디바이스들, 예컨대 터치 디스플레이 스크린들 또는 멀티터치 디스플레이 스크린을 포함한 디스플레이 스크린, 키보드 또는 다른 입력 디바이스, 마이크로폰, 스피커 등을 포함할 수 있다. 다른 실시예들에서, 시스템(9000)은 임의의 타입의 컴퓨팅 시스템(예컨대 데스크톱 개인용 컴퓨터, 랩톱, 워크스테이션, 넷톱 등)일 수 있다.
외부 메모리(8800)는 임의의 타입의 메모리를 포함할 수 있다. 예를 들어, 외부 메모리(8800)는 SRAM, 동적 RAM(DRAM), 예컨대 동기 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) SDRAM, RAMBUS DRAM, 저전력 버전들의 DDR DRAM(예컨대, LPDDR, mDDR 등) 등일 수 있다. 외부 메모리(8800)는 메모리 디바이스들이 장착되는 하나 이상의 메모리 모듈, 예컨대 단일 인라인 메모리 모듈(SIMM), 듀얼 인라인 메모리 모듈(DIMM) 등을 포함할 수 있다. 대안으로, 외부 메모리(8800)는 칩-온-칩 또는 패키지-온-패키지 구현예에서 SOC(8000) 상에 장착되는 하나 이상의 메모리 디바이스들을 포함할 수 있다.
예시적인 컴퓨터 시스템
도 10은 전술된 실시예들 중 임의의 것 또는 모두를 실행하도록 구성될 수 있는 예시적인 컴퓨터 시스템(2900)을 도시한다. 상이한 실시예들에서, 컴퓨터 시스템(2900)은 개인용 컴퓨터 시스템, 데스크톱 컴퓨터, 랩톱, 노트북, 태블릿, 슬레이트, 패드 또는 넷북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 카메라, 셋톱 박스, 모바일 디바이스, 소비자 디바이스, 애플리케이션 서버, 저장 디바이스, 비디오 녹화 디바이스, 주변기기 디바이스, 예컨대 스위치, 모뎀, 라우터, 또는 일반적으로 임의의 타입의 컴퓨팅 또는 전자 디바이스를 포함하지만 이들로 제한되지 않는 다양한 타입들의 디바이스들 중 임의의 것일 수 있다.
본 명세서에서 기술된 바와 같은 다양한 실시예들은, 다양한 다른 디바이스들과 상호작용할 수 있는 하나 이상의 컴퓨터 시스템들(2900)에서 실행될 수 있다. 도 1 내지 도 9와 관련하여 전술된 임의의 컴포넌트, 액션, 또는 기능이, 다양한 실시예들에 따라, 도 10의 컴퓨터 시스템(2900)으로서 구성된 하나 이상의 컴퓨터들 상에서 구현될 수 있다는 점에 주목한다. 도시된 실시예에서, 컴퓨터 시스템(2900)은 입력/출력(I/O) 인터페이스(2930)를 통해 시스템 메모리(2920)에 커플링되는 하나 이상의 프로세서들(2910)을 포함한다. 컴퓨터 시스템(2900)은, I/O 인터페이스(2930)에 커플링되는 네트워크 인터페이스(2940), 및 하나 이상의 입력/출력 디바이스들 또는 컴포넌트들(2950), 예컨대 커서 제어부(2960), 키보드(2970), 디스플레이(들)(2980), 카메라(들)(2990), 및 광 센서 및 모션 검출기를 포함하지만 이들로 제한되지 않는 센서(들)(2992)를 추가로 포함한다. 일부 경우들에 있어서, 실시예들이 컴퓨터 시스템(2900)의 단일 사례를 이용하여 구현될 수 있지만, 다른 실시예들에서는 다수의 그러한 시스템들, 또는 컴퓨터 시스템(2900)을 구성하는 다수의 노드들이 실시예들의 상이한 부분들 또는 사례들을 호스팅하도록 구성될 수 있다는 점을 고려한다. 예를 들어, 일 실시예에서, 일부 요소들은 다른 요소들을 구현하는 그들 노드들과는 별개인 컴퓨터 시스템(2900)의 하나 이상의 노드를 통해 구현될 수 있다.
다양한 실시예들에서, 컴퓨터 시스템(2900)은 하나의 프로세서(2910)를 포함하는 단일프로세서 시스템, 또는 여러 개(예컨대, 2개, 4개, 8개, 또는 다른 적합한 개수)의 프로세서들(2910)을 포함하는 다중프로세서 시스템일 수 있다. 프로세서들(2910)은 명령어들을 실행할 수 있는 임의의 적합한 프로세서일 수 있다. 예를 들어, 다양한 실시예들에서, 프로세서들(2910)은 다양한 ISA(instruction set architecture)들, 예컨대 x829, PowerPC, SPARC, 또는 MIPS ISA들, 또는 임의의 다른 적합한 ISA 중 임의의 것을 구현하는 범용 또는 임베디드 프로세서들일 수 있다. 다중프로세서 시스템들에서, 프로세서들(2910) 각각은 보편적으로 동일한 ISA를 구현할 수 있지만 반드시 그러한 것은 아니다.
시스템 메모리(2920)는 프로세서(2910)에 의해 액세스가능한 프로그램 명령어들(2922) 및/또는 데이터를 저장하도록 구성될 수 있다. 다양한 실시예들에서, 시스템 메모리(2920)는 SRAM, SDRAM, 비휘발성/플래시 타입 메모리, 또는 임의의 다른 타입의 메모리와 같은 임의의 적합한 메모리 기술을 이용하여 구현될 수 있다. 도시된 실시예에서, 프로그램 명령어들(2922)은 본 명세서에서 기술된 기능 중 임의의 것을 구현하도록 구성될 수 있다. 추가적으로, 메모리(2920)는, 본 명세서에서 기술되는 정보 또는 데이터 구조들 중 임의의 것을 포함할 수 있다. 일부 실시예들에서, 프로그램 명령어들 및/또는 데이터는 시스템 메모리(2920) 또는 컴퓨터 시스템(2900)과는 별개인 상이한 타입들의 컴퓨터 액세스가능 매체들 또는 유사한 매체들에서 수신, 전송, 또는 저장될 수 있다. 컴퓨터 시스템(2900)은 이전 도면들의 기능 블록들의 기능을 구현하는 것으로서 기술되지만, 본 명세서에서 기술된 기능 중 임의의 것이 그러한 컴퓨터 시스템을 통해 구현될 수 있다.
일 실시예에서, I/O 인터페이스(2930)는 프로세서(2910), 시스템 메모리(2920), 및 네트워크 인터페이스(2940), 또는 입력/출력 디바이스들(2950)과 같은 기타 주변기기 인터페이스들을 비롯한 디바이스 내의 임의의 주변기기 디바이스들 사이에서 I/O 트래픽을 조정하도록 구성될 수 있다. 일부 실시예들에서, I/O 인터페이스(2930)는 임의의 필수적인 프로토콜, 타이밍, 또는 하나의 컴포넌트(예컨대, 시스템 메모리(2920))로부터의 데이터 신호들을 다른 컴포넌트(예컨대, 프로세서(2910))에 의한 사용에 적합한 포맷으로 변환하는 다른 데이터 변환들을 수행할 수 있다. 일부 실시예들에서, I/O 인터페이스(2930)는, 예를 들어, PCI 버스 표준 또는 USB 표준의 변형물과 같은 다양한 타입들의 주변기기 버스들을 통해 연결되는 디바이스들을 위한 지원부를 포함할 수 있다. 일부 실시예들에서, I/O 인터페이스(2930)의 기능은, 예를 들어, 2개 이상의 분리된 컴포넌트들, 예컨대 노스 브리지 및 사우스 브리지로 분할될 수 있다. 또한, 일부 실시예들에서, 시스템 메모리(2920)에 대한 인터페이스와 같은 I/O 인터페이스(2930)의 기능 중 일부 또는 모두가 프로세서(2910) 내에 직접 통합될 수 있다.
네트워크 인터페이스(2940)는, 컴퓨터 시스템(2900)과, 네트워크(2985)에 연결된 다른 디바이스들(예컨대, 반송 또는 에이전트 디바이스들) 사이에서, 또는 컴퓨터 시스템(2900)의 노드들 사이에서 데이터가 교환되게 하도록 구성될 수 있다. 네트워크(2985)는, 다양한 실시예들에서, 근거리 통신망(Local Area Network, LAN)(예컨대, 이더넷(Ethernet) 또는 회사 네트워크), 광역 통신망(WAN)(예컨대, 인터넷), 무선 데이터 네트워크, 일부 다른 전자 데이터 네트워크, 또는 이들의 일부 조합을 포함하지만 이로 제한되지 않는 하나 이상의 네트워크들을 포함할 수 있다. 다양한 실시예들에서, 네트워크 인터페이스(2940)는, 예를 들어 유선 또는 무선의 일반 데이터 네트워크, 예컨대 임의의 적합한 타입의 이더넷 네트워크를 통해; 통신/전화 네트워크, 예컨대 아날로그 음성 네트워크 또는 디지털 광섬유 통신 네트워크를 통해; SAN(storage area network), 예컨대 광섬유 채널 SAN(Fibre Channel SAN)을 통해; 또는 임의의 다른 적합한 타입의 네트워크 및/또는 프로토콜을 통한 통신을 지원할 수 있다.
입력/출력 디바이스들(2950)은, 일부 실시예들에서, 하나 이상의 디스플레이 단말기, 키보드, 키패드, 터치패드, 스캐닝 디바이스, 음성 또는 광 인식 디바이스, 또는 하나 이상의 컴퓨터 시스템들(2900)에 의해 데이터를 입력하거나 그에 액세스하는 데 적합한 임의의 다른 디바이스들을 포함할 수 있다. 다수의 입력/출력 디바이스들(2950)은 컴퓨터 시스템(2900)에 존재할 수 있거나, 또는 컴퓨터 시스템(2900)의 다양한 노드들 상에 분산될 수 있다. 일부 실시예들에서, 유사한 입력/출력 디바이스들이 컴퓨터 시스템(2900)으로부터 분리될 수 있고, 유선 또는 무선 접속을 통해, 예컨대 네트워크 인터페이스(2940)를 통해, 컴퓨터 시스템(2900)의 하나 이상의 노드들과 상호작용할 수 있다.
도 10에 도시된 바와 같이, 메모리(2920)는 전술된 임의의 요소 또는 액션을 구현하도록 프로세서-실행가능할 수 있는 프로그램 명령어들(2922)을 포함할 수 있다. 일 실시예에서, 프로그램 명령어들은 전술된 방법들을 구현할 수 있다. 다른 실시예들에서, 상이한 요소들 및 데이터가 포함될 수 있다. 데이터가 전술된 임의의 데이터 또는 정보를 포함할 수 있다는 점에 주목한다.
당업자는, 컴퓨터 시스템(2900)이 단지 예시적인 것이고, 실시예들의 범주를 제한하는 것으로 의도되지는 않음을 인식할 것이다. 구체적으로, 컴퓨터 시스템 및 디바이스들은 컴퓨터, 네트워크 디바이스, 인터넷 어플라이언스, PDA, 무선 전화기, 호출기 등을 비롯한, 나타낸 기능들을 수행할 수 있는 하드웨어 또는 소프트웨어의 임의의 조합을 포함할 수 있다. 컴퓨터 시스템(2900)은, 또한, 도시되지 않은 다른 디바이스들에 접속될 수 있거나, 또는 대신에 독립형 시스템으로서 동작할 수 있다. 또한, 도시된 컴포넌트들에 의해 제공되는 기능은, 일부 실시예들에서, 더 적은 수의 컴포넌트들로 조합될 수 있거나 또는 추가적인 컴포넌트들에 분산될 수 있다. 유사하게, 일부 실시예들에서, 도시된 컴포넌트들 중 일부 컴포넌트들의 기능이 제공되지 않을 수도 있고/있거나 다른 추가적인 기능이 이용가능할 수 있다.
당업자는 또한, 다양한 아이템들이 메모리에 저장되어 있는 것으로 또는 사용 중에 저장소 상에 저장되는 것으로 도시되어 있지만, 이들 아이템들 또는 이들의 부분들은 메모리 관리 및 데이터 무결성의 목적을 위해 메모리와 다른 저장 디바이스들 사이에서 전송될 수 있다는 것을 이해할 것이다. 대안으로, 다른 실시예들에서, 소프트웨어 컴포넌트들 중 일부 또는 모두는 다른 디바이스 상의 메모리에서 실행될 수 있고, 컴퓨터간 통신을 통해 도시된 컴퓨터 시스템과 통신할 수 있다. 시스템 컴포넌트들 또는 데이터 구조들 중 일부 또는 모두는, 또한, 적절한 드라이브에 의해 판독될 컴퓨터 액세스가능 매체 또는 휴대용 물품 상에 (예컨대, 명령어들 또는 구조화된 데이터로서) 저장될 수 있으며, 그의 다양한 예들은 전술되어 있다. 일부 실시예들에서, 컴퓨터 시스템(2900)으로부터 분리된 컴퓨터 액세스가능 매체 상에 저장된 명령어들은 네트워크 및/또는 무선 링크와 같은 통신 매체를 통해 전달되는 전기, 전자기, 또는 디지털 신호들과 같은 전송 매체들 또는 신호들을 통해 컴퓨터 시스템(2900)으로 송신될 수 있다. 다양한 실시예들이 컴퓨터 액세스가능 매체에 관한 전술된 설명에 따라 구현된 명령어들 및/또는 데이터를 수신, 전송, 또는 저장하는 것을 더 포함할 수 있다. 일반적으로 말하면, 컴퓨터 액세스가능 매체는 자기적 또는 광학적 매체들과 같은 비일시적 컴퓨터 판독가능 저장 매체 또는 메모리 매체, 예컨대 디스크 또는 DVD/CD-ROM, 휘발성 또는 비휘발성 매체들, 예를 들어, RAM(예컨대, SDRAM, DDR, RDRAM, SRAM 등), ROM 등을 포함할 수 있다. 일부 실시예들에서, 컴퓨터-액세스가능 매체는, 네트워크 및/또는 무선 링크와 같은 통신 매체를 통해 전달되는 전기, 전자기, 또는 디지털 신호들과 같은 전송 매체들 또는 신호들을 포함할 수 있다.
다기능
디바이스의
예들
도 11은 일부 실시예들에 따른 휴대용 다기능 디바이스의 블록 다이어그램을 도시한다. 일부 실시예들에서, 디바이스는 PDA, 카메라, 비디오 캡처 및/또는 재생, 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는, 모바일 전화기와 같은, 휴대용 통신 디바이스이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터의 iPhone®, iPod Touch®, 및 iPad® 디바이스들을 제한 없이 포함한다. 터치 감응형 표면들(예컨대, 터치 스크린 디스플레이 및/또는 터치패드들)을 갖는 다른 휴대용 전자 디바이스들, 예컨대 랩톱, 셀폰, 스마트폰, 패드 또는 태블릿 컴퓨터가 또한 사용될 수 있다. 일부 실시예들에서, 디바이스가 휴대용 통신 디바이스가 아니라 터치 감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 갖는 데스크톱 컴퓨터라는 것을 또한 이해해야 한다. 일부 실시예들에서, 디바이스는 배향 센서들(예컨대, 게임 제어기 내의 배향 센서들)을 갖는 게임 컴퓨터이다. 다른 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라 카메라 및/또는 비디오 카메라이다.
이하의 논의에서, 디스플레이 및 터치 감응형 표면을 포함하는 전자 디바이스가 기술된다. 그러나, 전자 디바이스는 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함할 수 있다는 것을 이해해야 한다.
디바이스는, 전형적으로, 드로잉 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 제작 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게임 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생기 애플리케이션, 스트리밍 비디오 애플리케이션, 및/또는 디지털 비디오 재생기 애플리케이션 중 하나 이상과 같은 다양한 애플리케이션들을 지원한다.
디바이스 상에서 실행될 수 있는 다양한 애플리케이션들은 터치 감응형 표면과 같은 적어도 하나의 보편적인 물리적 사용자 인터페이스 디바이스를 사용할 수 있다. 터치 감응형 표면의 하나 이상의 기능들뿐만 아니라 디바이스 상에 디스플레이되는 대응 정보는 조정될 수 있고/있거나 하나의 애플리케이션으로부터 다음의 애플리케이션으로 그리고/또는 각자의 애플리케이션 내에서 변화될 수 있다. 이러한 방식으로, 디바이스의 (터치 감응형 표면과 같은) 보편적인 물리적 아키텍처는 사용자에게 직관적이고 명료한 사용자 인터페이스들을 이용하여 다양한 애플리케이션들을 지원할 수 있다.
디바이스(2100)는 메모리(2102)(하나 이상의 컴퓨터 판독가능 저장 매체들을 포함할 수 있음), 메모리 제어기(2122), 하나 이상의 프로세싱 유닛(CPU)들(2120), 주변기기 인터페이스(2118), RF(radio frequency) 회로(2108), 오디오 회로(2110), 스피커(2111), 터치 감응형 디스플레이 시스템(2112), 마이크로폰(2113), 입력/출력(I/O) 서브시스템(2106), 다른 입력 제어 디바이스들(2116), 및 외부 포트(2124)를 포함할 수 있다. 디바이스(2100)는 하나 이상의 광 센서들 또는 카메라들(2164)을 포함할 수 있다. 이들 컴포넌트들은 하나 이상의 통신 버스들 또는 신호 라인들(2103)을 통해 통신할 수 있다.
디바이스(2100)는 휴대용 다기능 디바이스의 일례일 뿐이고, 디바이스(2100)는 도시된 것보다 더 많거나 더 적은 컴포넌트들을 가질 수 있거나, 둘 이상의 컴포넌트들을 조합할 수 있거나, 또는 컴포넌트들의 상이한 구성 또는 배치를 가질 수 있다는 것을 이해해야 한다. 도 11에 도시된 다양한 컴포넌트들은 하나 이상의 신호 프로세싱 및/또는 응용 주문형 집적 회로(application specific integrated circuit)들을 비롯한, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다.
메모리(2102)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스와 같은 비휘발성 메모리를 포함할 수 있다. CPU(2120) 및 주변기기 인터페이스(2118)와 같은 디바이스(2100)의 다른 컴포넌트들에 의한 메모리(2102)에의 액세스는 메모리 제어기(2122)에 의해 제어될 수 있다.
주변기기 인터페이스(2118)는 디바이스의 입력 및 출력 주변기기들을 CPU(2120) 및 메모리(2102)에 커플링하는 데 사용될 수 있다. 하나 이상의 프로세서들(2120)은 디바이스(2100)에 대한 다양한 기능들을 수행하기 위해 그리고 데이터를 프로세싱하기 위해 메모리(2102)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동 또는 실행시킨다.
일부 실시예들에서, 주변기기 인터페이스(2118), CPU(2120), 및 메모리 제어기(2122)는 칩(2104)과 같은 단일 칩 상에서 구현될 수 있다. 일부 다른 실시예들에서, 이들은 별개의 칩들 상에서 구현될 수 있다.
RF 회로(2108)는 전자기 신호들로도 지칭되는 RF 신호들을 수신 및 전송한다. RF 회로(2108)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. RF 회로(2108)는 안테나 시스템, RF 송수신기, 하나 이상의 증폭기들, 튜너, 하나 이상의 발진기들, 디지털 신호 프로세서, 코더/디코더(코덱) 칩셋, SIM(subscriber identity module) 카드, 메모리 등을 포함하지만 이들로 제한되지 않는, 이들 기능들을 수행하기 위한 주지의 회로를 포함할 수 있다. RF 회로(2108)는 네트워크들, 예컨대 월드 와이드 웹(WWW)으로도 지칭되는 인터넷, 인트라넷, 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 근거리 통신망(LAN) 및/또는 대도시 통신망(metropolitan area network, MAN), 및 다른 디바이스들과 무선 통신에 의해 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예컨대, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예컨대, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예컨대, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문헌의 출원일 현재로 아직 개발되지 않은 통신 프로토콜들을 포함한 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 제한되지 않는, 다양한 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용할 수 있다.
오디오 회로(2110), 스피커(2111) 및 마이크로폰(2113)은 사용자와 디바이스(2100) 사이에서 오디오 인터페이스를 제공한다. 오디오 회로(2110)는 주변기기 인터페이스(2118)로부터 오디오 데이터를 수신하고, 그 오디오 데이터를 전기 신호로 변환하고, 그 전기 신호를 스피커(2111)로 송신한다. 스피커(2111)는 전기 신호를 가청 음파(audible sound wave)로 변환한다. 오디오 회로(2110)는, 또한, 마이크로폰(2113)에 의해 음파로부터 변환된 전기 신호들을 수신한다. 오디오 회로(2110)는 전기 신호를 오디오 데이터로 변환하고, 프로세싱을 위해 그 오디오 데이터를 주변기기 인터페이스(2118)로 송신한다. 오디오 데이터는 주변기기 인터페이스(2118)에 의해 메모리(2102) 및/또는 RF 회로(2108)로부터 검색되고/되거나 이로 송신될 수 있다. 일부 실시예들에서, 오디오 회로(2110)는 또한 헤드셋 잭을 포함한다. 헤드셋 잭은 출력 전용 헤드폰들, 또는 출력(예컨대, 한쪽 또는 양쪽 귀용 헤드폰) 및 입력(예컨대, 마이크로폰) 양쪽 모두를 갖는 헤드셋과 같은 제거가능한 오디오 입/출력 주변기기들과 오디오 회로(2110) 사이에서 인터페이스를 제공한다.
I/O 서브시스템(2106)은 터치 스크린(2112) 및 다른 입력 제어 디바이스들(2116)과 같은, 디바이스(2100) 상의 입/출력 주변기기들을 주변기기 인터페이스(2118)에 커플링시킨다. I/O 서브시스템(2106)은 디스플레이 제어기(2156), 및 다른 입력 제어 디바이스들(2116)을 위한 하나 이상의 입력 제어기들(2160)을 포함할 수 있다. 하나 이상의 입력 제어기들(2160)은 다른 입력 제어 디바이스들(2116)로부터/로 전기 신호들을 수신/전송한다. 다른 입력 제어 디바이스들(2116)은 물리적 버튼(예컨대, 푸시 버튼, 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함할 수 있다. 일부 대안의 실시예들에서, 입력 제어기(들)(2160)는 키보드, 적외선 포트, USB 포트, 및 마우스와 같은 포인터 디바이스 중 임의의 것에 커플링될 수 있다(또는 어느 것에도 커플링되지 않을 수 있다). 하나 이상의 버튼들은 스피커(2111) 및/또는 마이크로폰(2113)의 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다. 하나 이상의 버튼들은 푸시 버튼을 포함할 수 있다.
터치 감응형 디스플레이(2112)는 디바이스와 사용자 사이에서 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(2156)는 터치 스크린(2112)으로부터/으로 전기 신호들을 수신/전송한다. 터치 스크린(2112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 그래픽, 텍스트, 아이콘들, 비디오 및 이들의 임의의 조합("그래픽"으로 총칭함)을 포함할 수 있다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부가 사용자 인터페이스 객체들에 대응할 수 있다.
터치 스크린(2112)은 햅틱 및/또는 촉각적 접촉에 기초하여 사용자로부터의 입력을 수용하는 터치 감응형 표면, 센서 또는 센서들의 세트를 갖는다. 터치 스크린(2112) 및 디스플레이 제어기(2156)는 (메모리(2102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 스크린(2112) 상에의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 스크린(2112) 상에 디스플레이된 사용자 인터페이스 객체들(예컨대, 하나 이상의 소프트 키들, 아이콘들, 웹페이지들 또는 이미지들)과의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(2112)과 사용자 사이의 접촉 지점은 사용자의 손가락에 대응한다.
터치 스크린(2112)은, LCD 기술, LPD 기술, 또는 LED 기술을 이용할 수 있지만, 다른 실시예들에서는 다른 디스플레이 기술들이 이용될 수 있다. 터치 스크린(2112) 및 디스플레이 제어기(2156)는, 터치 스크린(2112)과의 하나 이상의 접촉 지점을 판정하기 위해 용량, 저항, 적외선 및 표면 음향파 기술들뿐만 아니라 다른 근접 센서 어레이들 또는 다른 요소들을 포함하지만 이들로 제한되지 않는, 현재 알려져 있거나 추후에 개발될 다양한 터치 감지 기술들 중 임의의 것을 이용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출할 수 있다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터의 iPhone®, iPod Touch®, 및 iPad®에서 발견되는 것과 같은 투사형 상호 용량 감지 기술(projected mutual capacitance sensing technology)이 이용된다.
터치 스크린(2112)은 100 dpi를 초과하는 비디오 해상도를 가질 수 있다. 일부 실시예들에서, 터치 스크린은 대략 160 dpi의 비디오 해상도를 갖는다. 사용자는 스타일러스, 손가락 등과 같은 임의의 적합한 물체 또는 부속물을 사용하여 터치 스크린(2112)과 접촉할 수 있다. 일부 실시예들에서, 사용자 인터페이스는 주로 손가락 기반 접촉들 및 제스처들을 이용하여 동작하도록 설계되는데, 이는 터치 스크린 상에서의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 실시예들에서, 디바이스는 대략적인 손가락 기반 입력을 사용자가 원하는 동작들을 수행하기 위한 정밀한 포인터/커서 위치 또는 커맨드로 변환한다.
일부 실시예들에서, 터치 스크린(2112)에 더해서, 디바이스(2100)는 특정의 기능들을 활성화하거나 비활성화하기 위한 터치패드(도시되지 않음)를 포함할 수 있다. 일부 실시예들에서, 터치패드는, 터치 스크린과는 달리, 시각적 출력을 디스플레이하지 않는 디바이스의 터치 감응형 영역이다. 터치패드는 터치 스크린(2112)과는 별개인 터치 감응형 표면 또는 터치 스크린에 의해 형성되는 터치 감응형 표면의 연장부일 수 있다.
디바이스(2100)는, 또한, 다양한 컴포넌트들에 전력을 공급하기 위한 전력 시스템(2162)을 포함한다. 전력 시스템(2162)은, 전력 관리 시스템, 하나 이상의 전원들(예컨대, 배터리, 교류 전류(alternating current, AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시자(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 내에서의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 포함할 수 있다.
디바이스(2100)는 또한 하나 이상의 광 센서들 또는 카메라들(2164)을 포함할 수 있다. 도 11은 I/O 서브시스템(2106) 내의 광 센서 제어기(2158)에 커플링된 광 센서를 도시한다. 광 센서(2164)는, 예를 들어, CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 포토트랜지스터들 또는 포토센서들을 포함할 수 있다. 광 센서(2164)는 하나 이상의 렌즈들을 통해 투영되는, 주변환경으로부터의 광을 수용하고, 그 광을, 이미지를 표현하는 데이터로 변환한다. 이미징 모듈(2143)(카메라 모듈로도 지칭됨)과 함께, 광 센서(2164)는 정지 이미지들 및/또는 비디오 시퀀스들을 캡처할 수 있다. 일부 실시예들에서, 적어도 하나의 광 센서가 디바이스의 전면 상의 터치 스크린 디스플레이(2112)의 반대편인 디바이스(2100)의 배면 상에 위치될 수 있다. 일부 실시예들에서, 터치 스크린 디스플레이는 정지 및/또는 비디오 이미지 포착을 위한 뷰파인더로서 이용될 수 있다. 일부 실시예들에서, 적어도 하나의 광 센서가 그 대신 또는 마찬가지로 디바이스의 전면 상에 위치될 수 있다.
디바이스(2100)는 또한 하나 이상의 근접 센서들(2166)을 포함할 수 있다. 도 11은 주변기기 인터페이스(2118)에 커플링된 근접 센서(2166)를 도시한다. 대안으로, 근접 센서(2166)는 I/O 서브시스템(2106) 내의 입력 제어기(2160)에 커플링될 수 있다. 일부 실시예들에서, 근접 센서는 다기능 디바이스가 사용자의 귀 근처에 위치될 때(예를 들면, 사용자가 전화 통화를 하고 있을 때), 터치 스크린(2112)을 턴오프시키고 디스에이블시킨다.
디바이스(2100)는 또한 하나 이상의 배향 센서들(2168)을 포함할 수 있다. 일부 실시예들에서, 하나 이상의 배향 센서들은 하나 이상의 가속도계들(예컨대, 하나 이상의 선형 가속도계들 및/또는 하나 이상의 회전 가속도계들)을 포함한다. 일부 실시예들에서, 하나 이상의 배향 센서들은 하나 이상의 자이로스코프들을 포함한다. 일부 실시예들에서, 하나 이상의 배향 센서들은 하나 이상의 자력계들을 포함한다. 일부 실시예들에서, 하나 이상의 배향 센서들은 GPS(global positioning system), GLONASS(Global Navigation Satellite System) 및/또는 다른 글로벌 내비게이션 시스템 수신기들 중 하나 이상을 포함한다. GPS, GLONASS, 및/또는 다른 글로벌 내비게이션 시스템 수신기들은 디바이스(2100)의 위치 및 배향(예컨대, 세로 또는 가로)에 관한 정보를 획득하는 데 사용될 수 있다. 일부 실시예들에서, 하나 이상의 배향 센서들은 배향/회전 센서들의 임의의 조합을 포함한다. 도 11은 주변기기 인터페이스(2118)에 커플링된 하나 이상의 배향 센서들(2168)을 도시한다. 대안으로, 하나 이상의 배향 센서들(2168)은 I/O 서브시스템(2106) 내의 입력 제어기(2160)에 커플링될 수 있다. 일부 실시예들에서, 하나 이상의 배향 센서로부터 수신된 데이터의 분석에 기초하여 터치 스크린 디스플레이 상에 세로보기(portrait view) 또는 가로보기(landscape view)로 정보가 디스플레이된다.
일부 실시예들에서, 디바이스(2100)는 또한, 주위 광 센서들 및 모션 검출기들을 포함하지만 이들로 제한되지 않는 하나 이상의 다른 센서들(미도시)을 포함할 수 있다. 이들 센서들은 주변기기 인터페이스(2118)에 커플링될 수 있거나, 또는 대안으로, I/O 서브시스템(2106) 내의 입력 제어기(2160)에 커플링될 수 있다. 예를 들어, 일부 실시예들에서, 디바이스(2100)는, 비디오 및 이미지 캡처, 프로세싱. 및 디스플레이 애플리케이션들에서 이용하기 위한, 디바이스(2100)의 환경으로부터 주변 조명 메트릭들을 수집하는 데 사용될 수 있는 적어도 하나의 (사용자로부터 먼) 전방-대면 광 센서 및 적어도 하나의 (사용자를 향한) 후방-대면 광 센서를 포함할 수 있다.
일부 실시예들에서, 메모리(2102)에 저장된 소프트웨어 컴포넌트들은 운영 체제(2126), 통신 모듈(2128), 접촉/모션 모듈(또는 명령어들의 세트들)(2130), 그래픽 모듈(2132), 텍스트 입력 모듈(2134), GPS 모듈(2135), 및 애플리케이션들(2136)을 포함한다. 게다가, 일부 실시예들에서, 메모리(2102)는 디바이스/글로벌 내부 상태(2157)를 저장한다. 디바이스/글로벌 내부 상태(2157)는, 존재하는 경우, 어느 애플리케이션들이 현재 활성 상태인지를 나타내는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰들 또는 다른 정보가 터치 스크린 디스플레이(2112)의 다양한 영역들을 점유하는지를 나타내는 디스플레이 상태; 디바이스의 다양한 센서들 및 입력 제어 디바이스(2116)들로부터 얻어진 정보를 포함하는 센서 상태; 및 디바이스의 위치 및/또는 자세에 관한 위치 정보 중 하나 이상을 포함한다.
운영 체제(2126)(예컨대, 다윈(Darwin), RTXC, 리눅스(LINUX), 유닉스(UNIX), OS X, 윈도(WINDOWS), 또는 VxWorks와 같은 임베디드 운영 체제)는 일반적인 시스템 태스크들(예컨대, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 가능하게 한다.
통신 모듈(2128)은 하나 이상의 외부 포트(2124)를 통한 다른 디바이스들과의 통신을 가능하게 하고, 또한 RF 회로(2108) 및/또는 외부 포트(2124)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(2124)(예컨대, USB, 파이어와이어(FIREWIRE) 등)는 다른 디바이스들에 직접적으로 또는 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 커플링하도록 구성된다. 일부 실시예들에서, 외부 포트는 iPod(Apple Inc.의 상표) 디바이스들 상에서 사용되는 30-핀 커넥터와 동일하거나 유사하고 그리고/또는 이와 호환가능한 멀티-핀(예컨대, 30-핀) 커넥터이다.
접촉/모션 모듈(2130)은 터치 스크린(2112)(디스플레이 제어기(2156)와 함께) 및 다른 터치 감응형 디바이스들(예컨대, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출할 수 있다. 접촉/모션 모듈(2130)은, 접촉이 발생했는지를 판정하는 것(예컨대, 손가락-다운 이벤트(finger-down event)를 검출하는 것), 접촉의 이동이 있는지를 판정하고 터치 감응형 표면을 가로지르는 이동을 추적하는 것(예컨대, 하나 이상의 손가락-드래그 이벤트(finger-dragging event)들을 검출하는 것), 및 접촉이 중지되었는지를 판정하는 것(예컨대, 손가락-업 이벤트(finger-up event) 또는 접촉 중단을 검출하는 것)과 같은, 접촉의 검출에 관련된 다양한 동작들을 수행하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 접촉/모션 모듈(2130)은 터치 감응형 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 판정하는 것은 접촉 지점의 속력(크기), 속도(크기 및 방향) 및/또는 가속도(크기 및/또는 방향의 변화)를 판정하는 것을 포함할 수 있다. 이들 동작들은 단일 접촉들(예컨대, 한 손가락 접촉들)에 또는 다수의 동시 접촉들(예컨대, "멀티터치"/다수의 손가락 접촉들)에 적용될 수 있다. 일부 실시예들에서, 접촉/모션 모듈(2130) 및 디스플레이 제어기(2156)는 터치패드 상의 접촉을 검출한다.
접촉/모션 모듈(2130)은 사용자에 의한 제스처 입력을 검출할 수 있다. 터치 감응형 표면 상의 상이한 제스처들은 상이한 접촉 패턴들을 갖는다. 따라서, 제스처는 특정 접촉 패턴을 검출함으로써 검출될 수 있다. 예를 들어, 손가락 탭 제스처(finger tap gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 손가락-다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)에서(예를 들어, 아이콘의 위치에서) 손가락-업(리프트오프) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응형 표면 상에서 손가락 스와이프 제스처(finger swipe gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 하나 이상의 손가락-드래그 이벤트를 검출하고, 그에 후속하여 손가락-업(리프트오프) 이벤트를 검출하는 것을 포함한다.
그래픽 모듈(2132)은 디스플레이되는 그래픽의 세기를 변경하기 위한 컴포넌트들을 포함하는, 터치 스크린(2112) 또는 다른 디스플레이 상에서 그래픽을 렌더링 및 디스플레이하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 본 명세서에서 사용되는 바와 같이, "그래픽"이라는 용어는, 텍스트, 웹페이지들, 아이콘들(예컨대, 소프트 키들을 포함하는 사용자 인터페이스 객체들), 디지털 이미지들, 비디오들, 애니메이션들 등을 제한 없이 포함한, 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.
일부 실시예들에서, 그래픽 모듈(2132)은 사용될 그래픽들을 표현하는 데이터를 저장한다. 각각의 그래픽에는 대응하는 코드가 할당될 수 있다. 그래픽 모듈(2132)은, 필요한 경우 좌표 데이터 및 다른 그래픽 속성 데이터와 함께, 디스플레이될 그래픽을 특정하는 하나 이상의 코드들을 애플리케이션들 등으로부터 수신하며, 이어서 스크린 이미지 데이터를 생성하여 디스플레이 제어기(2156)에 출력한다.
그래픽 모듈(2132)의 컴포넌트일 수 있는 텍스트 입력 모듈(2134)은, 텍스트 입력을 필요로 하는 다양한 애플리케이션들에 텍스트를 입력하기 위한 소프트 키보드들을 제공한다.
GPS 모듈(2135)은 디바이스의 위치를 판정하고, 이 정보를 다양한 애플리케이션들에서의 사용을 위해 (예컨대, 위치 기반 다이얼링 시에 사용하기 위해 전화 모듈(2138)에, 사진/비디오 메타데이터로서 카메라 모듈(2143)에, 지도/내비게이션 애플리케이션들과 같은 위치 기반 서비스들을 제공하는 애플리케이션들에) 제공한다.
애플리케이션들(2136)은 하기의 모듈들(또는 명령어들의 세트들), 또는 이들의 서브세트 또는 수퍼세트 중 하나 이상을 포함할 수 있지만, 이로 제한되지 않는다:
메모리(2102)에 저장될 수 있는 다른 애플리케이션들(2136)의 예들은, 다른 워드 프로세싱 애플리케이션, 다른 이미지 편집 애플리케이션, 드로잉 애플리케이션, 프리젠테이션 애플리케이션, 통신/소셜 미디어 애플리케이션, 지도 애플리케이션, JAVA-인에이블형(JAVA-enabled) 애플리케이션, 암호화, 디지털 저작권 관리, 음성 인식, 및 음성 복제를 포함하지만 이들로 제한되지 않는다.
RF 회로(2108), 오디오 회로(2110), 스피커(2111), 마이크로폰(2113), 터치 스크린(2112), 디스플레이 제어기(2156), 접촉 모듈(2130), 그래픽 모듈(2132), 및 텍스트 입력 모듈(2134)과 함께, 전화 모듈(2138)은, 전화번호에 대응하는 문자들의 시퀀스를 입력하고, 주소록 내의 하나 이상의 전화번호들에 액세스하고, 입력된 전화번호를 수정하고, 개별 전화번호를 다이얼링하고, 대화를 하고, 대화가 완료된 때 접속해제하거나 끊는 데 사용될 수 있다. 전술된 바와 같이, 무선 통신은 다양한 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 이용할 수 있다.
RF 회로(2108), 오디오 회로(2110), 스피커(2111), 마이크로폰(2113), 터치 스크린(2112), 디스플레이 제어기(2156), 광 센서(2164), 광 센서 제어기(2158), 접촉/모션 모듈(2130), 그래픽 모듈(2132), 텍스트 입력 모듈(2134) 및 전화 모듈(2138)과 함께, 화상 회의 모듈(2139)은 사용자 지시들에 따라 사용자와 한 명 이상의 다른 참여자들 사이의 화상 회의를 개시, 시행 및 종료하도록 하는 실행가능한 명령어들을 포함한다.
터치 스크린(2112), 디스플레이 제어기(2156), 광 센서(들)(2164), 광 센서 제어기(2158), 접촉/모션 모듈(2130), 그래픽 모듈(2132) 및 이미지 관리 모듈(2144)과 함께, 카메라 모듈(2143)은, 정지 이미지들 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이들을 메모리(2102) 내에 저장하거나, 정지 이미지 또는 비디오의 특성들을 수정하거나, 또는 메모리(2102)로부터 정지 이미지 또는 비디오를 삭제하도록 하는 실행가능한 명령어들을 포함한다.
터치 스크린(2112), 디스플레이 제어기(2156), 접촉/모션 모듈(2130), 그래픽 모듈(2132), 텍스트 입력 모듈(2134) 및 카메라 모듈(2143)과 함께, 이미지 관리 모듈(2144)은 정지 및/또는 비디오 이미지들을 배열하거나, 수정(예컨대, 편집)하거나, 또는 그렇지 않으면 조작하고, 라벨링하고, 삭제하고, (예컨대, 디지털 슬라이드 쇼 또는 앨범에) 제시하고, 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로(2108), 터치 스크린(2112), 디스플레이 시스템 제어기(2156), 접촉/모션 모듈(2130), 그래픽 모듈(2132) 및 텍스트 입력 모듈(2134)과 함께, 브라우저 모듈(2147)은, 웹 페이지들 또는 이들의 부분들뿐만 아니라 웹 페이지들에 링크된 첨부물들 및 다른 파일들을 검색하고, 그들에 링크하고, 수신하고, 그리고 디스플레이하는 것을 비롯한, 사용자 지시들에 따라 인터넷을 브라우징하도록 하는 실행가능한 명령어들을 포함한다.
터치 스크린(2112), 디스플레이 시스템 제어기(2156), 접촉/모션 모듈(2130), 그래픽 모듈(2132) 및 텍스트 입력 모듈(2134)과 함께, 검색 모듈(2151)은 사용자 지시들에 따라 하나 이상의 검색 기준들(예컨대, 하나 이상의 사용자 지정 검색어들)과 매칭하는, 메모리(2102) 내의 텍스트, 음악, 사운드, 이미지, 비디오, 및/또는 다른 파일들을 검색하도록 하는 실행가능한 명령어들을 포함한다.
터치 스크린(2112), 디스플레이 시스템 제어기(2156), 접촉/모션 모듈(2130), 그래픽 모듈(2132), 오디오 회로(2110), 스피커(2111), RF 회로(2108) 및 브라우저 모듈(2147)과 함께, 비디오 및 음악 재생기 모듈(2152)은, 사용자가 MP3 또는 AAC 파일들과 같은 하나 이상의 파일 포맷들로 저장된 녹음된 음악 및 다른 사운드 파일들을 다운로드 및 재생하게 할 수 있는 실행가능한 명령어들, 및 비디오들을 (예컨대, 터치 스크린(2112) 상에서 또는 외부 포트(2124)를 통해 외부의 접속된 디스플레이 상에서) 디스플레이하거나, 제시하거나, 또는 다른 방식으로 재생하도록 하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 디바이스(2100)는 iPod(Apple Inc.의 상표)과 같은 MP3 플레이어의 기능을 포함할 수 있다.
터치 스크린(2112), 디스플레이 시스템 제어기(2156), 접촉/모션 모듈(2130), 그래픽 모듈(2132), 오디오 회로(2110), 스피커(2111), RF 회로(2108), 텍스트 입력 모듈(2134) 및 브라우저 모듈(2147)과 함께, 온라인 비디오 모듈(2155)은, 사용자가 H.264/AVC 포맷 또는 H.265/HEVC 포맷과 같은 하나 이상의 비디오 포맷들의 온라인 비디오들에 액세스하고, 브라우징하며, (예컨대, 스트리밍 및/또는 다운로드에 의해) 이들을 수신하고, (예컨대, 터치 스크린 상에서 또는 외부 포트(2124)를 통해 외부의 접속된 디스플레이 상에서) 이들을 재생하며, 다른 방식으로 이들을 관리하게 하는 명령어들을 포함한다.
상기의 식별된 모듈들 및 애플리케이션들 각각은 위에서 기술된 하나 이상의 기능들 및 본 출원에 기술되는 방법들(예컨대, 본 명세서에 기술되는 컴퓨터 구현 방법들 및 다른 정보 프로세싱 방법들)을 수행하기 위한 실행가능한 명령어들의 세트에 대응한다. 이들 모듈들(즉, 명령어들의 세트들)은 별도의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요는 없으며, 따라서 이들 모듈들의 다양한 서브세트들이 다양한 실시예들에서 조합될 수 있거나 또는 달리 재배열될 수 있다. 일부 실시예들에서, 메모리(2102)는 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장할 수 있다. 또한, 메모리(2102)는 전술되지 않은 추가적인 모듈들 및 데이터 구조들을 저장할 수 있다.
일부 실시예들에서, 디바이스(2100)는 디바이스 상의 사전정의된 세트의 기능들의 동작이 터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 디바이스이다. 터치 스크린 및/또는 터치패드를 디바이스(2100)의 동작을 위한 주 입력 제어 디바이스로서 사용함으로써, 디바이스(2100) 상의 (푸시 버튼들, 다이얼들 등과 같은) 물리적 입력 제어 디바이스들의 수가 감소될 수 있다.
터치 스크린 및/또는 터치패드를 통해 전용으로 수행될 수 있는 사전정의된 세트의 기능들은 사용자 인터페이스들 사이에서의 내비게이션을 포함한다. 일부 실시예들에서, 터치패드는, 사용자에 의해 터치될 때, 디바이스(2100)를, 디바이스(2100) 상에 디스플레이될 수 있는 임의의 사용자 인터페이스로부터 메인, 홈 또는 루트 메뉴로 내비게이팅한다. 그러한 실시예들에서, 터치패드는 "메뉴 버튼"으로 지칭될 수 있다. 일부 다른 실시예들에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 다른 물리적 입력 제어 디바이스일 수 있다.
도 12는 일부 실시예들에 따른, 터치 스크린(2112)을 갖는 휴대용 다기능 디바이스(2100)를 예시한다. 터치 스크린은 사용자 인터페이스(UI)(2200) 내에서 하나 이상의 그래픽을 디스플레이할 수 있다. 디바이스(2100)의 적어도 일부 실시예들에서, 사용자는, 예를 들어 하나 이상의 손가락(2202)(도면에서 반드시 축척대로 도시되지는 않음) 또는 하나 이상의 스타일러스(2203)(도면에서 반드시 축척대로 도시되지는 않음)를 사용하여 그래픽들 상에서 제스처를 행함으로써 그래픽들 중 하나 이상을 선택할 수 있다.
디바이스(2100)는 또한 "홈" 또는 메뉴 버튼(2204)과 같은 하나 이상의 물리적 버튼들을 포함할 수 있다. 전술된 바와 같이, 메뉴 버튼(2204)은 디바이스(2100) 상에서 실행될 수 있는 애플리케이션들의 세트 내의 임의의 애플리케이션(2136)으로 내비게이팅하기 위해 사용될 수 있다. 대안으로, 일부 실시예들에서, 메뉴 버튼은 터치 스크린(2112) 상에 디스플레이된 GUI에서 소프트 키로서 구현될 수 있다.
일부 실시예들에서, 디바이스(2100)는 터치 스크린(2112), 홈 또는 메뉴 버튼(2204), 디바이스의 전력 공급을 온/오프하고 디바이스를 잠그기 위한 푸시 버튼(2206), 음량 조절 버튼(들)(2208), SIM 카드 슬롯(2210), 헤드셋 잭(2212), 및 도킹/충전 외부 포트(2124)를 포함한다. 푸시 버튼(2206)은, 버튼을 누르고 버튼을 사전정의된 시간 간격 동안 눌린 상태로 유지함으로써 디바이스에 대한 전력 공급을 턴온/오프하기 위해; 버튼을 누르고 사전정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그기 위해; 그리고/또는 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하기 위해 사용될 수 있다. 대안의 실시예에서, 디바이스(2100)는, 또한, 마이크로폰(2113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력(verbal input)을 허용할 수 있다.
디바이스(2100)는 또한 하나 이상의 카메라들(2164)을 포함할 수 있다. 카메라(2164)는, 예를 들어, CCD 또는 CMOS 포토트랜지스터들 또는 포토센서들을 포함할 수 있다. 카메라(2164)는 하나 이상의 렌즈들을 통해 투영되는, 주변환경으로부터의 광을 수용하고, 그 광을, 이미지 또는 비디오 프레임을 표현하는 데이터로 변환한다. 일부 실시예들에서, 적어도 하나의 카메라(2164)가 디바이스의 전면 상의 터치 스크린 디스플레이(2112)의 반대편인 디바이스(2100)의 배면 상에 위치될 수 있다. 일부 실시예들에서, 예를 들어 사용자가 터치 스크린 디스플레이(2112) 상에서 다른 화상 회의 참여자들을 보는 동안에 사용자의 이미지가 화상 회의를 위해 획득될 수 있도록, 적어도 하나의 카메라(2164)가, 그 대신에 또는 마찬가지로, 터치 스크린 디스플레이(2112)를 갖는 디바이스의 전면 상에 위치될 수 있다. 일부 실시예들에서, 적어도 하나의 카메라(2164)는 디바이스(2100)의 전면 상에 위치될 수 있고, 적어도 하나의 카메라(2164)는 디바이스(2100)의 배면 상에 위치될 수 있다. 일부 실시예들에서, 터치 스크린 디스플레이(2112)는 정지 이미지 및/또는 비디오 시퀀스 포착 애플리케이션들을 위한 뷰파인더 및/또는 사용자 인터페이스로서 사용될 수 있다.
디바이스(2100)는, 카메라(2164)를 통해 캡처되거나 그렇지 않으면 (네트워크 인터페이스를 통해) 포착된 정지 이미지들 및/또는 비디오 프레임들 또는 비디오 시퀀스들을 캡처, 프로세싱, 변환, 압축, 압축해제, 저장, 수정, 송신, 디스플레이 및 달리 관리 및 조작하기 위해 이용될 수 있는 비디오 인코딩 및/또는 디코딩 컴포넌트들, 코덱들, 모듈들 또는 파이프라인들을 포함하지만 이에 제한되는 것은 아닌 비디오 및 이미지 프로세싱 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 일부 실시예들에서, 디바이스(2100)는, 또한, 비디오 및 이미지 캡처, 프로세싱 및 디스플레이에서 이용하기 위한 디바이스(2100)의 환경으로부터 주변 조명 또는 다른 메트릭들을 수집하기 위해 사용될 수 있는 하나 이상의 광 또는 다른 센서들을 포함할 수 있다.
본 명세서에서 기술된 방법들은, 상이한 실시예들에서, 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 추가로, 방법들의 블록들의 순서는 변경될 수 있고, 다양한 요소들이 추가, 재순서화, 조합, 생략, 수정, 기타 등등될 수 있다. 본 개시내용의 이익을 가진 당업자에게 명백한 바와 같이 다양한 수정들 및 변화들이 이루어질 수 있다. 본 명세서에 기술된 다양한 실시예들은 예시적인 것이며 제한하려는 것으로 의도되지 않는다. 많은 변형들, 수정들, 추가들 및 개선들이 가능하다. 이에 따라서, 복수의 사례들이 본 명세서에 기술된 컴포넌트들에 대해 단일 사례로서 제공될 수 있다. 다양한 컴포넌트들 사이의 경계들, 동작들, 및 데이터 저장들은 다소 임의적이고, 특정 동작들은 특정 예시 구성들의 맥락에서 예시된다. 기능의 다른 할당들이 계획되고, 다음의 청구범위의 범주 내에 있을 수 있다. 마지막으로, 예시적인 구성들에서 별개의 컴포넌트들로서 제시된 구조들 및 기능은 조합된 구조 또는 컴포넌트로서 구현될 수 있다. 이들 및 다른 변형들, 수정들, 추가들 및 개선들은 다음의 청구항들에 정의된 바와 같은 실시예들의 범주 내에 속할 수 있다.
Claims (20)
- 시스템으로서,
디스플레이 패널; 및
하나 이상의 프로세서들을 포함하고,
상기 하나 이상의 프로세서들은,
주변 조명 레벨 또는 명도 제어 설정 중 하나 이상에 따라 현재 명도 레벨(B)을 결정하도록 구성된 동적 디스플레이 모듈 - 상기 현재 명도 레벨(B)은 상기 디스플레이 패널의 디스플레이 공간의 하부 부분 및 상부 부분을 정의함 -;
수신된 디지털 이미지 콘텐츠를 최대 렌더링 값(M)에 따라 렌더링하여 (0.0 내지 M)의 동적 범위에서 HDR(high dynamic range) 콘텐츠를 생성하도록 구성된 렌더링 파이프라인; 및
디스플레이 파이프라인을 구현하도록 구성되고,
상기 디스플레이 파이프라인은,
상기 렌더링된 HDR 콘텐츠를 얻도록;
상기 렌더링된 HDR 콘텐츠를 상기 현재 명도 레벨(B)에 따라 상기 디스플레이 패널의 상기 디스플레이 공간에 맵핑시키도록 - 표준 범위(0.0 내지 1.0)에서 렌더링된 HDR 콘텐츠가 상기 디스플레이 공간의 상기 하부 부분에 맵핑되고, 확장된 범위(1.0 내지 M)에서 렌더링된 HDR 콘텐츠가 상기 디스플레이 공간의 상기 상부 부분에 맵핑됨 -; 그리고
상기 맵핑된 HDR 콘텐츠를, 디스플레이를 위해 상기 디스플레이 패널에 출력하도록 구성된, 시스템. - 제1항에 있어서, 상기 동적 디스플레이 모듈은,
상기 주변 조명 레벨 또는 상기 명도 제어 설정 중 하나 이상에 따라 상기 현재 명도 레벨(B)을 결정하는 것;
상기 현재 명도 레벨(B)에 따라 현재 최대 렌더링 값(M)을 결정하는 것;
상기 현재 최대 렌더링 값(M)을 상기 렌더링 파이프라인에 제공하는 것 - 상기 렌더링하는 것은 상기 현재 최대 렌더링 값(M)에 따라 조절됨 -; 및
상기 현재 명도 레벨(B)을 상기 디스플레이 파이프라인에 제공하는 것 - 상기 맵핑하는 것은 상기 현재 명도 레벨(B)에 따라 조절됨 - 을 반복적으로 수행하도록 구성되는, 시스템. - 제2항에 있어서, 상기 주변 조명 레벨을 비롯한, 상기 디스플레이 패널의 하나 이상의 환경 조건들을 검출하도록 구성된 하나 이상의 센서들을 추가로 포함하는, 시스템.
- 제2항에 있어서, 상기 명도 제어 설정은, 명도가 상기 디스플레이 패널의 디스플레이 명도 제어의 최소 명도 레벨 미만으로 설정되게 하는 명도 제어 사용자 인터페이스 요소로부터의 입력에 따라 결정되는, 시스템.
- 제1항에 있어서, 상기 디스플레이 파이프라인은,
SDR(standard dynamic range) 콘텐츠 소스로부터 SDR 콘텐츠를 수신하도록; 그리고
상기 디스플레이 공간의 상기 하부 부분에서 상기 SDR 콘텐츠를 상기 HDR 콘텐츠의 상기 표준 범위(0.0 내지 1.0) 부분과 합성 또는 블렌딩하도록 추가로 구성된, 시스템. - 제5항에 있어서, 상기 디스플레이 패널은 디스플레이 백라이트를 포함하고,
상기 디스플레이 파이프라인은,
주변 조명 레벨 또는 명도 제어 설정 중 하나 이상에 따라 상기 백라이트의 명도 레벨을 위아래로 동적으로 조절하도록; 그리고
상기 HDR 콘텐츠의 외양 명도를 상이한 백라이트 레벨들로 유지하기 위해 상기 HDR 콘텐츠의 적어도 일부 픽셀 값들을 상기 백라이트의 상기 명도 레벨에 따라 조절하도록 - 상기 HDR 콘텐츠와 합성 또는 블렌딩되는 상기 SDR 콘텐츠의 픽셀 값들은 조절되지 않음 - 추가로 구성된, 시스템. - 제1항에 있어서,
상기 렌더링 파이프라인은 상기 렌더링된 HDR 콘텐츠를 인코딩 포맷에 따라 인코딩하여 인코딩된 HDR 콘텐츠를 생성하도록 추가로 구성되고;
상기 디스플레이 파이프라인은 상기 맵핑시키는 것 이전에 상기 인코딩된 HDR 콘텐츠를 디코딩하도록 추가로 구성된, 시스템. - 방법으로서,
주변 조명 레벨 또는 명도 제어 설정 중 하나 이상에 따라 현재 명도 레벨(B)을 결정하는 단계 - 상기 현재 명도 레벨(B)은 디스플레이 패널의 디스플레이 공간의 하부 부분 및 상부 부분을 정의함 -;
디바이스 상에 구현된 디스플레이 파이프라인에 의해, 하나 이상의 렌더링 파이프라인들에 의해 (0.0 내지 M)의 동적 범위에서 렌더링된 HDR 콘텐츠를 얻는 단계(M은 최대 렌더링 값임);
상기 디스플레이 파이프라인에 의해, 상기 하나 이상의 렌더링 파이프라인들로부터 얻은 상기 렌더링된 HDR 콘텐츠를 상기 현재 명도 레벨(B)에 따라 상기 디스플레이 패널의 상기 디스플레이 공간에 맵핑시키는 단계 - 상기 맵핑시키는 단계는,
표준 범위(0.0 내지 1.0) 내에 렌더링된 HDR 콘텐츠를 상기 디스플레이 공간의 상기 하부 부분에 맵핑시키는 단계; 및
확장된 범위(1.0 내지 M) 내에 렌더링된 HDR 콘텐츠를 상기 디스플레이 공간의 상기 상부 부분에 맵핑시키는 단계를 포함함 -; 및
상기 맵핑된 HDR 콘텐츠를, 디스플레이를 위해 상기 디스플레이 패널에 제공하는 단계를 포함하는, 방법. - 제8항에 있어서,
상기 주변 조명 레벨 또는 상기 명도 제어 설정 중 하나 이상에 따라 상기 현재 명도 레벨(B)을 결정하는 단계;
상기 현재 명도 레벨(B)에 따라 현재 최대 렌더링 값(M)을 결정하는 단계;
상기 현재 최대 렌더링 값(M)을 상기 하나 이상의 렌더링 파이프라인들에 제공하는 단계 - 상기 하나 이상의 렌더링 파이프라인들은 상기 현재 최대 렌더링 값(M)에 따라 렌더링을 조절함 -; 및
상기 현재 명도 레벨(B)을 상기 디스플레이 파이프라인에 제공하는 단계 - 상기 맵핑시키는 단계는 상기 현재 명도 레벨(B)에 따라 조절됨 -
를 반복적으로 수행하는 단계를 추가로 포함하는, 방법. - 제8항에 있어서,
지각 모델에 따라 상기 디스플레이 패널의 현재 주변 조건들 하에 뷰어 지각 범위의 모델을 결정하는 단계 - 상기 지각 모델은 주변 조명 조건들, 디스플레이 패널 특성들, 또는 디스플레이 패널 설정들 중 하나 이상을 포함하는 입력들에 따라 상기 뷰어 지각 범위의 모델을 결정함 -; 및
상기 뷰어 지각 범위의 모델에 따라 상기 현재 명도 레벨(B), 상기 디스플레이 공간의 상기 하부 부분 및 상기 상부 부분, 및 상기 최대 렌더링 값(M)을 결정하는 단계를 추가로 포함하는, 방법. - 제10항에 있어서, 상기 최대 렌더링 값(M)을 결정하는 단계는 상기 지각 모델에 따라 하나 이상의 임계치들을 초과하지 않는 M에 대한 최대 값을 결정하는 단계를 포함하는, 방법.
- 제8항에 있어서,
상기 디스플레이 패널의 백라이트 명도 설정을, 백라이트에 대한 최대 명도에서의 레벨로 유지하는 단계; 및
상기 디스플레이 패널 상에 디지털 디밍 효과를 제공하도록 상기 현재 명도 레벨(B)을 조절하는 단계를 추가로 포함하는, 방법. - 제8항에 있어서, 적어도 부분적으로 상기 디스플레이 패널로부터 측정된 광 누설 및 상기 디스플레이 패널로부터 측정된 주변 반사광에 따라 상기 현재 명도 레벨(B), 상기 디스플레이 공간의 상기 하부 부분 및 상기 상부 부분, 및 상기 최대 렌더링 값(M)을 결정하는 단계를 추가로 포함하는, 방법.
- 제8항에 있어서,
상기 디스플레이 파이프라인에 의해, SDR 콘텐츠 소스로부터 SDR 콘텐츠를 수신하는 단계; 및
상기 디스플레이 공간의 상기 하부 부분에서 상기 SDR 콘텐츠를 상기 HDR 콘텐츠의 상기 표준 범위(0.0 내지 1.0) 부분과 합성 또는 블렌딩하는 단계를 추가로 포함하는, 방법. - 제14항에 있어서,
상기 SDR 콘텐츠 내의 하이라이트 표시 HDR 콘텐츠를 수신하는 단계; 및
상기 디스플레이 공간의 상기 상부 부분에서 상기 하이라이트 표시 HDR 콘텐츠를 합성 또는 블렌딩하여 상기 디스플레이 패널 상에서 상기 SDR 콘텐츠의 부분들을 하이라이트 표시하는 단계를 추가로 포함하는, 방법. - 제14항에 있어서,
주변 조명 레벨 또는 명도 제어 설정 중 하나 이상에 따라 상기 디스플레이 패널의 백라이트의 명도 레벨을 위아래로 동적으로 조절하는 단계; 및
상기 HDR 콘텐츠의 외양 명도를 상이한 백라이트 레벨들로 유지하기 위해 상기 HDR 콘텐츠의 적어도 일부 픽셀 값들을 상기 백라이트의 상기 명도 레벨에 따라 조절하는 단계 - 상기 HDR 콘텐츠와 합성 또는 블렌딩되는 상기 SDR 콘텐츠의 픽셀 값들은 조절되지 않음 - 를 추가로 포함하는, 방법. - 장치로서,
하나 이상의 프로세서들을 포함하고,
상기 하나 이상의 프로세서들은,
주변 조명 레벨 또는 명도 제어 설정 중 하나 이상에 따라 현재 명도 레벨(B)을 결정하도록 구성된 동적 디스플레이 모듈 - 상기 현재 명도 레벨(B)은 디스플레이 패널의 디스플레이 공간의 하부 부분 및 상부 부분을 정의함 -;
입력 디지털 이미지 콘텐츠를 최대 렌더링 값(M)에 따라 렌더링하여 (0.0 내지 M)의 동적 범위에서 HDR 콘텐츠를 생성하도록 그리고 상기 렌더링된 HDR 콘텐츠를 인코딩하여 인코딩된 HDR 콘텐츠를 생성하도록 구성된 인코딩 모듈; 및
디코딩 모듈을 구현하도록 구성되고,
상기 디코딩 모듈은,
인코딩된 HDR 콘텐츠를 디코딩하여 상기 동적 범위(0.0 내지 M)에서 HDR 콘텐츠를 생성하도록;
상기 HDR 콘텐츠를 상기 현재 명도 레벨(B)에 따라 상기 디스플레이 패널의 상기 디스플레이 공간에 맵핑시키도록 - 표준 범위(0.0 내지 1.0)에서 렌더링된 HDR 콘텐츠가 상기 디스플레이 공간의 상기 하부 부분에 맵핑되고, 확장된 범위(1.0 내지 M)에서 렌더링된 HDR 콘텐츠가 상기 디스플레이 공간의 상기 상부 부분에 맵핑됨 -; 그리고
상기 맵핑된 HDR 콘텐츠를, 디스플레이를 위해 상기 디스플레이 패널에 출력하도록 구성된, 장치. - 제17항에 있어서, 상기 동적 디스플레이 모듈은,
상기 주변 조명 레벨 또는 상기 명도 제어 설정 중 하나 이상에 따라 상기 현재 명도 레벨(B)을 결정하는 것;
현재 최대 렌더링 값(M)을 상기 현재 명도 레벨(B)에 따라 결정하는 것 - 상기 현재 명도 레벨(B)은 백분율로서 표현되고, 상기 현재 최대 렌더링 값(M)은 상기 현재 명도 레벨(B)의 역으로서 결정됨 -;
상기 현재 최대 렌더링 값(M)을 상기 인코딩 모듈에 제공하는 것 - 상기 렌더링하는 것은 상기 현재 최대 렌더링 값(M)에 따라 조절됨 -; 및
상기 현재 명도 레벨(B)을 상기 디코딩 모듈에 제공하는 것 - 상기 맵핑시키는 것은 상기 현재 명도 레벨(B)에 따라 조절됨 - 을 반복적으로 수행하도록 구성되는, 장치. - 제17항에 있어서, 상기 디코딩 모듈은,
SDR 콘텐츠를 수신하도록;
하이라이트 표시 HDR 콘텐츠를 수신하도록;
상기 디스플레이 공간의 상기 하부 부분에서 상기 SDR 콘텐츠를 상기 HDR 콘텐츠의 상기 표준 범위(0.0 내지 1.0) 부분과 합성 또는 블렌딩하도록; 그리고
상기 디스플레이 공간의 상기 상부 부분에서 상기 하이라이트 표시 HDR 콘텐츠를 합성 또는 블렌딩하여 상기 디스플레이 패널 상에서 상기 SDR 콘텐츠의 부분들을 하이라이트 표시하도록 추가로 구성된, 장치. - 제19항에 있어서, 상기 디코딩 모듈은,
주변 조명 레벨 또는 명도 제어 설정 중 하나 이상에 따라 상기 디스플레이 패널의 백라이트의 명도 레벨을 위아래로 동적으로 조절하도록; 그리고
상기 HDR 콘텐츠의 외양 명도를 상이한 백라이트 레벨들로 유지하기 위해 상기 HDR 콘텐츠의 적어도 일부 픽셀 값들을 상기 백라이트의 상기 명도 레벨에 따라 조절하도록 - 상기 HDR 콘텐츠와 합성 또는 블렌딩되는 상기 SDR 콘텐츠의 픽셀 값들은 조절되지 않음 - 추가로 구성된, 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562171924P | 2015-06-05 | 2015-06-05 | |
| US62/171,924 | 2015-06-05 | ||
| PCT/US2016/035875 WO2016197033A1 (en) | 2015-06-05 | 2016-06-03 | Rendering and displaying high dynamic range content |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170141236A KR20170141236A (ko) | 2017-12-22 |
| KR102059256B1 true KR102059256B1 (ko) | 2019-12-24 |
Family
ID=56137571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177034499A KR102059256B1 (ko) | 2015-06-05 | 2016-06-03 | Hdr 콘텐츠의 렌더링 및 디스플레이 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US10249263B2 (ko) |
| EP (1) | EP3304881B1 (ko) |
| JP (1) | JP6574270B2 (ko) |
| KR (1) | KR102059256B1 (ko) |
| CN (1) | CN107690811B (ko) |
| AU (1) | AU2016270443B2 (ko) |
| WO (1) | WO2016197033A1 (ko) |
Families Citing this family (81)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX363812B (es) * | 2014-06-10 | 2019-04-04 | Panasonic Ip Man Co Ltd | Método de conversión y aparato de conversión. |
| AU2015207818A1 (en) * | 2015-07-28 | 2017-02-16 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding video data for selected viewing conditions |
| US10122928B2 (en) | 2015-09-09 | 2018-11-06 | Red.Com, Llc | Motion video output for multiple displays |
| US10186232B2 (en) * | 2016-08-01 | 2019-01-22 | Qualcomm Incorporated | Nonlinear signal scaling for display device power saving |
| US20180098041A1 (en) * | 2016-09-30 | 2018-04-05 | Sean J. Lawrence | Adaptive chroma subsampling based on display brightness |
| US10778999B2 (en) | 2016-09-30 | 2020-09-15 | Qualcomm Incorporated | Frame rate up-conversion coding mode with affine motion model |
| IL296162B2 (en) * | 2016-10-05 | 2024-04-01 | Dolby Laboratories Licensing Corp | Messaging information volume source color |
| DE102016219607A1 (de) * | 2016-10-10 | 2018-04-12 | Siemens Healthcare Gmbh | Erzeugung einer mit anatomischen Bilddaten korrelierten Ergebniskarte |
| KR102554379B1 (ko) * | 2016-10-31 | 2023-07-11 | 엘지디스플레이 주식회사 | 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치 |
| JP7086587B2 (ja) * | 2017-02-24 | 2022-06-20 | インターデジタル ヴイシー ホールディングス， インコーポレイテッド | 復号された画像データから画像データを再構成する方法および装置 |
| JP7083837B2 (ja) | 2017-03-06 | 2022-06-13 | イー インク コーポレイション | カラー画像をレンダリングするための方法および装置 |
| KR102308192B1 (ko) | 2017-03-09 | 2021-10-05 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US10701390B2 (en) | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
| CN107025880B (zh) * | 2017-04-14 | 2019-11-29 | 西安诺瓦星云科技股份有限公司 | 图像显示控制方法及装置和显示屏控制系统 |
| TWI755616B (zh) | 2017-04-21 | 2022-02-21 | 美商時美媒體公司 | 用於編碼器導引自適應性品質演現的系統及方法 |
| CN107068114B (zh) * | 2017-04-24 | 2019-04-30 | 北京小米移动软件有限公司 | 屏幕颜色调整方法、装置、设备及存储介质 |
| US10242628B2 (en) * | 2017-05-18 | 2019-03-26 | Dell Products, L.P. | Light Emitting Diode (LED) backlight control for reproduction of High Dynamic Range (HDR) content using Standard Dynamic Range (SDR) Liquid Crystal Display (LCD) panels |
| US10354613B2 (en) * | 2017-06-03 | 2019-07-16 | Apple Inc. | Scalable chromatic adaptation |
| US10609286B2 (en) | 2017-06-13 | 2020-03-31 | Adobe Inc. | Extrapolating lighting conditions from a single digital image |
| US11347296B2 (en) * | 2017-07-25 | 2022-05-31 | Dell Products, L.P. | Backlight dimming via buck-boost conversion in an information handling system |
| US10614775B2 (en) | 2017-08-08 | 2020-04-07 | Apple Inc. | Electronic devices having backlit keyboards displays with adjustable white points |
| CN107590780B (zh) * | 2017-08-09 | 2023-01-20 | 深圳Tcl新技术有限公司 | 图像显示方法、终端及计算机可读存储介质 |
| US10778978B2 (en) * | 2017-08-21 | 2020-09-15 | Qualcomm Incorporated | System and method of cross-component dynamic range adjustment (CC-DRA) in video coding |
| CN107591131B (zh) * | 2017-09-20 | 2020-07-21 | 海信视像科技股份有限公司 | 背光源驱动方法和装置 |
| US10930075B2 (en) | 2017-10-16 | 2021-02-23 | Microsoft Technology Licensing, Llc | User interface discovery and interaction for three-dimensional virtual environments |
| US10856040B2 (en) * | 2017-10-31 | 2020-12-01 | Avago Technologies International Sales Pte. Limited | Video rendering system |
| US10498971B2 (en) | 2017-11-03 | 2019-12-03 | Qualcomm Incorporated | Systems and methods for high-dynamic range imaging |
| JP6723969B2 (ja) * | 2017-11-06 | 2020-07-15 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、表示装置、および画像処理方法 |
| JP6821269B2 (ja) | 2017-12-05 | 2021-01-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
| EP3724872A4 (en) * | 2017-12-12 | 2021-06-30 | Hewlett-Packard Development Company, L.P. | LIQUID CRYSTAL DISPLAY DEVICE LIGHTING MODES |
| CN107945729B (zh) * | 2017-12-15 | 2020-05-08 | 京东方科技集团股份有限公司 | 转换方法及电路、显示装置及驱动方法和电路、存储介质 |
| CN109982012B (zh) * | 2017-12-28 | 2021-06-25 | 展讯通信（上海）有限公司 | 图像处理方法及装置、存储介质、终端 |
| US10504452B2 (en) * | 2018-03-12 | 2019-12-10 | Apple Inc. | Pixel contrast control systems and methods |
| US10917583B2 (en) | 2018-04-27 | 2021-02-09 | Apple Inc. | Standard and high dynamic range display systems and methods for high dynamic range displays |
| AU2019232894B2 (en) * | 2018-06-07 | 2020-04-30 | Boris Pavic | A system and methodology for the high-fidelity display of artwork images |
| EP3808068B1 (en) | 2018-06-18 | 2022-06-29 | Dolby Laboratories Licensing Corporation | Image capture methods and systems |
| US11962819B2 (en) | 2018-07-17 | 2024-04-16 | Dolby Laboratories Licensing Corporation | Foviation and HDR |
| WO2020018458A1 (en) * | 2018-07-17 | 2020-01-23 | Dolby Laboratories Licensing Corporation | Foviation and hdr |
| US10715774B2 (en) | 2018-07-23 | 2020-07-14 | Microsoft Technology Licensing, Llc | Color conversion for ambient-adaptive digital content |
| JP6764446B2 (ja) * | 2018-08-09 | 2020-09-30 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置およびキャリブレーション方法 |
| US11024260B2 (en) | 2018-09-28 | 2021-06-01 | Apple Inc. | Adaptive transfer functions |
| US11302288B2 (en) * | 2018-09-28 | 2022-04-12 | Apple Inc. | Ambient saturation adaptation |
| US10672363B2 (en) | 2018-09-28 | 2020-06-02 | Apple Inc. | Color rendering for images in extended dynamic range mode |
| KR102681844B1 (ko) * | 2018-10-17 | 2024-07-04 | 코닝 인코포레이티드 | 디스플레이 장치의 감소된 에너지 소비를 달성하는 방법, 및 에너지 소비가 감소된 디스플레이 장치를 갖춘 장치 |
| US11087502B2 (en) * | 2018-10-31 | 2021-08-10 | International Business Machines Corporation | Multimodal data visualization using bandwidth profiles and optional environmental compensation |
| KR102554675B1 (ko) * | 2018-11-13 | 2023-07-13 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 디스플레이 정보에 기반한 조도 센싱 방법 |
| US10652512B1 (en) * | 2018-11-20 | 2020-05-12 | Qualcomm Incorporated | Enhancement of high dynamic range content |
| US11049224B2 (en) * | 2018-12-05 | 2021-06-29 | Microsoft Technology Licensing, Llc | Automated real-time high dynamic range content review system |
| US11587526B2 (en) * | 2018-12-20 | 2023-02-21 | Dolby Laboratories Licensing Corporation | Luminance adaption to minimize discomfort and improve visibility |
| US10777167B2 (en) | 2019-02-05 | 2020-09-15 | Sergey N. Bezryadin | Color image display adaptation to ambient light |
| JP7301551B2 (ja) * | 2019-02-21 | 2023-07-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム |
| CN112153240B (zh) * | 2019-06-27 | 2021-11-09 | 深圳Tcl数字技术有限公司 | 一种调整图像画质方法、装置及可读存储介质 |
| US10964289B2 (en) | 2019-07-25 | 2021-03-30 | Google Llc | OLED display with different spatial gamma |
| US10937385B1 (en) * | 2019-08-20 | 2021-03-02 | Apple Inc. | Frame replay with bit depth considerations |
| US11195247B1 (en) * | 2019-09-09 | 2021-12-07 | Apple Inc. | Camera motion aware local tone mapping |
| US11473971B2 (en) | 2019-09-27 | 2022-10-18 | Apple Inc. | Ambient headroom adaptation |
| CN110867172B (zh) | 2019-11-19 | 2021-02-26 | 苹果公司 | 动态控制标准动态范围和高动态范围内容的电子设备 |
| TWI739227B (zh) * | 2019-12-03 | 2021-09-11 | 智成電子股份有限公司 | 避免多餘記憶體存取的系統單晶片模組 |
| CN112943450A (zh) * | 2019-12-10 | 2021-06-11 | 中国航发商用航空发动机有限责任公司 | 一种发动机监视装置 |
| WO2021155044A1 (en) | 2020-01-30 | 2021-08-05 | Dolby Laboratories Licensing Corporation | Projection system and method for uniformity correction |
| JP7431595B2 (ja) * | 2020-01-31 | 2024-02-15 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| NO346123B1 (en) * | 2020-02-05 | 2022-03-07 | Movi Tech As | Video decoding method and device enabling improved user interaction with video content |
| CN111309229A (zh) * | 2020-02-17 | 2020-06-19 | Oppo广东移动通信有限公司 | 参数调节方法、装置、终端及存储介质 |
| CN111294655B (zh) * | 2020-02-20 | 2021-10-22 | 深圳创维－Rgb电子有限公司 | Hdr片源播放方法、装置及存储介质 |
| JP2023537939A (ja) | 2020-08-17 | 2023-09-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジビデオ用のピクチャメタデータ |
| CN112565636B (zh) * | 2020-12-01 | 2023-11-21 | 影石创新科技股份有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN114640799A (zh) * | 2020-12-15 | 2022-06-17 | 深圳Tcl数字技术有限公司 | 一种亮度调节方法、装置、存储介质及终端设备 |
| KR20220131637A (ko) * | 2021-03-22 | 2022-09-29 | 삼성전자주식회사 | Hdr 영상을 제공하는 방법 및 이를 지원하는 전자 장치 |
| US11612812B1 (en) | 2021-06-29 | 2023-03-28 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
| US11617946B1 (en) | 2021-06-29 | 2023-04-04 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
| US11666823B1 (en) * | 2021-06-29 | 2023-06-06 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
| US12094086B2 (en) | 2021-07-15 | 2024-09-17 | Samsung Electronics Co., Ltd. | System and method for multi-exposure, multi-frame blending of red-green-blue-white (RGBW) images |
| US20230031245A1 (en) * | 2021-07-23 | 2023-02-02 | Teradici Co. | Encoder changes |
| WO2023094875A1 (en) * | 2021-11-29 | 2023-06-01 | Weta Digital Limited | Increasing dynamic range of a virtual production display |
| CN114138218B (zh) * | 2021-11-30 | 2024-02-13 | 北京达佳互联信息技术有限公司 | 一种内容显示方法和内容显示设备 |
| CN116704926B (zh) * | 2022-02-28 | 2024-07-30 | 荣耀终端有限公司 | 帧数据显示方法、电子设备及存储介质 |
| CN114727029B (zh) * | 2022-03-21 | 2024-03-22 | 北京百度网讯科技有限公司 | 视频的处理方法、装置、电子设备及存储介质 |
| US12008958B2 (en) | 2022-07-27 | 2024-06-11 | Microsoft Technology Licensing, Llc | HDR OLED display power control |
| CN116168658B (zh) * | 2023-02-20 | 2023-08-15 | 深圳新视光电科技有限公司 | 基于径向反射的lcd色差调整方法、装置、设备及介质 |
| CN118540447A (zh) * | 2023-02-23 | 2024-08-23 | 华为技术有限公司 | 一种色调映射方法及装置 |
| US12067348B1 (en) | 2023-08-04 | 2024-08-20 | Bank Of America Corporation | Intelligent webpage UI optimization leveraging UI and viewer extraction telemetry |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140341272A1 (en) * | 2011-09-15 | 2014-11-20 | Dolby Laboratories Licensing Corporation | Method and System for Backward Compatible, Extended Dynamic Range Encoding of Video |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6560285B1 (en) * | 1998-03-30 | 2003-05-06 | Sarnoff Corporation | Region-based information compaction as for digital images |
| US6762741B2 (en) | 2000-12-22 | 2004-07-13 | Visteon Global Technologies, Inc. | Automatic brightness control system and method for a display device using a logarithmic sensor |
| US20050117799A1 (en) | 2003-12-01 | 2005-06-02 | Chiou-Shann Fuh | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
| US8218625B2 (en) * | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
| US7593024B2 (en) | 2005-01-15 | 2009-09-22 | International Business Machines Corporation | Screen calibration for display devices |
| WO2007026283A2 (en) | 2005-08-31 | 2007-03-08 | Koninklijke Philips Electronics, N.V. | Ambient lighting derived from video content using adaptive extraction regions |
| US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| TWI333383B (en) | 2006-09-25 | 2010-11-11 | Ind Tech Res Inst | Color adjustment circuit, digital color adjustment device and a multimedia apparatus using the same |
| KR101318081B1 (ko) | 2006-11-21 | 2013-10-14 | 엘지디스플레이 주식회사 | 액정표시장치와 그 구동방법 |
| US20080316372A1 (en) | 2007-06-20 | 2008-12-25 | Ning Xu | Video display enhancement based on viewer characteristics |
| US8330768B2 (en) * | 2007-07-27 | 2012-12-11 | Sharp Laboratories Of America, Inc. | Apparatus and method for rendering high dynamic range images for standard dynamic range display |
| JP5012333B2 (ja) * | 2007-08-30 | 2012-08-29 | コニカミノルタアドバンストレイヤー株式会社 | 画像処理装置および画像処理方法ならびに撮像装置 |
| TWI394127B (zh) * | 2007-12-10 | 2013-04-21 | Au Optronics Corp | Method of generating control signal for compression response time |
| WO2010023884A1 (ja) | 2008-08-29 | 2010-03-04 | パナソニック株式会社 | 色信号変換装置、映像表示装置、色信号変換方法、映像表示方法及び画像データ |
| EP2406959B1 (en) | 2009-03-13 | 2015-01-14 | Dolby Laboratories Licensing Corporation | Layered compression of high dynamic range, visual dynamic range, and wide color gamut video |
| WO2010132237A1 (en) | 2009-05-11 | 2010-11-18 | Dolby Laboratories Licensing Corporation | Light detection, color appearance models, and modifying dynamic range for image display |
| US8897377B2 (en) | 2009-12-31 | 2014-11-25 | Broadcom Corporation | Transcoding multiple media elements for independent wireless delivery |
| WO2011089917A1 (ja) | 2010-01-22 | 2011-07-28 | パナソニック株式会社 | 制御装置、表示装置、眼鏡装置及び映像システム |
| US8866837B2 (en) * | 2010-02-02 | 2014-10-21 | Microsoft Corporation | Enhancement of images for display on liquid crystal displays |
| EP2643809B1 (en) * | 2010-11-23 | 2020-06-24 | Dolby Laboratories Licensing Corporation | Content metadata enhancement of high dynamic range images |
| US20120324492A1 (en) | 2011-06-20 | 2012-12-20 | Microsoft Corporation | Video selection based on environmental sensing |
| US11640656B2 (en) * | 2011-09-27 | 2023-05-02 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
| JP5165802B1 (ja) * | 2012-02-17 | 2013-03-21 | シャープ株式会社 | 映像表示装置およびテレビ受信装置 |
| US9330606B2 (en) | 2012-06-08 | 2016-05-03 | Apple Inc. | Electronic device with display brightness control |
| CN104471939B (zh) * | 2012-07-13 | 2018-04-24 | 皇家飞利浦有限公司 | 改进的hdr图像编码和解码方法和设备 |
| KR101767094B1 (ko) * | 2012-12-03 | 2017-08-31 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
| CN103077696B (zh) | 2013-01-15 | 2015-08-12 | Opera软件股份公司 | 用于调节显示屏亮度的方法和设备以及显示系统 |
| JP6367839B2 (ja) | 2013-02-21 | 2018-08-01 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 高ダイナミックレンジ・ビデオのための表示管理 |
| EP2959672B1 (en) | 2013-02-21 | 2019-12-04 | Koninklijke Philips N.V. | Improved hdr image encoding and decoding methods and devices |
| GB201304221D0 (en) | 2013-03-08 | 2013-04-24 | Univ Warwick | High Dynamic Range Imaging Systems |
| TWI639151B (zh) | 2013-03-15 | 2018-10-21 | 美商傲思丹度科技公司 | 動態色域顯示系統、方法、及其應用 |
| US20140321561A1 (en) | 2013-04-26 | 2014-10-30 | DDD IP Ventures, Ltd. | System and method for depth based adaptive streaming of video information |
| CN105165001B (zh) * | 2013-04-30 | 2019-08-09 | 索尼公司 | 发送设备、发送方法、接收设备、以及接收方法 |
| JP2015008361A (ja) * | 2013-06-24 | 2015-01-15 | ソニー株式会社 | 再生装置、再生方法、および記録媒体 |
| EP2819414A3 (en) * | 2013-06-28 | 2015-02-25 | Samsung Electronics Co., Ltd | Image processing device and image processing method |
| JP6351313B2 (ja) | 2013-07-11 | 2018-07-04 | キヤノン株式会社 | 画像符号化装置、画像復号装置、画像処理装置、並びにそれらの制御方法 |
| JP6368365B2 (ja) | 2013-07-18 | 2018-08-01 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 |
| JP6042583B2 (ja) | 2013-11-13 | 2016-12-14 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Ｅｄｒビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー |
| WO2016056787A1 (en) * | 2014-10-06 | 2016-04-14 | Samsung Electronics Co., Ltd. | Display device and method of controlling the same |
-
2016
- 2016-06-03 JP JP2017562306A patent/JP6574270B2/ja active Active
- 2016-06-03 EP EP16730623.2A patent/EP3304881B1/en active Active
- 2016-06-03 WO PCT/US2016/035875 patent/WO2016197033A1/en unknown
- 2016-06-03 CN CN201680031634.0A patent/CN107690811B/zh active Active
- 2016-06-03 KR KR1020177034499A patent/KR102059256B1/ko active IP Right Grant
- 2016-06-03 US US15/173,425 patent/US10249263B2/en active Active
- 2016-06-03 US US15/173,428 patent/US10089960B2/en active Active
- 2016-06-03 AU AU2016270443A patent/AU2016270443B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140341272A1 (en) * | 2011-09-15 | 2014-11-20 | Dolby Laboratories Licensing Corporation | Method and System for Backward Compatible, Extended Dynamic Range Encoding of Video |
Non-Patent Citations (1)
| Title |
|---|
| Tim. Non linear Opto-Electrical Transfer Functions for High Dynamic Range Television. BBC WHP 283, 2014년 7월, pp. 1-20. 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2016270443A1 (en) | 2017-11-30 |
| EP3304881A1 (en) | 2018-04-11 |
| JP6574270B2 (ja) | 2019-09-11 |
| US10089960B2 (en) | 2018-10-02 |
| AU2016270443B2 (en) | 2019-01-03 |
| KR20170141236A (ko) | 2017-12-22 |
| US20160358584A1 (en) | 2016-12-08 |
| WO2016197033A1 (en) | 2016-12-08 |
| EP3304881B1 (en) | 2022-08-10 |
| CN107690811B (zh) | 2020-08-04 |
| CN107690811A (zh) | 2018-02-13 |
| US20160358346A1 (en) | 2016-12-08 |
| JP2018524863A (ja) | 2018-08-30 |
| US10249263B2 (en) | 2019-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102059256B1 (ko) | Hdr 콘텐츠의 렌더링 및 디스플레이 | |
| US20210227226A1 (en) | Server-side adaptive video processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |