KR20230161523A - 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들 - Google Patents

변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들 Download PDF

Info

Publication number
KR20230161523A
KR20230161523A KR1020237038793A KR20237038793A KR20230161523A KR 20230161523 A KR20230161523 A KR 20230161523A KR 1020237038793 A KR1020237038793 A KR 1020237038793A KR 20237038793 A KR20237038793 A KR 20237038793A KR 20230161523 A KR20230161523 A KR 20230161523A
Authority
KR
South Korea
Prior art keywords
metadata
video
display
image
content
Prior art date
Application number
KR1020237038793A
Other languages
English (en)
Other versions
KR102655945B1 (ko
Inventor
닐 더블유. 메스머
로빈 애킨스
스티브 마점
피터 더블유. 롱허스트
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority to KR1020247010970A priority Critical patent/KR20240046318A/ko
Priority to KR1020247010968A priority patent/KR20240046317A/ko
Publication of KR20230161523A publication Critical patent/KR20230161523A/ko
Application granted granted Critical
Publication of KR102655945B1 publication Critical patent/KR102655945B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

스케일러블 이미지 처리 시스템들 및 방법들의 수 가지 실시예들이 본 명세서에 개시되었고, 이에 의해 타깃 디스플레이 상에 디스플레이될 소스 이미지 데이터의 컬러 관리 처리가 변하는 레벨의 메타데이터에 따라 변경된다.

Description

변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들{SCALABLE SYSTEMS FOR CONTROLLING COLOR MANAGEMENT COMPRISING VARYING LEVELS OF METADATA}
본 출원은 2011년 5월 27일 출원된 미국 가특허출원 제61/494,014호를 우선권으로 주장하며, 상기 출원은 그 전체가 참조로서 본 명세서에 통합된다.
본 발명은 이미지 처리에 관한 것이고, 보다 특별히, 메타데이터를 사용하는 이미지 및 비디오 신호들의 인코딩 및 디코딩에 관한 것이고, 보다 특별히 메타데이터의 다양한 계층들에 관한 것이다.
알려진 스케일러블 비디오 인코딩 및 디코딩 기술들은 타깃 비디오 디스플레이 성능들 및 소스 비디오 데이터의 품질에 의존하여, 비디오 품질의 확장 및 축소를 허용한다.
그러나, 이미지 및/또는 비디오 렌더링에서의 개선들 및 시청자들에 대한 경험은 이미지 메타데이터의 사용 및 애플리케이션에서 메타데이터의 단일 레벨 또는 다양한 레벨로 이루어질 수 있다.
스케일러블 이미지 처리 시스템들 및 방법들의 수 개의 실시예들이 본 명세서에서 개시되고, 이에 의해 타깃 디스플레이 상에서 디스플레이될 소스 이미지 데이터의 컬러 관리 처리는 변하는 레벨들의 메타데이터에 따라 변한다.
일 실시예에 있어서, 메타데이터의 레벨들의 한 세트를 통해 타깃 디스플레이 상에서 이미지 데이터의 처리 및 렌더링하기 위한 방법이 개시되는데, 메타데이터는 이미지 콘텐트와 관련된다. 이 방법은, 이미지 데이터를 입력하는 단계; 이미지 데이터와 관련된 메타데이터의 레벨들의 세트를 확인하는 단계; 어떠한 메타데이터도 이미지 데이터와 관련되지 않는다면, 한 그룹 이미지 처리 단계들 중 적어도 하나의 단계를 수행하는 단계로서, 상기 그룹은 디폴트 값들로 전환하는 단계 및 적응적으로 파라미터 값들을 계산하는 단계를 포함하는, 적어도 하나의 단계를 수행하는 단계; 메타데이터가 이미지 데이터와 관련된다면, 이미지 데이터와 관련된 메타데이터의 레벨들의 세트에 따라 컬러 관리 알고리즘 파라미터들을 계산하는 단계;를 포함한다.
또 다른 실시예에 있어서, 메타데이터 레벨들의 한 세트를 통해 타깃 디스플레이 상에서 이미지 데이터를 디코딩 및 렌더링하기 위한 시스템이 개시된다. 이러한 시스템은, 입력 이미지 데이터를 수신하고 중간 이미지 데이터를 출력하는 비디오 디코더; 입력 이미지 데이터를 수신하는 메타데이터 디코더로서, 상기 입력 이미지 데이터와 관련된 메타데이터 레벨들의 한 세트를 검출할 수 있고, 중간 메타데이터를 출력할 수 있는, 메타데이터 디코더; 컬러 관리 모듈로서, 상기 메타데이터 디코더로부터 중간 메타데이터를 수신하고, 상기 비디오 디코더로부터 중간 이미지 데이터를 수신하고, 상기 중간 메타데이터에 기초하여 중간 이미지 데이터에 대한 이미지 처리를 수행하는, 컬리 관리 모듈; 및 타깃 디스플레이로서, 상기 컬러 관리 모듈로부터 이미지 데이터를 수신하고 디스플레이하는, 타깃 디스플레이;를 포함한다.
본 시스템의 다른 특징들 및 장점들은 본 출원 내에서 제공된 도면들과 관련하여 읽혀질 때 아래의 상세한 설명에서 제시된다.
예시적인 실시예들은 참조된 도면들에 도시된다. 본 명세어세 개시된 실시예들 및 도면들은 제한적이기보다는 예시적인 것으로 고려되어야 한다.
도 1a, 도 1b 및 도 1c는 비디오 신호의 생성으로부터, 배포, 소비로의 현재의 비디오 파이프라인의 일 실시예를 도시하는 도면.
도 2a는 본 출원의 교시에 따라 메타데이터 파이프라인을 포함하는 비디오 파이프라인의 일 실시예를 도시하는 도면.
도 2b는 메타데이터 예측 블록의 일 실시예를 도시하는 도면.
도 3은 레벨 1 메타데이터를 사용하는 S자형 곡선의 일 실시예를 도시하는 도면.
도 4는 레벨 2 메타데이터를 사용하는 S자형 곡선의 일 실시예를 도시하는 도면.
도 5는 타깃 디스플레이에 대한 이미지/비디오 맵핑을 조정하기 위하여 사용될 수 있는 이미지/장면 분석에 기초한 히스토그램 그래프의 일 실시예를 도시하는 도면.
도 6은 이미지/비디오 데이터의 제 2 기준 디스플레이 그레이딩을 포함하는 레벨 3 메타데이터에 기초하여 조정된 이미지/비디오 맵핑의 일 실시예를 도시하는 도면.
도 7은 타깃 디스플레이가 이미지/비디오 데이터를 컬러 그레이딩하기 위하여 사용된 제 2 기준 디스플레이에 실질적으로 양호한 부합인 경우, 발생할 수 있는 선형 맵핑의 일 실시예를 도시하는 도면.
도 8은 본 출원의 원리들에 따라 이루어진 비디오/메타데이터 파이프라인의 일 실시예를 도시하는 도면.
다음의 설명 전체를 통해, 당업자들에게 보다 더 철저한 이해를 제공하기 위하여 특정 세부사항들이 설명되었다. 그러나, 잘 알려진 요소들은 개시사항을 불필요하게 모호하게 하는 것을 피하기 위하여 상세하게 도시되거나 기술되지는 않을 것이다. 따라서, 설명 및 도면들은 제한적이 아니라 예시적인 의미로 고려되어야 한다.
개요
비디오 품질의 일 양상은 그 자체로 이미지들 또는 비디오의 창작자에 의해 의도되었던 것과 동일하거나 실질적으로 동일한 충실도를 갖고 이미지들 또는 비디오를 타깃 디스플레이 상에서 렌더링하는 것과 관계된다. 다른 성능들을 갖는 디스플레이들 상에서 비디오 콘텐트의 원래의 외관을 유지하려 하는 컬러 관리 (CM) 방식을 갖는 것이 바람직하다. 이러한 업무를 성취하기 위하여, 이러한 CM 알고리즘이 비디오가 마무리되었던 후반작업 환경에서 비디오가 어떻게 시청자들에게 보이는지를 예측할 수 있는 것이 바람직할 것이다.
본 애플리케이션 및 시스템에 밀접한 문제점들을 도시하기 위하여, 도 1a, 도 1b 및 도 1c는, 비디오 신호의 생성으로부터, 배포 및 소비까지 비디오 신호를 따르는 현재의 비디오 파이프라인(100)의 일 실시예를 도시한다.
비디오 신호의 생성(102)은 컬러 그레이더(106)에 의해 컬러 그레이딩되는(104) 비디오 신호를 통해 발생할 수 있는데, 컬러 그레이더(106)는 다양한 이미지 특성들 -예컨대 입력 비디오 신호의 휘도, 콘트라스트, 컬러 렌더링을 위해 신호를 그레이딩할 수 있다. 컬러 그레이더(106)는 신호를 그레이딩하여, 이미지/비디오 맵핑(108)을 생성할 수 있고, 이러한 그레이딩은 기준 디스플레이 디바이스(110)에 대해 이루어질 수 있고, 기준 디스플레이 디바이스(110)은 예컨대 감마 응답 곡선(112)을 가질 수 있다.
일단 신호가 그레이딩되면, 비디오 신호는 배포(114)를 통해 보내질 수 있는데, 이러한 배포는 폭넓은 것으로 생각되는 적절한 것이어야 한다. 예컨대, 배포는 인터넷, DVD, 영화관 전시, 등을 통해야 한다. 본 경우에 있어서, 배포는 100 니트(nit)의 최대 휘도의 타깃 디스플레이(120)에 대한 신호를 취하고, 감마 응답 곡선(124)을 갖는 것으로 도 1a에 도시된다. 기준 디스플레이(110)가 타깃 디스플레이와 실질적으로 동일한 최대 휘도, 및 실질적으로 동일한 응답 곡선을 가졌다고 가정하면, 비디오 신호에 적용되는 맵핑은 1:1 맵핑(122) 만큼 단순할 수 있고, 예컨대 컬러 관리(118)을 위한 Rec 709 STD에 따라 이루어질 수 있다. 모든 다른 인자들을 동일하게(예컨대, 타깃 디스플레이에서의 주변 광 조건과 같이) 유지하면, 기준 디스플레이에서 볼 수 있는 것은 실질적으로 타깃 디스플레이에서 볼 수 있는 것이다.
이러한 상황은 예컨대 도 1b에 도시된 바와 같이 변할 수 있는데, 도 1b에서는 타깃 디스플레이(130)가 수 가지 양상들에서 예컨대, 최대 휘도(기준 디스플레이에 대한 100 nit와는 다른 500 nit)에서 기준 디스플레이와는 다르다. 이러한 경우, 맵핑(132)은 타깃 디스플레이상에서 렌더링하기 위한 1:5 맵핑이 될 수 있다. 이러한 경우, 맵핑은 Rec 709 CM 블록을 통한 선형 신장이다. 기준 디스플레이 시청으로부터 타깃 디스플레이 시청으로의 임의의 잠재적인 왜곡은 개인적인 판별 레벨에 따라 시청자에게 불쾌할 수 있거나 그렇지 않을 수 있다. 예컨대, 어둡거나 중간-톤들은 신장되더라도 허용될 수 있다. 덧붙여, 이것은 MPEG 블록킹 아티팩트들을 더 많이 말들 수 있다.
도 1c는 더 극단적인 예를 도시한다. 여기에서, 타깃 디스플레이(140)는 기준 디스플레이로부터 더 큰 차이들을 가질 수 있다. 예컨대, 타깃 디스플레이(140)는 기준 디스플레이에 대한 100 nit와는 대조적으로 1000 nit의 최대휘도를 갖는다. 동일한 선형 신장 맵핑(142)이 타깃 디스플레이로 진행하는 비디오 신호에 적용된다면, 훨씬 더 두드러지고, 불쾌할 수 있는 왜곡들이 시청자에 대해 존재할 수 있다. 예컨대, 비디오 콘텐트는 상당히 높은 휘도 레벨(1:10 비율)로 디스플레이될 수 있다. 어두운 것들 및 중간-톤들은 원래 캡쳐의 카메라 잡음이 두드러지는 지점까지 신장될 수 있고, 이미지의 어두운 영역들 내의 밴딩(banding)은 더 중요해진다. 덧붙여, MPEG 블록킹 아티팩트들은 더 클 수 있다.
불쾌할 수 있는 아티팩트들이 시청자들에게 어떻게 보일 수 있는지의 모든 가능한 예들을 철저하게 이용하지 않고, 몇 가지를 더 논의하는 것이 도움이 될 수 있다. 예컨대, 기준 디스플레이가 타깃 디스플레이(소위 100 nit)보다 더 큰 최대휘도(소위, 600 nit)를 갖는다고 가정한다. 이 경우, 맵핑이 다시 6:1 선형 신장이라면, 콘텐트는 전체적으로 낮은 휘도 레벨로 디스플레이될 수 있고, 이미지는 어둡게 보일 수 있고, 이미지의 어두운 세부사항들은 두드러진 크러쉬(crush)를 가질 수 있다.
또 다른 예에 있어서, 기준 디스플레이가 타깃 디스플레이(소위 1000 nit)와 다른 최대휘도(소위 600 nit)를 갖는다고 가정한다. 선형 신장을 적용하면, 오로지 작은 비율 차이(즉, 1:2에 근접한)가 존재할 수 있다 할지라도, 최대 휘도에서 크기 차이는 잠재적으로 크고 불쾌할 수 있다. 크기 차이로 인해, 이미지는 너무 밝을 수 있고, 바라보기에 거북할 수 있다. 중간-톤들은 부자연스럽게 신장될 수 있고, 빛이 바랜 것으로 보일 수 있다. 덧붙여, 카메라 잡음과 압축 잡음 모두가 두드러질 수 있고 불쾌할 수 있다. 또 다른 예에 있어서, 기준 디스플레이는 P3와 동일한 색역을 갖고, 타깃 디스플레이는 REC.709보다 작은 색역을 갖는다고 가정한다. 콘텐트가 기준 디스플레이 상에서 컬러 그레이딩되었지만, 렌더링된 콘텐트가 타깃 디스플레이와 등가의 색역을 갖는다고 가정한다. 이 경우, 기준 디스플레이 색역으로부터 타깃 색역으로 콘텐트를 맵핑하는 것은 콘텐트를 불필요하게 압축시킬 수 있고, 외관을 탈포화시킬 수 있다.
타깃 디스플레이 상에서 이미지 렌더링의 일부 종류의 지적인(또는 적어도 더 정확한) 모델이 없다면, 일부 왜곡 또는 불쾌할 수 있는 아티팩트들이 이미지들/비디오의 시청자들에 대해 뚜렷해질 것이다. 실제, 시청자가 경험하는 것은 이미지들/비디오의 창작자가 의도했던 것이 아닐 것이다. 논의가 휘도에 초점을 맞추었지만, 컬러에 대해서도 동일한 고려사항이 적용될 수 있음을 인식해야 한다. 실제, 소스 디스플레이의 컬러 공간과 타깃 디스플레이의 컬러 공간에서의 차이가 존재하고, 그러한 차이가 적절하게 고려되지 않는다면, 컬러 왜곡은 역시 두드러진 아티팩트가 될 것이다. 소스 디스플레이와 타깃 디스플레이 사이의 주변 환경에서의 임의의 차이에 대해서도 동일한 개념이 적용된다.
메타데이터의 사용
설명된 이들 예들에 대해 착수될 때, 원래 의도된 비디오에 대한 가능한 높은 충실도를 생성하기 위하여, 기준 디스플레이, 타깃 디스플레이 및 소스 콘텐트의 특성 및 성능들에 관해 이해하는 것이 바람직할 수 있다. 이러한 신뢰할만한 렌더링들에서 유용한 "메타데이터"라 불리는 미가공 이미지 데이터의, 양상들을 기술하고, 정보를 전달하는 다른 데이터가 존재한다.
톤 및 색역 맵퍼들은 일반적으로 특별한 디스플레이에 대해 처리된 이미지들의 대략 80-95%에 대해 적절하게 수행하지만, 이미지들을 처리하기 위해 이러한 일반 해결책을 사용하는 문제점들이 존재한다. 전형적으로, 이들 방법들은 스크린 상에 디스플레이된 이미지가 감독 또는 초기 창작자의 의도에 부합하는 것을 보장하지 않는다. 상이한 톤 또는 색역 맵퍼들이 상이한 유형들의 이미지들에 대해 더 양호하게 동작할 수 있고, 이미지들의 분위기를 더 양호하게 보전할 수 있음이 또한 주목되었다. 덧붙여, 상이한 톤 및 색역 맵퍼들이 세부사항의 클리핑 및 손실을 야기할 수 있거나, 컬러 또는 색조에서의 이동을 야기할 수 있음이 주목된다.
컬러-그레이딩된 이미지-시퀀스를 톤-맵핑할 때, 콘텐트의 최소 블랙 레벨 및 최대 백색 레벨과 같은 컬러-그레이딩 파라미터들은 특별한 디스플레이 상으로 컬러-그레이딩된 콘텐트의 톤-맵핑을 구동하기 위한 바람직한 파라미터들이 될 수 있다. 컬러-그레이더는 자신이 선호하는 대로 콘텐트(이미지마다, 및 시간적인 기초로) 외관을 이미 만들었다. 이를 상이한 디스플레이로 변환할 때, 이미지 시퀀스의 인식된 시청 경험을 보전하는 것이 요구될 수 있다. 메타데이터의 증가하는 레벨들에 따라, 외관의 이러한 보전을 개선하는 것이 가능할 수 있음을 인식하여야 한다.
예컨대, 일출 시퀀스가 촬영되었고, 1000 nit 기준 디스플레이 상에서 전문가에 의해 컬러-그레이딩되었다고 가정한다. 이 예에 있어서, 콘텐트는 200 nit 디스플레이 상에서 디스플레이를 위해 맵핑되어야 한다. 일출 이전의 이미지들은 기준 디스플레이의 전체 범위(예, 200 nit의 최대치)를 사용하는 것이 아닐 것이다. 태양이 떠오르자마자, 이미지 시퀀스는 콘텐트의 최대치인 전체 1000 nit 범위를 사용할 수 있다. 메타데이터가 없다면, 많은 톤-맵퍼들은 콘텐트를 어떻게 맵핑할지에 대한 지침으로 최대 값(휘도와 같은)을 사용한다. 따라서, 일출 전 이미지들(1:1 맵핑)에 적용된 톤-곡선들은 일출 후 이미지들(5×톤 압축)에 적용된 톤-곡선들과 상이할 수 있다. 타깃 디스플레이 상에서 도시된 결과적인 이미지들은 일출 전 및 후에 동일한 피크 휘도를 가질 수 있고, 이는 창작 의도에 대한 왜곡이다. 예술가는 기준 디스플레이 상에서 생성될 때, 이미지가 일출 이전에 더 어둡고 일출 도중에 더 밝아지는 것을 의도하였다. 이러한 시나리오에 있어서, 장면의 동적 범위를 완전하게 기술하는 메타데이터가 한정될 수 있고, 그러한 메타데이터의 사용은 예술적인 효과가 유지되는 것을 보장할 수 있다. 장면마다의 휘도의 시간적인 문제점들을 최소화하는 것이 또한 사용될 수 있다.
또 다른 예에 대해, 위에서 주어진 상황의 역을 고려한다. 장면(1)이 350 nit에 대해 그레이딩되고, 장면 1이 실외의 자연광 내에서 촬영되었다고 가정한다. 만약 장면 2가 어두워진 방 안에서 촬영되었고, 동일한 범위 내에서 도시된다면, 장면 2는 너무 어둡게 보일 것이다. 이러한 경우 메타데이터의 사용은 적절한 톤 곡선을 한정하고, 장면 2가 적절하게 보일 수 있는 것을 보장하기 위하여 사용될 수 있다. 또 다른 예에 있어서, 기준 디스플레이가 P3와 동일한 색역을 갖고, 타깃 디스플레이가 REC.709보다 작은 색역을 갖는다고 가정한다. 콘텐트가 기준 디스플레이 상에서 컬러-그레이딩되었지만, 렌더링된 콘텐트가 타깃 디스플레이와 등가의 색역을 갖는다고 가정한다. 콘텐트의 색역과 소스 디스플레이의 색역을 한정하는 메타데이터의 사용은 맵핑이 지능적인 결정을 하고, 콘텐트 색역을 1:1로 맵칭하는 것을 가능케 할 수 있다. 이것은 콘텐트 컬러 포화가 본래대로 유지되는 것을 보장할 수 있다.
본 시스템의 특정 실시예들에 있어서, 톤 및 색역은 이미지들/비디오의 한 세트의 별도의 엔티티들 또는 조건들로 처리될 필요가 없다. "메모리 컬러들"은, 시청자가 초기 의도를 인식할 수 없을지라도, 부정확하게 조정되었을 경우 시청자가 이상하게 볼 컬러들이다. 피부 톤들, 하늘, 및 풀은, 색조가 맵핑될 때 이들의 색조가 변화되어 이상하게 보일 수 있는 메모리 컬러의 양호한 예이다. 일 실시예에 있어서, 색역 맵퍼는 색조가 톤 맵핑 처리 도중에 유지되는 것을 보장하기 위하여 이미지 내에서 (메타데이터로서) 보호된 컬러의 지식을 갖는다. 이러한 메타데이터의 사용은 메모리 컬러들의 정확한 처리를 보장하기 위하여 이미지 내에서 보호된 컬러들을 한정하고 강조할 수 있다. 국부화된 톤 및 색역 맵퍼 파라미터들을 한정하는 능력은 메타데이터의 한 예이고, 반드시 기준 및/또는 타깃 디스플레이 파라미터들의 단순한 산물인 것은 아니다.
강력한 컬러 관리의 일 실시예
본 출원의 수 개의 실시예들에 있어서, 강력한 컬러 관리 방식을 제공하기 위한 시스템들 및 방법들이 개시되는데, 이에 의해 메타데이터의 수 개의 소스들이 콘텐트 창작자의 원래의 의도에 부합하는 더 양호한 이미지들/비디오 충실도를 제공하기 위하여 사용된다. 일 실시예에 있어서, 메타데이터의 다양한 소스들은 본 명세서에서 훨씬 더 상세하게 논의되는 바와 같이 특정 메타데이터의 가용성에 따라 처리에 부가될 수 있다.
단순히 일 예시로서, 도 2a는 메타데이터를 사용하는 이미지/비디오 파이프라인(200)의 높은 레벨의 블록도를 도시한다. 이미지 생성 및 후반작업은 블록(202)에서 발생할 수 있다. 비디오 소스(208)는 비디오 인코더(210)에 입력된다. 비디오 소스와 함께 캡쳐되었을 때, 메타데이터(204)는 메타데이터 인코더(206)에 입력된다. 메타데이터(204)의 예들은 이전에 논의되었지만, 소스 및/또는 기준 디스플레이의 색역 경계들 및 다른 파라미터들, 기준 디스플레이의 환경 및 다른 인코딩 파라미터들과 같은 항목들을 포함할 수 있다. 일 실시예에 있어서, 메타데이터의 하위세트가 주어진 시간에 렌더링되도록 의도된 비디오 신호들과 시간적으로 및 공간적으로 공동으로 위치할 수 있기 때문에, 메타데이터는 비디오 신호들을 수반한다. 메타데이터 인코더(206)와 비디오 인코더(210)는 함께 소스 이미지 인코더로서 고려될 수 있다.
비디오 신호 및 메타데이터는 따라서 배포(212)를 통해 임의의 적합한 방식으로 예컨대 다중화되어, 직렬로, 병렬로 또는 일부 다른 알려진 방식에 의해 배포된다. 배포(212)가 본 출원의 목적을 위해 넓게 고려되어야 함이 인식되어야 한다. 적합한 배포 방식은, 인터넷, DVD, 케이블, 위성, 무선, 유선, 등을 포함할 수 있다.
이와 같이 배포된 비디오 신호들과 메타데이터는 타깃 디스플레이 환경(220)으로 입력된다. 메타데이터 및 비디오 디코더들(222 및 224)은 각각 그들의 각 데이터 스트림들을 수신하고, 다른 인자들 중에서 타깃 디스플레이의 특성들에 적절한 디코딩을 제공한다. 이 시점의 메타데이터는 바람직하게 제 3 당사자의 컬러 관리(CM) 블록(220) 및/또는 본 출원의 CM 모듈(228)의 실시예들 중 하나에 보내질 수 있다. 비디오 및 메타데이터가 CM 블록(228)에 의해 처리되는 경우, CM 파라미터 생성기(232)는 입력들로서 메타데이터 디코더(222)와 메타데이터 예측 블록(230)으로부터 메타데이터를 취할 수 있다.
메타데이터 예측 블록(230)은 이전의 이미지들 또는 비디오 장면들의 지식에 기초하여 더 높은 충실도의 특정 예측을 행할 수 있다. 메타데이터 예측 블록은 메타데이터 파라미터들을 추정하기 위하여 입력 비디오 스트림으로부터 통계들을 수집한다. 메타데이터 예측 블록(230)의 하나의 가능한 실시예는 도 2b에 도시된다.이 실시예에 있어서, 이미지 휘도의 로그의 히스토그램(262)은 각 프레임에 대해 계산될 수 있다. 선택적인 저역 필터(260)는 (a) 잡음에 대한 히스토그램의 감도를 줄이고, 및/또는 (b) 인간의 시각계에서 자연적인 블러(blur)를 부분적으로 고려하기 위하여(예, 인간은 디더 패턴(dither pattern)을 농담이 없는 컬러 패치로서 인식한다), 히스토그램에 선행할 수 있다. 그로부터 최소(266) 및 최대(274)가 캡쳐된다. 토우(toe)(268) 및 쇼울더(shoulder)(272) 점들이 백분위수의 설정들(5% 및 29%와 같은)에 기초하여 또한 캡쳐될 수 있다. 기하 평균(270)(로그 평균)이 또한 계산될 수 있고, 중간점으로 사용될 수 있다. 이들 값들은 예컨대 너무 급격하게 요동치지 않도록 일시적으로 필터링될 수 있다. 이들 값들은 또한 필요하다면 장면 변화 도중에 리셋될 수 있다. 장면 변화들은 블랙 프레임 삽입 또는 히스토그램 내에서 극단적인 급격한 상승들 또는 임의의 다른 이러한 기술로부터 검출될 수 있다. 장면 변화 검출기(264)는 도시된 히스토그램 데이터로부터 또는 비디오 데이터로부터 직접 장면 변화들을 검출할 수 있다.
또 다른 실시예에 있어서, 시스템은 이미지 강도 값들(휘도)의 평균을 계산할 수 있다. 이미지 강도는 이후 로그, 멱 함수, 또는 LUT와 같은 인식 가중에 의해 크기 조정될 수 있다. 시스템은 이후 이미지 히스토그램의 미리 결정된 백분위수들(예컨대, 10% 및 90%)로부터 강조 및 그림자 영역들(예, 도 5의 상부 여유공간(headroom) 및 하부 여유공간(footroom))을 추정할 수 있다. 대안적으로, 시스템은 히스토그램의 기울기가 특정 임계값보다 위 또는 아래일 때로부터 강조 및 그림자 영역들을 추정할 수 있다. 많은 변이들이 가능하다, 예컨대 시스템은 입력 이미지의 최댓값 및 최솟값을 계산할 수 있거나, 미리 한정된 백분위수(예컨대 1% 및 99%)로부터 취할 수 있다.
다른 실시예들에 있어서, 값들은 예컨대 고정된 상승 및 하락 레이트를 통해, 시간에 걸쳐(예컨대 프레임마다) 안정될 수 있다. 갑작스러운 변화들은 장면 변화들을 나타낼 수 있어서, 값들은 시간-안정화로부터 면제될 수 있다. 예컨대, 변화가 특정 임계값 미만이면, 시스템은 변화의 레이트를 제한할 수 있고, 그렇지 않을 경우, 새로운 값을 통해 진행한다. 대안적으로, 시스템은 특정 값들이 히스토그램의 형태(레터박스, 또는 제로 값들과 같은)에 영향을 미치는 것을 거부할 수 있다.
덧붙여, CM 파라미터 생성기(232)는, 디스플레이 파라미터들, 주위 디스플레이 환경 및 이미지들/비디오 데이터의 컬러 관리의 인자에 대한 사용자 선호들과 같은 다른 메타데이터(즉, 콘텐트 생성에 반드시 기초하지는 않는)를 취할 수 있다. 디스플레이 파라미터들이 표준 인터페이스들에 의해, 예컨대 인터페이스들(DDC 직렬 인터페이스들, HDMI, DVI, 등)을 통한 EDID, 등에 의해 CM 파라미터 생성기(232)에 사용 가능하게 만들어질 수 있음을 인식할 것이다. 덧붙여, 주위 디스플레이 환경 데이터는 주위 광 조건들 또는 타깃 디스플레이로부터 이들의 반사율을 측정하는 주위 광 센서들(미도시)에 의해 공급될 수 있다.
임의의 적절한 메타데이터를 수신하면, CM 파라미터 생성기(232)는 하류의 CM 알고리즘(234) 내에서 파라미터들을 설정할 수 있는데, 이러한 CM 알고리즘(234)는 타깃 디스플레이(236) 상의 이미지/비디오 데이터의 최종 맵핑에 관여할 수 있다. CM 파라미터 생성기(232)와 CM 알고리즘(234)으로 도시된 바와 같이 기능들이 분리될 필요는 없음을 인식해야 한다. 실제, 일부 실시예들에 있어서, 이들 특징들은 하나의 블록 내에서 결합될 수 있다.
마찬가지로, 도 2a 및 도 2b를 형성하는 다양한 블록들이 본 실시예의 관점으로부터 선택적이고, 본 발명의 범주 내에 드는 많은 다른 실시예들을 (이들 인용 블록들을 갖거나 또는 이들 없이) 설계할 수 있음이 인식될 것이다. 덧붙여, CM 처리는 이미지 파이프라인(200) 내의 상이한 점들에서 발생할 수 있고, 반드시 도 2a에 도시된 바와 같이 발생하는 것은 아니다. 예컨대, 타깃 디스플레이의 CM은 타깃 디스플레이 자체 내에 위치할 수 있고 포함될 수 있거나, 또는 이러한 처리는 셋탑 박스 내에서 수행될 수 있다. 대안적으로, 메타데이터 처리의 어떤 레벨이 사용 가능한지 또는 어떤 레벨이 적절한 것으로 가정되는지에 의존하여, 타깃 디스플레이의 CM은 배포 내에서 또는 후반작업의 시점에 발생할 수 있다.
변하는 레벨들의 메타데이터를 사용하는 스케일러블 컬러 관리
본 출원의 수 개의 실시예들에 있어서, 스케일러블 컬러 관리 방식을 제공하기 위한 시스템들 및 방법들이 개시되고, 이에 의해 메타데이터의 수 개의 소스들이 메타데이터의 변하는 레벨들의 한 세트 내에 배열되어, 콘텐트 창작자의 원래 의도에 대한 이미지/비디오 충실도의 심지어 더 높은 레벨을 제공할 수 있다. 일 실시예에 있어서, 메타데이터의 다양한 레벨들은 본 명세서에서 더 상세하게 논의되는 바와 같이 특정 메타데이터의 가용성에 따라 처리에 부가될 수 있다.
본 시스템의 많은 실시예들에 있어서, 적합한 메타데이터 알고리즘들은 예컨대 다음과 같은 많은 수의 정보를 고려할 수 있다:
(1) 인코딩된 비디오 콘텐트,
(2) 엔코딩된 콘텐트를 선형 광으로 변환하는 방법,
(3) 소스 콘텐트의 색역 경계들(휘도 및 색도, 모두), 및
(4) 후반작업 환경에 대한 정보.
선형 광으로 변환하기 위한 방법은 바람직할 수 있어서, 콘텐트 창작자에 의해 관찰된 실제 이미지의 외관(휘도, 색역, 등)은 계산될 수 있다. 색역 경계들은 가장 바깥 컬러들이 어떠한 것이 될 수 있는지를 미리 규정하는 것을 지원하여, 이러한 가장 바깥 컬러들은 클리핑 또는 너무 과도한 오버헤드를 남겨놓지 않고 타깃 디스플레이로 맵핑될 수 있다. 후반작업 환경에 대한 정보는 바람직할 수 있어서, 디스플레이의 외관에 영향을 미칠 수 있는 임의의 외부 인자들은 모델링될 수 있다.
현재의 비디오 배포 메커니즘들에 있어서, 오로지 인코딩된 비디오 콘텐트가 타깃 디스플레이에 제공된다. 콘텐트가 Rec.601/709 및 다양한 SMPTE 표준들을 따르는 기준 디스플레이들을 사용하는 기준 스튜디오 환경 내에서 제작되었다고 가정된다. 타깃 디스플레이 시스템은 전형적으로 Rec.601/709를 따르는 것으로 가정되고, 타깃 디스플레이 환경은 주로 무시된다. 후반작업 디스플레이 및 타깃 디스플레이가 모두 Rec.601/709에 따른다는 기초적인 가정으로 인해, 디스플레이들 중 어느 것도 일부 레벨의 이미지 왜곡을 도입하지 않고 갱신될 수 없다. 실제, Rec.601 및 Rec.709가 원색들의 선택에서 약간 상이하기 때문에, 일부 왜곡은 이미 도입되었을 수 있다.
성능들의 폭넙고 강화된 범위를 갖는 기준 및 타깃 디스플레이들의 사용을 가능케 하는, 메타데이터 레벨들의 스케일러블 시스템의 일 실시예가 본 명세서에서 개시된다. 다양한 메타데이터 레벨들은 CM 알고리즘이 정확도의 증가하는 레벨들을 갖는 주어진 타깃 디스플레이에 대해 소스 콘텐트를 맞춤화하는 것을 가능케 한다. 다음의 섹션들은 제안된 메타데이터의 레벨들을 기술한다:
레벨 0
레벨 0의 메타데이터는 디폴트 경우이고, 필수적으로 0의 메타데이터를 의미한다. 메타데이터는 다음을 포함하는 다수의 원인들로 인해 존재하지 않을 수 있다:
(1) 콘텐트 창작자가 이를 포함하지 않았다(또는 후반작업 파이프라인 내의 어느 시점에 분실되었다)
(2) 디스플레이가 콘텐트 사이에서 전환한다(즉, 채널 서핑 또는 중간 광고)
(3) 데이터 손상 또는 분실.
일 실시예에 있어서, CM 처리가 비디오 분석에 기초하여 이를 추정함으로써 또는 디폴트 값들을 가정함으로써 레벨 0(즉, 메타데이터가 존재하지 않는)을 다루는 것이 바람직할 수 있다.
이러한 실시예에 있어서, 컬러 관리 알고리즘들은 메타데이터의 부재시 적어도 두 가지 상이한 방식으로 동작할 수 있다:
디폴트 값들로의 전환
이 경우, 디스플레이는 후반작업 기준 디스플레이의 특성들이 가정되는 오늘날의 배포 시스템과 훨씬 유사하게 동작할 것이다. 비디오 인코딩 포맷에 따라, 가정된 기준 디스플레이는 잠재적으로 상이할 수 있다. 예컨대, Rec.601/709 디스플레이는 8비트 RGB 데이터에 대해 가정될 수 있다. 600 nit 모드에서 전문적인 모니터(ProMonitor와 같은) 상에서 컬러-그레이딩된다면, P3 또는 Rec.709 색역은 더 높은 비트 깊이 RGB 데이터 또는 LogYuv 인코딩된 데이터에 대해 가정될 수 있다. 이것은 만약 더 높은 동적인 범위의 콘텐트에 대해 오로지 하나의 표준 또는 사실상의 표준이 존재한다면, 잘 작용할 것이다. 그러나, 더 높은 동적인 범위의 콘텐트가 맞춤 조건들 하에서 생성된다면, 결과들은 크기 개선되지 않을 수 있고, 열악해 질 수 있다.
파라미터 값들을 적응적으로 계산
이 경우, CM 알고리즘은 일부 디폴트 가정으로 시작할 수 있고, 소스 콘텐트를 분석하는 것으로부터 획득된 정보에 기초하여 이들 가정들을 정제할 수 있다. 전형적으로, 이것은 가능하게는 CM 알고리즘에 대한 파라미터 값들을 계산함으로써, 입력 소스의 휘도를 어떻게 최상으로 조정할지를 결정하기 위하여 비디오 프레임들의 히스토그램을 분석하는 것을 포함할 수 있다. 이렇게 행하는데 있어서, 각 장면 또는 프레임이 동일한 휘도 레벨로 균형을 이루는 비디오에 대한 '자동 노출' 유형의 외관을 생성할 수 있는 위험이 존재할 수 있다. 덧붙여, 일부 포맷들은 일부 다른 도전들을 제공할 수 있다, 예컨대 현재 소스 콘텐트가 RGB 포맷일 경우 컬러 색역을 결정하기 위한 자동화된 방식이 전혀 존재하지 않는다.
다른 실시예에 있어서, 2개의 접근법들의 조합을 구현하는 것이 가능하다. 예컨대, 색역 및 인코딩 파라미터들(감마와 같은)은 표준화된 디폴트 값들로 가정될 수 있고, 히스토그램은 휘도 레벨들을 조정하기 위하여 사용될 수 있다.
레벨 1
본 실시예에 있어서, 레벨 1의 메타데이터는 소스 콘텐트가 어떻게 생성되어 포장되었는지를 설명하는 정보를 제공한다. 이러한 데이터는 CM 처리가 비디오 콘텐트가 실제 콘텐트 제작자들에 어떻게 보이는지를 예측하는 것을 허용한다. 레벨 1의 메타데이터 파라미터들은 3가지 영역들로 그룹화될 수 있다.
(1) 비디오 인코딩 파라미터들,
(2) 소스 디스플레이 파라미터들,
(3) 소스 콘텐트 색역 파라미터들, 및
(4) 환경 파라미터들.
비디오 인코딩 파라미터들
대부분의 컬러 관리 알고리즘들이 적어도 부분적으로 선형 광 공간에서 작용하기 때문에, 인코딩된 비디오를 선형(그러나 상대적인)(X,Y,Z) 표현(인코딩 방식에서 고유하거나 또는 메타데이터 자체로서 제공된)으로 변환하는 방법을 갖는 것이 바람직할 수 있다. 예컨대, LogYuv, OpenEXR, LogYxy 또는 LogLuv TIFF와 같은 인코딩 방식들은 선형 광 포맷으로 변환하는데 필요한 정보를 고유하게 포함한다. 그러나, 많은 RGB 또는 YCbCr 포맷들에 대해, 감마 및 컬러 원색들과 같은 추가적인 정보가 요구될 수 있다. 일 예로서, YCbCr 또는 RGB 입력을 처리하기 위하여, 정보의 다음 조각들이 공급될 수 있다:
(1) 소스 콘텐트를 인코딩하기 위하여 사용된 원색들 및 백색 점의 좌표들. 이것은 각 적색, 녹색, 청색 및 백색에 대해 RGB에서 XYZ 컬러 공간으로의 변환 행렬의 (x,y) 좌표들을 생성하기 위하여 사용될 수 있다.
(2) 최소 및 최대 코드 값들(예, "표준" 또는 "완전한" 범위). 이것은 코드 값들을 정규화된 입력 값들로 변환하기 위하여 사용될 수 있다.
(3) 각 원색(예, "감마")에 대한 전역 또는 채널마다의 응답 곡선. 이것은 인터페이스 또는 기준 디스플레이에 의해 적용되었을 수 있는 임의의 비선형 응답을 원상복귀시킴으로써 강도 값들을 선형화하기 위하여 사용될 수 있다.
소스 디스플레이 색역 파라미터들
컬러 관리 알고리즘들이 소스 디스플레이의 컬러 색역을 인식하는 것이 유용할 수 있다. 이들 값들은 콘텐트를 등급을 매기기 위하여 사용된 기준 디스플레이의 성능들에 대응한다. 바람직하게는 완벽하게 어두운 환경에서 측정된 소스 디스플레이 색역 파라미터들은 다음을 포함할 수 있다:
(1) 예컨대 규정된 최대 휘도를 갖는 CIE x,y 색도 좌표들, 또는 XYZ로서 제공된 것과 같은 원색들.
(2) CIE XYZ와 같은 백색 및 블랙에 대한 3색 자극값.
소스 콘텐트 색역 파라미터들
컬러 관리 알고리즘들이 소스 콘텐트를 생성하는데 사용된 컬러 색역의 한계들을 인식하는 것이 유용할 수 있다. 전형적으로, 이들 값들은 콘텐트를 등급 매기기 위하여 사용된 기준 디스플레이의 성능들에 대응하지만, 이들은, 소프트웨어 설정들로 인해, 또는 오로지 디스플레이의 성능들의 하나의 하위세트가 사용되었다면, 상이할 수 있다. 일부 경우들에 있어서, 소스 콘텐트의 색역은 인코딩된 비디오 데이터의 색역과 부합하지 않을 수 있다. 예컨대, 비디오 데이터는 전체 시각 스펙트럼을 감싸는 LogYuv(또는 일부 다른 인코딩) 내에서 인코딩될 수 있다. 소스 색역 파라미터들은 다음을 포함할 수 있다:
(1) 규정된 최대 휘도를 갖는 CIE x,y 색도 좌표들, 또는 XYZ로서 제공된 것과 같은 원색들.
(2) CIE XYZ와 같은 백색 및 블랙에 대한 3색 자극값.
환경 파라미터들
특정 환경들에 있어서, 기준 디스플레이에 의해 생성된 광 레벨들을 단지 인식하는 것은 소스 콘텐트가 후반작업에서 시청자들에게 어떻게 "보여지는"지를 결정하는데 충분하지 않을 수 있다. 주변 환경에 의해 생성된 광 레벨들에 관한 정보는 또한 유용할 수 있다. 디스플레이 및 환경 광의 조합은 인간의 눈에 입사하여 "외관"을 생성하는 신호이다. 비디오 파이프라인을 통해 이러한 외관을 보전하는 것이 요구될 수 있다. 정상 컬러-그레이딩 환경 내에서 바람직하게 측정된 환경 파라미터들은 다음을 포함할 수 있다:
(1) 절대적인 XYZ 값으로 제공된 기준 모니터 주위의 컬러. 환경에 대한 시청자의 적응 레벨은 이러한 값을 사용하여 추정될 수 있다.
(2) 정상 컬러-그레이딩 환경 내에서 기준 모니터의 블랙 레벨에 대한 절대적인 XYZ 값. 블랙 레벨에 대한 주변 조명의 영향은 이러한 값을 사용하여 결정될 수 있다.
(3) 스크린 전면 상의 백색 반사성 샘플(종이와 같은)의 절대 XYZ 값으로 제공된 주면 광의 컬러 온도. 시청자의 백색 점 적응은 이러한 값을 사용하여 추정될 수 있다.
언급한 바와 같이, 레벨 1의 메타데이터는 소스 콘텐트에 대한 색역, 인코딩 및 환경 파라미터들을 제공할 수 있다. 이것은 CM 해결책이 소스 콘텐트가 승인될 때 어떻게 보일지를 예측하는 것을 가능케 한다. 그러나, 이것은 컬러들 및 휘도를 어떻게 최상으로 조정하여 타깃 디스플레이에 적합하게 할지에 대한 많은 지침을 제공하지 않을 수 있다.
일 실시예에 있어서, RGB 공간 내에서 비디오 프레임들에 전역적으로 적용된 단일 S자형 곡선은 상이한 소스와 타깃 동적 범위들 사이의 맵핑의 단순하고 안정적인 방식이 될 수 있다. 추가적으로, 단일 S자형 곡선은 각 채널(R,G,B)을 독립적으로 수정하기 위하여 사용될 수 있다. 이러한 곡선은 또한 로그 또는 멱 함수들과 같은 일부 인식 공간에서 S자형이 될 수 있다. 예시적인 곡선(300)은 도 3에 도시된다. 선형 맵(도 3, 도 4 및 도 6에 도시된), 또는 감마와 같은 그 외의 맵들과 같은 다른 맵핑 곡선들이 적합할 수 있음이 인식될 것이다.
이러한 경우, 곡선 상의 최소 및 최대 점들은 타깃 디스플레이 상에서 레벨 1의 메타데이터와 정보로부터 인식될 수 있다. 곡선의 정확한 형태는 정적일 수 있고, 또한 입력 및 출력 범위에 기초하여 평균 상에서 잘 작동하는 것으로 밝혀진 형태가 될 수 있다. 이것은 또한 소스 콘텐트에 기초하여 적응적으로 변형될 수 있다.
레벨 2
레벨 2의 메타데이터는 소스 비디오 콘텐트의 특징들에 관한 추가적인 정보를 제공한다. 일 실시예에 있어서, 레벨 2의 메타데이터는 소스 콘텐트의 휘도 범위를 특정 휘도 영역들로 분할할 수 있다. 보다 특별히, 일 실시예는 소스 콘텐트의 휘도 범위를 5개의 영역들로 분할할 수 있는데, 5개의 영역들은 휘도 범위를 따른 점들에 의해 한정될 수 있다. 이러한 범위들 및 영역들은 하나의 이미지, 이미지들의 한 세트, 하나의 비디오 장면 또는 복수의 비디오 장면들에 의해 한정될 수 있다.
설명을 위해, 도 4 및 도 5는 레벨 2의 메타데이터의 사용의 일 실시예를 도시한다. 도 4는 입력 휘도의 타깃 디스플레이 상의 출력 휘도로의 맵핑(400)이다. 맵핑(400)은 실질적으로 S자형 곡선으로서 본 명세서에서 도시되는데, 이러한 S자 곡선은 그 곡선을 따라 분할 점들의 한 세트를 포함한다. 이들 점들은 최소입력(minin), 하부입력(footin), 중간입력(midin), 상부입력(headin) 및 최대입력(maxin)으로서 라벨이 붙여진 해당 값들을 이미지 처리하는 것에 대응할 수 있다.
이러한 실시예에 있어서, minin 및 maxin은 장면에 대한 최소 및 최대 휘도 값들에 대응할 수 있다. 제 3의 점(midin)은 인식적으로 "평균" 휘도 값 또는 "중간 회색"에 대응하는 중간값이 될 수 있다. 최종 2개의 점들(footin 및 headin)은 하부 여유공간(footroom) 및 상부 여유공간(headroom) 값들이 될 수 있다. 하부 여유공간과 상부 여유공간 값들 사이의 영역은 장면의 동적 범위의 중요한 부분을 한정할 수 있다. 이들 점들 사이의 콘텐트가 가능한 많이 보전되는 것이 바람직할 수 있다. 하부 여유공간 아래의 콘텐트는 필요하다면 크러쉬될 수 있다. 상부 여유공간 위의 콘텐트는 강조들에 대응하고, 필요하다면 클리핑될 수 있다. 이들 점들은 곡선 자체를 한정하는 경향이 있어서, 다른 실시예는 이들 점들에 대해 최상의 적합한 곡선이 될 수 있다. 추가적으로, 이러한 곡선은 선형, 감마, S자형 또는 임의의 다른 적합한 및/또는 바람직한 형태를 가정할 수 있다.
이 실시예에 더하여, 도 5는 히스토그램 그래프(500) 상에 도시된 최소, 하부 여유공간, 중간, 상부 여유공간 및 최대 점들을 도시한다. 이러한 히스토그램은, 히스토그램 분석의 어느 입도 레벨이 콘텐트 충실도의 보전을 돕기 위해 요구되는지에 따라, 이미지 기반, 비디오 장면 기반, 또는 심지어 비디오 장면의 한 세트 기반으로 생성될 수 있다. 일 실시예에 있어서, 5개의 점들은 비디오 데이터와 동일한 인코딩 표현에서 코드값들로 규정될 수 있다. 최소 및 최대는 전형적으로 비디오 신호의 범위와 동일한 값들에 대응하지만, 항상 그러한 것은 아니다.
이러한 히스토그램 그래프들의 입도와 빈도에 의존하여, 히스토그램 분석은 동적인 기반으로 도 4의 휘도 맵을 따라 점들을 재한정하기 위하여 사용될 수 있고, 따라서 시간에 걸쳐 곡선을 변경한다. 이것은 또한 타깃 디스플레이 상에서 시청자에 디스플레이된 콘텐트 충실도를 개선하는데 도움이 될 수 있다. 예컨대, 일 실시예에 있어서, 히스토그램을 주기적으로 통과하는 것은 디코더가 잠재적으로 단지 최소, 최대 등보다 많은 정보를 유도하는 것을 허용한다. 인코더는 또한 상당한 변화가 있을 때에만 새로운 히스토그램을 포함할 수 있다. 이것은 각 프레임에 대해 이를 처리 도중에 계산하는 디코더의 노력을 덜어줄 수 있다. 또 다른 실시예에 있어서, 히스토그램은 메타데이터를 추정하기 위하여, 손실 메타데이터를 교체하기 위하여 또는 기존 메타데이터를 보완하기 위하여 사용될 수 있다.
레벨 3
일 실시예에 있어서, 레벨 3의 메타데이터에 대해, 레벨 1 및 레벨 2의 메타데이터 파라미터들은 소스 콘텐트의 제 2 기준 그레이딩을 위하여 채용될 수 있다. 예컨대, 소스 콘텐트의 1차 그레이드는 600 nit의 휘도에서 P3 색역을 사용하는 기준 모니터(예, ProMonitor) 상에서 수행되었을 수 있다. 레벨 3의 메타데이터를 통해, 2차 그레이딩 상의 정보가 수행될 수 있고, 예컨대 CRT 기준 상에서 또한 제공될 수 있다. 이 경우, 추가적인 정보는 Rec.601 또는 Rec.709 원색들 및 120 nit와 같은 더 낮은 휘도를 나타낼 것이다. 대응하는 최소, 하부, 중간, 상부 및 최대 레벨들은 또한 CM 알고리즘에 제공될 것이다.
레벨 3의 메타데이터는, 예컨대 색역, 환경, 원색들, 등의 추가 데이터와, 소스 콘텐트의 제 2 기준 그레이딩에 대한 휘도 레벨 정보를 추가할 수 있다. 이러한 추가 정보는 이후 1차 입력을 기준 디스플레이의 범위로 맵핑할 S자형 곡선(600)(도 6에 도시된)을 한정하기 위하여 결합될 수 있다. 도 6은 입력 및 기준 디스플레이(출력) 레벨이 적합한 맵핑 곡선을 형성하기 위하여 어떻게 결합될 수 있는지의 예를 도시한다.
타깃 디스플레이의 성능이 2차 기준 디스플레이에 대한 양호한 부합이라면, 이러한 곡선은 1차 소스 콘텐트를 위해 직접 사용될 수 있다. 그러나, 타깃 디스플레이의 성능이 1차 및 2차 기준 디스플레이의 성능 사이의 어느 곳엔가 놓인다면, 2차 디스플레이에 대한 맵핑 곡선은 낮은 한계로서 사용될 수 있다. 실제 타깃 디스플레이를 위해 사용된 곡선은 이후, 감소가 없는 것(예, 도 7에 도시된 선형 맵핑(700))과 기준 레벨들을 사용하여 생성된 완전한 범위의 감축 곡선 사이의 보간이 될 수 있다.
레벨 4
레벨 4의 메타데이터는, 제 2 기준 그레이딩에 대한 메타데이터가 실제 타깃 디스플레이에 대해 맞춤화되는 것을 제외하고, 레벨 3의 메타데이터와 동일하다.
레벨 4의 메타데이터는 또한, 실제 타깃 디스플레이가 자신의 특성들을 콘텐트 공급자에게 보내고, 콘텐트가 사용 가능한 가장 적합한 곡선들과 함께 배포되는 오버-더-탑(OTT) 시나리오(즉, Netflix, 모바일 스트리밍 또는 일부 다른 VOD 서비스)에서 구현될 수 있다. 이러한 하나의 실시예에 있어서, 타깃 디스플레이는 비디오 스트리밍 서비스, VOD 서비스 등과 통신할 수 있고, 타깃 디스플레이는 자신의 EDID 데이터 또는 사용 가능한 임의의 다른 적합한 메타데이터와 같은 스트리밍 서비스 정보를 보낼 수 있다. Netflix 등과 같은 서비스들에 대해 관련 기술분야에서 알려진 바와 같이, 비디오 및/또는 메타데이터 인코더(각각 210 및 206)에 대한 이러한 통신 경로는 도 2a에서 점선 경로(240)로서 도시되었다. 전형적으로 Netflix 및 다른 이러한 VOD 서비스들은 타깃 디바이스에 대한 데이터의 양과 데이터 처리량의 속도, 및 반드시 그런 것은 아니지만 컬러 관리 목적들을 위한 메타데이터를 모니터링한다. 메타데이터가 배포(212)를 통해 또는 달리(실시간으로 또는 연역적으로) 타깃 데이터로부터 생성 또는 후반작업에 전달되지만, 이러한 본 실시예의 목적들이, 타깃 디스플레이에 전달될 이미지 데이터의 컬러, 톤, 또는 다른 특징들을 변경하는 것으로 충분하다.
레벨 4의 메타데이터에 대해, 제공된 기준 휘도 레벨들은 특별히 타깃 디스플레이를 위한 것이다. 이 경우, S자형 곡선은 도 6에 도시된 바와 같이 구축될 수 있고, 임의의 보간 또는 조절 없이 직접 사용될 수 있다.
레벨 5
레벨 5의 메타데이터는 다음과 같은 두드러진 특징들의 신원확인을 통해 레벨 3 및 레벨 4를 강화한다:
(1) 보호된 컬러들 - 하늘 톤들, 하늘의 컬러, 풀, 등과 같은 처리되지 않아야 하는 공통의 메모리 컬러로서 확인된 이미지 내의 컬러들. 보호된 컬러들을 갖는 이미지 내의 이러한 영역들은 변경 없이 타깃 디스플레이로 전달되는 이미지 데이터를 가질 수 있다.
(2) 두드러진 강조들 - 광원들, 최대 방출 및 거울 강조들을 확인한다.
(3) 색역의 밖의 컬러 - 소스 콘텐트의 색역 밖에서 일부러 컬러-그레이딩된 이미지 내의 특징들.
일부 실시예들에 있어서, 타깃 디스플레이가 더 높은 휘도의 능력을 갖는다면, 이들은 물체들이 디스플레이의 최대로 인공적으로 맵핑될 수 있음을 확인한다. 타깃 디스플레이가 더 낮은 휘도의 능력을 갖는다면, 이들 물체들은 세부사항을 보상하지 않으면서 디스플레이 최대로 클립핑될 수 있다. 이들 물체는 이후 무시될 수 있고, 한정된 맵핑 곡선은 나머지 콘텐트에 적용될 수 있고, 더 많은 양의 세부사항을 유지할 수 있다.
일부 실시예들에 있어서, 예컨대 VDR을 더 낮은 동적인 범위의 디스플레이로 하향 맵핑하려 시도하는 경우, 너무 많은 해를 가하지 않고 이들을 클립핑할 수 있기 때문에, 광원들 및 강조들을 인식하는 유용할 수 있다는 것이 인식되어야 한다. 일 예로서, 다른 한 편으로 밝게 조명되는 면(명백히 광원은 아님)은 클립핑하기에 바람직한 특징이 되지 않을 것이다. 대안적으로, 이러한 특징은 더 점진적으로 압축될 수 있다. 또 다른 실시예에 있어서, 타깃 디스플레이가 더 넓은 색역의 능력을 갖는다면, 이들 콘텐트 물체는 디스플레이의 완전한 성능들로 확장될 수 있다. 추가적으로, 다른 실시예에 있어서, 시스템은 높게 포화된 컬러를 보장하기 위하여 한정된 임의의 맵핑 곡선을 무시할 수 있다.
본 출원의 수 개의 실시예들에 있어서, 레벨들 자체는 메타데이터 처리의 엄격한 체계가 아닐 수 있다. 예컨대, 레벨 5는 레벨 3 또는 레벨 4 데이터에 적용될 수 있다. 덧붙여, 일부 낮게 번호가 매겨진 레벨들은 존재하지 않을 수 있고, 또한 시스템은 만약 존재한다면 높게 번호가 매겨진 레벨들을 처리할 수 있다.
다수의 메타데이터 레벨들을 채용하는 시스템의 일 실시예
위에서 논의한 바와 같이, 변하는 메타데이터 레벨들은 CM 알고리즘이 타깃 디스플레이에 대해 점진적으로 정확한 맵핑들을 제공하는 것을 허용하는 소스 재료에 대한 증가하는 정보를 제공한다. 이러한 스케일러블 및 변하는 레벨들의 메타데이터를 채용하는 일 실시예는 도 8에 도시된다.
도시된 시스템(800)은 5개의 블록들, 생성(802), 용기(808), 인코딩/배포(814), 디코딩(822) 및 소비(834)를 통해 전체 비디오/메타데이터 파이프라인을 나타낸다. 상이한 구현들의 많은 변이들이 가능하며, 일부가 더 많은 블록들을 갖고 또한 일부가 더 적은 블록들을 가짐이 인식될 것이다. 본 출원의 범주는 본 명세서의 실시예들의 인용에 국한되지 않아야 하고, 실제 본 출원의 범주는 이들 다양한 구현들 및 실시예들을 포함한다.
생성(802)은 이전에 논의한 바와 같이 컬러-그레이딩(CG) 도구(806)를 통해 이미지/비디오 콘텐트(804)를 폭넓게 취하여, 이를 처리한다. 처리된 비디오 및 메타데이터는, 예컨대 후속 보급을 위해 관련 기술분야에서 알려진 임의의 적합한 포맷 또는 데이터 구조의 적합한 용기(810) 내에 위치한다. 일 예로서, 비디오는 저장되어 VDR 컬러-그레이딩된 비디오로서 전달될 수 있고, 메타데이터는 저장되어 VDR XML 포맷팅된 메타데이터로 전달될 수 있다. 812에 도시된 이러한 메타데이터는 이전에 언급한 다양한 레벨들로 분할된다. 용기 블록 내에서, 포맷팅된 메타데이터에 데이터를 삽입하는 것이 가능한데, 이러한 포맷팅된 메타데이터는 이미지/비디오 데이터에 대해 사용 가능하고 이와 연관된 메타데이터의 레벨들로 인코딩한다. 메타데이터의 모든 레벨들이 이미지/비디오 데이터와 연관될 필요는 없지만, 어떠한 메타데이터 및 레벨이 관련되든지, 하류에서의 디코딩 및 렌더링은 이러한 사용 가능한 메타데이터를 적절하게 확인하고 처리할 수 있다는 것을 인식해야 한다.
또한 배포(820) 이전에 비디오를 처리하기 위한 CM 블록을 포함할 수 있는 AVCVDR 인코더(818)에 비디오가 제공될 수 있는 동안, 메타데이터를 취하고, 이를 알고리즘 파라미터 결정 블록(816)에 제공함으로써 인코딩이 진행될 수 있다.
(폭넓게는 예컨대 인터넷, DVD, 케이블, 위성, 무선, 유선, 등을 통한 것이지만) 일단 배포되면, 비디오/메타데이터의 디코딩은 AVCVDR 디코더(824)(또는 타깃 디스플레이가 VDR이 가능하지 않은 경우, 선택적으로 레거시 디코더(826))로 진행할 수 있다. 비디오 데이터와 메타데이터 모두 디코딩(블록(각각, 830, 828, 및 타깃 디스플레이가 레거시라면 가능하게는 832))으로부터 회복된다. 디코더(824)는 입력 이미지/비디오 데이터를 취하여 회복할 수 있고, 및/또는 입력 이미지 데이터를, 추가로 처리 및 렌더링될 이미지/비디오 데이터 스트림으로, 및 렌더링될 이미지/비디오 데이터 스트림 상에서 이후의 CM 알고리즘 처리를 위하여 파라미터들을 계산하기 위한 메타데이터 스트림으로 분할할 수 있다. 메타데이터 스트림은 또한 이미지/비디오 데이터 스트림과 관련된 임의의 메타데이터가 존재하는지에 대한 정보를 포함하여야 한다. 어떠한 메타데이터도 관련되지 않는다면, 시스템은 위에서 논의한 바와 같은 레벨 0의 처리를 통해 진행할 수 있다. 그렇지 않을 경우, 메타데이터의 변하는 레벨들의 한 세트에 따라 위에서 논의한 바와 같이, 어떠한 메타데이터가 이미지/비디오 데이터 스트림과 관련되는지에 따라, 시스템은 추가 처리를 통해 진행할 수 있다.
렌더링될 이미지/비디오 데이터와 관련된 임의의 메타데이터가 존재하는지의 여부가 실시간으로 결정될 수 있음이 인식될 것이다. 예컨대, 비디오 스트림의 일부 섹션들에 대해 어떠한 메타데이터도 이들 섹션과 관련되지 않고(데이터 손상을 통해 또는 콘텐트 창작자가 메타데이터가 존재하지 않은 것을 의도했는지에 관계 없이), 다른 섹션에서 변하는 레벨을 갖는 메타데이터의 아마도 풍부한 세트가 존재할 수 있는, 그러한 섹션들이 이제 사용 가능하고 비디오 스트림의 다른 섹션들과 관련되는 것이 가능할 수 있다. 이것은 콘텐트 창작자의 부분에 대해 의도적일 수 있지만, 본 출원의 적어도 하나의 실시예는, 임의의 메타데이터의 또는 메타데이터의 어떠한 레벨이 비디오 스트림과 실시간으로 또는 실질적으로 동적인 기반으로 관련되는지에 대한 결정을 행할 수 있어야 한다.
소비 블록에 있어서, 알고리즘 파라미터 결정 블록(836)은 아마도 배포 이전에 행해진 이전의 파라미터들을 회복할 수 있거나, 또는 타깃 디스플레이 및/또는 타깃 환경으로부터(도 2a 및/또는 도 2b의 실시예의 정황에서 이전에 논의한 바와 같이, 예컨대, EDID 또는 새로 만들어지는 VDR 인터페이스들과 같은 표준 인터페이스들로부터, 및 타깃 환경 내에서 시청자 또는 센서들로부터의 입력으로부터) 메타데이터에 기초한 파라미터들을 재계산할 수 있다. 일단 파라미터들이 계산되거나 회복되면, 이들은 본 명세서에서 기술된 수 개의 실시예들에 따라 타깃 디스플레이(844)에 대한 소스 및 중간 이미지/비디오 데이터의 최종 맵핑을 위해 하나 이상의 CM 시스템들(838, 840 및/또는 840)에 전달될 수 있다.
다른 실시예들에 있어서, 도 8의 구현 블록들은 미세하게 분할될 필요는 없다. 예컨대, 대체로 말하면, 알고리즘 파라미터 결정 및 컬러 관리 알고리즘을 수반하는 처리 자체는 도 8에 도시된 바와 같이 반드시 분할될 필요는 없지만, 컬러 관리 모듈로서 고려될 수 있거나, 및/또는 구현될 수 있다.
덧붙여, 비디오/이미지 파이프라인에 의한 사용을 위해 메타데이터의 변하는 레벨의 한 세트를 본 명세서에서 기술하였지만, 실제 시스템은 이미지/비디오 데이터를 메타데이터의 레벨들이 순서가 매겨지는 정확한 순서로 처리할 필요는 없다. 사실, 메타데이터의 일부 레벨들이 렌더링 시에 사용 가능하고, 다른 레벨들은 사용 가능하지 않을 수도 있다. 예컨대, 제 2 기준 컬러-그레이딩은 수행될 수 있거나 수행되지 않을 수 있고, 레벨 3의 메타데이터는 렌더링 시에 존재할 수 있거나 존재하지 않을 수 있다. 본 출원에 따라 이루어진 시스템은 메타데이터의 상이한 레벨들의 존재 또는 부존재를 고려하고, 그 시간에 가능한 최상의 메타데이터 처리를 통해 지속한다.
첨부된 도면들과 함께 읽혀지고, 본 발명의 원리들을 도시하는, 본 발명의 하나 이상의 실시예들의 상세한 설명이 설명되었다. 본 발명이 이러한 실시예들과 관련하여 기술되었지만, 본 발명이 임의의 실시예로 국한되지 않음이 인식되어야 한다. 본 발명의 범주는 청구항들에 의해서만 제한되고, 본 발명은 다수의 대안들, 변경들 및 등가물들을 포함한다. 다수의 특정 세부사항들은 본 발명의 철저한 이해를 제공하기 위하여 본 설명에서 설명되었다. 이들 세부사항들은 예를 위하여 제공되었고, 본 발명은 이들 특정 세부사항들의 일부 또는 전부 없이 청구항들에 따라 실시될 수 있다. 명확성을 위하여, 본 발명에 관련된 기술 분야들에서 알려진 기술 재료는 본 발명이 불필요하게 모호해지지 않도록 상세하게 기술되지 않았다.

Claims (5)

  1. 타깃 디스플레이를 위한 이미지 데이터를, 비트스트림과 연관된 메타데이터를 통해 상기 비트스트림을 처리하기 위한 방법으로서, 상기 비트스트림을 처리하기 위한 방법은:
    리모트 소스(remote source)로부터, 수신처 디바이스(destination device)에서 이미지 데이터를 상기 비트스트림으로 수신하는 단계 - 상기 이미지 데이터는 비디오 신호 및 상기 메타데이터를 포함함 - ;
    상기 비트스트림을 디코딩하는 단계;
    상기 수신처 디바이스에 의해, 상기 메타데이터가 상기 이미지 데이터의 부분과 연관된 제 1 메타데이터의 세트를 포함함을 결정하는 단계 - 상기 제 1 메타데이터의 세트는 상기 이미지 데이터 생성 동안 상기 비디오 신호를 컬러 그레이딩하는데 사용되는 리모트 기준 디스플레이 장치의 특성을 나타내는 하나 이상의 파라미터를 포함하고, 상기 제 1 메타데이터의 세트는:
    a. 상기 기준 디스플레이를 위한 화이트 포인트,
    b. 상기 기준 디스플레이를 위한 삼원색들, 및
    c. 상기 기준 디스플레이를 위한 적어도 하나의 휘도 레벨을 포함함 - ;
    상기 수신처 디바이스에 의해 및 상기 메타데이터가 상기 제 1 메타데이터의 세트를 포함함을 결정하는 단계와 독립적으로, 상기 메타데이터가 상기 이미지 데이터의 동일한 부분과 연관된 제 2 메타데이터의 세트를 포함하는지를 결정하는 단계 - 상기 제 2 메타데이터의 세트는 적어도 휘도 레벨을 포함함 - ; 및
    상기 제 1 메타데이터의 세트 및 상기 제 2 메타데이터의 세트 중 적어도 하나를 기초로 하여 상기 수신처 디바이스에서 상기 비디오 신호를 렌더링하는 단계를 포함하는, 비트스트림을 처리하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 제 1 메타데이터의 세트 및 상기 제 2 메타데이터의 세트는 상기 비트스트림으로 수신되는, 비트스트림을 처리하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 제 1 메타데이터의 세트 및 상기 제 2 메타데이터의 세트는 상기 비트스트림 내에서 개별적으로 분할되는, 비트스트림을 처리하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 메타데이터는 주변 광 조건을 특징짓는 정보를 포함하는, 비트스트림을 처리하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 수신처 디바이스에 의해, 상기 메타데이터가 제 3 메타데이터의 세트를 포함하는지 결정하는 단계를 더 포함하고, 상기 제 3 메타데이터의 세트는 주변 광 조건을 나타내는, 비트스트림을 처리하기 위한 방법.
KR1020237038793A 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들 KR102655945B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020247010970A KR20240046318A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020247010968A KR20240046317A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161491014P 2011-05-27 2011-05-27
US61/491,014 2011-05-27
PCT/US2012/038448 WO2012166382A2 (en) 2011-05-27 2012-05-17 Scalable systems for controlling color management comprising varying levels of metadata
KR1020227033042A KR102602528B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227033042A Division KR102602528B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020247010968A Division KR20240046317A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020247010970A Division KR20240046318A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Publications (2)

Publication Number Publication Date
KR20230161523A true KR20230161523A (ko) 2023-11-27
KR102655945B1 KR102655945B1 (ko) 2024-04-11

Family

ID=47260176

Family Applications (14)

Application Number Title Priority Date Filing Date
KR1020197019839A KR20190086036A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020227033042A KR102602528B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020247010970A KR20240046318A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020247010968A KR20240046317A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020237020197A KR102656330B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020237038793A KR102655945B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020137031003A KR101405032B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020147022206A KR20140110071A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020177021921A KR20170094460A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020217005628A KR102553977B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020147003166A KR101634090B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020167011420A KR20160054039A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020207016377A KR20200074229A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020177033903A KR20170135977A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020197019839A KR20190086036A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020227033042A KR102602528B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020247010970A KR20240046318A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020247010968A KR20240046317A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020237020197A KR102656330B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Family Applications After (8)

Application Number Title Priority Date Filing Date
KR1020137031003A KR101405032B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020147022206A KR20140110071A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020177021921A KR20170094460A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020217005628A KR102553977B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020147003166A KR101634090B1 (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020167011420A KR20160054039A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020207016377A KR20200074229A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
KR1020177033903A KR20170135977A (ko) 2011-05-27 2012-05-17 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Country Status (15)

Country Link
US (10) US9111330B2 (ko)
EP (5) EP3742715B1 (ko)
JP (9) JP5833233B2 (ko)
KR (14) KR20190086036A (ko)
CN (6) CN106057168B (ko)
DK (2) DK3595281T3 (ko)
ES (1) ES2913154T3 (ko)
HK (3) HK1223214A1 (ko)
HR (1) HRP20220617T1 (ko)
HU (1) HUE058712T2 (ko)
LT (1) LT3595281T (ko)
PL (1) PL3595281T3 (ko)
RS (1) RS63194B1 (ko)
SI (1) SI3595281T1 (ko)
WO (1) WO2012166382A2 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3065724B2 (ja) * 1991-08-12 2000-07-17 大阪瓦斯株式会社 管修繕具
US9111330B2 (en) * 2011-05-27 2015-08-18 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
US9875724B2 (en) * 2012-08-21 2018-01-23 Beijing Lenovo Software Ltd. Method and electronic device for adjusting display
CN104240674B (zh) * 2013-06-14 2016-10-05 联想(北京)有限公司 一种调节显示单元的方法及一种电子设备
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US9521438B2 (en) * 2013-03-29 2016-12-13 Microsoft Technology Licensing, Llc Custom data indicating nominal range of samples of media content
KR102051798B1 (ko) 2013-07-30 2019-12-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들
CN105379263B (zh) * 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
US10009588B2 (en) 2013-12-26 2018-06-26 Canon Kabushiki Kaisha Image processing apparatus and imaging apparatus
JP6576018B2 (ja) * 2013-12-26 2019-09-18 キヤノン株式会社 画像処理装置および撮像装置
WO2015130793A1 (en) * 2014-02-25 2015-09-03 Apple Inc. Backward-compatible apparatus and method for providing video with both standard and high dynamic range
JP6439418B2 (ja) * 2014-03-05 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
US20150334386A1 (en) * 2014-05-15 2015-11-19 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
US20170249521A1 (en) * 2014-05-15 2017-08-31 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
JP6571073B2 (ja) * 2014-05-20 2019-09-04 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
JP5948619B2 (ja) 2014-06-10 2016-07-06 パナソニックＩｐマネジメント株式会社 表示システム、表示方法および表示装置
EP3570555B1 (en) * 2014-06-16 2023-10-18 Panasonic Intellectual Property Management Co., Ltd. Display method and display device using type information and hdmi and hdcp
EP3163894B1 (en) * 2014-06-27 2020-08-19 Panasonic Intellectual Property Management Co., Ltd. Data output device, data output method, and data generation method
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
JP2016538745A (ja) * 2014-08-08 2016-12-08 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
JP2016058848A (ja) 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
CN110992914B (zh) * 2014-10-06 2022-07-01 三星电子株式会社 显示设备及控制该显示设备的方法
KR102190233B1 (ko) * 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
US9779691B2 (en) * 2015-01-23 2017-10-03 Dell Products, Lp Display front of screen performance architecture
EP3065127A1 (en) * 2015-03-02 2016-09-07 Thomson Licensing Method and device for processing image data
US10455240B2 (en) * 2015-04-15 2019-10-22 Sony Corporation Reproduction device, reproduction method, and program
KR101974137B1 (ko) * 2015-05-11 2019-08-23 삼성전자주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
EP3295450B1 (en) * 2015-05-12 2020-07-01 Dolby Laboratories Licensing Corporation Backlight control and display mapping for high dynamic range images
US10368105B2 (en) 2015-06-09 2019-07-30 Microsoft Technology Licensing, Llc Metadata describing nominal lighting conditions of a reference viewing environment for video playback
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
WO2017011636A1 (en) 2015-07-16 2017-01-19 Dolby Laboratories Licensing Corporation Signal reshaping and coding for hdr and wide color gamut signals
WO2017033811A1 (ja) * 2015-08-24 2017-03-02 シャープ株式会社 受信装置、放送システム、受信方法、及びプログラム
US10902567B2 (en) * 2015-11-24 2021-01-26 Koninklijke Philips N.V. Handling multiple HDR image sources
EP3185571A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Hierarchical scene segmentation metadata transmission for content enhancement
US10516810B2 (en) 2016-03-07 2019-12-24 Novatek Microelectronics Corp. Method of gamut mapping and related image conversion system
US10019785B2 (en) * 2016-03-07 2018-07-10 Novatek Microelectronics Corp. Method of processing high dynamic range images using dynamic metadata
WO2017163685A1 (ja) * 2016-03-24 2017-09-28 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
JP2017184220A (ja) * 2016-03-24 2017-10-05 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
JP6682322B2 (ja) * 2016-03-31 2020-04-15 シャープ株式会社 階調値変換装置、テレビジョン受像機、階調値変換方法、制御プログラム、および記録媒体
US11102495B2 (en) * 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
US9916638B2 (en) * 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
IL310366A (en) * 2016-10-05 2024-03-01 Dolby Laboratories Licensing Corp Messaging information volume source color
EP3568829B1 (en) * 2017-01-10 2020-06-24 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images
US10944974B2 (en) * 2017-01-11 2021-03-09 Raytheon Company Method for encoding and processing raw UHD video via an existing HD video architecture
JP2017143546A (ja) * 2017-03-21 2017-08-17 ソニー株式会社 再生装置、記録媒体、表示装置、および情報処理方法
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
US10939158B2 (en) * 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
CN111095931B (zh) * 2017-09-06 2022-05-27 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
CN111183651A (zh) 2017-10-12 2020-05-19 索尼公司 图像处理设备、图像处理方法、发送设备、发送方法和接收设备
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
US10917583B2 (en) 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
JP6583501B2 (ja) * 2018-08-28 2019-10-02 ソニー株式会社 再生装置、表示装置、情報処理方法
US11158024B2 (en) * 2019-05-31 2021-10-26 Apple Inc. Configuring alpha channel video based on display settings
EP3984209A4 (en) * 2019-06-13 2023-01-04 Hewlett-Packard Development Company, L.P. COLOR MATCHING
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
US11301973B2 (en) * 2020-03-30 2022-04-12 Arm Limited Tone mapping method
US11769234B2 (en) * 2020-10-07 2023-09-26 Qualcomm Incorporated Methods and apparatus for histogram based tone mapping
EP4360301A1 (en) * 2021-06-23 2024-05-01 InterDigital CE Patent Holdings, SAS Device and method for applying a look-up table
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN116437162B (zh) * 2023-06-12 2023-08-22 美视信息科技(常州)有限公司 一种信息传输方法、装置、显示器及存储介质
CN116776237A (zh) * 2023-08-23 2023-09-19 深圳前海环融联易信息科技服务有限公司 一种元数据分类分级方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070111391A (ko) * 2006-05-17 2007-11-21 제록스 코포레이션 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정
JP2009524371A (ja) * 2006-01-23 2009-06-25 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
KR20100074016A (ko) * 2008-12-22 2010-07-01 톰슨 라이센싱 타깃 컬러 재현 디바이스의 교정 방법
KR20100081886A (ko) * 2009-01-07 2010-07-15 한양대학교 산학협력단 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템
KR20110043775A (ko) * 2008-08-19 2011-04-27 디지맥 코포레이션 콘텐트 처리를 위한 방법들 및 시스템들

Family Cites Families (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0724424B2 (ja) 1986-09-02 1995-03-15 富士写真フイルム株式会社 画像処理方法及び装置
JP2501370B2 (ja) 1990-10-11 1996-05-29 三菱電機株式会社 テレビジョン受信機
US5276779A (en) 1991-04-01 1994-01-04 Eastman Kodak Company Method for the reproduction of color images based on viewer adaption
JP3561985B2 (ja) * 1994-11-28 2004-09-08 ソニー株式会社 画像処理装置
JP3134744B2 (ja) 1995-11-20 2001-02-13 日本電気株式会社 カラー画像システムにおける色管理方法およびシステム
US6075888A (en) 1996-01-11 2000-06-13 Eastman Kodak Company System for creating a device specific color profile
JPH10294853A (ja) 1997-04-21 1998-11-04 Fuji Photo Film Co Ltd 画像合成方法
US7382379B1 (en) 1997-06-27 2008-06-03 Eastman Kodak Company Arrangement for mapping colors between imaging systems and method thereof
US6411306B1 (en) 1997-11-14 2002-06-25 Eastman Kodak Company Automatic luminance and contrast adustment for display device
JP3565020B2 (ja) 1998-06-12 2004-09-15 松下電器産業株式会社 画像表示装置の補正データ生成方法
US6335983B1 (en) 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
US6847376B2 (en) 1998-11-13 2005-01-25 Lightsurf Technologies, Inc. Method and system for characterizing color display monitor output
JP4147655B2 (ja) 1998-12-07 2008-09-10 ソニー株式会社 画像処理装置及び画像処理方法
US6317153B1 (en) 1999-04-16 2001-11-13 Avid Technology, Inc. Method and system for calibrating color correction instructions between color correction devices
JP3708397B2 (ja) 2000-03-03 2005-10-19 三菱電機株式会社 色彩特性変換方法及び画像表示装置
JP3904841B2 (ja) 2000-05-15 2007-04-11 シャープ株式会社 液晶表示装置及びそれを用いた電子機器並びに液晶表示方法
JP4150490B2 (ja) * 2000-07-04 2008-09-17 株式会社リコー 画像処理システムおよび画像処理方法および記録媒体
JP2002092655A (ja) 2000-09-20 2002-03-29 Minolta Co Ltd ３次元仮想現実を表示するシステム及び方法
JP3620443B2 (ja) 2000-12-05 2005-02-16 日産自動車株式会社 自動車用表示装置
US6989859B2 (en) 2000-12-22 2006-01-24 Eastman Kodak Company Camera having user interface ambient sensor viewer adaptation compensation and method
US6947079B2 (en) 2000-12-22 2005-09-20 Eastman Kodak Company Camera having verification display with reverse white balanced viewer adaptation compensation and method
JP3679060B2 (ja) 2001-05-30 2005-08-03 シャープ株式会社 カラー表示装置
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
JP4372401B2 (ja) 2001-12-21 2009-11-25 シャープ株式会社 補正特性決定装置、補正特性決定方法および表示装置
US7206791B2 (en) * 2002-01-17 2007-04-17 International Business Machines Corporation System and method for managing and securing meta data
US6954543B2 (en) 2002-02-28 2005-10-11 Ipac Acquisition Subsidiary I, Llc Automated discovery, assignment, and submission of image metadata to a network-based photosharing service
US6844881B1 (en) 2002-03-29 2005-01-18 Apple Computer, Inc. Method and apparatus for improved color correction
US7184057B2 (en) * 2002-06-24 2007-02-27 Microsoft Corpoartion Systems and methods for providing color management
KR100490405B1 (ko) 2002-07-02 2005-05-17 삼성전자주식회사 프린팅 시스템에 있어서 이미지의 색상 조정방법 및 이를위한 그래픽 사용자 인터페이스
US7289663B2 (en) 2002-07-24 2007-10-30 Eastman Kodak Company Producing an extended color gamut luminance-chrominance digital image from a captured image
CN1745570A (zh) 2003-01-30 2006-03-08 柯达彩色绘图有限责任公司 使用设备相关显示简档的颜色校正
JP2004282599A (ja) * 2003-03-18 2004-10-07 Matsushita Electric Ind Co Ltd 画像表示装置、画像表示方法、プログラム、および記録媒体
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7643675B2 (en) 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
US7840892B2 (en) * 2003-08-29 2010-11-23 Nokia Corporation Organization and maintenance of images using metadata
JP2006042294A (ja) 2003-09-11 2006-02-09 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
JPWO2005048583A1 (ja) 2003-11-14 2007-06-14 三菱電機株式会社 色補正装置および色補正方法
JP2005151147A (ja) * 2003-11-14 2005-06-09 Toshiba Corp 再生装置及び再生方法
US7492375B2 (en) 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
GB2408872B (en) 2003-12-01 2008-12-31 Inventec Appliances Corp Method and apparatus for transforming a high dynamic range image into a low dynamic range image
JP2005210526A (ja) 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
US8063992B2 (en) 2004-06-30 2011-11-22 Koninklijke Philips Electronics N.V. Dominant color extraction for ambient light derived from video content mapped through unrendered color space
WO2006039357A1 (en) 2004-09-29 2006-04-13 Technicolor Inc. Method and apparatus for color decision metadata generation
EP1808011A1 (en) * 2004-11-01 2007-07-18 Technicolor, Inc. Method and system for mastering and distributing enhanced color space content
JP4151643B2 (ja) 2004-11-16 2008-09-17 セイコーエプソン株式会社 色変換行列作成装置、色変換行列作成プログラム及び画像表示装置
KR100763178B1 (ko) 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP2006343957A (ja) 2005-06-08 2006-12-21 Canon Inc 色処理方法及びその装置
US7656462B2 (en) 2005-06-17 2010-02-02 Martin Weston Systems and methods for modifying master film for viewing at different viewing locations
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
CN101223778B (zh) 2005-07-18 2012-11-07 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备
JP2007067559A (ja) * 2005-08-29 2007-03-15 Canon Inc 画像処理方法、画像処理装置、及び撮像装置の制御方法
US7265794B2 (en) * 2005-09-01 2007-09-04 Texas Instruments Incorporated Managing the color temperature for a light source array
US7809200B2 (en) 2005-11-15 2010-10-05 Teledyne Licensing, Llc Dynamic range compression of high dynamic range imagery
US7746411B1 (en) 2005-12-07 2010-06-29 Marvell International Ltd. Color management unit
JP4529888B2 (ja) 2005-12-07 2010-08-25 ブラザー工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
EP1964389A2 (en) 2005-12-21 2008-09-03 Thomson Licensing Constrained color palette in a color space
CN100507917C (zh) 2006-02-24 2009-07-01 佳能株式会社 图像处理设备、图像处理方法以及服务器及其控制方法
JP4810420B2 (ja) * 2006-02-24 2011-11-09 キヤノン株式会社 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
JP2007251891A (ja) 2006-03-20 2007-09-27 Matsushita Electric Ind Co Ltd コンテンツの撮影装置
DE102006045140A1 (de) 2006-03-27 2007-10-18 Siemens Ag Verfahren zur Erzeugung eines digitalen Datenstroms
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
JP4930781B2 (ja) 2006-05-17 2012-05-16 ソニー株式会社 画像補正回路、画像補正方法および画像表示装置
JP4967454B2 (ja) 2006-05-23 2012-07-04 ソニー株式会社 画像補正回路、画像補正方法および画像表示装置
WO2007142624A1 (en) * 2006-06-02 2007-12-13 Thomson Licensing Converting a colorimetric transform from an input color space to an output color space
JP4238881B2 (ja) 2006-06-02 2009-03-18 セイコーエプソン株式会社 画像補正装置、画像補正方法、画像補正プログラム、画像読み取り装置、画像読み取り方法および印刷装置
US9071787B2 (en) 2006-06-07 2015-06-30 Advanced Micro Devices, Inc. Display information feedback
KR100834762B1 (ko) 2006-09-29 2008-06-05 삼성전자주식회사 이 기종간 색역 사상 방법 및 장치
US7773127B2 (en) 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US8441498B2 (en) 2006-11-30 2013-05-14 Entropic Communications, Inc. Device and method for processing color image data
US20080170031A1 (en) 2007-01-17 2008-07-17 Chia-Hui Kuo Method for performing chromatic adaptation while displaying image, and corresponding display circuit and device
US8982146B2 (en) * 2007-01-30 2015-03-17 Fergason Patent Properties Llc Image acquisition and display system and method using information derived from an area of interest in a video image implementing system synchronized brightness control and use of metadata
JP4279318B2 (ja) * 2007-02-02 2009-06-17 三菱電機株式会社 映像表示装置
US8026908B2 (en) 2007-02-05 2011-09-27 Dreamworks Animation Llc Illuminated surround and method for operating same for video and other displays
US8330873B2 (en) 2007-03-14 2012-12-11 Larry Silver Signal demodulator with overmodulation protection
US9432554B2 (en) 2007-04-03 2016-08-30 Thomson Licensing Methods and systems for displays with chromatic correction having differing chromatic ranges
US7995242B2 (en) 2007-05-31 2011-08-09 Sharp Laboratories Of America, Inc. Systems and methods for attenuation of near-neutral image colors
TWI466093B (zh) 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
US8970636B2 (en) 2007-06-27 2015-03-03 Thomson Licensing System and method for color correction between displays with and without average picture dependency
JP4835525B2 (ja) 2007-07-04 2011-12-14 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8330768B2 (en) 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
KR101401964B1 (ko) 2007-08-13 2014-05-30 삼성전자주식회사 메타데이터 인코딩/디코딩 방법 및 장치
US8295594B2 (en) 2007-10-09 2012-10-23 Samsung Display Co., Ltd. Systems and methods for selective handling of out-of-gamut color conversions
WO2009079760A1 (en) 2007-12-20 2009-07-02 Ati Technologies Ulc Method, apparatus and machine-readable medium for describing video processing
WO2009095732A1 (en) * 2008-01-31 2009-08-06 Thomson Licensing Method and system for look data definition and transmission over a high definition multimedia interface
US8593476B2 (en) * 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
US8531379B2 (en) 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
JP4623137B2 (ja) * 2008-05-14 2011-02-02 富士ゼロックス株式会社 色処理装置、方法及びプログラム
CN101600049A (zh) * 2008-06-06 2009-12-09 联咏科技股份有限公司 图像处理装置与方法
US8416179B2 (en) 2008-07-10 2013-04-09 Sharp Laboratories Of America, Inc. Methods and systems for color preservation with a color-modulated backlight
US8446961B2 (en) 2008-07-10 2013-05-21 Intel Corporation Color gamut scalability techniques
US9501963B2 (en) * 2008-07-18 2016-11-22 Hewlett-Packard Development Company, L.P. Color profiling of monitors
WO2010021705A1 (en) * 2008-08-22 2010-02-25 Thomson Licensing Method and system for content delivery
WO2010024782A1 (en) 2008-08-26 2010-03-04 Agency For Science, Technology And Research A method and system for displaying an hdr image on a ldr display device
EP2338278B1 (en) * 2008-09-16 2015-02-25 Intel Corporation Method for presenting an interactive video/multimedia application using content-aware metadata
US20100073362A1 (en) 2008-09-23 2010-03-25 Ike Ikizyan Method And System For Scene Adaptive Dynamic 3-D Color Management
JP2010114839A (ja) 2008-11-10 2010-05-20 Canon Inc 画像処理装置および画像処理方法
US20100149207A1 (en) 2008-11-21 2010-06-17 Madden Thomas E Grayscale characteristic for color display device
US8749570B2 (en) 2008-12-11 2014-06-10 International Business Machines Corporation Identifying and generating color and texture video cohorts based on video input
WO2010083493A1 (en) 2009-01-19 2010-07-22 Dolby Laboratories Licensing Corporation Image processing and displaying methods for devices that implement color appearance models
US8406569B2 (en) 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
WO2010088465A1 (en) 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8290295B2 (en) 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
WO2010104624A2 (en) 2009-03-10 2010-09-16 Dolby Laboratories Licensing Corporation Extended dynamic range and extended dimensionality image signal conversion
JP5257158B2 (ja) 2009-03-11 2013-08-07 株式会社リコー 色変換装置、色変換方法およびプログラム
JP2010239498A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 画像入出力方法及びシステム
JP5517685B2 (ja) 2009-04-14 2014-06-11 キヤノン株式会社 画像処理装置および方法
US20120054664A1 (en) * 2009-05-06 2012-03-01 Thomson Licensing Method and systems for delivering multimedia content optimized in accordance with presentation device capabilities
WO2010132237A1 (en) 2009-05-11 2010-11-18 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
US8760461B2 (en) 2009-05-13 2014-06-24 Stmicroelectronics, Inc. Device, system, and method for wide gamut color space support
US20100329646A1 (en) 2009-06-26 2010-12-30 Loeffler Markus E System and method for remote film color correction
JP5552795B2 (ja) * 2009-10-26 2014-07-16 株式会社ニコン 撮像装置、画像処理装置およびプログラム
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
KR101428504B1 (ko) * 2010-02-22 2014-08-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 비트스트림에 임베딩된 메타데이터를 이용하는 렌더링 제어부를 갖는 비디오 디스플레이
JP5611457B2 (ja) 2010-06-08 2014-10-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 階調および色再現域のマッピング方法および装置
US8525933B2 (en) 2010-08-02 2013-09-03 Dolby Laboratories Licensing Corporation System and method of creating or approving multiple video streams
US20120066640A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Apparatus for providing multi-mode warping of graphical user interface objects
ES2694806T3 (es) 2011-03-02 2018-12-27 Dolby Laboratories Licensing Corporation Operador de correlación de tonos multiescala local
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US8731287B2 (en) 2011-04-14 2014-05-20 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
US9111330B2 (en) * 2011-05-27 2015-08-18 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US20140092004A1 (en) * 2012-09-28 2014-04-03 Ashok K. Mishra Audio information and/or control via an intermediary device
US10057633B2 (en) * 2013-07-14 2018-08-21 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
JP7425599B2 (ja) 2019-12-26 2024-01-31 ダイハツ工業株式会社 インストルメントパネル

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009524371A (ja) * 2006-01-23 2009-06-25 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
KR20070111391A (ko) * 2006-05-17 2007-11-21 제록스 코포레이션 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정
KR20110043775A (ko) * 2008-08-19 2011-04-27 디지맥 코포레이션 콘텐트 처리를 위한 방법들 및 시스템들
KR20100074016A (ko) * 2008-12-22 2010-07-01 톰슨 라이센싱 타깃 컬러 재현 디바이스의 교정 방법
KR20100081886A (ko) * 2009-01-07 2010-07-15 한양대학교 산학협력단 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템

Also Published As

Publication number Publication date
RS63194B1 (sr) 2022-06-30
EP3742715A1 (en) 2020-11-25
CN105933573A (zh) 2016-09-07
CN106101483A (zh) 2016-11-09
US11218709B2 (en) 2022-01-04
US20240155143A1 (en) 2024-05-09
JP2019208254A (ja) 2019-12-05
JP2024041932A (ja) 2024-03-27
HK1225849A1 (zh) 2017-09-15
US11736703B2 (en) 2023-08-22
WO2012166382A3 (en) 2013-03-07
US20180262767A1 (en) 2018-09-13
HRP20220617T1 (hr) 2022-09-16
EP2716028A4 (en) 2015-10-07
JP7422833B2 (ja) 2024-01-26
KR20220138866A (ko) 2022-10-13
KR20140035517A (ko) 2014-03-21
US12081778B2 (en) 2024-09-03
KR20240046318A (ko) 2024-04-08
EP3595281B8 (en) 2022-05-04
SI3595281T1 (sl) 2022-05-31
HUE058712T2 (hu) 2022-09-28
CN106357955A (zh) 2017-01-25
KR20170094460A (ko) 2017-08-17
LT3595281T (lt) 2022-05-25
US20230353762A1 (en) 2023-11-02
US11917171B2 (en) 2024-02-27
JP7422832B2 (ja) 2024-01-26
US20240323414A1 (en) 2024-09-26
HK1231652A1 (zh) 2017-12-22
JP2018029373A (ja) 2018-02-22
JP2021184602A (ja) 2021-12-02
WO2012166382A2 (en) 2012-12-06
US20240155144A1 (en) 2024-05-09
US20190289305A1 (en) 2019-09-19
JP2024041933A (ja) 2024-03-27
KR20200074229A (ko) 2020-06-24
EP3595281B1 (en) 2022-02-16
CN106057168A (zh) 2016-10-26
CN105933573B (zh) 2018-10-23
KR20140110071A (ko) 2014-09-16
EP2716028B1 (en) 2020-07-22
ES2913154T3 (es) 2022-05-31
JP2014523661A (ja) 2014-09-11
EP3742715B1 (en) 2024-09-18
CN103873738A (zh) 2014-06-18
US9111330B2 (en) 2015-08-18
JP2016054496A (ja) 2016-04-14
JP7145290B2 (ja) 2022-09-30
CN103563347A (zh) 2014-02-05
EP4447460A2 (en) 2024-10-16
JP2022174254A (ja) 2022-11-22
DK3595281T3 (da) 2022-05-16
JP6561098B2 (ja) 2019-08-14
HK1223214A1 (zh) 2017-08-11
US20240323413A1 (en) 2024-09-26
KR102602528B1 (ko) 2023-11-16
EP2716028A2 (en) 2014-04-09
CN106101483B (zh) 2020-01-17
KR20160054039A (ko) 2016-05-13
KR20210027500A (ko) 2021-03-10
EP4009620A1 (en) 2022-06-08
KR20170135977A (ko) 2017-12-08
US20150281707A1 (en) 2015-10-01
KR20230093075A (ko) 2023-06-26
CN103873738B (zh) 2016-09-07
CN103563347B (zh) 2016-10-05
JP5833233B2 (ja) 2015-12-16
KR101405032B1 (ko) 2014-06-10
DK3742715T3 (da) 2024-10-07
US20140078165A1 (en) 2014-03-20
CN106057168B (zh) 2020-05-12
KR20190086036A (ko) 2019-07-19
EP3595281A1 (en) 2020-01-15
JP2022174255A (ja) 2022-11-22
CN106357955B (zh) 2019-05-28
JP6224052B2 (ja) 2017-11-01
KR102553977B1 (ko) 2023-07-11
KR20140017645A (ko) 2014-02-11
KR101634090B1 (ko) 2016-06-29
US20220086467A1 (en) 2022-03-17
KR102656330B1 (ko) 2024-04-12
JP6905010B2 (ja) 2021-07-21
KR102655945B1 (ko) 2024-04-11
KR20240046317A (ko) 2024-04-08
PL3595281T3 (pl) 2022-06-06

Similar Documents

Publication Publication Date Title
JP7422833B2 (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent