KR20130016347A - 색조 및 색역 맵핑 방법들 및 장치 - Google Patents

색조 및 색역 맵핑 방법들 및 장치 Download PDF

Info

Publication number
KR20130016347A
KR20130016347A KR1020127031587A KR20127031587A KR20130016347A KR 20130016347 A KR20130016347 A KR 20130016347A KR 1020127031587 A KR1020127031587 A KR 1020127031587A KR 20127031587 A KR20127031587 A KR 20127031587A KR 20130016347 A KR20130016347 A KR 20130016347A
Authority
KR
South Korea
Prior art keywords
pixel data
mapping
color
special
metadata
Prior art date
Application number
KR1020127031587A
Other languages
English (en)
Other versions
KR101538912B1 (ko
Inventor
닐 메스머
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20130016347A publication Critical patent/KR20130016347A/ko
Application granted granted Critical
Publication of KR101538912B1 publication Critical patent/KR101538912B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G1/00Control arrangements or circuits, of interest only in connection with cathode-ray tube indicators; General aspects or details, e.g. selection emphasis on particular characters, dashed line or dotted line generation; Preprocessing of data
    • G09G1/002Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

색조 및/또는 색역 맵핑 장치 및 방법들은 특정 디스플레이 또는 다른 다운스트림 디바이스 상에 디스플레이하기 위한 이미지 데이터에서의 컬러 값들을 맵핑하도록 적용될 수 있다. 맵핑 알고리즘은 맵핑되는 픽셀 데이터에 대한 위치 및/또는 컬러 좌표들에 기초하여 선택될 수 있다. 장치 및 방법들은 맵핑이 이미지에서의 광원에 대응하는지 및/또는 특수 또는 예비 컬러 값들을 가지는지에 의존하여 컬러 좌표를 상이하게 맵핑하도록 구성될 수 있다.

Description

색조 및 색역 맵핑 방법들 및 장치{TONE AND GAMUT MAPPING METHODS AND APPARATUS}
관련 출원들에 대한 교차 참조
이 출원은, 2010년 6월 8일 출원되고 본 명세서에 참조로서 온전히 포함된 미국 가특허 출원 제61/352,444호에 대한 우선권을 주장한다.
기술분야
본 발명은 이미지 처리, 이미지 디스플레이, 및 이미지 재생에 관한 것이다. 본 발명의 실시예들은 국부적으로 또는 다운스트림 디바이스에서 디스플레이 또는 재생을 위한 컬러들 및/또는 색조들을 변환하기 위해 이미지 데이터를 처리하는 방법들 및 장치를 제공한다. 일부 예시적 실시예들은, 이미지 데이터를 수신하여 처리하고 뷰잉을 위해 처리된 이미지 데이터를 디스플레이하도록 구성되는 디스플레이들이다.
상업용 비디오 제품은 통상적으로 비디오 시퀀스들을 획득 및 편집하는 것을 포함한다. 배포되기 전에, 비디오 제품에서의 컬러들은 컬러 그레이딩 단계에서 조정될 수 있다. 컬러 그레이딩은 이상적인 뷰잉 조건들 하에서 기준 디스플레이 상에 비디오 제품을 디스플레이하고, 원하는 예술적 의도를 달성하기 위해 비디오 제품에서의 컬러들 및 색조들을 조정하는 것을 수반한다. 예를 들면, 컬러 그레이딩 장치('컬러 그레이더(color grader)')를 조작하는 사람은 이미지의 밝기를 감소시킴으로써 장면의 분위기를 흐르게 만들기로 결정할 수 있다. 예술적 목적들은 또한, 예를 들면, 특정 디스플레이된 대상들의 컬러들을 변경하고, 장면의 전체 콘트라스트를 변경하고, 장면의 전체 밝기를 변경하는 등과 같은 다른 조정들을 함으로써 충족될 수 있다. 기준 디스플레이 상에 디스플레이될 때의 결과는 컬러 그레이더의 예술적인 의도를 매칭한다.
다수의 대안적인 디스플레이 기술들이 상업적으로 이용 가능하다. 이들은 디지털 시네마 디스플레이들에서부터, 음극선관들, 플라즈마 디스플레이들, LED 디스플레이들, LCD 패널이 다양한 타입들의 백라이트 시스템들에 의해 백라이트 되는 LCD 패널 디스플레이들, 등에 기초할 수 있는 텔레비전 세트들까지 다양하다. 상이한 디스플레이들은 상이한 성능들을 가진다. 예를 들면, 일부 디스플레이들은 다른 디스플레이들보다 더 넓은 컬러 색역을 가질 수 있다. 일부 디스플레이들은 다른 디스플레이들보다 더 넓은 범위의 밝기들 및/또는 더 높은 최대 밝기를 재생할 수 있다. 본 발명자들은 이미지 데이터에서 이미지들에 의해 표현되는 예술적인 의도를 절충하지 않고 특정 디스플레이의 성능들을 이용할 수 있는 방식으로 이미지 데이터를 변환할 수 있는 방법들 및 장치에 대한 필요성을 인식해왔다.
이러한 필요성은 또한, 재생 기술이 이미지 데이터에 의해 추정되는 컬러들 및/또는 색조들과 상이한 컬러들 및/또는 색조들을 재생할 수 있는 성능들을 가질 수 있는 다양한 타입들의 인쇄, 판화, 및 다른 이미지 재생 기술에 의해 정지 이미지들의 재생들로 확장한다.
유연한 및 비용 효율적인 색조 및/또는 색역 맵핑 장치 및 방법들에 대한 필요성이 남아 있다. 고품질 디스플레이들 상에 즐거운 이미지들을 생성하기 위해 적용될 수 있는 이러한 장치 및 방법들에 대한 특정 필요성이 존재한다.
본 발명의 양태들의 범위 및 본 발명의 예시적 실시예들은 하기에 기술되고 첨부 도면들에 예시된다.
도 1a는 디스플레이에 위치될 수 있는 예시적인 일 실시예에 따른 장치의 구성요소들의 블록도.
도 1b는 컬러 그레이딩 툴에 위치될 수 있는 예시적인 일 실시예에 따른 장치의 구성요소들의 블록도.
도 2a는 예시적인 실시예에 따른 방법을 도시한 흐름도.
도 3은 다른 예시적인 실시예에 따른 장치를 도시한 블록도.
도 4는 다른 예시적인 실시예에 따른 장치를 도시한 블록도.
도 5a는 광원이 존재하는 이미지의 영역에 대한 및 표준 비디오 데이터에 대한 색조 곡선들의 그래프.
도 5b는 방출형 및 반사형 광원들이 존재하는 이미지의 영역들에 대한 및 표준 비디오 데이터에 대한 색조 곡선들의 그래프.
도 6은 색조/색역 파라미터들을 기술하기 위해 미리 규정된 메타데이터의 예시적인 표현을 도시한 도면.
도 7은 비디오 전달 파이프라인의 일부를 통해 비디오 데이터 및 메타데이터의 전달을 도시한 흐름도.
도 8은 예시적인 일 실시예에 따른 컬러 그레이딩 처리를 개략적으로 도시한 도면.
첨부 도면들은 본 발명의 비제한적 예시적인 실시예들을 도시한다.
본 기술분야의 통상의 기술자들에 대한 더욱 철저한 이해를 제공하기 위해, 다음의 기술 전반에 걸쳐 특정 상세들이 기재된다. 그러나, 잘 알려진 요소들은 개시내용을 불필요하게 모호하게 하는 것을 회피하기 위해 상세히 기술되거나 도시되지 않을 수 있다. 따라서, 기술 및 도면들은 제한적인 의미보다는 예시적인 의미로서 간주되어야 한다.
도 1a 및 도 1b는 예시적인 실시예에 따른 색조 및 색역 맵핑 장치(10)를 도시한 고레벨 블록도들이다. 장치(10)의 구성요소들(예를 들면, 도 1a에 도시된 것들과 같은)은 디스플레이 측에 위치될 수 있다. 장치(10)의 특정 다른 구성요소들(예를 들면, 도 1b에 도시된 것들과 같은)은 컬러 그레이딩 툴, 디스플레이의 업스트림에 위치될 수 있고, 메타데이터 생성을 구동하기 위해 컬러 그레이더 툴세트(예를 들면, 컬러 그레이딩 툴에 의해 제공되는 컬러 그레이딩 함수들이 세트)로 동작할 수 있다. 컬러 그레이딩 툴은 예를 들면, 입력 이미지 데이터를 수신하고 입력 이미지 데이터의 영역들에서 픽셀 데이터의 컬러들 및/또는 휘도를 조정하여 이미지에 대한 원하는 예술적 효과를 달성하기 위해 컬러 그레이더에 의해 동작 가능한 소프트웨어 및/또는 하드웨어-기반 시스템들을 포함할 수 있다.
디스플레이 측에서, 장치(10)는 이미지 데이터(14)가 수신되는 입력(12)을 구비한다. 이미지 데이터(14)는 비디오 데이터, 하나 이상의 정지 이미지들을 명시하는 데이터 등을 포함할 수 있다. 입력(12)은 직렬 또는 병렬 데이터 버스와 같은 물리적 입력, 무선 데이터 입력, 이미지 데이터(14)가 액세스될 수 있는 메모리 위치, 일부 데이터 통신 채널로부터 이미지 데이터(14)를 수신하는 인터페이스, DVD, CD-ROM, 플래시 메모리, 또는 다른 데이터 리코드와 같은 매체로부터 이미지 데이터(14)를 검색하기 위한 하드웨어 등을 포함할 수 있다.
이미지 데이터(14)는 디스플레이될 이미지에서 픽셀들에 대한 픽셀 데이터(15)를 포함한다. 픽셀 데이터(15)의 각각의 세트는 픽셀에 대한 컬러 및 색조를 표시하는 다수의 컬러 좌표들, 이 예에서 C1, C2, 및 C3을 포함한다. 픽셀 데이터(15)는 또한, 픽셀 데이터(15)에 의해 표현되는 픽셀에 대한, 이 예에서 좌표들 X 및 Y로 식별되는 명시적 또는 암시적 위치 정보를 포함한다. 위치 정보 X, Y는 특정 픽셀 데이터(15)의 이미지 데이터(14) 내의 오프셋 또는 다른 관련 위치에 의해 표현될 수 있다. 도 1a에 도시된 예시적인 실시예에서, 위치정보 X 및 Y는 명시적으로 도시된다.
장치(10)는 좌표들 C1, C2, 및 C3을 이미지 데이터(14)의 컬러 공간과 상이한 컬러 공간으로 변환하는 좌표 변환 블록(16)을 선택적으로 포함한다. 일부 실시예들에서, 장치(10)가 상이한 컬러 공간에서 내부적으로 동작하는 것이 편리하다. 상이한 컬러 공간은 예를 들면 선형 컬러 공간(밝기(예를 들면, 밝음 또는 강도 또는 휘도)와 같은 물리적 값이 선형적으로 표현되는 컬러 공간)일 수 있다. 이러한 실시예들에서, 좌표 변환 블록(16)은 선형 컬러 공간으로의 변환을 수행할 수 있다. 특정 실시예들에서, 좌표 변환 블록(16)은 IPT, LAB 또는 RGB 컬러 공간 또는 이미지 데이터(14)의 컬러 공간보다 색조 또는 색역 맵핑에 더욱 적합한 다른 컬러 공간으로의 변환을 수행할 수 있다.
블록(18)은 픽셀 데이터(15)를 수신하고, 픽셀 데이터(15)의 맵핑된 픽셀 데이터(15')로의 맵핑을 수행한다. 맵핑은 룩업 테이블들, 맵핑 알고리즘들을 실행하는 논리 회로들 등의 이용을 통해 수행될 수 있다. 수행된 특정 맵핑은 맵핑 논리(19)의 동작에 영향을 미치는 맵핑 파라미터들(20)에 의해 명시된다.
맵핑된 픽셀 데이터(15')는 맵핑된 이미지 데이터(14')로서 출력된다. 맵핑된 이미지 데이터(14')의 출력은 예를 들면, 맵핑된 픽셀 데이터(15')를 파일 또는 버퍼에 배치하는 단계, 직렬 또는 병렬 데이터 버스들 상으로, 맵핑된 픽셀 데이터(15')를 다운스트림 디바이스 또는 회로, 등에 공급하는 맵핑된 픽셀 데이터(15')를 전송하는 단계를 포함할 수 있다.
예시된 실시예에서, 맵핑 파라미터들(20)은 구성 메커니즘(26)에 의해 설정된 파라미터들(22)을 포함한다. 구성 메커니즘(26)은 메타데이터 추출/수신 유닛(24)으로부터 수신된 메타데이터에 따라 맵핑 파라미터들(22)을 설정한다. 일부 실시예들에서, 메타데이터는 이미지 데이터(14)의 신호, 데이터 구조, 또는 다른 표현으로 임베딩되고, 이미지 데이터(14)로부터 메타데이터 추출/수신 유닛(24)에 의해 추출된다. 다른 실시예들에서, 메타데이터는 개별 채널 상으로, 개별 데이터 구조로, 등으로 수신된다. 어떤 경우에도, 맵핑 논리(19)의 동작은, 메타데이터에 응답하여 적어도 부분적으로 설정되거나 선택될 수 있는 파라미터들(22)에 의해 제어된다.
예시된 실시예에서, 파라미터들(22)은 일반 파라미터들(22A), 컬러 파라미터들(22B), 및 위치 파라미터들(22C)을 포함한다. 이 실시예에서, 맵핑 논리(19)에 의해 수행된 맵핑은 맵핑되는 픽셀 데이터(15)에서 표현되는 컬러 좌표들 및/또는 맵핑되는 픽셀(15)에 대응하는 위치 정보에 의존하여 변화할 수 있다. 이들 성능들의 일부 응용들이 하기에 기술된다.
예시적인 실시예에서, 구성 유닛(26)에 공급되는 메타데이터(21)는 비디오 데이터(14)의 모든 또는 선택된 부분들에 공급될 일반 메타데이터를 포함한다. 예를 들면, 일반 메타데이터는 비디오 데이터(14) 내에서 선택된 장면들 또는 프레임들에 대해 명시될 수 있다. 구성 유닛(26)은 그 일반적인 구성 메타데이터에 기초하여 이미지 데이터(14)를 맵핑하기 위해 이용할 맵핑 파라미터들(22)의 세트를 확립하도록(예를 들면, 선택 또는 계산) 구성될 수 있다. 일반 구성 메타데이터는 장치(10)가 임베딩되거나 장치(10)로부터의 다운스트림인 특정 디스플레이 또는 이미지 재생 기술에 특정될 수 있다.
구성 유닛(26)에 제공된 메타데이터는 또한, 특정 컬러들 또는 컬러 범위들에 대한 특정 맵핑 거동을 명시하는 메타데이터를 포함할 수 있다. 예를 들면, 메타데이터는 블록(18)의 변환에 의해 영향을 받아서는 안 되는 하나 이상의 예비 컬러들 또는 예비 컬러 범위들을 명시할 수 있다. 이러한 예비 컬러들 또는 범위들은 파라미터들(22B)에 명시될 수 있다. 맵핑 논리(19)는 파라미터들(22B)에서 식별된 예비 컬러들이 변환에 의해 변경되지 않는 방식으로 변환들을 행하도록 구성될 수 있다.
다른 예로서, 일부 실시예들에서, 맵핑 파라미터들(22)에 의해 명시된 맵핑은 이미지 데이터(14)에서 표현되는 색역의 외부의 변환된 컬러들로의 적어도 일부 컬러들에서의 맵핑의 능력을 가질 수 있다. 일부 실시예들에서, 색역(14)의 경계에 근접하게 놓인 컬러들의 범위 내의 컬러들은, 이미지 데이터(14)가 표현되는 색역의 경계로부터 떨어진 컬러 좌표들에 있는 컬러들에 적용되는 변환과는 상이한 변환을 받을 수 있다.
다른 예로서, 이미지 데이터(14)로부터의 하나 이상의 선택된 컬러들은 이미지 데이터(14)의 색역의 외부의 대응하는 타겟 컬러들과 연관될 수 있다. 이러한 경우들에서, 맵핑 논리(19)는 대응하는 타겟 컬러들쪽의 선택된 컬러들을 디스플레이 또는 다른 타겟 디바이스의 디스플레이 성능들 내에 있는 컬러로 맵핑하도록 구성될 수 있다.
맵핑 논리(19)는 또한, 픽셀 데이터에 대응하는 위치 정보에(예를 들면, 예시된 예에서 좌표들 X, Y에) 의존하여 상이한 변환들을 수행하도록 구성될 수 있다. 예를 들면, 구성 유닛(26)에 의해 수신된 메타데이터는 현재 이미지 내의 광원들의 위치들을 명시할 수 있다. 상이한 맵핑들은, 처리되고 있는 픽셀 데이터에 대응하는 위치 정보가, 픽셀 데이터가 광원의 내부 또는 광원의 외부에 있는 위치에 대응하는 것을 나타내는지의 여부에 의존하여 적용될 수 있다. 상이한 맵핑들은 색조 곡선들을 조정함으로써 적용될 수 있다. 예를 들면, 도 5a는 표준 비디오 데이터에 대한 색조 곡선(광원들에 대한 아무런 조정들 없이) 및 광원으로서 식별되는 영역에 대해 조정된 색조 곡선("조정된 색조 곡선")을 도시한다. 무결절 조정을 보장하기 위해, 조정된 색조 곡선은 광원과 비광원 영역들 사이의 경계에서 표준 비디오 데이터에 대한 색조 곡선으로 매칭될 수 있다. 예를 들면, 도 5a에서 알 수 있는 바와 같이, 하위 입력 픽셀 구동 값들(예를 들면, 광원으로서 식별되는 영역들의 외부의 영역들에 대응)쪽으로, 조정된 색조 곡선은 표준 비디오 데이터의 색조 곡선과 동일할 수 있다. 하위 입력 픽셀 구동 값들과 상위 입력 픽셀 구동 값들 사이의 일부 값들에서, 조정된 색조 곡선은 표준 비디오 데이터의 색조 곡선으로부터 벗어난다. 조정된 색조 곡선은, 이것은 광원으로서 식별되는 영역에 대응할 수 있는(예를 들면, 상위 입력 픽셀 구동 값들은 도 5a에 도시된 바와 같이, 표준 비디오 데이터에 대한 것보다 높은 값들을 출력하도록 맵핑될 수 있음) 상위 입력 픽셀 구동 값들에 대한 표준 비디오 데이터의 색조 곡선과 상이할 수 있다. 상위 입력 구동 값들에서, 조정된 색조 곡선은 광원으로서 식별되는 영역에서 픽셀들의 강도를 규정한다. 도 5a의 조정된 색조 곡선은 예시적인 일 실시예에 대해, 광원 영역에서 픽셀들이 강도가 조정될 수 있는 방법을 도시한다. 다른 실시예들에서, 조정된 색조 곡선은 도 5a에서 도시된 것과 상이한 곡선일 수 있다(예를 들면, 조정된 색조 곡선은 다양한 실시예들에 대해, 곡선을 상향 또는 하향 배치되게 할 수 있는 특정 변곡점을 가질 수 있다). 원하는 효과에 의존하여, 특정 조정된 색조 곡선은 이미지의 광원 영역의 강도가 이미지의 다른 영역들에 대해 조정되는 방법에 영향을 미치기 위해 이미지에 적용될 수 있다.
일부 실시예들에서, 상이한 맵핑들은 광원의 타입에 의존하여 적용된다. 예를 들면, 상이한 맵핑들은 광원이 반사형 광원 또는 방출형 광원으로서 메타데이터에서 식별되는지에 의존하여 적용될 수 있다. 일부 실시예들에서, 개별 맵핑 알고리즘들 및/또는 맵핑 파라미터들이 복수의 상이한 타입들의 광원들의 각각에 대해 제공된다. 도 5b는 방출형 및 반사형 광원들을 가지는 것으로서 식별되는 영역들에 적용될 예시적인 색조 곡선들 및 표준 비디오 데이터에 대한 색조 곡선을 도시한다(광원들에 대해 아무런 조정들 없이).
도 1b는 컬러 그레이딩 툴에 위치될 수 있는 장치(10)의 구성요소들을 도시한다. 컬러 그레이딩 툴에서, 장치(10)는 입력(12A)에서 입력 이미지 데이터(14A)를 수신하고 컬러 그레이딩된 이미지 데이터(14B)(메타데이터(21)를 포함할 수 있음)를 출력한다. 이미지 데이터(14B, 14B)는 비디오 데이터, 하나 이상의 정지 이미지들을 명시하는 데이터 등을 포함할 수 있다. 이미지 데이터(14A)는 디스플레이될 이미지의 픽셀들에 대한 픽셀 데이터(15A)를 포함할 수 있다. 컬러 그레이딩 툴은 컬러 그레이딩 처리기(11)를 포함할 수 있고, 이것은 픽셀 데이터(15A)를 수신하고, 컬러 그레이딩된 픽셀 데이터(15B)를 유발하도록 사용자 입력에 응답하여 하나 이상의 컬러 그레이딩 함수들을 실행한다. 컬러 그레이딩 함수들은 소프트웨어 및/또는 하드웨어에 의해 구현될 수 있다. 처리기(11)에 의한 컬러 그레이딩 함수들의 동작은 전문적인 컬러 그레이더에 의해 제어될 수 있다. 예를 들면, 컬러 그레이더는 특정 컬러들을 식별하거나, 이미지의 픽셀들의 휘도, 포화 및/또는 색상을 변경하기로 결정할 수 있고, 원하는 예술적 효과를 달성하기 위해, 컬러 그레이딩 툴의 선택된 컬러 그레이딩 함수들이 픽셀 데이터(15A)에 적용되게 하도록 컬러 그레이딩 툴에 적합한 사용자 입력들을 제공할 수 있다.
예시된 실시예에서, 컬러 그레이딩 처리기(11)는 메타데이터 생성기(17)에 통신 가능하게 결합된다. 메타데이터 생성기(17)는, 색조/색역 파라미터들을 기술할 수 있는 메타데이터 규정들(13)의 세트에 대한 액세스를 가질 수 있거나, 또는 이를 생성할 수 있다. 메타데이터 생성기(17)는 컬러 그레이딩된 픽셀 데이터(15B)에 대한 액세스를 가질 수 있다. 메타데이터 생성기(17)는 컬러 그레이딩된 픽셀 데이터(15B)와 함께 전송하기 위한 메타데이터(17)를 생성할 수 있다. 메타데이터 생성은, 컬러 그레이딩 처리기(11)에 의해 통신되고 및/또는 컬러 그레이딩된 픽셀 데이터(15B)로부터 결정되는 컬러 그레이딩 처리기(11)에 의해 픽셀 데이터에 대한 조정들 및 이미지 특성들에 기초할 수 있다. 메타데이터 생성기(17)는 메타데이터 생성을 구동하기 위해 컬러 그레이딩된 픽셀 데이터의 파라미터들을 식별할 수 있다.
예시된 실시예에서, 메타데이터 생성기(17)는 소프트웨어 함수들을 저장하기 위한 프로그램 메모리(23)를 포함하고, 이들 함수들은 메타데이터 생성기(17)의 처리기(27)에 의해 실행될 때, 예를 들면, 이미지의 광원들의 위치들, 색역 중에서 의도적으로 컬러 그레이딩되는 컬러들, 예비 컬러들 등과 같은 컬러 그레이딩된 픽셀 데이터의 파라미터들을 식별할 수 있다. 메타데이터 생성기(17)는 메타데이터(21)를 생성하기 위해 이러한 파라미터들에 관한 정보를 이용할 수 있다. 메타데이터 생성기(17)에 의해 생성되는 메타데이터(21)는 컬러 그레이딩된 픽셀 데이터(15B)와 조합되거나 이와 함께 전송될 수 있고, 이미지 데이터(14B)로서 다운스트림 디바이스에 출력될 수 있다. 특정 실시예들에서, 도 1a에 도시된 바와 같은 장치(10)의 구성요소들은 이미지 데이터(14)로서 이미지 데이터(14B)(도 1b)를 수신할 수 있다.
도 8은 예시적인 실시예에 따른 컬러 그레이딩 처리를 도시한다. 전문적인 컬러 그레이더(35)는 외부 비디오 컨텐트 소스로부터 비디오 데이터를 디스플레이하기 위한 기준 디스플레이를 제어함으로써 처리를 시작한다; 이러한 비디오 데이터는 카메라 캡처, CGI(computer generated imagery) 등을 통해 생성될 수 있었다. 컬러 그레이딩 처리에서, 기준 디스플레이 상에 디스플레이된 비디오 데이터를 뷰잉할 때, 컬러 그레이더(35)는 창작자의 예술적인 의도에 따라 비디오 프레임(78A)(또는, 프레임들(즉, 장면)의 시퀀스)을 조정하거나 수정하기 위해 컬러 그레이딩 툴(88)을 이용한다. 컬러 그레이딩 처리기(11)는 컬러 그레이딩된 비디오 프레임(47)을 생성하기 위해 컬러 그레이더(35)로부터의 입력들에 따라 비디오 프레임(78A)을 조정한다.
컬러 그레이딩 처리에서, 각각의 프레임의 부분들은: 특별한 이미지 영역들(예를 들면, 특정 색조 맵핑이 광원 위치에 대응하는 이미지 영역에 적용될 수 있음); 특수 컬러들(예를 들면, 컬러-지정 맵핑에 따라 특정 컬러들 또는 색조들/색역이 맵핑될 수 있음); 및/또는 예비 컬러들(예를 들면, 피부 색조들, 풀 색조들, 및 다른 컬러 그레이딩 처리에서 예비 컬러들로서 지정된 다른 색조들의 조정이 색조/색역 맵핑 동안 금지될 수 있음)에 대해 상이하게 수정될 수 있다. 프레임 또는 장면 내에서, 국부화된 색조 또는 색역 플래그들은 색조/색역이 컬러 그레이딩 처리에서 조정된 특별한 픽셀들의 위치; 및/또는 색조/색역이 컬러 그레이딩 처리에서 의도적으로 조정되지 않은 특별한 픽셀들의 위치(예를 들면, 예비 컬러들에 대한 경우일 수 있을 때)를 규정하는 메타데이터 그리드(41)에 대해 설정될 수 있다. 국부화된 색조 또는 색역 플래그는 픽셀에 대해 이루어진 색조/색역 조정에 관한 정보를 식별할 수 있다. 컬러 그레이딩된 비디오 컨텐트, 국부화된 색조 또는 색역 플래그들, 및 각각의 국부화된 색조 또는 색역 플래그에 대응하는 픽셀 위치들은 저장장치 또는 버퍼 디바이스(49)에 저장될 수 있다. 국부화된 색조 또는 색역 플래그들 및 이러한 플래그들에 의해 표시된 정보는 축적되는 국부화된 메타데이터로서 프레임 메타데이터 컨테이너(48)에 저장될 수 있다.
코덱(82)은 메타데이터 컨테이너(48)에 저장된 메타데이터, 및 비디오 프레임(47) 및 국부적 색조/색역 조정들에서의 컬러 그레이딩된 컨텐트(저장 디바이스(49)에 저장된)을 수신하고, 배포를 위한 메타데이터 및 컬러 그레이딩된 컨텐트를 인코딩한다. 코덱(82)에 의해 인코딩하기 위한 방법은 예를 들면:
축적되는 국부화된 메타데이터를 인코딩하는 단계 및 비디오 화상 또는 장면의 시작시 메타데이터에 배치하는 단계를 포함할 수 있다. 비디오 및 프레임 메타데이터는 인코딩될 수 있고 축적된 메타데이터를 따를 수 있다. 프레임 메타데이터는 메타데이터를 전송하도록 요구되는 데이터량을 최소화하기 위해 축적되는 국부화된 메타데이터를 인덱싱하기 위해 포맷될 수 있다.
Figure pct00001
축적된 메타데이터를 무시하고 컬러 그레이딩된 비디오와 함께 프레임 메타데이터를 인코딩(이것은 전체 대역폭을 증가시킬 수 있음).
도 7은 컬러 그레이딩단(80)으로 시작하여 디스플레이 색조/색역 맵핑단(84)으로 종료하는 비디오 전달 파이프라인의 일부를 도시한다. 비디오 전달 파이프라인의 단들(80, 84)에 앞서거나 후속되는 다른 단들은 도시되지 않는다. 도 1b에 도시된 장치(10)의 구성요소들 및/또는 도 8에 도시된 컬러 그레이딩 툴은 다운스트림 디바이스들에서 색조/색역 맵핑 목적들로 메타데이터를 생성하기 위해 컬러 그레이딩단(80)에서 이용될 수 있다. 메타데이터는 비디오 데이터 및 메타데이터를 인코딩 및/또는 디코딩하기 위한 코덱단(82)에 비디오 데이터와 함께 전달될 수 있다. 일부 실시예들에서, 메타데이터는 별도의 통신 채널에 의해 전달될 수 있다. 비디오 데이터 및 메타데이터는 단(84)에서 색조/색역 맵핑을 위해 다운스트림 디바이스에 전달된다. 도 1a에 도시된 장치(10)의 구성요소들은 본 명세서에 기술된 색조/색역 맵핑 방법들을 구현하기 위해 색조/색역 맵핑단(84)에서 이용될 수 있다.
도 2a는 이미지 데이터(14)를 맵핑된 이미지 데이터(14')로 맵핑하기 위해 적용될 수 있는 방법(25)을 도시한다. 블록(28)에서, 메타데이터가 획득된다. 메타데이터는 개별 데이터 스트림 상에서 수신되는 비디오 스트림, 비디오 데이터를 포함하는 파일, 개별 데이터 구조, 등으로부터 추출될 수 있다. 메타데이터는 이미지 데이터를 획득하기 전에 및/또는 그 동안 획득될 수 있다. 블록(28)은 일부 실시예들에서 이미지 데이터의 처리 동안 계속 수행될 수 있다.
블록(29)에서, 맵핑 논리는 수신된 메타데이터에 응답하여 구성된다. 구성은 예를 들면, 컬러 값들 및/또는 색조 값들을 맵핑하기 위해 이용되는 룩업 테이블들에 값들을 기록하는 단계; 예비 컬러들을 기록하고, 개별 맵핑들 또는 수정된 맵핑들을 가진 특수 컬러 범위들을 식별하는 단계; 지정 맵핑들 또는 수정된 맵핑들을 가진 특수 위치들을 식별하는 단계; 맵핑 알고리즘에 의해 액세스되는 레지스터들에 파라미터 값들을 기록하는 단계; 맵핑 알고리즘들 등을 구현하는 구성 가능한 논리를 구성하는 단계를 포함할 수 있다. 블록(29)은 업데이트된 메타데이터가 수신될 때마다 반복될 수 있다.
메타데이터는, 픽셀 데이터에 대한 컬러/휘도 값들이 디스플레이 상에 보여지는 방식, 또는 전송된 컬러/휘도 값들로부터 맵핑된 컬러/휘도 값들로(동일하거나 상이한 컬러 공간으로) 맵핑이 수행되는 방식에 영향을 미치는 메타데이터를 포함할 수 있다. 메타데이터는 또한, 메타데이터를 축약하는데, 또는 메타데이터를 전송하도록 요구되는 데이터량을 감소시키는데 도움을 주는 메타데이터를 포함할 수 있다. 예를 들면, 일부 실시예들에서, 메타데이터는 색조/색역 맵핑에 나중에 이용하기 위한 색조/색역 맵들을 규정할 수 있다. 후속 메타데이터는 특정 픽셀들에 대해, 규정된 색역 맵들 중 하나가 이용되는 것을 나타낼 수 있다. 미리 규정된 맵들은, 맵핑 장치에 의해 참조될 수 있는 데이터 구조에서 비디오 전달 파이프라인의 디스플레이 측에서 저장되거나 버퍼링될 수 있다. 데이터 구조는 예를 들면, 일차원 또는 이차원 데이터 구조일 수 있다.
일부 실시예들에서, 메타데이터는 컬러 그레이딩 처리에서 이루어진 색조 또는 색역 조정들에 관한 정보를 제공하는 메타데이터 플래그들을 규정할 수 있다. 색조 또는 색역 조정들에 관한 정보는 예를 들면: 이들이 예비 컬러들이기 때문에 조정되지 않은 컬러들; 색역외에서 의도적으로 컬러 그레이딩된 컬러들; 컬러-지정 맵에 따라 맵핑될 특수 컬러들 등을 식별할 수 있다. 메타데이터 플래그들 및 대응하는 색조 또는 색역 조정 정보는 디스플레이 측에서 저장되거나 버퍼링될 수 있고 맵핑 장치에 의해 나중에 참조되는 데이터 구조(예를 들면, 룩업 테이블)에 저장될 수 있다(예를 들면, 이미지 데이터의 프레임에 대응하는 메타데이터 그리드 상의 픽셀들에서 설정된 국부화된 색조 또는 색역 플래그들, 및 미리 규정된 색역 메타데이터 구조를 도시하는 도 6을 참조). 디스플레이 측에 전송되는 후속 메타데이터는 특정 국부화된 색조 또는 색역 플래그들이 픽셀 데이터에서 특정 픽셀들에 대응하는 것을 나타낼 수 있다. 이러한 정보는 저장된 메타데이터 구조에서 이들 픽셀들에 이루어진 색조 또는 색역 조정들을 룩업하고, 이러한 색조 또는 색역 조정들에 기초하여 색조/색역 맵핑 방법을 선택하여 적용하기 위해 맵핑 장치에 의해 차례차례 이용될 수 있다.
방법(25)은 픽셀 데이터의 맵핑들을 수행하는 데이터 처리 시퀀스(25B)를 포함한다. 시퀀스(25B)는 이미지 데이터(14)에서 각각의 픽셀 데이터(15)마다 반복될 수 있다. 블록(30)에서, 픽셀 데이터가 수신된다. 블록(30)은 예를 들면, 버퍼로부터 다음 픽셀 데이터를 검색하는 단계; 메모리로부터 픽셀 데이터를 검색하는 단계; 병렬 또는 직렬 버스와 같은 입력 라인 상에서 픽셀 데이터를 수신하는 단계 등을 포함할 수 있다. 블록(32)에서, 픽셀 데이터의 컬러 좌표들은 영 이상의 예비 컬러들의 세트와 비교된다. 예비 컬러들이 존재하지 않는 경우, 블록(32)은 선택적이고 수행될 필요가 없다. 처리되는 픽셀 데이터의 컬러 좌표들이 예비 컬러에 대응하는 경우, 픽셀 데이터는 경로(33)에 의해 표시된 바와 같이 맵핑되지 않고 통과되거나, 픽셀 데이터는 픽셀 데이터의 색조의 맵핑만을 수행하는 블록(34)을 통과한다(예를 들면, 블록(34)은 픽셀 데이터의 다이내믹 레인지를 확장할 수 있거나, 그렇지 않을 경우 다운스트림 응용을 적합하게 하기 위해 픽셀 데이터의 휘도 값을 변경할 수 있다). 특정 실시예들에서, 색조는 이미지의 특별한 오프젝트들 또는 영역들을 표현하는 픽셀들(예를 들면, 피부, 풀, 하늘 등을 표현하는 픽셀들)에 대해 보존된다. 따라서, 예비된 컬러들은 이러한 오브젝트들을 기술하기 위해 이용되는 것들에 대응한다. 예비 컬러들은 컬러 그레이딩단에서 컬러 그레이더에 의해 설정될 수 있다(예를 들면, 컬러 그레이더는 피부 색조들로서 특정 색조들을 지정할 수 있다). 픽셀 데이터의 맵핑 동안, 예비 컬러들의 미리 결정된 마진 내에 있는 톤들이 보존될 수 있다.
블록(36)에서, 픽셀 데이터에 대응하는 위치 정보는 영 이상의 특수 위치들의 세트에 비교된다. 특수 위치들이 메타데이터에 의해 명시되지 않는 경우, 블록(36)은 선택적이고 수행될 필요가 없다. 특수 위치들이 식별된 경우, 블록(36)은 픽셀 데이터에 대한 위치 정보가 특수 위치에 대응하는지의 여부를 결정하고, 그러한 경우, 블록(38)에서 픽셀 데이터에 대한 위치-지정 맵핑을 활성화한다.
일부 실시예들에서, 특수 위치들은 상이한 타입들의 맵핑 알고리즘들과 연관될 수 있다. 예를 들면, 상이한 맵핑 알고리즘(또는 맵핑 알고리즘의 상이한 변형들)은 상이한 타입들의 광원에 대해 제공될 수 있다. 예를 들면, 상이한 맵핑 알고리즘들은 발광체들 또는 반사체들에 대해 제공될 수 있다. 일부 실시예들에서, 픽셀 데이터(15)는 픽셀 데이터(15)가 디폴트 알고리즘; 방출체들에 대한 알고리즘; 또는 관련되는 픽셀에 대한 위치-지정 메타데이터에 의존하는 반사체들에 대한 알고리즘에 따라 맵핑된다. 이러한 실시예들에서, 블록(38)은 복수의 알고리즘들 중에서부터의 선택을 포함할 수 있다.
블록(39)에서, 위치 지정 맵핑은 맵핑된 픽셀 데이터를 획득하기 위해 픽셀 데이터에 적용된다.
블록(40)에서, 픽셀 데이터의 컬러 좌표(색조 또는 휘도값을 포함할 수 있음)가 영 이상의 특수 컬러 영역들의 세트와 비교된다. 특수 컬러 영역들은 컬러 공간에서 컬러 영역들 또는 컬러 공간에서 단일 지점들로 구성될 수 있다. 특수 컬러들이 명시되지 않은 경우, 블록(40)은 선택적이고 생략될 수 있다. 픽셀 데이터의 컬러 좌표들이 컬러 공간의 특수 영역에 대응하는 경우, 블록(42)에서, 컬러-지정 맵이 선택된다. 블록(43)에서, 컬러-지정 맵은 픽셀 데이터를 맵핑된 픽셀 데이터로 맵핑하기 위해 적용된다.
블록(44)에서, 예비 컬러, 특수 위치, 또는 특수 컬러에 대응하지 않는 픽셀 데이터는 일반 맵핑에 따라 맵핑된다. 블록(45)에서, 맵핑된 픽셀 데이터가 출력된다. 블록(45)은 예를 들면, 직렬 또는 병렬 데이터 버스 상으로 맵핑된 픽셀 데이터를 배치하는 단계, 유선 또는 무선 통신 채널을 통해 맵핑된 픽셀 데이터를 전송하는 단계, 다른 이미지 처리 디스플레이 또는 재생 하드웨어에 맵핑된 픽셀 데이터를 적용하는 단계, 맵핑된 픽셀 데이터를 메모리에 기록하는 단계 등을 포함할 수 있다.
일부 실시예들에서, 메타데이터는 이미지 히스토그램 또는 다른 이미지 통계를 포함한다. 맵핑 알고리즘은 색조 및/또는 색역 맵핑을 제어하기 위해 이 정보, 예를 들면 현재 이미지의 평균 휘도를 이용할 수 있다. 일부 실시예들에서, 이미지 통계들은 현재 이미지에 대한 픽셀 데이터가 맵핑되기 전에 데이터 처리 시퀀스(25B)에 이용 가능하다. 이것은 이미지에 대한 모든 데이터가 수신되기 전에 맵핑이 개시되는 경우에도 픽셀 데이터의 맵핑이 이미지에 대한 통계에 기초하도록 허용할 수 있다. 일부 실시예들에서, 맵핑은 국부적이다(즉, 픽셀 데이터(15)의 각각의 세트가 이미지의 다른 픽셀들에 대해 픽셀 데이터(15)의 값들에 관련없이 맵핑된다).
이미지 데이터의 프레임에 대해 메타데이터에 의해 제공되는 이미지 히스토그램은 예를 들면, 히스토그램 버킷들(예를 들면, 256개의 24-비트 히스토그램 버킷들이 각각의 컬러 채널에 대해 제공될 수 있음)의 각각의 것과 연관되는 휘도 범위 내의 휘도 값을 가진 각각의 컬러 채널에 대한 픽셀들의 수를 식별할 수 있다. 이미지 히스토그램(들) 및/또는 이미지 통계는 이미지 데이터를 분석하기 위해 이용될 수 있다. 색조/색역 맵핑은 이러한 이미지 데이터 분석에 기초하여 수행될 수 있다. 예를 들면, 일부 실시예들에서, 특수 색조/색역 맵핑 알고리즘은 전체 이미지의 밝기 또는 흐리기의 평가, 또는 평균 휘도에 관한 밝은 또는 흐린 영역들의 중요도, 또는 히스토그램 또는 이미지 통계로부터 추출된 다른 기준에 기초하여 수행될 수 있다. 일부 실시예들에서, 색조/색역 맵핑은 예를 들면, 밝은 이미지 영역들에서의 대상들에 강조가 덜 주어지도록 적용될 색조 곡선을 조정하거나, 흐린 이미지 영역들에서의 대상들에 강조가 더 주어지도록 적용될 색조 곡선을 조정함으로써, 밝은 이미지 영역과 흐린 이미지 영역 사이의 균형을 달성하는 단계를 포함할 수 있다.
일부 실시예들에서, 일반 메타데이터는 색조/색역 맵핑 장치에 대한 선택된 동작 모드를 명시하는 정보를 포함한다. 이 특징은 예를 들면, 맵핑 알고리즘(들)의 구현이 업스트림 및 다운스트림 디바이스들에 대해 표준화되는 경우, 텔레비전 또는 다른 다운스트림 디바이스에서 적용되는 색조/색역 맵핑 알고리즘(들)을 통한 제어를 디렉터가 발휘하도록 허용하기 위해 이용될 수 있다. 일부 실시예들에서, 선택된 동작 모드는 일반적으로 모드 특성을 나타내는 코드에 의해 식별된다. 예를 들면, 본 명세서에 기술된 바와 같은 색조/색역 맵핑 장치를 통합하는 일부 텔레비전들은 "선명(vivid)", "시네마(cinema)", "표준(standard)" 및 "프로(pro)" 모드들 중에서의 선택을 지원할 수 있다. 상이한 텔레비전들은 그들 자신의 방식으로 지원된 모드들을 구현할 수 있다.
도 3은 다른 예시적 실시예에 따른 장치(50)를 도시한다. 장치(50)는 이미지 데이터(14) 또는 일부 다른 소스로부터 메타데이터(21)를 판독하는 메타데이터 추출기(52)를 포함한다. 제어(54)는 검출된 메타데이터에 응답하여 스위치(55)를 제어한다. 예를 들면, 제어(54)는 메타데이터(21)에 의해 표시된 원하는 모드에 응답하여 스위치(55)의 위치를 설정할 수 있다.
스위치(55)는 물리적 스위치 또는 논리적 스위치를 포함할 수 있다. 스위치(55)의 각각의 위치에 대해, 맵핑 알고리즘들의 상이한 세트(56)는 맵핑 논리(57)에 이용 가능하게 이루어진다. 예시된 실시예는 세트들(56A, 56B 및 56C)(집단적으로 세트들(56))을 제공한다. 각각의 세트(56)는 예를 들면, 일반 알고리즘(57A), 상이한 지정 타입들의 광원들(57B-1, 57B-2)에 대한 복수의 알고리즘들, 및 지정 컬러들 또는 컬러 영역들(57C-1, 57C-2)에 대한 복수의 알고리즘들을 포함한다.
일부 실시예들에서, 텔레비전들 또는 다른 다운스트림 디바이스들은 비디오 데이터(14)에 적용될 맵핑 알고리즘에 대한 명세를 수신하도록 구성된 색조/색역 맵핑 장치를 통합할 수 있다. 명세는 룩업 테이블 값들과 같은 특정 맵핑 파라미터들, 장치에 의해 구현되는 색조 및/또는 색역 맵핑 알고리즘(들)의 동작의 일부 양태를 제어하는 파라미터들, 또는 이미지 데이터(14)의 색조 및/또는 색역을 맵핑하는데 장치에 의해 실행될 하나 이상의 특수 알고리즘들의 명세로 이루어질 수 있다. 룩업 테이블들은 초기화시 설정될 수 있고, 원하는 색조/색역 맵핑을 선택하기 위해 룩업 테이블들을 통해 인덱싱하기 위해 메타데이터가 이용될 수 있다. 초기화는 고정된 세트의 데이터(수신단에서 만들어지는 것이 아니라 사용자에 의해 공급되는 데이터를 포함할 수 있음)로 또는 메타데이터의 전송을 통해 수행될 수 있다.
표 1은 본 발명의 컨텍스트에서 이용될 수 있는 위치-지정 메타데이터 코드들의 일부 예들의 예시를 제공한다. 표 1에 도시된 코드들은 단지 예들일 뿐이다.
예시적인 위치-지정 메타데이터 코드들
코드 의미 비고
0000 디폴트 맵핑
0001 반사체
0010 방출체
1101 예비 컬러의 반사체
1110 예비 컬러의 방출체
표 2는 본 발명의 컨텍스트에서 이용될 수 있는 컬러-지정 메타데이터 코드들의 일부 예들의 예시를 제공한다. 표 2에 도시된 코드들은 단지 예들일 뿐이다.
예시적인 컬러-지정 메타데이터 코드들
코드 의미 비고
0011 색역외 컬러 그레이딩 컬러가 의도적으로 컬러 그레이딩에 이용되는 기준 디스플레이의 색역외에 있음을 표시
0100 예비 컬러 #1 예를 들면, CIE LAB 컬러 공간에서 CIE XYZ 좌표들의 60-비트 표현들(좌표당 20 비트들)로서 예비 컬러들이 명시될 수 있음
0101 예비 컬러 #2
0110 예비 컬러 #3
0111 예비 컬러 #4
표 3은 본 발명의 컨텍스트에서 이용될 수 있는 일반 메타데이터 정보의 일부 예들의 예시를 제공한다. 표 3에 도시된 코드들은 단지 예들일 뿐이다.
예시적인 일반 메타데이터 정보
코드 의미 비고
이미지 히스토그램 히스토그램은 히스토그램 버킷들과 연관된 범위들 내에 오는 각각의 컬러 채널에 대한 픽셀들의 수를 예시 예를 들면, 256개의 24-비트 히스토그램 버킷들은 각각의 컬러 채널에 제공될 수 있다
디렉터 선택 모드 다운스트림 디스플레이 디바이스의 색조/색역 맵핑 모드들의 제어(예를 들면, "선명", "시네마", "표준" 및 "프로" 모드들 중에서)를 허용
컨텐트 소스 값들은 예를 들면 이미지 데이터가 카메라 디렉트인지 컬러 그레이딩되는지를 명시
방법(25)에서의 동작들의 순서는 변경될 수 있다. 예를 들면, 처리되고 있는 픽셀 데이터의 피스가 특수 위치에 대응하는지의 여부의 결정은 픽셀 데이터가 컬러 공간에서의 특수 영역에 대응하는지의 여부를 결정한 후에 수행될 수 있다. 도 2a에 도시된 다른 예시적 실시예에서, 픽셀 데이터가 특수 위치에 대응하는 것으로서 식별되는 경우, 블록(40A)은 픽셀 데이터가 또한 컬러 공간에서의 특수 지점 또는 영역에 대응하는지의 여부를 결정하기 위해 수행된다. 그러한 경우, 둘다 위치-지정 및 컬러-지정인 맵이 블록(42A)에서 선택되고, 이 맵은 블록(43A)에서의 픽셀에 대한 컬러 좌표들을 맵핑하기 위해 적용된다.
예시적 응용에서, 비디오 신호는 "표준 컬러 텔레비전(standard color television)" 상에 디스플레이되도록 컬러 그레이딩되었다. 그러나, 비디오 신호는 표준 텔레비전보다 넓고 또한 표준 텔레비전보다 큰 다이내믹 레인지를 가지는 색역을 가진 텔레비전 상에 디스플레이될 것이다. 이러한 응용에서, 디스플레이의 성능을 이용하기 위해 입력 비디오 데이터의 다이내믹 레인지를 약간 부스팅하고 그 후 입력 비디오 데이터의 색역을 약간 확장하는 것이 바람직할 수 있다. 다이내믹 레인지 및 색역의 적합한 확장을 제공하는 디폴트 맵핑이, 예를 들면, 룩업 테이블들의 세트의 형태로 제공된다. 이를 용이하게 하기 위해, 이미지 데이터가 제공될 수 있거나, 색상 및 밝기 좌표들을 포함하는 컬러 공간으로 변환될 수 있다.
컬러 그레이딩 동안, 예를 들면, 비디오에 묘사된 사람의 피부에 나타나는 컬러들의 범위와 같은 특정 컬러들은 예비 컬러들로서 식별된다. 메타데이터는 이들 예비 컬러들을 식별하여, 맵핑은 피부 색조들을 변경하지 않을 것이다. 또한, 비디오 컨텐트의 준비에서 또는 맵핑 장치로부터의 후속 위치 업스트림에서, 비디오 이미지들이 이미지들 내에 광원들을 위치시키도록 처리된다. 이들 광원들의 위치들(및, 일부 경우들에서, 광원들의 타입들)을 식별하는 메타데이터가 생성된다.
픽셀 위치 정보는 광원들의 위치들에 비교된다. 처리되고 있는 픽셀 데이터가 광원의 위치에 대응하는 경우, 상이한 맵핑이 적용될 수 있다. 일부 실시예들에서, 광원들에 대응하는 위치들에 대한 선택된 맵핑은 광원들에 대응하는 것으로서 식별되지 않는 영역들에 적용되는 맵핑들보다 적극적으로 다이내믹 레인지를 확장한다.
도 4는 예시적인 실시예에 따른 맵핑 논리(60)를 도시한다. 맵핑되고 있는 픽셀 데이터(15)는 버퍼 또는 메모리(62)에서 수신된다. 비교 유닛(64)은 픽셀 데이터(15)의 컬러 좌표들을 버퍼 또는 메모리(66)에서의 예비 컬러 좌표들(65)의 세트와 비교한다. 제 2 비교 유닛(68)은 픽셀 데이터의 위치 정보를 버퍼 또는 메모리(70)에서의 특수 위치들(69)의 세트와 비교한다. 알고리즘 선택 논리(72)는 비교 유닛들(64 및 68)의 출력들에 기초하여 픽셀 데이터에 대한 적합한 맵핑 알고리즘을 선택한다. 예시된 실시예는 상이한 맵핑 알고리즘을 실행하도록 각각 구성된 여러 병렬 맵핑 파이프라인들(75)을 가진다. 알고리즘 선택 논리(72)는 파이프라인들(75) 중 어느 것이 픽셀 데이터(15)를 처리하기 위해 이용될 것인지를 결정한다. 맵핑된 픽셀 데이터(15')가 메모리 또는 버퍼(77)에 기록된다.
파이프라인들(75) 중의 선택은 임의의 적합한 방식으로 달성될 수 있다. 일부 예들은 다음과 같다:
Figure pct00002
파이프라인들(75) 중 하나를 선택적으로 인에이블한다;
Figure pct00003
픽셀 데이터(15)를 선택된 파이프라인(75)에만 적용한다;
Figure pct00004
맵핑된 픽셀 데이터(15')를 기록하기 위한 하나의 파이프라인(75)의 출력을 선택한다. 다른 대안으로서, 알고리즘 선택 유닛(72)은 비교 유닛들(64 및 68)의 출력들에 대응하는 맵핑 알고리즘을 수행하기 위해 프로그램 가능하거나 구성 가능한 논리 파이프라인을 실시간 재구성하도록 구성될 수 있다. 비교 유닛들(64 및 68)은 2-상태 출력들을 가지지만, 이들로 제한되지 않는다. 일부 실시예들에서, 비교 유닛들(64 및 68) 중 하나 또는 둘다의 출력들은 3 이상의 상태들을 가질 수 있다.
본 발명에 따른 방법들 및 장치가 이용 가능하게 이루어질 수 있는 일부 특정 방식들이 다음을 포함한다:
Figure pct00005
본 발명의 일 실시예에 따른 장치를 포함하는 이미지 처리 칩들;
Figure pct00006
본 명세서에 기술된 색조 및/또는 색역 맵핑 장치를 통합하는 셋톱 박스, 텔레비전, 컴퓨터 모니터, 프로젝터 및/또는 다른 디스플레이;
Figure pct00007
본 명세서에 기술된 색조 및/또는 색역 맵핑 장치를 통합하는 DVD 플레이어(예를 들면, 블루-레이 플레이어), 비디오 플레이어, 카메라, 모바일 폰 등과 같은 이미지 데이터 소스;
Figure pct00008
실행될 때 본 발명에 따른 방법을 수행하기 위한 프로그래밍 가능한 처리기 및/또는 구성 가능한 논리 장치를 구성하는 펌웨어 또는 다른 컴퓨터-판독 가능한 명령들을 포함하는 물리적 또는 비일시적 컴퓨터-판독 가능한 매체들;
Figure pct00009
본 발명에 따른 방법을 수행할 수 있는 하드웨어 및/또는 소프트웨어를 포함하는 하나 이상의 중앙 처리 유닛들(CPU들), 하나 이상의 마이크로프로세서들, 하나 이상의 필드 프로그래밍 가능한 게이트 어레이들(FPGA들), 하나 이상의 주문형 집적 회로들(ASIC들), 하나 이상의 그래픽스 처리 유닛들(GPU들), 또는 이들의 임의의 조합, 또는 임의의 다른 적합한 처리 유닛(들); 및
Figure pct00010
본 명세서에 기술된 색조 및/또는 색역 맵핑 장치를 통합하는 컬러 그레이딩 툴들.
다수의 예시적인 양태들 및 실시예들이 상기에 논의되었지만, 본 기술분야의 통상의 기술자들은 특정 수정들, 치환들, 추가들 및 부조합들을 인식할 것이다. 따라서, 다음에 첨부된 청구항들 및 이후 도입되는 청구항들은 이러한 수정들, 치환들, 추가들 및 부조합들이 참된 사상 및 범위 내에 있을 때 이들을 모두 포함하도록 해석되려는 의도가 있다.
따라서, 본 발명은 임의의 요소들(본 발명의 다양한 부분들 또는 특징들 및 본 명세서에 기술되고, 현존하고, 및/또는 후속적으로 개발되는 등가들)을 적합하게 포함하거나, 이들로 구성되거나, 또는 이들로 필수적으로 구성될 수 있다. 또한, 본 명세서에 예시적으로 개시된 본 발명은 본 명세서에 구체적으로 개시되던 되지 않던, 임의의 요소의 부재시 실시될 수 있다. 분명하게, 본 발명의 많은 수정들 및 변형들은 상기 개시내용들에 비추어 가능하다. 따라서, 첨부된 청구항들의 범위 내에서, 본 발명은 본 명세서에 구체적으로 기술된 것과 다르게 실시될 수 있음을 이해할 것이다.
따라서, 본 발명은, 본 발명의 일부 부분들의 구조, 특징들, 및 기능을 기술한 다음의 열거된 예시적 실시예들(EEEs)을 포함하여 본 명세서에 기술된 형태들 중 어느 것으로 구현될 수 있지만, 이에 제한되지 않는다.
EEE1. 픽셀 데이터를 맵핑하기 위한 방법에 있어서:
상기 픽셀 데이터에 대응하는 위치 정보를 하나 이상의 특수 위치들의 세트와 비교하는 단계; 및 상기 하나 이상의 특수 위치들의 세트 중 하나와 매칭하는 상기 위치 정보에 응답하여, 특수 맵핑 알고리즘에 따라 상기 픽셀 데이터의 색조 및 색역 맵핑 중 하나 또는 둘다를 수행하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE2. EEE 1에 있어서,
상기 픽셀 데이터에 대한 컬러 좌표들을 하나 이상의 예비 컬러들의 세트와 비교하는 단계, 및 상기 예비 컬러들의 세트 중 하나와 매칭하는 상기 컬러 좌표들에 응답하여, 상기 픽셀 데이터의 색역 맵핑을 억제하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE3. EEE 1에 있어서,
상기 픽셀 데이터의 컬러 좌표들을 하나 이상의 특수 컬러 영역들의 세트와 비교하는 단계, 및 상기 특수 컬러 영역들의 세트 중 하나에 대응하는 상기 컬러 좌표들에 응답하여, 컬러-지정 맵을 선택하고 상기 컬러-지정 맵에 따라 상기 픽셀 데이터를 맵핑하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE4. EEE 1에 있어서,
상기 하나 이상의 특수 위치들의 세트를 명시하는 정보를 포함하는 메타데이터를 수신 및 저장하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE5. EEE 2에 있어서,
상기 하나 이상의 예비 컬러들의 세트를 명시하는 정보를 포함하는 메타데이터를 수신 및 저장하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE6. EEE 3에 있어서,
상기 하나 이상의 특수 컬러 영역들의 세트를 명시하는 정보를 포함하는 메타데이터를 수신 및 저장하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE7. EEE 4 내지 EEE 6 중 어느 하나에 있어서,
상기 메타데이터 수신 단계는 상기 픽셀 데이터를 포함하는 신호 또는 파일로부터 상기 메타데이터를 추출하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE8. EEE 1에 있어서,
상기 특수 위치들은 복수의 타입들의 특수 위치들을 포함하고, 상기 방법은 상기 위치 정보에 의해 매칭되는 상기 특수 위치의 상기 타입에 기초하여 복수의 미리 결정된 특수 알고리즘들로부터 특수 맵핑 알고리즘을 선택하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE9. EEE 8에 있어서,
상기 특수 위치의 상기 타입은 방출형 광원 및 반사형 광원 중 하나를 포함하는, 픽셀 데이터 맵핑 방법.
EEE10. EEE 1 내지 EEE 9 중 어느 하나에 있어서,
상기 픽셀 데이터의 휘도 및 색차 값들에 관한 통계 정보를 수신하는 단계; 및
상기 통계 정보에 부분적으로 기초하여 맵핑에 의해 맵핑된 픽셀 데이터에 상기 픽셀 데이터를 맵핑하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
EEE11. EEE 10에 있어서,
상기 통계 정보는 복수의 미리 규정된 히스토그램 버킷들 중 하나와 연관된 휘도 영역 내의 휘도 값을 가진 각각의 컬러 채널에 대한 픽셀들의 수의 히스토그램을 포함하는, 픽셀 데이터 맵핑 방법.
EEE12. 이미지 처리 장치에 있어서:
대응하는 맵핑 알고리즘에 따라 맵핑된 픽셀 데이터에 픽셀 데이터를 맵핑하도록 각각 구성된 복수의 병렬 파이프라인들; 및
상기 특수 픽셀 데이터에 대응하는 위치 정보에 적어도 부분적으로 기초하여 특수 픽셀 데이터를 맵핑하기 위한 상기 복수의 파이프라인들 중 하나를 선택하도록 구성된 알고리즘 선택 논리를 포함하는, 이미지 처리 장치.
EEE13. EEE 12에 있어서,
특수 위치들의 세트를 포함하는 버퍼 또는 메모리 및 상기 픽셀 데이터의 위치 정보를 상기 특수 위치들의 세트에서의 위치들과 비교하도록 구성된 제 1 비교 유닛을 포함하고, 상기 알고리즘 선택 논리는 상기 제 1 비교 유닛의 출력에 적어도 부분적으로 기초하여 상기 복수의 파이프라인들 중 하나를 선택하도록 구성되는, 이미지 처리 장치.
EEE 14. EEE 13에 있어서,
하나 이상의 특수 컬러들을 명시하는 정보를 포함하는 버퍼 또는 메모리 및 상기 픽셀 데이터의 컬러 좌표들을 상기 특수 컬러들의 세트와 비교하도록 구성된 제 2 비교 유닛을 포함하고, 상기 알고리즘 선택 논리는 상기 제 2 비교 유닛의 출력에 적어도 부분적으로 기초하여 상기 복수의 파이프라인들 중 하나를 선택하도록 구성되는, 이미지 처리 장치.
EEE15. 이미지 데이터에서 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법에 있어서:
맵핑 장치에서 이미지에 대한 픽셀 데이터를 수신하는 단계;
상기 맵핑 장치에서 메타데이터를 수신하는 단계로서, 상기 메타데이터는:
하나 이상의 특수 위치들의 세트를 명시하는 정보;
하나 이상의 예비 컬러들의 세트를 명시하는 정보; 및
하나 이상의 특수 컬러 영역들의 세트를 명시하는 정보 중 하나 이상을 포함하는, 상기 메타데이터 수신 단계; 및
상기 메타데이터로부터 결정된 맵핑 파라미터들에 적어도 부분적으로 기초하여 알고리즘에 따라 상기 픽셀 데이터를 맵핑된 픽셀 데이터로 맵핑하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE16. EEE 15에 있어서,
상기 메타데이터는 하나 이상의 특수 위치들의 세트를 명시하는 정보를 포함하고, 상기 방법은: 상기 픽셀 데이터에 대응하는 위치 정보를 하나 이상의 특수 위치들의 세트와 비교하는 단계; 및 상기 하나 이상의 특수 위치들의 세트 중 하나와 매칭하는 상기 위치 정보에 응답하여, 특수 맵핑 알고리즘에 따라 상기 픽셀 데이터의 색조 및 색역 맵핑 중 하나 또는 둘다를 수행하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE 17. EEE 16에 있어서,
상기 메타데이터는 하나 이상의 예비 컬러들의 세트를 명시하는 정보를 포함하고, 상기 방법은: 상기 픽셀 데이터에 대한 컬러 좌표들을 하나 이상의 예비 컬러들의 세트와 비교하는 단계, 및 상기 예비 컬러들의 세트 중 하나와 매칭하는 상기 컬러 좌표들에 응답하여, 상기 픽셀 데이터의 색역 맵핑을 억제하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE18. EEE 17에 있어서,
상기 메타데이터는 하나 이상의 특수 컬러 영역들의 세트를 명시하는 정보를 포함하고, 상기 방법은: 상기 픽셀 데이터의 컬러 좌표들을 하나 이상의 특수 컬러 영역들의 세트와 비교하는 단계, 및 상기 특수 컬러 영역들의 세트 중 하나에 대응하는 상기 컬러 좌표들에 응답하여, 컬러-지정 맵을 선택하고 상기 컬러-지정 맵에 따라 상기 픽셀 데이터를 맵핑하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE19. EEE 18에 있어서,
상기 메타데이터는 복수의 미리 규정된 히스토그램 버킷들 중 하나와 연관되는 휘도 범위 내의 휘도 값을 가지는 각각의 컬러 채널에 대한 픽셀들의 수의 히스토그램을 포함하고, 상기 방법은: 이미지의 밝기 또는 흐리기를 평가하기 위해 상기 히스토그램을 분석하는 단계; 및 상기 이미지의 밝기 또는 흐리기의 상기 평가에 적어도 부분적으로 기초하여 상기 픽셀 데이터를 맵핑하기 위한 색조 곡선을 생성하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE20. EEE 19에 있어서,
상기 메타데이터 수신 단계는 상기 픽셀 데이터를 포함하는 신호 또는 파일로부터 상기 메타데이터를 추출하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE21. EEE 16에 있어서,
상기 특수 위치들은 복수의 타입들의 특수 위치들을 포함하고, 상기 방법은 상기 위치 정보에 의해 매칭되는 상기 특수 위치의 상기 타입에 기초하여 복수의 미리 결정된 특수 알고리즘들로부터 특수 맵핑 알고리즘을 선택하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘 다를 맵핑하기 위한 방법.
EEE22. EEE 21에 있어서,
상기 특수 위치의 상기 타입은 방출형 광원 및 반사형 광원 중 하나를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘 다를 맵핑하기 위한 방법.
EEE23. EEE 15에 있어서,
컬러 그레이더에 의해 조정되는 상기 픽셀 데이터에 대한 색조 또는 색역 파라미터들에 적어도 부분적으로 기초하여 상기 메타데이터를 생성하는 단계; 및
상기 맵핑 장치로의 전송을 위해 이미지 데이터에서 상기 메타데이터를 인코딩하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE24. EEE 23에 있어서,
상기 메타데이터 생성 단계는 프레임 또는 장면에 대한 국부화된 메타데이터 규정들을 규정하는 단계를 포함하고, 상기 방법은 상기 프레임 또는 장면에 대한 이미지 데이터에 앞서 상기 국부화된 메타데이터 규정들을 상기 맵핑 장치에 전달하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE25. EEE 24에 있어서,
상기 메타데이터 수신 단계는 상기 픽셀 데이터를 포함하는 상기 이미지 데이터로부터 상기 메타데이터를 추출하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
EEE26. 이미지 데이터에서 픽셀 데이터의 색조, 색역 또는 색조 및 색역 둘다를 맵핑하기 위한 장치에 있어서:
이미지 데이터로부터 메타데이터를 추출하도록 구성된 메타데이터 추출 유닛;
상기 추출된 메타데이터를 수신하고 상기 추출된 메타데이터에 적어도 부분적으로 기초하여 맵핑 파라미터들의 세트를 생성하도록 구성된 구성 유닛으로서, 상기 맵핑 파라미터들은 위치 파라미터들 및 컬러 파라미터들 중 하나 이상을 포함하는, 상기 구성 유닛; 및
이미지에 대한 이미지 데이터에서의 픽셀 데이터 및 맵핑 파라미터들의 세트를 수신하고, 상기 맵핑 파라미터들의 세트에 적어도 부분적으로 기초하여 픽셀 데이터를 맵핑된 픽셀 데이터로 맵핑하도록 구성된 맵핑 유닛을 포함하는, 픽셀 데이터의 색조, 색역 또는 색조 및 색역 둘다를 맵핑하기 위한 장치.
EEE27. EEE 26에 있어서,
상기 맵핑 유닛은 상기 픽셀 데이터에 대응하는 위치 정보를 상기 위치 파라미터들에 규정된 하나 이상의 특수 위치들의 세트와 비교하고, 상기 하나 이상의 특수 위치들의 세트 중 하나와 매칭하는 상기 위치 정보에 응답하여, 특수 맵핑 알고리즘에 따라 상기 픽셀 데이터를 맵핑하는 색조 및 색역 중 하나 또는 둘다를 수행하도록 구성되는, 픽셀 데이터의 색조, 색역 또는 색조 및 색역 둘다를 맵핑하기 위한 장치.
EEE28. EEE 27에 있어서,
상기 맵핑 유닛은 상기 픽셀 데이터에 대한 컬러 좌표들을 상기 컬러 파라미터들에 규정된 하나 이상의 예비 컬러들의 세트와 비교하고, 상기 예비 컬러들의 세트 중 하나와 매칭하는 상기 컬러 좌표들에 응답하여, 상기 픽셀 데이터의 색역 맵핑을 억제하도록 구성되는, 픽셀 데이터의 색조, 색역 또는 색조 및 색역 둘다를 맵핑하기 위한 장치.
EEE29. EEE 28에 있어서,
상기 맵핑 유닛은 상기 픽셀 데이터의 컬러 좌표들을 상기 컬러 파라미터들에 규정된 하나 이상의 특수 컬러 영역들의 세트와 비교하고, 상기 특수 컬러 영역들의 세트 중 하나에 대응하는 상기 컬러 좌표들에 응답하여, 컬러-지정 맵을 선택하고 상기 컬러-지정 맵에 따라 상기 픽셀 데이터를 맵핑하도록 구성되는, 픽셀 데이터의 색조, 색역 또는 색조 및 색역 둘다를 맵핑하기 위한 장치.
EEE30. EEE 26에 있어서,
상기 구성 유닛에 의해 생성되는 상기 맵핑 파라미터들은:
상기 이미지 데이터가 디스플레이되는 디스플레이에 특정한 일반 구성 파라미터들;
통계 이미지 파라미터들; 및
디렉터의 선택된 동작 모드에 대한 파라미터들 중 하나 이상을 포함하는, 픽셀 데이터의 색조, 색역 또는 색조 및 색역 둘다를 맵핑하기 위한 장치.
14; 이미지 데이터
14'; 이미지 데이터
16; 좌표 변환
18; 맵핑
19; 논리
20; 맵핑 파라미터들
21; 메타데이터
22A; 일반
22B; 컬러
22C; 위치
24; 메타데이터 추출
26; 구성

Claims (16)

  1. 픽셀 데이터를 맵핑하기 위한 방법에 있어서:
    상기 픽셀 데이터에 대응하는 위치 정보를 하나 이상의 특수 위치들의 세트와 비교하는 단계, 및 상기 하나 이상의 특수 위치들의 세트 중 하나와 매칭하는 상기 위치 정보에 응답하여, 특수 맵핑 알고리즘에 따라 상기 픽셀 데이터의 색조 및 색역 맵핑 중 하나 또는 둘 다를 수행하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  2. 제 1 항에 있어서,
    상기 픽셀 데이터에 대한 컬러 좌표들을 하나 이상의 예비 컬러들(reserved colors)의 세트와 비교하는 단계, 및 상기 예비 컬러들의 세트 중 하나와 매칭하는 상기 컬러 좌표들에 응답하여, 상기 픽셀 데이터의 색역 맵핑을 억제하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  3. 제 1 항에 있어서,
    상기 픽셀 데이터의 컬러 좌표들을 하나 이상의 특수 컬러 영역들의 세트와 비교하는 단계, 및 상기 특수 컬러 영역들의 세트 중 하나에 대응하는 상기 컬러 좌표들에 응답하여, 컬러-지정 맵을 선택하고 상기 컬러-지정 맵에 따라 상기 픽셀 데이터를 맵핑하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  4. 제 1 항에 있어서,
    상기 하나 이상의 특수 위치들의 세트를 명시하는 정보를 포함하는 메타데이터를 수신 및 저장하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  5. 제 2 항에 있어서,
    상기 하나 이상의 예비 컬러들의 세트를 명시하는 정보를 포함하는 메타데이터를 수신 및 저장하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  6. 제 3 항에 있어서,
    상기 하나 이상의 특수 컬러 영역들의 세트를 명시하는 정보를 포함하는 메타데이터를 수신 및 저장하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  7. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 메타데이터 수신 단계는 상기 픽셀 데이터를 포함하는 신호 또는 파일로부터 상기 메타데이터를 추출하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  8. 제 1 항에 있어서,
    상기 특수 위치들은 복수의 타입들의 특수 위치들을 포함하고, 상기 방법은 상기 위치 정보에 의해 매칭되는 상기 특수 위치의 상기 타입에 기초하여 복수의 미리 결정된 특수 알고리즘들로부터 상기 특수 맵핑 알고리즘을 선택하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  9. 제 8 항에 있어서,
    상기 특수 위치의 상기 타입은 방출형 광원 및 반사형 광원 중 하나를 포함하는, 픽셀 데이터 맵핑 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 픽셀 데이터의 휘도 및 색차 값들에 관한 통계 정보를 수신하는 단계; 및
    상기 통계 정보에 부분적으로 기초한 맵핑을 통해 상기 픽셀 데이터를 맵핑된 픽셀 데이터로 맵핑하는 단계를 포함하는, 픽셀 데이터 맵핑 방법.
  11. 제 10 항에 있어서,
    상기 통계 정보는, 복수의 미리 규정된 히스토그램 버킷들(histogram buckets) 중 하나와 연관된 휘도 영역 내의 휘도 값을 가진 각각의 컬러 채널에 대한 픽셀들의 수의 히스토그램을 포함하는, 픽셀 데이터 맵핑 방법.
  12. 이미지 처리 장치에 있어서:
    대응하는 맵핑 알고리즘에 따라 픽셀 데이터를 맵핑된 픽셀 데이터로 맵핑하도록 각각 구성된 복수의 병렬 파이프라인들; 및
    특수 픽셀 데이터를, 상기 특수 픽셀 데이터에 대응하는 위치 정보에 적어도 부분적으로 기초하여, 맵핑하기 위한 상기 복수의 파이프라인들 중 하나를 선택하도록 구성된 알고리즘 선택 논리를 포함하는, 이미지 처리 장치.
  13. 제 12 항에 있어서,
    특수 위치들의 세트를 포함하는 버퍼 또는 메모리 및 상기 픽셀 데이터의 상기 위치 정보를 상기 특수 위치들의 세트에서의 위치들과 비교하도록 구성된 제 1 비교 유닛을 포함하고, 상기 알고리즘 선택 논리는 상기 제 1 비교 유닛의 출력에 적어도 부분적으로 기초하여 상기 복수의 파이프라인들 중 하나를 선택하도록 구성되는, 이미지 처리 장치.
  14. 제 13 항에 있어서,
    하나 이상의 특수 컬러들을 명시하는 정보를 포함하는 버퍼 또는 메모리 및 상기 픽셀 데이터의 컬러 좌표들을 상기 특수 컬러들의 세트와 비교하도록 구성된 제 2 비교 유닛을 포함하고, 상기 알고리즘 선택 논리는 상기 제 2 비교 유닛의 출력에 적어도 부분적으로 기초하여 상기 복수의 파이프라인들 중 하나를 선택하도록 구성되는, 이미지 처리 장치.
  15. 이미지 데이터에서 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법에 있어서:
    맵핑 장치에서 이미지에 대한 픽셀 데이터를 수신하는 단계;
    상기 맵핑 장치에서 메타데이터를 수신하는 단계로서, 상기 메타데이터는:
    하나 이상의 특수 위치들의 세트를 명시하는 정보;
    하나 이상의 예비 컬러들의 세트를 명시하는 정보; 및
    하나 이상의 특수 컬러 영역들의 세트를 명시하는 정보 중 하나 이상을 포함하는, 상기 메타데이터 수신 단계; 및
    상기 메타데이터로부터 결정된 맵핑 파라미터들에 적어도 부분적으로 기초하여 알고리즘에 따라 상기 픽셀 데이터를 맵핑된 픽셀 데이터로 맵핑하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
  16. 제 15 항에 있어서,
    컬러 그레이더(color grader)에 의해 조정되는 상기 픽셀 데이터에 대한 색조 또는 색역 파라미터들에 적어도 부분적으로 기초하여 상기 메타데이터를 생성하는 단계; 및
    상기 맵핑 장치로의 전송을 위해 이미지 데이터에서 상기 메타데이터를 인코딩하는 단계를 포함하는, 픽셀 데이터의 색조, 색역, 또는 색조 및 색역 둘다를 맵핑하기 위한 방법.
KR1020127031587A 2010-06-08 2011-05-10 색조 및 색역 맵핑 방법들 및 장치 KR101538912B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35244410P 2010-06-08 2010-06-08
US61/352,444 2010-06-08
PCT/US2011/035966 WO2011156074A2 (en) 2010-06-08 2011-05-10 Tone and gamut mapping methods and apparatus

Publications (2)

Publication Number Publication Date
KR20130016347A true KR20130016347A (ko) 2013-02-14
KR101538912B1 KR101538912B1 (ko) 2015-07-23

Family

ID=45098581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127031587A KR101538912B1 (ko) 2010-06-08 2011-05-10 색조 및 색역 맵핑 방법들 및 장치

Country Status (6)

Country Link
US (2) US8928686B2 (ko)
EP (1) EP2580913A4 (ko)
JP (1) JP5611457B2 (ko)
KR (1) KR101538912B1 (ko)
CN (1) CN103004213B (ko)
WO (1) WO2011156074A2 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2617184B1 (en) * 2010-09-13 2019-01-16 Dolby Laboratories Licensing Corporation Data transmission using out-of-gamut color coordinates
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
KR20200074229A (ko) 2011-05-27 2020-06-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
WO2013090120A1 (en) * 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
EP2845164B1 (en) * 2012-04-30 2018-06-06 Dolby Laboratories Licensing Corporation Reference card for scene referred metadata capture
US9390681B2 (en) * 2012-09-11 2016-07-12 Apple Inc. Temporal filtering for dynamic pixel and backlight control
US8988452B2 (en) * 2012-10-18 2015-03-24 Intel Corporation Color enhancement via gamut expansion
JP6078663B2 (ja) 2013-01-29 2017-02-08 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. プリント仕様色分解ルックアップテーブルの生成
EP2779151B1 (en) * 2013-03-11 2018-05-16 Renesas Electronics Europe Limited Video output checker
RU2627048C1 (ru) 2013-07-30 2017-08-03 Долби Лэборетериз Лайсенсинг Корпорейшн Система и способы для формирования сценовых стабилизированных метаданных
CN107147942B (zh) * 2013-10-02 2021-01-26 杜比实验室特许公司 视频信号传输方法、设备、装置以及存储介质
US9412336B2 (en) * 2013-10-07 2016-08-09 Google Inc. Dynamic backlight control for spatially independent display regions
ES2929313T3 (es) 2013-10-10 2022-11-28 Dolby Laboratories Licensing Corp Visualización de contenido DCI y otro en un proyector de rango dinámico mejorado
EP2989793B1 (en) 2013-11-13 2017-04-05 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of enhanced dynamic range video
US10009588B2 (en) 2013-12-26 2018-06-26 Canon Kabushiki Kaisha Image processing apparatus and imaging apparatus
JP6576018B2 (ja) * 2013-12-26 2019-09-18 キヤノン株式会社 画像処理装置および撮像装置
CN116320394A (zh) 2014-02-25 2023-06-23 苹果公司 用于视频编码和解码的自适应传递函数
US9462239B2 (en) * 2014-07-15 2016-10-04 Fuji Xerox Co., Ltd. Systems and methods for time-multiplexing temporal pixel-location data and regular image projection for interactive projection
WO2016031911A1 (ja) * 2014-08-29 2016-03-03 シャープ株式会社 制御情報生成装置、受信装置、映像信号伝送システム、および制御プログラム
KR102190233B1 (ko) * 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
US10277783B2 (en) * 2014-11-14 2019-04-30 Samsung Electronics Co., Ltd. Method and device for image display based on metadata, and recording medium therefor
EP3029925A1 (en) * 2014-12-01 2016-06-08 Thomson Licensing A method and device for estimating a color mapping between two different color-graded versions of a picture
CN105791906A (zh) * 2014-12-15 2016-07-20 深圳Tcl数字技术有限公司 信息推送的方法和系统
EP3286918A1 (en) 2015-04-21 2018-02-28 VID SCALE, Inc. Artistic intent based video coding
US10136074B2 (en) * 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
EP3119086A1 (en) * 2015-07-17 2017-01-18 Thomson Licensing Methods and devices for encoding/decoding videos
US10516810B2 (en) * 2016-03-07 2019-12-24 Novatek Microelectronics Corp. Method of gamut mapping and related image conversion system
US20190204192A1 (en) * 2016-07-22 2019-07-04 Halliburton Energy Services, Inc. Fiber optic interrogation system for multiple distributed sensing systems
US10943336B2 (en) * 2016-08-04 2021-03-09 Intel Corporation Tone-mapping high dynamic range images
EP3510772B1 (en) * 2016-09-09 2020-12-09 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
CA3039361C (en) * 2016-10-05 2021-05-18 Dolby Laboratories Licensing Corporation Source color volume information messaging
JP7084984B2 (ja) 2017-09-06 2022-06-15 ドルビー ラボラトリーズ ライセンシング コーポレイション トーンカーブ最適化方法および関連するビデオエンコーダとビデオデコーダ
KR102448497B1 (ko) * 2017-11-17 2022-09-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control
JP2019184714A (ja) * 2018-04-04 2019-10-24 株式会社ジャパンディスプレイ 表示装置
US11030728B2 (en) * 2018-05-29 2021-06-08 Apple Inc. Tone mapping techniques for increased dynamic range
CN113168672B (zh) * 2018-10-19 2024-02-02 高途乐公司 用于图像处理的色调映射和色调控制集成
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR102641738B1 (ko) * 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
CN115804080A (zh) * 2020-07-13 2023-03-14 高通股份有限公司 弱光条件下捕获的被颜色着色像素的校正
CN113066153B (zh) * 2021-04-28 2023-03-31 浙江中控技术股份有限公司 管道流程图的生成方法、装置、设备及存储介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63316992A (ja) 1987-06-19 1988-12-26 Fuji Photo Film Co Ltd 画像信号の色変換方法
JP2943170B2 (ja) 1989-10-13 1999-08-30 ブラザー工業株式会社 カラー画像処理装置
JP3124113B2 (ja) * 1992-08-06 2001-01-15 富士写真フイルム株式会社 再現画像濃度補正装置
JPH11341296A (ja) 1998-05-28 1999-12-10 Sony Corp 色域変換方法及び色域変換装置
JP4017797B2 (ja) * 1999-11-17 2007-12-05 富士フイルム株式会社 画像処理方法、装置およびコンピュータ読取可能な記録媒体
JP2001218047A (ja) * 2000-02-04 2001-08-10 Fuji Photo Film Co Ltd 画像処理装置
US7024055B2 (en) * 2002-01-02 2006-04-04 Canon Kabushiki Kaisha Sparse representation of extended gamut images
JP4078534B2 (ja) * 2002-06-13 2008-04-23 カシオ計算機株式会社 画像処理装置および画像処理方法
KR100467600B1 (ko) * 2002-07-30 2005-01-24 삼성전자주식회사 컬러 정정 방법
JP2004153554A (ja) 2002-10-30 2004-05-27 Fuji Photo Film Co Ltd 色領域写像方法、色領域写像装置、および色領域写像プログラム
GB2398715A (en) * 2003-02-21 2004-08-25 Sony Uk Ltd Pixel-based colour correction using two or more colour correction processes
JP4189654B2 (ja) * 2003-04-18 2008-12-03 セイコーエプソン株式会社 画像処理装置
US7280705B1 (en) * 2003-08-04 2007-10-09 Pixim, Inc. Tone correction method using a blending mask
JP2005252728A (ja) * 2004-03-04 2005-09-15 Casio Electronics Co Ltd 色変換処理装置
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
JP2005328845A (ja) * 2004-05-06 2005-12-02 Oce Technologies Bv デジタルカラー画像を変換する方法、装置およびコンピュータプログラム
CN1874526A (zh) * 2005-05-05 2006-12-06 创世纪微芯片公司 色调、饱和度和亮度方向上的检测、校正衰减和处理
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US8374458B2 (en) * 2005-12-21 2013-02-12 Nec Corporation Tone correcting method, tone correcting apparatus, tone correcting program, and image equipment
KR20070091853A (ko) * 2006-03-07 2007-09-12 삼성전자주식회사 영상 적응적인 색 재현 장치 및 방법
US8194997B2 (en) 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US20080056566A1 (en) * 2006-09-01 2008-03-06 Texas Instruments Incorporated Video processing
KR100834762B1 (ko) 2006-09-29 2008-06-05 삼성전자주식회사 이 기종간 색역 사상 방법 및 장치
JP2008141237A (ja) * 2006-11-29 2008-06-19 Canon Inc 色処理装置およびその方法
US8159500B1 (en) * 2006-12-18 2012-04-17 Pixar Methods and apparatus for color grading with gamut match preview
CN101641949B (zh) * 2007-04-03 2012-02-01 汤姆逊许可公司 用于色彩校正具有不同色域的显示器的方法和系统
US8155434B2 (en) 2007-10-30 2012-04-10 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement
US8207932B2 (en) * 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
KR101476878B1 (ko) * 2008-01-31 2014-12-26 톰슨 라이센싱 고화질 멀티미디어 인터페이스를 통한 룩 데이터 정의 및 전송을 위한 방법 및 시스템
EP2277142A1 (en) * 2008-04-11 2011-01-26 Thomson Licensing System and method for enhancing the visibility of an object in a digital picture
US8165395B2 (en) * 2008-04-15 2012-04-24 Sony Corporation Automatic image color tone correction
EP2120448A1 (en) 2008-05-14 2009-11-18 Thomson Licensing Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
CN104333766B (zh) * 2008-08-22 2018-08-07 汤姆逊许可证公司 用于内容传送的方法和系统
JP5106333B2 (ja) * 2008-09-19 2012-12-26 三洋電機株式会社 画像処理装置、画像処理プログラム、および画像処理方法
US20100080459A1 (en) * 2008-09-26 2010-04-01 Qualcomm Incorporated Content adaptive histogram enhancement
US8466936B2 (en) * 2008-10-21 2013-06-18 Hisense Beijing Electric Co., Ltd. Color gamut mapping method for multimedia equipment, a television and a color processing apparatus

Also Published As

Publication number Publication date
US20150103091A1 (en) 2015-04-16
JP5611457B2 (ja) 2014-10-22
KR101538912B1 (ko) 2015-07-23
EP2580913A2 (en) 2013-04-17
US9728117B2 (en) 2017-08-08
CN103004213A (zh) 2013-03-27
US20130076763A1 (en) 2013-03-28
EP2580913A4 (en) 2017-06-07
US8928686B2 (en) 2015-01-06
CN103004213B (zh) 2016-04-20
JP2013527732A (ja) 2013-06-27
WO2011156074A2 (en) 2011-12-15
WO2011156074A3 (en) 2012-04-19

Similar Documents

Publication Publication Date Title
KR101538912B1 (ko) 색조 및 색역 맵핑 방법들 및 장치
US10255879B2 (en) Method and apparatus for image data transformation
US10460699B2 (en) Transitioning between video priority and graphics priority
KR102176398B1 (ko) 영상처리장치 및 영상처리방법
KR20210027500A (ko) 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
US10192517B2 (en) Method of adapting a source image content to a target display
JPWO2006059573A1 (ja) 色彩調整装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180710

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190709

Year of fee payment: 5