KR20180091108A - 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템 - Google Patents

크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템 Download PDF

Info

Publication number
KR20180091108A
KR20180091108A KR1020187022303A KR20187022303A KR20180091108A KR 20180091108 A KR20180091108 A KR 20180091108A KR 1020187022303 A KR1020187022303 A KR 1020187022303A KR 20187022303 A KR20187022303 A KR 20187022303A KR 20180091108 A KR20180091108 A KR 20180091108A
Authority
KR
South Korea
Prior art keywords
tone mapping
video
mapping function
display
global
Prior art date
Application number
KR1020187022303A
Other languages
English (en)
Other versions
KR102126512B1 (ko
Inventor
리 타오
김영택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180091108A publication Critical patent/KR20180091108A/ko
Application granted granted Critical
Publication of KR102126512B1 publication Critical patent/KR102126512B1/ko

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

비디오 톤 매핑을 위한 방법, 장치(apparatus), 및 비일시적 컴퓨터 판독가능 매체. 상기 방법은 상기 비디오 및 적어도 부분적으로 전역 톤 매핑 함수를 나타내는 메타데이터를 수신하는 단계를 포함한다. 상기 방법은 적어도 상기 메타데이터 및 상기 디스플레이의 특성에 기반하여 상기 전역 톤 매핑 함수를 결정하는 단계, 및 상기 전역 톤 매핑 함수를 상기 비디오에 적용하고 상기 전역 톤 매핑 함수의 적용에 있어서 상기 디스플레이의 피크 휘도값을 사용함으로써 톤 매핑된 비디오를 생성하는 단계를 더 포함한다.

Description

크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템
본 개시는 일반적으로 비디오 톤 처리에 관한 것이다. 보다 구체적으로, 본 개시는 크리에이티브 인텐트 메타데이터(creative intent metadata)를 갖는 톤 마스터링 시스템에 관한 것이다.
스튜디오에서, 사용자들은, 원본 비디오의 휘도(luminance) 또는 밝기(brightness) 레벨을 최적화 또는 향상시키기 위해, 마스터링 모니터를 이용하여 마스터링된(mastered) 비디오를 생성할 수 있다. 종종, 비디오를 마스터링하는 데 사용되는 마스터링 모니터는 차후에 비디오가 표시되는 타겟 디스플레이들과는 상이한 피크 휘도 또는 밝기 레벨을 가진다. 전형적으로, 마스터링 모니터의 최대 휘도 레벨은 타겟 디스플레이의 최대 휘도 레벨보다 훨씬 더 크다.
본 개시는 크리에이티브 인텐트 메타데이터를 이용하는 톤 마스터링 시스템을 제공한다.
본 개시 및 그 이점에 대한 보다 완전한 이해를 위해, 다음의 설명이 첨부한 도면들과 함께 이루어진다:
도 1은 본 개시의 다양한 실시예들이 구현될 수 있는 예시적 컴퓨팅 시스템을 도시한다.
도 2는 본 개시의 일 실시예에 따른 미러링된(mirrored) 크리에이티브 인텐트 시스템을 도시한다.
도 3은 본 개시의 일 실시예에 따른, 직렬적으로 전역(global) 크리에이티브 인텐트 톤 매핑 곡선(curve) 및 국부(local) 크리에이티브 인텐트 톤 매핑 곡선을 갖는 예시적 톤 마스터 모듈을 도시한다.
도 4는 본 개시의 일 실시예에 따른, 믹서 모듈과 함께 병렬적으로 전역 크리에이티브 인텐트 톤 매핑 곡선 및 국부 크리에이티브 인텐트 톤 매핑 곡선을 갖는 예시적 톤 마스터 모듈을 도시한다.
도 5a, 도 5b, 및 도 5c는 본 개시의 다양한 실시예들에 따른, 예시적 전역 및 국부 크리에이티브 인텐트 톤 매핑 함수들을 도시한다.
도 6은 본 개시의 다양한 실시예들에 따른 예시적 믹서를 도시한다.
도 7은 본 개시의 다양한 실시예들에 따른, 국부 객체 표현(local object expression)의 예를 도시한다.
도 8a, 도 8b, 및 도 8c는 본 개시의 다양한 실시예들에 따른, 변환 가중 인자들(transition weighting factors)의 예를 도시한다.
도 9는 본 개시의 다양한 실시예들에 따른, 국부 객체 표현의 예를 도시한다.
도 10은 본 개시의 다양한 실시예들에 따른, 변환 가중 인자의 예를 도시한다.
도 11은 본 개시의 다양한 실시예들에 따른, 전자 장치에 구현된 예시적 톤 매핑 시스템을 도시한다.
도 12는 본 개시의 다양한 실시예들에 따른, 전자 장치에 구현된 예시적 톤 매핑 시스템을 도시한다.
도 13은 본 개시의 다양한 실시예들에 따른, 비디오 톤 매핑에 대한 예시적 프로세스를 도시한다.
도 14는 본 개시에 따른 예시적 비디오 처리 장치를 도시한다.
제1 실시예에서, 비디오 톤 매핑 방법이 제공된다. 상기 방법은 상기 비디오 및 적어도 부분적으로 전역 톤 매핑 함수를 나타내는 메타데이터를 수신하는 단계를 포함한다. 상기 방법은 적어도 상기 메타데이터 및 디스플레이의 특성에 기반하여 상기 전역 톤 매핑 함수를 결정하는 단계, 및 상기 전역 톤 매핑 함수를 상기 비디오에 적용하고 상기 전역 톤 매핑 함수의 적용에 있어서 상기 디스플레이의 피크 휘도값을 사용함으로써 톤 매핑된 비디오를 생성하는 단계를 더 포함한다.
제2 실시예에서, 비디오 톤 매핑 장치(apparatus)가 제공된다. 상기 장치는 메모리 및 상기 메모리에 작동가능하게(operably) 연결되는 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 상기 비디오 및 적어도 부분적으로 전역 톤 매핑 함수를 나타내는 메타데이터를 수신하도록 구성된다. 상기 적어도 하나의 프로세서는 적어도 상기 메타데이터 및 디스플레이의 특성에 기반하여 상기 전역 톤 매핑 함수를 결정하고, 상기 전역 톤 매핑 함수를 상기 비디오에 적용함으로써 및 상기 전역 톤 매핑 함수의 적용에 있어서 상기 디스플레이의 피크 휘도값을 사용함으로써 톤 매핑된 비디오를 생성하도록 더 구성된다.
제3 실시예에서,비디오 톤 매핑을 위한 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체가 제공된다. 상기 프로그램 코드는, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금, 비디오 및 적어도 부분적으로 전역 톤 매핑 함수를 나타내는 메타데이터를 수신하고, 적어도 상기 메타데이터 및 디스플레이의 특성에 기반하여 상기 전역 톤 매핑 함수를 결정하며, 상기 전역 톤 매핑 함수를 상기 비디오에 적용함으로써 및 상기 전역 톤 매핑 함수의 적용에 있어서 상기 디스플레이의 피크 휘도값을 사용함으로써 톤 매핑된 비디오를 생성하도록, 적어도 제1 및 제2 톤 매핑 함수들을 사용하여 상기 비디오를 처리하게 한다.
예시적 실시예에서, 상기 메타데이터는, 제1 범위 거리(range distance) 및 제2 범위 거리 사이에서 국부 톤 매핑 함수들의 효과를 단조 감소시키는 데 사용되는, 변환 가중 인자(transition weighting factor)를 더 포함한다.
예시적 실시예에서, 상기 메타데이터는 국부 톤 매핑 함수들을 더 나타내고, 상기 톤 매핑된 비디오를 생성하는 단계는 국부 톤 매핑 함수를 상기 비디오에 적용하는 단계를 포함한다.
예시적 실시예에서, 상기 전역 톤 매핑 함수 및 상기 국부 톤 매핑 함수들은 명시적인 베지에 곡선(explicit Bezier curve)에 상응한다.
예시적 실시예에서, 상기 메타데이터는 상기 비디오의 피크 휘도값을 포함하고, 상기 디스플레이의 상기 특성은 상기 디스플레이의 피크 휘도값을 포함한다.
기타 기술적 특징들은 다음의 도면, 설명, 및 청구항으로부터 본 개시가 속하는 기술분야의 숙련된 자에게 명백해질 수 있다.
하기에서 상세한 설명에 들어가기 전에, 본 특허 문서 전체에 걸쳐 사용되는 일정 단어들 및 어구들에 대한 정의를 설명하는 것이 유리할 수 있다. 용어 "결합하다(couple)" 및 그 파생어들은, 둘 이상의 요소들이 서로 물리적으로 접촉하고 있든지 아니든지 상관없이, 그러한 둘 이상의 요소들 간의 어떤 직접적인 또는 간접적인 통신(communication)을 말한다. 용어 "전송하다(transmit)", "수신하다(receive)", "통신하다(communicate)", 및 그 파생어들은 직접적 및 간접적 통신 둘 모두를 포괄한다. 용어 "포함하다(include)", "포함하다(comprise)", 및 그 파생어들은 제한 없는 포함을 의미한다. 용어 "또는(or)"은 포괄적이며(inclusive), 및/또는(and/or)을 의미한다. 어구 "~와 연관되다(associated with)" 및 그 파생어들은 포함하다, ~내에 포함되다, ~와 상호 연결되다(interconnect with), ~에 또는 ~와 연결되다(connect to or with), ~에 또는 ~와 결합하다(couple to or with), ~와 통신 가능하다(be communicable with), ~와 협력하다(cooperate with), 끼워 넣다(interleave), 병치하다(juxtapose), ~에 근접하다(be proximate to), ~에 또는 ~와 결속되다(be bound to or with), 가지다, ~의 특성을 가지다(have a property of), 또는 ~에 또는 ~와 관계성을 가지다(have a relationship to or with) 등을 의미한다. 용어 "제어기(controller)"는 적어도 하나의 동작을 제어하는 어떤 장치, 시스템, 또는 그 일부를 의미한다. 그러한 제어기는 하드웨어로 또는 하드웨어와 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 어떤 특정한 제어기와 연관된 기능(functionality)은, 국부적으로든 원격적으로든, 중앙집중화되어 있거나 또는 분산되어 있을 수 있다. 어구 "~중 적어도 하나(at least one of)"는, 항목들의 리스트와 함께 사용될 때, 상기 열거된 항목들 중 하나 이상의 상이한 조합들이 이용될 수도 있고 상기 리스트 내의 오직 한 항목만이 필요할 수도 있음을 의미한다. 예를 들면, "A, B, 및 C 중 적어도 하나"는 다음 조합들 중 어떤 것이든 포함한다: A, B, C, A 및 B, A 및 C, B 및 C, 및 A 및 B 및 C.
또한, 하기에 설명되는 다양한 함수들(functions)은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원되며, 상기 컴퓨터 프로그램들 각각은 컴퓨터 판독가능 프로그램 코드로부터 형성되고 컴퓨터 판독가능 매체에 체현된다(embodied). 용어 "애플리케이션(application)" 및 "프로그램(program)"은 하나 이상의 컴퓨터 프로그램들, 소프트웨어 구성요소들, 명령어들의 세트들, 프로시저들(procedures), 함수들(functions), 객체들(objects), 클래스들(classes), 인스턴스들(instances), 관련 데이터, 또는 적절한 컴퓨터 판독가능 프로그램 코드로 구현되도록 적합화된(adapted) 이들의 일부를 말한다. 어구 "컴퓨터 판독가능 프로그램 코드"는, 소스 코드(source code), 객체 코드(object code), 및 실행가능 코드(executable code)를 포함하여, 어떠한 유형의 컴퓨터 코드라도 포함한다. 어구 "컴퓨터 판독가능 매체"는, 읽기 전용 메모리(read only memory: ROM), 랜덤 액세스 메모리(random access memory: RAM), 하드 디스크 드라이브, 컴팩트 디스크(compact disc: CD), 디지털 비디오 디스크(digital video disc: DVD), 블루레이 디스크, 또는 다른 어떤 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 어떠한 유형의 매체라도 포함한다. "비일시적(non-transitory)" 컴퓨터 판독가능 매체는 일시적인 전기적 또는 기타 신호들을 전송하는 유선, 무선, 광학적, 또는 기타 통신 링크들을 제외한다. 비일시적 컴퓨터 판독가능 매체는, 다시쓰기가능(rewritable) 광디스크, 소거가능(erasable) 메모리 장치, 정적 RAM, 동적 RAM, 또는 플래시 메모리와 같이, 데이터가 영구적으로 저장될 수 있는 매체들 및 데이터가 저장되고 추후에 덮어쓰여질(overwritten) 수 있는 매체들을 포함한다.
하기에 설명되는 다양한 함수들은 하나 이상의 컴퓨터 프로그램들을 저장하는 컴퓨터 판독가능 매체와 결합된 프로세서에 의해 구현 또는 지원될 수 있다. 이와 같이, 상기 프로세서는 상기 하나 이상의 컴퓨터 프로그램들에 의해 정의되는 함수들을 수행하기 위한 특수 목적 프로세서이다.
기타의 일정 단어들 및 어구들에 대한 정의들은 본 특허 문서 전체에 걸쳐 제공된다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자라면, 많은 경우 아니면 대부분의 경우에, 그러한 정의들이 그와 같이 정의된 단어들 및 어구들의 사용 이후 뿐 아니라 이전에도 적용됨을 이해해야 할 것이다.
하기에 설명되는 도 1 내지 도 14, 및 본 특허 문서에서 본 개시의 원리를 설명하는 데 이용되는 다양한 실시예들은 단지 예시를 위한 것이며 어떠한 경우에도 본 개시의 범위를 제한하는 것으로 해석되어서는 안 된다. 본 개시가 속하는 기술분야의 숙련된 자라면 본 개시의 원리가 적절하게 구성된 어떠한 무선 통신 시스템에서든 구현될 수 있음을 이해할 것이다.
본 개시의 실시예들에서는 마스터링된 비디오의 최대 휘도 레벨보다 낮은 최대 휘도 레벨을 갖는 디스플레이 상에 상기 마스터링된 비디오를 표시하는 경우 상기 비디오의 품질이 저하될 수 있음을 인식하고 있다. 예를 들면, 타겟 디스플레이의 최대 휘도 레벨보다 더 큰 휘도 레벨을 갖는 마스터링된 비디오의 일부가 클리핑되거나(clipped) 또는 상기 타겟 디스플레이의 최대 휘도 레벨로 제한될 수 있어, 표시되는 비디오의 휘도값들의 범위가 제한될 수 있다.
스튜디오가 M-니트(nit)의 최대 휘도 레벨을 갖는 마스터링 모니터로 영화를 이미 마스터링한 예를 들어보면, 사용자는 상기 마스터링된 비디오가 타겟 디스플레이에 대해 N-니트의 상이한 피크 휘도 레벨을 갖기를 원할 수 있으며, 여기서 N<M이다. 그러한 경우에, 상기 사용자는 N-니트의 최대 휘도 레벨을 갖는 마스터링 모니터를 이용하여 원본 비디오 파일을 리마스터링할 필요가 있을 수 있다.
본 개시의 실시예들에서는 이 프로세스가 시간이 많이 걸리고 비용이 많이 들 수 있다는 것을 인식하고 있다. 다른 예에서, 상기 사용자는, 보다 높은 마스터링 모니터 휘도 레벨로부터 보다 낮은 타겟 디스플레이 휘도 레벨로 다운 톤 매핑하는 알고리즘 또는 소프트웨어로 톤 매핑된 비디오를 생성하도록, 이미 마스터링된 비디오를 사용하는 톤 매핑 방법을 이용할 수 있다.
본 개시의 실시예들에서는 이 프로세스가, 하이라이트된 객체들 또는 장면들(scenes)의 포화(saturation)와 같이, 불만족스러운 결과를 초래할 수 있다는 것을 인식하고 있다.
따라서, 본 개시의 다양한 실시예들에서는 크리에이티브 인텐트 메타데이터를 이용하여 톤 매핑된 비디오를 생성한다. 하나 이상의 실시예들에서, 국부 명암대비(local contrast)에 기반한 적응형(adaptive) 톤 매핑 방법은, 하이라이트된 객체들 또는 장면들의 포화와 관련하여 향상된 비디오 품질을 제공하면서, 비용을 줄일 수 있다.
하나 이상의 실시예들은 표시 장치에 이미지들을 렌더링하기 위한 데이터에 관한 것이다. 일 실시예에서, 방법은, 콘텐츠의 리마스터링을 용이하게 하기 위해 및/또는 높은 동적 범위(high dynamic range: HDR) 디스플레이들을 용이하게 하기 위해, 이미지들, 그래픽, 및/또는 비디오(본 명세서에서 간단히 "비디오"로 총칭함)를 톤 매핑하는 하나 이상의 애플리케이션들을 포함한다. 예를 들면, 상이한 휘도 피크 레벨들로의 리마스터링을 용이하게 할 수 있는 및/또는 마스터링 모니터와 상이한 휘도 피크 레벨들을 갖는 디스플레이들에 대한 톤 매핑을 용이하게 할 수 있는, 하나 이상의 실시예들이 본 명세서에서 설명된다. 본 명세서에 개시된 다양한 실시예들은 단독으로 또는 조합하여 이용될 수 있다는 것을 이해할 것이다.
하기에서, 시스템들 및 방법들이 보다 상세히 설명된다. 기호 Q는 지각 양자화기(perceptual quantizer)를 나타낸다. 기호 HEVC는 고효율 비디오 코딩(high efficiency video coding)을 나타낸다. 기호 HDR은 높은 동적 범위를 나타낸다.
도 1은 본 개시의 다양한 실시예들이 구현될 수 있는 예시적 컴퓨팅 시스템(100)을 도시한다. 도 1에 도시한 상기 컴퓨팅 시스템(100)의 실시예는 단지 예시를 위한 것이다. 상기 컴퓨팅 시스템(100)의 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.
도 1에 도시한 바와 같이, 상기 시스템(100)은, 하나 이상의 통신 채널들 상에서 상기 시스템(100) 내의 다양한 구성요소들 간의 통신을 용이하게 하는, 네트워크(102)를 포함한다. 상기 네트워크(102)는 네트워크 주소들 간에 인터넷 프로토콜(Internet Protocol: IP) 패킷들, 프레임 릴레이 프레임들(frame relay frames), 또는 기타 정보를 통신할 수 있다. 상기 네트워크(102)는 하나 이상의 로컬 영역 네트워크들(local area networks: LANs): 대도시 영역 네트워크들(metropolitan area networks: MANs); 광역 네트워크들(wide area networks: WANs); 인터넷과 같은 글로벌 네트워크의 전체 또는 일부; 또는 하나 이상의 장소들에서의 어떠한 통신 시스템 또는 시스템들을 포함할 수 있다.
다양한 실시예들에서, 상기 네트워크(102)는, 비디오 데이터(예를 들면, 메타데이터 및 오디오 콘텐츠를 포함하는 비디오 파일들)를 클라이언트 장치들(106 내지 115)로 전달하기 위한, 방송 및 광대역 네트워크들 및 통신 채널들을 포함한다. 케이블 및 위성 통신 링크들과 같은, 상기 네트워크(102)의 방송 요소들은 비디오 데이터의 방송을 상기 클라이언트 장치들(106 내지 115)에 제공한다. 상기 네트워크(102)의 방송 요소들, 인터넷, 무선, 유선, 및 광섬유 네트워크 링크들 및 장치들은 비디오 데이터의 스트리밍 및 다운로드를 제공한다.
상기 네트워크(102)는 하나 이상의 서버들(104)과 다양한 클라이언트 장치들(106 내지 115) 간의 통신을 용이하게 한다. 상기 서버들(104) 각각은 하나 이상의 클라이언트 장치들에게 컴퓨팅 서비스를 제공할 수 있는 어떤 적절한 컴퓨팅 또는 처리 장치든지 포함한다. 상기 서버들(104) 각각은, 예를 들면, 하나 이상의 처리 장치들, 명령어들 및 데이터를 저장하는 하나 이상의 메모리들, 및 상기 네트워크(102)를 통한 통신을 용이하게 하는 하나 이상의 네트워크 인터페이스들을 포함할 수 있다. 예를 들면, 상기 서버들(104) 중 하나 이상은, 하기에서 보다 상세히 논의되는 바와 같이, 비디오를 마스터링하기 위한 또는 국부 명암대비에 기반하여 비디오를 톤 매핑하기 위한 처리 회로를 포함할 수 있다.
각각의 클라이언트 장치들(106 내지 115)은, 상기 네트워크(102)를 통해 적어도 하나의 서버 또는 기타 컴퓨팅 장치(들)과 상호작용하는, 적절한 어떤 컴퓨팅 또는 처리 장치를 나타낸다. 하기에서 보다 상세히 논의되는 바와 같이, 상기 클라이언트 장치들(106 내지 115)은 비디오(예를 들면, 톤 매핑될 마스터링된 비디오 파일, 또는 표시될 톤 매핑된 비디오 파일)를 수신하며 국부 명암대비에 기반하여 비디오를 톤 매핑하기 위한 처리 회로를 포함할 수 있다. 상기 클라이언트 장치들(106 내지 115)은 각각 톤 매핑된 비디오를 표시하기 위한 표시 장치를 포함하거나 아니면 그러한 표시 장치에 연결될 수 있다.
본 예에서, 상기 클라이언트 장치들(106 내지 115)은 컴퓨터(106), 휴대 전화 또는 스마트폰(108), 개인휴대 정보 단말기(personal digital assistant: PDA)(110), 랩탑 컴퓨터(112), 태플릿 컴퓨터(114), 및 셋탑 박스 및/또는 텔레비전(115)을 포함한다. 그러나, 다른 또는 추가적인 어떤 클라이언트 장치들이든지 상기 통신 시스템(100)에서 사용될 수 있다. 본 예에서, 일부 클라이언트 장치들(108 내지 114)은 상기 네트워크(102)와 간접적으로 통신한다.
예를 들면, 상기 클라이언트 장치들(108 내지 110)은, 셀룰러 기지국들(base stations) 또는 eNodeBs과 같은, 하나 이상의 기지국들(116)을 통해 통신한다. 또한, 상기 클라이언트 장치들(112 내지 115)은, IEEE 802.11 무선 액세스 지점들과 같은, 하나 이상의 무선 액세스 지점들(118)을 통해 통신한다. 각각의 클라이언트 장치(112 내지 115)는 또한 크리에이티브 인텐트 메타데이터(creative intent metadata: CIm)를 수신할 수 있거나 또는 이를 생성하는 데 이용될 수 있다. 이러한 것들은 단지 예시를 위한 것이며 각각의 클라이언트 장치는 적절한 어떤 중간 장치(들) 또는 네트워크(들)을 통해서든지 상기 네트워크(102)와 직접적으로 또는 간접적으로 통신할 수 있음을 유의하라.
도 1은 통신 시스템(100)의 일 예를 도시하고 있지만, 도 1에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 상기 시스템(100)은 적절한 어떤 배치로 각각의 구성요소를 얼마든지 포함할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 매우 다양하게 구성되며, 도 1은 본 개시의 범위를 어떤 특정한 구성으로 제한하지 않는다. 도 1은 본 특허 문서에 개시된 다양한 특징들이 이용될 수 있는 하나의 동작 환경을 도시하고 있지만, 이러한 특징들은 다른 어떤 적절한 시스템에서든 이용될 수 있다.
도 2는, 본 개시의 다양한 실시예들에 따른, 미러링된(mirrored) 크리에이티브 인텐트 시스템(200)에 대한 프로세스를 도시한다.
컬러리스트(colorist)(C)와 같은, 사용자는, 예를 들면, 스튜디오에서, 원본 비디오 파일(205)을 컬러-그레이딩한다. 상기 원본 비디오 파일(205)은 컬러 그레이딩 도구(color grading tool)(210)로 입력되고, 상기 컬러 그레이딩 도구(210)는 양자화기(Q) 블록(215) 및 인코딩용 인코딩 블록(예를 들면, H.265 코덱)으로 공급되는 컬러-그레이딩된 출력을 생성한다. 상기 Q 블록(215)은 컬러-그레이딩된 조정들의 사용자 시각적 피드백을 제공하기 위해 마스터링 모니터(220)에 연결된다.
일정 실시예들에서, 상기 마스터링 모니터는, 4,000니트 피크 휘도가 가능한 디스플레이와 같은, 고명암대비 디스플레이일 수 있다. 그러나, 상기 마스터링 모니터(220)는 여러 소비자 표시 장치(예를 들면, 약 150니트 내지 약 750니트 이상의 피크 휘도를 갖는 소비자급(consumer-grade) 텔레비전 세트들)와 비교하여 매우 높은 명암대비를 가질 수 있다. 결과적으로, 상기 마스터링 모니터(220) 상에 표시되는 마스터링된 비디오(225)는, 상기 마스터링된 비디오(225)가 조정되지 않는다면, 가정용 텔레비전 세트 상에 표시되는 경우와 달라 보일 수 있다. 예를 들면, 상기 마스터링 모니터(220)는 가정용 텔레비전 세트보다 더 밝은 이미지들을 표시할 수 있기 때문에, 상기 가정용 텔레비전 세트 상에 표시되는 상기 마스터링된 비디오(225)의 밝은 부분들은 클리핑되거나 또는 포화될 수 있고, 따라서, 이미지 세부사항들(image details)이 손실될 수 있다.
디스플레이 기술들에 있어서의 차이를 설명하기 위해, 사용자는 톤 마스터링 모듈(tone mastering module: TMM)(230)을 작동시켜, 보다 낮은 명암대비 장치들 상에 제대로 표시하기 위해 상기 마스터링된 비디오 파일(225) 과 함께 이용될 수 있는, 크리에이티브 인텐트 데이터(CIm)(235)를 생성한다. 예를 들면, 상기 TMM(230)은 상기 컬러리스트로부터 상기 마스터링된 비디오 파일(225) 및 제어 파라미터들을 입력으로서 수신한다. 상기 TMM(230)은, 상기 컬러리스트에 대한 시각적 피드백을 생성하기 위해, 상기 마스터링된 파일(225)의 톤 매핑된 버전(240)을 제2 타겟 모니터(245)에 제공한다.
예를 들면, 상기 타겟 모니터(245)는 상기 마스터링 모니터(220)와 비교하여 더 낮은 피크 휘도 레벨을 가질 수 있다. 하나의 예시적 양태에서, 상기 타겟 모니터(245)는, 상기 마스터링 모니터(220)와 비교하여 최종 사용자(end user)가 상기 비디오 파일(205)을 보는 데 사용할 수도 있는 것에 더 유사한, 표시 장치들을 모델링할 수 있다.
예를 들면, 상기 원본 비디오 파일(205)은 4,000니트의 피크 휘도를 갖는 마스터링 디스플레이(220)를 이용하여 마스터링될 수 있다. 컬러리스트는, 1,000니트의 타겟 모니터를 위해, 상기 마스터링된 비디오 파일(225)을 상기 TMM(230)을 이용하여 리마스터링할 수 있다. 상기 컬러리스트가 보다 낮은 피크 휘도의 타겟 모니터를 위해 상기 마스터링된 비디오 파일(225)을 톤 매핑하는 방식에 기반하여, 상기 TMM(230)은, CIm 데이터(235)가 상이한 피크 휘도값들을 갖는 여러 타겟 모니터들(245)을 위해 상기 마스터링된 비디오(225)를 톤 매핑하는 데 이용될 수 있는 방식으로, 상기 컬러리스트의 톤 매핑 선택들(choices)을 나타내는 상기 CIm 데이터(235)를 자동적으로 생성 및 출력한다.
또한, 상기 TMM(230)은 미리 생성된(pre-generated) 리마스터링된 비디오 파일들을 생성하는 데 상기 CIm 데이터(235)를 직접적으로 이용할 수도 있음을 이해할 것이다. 상기 CIm 데이터(235)는 다양한 색 공간들(color spaces)(예를 들면, sRGB, 어도비(Adobe) RGB 1998, DCI-P3, NTSC, rec.709, 및 rec.2020 등)을 갖는 장치들 상에 표시하기 위해 비디오 파일들을 리마스터링하는 데 이용될 수 있다.
언급한 바와 같이, 디코더(250)는 상기 Q 인코딩된 마스터링된 파일(225) 및 상기 CIm(235)을 입력들로서 수신하고, 예를 들면, 인터넷을 통해 전송하기 위해 또는 컴퓨터 판독가능 매체에 배포하기 위해, 상기 CIm(235)과 결합된 인코딩된 비디오 파일을 생성한다. 수신자측 또는 사용자측에서, 상기 디코더(250) 및 Q 디코더(i-Q) 블록(255)은 상기 인코딩된 마스터링된 파일을 디코딩한다. 또한, 상기 디코더(250)는 미러링된 톤 마스터링 모듈(mirrored tone mastering module: m-TMM)(260)에 대한 입력으로서 상기 CIm(235)을 추출한다. 상기 m-TMM(260)은, 750니트의 피크 휘도값(이는 상기 마스터링 모니터의 경우보다 작음)을 갖는 사용자 장치(265) 상에 제대로 표시하기 위해, 상기 디코딩된 마스터링된 파일을 조정(예를 들면, 톤 매핑)하는 데 상기 CIm(235)을 이용한다. 예를 들면, 상기 m-TMM(260)은 상기 CIm(235) 및 상기 사용자 장치(265)의 능력/특성에 기반하여 자동적으로 톤 매핑을 결정한다.
도 3은, 본 개시의 다양한 실시예들에 따른, 직렬적으로 전역 크리에이티브 인텐트 톤 매핑 곡선(global creative intent tone mapping curve: GCI-C)(305) 및 국부 크리에이티브 인텐트 톤 매핑 곡선(local creative intent tone mapping curve: LCI-C)(310)을 갖는 예시적 톤 마스터 모듈(300)을 도시한다.
도 3에 도시한 바와 같이, 상기 TMM(300)은 사용자 인터페이스(315), 전역 크리에이티브 인텐트 톤 매핑 곡선(GCI-C)(305), 국부 크리에이티브 인텐트 톤 매핑 곡선(LCI-C)(310), 정규화기(normalizer)(325), 믹서(335), 역정규화기(de-normalizer)(340), 양자화기(345), 및 타겟 모니터(320)를 포함한다. 상기 정규화기(325)는 비디오 피드(feed) I를 수신하고, X = min(1,I/P)에 의해 정의되는, 정규화된 비디오 X를 출력한다.
상기 사용자 인터페이스(315)는 상기 GCI-C(305) 및 상기 LCI-C(310)를 제어하기 위해 사용자 입력을 수신한다. 상기 GCI-C(305)는 프레임 및/또는 장면에 대해 일정한(constant) 톤 곡선을 적용한다. 상기 LCI-C(310)는 상기 프레임 및/또는 장면의 특정 영역들에만 영향을 미치는 하나 이상의 톤 곡선들을 적용한다. 따라서, 상기 사용자 인터페이스(315)는, 상기 GCI-C(305)를 조정하기 위해서 뿐만 아니라 상기 LCI-C(310)를 생성 및 조정하기 위해, 사용자 도구들을 제공한다.
상기 믹서(335)는 상기 사용자 인터페이스(315), 상기 GCI-C(305), 및 상기 LCI-C(310)로부터 출력들(LOM, L 및 G)을 취한다. 상기 역정규화기(340)는 믹싱된 비디오 파일 Z를 수신하고, z = TZ에 의해 정의되는, 역정규화된 비디오 z를 출력한다.
상기 양자화기(345)는 상기 역정규화된 비디오 z를 수신하고, 상기 타겟 모니터(320)에서 사용하기 위해 상기 비디오를 양자화한다. 언급한 바와 같이, 상기 타겟 모니터(320)는 상기 사용자 인터페이스(315)에 의해 수신되는 사용자 입력의 톤 매핑된 비디오(325)를 표시할 수 있다. 상기 TMM(300)은, 상기 GCI-C(305) 및 상기 LCI-C(310)를 정의하기 위해, 상기 사용자 인터페이스(315)로의 사용자 입력에 기반하여 CIm(330)을 생성한다.
도 3에 도시한 실시예에서, 상기 GCI-C(305) 및 상기 LCI-C(310)는 직렬로 연결되어 있다. 이와 같이, 상기 GCI-C(305)는, 먼저, 상기 입력 비디오 파일(335) 의 프레임 또는 장면에 대해 톤 매핑을 적용한다. 상기 GCI-C(305)의 출력은, 다음으로, 상기 사용자 인터페이스(315)에 의해 수신되는 사용자 입력에 의해 특정되는 상기 프레임 또는 장면의 일부에 하나 이상의 국부 톤 매핑을 적용하는, 상기 LCI-C(310)에 공급된다.
도 4는, 본 개시의 다양한 실시예들에 따른, 믹서 모듈(415)과 함께 병렬적으로 전역 톤 매핑 곡선(405) 및 국부 톤 매핑 곡선(410)을 갖는 예시적 톤 매핑 모듈(400)을 도시한다. 상기 톤 매핑 모듈(400)은 정규화기(435), 사용자 인터페이스(420), 전역 톤 매핑 모듈(405), 국부 톤 매핑 모듈(410), 믹서(415), 역정규화기(440), 양자화기(445), 및 타겟 모니터(425)를 포함한다.
도 4에 도시한 바와 같이, 상기 TMM(400)은 정규화기(435), 사용자 인터페이스(420), 전역 톤 매핑 모듈(405), 국부 톤 매핑 모듈(410), 믹서(415), 역정규화기(440), 양자화기(445), 및 타겟 모니터(425)를 포함한다. 도 4의 예시적 실시예에서 설명하는 바와 같이, 상기 GCI-C(405)는 프레임 및/또는 장면에 대해 일정한 톤 곡선(constant tone curve)을 적용하고, 상기 LCI-C(410)는 상기 프레임 및/또는 장면의 특정 영역들에만 영향을 미치는 하나 이상의 톤 곡선들을 적용한다.
상기 사용자 인터페이스(420)는, 상기 전역 톤 곡선을 조정하기 위해서 뿐만 아니라 상기 국부 톤 곡선들을 생성 및 조정하기 위해, 사용자 도구들을 제공한다. 언급한 바와 같이, 상기 타겟 모니터(425)는 상기 사용자 인터페이스에 의해 수신되는 사용자 입력의 결과를 표시한다. 상기 TMM(400)은, 상기 톤 곡선들을 정의하기 위해, 상기 사용자 인터페이스(420)로의 사용자 입력에 기반하여 CIm(430)을 생성한다.
도 4에 도시한 실시예에서, 상기 GCI-C(405) 및 상기 LCI-C(410)는 병렬로 연결되어 있다. 이와 같이, 상기 GCI-C(405) 및 상기 LCI-C(410)는 상기 입력 비디오 파일(435)을 수신하고 그들의 각각의 톤 곡선들을 적용한다. 상기 GCI-C(405) 및 상기 LCI-C(410)의 출력은 상기 믹서(415)로 공급되고, 상기 믹서(415)는 상기 사용자 인터페이스로부터 상기 GCI-C(405) 및 상기 LCI-C(410)의 출력들을 어떻게 결합할 것인지를 결정하는 사용자 입력을 수신한다. 상기 믹서(415)는 상기 GCI-C(405) 및 상기 LCI-C(410)의 출력들에 가중치를 부여하고 톤 매핑된 출력 비디오 파일(440)을 생성한다.
도 5a, 도 5b, 및 도 5c는 본 개시의 다양한 실시예들에 따른 예시적 GCI-C 및 LCI-C 톤 매핑 함수들을 도시한다. 상기 다양한 실시예들에서, 함수들 f 및 g는 단조 증가 함수(monotonically incresing funtion)들이다.
도 5a는, 본 개시의 다양한 실시예들에 따른, 상기 GCI-C(305 및 405)를 위한 예시적 전역 톤 매핑 함수(500)를 도시한다. 상기 GCI-C(305 및 405)는 프레임 내의 모든 샘플들 또는 장면 내의 모든 프레임들에 대해 일정한 톤 매핑 곡선을 적용한다. 이는 수학적으로 G=f(X,ΘG)로 나타낼 수 있으며, 상기 식에서 X는 정규화된 입력(515)이고, G는 정규화된 전역(global) 출력(520)이며, ΘG는 (1) 상기 곡선을 특징짓는 파라미터 세트이고, (2) 상호작용 도구(interactive tool)를 이용하여 컬러리스트에 의해 제어되며, 및 (3) GCI-C 메타데이터이다.
도 5b는, 본 개시의 다양한 실시예들에 따른, 상기 LCI-C(310)를 위한 예시적 국부 톤 매핑 함수(505)를 도시한다. 상기 LCI-C(310)는 프레임 내에서 샘플들(객체)로부터 샘플들(객체)로 변화된다. 상기 LCI-C(310)는 수학적으로 L=g(G,ΘL)로 나타낼 수 있으며, 상기 식에서 G는 정규화된 입력(525)이고, L은 정규화된 출력(530)이며, ΘL은 (1) 상기 곡선을 특징짓는 파라미터 세트이고, (2) 상호작용 도구를 이용하여 컬러리스트에 의해 제어되며, 및 (3) LCI-C 메타데이터이다. 상기 정규화된 입력(525)은, 상기 GCI-C 및 상기 LCI-C가 직렬로 연결되는 경우, 상기 정규화된 출력(520)일 수 있다. 상기 LCI-C(310)는 프레임 내에서 객체로부터 객체로 변화되므로, 국부 객체 메타데이터(Local Object Metadata: LOM)의 일부인, 객체들 및 연관된 곡선 파라미터들(∈)에 관한 기하학적 정보에 관하여 더 많은 정보가 필요하다.
도 5c는, 본 개시의 다양한 실시예들에 따른, 상기 LCI-C(410)를 위한 예시적 국부 톤 매핑 함수(510)를 도시한다. 상기 LCI-C(410)는 프레임 내에서 샘플들(객체)로부터 샘플들(객체)로 변화된다. 상기 LCI-C(410)는 수학적으로 L=g(X,ΘL)로 나타낼 수 있으며, 상기 식에서 X는 정규화된 입력(525)이고, L은 정규화된 출력(530)이며, ΘL은 (1) 상기 곡선을 특징짓는 파라미터 세트이고, (2) 상호작용 도구를 이용하여 컬러리스트에 의해 제어되며, (3) LCI-C 메타데이터이다. 상기 정규화된 입력(525)은, 상기 GCI-C 및 상기 LCI-C가 직렬로 연결되는 경우, 상기 정규화된 출력(520)일 수 있다. 상기 LCI-C(410)는 프레임 내에서 객체로부터 객체로 변화되므로, 국부 객체 메타데이터(LOM)의 일부인, 객체들 및 연관된 곡선 파라미터들(∈)에 관한 기하학적 정보에 관하여 더 많은 정보가 필요하다.
일정 실시예들에서, 상기 GCI-C(305 및 405) 및 상기 LCI-C(310 및 410)에 대해 N차 명시적 베지에 곡선이 사용되며, 이는 다음과 같이 정의된다.
[수학식 1]
Figure pct00001
상기 수학식 1에서 t는 입력 변수이고,
Figure pct00002
이며, (P1, P2,..., PN)은 상기 베지에 곡선을 특징짓는 파라미터 세트이다. 따라서,
Figure pct00003
=(P1, P2,..., PN)임과 함께 G=f(X)=BN(X)로,
Figure pct00004
L=(P1, P2,..., PN)임과 함께 L=g(G)=BN(G)로, 및
Figure pct00005
L=(P1, P2,..., PN)임과 함께 L=g(X)=BN(X)로 표현할 수 있다.
예시적인 4차 명시적 베지에 곡선은 (0≤P1,P2,P3≤1)에 대해 B4(t) = 4t(1 t)3P1 + 6t2(1-t)2P2 + 4t(1-t)3P3 + t4으로 정의될 수 있다. (P1,P2,P3) 세트는 톤 매핑 곡선에 대한 메타데이터를 나타낸다.
도 6은, 본 개시의 다양한 실시예들에 따른, 도 3 및 도 4에서의 예시적 믹서(600)를 도시한다. 상기 톤 마스터 모듈(260)을 이용하여, 국부 톤 매핑 함수(625) 및 전역 톤 매핑 함수(620)를 믹싱함으로써 프레임의 각 화소(pixel)가 처리된다. 변환 가중 인자 모듈(transition weighting factor module)(605)은 LOM(610)을 입력으로서 수신하고 가중 인자(615)를 출력한다. 상기 믹서(600)는 상기 전역 톤 매핑 함수(620), 상기 국부 톤 매핑 함수(625), 및 상기 가중 인자(615)를 수신하고, 믹싱된 비디오 파일(630), Z를 출력한다. 화소가 제1 범위(735) 내에 있는 경우, 출력값(Z)(630)은 상기 LCI-C(610) 의 출력(Y)과 같다. 화소가 제2 범위(745) 밖에 있는 경우, 상기 출력값(Z)(630)은 상기 마스터 모듈(600)에서의 원본 샘플 또는 상기 톤 마스터링 모듈(605)의 상기 GCI-C의 출력(X)과 같다. 변환 범위(740)에서 화소들이 상기 변환 가중 인자(615)를 이용하여 처리됨에 따라, 상기 Z(630)의 값은 Y로부터 X로 단조적으로 커진다.
도 7은, 본 개시의 다양한 실시예들에 따른, 국부 객체 표현(700)의 예들을 도시한다. 상기 국부 객체 표현(700)에 대해 타원형이 사용되었지만, 기타 형태들도 본 개시의 범위 내에 있다.
상기 국부 객체 표현(700)은 상기 LCI-C(310 및 410)로서 사용된다. 상기 타원은 중심(705)으로서 (x0, y0), 촛점들(715)까지의 거리(710)로서 f, 회전 각도(720)로서 Θ, 제1 범위(725)로서 R1, 및 제2 범위(730)로서 R2를 사용하여 파라미터화된다. 국부 영역(735) 내의 화소들은 상기 제1 범위(725) 내에 있다. 전역(global) 영역(745)의 화소들은 상기 제2 범위(730) 외부에 있다. 변환 영역(740)의 화소들은 상기 제1 범위(725)와 상기 제2 범위(730) 사이에 있다. 상기 국부 객체 표현의 구현은 도 8a 내지 도 8c를 참조하여 보다 상세히 논의된다.
도 8a, 도 8b, 및 도 8c는, 본 개시의 다양한 실시예들에 따른, 변환 가중 인자들(800)의 예를 도시한다.
도 8a는 제1 범위(805) 및 제2 범위(810)를 예시하도록 단순화된 예시적 국부 객체 표현(700)을 도시한다. 상기 변환 가중 인자(800)는 상기 국부 영역(735)을 상기 전역 영역(745)으로 변환하기 위해 상기 변환 영역(740)에서 사용된다. 상기 국부 영역(735) 내에 위치한 화소들은 국부 톤 매핑 함수를 이용하여 처리된다. 상기 국부 톤 매핑 함수의 효과는, 상기 중심(705)으로부터 멀어짐에 따라, 상기 변환 영역(740)에서 단조 감소된다. 상기 전역 영역(745)은 상기 국부 톤 매핑 함수를 이용하는 것에 의해 영향을 받지 않으며, 복수의 국부 톤 매핑 함수들의 이용이 가능하다.
도 8b는 본 개시의 다양한 실시예들에 따른 변환 가중 함수(820)를 도시한다. 프레임 내의 점 (x,y)에서, 촛점들은 식 1 및 식 2를 이용하여 계산된다.
[수학식 2]
Figure pct00006
상기 촛점들까지의 거리들의 합(SD)(815)은 식 3을 이용하여 계산된다.
[수학식 3]
Figure pct00007
일단 상기 SD(815)가 계산되었으면, 가중 인자 w(x,y)(800)는, 상기 예시적 변환 가중 함수(820)와 같이, 선형 매핑을 통해 결정될 수 있다. 상기 변환 가중 인자(800)는 도 8c에서와 같이 도시될 수 있으며, 도 8c에서 x는 상기 국부 객체 표현(700)의 상기 가중 인자(800)을 결정하기 위한 화소이다.
도 9는, 본 개시의 다양한 실시예들에 따른, 국부 객체 표현(900)의 예를 도시한다. 국부 객체 표현(900)에 대해 타원형이 사용되었지만, 기타 형태들도 본 개시의 범위 내에 있다.
상기 국부 객체 표현(900)은 상기 LCI-C(310 및 410)로서 사용된다. 상기 타원은 중심(705)으로서 (x0, y0), 회전 각도(720)로서 Θ, 제1 단축 거리(925)로서 b1, 제2 단축 거리(930)로서 b2, 제1 장축 거리(915)로서 a1, 및 제2 장축 거리(920)로서 a2를 사용하여 파라미터화된다.
도 10은, 본 개시의 다양한 실시예들에 따른, 변환 가중 인자(1010)의 예를 도시한다. 프레임 내의 점 (x,y)에서, 식 4를 이용하여 계산된다.
[수학식 4]
Figure pct00008
중심으로부터 화소까지의 거리들의 합(D)(1005)은 식 5를 이용하여 계산된다.
[수학식 5]
Figure pct00009
일단 상기 D(x,y)(1005)가 계산되었으면, 가중 인자 w(x,y)(1010)는, 상기 예시적 변환 가중 함수(1000)와 같이, 선형 매핑을 통해 결정될 수 있다.
도 11은, 본 개시의 다양한 실시예들에 따른, 전자 장치에 구현된 예시적 톤 매핑 시스템을 도시한다. 도 12는, 본 개시의 다양한 실시예들에 따른, 전자 장치에 구현된 예시적 톤 매핑 시스템을 도시한다. 도 11 및 도 12는, 장치에 각각 구현된, 도 3 및 도 4와 유사한 톤 매핑 블록을 도시한다. 톤 매핑 함수들(1100 및 1200)은 사용자 인터페이스들(315 및 420) 대신에 TMM 파서들(parsers)(1105 및 1205)을 포함한다. 상기 TMM 파서들은 상기 GCI-C(305 및 405), 상기 LCI-C(310 및 410), 및 상기 믹서들(330 및 415)로 입력하기 위한 톤 매핑 메타데이타를 수신한다. 상기 TMM은 제어점들(control points), 변환 가중 인자들, 또는 상기 GCI-C(305 및 405), 상기 LCI-C(310 및 410) 및 상기 믹서들(330 및 415)에 필요한 기타 어떤 파라미터들을 포함할 수 있다.
도 13은, 본 개시의 다양한 실시예들에 따른, 비디오 톤 매핑에 대한 예시적 프로세스(1300)를 도시한다. 예를 들면, 상기 프로세스(1300)는 도 1에서의 상기 서버(104) 또는 상기 클라이언트 장치들(106 내지 115)에 의해 수행될 수 있다. 특히, 상기 프로세스(1300)는, 상기에서 논의되었고 여기서는 "시스템"으로 총칭되는, 도 3 내지 도 5 또는 도 7에서의 상기 시스템들(300 내지 500 및 700 내지 705) 중 어느 하나에 의해서 구현될 수 있다.도 13에 도시한 상기 프로세스(1300)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다. 상기 프로세스(1300)의 특정 블록들이 상기 시스템들(300 내지 500 및 700 내지 705) 중 하나의 특정 블록들에 의해 수행되는 것으로 하기에서 설명되지만, 대안적인 예시적 실시예들에서 적절한 어떤 블록이든지 상기 프로세스(1300)의 상기 블록들 각각을 수행할 수 있음을 이해할 것이다.
블록(1310)에서, 상기 시스템은 처리하기 위한 비디오를 수신한다. 예를 들면, 상기 비디오는 컬러 그레이딩 도구(210)로부터의 마스터링된 비디오 파일일 수 있다. 상기 마스터링된 비디오 파일은 상기 컬러 그레이딩 도구(210)에서 컬러-그레이딩되고 양자화기(215)에 의해 양자화될 수 있다. 상기 마스터링된 비디오 파일은 4k니트와 같이 높은 니트 값을 갖는 마스터링 모니터(220) 상에 톤 매핑될 수 있다. 상기 마스터링된 비디오 파일은 네트워크를 통해 전송하기 위해 인코더(230)에서 인코딩될 수 있다. 상기 마스터링된 비디오와 함께 상기 네트워크를 통해 전송될 톤 매핑 메타데이터(235)를 생성하기 위해 톤 매핑 도구(230)가 이용될 수 있다. 상기 메타데이터(235)는 적어도 부분적으로 전역 톤 매핑 함수(500) 및 국부 톤 매핑 함수들(505)을 나타내는 정보를 포함한다. 상기 메타데이터는 또한 상기 비디오, 상기 마스터링 모니터(220), 및 상이한 타겟 디스플레이들(245, 265, 320, 및 425)에 대한 피크 휘도값들에 관한 정보를 포함할 수 있다. 상기 메타데이터는 또한 변환 가중 함수들(800 및 1000)을 포함할 수 있다.
일정 실시예들에서, 상기 국부 톤 매핑 함수들에 대한 파라미터들은 타원에 기반하여 파라미터화된다. 상기 파라미터들은, 예를 들면, (1) 타원형이 중심에 위치하는 이미지 상의 위치, 촛점 거리, 상기 타원형의 회전 각도, 제1 범위 거리, 및 제2 범위 거리를 포함할 수 있거나, 아니면 (2) 타원형이 중심에 위치하는 이미지 상의 위치, 상기 타원형의 회전 각도, 제1 장축 거리 및 제2 장축 거리, 및 단축 상의 제1 단축 거리 및 제2 단축 거리를 포함할 수 있다.
블록(1320)에서, 상기 시스템은 상기 비디오를 톤 매핑하기 위해 상기 전역 톤 매핑 함수(500)를 결정한다. 예를 들면, 상기 블록(1320)은 도 5의 상기 톤 매핑 블록(260)에 의해 구현될 수 있다. 일정 실시예들에서, 상기 톤 매핑 블록은 또한 상기 국부 톤 매핑 함수들(505 및 510)을 결정한다. 상기 전역 톤 매핑 함수 및 국부 톤 매핑 함수들은 명시적 베지에 곡선에 의해 정의될 수 있다. 상기 함수들이 상기 베지에 곡선에 의해 정의될 때, 상기 메타데이터는 상기 베지에 곡선의 제어점들을 포함할 수 있다. 상기 톤 매핑 블록은 상기 제어점들의 양에 기반하여 상기 베지에 곡선의 차수(order)를 결정한다.
블록(1330)에서, 상기 시스템은 톤 매핑된 함수를 적용하여 톤 매핑된 비디오를 생성한다. 예를 들면, 상기 파라미터화된 톤 매핑 함수(510)는 상기 베지에 곡선(830)을 이용하여 상기 비디오를 처리한다. 상기 비디오 디스플레이(500)에 대해 톤 매핑된 상기 비디오에 대한 톤 매핑된 니트값을 결정하기 위해 상기 비디오는 화소 단위로(pixel-by-pixel) 처리된다. 제어점들과 함께 베지에 곡선 정의 함수(Bezier curve defined function)를 이용하여, 각 화소는 상기 마스터링된 비디오 파일로부터 상기 타겟 디스플레이용 비디오로 처리될 수 있다. 복수의 국부 톤 매핑 함수들이 다른 국부 톤 매핑 함수들 또는 상기 전역 톤 매핑 함수와 함께 직렬적으로 또는 병렬적으로 적용될 수 있다. 예를 들면, 상기 메타데이터는, 복수의 톤 매핑 함수들이 적용되는 순서와 같이, 국부 톤 매핑 함수들이 적용되는 방식을 나타내는 데이터를 포함할 수 있다. 이들 톤 매핑 함수들은 믹서(330 및 415)에 의해 믹싱된다. 상기 전역 톤 매핑 함수 또는 다른 국부 톤 매핑 함수들의 효과와 함께 상기 국부 톤 매핑 함수의 효과를 변환하기 위해, 상기 믹서(330 및 415)에서 변환 가중 인자가 이용될 수 있다.
상기한 바와 같이, 예시적 실시예에서, 상기 프로세스(1300)는 상기 블록(1330)을 화소 단위로 적용할 수 있다. 예를 들면, 상기 프로세스(1300)는 상기 수신된 비디오의 프레임의 화소를 선택할 수 있다. 상기 선택된 화소에 대해, 상기 프로세스(1300)는, 만약 있다면, 어느 국부 톤 매핑 함수들이 상기 화소에 상응하는지를 결정한다. 예를 들면, 상기 프로세스(1300)가 상기 화소가 국부 객체 표현(예를 들면, 도 7 및 도 9를 참조하여 설명된 것)의 제1 및/또는 제2 범위 내에 포함된다고 결정하면, 국부 톤 매핑 함수가 상기 화소에 상응한다. 국부 톤 매핑 함수들은 완전히 및/또는 부분적으로 중첩될 수 있기 때문에, 하나 초과의 국부 톤 매핑 함수가 상기 선택된 화소에 상응할 수 있다. 상기 프로세스(1300)는 상기 상응하는 국부 톤 매핑 함수들을 상기 메타데이터에 따라(예를 들면, 상기 국부 톤 매핑 함수들이 적용되는 순서를 기준으로) 상기 현재의 화소에 적용한다. 추가적으로 또는 대안적으로, 상기 프로세스(1300)는, 만약 있다면, 전역 톤 매핑 함수를 적용한다. 언급한 바와 같이, 상기 국부 및 전역 톤 매핑 함수들의 처리는 도 4, 도 6, 도 11, 및 도 12에 따라 수행될 수 있다. 상기 선택된 화소가 처리된 후, 상기 프로세스(1300)는, 모든 화소들이 처리될 때까지, 각각의 남은 화소에 대해 상기 블록(1330)의 처리를 반복할 수 있다.
도 13은 비디오 톤 매핑에 대한 프로세스의 예를 도시하고 있지만, 도 13에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 일련의 블록들로서 도시했지만, 각 도면에서 다양한 블록들이 중첩되거나, 병행하여 발생하거나, 상이한 순서로 발생하거나, 또는 복수회 발생할 수 있다.
도 14는 본 개시에 따른 예시적 비디오 처리 장치(1400)를 도시한다. 특히, 상기 비디오 처리 장치(1400)는, 본 개시의 하나 이상의 실시예들을 구현하기 위해, 도 1의 상기 서버(104) 또는 상기 클라이언트 장치들(106 내지 115) 중 어느 하나에 포함될 수 있는 예시적 구성요소들을 예시하고 있다.
도 14에 도시한 바와 같이, 상기 비디오 처리 장치(1400)는, 적어도 하나의 프로세서(1410), 적어도 하나의 저장 장치(1415), 적어도 하나의 통신 인터페이스(1420), 적어도 하나의 입/출력(input/output: I/O) 유닛(1425), 및 디스플레이(1440) 간의 통신을 지원하는, 버스 시스템(1405)을 포함한다.
상기 프로세서(1410)는 메모리(1430)에 로딩될 수 있는 명령어들을 실행한다. 상기 프로세서(1410)는 적절한 어떤 수(들) 및 유형(들)의 프로세서들 또는 기타 장치들을 적절한 어떤 배치로 포함할 수 있다. 상기 프로세서(1410)의 예시적 유형들에는 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 필드 프로그램가능 게이트 어레이, 애플리케이션 특정적 집적 회로, 및 개별 회로가 포함된다. 예를 들면, 상기 프로세서(1410)는, 상기 프로세스들 또는 시스템들(200 내지 1300) 중 어떤 것이 하드웨어적으로 구현됨으로써 또는 상기 프로세서(1410)로 하여금 개시된 방법들을 수행하도록 하는 저장된 명령어들을 실행함으로써 수행되는, 톤 매핑 동작들을 구현할 수 있다.
상기 메모리(1430) 및 영구 저장소(1435)는, 정보(예를 들면, 비디오 데이터, 프로그램 코드, 및/또는 일시적 또는 영구적인 기타 적절한 정보)를 저장하고 용이하게 검색할 수 있는 어떤 구조(들)을 나타내는, 저장 장치(1415)의 예들이다. 상기 메모리(1430)는 랜덤 액세스 메모리 또는 다른 어떤 적절한 휘발성 또는 비휘발성 저장 장치(들)을 나타낼 수 있다. 예를 들면, 상기 메모리(1430)는 톤 매핑 기법들을 구현하기 위한 명령어들을 포함할 수 있고, 및/또는 서버(104)로부터 수신되는 스트리밍되거나 또는 버퍼링되는 비디오 데이터를 저장할 수 있다. 상기 영구 저장소(1435)는, 읽기 전용 메모리, 하드 드라이브, 플래시 메모리, 또는 광디스크와 같이, 보다 장기적인 데이터의 저장을 지원하는 하나 이상의 구성요소들 또는 장치들을 포함할 수 있다. 예를 들면, 상기 영구 저장소(1435)는, 마스터링된 비디오 파일 및 상기 마스터링된 비디오 파일과 연관된 메타데이터와 같은, 비디오 데이터를 포함할 수 있다.
상기 통신 인터페이스(1420)는 다른 시스템들 또는 장치들과의 통신을 지원한다. 예를 들면, 상기 통신 인터페이스(1420)는, 상기 네트워크(102)를 통한 통신을 용이하게 하는, 네트워크 인터페이스 카드, 케이블 모뎀, 방송 수신기, 또는 무선 송수신기를 포함할 수 있다. 상기 통신 인터페이스(1420)는 적절한 어떤 물리적 또는 무선 통신 링크(들)을 통한 통신을 지원할 수 있다.
상기 I/O 유닛(1425)은 데이터의 입력 및 출력을 할 수 있도록 한다. 예를 들면, 상기 I/O 유닛(1425)은 키보드, 마우스, 키패드, 터치스크린, 또는 기타 적절한 입력 장치를 통한 사용자 입력에 대한 연결을 제공한다. 상기 I/O 유닛(1425)은 또한 상기 디스플레이(1440), 프린터, 또는 기타 적절한 출력 장치로 출력을 전송할 수 있다.
상기 비디오 처리 장치(1400)는, 예를 들면, 상기 타겟 디스플레이들(245, 265, 320, 및 425)과 같은, 디스플레이(1440)를 더 포함하거나 또는 상기 디스플레이(1440)에 연결된다. 하나의 예시적 실시예에서, 상기 비디오 처리 장치(1400)는 표시될 톤 매핑된 비디오를 위한 상기 디스플레이(1440)에 연결되는 셋탑 박스, 케이블 박스, 컴퓨터 등에 포함되는 비디오 처리 회로일 수 있다. 다른 예시적 실시예에서, 상기 비디오 처리 장치(1400)는 표시될 톤 매핑된 비디오를 위한 상기 디스플레이(1440)에 연결되는 셋탑 박스, 케이블 박스, 컴퓨터, 미디어 플레이어 등일 수 있다. 또 다른 예시적 실시예에서, 상기 비디오 처리 장치(1400)는 네트워크 연결을 통해 상기 타겟 디스플레이(1440)에 연결되는 서버일 수 있다. 다른 예시적 실시예에서, 상기 비디오 처리 장치(1400)는 톤 매핑된 비디오가 표시될 상기 디스플레이(1440) 뿐 아니라 톤 매핑을 수행하기 위한 비디오 처리 회로를 포함할 수 있다. 예를 들면, 상기 비디오 처리 장치(1400)는 텔레비전, 모니터, 휴대폰, 랩탑 컴퓨터, 태블릿 컴퓨터 등일 수 있다.
예시적 실시예와 함께 본 개시가 설명되었지만, 본 개시가 속하는 기술분야의 숙련된 자에게 다양한 변경들 및 변형들이 제안될 수 있다. 본 개시는 첨부된 청구항의 범위에 속하는 그러한 변경들 및 변형들을 포괄하고자 한 것이다.
본 출원서에서의 설명 중 어떤 것도 어떤 특정 요소, 단계, 또는 기능이 청구 범위에 포함되어야 하는 필수 요소임을 암시하는 것으로 읽혀서는 안 된다. 특허 대상(patented subject matter)의 범위는 오직 청구항에 의해 정의된다.

Claims (15)

  1. 디스플레이에 대한 비디오의 톤 매핑 방법에 있어서,
    상기 비디오 및 적어도 부분적으로 전역 톤 매핑 함수(global tone mapping function)를 나타내는 메타데이터를 수신하는 단계;
    적어도 상기 메타데이터 및 상기 디스플레이의 특성에 기반하여 상기 전역 톤 매핑 함수를 결정하는 단계; 및
    적어도 하나의 프로세서가, 상기 전역 톤 매핑 함수를 상기 비디오에 적용하고 상기 전역 톤 매핑 함수의 적용에 있어서 상기 디스플레이의 피크 휘도값(peak luminance value)을 사용함으로써, 톤 매핑된 비디오를 생성하는 단계를 포함하는 방법.
  2. 제1 항에 있어서, 상기 메타데이터는 국부 톤 매핑 함수들을 더 나타내고, 상기 톤 매핑된 비디오를 생성하는 단계는 국부 톤 매핑 함수를 상기 비디오에 적용하는 단계를 더 포함하는 것인, 디스플레이에 대한 비디오의 톤 매핑 방법.
  3. 제2 항에 있어서, 상기 전역 톤 매핑 함수 및 상기 국부 톤 매핑 함수들은 명시적 베지에 곡선(explicit Bezier curve)에 상응하는 것인, 디스플레이에 대한 비디오의 톤 매핑 방법.
  4. 제1 항에 있어서, 상기 메타데이터는 상기 비디오의 피크 휘도값을 포함하고, 상기 디스플레이의 상기 특성은 상기 디스플레이의 피크 휘도값을 포함하는 것인, 디스플레이에 대한 비디오의 톤 매핑 방법.
  5. 제2 항에 있어서, 상기 국부 톤 매핑 함수들은 타원형을 이용하여 적용되고, 상기 타원형은:
    상기 타원형이 중심에 위치하는 이미지의 위치, 촛점 거리, 상기 타원형의 회전 각도, 제1 범위 거리, 및 제2 범위 거리; 또는
    상기 타원형이 중심에 위치하는 이미지의 위치, 상기 타원형의 회전 각도, 제1 장축 거리 및 제2 장축 거리, 및 단축 상의 제1 단축 거리 및 제2 단축 거리 중 하나에 의해, 파라미터화되는 것인, 디스플레이에 대한 비디오의 톤 매핑 방법.
  6. 제2 항에 있어서, 상기 전역 톤 매핑 함수 및 상기 국부 톤 매핑 함수들은 직렬적으로 또는 병렬적으로 적용되는 것인, 디스플레이에 대한 비디오의 톤 매핑 방법.
  7. 제1 항에 있어서, 상기 상기 톤 매핑된 비디오를 생성하는 단계는 상기 비디오에 대한 프레임의 개별 화소들을 처리하는 단계를 더 포함하고,
    변환 가중 인자(transition weighting factor)가 상기 비디오와 상기 국부 톤 매핑 함수 사이에서 상기 개별 화소들을 믹싱하는 데 이용되는 것인, 디스플레이에 대한 비디오의 톤 매핑 방법.
  8. 메모리; 및
    상기 메모리에 작동가능하게 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는:
    상기 비디오 및 적어도 부분적으로 전역 톤 매핑 함수를 나타내는 메타데이터를 수신하고;
    적어도 상기 메타데이터 및 상기 디스플레이의 특성에 기반하여 상기 전역 톤 매핑 함수를 결정하며;
    상기 전역 톤 매핑 함수를 상기 비디오에 적용하고, 상기 전역 톤 매핑 함수의 적용에 있어서 상기 디스플레이의 피크 휘도값을 사용함으로써 톤 매핑된 비디오를 생성하도록 구성되는 것인, 장치.
  9. 제8 항에 있어서, 상기 메타데이터는 국부 톤 매핑 함수들을 더 나타내고, 상기 톤 매핑된 비디오를 생성하는 단계는 국부 톤 매핑 함수를 상기 비디오에 적용하는 단계를 더 포함하는 것인, 장치.
  10. 제9 항에 있어서, 상기 전역 톤 매핑 함수 및 상기 국부 톤 매핑 함수들은 명시적 베지에 곡선에 상응하는 것인, 장치.
  11. 제8 항에 있어서, 상기 메타데이터는 상기 비디오의 피크 휘도값을 포함하고, 상기 디스플레이의 상기 특성은 상기 디스플레이의 피크 휘도값을 포함하는 것인, 장치.
  12. 제9 항에 있어서, 상기 국부 톤 매핑 함수들은 타원형을 이용하여 적용되고, 상기 타원형은:
    상기 타원형이 중심에 위치하는 이미지의 위치, 촛점 거리, 상기 타원형의 회전 각도, 제1 범위 거리, 및 제2 범위 거리; 또는
    상기 타원형이 중심에 위치하는 이미지의 위치, 상기 타원형의 회전 각도, 제1 장축 거리 및 제2 장축 거리, 및 단축 상의 제1 단축 거리 및 제2 단축 거리 중 하나에 의해, 파라미터화되는 것인, 장치.
  13. 제9 항에 있어서, 상기 전역 톤 매핑 함수 및 상기 국부 톤 매핑 함수들은 직렬적으로 또는 병렬적으로 적용되는 것인, 장치.
  14. 제9 항에 있어서, 상기 적어도 하나의 프로세서는 상기 비디오에 대한 프레임의 개별 화소들을 처리하도록 구성되고,
    변환 가중 인자가 상기 비디오와 상기 국부 톤 매핑 함수 사이에서 상기 개별 화소들을 믹싱하는 데 이용되는 것인, 장치.
  15. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체에 있어서, 상기 프로그램 코드는, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 비디오 및 적어도 부분적으로 전역 톤 매핑 함수를 나타내는 메타데이터를 수신하고;
    적어도 상기 메타데이터 및 상기 디스플레이의 특성에 기반하여 상기 전역 톤 매핑 함수를 결정하며;
    상기 전역 톤 매핑 함수를 상기 비디오에 적용하고 상기 전역 톤 매핑 함수의 적용에 있어서 상기 디스플레이의 피크 휘도값을 사용함으로써 톤 매핑된 비디오를 생성하도록 하는 것인, 비일시적 컴퓨터 판독가능 매체.
KR1020187022303A 2015-06-24 2016-09-28 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템 KR102126512B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562184065P 2015-06-24 2015-06-24
US14/993,944 2016-01-12
US14/993,944 US10007412B2 (en) 2015-06-24 2016-01-12 Tone mastering system with creative intent metadata
PCT/KR2016/010852 WO2017122903A1 (en) 2015-06-24 2016-09-28 Tone mastering system with creative intent metadata

Publications (2)

Publication Number Publication Date
KR20180091108A true KR20180091108A (ko) 2018-08-14
KR102126512B1 KR102126512B1 (ko) 2020-06-24

Family

ID=57603151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187022303A KR102126512B1 (ko) 2015-06-24 2016-09-28 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템

Country Status (5)

Country Link
US (1) US10007412B2 (ko)
EP (1) EP3394828B1 (ko)
KR (1) KR102126512B1 (ko)
CN (1) CN108496199B (ko)
WO (1) WO2017122903A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
EP3566429B1 (en) 2017-03-03 2021-09-15 Dolby Laboratories Licensing Corporation Color image modification with approximation function
WO2018160847A1 (en) * 2017-03-03 2018-09-07 Dolby Laboratories Licensing Corporation Color image modification with approximation function
US10600163B2 (en) 2017-11-22 2020-03-24 Interdigital Vc Holdings, Inc. Method and device for reconstructing a display adapted HDR image
JP2019176249A (ja) * 2018-03-27 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
US10863157B2 (en) 2018-07-06 2020-12-08 Samsung Electronics Co., Ltd. Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
EP3672254A1 (en) 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Decoding an image
CN110445986B (zh) * 2019-07-30 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
JP2023524440A (ja) 2020-04-28 2023-06-12 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｒ表示のための画像依存のコントラスト及び輝度制御
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520619A (ja) * 2009-03-13 2012-09-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
KR20140066771A (ko) * 2011-09-27 2014-06-02 코닌클리케 필립스 엔.브이. 이미지들의 다이내믹 레인지 변환을 위한 장치 및 방법
KR20140146628A (ko) * 2012-03-26 2014-12-26 코닌클리케 필립스 엔.브이. Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212545A (zh) * 2007-12-24 2008-07-02 电子科技大学 一种高动态范围的图形映射到低动态范围的方法及装置
WO2012118961A1 (en) 2011-03-02 2012-09-07 Dolby Laboratories Licensing Corporation Local multiscale tone-mapping operator
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US9135864B2 (en) 2010-05-14 2015-09-15 Dolby Laboratories Licensing Corporation Systems and methods for accurately representing high contrast imagery on high dynamic range display systems
TWI538474B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
JP4991949B1 (ja) * 2011-04-07 2012-08-08 シャープ株式会社 映像表示装置およびテレビ受信装置
KR20160054039A (ko) * 2011-05-27 2016-05-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
JP2013025650A (ja) * 2011-07-23 2013-02-04 Canon Inc 画像処理装置、画像処理方法およびプログラム
US10255888B2 (en) * 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
IN2015KN02510A (ko) 2013-02-21 2015-09-11 Dolby Lab Licensing Corp
GB2520406B (en) * 2013-10-17 2015-11-04 Imagination Tech Ltd Tone mapping
CN106031172B (zh) * 2014-02-25 2019-08-20 苹果公司 用于视频编码和解码的自适应传递函数
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520619A (ja) * 2009-03-13 2012-09-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
KR20140066771A (ko) * 2011-09-27 2014-06-02 코닌클리케 필립스 엔.브이. 이미지들의 다이내믹 레인지 변환을 위한 장치 및 방법
KR20140146628A (ko) * 2012-03-26 2014-12-26 코닌클리케 필립스 엔.브이. Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cadík, Martin:"Perception Motivated Hybrid Approach to Tone Mapping", WSCG '2007, University of West Bohemia Plzen Czech Republic, January 29 - February 1, 2007, pp.129-136(2007.01.29.) 1부.* *
Yu Ji ET AL:"Image Pre-compensation: Balancing Contrast and Ringing", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 24-27 June 2014, pp. 3350-3357(2014.06.24.) 1부.* *

Also Published As

Publication number Publication date
EP3394828A4 (en) 2018-10-31
US20160381335A1 (en) 2016-12-29
EP3394828B1 (en) 2022-09-21
WO2017122903A1 (en) 2017-07-20
CN108496199A (zh) 2018-09-04
CN108496199B (zh) 2022-12-06
EP3394828A1 (en) 2018-10-31
US10007412B2 (en) 2018-06-26
KR102126512B1 (ko) 2020-06-24

Similar Documents

Publication Publication Date Title
KR102126512B1 (ko) 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템
KR102173729B1 (ko) 톤 매핑 방법 및 장치
RU2687267C2 (ru) Оптимизация изображений с расширенным динамическим диапазоном для определенных дисплеев
US11769235B2 (en) HDR tone mapping methods with scene adaptive parameterized tone map function
RU2771580C2 (ru) Преобразование динамических метаданных для поддержки альтернативного тоновоспроизведения
CN107888943B (zh) 图像处理
JP6396596B2 (ja) 色彩恒常性を有するルミナンス変更画像処理
US9042682B2 (en) Content creation using interpolation between content versions
US9749638B1 (en) Method and apparatus for encoding video with dynamic quality improvement
WO2018003937A1 (ja) 映像信号処理装置、映像信号処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant