KR102173729B1 - 톤 매핑 방법 및 장치 - Google Patents

톤 매핑 방법 및 장치 Download PDF

Info

Publication number
KR102173729B1
KR102173729B1 KR1020187021377A KR20187021377A KR102173729B1 KR 102173729 B1 KR102173729 B1 KR 102173729B1 KR 1020187021377 A KR1020187021377 A KR 1020187021377A KR 20187021377 A KR20187021377 A KR 20187021377A KR 102173729 B1 KR102173729 B1 KR 102173729B1
Authority
KR
South Korea
Prior art keywords
tone mapping
tone
video
video data
luminance
Prior art date
Application number
KR1020187021377A
Other languages
English (en)
Other versions
KR20180088740A (ko
Inventor
리 타오
김영택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180088740A publication Critical patent/KR20180088740A/ko
Application granted granted Critical
Publication of KR102173729B1 publication Critical patent/KR102173729B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)
  • Television Receiver Circuits (AREA)
  • Studio Devices (AREA)

Abstract

톤 매핑 방법은 적어도 하나의 프로세서가 비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하는 단계를 포함한다. 휘도값들의 분포의 상기 척도는 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족시키는 휘도값들을 갖게 되는 휘도 레벨을 나타낸다. 상기 방법은 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하는 단계를 포함한다.

Description

톤 매핑 방법 및 장치
본 개시는 일반적으로 이미지 처리에 관한 것이다. 보다 구체적으로, 본 개시는 분포점 기반 적응형 톤 매핑(distribution-point-based adaptive tone mapping)에 관한 것이다.
스튜디오에서, 타겟 장치들(target devices)(즉, 가정용 표시 장치, 극장용 표시 장치, 및 스마트폰 등)이 상이한 M(니트(nit))의 값들을 갖기 때문에, 사용자들은 가정용 비디오, 극장, 및 스마트폰 등을 타겟으로 하는 상이한 마스터링 모니터 피크 휘도(밝기)(mastering monitor peak luminance(brightness)) 레벨들에서 마스터링된(mastered) 비디오를 생성할 수 있다.
일 예로서, M의 최대 휘도 레벨을 갖는 마스터링 모니터로 이미 영화를 마스터링한 스튜디오는, 마스터링된 비디오를 포함하는, 마스터링된 파일, 즉 fM을 갖는다. 이 예에서, 사용자들은 N-니트(N<M이라 가정함)의 상이한 피크 휘도 레벨에서 마스터링된 비디오을 갖기 원할 수 있다. 그러한 경우, 사용자들은 두 가지 옵션을 갖는다: (i) 리마스터링(re-mastering); 또는 (ii) 톤 매핑(tone mapping).
상기 리마스터링 옵션은, 마스터링된 비디오를 생성하기 위해, 원본 비디오 파일, 즉, F와 함께 N-니트 마스터링 모니터를 이용한다. 따라서, 상기 옵션은, 리마스터링된 비디오를 포함하는 리마스터링된 파일 fN을 생성하기 위해, 마스터링된 파일 fM을 생성하는 워크플로우를 복제한다. 이러한 리마스터링 프로세스는 (i) 고품질을 제공할 수 있고; 및/또는 비용이 많이 들 수 있다.
상기 톤 매핑 옵션은 다운 톤 매핑(down tone mapping) 방법으로 칭할 수 있다. 상기 톤 매핑 옵션은 톤 매핑된(tone mapped) 비디오 FM N을 생성하기 위해 알고리즘 또는 소프트웨어와 함께 이미 마스터링된 비디오 fM을 이용한다. 이러한 톤 매핑 프로세스는 (i) 시간과 비용을 절약할 수 있고; 및/또는 (ii) 하이라이트된 객체 또는 장면(highlighted objects or scenes)의 포화(saturation)와 같은 불만족스러운 결과를 가져올 수 있다.
적어도 하나의 프로세서가 비디오 데이터 내의 휘도값들의 분포의 척도(measure)에 기반하여 적어도 하나의 톤 매핑 함수를 구성하는 단계에 있어서, 상기 척도는 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건(threshold condition)을 만족하는 휘도값들을 갖게 되는 휘도 레벨을 나타내는 것인, 단계; 및 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하는 단계를 포함하는, 톤 매핑 방법.
본 개시 및 그 이점에 대한 보다 완전한 이해를 위해, 다음의 설명이 첨부한 도면들과 함께 이루어진다.
도 1a는 본 개시에 따른 예시적 비디오 마스터링 시스템을 도시한다; 마스터링 프로세스(100) 는 특정 톤 구역(tonal zone)의 장면 하이라이트 영역 정보(SK) 및 장면 분포점("p-백분위점(p-percentile point)")을 생성한다.
도 1b는 메타데이터 추출 모듈이 없는 도 1A의 비디오 마스터링 시스템을 도시한다.
도 2는 본 개시에 따른 예시적 분포점 기반 적응형 톤 매핑 블록을 도시한다.
도 3a 및 도 3b는 본 개시의 하나 이상의 실시예들에서 톤 매핑에 이용될 수 있는 톤 매핑의 예들을 도시한다.
도 4는, 본 개시에 따른, 메타데이터 파일을 이용하는 예시적 장면 분포점 기반 적응형 톤 매핑 블록을 도시한다.
도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f는, 본 개시의 하나 이상의 실시예들에서 톤 매핑에 이용될 수 있는, 메타데이터 및 분포점("p-백분위점")에 기반하여 구성된 톤 매핑의 예들을 도시한다.
도 6은, 본 개시에 따른, 저장된(saved) p-백분위점을 이용하는 예시적 적응형 톤 매핑 블록을 도시한다.
도 7은, 본 개시에 따른, 저장된 p-백분위점 및 메타데이터를 이용하는 예시적 적응형 톤 매핑 블록을 도시한다.
도 8은, 본 개시에 따른, p-백분위점 적응형 톤 매핑을 구현하는 예시적 비디오 디스플레이를 도시한다.
도 9는, 본 개시에 따른, p-백분위점 적응형 톤 매핑을 구현하고 메타데이터를 이용하는 예시적 비디오 디스플레이를 도시한다.
도 10은, 본 개시에 따른, 적응형 톤 매핑을 구현하고 장면 p-백분위점을 메타데이터로서 이용하는 예시적 비디오 디스플레이를 도시한다.
도 11은, 본 개시에 따른, 적응형 톤 매핑을 구현하고 저장된 p-백분위점 및 메타데이터를 이용하는 예시적 비디오 디스플레이를 도시한다.
도 12는 본 개시의 다양한 실시예들이 구현될 수 있는 예시적 컴퓨팅 시스템을 도시한다.
도 13은 본 개시에 따른 예시적 비디오 처리 장치를 도시한다.
도 14는, 본 개시에 따른, p-백분위점에 기반하여 후보(candidate) 톤 매핑 함수를 선택하는 예시적 적응형 톤 매핑 블록을 도시한다.
도 15는 본 개시에 따른 톤 매핑 방법을 도시한다.
본 개시는 분포점 기반 적응형 톤 매핑을 제공한다.
제1 실시예에서, 톤 매핑 방법이 제공된다. 상기 방법은 적어도 하나의 프로세서가 비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하는 단계를 포함한다. 상기 휘도값들의 분포의 척도는, 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족하는 휘도값들을 갖게 되는, 휘도 레벨을 나타낸다. 상기 방법은 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하는 단계를 포함한다.
제2 실시예에서, 톤 매핑 장치(apparatus)가 제공된다. 상기 장치는 비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하도록 구성된 적어도 하나의 프로세서를 포함한다. 상기 휘도값들의 분포의 척도는, 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족하는 휘도값들을 갖게 되는, 휘도 레벨을 나타낸다. 상기 적어도 하나의 프로세서는 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하도록 구성된다.
제3 실시예에서, 컴퓨터 프로그램을 체현하는(embodying) 비일시적 컴퓨터 판독가능 매체가 제공된다. 상기 컴퓨터 프로그램은, 실행 시, 적어도 하나의 처리 장치로 하여금 비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하도록 하는 컴퓨터 판독가능 프로그램 코드를 포함한다. 상기 휘도값들의 분포의 척도는, 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족하는 휘도값들을 갖게 되는, 휘도 레벨을 나타낸다. 상기 컴퓨터 프로그램은, 실행 시, 상기 적어도 하나의 처리 장치로 하여금 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하도록 하는 컴퓨터 판독가능 프로그램 코드를 포함한다.
기타 기술적 특징들은 다음의 도면, 설명, 및 청구항으로부터 본 개시가 속하는 기술분야의 숙련된 자에게 명백해질 수 있다.
하기에서 상세한 설명에 들어가기 전에, 본 특허 문서 전체에 걸쳐 사용되는 일정 단어들 및 어구들에 대한 정의를 설명하는 것이 유리할 수 있다. 용어 "결합하다(couple)" 및 그 파생어들은, 둘 이상의 요소들이 서로 물리적으로 접촉하고 있든지 아니든지 상관없이, 그러한 둘 이상의 요소들 간의 어떤 직접적인 또는 간접적인 통신(communication)을 말한다. 용어 "전송하다(transmit)", "수신하다(receive)", "통신하다(communicate)", 및 그 파생어들은 직접적 및 간접적 통신 둘 모두를 포괄한다. 용어 "포함하다(include)", "포함하다(comprise)", 및 그 파생어들은 제한 없는 포함을 의미한다. 용어 "또는(or)"은 포괄적이며(inclusive), 및/또는(and/or)을 의미한다. 어구 "~와 연관되다(associated with)" 및 그 파생어들은 포함하다, ~내에 포함되다, ~와 상호 연결되다(interconnect with), ~에 또는 ~와 연결되다(connect to or with), ~에 또는 ~와 결합하다(couple to or with), ~와 통신 가능하다(be communicable with), ~와 협력하다(cooperate with), 끼워 넣다(interleave), 병치하다(juxtapose), ~에 근접하다(be proximate to), ~에 또는 ~와 결속되다(be bound to or with), 가지다, ~의 특성을 가지다(have a property of), 또는 ~에 또는 ~와 관계성을 가지다(have a relationship to or with) 등을 의미한다. 용어 "제어기(controller)"는 적어도 하나의 동작을 제어하는 어떤 장치, 시스템, 또는 그 일부를 의미한다. 그러한 제어기는 하드웨어로 또는 하드웨어와 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 어떤 특정한 제어기와 연관된 기능(functionality)은, 국부적으로든 원격적으로든, 중앙집중화되어 있거나 또는 분산되어 있을 수 있다. 어구 "~중 적어도 하나(at least one of)"는, 항목들의 리스트와 함께 사용될 때, 상기 열거된 항목들 중 하나 이상의 상이한 조합들이 이용될 수도 있고 상기 리스트 내의 오직 한 항목만이 필요할 수도 있음을 의미한다. 예를 들면, "A, B, 및 C 중 적어도 하나"는 다음 조합들 중 어떤 것이든 포함한다: A, B, C, A 및 B, A 및 C, B 및 C, 및 A 및 B 및 C.
또한, 하기에 설명되는 다양한 함수들(functions)은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원되며, 상기 컴퓨터 프로그램들 각각은 컴퓨터 판독가능 프로그램 코드로부터 형성되고 컴퓨터 판독가능 매체에 체현된다(embodied). 용어 "애플리케이션(application)" 및 "프로그램(program)"은 하나 이상의 컴퓨터 프로그램들, 소프트웨어 구성요소들, 명령어들의 집합들, 프로시저들(procedures), 함수들(functions), 객체들(objects), 클래스들(classes), 인스턴스들(instances), 관련 데이터, 또는 적절한 컴퓨터 판독가능 프로그램 코드로 구현되도록 적합화된(adapted) 이들의 일부를 말한다. 어구 "컴퓨터 판독가능 프로그램 코드"는, 소스 코드(source code), 객체 코드(object code), 및 실행가능 코드(executable code)를 포함하여, 어떠한 유형의 컴퓨터 코드라도 포함한다. 어구 "컴퓨터 판독가능 매체"는, 읽기 전용 메모리(read only memory: ROM), 랜덤 액세스 메모리(random access memory: RAM), 하드 디스크 드라이브, 컴팩트 디스크(compact disc: CD), 디지털 비디오 디스크(digital video disc: DVD), 블루레이 디스크, 또는 다른 어떤 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 어떠한 유형의 매체라도 포함한다. "비일시적(non-transitory)" 컴퓨터 판독가능 매체는 일시적인 전기적 또는 기타 신호들을 전송하는 유선, 무선, 광학적, 또는 기타 통신 링크들을 제외한다. 비일시적 컴퓨터 판독가능 매체는, 다시쓰기가능(rewritable) 광디스크, 소거가능(erasable) 메모리 장치, 정적 RAM, 동적 RAM, 또는 플래시 메모리와 같이, 데이터가 영구적으로 저장될 수 있는 매체들 및 데이터가 저장되고 추후에 덮어쓰여질(overwritten) 수 있는 매체들을 포함한다.
하기에 설명되는 다양한 함수들은 하나 이상의 컴퓨터 프로그램들을 저장하는 컴퓨터 판독가능 매체와 결합된 프로세서에 의해 구현 또는 지원될 수 있다. 이와 같이, 상기 프로세서는 상기 하나 이상의 컴퓨터 프로그램들에 의해 정의되는 함수들을 수행하기 위한 특수 목적 프로세서이다.
기타의 일정 단어들 및 어구들에 대한 정의들은 본 특허 문서 전체에 걸쳐 제공된다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자라면, 많은 경우 아니면 대부분의 경우에, 그러한 정의들이 그와 같이 정의된 단어들 및 어구들의 사용 이후 뿐 아니라 이전에도 적용됨을 이해해야 할 것이다.
하기에 설명되는 도 1A 내지 도 15, 및 본 특허 문서에서 본 개시의 원리를 설명하는 데 이용되는 다양한 실시예들은 단지 예시를 위한 것이며 어떠한 경우에도 본 개시의 범위를 제한하는 것으로 해석되어서는 안 된다. 본 개시가 속하는 기술분야의 숙련된 자라면 본 개시의 원리가 적절하게 구성된 어떠한 무선 통신 시스템에서든 구현될 수 있음을 이해할 것이다.
본 개시의 다양한 실시예들에 따르면, 시스템들 및 방법들은 두 가지 이상의 톤 매핑들의 믹스(mix)를, 비디오 파일 내의 비디오 데이터와 같은, 비디오 데이터에 적용한다. 예를 들면, 로우 톤 매핑(low tone mapping)은 하이라이트 톤들(highlight tones)을 압축하여 섀도우 톤들(shadow tones)을 확장하고, 하이 톤 매핑(high tone mapping)은 보다 낮은 톤들을 압축하여 하이라이트 톤들에 대한 보다 많은 헤드룸(headroom)을 제공한다. 보다 낮은 톤들의 예들은 미드톤들(midtones) 및 섀도우 톤들을 포함한다. 믹싱(mixing)에 의해, 중간 톤 매핑이 동적으로 달성될 수 있다. 톤 매핑들의 믹싱의 양은 하나 이상의 프레임들의 특정 톤 구역(tonal zone)(예를 들면, 블랙 톤들, 섀도우 톤들, 미트톤들, 하이라이트 톤들, 화이트 톤들)의 척도(measure)에 적어도 부분적으로 의존한다.
추가적으로 또는 대안적으로, 본 개시의 실시예들에 따른 시스템들 및 방법들은 비디오 콘텐츠의 히스토그램(histogram)의 분포의 척도에 기반하여 톤 매핑들을 발전시킨다(further). 예를 들면, 장면 또는 프레임에 포함되는 톤 범위(tonal range)의 대부분을 구성하기 위해, 장면 또는 프레임의 p-백분위점이 계산될 수 있고, 복수의 톤 매핑들이 상기 p-백분위점에 기반하여 조정될 수 있다. 이런 식으로, 이미지들을 뷰어(viewer)에게 렌더링하는 디스플레이의 동적 범위(dynamic range)를 효율적으로 이용하기 위해, 조합된 톤 매핑이 콘텐츠에 기반하여 동적으로 변화될 수 있다.
본 개시의 실시예들에 따른 시스템들 및 방법들은, 콘텐츠의 리마스터링을 용이하게 하기 위해 및/또는 높은 동적 범위(high dynamic range: HDR) 디스플레이를 용이하게 하기 위해, 이미지, 그래픽, 및/또는 비디오(본 명세서에서 총괄하여 간단히 "비디오"로 칭함)를 톤 매핑하는 하나 이상의 애플리케이션들을 포함한다. 일정 실시예들에서, 톤 매핑은 상이한 휘도 피크 레벨들로의 HDR 리마스터링을 용이하게 한다. 일정 실시예들에서, 상기 톤 매핑은 리마스터링 모니터와 상이한 휘도 피크 레벨을 갖는 디스플레이를 위한 톤 매핑을 용이하게 한다. 본 명세서에 개시된 다양한 실시예들은 단독으로 아니면 조합하여 이용될 수 있다.
도 1A는 본 개시에 따른 예시적 비디오 마스터링 시스템(100)을 도시한다. 상기 비디오 마스터링 시스템(100)은 영화 스튜디오와 연관된 영화 마스터링 프로세스를 구현할 수 있다. 상기 비디오 마스터링 시스템(100)은 특정 톤 구역의 장면 하이라이트 영역 정보(SK) 및 장면 분포점("p-백분위점")을 생성한다.
상기 비디오 마스터링 시스템(100)에서, 컬러 그레이딩(color grading) 모듈 (105)은 마스터링될 또는 리마스터링될 원본 비디오 파일 F의 입력(110)을 수신한다. 마스터링의 경우, 상기 입력(110)은, 이전에 마스터링된 적 없는, 카메라에서의 원시 데이터(raw data)를 포함한다. 리마스터링의 경우, 상기 입력(110)은 이전에 마스터링된 비디오 파일을 포함한다. 상기 컬러 그레이딩 모듈(105)은 상기 원본 비디오 파일 F의 사용자 색상 그레이드들을 나타내는 사용자 입력(115)을 포함한다. 즉, 사용자 색상은 상기 컬러 그레이딩 모듈(105)을 사용하여 입력된 마스터 비디오를 그레이딩한다. 상기 컬러 그레이딩 모듈(105)은 상기 사용자 입력(115)을 이용하여 상기 입력(110)으로부터 마스터링된 비디오 파일(120)(fM)을 생성한다. 상기 마스터링된 비디오 파일(120)은 메모리 또는 저장소(storage)에 저장될 수 있다. 상기 컬러 그레이딩 모듈(105)은 상기 마스터링된 비디오 파일(120)을 출력하며, 상기 마스터링된 비디오 파일(120)은 (i) 양자화기(quantizer)(125)(Qn), (ii) 메타데이터 추출 모듈(130), (iii) 톤 구역 영역 검출기(135), 및 (iv) 분포점("p-백분위점") 계산기(140) 각각에 입력된다.
상기 양자화기(125)는 양자화 함수를 상기 마스터링된 비디오 파일(120)에 적용하여 양자화된 마스터링된 비디오 파일(145)(Qn(fM))을 생성 및 출력한다. 상기 양자화된 마스터링된 비디오 파일(145)은 메모리 또는 저장소에 저장될 수 있다. 상기 양자화된 마스터링된 비디오 파일(145)은 마스터링 모니터(150)에 입력된다. 상기 양자화된 마스터링된 비디오 파일(145)은 n-비트 형식(format)을 포함한다.
상기 메타데이터 추출 모듈(130)은 상기 마스터링된 비디오 파일(120)에 링크된 메타데이터(155)를 생성 및 출력한다. 상기 메타데이터(155)는 마스터링된 비디오 파일에 상응하여 별도의 파일로서 저장되는 메타데이터 저장 파일(a save as metadata file: SMF)일 수 있다. 상기 메타데이터 추출 모듈(130)은 상기 마스터링된 비디오 파일(120)로부터: (i) 상기 마스터링 모니터(150)의 최대 휘도 레벨, 즉, M; (ii) 최대 콘텐츠 휘도 레벨, 즉, MaxCLL; 및 (iii) 최대 프레임 평균 휘도 레벨, 즉, MaxFALL을 포함하나 이에 제한되지 않는, 다양한 값들을 추출할 수 있다.
상기 톤 구역 영역 검출기(135)는 실시간으로 비디오 데이터를 분석하고, 프레임 또는 장면의 특정 톤 구역의 척도(160)(예를 들면, 하기에서 더 상세히 설명되는, SK 또는 RK)를 생성하며, 상기 척도(160)를 출력한다. 상기 척도(160)는 마스터링된 비디오 파일에 상응하여 별도의 파일로서 저장되는 메타데이터 자장 파일(SMF)일 수 있다. 상기 톤 구역 영역 검출기(135)는, 마스터링된 비디오(120)(fM)를 입력으로서 수신하고 프레임의 특정 톤 구역의 척도 RK를 생성 및 출력하는, 프레임 하이라이트 영역 검출기를 포함할 수 있다. 상기 톤 구역 영역 검출기(135)는, 마스터링된 비디오(120)(fM)를 입력으로서 수신하고, 상기 입력(110)의 장면의 특정 톤 구역의 척도 SK를 생성하며, 상기 척도 SK를 출력하는, 장면 하이라이트 영역 검출기를 포함할 수 있다. 장면 하이라이트 영역 검출기는, "평균값(Average Value)", "비값(Ratio Value)", "최대 장면 평균값(Max Scene Average Value)", 및 "최대 장면비(Max Scene Ratio)"와 같이, 여러 가지 방법으로 상기 척도 SK를 결정할 수 있다.
용어 "장면(scene)"은 비디오의 연속적인 프레임들의 그룹 또는 집합을 말한다. 일정 실시예들에서, 프레임들의 집합은, 카메라가 사진 작가/비디오 작가의 몸의 아핀 떨림(affine tremor)으로 인해 약간의 변량(variance)이 있는 일련의 프레임들을 캡처하는 경우와 같이, 실질적으로 동일한 배경을 포함할 수 있다. 예시적 실시예들에서, 장면에 상응하는 프레임들의 집합은 메타데이터에 기반하여 결정될 수 있다. 그러나, 미리 결정된 수의 연속적인 프레임들을 이용하는 경우 및/또는 연속적인 레코딩의 시작 및 중단 프레임들을 결정하는 경우와 같이, 장면의 프레임들을 결정하는 어떤 적절한 방법이라도 이용될 수 있음을 이해할 수 있을 것이다.
톤 구역(tonal zone)은 장면의 히스토그램의 정의된 영역을 말한다. 상기 톤 구역의 예들로 블랙 톤들, 섀도우 톤들, 미드톤들, 하이라이트 톤들, 화이트 톤들, 및 이들의 어떠한 조합 또는 부분적 조합이 포함되나, 이에 제한되지 않는다. 비제한적 예에서, 상기 블랙 톤들은 가능한 휘도값들 중 최하위 5%에 상응하고, 상기 섀도우 톤들은 가능한 휘도값들 중 최하위 삼분의 일에 상응하고, 미드톤들은 가능한 휘도값들 중 중간 삼분의 일에 상응하고, 하이라이트 톤들은 가능한 휘도값들 중 최상위 삼분의 일에 상응하고, 상기 화이트 톤들은 가능한 휘도값들 중 최상위 5%에 상응할 수 있다. 예를 들면, 휘도값들의 범위가 0 내지 255(예를 들면, 8 비트)인 예에서, 상기 블랙 톤들은 대략 레벨 0 내지 레벨 12에 상응할 수 있고, 상기 섀도우 톤들은 레벨 13 내지 레벨 85 또는 레벨 0 내지 레벨 85에 상응할 수 있고, 상기 미드톤들은 대략 레벨 85 내지 레벨 169에 상응할 수 있고, 상기 하이라이트 톤들은 대략 레벨 169 내지 레벨 243 또는 레벨 169 내지 레벨 255에 상응할 수 있고, 상기 화이트 톤들은 대략 레벨 243 내지 레벨 255에 상응할 수 있다. 대안적인 실시예들에서, 상기 톤 구역은 휘도값들의 미리 결정된 어떠한 범위에든지 상응할 수 있음을 이해할 것이다.
특정 톤 구역은 특정 톤 구역에 걸쳐 측정된 히스토그램 하에서 영역별로 측정될 수 있다. 상기 특정 톤 구역을 기준으로 장면을 특징짓는 어떤 적절한 기준(norm) 또는 통계와 같이, 어떤 적절한 척도라도 이용될 수 있다.
상기 p-백분위점 계산기(140)는 비디오 데이터 내 휘도값들의 분포의 척도(165)(IP)를 생성한다. 상기 척도(165)(IP)는 마스터링된 비디오 파일에 상응하여 별도의 파일로 저장되는 메타데이터 저장 파일(SMF)일 수 있다. 상기 척도 IP(165)는 백분위점일 수 있으며, 상기 백분위점은, 휘도 레벨보다 작거나 크다는 조건과 같이, 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건(threshold condition)을 만족시키는 휘도값들을 갖게 되는 휘도 레벨을 나타낸다. 명확성을 위해, 하기에서 예들은 상기 문턱값 조건이 상기 휘도 레벨보다 작은 경우에 해당하는 상황에서 설명될 것이지만, 대안적인 실시예들에서 상기 문턱값 조건은 상기 휘도 레벨보다 큰 경우에 해당할 수도 있음을 이해할 것이다. 상기 비디오 데이터는 프레임 또는 장면일 수 있다. 상기 p-백분위점 계산기(140)는 상기 마스터링된 비디오 파일(120)의 장면 p-백분위점(165)(IP)을 계산하는 장면 p-백분위점 계산기를 포함할 수 있다. 보다 구체적으로, 상기 p-백분위점 계산기(140)는 주어진 p의 값에 대해 상기 장면 p-백분위점(165)(IP)을 결정하기 위해 상기 마스터링된 비디오 파일(120)에 식 1 및 식 2를 적용할 수 있다. 상기 p의 값은 상기 p-백분위점 IP보다 작은 휘도 레벨을 갖는 장면의 샘플들의 백분율(percent)과 같을 수 있거나, 또는 선택된 값(예를 들면, 5% 또는 20%)을 나타낼 수 있다.
Figure 112018073115910-pct00001
(1)
상기 식 (1)에서
Figure 112018073115910-pct00002
(2)
일정 실시예들에서, 상기 p-백분위점 계산기(140)는 상기 마스터링된 비디오 파일(120)의 프레임 p-백분위점(165)(IP)을 계산하는 프레임 p-백분위점 계산기를 포함한다. 보다 구체적으로, 상기 p-백분위점 계산기(140)는 주어진 p의 값에 대해 상기 프레임 p-백분위점(165)(IP)을 결정하기 위해 상기 마스터링된 비디오 파일(120)에 식 3을 적용할 수 있다. 상기 p의 값은 상기 p-백분위점 IP보다 작은 휘도 레벨을 갖는 프레임의 샘플들의 백분율과 같을 수 있거나, 또는 선택된 값(예를 들면, 5% 또는 20%)을 나타낼 수 있다.
Figure 112018073115910-pct00003
(3)
상기 마스터링 모니터(150)는, 상기 양자화된 마스터링된 비디오 파일(145)에 역양자화(dequantization) 함수를 적용할 수 있는, 역양자화기 모듈(Qn - 1)을 포함한다. 상기 마스터링 모니터(150)는 M니트의 최대 휘도 레벨을 가진다. 상기 마스터링 모니터(150)는 상기 사용자에게 시각적 피드백을 제공한다. 그러나, 상기 마스터링 모니터(150)는, 소비자급(consumer-grade) 텔레비전과 같은, 소비자 표시 장치와 비교하여 매우 높은 명암대비(contrast)를 가질 수 있다. 결과적으로, 상기 마스터링 모니터(150) 상에 표시되는 마스터링된 비디오는 가정용 텔레비전 세트 상에 표시되는 것과 달라 보일 수 있다. 예를 들면, 상기 마스터링 모니터(150)는 가정용 텔레비전 세트보다 더 밝은 이미지를 표시할 수 있기 때문에, 가정용 텔레비전 세트 상에 표시되는 마스터링된 비디오의 밝은 부분들은 클리핑될(clip) 수 있고, 따라서, 이미지 세부사항들(details)이 손실될 수 있다. 상기 마스터링된 비디오를 표시함으로써, 상기 마스터링 모니터(175)는 블록(150) 에서의 수동 마스터링 프로세스에 대한 색상 톤들의 연속적 또는 반복적 조정을 위한 시각적 피드백을 제공한다.
수동 마스터링 블록(175)에서, 상기 원본 비디오 파일 F의 상기 입력(110)은 컬러 그레이딩 모듈(105)을 이용하여 그레이딩될 수 있다. 또한, 상기 수동 마스터링 블록(175)에서, 시각적 피드백(170)은 색상 톤들의 연속적 또는 반복적 조정을 위해 컬러 그레이딩 모듈(105)을 이용하여 그레이딩될 수 있다.
도 1a는 비디오 마스터링 시스템(100)의 일 예를 도시하고 있지만, 도 1A에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 다른 실시예들은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 예를 들면, 도 1b는 상기 메타데이터 추출 모듈(130)이 없는 도 1a의 비디오 마스터링 시스템을 도시하고 있으며, 상기 비디오 마스터링 시스템은 본 명세서에서 참조번호 101로 표시된다.
도 2는 본 개시에 따른 예시적 분포점 기반 적응형 톤 매핑 블록(200)을 도시한다. 상기 톤 매핑 블록(200)은 p-백분위점(IP)에 기반하여 상기 톤 매핑 함수를, 예를 들면, 조정하여, 구성하는 분포점 기반 적응형 톤 매핑에 의해, 표시 장치 상에 이미지를 렌더링할 수 있게 한다. 상기 톤 매핑 블록(200)은, M-니트 마스터링 모니터로, 이미 마스터링된 비디오 fM으로부터 톤 매핑된 비디오 fM N을 생성하며, 이는, 다른 특성들 중에서도, 적응적이고 자동적이기 때문에 비용이 저렴할 수 있고, 및/또는 하이라이트된 객체 또는 장면의 포화(saturation)가 낮거나 없도록 할 수 있다.
상기 톤 매핑 블록(200)은 두 가지 이상의 톤 매핑들의 믹스를 비디오 파일에 적용한다. 상기 톤 매핑 블록(200)은, 제1 톤 매핑 함수 블록(205) 및 제2 톤 매핑 함수 블록(210)을 포함하는 복수의 톤 매핑 함수 블록들, 장면 하이라이트 영역 검출기(215), 믹싱비(mixing ratio) 블록(220), 믹서 블록(225), 및 장면 p-백분위점 계산기(265)를 포함한다. 상기 장면 p-백분위점 계산기(265)는 도 1A에서의 상응하는 장면 p-백분위점 계산기(140)와 동일 또는 유사할 수 있고 동일 또는 유사한 방식으로 작동될 수 있다.
도시한 예에서, 상기 제1 및 제2 톤 매핑 함수 블록들은 로우 톤 매핑 함수 블록(205) 및 하이 톤 매핑 함수 블록(210)을 포함한다. 각각의 톤 매핑 함수 블록(205 및 210)은 마스터링된 비디오 fM을 입력(230)(x)으로서 수신한다. 또한, 각각의 톤 매핑 함수 블록(205 및 210)은 메타데이터(260)를 입력으로서 수신한다. 상기 메타데이터(260)는 상기 마스터링된 비디오 파일(230)의 p-백분위점(IP)을 포함한다. 상기 메타데이터(260)는 상기 마스터링 시스템(100) 내의 상기 p-백분위점 계산기(140)로부터 수신되는 장면 p-백분위점(165)(IP)을 포함할 수 있다. 대안적으로, 상기 메타데이터(260)는 상기 톤 매핑 블록(200) 내의 상기 p-백분위점 계산기(265)로부터 수신되는 장면 p-백분위점(270)(IP)을 포함할 수 있다. 각각의 톤 매핑 함수 블록(205 및 210)은, 도 3A 및 도 3B를 참조하여 하기에서 보다 구체적으로 설명하는 바와 같이, 상기 수신된 메타데이터(260)에 기반하여 그것의 톤 매핑 함수를, 예를 들면, 조정하여, 구성할 수 있다. 각각의 톤 매핑 함수 블록(205 및 210)은, 상기 수신된 메타데이터(260)에 기반하여 구성된 상기 톤 매핑 함수를 상기 입력(230)의 상기 마스터링된 비디오 fM에 적용함으로써, 후보 톤 매핑된 비디오를 출력들(235 및 240)로서 생성한다. 보다 구체적으로, 상기 로우 톤 매핑 함수 블록(205)은 로우 톤 매핑 함수를 적용하고 출력(235), 즉, 후보 로우 톤 매핑된 비디오(y1)를 제공한다. 상기 하이 톤 매핑 함수 블록(210)은 하이 톤 매핑 함수를 적용하고 출력(240), 즉, 후보 하이 톤 매핑된 비디오(y2)를 제공한다. 상기 로우 톤 매핑 함수 블록(205)은 상기 하이 톤 매핑 함수 블록(210)으로부터의 상기 출력(240)보다 더 큰 조도(illumination) 범위를 갖는 출력(235)을 상기 입력(230)의 상기 마스터링된 비디오 fM의 낮은 휘도 값들에 제공한다.
상기 장면 하이라이트 영역 검출기(215)는 마스터링된 비디오 fM을 입력(230)(x)으로서 수신하고, 척도 SK(245)를 출력으로서 생성한다. 상기 척도 SK(245)는 상기 입력(230)(x)의 장면의 특정 톤 구역의 척도이다. 상기 장면 하이라이트 영역 검출기(215)는, "평균값", "비값", "최대 장면 평균값", 및 "최대 장면비"와 같이, 여러 가지 방법으로 상기 척도 SK(245)를 결정할 수 있다.
상기 "평균값" 방법에 따르면, 상기 장면 하이라이트 영역 검출기(215)는 장면의 특정 톤 구역의 상기 척도 SK(245)를 상기 특정 톤 구역(미리 결정된 범위) 내의 상기 입력(230)의 상기 마스터링된 비디오 fM의 휘도값들의 평균값으로 결정한다. 상기 특정 톤 구역은 미리 결정된 상수 K보다 크고 상기 마스터링된 비디오의 최대 휘도값(M)보다 작은 범위일 수 있다. 상기 미리 결정된 상수 K는 상기 마스터링된 비디오의 최대 휘도값(M)보다 작다. 상기 미리 결정된 상수(K)의 값은 임의적일 수 있거나 또는 타겟 표시 장치의 특성에 의존할 수 있다. 보다 구체적으로, 상기 장면 하이라이트 영역 검출기(215)는 하기 식 4 및 식 5에 따라 상기 척도 SK(245)를 결정한다. 용어 1x>K는 상기 입력(x)의 휘도값이 상기 미리 결정된 상수 K보다 큰지 여부를 나타내는 값이고; 용어 x∈scene는 x가 장면에 해당하는 집합의 멤버임을 나타낸다.
Figure 112018073115910-pct00004
(4)
상기 식 (4)에서
Figure 112018073115910-pct00005
(5)
상기 "비값(ratio value)" 방법에 따르면, 상기 장면 하이라이트 영역 검출기(215)는 상기 척도 SK(245)를 상기 입력(230)의 상기 마스터링된 비디오 fM의 휘도값들의 수 대비 특정 톤 구역 내에 있는 상기 입력(230)의 상기 마스터링된 비디오 fM의 휘도값들의 수의 비로 결정한다. 설명의 용이성을 위해, 상기 특정 톤 구역(즉, x>K, 상기 미리 결정된 상수 K보다 큼)이 "비값", "최대 장면 평균값", 및 "최대 장면비" 방법들을 설명하기 위한 예로서 적용될 것이다. 보다 구체적으로, 상기 장면 하이라이트 영역 검출기(215)는 하기 식 6에 따라 상기 척도 SK(245)를 결정한다.
Figure 112018073115910-pct00006
(6)
상기 "최대 장면 평균값" 방법에 따르면, 상기 장면 하이라이트 영역 검출기(215)는 상기 척도 SK(245)를 상기 입력(230)의 상기 마스터링된 비디오 fM의 동일한 입력 장면에서 프레임들의 특정 톤 구역 내의 휘도값들의 평균값들 중 최대값으로 결정한다. 이 결정을 함에 있어서, 상기 장면 하이라이트 영역 검출기(215)는 동일한 입력 장면에서의 프레임들의 집합을 식별하고, 상기 입력 장면에서의 각 프레임은 인덱스 i를 가진다. 예를 들면, 상기 입력 장면이 4개의 프레임을 포함한다면, 집합은 {프레임1, 프레임2, ..., 프레임i = 4}이다. 각각의 인덱싱된 프레임(framei)에 대해, 상기 장면 하이라이트 영역 검출기(215)는 상기 특정 톤 구역 내의 휘도값들의 평균값을 식별 및 계산한다. 상기 장면 하이라이트 영역 검출기(215)는 각각의 인덱싱된 프레임(framei)에 상응하는 평균값들 중에서 최대값을 선택한다. 식 7 및 식 8은 상기 척도 SK(245)를 결정하는 상기 "최대 장면 평균값" 방법을 표현한다.
Figure 112018073115910-pct00007
(7)
상기 식 (7)에서
Figure 112018073115910-pct00008
(8)
특정한 비제한적 예로서, 특정 인덱싱된 프레임 framei =3이 휘도값들 {1, 2, 2, 4, 5}를 갖는 5개의 샘플들을 포함한다면, 상기 인덱싱된 프레임은 상기 특정 톤 구역(x>K) 내에 휘도값들 {4, 5}를 갖는 2개의 샘플들을 포함하고, framei =3에 상응하는 평균값은, (4+5)/2에 기반하여, 4.5가 된다.
상기 "최대 장면비(Max Scene Ratio)" 방법에 따르면, 상기 장면 하이라이트 영역 검출기(215)는 장면의 특정 톤 구역의 상기 척도 SK(245)를 상기 특정 톤 구역 내의 상기 입력(230)의 상기 마스터링된 비디오 fM의 동일 입력 장면의 프레임들의 수의 비들 중 최대값으로 결정한다. 상기 장면 하이라이트 영역 검출기(215)는 하기 식 (9)에 따라 상기 척도 SK(245)를 결정한다.
Figure 112018073115910-pct00009
(9)
상기 믹싱비 블록(220)은 상기 척도 SK를 입력으로서 수신하고 상기 척도 SK(245)에 기반하여 믹싱비(250)(r)를 생성한다. 상기 믹싱비(250)(r)는 상기 복수의 톤 매핑 함수 블록들(205 및 210)의 각각의 출력(235 및 240)의 비율(proportion)을 나타낸다. 상기 믹싱비(r)는 톤 매핑들의 영향의 양(amount)을 결정할 수 있다. 상기 믹싱비(250)는 0(r=1)일 수 있으며, 이는 상기 톤 매핑된 비디오(255)(fM N)가 상기 출력(235)의 상기 후보 로우 톤 매핑된 비디오(y1)와 같다는 것을 나타낸다. 상기 믹싱비(250)는 0(r=0)일 수 있으며, 이는 상기 톤 매핑된 비디오(255)(fM N)가 상기 출력(235)의 상기 후보 로우 톤 매핑된 비디오(y1)와 같다는 것을 나타낸다. 상기 믹싱비(250)는 1(r=1)일 수 있으며, 이는 상기 톤 매핑된 비디오(255)(fM N)가 상기 출력(240)의 상기 후보 하이 톤 매핑된 비디오(y2)와 같다는 것을 나타낸다. 상기 믹싱비(250)는 0과 1 사이의 값일 수 있으며, 이는 상기 톤 매핑된 비디오(255)(fM N)가: (i) 상기 출력(235)의 상기 후보 로우 톤 매핑된 비디오(y1)의 일부; 및 (ii) 상기 출력(240)의 상기 후보 하이 톤 매핑된 비디오(y2)의 일부를 모두 포함한다는 것을 나타낸다. 예를 들면, 상기 믹싱비 블록(220)은 상기 복수의 톤 매핑 블록들로부터 각각의 출력 y1, ..., yn을 수신할 수 있고, 가중(weighted) 출력들(예를 들면, 톤 매핑된 비디오 y = c1y1 + c2y2 + ... + cnyn이고 여기서 가중치들 c1, c2, ..., cn 의 합은 1(unity)이다)의 가중 조합(예를 들면, 볼록 조합(convex combination))을 생성 및 결정할 수 있다. 이런 식으로, 하이라이트 톤들의 큰 척도를 갖는 비디오 콘텐츠는, 예를 들면, 상기 톤 매핑 블록(200)으로 하여금, 하이라이트 톤들에 더 큰 범위를 제공하는 하이 톤 매핑들을 강조하는 톤 매핑들의 믹스를 적용하도록 하여, 장면의 더 밝은 부분들의 클리핑(clipping)을 방지한다. 반대로, 하이라이트 톤들의 낮은 척도를 갖는 비디오 콘텐츠는 상기 톤 매핑 블록(200)으로 하여금, 섀도우 톤들에 더 큰 범위를 제공하는 로우 톤 매핑들을 강조하는 톤 매핑들의 믹스를 적용하도록 하여, 장면의 더 어두운 부분들의 세부 사항을 드러낸다.
상기 믹서 블록(225)은 복수의 톤 매핑 함수 블록들(205 및 210) 로부터 상기 믹싱비(250)(r) 및 후보 톤 매핑된 비디오들 y1 및 y2를 입력으로서 수신한다. 상기 믹서 블록(225)은 상기 믹싱비(250)에 따라 상기 출력들(235 및 240)(y1 및 y2)을 믹싱하여, 톤 매핑된 비디오(255)(fM N)를 출력(y)으로서 생성한다. 상기 믹서 블록(225)은 톤 매핑된 비디오(255)를 생성하기 위해 식 10을 적용한다.
Figure 112018073115910-pct00010
(10)
도 2는 하나의 예시적 톤 매핑 블록(200)을 도시하고 있지만, 도 2에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 다른 실시예들은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 예를 들면, 상기 믹서 블록(225)은, 후보 톤 매핑된 비디오들을 믹싱하는 것이 아니라, 상기 톤 매핑 함수 블록들의 출력들 중에서 하나의 후보 톤 매핑된 비디오를 선택하여 상기 톤 매핑된 비디오(255)를 생성하도록 구성될 수 있다. 도 2에 도시한 예에서, 상기 믹서 블록(225)은 상기 두 개의 출력들(235 및 240) 중 하나를 선택하여 상기 톤 매핑된 비디오(255)(fM N)로서 출력되도록 할 것이다. 다른 예로서, 상기 장면 p-백분위점 계산기(265)는 대안적으로, 상기 마스터링된 비디오 파일(230)의 프레임 p-백분위점(165)(IP)을 계산하는, 프레임 p-백분위점 계산기(도 8에서 참조번호 865로 표시됨)일 수 있다.
도 3a 및 도 3b는 본 개시의 하나 이상의 실시예들에서 톤 매핑에 이용될 수 있는 톤 매핑의 예들을 도시한다. 도 3a 및 도 3b에 도시한 톤 매핑들(300 및 305)의 예들은 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.
상기 로우 및 하이 톤 매핑 함수 블록들(205 및 210)은 상기 메타데이터(260) 내의 상기 p-백분위점(IP)에 기반하여 상기 톤 매핑들(300 및 305)을 구성할 수 있다. 도 3a 및 도 3b에서, 상기 톤 매핑들(300 및 305)은 제1 톤 매핑 부분(345)을 포함한다. 상기 제1 톤 매핑 부분(345)은, 0 내지 IP의 범위 내에 있는, 상기 입력 비디오 x에 대한 휘도값들이 IP의 미리 결정된 함수, 즉, g(IP)에 따라 출력 비디오(y1 및 y2)에 대한 휘도값들로 매핑되는 것을 보여준다. 상기 미리 결정된 함수 g(IP)는, 선형 함수와 같이, 어떤 적절한 함수든지 될 수 있다. 상기 제1 톤 매핑 부분 외의, 상기 톤 매핑들(300 및 305)의 나머지 부분(remainder)은, IP 내지 Imax의 범위 내에 있는, 상기 입력 비디오 x에 대한 휘도값들이, 상기 미리 결정된 함수 g(IP)와 다를 수 있는, 상응하는 로우 또는 하이 톤 매핑 함수에 따라 상기 출력 비디오(y1 또는 y2)에서의 휘도값들에 매핑되는 것을 보여준다.
도 3a에서, 상기 로우 톤 매핑(300)은 Imax의 최대 휘도값을 갖는 상기 입력 비디오 x에 대한 휘도값들과 N의 최대 휘도값을 갖는 타겟 디스플레이 상에 표시하고자 하는 상기 출력 비디오 y1에 대한 휘도값들 사이의 관계를 보여준다. 이러한 로우 톤 매핑(300)에 대해 도시한 바와 같이, 상기 입력 비디오 x에서의 특정 높은 휘도값들은 클리핑되거나(clipped) 아니면 상기 출력 비디오 y1에서 동일한 휘도값들로 표현된다. 이러한 클리핑은 상기 입력 비디오 x의 높은 톤들 또는 높은 휘도값들에 대한 포화를 야기한다. 예를 들면, 최대 휘도값 Imax에 가까운 상기 입력 비디오 x에서의 특정 높은 휘도값들은 상기 출력 비디오 y1에서 상기 타겟 디스플레이의 최대 휘도값 N을 갖는 것으로 표현된다.
도 3b에서, 상기 하이 톤 매핑(305)은 Imax의 최대 휘도값을 갖는 상기 입력 비디오 x에 대한 휘도값들과 N의 최대 휘도값을 갖는 타겟 디스플레이 상에 표시하고자 하는 상기 출력 비디오 y2에 대한 휘도값들 사이의 관계를 보여준다. 이러한 하이 톤 매핑(305)에 대해 도시한 바와 같이, 상기 입력 비디오 x에서의 휘도값들 중 아무것도 클리핑되지 않는다. 상기 입력 비디오 x에서의 휘도값들은 스케일링되거나(scaled) 아니면 상기 출력 비디오 y2에서의 휘도값으로 매핑된다. 이와 같이 클리핑이 없음으로 인해 상기 입력 비디오 x의 높은 톤들 또는 높은 휘도값들에 대한 포화가 없으며, 이는 더 대조적인 세부사항 또는 전반적으로 더 어두운 시각적 묘사라는 결과를 가져온다.
점선으로 표시된 선형 매핑 함수(330)는 0과 Imax 사이에 있는 상기 입력 비디오 x에서의 휘도값들을 0과 N 사이의 범위에 있는 상기 출력 비디오(y1 또는 y2)에서의 휘도값들로 스케일링한다. 이러한 선형 매핑 함수는 다양한 톤 매핑 함수들의 효과를 비교하기 위한 기초를 제공한다. IP와 Imax 사이에 있는 적어도 일부의 입력 휘도값들에 대해 도 3a 및 도 3b에 도시한 상기 톤 매핑들(300 및 305)을 비교하면, 상기 로우 톤 매핑(300)은 상기 하이 톤 매핑(305)이 상기 출력(y2)을 매핑하는 것보다 상기 선형 매핑 함수 위로 더 높은 휘도값들로 상기 출력 비디오(y1)를 매핑한다.
본 개시의 하나 이상의 예시적 실시예들에서는 하이라이트 톤들을 압축함으로써 로우 톤 매핑이 섀도우 톤들을 확장한다는 것과, 보다 낮은 톤들(예들 들면, 미드톤들 및 섀도우 톤들)을 압축함으로써 하이라이트 톤들에 대한 보다 많은 헤드룸을 제공할 수 있다는 것을 인식하고 있다. 믹싱에 의해, 중간 톤 매핑이 동적으로 성취될 수 있다. 톤 매핑들의 믹싱의 양은 적어도 부분적으로 장면의 특정 톤 구역의 척도에 달려 있다.
도 4는, 본 개시에 따른, 메타데이터 파일을 이용하는 예시적 장면 분포점 기반 적응형 톤 매핑 블록(400)을 도시한다.
복수의 톤 매핑 블록들(200 및 400)이 본 명세서에서 설명되고 있지만, 하나의 톤 매핑 블록의 특징들이 다른 톤 매핑 블록에서 이용될 수 있음을 유의하라. 상기 톤 매핑 블록(400)은 도 2에 도시한 상기 톤 매핑 블록(200)의 구성요소들을 포함할 수 있으며 동일 또는 유사한 방식으로 작동될 수 있다. 예를 들면, 상기 톤 매핑 블록(400)은 상기 마스터링된 비디오 fM을 입력(230)으로서 수신할 수 있고, 상기 톤 매핑 블록(200) 중, 상기 척도 SK(245)를 출력하는 상기 장면 하이라이트 영역 검출기(215), 상기 믹싱비(250)을 출력하는 상기 믹싱비 블록(220), 상기 장면 p-백분위점(270)(IP)을 출력하는 상기 장면 p-백분위점 계산기(265), 및 상기 믹서(225)를 포함할 수 있다. 설명의 단순성을 위해, 상기 특징들(215, 220, 225, 230, 245, 265, 및 270)에 대하여는 도 4와 관련하여 중복 설명되지 않을 것이다.
상기 톤 매핑 블록(400)은, 도 2를 참조하여 설명한 바와 같이, 두 가지 이상의 톤 매핑들의 믹스를 비디오 파일에 적용한다. 상기 톤 매핑 블록(400)은 제1 톤 매핑 함수 블록(405) 및 제2 톤 매핑 함수 블록(410)을 포함하는 복수의 톤 매핑 함수 블록들을 포함한다. 상기 제1 및 제2 톤 매핑 함수 블록들은 로우 톤 매핑 함수 블록(405) 및 하이 톤 매핑 함수 블록(410)을 포함한다. 각각의 톤 매핑 함수 블록(405 및 410)은 마스터링된 비디오 fM을 입력(230)(x)으로서 수신한다. 또한, 각각의 톤 매핑 함수 블록(405 및 410)은 메타데이터(460)(SMF)를 입력으로서 수신한다. 상기 메타데이터(460)는 상기 마스터링된 비디오 파일(230)의 상기 p-백분위점(IP)를 포함한다. 상기 메타데이터(460)는 또한, 마스터링 프로세스의 상기 메타데이터 추출 모듈(130)로부터 출력되는 M 값, MaxCLL 값, 또는 MaxFALL 값과 같은, 추출된 메타데이터를 포함한다. 각각의 톤 매핑 함수 블록(405 및 410)은, 도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f를 참조하여 하기에서 보다 구체적으로 설명하는 바와 같이, 상기 메타데이터(460) 내의 SMF에 기반하여 그것의 톤 매핑 함수를, 예를 들면, 조정하여, 더 구성할 수 있다. 각각의 톤 매핑 함수 블록(405 및 410)은, 상기 메타데이터(460) 내의 상기 IP 및 상기 수신된 SMF에 기반하여 구성된 톤 매핑 함수를 상기 입력(230)의 상기 마스터링된 비디오 fM에 적용함으로써, 후보 톤 매핑된 비디오를 출력들(435 및 440)로서 생성한다.
상기 믹서 블록(225)은 상기 복수의 톤 매핑 함수 블록들(405 및 410)로부터 상기 믹싱비(250)(r) 및 상기 후보 톤 매핑된 비디오들 y1 및 y2를 입력들로서 수신한다. 상기 믹서 블록(225)은 상기 믹싱비(250)에 따라 상기 출력들(435 및 440)(y1 및 y2)을 믹싱하여 상기 톤 매핑된 비디오(455)(fM N)를 출력(y)으로서 생성한다. 상기 믹서 블록(225)은 상기 톤 매핑된 비디오(455)를 생성하기 위해 식 10을 적용한다.
Figure 112018073115910-pct00011
(10)
도 4는 하나의 예시적 톤 매핑 블록(400)을 도시하고 있지만, 도 4에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 상기 믹서 블록(225)은, 후보 톤 매핑된 비디오들을 믹싱하는 것이 아니라, 상기 복수의 톤 매핑 함수 블록들의 상기 출력들 중 하나의 후보 톤 매핑된 비디오를 선택함으로써 상기 톤 매핑된 비디오(455)를 생성하도록 구성될 수 있다. 도 2에 도시한 예에서, 상기 믹서 블록(225)은 상기 두 개의 출력들(435 및 440) 중 하나를 선택하여 상기 톤 매핑된 비디오(455)(fM N)로서 출력되도록 할 것이다.
도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f는, 본 개시의 하나 이상의 실시예들에서 톤 매핑에 이용될 수 있는, 메타데이터 및 분포점("p-백분위점")에 기반하여 구성되는 톤 매핑들의 예들을 도시한다. 도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f는 IP와 함께, 수신된 SMF 메타데이터(예를 들면, M, MaxCLL, MaxFALL)와 같은, 다른 메타데이터에 기반하여 구성되는 톤 매핑들(500, 505, 510, 515, 520, 및 525)의 예들을 보여준다. 도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f에 도시한 톤 매핑들(500, 505, 510, 515, 520, 및 525)의 예들은 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.
도 5a, 도 5c, 및 도 5e 각각에 있어서, 상기 로우 톤 매핑은 Imax의 최대 휘도값을 갖는 상기 입력 비디오 x에 대한 휘도값들과 N의 최대 휘도값을 갖는 타겟 디스플레이 상에 표시하고자 하는 상기 출력 비디오 y1에 대한 휘도값들 사이의 관계를 보여준다. 도 5b, 도 5d, 및 도 5f 각각에 있어서, 상기 하이 톤 매핑(305)은 Imax의 최대 휘도값을 갖는 상기 입력 비디오 x에 대한 휘도값들과 N의 최대 휘도값을 갖는 타겟 디스플레이 상에 표시하고자 하는 상기 출력 비디오 y2에 대한 휘도값들 사이의 관계를 보여준다.
도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f에서, 상기 톤 매핑들(500, 505, 510, 515, 520, 및 525)은 제1 톤 매핑 부분(545)를 포함한다. 상기 제1 톤 매핑 부분(545)은, 0 내지 IP의 범위 내에 있는, 상기 입력 비디오 x에 대한 휘도값들이 IP의 미리 결정된 함수, 즉, g(IP)에 따라 출력 비디오(y1 및 y2)에 대한 휘도값들로 매핑되는 것을 보여준다. 상기 미리 결정된 함수 g(IP)는, 선형 함수와 같이, 어떤 적절한 함수든지 될 수 있다.
도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f에서, 상기 제1 톤 매핑 부분 외의, 상기 톤 매핑들(500, 505, 510, 515, 520, 및 525)의 나머지 부분은, IP 내지 다른 상응하는 메타데이터(예를 들면, M, MaxCLL, 및 MC)의 휘도값의 범위 내에 있는, 상기 입력 비디오 x에 대한 휘도값들이, 톤 매핑의 구성에 대한 기초로서 역할을 하는 상기 다른 상응하는 메타데이터(예를 들면, M, MaxCLL, 및 MC)에 따라 상기 출력 비디오(y1 또는 y2)에서의 휘도값들로 매핑되는 것을 보여준다. 예를 들면, 도 5a 및 도 5b는 톤 매핑들(500 및 505)의 나머지 부분이 M 메타데이터에 기반하여 구성되는 것을 보여준다. 도 5c 및 도 5d는 톤 매핑들(510 및 515)의 나머지 부분이 MaxCLL 메타데이터에 기반하여 구성되는 것을 보여준다. 도 5e 및 도 5f는 톤 매핑들(520 및 525)의 나머지 부분이 MC 메타데이터, 즉, 최대 콘텐츠 휘도 레벨(MaxCLL) 및 상기 마스터링 모니터의 최대 휘도 레벨(M)에서 선택되는 최소값과 같이, 메타데이터의 조합에 기반하여 구성되는 것을 보여준다. 상기 로우 및 하이 톤 매핑 함수 블록들(405 및 410)은, 상기 IP 에 기반할 뿐 아니라, 상기 메타데이터 내의 다양한 수신된 SMF에 기반하여, 상기 톤 매핑들을 구성할 수 있고, 각각의 SMF 메타데이터는 상기 로우 및 하이 톤 매핑들에 상이한 영향을 미친다.
도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f는, 도 3의 상기 선형 매핑 함수(330)와 유사한 방식으로 다양한 톤 매핑 함수들의 효과를 비교하기 위한 기초를 제공하는, 선형 매핑 함수들(530, 535, 및 540)을 더 포함한다. 상기 선형 매핑 함수들(530, 535, 및 540)은 0과 다른 상응하는 메타데이터(예를 들면, M, MaxCLL, 및 MC) 사이에 있는 상기 입력 비디오 x의 휘도값들을 0과 N 사이의 범위에 있는 상기 출력 비디오(y1 또는 y2)에서의 휘도값들로 스케일링한다.
도 6은, 본 개시에 따른, 저장된 p-백분위점을 이용하는 예시적 적응형 톤 매핑 블록(600)을 도시한다. 일 예로서, 도 1B의 상기 마스터링 프로세스(101)은 저장된 p-백분위점을 이용하는 상기 톤 매핑 블록(600)에 입력들을 제공한다.
본 명세서에서 복수의 톤 매핑 블록들(400 및 600)이 설명하고 있지만, 하나의 톤 매핑 블록의 특징들은 다른 톤 매핑 블록에서 이용될 수 있음을 유의하라. 상기 톤 매핑 블록(600)은 도 4에 도시한 상기 톤 매핑 블록(400)의 특징들을 포함할 수 있으며 동일 또는 유사한 방식으로 작동될 수 있다.
상기 톤 매핑 블록들(600 및 400)을 비교하면, 상기 톤 매핑 블록(600)은 장면 p-백분위점 계산기(265)를 포함하지 않는다. 따라서, 상기 톤 매핑 블록(600)에서, 상기 메타데이터(260)는, 상기 마스터링 프로세스(101)와 같은, 마스터링 프로세스 내에서 상기 p-백분위점 계산기(140)로부터 수신되는 장면 p-백분위점(165)(IP)을 포함한다.
또한, 상기 톤 매핑 블록들(600 및 400)을 비교하면, 상기 톤 매핑 블록(600)은, 마스터링된 비디오(120)(fM)를 입력으로서 수신하고, 프레임의 특정 톤 구역의 척도 RK(645)를 생성하며, 상기 척도 RK(645)를 상기 믹싱비 블록(620)에 출력하는, 프레임 하이라이트 영역 검출기(615)를 포함한다. 따라서, 상기 믹싱비 블록(620)은 프레임의 상기 척도 RK(645)를 입력으로서 수신하고, 프레임의 상기 RK(645)에 기반하여 상기 믹싱비(250)(r)를 생성한다. 상기 프레임 하이라이트 영역 검출기(615)는 상기 설명한 도 1A 및 도 1B의 톤 구역 영역 검출기(135)와 동일 또는 유사한 방식으로 작동할 수 있다. 상기 믹싱비 블록(620)은 상기 설명한 도 2의 믹싱비 블록(220)과 동일 또는 유사한 방식으로 작동할 수 있다. 상기 믹서 블록(225)은 도 2의 상기 믹서 블록(225) 유사한 방식으로 작동하여 출력(655)을 산출할 수 있다.
도 6은 저장된 p-백분위점을 이용하는 하나의 예시적 적응형 톤 매핑 블록(600)을 도시하고 있지만, 도 6에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 상기 프레임 하이라이트 영역 검출기(615)는 척도 SK(245)를 생성 및 출력하는 장면 하이라이트 영역 검출기(215)를 대체할 수 있다. 또한, 상기 믹싱비 블록(620)은, 장면의 상기 척도 SK(245)에 기반하여 상기 믹싱비(250)(r)를 산출하는, 믹싱비 블록(220)을 대체할 수 있다. 다른 예로서, 톤 구역 하이라이트 정보, 즉, 장면 하이라이트 영역 정보 SK(245) 또는 프레임 하이라이트 영역 정보 RK(645)는, 상기 믹싱비 블록이 이 정보를 상기 톤 매핑 블록(600) 내의 다른 구성요소(215 또는 615)로부터 수신하는 대신에, 상기 입력(230)의 상기 마스터링된 비디오 fM에 링크된 파일로서 독출되거나 아니면 상기 마스터링 프로세스(101)로부터 수신될 수 있다.
도 7은, 본 개시에 따른, 저장된 p-백분위점(IP) 및 메타데이터(SMF)를 이용하는 예시적 적응형 톤 매핑 블록(700)을 도시한다. 일 예로서, 도 1A의 상기 마스터링 시스템(100)은 저장된 p-백분위점 및 메타데이터(SMF)를 이용하는 상기 톤 매핑 블록(700)에 입력들을 제공한다.
본 명세서에서 복수의 톤 매핑 블록들(400 및 700)이 설명되고 있지만, 하나의 톤 매핑 블록의 특징들이 다른 톤 매핑 블록에서 이용될 수 있다. 상기 톤 매핑 블록(700)은 도 4에 도시한 상기 톤 매핑 블록(400)의 특징들(225, 230, 250, 405, 410, 435, 440, 및 460)을 포함할 수 있으며 동일 또는 유사한 방식으로 작동될 수 있다. 유사하게, 상기 톤 매핑 블록(700)은 도 6에 도시된 톤 매핑 블록(600)의 특징들(615, 620, 및 645)를 포함할 수 있으며 동일 또는 유사한 방식으로 작동될 수 있다.
상기 톤 매핑 블록들(700 및 400)을 비교하면, 상기 톤 매핑 블록(700)은 장면 p-백분위점 계산기(265)를 포함하지 않는다. 따라서, 상기 톤 매핑 블록(700)에서, 상기 메타데이터(260)는, 상기 마스터링 프로세스(101)와 같은, 마스터링 프로세스 내에서 상기 p-백분위점 계산기(140)로부터 수신되는 장면 p-백분위점(165)(IP)을 포함한다.
상기 믹서 블록(225)은 도 2의 상기 믹서 블록(225)과 유사한 방식으로 작동하여 출력(755)을 생성할 수 있다.
도 7은 저장된 p-백분위점(IP) 및 저장된 메타데이터(SMF)를 이용하는 하나의 예시적 적응형 톤 매핑 블록(700)을 도시하고 있지만, 도 7에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 다른 실시예들은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다.
도 8은, 본 개시에 따른, p-백분위점 적응형 톤 매핑을 구현하는 예시적 비디오 디스플레이(800)를 도시한다. 상기 비디오 디스플레이(800)는 도 1A의 상기 마스터링 시스템(100)으로부터 입력, 즉, 양자화된 마스터링된 비디오 파일(135)(Qn(fM))을 수신할 수 있다. 도 8에 도시한 상기 비디오 디스플레이(800)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.
상기 비디오 디스플레이(800)는 역양자화기 모듈(805)(Qn -1), 도 2의 상기 톤 매핑 블록(200), 및 m-비트 디스플레이(820)를 포함한다. 일정 실시예들에서, 상기 비디오 디스플레이(800)는 또한, 상기 톤 매핑 블록(200)과 상기 m-비트 디스플레이(820) 둘 모두에 작동 가능하게 연결되는 것과 같이, 상기 톤 매핑 블록(200)과 상기 m-비트 디스플레이(820) 사이에 개재되어 결합되는 니트-비트(nit-to-bit: NTB) 변환기 모듈(815)을 포함한다. 상기 마스터링 시스템(100)의 상기 메타데이터 추출 모듈(130)은 상기 SMF 메타데이터(145)를 출력하지만, 상기 비디오 디스플레이(800)의 상기 톤 매핑 블록(200)은 아무런 SMF 메타데이터(145)도 수신하지 않는다. 설명의 단순화를 위해, 도 8과 이전 특징들 간에 공통되는 특징들은 도 8과 관련하여 중복 설명되지 않을 것이다.
상기 역양자화기 모듈(805)은 역양자화 함수를 상기 양자화된 마스터링된 비디오 파일(145)에 적용함으로써 마스터링된 비디오 파일(825)(x)을 생성할 수 있다. 상기 마스터링된 비디오 파일(825)(x)은 도 2의 입력(230)(x)의 상기 마스터링된 비디오 fM과 동일 또는 유사할 수 있다.
상기 NTB(815) 는 상기 톤 매핑 블록(200)으로부터 니트 형식으로 톤 매핑된 비디오(830)(y)를 수신한다. 즉, 상기 톤 매핑된 비디오(830)(y)는 도 2의 상기 톤 매핑된 비디오(255)(fM N)와 동일 또는 유사할 수 있다. 상기 NTB(815)는 상기 톤 매핑된 비디오(830)의 비디오 데이터에 니트-비트 변환 함수를 적용하여 상기 톤 매핑된 비디오(830)를 m-비트 형식(835)으로 변환한다.
상기 m-비트 디스플레이(820)는 N니트의 최대 휘도 레벨을 가진다(최대 N-니트(Max N-nit)로 표시함). 예를 들면, 상기 m-비트 디스플레이(820)는, M값, 즉, 상기 마스터링 모니터(140)의 최대 휘도 레벨 대비, 상이한 최대 휘도 레벨을 갖는 타겟 디스플레이를 나타낸다.
도 8은 하나의 예시적 비디오 디스플레이 시스템(800)을 도시하고 있지만, 도 8에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 도 9에 나타낸 바와 같은 다른 실시예들에서, 비디오 디스플레이(900)는, 상기 마스터링 시스템(100)으로부터 상기 SMF 메타데이터(145)를 입력(예를 들면, 메타데이터(460))으로서 수신할 수 있는, 상기 톤 매핑 블록(400)을 포함할 수 있고, 따라서, 상기 비디오 디스플레이(900)는 상기 수신된 SMF 메타데이터(145) 및 상기 IP 둘 모두에 기반하여 톤 매핑 함수들을 구성할 수 있다.
도 9는, 본 개시에 따른, p-백분위점 적응형 톤 매핑을 구현하고 메타데이터를 이용하는 예시적 비디오 디스플레이(900)를 도시한다. 도 9에 도시한 상기 비디오 디스플레이(900)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.
상기 비디오 디스플레이(900)는 상기 역양자화기 모듈(805)(Qn -1), 도 4의 톤 매핑 블록(400), 및 m-비트 디스플레이(820)를 포함한다. 일정 실시예들에서, 상기 비디오 디스플레이(900)는 또한, 상기 톤 매핑 블록(400)과 상기 m-비트 디스플레이(820) 둘 모두에 작동 가능하게 연결되는 것과 같이, 상기 톤 매핑 블록(400)과 상기 m-비트 디스플레이(820) 사이에 개재되어 결합되는 니트-비트(NTB) 변환기 모듈(815)을 포함한다. 설명의 단순화를 위해, 도 9와 이전 특징들 간에 공통되는 특징들은 도 9와 관련하여 중복 설명되지 않을 것이다.
도 10은, 본 개시에 따른, 적응형 톤 매핑을 구현하고 장면 p-백분위점을 메타데이터로서 이용하는 예시적 비디오 디스플레이(1000)를 도시한다. 도 10에 도시한 상기 비디오 디스플레이(1000)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.
상기 비디오 디스플레이(1000)는 상기 역양자화기 모듈(805)(Qn -1), 도 6의 톤 매핑 블록(600), 및 m-비트 디스플레이(820)를 포함한다. 일정 실시예들에서, 상기 비디오 디스플레이(1000)는 또한, 상기 톤 매핑 블록(600)과 상기 m-비트 디스플레이(820) 둘 모두에 작동 가능하게 연결되는 것과 같이, 상기 톤 매핑 블록(600)과 상기 m-비트 디스플레이(820) 사이에 개재되어 결합되는 니트-비트(NTB) 변환기 모듈(815)을 포함한다. 설명의 단순화를 위해, 도 10과 이전 특징들 간에 공통되는 특징들은 도 10과 관련하여 중복 설명되지 않을 것이다.
도 11은, 본 개시에 따른, 적응형 톤 매핑을 구현하고 저장된 p-백분위점 및 메타데이터를 이용하는 예시적 비디오 디스플레이(1100)를 도시한다. 도 11에 도시한 상기 비디오 디스플레이(1100)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.
상기 비디오 디스플레이(1100)는 상기 역양자화기 모듈(805)(Qn -1), 도 7의 톤 매핑 블록(700), 및 m-비트 디스플레이(820)를 포함한다. 일정 실시예들에서, 상기 비디오 디스플레이(1100)는 또한, 상기 톤 매핑 블록(700)과 상기 m-비트 디스플레이(820) 둘 모두에 작동 가능하게 연결되는 것과 같이, 상기 톤 매핑 블록(700)과 상기 m-비트 디스플레이(820) 사이에 개재되어 결합되는 니트-비트(NTB) 변환기 모듈(815)을 포함한다. 설명의 단순화를 위해, 도 11과 이전 특징들 간에 공통되는 특징들은 도 11과 관련하여 중복 설명되지 않을 것이다.
도 12는 본 개시의 다양한 실시예들이 구현될 수 있는 예시적 컴퓨팅 시스템(1200)을 도시한다. 도 12에 도시한 상기 컴퓨팅 시스템(1200)의 실시예는 단지 예시를 위한 것이다. 상기 컴퓨팅 시스템(1200)의 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.
도 12에 도시한 바와 같이, 상기 시스템(1200) 은, 하나 이상의 통신 채널들 상에서 상기 시스템(1200) 의 다양한 구성요소들 간의 통신을 용이하게 하는, 네트워크(1202)를 포함한다. 상기 네트워크(1202)는 네트워크 주소들 간에 인터넷 프로토콜(Internet Protocol: IP) 패킷들, 프레임 릴레이 프레임들(frame relay frames), 또는 기타 정보를 통신할 수 있다. 상기 네트워크(1202)는 하나 이상의 로컬 영역 네트워크들(local area networks: LANs): 대도시 영역 네트워크들(metropolitan area networks: MANs); 광역 네트워크들(wide area networks: WANs); 인터넷과 같은 글로벌 네트워크의 전체 또는 일부; 또는 하나 이상의 장소들에서의 기타 어떠한 통신 시스템 또는 시스템들을 포함할 수 있다.
다양한 실시예들에서, 상기 네트워크(1202)는, 비디오 데이터(예를 들면, 메타데이터 및 오디오 콘텐츠를 포함하는 비디오 파일들)를 클라이언트 장치들(1206 내지 1215)로 전달하기 위한, 방송 및 광대역 네트워크들 및 통신 채널들을 포함한다. 케이블 및 위성 통신 링크들과 같은, 상기 네트워크(1202)의 방송 요소들은 비디오 데이터의 방송을 상기 클라이언트 장치들(1206 내지 1215) 에 제공한다. 상기 네트워크(1202)의 방송 요소들, 인터넷, 무선, 유선, 및 광섬유 네트워크 링크들 및 장치들은 비디오 데이터의 스트리밍 및 다운로드를 제공한다.
상기 네트워크(1202)는 하나 이상의 서버들(1204)과 다양한 클라이언트 장치들(1206 내지 1215) 간의 통신을 용이하게 한다. 상기 서버들(1204) 각각은 하나 이상의 클라이언트 장치들에게 컴퓨팅 서비스를 제공할 수 있는 어떤 적절한 컴퓨팅 또는 처리 장치든지 포함한다. 상기 서버들(1204) 각각은, 예를 들면, 하나 이상의 처리 장치들, 명령어들 및 데이터를 저장하는 하나 이상의 메모리들, 및 상기 네트워크(1202)를 통한 통신을 용이하게 하는 하나 이상의 네트워크 인터페이스들을 포함할 수 있다. 예를 들면, 상기 서버들(1204) 중 하나 이상은, 하기에서 보다 상세히 논의되는 바와 같이, 비디오 마스터링을 위한 또는 분포점 기반 적응형 톤 매핑을 위한 처리 회로를 포함할 수 있다.
각각의 클라이언트 장치들(1206 내지 1215)은, 상기 네트워크(1202)를 통해 적어도 하나의 서버 또는 기타 컴퓨팅 장치(들)과 상호작용하는, 어떤 적절한 컴퓨팅 또는 처리 장치를 나타낸다. 하기에서 보다 상세히 논의되는 바와 같이, 상기 클라이언트 장치들(1206 내지 1215)은 비디오(예를 들면, 톤 매핑될 마스터링된 비디오 파일, 또는 표시될 톤 매핑된 비디오 파일)를 수신하며 분포점 기반 적응형 톤 매핑을 위한 처리 회로를 포함할 수 있다. 상기 클라이언트 장치들(1206 내지 1215)은 각각 톤 매핑된 비디오를 표시하기 위한 디스플레이 장치를 포함하거나 아니면 그러한 디스플레이 장치에 연결될 수 있다. 본 예에서, 상기 클라이언트 장치들(1206 내지 1215)은 컴퓨터(1206), 휴대 전화 또는 스마트폰(1208), 개인휴대 정보 단말기(personal digital assistant: PDA)(1210), 랩탑 컴퓨터(1212), 태플릿 컴퓨터(1214), 및 셋탑 박스 및/또는 텔레비전(1215)을 포함한다. 그러나, 다른 또는 추가적인 어떤 클라이언트 장치들이든지 상기 통신 시스템(1200) 에서 사용될 수 있다. 본 예에서, 일부 클라이언트 장치들(1208 내지 1214)은 상기 네트워크(1202)와 간접적으로 통신한다. 예를 들면, 상기 클라이언트 장치들(1208 내지 1210)은, 셀룰러 기지국들(base stations) 또는 e노드B들(eNodeBs)과 같은, 하나 이상의 기지국들(1216)을 통해 통신한다. 또한, 상기 클라이언트 장치들(1212 내지 1215)은, IEEE 802.11 무선 액세스 지점들과 같은, 하나 이상의 무선 액세스 지점들(1218)을 통해 통신한다. 이러한 것들은 단지 예시를 위한 것이며 각각의 클라이언트 장치는 어떤 적절한 중간 장치(들) 또는 네트워크(들)을 통해서든지 상기 네트워크(1202)와 직접적으로 또는 간접적으로 통신할 수 있음을 유의하라.
도 12는 통신 시스템(1200) 의 일 예를 도시하고 있지만, 도 12에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 상기 시스템(1200) 은 어떤 적절한 배치로 각각의 구성요소를 얼마든지 포함할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 매우 다양하게 구성되며, 도 12는 본 개시의 범위를 어떤 특정한 구성으로 제한하지 않는다. 도 12는 본 특허 문서에 개시된 다양한 특징들이 이용될 수 있는 하나의 동작 환경을 도시하고 있지만, 이러한 특징들은 다른 어떤 적절한 시스템에서든 이용될 수 있다. 예를 들면, 비디오는 컴퓨터 판독가능 매체(예를 들면, 블루레이 디스크들)를 통해, 상기 네트워크(1202)를 이용하지 않고, 사용자 장치들(예를 들면, 클라이언트 장치들(1206 내지 1215))에 제공될 수 있다.
도 13은 본 개시에 따른 예시적 비디오 처리 장치(1300)를 도시한다. 특히, 상기 비디오 처리 장치(1300)는, 본 개시의 하나 이상의 실시예들을 구현하기 위해, 도 12의 상기 서버(1204) 또는 상기 클라이언트 장치들(1206 내지 1215) 중 어떤 것에든 포함될 수 있는 예시적 구성요소들을 예시하고 있다.
도 13에 도시한 바와 같이, 상기 비디오 처리 장치(1300)는, 적어도 하나의 프로세서(1310), 적어도 하나의 저장 장치(1315), 적어도 하나의 통신 인터페이스(1320), 적어도 하나의 입/출력(input/output: I/O) 유닛(1325), 및 디스플레이(1340) 간의 통신을 지원하는, 버스 시스템(1305)을 포함한다.
상기 프로세서(1310)는 메모리(1330)에 로딩될 수 있는 명령어들을 실행한다. 상기 프로세서(1310)는 어떤 적절한 수(들) 및 유형(들)의 프로세서들 또는 기타 장치들을 어떤 적절한 배치로 포함할 수 있다. 상기 프로세서(1310)의 예시적 유형들에는 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 필드 프로그램가능 게이트 어레이, 애플리케이션 특정적 집적 회로, 및 개별 회로가 포함될 수 있다. 예를 들면, 상기 프로세서(1310)는, 하드웨어로 구현되는 상기 시스템들(300 내지 800) 중 어떤 것에 의해, 또는 상기 프로세서(1310)로 하여금 개시된 방법들을 수행하도록 하는 저장된 명령어들을 실행함으로써, 수행되는 톤 매핑 동작들을 구현할 수 있다.
상기 메모리(1330) 및 영구 저장소(1335)는, 정보(예를 들면, 비디오 데이터, 프로그램 코드, 및/또는 일시적 또는 영구적인 기타 적절한 정보)를 저장하고 상기 정보의 검색을 용이하게 할 수 있는 어떤 구조(들)을 나타내는, 저장 장치(1315)의 예들이다. 상기 메모리(1330)는 랜덤 액세스 메모리 또는 다른 어떤 적절한 휘발성 또는 비휘발성 저장 장치(들)을 나타낼 수 있다. 예를 들면, 상기 메모리(1330)는 톤 매핑 기법들을 구현하기 위한 명령어들을 포함할 수 있고, 및/또는 상기 서버(1204)로부터 수신되는 스트리밍되거나 또는 버퍼링되는 비디오 데이터를 저장할 수 있다. 상기 영구 저장소(1335)는, 읽기 전용 메모리, 하드 드라이브, 플래시 메모리, 또는 광디스크와 같이, 보다 장기적인 데이터의 저장을 지원하는 하나 이상의 구성요소들 또는 장치들을 포함할 수 있다. 예를 들면, 상기 영구 저장소(1335)는, 마스터링된 비디오 파일 및 상기 마스터링된 비디오 파일과 연관된 메타데이터와 같은, 비디오 데이터를 포함할 수 있다.
상기 통신 인터페이스(1320)는 다른 시스템들 또는 장치들과의 통신을 지원한다. 예를 들면, 상기 통신 인터페이스(1320)는, 상기 네트워크(1202)를 통한 통신을 용이하게 하는, 네트워크 인터페이스 카드, 케이블 모뎀, 방송 수신기, 또는 무선 송수신기를 포함할 수 있다. 상기 통신 인터페이스(1320)는 어떤 적절한 물리적 또는 무선 통신 링크(들)을 통한 통신을 지원할 수 있다.
상기 I/O 유닛(1325)은 데이터의 입력 및 출력을 할 수 있도록 한다. 예를 들면, 상기 I/O 유닛(1325)은 키보드, 마우스, 키패드, 터치스크린, 또는 기타 적절한 입력 장치를 통한 사용자 입력에 대한 연결을 제공한다. 상기 I/O 유닛(1325)은 또한 상기 디스플레이(1340), 프린터, 또는 기타 적절한 출력 장치로 출력을 전송할 수 있다.
상기 비디오 처리 장치(1300)는, 예를 들면, 상기 타겟 디스플레이들(705 및 805)과 같은, 디스플레이(1340)를 더 포함하거나 또는 상기 디스플레이(1340)에 연결될 수 있다. 하나의 예시적 실시예에서, 상기 비디오 처리 장치(1300)는 표시될 톤 매핑된 비디오를 위한 상기 디스플레이(1340)에 연결되는 셋탑 박스, 케이블 박스, 컴퓨터 등에 포함되는 비디오 처리 회로일 수 있다. 다른 예시적 실시예에서, 상기 비디오 처리 장치(1300)는 표시될 톤 매핑된 비디오를 위한 상기 디스플레이(1340)에 연결되는 셋탑 박스, 케이블 박스, 컴퓨터, 미디어 플레이어 등일 수 있다. 또 다른 예시적 실시예에서, 상기 비디오 처리 장치(1300)는 네트워크 연결을 통해 상기 타겟 디스플레이(1340)에 연결되는 서버일 수 있다. 다른 예시적 실시예에서, 상기 비디오 처리 장치(1300)는 톤 매핑된 비디오가 표시될 상기 디스플레이(1340) 뿐 아니라 톤 매핑을 수행하기 위한 비디오 처리 회로를 포함할 수 있다. 예를 들면, 상기 비디오 처리 장치(1300)는 텔레비전, 모니터, 휴대폰, 랩탑 컴퓨터, 태블릿 컴퓨터 등일 수 있다.
도 14는, 본 개시에 따른, p-백분위점에 기반하여 후보 톤 매핑 함수를 선택하는 예시적 적응형 톤 매핑 블록을 도시한다. 톤 매핑 블록(1400)은 하나 이상의 톤 매핑들 중에서 선택한 것을 비디오 파일에 적용하여 톤 매핑된 비디오 파일을 생성한다.
상기 톤 매핑 블록(1400)은 도 2의 상기 톤 매핑 블록에서의 일정 특징들(220, 235, 245, 및 250)을 포함한다. 상기 톤 매핑 블록(1400)은, 제1 톤 매핑 함수 블록(1405) 및 제2 톤 매핑 함수 블록(1410)을 포함하는, 복수의 톤 매핑 함수 블록들을 포함한다. 상기 제1 및 제2 톤 매핑 함수 블록들은 로우 톤 매핑 함수 블록(1405) 및 하이 톤 매핑 함수 블록(1410)을 포함한다. 상기 복수의 톤 매핑 함수 블록들은 j개의 로우 톤 매핑 함수 블록들(1405)(로우 톤 매핑 1, 로우 톤 매핑 2, ..., 로우 톤 매핑 j)을 포함할 수 있다. 상기 복수의 톤 매핑 함수 블록들은 j개의 하이 톤 매핑 함수 블록들(1410)(하이 톤 매핑 1, 하이 톤 매핑 2, ..., 하이 톤 매핑 j)을 포함할 수 있다.
각각의 톤 매핑 함수 블록(1405 및 1410)은 상기 마스터링된 비디오 fM을 포함하는 입력(1430)(x)을 수신한다. 또한, 각각의 톤 매핑 함수 블록(1405 및 1410)은 메타데이터(1460)(SMF)를 입력으로서 수신한다. 상기 메타데이터(1460)는 마스터링된 비디오 파일(1430)의 p-백분위점(IP)을 포함한다. 상기 메타데이터(1460)는 또한 마스터링 프로세스의 상기 메타데이터 추출 모듈(130)로부터 출력되는, M값, MaxCLL값, 또는 MaxFALL값과 같은, 추출된 메타데이터를 포함한다. 각각의 톤 매핑 함수 블록(1405 및 1410)은, 메타데이터(1460) 내에서 상기 IP에 기반할 뿐 아니라 상기 수신된 SMF에도 기반하여, 그것의 톤 매핑 함수를, 예를 들면, 조정하여, 구성할 수 있다. 각각의 톤 매핑 함수 블록(1405 및 1410)은 상기 메타데이터(1460) 내의 상기 IP 및 상기 수신된 SMF에 기반하여 구성된 상기 톤 매핑 함수를 상기 입력(1430)의 상기 마스터링된 비디오 fM에 적용하여 후보 톤 매핑된 비디오를 출력들(1435 및 1440)로서 생성한다. 보다 구체적으로, 인덱스 1, 2, ..., j를 갖는 로우 톤 매핑 블록들(1405)은, 인덱싱된 후보 톤 매핑된 비디오들 yL1, yL2, ..., yLj을 포함하는, 상기 출력(1435)을 생성한다. 인덱스 1, 2, ..., j를 갖는 하이 톤 매핑 블록들(1410)은, 인덱싱된 후보 톤 매핑된 비디오들 yH1, yH2, ..., yHj을 포함하는, 상기 출력(1440)을 생성한다.
제1 및 제2 멀티플렉서들(1480 및 1485)(함께 선택기(selector)라고 칭함)은 상기 복수의 톤 매핑 블록들(1405 및 1410)로부터 상기 출력들(1435 및 1440)을 수신한다. 상기 선택기는, 상기 마스터링된 비디오 파일(1430)의 상기 p-백분위점(IP)을 포함하여, 메타데이터(1460)(SMF)를 입력으로서 수신한다. 상기 선택기는 출력될 하나 이상의 후보 톤 매핑된 비디오들을 선택한다. 예를 들면, 상기 제1 멀티플렉서(1480)는 상기 인덱싱된 후보 톤 매핑된 비디오들 yL1, yL2, ..., yLj 중 하나를 출력(1490)(y1)으로서 출력하고; 상기 제2 멀티플렉서(1485)는 상기 인덱싱된 후보 톤 매핑된 비디오들 yH1, yH2, ..., yHj 중 하나를 출력(1495)(y2) 으로서 출력하며; 도 2의 상기 믹서(235)는 식 1을 이용하여 상기 출력들(1490 및 1495)을 믹싱함으로써 톤 매핑된 비디오(1455)(fM N)를 생성한다. 일정 실시예들에서, 상기 선택기는, 상기 믹서를 우회하여 상기 출력들(1490 및 1495) 중 하나가 상기 톤 매핑된 비디오(1455)가 되도록 선택함으로써, 상기 톤 매핑된 비디오(1455)(fM N)를 생성한다.
도 14는 하나의 예시적 톤 매핑 블록(1400)을 도시하고 있지만, 도 14에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 다른 실시예들은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 다른 예로서, 단일 톤 매핑 함수(톤 곡선(tone curve)이라고도 칭함)가 이용될 수 있다. 콘텐츠 적응형 톤 매핑을 성취하기 위해 복수의 톤 매핑 함수들을 믹싱하는 대신, 상기 톤 매핑 블록(1400)은, 메타데이터로부터 결정된 p-백분위점에 기반하여 또는 비디오를 처리하여, 상기 단일 톤 매핑 함수를 조정한다. 예를 들면, 상기 단일 톤 매핑 함수는 p-백분위점에 의해 파라미터화될(parameterized) 수 있다. 상기 파라미터화는 상기 톤 곡선의 일부를 스케일링하고 이동함(shifting)에 있어서 발현될 수 있다. 하나의 특정 실시예에서, 상기 p-백분위점은 베지에 곡선(Bezier curve)의 하나 이상의 파라미터들을 조정하는 데 이용될 수 있다.
복수의 톤 매핑 함수들(예를 들면, 도 2의 상기 톤 매핑 함수 블록들(205, 210))을 갖는 상황에서 여러 가지 예들이 상기에서 설명되었지만, 대안적인 실시예들은 단일 톤 매핑 함수 블록을 포함할 수 있음을 이해할 것이다. 예를 들면, 도 2와 관련하여, 블록들(210, 215, 220, 225)이 생략될 수 있고, 상기 톤 매핑 함수 블록(205)의 출력이 톤 매핑된 비디오로서의 역할을 할 수 있다. 또한, 상기 톤 매핑 함수 블록(260)은, 단일 톤 매핑 함수 실시예들에서든 아니면 복수의 톤 매핑 함수 실시예들에서든, 파라미터로서의 p-백분위점에 의존하는 파라미터화된 관계(예를 들면, 수학식 또는 룩업 테이블(lookup table))로서 구현될 수 있다. 예시적 실시예에서, 톤 매핑 함수 블록은, 적어도 하나의 파라미터가 p-백분위점에 적어도 부분적으로 의존하는, 정규화된 파라미터화된 베지에 함수(normalized parameterized Bezier function)에 상응할 수 있다.
도 15는 본 개시에 따른 톤 매핑 방법(1500)을 도시한다. 상기 톤 매핑 방법은, 적어도 하나의 프로세서(도 15와 관련하여 "프로세서(processor)"라 칭함)를 각각 포함하는 상기 톤 매핑 블록들(200, 400, 600, 700, 1400) 중 하나 이상과 같은, 톤 매핑 블록에 의해 구현될 수 있다.
블록(1505)에서, 상기 프로세서는 비디오 데이터 내 휘도값들의 분포의 척도에 기반하여 톤 매핑 함수를 구성한다. 예를 들면, 도 2에 나타낸 바와 같이, 톤 매핑 함수 블록들(205 및 210) 각각은, 상기 메타데이터(260)로서 수신된 p-백분위점(IP)에 기반하여, 그것의 톤 매핑 함수를 구성한다. 일정 실시예들에서, 적어도 하나의 톤 매핑 함수를 구성하기 위해, 상기 프로세서는, 블록(1510)에 나타낸 바와 같이, 비디오 데이터에 링크된 메타데이터에 기반하여 상기 적어도 하나의 톤 매핑 함수를 구성한다. 예를 들면, 상기 메타데이터(260)는 상기 마스터링 시스템(100) 내의 p-백분위점 계산기(140)로부터 수신되는 장면 p-백분위점(165)(IP)을 포함할 수 있다.
블록(1515)에서, 상기 프로세서는 상기 비디오 데이터 내 휘도값들의 분포의 척도(IP)를 결정한다. 일정 실시예들에서, 이 결정을 하기 위해, 상기 프로세서는, 블록(1520)에 나타낸 바와 같이, 상기 비디오 데이터 내 휘도값들의 분포의 척도를 계산한다. 예를 들면, 상기 프로세서는, 도 2의 상기 장면 p-백분위점(270)과 같은, p-백분위점 계산기를 포함할 수 있다. 일정 실시예들에서, 이 결정을 하기 위해, 상기 프로세서는, 블록(1525)에 나타낸 바와 같이, 상기 비디오 데이터 내 휘도값들의 분포의 척도를 얻기 위해 상기 비디오 데이터에 링크된 메타데이터를 액세스한다. 예를 들면, 상기 프로세서는, 도 4에 도시한 바와 같이, 상기 p-백분위점(IP)을 포함하는 상기 메타데이터(460)를 수신할 수 있다.
상기 방법(1500)의 일정 실시예들에서, 상기 비디오 데이터에 적용되는 상기 구성된 적어도 하나의 톤 매핑 함수는 적어도 두 개의 톤 매핑 함수들을 포함한다. 그러한 실시예들에서, 상기 방법(1500)은, 상기 프로세서가 미리 결정된 범위 내의 휘도값들을 갖는 상기 비디오 데이터의 양에 기반하여 믹싱비를 결정하는, 블록(1530)을 더 포함할 수 있다. 예를 들면, 상기 톤 매핑 블록은, 도 2에 도시한 바와 같이, 믹싱비 블록(220)을 포함할 수 있다.
블록(1535)에서, 상기 비디오 데이터의 최대 휘도 레벨이 톤 매핑 기준(criterion)을 만족한다는 결정에 응답하여, 상기 프로세서는 톤 매핑된 비디오를 생성하도록 선택하고 톤 매핑된 비디오의 생성을 시작한다. 예를 들면, 본 개시의 실시예들은, 상기 마스터링된 비디오 파일(230)과 같은, 마스터링된 비디오 파일을 수신할 때마다 톤 매핑된 비디오를 항상 생성하는 것으로 제한되는 것이 아니라, 톤 매핑 기준에 기반하여 톤 매핑된 비디오를 생성하도록 선택할 수 있다. 톤 매핑 기준을 만족하는 예로는 입력 비디오 x가 타겟 디스플레이의 최대 휘도값 N을 초과하는 최대 휘도값 Imax를 가지는 경우가 있다.
블록(1540)에서, 상기 프로세서는 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성한다. 예를 들면, 상기 프로세서는, 도 14에 도시한 바와 같이, 상기 믹서를 우회하여 상기 출력들(1490 및 1495) 중 하나가 상기 톤 매핑된 비디오(1455)가 되도록 선택함으로써, 상기 톤 매핑된 비디오(1455)(fM N)를 생성할 수 있다. 상기 비디오 데이터에 적용되는 상기 구성된 적어도 하나의 톤 매핑 함수가 적어도 두 개의 톤 매핑 함수들을 포함하는 경우, 상기 프로세서는, 블록(1545)에 나타낸 바와 같이, 믹싱비에 따라 상기 적어도 두 개의 톤 매핑 함수들의 출력들을 믹싱함으로써 톤 매핑된 비디오를 생성할 수 있다. 예를 들면, 상기 프로세서는 도 2의 상기 믹서(235)를 포함할 수 있다.
도 15는 하나의 예시적 톤 매핑 방법(1500)을 도시하고 있지만, 도 15에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 일련의 단계들로서 도시했지만, 도 15에서의 다양한 단계들이 중복될(overlap) 수 있거나, 병행하여 발생할 수 있거나, 상이한 순서로 발생할 수 있거나, 또는 몇 번이든 발생할 수 있다.
본 출원서에서의 설명 중 어떤 것도 어떤 특정 요소, 단계, 또는 기능이 청구 범위에 포함되어야 하는 필수 요소임을 암시하는 것으로 읽혀서는 안 된다.

Claims (15)

  1. 톤 매핑 방법에 있어서,
    적어도 하나의 프로세서가 비디오 데이터 내의 휘도값들(luminance values)의 분포의 척도(measure)에 기반하여 적어도 하나의 톤 매핑(tone mapping) 함수를 구성하는 단계에 있어서, 상기 척도는 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건(threshold condition)을 만족시키는 휘도값들을 갖게 되는 휘도 레벨을 나타내고,
    상기 구성된 적어도 하나의 톤 매핑 함수는, 휘도 범위에 포함된 휘도값들에 대하여 적용되는 제1 톤 매핑 함수를 포함하고, 상기 휘도 범위는 상기 비디오 데이터 내의 휘도값들의 분포 중 상기 척도에 대응하는 휘도값보다 크거나 같고 최대 휘도값 미만인 휘도값들을 나타내고,
    상기 구성된 적어도 하나의 톤 매핑 함수는, 상기 휘도 범위에 포함되지 않는 휘도값들에 대하여 적용되는 미리 결정된 함수를 더 포함하고,
    상기 미리 결정된 함수는 상기 제1 톤 매핑 함수와 상이한 것인, 단계; 및
    상기 휘도 범위에 포함된 비디오 데이터의 휘도값에 대하여 상기 제1 톤 매핑 함수를 적용하고, 상기 휘도 범위에 포함되지 않는 비디오 데이터에 대하여 상기 미리 결정된 함수를 적용함으로써 톤 매핑된(tone mapped) 비디오를 생성하는 단계를 포함하는, 톤 매핑 방법.
  2. 제1 항에 있어서,
    상기 비디오 데이터의 최대 휘도 레벨이 톤 매핑 기준(criterion)을 만족한다는 결정에 응답하여, 상기 톤 매핑된 비디오를 생성하도록 선택하고 상기 톤 매핑된 비디오의 생성을 시작하는 단계를 더 포함하는, 톤 매핑 방법.
  3. 제1 항에 있어서,
    상기 적어도 하나의 톤 매핑 함수는 적어도 두 개의 톤 매핑 함수들을 포함하고,
    미리 결정된 범위에 포함된 휘도값들을 갖는 상기 비디오 데이터의 양에 기반하여 믹싱비(mixing ratio)를 결정하는 단계에 있어서, 상기 믹싱비는 상기 적어도 두 개의 톤 매핑 함수들의 출력들 각각의 비율(proportion)을 나타내는 것인, 단계; 및
    상기 톤 매핑된 비디오를 생성하기 위해 상기 믹싱비에 따라 상기 적어도 두 개의 톤 매핑 함수들의 상기 출력들을 믹싱하는 단계를 더 포함하는, 톤 매핑 방법.
  4. 제1 항에 있어서,
    상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도를 계산하는 단계를 더 포함하는, 톤 매핑 방법.
  5. 제1 항에 있어서,
    상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도를 얻기 위해 상기 비디오 데이터에 링크된 메타데이터를 액세스하는 단계를 더 포함하는, 톤 매핑 방법.
  6. 제1 항에 있어서, 상기 적어도 하나의 톤 매핑 함수를 구성하는 단계는:
    상기 비디오 데이터에 링크된 메타데이터에 기반하여 상기 적어도 하나의 톤 매핑 함수를 구성하는 단계에 있어서, 상기 메타데이터는 최대 프레임 평균 휘도 레벨 및 마스터링 디스플레이(mastering display)의 최대 강도(intensity) 중 적어도 하나를 포함하는 것인, 단계를 더 포함하는 것인, 톤 매핑 방법.
  7. 제1 항에 있어서, 상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도는 상기 비디오 데이터 내의 동일 장면(scene)의 프레임들의 그룹 내의 휘도값들의 분포의 척도를 포함하는 것인, 톤 매핑 방법.
  8. 톤 매핑 장치에 있어서,
    비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하되, 상기 척도는 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족하는 휘도값들을 갖게 되는 휘도 레벨을 나타내고,
    상기 구성된 적어도 하나의 톤 매핑 함수는, 휘도 범위에 포함된 휘도값들에 대하여 적용되는 제1 톤 매핑 함수를 포함하고, 상기 휘도 범위는 상기 비디오 데이터 내의 휘도값들의 분포 중 상기 척도에 대응하는 휘도값보다 크거나 같고 최대 휘도값 미만인 휘도값들을 나타내고,
    상기 구성된 적어도 하나의 톤 매핑 함수는, 상기 휘도 범위에 포함되지 않는 휘도값들에 대하여 적용되는 미리 결정된 함수를 더 포함하고,
    상기 미리 결정된 함수는 상기 제1 톤 매핑 함수와 상이하고,
    상기 휘도 범위에 포함된 비디오 데이터의 휘도값에 대하여 상기 제1 톤 매핑 함수를 적용하고, 상기 휘도 범위에 포함되지 않는 비디오 데이터에 대하여 상기 미리 결정된 함수를 적용함으로써 톤 매핑된(tone mapped) 비디오를 생성하는 적어도 하나의 프로세서를 포함하는 톤 매핑 장치.
  9. 제8 항에 있어서, 상기 적어도 하나의 프로세서는, 상기 비디오 데이터의 최대 휘도 레벨이 톤 매핑 기준을 만족한다는 결정에 응답하여, 상기 톤 매핑된 비디오를 생성하도록 선택하고 상기 톤 매핑된 비디오의 생성을 시작하는, 톤 매핑 장치.
  10. 제8 항에 있어서,
    상기 적어도 하나의 톤 매핑 함수는 적어도 두 개의 톤 매핑 함수들을 포함하고,
    상기 적어도 하나의 프로세서는:
    미리 결정된 범위에 포함된 휘도값들을 갖는 상기 비디오 데이터의 양에 기반하여 믹싱비를 결정함에 있어서, 상기 믹싱비는 상기 적어도 두 개의 톤 매핑 함수들의 출력들 각각의 비율을 나타내는 것인, 상기 믹싱비를 결정하고,
    상기 톤 매핑된 비디오를 생성하기 위해 상기 믹싱비에 따라 상기 적어도 두 개의 톤 매핑 함수들의 상기 출력들을 믹싱하는, 톤 매핑 장치.
  11. 제8 항에 있어서, 상기 적어도 하나의 프로세서는 상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도를 계산하는, 톤 매핑 장치.
  12. 제8 항에 있어서, 상기 적어도 하나의 프로세서는 상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도를 얻기 위해 상기 비디오 데이터에 링크된 메타데이터를 액세스하는, 톤 매핑 장치.
  13. 제8 항에 있어서, 상기 비디오 데이터에 링크된 메타데이터에 기반하여 상기 적어도 하나의 톤 매핑 함수를 구성함에 있어, 상기 메타데이터는 최대 프레임 평균 휘도 레벨 또는 마스터링 디스플레이의 최대 강도 중 적어도 하나를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 메타데이터에 기반하여 상기 적어도 하나의 톤 매핑 함수를 구성하는, 톤 매핑 장치.
  14. 제8 항에 있어서, 상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도는 상기 비디오 데이터 내의 동일 장면의 프레임들의 그룹 내의 휘도값들의 분포의 척도를 포함하는, 톤 매핑 장치.
  15. 컴퓨터 프로그램을 체현하는(embodying) 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램은 제1 항 내지 제 7 항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터 판독가능 프로그램 코드를 포함하는 것인, 컴퓨터 판독가능 매체.
KR1020187021377A 2015-06-02 2016-09-27 톤 매핑 방법 및 장치 KR102173729B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562170042P 2015-06-02 2015-06-02
US14/986,548 US10136074B2 (en) 2015-06-02 2015-12-31 Distribution-point-based adaptive tone mapping
US14/986,548 2015-12-31
PCT/KR2016/010799 WO2017115979A1 (en) 2015-06-02 2016-09-27 A method and an apparatus for tone mapping

Publications (2)

Publication Number Publication Date
KR20180088740A KR20180088740A (ko) 2018-08-06
KR102173729B1 true KR102173729B1 (ko) 2020-11-03

Family

ID=57451659

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187021377A KR102173729B1 (ko) 2015-06-02 2016-09-27 톤 매핑 방법 및 장치
KR1020187013285A KR102632784B1 (ko) 2015-06-02 2016-12-23 듀얼 대역 적응적 톤 맵핑

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187013285A KR102632784B1 (ko) 2015-06-02 2016-12-23 듀얼 대역 적응적 톤 맵핑

Country Status (5)

Country Link
US (4) US10165198B2 (ko)
EP (2) EP3398167B1 (ko)
KR (2) KR102173729B1 (ko)
CN (2) CN108496356B (ko)
WO (2) WO2017115979A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407296B (zh) * 2015-11-18 2021-03-23 腾讯科技(深圳)有限公司 实时视频增强方法和装置
WO2017205702A1 (en) * 2016-05-27 2017-11-30 Dolby Laboratories Licensing Corporation Transitioning between video priority and graphics priority
US11503314B2 (en) * 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
EP3583780B1 (en) 2017-02-17 2023-04-05 InterDigital Madison Patent Holdings, SAS Systems and methods for selective object-of-interest zooming in streaming video
US11272237B2 (en) 2017-03-07 2022-03-08 Interdigital Madison Patent Holdings, Sas Tailored video streaming for multi-device presentations
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
EP3684063B1 (en) * 2017-09-13 2023-05-03 Panasonic Intellectual Property Management Co., Ltd. Brightness characteristic generation method
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
US11182917B2 (en) * 2017-12-08 2021-11-23 Baidu Usa Llc Stereo camera depth determination using hardware accelerator
CN108053381B (zh) * 2017-12-22 2022-04-22 深圳创维-Rgb电子有限公司 动态色调映射方法、移动终端及计算机可读存储介质
KR20200032584A (ko) * 2018-09-18 2020-03-26 엘지전자 주식회사 영상표시장치
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR20200101048A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
CN110351542A (zh) * 2019-07-04 2019-10-18 深圳市玩瞳科技有限公司 一种针对视频帧的色彩校正方法及装置
CN112215760A (zh) * 2019-07-11 2021-01-12 华为技术有限公司 一种图像处理的方法及装置
CN112686810A (zh) * 2019-10-18 2021-04-20 华为技术有限公司 一种图像处理的方法及装置
CN111064967A (zh) * 2019-11-20 2020-04-24 北京迈格威科技有限公司 图像的压缩方法、装置、系统和存储介质
US11398017B2 (en) 2020-10-09 2022-07-26 Samsung Electronics Co., Ltd. HDR tone mapping based on creative intent metadata and ambient light
US11526968B2 (en) 2020-11-25 2022-12-13 Samsung Electronics Co., Ltd. Content adapted black level compensation for a HDR display based on dynamic metadata
EP4068196A1 (en) * 2021-03-30 2022-10-05 Beijing Xiaomi Mobile Software Co., Ltd. High dynamic range tone mapping
KR20220142751A (ko) * 2021-04-15 2022-10-24 삼성전자주식회사 비디오를 인코딩하는 전자 장치 및 그 제어 방법
WO2022226917A1 (zh) * 2021-04-29 2022-11-03 深圳市大疆创新科技有限公司 图像处理方法及电子设备
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090067713A1 (en) * 2007-09-10 2009-03-12 Shing-Chia Chen Content-adaptive contrast improving method and apparatus for digital image
US20140044372A1 (en) * 2011-04-28 2014-02-13 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decodng

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136073B2 (en) * 2002-10-17 2006-11-14 Canon Kabushiki Kaisha Automatic tone mapping for images
JP2005210526A (ja) 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8050512B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US7821580B2 (en) * 2006-08-15 2010-10-26 Lsi Corporation Contour free point operation for video skin tone correction
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8169431B2 (en) 2007-12-26 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale design
JP5203503B2 (ja) 2008-04-16 2013-06-05 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ビット深度スケーラビリティ
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8478042B2 (en) 2009-10-26 2013-07-02 Texas Instruments Incorporated Method and apparatus for enhancing image or video quality using an exposure aware scene adaptive global brightness contrast
US8831340B2 (en) 2010-01-27 2014-09-09 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
WO2011156074A2 (en) * 2010-06-08 2011-12-15 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
CN103180891B (zh) * 2010-07-22 2015-09-02 杜比实验室特许公司 显示器管理服务器
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US8391598B2 (en) 2011-01-05 2013-03-05 Aptina Imaging Corporation Methods for performing local tone mapping
EP2681710B1 (en) * 2011-03-02 2018-09-12 Dolby Laboratories Licensing Corporation Local multiscale tone-mapping operator
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US9113145B2 (en) * 2011-03-25 2015-08-18 Semiconductor Components Industries, Llc Contrast matching for stereo image
WO2012147010A1 (en) 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image coding signal
JP2012247873A (ja) 2011-05-25 2012-12-13 Sony Corp 画像処理装置および方法
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US8734328B2 (en) 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
US8693772B2 (en) 2011-10-11 2014-04-08 Tandent Vision Science, Inc. System and method for digital image signal compression using intrinsic images
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management
US9076252B2 (en) 2012-01-05 2015-07-07 Qualcomm Incorporated Image perceptual attribute adjustment
CN104126307B (zh) 2012-02-29 2018-02-06 杜比实验室特许公司 用于改善的图像处理和内容传递的图像元数据创建处理器及方法
MX337444B (es) 2012-03-26 2016-03-07 Koninkl Philips Nv Aparatos basados en la region de brillo y metodos para la codificacion y decodificacion de imagenes de rango dinamico alto.
US8437545B1 (en) 2012-04-18 2013-05-07 Tandent Vision Science, Inc. System and method for digital image signal compression using intrinsic images
EP2842104B1 (en) * 2012-05-14 2016-10-19 Omron Corporation Method and apparatus to guarantee minimum contrast for machine vision system
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
CN104471939B (zh) 2012-07-13 2018-04-24 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备
CN105787909B (zh) 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9842385B2 (en) 2012-09-12 2017-12-12 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
US8995783B2 (en) * 2012-09-19 2015-03-31 Qualcomm Incorporation System for photograph enhancement by user controlled local image enhancement
RU2642335C2 (ru) 2012-10-08 2018-01-24 Конинклейке Филипс Н.В. Обработка изображений с изменением яркости при цветовых ограничениях
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9412155B2 (en) 2012-12-31 2016-08-09 Karl Storz Imaging, Inc. Video system with dynamic contrast and detail enhancement
US9699482B2 (en) * 2013-02-21 2017-07-04 Koninklijke Philips N.V. HDR image encoding and decoding methods and devices
BR112015020009B1 (pt) * 2013-02-21 2023-02-07 Dolby Laboratories Licensing Corporation Gerenciamento de exibição para vídeo de alta gama dinâmica
GB201304221D0 (en) 2013-03-08 2013-04-24 Univ Warwick High Dynamic Range Imaging Systems
US20140269943A1 (en) 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via downsampling in the spatial and temporal domains using intrinsic images for use in data compression
US20140267916A1 (en) 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
CN105745914B (zh) * 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
US10271054B2 (en) 2014-02-25 2019-04-23 Apple, Inc. Display-side adaptive video processing
US9418311B2 (en) * 2014-09-04 2016-08-16 Apple Inc. Multi-scale tone mapping
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Hdr 기능을 이용한 차량용 디스플레이 장치 및 방법
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
CN104616294A (zh) * 2015-01-21 2015-05-13 同济大学 一种基于视觉显著性的色调映射图像质量评价方法
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN104881644A (zh) * 2015-05-25 2015-09-02 华南理工大学 非均匀光照条件下的人脸图像采集方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090067713A1 (en) * 2007-09-10 2009-03-12 Shing-Chia Chen Content-adaptive contrast improving method and apparatus for digital image
US20140044372A1 (en) * 2011-04-28 2014-02-13 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decodng

Also Published As

Publication number Publication date
EP3398167A4 (en) 2018-12-19
CN108496356A (zh) 2018-09-04
EP3391646A1 (en) 2018-10-24
KR20180089899A (ko) 2018-08-09
US20160360172A1 (en) 2016-12-08
EP3398167A1 (en) 2018-11-07
KR20180088740A (ko) 2018-08-06
KR102632784B1 (ko) 2024-02-02
CN108496356B (zh) 2020-11-20
US10165198B2 (en) 2018-12-25
US10075655B2 (en) 2018-09-11
US20160360174A1 (en) 2016-12-08
US9942489B2 (en) 2018-04-10
CN108476312B (zh) 2020-11-13
US20160360171A1 (en) 2016-12-08
US20160360173A1 (en) 2016-12-08
EP3391646A4 (en) 2018-12-19
CN108476312A (zh) 2018-08-31
EP3398167B1 (en) 2020-08-19
EP3391646B1 (en) 2020-04-22
WO2017115979A1 (en) 2017-07-06
WO2017116093A1 (en) 2017-07-06
US10136074B2 (en) 2018-11-20

Similar Documents

Publication Publication Date Title
KR102173729B1 (ko) 톤 매핑 방법 및 장치
KR102126512B1 (ko) 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템
US11769235B2 (en) HDR tone mapping methods with scene adaptive parameterized tone map function
RU2616158C2 (ru) Устройства и способы для кодирования и декодирования hdr-изображений
RU2670782C2 (ru) Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений
CN107209929B (zh) 用于对高动态范围图像进行处理的方法和装置
JP2016213809A (ja) 表示方法および表示装置
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11908112B2 (en) Dynamic tone mapping
CN110770787B (zh) 高效端到端单层逆向显示管理编码
US20220067893A1 (en) Display apparatus and control method thereof
WO2016181584A1 (ja) 表示方法および表示装置
WO2021030506A1 (en) Efficient user-defined sdr-to-hdr conversion with model templates
KR102666909B1 (ko) 디스플레이장치 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant