KR102173729B1

KR102173729B1 - 톤 매핑 방법 및 장치

Info

Publication number: KR102173729B1
Application number: KR1020187021377A
Authority: KR
Inventors: 리 타오; 김영택
Original assignee: 삼성전자주식회사
Priority date: 2015-06-02
Filing date: 2016-09-27
Publication date: 2020-11-03
Also published as: US20160360172A1; US10165198B2; KR102632784B1; EP3398167A4; CN108476312A; CN108496356B; WO2017115979A1; KR20180089899A; US20160360171A1; KR20180088740A; EP3391646A4; US10136074B2; US20160360174A1; EP3398167A1; EP3391646B1; CN108476312B; US9942489B2; CN108496356A; US10075655B2; US20160360173A1

Abstract

톤 매핑 방법은 적어도 하나의 프로세서가 비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하는 단계를 포함한다. 휘도값들의 분포의 상기 척도는 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족시키는 휘도값들을 갖게 되는 휘도 레벨을 나타낸다. 상기 방법은 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하는 단계를 포함한다.

Description

톤 매핑 방법 및 장치

본 개시는 일반적으로 이미지 처리에 관한 것이다. 보다 구체적으로, 본 개시는 분포점 기반 적응형 톤 매핑(distribution-point-based adaptive tone mapping)에 관한 것이다.

스튜디오에서, 타겟 장치들(target devices)(즉, 가정용 표시 장치, 극장용 표시 장치, 및 스마트폰 등)이 상이한 M(니트(nit))의 값들을 갖기 때문에, 사용자들은 가정용 비디오, 극장, 및 스마트폰 등을 타겟으로 하는 상이한 마스터링 모니터 피크 휘도(밝기)(mastering monitor peak luminance(brightness)) 레벨들에서 마스터링된(mastered) 비디오를 생성할 수 있다.

일 예로서, M의 최대 휘도 레벨을 갖는 마스터링 모니터로 이미 영화를 마스터링한 스튜디오는, 마스터링된 비디오를 포함하는, 마스터링된 파일, 즉 f_M을 갖는다. 이 예에서, 사용자들은 N-니트(N<M이라 가정함)의 상이한 피크 휘도 레벨에서 마스터링된 비디오을 갖기 원할 수 있다. 그러한 경우, 사용자들은 두 가지 옵션을 갖는다: (i) 리마스터링(re-mastering); 또는 (ii) 톤 매핑(tone mapping).

상기 리마스터링 옵션은, 마스터링된 비디오를 생성하기 위해, 원본 비디오 파일, 즉, F와 함께 N-니트 마스터링 모니터를 이용한다. 따라서, 상기 옵션은, 리마스터링된 비디오를 포함하는 리마스터링된 파일 f_N을 생성하기 위해, 마스터링된 파일 f_M을 생성하는 워크플로우를 복제한다. 이러한 리마스터링 프로세스는 (i) 고품질을 제공할 수 있고; 및/또는 비용이 많이 들 수 있다.

상기 톤 매핑 옵션은 다운 톤 매핑(down tone mapping) 방법으로 칭할 수 있다. 상기 톤 매핑 옵션은 톤 매핑된(tone mapped) 비디오 F_M ^N을 생성하기 위해 알고리즘 또는 소프트웨어와 함께 이미 마스터링된 비디오 f_M을 이용한다. 이러한 톤 매핑 프로세스는 (i) 시간과 비용을 절약할 수 있고; 및/또는 (ii) 하이라이트된 객체 또는 장면(highlighted objects or scenes)의 포화(saturation)와 같은 불만족스러운 결과를 가져올 수 있다.

적어도 하나의 프로세서가 비디오 데이터 내의 휘도값들의 분포의 척도(measure)에 기반하여 적어도 하나의 톤 매핑 함수를 구성하는 단계에 있어서, 상기 척도는 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건(threshold condition)을 만족하는 휘도값들을 갖게 되는 휘도 레벨을 나타내는 것인, 단계; 및 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하는 단계를 포함하는, 톤 매핑 방법.

본 개시 및 그 이점에 대한 보다 완전한 이해를 위해, 다음의 설명이 첨부한 도면들과 함께 이루어진다.
도 1a는 본 개시에 따른 예시적 비디오 마스터링 시스템을 도시한다; 마스터링 프로세스(100) 는 특정 톤 구역(tonal zone)의 장면 하이라이트 영역 정보(S_K) 및 장면 분포점("p-백분위점(p-percentile point)")을 생성한다.
도 1b는 메타데이터 추출 모듈이 없는 도 1A의 비디오 마스터링 시스템을 도시한다.
도 2는 본 개시에 따른 예시적 분포점 기반 적응형 톤 매핑 블록을 도시한다.
도 3a 및 도 3b는 본 개시의 하나 이상의 실시예들에서 톤 매핑에 이용될 수 있는 톤 매핑의 예들을 도시한다.
도 4는, 본 개시에 따른, 메타데이터 파일을 이용하는 예시적 장면 분포점 기반 적응형 톤 매핑 블록을 도시한다.
도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f는, 본 개시의 하나 이상의 실시예들에서 톤 매핑에 이용될 수 있는, 메타데이터 및 분포점("p-백분위점")에 기반하여 구성된 톤 매핑의 예들을 도시한다.
도 6은, 본 개시에 따른, 저장된(saved) p-백분위점을 이용하는 예시적 적응형 톤 매핑 블록을 도시한다.
도 7은, 본 개시에 따른, 저장된 p-백분위점 및 메타데이터를 이용하는 예시적 적응형 톤 매핑 블록을 도시한다.
도 8은, 본 개시에 따른, p-백분위점 적응형 톤 매핑을 구현하는 예시적 비디오 디스플레이를 도시한다.
도 9는, 본 개시에 따른, p-백분위점 적응형 톤 매핑을 구현하고 메타데이터를 이용하는 예시적 비디오 디스플레이를 도시한다.
도 10은, 본 개시에 따른, 적응형 톤 매핑을 구현하고 장면 p-백분위점을 메타데이터로서 이용하는 예시적 비디오 디스플레이를 도시한다.
도 11은, 본 개시에 따른, 적응형 톤 매핑을 구현하고 저장된 p-백분위점 및 메타데이터를 이용하는 예시적 비디오 디스플레이를 도시한다.
도 12는 본 개시의 다양한 실시예들이 구현될 수 있는 예시적 컴퓨팅 시스템을 도시한다.
도 13은 본 개시에 따른 예시적 비디오 처리 장치를 도시한다.
도 14는, 본 개시에 따른, p-백분위점에 기반하여 후보(candidate) 톤 매핑 함수를 선택하는 예시적 적응형 톤 매핑 블록을 도시한다.
도 15는 본 개시에 따른 톤 매핑 방법을 도시한다.

본 개시는 분포점 기반 적응형 톤 매핑을 제공한다.

제1 실시예에서, 톤 매핑 방법이 제공된다. 상기 방법은 적어도 하나의 프로세서가 비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하는 단계를 포함한다. 상기 휘도값들의 분포의 척도는, 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족하는 휘도값들을 갖게 되는, 휘도 레벨을 나타낸다. 상기 방법은 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하는 단계를 포함한다.

제2 실시예에서, 톤 매핑 장치(apparatus)가 제공된다. 상기 장치는 비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하도록 구성된 적어도 하나의 프로세서를 포함한다. 상기 휘도값들의 분포의 척도는, 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족하는 휘도값들을 갖게 되는, 휘도 레벨을 나타낸다. 상기 적어도 하나의 프로세서는 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하도록 구성된다.

제3 실시예에서, 컴퓨터 프로그램을 체현하는(embodying) 비일시적 컴퓨터 판독가능 매체가 제공된다. 상기 컴퓨터 프로그램은, 실행 시, 적어도 하나의 처리 장치로 하여금 비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하도록 하는 컴퓨터 판독가능 프로그램 코드를 포함한다. 상기 휘도값들의 분포의 척도는, 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족하는 휘도값들을 갖게 되는, 휘도 레벨을 나타낸다. 상기 컴퓨터 프로그램은, 실행 시, 상기 적어도 하나의 처리 장치로 하여금 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성하도록 하는 컴퓨터 판독가능 프로그램 코드를 포함한다.

기타 기술적 특징들은 다음의 도면, 설명, 및 청구항으로부터 본 개시가 속하는 기술분야의 숙련된 자에게 명백해질 수 있다.

하기에서 상세한 설명에 들어가기 전에, 본 특허 문서 전체에 걸쳐 사용되는 일정 단어들 및 어구들에 대한 정의를 설명하는 것이 유리할 수 있다. 용어 "결합하다(couple)" 및 그 파생어들은, 둘 이상의 요소들이 서로 물리적으로 접촉하고 있든지 아니든지 상관없이, 그러한 둘 이상의 요소들 간의 어떤 직접적인 또는 간접적인 통신(communication)을 말한다. 용어 "전송하다(transmit)", "수신하다(receive)", "통신하다(communicate)", 및 그 파생어들은 직접적 및 간접적 통신 둘 모두를 포괄한다. 용어 "포함하다(include)", "포함하다(comprise)", 및 그 파생어들은 제한 없는 포함을 의미한다. 용어 "또는(or)"은 포괄적이며(inclusive), 및/또는(and/or)을 의미한다. 어구 "~와 연관되다(associated with)" 및 그 파생어들은 포함하다, ~내에 포함되다, ~와 상호 연결되다(interconnect with), ~에 또는 ~와 연결되다(connect to or with), ~에 또는 ~와 결합하다(couple to or with), ~와 통신 가능하다(be communicable with), ~와 협력하다(cooperate with), 끼워 넣다(interleave), 병치하다(juxtapose), ~에 근접하다(be proximate to), ~에 또는 ~와 결속되다(be bound to or with), 가지다, ~의 특성을 가지다(have a property of), 또는 ~에 또는 ~와 관계성을 가지다(have a relationship to or with) 등을 의미한다. 용어 "제어기(controller)"는 적어도 하나의 동작을 제어하는 어떤 장치, 시스템, 또는 그 일부를 의미한다. 그러한 제어기는 하드웨어로 또는 하드웨어와 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 어떤 특정한 제어기와 연관된 기능(functionality)은, 국부적으로든 원격적으로든, 중앙집중화되어 있거나 또는 분산되어 있을 수 있다. 어구 "~중 적어도 하나(at least one of)"는, 항목들의 리스트와 함께 사용될 때, 상기 열거된 항목들 중 하나 이상의 상이한 조합들이 이용될 수도 있고 상기 리스트 내의 오직 한 항목만이 필요할 수도 있음을 의미한다. 예를 들면, "A, B, 및 C 중 적어도 하나"는 다음 조합들 중 어떤 것이든 포함한다: A, B, C, A 및 B, A 및 C, B 및 C, 및 A 및 B 및 C.

또한, 하기에 설명되는 다양한 함수들(functions)은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원되며, 상기 컴퓨터 프로그램들 각각은 컴퓨터 판독가능 프로그램 코드로부터 형성되고 컴퓨터 판독가능 매체에 체현된다(embodied). 용어 "애플리케이션(application)" 및 "프로그램(program)"은 하나 이상의 컴퓨터 프로그램들, 소프트웨어 구성요소들, 명령어들의 집합들, 프로시저들(procedures), 함수들(functions), 객체들(objects), 클래스들(classes), 인스턴스들(instances), 관련 데이터, 또는 적절한 컴퓨터 판독가능 프로그램 코드로 구현되도록 적합화된(adapted) 이들의 일부를 말한다. 어구 "컴퓨터 판독가능 프로그램 코드"는, 소스 코드(source code), 객체 코드(object code), 및 실행가능 코드(executable code)를 포함하여, 어떠한 유형의 컴퓨터 코드라도 포함한다. 어구 "컴퓨터 판독가능 매체"는, 읽기 전용 메모리(read only memory: ROM), 랜덤 액세스 메모리(random access memory: RAM), 하드 디스크 드라이브, 컴팩트 디스크(compact disc: CD), 디지털 비디오 디스크(digital video disc: DVD), 블루레이 디스크, 또는 다른 어떤 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 어떠한 유형의 매체라도 포함한다. "비일시적(non-transitory)" 컴퓨터 판독가능 매체는 일시적인 전기적 또는 기타 신호들을 전송하는 유선, 무선, 광학적, 또는 기타 통신 링크들을 제외한다. 비일시적 컴퓨터 판독가능 매체는, 다시쓰기가능(rewritable) 광디스크, 소거가능(erasable) 메모리 장치, 정적 RAM, 동적 RAM, 또는 플래시 메모리와 같이, 데이터가 영구적으로 저장될 수 있는 매체들 및 데이터가 저장되고 추후에 덮어쓰여질(overwritten) 수 있는 매체들을 포함한다.

하기에 설명되는 다양한 함수들은 하나 이상의 컴퓨터 프로그램들을 저장하는 컴퓨터 판독가능 매체와 결합된 프로세서에 의해 구현 또는 지원될 수 있다. 이와 같이, 상기 프로세서는 상기 하나 이상의 컴퓨터 프로그램들에 의해 정의되는 함수들을 수행하기 위한 특수 목적 프로세서이다.

기타의 일정 단어들 및 어구들에 대한 정의들은 본 특허 문서 전체에 걸쳐 제공된다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자라면, 많은 경우 아니면 대부분의 경우에, 그러한 정의들이 그와 같이 정의된 단어들 및 어구들의 사용 이후 뿐 아니라 이전에도 적용됨을 이해해야 할 것이다.

하기에 설명되는 도 1A 내지 도 15, 및 본 특허 문서에서 본 개시의 원리를 설명하는 데 이용되는 다양한 실시예들은 단지 예시를 위한 것이며 어떠한 경우에도 본 개시의 범위를 제한하는 것으로 해석되어서는 안 된다. 본 개시가 속하는 기술분야의 숙련된 자라면 본 개시의 원리가 적절하게 구성된 어떠한 무선 통신 시스템에서든 구현될 수 있음을 이해할 것이다.

본 개시의 다양한 실시예들에 따르면, 시스템들 및 방법들은 두 가지 이상의 톤 매핑들의 믹스(mix)를, 비디오 파일 내의 비디오 데이터와 같은, 비디오 데이터에 적용한다. 예를 들면, 로우 톤 매핑(low tone mapping)은 하이라이트 톤들(highlight tones)을 압축하여 섀도우 톤들(shadow tones)을 확장하고, 하이 톤 매핑(high tone mapping)은 보다 낮은 톤들을 압축하여 하이라이트 톤들에 대한 보다 많은 헤드룸(headroom)을 제공한다. 보다 낮은 톤들의 예들은 미드톤들(midtones) 및 섀도우 톤들을 포함한다. 믹싱(mixing)에 의해, 중간 톤 매핑이 동적으로 달성될 수 있다. 톤 매핑들의 믹싱의 양은 하나 이상의 프레임들의 특정 톤 구역(tonal zone)(예를 들면, 블랙 톤들, 섀도우 톤들, 미트톤들, 하이라이트 톤들, 화이트 톤들)의 척도(measure)에 적어도 부분적으로 의존한다.

추가적으로 또는 대안적으로, 본 개시의 실시예들에 따른 시스템들 및 방법들은 비디오 콘텐츠의 히스토그램(histogram)의 분포의 척도에 기반하여 톤 매핑들을 발전시킨다(further). 예를 들면, 장면 또는 프레임에 포함되는 톤 범위(tonal range)의 대부분을 구성하기 위해, 장면 또는 프레임의 p-백분위점이 계산될 수 있고, 복수의 톤 매핑들이 상기 p-백분위점에 기반하여 조정될 수 있다. 이런 식으로, 이미지들을 뷰어(viewer)에게 렌더링하는 디스플레이의 동적 범위(dynamic range)를 효율적으로 이용하기 위해, 조합된 톤 매핑이 콘텐츠에 기반하여 동적으로 변화될 수 있다.

본 개시의 실시예들에 따른 시스템들 및 방법들은, 콘텐츠의 리마스터링을 용이하게 하기 위해 및/또는 높은 동적 범위(high dynamic range: HDR) 디스플레이를 용이하게 하기 위해, 이미지, 그래픽, 및/또는 비디오(본 명세서에서 총괄하여 간단히 "비디오"로 칭함)를 톤 매핑하는 하나 이상의 애플리케이션들을 포함한다. 일정 실시예들에서, 톤 매핑은 상이한 휘도 피크 레벨들로의 HDR 리마스터링을 용이하게 한다. 일정 실시예들에서, 상기 톤 매핑은 리마스터링 모니터와 상이한 휘도 피크 레벨을 갖는 디스플레이를 위한 톤 매핑을 용이하게 한다. 본 명세서에 개시된 다양한 실시예들은 단독으로 아니면 조합하여 이용될 수 있다.

도 1A는 본 개시에 따른 예시적 비디오 마스터링 시스템(100)을 도시한다. 상기 비디오 마스터링 시스템(100)은 영화 스튜디오와 연관된 영화 마스터링 프로세스를 구현할 수 있다. 상기 비디오 마스터링 시스템(100)은 특정 톤 구역의 장면 하이라이트 영역 정보(S_K) 및 장면 분포점("p-백분위점")을 생성한다.

상기 비디오 마스터링 시스템(100)에서, 컬러 그레이딩(color grading) 모듈 (105)은 마스터링될 또는 리마스터링될 원본 비디오 파일 F의 입력(110)을 수신한다. 마스터링의 경우, 상기 입력(110)은, 이전에 마스터링된 적 없는, 카메라에서의 원시 데이터(raw data)를 포함한다. 리마스터링의 경우, 상기 입력(110)은 이전에 마스터링된 비디오 파일을 포함한다. 상기 컬러 그레이딩 모듈(105)은 상기 원본 비디오 파일 F의 사용자 색상 그레이드들을 나타내는 사용자 입력(115)을 포함한다. 즉, 사용자 색상은 상기 컬러 그레이딩 모듈(105)을 사용하여 입력된 마스터 비디오를 그레이딩한다. 상기 컬러 그레이딩 모듈(105)은 상기 사용자 입력(115)을 이용하여 상기 입력(110)으로부터 마스터링된 비디오 파일(120)(f_M)을 생성한다. 상기 마스터링된 비디오 파일(120)은 메모리 또는 저장소(storage)에 저장될 수 있다. 상기 컬러 그레이딩 모듈(105)은 상기 마스터링된 비디오 파일(120)을 출력하며, 상기 마스터링된 비디오 파일(120)은 (i) 양자화기(quantizer)(125)(Q_n), (ii) 메타데이터 추출 모듈(130), (iii) 톤 구역 영역 검출기(135), 및 (iv) 분포점("p-백분위점") 계산기(140) 각각에 입력된다.

상기 양자화기(125)는 양자화 함수를 상기 마스터링된 비디오 파일(120)에 적용하여 양자화된 마스터링된 비디오 파일(145)(Q_n(f_M))을 생성 및 출력한다. 상기 양자화된 마스터링된 비디오 파일(145)은 메모리 또는 저장소에 저장될 수 있다. 상기 양자화된 마스터링된 비디오 파일(145)은 마스터링 모니터(150)에 입력된다. 상기 양자화된 마스터링된 비디오 파일(145)은 n-비트 형식(format)을 포함한다.

상기 메타데이터 추출 모듈(130)은 상기 마스터링된 비디오 파일(120)에 링크된 메타데이터(155)를 생성 및 출력한다. 상기 메타데이터(155)는 마스터링된 비디오 파일에 상응하여 별도의 파일로서 저장되는 메타데이터 저장 파일(a save as metadata file: SMF)일 수 있다. 상기 메타데이터 추출 모듈(130)은 상기 마스터링된 비디오 파일(120)로부터: (i) 상기 마스터링 모니터(150)의 최대 휘도 레벨, 즉, M; (ii) 최대 콘텐츠 휘도 레벨, 즉, MaxCLL; 및 (iii) 최대 프레임 평균 휘도 레벨, 즉, MaxFALL을 포함하나 이에 제한되지 않는, 다양한 값들을 추출할 수 있다.

상기 톤 구역 영역 검출기(135)는 실시간으로 비디오 데이터를 분석하고, 프레임 또는 장면의 특정 톤 구역의 척도(160)(예를 들면, 하기에서 더 상세히 설명되는, S_K 또는 R_K)를 생성하며, 상기 척도(160)를 출력한다. 상기 척도(160)는 마스터링된 비디오 파일에 상응하여 별도의 파일로서 저장되는 메타데이터 자장 파일(SMF)일 수 있다. 상기 톤 구역 영역 검출기(135)는, 마스터링된 비디오(120)(f_M)를 입력으로서 수신하고 프레임의 특정 톤 구역의 척도 R_K를 생성 및 출력하는, 프레임 하이라이트 영역 검출기를 포함할 수 있다. 상기 톤 구역 영역 검출기(135)는, 마스터링된 비디오(120)(f_M)를 입력으로서 수신하고, 상기 입력(110)의 장면의 특정 톤 구역의 척도 S_K를 생성하며, 상기 척도 S_K를 출력하는, 장면 하이라이트 영역 검출기를 포함할 수 있다. 장면 하이라이트 영역 검출기는, "평균값(Average Value)", "비값(Ratio Value)", "최대 장면 평균값(Max Scene Average Value)", 및 "최대 장면비(Max Scene Ratio)"와 같이, 여러 가지 방법으로 상기 척도 S_K를 결정할 수 있다.

용어 "장면(scene)"은 비디오의 연속적인 프레임들의 그룹 또는 집합을 말한다. 일정 실시예들에서, 프레임들의 집합은, 카메라가 사진 작가/비디오 작가의 몸의 아핀 떨림(affine tremor)으로 인해 약간의 변량(variance)이 있는 일련의 프레임들을 캡처하는 경우와 같이, 실질적으로 동일한 배경을 포함할 수 있다. 예시적 실시예들에서, 장면에 상응하는 프레임들의 집합은 메타데이터에 기반하여 결정될 수 있다. 그러나, 미리 결정된 수의 연속적인 프레임들을 이용하는 경우 및/또는 연속적인 레코딩의 시작 및 중단 프레임들을 결정하는 경우와 같이, 장면의 프레임들을 결정하는 어떤 적절한 방법이라도 이용될 수 있음을 이해할 수 있을 것이다.

톤 구역(tonal zone)은 장면의 히스토그램의 정의된 영역을 말한다. 상기 톤 구역의 예들로 블랙 톤들, 섀도우 톤들, 미드톤들, 하이라이트 톤들, 화이트 톤들, 및 이들의 어떠한 조합 또는 부분적 조합이 포함되나, 이에 제한되지 않는다. 비제한적 예에서, 상기 블랙 톤들은 가능한 휘도값들 중 최하위 5%에 상응하고, 상기 섀도우 톤들은 가능한 휘도값들 중 최하위 삼분의 일에 상응하고, 미드톤들은 가능한 휘도값들 중 중간 삼분의 일에 상응하고, 하이라이트 톤들은 가능한 휘도값들 중 최상위 삼분의 일에 상응하고, 상기 화이트 톤들은 가능한 휘도값들 중 최상위 5%에 상응할 수 있다. 예를 들면, 휘도값들의 범위가 0 내지 255(예를 들면, 8 비트)인 예에서, 상기 블랙 톤들은 대략 레벨 0 내지 레벨 12에 상응할 수 있고, 상기 섀도우 톤들은 레벨 13 내지 레벨 85 또는 레벨 0 내지 레벨 85에 상응할 수 있고, 상기 미드톤들은 대략 레벨 85 내지 레벨 169에 상응할 수 있고, 상기 하이라이트 톤들은 대략 레벨 169 내지 레벨 243 또는 레벨 169 내지 레벨 255에 상응할 수 있고, 상기 화이트 톤들은 대략 레벨 243 내지 레벨 255에 상응할 수 있다. 대안적인 실시예들에서, 상기 톤 구역은 휘도값들의 미리 결정된 어떠한 범위에든지 상응할 수 있음을 이해할 것이다.

특정 톤 구역은 특정 톤 구역에 걸쳐 측정된 히스토그램 하에서 영역별로 측정될 수 있다. 상기 특정 톤 구역을 기준으로 장면을 특징짓는 어떤 적절한 기준(norm) 또는 통계와 같이, 어떤 적절한 척도라도 이용될 수 있다.

상기 p-백분위점 계산기(140)는 비디오 데이터 내 휘도값들의 분포의 척도(165)(I_P)를 생성한다. 상기 척도(165)(I_P)는 마스터링된 비디오 파일에 상응하여 별도의 파일로 저장되는 메타데이터 저장 파일(SMF)일 수 있다. 상기 척도 I_P(165)는 백분위점일 수 있으며, 상기 백분위점은, 휘도 레벨보다 작거나 크다는 조건과 같이, 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건(threshold condition)을 만족시키는 휘도값들을 갖게 되는 휘도 레벨을 나타낸다. 명확성을 위해, 하기에서 예들은 상기 문턱값 조건이 상기 휘도 레벨보다 작은 경우에 해당하는 상황에서 설명될 것이지만, 대안적인 실시예들에서 상기 문턱값 조건은 상기 휘도 레벨보다 큰 경우에 해당할 수도 있음을 이해할 것이다. 상기 비디오 데이터는 프레임 또는 장면일 수 있다. 상기 p-백분위점 계산기(140)는 상기 마스터링된 비디오 파일(120)의 장면 p-백분위점(165)(I_P)을 계산하는 장면 p-백분위점 계산기를 포함할 수 있다. 보다 구체적으로, 상기 p-백분위점 계산기(140)는 주어진 p의 값에 대해 상기 장면 p-백분위점(165)(I_P)을 결정하기 위해 상기 마스터링된 비디오 파일(120)에 식 1 및 식 2를 적용할 수 있다. 상기 p의 값은 상기 p-백분위점 I_P보다 작은 휘도 레벨을 갖는 장면의 샘플들의 백분율(percent)과 같을 수 있거나, 또는 선택된 값(예를 들면, 5% 또는 20%)을 나타낼 수 있다.

(1)

상기 식 (1)에서

(2)

일정 실시예들에서, 상기 p-백분위점 계산기(140)는 상기 마스터링된 비디오 파일(120)의 프레임 p-백분위점(165)(I_P)을 계산하는 프레임 p-백분위점 계산기를 포함한다. 보다 구체적으로, 상기 p-백분위점 계산기(140)는 주어진 p의 값에 대해 상기 프레임 p-백분위점(165)(I_P)을 결정하기 위해 상기 마스터링된 비디오 파일(120)에 식 3을 적용할 수 있다. 상기 p의 값은 상기 p-백분위점 I_P보다 작은 휘도 레벨을 갖는 프레임의 샘플들의 백분율과 같을 수 있거나, 또는 선택된 값(예를 들면, 5% 또는 20%)을 나타낼 수 있다.

(3)

상기 마스터링 모니터(150)는, 상기 양자화된 마스터링된 비디오 파일(145)에 역양자화(dequantization) 함수를 적용할 수 있는, 역양자화기 모듈(Q_n ^- ¹)을 포함한다. 상기 마스터링 모니터(150)는 M니트의 최대 휘도 레벨을 가진다. 상기 마스터링 모니터(150)는 상기 사용자에게 시각적 피드백을 제공한다. 그러나, 상기 마스터링 모니터(150)는, 소비자급(consumer-grade) 텔레비전과 같은, 소비자 표시 장치와 비교하여 매우 높은 명암대비(contrast)를 가질 수 있다. 결과적으로, 상기 마스터링 모니터(150) 상에 표시되는 마스터링된 비디오는 가정용 텔레비전 세트 상에 표시되는 것과 달라 보일 수 있다. 예를 들면, 상기 마스터링 모니터(150)는 가정용 텔레비전 세트보다 더 밝은 이미지를 표시할 수 있기 때문에, 가정용 텔레비전 세트 상에 표시되는 마스터링된 비디오의 밝은 부분들은 클리핑될(clip) 수 있고, 따라서, 이미지 세부사항들(details)이 손실될 수 있다. 상기 마스터링된 비디오를 표시함으로써, 상기 마스터링 모니터(175)는 블록(150) 에서의 수동 마스터링 프로세스에 대한 색상 톤들의 연속적 또는 반복적 조정을 위한 시각적 피드백을 제공한다.

수동 마스터링 블록(175)에서, 상기 원본 비디오 파일 F의 상기 입력(110)은 컬러 그레이딩 모듈(105)을 이용하여 그레이딩될 수 있다. 또한, 상기 수동 마스터링 블록(175)에서, 시각적 피드백(170)은 색상 톤들의 연속적 또는 반복적 조정을 위해 컬러 그레이딩 모듈(105)을 이용하여 그레이딩될 수 있다.

도 1a는 비디오 마스터링 시스템(100)의 일 예를 도시하고 있지만, 도 1A에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 다른 실시예들은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 예를 들면, 도 1b는 상기 메타데이터 추출 모듈(130)이 없는 도 1a의 비디오 마스터링 시스템을 도시하고 있으며, 상기 비디오 마스터링 시스템은 본 명세서에서 참조번호 101로 표시된다.

도 2는 본 개시에 따른 예시적 분포점 기반 적응형 톤 매핑 블록(200)을 도시한다. 상기 톤 매핑 블록(200)은 p-백분위점(I_P)에 기반하여 상기 톤 매핑 함수를, 예를 들면, 조정하여, 구성하는 분포점 기반 적응형 톤 매핑에 의해, 표시 장치 상에 이미지를 렌더링할 수 있게 한다. 상기 톤 매핑 블록(200)은, M-니트 마스터링 모니터로, 이미 마스터링된 비디오 f_M으로부터 톤 매핑된 비디오 f_M ^N을 생성하며, 이는, 다른 특성들 중에서도, 적응적이고 자동적이기 때문에 비용이 저렴할 수 있고, 및/또는 하이라이트된 객체 또는 장면의 포화(saturation)가 낮거나 없도록 할 수 있다.

상기 톤 매핑 블록(200)은 두 가지 이상의 톤 매핑들의 믹스를 비디오 파일에 적용한다. 상기 톤 매핑 블록(200)은, 제1 톤 매핑 함수 블록(205) 및 제2 톤 매핑 함수 블록(210)을 포함하는 복수의 톤 매핑 함수 블록들, 장면 하이라이트 영역 검출기(215), 믹싱비(mixing ratio) 블록(220), 믹서 블록(225), 및 장면 p-백분위점 계산기(265)를 포함한다. 상기 장면 p-백분위점 계산기(265)는 도 1A에서의 상응하는 장면 p-백분위점 계산기(140)와 동일 또는 유사할 수 있고 동일 또는 유사한 방식으로 작동될 수 있다.

도시한 예에서, 상기 제1 및 제2 톤 매핑 함수 블록들은 로우 톤 매핑 함수 블록(205) 및 하이 톤 매핑 함수 블록(210)을 포함한다. 각각의 톤 매핑 함수 블록(205 및 210)은 마스터링된 비디오 f_M을 입력(230)(x)으로서 수신한다. 또한, 각각의 톤 매핑 함수 블록(205 및 210)은 메타데이터(260)를 입력으로서 수신한다. 상기 메타데이터(260)는 상기 마스터링된 비디오 파일(230)의 p-백분위점(I_P)을 포함한다. 상기 메타데이터(260)는 상기 마스터링 시스템(100) 내의 상기 p-백분위점 계산기(140)로부터 수신되는 장면 p-백분위점(165)(I_P)을 포함할 수 있다. 대안적으로, 상기 메타데이터(260)는 상기 톤 매핑 블록(200) 내의 상기 p-백분위점 계산기(265)로부터 수신되는 장면 p-백분위점(270)(I_P)을 포함할 수 있다. 각각의 톤 매핑 함수 블록(205 및 210)은, 도 3A 및 도 3B를 참조하여 하기에서 보다 구체적으로 설명하는 바와 같이, 상기 수신된 메타데이터(260)에 기반하여 그것의 톤 매핑 함수를, 예를 들면, 조정하여, 구성할 수 있다. 각각의 톤 매핑 함수 블록(205 및 210)은, 상기 수신된 메타데이터(260)에 기반하여 구성된 상기 톤 매핑 함수를 상기 입력(230)의 상기 마스터링된 비디오 f_M에 적용함으로써, 후보 톤 매핑된 비디오를 출력들(235 및 240)로서 생성한다. 보다 구체적으로, 상기 로우 톤 매핑 함수 블록(205)은 로우 톤 매핑 함수를 적용하고 출력(235), 즉, 후보 로우 톤 매핑된 비디오(y₁)를 제공한다. 상기 하이 톤 매핑 함수 블록(210)은 하이 톤 매핑 함수를 적용하고 출력(240), 즉, 후보 하이 톤 매핑된 비디오(y₂)를 제공한다. 상기 로우 톤 매핑 함수 블록(205)은 상기 하이 톤 매핑 함수 블록(210)으로부터의 상기 출력(240)보다 더 큰 조도(illumination) 범위를 갖는 출력(235)을 상기 입력(230)의 상기 마스터링된 비디오 f_M의 낮은 휘도 값들에 제공한다.

상기 장면 하이라이트 영역 검출기(215)는 마스터링된 비디오 f_M을 입력(230)(x)으로서 수신하고, 척도 S_K(245)를 출력으로서 생성한다. 상기 척도 S_K(245)는 상기 입력(230)(x)의 장면의 특정 톤 구역의 척도이다. 상기 장면 하이라이트 영역 검출기(215)는, "평균값", "비값", "최대 장면 평균값", 및 "최대 장면비"와 같이, 여러 가지 방법으로 상기 척도 S_K(245)를 결정할 수 있다.

상기 "평균값" 방법에 따르면, 상기 장면 하이라이트 영역 검출기(215)는 장면의 특정 톤 구역의 상기 척도 S_K(245)를 상기 특정 톤 구역(미리 결정된 범위) 내의 상기 입력(230)의 상기 마스터링된 비디오 f_M의 휘도값들의 평균값으로 결정한다. 상기 특정 톤 구역은 미리 결정된 상수 K보다 크고 상기 마스터링된 비디오의 최대 휘도값(M)보다 작은 범위일 수 있다. 상기 미리 결정된 상수 K는 상기 마스터링된 비디오의 최대 휘도값(M)보다 작다. 상기 미리 결정된 상수(K)의 값은 임의적일 수 있거나 또는 타겟 표시 장치의 특성에 의존할 수 있다. 보다 구체적으로, 상기 장면 하이라이트 영역 검출기(215)는 하기 식 4 및 식 5에 따라 상기 척도 S_K(245)를 결정한다. 용어 1_x>K는 상기 입력(x)의 휘도값이 상기 미리 결정된 상수 K보다 큰지 여부를 나타내는 값이고; 용어 x∈scene는 x가 장면에 해당하는 집합의 멤버임을 나타낸다.

(4)

상기 식 (4)에서

(5)

상기 "비값(ratio value)" 방법에 따르면, 상기 장면 하이라이트 영역 검출기(215)는 상기 척도 S_K(245)를 상기 입력(230)의 상기 마스터링된 비디오 f_M의 휘도값들의 수 대비 특정 톤 구역 내에 있는 상기 입력(230)의 상기 마스터링된 비디오 f_M의 휘도값들의 수의 비로 결정한다. 설명의 용이성을 위해, 상기 특정 톤 구역(즉, x>K, 상기 미리 결정된 상수 K보다 큼)이 "비값", "최대 장면 평균값", 및 "최대 장면비" 방법들을 설명하기 위한 예로서 적용될 것이다. 보다 구체적으로, 상기 장면 하이라이트 영역 검출기(215)는 하기 식 6에 따라 상기 척도 S_K(245)를 결정한다.

(6)

상기 "최대 장면 평균값" 방법에 따르면, 상기 장면 하이라이트 영역 검출기(215)는 상기 척도 S_K(245)를 상기 입력(230)의 상기 마스터링된 비디오 f_M의 동일한 입력 장면에서 프레임들의 특정 톤 구역 내의 휘도값들의 평균값들 중 최대값으로 결정한다. 이 결정을 함에 있어서, 상기 장면 하이라이트 영역 검출기(215)는 동일한 입력 장면에서의 프레임들의 집합을 식별하고, 상기 입력 장면에서의 각 프레임은 인덱스 i를 가진다. 예를 들면, 상기 입력 장면이 4개의 프레임을 포함한다면, 집합은 {프레임₁, 프레임₂, ..., 프레임_i ₌ ₄}이다. 각각의 인덱싱된 프레임(frame_i)에 대해, 상기 장면 하이라이트 영역 검출기(215)는 상기 특정 톤 구역 내의 휘도값들의 평균값을 식별 및 계산한다. 상기 장면 하이라이트 영역 검출기(215)는 각각의 인덱싱된 프레임(frame_i)에 상응하는 평균값들 중에서 최대값을 선택한다. 식 7 및 식 8은 상기 척도 S_K(245)를 결정하는 상기 "최대 장면 평균값" 방법을 표현한다.

(7)

상기 식 (7)에서

(8)

특정한 비제한적 예로서, 특정 인덱싱된 프레임 frame_i ₌₃이 휘도값들 {1, 2, 2, 4, 5}를 갖는 5개의 샘플들을 포함한다면, 상기 인덱싱된 프레임은 상기 특정 톤 구역(x>K) 내에 휘도값들 {4, 5}를 갖는 2개의 샘플들을 포함하고, frame_i ₌₃에 상응하는 평균값은, (4+5)/2에 기반하여, 4.5가 된다.

상기 "최대 장면비(Max Scene Ratio)" 방법에 따르면, 상기 장면 하이라이트 영역 검출기(215)는 장면의 특정 톤 구역의 상기 척도 S_K(245)를 상기 특정 톤 구역 내의 상기 입력(230)의 상기 마스터링된 비디오 f_M의 동일 입력 장면의 프레임들의 수의 비들 중 최대값으로 결정한다. 상기 장면 하이라이트 영역 검출기(215)는 하기 식 (9)에 따라 상기 척도 S_K(245)를 결정한다.

(9)

상기 믹싱비 블록(220)은 상기 척도 S_K를 입력으로서 수신하고 상기 척도 S_K(245)에 기반하여 믹싱비(250)(r)를 생성한다. 상기 믹싱비(250)(r)는 상기 복수의 톤 매핑 함수 블록들(205 및 210)의 각각의 출력(235 및 240)의 비율(proportion)을 나타낸다. 상기 믹싱비(r)는 톤 매핑들의 영향의 양(amount)을 결정할 수 있다. 상기 믹싱비(250)는 0(r=1)일 수 있으며, 이는 상기 톤 매핑된 비디오(255)(f_M ^N)가 상기 출력(235)의 상기 후보 로우 톤 매핑된 비디오(y₁)와 같다는 것을 나타낸다. 상기 믹싱비(250)는 0(r=0)일 수 있으며, 이는 상기 톤 매핑된 비디오(255)(f_M ^N)가 상기 출력(235)의 상기 후보 로우 톤 매핑된 비디오(y₁)와 같다는 것을 나타낸다. 상기 믹싱비(250)는 1(r=1)일 수 있으며, 이는 상기 톤 매핑된 비디오(255)(f_M ^N)가 상기 출력(240)의 상기 후보 하이 톤 매핑된 비디오(y₂)와 같다는 것을 나타낸다. 상기 믹싱비(250)는 0과 1 사이의 값일 수 있으며, 이는 상기 톤 매핑된 비디오(255)(f_M ^N)가: (i) 상기 출력(235)의 상기 후보 로우 톤 매핑된 비디오(y₁)의 일부; 및 (ii) 상기 출력(240)의 상기 후보 하이 톤 매핑된 비디오(y₂)의 일부를 모두 포함한다는 것을 나타낸다. 예를 들면, 상기 믹싱비 블록(220)은 상기 복수의 톤 매핑 블록들로부터 각각의 출력 y₁, ..., y_n을 수신할 수 있고, 가중(weighted) 출력들(예를 들면, 톤 매핑된 비디오 y = c₁y₁ + c₂y₂ + ... + c_ny_n이고 여기서 가중치들 c₁, c₂, ..., c_n 의 합은 1(unity)이다)의 가중 조합(예를 들면, 볼록 조합(convex combination))을 생성 및 결정할 수 있다. 이런 식으로, 하이라이트 톤들의 큰 척도를 갖는 비디오 콘텐츠는, 예를 들면, 상기 톤 매핑 블록(200)으로 하여금, 하이라이트 톤들에 더 큰 범위를 제공하는 하이 톤 매핑들을 강조하는 톤 매핑들의 믹스를 적용하도록 하여, 장면의 더 밝은 부분들의 클리핑(clipping)을 방지한다. 반대로, 하이라이트 톤들의 낮은 척도를 갖는 비디오 콘텐츠는 상기 톤 매핑 블록(200)으로 하여금, 섀도우 톤들에 더 큰 범위를 제공하는 로우 톤 매핑들을 강조하는 톤 매핑들의 믹스를 적용하도록 하여, 장면의 더 어두운 부분들의 세부 사항을 드러낸다.

상기 믹서 블록(225)은 복수의 톤 매핑 함수 블록들(205 및 210) 로부터 상기 믹싱비(250)(r) 및 후보 톤 매핑된 비디오들 y₁ 및 y₂를 입력으로서 수신한다. 상기 믹서 블록(225)은 상기 믹싱비(250)에 따라 상기 출력들(235 및 240)(y₁ 및 y₂)을 믹싱하여, 톤 매핑된 비디오(255)(f_M ^N)를 출력(y)으로서 생성한다. 상기 믹서 블록(225)은 톤 매핑된 비디오(255)를 생성하기 위해 식 10을 적용한다.

(10)

도 2는 하나의 예시적 톤 매핑 블록(200)을 도시하고 있지만, 도 2에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 다른 실시예들은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 예를 들면, 상기 믹서 블록(225)은, 후보 톤 매핑된 비디오들을 믹싱하는 것이 아니라, 상기 톤 매핑 함수 블록들의 출력들 중에서 하나의 후보 톤 매핑된 비디오를 선택하여 상기 톤 매핑된 비디오(255)를 생성하도록 구성될 수 있다. 도 2에 도시한 예에서, 상기 믹서 블록(225)은 상기 두 개의 출력들(235 및 240) 중 하나를 선택하여 상기 톤 매핑된 비디오(255)(f_M ^N)로서 출력되도록 할 것이다. 다른 예로서, 상기 장면 p-백분위점 계산기(265)는 대안적으로, 상기 마스터링된 비디오 파일(230)의 프레임 p-백분위점(165)(I_P)을 계산하는, 프레임 p-백분위점 계산기(도 8에서 참조번호 865로 표시됨)일 수 있다.

도 3a 및 도 3b는 본 개시의 하나 이상의 실시예들에서 톤 매핑에 이용될 수 있는 톤 매핑의 예들을 도시한다. 도 3a 및 도 3b에 도시한 톤 매핑들(300 및 305)의 예들은 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.

상기 로우 및 하이 톤 매핑 함수 블록들(205 및 210)은 상기 메타데이터(260) 내의 상기 p-백분위점(I_P)에 기반하여 상기 톤 매핑들(300 및 305)을 구성할 수 있다. 도 3a 및 도 3b에서, 상기 톤 매핑들(300 및 305)은 제1 톤 매핑 부분(345)을 포함한다. 상기 제1 톤 매핑 부분(345)은, 0 내지 I_P의 범위 내에 있는, 상기 입력 비디오 x에 대한 휘도값들이 I_P의 미리 결정된 함수, 즉, g(I_P)에 따라 출력 비디오(y₁ 및 y₂)에 대한 휘도값들로 매핑되는 것을 보여준다. 상기 미리 결정된 함수 g(I_P)는, 선형 함수와 같이, 어떤 적절한 함수든지 될 수 있다. 상기 제1 톤 매핑 부분 외의, 상기 톤 매핑들(300 및 305)의 나머지 부분(remainder)은, I_P 내지 I_max의 범위 내에 있는, 상기 입력 비디오 x에 대한 휘도값들이, 상기 미리 결정된 함수 g(I_P)와 다를 수 있는, 상응하는 로우 또는 하이 톤 매핑 함수에 따라 상기 출력 비디오(y₁ 또는 y₂)에서의 휘도값들에 매핑되는 것을 보여준다.

도 3a에서, 상기 로우 톤 매핑(300)은 I_max의 최대 휘도값을 갖는 상기 입력 비디오 x에 대한 휘도값들과 N의 최대 휘도값을 갖는 타겟 디스플레이 상에 표시하고자 하는 상기 출력 비디오 y₁에 대한 휘도값들 사이의 관계를 보여준다. 이러한 로우 톤 매핑(300)에 대해 도시한 바와 같이, 상기 입력 비디오 x에서의 특정 높은 휘도값들은 클리핑되거나(clipped) 아니면 상기 출력 비디오 y₁에서 동일한 휘도값들로 표현된다. 이러한 클리핑은 상기 입력 비디오 x의 높은 톤들 또는 높은 휘도값들에 대한 포화를 야기한다. 예를 들면, 최대 휘도값 I_max에 가까운 상기 입력 비디오 x에서의 특정 높은 휘도값들은 상기 출력 비디오 y₁에서 상기 타겟 디스플레이의 최대 휘도값 N을 갖는 것으로 표현된다.

도 3b에서, 상기 하이 톤 매핑(305)은 I_max의 최대 휘도값을 갖는 상기 입력 비디오 x에 대한 휘도값들과 N의 최대 휘도값을 갖는 타겟 디스플레이 상에 표시하고자 하는 상기 출력 비디오 y₂에 대한 휘도값들 사이의 관계를 보여준다. 이러한 하이 톤 매핑(305)에 대해 도시한 바와 같이, 상기 입력 비디오 x에서의 휘도값들 중 아무것도 클리핑되지 않는다. 상기 입력 비디오 x에서의 휘도값들은 스케일링되거나(scaled) 아니면 상기 출력 비디오 y₂에서의 휘도값으로 매핑된다. 이와 같이 클리핑이 없음으로 인해 상기 입력 비디오 x의 높은 톤들 또는 높은 휘도값들에 대한 포화가 없으며, 이는 더 대조적인 세부사항 또는 전반적으로 더 어두운 시각적 묘사라는 결과를 가져온다.

점선으로 표시된 선형 매핑 함수(330)는 0과 I_max 사이에 있는 상기 입력 비디오 x에서의 휘도값들을 0과 N 사이의 범위에 있는 상기 출력 비디오(y₁ 또는 y₂)에서의 휘도값들로 스케일링한다. 이러한 선형 매핑 함수는 다양한 톤 매핑 함수들의 효과를 비교하기 위한 기초를 제공한다. I_P와 I_max 사이에 있는 적어도 일부의 입력 휘도값들에 대해 도 3a 및 도 3b에 도시한 상기 톤 매핑들(300 및 305)을 비교하면, 상기 로우 톤 매핑(300)은 상기 하이 톤 매핑(305)이 상기 출력(y₂)을 매핑하는 것보다 상기 선형 매핑 함수 위로 더 높은 휘도값들로 상기 출력 비디오(y₁)를 매핑한다.

본 개시의 하나 이상의 예시적 실시예들에서는 하이라이트 톤들을 압축함으로써 로우 톤 매핑이 섀도우 톤들을 확장한다는 것과, 보다 낮은 톤들(예들 들면, 미드톤들 및 섀도우 톤들)을 압축함으로써 하이라이트 톤들에 대한 보다 많은 헤드룸을 제공할 수 있다는 것을 인식하고 있다. 믹싱에 의해, 중간 톤 매핑이 동적으로 성취될 수 있다. 톤 매핑들의 믹싱의 양은 적어도 부분적으로 장면의 특정 톤 구역의 척도에 달려 있다.

도 4는, 본 개시에 따른, 메타데이터 파일을 이용하는 예시적 장면 분포점 기반 적응형 톤 매핑 블록(400)을 도시한다.

복수의 톤 매핑 블록들(200 및 400)이 본 명세서에서 설명되고 있지만, 하나의 톤 매핑 블록의 특징들이 다른 톤 매핑 블록에서 이용될 수 있음을 유의하라. 상기 톤 매핑 블록(400)은 도 2에 도시한 상기 톤 매핑 블록(200)의 구성요소들을 포함할 수 있으며 동일 또는 유사한 방식으로 작동될 수 있다. 예를 들면, 상기 톤 매핑 블록(400)은 상기 마스터링된 비디오 f_M을 입력(230)으로서 수신할 수 있고, 상기 톤 매핑 블록(200) 중, 상기 척도 S_K(245)를 출력하는 상기 장면 하이라이트 영역 검출기(215), 상기 믹싱비(250)을 출력하는 상기 믹싱비 블록(220), 상기 장면 p-백분위점(270)(I_P)을 출력하는 상기 장면 p-백분위점 계산기(265), 및 상기 믹서(225)를 포함할 수 있다. 설명의 단순성을 위해, 상기 특징들(215, 220, 225, 230, 245, 265, 및 270)에 대하여는 도 4와 관련하여 중복 설명되지 않을 것이다.

상기 톤 매핑 블록(400)은, 도 2를 참조하여 설명한 바와 같이, 두 가지 이상의 톤 매핑들의 믹스를 비디오 파일에 적용한다. 상기 톤 매핑 블록(400)은 제1 톤 매핑 함수 블록(405) 및 제2 톤 매핑 함수 블록(410)을 포함하는 복수의 톤 매핑 함수 블록들을 포함한다. 상기 제1 및 제2 톤 매핑 함수 블록들은 로우 톤 매핑 함수 블록(405) 및 하이 톤 매핑 함수 블록(410)을 포함한다. 각각의 톤 매핑 함수 블록(405 및 410)은 마스터링된 비디오 f_M을 입력(230)(x)으로서 수신한다. 또한, 각각의 톤 매핑 함수 블록(405 및 410)은 메타데이터(460)(SMF)를 입력으로서 수신한다. 상기 메타데이터(460)는 상기 마스터링된 비디오 파일(230)의 상기 p-백분위점(I_P)를 포함한다. 상기 메타데이터(460)는 또한, 마스터링 프로세스의 상기 메타데이터 추출 모듈(130)로부터 출력되는 M 값, MaxCLL 값, 또는 MaxFALL 값과 같은, 추출된 메타데이터를 포함한다. 각각의 톤 매핑 함수 블록(405 및 410)은, 도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f를 참조하여 하기에서 보다 구체적으로 설명하는 바와 같이, 상기 메타데이터(460) 내의 SMF에 기반하여 그것의 톤 매핑 함수를, 예를 들면, 조정하여, 더 구성할 수 있다. 각각의 톤 매핑 함수 블록(405 및 410)은, 상기 메타데이터(460) 내의 상기 I_P 및 상기 수신된 SMF에 기반하여 구성된 톤 매핑 함수를 상기 입력(230)의 상기 마스터링된 비디오 f_M에 적용함으로써, 후보 톤 매핑된 비디오를 출력들(435 및 440)로서 생성한다.

상기 믹서 블록(225)은 상기 복수의 톤 매핑 함수 블록들(405 및 410)로부터 상기 믹싱비(250)(r) 및 상기 후보 톤 매핑된 비디오들 y₁ 및 y₂를 입력들로서 수신한다. 상기 믹서 블록(225)은 상기 믹싱비(250)에 따라 상기 출력들(435 및 440)(y₁ 및 y₂)을 믹싱하여 상기 톤 매핑된 비디오(455)(f_M ^N)를 출력(y)으로서 생성한다. 상기 믹서 블록(225)은 상기 톤 매핑된 비디오(455)를 생성하기 위해 식 10을 적용한다.

(10)

도 4는 하나의 예시적 톤 매핑 블록(400)을 도시하고 있지만, 도 4에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 상기 믹서 블록(225)은, 후보 톤 매핑된 비디오들을 믹싱하는 것이 아니라, 상기 복수의 톤 매핑 함수 블록들의 상기 출력들 중 하나의 후보 톤 매핑된 비디오를 선택함으로써 상기 톤 매핑된 비디오(455)를 생성하도록 구성될 수 있다. 도 2에 도시한 예에서, 상기 믹서 블록(225)은 상기 두 개의 출력들(435 및 440) 중 하나를 선택하여 상기 톤 매핑된 비디오(455)(f_M ^N)로서 출력되도록 할 것이다.

도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f는, 본 개시의 하나 이상의 실시예들에서 톤 매핑에 이용될 수 있는, 메타데이터 및 분포점("p-백분위점")에 기반하여 구성되는 톤 매핑들의 예들을 도시한다. 도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f는 I_P와 함께, 수신된 SMF 메타데이터(예를 들면, M, MaxCLL, MaxFALL)와 같은, 다른 메타데이터에 기반하여 구성되는 톤 매핑들(500, 505, 510, 515, 520, 및 525)의 예들을 보여준다. 도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f에 도시한 톤 매핑들(500, 505, 510, 515, 520, 및 525)의 예들은 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.

도 5a, 도 5c, 및 도 5e 각각에 있어서, 상기 로우 톤 매핑은 I_max의 최대 휘도값을 갖는 상기 입력 비디오 x에 대한 휘도값들과 N의 최대 휘도값을 갖는 타겟 디스플레이 상에 표시하고자 하는 상기 출력 비디오 y₁에 대한 휘도값들 사이의 관계를 보여준다. 도 5b, 도 5d, 및 도 5f 각각에 있어서, 상기 하이 톤 매핑(305)은 I_max의 최대 휘도값을 갖는 상기 입력 비디오 x에 대한 휘도값들과 N의 최대 휘도값을 갖는 타겟 디스플레이 상에 표시하고자 하는 상기 출력 비디오 y₂에 대한 휘도값들 사이의 관계를 보여준다.

도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f에서, 상기 톤 매핑들(500, 505, 510, 515, 520, 및 525)은 제1 톤 매핑 부분(545)를 포함한다. 상기 제1 톤 매핑 부분(545)은, 0 내지 I_P의 범위 내에 있는, 상기 입력 비디오 x에 대한 휘도값들이 I_P의 미리 결정된 함수, 즉, g(I_P)에 따라 출력 비디오(y₁ 및 y₂)에 대한 휘도값들로 매핑되는 것을 보여준다. 상기 미리 결정된 함수 g(I_P)는, 선형 함수와 같이, 어떤 적절한 함수든지 될 수 있다.

도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f에서, 상기 제1 톤 매핑 부분 외의, 상기 톤 매핑들(500, 505, 510, 515, 520, 및 525)의 나머지 부분은, I_P 내지 다른 상응하는 메타데이터(예를 들면, M, MaxCLL, 및 M_C)의 휘도값의 범위 내에 있는, 상기 입력 비디오 x에 대한 휘도값들이, 톤 매핑의 구성에 대한 기초로서 역할을 하는 상기 다른 상응하는 메타데이터(예를 들면, M, MaxCLL, 및 M_C)에 따라 상기 출력 비디오(y₁ 또는 y₂)에서의 휘도값들로 매핑되는 것을 보여준다. 예를 들면, 도 5a 및 도 5b는 톤 매핑들(500 및 505)의 나머지 부분이 M 메타데이터에 기반하여 구성되는 것을 보여준다. 도 5c 및 도 5d는 톤 매핑들(510 및 515)의 나머지 부분이 MaxCLL 메타데이터에 기반하여 구성되는 것을 보여준다. 도 5e 및 도 5f는 톤 매핑들(520 및 525)의 나머지 부분이 M_C 메타데이터, 즉, 최대 콘텐츠 휘도 레벨(MaxCLL) 및 상기 마스터링 모니터의 최대 휘도 레벨(M)에서 선택되는 최소값과 같이, 메타데이터의 조합에 기반하여 구성되는 것을 보여준다. 상기 로우 및 하이 톤 매핑 함수 블록들(405 및 410)은, 상기 I_P 에 기반할 뿐 아니라, 상기 메타데이터 내의 다양한 수신된 SMF에 기반하여, 상기 톤 매핑들을 구성할 수 있고, 각각의 SMF 메타데이터는 상기 로우 및 하이 톤 매핑들에 상이한 영향을 미친다.

도 5a, 도 5b, 도 5c, 도 5d, 도 5e, 및 도 5f는, 도 3의 상기 선형 매핑 함수(330)와 유사한 방식으로 다양한 톤 매핑 함수들의 효과를 비교하기 위한 기초를 제공하는, 선형 매핑 함수들(530, 535, 및 540)을 더 포함한다. 상기 선형 매핑 함수들(530, 535, 및 540)은 0과 다른 상응하는 메타데이터(예를 들면, M, MaxCLL, 및 M_C) 사이에 있는 상기 입력 비디오 x의 휘도값들을 0과 N 사이의 범위에 있는 상기 출력 비디오(y₁ 또는 y₂)에서의 휘도값들로 스케일링한다.

도 6은, 본 개시에 따른, 저장된 p-백분위점을 이용하는 예시적 적응형 톤 매핑 블록(600)을 도시한다. 일 예로서, 도 1B의 상기 마스터링 프로세스(101)은 저장된 p-백분위점을 이용하는 상기 톤 매핑 블록(600)에 입력들을 제공한다.

본 명세서에서 복수의 톤 매핑 블록들(400 및 600)이 설명하고 있지만, 하나의 톤 매핑 블록의 특징들은 다른 톤 매핑 블록에서 이용될 수 있음을 유의하라. 상기 톤 매핑 블록(600)은 도 4에 도시한 상기 톤 매핑 블록(400)의 특징들을 포함할 수 있으며 동일 또는 유사한 방식으로 작동될 수 있다.

상기 톤 매핑 블록들(600 및 400)을 비교하면, 상기 톤 매핑 블록(600)은 장면 p-백분위점 계산기(265)를 포함하지 않는다. 따라서, 상기 톤 매핑 블록(600)에서, 상기 메타데이터(260)는, 상기 마스터링 프로세스(101)와 같은, 마스터링 프로세스 내에서 상기 p-백분위점 계산기(140)로부터 수신되는 장면 p-백분위점(165)(I_P)을 포함한다.

또한, 상기 톤 매핑 블록들(600 및 400)을 비교하면, 상기 톤 매핑 블록(600)은, 마스터링된 비디오(120)(f_M)를 입력으로서 수신하고, 프레임의 특정 톤 구역의 척도 R_K(645)를 생성하며, 상기 척도 R_K(645)를 상기 믹싱비 블록(620)에 출력하는, 프레임 하이라이트 영역 검출기(615)를 포함한다. 따라서, 상기 믹싱비 블록(620)은 프레임의 상기 척도 R_K(645)를 입력으로서 수신하고, 프레임의 상기 R_K(645)에 기반하여 상기 믹싱비(250)(r)를 생성한다. 상기 프레임 하이라이트 영역 검출기(615)는 상기 설명한 도 1A 및 도 1B의 톤 구역 영역 검출기(135)와 동일 또는 유사한 방식으로 작동할 수 있다. 상기 믹싱비 블록(620)은 상기 설명한 도 2의 믹싱비 블록(220)과 동일 또는 유사한 방식으로 작동할 수 있다. 상기 믹서 블록(225)은 도 2의 상기 믹서 블록(225) 유사한 방식으로 작동하여 출력(655)을 산출할 수 있다.

도 6은 저장된 p-백분위점을 이용하는 하나의 예시적 적응형 톤 매핑 블록(600)을 도시하고 있지만, 도 6에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 상기 프레임 하이라이트 영역 검출기(615)는 척도 S_K(245)를 생성 및 출력하는 장면 하이라이트 영역 검출기(215)를 대체할 수 있다. 또한, 상기 믹싱비 블록(620)은, 장면의 상기 척도 S_K(245)에 기반하여 상기 믹싱비(250)(r)를 산출하는, 믹싱비 블록(220)을 대체할 수 있다. 다른 예로서, 톤 구역 하이라이트 정보, 즉, 장면 하이라이트 영역 정보 S_K(245) 또는 프레임 하이라이트 영역 정보 R_K(645)는, 상기 믹싱비 블록이 이 정보를 상기 톤 매핑 블록(600) 내의 다른 구성요소(215 또는 615)로부터 수신하는 대신에, 상기 입력(230)의 상기 마스터링된 비디오 f_M에 링크된 파일로서 독출되거나 아니면 상기 마스터링 프로세스(101)로부터 수신될 수 있다.

도 7은, 본 개시에 따른, 저장된 p-백분위점(I_P) 및 메타데이터(SMF)를 이용하는 예시적 적응형 톤 매핑 블록(700)을 도시한다. 일 예로서, 도 1A의 상기 마스터링 시스템(100)은 저장된 p-백분위점 및 메타데이터(SMF)를 이용하는 상기 톤 매핑 블록(700)에 입력들을 제공한다.

본 명세서에서 복수의 톤 매핑 블록들(400 및 700)이 설명되고 있지만, 하나의 톤 매핑 블록의 특징들이 다른 톤 매핑 블록에서 이용될 수 있다. 상기 톤 매핑 블록(700)은 도 4에 도시한 상기 톤 매핑 블록(400)의 특징들(225, 230, 250, 405, 410, 435, 440, 및 460)을 포함할 수 있으며 동일 또는 유사한 방식으로 작동될 수 있다. 유사하게, 상기 톤 매핑 블록(700)은 도 6에 도시된 톤 매핑 블록(600)의 특징들(615, 620, 및 645)를 포함할 수 있으며 동일 또는 유사한 방식으로 작동될 수 있다.

상기 톤 매핑 블록들(700 및 400)을 비교하면, 상기 톤 매핑 블록(700)은 장면 p-백분위점 계산기(265)를 포함하지 않는다. 따라서, 상기 톤 매핑 블록(700)에서, 상기 메타데이터(260)는, 상기 마스터링 프로세스(101)와 같은, 마스터링 프로세스 내에서 상기 p-백분위점 계산기(140)로부터 수신되는 장면 p-백분위점(165)(I_P)을 포함한다.

상기 믹서 블록(225)은 도 2의 상기 믹서 블록(225)과 유사한 방식으로 작동하여 출력(755)을 생성할 수 있다.

도 7은 저장된 p-백분위점(I_P) 및 저장된 메타데이터(SMF)를 이용하는 하나의 예시적 적응형 톤 매핑 블록(700)을 도시하고 있지만, 도 7에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 다른 실시예들은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다.

도 8은, 본 개시에 따른, p-백분위점 적응형 톤 매핑을 구현하는 예시적 비디오 디스플레이(800)를 도시한다. 상기 비디오 디스플레이(800)는 도 1A의 상기 마스터링 시스템(100)으로부터 입력, 즉, 양자화된 마스터링된 비디오 파일(135)(Q_n(f_M))을 수신할 수 있다. 도 8에 도시한 상기 비디오 디스플레이(800)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.

상기 비디오 디스플레이(800)는 역양자화기 모듈(805)(Q_n ^-1), 도 2의 상기 톤 매핑 블록(200), 및 m-비트 디스플레이(820)를 포함한다. 일정 실시예들에서, 상기 비디오 디스플레이(800)는 또한, 상기 톤 매핑 블록(200)과 상기 m-비트 디스플레이(820) 둘 모두에 작동 가능하게 연결되는 것과 같이, 상기 톤 매핑 블록(200)과 상기 m-비트 디스플레이(820) 사이에 개재되어 결합되는 니트-비트(nit-to-bit: NTB) 변환기 모듈(815)을 포함한다. 상기 마스터링 시스템(100)의 상기 메타데이터 추출 모듈(130)은 상기 SMF 메타데이터(145)를 출력하지만, 상기 비디오 디스플레이(800)의 상기 톤 매핑 블록(200)은 아무런 SMF 메타데이터(145)도 수신하지 않는다. 설명의 단순화를 위해, 도 8과 이전 특징들 간에 공통되는 특징들은 도 8과 관련하여 중복 설명되지 않을 것이다.

상기 역양자화기 모듈(805)은 역양자화 함수를 상기 양자화된 마스터링된 비디오 파일(145)에 적용함으로써 마스터링된 비디오 파일(825)(x)을 생성할 수 있다. 상기 마스터링된 비디오 파일(825)(x)은 도 2의 입력(230)(x)의 상기 마스터링된 비디오 f_M과 동일 또는 유사할 수 있다.

상기 NTB(815) 는 상기 톤 매핑 블록(200)으로부터 니트 형식으로 톤 매핑된 비디오(830)(y)를 수신한다. 즉, 상기 톤 매핑된 비디오(830)(y)는 도 2의 상기 톤 매핑된 비디오(255)(f_M ^N)와 동일 또는 유사할 수 있다. 상기 NTB(815)는 상기 톤 매핑된 비디오(830)의 비디오 데이터에 니트-비트 변환 함수를 적용하여 상기 톤 매핑된 비디오(830)를 m-비트 형식(835)으로 변환한다.

상기 m-비트 디스플레이(820)는 N니트의 최대 휘도 레벨을 가진다(최대 N-니트(Max N-nit)로 표시함). 예를 들면, 상기 m-비트 디스플레이(820)는, M값, 즉, 상기 마스터링 모니터(140)의 최대 휘도 레벨 대비, 상이한 최대 휘도 레벨을 갖는 타겟 디스플레이를 나타낸다.

도 8은 하나의 예시적 비디오 디스플레이 시스템(800)을 도시하고 있지만, 도 8에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 도 9에 나타낸 바와 같은 다른 실시예들에서, 비디오 디스플레이(900)는, 상기 마스터링 시스템(100)으로부터 상기 SMF 메타데이터(145)를 입력(예를 들면, 메타데이터(460))으로서 수신할 수 있는, 상기 톤 매핑 블록(400)을 포함할 수 있고, 따라서, 상기 비디오 디스플레이(900)는 상기 수신된 SMF 메타데이터(145) 및 상기 I_P 둘 모두에 기반하여 톤 매핑 함수들을 구성할 수 있다.

도 9는, 본 개시에 따른, p-백분위점 적응형 톤 매핑을 구현하고 메타데이터를 이용하는 예시적 비디오 디스플레이(900)를 도시한다. 도 9에 도시한 상기 비디오 디스플레이(900)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.

상기 비디오 디스플레이(900)는 상기 역양자화기 모듈(805)(Q_n ^-1), 도 4의 톤 매핑 블록(400), 및 m-비트 디스플레이(820)를 포함한다. 일정 실시예들에서, 상기 비디오 디스플레이(900)는 또한, 상기 톤 매핑 블록(400)과 상기 m-비트 디스플레이(820) 둘 모두에 작동 가능하게 연결되는 것과 같이, 상기 톤 매핑 블록(400)과 상기 m-비트 디스플레이(820) 사이에 개재되어 결합되는 니트-비트(NTB) 변환기 모듈(815)을 포함한다. 설명의 단순화를 위해, 도 9와 이전 특징들 간에 공통되는 특징들은 도 9와 관련하여 중복 설명되지 않을 것이다.

도 10은, 본 개시에 따른, 적응형 톤 매핑을 구현하고 장면 p-백분위점을 메타데이터로서 이용하는 예시적 비디오 디스플레이(1000)를 도시한다. 도 10에 도시한 상기 비디오 디스플레이(1000)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.

상기 비디오 디스플레이(1000)는 상기 역양자화기 모듈(805)(Q_n ^-1), 도 6의 톤 매핑 블록(600), 및 m-비트 디스플레이(820)를 포함한다. 일정 실시예들에서, 상기 비디오 디스플레이(1000)는 또한, 상기 톤 매핑 블록(600)과 상기 m-비트 디스플레이(820) 둘 모두에 작동 가능하게 연결되는 것과 같이, 상기 톤 매핑 블록(600)과 상기 m-비트 디스플레이(820) 사이에 개재되어 결합되는 니트-비트(NTB) 변환기 모듈(815)을 포함한다. 설명의 단순화를 위해, 도 10과 이전 특징들 간에 공통되는 특징들은 도 10과 관련하여 중복 설명되지 않을 것이다.

도 11은, 본 개시에 따른, 적응형 톤 매핑을 구현하고 저장된 p-백분위점 및 메타데이터를 이용하는 예시적 비디오 디스플레이(1100)를 도시한다. 도 11에 도시한 상기 비디오 디스플레이(1100)의 실시예는 단지 예시를 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.

상기 비디오 디스플레이(1100)는 상기 역양자화기 모듈(805)(Q_n ^-1), 도 7의 톤 매핑 블록(700), 및 m-비트 디스플레이(820)를 포함한다. 일정 실시예들에서, 상기 비디오 디스플레이(1100)는 또한, 상기 톤 매핑 블록(700)과 상기 m-비트 디스플레이(820) 둘 모두에 작동 가능하게 연결되는 것과 같이, 상기 톤 매핑 블록(700)과 상기 m-비트 디스플레이(820) 사이에 개재되어 결합되는 니트-비트(NTB) 변환기 모듈(815)을 포함한다. 설명의 단순화를 위해, 도 11과 이전 특징들 간에 공통되는 특징들은 도 11과 관련하여 중복 설명되지 않을 것이다.

도 12는 본 개시의 다양한 실시예들이 구현될 수 있는 예시적 컴퓨팅 시스템(1200)을 도시한다. 도 12에 도시한 상기 컴퓨팅 시스템(1200)의 실시예는 단지 예시를 위한 것이다. 상기 컴퓨팅 시스템(1200)의 다른 실시예들이 본 개시의 범위를 벗어나지 않고 이용될 수 있다.

도 12에 도시한 바와 같이, 상기 시스템(1200) 은, 하나 이상의 통신 채널들 상에서 상기 시스템(1200) 의 다양한 구성요소들 간의 통신을 용이하게 하는, 네트워크(1202)를 포함한다. 상기 네트워크(1202)는 네트워크 주소들 간에 인터넷 프로토콜(Internet Protocol: IP) 패킷들, 프레임 릴레이 프레임들(frame relay frames), 또는 기타 정보를 통신할 수 있다. 상기 네트워크(1202)는 하나 이상의 로컬 영역 네트워크들(local area networks: LANs): 대도시 영역 네트워크들(metropolitan area networks: MANs); 광역 네트워크들(wide area networks: WANs); 인터넷과 같은 글로벌 네트워크의 전체 또는 일부; 또는 하나 이상의 장소들에서의 기타 어떠한 통신 시스템 또는 시스템들을 포함할 수 있다.

다양한 실시예들에서, 상기 네트워크(1202)는, 비디오 데이터(예를 들면, 메타데이터 및 오디오 콘텐츠를 포함하는 비디오 파일들)를 클라이언트 장치들(1206 내지 1215)로 전달하기 위한, 방송 및 광대역 네트워크들 및 통신 채널들을 포함한다. 케이블 및 위성 통신 링크들과 같은, 상기 네트워크(1202)의 방송 요소들은 비디오 데이터의 방송을 상기 클라이언트 장치들(1206 내지 1215) 에 제공한다. 상기 네트워크(1202)의 방송 요소들, 인터넷, 무선, 유선, 및 광섬유 네트워크 링크들 및 장치들은 비디오 데이터의 스트리밍 및 다운로드를 제공한다.

상기 네트워크(1202)는 하나 이상의 서버들(1204)과 다양한 클라이언트 장치들(1206 내지 1215) 간의 통신을 용이하게 한다. 상기 서버들(1204) 각각은 하나 이상의 클라이언트 장치들에게 컴퓨팅 서비스를 제공할 수 있는 어떤 적절한 컴퓨팅 또는 처리 장치든지 포함한다. 상기 서버들(1204) 각각은, 예를 들면, 하나 이상의 처리 장치들, 명령어들 및 데이터를 저장하는 하나 이상의 메모리들, 및 상기 네트워크(1202)를 통한 통신을 용이하게 하는 하나 이상의 네트워크 인터페이스들을 포함할 수 있다. 예를 들면, 상기 서버들(1204) 중 하나 이상은, 하기에서 보다 상세히 논의되는 바와 같이, 비디오 마스터링을 위한 또는 분포점 기반 적응형 톤 매핑을 위한 처리 회로를 포함할 수 있다.

각각의 클라이언트 장치들(1206 내지 1215)은, 상기 네트워크(1202)를 통해 적어도 하나의 서버 또는 기타 컴퓨팅 장치(들)과 상호작용하는, 어떤 적절한 컴퓨팅 또는 처리 장치를 나타낸다. 하기에서 보다 상세히 논의되는 바와 같이, 상기 클라이언트 장치들(1206 내지 1215)은 비디오(예를 들면, 톤 매핑될 마스터링된 비디오 파일, 또는 표시될 톤 매핑된 비디오 파일)를 수신하며 분포점 기반 적응형 톤 매핑을 위한 처리 회로를 포함할 수 있다. 상기 클라이언트 장치들(1206 내지 1215)은 각각 톤 매핑된 비디오를 표시하기 위한 디스플레이 장치를 포함하거나 아니면 그러한 디스플레이 장치에 연결될 수 있다. 본 예에서, 상기 클라이언트 장치들(1206 내지 1215)은 컴퓨터(1206), 휴대 전화 또는 스마트폰(1208), 개인휴대 정보 단말기(personal digital assistant: PDA)(1210), 랩탑 컴퓨터(1212), 태플릿 컴퓨터(1214), 및 셋탑 박스 및/또는 텔레비전(1215)을 포함한다. 그러나, 다른 또는 추가적인 어떤 클라이언트 장치들이든지 상기 통신 시스템(1200) 에서 사용될 수 있다. 본 예에서, 일부 클라이언트 장치들(1208 내지 1214)은 상기 네트워크(1202)와 간접적으로 통신한다. 예를 들면, 상기 클라이언트 장치들(1208 내지 1210)은, 셀룰러 기지국들(base stations) 또는 e노드B들(eNodeBs)과 같은, 하나 이상의 기지국들(1216)을 통해 통신한다. 또한, 상기 클라이언트 장치들(1212 내지 1215)은, IEEE 802.11 무선 액세스 지점들과 같은, 하나 이상의 무선 액세스 지점들(1218)을 통해 통신한다. 이러한 것들은 단지 예시를 위한 것이며 각각의 클라이언트 장치는 어떤 적절한 중간 장치(들) 또는 네트워크(들)을 통해서든지 상기 네트워크(1202)와 직접적으로 또는 간접적으로 통신할 수 있음을 유의하라.

도 12는 통신 시스템(1200) 의 일 예를 도시하고 있지만, 도 12에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 상기 시스템(1200) 은 어떤 적절한 배치로 각각의 구성요소를 얼마든지 포함할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 매우 다양하게 구성되며, 도 12는 본 개시의 범위를 어떤 특정한 구성으로 제한하지 않는다. 도 12는 본 특허 문서에 개시된 다양한 특징들이 이용될 수 있는 하나의 동작 환경을 도시하고 있지만, 이러한 특징들은 다른 어떤 적절한 시스템에서든 이용될 수 있다. 예를 들면, 비디오는 컴퓨터 판독가능 매체(예를 들면, 블루레이 디스크들)를 통해, 상기 네트워크(1202)를 이용하지 않고, 사용자 장치들(예를 들면, 클라이언트 장치들(1206 내지 1215))에 제공될 수 있다.

도 13은 본 개시에 따른 예시적 비디오 처리 장치(1300)를 도시한다. 특히, 상기 비디오 처리 장치(1300)는, 본 개시의 하나 이상의 실시예들을 구현하기 위해, 도 12의 상기 서버(1204) 또는 상기 클라이언트 장치들(1206 내지 1215) 중 어떤 것에든 포함될 수 있는 예시적 구성요소들을 예시하고 있다.

도 13에 도시한 바와 같이, 상기 비디오 처리 장치(1300)는, 적어도 하나의 프로세서(1310), 적어도 하나의 저장 장치(1315), 적어도 하나의 통신 인터페이스(1320), 적어도 하나의 입/출력(input/output: I/O) 유닛(1325), 및 디스플레이(1340) 간의 통신을 지원하는, 버스 시스템(1305)을 포함한다.

상기 프로세서(1310)는 메모리(1330)에 로딩될 수 있는 명령어들을 실행한다. 상기 프로세서(1310)는 어떤 적절한 수(들) 및 유형(들)의 프로세서들 또는 기타 장치들을 어떤 적절한 배치로 포함할 수 있다. 상기 프로세서(1310)의 예시적 유형들에는 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 필드 프로그램가능 게이트 어레이, 애플리케이션 특정적 집적 회로, 및 개별 회로가 포함될 수 있다. 예를 들면, 상기 프로세서(1310)는, 하드웨어로 구현되는 상기 시스템들(300 내지 800) 중 어떤 것에 의해, 또는 상기 프로세서(1310)로 하여금 개시된 방법들을 수행하도록 하는 저장된 명령어들을 실행함으로써, 수행되는 톤 매핑 동작들을 구현할 수 있다.

상기 메모리(1330) 및 영구 저장소(1335)는, 정보(예를 들면, 비디오 데이터, 프로그램 코드, 및/또는 일시적 또는 영구적인 기타 적절한 정보)를 저장하고 상기 정보의 검색을 용이하게 할 수 있는 어떤 구조(들)을 나타내는, 저장 장치(1315)의 예들이다. 상기 메모리(1330)는 랜덤 액세스 메모리 또는 다른 어떤 적절한 휘발성 또는 비휘발성 저장 장치(들)을 나타낼 수 있다. 예를 들면, 상기 메모리(1330)는 톤 매핑 기법들을 구현하기 위한 명령어들을 포함할 수 있고, 및/또는 상기 서버(1204)로부터 수신되는 스트리밍되거나 또는 버퍼링되는 비디오 데이터를 저장할 수 있다. 상기 영구 저장소(1335)는, 읽기 전용 메모리, 하드 드라이브, 플래시 메모리, 또는 광디스크와 같이, 보다 장기적인 데이터의 저장을 지원하는 하나 이상의 구성요소들 또는 장치들을 포함할 수 있다. 예를 들면, 상기 영구 저장소(1335)는, 마스터링된 비디오 파일 및 상기 마스터링된 비디오 파일과 연관된 메타데이터와 같은, 비디오 데이터를 포함할 수 있다.

상기 통신 인터페이스(1320)는 다른 시스템들 또는 장치들과의 통신을 지원한다. 예를 들면, 상기 통신 인터페이스(1320)는, 상기 네트워크(1202)를 통한 통신을 용이하게 하는, 네트워크 인터페이스 카드, 케이블 모뎀, 방송 수신기, 또는 무선 송수신기를 포함할 수 있다. 상기 통신 인터페이스(1320)는 어떤 적절한 물리적 또는 무선 통신 링크(들)을 통한 통신을 지원할 수 있다.

상기 I/O 유닛(1325)은 데이터의 입력 및 출력을 할 수 있도록 한다. 예를 들면, 상기 I/O 유닛(1325)은 키보드, 마우스, 키패드, 터치스크린, 또는 기타 적절한 입력 장치를 통한 사용자 입력에 대한 연결을 제공한다. 상기 I/O 유닛(1325)은 또한 상기 디스플레이(1340), 프린터, 또는 기타 적절한 출력 장치로 출력을 전송할 수 있다.

상기 비디오 처리 장치(1300)는, 예를 들면, 상기 타겟 디스플레이들(705 및 805)과 같은, 디스플레이(1340)를 더 포함하거나 또는 상기 디스플레이(1340)에 연결될 수 있다. 하나의 예시적 실시예에서, 상기 비디오 처리 장치(1300)는 표시될 톤 매핑된 비디오를 위한 상기 디스플레이(1340)에 연결되는 셋탑 박스, 케이블 박스, 컴퓨터 등에 포함되는 비디오 처리 회로일 수 있다. 다른 예시적 실시예에서, 상기 비디오 처리 장치(1300)는 표시될 톤 매핑된 비디오를 위한 상기 디스플레이(1340)에 연결되는 셋탑 박스, 케이블 박스, 컴퓨터, 미디어 플레이어 등일 수 있다. 또 다른 예시적 실시예에서, 상기 비디오 처리 장치(1300)는 네트워크 연결을 통해 상기 타겟 디스플레이(1340)에 연결되는 서버일 수 있다. 다른 예시적 실시예에서, 상기 비디오 처리 장치(1300)는 톤 매핑된 비디오가 표시될 상기 디스플레이(1340) 뿐 아니라 톤 매핑을 수행하기 위한 비디오 처리 회로를 포함할 수 있다. 예를 들면, 상기 비디오 처리 장치(1300)는 텔레비전, 모니터, 휴대폰, 랩탑 컴퓨터, 태블릿 컴퓨터 등일 수 있다.

도 14는, 본 개시에 따른, p-백분위점에 기반하여 후보 톤 매핑 함수를 선택하는 예시적 적응형 톤 매핑 블록을 도시한다. 톤 매핑 블록(1400)은 하나 이상의 톤 매핑들 중에서 선택한 것을 비디오 파일에 적용하여 톤 매핑된 비디오 파일을 생성한다.

상기 톤 매핑 블록(1400)은 도 2의 상기 톤 매핑 블록에서의 일정 특징들(220, 235, 245, 및 250)을 포함한다. 상기 톤 매핑 블록(1400)은, 제1 톤 매핑 함수 블록(1405) 및 제2 톤 매핑 함수 블록(1410)을 포함하는, 복수의 톤 매핑 함수 블록들을 포함한다. 상기 제1 및 제2 톤 매핑 함수 블록들은 로우 톤 매핑 함수 블록(1405) 및 하이 톤 매핑 함수 블록(1410)을 포함한다. 상기 복수의 톤 매핑 함수 블록들은 j개의 로우 톤 매핑 함수 블록들(1405)(로우 톤 매핑 1, 로우 톤 매핑 2, ..., 로우 톤 매핑 j)을 포함할 수 있다. 상기 복수의 톤 매핑 함수 블록들은 j개의 하이 톤 매핑 함수 블록들(1410)(하이 톤 매핑 1, 하이 톤 매핑 2, ..., 하이 톤 매핑 j)을 포함할 수 있다.

각각의 톤 매핑 함수 블록(1405 및 1410)은 상기 마스터링된 비디오 f_M을 포함하는 입력(1430)(x)을 수신한다. 또한, 각각의 톤 매핑 함수 블록(1405 및 1410)은 메타데이터(1460)(SMF)를 입력으로서 수신한다. 상기 메타데이터(1460)는 마스터링된 비디오 파일(1430)의 p-백분위점(I_P)을 포함한다. 상기 메타데이터(1460)는 또한 마스터링 프로세스의 상기 메타데이터 추출 모듈(130)로부터 출력되는, M값, MaxCLL값, 또는 MaxFALL값과 같은, 추출된 메타데이터를 포함한다. 각각의 톤 매핑 함수 블록(1405 및 1410)은, 메타데이터(1460) 내에서 상기 I_P에 기반할 뿐 아니라 상기 수신된 SMF에도 기반하여, 그것의 톤 매핑 함수를, 예를 들면, 조정하여, 구성할 수 있다. 각각의 톤 매핑 함수 블록(1405 및 1410)은 상기 메타데이터(1460) 내의 상기 I_P 및 상기 수신된 SMF에 기반하여 구성된 상기 톤 매핑 함수를 상기 입력(1430)의 상기 마스터링된 비디오 f_M에 적용하여 후보 톤 매핑된 비디오를 출력들(1435 및 1440)로서 생성한다. 보다 구체적으로, 인덱스 1, 2, ..., j를 갖는 로우 톤 매핑 블록들(1405)은, 인덱싱된 후보 톤 매핑된 비디오들 y_L1, y_L2, ..., y_Lj을 포함하는, 상기 출력(1435)을 생성한다. 인덱스 1, 2, ..., j를 갖는 하이 톤 매핑 블록들(1410)은, 인덱싱된 후보 톤 매핑된 비디오들 y_H1, y_H2, ..., y_Hj을 포함하는, 상기 출력(1440)을 생성한다.

제1 및 제2 멀티플렉서들(1480 및 1485)(함께 선택기(selector)라고 칭함)은 상기 복수의 톤 매핑 블록들(1405 및 1410)로부터 상기 출력들(1435 및 1440)을 수신한다. 상기 선택기는, 상기 마스터링된 비디오 파일(1430)의 상기 p-백분위점(I_P)을 포함하여, 메타데이터(1460)(SMF)를 입력으로서 수신한다. 상기 선택기는 출력될 하나 이상의 후보 톤 매핑된 비디오들을 선택한다. 예를 들면, 상기 제1 멀티플렉서(1480)는 상기 인덱싱된 후보 톤 매핑된 비디오들 y_L1, y_L2, ..., y_Lj 중 하나를 출력(1490)(y₁)으로서 출력하고; 상기 제2 멀티플렉서(1485)는 상기 인덱싱된 후보 톤 매핑된 비디오들 y_H1, y_H2, ..., y_Hj 중 하나를 출력(1495)(y₂) 으로서 출력하며; 도 2의 상기 믹서(235)는 식 1을 이용하여 상기 출력들(1490 및 1495)을 믹싱함으로써 톤 매핑된 비디오(1455)(f_M ^N)를 생성한다. 일정 실시예들에서, 상기 선택기는, 상기 믹서를 우회하여 상기 출력들(1490 및 1495) 중 하나가 상기 톤 매핑된 비디오(1455)가 되도록 선택함으로써, 상기 톤 매핑된 비디오(1455)(f_M ^N)를 생성한다.

도 14는 하나의 예시적 톤 매핑 블록(1400)을 도시하고 있지만, 도 14에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 다른 실시예들은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 다른 예로서, 단일 톤 매핑 함수(톤 곡선(tone curve)이라고도 칭함)가 이용될 수 있다. 콘텐츠 적응형 톤 매핑을 성취하기 위해 복수의 톤 매핑 함수들을 믹싱하는 대신, 상기 톤 매핑 블록(1400)은, 메타데이터로부터 결정된 p-백분위점에 기반하여 또는 비디오를 처리하여, 상기 단일 톤 매핑 함수를 조정한다. 예를 들면, 상기 단일 톤 매핑 함수는 p-백분위점에 의해 파라미터화될(parameterized) 수 있다. 상기 파라미터화는 상기 톤 곡선의 일부를 스케일링하고 이동함(shifting)에 있어서 발현될 수 있다. 하나의 특정 실시예에서, 상기 p-백분위점은 베지에 곡선(Bezier curve)의 하나 이상의 파라미터들을 조정하는 데 이용될 수 있다.

복수의 톤 매핑 함수들(예를 들면, 도 2의 상기 톤 매핑 함수 블록들(205, 210))을 갖는 상황에서 여러 가지 예들이 상기에서 설명되었지만, 대안적인 실시예들은 단일 톤 매핑 함수 블록을 포함할 수 있음을 이해할 것이다. 예를 들면, 도 2와 관련하여, 블록들(210, 215, 220, 225)이 생략될 수 있고, 상기 톤 매핑 함수 블록(205)의 출력이 톤 매핑된 비디오로서의 역할을 할 수 있다. 또한, 상기 톤 매핑 함수 블록(260)은, 단일 톤 매핑 함수 실시예들에서든 아니면 복수의 톤 매핑 함수 실시예들에서든, 파라미터로서의 p-백분위점에 의존하는 파라미터화된 관계(예를 들면, 수학식 또는 룩업 테이블(lookup table))로서 구현될 수 있다. 예시적 실시예에서, 톤 매핑 함수 블록은, 적어도 하나의 파라미터가 p-백분위점에 적어도 부분적으로 의존하는, 정규화된 파라미터화된 베지에 함수(normalized parameterized Bezier function)에 상응할 수 있다.

도 15는 본 개시에 따른 톤 매핑 방법(1500)을 도시한다. 상기 톤 매핑 방법은, 적어도 하나의 프로세서(도 15와 관련하여 "프로세서(processor)"라 칭함)를 각각 포함하는 상기 톤 매핑 블록들(200, 400, 600, 700, 1400) 중 하나 이상과 같은, 톤 매핑 블록에 의해 구현될 수 있다.

블록(1505)에서, 상기 프로세서는 비디오 데이터 내 휘도값들의 분포의 척도에 기반하여 톤 매핑 함수를 구성한다. 예를 들면, 도 2에 나타낸 바와 같이, 톤 매핑 함수 블록들(205 및 210) 각각은, 상기 메타데이터(260)로서 수신된 p-백분위점(I_P)에 기반하여, 그것의 톤 매핑 함수를 구성한다. 일정 실시예들에서, 적어도 하나의 톤 매핑 함수를 구성하기 위해, 상기 프로세서는, 블록(1510)에 나타낸 바와 같이, 비디오 데이터에 링크된 메타데이터에 기반하여 상기 적어도 하나의 톤 매핑 함수를 구성한다. 예를 들면, 상기 메타데이터(260)는 상기 마스터링 시스템(100) 내의 p-백분위점 계산기(140)로부터 수신되는 장면 p-백분위점(165)(I_P)을 포함할 수 있다.

블록(1515)에서, 상기 프로세서는 상기 비디오 데이터 내 휘도값들의 분포의 척도(I_P)를 결정한다. 일정 실시예들에서, 이 결정을 하기 위해, 상기 프로세서는, 블록(1520)에 나타낸 바와 같이, 상기 비디오 데이터 내 휘도값들의 분포의 척도를 계산한다. 예를 들면, 상기 프로세서는, 도 2의 상기 장면 p-백분위점(270)과 같은, p-백분위점 계산기를 포함할 수 있다. 일정 실시예들에서, 이 결정을 하기 위해, 상기 프로세서는, 블록(1525)에 나타낸 바와 같이, 상기 비디오 데이터 내 휘도값들의 분포의 척도를 얻기 위해 상기 비디오 데이터에 링크된 메타데이터를 액세스한다. 예를 들면, 상기 프로세서는, 도 4에 도시한 바와 같이, 상기 p-백분위점(I_P)을 포함하는 상기 메타데이터(460)를 수신할 수 있다.

상기 방법(1500)의 일정 실시예들에서, 상기 비디오 데이터에 적용되는 상기 구성된 적어도 하나의 톤 매핑 함수는 적어도 두 개의 톤 매핑 함수들을 포함한다. 그러한 실시예들에서, 상기 방법(1500)은, 상기 프로세서가 미리 결정된 범위 내의 휘도값들을 갖는 상기 비디오 데이터의 양에 기반하여 믹싱비를 결정하는, 블록(1530)을 더 포함할 수 있다. 예를 들면, 상기 톤 매핑 블록은, 도 2에 도시한 바와 같이, 믹싱비 블록(220)을 포함할 수 있다.

블록(1535)에서, 상기 비디오 데이터의 최대 휘도 레벨이 톤 매핑 기준(criterion)을 만족한다는 결정에 응답하여, 상기 프로세서는 톤 매핑된 비디오를 생성하도록 선택하고 톤 매핑된 비디오의 생성을 시작한다. 예를 들면, 본 개시의 실시예들은, 상기 마스터링된 비디오 파일(230)과 같은, 마스터링된 비디오 파일을 수신할 때마다 톤 매핑된 비디오를 항상 생성하는 것으로 제한되는 것이 아니라, 톤 매핑 기준에 기반하여 톤 매핑된 비디오를 생성하도록 선택할 수 있다. 톤 매핑 기준을 만족하는 예로는 입력 비디오 x가 타겟 디스플레이의 최대 휘도값 N을 초과하는 최대 휘도값 I_max를 가지는 경우가 있다.

블록(1540)에서, 상기 프로세서는 상기 구성된 적어도 하나의 톤 매핑 함수를 상기 비디오 데이터에 적용함으로써 톤 매핑된 비디오를 생성한다. 예를 들면, 상기 프로세서는, 도 14에 도시한 바와 같이, 상기 믹서를 우회하여 상기 출력들(1490 및 1495) 중 하나가 상기 톤 매핑된 비디오(1455)가 되도록 선택함으로써, 상기 톤 매핑된 비디오(1455)(f_M ^N)를 생성할 수 있다. 상기 비디오 데이터에 적용되는 상기 구성된 적어도 하나의 톤 매핑 함수가 적어도 두 개의 톤 매핑 함수들을 포함하는 경우, 상기 프로세서는, 블록(1545)에 나타낸 바와 같이, 믹싱비에 따라 상기 적어도 두 개의 톤 매핑 함수들의 출력들을 믹싱함으로써 톤 매핑된 비디오를 생성할 수 있다. 예를 들면, 상기 프로세서는 도 2의 상기 믹서(235)를 포함할 수 있다.

도 15는 하나의 예시적 톤 매핑 방법(1500)을 도시하고 있지만, 도 15에 대해 다양한 변경이 이루어질 수 있다. 예를 들면, 일련의 단계들로서 도시했지만, 도 15에서의 다양한 단계들이 중복될(overlap) 수 있거나, 병행하여 발생할 수 있거나, 상이한 순서로 발생할 수 있거나, 또는 몇 번이든 발생할 수 있다.

본 출원서에서의 설명 중 어떤 것도 어떤 특정 요소, 단계, 또는 기능이 청구 범위에 포함되어야 하는 필수 요소임을 암시하는 것으로 읽혀서는 안 된다.

Claims

톤 매핑 방법에 있어서,
적어도 하나의 프로세서가 비디오 데이터 내의 휘도값들(luminance values)의 분포의 척도(measure)에 기반하여 적어도 하나의 톤 매핑(tone mapping) 함수를 구성하는 단계에 있어서, 상기 척도는 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건(threshold condition)을 만족시키는 휘도값들을 갖게 되는 휘도 레벨을 나타내고,
상기 구성된 적어도 하나의 톤 매핑 함수는, 휘도 범위에 포함된 휘도값들에 대하여 적용되는 제1 톤 매핑 함수를 포함하고, 상기 휘도 범위는 상기 비디오 데이터 내의 휘도값들의 분포 중 상기 척도에 대응하는 휘도값보다 크거나 같고 최대 휘도값 미만인 휘도값들을 나타내고,
상기 구성된 적어도 하나의 톤 매핑 함수는, 상기 휘도 범위에 포함되지 않는 휘도값들에 대하여 적용되는 미리 결정된 함수를 더 포함하고,
상기 미리 결정된 함수는 상기 제1 톤 매핑 함수와 상이한 것인, 단계; 및
상기 휘도 범위에 포함된 비디오 데이터의 휘도값에 대하여 상기 제1 톤 매핑 함수를 적용하고, 상기 휘도 범위에 포함되지 않는 비디오 데이터에 대하여 상기 미리 결정된 함수를 적용함으로써 톤 매핑된(tone mapped) 비디오를 생성하는 단계를 포함하는, 톤 매핑 방법.
제1 항에 있어서,
상기 비디오 데이터의 최대 휘도 레벨이 톤 매핑 기준(criterion)을 만족한다는 결정에 응답하여, 상기 톤 매핑된 비디오를 생성하도록 선택하고 상기 톤 매핑된 비디오의 생성을 시작하는 단계를 더 포함하는, 톤 매핑 방법.
제1 항에 있어서,
상기 적어도 하나의 톤 매핑 함수는 적어도 두 개의 톤 매핑 함수들을 포함하고,
미리 결정된 범위에 포함된 휘도값들을 갖는 상기 비디오 데이터의 양에 기반하여 믹싱비(mixing ratio)를 결정하는 단계에 있어서, 상기 믹싱비는 상기 적어도 두 개의 톤 매핑 함수들의 출력들 각각의 비율(proportion)을 나타내는 것인, 단계; 및
상기 톤 매핑된 비디오를 생성하기 위해 상기 믹싱비에 따라 상기 적어도 두 개의 톤 매핑 함수들의 상기 출력들을 믹싱하는 단계를 더 포함하는, 톤 매핑 방법.
제1 항에 있어서,
상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도를 계산하는 단계를 더 포함하는, 톤 매핑 방법.
제1 항에 있어서,
상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도를 얻기 위해 상기 비디오 데이터에 링크된 메타데이터를 액세스하는 단계를 더 포함하는, 톤 매핑 방법.
제1 항에 있어서, 상기 적어도 하나의 톤 매핑 함수를 구성하는 단계는:
상기 비디오 데이터에 링크된 메타데이터에 기반하여 상기 적어도 하나의 톤 매핑 함수를 구성하는 단계에 있어서, 상기 메타데이터는 최대 프레임 평균 휘도 레벨 및 마스터링 디스플레이(mastering display)의 최대 강도(intensity) 중 적어도 하나를 포함하는 것인, 단계를 더 포함하는 것인, 톤 매핑 방법.
제1 항에 있어서, 상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도는 상기 비디오 데이터 내의 동일 장면(scene)의 프레임들의 그룹 내의 휘도값들의 분포의 척도를 포함하는 것인, 톤 매핑 방법.
톤 매핑 장치에 있어서,
비디오 데이터 내의 휘도값들의 분포의 척도에 기반하여 적어도 하나의 톤 매핑 함수를 구성하되, 상기 척도는 상기 비디오 데이터의 미리 결정된 백분율의 픽셀들이 문턱값 조건을 만족하는 휘도값들을 갖게 되는 휘도 레벨을 나타내고,
상기 구성된 적어도 하나의 톤 매핑 함수는, 휘도 범위에 포함된 휘도값들에 대하여 적용되는 제1 톤 매핑 함수를 포함하고, 상기 휘도 범위는 상기 비디오 데이터 내의 휘도값들의 분포 중 상기 척도에 대응하는 휘도값보다 크거나 같고 최대 휘도값 미만인 휘도값들을 나타내고,
상기 구성된 적어도 하나의 톤 매핑 함수는, 상기 휘도 범위에 포함되지 않는 휘도값들에 대하여 적용되는 미리 결정된 함수를 더 포함하고,
상기 미리 결정된 함수는 상기 제1 톤 매핑 함수와 상이하고,
상기 휘도 범위에 포함된 비디오 데이터의 휘도값에 대하여 상기 제1 톤 매핑 함수를 적용하고, 상기 휘도 범위에 포함되지 않는 비디오 데이터에 대하여 상기 미리 결정된 함수를 적용함으로써 톤 매핑된(tone mapped) 비디오를 생성하는 적어도 하나의 프로세서를 포함하는 톤 매핑 장치.
제8 항에 있어서, 상기 적어도 하나의 프로세서는, 상기 비디오 데이터의 최대 휘도 레벨이 톤 매핑 기준을 만족한다는 결정에 응답하여, 상기 톤 매핑된 비디오를 생성하도록 선택하고 상기 톤 매핑된 비디오의 생성을 시작하는, 톤 매핑 장치.
제8 항에 있어서,
상기 적어도 하나의 톤 매핑 함수는 적어도 두 개의 톤 매핑 함수들을 포함하고,
상기 적어도 하나의 프로세서는:
미리 결정된 범위에 포함된 휘도값들을 갖는 상기 비디오 데이터의 양에 기반하여 믹싱비를 결정함에 있어서, 상기 믹싱비는 상기 적어도 두 개의 톤 매핑 함수들의 출력들 각각의 비율을 나타내는 것인, 상기 믹싱비를 결정하고,
상기 톤 매핑된 비디오를 생성하기 위해 상기 믹싱비에 따라 상기 적어도 두 개의 톤 매핑 함수들의 상기 출력들을 믹싱하는, 톤 매핑 장치.
제8 항에 있어서, 상기 적어도 하나의 프로세서는 상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도를 계산하는, 톤 매핑 장치.
제8 항에 있어서, 상기 적어도 하나의 프로세서는 상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도를 얻기 위해 상기 비디오 데이터에 링크된 메타데이터를 액세스하는, 톤 매핑 장치.
제8 항에 있어서, 상기 비디오 데이터에 링크된 메타데이터에 기반하여 상기 적어도 하나의 톤 매핑 함수를 구성함에 있어, 상기 메타데이터는 최대 프레임 평균 휘도 레벨 또는 마스터링 디스플레이의 최대 강도 중 적어도 하나를 포함하고,
상기 적어도 하나의 프로세서는, 상기 메타데이터에 기반하여 상기 적어도 하나의 톤 매핑 함수를 구성하는, 톤 매핑 장치.
제8 항에 있어서, 상기 비디오 데이터 내의 휘도값들의 분포의 상기 척도는 상기 비디오 데이터 내의 동일 장면의 프레임들의 그룹 내의 휘도값들의 분포의 척도를 포함하는, 톤 매핑 장치.
컴퓨터 프로그램을 체현하는(embodying) 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램은 제1 항 내지 제 7 항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터 판독가능 프로그램 코드를 포함하는 것인, 컴퓨터 판독가능 매체.