KR102157032B1

KR102157032B1 - 고 동적 범위 비디오에 대한 디스플레이 관리

Info

Publication number: KR102157032B1
Application number: KR1020157022561A
Authority: KR
Inventors: 로빈 앳킨스; 티모 쿤켈; 새디어스 바이어; 타오 첸
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2013-02-21
Filing date: 2014-02-13
Publication date: 2020-09-18
Also published as: US10540920B2; US20160005349A1; WO2014130343A2; WO2014130343A3; BR112015020009A2; KR20150120993A; IN2015KN02510A; ES2708954T3; HK1211156A1; RU2647636C2; EP2959682A2; RU2015134416A; MX346011B; JP6367839B2; ZA201505647B; MX2015010845A; EP2959682B1; CN105009580A; CN105009580B; JP2016514395A

Abstract

디스플레이 관리 처리기는 기준 디스플레이와 상이한 동적 범위를 가지는 타겟 디스플레이 상에 디스플레이될 증진된 동적 범위를 갖는 입력 이미지를 수신한다. 입력 이미지는 지각적으로-정정된 IPT 컬러 공간으로 먼저 변환된다. 비-선형 매핑 함수는 입력 신호의 세기를 기준 동적 범위로부터 타겟 동적 범위로 매핑함으로써 제 1 톤-매핑된 신호를 생성한다. 제 1 톤-매핑된 신호의 세기(I) 구성요소는 디테일들을 보존하기 위해 샤픈(sharpen)되고, 컬러(P 및 T) 구성요소들의 채도는 제 2 톤-매핑된 출력 이미지를 생성하기 위해 조정된다. 색역 매핑 함수는 타겟 디스플레이 상에 디스플레이하기 위해 적합한 이미지를 생성하기 위해 제 2 톤-매핑된 출력 이미지에 적용된다. 디스플레이 관리 파이프라인은 구체적으로 정의된 디스플레이 모드들에 따라 디스플레이된 이미지의 세기 및 컬러 구성요소들을 조정하도록 또한 적응될 수 있다.

Description

고 동적 범위 비디오에 대한 디스플레이 관리{DISPLAY MANAGEMENT FOR HIGH DYNAMIC RANGE VIDEO}

관련 출원들에 대한 상호-참조

본 출원은, 둘 모두가 전체적으로 참조로서 본 명세서에 포함되는 2013년 2월 21일에 출원된 미국 가 출원 일련 번호 제 61/767,380 호, 및 2013년 4월 9일에 출원된 미국 가 출원 일련 번호 제 61/810,104 호에 대한 우선권을 주장한다.

본 발명은 일반적으로 이미지들에 관한 것이다. 특히, 본 발명의 일 실시예는 고 또는 증진된 동적 범위를 갖는 이미지들의 디스플레이 관리 처리에 관한 것이다.

본 명세서에서 이용된 바와 같이, 용어 '동적 범위(DR)'는 이미지에서의 세기(예로서, 휘도(luminance, luma))의 범위 예를 들면, 가장 어두운 어둠들(검은색들)로부터 가장 밝은 밝음들(흰색들)까지를 감지하기 위한 인간 싸이코비주얼 시스템(human psychovisual system; HVS)의 능력에 관한 것일 수 있다. 이 의미에서, DR은 '장면-참조(scene-referred)' 세기에 관한 것이다. DR은 또한, 특정한 폭의 세기 범위를 적절하게 또는 대략적으로 렌더링(rendering)하기 위한 디스플레이 디바이스의 능력에 관한 것이다. 이 의미에서, DR은 '디스플레이-참조' 세기에 관한 것이다. 특정한 의미가 본 명세서에서의 설명의 임의의 지점에서 특정한 중요성을 갖도록 명백하게 규정되지 않으면, 용어가 둘 중 하나의 의미로 예를 들면, 상호교환가능하게 이용될 수 있음이 추론되어야 한다.

본 명세서에서 이용된 바와 같이, 용어 고 동적 범위(HDR)는 인간 시각 시스템(HVS)의 14 내지 15의 상당한 자릿수(order of magnitude)들에 걸치는 DR 폭에 관한 것이다. 예를 들면, 본질적으로 정상인 잘 적응된 인간들(예로서, 통계적, 생체 인증 또는 안과학의 의미 중 하나 이상에서)은 약 15 자릿수들에 걸치는 세기 범위(intensity range)를 갖는다. 적응된 인간들은 단지 몇개의 광자들 만큼의 흐릿한 광원들을 감지할 수 있다. 여전히, 이들 동일한 인간들은 사막, 바다 또는 눈에서의 정오의 태양의 거의 극도로 눈부신 세기를 감지할 수 있다(또는 심지어 손상을 방지하기 위해 태양을 힐끗 그러나 잠시 볼 수 있다). 이 범위는 하지만 '적응된' 인간들 예를 들면, 재설정되고 조정될 시간 기간을 갖는 HVS를 소유하는 인간들에 이용가능하다.

반대로, DR을 통해서 인간이 세기 범위에서의 확장 폭을 동시에 감지할 수 있게 하는, DR은 HDR과 비교하여 다소 줄어들 수 있다. 본 명세서에서 이용된 바와 같이, 용어들 증진된 동적 범위(EDR) 또는 시각 동적 범위(VDR)는 HVS에 의해 동시에 감지가능한 DR에 개별적으로 또는 상호교환적으로 관련될 수 있다. 본 명세서에서 이용된 바와 같이, EDR은 5 내지 6 자릿수들에 걸친 DR에 관련될 수 있다. 따라서, 실제 장면 참조 HDR과 비교하여 아마도 다소 더 좁긴 하지만, 그럼에도 EDR은 그렇더라도 넓은 DR 폭을 표현한다.

실제로, 이미지들은 하나 이상의 컬러 구성요소들(예로서, 휘도(Y) 및 채도(Cb 및 Cr))을 포함하고, 각각의 컬러 구성요소는 픽셀 당 N-비트들(예로서, N=8)의 정밀도에 의해 표현된다. N≤8인 이미지들(예로서, 컬러 24-비트 JPEG 이미지들)은 표준 동적 범위의 이미지들로 고려되는 반면에, N>8인 이미지들은 증진된 동적 범위의 이미지들로 고려된다. EDR 및 HDR 이미지들은 인더스트리얼 라이트 앤 매직(Industrial Light and Magic)에 의해 개발된 OpenEXR 파일 포맷과 같은, 고-정밀도(예로서, 16-비트) 부동 소수점 포맷들을 이용하여 또한 저장되고 분포될 수 있다.

최근까지도, 디스플레이들은 HDR보다 상당히 좁은 DR을 가졌다. 전형적인 음극선관(CRT), 일정한 형광, 흰색 역광 또는 플라즈마 스크린 기술을 갖는 액정 디스플레이(LCD)를 이용하는 텔레비전(TV) 및 컴퓨터 모니터 장치는 대략 3 자릿수들로 그들의 DR 렌더링 능력이 제한될 수 있다. 이러한 종래의 디스플레이들은 따라서 HDR 또는 EDR과 비교하여, 표준 동적 범위로서 또한 언급되는, 저 동적 범위(LDR)를 정형화한다.

대부분의 소비자 데스크톱 디스플레이들은 200 내지 300 cd/m² 또는 nits의 휘도를 지원한다. 대부분의 HDTV들은 300 내지 1000 cd/m²의 범위에 있다. EDR 콘텐트의 이용가능성이 캡쳐 장비(예로서, 카메라) 및 EDR 디스플레이들(예로서, 돌비(Dolby)로부터의 PRM-4200 프로페셔널 레퍼런스 모니터) 둘 모두에서의 진보들로 인해 증가하기 때문에, EDR 콘텐트는 다양한 동적 범위들(예로서, 1,000 nits로부터 5,000 nits 또는 그 이상까지의)을 지원하는 EDR 디스플레이들 상에 컬러 그레이딩(color grading)될 수 있다. 유사하게, EDR 콘텐트는 원래 콘텐트를 컬러 그레이딩하기 위해 이용된 디스플레이와 상이한 동적 범위를 갖는 SDR 디스플레이들 및 EDR 디스플레이들 둘 모두 상에 디스플레이될 수 있다. 본 명세서에서 발명자들에 의해 이해된 바와 같이, HDR 디스플레이들 상의 EDR 이미지들의 디스플레이 관리를 위한 개선된 기술들은 하위 호환성(backward compatibility) 및 우수한 몰입 경험 둘 모두를 위해 바람직하다.

본 섹션에서 설명된 접근법들은 추구될 수 있는 접근법들이지만, 반드시 이전에 고안되었거나 추구된 접근법들은 아니다. 따라서, 다르게 표시되지 않는다면, 본 섹션에서 설명된 접근법들 중 임의의 접근법이 본 섹션으로의 그들의 포함으로 인해 단지 종래 기술로서의 자격을 갖춘다고 가정되어서는 안된다. 유사하게, 하나 이상의 접근법들에 관련하여 식별된 이슈들은 다르게 표시되지 않는다면, 본 섹션에 기초하여 임의의 종래 기술에서 인식되도록 가정하지 않아야 한다.

본 발명의 목적은 고(high) 또는 증진된 동적 범위를 갖는 이미지들의 디스플레이 관리 처리를 제공하는 것이다.

본 발명의 일 실시예는 첨부된 도면들의 피겨(figure)들에서, 예로서 도시되고, 제한에 의한 방식으로 도시되지 않으며, 유사한 참조 부호들은 유사한 요소들을 언급한다.
도 1a 내지 도 1c는 본 발명의 실시예들에 따른 EDR 이미지들의 디스플레이 관리를 위한 예시적인 처리들을 묘사한 도면들.
도 2는 본 발명의 일 실시예에 따른 입력 EDR 데이터를 입력 RGB 컬러 공간으로부터 IPT-PQ 공간으로 변환하기 위한 일 예시적인 처리를 묘사한 도면.
도 3은 본 발명의 일 실시예에 따른 EDR 이미지들에 대한 비-선형 동적 범위 매핑의 일례를 묘사한 도면.
도 4는 본 발명의 일 실시예에 따른 톤-매핑된 IPT-PQ 이미지에서의 P 및 T 컬러 구성요소들의 채도 조정을 위한 일 예시적인 처리를 묘사한 도면.
도 5는 본 발명의 가능한 실시예들에 따른 채도 재매핑에 대한 예시적인 매핑 함수들을 묘사한 도면.
도 6은 본 발명의 일 실시예에 따른 다중스케일 디테일(detail) 보존의 일 예시적인 구현을 묘사한 도면.

증진된 동적 범위(EDR)의 효율적인 디스플레이 관리(예로서, 톤 및 영역 매핑)가 본 명세서에서 설명된다. 다음 설명에서, 설명의 목적들을 위해, 많은 특정 상세들이 본 발명의 철저한 이해를 제공하기 위해 제시된다. 그러나, 본 발명이 이들 특정 상세들 없이 실행될 수 있음이 명백해질 것이다. 다른 인스턴스(instance)들에서, 잘 공지된 구조들 및 디바이스들은 본 발명을 불필요하게 막거나(occluding), 모호하게 하거나, 애매하게 하는 것을 회피하기 위해, 포괄적인 상세로 설명되지 않는다.

개요

본 명세서에서 설명된 예시적인 실시예들은 EDR 이미지들의 효율적인 디스플레이 관리에 관한 것이다. 디스플레이 관리 처리기는 기준 디스플레이와 상이한 동적 범위를 가지는 타겟 디스플레이 상에 디스플레이될 증진된 동적 범위를 갖는 입력 이미지를 수신한다. 입력 이미지는 입력 컬러 공간(예로서, RGB)으로부터 지각적으로-정정된 IPT 컬러 공간(IPT-PQ)으로 먼저 변환된다. 비-선형 매핑 함수는 기준 동적 범위로부터의 입력 신호의 세기를 타겟 동적 범위로 매핑함으로써 제 1 톤-매핑된 신호를 생성한다. 제 1 톤-매핑된 신호의 세기(I) 구성요소는 언샤프 마스킹(unsharp masking)을 이용하여 디테일들을 보존하기 위해 샤픈(sharpen)되고, 컬러(P 및 T) 구성요소들의 채도는 제 2 톤-매핑된 출력 이미지를 생성하기 위해 적절하게 조정된다. 색역(color gamut) 매핑 함수는 타겟 디스플레이 상에 디스플레이하기 위해 적합한 이미지를 생성하기 위해 제 2 톤-매핑된 출력 이미지에 적용될 수 있다. 디스플레이 관리 파이프라인은 구체적으로 정의된 디스플레이 모드들에 따라 디스플레이된 이미지의 세기 및 컬러 구성요소들을 조정하도록 또한 적응될 수 있다.

입력 이미지가, 채도 구성요소들이 휘도 해상도보다 낮은 공간 해상도에 있는 컬러 포맷으로 수신되는 경우들에서, 예시적인 실시예들에서, 디스플레이 관리 처리는 동시에 실행될 수 있는 2개의 경로들로 분할될 수 있다. 하나의 경로는 모든 컬러 구성요소들에 대해, 그러나 입력 이미지의 채도 구성요소들의 더 낮은 해상도에서 동작하는 반면에, 제 2 경로는 단지 휘도-관련 데이터에 대해, 그러나 휘도 구성요소의 원래 전(full) 해상도에서 동작한다.

예시적인 디스플레이 관리 처리 파이프라인

도 1a는 본 발명의 일 실시예에 따른 (HDR 이미지들로서 또한 언급된) EDR 이미지들의 디스플레이 관리를 위한 일 예시적인 처리를 묘사한다. 도 1a에 묘사된 바와 같이, 비디오 처리기(예로서, 셋-톱 박스, 이미지 디스플레이, 또는 다른 적합한 이미지 처리기)는 EDR 이미지(102) 및 선택적으로 연관된 메타데이터((104) 및 (106))를 수신한다. EDR 이미지(102)는 EDR 비디오 신호와 같은, 이미지들의 시퀀스의 프레임의 부분 또는 전 프레임을 포함할 수 있다. 본 명세서에서 이용된 바와 같이, 용어 "메타데이터"는 코딩된 비트스트림의 부분으로서 송신되고 디코더가 디코딩된 이미지를 렌더링하는 것을 보조하는 임의의 보조 정보에 관한 것이다. 이러한 메타데이터는 본 명세서에서 설명된 것들과 같은, 컬러 공간 또는 색역 정보, 기준 디스플레이 파라미터들, 및 보조 신호 파라미터들을 포함할 수 있지만, 이에 제한되지 않는다.

수신된 EDR 이미지(102)는 RGB 컬러 포맷일 수 있거나 YCbCr, XYZ, 등과 같은, 임의의 다른 컬러 공간에 있을 수 있다. 수신된 이미지는 타겟 디스플레이 모니터와 상이한 동적 범위 및 색역 특성들을 가질 수 있는 기준 EDR 모니터 상에서 컬러 그레이딩될 수 있다. 본 명세서에서 이용된 바와 같이, 용어 "컬러 그레이딩"은 컬러 아티팩트들을 정정하고/하거나 감독의 의도에 매칭(matching)시키기 위해 이미지 또는 비디오의 컬러를 조정하는 처리를 나타낸다.

EDR 입력(102)은 프로그램 생성 동안 이미지를 컬러 그레이딩하기 위해 이용된 디스플레이에 관련된 소스 디스플레이 메타데이터(104)를 또한 포함할 수 있다. 예를 들면, 이러한 메타데이터는 권고 ITU-R BT.1866(03/2011)에 의해 정의된 바와 같이 기준 전기-광학 전달 함수(EOTF)를 포함할 수 있다. EDR 입력은 소스 또는 기준 디스플레이의 최대 및 최소 밝기, 데이터의 최대, 최소, 및 평균 중간-톤, 및 컬러 그레이딩 동안의 주변 광의 세기와 같은, 부가적인 소스 디스플레이 및 콘텐트 메타데이터(106)를 또한 포함할 수 있다. 예를 들면, 기준 모니터에 대한 메타데이터는 생성 시에 이용된 다음 예시적인 파라미터들을 포함할 수 있다:

소스 모니터 최소 밝기, Smin=0.005 nits;

소스 모니터 최대 밝기, Smax=4000 nits;

주변 광, Samb=10 nits;

감마, Sgamma=2.4;

컬러 공간=DCI P3, 흰색 지점=D65;

기준 모니터에 대한 메타데이터는 전형적으로 단지 한번 송신될 필요가 있다; 그러나, 비디오 데이터에 대한 메타데이터는 프레임 당 단위로, 장면 당 단위로, 또는 변경이 존재할 때마다 송신될 수 있다. 소스 콘텐트에 관련된 어떠한 메타데이터도 존재하지 않으면, 일부 실시예들에서, 이러한 데이터는 소스 비디오 콘텐트를 분석함으로써 추출될 수 있다.

IPT-PQ 컬러 공간

바람직한 일 실시예에서, IPT-PQ 컬러 공간으로서 언급될 처리 파이프라인이 수행되지만; 유사한 처리 단계들이 RGB, YCbCr, XYZ, CIE-Lab, 등과 같은, 다른 컬러 공간들에서 수행될 수 있다. 본 명세서에 전체적으로 참조로서 통합되는, (에브너 논문으로서 언급될) 회의록 제 6 회 컬러 이미징 회의: 컬러 과학, 시스템들, 및 애플리케이션들, IS&T, 스코츠데일, 애리조나, 1998년 11월, 8 내지 13 페이지에서의 F. Ebner 및 M.D. Fairchild에 의한 "개선된 색상 균일성을 갖는 컬러 공간(ipt)의 개발 및 테스팅(Development and testing of a color space(ipt) with improved hue uniformity)"에서 설명된 바와 같은 IPT는 인간 시각 시스템에서의 콘(cone)들 사이의 색차의 모델이다. 이 의미에서, 그것은 YCbCr 또는 CIE-Lab 컬러 공간들과 같지만; 그것은 이들 공간들보다 인간 시각 처리를 더 양호하게 흉내내기 위해 일부 과학적 연구들에서 보여졌다. CIE-Lab과 같이, IPT는 일부 기준 휘도에 대해 정규화된 공간이다. 일 실시예에서, 정규화는 타겟 디스플레이의 최대 휘도에 기초한다.

본 명세서에서 이용된 바와 같은 용어 "PQ"는 지각적 양자화를 언급한다. 인간 시각 시스템은 매우 비-선형 방식으로 광 레벨들의 증가에 응답한다. 자극을 보는 인간의 능력은 그 자극의 휘도, 자극의 크기, 자극을 이루는 공간 주파수(들), 및 눈들이, 한 사람이 자극을 보고 있는 특정한 순간에 적응한 휘도 레벨에 의해 영향을 받는다. 바람직한 일 실시예에서, 지각적 양자화기 함수는 인간 시각 시스템에서 대비 민감도 임계치들에 더 양호하게 매칭하는 출력 그레이 레벨들에 선형 입력 그레이 레벨들을 매핑한다. PQ 매핑 함수들의 예들은, 본 명세서에 전체적으로 참조로서 통합되는 2012년 12월 6일에 출원된, J. S. Miller 등에 의한 발명의 명칭이 "상이한 디스플레이 능력들에 걸친 지각적 휘도 비선형성-기반 이미지 데이터 교환(Perceptual luminance nonlinearity-based image data exchange across different display capabilities)"인 ('212 출원으로서 언급될) 일련 번호 PCT/US2012/068212인 PCT 출원에 설명되고, 여기서 모든 휘도 레벨에 대한 고정된 자극 크기(즉, 자극 레벨)를 고려할 때, 그 휘도 레벨에서의 최소 가시 대비 스텝(step)은 가장 민감한 적응 레벨 및 가장 민감한 공간 주파수에 따라(HVS 모델들에 따라) 선택된다. 물리적 음극선관(CRT) 디바이스의 응답 곡선을 표현하고 동시에, 인간 시각 시스템이 응답하는 방식과 매우 개략적인 유사성을 가질 수 있는 전통적인 감마 곡선과 비교하여, '212 출원에 의해 결정된 바와 같은 PQ 곡선은 상대적으로 단순한 함수 모델을 이용하여 인간 시각 시스템의 실제 시각 응답을 모방한다.

표 1은 디지털 비디오 코드 값들을 디스플레이의 지점에서 절대 선형 휘도 레벨들로 변환하기 위한 지각적 곡선(EOTF)의 계산을 설명한다. 또한, 절대 선형 휘도를 디지털 코드 값들로 변환하기 위한 역 OETF 계산이 포함된다.

표 1

예시적인 방정식 정의들:

D=지각적 곡선 디지털 코드 값, SDI-합법 무부호 정수(legal unsigned integer), 10 또는 12 비트들

b=디지털 신호 표현에서의 구성요소 당 비트들의 수, 10 또는 12

V=정규화된 지각적 곡선 신호 값, 0≤V≤1

Y=정규화된 휘도 값, 0≤Y≤1

L=절대 휘도 값, 0≤L≤10,000 cd/m²

예시적인 EOTF 디코드 방정식들:

(t1)

예시적인 OETF 인코드 방정식들:

예시적인 상수들:

주의:

1. 연산자(INT)는 0의 범위에서의 소수부들에 대해 0의 값을 0.4999..로 리턴시키고 0.5의 범위에서의 소수부들에 대해 +1을 0.9999....로 리턴시킨다, 즉 그것은 0.5 이상의 분수들을 올림한다.

2. 모든 상수들은 컨선(concern)들을 라운딩하는 것을 회피하기 위해 12 비트 유리수들의 정확한 배수들로서 정의된다.

3. R, G, 또는 B 신호 구성요소들은 상기 설명된 Y 신호 구성요소와 동일한 방식으로 계산되어야 한다.

도 2는 본 발명의 일 실시예에 따른, 컬러 변환 단계(110)에 대한 일 예시적인 처리를 더 상세하게 묘사한다. 도 2에 묘사된 바와 같이, 제 1 컬러 공간(예로서, RGB)에 있는 입력 EDR 신호(102)를 고려할 때, 컬러 공간 변환 단계(110)는 그것을 지각적으로-정정된 IPT 컬러 공간(IPT-PQ)에서의 신호(112)로 변환시킨다. 이 컬러 변환은 다음 단계들을 포함할 수 있다:

a) (단계(210)) 입력 신호(102)의 픽셀 값들(예로서, 0 내지 4095)을 0 내지 1 사이의 동적 범위를 갖는 픽셀 값들로 정규화한다.

b) (단계(215)) 코드 값들로부터 휘도로의 소스 디스플레이의 변환을 반전시키거나 취소하기 위해 (메타데이터(104)에 의해 제공된 바와 같은) EOTF를 이용한다. 예를 들면, 입력 신호가 감마 코딩되면, 이 단계는 역 감마 함수를 적용한다. 입력 신호가 "212 PCT 출원에 따라 PQ-인코딩되면, 이 단계는 역 PQ 함수를 적용한다. 실제로, 정규화 단계(210) 및 역 비-선형 인코딩(215)은 미리 컴퓨팅된 1-D 룩-업 테이블들(LUTs)을 이용하여 수행될 수 있다.

c) (단계(220)) 단계 b)의 출력을 LMS 컬러 공간으로 변환시킨다.

d) (단계(225)) 에브너 논문에 따라, 전통적인 LMS 대 IPT 컬러 공간 변환은 먼저 LMS 데이터에 비-선형 멱함수를 적용하고 그 다음, 선형 변환 행렬을 적용하는 단계를 포함한다. LMS로부터 IPT로 데이터를 변환시키고 그 다음, IPT-PQ 도메인에 있도록 하기 위해 PQ 함수를 적용할 수 있을지라도, 바람직한 일 실시예에서, 단계(225)에서, IPT로의 LMS의 비-선형 인코딩을 위한 전통적인 멱함수는 PQ 비-선형 인코딩으로 대체된다. 예를 들면, 비-선형 L, M, 및 S 값들은 방정식(t2)에서의 V 신호와 동일한 방식으로 컴퓨팅되고, 여기서 Y 신호는 선형 L, M, 또는 S 구성요소 값들(222)에 의해 대체된다. 일부 실시예들에서, PQ 인코딩의 정규화된 버전이 이용될 수 있고, 여기서 방정식(t3)의 단계는 생략될 수 있고 출력 PQ 값들의 범위는 0과 1 사이이다.

e) (단계(230)) 표준 LMS 대 IPT 선형 변환을 이용한다. 단계(230)는 IPT 컬러 공간으로의 신호(222)의 변환을 완료한다.

f) (단계(235)) 일부 실시예들에서, IPT-PQ 출력(232)의 I 구성요소는 헬홀츠-콜라우슈 효과(Helholtz-Kohraush effect)를 설명하기 위해 또한 조정될 수 있고, 그에 의해 포화된 색들은 동일한 휘도 값을 갖는 흰색 컬러보다 밝게 나타난다. 값들(I_i, P_i, 및 T_i)에 의해 표현된 IPT 공간에서의 픽셀을 고려할 때, CH_i=

로 두면, 일 실시예에서, 단계(235)의 출력(I')은

(1)로서 표현될 수 있다.

출력(IPT-PQ) 신호(112)의 범위는 (0 내지 10,000 nits 사이의 동적 범위에 대응하는) I 구성요소에 대해 0 내지 1이고 P 및 T 구성요소들에 대해 -1과 1 사이에 있다.

일부 실시예들에서, 전 컬러 변환 파이프라인(예로서, 110)은 3D LUT를 이용하여 컴퓨팅될 수 있다.

톤 매핑

컬러 변환 단계(110) 이후에, 신호(112)의 세기(I)는 타겟 디스플레이의 제약들 내에 맞도록 매핑될 필요가 있다. 도 3은 일 실시예에 따라 컴퓨팅된 비-선형 매핑 함수(320)의 일례를 묘사한다(단계(115)). 타겟 디스플레이는 EDR 디스플레이 또는 SDR 디스플레이일 수 있다. 타겟 디스플레이가 입력(102)을 처리하기(예로서, 컬러 그레이딩하기) 위해 이용된 기준(또는 소스) 생성 디스플레이와 동일한 특성들을 가지면, 어떠한 변환도 요구되지 않는다. 이러한 일-대-일 선형 매핑은 선형 매핑(310)에 의해 도 3에 묘사되지만; 타겟 디스플레이가 기준 생성 디스플레이의 동적 범위보다 낮거나 높은 동적 범위를 가지면, 처리 단계(115)는 타겟 디스플레이의 동적 범위에 입력 신호의 동적 범위를 매핑할 것이다.

도 3에서, 경계들((305-1) 및 (305-2))을 입력 신호(입력 EDR)의 최소 및 최대 밝기 레벨들을 묘사하게 둔다. 또한, 307-1 및 307-2를 타겟 디스플레이의 최소 및 최대 밝기 레벨들을 묘사하게 둔다.

함수(320)에 의해 묘사된 기준 디스플레이 동적 범위 매핑에 대한 입력을 가정하면, 비-선형 매핑(예로서, 320)의 출력은 타겟 디스플레이의 동적 범위 제약들(예로서, 307-1 및 307-2) 내에 더 양호하게 맞는다. 일 예시적인 비-선형 매핑 변환은, 본 명세서에 전체적으로 참조로서 통합되는 Ballestad 등에 의해, 2012년 3월 15일에 출원된 발명의 명칭이 "이미지 데이터 변환을 위한 방법 및 장치(Method and apparatus for image data transformation)"인 일련 번호가 PCT/US2012/029189인 PCT 출원에 설명된다.

Ballestad '189 PCT 출원에 따라, 비-선형 매핑(115)에 대한 일 예시적인 전달 함수는 다음으로서 표시될 수 있다.

(2)

여기서, C₁, C₂, 및 C₃은 상수들이고, Y_in은 컬러 채널(예로서, I 채널)에 대한 입력 값이고, Y_out은 컬러 채널에 대한 출력 값이며, n 및 m은 파라미터들이다. 이 전달 함수는 파라미터화된 S자형 톤 곡선 함수의 일례이다. 파라미터들(C₁, C₂, 및 C₃)은 3개의 고정 지점(anchor point)들(예로서, 325-1, 325-2, 및 325-3)의 정의에 기초하여 결정되고, 이는 결과적으로 입력 메타데이터(106)로부터 전형적으로 추출되는 기준(또는 소스) 디스플레이의 밝기 특성들, 및 디스플레이 관리 처리를 수행하는 처리기에 전형적으로 이미 공지되는 타겟 디스플레이의 밝기 특성들에 기초하여 정의된다.

일 예시적인 실시예에서, 단계(120)는 다음과 같이 방정식(2)의 톤 곡선 파라미터들을 컴퓨팅할 수 있다:

a) 소스 대 타겟 비(S2Tratio)를 컴퓨팅한다.

Tmin, 및 Tmax를 PQ 인코딩으로 표현된, 타겟 디스플레이의 최소 및 최대 밝기를 나타내게 둔다. 또한, Smin, 및 Smax를 또한 PQ 인코딩된, 소스 디스플레이의 최소 및 최대 밝기를 나타내게 두면, 일 실시예에서, S2Tratio는 다음으로서 정의될 수 있다:

(3)

일반성의 손실 없이, 일부 실시예들에서, S2Tratio의 값은 또한, 반드시 결코 1보다 큰 것이 될 수 없다, 즉, 디코더는, 기준 디스플레이가 항상 적어도 타겟 디스플레이만큼 밝다고 가정할 수 있다. S2Tratio=1이면, 단계(115)는 건너뛸 수 있음에 주의한다.

일반성의 손실 없이, 입력 시퀀스는 일 예시적인 실시예에서, 변수들(Crush, Clip, 및 Mid)로 표시되는 3개의 변수들로 특징지워지게 두고, 상기 변수들은 각각 입력 시퀀스의 가장 낮은 검은색 레벨, 가장 높은 흰색 레벨, 및 평균 그레이 레벨을 나타낸다. 그들의 값은 장면에서의 각각의 프레임에 대해, 프레임의 일부에 대해, 또는 프레임들의 시퀀스에 대해 컴퓨팅될 수 있다. 이들 파라미터들의 값들은 입력 비디오 스트림에 기초하여 컴퓨팅될 수 있거나 그들은 입력 메타데이터(106)의 부분일 수 있다. 일 실시예에서, 이들 파라미터들은 장면 당 단위로 계산된다. 본 명세서에서 이용된 바와 같이, 용어들('장면' 또는 '샷(shot)')은 동일한 전체 밝기 특성들을 공유할 수 있는 일련의 순차-인-캡쳐(sequential-in-capture) 프레임들을 나타낸다. 장면 컷들은 수동적으로 결정될 수 있거나, 그들은 또한 입력 메타데이터의 부분일 수 있다. 예를 들면, Cuts[]의 어레이는 장면 컷들의 프레임 수들을 정의할 수 있다. 대안적으로, 각각의 프레임에서의 파라미터는, 프레임이 장면 컷의 시작을 표현하는지의 여부를 결정할 수 있다.

일 실시예에서, 이들 값들 및 S2Tratio 값을 고려할 때, 다음 중간 톤 곡선 조정 파라미터들을 컴퓨팅할 수 있다:

는 중간-톤 대비를 나타낸다. 그것은 대비의 외형(appearance of contrast)을 보존하기 위해 S2Tratio 값에 따라 조정된다. 그것은 중간 고정 지점(352-2)과 가까운 매핑 곡선(320)에 접하는 라인의 기울기로서 시각화될 수 있다.

는 "어둡고" 또는 "밝은" 장면의 표시이다. 어둡고 밝은 디테일을 각각 보존하기 위해 낮은 Key (어두운) 장면들은 약간 더 밝게 매핑될 수 있고 높은 Key (밝은) 장면들은 약간 더 어둡게 매핑될 수 있다.

는 이미지가 어두워지는 양을 나타낸다.

Rolloff는 전형적으로 상수(예로서, 1/3)이고 중간-톤들과 강조(highlight)들/그림자들 사이의 전이의 기울기(steepness)를 표현한다. 더 적은 값은 더 샤프한 전이를 나타내고 "소프트 클리핑(soft clipping)"의 시각 효과를 가질 것이다.

Min=max(Crush-Shift, Tmin) 및 Max=min(Clip-Shift, Tmax)로 두면, 일 실시예에서, MATLAB 주석을 이용하여, 방정식(2)의 비-선형 매핑의 톤 곡선 파라미터들은 표 2에 묘사된 것과 같이 컴퓨팅될 수 있다.

표 2

상기 C₁, C₂, 및 C₃ 파라미터를 고려할 때, 일 실시예에서, 세기 매핑 단계(115)의 출력(117)(I_m)은 다음으로서 컴퓨팅될 수 있고:

(4)

여기서, I_o는 EDR IPT-PQ 신호(112)의 I-구성요소를 나타낸다.

I 구성요소에 대한 다중스케일 디테일 보존

방정식(4)의 톤 매핑 연산자는 전형적으로, 동일한 방정식이 전체 프레임에 적용되기 때문에 글로벌 톤-매핑 연산자로서 언급된다. 일 실시예에서, 글로벌 톤-매핑 다음에 로컬 대비를 개선하는 다중-스케일 톤-매핑 연산자(125)가 뒤따를 수 있다. 이러한 로컬 톤 매핑 연산자의 일례는 Ballestad에 의해 '189 PCT 출원에서 설명된다. 대안적으로, 또 다른 실시예에서, 세기 매핑 단계(115)의 출력(117) 다음에, 본 명세서에 참조로서 통합된, P. Zolliker 및 K. Simon에 의한 이미지 처리에 관한 IEEE Trans., Vol. 16, No. 3, 2007년 3월, 664 내지 672 페이지의 "색역 매핑 알고리즘들에서의 로컬 이미지 정보의 유지(Retaining local image information in gamut mapping algorithms)"에 설명된 것과 같은, 언샤프 마스킹 기술이 뒤따른다.

I_o를 입력 신호(112)의 세기를 나타내도록 두고, I_m를 톤-매핑된 출력(117)의 세기를 나타내도록 두면, 일 실시예에 따라, 다중스케일 디테일 보존 단계(125)의 출력(I_S)(127)의 세기는 다음으로서 표현될 수 있고,

(5)

여기서, F(I,H)는 이미지(I)에 커널(H)을 갖는 분리가능한 필터를 적용하는 것을 나타낸다. 일 예시적인 실시예에서, H는 σ=2를 갖는 11×11 가우시안 필터를 포함하지만; 대안적인 필터들이 또한 적용될 수 있다. 일부 실시예들에서, 입력 신호의 특성들에 의존하여, 이 단계가 또한 건너뛰어질 수 있다.

일부 실시예들에서, 방정식(5)의 디테일 보존 처리는 레터박스들 및 자막들을 포함하는, 고-대비 에지들 주위의 잠재적인 후광들을 감소시키기 위해 부가적인 에지-검출 필터를 이용함으로써 추가로 증진될 수 있다. 일 실시예에서,

(6)

및

(7)

을 각각, 커널(H_B)을 갖는 저역 통과 필터(LPF) 및 커널(H_E)을 갖는 에지-검출 필터의 출력들을 나타내도록 두자. 그러면, 범위([0,1]) 내에 한정될 수 있는 I_E 출력을 고려할 때, 다중스케일 디테일 보존 단계(125)는 다음으로서 표현될 수 있다.

(8)

방정식(5)와 비교하여, 강한 에지가 검출될 때마다, I_S는 저역 통과 필터링된 신호보다 원래 톤-매핑된 신호에 가깝다.

일부 실시예들에서, 부가적인 가중치들은 또한,

(9)에서와 같이 적용될 수 있고,

여기서, w₁ 및 w₂는 구현 의존 가중치들이다. 또 다른 실시예에서, 상수(α) 및 에지 검출 임계치(T_e)를 고려할 때, 다중스케일 보존 단계(125)의 출력은 다음으로서 표현될 수 있다.

(10)

예를 들면, 방정식(10)에 따라, α=1에 대해, 어떠한 에지도 검출되지 않으면, I_S 출력은 방정식(5)에 따라 결정되지만; 강한 에지가 검출될 때, I_S=I_m이다.

일 실시예에서, LPF 필터는 가우시안 필터이고 에지 검출 필터는 LPF 필터의 제 1 도함수를 취함으로써 얻어진 계수들을 갖는 분리가능한 필터일 수 있다. 그러나, 임의의 에지 검출 필터가 적용될 수 있다. 분리가능한 저역 통과 및 에지-검출 필터들을 적용함으로써, 일 실시예에서, 저역 통과 필터링, 수평 방향으로의 에지-검출, 및 수직 방향으로의 에지 검출의 동작들은 이들 필터들 각각에 대해 별개의 회로들을 통합할 수 있는 병렬 아키텍처들을 이용하기 위해 동시에 적용될 수 있다(FPGA 또는 주문형 집적 회로에서와 같이). 이러한 일 예시적인 구현은 도 6에 묘사되고, 여기서:

입력(D0')은 I_o에 대응하고;

입력(D0'')은 I_m에 대응하고;

출력(D0''')은 I_S에 대응하고;

필터(0)는 저역 통과 필터(LPF)에 대응하고;

필터1 및 필터2는 수평 및 수직 에지 검출 필터들에 대응하고;

ABS()는 절대 값 함수를 나타내며;

MS_weight 및 MS_edge_weight는 범위([0,1])에서의 조정가능한 파라미터들(예로서, MS_weight=0.0 및 MS_edge_weight=1.0)이다.

주어진 비트-깊이(N)에 대해, max_value를 최대 값(2^N-1)을 나타내도록 두자. dx 및 dy를 에지 필터들(필터1 및 필터2)의 출력들을 나타내도록 두면, 일 실시예에서, alpha의 값은 다음으로서 컴퓨팅될 수 있다:

그 다음, 출력은 다음으로서 컴퓨팅될 수 있다:

여기서, d[x,y]는 차분 이미지(difference image)(I_o-I_m)를 나타내고, v[x, y]는 LPF(예로서, I_B)의 출력을 나타내며, CLIP3(a, b, x) 함수는, x의 값이 하한 값(α) 및 상한 값(b) 사이에 속박된다.

채도 조정

IPT 신호에서, P 및 T는 단지 세기(I)와 비교하여 컬러 차들의 상대적인 세기들이다. 단계들((115) 및 (125))이 I 컬러 구성요소를 수정했기 때문에, P 및 T 컬러 구성요소들은 색상 및 채도를 보존하기 위해 조정될 필요가 있다. 이러한 처리(130)의 일례는 도 4에 묘사된다.

도 4에 묘사된 바와 같이, 채도(colorfulness 및 saturation)를 증가시키기 위한 파라미터들은 IPT-PQ 공간에서의 원래 입력(112) 및 톤-매핑된 출력(127)에 기초하여 컴퓨팅될 수 있다. 이들 파라미터들은 픽셀 당 레벨 단위로 컴퓨팅되고 동일한 스케일러(S)는 P 및 T 컬러 구성요소들 둘 모두에 적용된다. 일 예시적인 실시예에서, 채도 증가들을 선형 매핑 함수들

을 이용하여 결정되도록 두고,

여기서, k₁ 및 k₂는 싸이코비주얼 데이터에 기초한 상수들이다. 예를 들면, 일 실시예에서, k₁=0.5 및 k₂=1.0이다. 방정식(6)에서, CEDR(412)은 단계(410-1)의 출력을 나타내고, CMapped(414)는 단계(410-2)의 출력을 나타낸다. 그 다음, 채도 조정 스케일러(422)는 다음으로서 결정될 수 있다.

S, 및 신호(112)의 원래 P_o 및 T_o 컬러 구성요소들을 고려할 때, 톤-매핑된 출력(132)의 재-포화된 P_S 및 T_S구성요소들은 다음으로서 컴퓨팅될 수 있다.

일부 실시예들에서, 샤픈된 신호(127)(I_S)보다 원래 톤-매핑된 신호(117)(I_m)에 기초하여 채도 증가(CMapped)를 결정하는 것이 이로울 수 있고 그러면,

이며,

이다.

일 대안적인 실시예에서, 채도 조정 단계는 컬러 변환 단계(110)의 부분일 수 있다. 일 예시적인 실시예에서, 방정식(1)에 의해 묘사된 헬홀츠-콜라우슈 효과(235)에 대한 정정 다음에, 다음 채도 스케일링(chroma scaling)을 적용할 수 있다:

색역 매퍼 3D LUT

톤 매핑 및 채도 증가 처리 단계들은 타겟 디스플레이 색역 밖의 컬러들을 야기할 수 있다. 3D 색역 룩 업 테이블(LUT)(140)은 색역을 조정하기 위해 컴퓨팅되고 비디오 신호(132)에 적용될 수 있다. 색역 정정(135)의 부분으로서, 신호는 또한, 또 다른 컬러 공간(예로서, RGB)으로 다시 변환될 수 있고, 타겟 디스플레이 상의 디스플레이 및/또는 다른 사후-처리를 위한 마지막 EDR 신호(145)를 생성하기 위해 감마 정정될 수 있다.

휘도 및 컬러 조정들

특정 실시예들에서, 감독의 원래 의도를 표현하기 위해 고려된 휘도 또는 채도 값들 밖의 입력 신호의 휘도 또는 채도 값들을 조정(예로서, 증가)하는 것이 바람직할 수 있다. 예를 들면, 많은 소비자 텔레비전들은 특정 콘텐트에 대한 이용자의 경험을 증진하는 디스플레이 파라미터들의 미리 설정된 세트들을 갖는 "생생한", "스포츠", 또는 "영화"와 같은 이러한 영상 모드들을 통합시킨다. 일 실시예에서, 휘도 증가 파라미터들은 중간 톤 곡선 조정 파라미터들 예를 들면, 더 이전에 논의된 Slope, Shift, Min, 및 Shift 파라미터들의 함수로서 설정될 수 있다.

을, 어떠한 휘도 증가도 요구되지 않을 때의 디폴트 휘도 증가 파라미터들을 나타내도록 두자. 신호의 증가 또는 변경이 바람직하면, 그들 4개의 파라미터들이 조정될 수 있다. 예를 들면, 제한 없이, 일 실시예에서, 그들 값들은

으로 설정될 수 있다.

그 다음, 방정식(4)의 톤 곡선 파라미터들(120)을 계산하기 위해 이용된 대응하는 Slope, Shift, Min, 및 Shift 파라미터들은 다음과 같이 조정된다:

이들 조정들을 Min, Max, Slope 및 Shift에 적용하는 것은 원래 매핑 범위를 변화시킨다. 따라서, 매핑 범위를 원래 범위(예로서, 디스플레이 및 콘텐트 메타데이터(106)로부터 정의된 바와 같은, EDR min/max 및 디스플레이 min/max)로 다시 가져오기 위해, 방정식(4)에서의 I_m이 컴퓨팅된 후에 다음 방정식이 실행된다.

(18)

채도가 또한 조정될 수 있다. 방정식(8)으로부터의 P_S 및 T_S 출력들(예로서, 신호(132))을 고려할 때, (P_S 및 T_S) 컬러 구성요소들은 표준 유클리드 대 극 변환(Euclidian to polar transformation)들을 이용하여 (chroma, hue) 값들로 변환될 수 있다. 그 다음, 선형 또는 비-선형 매핑 함수들을 적용함으로써 채도(C_in)(saturation, colorfulness) 값들을 조정하는 것이 가능하다. 이러한 매핑 함수들의 예들은 도 5에 묘사된다.

제한 없이, 도 5는 채도 매핑 함수에 대한 3개의 예시적인 실시예들을 묘사한다.

를 채도 조정 입력-출력 함수로 묘사되도록 두자. 제 1 실시예(505)에서,

이고,

따라서, 어떠한 채도 조정도 수행되지 않는다. 제 2 실시예(510)에서,

이고,

여기서, γ는 상수이다. 마지막으로, 제 3 실시예(515)에서, 채도는 스플라인(spline) 또는 S자형과 같은 입력 출력 관계들에 의해 설명된 비-선형 함수의 출력으로서 표현될 수 있다.

일부 실시예들에서, 채도 매핑 함수는 색상의 함수로서 변조될 수 있다. 이러한 실시예에서, 특정 색도 영역들(예로서, 하늘, 잔디, 또는 피부 톤들)은 다른것들과 상이하게 처리될 수 있다. 일부 실시예들에서, 채도 매핑 함수는 세기(I)의 함수로서 또한 변조될 수 있다. 일부 실시예들에서, 채도 값들은 특수 효과(예로서, 세피아 또는 오래된 영화 느낌)에 대한 포화되지 않은 이미지를 생성하기 위해 또한 감소될 수 있다.

채도 조정들 후에, 변환된(채도, 색상) 값들은 표준 극 대 유클리드 변환들을 이용하여 (P, T) 값들로 다시 변환되고, 디스플레이 관리 처리의 나머지는 계속된다. 일부 실시예들에서, 휘도 및 채도 조정들은 미리 컴퓨팅되고 디스플레이 관리 파이프라인의 다른 3D LUT들과 대안적으로 결합된다.

휘도 및 채도 파라미터들을 조정하는 것은 타겟 디스플레이의 능력들 및 디스플레이 특성들에 강하게 의존한다. 일부 실시예들에서, 타겟 TV 제조자 및 모델은 TV의 확장된 디스플레이 식별 데이터(EDID)와 같은, 보조 정보를 통해 셋-톱 박스 또는 디스플레이 매니저(DM) 처리기에 이용가능할 수 있다. 이 정보는 (예로서, 인터넷 또는 다른 업-링크 접속을 통해) 로컬 또는 원격 데이터베이스를 이용하여 디스플레이의 능력들을 검색하고 따라서, 미리 컴퓨팅되고 최적화된 증가 파라미터들을 타겟 디스플레이에 제공하기 위해 이용될 수 있다. 대안적으로, 어떠한 특정 정보도 이용가능하지 않으면, 셋-톱 박스는 대안적인 디스플레이 모드들의 선택을 이용자에 제공하고 이용자가 가장 선호하는 모드를 선택하도록 허용할 수 있다.

일부 실시예들에서, 최적화된 3D LUT들이 타겟 디스플레이에 대한 EDR 디스플레이 관리를 위해 이용가능하지 않을 때, 셋-톱 박스(STB)는 STB에 미리 저장될 수 있는 파라미터 함수들의 세트 및 타겟 디스플레이 파라미터들에 기초하여 새로운 LUT들을 컴퓨팅하기 위해 본 명세서에서 설명된 방법들을 적용할 수 있다. 새로운 TV에 접속 시에, 이용자는 새로운 LUT들이 컴퓨팅될 때까지 몇초를 대기할 수 있지만; 결과들은 이후에 재이용되기 위해 디바이스 메모리에 저장될 수 있다.

서브-샘플링(sub-sampling)된 컬러를 갖는 신호들에 대한 톤 매핑

일부 실시예들에서, EDR 신호(102)는 서브-샘플링된 채도 포맷(예로서, YCbCr 4:2:0)으로 수신될 수 있다. 또한, 출력된 EDR RGB 신호(145)는 또한, RGB 4:4:4(예로서, YCbCr 4:2:0)와 상이한 디스플레이 특정 포맷으로 변환될 필요가 있을 수 있다. 100A의 디스플레이 관리 처리(도 1a)가 전-해상도 입력들 및 출력들에 대한(예로서, RGB 대 IPT-PQ 단계(110) 이전의 신호(102)에 대해, 또는 RGB 신호(145)에 대해) 사전-처리 또는 사후-처리 컬러 변환, 컬러 업-샘플링, 또는 다운-샘플링을 수용하기 위해 용이하게 수정될 수 있을지라도, 그것은 감소된-해상도 신호들에 대한 디스플레이 관리 동작들 중 일부를 수행하는데 더 계산적으로 효율적일 수 있다. 이러한 실시예들의 예들은 다음에 논의된다.

도 1b는 본 발명의 일 대안적인 실시예에 따른 EDR 이미지들의 디스플레이 관리를 위한 일 예시적인 처리(100B)를 묘사한다. 제한 없이, 일례에서, 수신된 EDR 신호(102)를 YCbCr 4:2:0 신호로 두고 원하는 출력(160)을 감마 인코딩된 EDR YCbCr 4:2:0 신호로 두자. 유사한 처리가 YCbCr 4:2:2 등과 같은, 서브-샘플링된 채도를 갖는 다른 컬러 포맷들에 또한 적용될 수 있다.

100B로 묘사된 바와 같이, 입력(102)의 처리는 2개의 별개의 경로들로 분할될 수 있다; 전 (휘도) 해상도에서의 Y 구성요소의 처리(102Y), 및 채도 해상도(4:2:0 신호들에 대한 해상도의 1/4에서의)에서의 RGB 신호(107)의 처리. 컬러 변환기(105)는 입력(Y)을 다운-샘플링하고 그 다음, 다운-샘플링된 Y 및 원래 CbCr 입력 구성요소들을 원래 채도 해상도와 같은 공간 해상도를 갖는 RGB(4:4:4) 신호(107)로 변환한다. 컬러 변환기(110B)는 전-해상도(102Y) 신호를 지각적으로-양자화된(PQ) 신호(112B)로 변환한다. 더 이전에 논의된 바와 같이, RGB 대 IPT-PQ 처리 단계(100)(도 2 참조)에서, (102)의 입력 Y 구성요소는 Y 구성요소에 PQ 함수를 적용하기 전에 또한 감마-선형화되고 정규화(예로서, (0, 1) 범위로)될 수 있다.

새로운 신호들((107) 및 (112B))을 고려할 때, 신호(107)에 대한 처리는, 다중-스케일 디테일 보존 단계(125)가 이제 채도 조정 단계(130) 후에 적용되는 것을 제외하고, (110A)에서와 같이 진행한다. 신호(132)가 이제 원래 신호(102)의 해상도의 1/4이기 때문에, 부가적인 업-샘플링 단계(150)는 색역 매퍼(135)의 출력을 다중스케일 디테일 보존 단계(125)의 톤-매핑된(I_m) 입력으로서 이용되는 전-해상도 신호(152)로 업-샘플링한다. 신호(112B)는 원래 신호(I_o)로서 이용되고 있다(방정식들((5) 내지 (10)) 참조). 색역 매핑 처리(135)가 (Y-PQ)CbCr (4:4:4) 컬러 공간에서 신호를 직접적으로 생성할 수 있음에 주의한다. 출력 EDR(160)은 YCbCr (4:2:0) 포맷이고 2개의 신호들을 포함한다: 색역 매퍼(135)에 의해 컴퓨팅된 채도 구성요소(137-CbCr) 플러스 휘도 신호(157). 휘도 신호(157)는 다중스케일 디테일 보존 처리(127)의 출력을 감마 정정(155)함으로써 생성될 수 있고, PQ 디코딩 및 감마 인코딩(155)은 타겟 디스플레이(도시되지 않음)의 EOTF 파라미터들(152)(예로서, gamma, Min, 및 Max)을 이용할 수 있다.

도 1c는 픽셀 파이프라인 효율성을 추가로 개선하고 메모리 요구조건들을 감소시키기 위해 다중스케일 및 휘도 다운-샘플링 동작들을 병렬화하는 일 대안적인 실시예를 묘사한다. 이 예에서, 전-해상도(Y) 파이프라인은 전-해상도로 동작하지만 픽셀 당 더 적은 동작들을 요구한다. 반대로, RGB 4:4:4 파이프라인은 픽셀 당 더 많은 동작들을 갖지만 원래 휘도 픽셀 해상도의 1/4에서 동작한다. 도 1c는 병렬 하드웨어 구현들에 더 따른다.

(100B)와 비교하여, (100C)는 컬러 변환기(110B)의 출력(I_o 112B)에 부가적인 세기 매핑 단계(115B)를 부가하지만; 그것은 (100B)에서 업-샘플링 처리(150)에 대한 필요성을 제거한다. 세기 매핑 단계(115B)는 단계(120)에서 컴퓨팅된 톤 곡선 파라미터들을 이용할 수 있다. 일부 실시예들(도시되지 않음)에서, 세기 매핑(115B)으로의 입력은 신호(112B) 대신에 신호(102Y)일 수 있다.

예시적인 컴퓨터 시스템 구현

본 발명의 실시예들은 컴퓨터 시스템, 전자 회로 및 구성요소들로 구성된 시스템들, 마이크로제어기, 필드 프로그래밍가능한 게이트 어레이(FPGA), 또는 또 다른 구성가능하거나 프로그래밍가능한 로직 디바이스(PLD)와 같은 집적 회로(IC) 디바이스, 이산 시간 또는 디지털 신호 처리기(DSP), 주문형 반도체(ASIC), 및/또는 이러한 시스템들, 디바이스들 또는 구성요소들 중 하나 이상을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는 본 명세서에 설명된 것들과 같은, 증진된 동적 범위를 갖는 이미지들의 디스플레이 관리 및 디스플레이에 관련된 지시들을 수행하거나, 제어하거나, 실행할 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명된 디스플레이 관리 처리들에 관한 다양한 파라미터들 또는 값들 중 임의의 것을 컴퓨팅할 수 있다. 이미지 및 비디오 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 그의 다양한 조합들로 구현될 수 있다.

본 발명의 특정 구현들은 처리기들로 하여금 본 발명의 방법을 수행하도록 하는 소프트웨어 지시들을 실행하는 컴퓨터 처리기들을 포함한다. 예를 들면, 디스플레이, 인코더, 셋 톱 박스, 트랜스코더 등에서의 하나 이상의 처리기들은 처리기에 액세스가능한 프로그램 메모리에서의 소프트웨어 지시들을 실행함으로써 상기 설명된 바와 같은 EDR 이미지들의 디스플레이 관리에 관련된 방법들을 구현할 수 있다. 본 발명은 프로그램 제품의 형태로 또한 제공될 수 있다. 프로그램 제품은, 데이터 처리기에 의해 실행될 때 데이터 처리기로 하여금 본 발명의 방법을 실행하도록 하는 지시들을 포함하는 컴퓨터-판독가능한 신호들의 세트를 지니는 임의의 비-일시적 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 광범위한 형태들 중 임의의 형태일 수 있다. 프로그램 제품은 예를 들면, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체들, CD ROM들, DVD들을 포함하는 광학 데이터 저장 매체들, ROM들, 플래시 RAM을 포함하는 전자 데이터 저장 매체들, 등과 같은 물리적 매체들을 포함할 수 있다. 프로그램 제품 상의 컴퓨터-판독가능한 신호들은 선택적으로 압축될 수 있거나 암호화될 수 있다.

구성요소(예로서, 소프트웨어 모듈, 처리기, 어셈블리, 디바이스, 회로, 등)가 상기 언급되는 경우에, 다르게 표시되지 않는다면, 그 구성요소에 대한 참조("수단"에 대한 참조를 포함하는)는 그 구성요소의 등가물들로서, 본 발명의 도시된 예시적인 실시예들에서 기능을 수행하는 개시된 구조와 구조적으로 동등하지 않은 구성요소들을 포함하는, (예로서, 기능적으로 동등한) 설명된 구성요소의 기능을 수행하는 임의의 구성요소를 포함하는 것으로 해석되어야 한다.

등가물들, 확장들, 대안들 및 기타

EDR 이미지들의 효율적인 디스플레이 관리에 관한 예시적인 실시예들이 따라서 설명된다. 상기 명세서에서, 본 발명의 실시예들은 구현 마다 달라질 수 있는 많은 특정 상세들에 관하여 설명되었다. 따라서, 본 발명이 무엇이고, 출원인들에 의해 본 발명인 것으로 의도되는 것에 관한 유일하고 포괄적인 표시자는 임의의 후속 정정을 포함하는, 이러한 청구항들이 공표하는 특정 형태로 본 출원으로부터 공표하는 청구항들의 세트이다. 이러한 청구항들에 포함된 용어들에 대해 본 명세서에 명백하게 제시된 임의의 정의들은 청구항들에서 이용된 바와 같이 이러한 용어들의 의미를 지배할 것이다. 따라서, 청구항에서 명백하게 나열되지 않은 어떠한 제한, 요소, 속성, 특징, 장점 또는 특성도 어떤 방식으로든 이러한 청구항의 범위를 제한해서는 안된다. 명세서 및 도면들은 따라서, 제한적인 의미보다는 오히려 예시적인 것으로 간주되어야 한다.

102: EDR 데이터 104, 106: 메타데이터
105, 110B: 컬러 변환기 107: RGB 신호
112: 입력 신호 117, 132: 톤-매핑된 신호
132: 비디오 신호 140: 3D 색역 룩 업 테이블
152: EOTF 파라미터들 157: 휘도 신호

Claims

처리기를 통한 이미지들의 디스플레이 관리를 위한 방법에 있어서:
제 1 증진된 동적 범위(EDR)를 갖는 제 1 컬러 공간에서 입력 이미지(102)에 액세스하는 단계;
지각적으로-정정된 IPT 컬러 공간(IPT-PQ)에서 제 1 출력 이미지(112)를 결정하기 위해 상기 입력 이미지에 컬러 변환 단계(110)를 적용하는 단계로서, 상기 제 1 컬러 공간으로부터 상기 IPT-PQ 공간으로의 상기 컬러 변환은 상기 입력 이미지의 함수에 비-선형 지각적 양자화기(PQ) 함수를 적용하는 것에 적어도 부분적으로 기초하는, 상기 컬러 변환 단계(110)를 적용하는 단계;
제 2 동적 범위를 갖는 제 1 톤-매핑된 이미지(117)의 세기 구성요소(intensity component)를 결정하기 위해 상기 제 1 출력 이미지(112)의 세기(I) 구성요소에 비-선형 톤-매핑 함수(115)를 적용하는 단계로서, 상기 제 2 동적 범위는 상기 제 1 증진된 동적 범위와 상이한 것인, 상기 비-선형 톤-매핑 함수(115)를 적용하는 단계;
상기 제 1 출력 이미지(112) 및 상기 제 1 톤-매핑된 이미지(117)의 세기 구성요소들에 응답하여 제 2 출력 이미지(127)의 세기 구성요소를 생성하기 위해 디테일 보존 함수(125)를 적용하는 단계;
제 2 톤-매핑된 이미지(132)의 컬러 구성요소들을 생성하기 위해 상기 제 2 출력 이미지(127)의 컬러(P, T) 구성요소들에 채도 조정 함수(130)를 적용하는 단계로서, 상기 채도 조정 함수는 상기 제 1 출력 이미지(112)의 세기 구성요소 및 상기 제 2 출력 이미지(127) 또는 상기 제 1 톤-매핑된 이미지(117)의 세기 구성요소에 의해 결정되는, 상기 채도 조정 함수(130)를 적용하는 단계; 및
제 3 출력 이미지(145)를 생성하기 위해 상기 제 2 톤-매핑된 이미지(132)에 색역(color gamut) 매핑 함수(135)를 적용하는 단계를 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 1 항에 있어서,
상기 제 1 컬러 공간은 RGB 컬러 공간을 포함하고 상기 컬러 변환 단계(110)를 적용하는 단계는 또한:
선형 RGB 신호(217)를 생성하기 위해 상기 입력 이미지(102)로부터 어떠한 비-선형 인코딩(215)이라도 제거하는 단계;
상기 선형 RGB 신호(217)를 LMS 컬러 신호(222)로 변환하는 단계; 및
IPT-PQ 컬러 공간 신호(232)를 생성하기 위해 상기 LMS 컬러 신호에 상기 비-선형 지각적 양자화기(PQ) 함수 및 변환 행렬을 적용하는 단계를 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 2 항에 있어서,
조정된 IPT-PQ 신호(112)를 생성하기 위해 상기 IPT-PQ 컬러 공간 신호(232)의 세기(I)를 조정하는 단계를 추가로 포함하고, 상기 조정하는 단계는 적어도 부분적으로 함수(
)를 적용함으로써 수행되고,
여기서 d는 상수이고, 상기 IPT-PQ 컬러 공간 신호(232)의 픽셀의 I_i, P_i, 및 T_i 값들을 고려할 때,
이며 I_i'는 상기 조정된 IPT-PQ 신호(112)의 세기 값인, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 1 항에 있어서,
상기 비-선형 톤-매핑 함수(115)는 파라미터화된 S자형 톤 곡선 함수로서 표현되고, 상기 비-선형 톤-매핑 함수의 파라미터들은 소스 디스플레이 및 타겟 디스플레이의 특성들에 기초하여 결정되는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 4 항에 있어서,
상기 소스 디스플레이의 특성들은 상기 소스 디스플레이에 대한 최소 밝기 값 및 최대 밝기 값을 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 4 항에 있어서,
상기 타겟 디스플레이의 특성들은 상기 타겟 디스플레이에 대한 최소 밝기 값 및 최대 밝기 값을 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 4 항에 있어서,
상기 소스 디스플레이의 특성들은 수신된 소스 디스플레이 메타데이터(104)를 통해 액세스되는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 4 항에 있어서,
상기 S자형 톤 곡선 함수는
로서 표현되고,
여기서 C₁, C₂, C₃, 및 Rolloff는 상기 비-선형 톤-매핑 함수의 파라미터들을 정의하는 상수들이며, 입력(I_o)에 대해, I_m은 대응하는 출력 값인, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 8 항에 있어서,
상기 C₁, C₂, 및 C₃ 상수들은 상기 입력 이미지(102)의 하나 이상의 그레이-값 특성들에 적어도 부분적으로 기초하여 결정되는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 9 항에 있어서,
상기 입력 이미지(102)의 그레이-값 특성들은 콘텐트 메타데이터(106)를 통해 액세스되고 최소 휘도 값(Crush), 최대 휘도 값(Clip), 및 평균 중간-톤 휘도 값(Mid)을 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 8 항에 있어서,
상기 C₁, C₂, 및 C₃ 상수들은 하나 이상의 중간 톤 곡선 조정 파라미터들에 적어도 부분적으로 기초하여 결정되는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 1 항에 있어서,
상기 디테일 보존 함수를 적용하는 단계는 또한
를 컴퓨팅하는 단계를 포함하고,
여기서 F(I,H)는 이미지(I)에 커널(H)을 갖는 필터를 적용하는 것을 나타내고, I_o는 상기 제 1 출력 이미지(112)의 세기 픽셀 값들을 나타내고, I_m은 상기 제 1 톤-매핑된 출력 이미지(117)의 세기 픽셀 값들을 나타내며, I_S는 상기 제 2 출력 이미지(127)의 세기 픽셀 값들을 나타내는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 12 항에 있어서,
상기 커널(H)은 2와 같은 표준 편차를 갖는 11×11 가우시안 필터를 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 12 항에 있어서,
상기 커널(H)은 저역 통과 필터를 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 14 항에 있어서,
에지 출력 이미지를 얻기 위해 I_o-I_m 신호에 에지 검출 필터를 적용하는 단계; 및
상기 저역 통과 필터의 출력 및 상기 에지 출력 이미지 둘 모두에 응답하여 I_S 신호를 생성하는 단계를 추가로 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 1 항에 있어서,
상기 채도 조정 함수(130)를 적용하는 단계는 상기 제 1 출력 이미지(112)의 세기 픽셀 값들 및 상기 제 2 출력 이미지(127) 또는 상기 제 1 톤-매핑된 이미지(117)의 세기 픽셀 값들에 응답하여 결정되는 스케일링(scaling) 상수 만큼 상기 제 1 출력 이미지(112)의 컬러 구성요소들을 스케일링하는 단계를 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 16 항에 있어서,
상기 스케일링 상수(S)를 컴퓨팅하는 것은
을 컴퓨팅하는 단계를 포함하고,
여기서 CEDR은 상기 제 1 출력 이미지(112)의 세기(I_o)의 선형 함수로서 결정된 변수이며 CMapped는 상기 제 2 출력 이미지(127)의 세기(I_S)의 선형 함수로서 결정된 변수인, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 4 항에 있어서,
상기 비-선형 톤-매핑 함수의 톤 곡선 파라미터들은 상기 제 1 톤-매핑된 이미지의 휘도의 세기를 증가시키기 위해 조정되는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 18 항에 있어서,
상기 휘도의 세기를 증가시키는 것은:
어떠한 휘도 증가도 갖지 않는 상기 톤-매핑 함수의 매핑 범위를 결정하기 위해 중간 조정 톤 곡선 파라미터들의 제 1 세트를 컴퓨팅하는 단계;
원하는 중간 조정 톤 곡선 파라미터들의 세트에 응답하여 상기 중간 조정 톤 곡선 파라미터들의 제 1 세트를 스케일링하는 단계;
중간 조정 톤 곡선 파라미터들의 제 2 세트에 기초하여 상기 톤-매핑 함수의 파라미터들을 결정하는 단계;
중간 톤-매핑된 신호를 결정하기 위해 상기 제 1 출력 이미지의 세기에 상기 톤-매핑 함수를 적용하는 단계; 및
상기 제 1 톤-매핑된 신호를 결정하기 위해 상기 중간 톤-매핑된 신호의 세기를 조정하는 단계를 추가로 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 1 항에 있어서,
상기 제 2 톤-매핑된 이미지(132)의 컬러 구성요소들을 조정하는 단계를 추가로 포함하고, 상기 조정하는 단계는:
유클리드 대 극 좌표 변환(Euclidian to polar coordinates transform)을 이용하여 상기 제 2 톤-매핑된 이미지의 컬러 픽셀 값들(P_S, T_S)을 (chroma, hue) 픽셀 값들로 변환하는 단계;
매핑 함수를 이용하여 상기 (chroma, hue) 픽셀 값들을 조정된 (chroma, hue) 값들에 매핑하는 단계; 및
극 대 유클리드 좌표 변환을 이용하여 상기 조정된 (chroma, hue) 값들을 조정된 (P_S, T_S) 컬러 값들로 변환하는 단계를 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
처리기를 통한 이미지들의 디스플레이 관리를 위한 방법에 있어서:
제 1 증진된 동적 범위(EDR)를 갖는 제 1 컬러 공간(YCbCr)에서 입력 이미지(102)에 액세스하는 단계로서, 상기 입력 이미지는 휘도 공간 해상도에서의 휘도 구성요소 및 채도 공간 해상도에서의 하나 이상의 채도 구성요소들을 포함하고, 상기 채도 공간 해상도는 상기 휘도 공간 해상도보다 낮은, 상기 입력 이미지(102)에 액세스하는 단계;
지각적으로-정정된 IPT 컬러 공간(IPT-PQ)에서 상기 입력 이미지의 채도 공간 해상도와 같은 공간 해상도를 갖는 제 1 출력 이미지(112A)를 결정하기 위해 상기 입력 이미지에 하나 이상의 컬러 변환 단계들(107, 110A)을 적용하는 단계로서, 상기 제 1 컬러 공간으로부터 상기 IPT-PQ 공간으로의 상기 컬러 변환은 상기 입력 이미지의 함수에 비-선형 지각적 양자화기(PQ) 함수를 적용하는 것에 적어도 부분적으로 기초하는, 상기 컬러 변환 단계들(107, 110A)을 적용하는 단계;
제 2 동적 범위를 갖는 제 1 톤-매핑된 이미지(117)의 세기 구성요소를 결정하기 위해 상기 제 1 출력 이미지(112A)의 세기(I) 구성요소에 비-선형 톤-매핑 함수(115)를 적용하는 단계로서, 상기 제 2 동적 범위는 상기 제 1 증진된 동적 범위와 상이한 것인, 상기 비-선형 톤-매핑 함수(115)를 적용하는 단계;
제 2 톤-매핑된 이미지(132)의 컬러 구성요소들을 생성하기 위해 상기 제 1 톤-매핑된 이미지(117)의 컬러(P, T) 구성요소들에 채도 조정 함수(130)를 적용하는 단계로서, 상기 채도 조정 함수는 상기 제 1 출력 이미지(112A)의 세기 구성요소 및 상기 제 1 톤-매핑된 이미지(117)의 세기 구성요소에 의해 결정되는, 상기 채도 조정 함수(130)를 적용하는 단계;
제 3 출력 이미지를 생성하기 위해 상기 제 2 톤-매핑된 이미지(132)에 색역 매핑 함수(135)를 적용하는 단계;
상기 입력 이미지의 휘도 공간 해상도와 같은 공간 해상도를 갖는 제 2 출력 이미지를 생성하기 위해 상기 입력 이미지(102)의 휘도 구성요소(102Y)에 비-선형 지각적 양자화기(PQ) 함수를 적용하는 단계;
상기 제 3 출력 이미지(137-YPQ)의 세기 구성요소 및 상기 제 2 출력 이미지(112B)에 응답하여 제 4 출력 이미지(127)의 세기 구성요소를 생성하기 위해 디테일 보존 함수(125)를 적용하는 단계; 및
상기 제 4 출력 이미지 및 상기 제 3 출력 이미지의 채도 구성요소들에 응답하여 최종 출력 이미지를 생성하는 단계를 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 21 항에 있어서,
상기 제 2 출력 이미지(112B)의 공간 해상도에 매칭(matching)시키도록 상기 제 3 출력 이미지의 세기 구성요소를 업-스케일링하는 단계를 추가로 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
제 21 항에 있어서,
상기 제 2 동적 범위를 갖는 제 3 톤-매핑된 이미지(117B)의 세기 구성요소를 결정하기 위해 상기 제 2 출력 이미지(112B) 또는 상기 입력 이미지(102)의 휘도 구성요소(102Y)에 제 2 비-선형 톤-매핑 함수(115B)를 적용하는 단계; 및
상기 제 3 톤-매핑된 이미지(117B)의 세기 구성요소 및 상기 제 2 출력 이미지(112B)에 응답하여 상기 제 4 출력 이미지(127)의 세기 구성요소를 생성하기 위해 상기 디테일 보존 함수(125)를 적용하는 단계를 추가로 포함하는, 처리기를 통한 이미지들의 디스플레이 관리를 위한 방법.
처리기를 포함하고 제 1 항 내지 제 23 항 중 어느 한 항에 인용된 방법을 수행하도록 구성된, 장치.
비-일시적 컴퓨터-판독가능한 저장 매체에 있어서,
제 1 항 내지 제 23 항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터-실행가능한 지시가 저장된, 비-일시적 컴퓨터-판독가능한 저장 매체.