KR20190100416A - 하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑 - Google Patents

하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑 Download PDF

Info

Publication number
KR20190100416A
KR20190100416A KR1020197023862A KR20197023862A KR20190100416A KR 20190100416 A KR20190100416 A KR 20190100416A KR 1020197023862 A KR1020197023862 A KR 1020197023862A KR 20197023862 A KR20197023862 A KR 20197023862A KR 20190100416 A KR20190100416 A KR 20190100416A
Authority
KR
South Korea
Prior art keywords
output
dynamic range
input
value
smid
Prior art date
Application number
KR1020197023862A
Other languages
English (en)
Other versions
KR102122165B1 (ko
Inventor
재클린 앤 피트라즈
로빈 앳킨스
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority claimed from PCT/US2018/017830 external-priority patent/WO2018152063A1/en
Publication of KR20190100416A publication Critical patent/KR20190100416A/ko
Application granted granted Critical
Publication of KR102122165B1 publication Critical patent/KR102122165B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

이미지를 제1 다이내믹 레인지로부터 제2 다이내믹 레인지로 매핑하기 위한 방법들이 제시된다. 매핑은 3개의 앵커 포인트 및 3개의 기울기를 사용하여 결정되는 2개의 스플라인 다항식을 포함하는 함수에 기초한다. 제1 앵커 포인트는 입력 및 목표 출력의 블랙 포인트 레벨들을 사용하여 결정되고, 제2 앵커 포인트는 입력 및 목표 출력의 화이트 포인트 레벨들을 사용하여 결정되며, 제3 앵커 포인트는 입력 및 목표 출력에 대한 중간 톤 정보 데이터를 사용하여 결정된다. 목표 출력의 중간 톤 레벨은 이상적인 일대일 매핑에 기초하여 그리고 블랙들 및 하이라이트들 둘 다에서의 입력 콘트라스트를 보존하는 것에 의해 적응적으로 계산된다. 3차(입방) 에르미트 스플라인들에 기초한 예시적인 톤 매핑 전달 함수가 제시된다.

Description

하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑
관련 출원들의 상호 참조
본 출원은, 각각이 참고로 본 명세서에 포함되는, 2017년 2월 15일자로 출원된 미국 가특허 출원 제62/459,141호 및 2017년 2월 15일자로 출원된 유럽 특허 출원 제17156284.6호, 그리고 2017년 3월 1일자로 출원된 미국 가특허 출원 제62/465,298호에 기반하여 우선권의 이익을 주장한다.
기술 분야
본 발명은 일반적으로 이미지들에 관한 것이다. 보다 상세하게는, 본 발명의 일 실시예는 하이 다이내믹 레인지(HDR) 이미지들 및 비디오 신호들을 제1 다이내믹 레인지로부터 제2 다이내믹 레인지로 매핑하기 위한 톤 곡선(tone curve)에 대한 파라미터들을 결정하는 것에 관한 것이다.
본 명세서에서 사용되는 바와 같이, 용어 '다이내믹 레인지(dynamic range)'(DR)는 이미지에서 어떤 범위의 강도(intensity)(예컨대, 루미넌스(luminance), 루마(luma)), 예컨대, 가장 어두운 그레이들(grays)(블랙들(blacks))부터 가장 밝은 화이트들(하이라이트들(highlights))까지를 인지하는 인간 시각계(human visual system)(HVS)의 능력에 관한 것일 수 있다. 이러한 의미에서, DR은 '장면 참조(scene-referred)' 강도에 관련된다. DR은 또한 특정의 폭의 강도 범위를 적절하게 또는 대략적으로 렌더링하는 디스플레이 디바이스의 능력에 관련될 수 있다. 이러한 의미에서, DR은 '디스플레이 참조(display-referred)' 강도에 관련된다. 특정의 의미가 본 명세서에서의 설명의 임의의 지점에서 특정의 의의를 갖는 것으로 명시적으로 특정되지 않는 한, 이 용어는 어느 한 의미로, 예컨대, 교환가능하게 사용될 수 있는 것으로 추론되어야 한다.
본 명세서에서 사용되는 바와 같이, 용어 하이 다이내믹 레인지(high dynamic range)(HDR)는 인간 시각계(HVS)의 일부 14 내지 15 자릿수에 걸치는 DR 폭에 관련된다. 실제로, 인간이 강도 범위에서의 광범위한 폭을 동시에 인지할 수 있는 DR은, HDR과 비교하여, 다소 잘릴 수 있다. 본 명세서에서 사용되는 바와 같이, 향상된 다이내믹 레인지(enhanced dynamic range)(EDR) 또는 시각적 다이내믹 레인지(visual dynamic range)(VDR)라는 용어들은 안구 움직임들을 포함하는 인간 시각계(HVS)에 의해 장면 또는 이미지 내에서 인지 가능하여, 장면 또는 이미지에 걸쳐 일부 광 적응 변경들을 허용하는 DR에 개별적으로 또는 교환가능하게 관련될 수 있다.
실제로, 이미지들은 하나 이상의 컬러 성분(예컨대, 루마 Y 및 크로마(chroma) Cb 및 Cr)를 포함하며, 여기서 각각의 컬러 성분은 픽셀당 n-비트(예컨대, n = 8)의 정밀도로 표현된다. 선형 루미넌스 코딩(linear luminance coding)을 사용하면, n ≤ 8인 이미지들(예컨대, 컬러 24-비트 JPEG 이미지들)은 표준 다이내믹 레인지의 이미지들로 간주되는 반면, n > 8인 이미지들은 향상된 다이내믹 레인지의 이미지들로 간주될 수 있다. EDR 및 HDR 이미지들은, Industrial Light and Magic에 의해 개발된 OpenEXR 파일 포맷과 같은, 고정밀도(예컨대, 16-비트) 부동 소수점 포맷들을 사용하여 또한 저장되고 배포될 수 있다.
본 명세서에서 사용되는 바와 같이, "메타데이터"라는 용어는 코딩된 비트스트림의 일부로서 전송되고 디코더가 디코딩된 이미지를 렌더링하는 데 도움을 주는 임의의 보조 정보에 관련된다. 이러한 메타데이터는, 본 명세서에 설명되는 것들과 같이, 컬러 공간 또는 색역(gamut) 정보, 참조 디스플레이 파라미터들, 및 보조 신호 파라미터들을 포함할 수 있지만, 이들로 제한되지 않는다.
대부분의 소비자 데스크톱 디스플레이들은 200 내지 300 cd/m2 또는 니트(nits)의 루미넌스를 현재 지원한다. 대부분의 소비자 HDTV들은 300 내지 500 니트의 범위에 있으며, 새로운 모델들은 1000 니트(cd/m2)에 다다르고 있다. 이러한 종래의 디스플레이들은 따라서 HDR 또는 EDR과 비교하여, 표준 다이내믹 레인지(standard dynamic range)(SDR)라고도 지칭되는, 보다 낮은 다이내믹 레인지(lower dynamic range)(LDR)를 대표한다. 캡처 장비(예컨대, 카메라들) 및 HDR 디스플레이들(예컨대, Dolby Laboratories로부터의 PRM-4200 전문가 참조 모니터(professional reference monitor)) 둘 다에서의 진전들로 인해 HDR 콘텐츠의 가용성이 늘어남에 따라, HDR 콘텐츠는 보다 높은 다이내믹 레인지들(예컨대, 1,000 니트 내지 5,000 니트 이상)을 지원하는 HDR 디스플레이들 상에 컬러 그레이딩되고 디스플레이될 수 있다. 일반적으로, 제한 없이, 본 개시내용의 방법들은 SDR보다 더 높은 임의의 다이내믹 레인지에 관련된다.
하이 다이내믹 레인지(HDR) 콘텐츠 저작이 이제 널리 보급되고 있는데, 그 이유는 이 기술이 이전의 포맷들보다 더 사실적이고 실물같은 이미지들을 제공하기 때문이다. 그렇지만, 수억의 소비자 텔레비전 디스플레이들을 포함한, 많은 디스플레이 시스템들은 HDR 이미지들을 재생할 수 없다. 게다가, 광범위한 HDR 디스플레이들(이를테면, 1,000 니트 내지 5,000 니트 이상)로 인해, 하나의 HDR 디스플레이에 최적화된 HDR 콘텐츠는 다른 HDR 디스플레이 상에서의 직접 재생에 적당하지 않을 수 있다. 전체 시장을 서빙하기 위해 사용되는 하나의 접근법은 새로운 비디오 콘텐츠의 다수의 버전들을 제작하는 것이며; 말하자면, 하나는 HDR 이미지들을 사용하고, 다른 것은 SDR(standard dynamic range) 이미지들을 사용한다. 그렇지만, 이것은 콘텐츠 저작자들에게 자신의 비디오 콘텐츠를 다수의 포맷들로 제작하도록 요구하고, 소비자들에게 자신의 특정 디스플레이에 대해 어느 포맷을 구매해야 하는지를 알 것을 요구할 수 있다. 잠재적으로 보다 나은 접근법은 (HDR로 된) 하나의 버전의 콘텐츠를 제작하고, (예컨대, 셋톱 박스 기능의 일부인) 이미지 데이터 변환 시스템을 사용하여 입력 HDR 콘텐츠를 적절한 출력 SDR 또는 HDR 콘텐츠로 자동으로 하향 변환(또는 상향 변환)하는 것일 수 있다. 기존의 디스플레이 스킴들을 개선시키기 위해, 여기서 본 발명자들에 의해 인식되는 바와 같이, HDR 이미지들의 디스플레이 매핑을 위한 톤 곡선을 결정하기 위한 개선된 기술들이 개발되었다.
본 섹션에 설명된 접근법들은 추구될 수 있는 접근법들이지만, 반드시 이전에 구상 또는 추구되었던 접근법들인 것은 아니다. 따라서, 달리 언급되지 않는 한, 본 섹션에 설명된 접근법들 중 어느 것이든 본 섹션에 그것이 포함되어 있다는 것만으로 종래 기술로서 자격을 얻는 것으로 추정되지 않아야 한다. 이와 유사하게, 하나 이상의 접근법과 관련하여 식별된 문제들은, 달리 언급되지 않는 한, 본 섹션에 근거하여 임의의 종래 기술에서 인식되어 있었던 것으로 추정되지 않아야 한다.
본 발명의 일 실시예가 첨부 도면들의 도들에, 제한으로서가 아니라 예로서 예시되어 있으며, 첨부 도면들에서 유사한 참조 번호들은 유사한 요소들을 나타낸다.
도 1은 비디오 전달 파이프라인에 대한 예시적인 프로세스를 묘사하고 있다;
도 2는 종래 기술에 따른 3개의 앵커 포인트를 사용하여 이미지들을 제1 다이내믹 레인지로부터 제2 다이내믹 레인지로 매핑하기 위한 예시적인 매핑 기능을 묘사하고 있다;
도 3은 본 발명의 일 실시예에 따른 이미지들을 제1 다이내믹 레인지로부터 제2 다이내믹 레인지로 매핑하기 위한 예시적인 매핑 기능을 묘사하고 있다;
도 4a 및 도 4b는 본 발명의 실시예들에 따른 톤 매핑 함수를 결정하기 위한 예시적인 프로세스들을 묘사하고 있다;
도 5는 본 발명의 실시예들에 따라 결정된 2개의 예시적인 매핑 함수를 묘사하고 있다;
도 6a 및 도 6b는 본 발명의 실시예들에 따른 톤 곡선 매핑 함수의 중간 톤 앵커 포인트(mid-tones anchor point)를 결정하기 위해 입력 중간 톤 값들이 출력 중간 톤 값들에 어떻게 매핑되는지를 나타내는 예시적인 플롯들을 묘사하고 있다.
하이 다이내믹 레인지(HDR) 이미지들의 디스플레이 매핑을 위한 톤 곡선을 결정하기 위한 방법들이 본 명세서에 설명된다. 하기의 설명에서, 설명의 목적을 위해, 본 발명에 대한 철저한 이해를 제공하기 위해 다수의 특정 세부사항들이 기술된다. 그렇지만, 본 발명이 이러한 특정 세부사항들 없이도 실시될 수 있음이 명백할 것이다. 다른 경우들에서, 본 발명을 불필요하게 가리거나, 모호하게 하거나, 알기 어렵게 하는 것을 방지하기 위해, 널리 공지된 구조들 및 디바이스들이 빠짐없이 상세히 설명되지 않는다.
개요
본 명세서에 설명된 예시적인 실시예들은 하이 다이내믹 레인지(HDR) 이미지들의 디스플레이 매핑을 위한 톤 곡선을 결정하기 위한 방법들에 관한 것이다. 비디오 시스템에서, 일 실시예에서, 입력 이미지에 대해, 프로세서는 제1 다이내믹 레인지에서의 입력 블랙 포인트 레벨(x1, SMin), 입력 중간 톤 레벨(x2, SMid), 및 입력 화이트 포인트 레벨(x3, SMax)을 포함하는 제1 정보 데이터를 수신한다. 프로세서는 제2 다이내믹 레인지에서의 제1 출력 블랙 포인트 레벨(TminPQ) 및 제1 출력 화이트 포인트 레벨(TmaxPQ)을 포함하는 제2 다이내믹 레인지에서의 출력 이미지에 대한 제2 정보 데이터에 또한 액세스한다. 프로세서는 제1 및 제2 정보 데이터에 기초하여 제2 다이내믹 레인지에서의 출력 중간 톤 값을 결정한다. 프로세서는 제2 정보 데이터 및 출력 중간 톤 값에 기초하여 제2 다이내믹 레인지에서의 제2 출력 블랙 포인트 및 제2 출력 화이트 포인트를 계산한다. 이어서, 프로세서는 제1 정보 데이터, 제2 정보 데이터, 및 출력 중간 톤 값에 기초하여 테일 기울기(tail slope), 헤드 기울기(head slope), 및 중간 톤 기울기(mid-tones slope)를 계산한다. 프로세서는 제1 다이내믹 레인지에서의 입력 이미지의 픽셀 값들을 제2 다이내믹 레인지에서의 출력 이미지의 대응하는 픽셀 값들에 매핑하기 위한 전달 함수를 결정하며, 여기서 전달 함수는 2개의 세그먼트를 포함하고, 여기서 제1 세그먼트는 테일 기울기, 중간 톤 기울기, 입력 블랙 포인트 레벨, 입력 중간 톤 레벨, 제2 출력 블랙 포인트, 및 출력 중간 톤 값에 기초하여 결정되며, 제2 세그먼트는 중간 톤 기울기, 헤드 기울기, 입력 중간 톤 레벨, 입력 화이트 포인트 레벨, 출력 중간 톤 값, 및 제2 출력 화이트 포인트에 기초하여 결정된다. 프로세서는 결정된 전달 함수를 사용하여 입력 이미지를 출력 이미지에 매핑한다.
일 실시예에서, 프로세서는 제1 정보 데이터, 제2 정보 데이터 및 출력 중간 톤 값에 기초하여 제2 출력 블랙 포인트 및 제2 출력 화이트 포인트를 계산한다.
일 실시예에서, 프로세서는 입력 블랙 포인트 레벨, 입력 중간 톤 레벨, 제2 출력 블랙 포인트 및 출력 중간 톤 값에 기초하여 테일 기울기를 계산한다.
일 실시예에서, 프로세서는 입력 화이트 포인트 레벨, 입력 중간 톤 레벨, 제2 출력 화이트 포인트 및 출력 중간 톤 값에 기초하여 헤드 기울기를 계산한다.
일 실시예에서, 프로세서는 제1 정보 데이터, 제2 출력 블랙 포인트, 제2 출력 화이트 포인트 및 출력 중간 톤 값에 기초하여 중간 톤 기울기를 계산한다.
다이내믹 레인지 변환
HDR 신호들의 비디오 코딩
도 1은 비디오 캡처로부터 비디오 콘텐츠 디스플레이까지의 다양한 스테이지들을 보여주는 종래의 비디오 전달 파이프라인(100)의 예시적인 프로세스를 묘사하고 있다. 비디오 프레임들(102)의 시퀀스가 이미지 생성 블록(105)을 사용하여 캡처되거나 생성된다. 비디오 프레임들(102)은 비디오 데이터(107)를 제공하기 위해 (예컨대, 디지털 카메라에 의해) 디지털적으로 캡처되거나 컴퓨터에 의해(예컨대, 컴퓨터 애니메이션을 사용하여) 생성될 수 있다. 대안적으로, 비디오 프레임들(102)은 필름 카메라에 의해 필름 상에 캡처될 수 있다. 이 필름은 비디오 데이터(107)를 제공하기 위해 디지털 포맷으로 변환된다. 프로덕션 단계(110)에서, 비디오 데이터(107)는 비디오 프로덕션 스트림(112)을 제공하기 위해 편집된다.
프로덕션 스트림(112)의 비디오 데이터는 이어서 포스트-프로덕션 편집을 위해 블록(115)에서 프로세서에 제공된다. 블록(115)의 포스트-프로덕션 편집은 비디오 제작자의 제작 의도에 따라 이미지 품질을 향상시키거나 이미지에 대한 특정의 외양을 달성하기 위해 이미지의 특정의 영역들에서의 컬러들 또는 밝기들을 조정하거나 수정하는 것을 포함할 수 있다. 이것은 때때로 "컬러 타이밍(color timing)" 또는 "컬러 그레이딩(color grading)"이라고 불린다. 다른 편집(예컨대, 장면 선택 및 시퀀싱, 이미지 크로핑, 컴퓨터로 생성된 시각적 특수 효과들의 추가 등)이 배포를 위한 프로덕션의 최종 버전(117)을 산출하기 위해 블록(115)에서 수행될 수 있다. 포스트-프로덕션 편집(115) 동안, 비디오 이미지들이 참조 디스플레이(125) 상에 보여진다.
포스트-프로덕션(115)에 이어서, 최종 프로덕션(117)의 비디오 데이터가 텔레비전 세트들, 셋톱 박스들, 영화관들, 및 이와 유사한 것과 같은 디코딩 및 재생 디바이스들까지 하류로 전달하기 위해 인코딩 블록(120)에 전달될 수 있다. 일부 실시예들에서, 코딩 블록(120)은 코딩된 비트 스트림(122)을 생성하기 위해, ATSC, DVB, DVD, 블루레이, 및 다른 전달 포맷들에 의해 정의된 것들과 같은, 오디오 및 비디오 인코더들을 포함할 수 있다. 수신기에서, 코딩된 비트 스트림(122)은 신호(117)의 동일하거나 비슷한 근사물을 나타내는 디코딩된 신호(132)를 생성하기 위해 디코딩 유닛(130)에 의해 디코딩된다. 수신기는 참조 디스플레이(125)와 완전히 상이한 특성들을 가질 수 있는 타깃 디스플레이(140)에 부착될 수 있다. 그 경우에, 디스플레이 관리 블록(135)은 디스플레이 매핑된 신호(137)를 생성함으로써 디코딩된 신호(132)의 다이내믹 레인지를 타깃 디스플레이(140)의 특성들에 매핑하는 데 사용될 수 있다.
시그모이드(Sigmoid) 매핑을 사용한 이미지 변환
그 전체가 본 명세서에 참고로 포함되는, '480 특허라고 본 명세서에서 지칭될, A. Ballestad 및 A. Kostin의 미국 특허 제8,593,480호 "Method and apparatus for image data transformation"에서, 발명자들은 3개의 앵커 포인트 및 중간 톤 자유 파라미터(mid-tones free parameter)를 사용하여 독자적으로 결정될 수 있는 파라미터화된 시그모이드 함수를 사용하는 이미지 변환 매핑을 제안하였다. 그러한 함수의 일 예가 도 2에 묘사되어 있다.
도 2에 묘사된 바와 같이, 매핑 함수(220)는 3개의 앵커 포인트(205, 210, 215): 블랙 포인트 (x1, y1), 중간 톤 포인트 (x2, y2), 및 화이트 포인트 (x3, y3)에 의해 정의된다. 이러한 변환은 다음과 같은 속성들을 갖는다:
Figure pct00001
x1부터 x3까지의 값들은 입력 이미지를 구성하는 픽셀들을 나타내는 가능한 값들의 범위를 표현한다. 이러한 값들은 특정의 원색(color primary)(R, G 또는 B)에 대한 밝기 레벨들일 수 있거나, 픽셀의 전체 루미넌스 레벨들(이를테면, YCbCr 표현에서의 Y 성분)일 수 있다. 전형적으로, 이러한 값들은 콘텐츠를 제작하는 데 사용되는 디스플레이("마스터링 디스플레이"(125))에 의해 지원되는 가장 어두운(블랙 포인트) 및 가장 밝은(화이트 포인트) 레벨들에 대응하지만; 일부 실시예들에서, 참조 디스플레이의 특성들이 알려져 있지 않을 때, 이러한 값들은, 이미지 메타데이터를 통해 수신된 것이거나 수신기에서 계산된 것 중 어느 하나일 수 있는, 입력 이미지에서의(예컨대, R, G 또는 B, 루미넌스, 및 이와 유사한 것에서의) 최소 및 최대 값들을 나타낼 수 있다.
Figure pct00002
y1부터 y3까지의 값들은 출력 이미지를 구성하는 픽셀들을 나타내는 가능한 값들(다시 말하지만, 원색 밝기 레벨들 또는 전체 루미넌스 레벨들)의 범위를 표현한다. 전형적으로, 이러한 값들은 의도된 출력 디스플레이("타깃 디스플레이"(140))에 의해 지원되는 가장 어두운(블랙 포인트) 및 가장 밝은(화이트 포인트) 레벨들에 대응한다.
Figure pct00003
값 x1을 갖는 임의의 입력 픽셀은 값 y1을 갖는 출력 픽셀에 매핑되도록 제약되고, 값 x3을 갖는 임의의 입력 픽셀은 값 y3을 갖는 출력 픽셀에 매핑되도록 제약된다.
Figure pct00004
x2 및 y2의 값들은 이미지의 일부 "중간 범위(midrange)"(또는 중간 톤 레벨) 요소에 대한 앵커 포인트로서 사용되는 입력으로부터 출력으로의 특정 매핑을 나타낸다. x2와 y2의 특정 선택에서 상당한 허용범위(latitude)가 허용되며, '480 특허는 이러한 파라미터들이 어떻게 선택될 수 있는지에 대한 다수의 대안들을 교시한다.
3개의 앵커 포인트가 일단 선택되면, 전달 함수(220)는 수학식 1과 같이 나타내어질 수 있고,
Figure pct00005
여기서 C1, C1, 및 C3은 상수들이고, x는 컬러 채널 또는 루미넌스에 대한 입력 값을 나타내며, y는 대응하는 출력 값을 나타내고, n은 중간 톤 콘트라스트를 조정하는 데 사용될 수 있는 자유 파라미터이다.
'480 특허에 설명된 바와 같이, C1, C1, 및 C3 값들은 수학식 2를 푸는 것에 의해 결정될 수 있다
Figure pct00006
수학식 1의 톤 곡선이 다수의 디스플레이 매핑 응용분야들에 성공적으로 적용되었지만; 발명자들에 의해 인식된 바와 같이, 이는, 다음을 포함한, 다수의 잠재적 한계들을 갖는다:
Figure pct00007
타깃 디스플레이의 특정 범위 내에서 일대일 매핑이 있도록 톤 곡선 파라미터들을 정의하기가 어렵다
Figure pct00008
콘트라스트를 제어하기 위해 파라미터들(이를테면, 지수 n)을 결정하기가 어렵다.
Figure pct00009
중앙 앵커(x2, y2) 포인트에서의 작은 변화들은 예기치 않은 거동을 야기할 수 있다
Figure pct00010
블랙 앵커 포인트(205) 아래에서 그리고/또는 화이트 앵커 포인트(215) 위에서 선형 매핑을 허용하지 않는다
도 3은 일 실시예에 따른 새로운 톤 매핑 곡선의 일 예를 묘사하고 있다. 도 3에 묘사된 바와 같이, 톤 매핑 곡선(320)은 최대 4개의 세그먼트를 포함한다:
Figure pct00011
(x1, y1)보다 낮은 값들에 대한 임의적 선형 세그먼트(L1)(x1은 음수일 수도 있음)
Figure pct00012
(x1, y1)부터 (x2, y2)까지의 스플라인 S1
Figure pct00013
(x2, y2)부터 (x3, y3)까지의 스플라인 S2
Figure pct00014
(x3, y3)보다 큰 값들에 대한 임의적 선형 세그먼트(L2)(x1은 1보다도 클 수 있음)
일 실시예에서, 제한없이, 세그먼트들(S1 및 S2)은 3차(입방) 에르미트 다항식(Hermite polynomial)을 사용하여 결정된다.
나중에 논의될 것인 바와 같이, 선형 세그먼트들(L1 및 L2)을 사용하는 매핑들은 톤 곡선의 역(inverse)을 계산할 때, 예를 들어, 역 톤 매핑(inverse tone mapping) 동안, 이를테면, 표준 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지를 생성할 필요가 있을 때, 특히 유용할 수 있다.
수학식 1에서와 같이, 곡선(320)은 3개의 앵커 포인트(305, 310, 315): 블랙 포인트 (x1, y1), 중간 톤 값 포인트 (x2, y2), 및 화이트 포인트 (x3, y3)에 의해 제어된다. 그에 부가하여, 스플라인 세그먼트들 각각은, 각각의 끝점에서, 2개의 기울기에 의해 추가로 제약될 수 있고; 따라서 전체 곡선은 3개의 앵커 포인트 및 3개의 기울기: (x1, y1)에서의 테일 기울기, (x2, y2)에서의 중간 톤 기울기, 및 (x3, y3)에서의 헤드 기울기에 의해 제어된다.
일 예로서, (x1, y1)에서의 기울기 s1 및 (x2, y2)에서의 기울기 s2를 갖는, 점 (x1, y1)과 점 (x2, y2) 사이에 결정된 스플라인을 고려하면, 입력 x에 대해, 그 입방 에르미트 스플라인에 대한 전달 함수는 다음과 같이 정의될 수 있고:
[수학식 3a]
Figure pct00015
여기서
[수학식 3b]
Figure pct00016
일 실시예에서, 오버슈팅(over-shooting) 또는 언더슈팅(under-shooting)이 없도록 보장하기 위해(즉, 곡선이 단조(monotonic)이도록 보장하기 위해), 다음과 같은 규칙이 기울기 s1 및 기울기 s2에 또한 적용될 수 있고:
Figure pct00017
여기서
Figure pct00018
는 상수를 나타낸다(예컨대,
Figure pct00019
= 3).
수학식 3의 에르미트 스플라인이 주어지면, 일 실시예에서, 제한 없이, 이를테면, 지각 양자화기(perceptual quantizer, PQ)를 사용하여(예컨대, SMPTE ST 2084:2014, "High Dynamic Range EOTF of Mastering Reference Displays"에 따라) 인코딩된 비디오 입력에 대해, 전체 곡선이 다음과 같은 파라미터들에 기초하여 정의될 수 있다:
Figure pct00020
SMin = x1; 소스 콘텐츠의 최소 루미넌스를 나타낸다. 주어지지 않는 경우, SMin은 전형적인 블랙들을 표현하는 값으로 설정될 수 있다(예컨대, SMin = 0.0151)
Figure pct00021
SMax = x3; 소스 콘텐츠의 최대 루미넌스를 나타낸다. 주어지지 않는 경우, SMax는 "하이라이트들"을 표현하는 큰 값으로 설정될 수 있다(예컨대, SMax = 0.9026)
Figure pct00022
SMid = x2; 소스 콘텐츠의 평균(예컨대, 산술, 메디안, 기하) 루미넌스를 나타낸다. 일부 실시예들에서, 이는 단순히 입력 픽처에서의 "중요" 루미넌스 특징을 나타낼 수 있다. 어떤 다른 실시예에서, 이는 또한 선택된 영역(이를테면, 얼굴)의 평균 또는 메디안을 나타낼 수 있다. SMid는 수동으로 또는 자동으로 정의될 수 있으며, 그 값은 하이라이트들 또는 섀도들(shadows)에서 특정 모습을 유지하기 위해 선호사항들에 기초하여 오프셋될 수 있다. 주어지 않는 경우, SMid는 전형적인 평균 값으로 설정될 수 있다(예컨대, SMid = 0.36, 피부 톤들을 나타냄).
이러한 데이터는 이미지 또는 소스 메타데이터를 사용하여 수신될 수 있고, 이들은 디스플레이 관리 유닛(예컨대, 135)에 의해 계산될 수 있거나, 이들은 마스터링 또는 참조 디스플레이 환경에 관한 알려진 가정들에 기초할 수 있다. 그에 부가하여, 하기의 데이터는 타깃 디스플레이에 대해 알려진 것으로 가정된다(예컨대, 디스플레이의 EDID(Extended Display Identification Data)를 판독하는 것에 의해 수신됨):
Figure pct00023
TminPQ = 타깃 디스플레이의 최소 루미넌스
Figure pct00024
TmaxPQ = 타깃 디스플레이의 최대 루미넌스
여기서 용어 'PQ'는, 본 명세서에서 사용되는 바와 같이, 이러한 값들(전형적으로 니트 단위로 주어짐)이 SMPTE ST 2084에 따라 PQ 값들로 변환된다는 것을 나타낸다.
매핑 곡선을 완전히 결정하기 위해, 다음과 같은 점들 및 파라미터들이 계산될 필요가 있다:
TMin = y1;
TMax = y3;
TMid = y2 ;
slopeMin = (x1, y1)에서의 기울기;
slopeMid = (x2, y2)에서의 기울기; 및
slopeMax = (x3, y3)에서의 기울기.
도 4a는 일 실시예에 따른 톤 매핑 곡선의 앵커 포인트들 및 기울기들을 결정하기 위한 예시적인 프로세스를 묘사하고 있다. 입력 파라미터들(405)(SMin, SMid, SMax, TminPQ, 및 TmaxPQ)이 주어지면, 단계(412)는 y2(TMid)를 계산한다. 예를 들어, 일 실시예에서, TMid가 경계점들(TminPQ 및 TmaxPQ)과 미리 결정된 버퍼 내에 있는 한, 중간 톤 앵커 포인트(SMid, TMid)는 일대일 매핑 라인 상에 있도록, 즉 강제로 TMid=SMid가 되게 선택될 수 있다. TminPQ 및 TmaxPQ에 가까운 TMid 값들의 경우, TMid는 고정된 거리 내에(예컨대, TMinPQ+c와 TmaxPQ-d 사이에, 여기서 c와 d는 고정 값들임) 또는 이러한 값들의 퍼센티지로서 계산된 거리 내에 있도록 선택될 수 있다. 예를 들어, TMid는 TminPQ+ a*TminPQ 미만이 아니도록 또는 TmaxPQ-b*TMaxPQ 초과가 아니도록 강제될 수 있으며, 여기서 a와 b는 퍼센티지 값들을 나타내는 [0, 1] 내의 상수들이다(예컨대, a = b = 5% =0.05).
TMid가 주어지면, 단계(425)는 나머지 미지의 파라미터들(예컨대, y1, y2, 및 3개의 기울기)을 계산한다. 마지막으로, 단계(430)는 2개의 스플라인 세그먼트 및 2개의 선형 세그먼트를 계산한다.
다른 실시예에서, TMid를 계산하는 것은 입력 "테일 콘트라스트"(즉, 블랙들(SMin)과 중간 톤들(SMid) 사이의 콘트라스트)와 입력 "헤드 콘트라스트"(즉, 중간 톤들(SMid)과 하이라이트들(SMax) 사이의 콘트라스트) 간의 원래 비(ratio)들을 보존하려고 시도함으로써 추가로 정교해질 수 있다. 일 실시예에 따른 그러한 프로세스의 일 예가 도 4b에 묘사되어 있고 표 1에 의사 코드로 또한 기술되어 있다. 이 프로세스의 목표는 다음과 같다:
Figure pct00025
출력 중간 톤 앵커 포인트(SMid, TMid)를 대각 (일대일) 매핑에 가능한 한 가깝도록 결정하는 것. 즉, 이상적으로는, TMid는 입력 중간 톤들을 보존하기 위해 SMid에 가능한 한 가까워야 함;
Figure pct00026
일대일 매핑이 가능하지 않으면, "테일 콘트라스트" 및 "헤드 콘트라스트" 범위들의 출력 값들이 대응하는 입력 범위들로부터 미리 결정된 한계들 내에 있도록 TMid를 결정한다. 본 명세서에서 사용되는 바와 같이, 입력 "헤드 콘트라스트"는 (SMax-SMid)의 함수에 기초하고, 입력 "테일 콘트라스트"는 (SMid-SMin)의 함수에 기초한다.
Figure pct00027
중간 앵커 포인트(x2, y2) 또는 (SMid, TMid)가 주어지면, 전체 톤 곡선이 특징지어질 수 있도록 3개의 기울기를 결정한다.
Figure pct00028
Figure pct00029
상기 단계 4에서, 헤드 및 테일 오프셋 파라미터들을 계산하기 위해, 항들이 "offsetScalar"로 표기된 항과 곱해지며, 일 실시예에서, offsetScalar는 수학식 5와 같이 표현될 수 있다
Figure pct00030
이 함수의 목적은 최대 가능 오프셋들(예컨대, headroom*preservationHead 또는 tailroom*preservationTail)과 대응하는 헤드 또는 테일 기울기들 사이의 매끄러운 전환을 제공하는 것이다. 수학식 5에서의 s() 함수는 |2*midLoc -1|의 임의의 적당한 선형 또는 비선형 함수일 수 있다. 예를 들어, 다른 실시예에서,
Figure pct00031
상기 단계 8에서, slopeMid는 일대일 매핑의 경우 대각선에 가깝도록 계산된다. 이와 달리, slopeMax는 하이라이트들을 (x2, y2)와 (x3, y3) 사이의 기울기인 headslopeh (예컨대, h = 4)에 비례하게 보존하도록 계산되는 반면, slopeMin은 블랙들을 (x1, y1)과 (x2, y2) 사이의 기울기인 tailslopet (예컨대, t = 2)에 비례하게 보존하도록 계산된다. 지수들 h와 t는 하이라이트들 또는 그레이들이 얼마나 빨리 "충돌될(crashed)" 필요가 있는지를 결정한다. h와 t에 대한 전형적인 값들은 1, 2, 또는 4를 포함한다. 일 실시예에서, h = t이다.
3개의 앵커 포인트와 3개의 기울기가 주어지면, 4개의 세그먼트가 다음과 같이 생성될 수 있다:
if (SMin < x ≤ SMid) // S1 곡선
[수학식 7a]
Figure pct00032
여기서
[수학식 7b]
Figure pct00033
if (SMid < x < SMax) // S2 곡선
[수학식 7c]
Figure pct00034
여기서
[수학식 7d]
Figure pct00035
if (x ≤SMin) // L1 세그먼트
[수학식 7e]
Figure pct00036
if (x ≥ SMax) // L2 세그먼트
[수학식 7f]
Figure pct00037
도 4b로 돌아가서, 입력 파라미터들(405)(예컨대, SMin, SMid, SMax, TminPQ, 및 TmaxPQ)이 주어지면, 단계(410)는 입력 파라미터들에 기초하여 제1 목표 중간 톤 값 및 연관된 목표 headroom 및 tailroom 값들을 계산한다(예컨대, 표 1에서의 단계 2 참조). 헤드 및 테일 콘트라스트 보존 퍼센티지들(예컨대, 약 50%), 제1 목표 중간 톤 값, 및 연관된 목표 headroom 및 tailroom이 주어지면, 단계(415)는 헤드 및 테일 오프셋들을 계산한다(예컨대, 표 1에서의 단계 4 참조). 단계(420)는 입력 SMid 값에 헤드 및 테일 오프셋들을 적용하여 목표 TMid 값을 계산한다(예컨대, 표 1에서의 단계 5 참조). 다음으로, 단계(425)는 입력 파라미터들 및 TMid에 기초하여 TMax 및 TMin을 계산한다(예컨대, 표 1에서의 단계 6 참조). 단계(425)는 단조성을 보존하려고 시도하면서 2개의 스플라인에 대한 2개의 단부 기울기(end-slope) 및 중간 기울기를 또한 계산한다(예컨대, 표 1에서의 단계 8 참조). 입력 파라미터들, TMid, TMin, TMax, 및 3개의 기울기가 주어지면, 단계(430)에서 톤 매핑 곡선을 계산하기 위해 수학식 7을 적용할 수 있다.
도 5는 PQ-코딩된 데이터를 제1 다이내믹 레인지로부터 제2 보다 낮은 다이내믹 레인지로 매핑하는, 제안된 톤 곡선의 2가지 상이한 예를 묘사하고 있다. 역 매핑(inverse mapping)을 위해, 이를테면, 데이터를 보다 낮은 다이내믹 레인지로부터 원래의 하이 다이내믹 레인지로 다시 변환하기 위해 동일한 곡선이 또한 사용될 수 있다는 점에 유의해야 한다. 일 실시예에서, 역 매핑은 다음과 같이 계산될 수 있다:
Figure pct00038
앞서 설명된 바와 같이, 이를테면, y = f(x)로 표현되는, 톤 매핑 곡선을 도출한다
Figure pct00039
yi = f(xi)를 사용하여 입력 xi 값들을 출력 yi 값들에 매핑하는, 순방향 룩업 테이블을 생성한다
Figure pct00040
순방향 LUT로부터의 값들을 사용하여, 입력인 낮은 다이내믹 레인지 값들 y'k을 출력인 보다 높은 다이내믹 레인지 값들 x'k에 매핑하는, 역방향 룩업 테이블을 생성한다(즉, y'k = yi이면, x'k = xi이다)
Figure pct00041
기존 값들에 걸쳐 보간함으로써 역방향 LUT의 부가 값들을 생성한다. 예를 들어, yi < y'k < yi+1이면, 대응하는 출력 x'k은 xi와 xi+1 사이를 보간함으로써 생성될 수 있다.
도 6a는 일 실시예에 따른 톤 곡선 매핑 함수의 중간 톤 앵커 포인트를 (예컨대, 표 1에서의 단계 1 내지 단계 4를 사용하여) 결정하기 위해 입력 중간 톤 값들(SMid)이 출력 중간 톤 값들(TMid)에 어떻게 매핑되는지를 보여주는 예시적인 플롯을 묘사하고 있다. SMin = 0.01, SMax = 0.92, 및 TminPQ = 0.1이 주어지면, 플롯(605)은 TmaxPQ = 0.5일 때 SMid가 TMid에 어떻게 매핑되는지를 묘사하고, 플롯(610)은 TmaxPQ = 0.7일 때 SMid가 TMid에 어떻게 매핑되는지를 묘사하고 있다.
도 6a로부터, 작은 범위의 SMid 값들 내에서 함수(605)가 단조가 아니며, 이는, 이를테면, 페이드 인(fade-ins) 또는 페이드 아웃(fade outs) 동안 예기치 않은 결과들을 초래할 수 있다는 것을 관찰한다. 이 문제를 해결하기 위해, 표 1의 4 단계에서, 하기의 의사코드가 그 대신에 헤드 및 테일 오프셋들을 계산하는 데 사용될 수 있으며:
cutoff = a;// 예컨대, a = 0.5.
offsetHead = min(max(0, (midLoc - cutoff))*TDR, max(0,headroom*preservationHead + midLoc - 1) * TDR);
offsetTail = min(max(0, (cutoff - midLoc))*TDR,
max(0, tailroom*preservationTail - midLoc) * TDR);
여기서 cutoff는 헤드 및 테일 오프셋들이 클리핑될 타깃 다이내믹 레인지의 퍼센티지를 지정함으로써 하이라이트들 대 섀도들의 유지를 우선순위화하는 변수이다. 예를 들어, 0.5의 cutoff 값은 하이라이트들 및 쉐도들에 동일한 우선순위화를 부여하는 반면, 0.7의 cutoff 값은 쉐도들에보다 하이라이트들에 더 높은 우선순위화를 부여한다.
이 접근법은, 코사인 함수 또는 제곱근 함수 중 어느 것도 계산할 것을 요구하지 않기 때문에, 계산적으로 더 간단하기도 하고, 도 6b에 묘사된 바와 같이, 단조성을 보존하기도 한다. SMin = 0.01, SMax = 0.92, 및 TminPQ = 0.1이 주어지면, 도 6b에서, 플롯(615)은 TmaxPQ = 0.5일 때 SMid가 TMid에 어떻게 매핑되는지를 묘사하고, 플롯(620)은 TmaxPQ = 0.7일 때 SMid가 TMid에 어떻게 매핑되는지를 묘사하고 있다.
수학식 1과 비교하여, 제안된 톤 곡선은 다음과 같은 것들을 포함한, 다수의 장점들을 나타낸다:
Figure pct00042
slopeMid 파라미터를 사용하여, 콘트라스트를 보존하기 위해 타깃 디스플레이의 특정 범위 내에서 SMid 값과 TMid 값 사이의 일대일 매핑을 정의할 수 있다.
Figure pct00043
이미지 콘트라스트는 slopeMid와 contrastFactor 변수를 통해 명시적으로 제어될 수 있다(표 1, 단계 8 참조). 예를 들어, 일 실시예에서, contrastFactor의 값은, 제한없이, 0.5 내지 2.0의 범위에 있을 수 있으며, contrastFactor의 디폴트 값 = 1이다;
Figure pct00044
전체 곡선을 2개의 스플라인으로 분할함으로써, 중간 톤 앵커 (x2, y2) 주위에서 예기치 않은 거동이 더 이상 없다;
Figure pct00045
SlopeMin과 SlopMax를 사용하여, 블랙 앵커 포인트 이전과 화이트 앵커 포인트 이후의 매핑 곡선의 거동을 미리 결정할 수 있다;
Figure pct00046
이 곡선은 음의 입력 값들(예컨대, x < 0)을 매핑할 수 있다. 그러한 조건은 잡음 또는 다른 시스템 조건들(예컨대, 공간 필터링)으로 인해 발생할 수 있다. 전형적으로 음의 값들을 0으로 클램핑하지만; 그러한 클램핑은 결국 잡음을 증가시키고 전반적인 품질을 저하시킬 수 있다. 음의 입력 값들을 매핑할 수 있는 것에 의해, 그러한 클리핑 기반 아티팩트들이 감소되거나 제거될 수 있다.
Figure pct00047
톤 매핑 곡선은 x 대 y 매핑의 y 대 x 매핑으로의 간단한 전환에 의해 쉽게 반전될 수 있다.
Figure pct00048
임의의 비-정수 지수 또는 멱 함수들을 사용할 필요가 없으며, 따라서 계산들이 보다 빠르고 보다 효율적인데, 그 이유는 비-정수 지수들이 사용되지 않기 때문이다.
마지막 요점과 관련하여, 계산 관점에서, 비자명(non-trivial) 콘트라스트 값(예컨대, n ≠ 1 및/또는 n이 정수가 아닐 때)에 대해 수학식 2에서의 함수 파라미터들을 결정하는 것은 6개의 멱 함수를 사용하는 것을 요구한다(예컨대, y = pow(x,n)의 경우, y = xn). 이와 달리, 표 1에서의 계산들은 비-정수 멱 함수들을 결코 요구하지 않는다(2 또는 4의 거듭제곱들을 계산하는 것은 간단한 곱셈들을 요구한다). 대체로, 수학식 1과 비교하여, 수학식 7은 입력 샘플당 곱셈/나눗셈 및 덧셈/뺄셈 연산들을 몇 개 더 요구하지만, 멱 함수들을 요구하지는 않는다. 일부 실시예들에서, 수학식 7은 테이블 룩업을 이용하여 구현될 수 있다. 보다 중요한 것은, 발명자들에 의해 수행된 사용자 연구들은 사용자들이 새로운 톤 매핑 함수(320)를 사용하여 생성된 이미지들의 전체적인 화질을 선호한다는 것을 나타내는 것으로 보인다는 것이다.
예시적인 컴퓨터 시스템 구현
본 발명의 실시예들은 컴퓨터 시스템, 전자 회로 및 컴포넌트들에 구성된 시스템들, 마이크로컨트롤러, FPGA(field programmable gate array), 또는 다른 구성가능한 또는 프로그래밍가능한 로직 디바이스(PLD), 이산 시간 또는 디지털 신호 프로세서(DSP), ASIC(application specific IC)과 같은 집적 회로(IC), 및/또는 그러한 시스템들, 디바이스들 또는 컴포넌트들 중 하나 이상을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는, 본 명세서에 설명된 것들과 같은, 하이 다이내믹 레인지를 갖는 이미지들의 이미지 변환들에 관련된 명령어들을 수행, 제어, 또는 실행할 수 있다. 컴퓨터 및/또는 IC는 본 명세서에 설명된 이미지 변환 프로세스들에 관련된 다양한 파라미터들 또는 값들 중 임의의 것을 계산할 수 있다. 이미지 및 비디오 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 이들의 다양한 조합들로 구현될 수 있다.
본 발명의 특정한 구현들은 프로세서들로 하여금 본 발명의 방법을 수행하게 하는 소프트웨어 명령어들을 실행하는 컴퓨터 프로세서들을 포함한다. 예를 들어, 디스플레이, 인코더, 셋톱 박스, 트랜스코더 또는 이와 유사한 것 내의 하나 이상의 프로세서는 프로세서들에 의해 액세스 가능한 프로그램 메모리 내의 소프트웨어 명령어들을 실행하는 것에 의해 앞서 설명된 바와 같은 HDR 이미지들에 대한 이미지 변환들에 관련된 방법들을 구현할 수 있다. 본 발명은 프로그램 제품의 형태로 또한 제공될 수 있다. 프로그램 제품은, 데이터 프로세서에 의해 실행될 때, 데이터 프로세서로 하여금 본 발명의 방법을 실행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 신호들의 세트를 담고 있는 임의의 비일시적 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 매우 다양한 형태들 중 임의의 형태로 되어 있을 수 있다. 프로그램 제품은, 예를 들어, 플로피 디스켓들, 하드 디스크 드라이브들을 포함한 자기 데이터 저장 매체들, CD ROM들, DVD들을 포함한 광학 데이터 저장 매체들, ROM들, 플래시 RAM을 포함한 전자 데이터 저장 매체들, 또는 이와 유사한 것을 포함할 수 있다. 프로그램 제품 상의 컴퓨터 판독가능 신호들은 임의로 압축되거나 암호화될 수 있다.
컴포넌트(예컨대, 소프트웨어 모듈, 프로세서, 어셈블리, 디바이스, 회로 등)가 위에서 언급되는 경우, 달리 명시되지 않는 한, 해당 컴포넌트에 대한 언급("수단"에 대한 언급을 포함함)은 설명된 컴포넌트의 기능을 수행하는(예컨대, 기능적으로 균등물인) 임의의 컴포넌트를, 본 발명의 예시된 예시적인 실시예들에서 그 기능을 수행하는 개시된 구조와 구조적으로 균등물이 아닌 컴포넌트들을 포함하여, 해당 컴포넌트의 균등물들로서 포함하는 것으로 해석되어야만 한다.
균등물, 확장물, 대체물 및 기타
HDR 비디오의 SDR 비디오로의 효율적인 이미지 변환에 관련된 예시적인 실시예들이 이와 같이 설명되었다. 전술한 명세서에서, 본 발명의 실시예들은 구현마다 달라질 수 있는 수많은 특정 세부사항들에 관련하여 설명되었다. 따라서, 본 발명이 무엇인지에 대한, 그리고 본 출원인들이 본 발명이라고 의도하는 것들에 대한 유일하고 배타적인 표시자는, 임의의 후속 보정을 포함하여, 그러한 청구항들이 발행되는 특정 형태로, 본 출원으로부터 발행되는 청구항들의 세트이다. 그러한 청구항들에 포함되는 용어들에 대해 본 명세서에서 명시적으로 제시된 임의의 정의들은 청구항들에서 사용되는 바와 같은 그러한 용어들의 의미를 지배할 것이다. 따라서, 청구항에서 명시적으로 기재되지 않은 어떠한 제한, 요소, 특성, 특징, 장점 또는 속성도 어떤 식으로든 그러한 청구항의 범위를 제한하지 않을 것이다. 명세서 및 도면들은, 그에 따라, 제한적인 의미라기보다는 예시적인 의미로 간주되어야 한다.
본 발명의 다양한 양태들은 다음의 열거된 예시적인 실시예들(enumerated example embodiments)(EEE들)로부터 인식될 수 있다:
EEE 1. 프로세서를 사용하여 이미지를 제1 다이내믹 레인지로부터 제2 다이내믹 레인지로 매핑하는 방법으로서,
제1 다이내믹 레인지에서의 입력 블랙 포인트 레벨(x1, SMin), 입력 중간 톤 레벨(x2, SMid), 및 입력 화이트 포인트 레벨(x3, SMax)을 포함하는 제1 다이내믹 레인지에서의 입력 이미지에 대한 제1 정보 데이터에 액세스하는 단계;
제2 다이내믹 레인지에서의 제1 출력 블랙 포인트 레벨(TminPQ) 및 제1 출력 화이트 포인트 레벨(TmaxPQ)을 포함하는 제2 다이내믹 레인지에서의 출력 이미지에 대한 제2 정보 데이터에 액세스하는 단계;
제1 정보 데이터 및 제2 정보 데이터에 기초하여 제2 다이내믹 레인지에서의 출력 중간 톤 값을 결정하는 단계;
제2 정보 데이터 및 출력 중간 톤 값에 기초하여 제2 다이내믹 레인지에서의 제2 출력 블랙 포인트 및 제2 출력 화이트 포인트를 계산하는 단계;
제1 정보 데이터, 제2 정보 데이터, 및 출력 중간 톤 값에 기초하여 테일 기울기, 헤드 기울기, 및 중간 톤 기울기를 계산하는 단계;
제1 다이내믹 레인지에서의 입력 이미지의 픽셀 값들을 제2 다이내믹 레인지에서의 출력 이미지의 대응하는 픽셀 값들에 매핑하기 위한 전달 함수를 결정하는 단계 - 전달 함수는 2개의 세그먼트를 포함하고, 제1 세그먼트는 테일 기울기, 중간 톤 기울기, 입력 블랙 포인트, 입력 중간 톤 레벨, 제2 출력 블랙 포인트, 및 출력 중간 톤 값에 기초하여 결정되며, 제2 세그먼트는 중간 톤 기울기, 헤드 기울기, 입력 중간 톤 레벨, 입력 화이트 포인트, 출력 중간 톤 레벨, 및 제2 출력 화이트 포인트에 기초하여 결정됨 -; 및
결정된 전달 함수를 사용하여 입력 이미지를 출력 이미지에 매핑하는 단계를 포함하는, 방법.
EEE 2. EEE 1에 있어서, 제1 다이내믹 레인지는 하이 다이내믹 레인지를 포함하고, 제2 다이내믹 레인지는 표준 다이내믹 레인지를 포함하는, 방법.
EEE 3. EEE 1 또는 EEE 2에 있어서, 전달 함수는 제1 다이내믹 레인지에서의 입력 블랙 포인트보다 더 낮은 입력 값들에 대한 제1 선형 세그먼트를 추가로 포함하고, 선형 세그먼트는 테일 기울기와 동일한 기울기를 갖는, 방법.
EEE 4. EEE 3에 있어서, 제1 선형 세그먼트에 대한 전달 함수는
Figure pct00049
을 포함하고, x는 입력 픽셀 값을 나타내며, y는 출력 픽셀 값을 나타내고, slopeMin은 테일 기울기를 나타내며, TMin은 제2 다이내믹 레인지에서의 제2 출력 블랙 포인트를 나타내고, SMin은 제1 다이내믹 레인지에서의 입력 블랙 포인트를 나타내는, 방법.
EEE 5. EEE 1 내지 EEE 4 중 어느 한 EEE에 있어서, 전달 함수는 제1 다이내믹 레인지에서의 입력 화이트 포인트보다 더 큰 입력 값들에 대한 제2 선형 세그먼트를 추가로 포함하고, 선형 세그먼트는 헤드 기울기와 동일한 기울기를 갖는, 방법.
EEE 6. EEE 5에 있어서, 제2 선형 세그먼트에 대한 전달 함수는
Figure pct00050
을 포함하고, x는 입력 픽셀 값을 나타내며, y는 출력 픽셀 값을 나타내고, slopeMax는 헤드 기울기를 나타내며, TMax는 제2 다이내믹 레인지에서의 제2 출력 화이트 포인트를 나타내고, SMax는 제1 다이내믹 레인지에서의 입력 화이트 포인트를 나타내는, 방법.
EEE 7. EEE 1 내지 EEE 6 중 어느 한 EEE에 있어서, 제1 세그먼트 및/또는 제2 세그먼트는 3차 에르미트 스플라인 다항식에 기초하여 결정되는, 방법.
EEE 8. EEE 7에 있어서, 제1 세그먼트를 결정하는 단계는
Figure pct00051
을 계산하는 단계를 포함하며,
T = (x - SMin)/(SMid - SMin)이고, x는 입력 픽셀 값을 나타내며, y는 출력 픽셀 값을 나타내고, slopeMin은 테일 기울기를 나타내며, slopeMid는 중간 톤 기울기를 나타내고, TMin 및 TMid는 제2 출력 블랙 포인트 및 출력 중간 톤 레벨을 나타내며, SMin 및 SMid는 제1 다이내믹 레인지에서의 입력 블랙 포인트 및 입력 중간 톤 레벨을 나타내는, 방법.
EEE 9. EEE 7 또는 EEE 8에 있어서, 제2 세그먼트를 결정하는 단계는
Figure pct00052
을 계산하는 단계를 포함하며,
T = (x - SMid)/(SMax - SMid)이고, x는 입력 픽셀 값을 나타내며, y는 출력 픽셀 값을 나타내고, slopeMax는 헤드 기울기를 나타내며, slopeMid는 중간 톤 기울기를 나타내고, TMid 및 TMax는 제2 다이내믹 레인지에서의 출력 중간 톤 레벨 및 제2 출력 화이트 포인트를 나타내며, SMid 및 SMax는 제1 다이내믹 레인지에서의 입력 중간 톤 레벨 및 입력 화이트 포인트를 나타내는, 방법.
EEE 10. EEE 1 내지 EEE 9 중 어느 한 EEE에 있어서, 출력 중간 톤 값을 계산하는 단계는:
if SMid < TminPQ+a*TMinPQ
then TMid = TMinPQ+a*TMinPQ;
else if SMid > TmaxPQ-b*TmaxPQ
then TMid = TmaxPQ-b*TmaxPQ;
else TMid = SMid;
를 계산하는 단계를 포함하며, TMid는 출력 중간 톤 값을 나타내고, a와 b는 [0, 1] 내의 백분위수 값들이며, SMid는 입력 중간 톤 레벨을 나타내고, TminPQ 및 TmaxPQ는 제2 정보 데이터 내의 값들을 포함하는, 방법.
EEE 11. EEE 1 내지 EEE 9 중 어느 한 EEE에 있어서, 출력 중간 톤 값을 계산하는 단계는:
제1 정보 데이터 및 제1 출력 블랙 포인트에 기초하여, 제2 다이내믹 레인지에서의 예비 출력 중간 톤 값, 및 예비 출력 중간 톤 값에 대한 제1 및 제2 경계 값들(bounding values)을 결정하는 단계;
예비 출력 중간 톤 값, 제1 및 제2 경계 값들, 및 하나 이상의 입력 콘트라스트 보존 값에 기초하여 제2 다이내믹 레인지에서의 헤드 오프셋 및 테일 오프셋을 계산하는 단계; 및
제1 다이내믹 레인지에서의 입력 중간 톤 레벨 및 헤드 및 테일 오프셋들에 기초하여 제2 다이내믹 레인지에서의 출력 중간 톤 값을 계산하는 단계를 추가로 포함하는, 방법.
EEE 12. EEE 11에 있어서, 예비 출력 중간 톤 값 및 제1 출력 중간 톤 값에 대한 제1 및 제2 경계 값들을 결정하는 단계는,
midLoc = (SMid-TminPQ)/TDR;
headroom = (SMax-SMid)/TDR;
tailroom = (SMid-SMin)/TDR;
을 계산하는 단계를 포함하고, 여기서,
TDR = TmaxPQ-TminPQ이며,
midLoc은 예비 출력 중간 톤 값을 나타내고, tailroom 및 headroom은 제1 출력 중간 톤 값에 대한 제1 및 제2 경계 값들을 나타내며, SMin, SMid, 및 SMax는 제1 정보 데이터를 나타내고, TminPQ는 제1 출력 블랙 포인트 레벨을 나타내는, 방법.
EEE 13. EEE 11 또는 EEE 12에 있어서, 적어도 하나의 콘트라스트 보존 값은 대략 50%인, 방법.
EEE 14. EEE 11 내지 EEE 13 중 어느 한 EEE에 있어서, 출력 중간 톤 값(TMid)을 계산하는 단계는
TMid = SMid-offsetHead+offsetTail
을 계산하는 단계를 포함하며, SMid는 제1 다이내믹 레인지에서의 입력 중간 톤 레벨을 나타내고, offsetHead 및 offsetTail은 헤드 및 테일 오프셋들을 나타내는, 방법.
EEE 15. EEE 14에 있어서, 제2 다이내믹 레인지에서의 제2 출력 화이트 포인트 및 제2 출력 블랙 포인트를 계산하는 단계는
TMax = min(TMid+SMax-SMid,TmaxPQ),
TMin = max(TMid-SMid+SMin,TminPQ
를 계산하는 단계를 포함하며, TMin은 제2 출력 블랙 포인트를 나타내고, TMax는 제2 출력 화이트 포인트를 나타내며, SMin 및 SMax는 제1 다이내믹 레인지에서의 입력 블랙 포인트 및 입력 화이트 포인트를 나타내고, TminPQ 및 TmaxPQ는 제2 다이내믹 레인지에서의 제1 출력 블랙 포인트 및 제1 출력 화이트 포인트를 나타내는, 방법.
EEE 16. EEE 10 또는 EEE 15에 있어서, 테일 기울기의 최대 값(maxMinSlope) 및/또는 헤드 기울기의 최대 값(maxMaxSlope)을
maxMinSlope = 3*(TMid-TMin)/(SMid-SMin),
maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)
로서 계산하는 단계를 추가로 포함하는, 방법.
EEE 17. EEE 16에 있어서, 테일 기울기(slopeMin), 중간 톤 기울기(slopeMid), 및 헤드 기울기(slopeMax)를 계산하는 단계는
slopeMin = min([maxMinSlope,(( TMid - TMin)/(SMid - SMin))2]);
slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))4]);
slopeMid = min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
를 계산하는 단계를 추가로 포함하며, contrastFactor는 콘트라스트 파라미터를 나타내는, 방법.
EEE 18. EEE 1 내지 EEE 17 중 어느 한 EEE에 있어서, 이미지를 제2 다이내믹 레인지로부터 다시 제1 다이내믹 레인지로 매핑하기 위한 역방향 룩업 테이블을 결정하는 단계를 추가로 포함하며, 상기 방법은:
결정된 전달 함수에 기초하여 제1 다이내믹 레인지에서의 복수의 x(i) 값들을 제2 다이내믹 레인지에서의 y(i) 값들에 매핑하는 순방향 룩업 테이블을 결정하는 단계; 및
y'(k) = y(i)이면, x'(k) = x(i)
그렇지 않고
y(i) < y'(k) < y(i+1)이면, 대응하는 출력 x'(k)가 x(i)와 x(i+1) 사이의 값을 보간하는 것에 의해 생성되는 것으로
설정하는 것에 의해 제2 다이내믹 레인지에서의 복수의 y'(k) 값들을 제1 다이내믹 레인지에서의 대응하는 x'(k) 값들에 매핑하는 역방향 룩업 테이블을 생성하는 단계를 포함하는, 방법.
EEE 19. 장치로서, 프로세서를 포함하고 EEE 1 내지 EEE 18에 열거된 방법들 중 어느 한 방법을 수행하도록 구성된, 장치.
EEE 20. 하나 이상의 프로세서를 사용하여 EEE 1 내지 EEE 18 중 어느 한 EEE에 따른 방법을 실행하기 위한 컴퓨터 실행가능 명령어가 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체.

Claims (19)

  1. 프로세서를 사용하여 이미지를 제1 다이내믹 레인지로부터 제2 다이내믹 레인지로 매핑하는 방법으로서,
    상기 제1 다이내믹 레인지에서의 입력 이미지에 대한 제1 정보 데이터에 액세스하는 단계 - 상기 제1 정보 데이터는 상기 제1 다이내믹 레인지에서의 입력 블랙 포인트 레벨(x1, SMin), 입력 중간 톤 레벨(x2, SMid), 및 입력 화이트 포인트 레벨(x3, SMax)을 포함함 -;
    상기 제2 다이내믹 레인지에서의 출력 이미지에 대한 제2 정보 데이터에 액세스하는 단계 - 상기 제2 정보 데이터는 상기 제2 다이내믹 레인지에서의 제1 출력 블랙 포인트 레벨(TminPQ) 및 제1 출력 화이트 포인트 레벨(TmaxPQ)을 포함함 -;
    상기 제1 정보 데이터 및 상기 제2 정보 데이터에 기초하여 상기 제2 다이내믹 레인지에서의 출력 중간 톤 값을 결정하는 단계;
    상기 제2 정보 데이터 및 상기 출력 중간 톤 값에 기초하여 상기 제2 다이내믹 레인지에서의 제2 출력 블랙 포인트 및 제2 출력 화이트 포인트를 계산하는 단계;
    상기 제1 정보 데이터, 상기 제2 정보 데이터, 및 상기 출력 중간 톤 값에 기초하여 테일 기울기, 헤드 기울기, 및 중간 톤 기울기를 계산하는 단계;
    상기 제1 다이내믹 레인지에서의 상기 입력 이미지의 픽셀 값들을 상기 제2 다이내믹 레인지에서의 상기 출력 이미지의 대응하는 픽셀 값들에 매핑하기 위한 전달 함수를 결정하는 단계 - 상기 전달 함수는 2개의 세그먼트를 포함하고, 제1 세그먼트는 상기 테일 기울기, 상기 중간 톤 기울기, 상기 입력 블랙 포인트 레벨, 상기 입력 중간 톤 레벨, 상기 제2 출력 블랙 포인트, 및 상기 출력 중간 톤 값에 기초하여 결정되며, 제2 세그먼트는 상기 중간 톤 기울기, 상기 헤드 기울기, 상기 입력 중간 톤 레벨, 상기 입력 화이트 포인트 레벨, 상기 출력 중간 톤 값, 및 상기 제2 출력 화이트 포인트에 기초하여 결정됨 -; 및
    상기 결정된 전달 함수를 사용하여 상기 입력 이미지를 상기 출력 이미지에 매핑하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 제2 다이내믹 레인지에서의 상기 제2 출력 블랙 포인트 및 상기 제2 출력 화이트 포인트를 계산하는 단계는 상기 제1 정보 데이터에 추가로 기초하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 테일 기울기를 계산하는 단계는 상기 입력 블랙 포인트 레벨, 상기 입력 중간 톤 레벨, 상기 제2 출력 블랙 포인트 및 상기 출력 중간 톤 값에 기초하고;
    상기 헤드 기울기를 계산하는 단계는 상기 입력 화이트 포인트 레벨, 상기 입력 중간 톤 레벨, 상기 제2 출력 화이트 포인트 및 상기 출력 중간 톤 값에 기초하며;
    상기 중간 톤 기울기를 계산하는 단계는 상기 제1 정보 데이터, 상기 제2 출력 블랙 포인트, 상기 제2 출력 화이트 포인트 및 상기 출력 중간 톤 값에 기초하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 다이내믹 레인지는 하이 다이내믹 레인지를 포함하고, 상기 제2 다이내믹 레인지는 표준 다이내믹 레인지를 포함하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 전달 함수는 상기 제1 다이내믹 레인지에서의 상기 입력 블랙 포인트 레벨보다 더 낮은 입력 값들에 대한 제1 선형 세그먼트를 추가로 포함하고, 상기 선형 세그먼트는 상기 테일 기울기와 동일한 기울기를 가지며, 임의로 상기 제1 선형 세그먼트에 대한 상기 전달 함수는
    y = TMin + (x - SMin) * slopeMin
    을 포함하고, x는 입력 픽셀 값을 나타내며, y는 출력 픽셀 값을 나타내고, slopeMin은 상기 테일 기울기를 나타내며, TMin은 상기 제2 다이내믹 레인지에서의 상기 제2 출력 블랙 포인트를 나타내고, SMin은 상기 제1 다이내믹 레인지에서의 상기 입력 블랙 포인트 레벨을 나타내는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 전달 함수는 상기 제1 다이내믹 레인지에서의 상기 입력 화이트 포인트 레벨보다 더 큰 입력 값들에 대한 제2 선형 세그먼트를 추가로 포함하고, 상기 선형 세그먼트는 상기 헤드 기울기와 동일한 기울기를 가지며, 임의로 상기 제2 선형 세그먼트에 대한 상기 전달 함수는
    y = TMax + (x - SMax) * slopeMax
    를 포함하고, x는 입력 픽셀 값을 나타내며, y는 출력 픽셀 값을 나타내고, slopeMax는 상기 헤드 기울기를 나타내며, TMax는 상기 제2 다이내믹 레인지에서의 상기 제2 출력 화이트 포인트를 나타내고, SMax는 상기 제1 다이내믹 레인지에서의 상기 입력 화이트 포인트 레벨을 나타내는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 세그먼트 및/또는 상기 제2 세그먼트는 3차 에르미트 스플라인 다항식(Hermite spline polynomial)에 기초하여 결정되는 방법.
  8. 제7항에 있어서, 상기 제1 세그먼트를 결정하는 단계는
    Figure pct00053
    을 계산하는 단계를 포함하며,
    T = (x - SMin)/(SMid - SMin)이고, x는 입력 픽셀 값을 나타내며, y는 출력 픽셀 값을 나타내고, slopeMin은 상기 테일 기울기를 나타내며, slopeMid는 상기 중간 톤 기울기를 나타내고, TMin 및 TMid는 상기 제2 출력 블랙 포인트 및 상기 출력 중간 톤 값을 나타내며, SMin 및 SMid는 상기 제1 다이내믹 레인지에서의 상기 입력 블랙 포인트 레벨 및 상기 입력 중간 톤 레벨을 나타내는 방법.
  9. 제7항 또는 제8항에 있어서, 상기 제2 세그먼트를 결정하는 단계는
    Figure pct00054
    을 계산하는 단계를 포함하며,
    T = (x - SMid)/(SMax - SMid)이고, x는 입력 픽셀 값을 나타내며, y는 출력 픽셀 값을 나타내고, slopeMax는 상기 헤드 기울기를 나타내며, slopeMid는 상기 중간 톤 기울기를 나타내고, TMid 및 TMax는 상기 제2 다이내믹 레인지에서의 상기 출력 중간 톤 값 및 상기 제2 출력 화이트 포인트를 나타내며, SMid 및 SMax는 상기 제1 다이내믹 레인지에서의 상기 입력 중간 톤 레벨 및 상기 입력 화이트 포인트 레벨을 나타내는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 출력 중간 톤 값을 계산하는 단계는:
    if SMid < TminPQ+a*TMinPQ
    then TMid = TMinPQ+a*TMinPQ;
    else if SMid > TmaxPQ-b*TmaxPQ
    then TMid = TmaxPQ-b*TmaxPQ;
    else TMid = SMid;
    를 계산하는 단계를 포함하며, TMid는 상기 출력 중간 톤 값을 나타내고, a와 b는 [0, 1] 내의 백분위수 값들이며, SMid는 상기 입력 중간 톤 레벨을 나타내고, TminPQ 및 TmaxPQ는 상기 제2 정보 데이터 내의 값들을 포함하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 출력 중간 톤 값을 계산하는 단계는:
    상기 제1 정보 데이터 및 상기 제1 출력 블랙 포인트에 기초하여, 상기 제2 다이내믹 레인지에서의 예비 출력 중간 톤 값, 및 상기 예비 출력 중간 톤 값에 대한 제1 및 제2 경계 값들(bounding values)을 결정하는 단계;
    상기 예비 출력 중간 톤 값, 상기 제1 및 제2 경계 값들, 및 하나 이상의 입력 콘트라스트 보존 값에 기초하여 상기 제2 다이내믹 레인지에서의 헤드 오프셋 및 테일 오프셋을 계산하는 단계; 및
    상기 제1 다이내믹 레인지에서의 상기 입력 중간 톤 레벨 및 상기 헤드 및 테일 오프셋들에 기초하여 상기 제2 다이내믹 레인지에서의 상기 출력 중간 톤 값을 계산하는 단계
    를 추가로 포함하는 방법.
  12. 제11항에 있어서, 상기 예비 출력 중간 톤 값 및 상기 제1 출력 중간 톤 값에 대한 상기 제1 및 제2 경계 값들을 결정하는 단계는,
    midLoc = (SMid-TminPQ)/TDR;
    headroom = (SMax-SMid)/TDR;
    tailroom = (SMid-SMin)/TDR;
    을 계산하는 단계를 포함하고,
    TDR = TmaxPQ-TminPQ이며,
    midLoc은 상기 예비 출력 중간 톤 값을 나타내고, tailroom 및 headroom은 상기 제1 출력 중간 톤 값에 대한 상기 제1 및 제2 경계 값들을 나타내며, SMin, SMid, 및 SMax는 상기 제1 정보 데이터를 나타내고, TminPQ는 상기 제1 출력 블랙 포인트 레벨을 나타내는 방법.
  13. 제11항 또는 제12항에 있어서, 적어도 하나의 콘트라스트 보존 값은 대략 50%인 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서, 상기 출력 중간 톤 값(TMid)을 계산하는 단계는
    TMid = SMid-offsetHead+offsetTail
    을 계산하는 단계를 포함하며, SMid는 상기 제1 다이내믹 레인지에서의 상기 입력 중간 톤 레벨을 나타내고, offsetHead 및 offsetTail은 상기 헤드 및 테일 오프셋들을 나타내는 방법.
  15. 제14항에 있어서, 상기 제2 다이내믹 레인지에서의 상기 제2 출력 화이트 포인트 및 상기 제2 출력 블랙 포인트를 계산하는 단계는
    TMax = min(TMid+SMax-SMid,TmaxPQ),
    TMin = max(TMid-SMid+SMin,TminPQ
    를 계산하는 단계를 포함하며, TMin은 상기 제2 출력 블랙 포인트를 나타내고, TMax는 상기 제2 출력 화이트 포인트를 나타내며, SMin 및 SMax는 상기 제1 다이내믹 레인지에서의 상기 입력 블랙 포인트 레벨 및 상기 입력 화이트 포인트 레벨을 나타내고, TminPQ 및 TmaxPQ는 상기 제2 다이내믹 레인지에서의 상기 제1 출력 블랙 포인트 및 상기 제1 출력 화이트 포인트를 나타내는 방법.
  16. 제10항 또는 제15항에 있어서, 상기 테일 기울기의 최대 값(maxMinSlope) 및/또는 상기 헤드 기울기의 최대 값(maxMaxSlope)을
    maxMinSlope = 3*(TMid-TMin)/(SMid-SMin),
    maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)
    로서 계산하는 단계를 추가로 포함하고,
    임의로:
    상기 테일 기울기(slopeMin), 상기 중간 톤 기울기(slopeMid), 및 상기 헤드 기울기(slopeMax)를 계산하는 단계는
    slopeMin = min([maxMinSlope,(( TMid - TMin)/(SMid - SMin))2]);
    slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))4]);
    slopeMid = min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
    를 계산하는 단계를 추가로 포함하며, contrastFactor는 콘트라스트 파라미터를 나타내는 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 이미지를 상기 제2 다이내믹 레인지로부터 다시 상기 제1 다이내믹 레인지로 매핑하기 위한 역방향 룩업 테이블을 결정하는 단계를 추가로 포함하며, 상기 방법은:
    상기 결정된 전달 함수에 기초하여 상기 제1 다이내믹 레인지에서의 복수의 x(i) 값들을 상기 제2 다이내믹 레인지에서의 y(i) 값들에 매핑하는 순방향 룩업 테이블을 결정하는 단계; 및
    y'(k) = y(i)이면, x'(k) = x(i)
    그렇지 않고
    y(i) < y'(k) < y(i+1)이면, 대응하는 출력 x'(k)가 x(i)와 x(i+1) 사이의 값을 보간하는 것에 의해 생성되는 것으로
    설정하는 것에 의해 상기 제2 다이내믹 레인지에서의 복수의 y'(k) 값들을 상기 제1 다이내믹 레인지에서의 대응하는 x'(k) 값들에 매핑하는 상기 역방향 룩업 테이블을 생성하는 단계
    를 포함하는 방법.
  18. 장치로서, 프로세서를 포함하고 제1항 내지 제17항에 열거된 방법들 중 어느 한 방법을 수행하도록 구성되는 장치.
  19. 하나 이상의 프로세서를 사용하여 제1항 내지 제17항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 실행가능 명령어가 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체.
KR1020197023862A 2017-02-15 2018-02-12 하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑 KR102122165B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762459141P 2017-02-15 2017-02-15
US62/459,141 2017-02-15
EP17156284 2017-02-15
EP17156284.6 2017-02-15
US201762465298P 2017-03-01 2017-03-01
US62/465,298 2017-03-01
PCT/US2018/017830 WO2018152063A1 (en) 2017-02-15 2018-02-12 Tone curve mapping for high dynamic range images

Publications (2)

Publication Number Publication Date
KR20190100416A true KR20190100416A (ko) 2019-08-28
KR102122165B1 KR102122165B1 (ko) 2020-06-11

Family

ID=61244840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197023862A KR102122165B1 (ko) 2017-02-15 2018-02-12 하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑

Country Status (11)

Country Link
US (1) US10600166B2 (ko)
EP (1) EP3559901B1 (ko)
JP (1) JP6738972B2 (ko)
KR (1) KR102122165B1 (ko)
CN (1) CN110337667B (ko)
BR (1) BR112019016825A2 (ko)
DK (1) DK3559901T3 (ko)
ES (1) ES2817852T3 (ko)
HU (1) HUE050807T2 (ko)
PL (1) PL3559901T3 (ko)
RU (1) RU2713869C1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110050292B (zh) * 2016-12-12 2023-08-01 杜比实验室特许公司 用于调整高动态范围图像的视频处理曲线的系统和方法
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
US10863157B2 (en) * 2018-07-06 2020-12-08 Samsung Electronics Co., Ltd. Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device
EP3853809A1 (en) * 2018-09-17 2021-07-28 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images on power-limiting displays
CN112215760A (zh) * 2019-07-11 2021-01-12 华为技术有限公司 一种图像处理的方法及装置
US11127124B2 (en) * 2019-10-28 2021-09-21 Adobe Inc. Evenly spaced curve sampling technique for digital visual content transformation
EP4136634A1 (en) 2020-04-17 2023-02-22 Dolby Laboratories Licensing Corp. Chromatic ambient light correction
WO2021222310A1 (en) 2020-04-28 2021-11-04 Dolby Laboratories Licensing Corporation Image-dependent contrast and brightness control for hdr displays
WO2021223205A1 (en) * 2020-05-08 2021-11-11 Huawei Technologies Co., Ltd. Encoder, decoder, system, and method for determining tone mapping curve parameters
EP4165874A1 (en) 2020-06-11 2023-04-19 Dolby Laboratories Licensing Corporation Producing and adapting video images for presentation on displays with different aspect ratios
CN115803802A (zh) 2020-06-30 2023-03-14 杜比实验室特许公司 用于使用pq偏移进行环境光补偿的系统和方法
WO2022120104A2 (en) 2020-12-04 2022-06-09 Dolby Laboratories Licensing Corporation Processing of extended dimension light field images
EP4315232A1 (en) 2021-03-22 2024-02-07 Dolby Laboratories Licensing Corporation Luminance adjustment based on viewer adaptation state
EP4377879A1 (en) 2021-07-29 2024-06-05 Dolby Laboratories Licensing Corporation Neural networks for dynamic range conversion and display management of images
EP4392928A1 (en) 2021-08-24 2024-07-03 Dolby Laboratories Licensing Corporation Neural networks for precision rendering in display management
US11961206B2 (en) * 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves
WO2023056267A1 (en) 2021-09-28 2023-04-06 Dolby Laboratories Licensing Corporation Multi-step display mapping and metadata reconstruction for hdr video
EP4409902A1 (en) 2021-09-30 2024-08-07 Dolby Laboratories Licensing Corporation Dynamic spatial metadata for image and video processing
WO2023224917A1 (en) 2022-05-16 2023-11-23 Dolby Laboratories Licensing Corporation Trim pass metadata prediction in video sequences using neural networks
WO2024107472A1 (en) 2022-11-16 2024-05-23 Dolby Laboratories Licensing Corporation Estimating metadata for images having absent metadata or unusable form of metadata

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140038566A (ko) * 2012-08-08 2014-03-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 Hdr 이미지들을 위한 이미지 프로세싱
KR20160074970A (ko) * 2014-12-19 2016-06-29 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20170020288A (ko) * 2015-08-13 2017-02-22 톰슨 라이센싱 Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들
KR20170107929A (ko) * 2016-03-16 2017-09-26 톰슨 라이센싱 확장된 높은 동적 범위(hdr) 대 hdr 톤 매핑을 위한 방법, 장치 및 시스템

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058234B2 (en) * 2002-10-25 2006-06-06 Eastman Kodak Company Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions
US7298373B2 (en) 2003-06-11 2007-11-20 Agfa Healthcare Method and user interface for modifying at least one of contrast and density of pixels of a processed image
JP3949684B2 (ja) * 2004-04-30 2007-07-25 三菱電機株式会社 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ
US7508550B2 (en) * 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
JP4277773B2 (ja) * 2004-09-21 2009-06-10 株式会社日立製作所 映像表示装置
JP4372747B2 (ja) * 2005-01-25 2009-11-25 シャープ株式会社 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
KR100707270B1 (ko) * 2005-08-17 2007-04-16 삼성전자주식회사 Ｒｇｂ값을 이용한 영상 콘트라스트 개선 방법 및 장치
JP5299867B2 (ja) * 2009-06-30 2013-09-25 日立コンシューマエレクトロニクス株式会社 画像信号処理装置
JP2011228807A (ja) * 2010-04-15 2011-11-10 Nikon Corp 画像処理プログラム、画像処理装置、および画像処理方法
TWI538474B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US9036042B2 (en) 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
TWI624182B (zh) 2011-04-15 2018-05-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
US20140118423A1 (en) * 2011-06-27 2014-05-01 Sharp Kabushiki Kaisha Liquid crystal display apparatus
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
JP6309978B2 (ja) * 2013-02-21 2018-04-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 改善されたｈｄｒイメージ符号化及び復号化方法、装置
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
US10218917B2 (en) * 2013-07-16 2019-02-26 Koninklijke Philips N.V. Method and apparatus to create an EOTF function for a universal code mapping for an HDR image, method and process to use these images
JP6368365B2 (ja) * 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP6543442B2 (ja) * 2014-07-30 2019-07-10 ルネサスエレクトロニクス株式会社 画像処理装置および画像処理方法
EP3231174B1 (en) * 2014-12-11 2020-08-26 Koninklijke Philips N.V. Optimizing high dynamic range images for particular displays
DK3231174T3 (da) * 2014-12-11 2020-10-26 Koninklijke Philips Nv Optimering af billeder med højt dynamikområde til bestemte displays
US20180167597A1 (en) * 2015-05-29 2018-06-14 Thomson Licensing Methods, apparatus, and systems for hdr tone mapping operator
EP3323104B1 (en) * 2015-07-16 2021-10-27 InterDigital Madison Patent Holdings, SAS A method and device for tone-mapping a picture by using a parametric tone-adjustment function
MX2018006330A (es) * 2015-11-24 2018-08-29 Koninklijke Philips Nv Manejo de multiples fuentes de imagen de rango dinamico alto (hdr).
JP2017098845A (ja) * 2015-11-26 2017-06-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
MX2018007486A (es) * 2015-12-21 2018-09-05 Koninklijke Philips Nv Optimizacion de imagenes de alto intervalo dinamico para pantallas particulares.
CN106023916B (zh) * 2016-06-08 2018-08-31 深圳市华星光电技术有限公司 伽马修正系统和方法
US10242435B2 (en) * 2016-09-07 2019-03-26 Gvbb Holdings S.A.R.L. High dynamic range processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140038566A (ko) * 2012-08-08 2014-03-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 Hdr 이미지들을 위한 이미지 프로세싱
KR20160074970A (ko) * 2014-12-19 2016-06-29 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20170020288A (ko) * 2015-08-13 2017-02-22 톰슨 라이센싱 Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들
KR20170107929A (ko) * 2016-03-16 2017-09-26 톰슨 라이센싱 확장된 높은 동적 범위(hdr) 대 hdr 톤 매핑을 위한 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR102122165B1 (ko) 2020-06-11
PL3559901T3 (pl) 2020-11-16
DK3559901T3 (da) 2020-08-31
CN110337667B (zh) 2023-09-08
JP2020510913A (ja) 2020-04-09
US20200005441A1 (en) 2020-01-02
EP3559901A1 (en) 2019-10-30
JP6738972B2 (ja) 2020-08-12
HUE050807T2 (hu) 2021-01-28
ES2817852T3 (es) 2021-04-08
US10600166B2 (en) 2020-03-24
EP3559901B1 (en) 2020-08-05
BR112019016825A2 (pt) 2020-04-07
CN110337667A (zh) 2019-10-15
RU2713869C1 (ru) 2020-02-07

Similar Documents

Publication Publication Date Title
KR102122165B1 (ko) 하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑
TWI671710B (zh) 用於高動態範圍影像之色調曲線映射
RU2762384C1 (ru) Переформирование сигналов для сигналов широкого динамического диапазона
US9613407B2 (en) Display management for high dynamic range video
EP3459248B1 (en) Chroma reshaping for high dynamic range images
US9230338B2 (en) Graphics blending for high dynamic range video
CN110192223B (zh) 高动态范围图像的显示映射
KR20170140437A (ko) 높은 동적 범위 비디오에 대한 디스플레이 관리
KR102287095B1 (ko) 전력-제한 디스플레이 상에서의 하이 다이나믹 레인지 이미지를 위한 디스플레이 매핑
KR20240089140A (ko) Hdr 비디오를 위한 다단계 디스플레이 매핑 및 메타데이터 재구성
CN118020090A (zh) 用于hdr视频的多步骤显示映射和元数据重建

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right