KR20230003066A - 동적 범위 맵핑 방법 및 장치 - Google Patents

동적 범위 맵핑 방법 및 장치 Download PDF

Info

Publication number
KR20230003066A
KR20230003066A KR1020227041352A KR20227041352A KR20230003066A KR 20230003066 A KR20230003066 A KR 20230003066A KR 1020227041352 A KR1020227041352 A KR 1020227041352A KR 20227041352 A KR20227041352 A KR 20227041352A KR 20230003066 A KR20230003066 A KR 20230003066A
Authority
KR
South Korea
Prior art keywords
parameter
curve
luminance
tone mapping
value
Prior art date
Application number
KR1020227041352A
Other languages
English (en)
Other versions
KR102701013B1 (ko
Inventor
웨이웨이 수
콴허 유
후 천
이추안 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20230003066A publication Critical patent/KR20230003066A/ko
Application granted granted Critical
Publication of KR102701013B1 publication Critical patent/KR102701013B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/007
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

이 출원은 이미지의 최대 디스플레이 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 맵핑된 단말 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상을 회피하는 것을 돕기 위한 동적 범위 맵핑 방법 및 장치를 제공한다. 동적 범위 맵핑 방법은: 단말 디바이스의 디스플레이 파라미터를 획득하는 단계; 이미지 데이터의 특징 정보를 획득하는 단계(910); 이미지 데이터의 제1 톤 맵핑 곡선의 제1 파라미터를 획득하는 단계(920); 사전설정된 조건이 충족될 때, 제1 파라미터, 단말 디바이스의 디스플레이 파라미터, 및 이미지 데이터의 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계(930) - 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 제2 톤 맵핑 곡선 상의 제1 포인트에서의 입력 휘도를 초과하지 않음 -; 및 제2 톤 맵핑 곡선의 제2 파라미터에 기초하여 이미지 데이터에 대한 동적 범위 맵핑을 수행하는 단계(940)를 포함한다.

Description

동적 범위 맵핑 방법 및 장치
이 출원은 2020년 4월 30일자로 "동적 범위 맵핑 방법 및 장치(DYNAMIC RANGE MAPPING METHOD AND APPARATUS)"라는 명칭으로 중국 특허청에 출원된 중국 특허 출원 제202010365696.3호에 대한 우선권을 주장하고, 이 중국 특허 출원은 그 전체가 참조로 본 명세서에 통합된다.
이 출원은 디스플레이 기술의 분야에 관한 것으로, 더 구체적으로, 동적 범위 맵핑(dynamic range mapping) 방법 및 장치에 관한 것이다.
동적 범위(dynamic range, DR)는 많은 분야에서 변수의 최소 값에 대한 최대 값의 비율을 지시한다. 디지털 이미지에 대하여, 동적 범위는 이미지의 디스플레이가능한 범위에서의 최소 휘도(luminance)에 대한 최대 휘도의 비율, 즉, 이미지의 "가장 밝은" 부분과 "가장 어두운" 부분 사이의 분할을 통해 획득된 그레이스케일(grayscale) 레벨의 수량을 지시한다. 휘도의 단위는 제곱 미터 당 칸델라(candela per square meter)(cd/m2)이거나, 니트(nit)로서 표현될 수 있다. 이미지의 더 큰 동적 범위는 이미지를 나타내기 위한 더 많은 휘도 레벨 및 이미지의 더 현실적인 시각적 효과를 지시한다. 실세계에서의 자연 장면의 동적 범위는 10-3 내지 106 사이이다. 동적 범위는 매우 크고, 그러므로, 높은 동적 범위(high dynamic range, HDR)로서 지칭된다. 높은 동적 범위 이미지와 비교하면, 보편적인 이미지는 표준 동적 범위(standard dynamic range, SDR) 또는 낮은 동적 범위(low dynamic range, SDR)를 가진다.
현재, 동적 범위가 0.1 니트 내지 400 니트 미만인 디스플레이 디바이스는 일반적으로, SDR 디스플레이 디바이스로서 지칭된다. 동적 범위가 0.01 니트 내지 540 니트를 초과하는 디스플레이 디바이스는 일반적으로, HDR 디스플레이 디바이스로서 지칭된다. 상이한 높은 동적 범위 디스플레이 디바이스는 상이한 동적 범위, 예를 들어, 0.01 니트 내지 540 니트의 HDR 디스플레이 디바이스 및 0.005 니트 내지 1000 니트의 HDR 디스플레이 디바이스를 디스플레이한다. 동적 범위 맵핑 방법은 하이(high)로부터 로우(low)로의 톤 맵핑(tone mapping) 프로세스 및 로우로부터 하이로의 톤 맵핑 프로세스를 포함하는, 프론트-엔드(front-end) HDR 신호와 백-엔드(back-end) HDR 디스플레이 디바이스 사이의 적응 프로세스(adaptation process)에 주로 적용된다. 예를 들어, 프론트 엔드는 4000-니트 조명 신호를 수집하는 반면, 백-엔드 디스플레이 디바이스는 오직 500 니트의 HDR 디스플레이 능력을 가진다. 그러므로, 4000-니트 조명 신호를 500-니트 디스플레이 디바이스로 맵핑하는 것은 하이로부터 로우로의 맵핑 프로세스이다. 또 다른 예에 대하여, 프론트 엔드는 100-니트 SDR 조명 신호를 수집하는 반면, 백-엔드 디스플레이 디바이스는 2000 니트의 HDR 디스플레이 능력을 가진다. 그러므로, 100-니트 조명 신호를 2000-니트 디스플레이 디바이스로 맵핑하는 것은 로우로부터 하이로의 맵핑 프로세스이다.
기존의 기술에서, 이미지의 최대 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도 미만일 때, "S"-형상 곡선의 동적 범위에 기초한 맵핑 알고리즘은 높은 동적 범위 이미지를, 디스플레이를 위하여 디스플레이 디바이스에 의해 디스플레이될 수 있는 동적 범위로 조절하기 위하여 이용될 수 있다. 그러나, 이미지의 최대 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 상기한 해결책이 여전히 이용될 경우에는, 맵핑된 디스플레이 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상이 있다. 그 결과, 사용자 경험이 영향을 받는다.
이 출원은 이미지의 최대 디스플레이 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 맵핑된 단말 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상을 회피하는 것을 돕기 위한 동적 범위 맵핑 방법 및 장치를 제공한다.
제1 양태에 따르면, 동적 범위 맵핑 방법이 제공되고, 동적 범위 맵핑 방법은,
단말 디바이스의 디스플레이 파라미터를 획득하는 단계;
이미지 데이터의 특징 정보를 획득하는 단계;
이미지 데이터의 제1 톤 맵핑 곡선의 제1 파라미터를 획득하는 단계;
사전설정된 조건이 충족될 때, 제1 파라미터, 단말 디바이스의 디스플레이 파라미터, 및 이미지 데이터의 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계 - 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 제2 톤 맵핑 곡선 상의 제1 포인트에서의 입력 휘도를 초과하지 않음 -; 및
제2 톤 맵핑 곡선의 제2 파라미터에 기초하여 이미지 데이터에 대한 동적 범위 맵핑을 수행하는 단계를 포함한다.
그러므로, 이 출원의 이 실시예에서, 제1 톤 맵핑 곡선의 파라미터가 추가로 조절되어, 조절된 곡선 파라미터(즉, 제2 파라미터)에 대응하는 톤 맵핑 곡선(즉, 제2 톤 맵핑 곡선) 상의 포인트의 출력 휘도는 포인트의 대응하는 입력 휘도를 초과하지 않는다. 이것은 이미지의 최대 디스플레이 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 맵핑된 단말 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상을 회피하는 것을 돕는다.
이 출원의 이 실시예는 단말 디바이스에 적용될 수 있다. 단말 디바이스는 예를 들어, 디스플레이 디바이스이다. 디스플레이 디바이스의 제품 형태는 셋톱 박스(set-top box), 텔레비전 디스플레이 디바이스, 모바일 전화 디스플레이 디바이스, 또는 라이브 웹캐스팅(live webcasting) 및 비디오 애플리케이션을 위한 변환 디바이스와 같은 전자 디바이스일 수 있다. 예에서, 셋톱 박스, 텔레비전 디스플레이 디바이스, 또는 모바일 전화 디스플레이 디바이스 상에서, 이 출원의 이 실시예에서 제공된 해결책은 하드웨어 칩의 형태로 구현될 수 있다. 라이브 웹캐스팅 또는 비디오 재생 디바이스 상에서, 이 출원의 이 실시예에서 제공된 해결책은 소프트웨어 프로그램 코드의 형태로 주로 구현된다. 그러나, 이 출원의 이 실시예는 그것으로 제한되지 않는다.
예를 들어, 이미지 데이터는 예를 들어, HDR 소스 또는 SDR 소스, 예를 들어, 이미지 내의 픽셀 데이터, 예를 들어, 각각의 픽셀의 휘도 및 컬러 데이터일 수 있다.
예를 들어, 이미지 데이터의 특징 정보는 이미지 데이터의 메타데이터 M으로부터 획득될 수 있다. 메타데이터 M은 예를 들어, 이미지 데이터에 대응하는 곡선 파라미터 Mcurve, 타깃화된 시스템 디스플레이 실제적 피크 휘도 MTPL(targeted system display actual peak luminance), 이미지 데이터의 컨텐츠(content)의 최대 휘도 값 MaxSource(모든 픽셀의 Y 컴포넌트의 최대 값, 또는 모든 픽셀의 RGB 컴포넌트의 최대 값들 중의 최대 값), 최소 휘도 값 MinSource(모든 픽셀의 Y 컴포넌트의 최소 값, 또는 모든 픽셀의 RGB 컴포넌트의 최대 값들 중의 최소 값), 평균 값(모든 픽셀의 Y 컴포넌트의 평균 값, 또는 모든 픽셀의 RGB 컴포넌트의 최대 값들 중의 평균 값), 및 디스플레이된 컨텐츠의 변화 범위를 포함할 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
일부 실시예에서, 이미지 데이터의 특징 정보는 이미지 데이터 V의 픽셀 정보로부터 추가로 획득될 수 있다. 대안적으로, 사전설정된 값을 갖는 이미지 데이터의 특징 정보 값이 이용된다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
예를 들어, 단말 디바이스의 디스플레이 파라미터 MTPL은 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay 및/또는 최소 디스플레이 휘도 MinDisplay, 또는 또 다른 파라미터를 포함할 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 사전설정된 조건은 다음의 조건 중의 임의의 하나가 충족될 때에 충족된다:
톤 맵핑이 제1 파라미터에 기초하여 이미지 데이터에 대해 수행될 때, 제1 톤 맵핑 곡선 상의 제2 포인트에서의 출력 휘도는 제1 톤 맵핑 곡선 상의 제2 포인트에서의 입력 휘도를 초과한다.
대안적으로, 제1 파라미터 내의 파라미터 pP1은 제1 값 Tp를 초과한다. 제1 값 Tp는 제1 파라미터 내의 aP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득된다. Tp는 곡선 파라미터 p의 임계치를 지시한다. 제1 파라미터 pP1이 Tp를 초과할 때, 제2 톤 맵핑 곡선 상의 포인트에서의 출력 휘도는 입력 휘도를 초과할 수 있다.
대안적으로, 제1 파라미터 내의 파라미터 aP1은 제2 값 Ta를 초과한다. 제2 값 Ta는 제1 파라미터 내의 pP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득된다. Ta는 곡선 파라미터 a의 임계치를 지시한다. 제1 파라미터 aP1이 Ta를 초과할 때, 제2 톤 맵핑 곡선 상의 포인트에서의 출력 휘도는 입력 휘도를 초과할 수 있다.
대안적으로, 제1 파라미터 내의 파라미터 aP1 및 파라미터 pP1의 곱(product)은 제3 값 Tap를 초과한다. 제3 값 Tap는 사전설정된 유리수(rational number)이다. 제1 파라미터 내의 파라미터 aP1 및 파라미터 pP1의 곱이 Tap를 초과할 때, 제2 톤 맵핑 곡선 상의 포인트에서의 출력 휘도는 입력 휘도를 초과할 수 있다. 예를 들어, 제3 값 Tap는 3 내지 4 사이의 유리수, 예를 들어, 3.2 또는 3.4일 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
그러므로, 이 출원의 이 실시예에서, 사전설정된 조건이 충족될 때, 즉, 톤 맵핑이 제1 톤 맵핑 곡선에 기초하여 이미지 데이터에 대해 수행될 때에 제1 톤 맵핑 곡선 상의 포인트의 출력 휘도가 제1 톤 맵핑 곡선 상의 포인트의 입력 휘도를 초과할 때, 제2 톤 맵핑 곡선의 제2 파라미터를 생성하는 프로세스가 수행될 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제2 파라미터는 제1 선형 스플라인 곡선(linear spline curve) 파라미터를 포함한다. 제1 선형 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 기울기 MB[0][0] 및/또는 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3[0] 및/또는 제1 선형 스플라인 및 수직 좌표 축의 교차 포인트 base_offset를 포함한다.
이 출원의 이 실시예에서, 동적 범위 맵핑이 제2 파라미터에 기초하여 이미지 데이터에 대해 수행될 때, 직선 라인 부분(즉 제1 선형 스플라인)은 이미지 데이터의 어두운 영역에서 톤 맵핑을 수행하기 위하여 이용될 수 있다. 이러한 방식으로, 휘도 이득(luminance gain)이 제어될 수 있다. 추가적으로, 직선 라인으로부터 직선 라인 y = x로 점차적으로 변화하도록 제2 파라미터를 제어하는 것이 더 편리하다. 직선 라인 y = x는 톤 맵핑 곡선 상의 임의의 포인트에서의 출력 휘도가 입력 휘도인 것과 동등하다. 그러므로, 이 출원의 이 실시예에서, 플리커 현상(flicker phenomenon)은 경사 휘도(gradient luminance)를 갖는 컨텐츠에 대하여 야기될 가능성이 없다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 파라미터는 제2 선형 스플라인 곡선 파라미터를 포함한다. 제2 선형 스플라인 곡선 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0] 및/또는 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0]을 포함한다. 디스플레이 파라미터는 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay를 포함한다. 특징 정보는 이미지 데이터의 최대 휘도 보정 값 max_lum을 포함한다.
제1 파라미터, 디스플레이 파라미터, 및 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계는,
곡선 파라미터 MB[0][0] 및 TH3[0]을 획득하기 위하여 최대 디스플레이 휘도 MaxDisplay 및 최대 휘도 보정 값 max_lum에 기초하여 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0]을 조절하는 단계를 포함한다.
그러므로, 이 출원의 이 실시예에서, 제2 톤 맵핑 곡선의 제1 선형 스플라인의 기울기 MB[0][0] 및 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3[0]은 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0], 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0], 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay, 및 이미지 데이터의 최대 휘도 보정 값 max_lum에 기초하여 획득될 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0], 및 곡선 파라미터 MB[0][0] 및 TH3[0]은 다음의 공식을 만족시키고:
Figure pct00001
, 및
Figure pct00002
, 여기서,
Figure pct00003
, 또는
Figure pct00004
, 여기서,
Figure pct00005
, 또는
Figure pct00006
이다.
L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1 및 N2는 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
Figure pct00007
, 또는
Figure pct00008
이다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 파라미터는 제2 선형 스플라인 곡선 파라미터를 포함한다. 제2 선형 스플라인 곡선 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0] 및/또는 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0] 및/또는 제1 선형 스플라인 및 수직 좌표 축의 교차 포인트 base_offset_mid를 포함한다. 디스플레이 파라미터는 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay를 포함한다. 특징 정보는 이미지 데이터의 최대 휘도 보정 값 max_lum을 포함한다.
제1 파라미터, 디스플레이 파라미터, 및 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계는,
곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset을 획득하기 위하여 최대 디스플레이 휘도 MaxDisplay 및 최대 휘도 보정 값 max_lum에 기초하여 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid를 조절하는 단계를 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid, 및 곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset는 다음의 공식을 만족시키고:
Figure pct00009
,
Figure pct00010
, 및
Figure pct00011
, 여기서,
Figure pct00012
,
Figure pct00013
, 또는
Figure pct00014
이다.
L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1, N2, 및 N3은 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
Figure pct00015
, 또는
Figure pct00016
이다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제2 파라미터는 3차 스플라인 곡선(cubic spline curve) 파라미터를 포함한다. 3차 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 3차 스플라인(cubic spline)의 보간 포인트 값(interpolation point value) TH1[1], TH2[1], 및 TH3[1]을 포함한다. TH1[1]은 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값을 지시한다. TH2[1]는 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값, 및 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최소 값을 지시한다. TH3[1]은 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최대 값을 지시한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 이하에서 도시된 바와 같은, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값(correlation value)의 사전 설정된 오프셋 값에 기초하여 획득된다:
TH1[1] = TH3[0],
TH2[1] = TH1[1] + B, 및
TH3[1] = TH2[1] + C * TH2[1] - D * TH1[1].
B, C, 및 D는 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값의 사전설정된 값이다. B는 어둡고-밝은 전이 영역 픽셀의 휘도 값에 대응하는 사전설정된 오프셋 값이다. C 및 D는 밝은 영역 픽셀의 휘도 값에 대응하는 사전설정된 가중화 계수이다.
그러므로, 이 출원의 이 실시예에서, 제2 파라미터에 대한 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터, 및 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값의 사전설정된 오프셋 값에 기초하여 획득될 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 이하에서 도시된 바와 같은, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값에 기초하여 획득된다:
TH1[1] = 3Spline_TH[i][0][w],
TH2[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w], 및
TH3[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w] + 3Spline_TH_Delta1[i][2][w].
3Spline_TH[i][0][w], 3Spline_TH_Delta1[i][1][w], 및 3Spline_TH_Delta1[i][2][w]는, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위하여 이용되고 메타데이터로부터 추출되는 상관 값이다.
그러므로, 이 출원의 이 실시예에서, 제2 파라미터에 대한 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터, 및 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위하여 이용되고 메타데이터로부터 추출되는 상관 값에 기초하여 획득될 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, TH3[0]에서의 제2 톤 맵핑 곡선 상의 선형 스플라인의 Y 좌표는 TH1[1]에서의 제2 톤 맵핑 곡선 상의 3차 스플라인의 Y 좌표와 동일하고, TH3[0]에서의 선형 스플라인의 1차 미분(first-order derivative)은 TH1[1]에서의 3차 스플라인의 1차 미분과 동일하다.
이러한 방식으로, 제2 톤 맵핑 곡선 내의 선형 스플라인 곡선, 및 제2 톤 맵핑 곡선 내의 3차 스플라인 곡선은 TH[1]에서 연속적일 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, TH2[1]에서의 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 Y 좌표는 TH2[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표와 동일하고, TH2[1]에서의 제1 3차 스플라인의 1차 미분은 TH2[1]에서의 제2 3차 스플라인의 1차 미분과 동일하다.
이러한 방식으로, 제2 톤 맵핑 곡선 내의 제1 3차 스플라인 곡선 및 제2 3차 스플라인 곡선은 TH[2]에서 연속적일 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, TH3[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표는 TH3[1]에서의 제2 톤 맵핑 곡선 상의 제3 톤 맵핑 함수의 Y 좌표와 동일하고, TH3[1]에서의 제2 3차 스플라인의 1차 미분은 TH3[1]에서의 제3 톤 맵핑 함수의 1차 미분과 동일하다.
이러한 방식으로, 제2 톤 맵핑 곡선 내의 제2 3차 스플라인 곡선 및 제3 톤 맵핑 함수의 곡선은 TH[3]에서 연속적일 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 이미지 데이터의 제1 톤 맵핑 곡선의 제1 파라미터를 획득하는 단계는,
이미지 데이터의 메타데이터를 획득하는 단계; 및
메타데이터 및 디스플레이 파라미터에 기초하여 제1 톤 맵핑 곡선의 제1 파라미터를 결정하는 단계를 포함한다.
예를 들어, 디스플레이 디바이스는 평균 휘도 값 average_maxrgb, 및/또는 최대 휘도 값 MaxSource, 및/또는 메타데이터 M 내의 이미지 데이터 V의 컨텐츠의 최소 휘도 값 MinSource, 및/또는 디스플레이 디바이스의 최대 디스플레이 휘도 MaxDisplay, 및/또는 디스플레이 디바이스의 최소 디스플레이 휘도 MinDisplay, 및/또는 곡선 파라미터
Figure pct00017
, 및/또는 다른 데이터에 기초하여, 제1 톤 맵핑 곡선의 제1 파라미터를 획득할 수 있다. 제1 파라미터는 예를 들어,
Figure pct00018
으로서 표현될 수 있다. X는 입력 휘도 값이고,
Figure pct00019
는 곡선 파라미터 값이다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제2 파라미터는 선형 스플라인 곡선 파라미터를 더 포함한다. 선형 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3C, 및 제1 선형 스플라인의 기울기 Dark를 포함한다.
이 출원의 이 실시예에서, 동적 범위 맵핑이 제2 파라미터에 기초하여 이미지 데이터에 대해 수행될 때, 직선 라인 부분(즉 제1 선형 스플라인)은 이미지 데이터의 어두운 영역에서 톤 맵핑을 수행하기 위하여 이용될 수 있다. 이러한 방식으로, 휘도 이득이 제어될 수 있다. 추가적으로, 직선 라인으로부터 직선 라인 y = x로 점차적으로 변화하도록 제2 파라미터를 제어하는 것이 더 편리하다. 직선 라인 y = x는 톤 맵핑 곡선 상의 임의의 포인트에서의 출력 휘도가 입력 휘도인 것과 동등하다. 그러므로, 이 출원의 이 실시예에서, 플리커 현상은 경사 휘도를 갖는 컨텐츠에 대하여 야기될 가능성이 없다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 방법은,
제1 선형 스플라인의 초기 범위 픽셀의 휘도 값의 최대 값 TH3C0을 획득하는 단계;
제1 선형 스플라인의 초기 기울기 Dark0을 획득하는 단계;
초기 범위 픽셀의 휘도 값의 최대 값 TH3C0에 기초하여 범위 픽셀의 휘도 값의 최대 값 TH3C를 결정하는 단계; 및
초기 기울기 Dark0에 기초하여 기울기 Dark를 결정하는 단계를 더 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 선형 스플라인의 초기 범위 픽셀의 휘도 값의 최대 값 TH3C0을 획득하는 단계는,
제1 파라미터에 기초하여 초기 범위 픽셀의 휘도 값의 최대 값 TH3C0을 결정하는 단계 - 제1 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3[0]을 포함함 -; 또는
사전설정된 값에 기초하여 초기 범위 픽셀의 휘도 값의 최대 값 TH3C0을 결정하는 단계 - 사전설정된 값은 예를 들어, 어두운 시야(dark vision) 및 밝은 시야(bright vision)의 분해, 즉, 인간 눈 변화의 원뿔 셀(cone cell) 및 봉 셀(rod cell)의 응답이 증가하거나 감소하는 휘도, 예를 들어, 1 니트임 -; 또는
이미지 데이터의 메타데이터에 기초하여 초기 범위 픽셀의 휘도 값의 최대 값 TH3C0을 결정하는 단계 - 메타데이터는 히스토그램(histogram) 내의 어두운 영역 픽셀의 수량의 특징 데이터를 포함함 - 를 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 선형 스플라인의 초기 기울기 Dark0을 획득하는 단계는,
제1 파라미터에 기초하여 초기 기울기 Dark0을 결정하는 단계 - 제1 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB[0][0]을 포함함 -; 또는
범위 픽셀의 휘도 값의 최대 값 TH3C에 대한 제4 값의 비율에 기초하여 초기 기울기 Dark0을 결정하는 단계 - 제4 값은 범위 픽셀의 휘도 값의 최대 값 TH3C에서의 제1 톤 맵핑 곡선의 출력 값임 -; 또는
0 내지 범위 픽셀의 휘도 값의 최대 값 TH3C 사이의 제1 톤 맵핑 곡선의 사전설정된 입력 값의 기울기 값에 기초하여 초기 기울기 Dark0을 결정하는 단계를 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 초기 범위 픽셀의 휘도 값의 최대 값 TH3C0, 범위 픽셀의 휘도 값의 최대 값 TH3C, 초기 기울기 Dark0, 및 기울기 Dark는 다음의 공식을 만족시키고:
Figure pct00020
,
Figure pct00021
,
Figure pct00022
, 또는
Figure pct00023
이다.
TH3C는 TH3C0를 초과하고 MaxSource 미만이다. TH3C0은 MaxSource 미만이다. N1 및 N2는 0을 초과하는 유리수이다. H(L)은 톤 맵핑 곡선이다. G(L)은 H(L)의 역함수이다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 초기 범위 픽셀의 휘도 값의 최대 값 TH3C0, 범위 픽셀의 휘도 값의 최대 값 TH3C, 초기 기울기 Dark0, 및 기울기 Dark는 다음의 공식을 만족시키고:
Figure pct00024
,
Figure pct00025
,
Figure pct00026
, 또는
Figure pct00027
이다.
MaxLum은 이미지 데이터의 최대 휘도의 조절 값이다. TH3C는 TH3C0을 초과하고 MaxSource 미만이다. TH3C0은 MaxSource 미만이다. N1 및 N2는 0을 초과하는 유리수이다. H(L)은 톤 맵핑 곡선 함수이다. G(L)은 H(L)의 역함수이다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제2 파라미터는 3차 스플라인 곡선 파라미터를 더 포함한다. 3차 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값 TH1D를 포함한다.
방법은,
제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3C에 기초하여 제1 범위 픽셀의 휘도 값의 최소 값 TH1D를 결정하는 단계를 더 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제2 파라미터는 3차 스플라인 곡선 파라미터를 더 포함한다. 3차 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값 TH2D를 포함한다.
방법은,
제1 범위 픽셀의 휘도 값의 최소 값 TH1D에 기초하여 제1 범위 픽셀의 휘도 값의 최대 값 TH2D를 결정하는 단계를 더 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 범위 픽셀의 휘도 값의 최소 값 TH1D에 기초하여 제1 범위 픽셀의 휘도 값의 최대 값 TH2D를 결정하는 단계는,
제1 파라미터, 및 제1 범위 픽셀의 휘도 값의 최소 값 TH1D에 기초하여, 제1 범위 픽셀의 휘도 값의 최대 값 TH2D를 결정하는 단계; 또는
사전설정된 유리수, 및 제1 범위 픽셀의 휘도 값의 최소 값 TH1D에 기초하여, 제1 범위 픽셀의 휘도 값의 최대 값 TH2D를 결정하는 단계; 또는
제1 범위 픽셀의 휘도 값의 최소 값 TH1D, 및 이미지 데이터의 메타데이터에 기초하여, 제1 범위 픽셀의 휘도 값의 최대 값 TH2D를 결정하는 단계를 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값 TH1D는 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3C와 동일하고, TH1D에서의 제2 톤 맵핑 곡선 상의 선형 스플라인 및 제1 3차 스플라인의 출력 값은 동일하고, TH1D에서의 제2 톤 곡선 상의 제1 스플라인 및 제1 3차 스플라인의 1차 미분은 동일하다.
이러한 방식으로, 제2 톤 맵핑 곡선 내의 선형 스플라인 곡선, 및 제2 톤 맵핑 곡선 내의 3차 스플라인 곡선은 TH1D에서 연속적일 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 3차 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최대 값 TH3D를 더 포함한다.
방법은,
제1 범위 픽셀의 휘도 값의 최소 값 TH1D, 및 제1 범위 픽셀의 휘도 값의 최대 값 TH2D에 기초하여, 제2 범위 픽셀의 휘도 값의 최대 값 TH3D를 결정하는 단계를 더 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 범위 픽셀의 휘도 값의 최소 값 TH1D, 및 제1 범위 픽셀의 휘도 값의 최대 값 TH2D에 기초하여, 제2 범위 픽셀의 휘도 값의 최대 값 TH3D를 결정하는 단계는,
제1 범위 픽셀의 휘도 값의 최소 값 TH1D, 제1 범위 픽셀의 휘도 값의 최대 값 TH2D, 및 제1 파라미터에 기초하여, 제3 최대 입력 휘도 TH3D를 결정하는 단계; 또는
제1 범위 픽셀의 휘도 값의 최소 값 TH1D, 제1 범위 픽셀의 휘도 값의 최대 값 TH2D, 및 사전설정된 유리수에 기초하여, 제3 최대 입력 휘도 TH3D를 결정하는 단계; 또는
제1 범위 픽셀의 휘도 값의 최소 값 TH1D, 제1 범위 픽셀의 휘도 값의 최대 값 TH2D, 및 이미지 데이터의 메타데이터에 기초하여, 제3 최대 입력 휘도 TH3D를 결정하는 단계를 포함한다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제2 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최소 값은 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값 TH2D와 동일하고, 범위 픽셀의 휘도 값의 최대 값 TH2D에서의 제1 3차 스플라인 및 제2 3차 스플라인의 출력 값은 동일하고, 범위 픽셀의 휘도 값의 최대 값 TH2D에서의 제1 3차 스플라인 및 제2 3차 스플라인의 1차 미분은 동일하다.
이러한 방식으로, 제2 톤 맵핑 곡선 내의 제1 3차 스플라인 곡선 및 제2 3차 스플라인 곡선은 TH2D에서 연속적일 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제2 파라미터는 제2 톤 맵핑 곡선의 톤 맵핑 하위함수(subfunction)의 곡선 파라미터를 더 포함한다. 톤 맵핑 하위함수의 제3 범위 픽셀의 휘도 값의 최소 값은 제2 범위 픽셀의 휘도 값의 최대 값 TH3D와 동일하고, 제2 범위 픽셀의 휘도 값의 최대 값 TH3D에서의 제2 3차 스플라인 및 톤 맵핑 하위함수의 출력 값은 동일하고, 제2 범위 픽셀의 휘도 값의 최대 값 TH3D에서의 제2 3차 스플라인 및 톤 맵핑 하위함수의 1차 미분은 동일하다.
이러한 방식으로, 제2 톤 맵핑 곡선 내의 제2 3차 스플라인 곡선 및 톤 맵핑 하위함수의 곡선은 TH3D에서 연속적일 수 있다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 파라미터는 aP1 및 pP1을 포함한다. 제1 파라미터, 디스플레이 파라미터, 및 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계는,
aP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 제1 값 Tp를 획득하는 단계;
pP1이 Tp 초과일 경우에, 제1 파라미터 내의 pP1을 Tp로 대체하는 단계; 및
대체 후에 획득된 제1 파라미터를 제2 파라미터로서 이용하는 단계를 포함한다.
그러므로, 제1 파라미터 내의 pP1은 Tp로 대체되고, 대체 후에 획득된 제1 파라미터는 제2 파라미터로서 이용되어, 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 제2 톤 맵핑 곡선 상의 제1 포인트에서의 입력 휘도를 초과하지 않는다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 파라미터는 aP1 및 pP1을 포함한다. 제1 파라미터, 디스플레이 파라미터, 및 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계는,
pP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 제2 값 Ta를 획득하는 단계;
aP1이 Ta 초과일 경우에, 제1 파라미터 내의 aP1을 Ta로 대체하는 단계; 및
대체 후에 획득된 제1 파라미터를 제2 파라미터로서 이용하는 단계를 포함한다.
그러므로, 제1 파라미터 내의 aP1은 Ta로 대체되고, 대체 후에 획득된 제1 파라미터는 제2 파라미터로서 이용되어, 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 제2 톤 맵핑 곡선 상의 제1 포인트에서의 입력 휘도를 초과하지 않는다.
제1 양태를 참조하면, 제1 양태의 일부 구현예에서, 제1 파라미터는 aP1 및 pP1을 포함한다. 제1 파라미터, 디스플레이 파라미터, 및 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계는,
aP1 * pP1이 제3 값 Tap 초과일 경우에, 제1 파라미터 내의 pP1을 Tap/aP1로 대체하거나, 제1 파라미터 내의 aP1을 Tap/pP1로 대체하는 단계; 및
대체 후에 획득된 제1 파라미터를 제2 파라미터로서 이용하는 단계를 포함한다.
그러므로, 제1 파라미터 내의 pP1은 Tap/aP1로 대체되거나, 제1 파라미터 내의 aP1은 Tap/pP1로 대체되고, 대체 후에 획득된 제1 파라미터는 제2 파라미터로서 이용되어, 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 제2 톤 맵핑 곡선 상의 제1 포인트에서의 입력 휘도를 초과하지 않는다.
제2 양태에 따르면, 획득 유닛, 프로세싱 유닛, 및 맵핑 유닛을 포함하는 동적 범위 맵핑 장치가 제공된다.
획득 유닛은 단말 디바이스의 디스플레이 파라미터를 획득하도록 구성된다.
획득 유닛은 이미지 데이터의 특징 정보를 획득하도록 추가로 구성된다.
획득 유닛은 이미지 데이터의 제1 톤 맵핑 곡선의 제1 파라미터를 획득하도록 추가로 구성된다.
프로세싱 유닛은 사전설정된 조건이 충족될 때, 제1 파라미터, 단말 디바이스의 디스플레이 파라미터, 및 이미지 데이터의 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하도록 구성된다. 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 제2 톤 맵핑 곡선 상의 제1 포인트에서의 입력 휘도를 초과하지 않는다.
맵핑 유닛은 제2 톤 맵핑 곡선의 제2 파라미터에 기초하여 이미지 데이터에 대한 동적 범위 맵핑을 수행하도록 구성된다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 사전설정된 조건은 다음의 조건 중의 임의의 하나가 충족될 때에 충족된다:
톤 맵핑이 제1 파라미터에 기초하여 이미지 데이터에 대해 수행될 때, 제1 톤 맵핑 곡선 상의 제2 포인트에서의 출력 휘도는 제1 톤 맵핑 곡선 상의 제2 포인트에서의 입력 휘도 초과이다.
대안적으로, 제1 파라미터 내의 파라미터 pP1은 제1 값 Tp 초과이다. 제1 값 Tp는 제1 파라미터 내의 aP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득된다.
대안적으로, 제1 파라미터 내의 파라미터 aP1은 제2 값 Ta 초과이다. 제2 값 Ta는 제1 파라미터 내의 pP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득된다.
대안적으로, 제1 파라미터 내의 파라미터 aP1 및 파라미터 pP1의 곱은 제3 값 Tap 초과이다. 제3 값 Tap는 사전설정된 유리수이다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 제2 파라미터는 제1 선형 스플라인 곡선 파라미터를 포함한다. 제1 선형 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 기울기 MB[0][0] 및/또는 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3[0] 및/또는 제1 선형 스플라인 및 수직 좌표 축의 교차 포인트 base_offset를 포함한다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 제1 파라미터는 제2 선형 스플라인 곡선 파라미터를 포함한다. 제2 선형 스플라인 곡선 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0] 및/또는 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0]을 포함한다. 디스플레이 파라미터는 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay를 포함한다. 특징 정보는 이미지 데이터의 최대 휘도 보정 값 max_lum을 포함한다.
프로세싱 유닛은,
곡선 파라미터 MB[0][0] 및 TH3[0]을 획득하기 위하여 최대 디스플레이 휘도 MaxDisplay 및 최대 휘도 보정 값 max_lum에 기초하여 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0]을 조절하도록 구체적으로 구성된다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0], 및 곡선 파라미터 MB[0][0] 및 TH3[0]은 다음의 공식을 만족시키고:
Figure pct00028
, 및
Figure pct00029
, 여기서,
Figure pct00030
,
Figure pct00031
,
Figure pct00032
, 또는
Figure pct00033
이다.
L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1 및 N2는 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
Figure pct00034
, 또는
Figure pct00035
이다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 제1 파라미터는 제2 선형 스플라인 곡선 파라미터를 포함한다. 제2 선형 스플라인 곡선 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0] 및/또는 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0] 및/또는 제1 선형 스플라인 및 수직 좌표 축의 교차 포인트 base_offset_mid를 포함한다. 디스플레이 파라미터는 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay를 포함한다. 특징 정보는 이미지 데이터의 최대 휘도 보정 값 max_lum을 포함한다.
프로세싱 유닛은,
곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset을 획득하기 위하여 최대 디스플레이 휘도 MaxDisplay 및 최대 휘도 보정 값 max_lum에 기초하여 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid를 조절하도록 구체적으로 구성된다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid, 및 곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset는 다음의 공식을 만족시키고:
Figure pct00036
,
Figure pct00037
, 및
Figure pct00038
, 여기서,
Figure pct00039
,
Figure pct00040
, 또는
Figure pct00041
이다.
L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1, N2, 및 N3은 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
Figure pct00042
, 또는
Figure pct00043
이다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 제2 파라미터는 3차 스플라인 곡선 파라미터를 포함한다. 3차 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 3차 스플라인(cubic spline)의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 포함한다. TH1[1]은 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값을 지시한다. TH2[1]는 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값, 및 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최소 값을 지시한다. TH3[1]은 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최대 값을 지시한다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 이하에서 도시된 바와 같은 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]의 사전설정된 오프셋 값에 기초하여 획득된다:
TH1[1] = TH3[0],
TH2[1] = TH1[1] + B, 및
TH3[1] = TH2[1] + C * TH2[1] - D * TH1[1].
B, C, 및 D는 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값의 사전설정된 값이다. B는 어둡고-밝은 전이 영역 픽셀의 휘도 값에 대응하는 사전설정된 오프셋 값이다. C 및 D는 밝은 영역 픽셀의 휘도 값에 대응하는 사전설정된 가중화 계수이다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 이하에서 도시된 바와 같은 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값에 기초하여 계산된다:
TH1[1] = 3Spline_TH[i][0][w],
TH2[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w], 및
TH3[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w] + 3Spline_TH_Delta1[i][2][w].
3Spline_TH[i][0][w], 3Spline_TH_Delta1[i][1][w], 및 3Spline_TH_Delta1[i][2][w]는, 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위하여 이용되고 메타데이터로부터 추출되는 상관 값이다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, TH3[0]에서의 제2 톤 맵핑 곡선 상의 선형 스플라인의 Y 좌표는 TH1[1]에서의 제2 톤 맵핑 곡선 상의 3차 스플라인의 Y 좌표와 동일하고, TH3[0]에서의 선형 스플라인의 1차 미분은 TH1[1]에서의 3차 스플라인의 1차 미분과 동일하다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, TH2[1]에서의 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 Y 좌표는 TH2[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표와 동일하고, TH2[1]에서의 제1 3차 스플라인의 1차 미분은 TH2[1]에서의 제2 3차 스플라인의 1차 미분과 동일하다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, TH3[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표는 TH3[1]에서의 제2 톤 맵핑 곡선 상의 제3 톤 맵핑 함수의 Y 좌표와 동일하고, TH3[1]에서의 제2 3차 스플라인의 1차 미분은 TH3[1]에서의 제3 톤 맵핑 함수의 1차 미분과 동일하다.
제2 양태를 참조하면, 제2 양태의 일부 구현예에서, 획득 유닛은,
이미지 데이터의 메타데이터를 획득하고;
메타데이터 및 디스플레이 파라미터에 기초하여 제1 톤 맵핑 곡선의 제1 파라미터를 결정하도록 구체적으로 구성된다.
제3 양태에 따르면, 컴퓨터-판독가능 저장 매체가 제공된다. 컴퓨터-판독가능 저장 매체는 명령을 저장한다. 명령이 컴퓨터 상에서 작동될 때, 컴퓨터는 제1 양태에 따른 방법을 수행하는 것이 가능하게 된다.
제4 양태에 따르면, 명령을 포함하는 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 작동될 때, 컴퓨터는 제1 양태에 따른 방법을 수행하는 것이 가능하게 된다.
제5 양태에 따르면, 제2 양태에 따른 미디어 데이터 프로세싱 장치를 포함하는 전자 디바이스가 제공된다.
제2 내지 제5 양태 및 이 출원의 대응하는 구현예에서 달성된 유익한 효과에 대하여, 제1 양태 및 이 출원의 대응하는 구현예에서 달성된 유익한 효과를 참조한다는 것이 이해되어야 한다. 세부사항은 다시 설명되지 않는다.
도 1은 PQ 광학 전기 전달 함수의 도면이다.
도 2는 HLG 광학 전기 전달 함수의 도면이다.
도 3은 SLF 광학 전기 전달 함수의 도면이다.
도 4는 이 출원의 실시예에 따른, 높은 동적 범위 이미지의 동적 범위 조절 곡선의 개략도이다.
도 5는 시그모이드 곡선(sigmoid curve)의 개략도이다.
도 6은 베지어 곡선(Bezier curve)의 개략도이다.
도 7은 이미지의 최대 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도와 동일할 때의 맵핑 곡선의 예이다.
도 8은 이 출원의 실시예에 따른 시스템 아키텍처의 개략도이다.
도 9는 이 출원의 실시예에 따른 동적 범위 맵핑 방법의 개략적인 흐름도이다.
도 10은 이 출원의 실시예에 따른 동적 범위 맵핑 장치의 개략적인 블록도이다.
도 11은 이 출원의 실시예에 따른 또 다른 동적 범위 맵핑 장치의 개략적인 블록도이다.
다음은 첨부 도면을 참조하여 이 출원의 기술적 해결책을 설명한다.
먼저, 이 출원의 실시예에서의 관련된 개념 및 기술이 간략하게 설명된다.
1. 동적 범위(dynamic range)는 많은 분야에서 변수의 최소 값에 대한 최대 값의 비율을 지시한다. 디지털 이미지에 대하여, 동적 범위는 이미지가 디스플레이될 수 있는 범위에서의 최소 휘도에 대한 최대 휘도의 비율을 지시한다. 자연에 있어서의 동적 범위는 상당히 크다. 예를 들어, 별빛 하늘에서의 야간 장면의 휘도는 약 0.001 cd/m2이고, 태양의 휘도는 최대 1,000,000,000 cd/m2이다. 본 명세서에서, cd/m2(제곱 미터 당 칸델라)은 국제 단위계(international system of units)에서의 휘도의 파생된 단위이다. 그러므로, 자연에 있어서의 동적 범위는 1,000,000,000/0.001 = 1013의 자릿수에 도달한다.
그러나, 자연에 있어서의 실제의 장면에서, 태양의 휘도 및 별의 휘도는 동시에 획득되지 않는다. 실세계에서의 자연적 장면에 대하여, 동적 범위는 10-3으로부터 106까지이다. 이 동적 범위는 상당히 크고, 그러므로, 높은 동적 범위(high dynamic range, HDR)로서 통상적으로 지칭된다. 높은 동적 범위와 비교하면, 보편적인 이미지에 대한 동적 범위는 낮은 동적 범위(low dynamic range, LDR) 또는 표준 동적 범위(standard dynamic range, SDR)로서 지칭된다. 그러므로, 디지털 카메라의 이미징 프로세스는 실제적으로, 실세계의 높은 동적 범위로부터 사진의 낮은 동적 범위로의 맵핑 프로세스인 것이 이해될 수 있다. 도 1은 실세계의 높은 동적 범위로부터 디스플레이 디바이스로의 낮은 동적 맵핑의 예를 도시한다.
이미지의 더 큰 동적 범위는 이미지에서 디스플레이된 더 많은 장면 세부사항, 더 많은 휘도 레벨, 및 더 현실적인 시각적 효과를 지시한다. 기존의 디지털 이미지에 대하여, 하나의 픽셀 값은 일반적으로, 1-바이트(즉, 8-비트) 공간을 이용함으로써 저장된다. 높은 동적 범위 이미지에 대하여, 하나의 픽셀 값은 복수의 바이트(byte)의 부동 소수점 수(floating point number)를 이용함으로써 저장되고, 그러므로, 자연적 장면에 대한 높은 동적 범위가 표현될 수 있다.
광학적 디지털 이미징 프로세스(예를 들어, 디지털 카메라의 이미징 프로세스)에서, 실제의 장면에서의 광학적 방사(optical radiation)는 이미지 센서를 이용함으로써 전기 신호로 변환되고, 전기 신호는 디지털 이미지의 형태로 저장된다. 이미지 디스플레이는 디스플레이 디바이스를 이용함으로써, 디지털 이미지에 의해 설명된 실제의 장면을 재현하는 것을 목적으로 한다. 광학적 디지털 이미징 프로세스 및 이미지 디스플레이의 궁극적인 목적은 사용자가 실제의 장면을 직접적으로 관찰할 때에 획득된 것과 동일한 시각적 지각(visual perception)을 사용자가 획득하는 것을 가능하게 하기 위한 것이다.
그러나, 실제의 장면에 대한 광학적 방사(광학 신호)에 의해 제시될 수 있는 휘도 레벨은 거의 선형적이다. 그러므로, 광학 신호는 또한, 선형 신호로서 지칭된다. 그러나, 광학적 디지털 이미징에서 광학 신호를 전기 신호로 변환하는 프로세스에서는, 모든 광학 신호가 하나의 전기 신호에 대응하지는 않는다. 추가적으로, 변환을 통해 획득된 전기 신호는 비선형적이다. 그러므로, 전기 신호는 또한, 비선형 신호로서 지칭된다.
2. 광학 전기 전달 함수(optical electro transfer function, OETF)는 이미지 픽셀의 선형 신호와 비선형 신호 사이의 변환 관계를 나타낸다.
HDR 이미지를 캡처할 수 있는 카메라의 출현 전에, 기존의 카메라는 노출 값을 제어함으로써 특정 범위 내의 캡처된 광 정보를 오직 레코딩할 수 있다. 디스플레이 디바이스의 최대 조명 정보는 실세계의 휘도 정보에 도달할 수 없고, 디스플레이 디바이스는 이미지를 브라우징(browse)하기 위하여 이용되므로, 광학 전기 전달 함수가 요구된다. 초기 디스플레이 디바이스는 음극선관(cathode ray tube, CRT) 디스플레이이고, 음극선관 디스플레이의 광학 전기 전달 함수는 감마 함수(Gamma function)이다. "감마" 함수에 기초한 광학 전기 전달 함수는 다음의 공식 (1)에서 도시된 바와 같이, 국제 전기통신 연합-무선 통신 섹터(international telecommunication union-radio communication sector, ITU-R) 추천 BT.1886 표준에서 정의된다:
Figure pct00044
(1).
상기한 변환을 통해 8 비트로의 양자화 후에 획득된 이미지는 기존의 SDR 이미지이다. 상기한 공식 (1)에서의 SDR 이미지 및 전달 함수는 기존의 디스플레이 디바이스(조명은 약 100 cd/m2임) 상에서 양호하게 수행한다.
디스플레이 디바이스는 계속적으로 업그레이드된다. 기존의 디스플레이 디바이스와 비교하면, 현재의 디스플레이 디바이스는 계속적으로 증가하는 동적 범위를 디스플레이할 수 있다. 현존하는 소비자-레벨 HDR 디스플레이는 최대 600 cd/m2의 디스플레이 범위를 가질 수 있고, 하이-엔드(high-end) HDR 디스플레이는 최대 2000 cd/m2의 디스플레이 범위를 가질 수 있고, 이 둘은 기존의 SDR 디스플레이 디바이스의 디스플레이 범위를 훨씬 초월한다. 그러므로, ITU-R BT.1886 표준 프로토콜에서, 기존의 SDR 디스플레이 디바이스에 적용하는 광학 전기 전달 함수는 현재의 HDR 디스플레이 디바이스의 디스플레이 성능을 양호하게 나타낼 수 없다. 그러므로, HDR 디스플레이 디바이스의 업그레이드에 적응하도록 광학 전기 전달 함수를 개선시키는 것이 필요하다.
HDR 광학 전기 전달 함수(OETF)는 다음의 3개의 유형: 지각적 양자화기(perceptual quantizer, PQ) 광학 전기 전달 함수, 하이브리드 로그-감마(hybrid log-Gamma, HLG) 광학 전기 전달 함수, 및 장면 휘도 충실도(scene luminance fidelity, SLF) 광학 전기 전달 함수를 주로 포함한다. 3개의 광학 전기 전달 함수는 오디오 비디오 코딩 표준(audio video coding standard, AVS)에서 특정된다.
PQ 광학 전기 전달 함수는 인간 눈에 대한 휘도 지각 모델에 기초하여 제공된 지각적 양자화기 광학 전기 전달 함수이다. 도 2는 PQ 광학 전기 전달 함수의 도면이다.
PQ 광학 전기 전달 함수는 이미지 픽셀의 선형 신호 값과 PQ 도메인에서의 비선형 신호 값 사이의 변환 관계를 나타낸다. PQ 광학 전기 전달 함수는 공식 (2)로서 표현될 수 있다:
Figure pct00045
(2).
공식 (2)에서의 각각의 파라미터는 다음과 같이 계산된다:
Figure pct00046
.
L은 [0, 1]로 정규화된 값을 갖는 선형 신호 값을 나타내고,
Figure pct00047
은 [0, 1]의 값 범위를 갖는 비선형 신호 값을 나타내고, m1, m2, c1, c2, 및 c3은 PQ 광학 전기 전달 계수이고,
Figure pct00048
,
Figure pct00049
,
Figure pct00050
,
Figure pct00051
, 및
Figure pct00052
이다.
HLG 광학 전기 전달 함수는 기존의 감마 곡선을 개선시킴으로써 획득된다. 도 3은 HLG 광학 전기 전달 함수의 도면이다.
HLG 광학 전기 전달 함수에 대하여, 기존의 감마 곡선은 낮은 휘도 영역에서 이용되고, 로그 곡선은 높은 휘도 영역에서 보충된다. HLG 광학 전기 전달 함수는 이미지 픽셀의 선형 신호 값과 HLG 도메인에서의 비선형 신호 값 사이의 변환 관계를 나타낸다. HLG 광학 전기 전달 함수는 공식 (3)로서 표현될 수 있다:
Figure pct00053
(3).
L은 [0, 12]의 값 범위를 갖는 선형 신호 값을 나타내고,
Figure pct00054
은 [0, 1]의 값 범위를 갖는 비선형 신호 값을 나타내고, a, b, 및 c는 HLG 광학 전기 전달 계수이고, a = 0.17883277, b = 0.28466892, 및 c = 0.55991073이다.
SLF 광학 전기 전달 함수는 인간 눈의 광학 특성이 만족될 때에 HDR 장면에서의 휘도 분포에 기초하여 획득된 광학 곡선이다. 도 4는 SLF 광학 전기 전달 함수의 도면이다.
SLF 광학 전기 전달 곡선은 이미지 픽셀의 선형 신호 값과 SLF 도메인에서의 비선형 신호 값 사이의 변환 관계를 나타낸다. 이미지 픽셀의 선형 신호 값과 SLF 도메인에서의 비선형 신호 값 사이의 변환 관계는 공식 (4)에서 도시된다:
Figure pct00055
(4).
SLF 광학 전기 전달 함수는 공식 (5)로서 표현될 수 있다:
Figure pct00056
(5).
L은 [0, 1]로 정규화된 값을 갖는 선형 신호 값을 나타내고,
Figure pct00057
은 [0, 1]의 값 범위를 갖는 비선형 신호 값을 나타내고, p, m, a, 및 b는 SLF 광학 전기 전달 계수이고, p = 2.3, m = 0.14, a = 1.12762, 및 b = -0.12762이다.
3. 동적 범위 맵핑 방법은 하이로부터 로우로의 톤 맵핑 프로세스 및 로우로부터 하이로의 톤 맵핑 프로세스를 포함하는, 프론트-엔드 HDR 신호와 백-엔드 HDR 디스플레이 디바이스 사이의 적응 프로세스에 주로 적용된다. 예를 들어, 프론트 엔드는 4000-니트 조명 신호를 수집하는 반면, 백-엔드 디스플레이 디바이스(예를 들어, TV 시리즈 또는 태블릿 컴퓨터)는 오직 500 니트의 HDR 디스플레이 능력을 가진다. 그러므로, 4000-니트 조명 신호를 500-니트 디스플레이 디바이스로 맵핑하는 것은 하이로부터 로우로의 톤 맵핑 프로세스이다. 또 다른 예에 대하여, 프론트 엔드는 100-니트 SDR 조명 신호를 수집하는 반면, 백-엔드 디스플레이 디바이스는 2000 니트의 HDR 디스플레이 능력을 가진다. 그러므로, 100-니트 조명 신호를 2000-니트 디스플레이 디바이스로 맵핑하는 것은 로우로부터 하이로의 톤 맵핑 프로세스이다.
동적 범위 맵핑 방법은 정적 동적 범위 맵핑(static dynamic range mapping) 및 동적 동적 범위 맵핑(dynamic dynamic range mapping)으로 분할될 수 있다. 정적 동적 범위 맵핑 방법에서는, 동일한 비디오 컨텐츠 또는 동일한 하드 디스크 컨텐츠에 기초하여, 전체적인 톤 맵핑 프로세스가 데이터의 단일 피스(piece)를 이용함으로써 수행되고, 즉, 동일한 비디오 컨텐츠 또는 하드 디스크 컨텐츠의 프로세싱 곡선은 통상적으로 동일하다. 이 방법의 장점은, 더 적은 정보가 운반되고 프로세싱 절차가 상대적으로 간단하다는 것이다. 이 방법의 단점은, 동일한 곡선이 모든 장면에서의 톤 맵핑을 수행하기 위하여 이용되어, 일부 장면에서의 정보 손실로 귀착된다는 것이다. 예를 들어, 곡선이 밝은 영역을 보호하는 것에 초점을 맞출 경우에, 일부 세부사항은 일부 극도로 어두운 장면에서 손실될 수 있거나 비가시적일 수 있고, 이것은 사용자 경험에 영향을 준다.
동적 맵핑 방법은 특정 영역에 기초하여, 각각의 장면, 또는 각각의 프레임의 컨텐츠를 동적으로 조절하기 위한 것이다. 이 방법의 장점은, 상이한 곡선이 특정 영역에 기초하여, 각각의 장면 또는 각각의 프레임을 프로세싱하기 위하여 이용될 수 있고, 프로세싱된 이미지는 더 양호한 디스플레이 결과를 가진다는 것이다. 그러나, 단점은 각각의 프레임 또는 각각의 장면이 관련된 장면 정보를 운반할 필요가 있고, 다량의 정보가 운반된다는 것이다.
현재, 다음의 5개의 톤 맵핑 기술이 있다. 다음은 5개의 톤 맵핑 기술을 설명한다.
기술 1은 Dolby에 의해 제안된 시그모이드 곡선-기반 톤 맵핑 프로세스이다. 도 5는 시그모이드 곡선의 개략도이다. 도 5를 참조하면, 수평 좌표는 입력 휘도, 즉, 동적 범위 조절 전의 HDR 이미지의 휘도를 나타내고, 수직 좌표는 출력 휘도, 즉, 동적 범위 조절 후에 획득된 이미지의 휘도를 나타낸다. 시그모이드 곡선의 형상은 "S" 형상이고, 곡선의 기울기는 먼저 증가하고, 그 다음으로 감소한다. 예를 들어, 시그모이드 곡선 상의 조절 포인트가 예로서 이용된다. 시그모이드 곡선을 이용함으로써, 휘도가 약 300 cd/m2인 소스 조절 레벨(소스 적응 레벨)은 휘도가 약 30 cd/m2인 타깃 조절 레벨(타깃 적응 레벨)로 맵핑될 수 있다.
기술 2는 베지어 곡선에 기초한 톤 맵핑 프로세스이다. 도 6은 베지어 곡선의 개략도이다. 도 6에서, 수평 좌표는 입력 휘도, 즉, 동적 범위 조절 전의 HDR 이미지의 휘도를 나타내고, 수직 좌표는 출력 휘도, 즉, 동적 범위 조절 후에 획득된 이미지의 휘도를 나타낸다. 베지어 곡선은 0로부터 Ks까지의 입력 휘도의 범위에서의 선형 맵핑 프로세스이고, Ks로부터 1까지의 입력 휘도의 범위에서의 "S"-형상 곡선이고, 곡선의 기울기는 먼저 증가하고, 그 다음으로 감소한다.
기술 3은 인간 눈에 의해 지각된 S-형상 곡선에 기초한 톤 맵핑 프로세스이다. 곡선의 형태는 공식 (6)에서 도시된다:
Figure pct00058
(6).
L 및
Figure pct00059
은 정규화된 전기 신호 또는 광학 신호를 나타내고, a의 값은 0.0으로부터 1.0까지의 범위이고, b의 값은 0.0으로부터 1.0까지의 범위이고, p, n, 및 m의 값은 0.1로부터 N까지의 범위이고, N은 0.1 초과인 유리수이고,
Figure pct00060
은 0.0으로부터 1.0까지의 범위인 유리수이고, L은 0.0으로부터 1.0까지의 범위인 유리수이고, k1, k2, 및 k3은 유리수이다.
기술 4는 3차 스플라인 및 직선 라인의 S-형상 곡선을 조합하는 톤 맵핑 프로세스이다. 곡선의 일부의 형태는 다음의 공식 (7)에서 도시된다:
Figure pct00061
(7).
L 및
Figure pct00062
은 정규화된 전기 신호 또는 광학 신호이다. a의 값은 0.0으로부터 1.0까지의 범위이고, b의 값은 0.0으로부터 1.0까지의 범위이고, p, n, 및 m의 값은 0.1로부터 N까지의 범위이고, N은 0.1 초과인 유리수이고,
Figure pct00063
은 0.0으로부터 1.0까지의 범위인 유리수이고, L은 0.0으로부터 1.0까지의 범위인 유리수이고, k1, k2, 및 k3은 유리수이고, k1 및 k2는 동시에 0이 아니고, k3은 0이 아니다. TH1[i], TH2[i], 및 TH3[i]는 0.0으로부터 1.0까지의 범위인 유리수이다.
기술 5는 3차 스플라인 및 직선 라인의 S-형상 곡선을 조합하는 또 다른 톤 맵핑 프로세스이다. 곡선의 일부의 형태는 다음의 공식 (8)에서 도시된다:
Figure pct00064
(8).
L 및
Figure pct00065
은 정규화된 전기 신호 또는 광학 신호이다. a의 값은 0.0으로부터 1.0까지의 범위이고, b의 값은 0.0으로부터 1.0까지의 범위이고, p, n, 및 m의 값은 0.1로부터 N까지의 범위이고, N은 0.1 초과인 유리수이고,
Figure pct00066
은 0.0으로부터 1.0까지의 범위인 유리수이고, L은 0.0으로부터 1.0까지의 범위인 유리수이고, k1, k2, 및 k3은 유리수이다. LT는 사전설정된 유리수이고, 0.0으로부터 1.0까지의 범위인 유리수이다. TH1[i], TH2[i], 및 TH3[i]는 0.0으로부터 1.0까지의 범위인 유리수이다.
곡선 파라미터에 관련된 메타데이터는 동적 메타데이터로 전송된다.
기술 1에 대하여, Dolby St2094-10에 관련된 동적 메타데이터 정의에서는, 최대 값(최대 PQ-인코딩된 maxRGB), 최소 값(최소 PQ-인코딩된 maxRGB), 및 평균 값(PQ-인코딩된 maxRGB)와 같은 이들 통계적 값뿐만 아니라, 톤 맵핑 오프셋(tone mapping offset), 톤 맵핑 이득(tone mapping gain), 및 톤 맵핑 감마(tone mapping gamma)와 같은 이들 시그모이드 곡선-관련된 파라미터도 전송된다.
기술 2에 대하여, St2094-40에 관련된 동적 메타데이터 정의에서는, 히스토그램 정보(분포 MaxRGB)가 포함되고, 베지어 곡선 파라미터(베지어 곡선 앵커(anchor))가 또한, 곡선을 직접적으로 생성하기 위하여 포함된다.
추가적으로, St2094 시리즈 표준에서, 메타데이터는 타깃화된 시스템 디스플레이 실제적 피크 휘도(targeted system display actual peak luminance)를 포함한다.
기술 3, 기술 4, 및 기술 5에 대하여, 최대 값, 최소 값, 및 평균 값과 같은 정보는 메타데이터에서 전송될 수 있고, p, m, a, b, n, K1, K2, 및 K3과 같은 곡선 파라미터가 또한 전송될 수 있다.
이미지의 최대 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도 미만일 때, 기술 1 내지 기술 5에서의 동적 범위 맵핑 알고리즘은 높은 동적 범위 이미지를, 디스플레이를 위하여 디스플레이 디바이스에 의해 디스플레이될 수 있는 동적 범위로 조절하기 위하여 이용될 수 있다. 그러나, 이미지의 최대 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 기술 1 내지 기술 5에서의 동적 범위 맵핑 알고리즘이 여전히 이용될 경우에는, 맵핑된 디스플레이 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상이 있다.
도 7은 이미지의 최대 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도와 동일할 때(예를 들어, 둘 모두 500 cd/m2임)의 톤 맵핑 곡선의 예를 도시한다. 도 7을 참조하면, 직선 라인 y = x(2개의 종점은 각각 A(500, 500) 및 B(0, 0)임)는 입력 휘도가 출력 휘도와 동일한 톤 맵핑 곡선에 대응한다. 디스플레이 디바이스의 픽셀의 휘도는 직선 라인 y = x에 기초한 원래의 이미지의 휘도와 동일하다. 예를 들어, y = x 상의 포인트 D에 대하여, 입력 휘도 및 출력 휘도의 둘 모두는 450 cd/m2이다.
여전히 도 7을 참조하면, "S"-형상 곡선(2개의 종점은 각각 A(500, 500) 및 B(0, 0), 예를 들어, 기술 1에서의 시그모이드 곡선임)에 대하여, 입력 휘도가 500 cd/m2에 근접하고, 입력 휘도가 동일할 때, "S"-형상 곡선을 이용함으로써 수행된 톤 맵핑의 출력 휘도는 y = x를 이용함으로써 수행된 톤 맵핑의 출력 휘도를 초과한다. 예를 들어, 포인트 D와 동일한 입력 휘도를 갖는 "S"-형상 곡선 상의 포인트 E에 대하여, 포인트 E의 출력 휘도는 480 cd/m2이다.
이것을 고려하면, 이 출원은 동적 범위 맵핑 방법을 제공한다. 이미지의 최대 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 원래의 톤 맵핑 곡선의 파라미터가 조절되어, 조절된 파라미터에 대응하는 톤 맵핑 곡선의 출력 휘도는 톤 맵핑 곡선의 입력 휘도를 초과하지 않는다. 이것은 맵핑된 디스플레이 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상을 회피하는 것을 돕는다. 본 명세서에서, 원래의 톤 맵핑 곡선은 이미지 데이터의 메타데이터 내의 타깃화된 시스템 디스플레이 실제적 피크 휘도에 기초하여 조절되는 고정된 곡선, 예를 들어, 기술 1 내지 기술 5에서의 톤 맵핑 곡선일 수 있다.
도 8은 이 출원의 실시예에 따른 동적 범위 맵핑 방법의 시스템 아키텍처의 개략도이다. 도 8을 참조하면, 프론트 엔드는 수집 및 생성을 통해 HDR 컨텐츠를 획득할 수 있고, 송신 계층을 통해 HDR 컨텐츠 및 HDR 컨텐츠의 메타데이터를 디스플레이 엔드로 송신할 수 있다. 디스플레이 엔드는 HDR 디스플레이 디바이스를 포함할 수 있고, SDR 디스플레이 디바이스를 더 포함할 수 있다. 예에서, 디스플레이 엔드가 HDR 디스플레이 디바이스를 포함할 때, HDR 컨텐츠는 HDR 디스플레이 디바이스로 맵핑될 수 있다. 디스플레이 엔드가 SDR 디스플레이 디바이스를 포함할 때, HDR 컨텐츠는 SDR 디스플레이 디바이스로 맵핑될 수 있다.
예를 들어, 디스플레이 엔드의 제품 형태는 셋톱 박스, 텔레비전 디스플레이 디바이스, 모바일 전화 디스플레이 디바이스, 또는 라이브 웹캐스팅 및 비디오 애플리케이션을 위한 변환 디바이스와 같은 전자 디바이스일 수 있다.
예에서, 셋톱 박스, 텔레비전 디스플레이 디바이스, 또는 모바일 전화 디스플레이 디바이스 상에서, 이 출원의 이 실시예에서 제공된 해결책은 하드웨어 칩의 형태로 구현될 수 있다. 라이브 웹캐스팅 또는 비디오 재생 디바이스 상에서, 이 출원의 이 실시예에서 제공된 해결책은 소프트웨어 프로그램 코드의 형태로 주로 구현된다. 그러나, 이 출원의 이 실시예는 그것으로 제한되지 않는다.
이 출원의 이 실시예에서, 도 7에서의 애플리케이션 장면만이 설명을 위한 예로서 이용되지만, 이 출원의 이 실시예에 적용된 시스템 아키텍처는 이것으로 제한되지 않는다는 것이 주목되어야 한다. 예를 들어, 프론트 엔드는 SDR 컨텐츠를 추가로 획득할 수 있다. 이 경우에, 디스플레이 엔드가 HDR 디스플레이 디바이스를 포함할 때, SDR 컨텐츠는 HDR 디스플레이 디바이스로 맵핑될 수 있다.
도 9는 이 출원의 실시예에 따른 동적 범위 맵핑 방법(900)의 개략적인 흐름도이다. 방법(900)은 도 8에서 제공된 애플리케이션 장면에 적용가능하고, 예를 들어, 도 8에서 도시된 디스플레이 엔드에 의해 수행된다. 도 9를 참조하면, 방법(900)은 다음의 단계(910 내지 940)를 포함한다.
910: 이미지 데이터의 특징 정보 및 로컬 디스플레이 디바이스의 디스플레이 파라미터를 획득함. 본 명세서에서, (V로서 표현될 수 있는) 이미지 데이터는 HDR 이미지 데이터 또는 SDR 이미지 데이터일 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
예를 들어, 디스플레이 디바이스는 프론트 엔드로부터 비디오 소스를 수신할 수 있다. 비디오 소스는 이미지 데이터 V, 예를 들어, 픽셀 데이터를 주로 포함한다. 특정 예에서, 4K 비디오 소스는 3840*2160 픽셀의 휘도 및 컬러 데이터 등을 포함할 수 있다.
이미지 데이터 V의 포맷은 이 출원의 이 실시예에서 제한되지 않는다는 것이 주목되어야 한다. 예를 들어, 픽셀 데이터의 컬러 공간의 측면에서, 이미지 데이터 V는 Y(휘도) UV(색차(chrominance)) 공간에서의 이미지 데이터일 수 있거나, RGB 픽셀 공간에서의 이미지 데이터일 수 있다. 또 다른 예에 대하여, 픽셀 데이터의 비트 폭의 측면에서, 이미지 데이터 V는 8 비트의 비트 폭, 다시 말해서, 10 비트의 비트 폭, 또는 12 비트의 비트 폭일 수 있다.
일부 실시예에서, 이미지 데이터 V가 획득될 때, 이미지 데이터의 특징 정보가 추가로 획득될 수 있고, 예를 들어, 메타데이터(metadata) M으로부터 획득될 수 있다. 이미지 데이터 V의 메타데이터 M은 이미지 데이터의 데이터 특징을 지시하고, 예를 들어, 이미지 데이터의 포맷, 또는 이미지 데이터 V에 대응하는 곡선 파라미터 Mcurve, 타깃화된 시스템 디스플레이 실제적 피크 휘도 MTPL(타깃화된 시스템 디스플레이 실제적 피크 휘도), 이미지 데이터의 컨텐츠의 최대 휘도 값 MaxSource(모든 픽셀의 Y 컴포넌트의 최대 값, 또는 모든 픽셀의 RGB 컴포넌트의 최대 값들 중의 최대 값), 최소 값 MinSource(모든 픽셀의 Y 컴포넌트의 최소 값, 또는 모든 픽셀의 RGB 컴포넌트의 최대 값들 중의 최소 값), 평균 값(모든 픽셀의 Y 컴포넌트의 평균 값, 또는 모든 픽셀의 RGB 컴포넌트의 최대 값들의 평균 값), 디스플레이된 컨텐츠의 변화 범위 등을 포함할 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
일부 실시예에서, 이미지 데이터의 특징 정보는 이미지 데이터 V의 픽셀 정보로부터 추가로 획득될 수 있다. 대안적으로, 사전설정된 값을 갖는 이미지 데이터의 특징 정보 값이 이용된다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
메타데이터 M이 곡선 파라미터 Mcurve를 포함할 때, 곡선 파라미터 Mcurve의 포맷은 이 출원의 이 실시예에서 제한되지 않는다는 것이 주목되어야 한다. 예를 들어, 기술 3에 대하여, 메타데이터 내에 포함된 곡선 파라미터 Mcurve는 p, m, a, b, n, K1, K2, K3 등일 수 있다.
일부 실시예에서, 메타데이터는 동적 메타데이터 및 정적 메타데이터를 포함한다. 컬러 용량 변환(color volume transform)에 대한 표준 ST2094-1 동적 메타데이터, 또는 정적 메타데이터(static metadata)에 대한 관련된 표준을 참조한다. 예를 들어, 메타데이터는 이미지와 함께 패키징될 수 있고, 예를 들어, 상이한 파일 포맷 및 상이한 인코딩 표준의 SEI 패키지, 및 하드웨어의 HDMI에 관련된 일부 패키지 구조를 포함할 수 있다.
일부 실시예에서, 디스플레이 디바이스는 디스플레이 디바이스(즉, 실제적인 단말 디바이스 P 또는 로컬 디스플레이 디바이스)의 (디스플레이 휘도 파라미터로서 또한 지칭될 수 있는) 디스플레이 파라미터 MTPL을 추가로 획득할 수 있다. 예를 들어, 디스플레이 파라미터 MTPL은 디스플레이 디바이스의 최대 디스플레이 휘도 MaxDisplay 및 디스플레이 디바이스의 최소 디스플레이 휘도 MinDisplay, 또는 또 다른 파라미터를 포함할 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
920: 이미지 데이터의 제1 톤 맵핑 곡선의 제1 파라미터를 획득함.
예를 들어, 디스플레이 디바이스는 이미지 데이터 V의 메타데이터 M, 및 디스플레이 디바이스의 디스플레이 파라미터 MTPL에 기초하여, 이미지 데이터 V의 제1 톤 맵핑 곡선의 제1 파라미터를 획득할 수 있다. 예를 들어, 제1 톤 맵핑 곡선의 제1 파라미터는 평균 휘도 값 average_maxrgb, 및/또는 최대 휘도 값 MaxSource, 및/또는 메타데이터 M 내의 이미지 데이터 V의 컨텐츠의 최소 휘도 값 MinSource, 및/또는 디스플레이 디바이스의 최대 디스플레이 휘도 MaxDisplay, 및/또는 디스플레이 디바이스의 최소 디스플레이 휘도 MinDisplay, 및/또는 곡선 파라미터
Figure pct00067
, 및/또는 다른 데이터에 기초하여 획득되고,
Figure pct00068
로서 표현될 수 있다. X는 입력 휘도 값이고,
Figure pct00069
는 곡선 파라미터 값이다.
제1 톤 맵핑 곡선의 제1 파라미터 P1curve의 형태는 이 출원의 이 실시예에서 제한되지 않는다는 것이 주목되어야 한다. 추가적으로, 제1 파라미터 P1curve를 생성하기 위하여 이용된 데이터, 또는 제1 파라미터 P1curve를 생성하기 위하여 이용된 알고리즘은 이 출원의 이 실시예에서 제한되지 않는다. 예를 들어, 제1 파라미터 P1curve를 생성하기 위하여 이용된 데이터는 메타데이터, 및/또는 디스플레이 디바이스의 디스플레이 파라미터일 수 있거나, 다른 사전설정된 데이터일 수 있다.
특정 예에서, 기술 5에 대하여, 곡선 파라미터 Mcurve는 예를 들어, 파라미터 값 (p, m, a, b, n, K1, K2, 또는 K3) 및 (TH1[i], TH2[i], TH3[i], 또는 MB0)을 포함한다. 제1 톤 맵핑 곡선의 제1 파라미터 P1curve(예를 들어, pP1, mP1, aP1, bP1, nP1, K1P1, K2P1, K3P1, TH1[i], TH2[i], TH3[i], MD1[i], MC1[i], MB1[i], MA1[i], MD2[i], MC2[i], MB2[i], MA2[i], 또는 MB3)는 곡선 파라미터 Mcurve에 기초하여 획득될 수 있다.
또 다른 특정 예에서, 기술 4에 대하여, 곡선 파라미터 Mcurve는 예를 들어, 파라미터 값 (p, m, a, b, n, K1, K2, 또는 K3) 및 (TH1[i], TH2[i], TH3[i], 또는 MB0)을 포함한다. 제1 톤 맵핑 곡선의 제1 파라미터 P1curve(예를 들어, pP1, mP1, aP1, bP1, nP1, K1P1, K2P1, K3P1, TH1[i], TH2[i], TH3[i], MD1[i], MC1[i], MB1[i], MA1[i], MD2[i], MC2[i], MB2[i], 또는 MA2[i])는 곡선 파라미터 Mcurve에 기초하여 획득될 수 있다.
이 출원의 이 실시예에서의 제1 톤 맵핑 곡선은 상기한 원래의 톤 맵핑 곡선의 예이고, 기술 1, 기술 2, 기술 3, 기술 4, 및 기술 5에서 이용된 톤 맵핑 곡선을 포함하지만, 이것으로 제한되지는 않는다는 것이 주목되어야 한다. 이 출원에서의 제1 맵핑 곡선의 제1 파라미터는 기술 1, 기술 2, 기술 3, 기술 4, 및 기술 5에서 이용된 톤 맵핑 곡선에 관련된 파라미터를 포함하지만, 이것으로 제한되지는 않는다.
930: 사전설정된 조건이 충족될 때, 특징 정보, 디스플레이 파라미터, 및 제1 파라미터에 기초하여 제2 톤 맵핑 곡선의 제2 파라미터를 획득함. 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 제2 톤 맵핑 곡선 상의 제1 포인트에서의 입력 휘도를 초과하지 않는다. 즉, 제2 톤 맵핑 곡선의 입력 휘도 범위 내에서, 제2 톤 맵핑 곡선에 기초하여 임의의 입력 휘도를 맵핑함으로써 획득된 출력 휘도는 입력 휘도를 초과하지 않는다. 제2 파라미터는 이미지 데이터에 대해 동적 범위 맵핑을 수행하기 위하여 이용되고, Rcurve로서 표현될 수 있다.
예에서, 톤 맵핑 곡선의 입력 휘도는 선형 광일 수 있거나, 비선형 값일 수 있거나, 선형 관계가 정규화된 후에 획득된 값(예를 들어, 10000이 1로서 이용되거나, 컨텐츠의 최대 휘도가 1로서 이용됨)일 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
예를 들어, 제2 톤 맵핑 곡선의 제2 파라미터 Rcurve는 제1 파라미터 P1curve, 평균 휘도 값 average_maxrgb, 및/또는 최대 휘도 값 MaxSource, 및/또는 이미지 데이터 V의 컨텐츠의 최소 휘도 값 MinSource, 및/또는 디스플레이 디바이스의 최대 디스플레이 휘도 MaxDisplay, 및/또는 디스플레이 디바이스의 최소 디스플레이 휘도 MinDisplay, 및/또는 다른 데이터에 기초하여 획득될 수 있다.
예를 들어, 제2 파라미터 Rcurve는 다음의 공식 (9)에서 도시된 형태를 가질 수 있다:
Figure pct00070
(9).
L 및
Figure pct00071
은 정규화된 전기 신호 또는 광학 신호이고, Dark, TH3C, TH2D, TH3D, MD1D, MC1D, MB1D, MA1D, MD2D, MC2D, MB2D, 및 MA2D는 유리수이다.
일부 실시예에서, 사전설정된 조건은 예를 들어, 톤 맵핑이 제1 톤 맵핑 곡선에 기초하여 이미지 데이터에 대해 수행될 때, 제1 톤 맵핑 곡선 상의 포인트의 출력 휘도가 제1 톤 맵핑 곡선 상의 포인트의 입력 휘도를 초과한다는 것이다.
이 출원의 이 실시예에서, 톤 맵핑 곡선의 출력 휘도와 입력 휘도 사이의 차이가 제1 범위 내에 있을 때, 출력 휘도 및 입력 휘도가 기본적으로 동일한 것으로 간주될 수 있다는 것이 주목되어야 한다. 다시 말해서, 톤 맵핑 곡선의 출력 휘도가 입력 휘도를 초과하고, 출력 휘도와 입력 휘도 사이의 차이가 제1 범위 내에 있을 때, 출력 휘도 및 입력 휘도는 기본적으로 동일한 것으로 간주될 수 있다. 이와 다르게, 톤 맵핑 곡선의 출력 휘도가 입력 휘도를 초과하고, 출력 휘도와 입력 휘도 사이의 차이가 제1 범위를 초과할 때, 출력 휘도는 입력 휘도를 초과하는 것으로 간주될 수 있다.
사전설정된 조건이 충족될 때, 즉, 톤 맵핑이 제1 파라미터에 기초하여 이미지 데이터에 대해 수행될 때에 제1 톤 맵핑 곡선의 출력 휘도가 제1 톤 맵핑 곡선의 입력 휘도를 초과할 때, 제2 톤 맵핑 곡선의 제2 파라미터 Rcurve를 생성하는 프로세스가 수행된다.
가능한 구현예에서, 사전설정된 조건은 제1 파라미터 내의 파라미터 pP1이 제1 값 Tp를 초과한다는 것일 수 있다. 제1 값 Tp는 제1 파라미터 내의 aP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득된다. Tp는 기술 3, 기술 4, 또는 기술 5에서의 곡선 파라미터 p의 임계치를 나타낸다. 제1 파라미터 pP1이 Tp를 초과할 때, 제2 톤 맵핑 곡선 상의 포인트에서의 출력 휘도는 입력 휘도를 초과할 수 있다.
특정 예에서, 기술 4 또는 기술 5에 대하여, 제1 파라미터 P1curve는 aP1 및 pP1과 같은 파라미터를 포함한다. 이 경우에, aP1은 Ta로서 이용될 수 있고, 대응하는 제1 값 Tp는 테이블 Tpa(Tp, Ta)를 룩업(look up)함으로써 획득된다. 본 명세서에서, 테이블 Tpa(Tp, Ta)는 aP1과 pP1 사이의 사전설정된 대응관계의 예이다. Ta는 기술 3, 기술 4, 또는 기술 5에서의 곡선 파라미터 a의 임계치를 나타낸다.
pP1이 Tp 초과일 경우에, 사전설정된 조건이 충족된다. 임의적으로, 이 경우에, 제1 파라미터 P1curve 내의 pP1은 테이블 룩업을 통해 획득된 제1 값 Tp로 대체될 수 있다. 이러한 방식으로, 대체 후에 획득된 제1 파라미터 P1curve는 상기한 제2 파라미터 Rcurve일 수 있다.
pP1이 Tp 이하일 경우에, 제2 톤 맵핑 곡선의 제2 파라미터 Rcurve를 생성하는 프로세스는 수행될 필요가 없다.
또 다른 가능한 구현예에서, 사전설정된 조건은 제1 파라미터 내의 파라미터 aP1이 제2 값 Ta를 초과한다는 것일 수 있다. 제2 값 Ta는 제1 파라미터 내의 pP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득된다. 제1 파라미터 aP1이 Ta를 초과할 때, 제2 톤 맵핑 곡선 상의 포인트에서의 출력 휘도는 입력 휘도를 초과할 수 있다.
특정 예에서, 기술 4 또는 기술 5에 대하여, 제1 파라미터 P1curve는 aP1 및 pP1과 같은 파라미터를 포함한다. 이 경우에, pP1은 Tp로서 이용될 수 있고, 대응하는 제2 값 Ta는 테이블 Tpa(Tp, Ta)를 룩업함으로써 획득된다. 본 명세서에서, 테이블 Tpa(Tp, Ta)는 aP1과 pP1 사이의 사전설정된 대응관계의 예이다.
aP1이 Ta 초과일 경우에, 사전설정된 조건이 충족된다. 임의적으로, 이 경우에, 제1 파라미터 P1curve 내의 aP1은 테이블 룩업을 통해 획득된 제2 값 Ta로 대체될 수 있다. 이러한 방식으로, 대체 후에 획득된 제1 파라미터는 제2 파라미터 Rcurve일 수 있다.
aP1이 Ta 이하일 경우에, 제2 톤 맵핑 곡선의 제2 파라미터 Rcurve를 생성하는 프로세스는 수행될 필요가 없다.
상기한 예에서, 테이블 Tpa(Tp, Ta)는 사전설정된 유리수 조합, 예를 들어, (3.5, 0.879) 및 (4.5, 0.777)이다. 테이블에서 나타나지 않는 값에 대하여, 그 값은 선형 차이, 인접한 값, 인접한 값의 가중화된 평균 값 등을 이용함으로써 생성될 수 있다는 것이 주목되어야 한다. 추가적으로, 테이블 Tpa(Tp, Ta)의 특정 형태는 이 출원의 이 실시예에서 제한되지 않는다. 예를 들어, 테이블 Tpa(Tp, Ta)는 대안적으로, Tp와 Ta 사이의 함수 관계로서 표현될 수 있다.
또 다른 가능한 구현예에서, 사전설정된 조건은 제1 파라미터 내의 파라미터 aP1 및 파라미터 pP1의 곱은 제3 값 Tap를 초과한다는 것이다. 제3 값 Tap는 사전설정된 유리수이다. 예를 들어, 제3 값 Tap는 3 내지 4 사이의 유리수, 예를 들어, 3.2 또는 3.4일 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
특정 예에서, 기술 4 또는 기술 5에 대하여, 제1 파라미터 P1curve는 aP1 및 pP1과 같은 파라미터를 포함한다. 이 경우에, 파라미터 aP1 및 파라미터 pP1의 곱 aP1 * pP1이 사전설정된 값 Tap을 초과하는지 여부가 결정될 수 있다.
aP1 * pP1이 Tap 초과일 경우에, 사전설정된 조건이 충족된다. 임의적으로, 이 경우에, 제1 파라미터 P1curve 내의 pP1은 Tap/aP1로 대체될 수 있거나, 제1 파라미터 내의 aP1은 Tap/pP1로 대체될 수 있다. 이러한 방식으로, 대체 후에 획득된 제1 파라미터는 제2 파라미터 Rcurve일 수 있다.
aP1 * pP1이 Tap 이하일 경우에, 제2 톤 맵핑 곡선의 제2 파라미터 Rcurve를 생성하는 프로세스는 수행될 필요가 없다.
일부 다른 실시예에서, 제1 톤 맵핑 곡선에 대응하는 제1 파라미터 P1curve는 대안적으로, 절대 휘도 공간, 예를 들어, 선형 공간, 또는 PQ 또는 HLG와 같은 비선형 공간으로 추가로 변환될 수 있다. 이 경우에, 동일한 값을 갖는 y 및 x의 휘도는 동일하다는 것이 보장될 필요가 있다. 그 다음으로, 제1 톤 맵핑 곡선이 직선 라인 y = x와의 교차 포인트를 가지는지 여부에 기초하여, 제1 톤 맵핑 곡선이 y = x보다 높은 부분을 가지는 것으로 결정될 수 있다. 예를 들어, 제1 톤 맵핑 곡선이 직선 라인 y = x와의 교차 포인트를 가질 경우에, 제1 톤 맵핑 곡선이 y = x보다 높은 부분을 가지는 것으로 결정될 수 있다. 제1 톤 맵핑 곡선이 y = x와의 교차 포인트를 가지지 않을 경우에, 제1 톤 맵핑 곡선이 y = x보다 높은 부분을 가지지 않는 것으로 결정될 수 있다.
그러므로, 이 출원의 이 실시예에서, 제1 톤 맵핑 곡선의 파라미터가 추가로 조절되어, 조절된 곡선 파라미터(즉, 제2 파라미터)에 대응하는 톤 맵핑 곡선(즉, 제2 톤 맵핑 곡선) 상의 포인트의 출력 휘도는 포인트의 대응하는 입력 휘도를 초과하지 않는다. 이것은 이미지의 최대 디스플레이 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 맵핑된 단말 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상을 회피하는 것을 돕는다.
일부 임의적인 실시예에서, 제2 파라미터는 선형 스플라인 곡선 파라미터를 더 포함한다. 선형 스플라인 곡선 파라미터는 제1 톤 맵핑 곡선 내의 (제1 선형 스플라인으로서 나타내어질 수 있는) 선형 스플라인의 범위 픽셀의 휘도 값의 (제1 최대 입력 휘도 TH3C로서 또한 지칭될 수 있는) 최대 값 TH3C, 및 제1 선형 스플라인의 기울기 Dark를 포함한다. 예를 들어, 제1 선형 스플라인은 예를 들어, 입력 휘도가 상기한 공식 (9)에서 TH3C 미만인, 즉,
Figure pct00072
, L<TH3C인 톤 맵핑 곡선이다. L<TH3C는 제1 선형 스플라인의 범위 픽셀이다.
임의적으로, 디스플레이 디바이스는 제1 선형 스플라인의 초기 범위 픽셀의 휘도 값의 (초기 제1 최대 입력 휘도 TH3C0으로서 또한 지칭될 수 있는) 최대 값 TH3C0 및 초기 기울기 Dark0을 획득할 수 있고, 그 다음으로, 초기 제1 최대 입력 휘도 TH3C0에 기초하여 제1 최대 입력 휘도 TH3C를 결정할 수 있고, 초기 기울기 Dark0에 기초하여 기울기 Dark를 결정할 수 있다.
다음은 이 출원의 이 실시예에서 제공된 초기 제1 최대 입력 휘도 TH3C0을 획득하기 위한 3개의 방법을 설명한다.
방법 1
디스플레이 디바이스는 제1 파라미터 P1curve에 기초하여 초기 제1 최대 입력 휘도 TH3C0을 결정할 수 있다. 예를 들어, 제1 톤 맵핑 곡선이 (제2 선형 스플라인, 예를 들어, 기술 2, 기술 4, 또는 기술 5로서 나타내어질 수 있는) 선형 스플라인을 가질 때, 초기 제1 최대 입력 휘도 TH3C0은 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값으로서 결정될 수 있다.
방법 2
디스플레이 디바이스는 사전설정된 값에 기초하여 초기 제1 최대 입력 휘도 TH3C0을 결정한다. 예를 들어, 사전설정된 값은 어두운 시야 및 밝은 시야의 경계, 즉, 인간 눈의 원뿔 셀 및 봉 셀의 응답이 증가하고 감소하는 휘도, 예를 들어, 1 니트일 수 있다.
방법 3
디스플레이 디바이스는 이미지 데이터 V의 메타데이터 M에 기초하여 초기 제1 최대 입력 휘도 TH3C0을 결정한다. 메타데이터 M은 히스토그램에서의 어두운 영역 픽셀의 수량의 특징 데이터, 예를 들어, 어두운 영역 픽셀 내의 어두운 것으로부터 밝은 것으로의 픽셀의 수량/누적된 수량이 변화하는 히스토그램 또는 휘도에서의 어두운 영역 픽셀의 수량의 특징 휘도 위치, 또는 사전설정된 백분율을 초과하는, 총 픽셀에서의 0으로부터 특징 휘도까지 누적된 픽셀의 수량의 백분율을 포함한다.
다음은 이 출원의 이 실시예에서 제공된 초기 기울기 Dark0을 획득하기 위한 3개의 방법을 설명한다.
방법 1
디스플레이 디바이스는 제1 파라미터 P1curve에 기초하여 초기 기울기 Dark0을 결정할 수 있다. 예를 들어, 제1 톤 맵핑 곡선이 선형 스플라인(예를 들어, 제2 선형 스플라인)을 가질 때, 초기 기울기 Dark0은 제2 선형 스플라인의 기울기, 예를 들어, 기술 4 또는 기술 5에서의 MB0으로서 결정될 수 있다.
방법 2
디스플레이 디바이스는 제1 최대 입력 휘도 TH3C에 대한 제4 값의 비율에 기초하여 초기 기울기 Dark0을 결정할 수 있다. 제4 값은 제1 최대 입력 휘도 TH3C에서의 제1 톤 맵핑 곡선의 출력 값이다. 예를 들어, 제4 값은 Vdark = P1curve(TH3C)로서 표현될 수 있다. 이 경우에, 초기 기울기 Dark0은 (Vdark/TH3C)로서 표현될 수 있다.
방법 3
디스플레이 디바이스는 0 내지 제1 최대 입력 휘도 TH3C 사이의 제1 톤 맵핑 곡선의 사전설정된 입력 값의 기울기 값에 기초하여 초기 기울기 Dark0을 결정할 수 있다. 예를 들어, 초기 기울기 Dark0은 0 내지 제1 최대 입력 휘도 TH3C 사이의 기울기 값의 평균 값, 최대 값, 또는 중간 값일 수 있다. 이것은 이 출원에서 제한되지 않는다.
초기 최대 입력 휘도 TH3C0 또는 초기 기울기 Dark0을 획득하는 상기한 방식은 단지 예이고, 이 출원의 이 실시예에 대한 제한을 구성하지 않는다는 것이 주목되어야 한다. 예를 들어, 상기한 방법과 유사한 방식, 또는 상기한 방법을 보편적인 수단으로 대체함으로써 초기 최대 입력 휘도 TH3C0 또는 초기 기울기 Dark0을 획득하는 방식은 또한, 이 출원의 이 실시예의 보호 범위 내에 속한다.
다음은 이 출원의 이 실시예에서 제공된 초기 제1 최대 입력 휘도 TH3C0 및 초기 기울기 Dark0에 기초하여 제2 타깃 톤 맵핑 곡선의 제1 최대 입력 휘도 TH3C 및 기울기 Dark를 획득하기 위한 2개의 방법을 설명한다.
방법 1
제1 최대 입력 휘도 TH3C 및 기울기 Dark는 다음의 공식 (10) 및 (11)에 기초하여 결정될 수 있고, 즉, 제1 초기 최대 입력 휘도 TH3C0, 제1 최대 입력 휘도 TH3C, 초기 기울기 Dark0, 및 기울기 Dark는 다음의 공식 (10) 및 (11)을 만족시키고:
Figure pct00073
(10), 및
Figure pct00074
(11), 여기서,
Figure pct00075
, 또는
Figure pct00076
이다.
N1 및 N2는 0 초과인 유리수이고, H(L)은 톤 맵핑 곡선이고, G(L)은 H(L)의 역함수이다.
방법 2
제1 최대 입력 휘도 TH3C 및 기울기 Dark는 다음의 공식 (12) 및 (13)에 기초하여 결정될 수 있고, 즉, 제1 초기 최대 입력 휘도 TH3C0, 제1 최대 입력 휘도 TH3C, 초기 기울기 Dark0, 및 기울기 Dark는 다음의 공식 (12) 및 (13)을 만족시키고:
Figure pct00077
(12), 및
Figure pct00078
(13), 여기서,
Figure pct00079
, 또는
Figure pct00080
이다.
MaxLum은 이미지 데이터의 최대 휘도 MaxSource의 조절 값이고, H(L)은 톤 맵핑 곡선 함수이고, G(L)은 H(L)의 역함수이다. MaxSource로부터 MaxLum으로 조절하는 방식은 이 출원의 이 실시예에서 제한되지 않는다는 것이 주목되어야 한다.
예를 들어, 다음의 공식 (14-1)에서의 톤 맵핑 곡선에 대하여, 톤 맵핑 곡선의 역함수 G(L)은 공식 (15-1)에서 도시된다:
Figure pct00081
(14-1), 및
Figure pct00082
(15-1).
예를 들어, 다음의 공식 (14-2)에서의 톤 맵핑 곡선에 대하여, 톤 맵핑 곡선의 역함수 G(L)은 공식 (15-2)에서 도시된다:
Figure pct00083
(14-2), 및
Figure pct00084
(15-2).
이 출원의 이 실시예에서, 동적 범위 맵핑이 제2 파라미터에 기초하여 이미지 데이터에 대해 수행될 때, 직선 라인 부분은 이미지 데이터의 어두운 영역에서 톤 맵핑을 수행하기 위하여 이용될 수 있다. 이러한 방식으로, 휘도 이득이 제어될 수 있다. 추가적으로, 직선 라인으로부터 직선 라인 y = x로 점차적으로 변화하도록 제2 파라미터를 제어하는 것이 더 편리하다. 직선 라인 y = x는 톤 맵핑 곡선 상의 임의의 포인트에서의 출력 휘도가 입력 휘도인 것과 동등하다. 그러므로, 이 출원의 이 실시예에서, 플리커 현상은 경사 휘도를 갖는 컨텐츠에 대하여 야기될 가능성이 없다.
일부 임의적인 실시예에서, 제2 톤 맵핑 곡선은 3차 스플라인 곡선을 더 포함한다. 제2 파라미터 Rcurve는 제2 톤 맵핑 곡선의 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값을 더 포함한다. 이 경우에, 디스플레이 디바이스는 제2 톤 맵핑 곡선 상의 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3C, 즉, 제1 최대 입력 휘도 TH3C에 기초하여, 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값 TH1D를 결정할 수 있다. 예를 들어, 제1 범위 픽셀의 휘도 값의 최대 값 TH1D는 제1 최대 입력 휘도 TH3C일 수 있고, 즉, TH1D = TH3C이다.
예를 들어, 제1 3차 스플라인에 대응하는 톤 맵핑 곡선은 입력 휘도 범위가 상기한 공식 (9)에서 TH3C 이상이고 TH2D 미만인, 즉,
Figure pct00085
Figure pct00086
인 톤 맵핑 곡선일 수 있고, 여기서,
Figure pct00087
은 제1 범위 픽셀이다.
제2 파라미터 Rcurve는 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값 TH2D를 더 포함하고, 최대 값 TH2D는 또한, 제2 최대 입력 휘도 TH2D로서 지칭될 수 있다. 예를 들어, 제2 최대 입력 휘도 TH2D는 제1 범위 픽셀의 휘도 값의 상기한 최대 값 TH1D에 기초하여 결정될 수 있다.
일부 임의적인 실시예에서, 제2 파라미터 Rcurve는 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최대 값 TH3D를 더 포함하고, 최대 값 TH3D는 또한, 제3 최대 입력 휘도 TH3D로서 지칭될 수 있다. 임의적으로, 제2 범위 픽셀의 휘도 값의 최소 값은 TH2D일 수 있다. 예를 들어, 제2 3차 스플라인에 대응하는 톤 맵핑 곡선은 입력 휘도 범위가 상기한 공식 (9)에서 TH2D 이상이고 TH3D 미만인, 즉,
Figure pct00088
Figure pct00089
인 톤 맵핑 곡선일 수 있고, 여기서,
Figure pct00090
은 제2 범위 픽셀이다.
예를 들어, 디스플레이 디바이스는 제1 범위 픽셀의 휘도 값의 최대 값 TH1D 및 제2 최대 입력 휘도 TH2D에 기초하여 제3 최대 입력 휘도 TH3D를 결정할 수 있다.
다음은 이 출원의 이 실시예에서 제공된 제2 최대 입력 휘도 TH2D 및 제3 최대 입력 휘도 TH3D를 결정하기 위한 3개의 방법을 설명한다.
방법 1
디스플레이 디바이스는 제1 범위 픽셀의 휘도 값의 최대 값 TH1D, 및 제1 파라미터 내의 TH1[0], TH2[0], 및 TH3[0](또는 메타데이터 M 내에 포함된 파라미터 TH1[0], TH2[0], 및 TH3[0])에 기초하여, 제2 최대 입력 휘도 TH2D를 결정할 수 있다. 예를 들어, TH2D 및 TH3D는 다음의 공식 (16-1) 및 공식 (17-1)을 각각 만족시킬 수 있다:
TH2D = TH1D + TH2[0] - TH1[0] (16-1), 및
TH3D = TH2D + TH3[0] - TH2[0] (17-1).
방법 2
디스플레이 디바이스는 제1 범위 픽셀의 휘도 값의 최대 값 TH1D, 및 제1 파라미터 내의 deltaTH2[0] 및 deltaTH3[0](또는 메타데이터 M 내에 포함된 파라미터 deltaTH2[0] 및 deltaTH3[0])에 기초하여, 제2 최대 입력 휘도 TH2D를 결정할 수 있다. 예를 들어, TH2D 및 TH3D는 다음의 공식 (16-2) 및 공식 (17-2)을 각각 만족시킬 수 있다:
TH2D = TH1D + deltaTH2[0] (16-2), 및
TH3D = TH2D + deltaTH3[0] (17-2).
방법 3
디스플레이 디바이스는 TH1D 및 사전설정된 값에 기초하여 TH2D 및 TH3D를 결정할 수 있다. 예를 들어, TH2D 및 TH3D는 다음의 공식 (18) 및 공식 (19)를 각각 만족시킬 수 있다:
TH2D = TH1D + B (18), 및
TH3D = TH2D + C * TH2D - D * TH1D (19).
B는 0 초과인 유리수이고, 예를 들어, 어둡고-밝은 전이 영역 픽셀의 휘도 값에 대응하는 오프셋 값일 수 있고, B의 디폴트 값은 0.15일 수 있다. C 및 D는 0 초과인 유리수이고, 예를 들어, 밝은-영역 픽셀의 휘도 값에 대응하는 가중화 계수이고, C 및 D의 디폴트 값은 0.5일 수 있다.
임의적으로, (즉, 공식 (9)에서의) 제2 파라미터 Rcurve 내의 MD1D, MC1D, MB1D, MA1D, MD2D, MC2D, MB2D, 및 MA2D와 같은 파라미터가 결정될 수 있다. 예를 들어, 이 파라미터는 다음의 공식 (14) 내지 (19)에 기초하여 결정될 수 있다.
일부 실시예에서, 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값 TH1D는 제1 최대 입력 휘도 TH3C(즉, 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3C)와 동일하다. 이러한 방식으로, 제2 톤 맵핑 곡선 상의 선형 스플라인의 범위 픽셀은 제1 3차 스플라인의 제1 범위 픽셀과 연속적일 수 있다. 추가적으로, TH1D에서의 제2 톤 맵핑 곡선 상의 제1 선형 스플라인 및 제1 3차 스플라인의 출력 값은 동일하고, TH1D에서의 제2 톤 맵핑 곡선 상의 제1 선형 스플라인 및 제1 3차 스플라인의 1차 미분은 동일하고, 즉, 제2 톤 맵핑 곡선은 TH1D에서 연속적이다.
예를 들어, 공식 (9)에서의 Rcurve 파라미터에 대하여, 제2 톤 맵핑 곡선이 TH1D에서 연속적일 때, MA1D, Dark, TH3C, 및 MB1D는 다음의 공식 (20) 및 (21)을 만족시킨다:
Figure pct00091
(20), 및
Figure pct00092
(21).
일부 실시예에서, 제2 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최대 값은 제1 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값 TH2D, 즉, 제2 최대 입력 휘도 TH2D와 동일하다. TH2D에서의 제2 3차 스플라인 및 제1 3차 스플라인의 출력 값은 동일하다. 이러한 방식으로, 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 제1 범위 픽셀은 제2 3차 스플라인의 제2 범위 픽셀과 연속적일 수 있다. 추가적으로, TH2D에서의 제2 3차 스플라인 및 제1 3차 스플라인의 1차 미분은 동일하고, 즉, 제2 톤 맵핑 곡선은 TH2D에서 연속적이다.
예를 들어, 공식 (9)에서의 Rcurve 파라미터에 대하여, 제2 톤 맵핑 곡선이 TH2D에서 연속적일 때, MD1D, TH3C, MC1D, MB1D, MA1D, MD2D, TH2D, MB2D, 및 MA2D는 다음의 공식 (22) 및 (23)을 만족시킨다:
Figure pct00093
(22), 및
Figure pct00094
(23).
일부 실시예에서, 제2 파라미터는 제2 톤 맵핑 곡선의 톤 맵핑 하위함수의 곡선 파라미터를 더 포함한다. 톤 맵핑 하위함수의 제3 범위 픽셀의 휘도 값의 최소 값은 제2 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최대 값 TH3D, 즉, 제3 최대 입력 휘도 TH3D와 동일하다. 이러한 방식으로, 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 제2 범위 픽셀은 톤 맵핑 하위함수에 대응하는 제2 범위 픽셀과 연속적일 수 있다. 또한, TH3D에서의 제2 3차 스플라인 및 톤 맵핑 하위함수의 출력 값은 동일하고, TH3D에서의 제2 3차 스플라인 및 톤 맵핑 하위함수의 1차 미분은 동일하고, 즉, 제2 톤 맵핑 곡선은 TH3D에서 연속적이다.
예를 들어, 공식 (9)에서의 Rcurve 파라미터에 대하여, 제2 톤 맵핑 곡선이 TH3D에서 연속적일 때, MD2D, TH3D, TH2D, MC2D, MB2D, MA2D, MD2D, MC2D, 및 MB2D는 다음의 공식 (24) 및 (25)를 만족시킨다:
Figure pct00095
(24), 및
Figure pct00096
(25).
추가적으로, 일부 실시예에서, TH2D에서의 3차 스플라인(즉, 제1 3차 스플라인 및 제2 3차 스플라인)의 상기한 2개의 세그먼트의 값은 사전설정된 정책에 따라 획득될 수 있다. 예를 들어, TH2D에서의 3차 스플라인의 2개의 세그먼트의 값은 각각, 입력 휘도가 TH1D 및 TH3D이고 제2 톤 맵핑 곡선 상에 있는 2개의 포인트 사이의 연결 라인의 중간 포인트의 값일 수 있다.
이 출원의 이 실시예에서는, 한편으로, 제2 톤 맵핑 곡선 내의 3차 스플라인 곡선이 선형 스플라인 곡선을 기본적인 곡선에 원활하게 연결할 수 있고, 다른 한편으로, 3차 스플라인 곡선은 직선 라인 부분에 인접한 부분의 이득을 제어하는 것을 도울 수 있다.
이 출원의 이 실시예에서는, 제2 파라미터 내의 선형 스플라인 파라미터를 획득하는 프로세스만이 포함될 수 있고, 제2 파라미터 내의 선형 스플라인 파라미터 이외의 파라미터를 획득하는 프로세스는 수반될 필요가 없다는 것이 주목되어야 한다.
940: 제2 톤 맵핑 곡선의 제2 파라미터에 기초하여 이미지 데이터에 대한 동적 범위 맵핑을 수행함. 예를 들어, 제2 파라미터가 획득된 후에, 제2 톤 맵핑 곡선은 이미지 데이터에 대해 동적 범위 맵핑을 수행하기 위하여 획득될 수 있다.
예를 들어, 정규화된 HDR/SDR 소스 데이터와 정규화된 HDR/SDR 디스플레이 데이터 사이의 맵핑 관계는 상기한 공식 (9)에 기초하여 획득될 수 있다. 예를 들어, 디스플레이 디바이스의 최대 디스플레이 능력 및 최소 디스플레이 능력(예를 들어, 0)에 기초하여, 맵핑 값
Figure pct00097
은 디스플레이 디바이스의 최대 디스플레이 능력과 최소 디스플레이 능력 사이의 값으로 역 정규화될 수 있다. 상기한 역 정규화 계산은 PQ의 비선형 공간일 수 있거나, 정규화 0 내지 1의 선형 공간일 수 있다는 것이 주목되어야 한다. 추가적으로, 역 정규화는 0 내지 10000 니트일 수 있거나, 0.0001 내지 100000 니트일 수 있는 등과 같다. HDR/SDR 맵핑 데이터
Figure pct00098
의 역 정규화 범위 및 역 정규화 프로세스는 이 출원의 이 실시예에서 제한되지 않는다.
제1 톤 맵핑 곡선이 획득된 후에, 후속 디스플레이 적응 프로세싱은 톤 맵핑(tone mapping)을 포함할 뿐만 아니라, 포화 프로세싱(saturation processing), 색역(color gamut) 변환 프로세싱, 잡음제거 프로세싱(denosing processing), 선예화 프로세싱(sharpening processing) 등을 조절하기 위하여 디스플레이 전에 추가로 조절될 수 있다는 것이 주목되어야 한다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
디스플레이 디바이스의 최대 디스플레이 능력은 디바이스의 파라미터 또는 제조자에 대한 정보에 기초하여 획득될 수 있다는 것이 추가로 주목되어야 한다. 디스플레이 디바이스의 최소 디스플레이 능력은 통상적으로 0 니트이거나, 1 니트일 수 있다. 이것은 이 출원의 이 실시예에서 제한되지 않는다.
그러므로, 이 출원의 이 실시예에서는, 톤 맵핑 곡선의 파라미터가 추가로 조절되어, 조절된 곡선 파라미터에 대응하는 톤 맵핑 곡선의 출력 휘도는 톤 맵핑 곡선의 입력 휘도를 초과하지 않는다. 이것은 이미지의 최대 디스플레이 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 맵핑된 디스플레이 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상을 회피하는 것을 돕는다. 그러므로, 이 출원의 이 실시예에서는, 상이한 휘도를 갖는 단말 디스플레이 디바이스에 대하여 높은 신축성이 제공될 수 있어서, 파라미터가 적절하게 조절될 때, 양호한 제시 효과(presentation effect)가 달성된다.
이 출원의 일부 임의적인 실시예에서, 제2 파라미터 내의 (제1 선형 스플라인 곡선 파라미터로서 나타내어질 수 있는) 선형 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 기울기(예를 들어, MB[0][0]로서 표현될 수 있음) 및 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값(예를 들어, TH3[0]으로서 표현될 수 있음)을 포함할 수 있다.
이 출원의 일부 임의적인 실시예에서, 제2 파라미터 내의 (제1 선형 스플라인 곡선 파라미터로서 나타내어질 수 있는) 선형 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 기울기(예를 들어, MB[0][0]로서 표현될 수 있음), 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값(예를 들어, TH3[0]으로서 표현될 수 있음), 및 제1 선형 스플라인 및 수직 축의 교차 포인트 base_offset을 포함할 수 있다.
이 실시예에서, 제1 파라미터 내에 포함된 (제2 선형 스플라인 곡선 파라미터로서 나타내어질 수 있는) 선형 스플라인 곡선 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기(예를 들어, MB_mid[0][0]로서 표현될 수 있음) 및/또는 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값(예를 들어, TH3_mid[0]으로서 표현될 수 있음)을 포함할 수 있다.
이 경우에, 사전설정된 조건이 충족될 때, 제1 파라미터, 디스플레이 파라미터, 및 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 구현예는: 곡선 파라미터 MB[0][0] 및 TH3[0]을 획득하기 위하여, 최대 디스플레이 휘도 MaxDisplay 및 최대 휘도 보정 값 max_lum에 기초하여 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0]을 조절하는 것일 수 있다.
예를 들어, 파라미터 m_a(즉, 톤 맵핑 곡선 파라미터 a)가 Tm_ap(m_p) 초과일 경우에, 제2 파라미터를 생성하는 프로세스가 수행되고, 즉, MB[0][0] 및 TH3[0]은 max_lum/MaxDisplay에 기초하여 조절된다. Tm_ap는 예를 들어, 테이블 (m_p_T, m_a_T)를 룩업함으로써 m_p_T와 m_a_T 사이의 사전설정된 맵핑 관계에 기초하여 획득될 수 있고, 여기서, m_p는 톤 맵핑 곡선 파라미터 p에 대응하고, m_p에 기초하여 획득된 m_a의 사전설정된 값 Tm_ap(m_p)은 m_a_T이다.
예를 들어, 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0]가 조절될 때, 입력은 디스플레이 디바이스의 디스플레이 휘도 범위 내의 최대 디스플레이 휘도 MaxDisplay(PQ 도메인의 값), 프로세싱 대상 프레임의 최대 휘도 보정 값 max_lum, 메타데이터 내의 targeted_system_display_maximum_luminance(targeted_system_display_maximum_luminance가 메타데이터에서 존재하지 않을 경우에, targeted_system_display_maximum_luminance는 MaxDisplay임), 원래의 선형 스플라인 곡선(즉, 제1 톤 맵핑 곡선 내의 선형 스플라인 곡선) 파라미터 MB[0][0] 또는 TH3[0], 및 m_p, m_m, m_n, m_a, m_b, k1, k2, 및 k3을 포함하는 컬러 신호 맵핑 곡선 파라미터 Ptone_mapping일 수 있다. 출력은 선형 스플라인 곡선(즉, 제2 톤 맵핑 곡선 상의 선형 스플라인) 파라미터 MB[0][0], 또는 TH3[0]일 수 있다.
가능한 구현예에서, 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0], 및 곡선 파라미터 MB[0][0] 및 TH3[0]은 다음의 공식 (26) 및 (27)을 만족시키고:
Figure pct00099
(26), 및
Figure pct00100
(27), 여기서,
Figure pct00101
, 또는
Figure pct00102
이다.
N1 및 N2는 0 초과인 유리수이고, G(L)은 맵핑 곡선 파라미터 Tcurve의 역함수이다.
또 다른 가능한 구현예에서, 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0], 및 곡선 파라미터 MB[0][0] 및 TH3[0]은 다음의 공식 (28) 및 (29)을 만족시키고:
Figure pct00103
(28), 및
Figure pct00104
(29), 여기서,
Figure pct00105
, 또는
Figure pct00106
이다.
MaxLum은 최대 휘도 보정 값(MaxSource의 조절 값)이고, G(L)은 맵핑 곡선 파라미터 Tcurve의 역함수이다.
또 다른 가능한 구현예에서, 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0], 및 곡선 파라미터 MB[0][0] 및 TH3[0]은 다음의 공식 (30) 및 (31)을 만족시키고:
Figure pct00107
(30), 및
Figure pct00108
(31), 여기서,
Figure pct00109
, 또는
Figure pct00110
, 여기서,
Figure pct00111
, 또는
Figure pct00112
이다.
L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, H(L, m_a_T)은 유사하다. N1 및 N2는 유리수이고, 예를 들어, N1 및 N2의 디폴트 값은 0일 수 있다. max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시한다.
일부 실시예에서, k1 및 k2는 동시에 0이 아니고, K3은 0이 아니다.
예를 들어, H(L)는 다음의 몇몇 예이다:
Figure pct00113
, 또는
Figure pct00114
.
이 출원의 일부 임의적인 실시예에서, 제1 파라미터는 제2 선형 스플라인 곡선 파라미터를 포함할 수 있다. 제2 선형 스플라인 곡선 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0] 및/또는 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0] 및/또는 제1 선형 스플라인 및 수직 좌표 축의 교차 포인트 base_offset_mid를 포함한다. 디스플레이 파라미터는 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay를 포함한다. 특징 정보는 이미지 데이터의 최대 휘도 보정 값 max_lum을 포함한다.
제2 톤 맵핑 곡선의 제2 파라미터가 제1 파라미터, 디스플레이 파라미터, 및 특징 정보에 기초하여 획득되는 것은, 곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset를 획득하기 위하여, 최대 디스플레이 휘도 MaxDisplay 및 최대 휘도 보정 값 max_lum에 기초하여 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid를 조절하는 것을 포함한다.
가능한 구현예에서, 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid, 및 곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset는 다음의 공식을 만족시키고:
Figure pct00115
,
Figure pct00116
, 및
Figure pct00117
, 여기서,
Figure pct00118
,
Figure pct00119
, 또는
Figure pct00120
이다.
L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1, N2, 및 N3은 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
Figure pct00121
, 또는
Figure pct00122
이다.
이 출원의 이 실시예에서는, 제2 파라미터 내의 선형 스플라인 파라미터를 획득하는 프로세스만이 포함될 수 있고, 제2 파라미터 내의 선형 스플라인 파라미터 이외의 파라미터를 획득하는 프로세스는 수반될 필요가 없다는 것이 주목되어야 한다. 다시 말해서, 다음의 프로세싱 프로세스는 수반될 필요가 없을 수 있다.
일부 임의적인 실시예에서, 제2 파라미터는 3차 스플라인 곡선 파라미터를 더 포함한다. 3차 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 포함한다. TH1[1]은 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값을 지시한다. TH2[1]는 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값, 및 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최소 값을 지시한다. TH3[1]은 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최대 값을 지시한다. 예를 들어, TH1[1]은 TH1D의 예일 수 있고, TH2[1]는 TH2D의 예일 수 있고, TH3[1]은 TH3D의 예일 수 있다.
가능한 구현예에서, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값의 사전설정된 오프셋 값에 기초하여 계산될 수 있다. 예를 들어, TH1[1], TH2[1], 및 TH3[1]은 다음의 공식 (32) 내지 (34)를 만족시킨다:
TH1[1] = TH3[0] (32),
TH2[1] = TH1[1] + B (33), 및
TH3[1] = TH2[1] + C*TH2[1] - D * TH1[1] (34).
B, C, 및 D는 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값의 사전설정된 값이다. B는 어둡고-밝은 전이 영역 픽셀의 휘도 값에 대응하는 사전설정된 오프셋 값이다. C 및 D는 밝은 영역 픽셀의 휘도 값에 대응하는 사전설정된 가중화 계수이다. 예를 들어, B의 디폴트 값은 0.15일 수 있고, C 및 D의 디폴트 값은 0.5일 수 있다.
또 다른 가능한 구현예에서, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값에 기초하여 계산될 수 있다. 예를 들어, TH1[1], TH2[1], 및 TH3[1]은 다음의 공식 (35) 내지 (37)를 만족시킨다:
TH1[1] = 3Spline_TH[i][0][w] (35),
TH2[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w] (36), 및
TH3[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w] + 3Spline_TH_Delta1[i][2][w] (37).
3Spline_TH[i][0][w], 3Spline_TH_Delta1[i][1][w], 및 3Spline_TH_Delta1[i][2][w]는, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위하여 이용되고 메타데이터로부터 추출되는 상관 값이다.
일부 임의적인 실시예에서, 제2 톤 맵핑 곡선 내의 TH1[1], TH2[1], 및 TH3[1]에 대응하는 좌표(예를 들어, Y 좌표)는 예를 들어, VA1, VA2, 및 VA3으로서 각각 표현될 수 있다. TH3[0]에서의 제2 톤 맵핑 곡선 상의 선형 스플라인의 Y 좌표는 TH1[1]에서의 제2 톤 맵핑 곡선 상의 3차 스플라인의 Y 좌표와 동일하고, TH3[0]에서의 선형 스플라인의 1차 미분은 TH1[1]에서의 3차 스플라인의 1차 미분과 동일하다.
일부 임의적인 실시예에서, TH2[1]에서의 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 Y 좌표는 TH2[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표와 동일하고, TH2[1]에서의 제1 3차 스플라인의 1차 미분은 TH2[1]에서의 제2 3차 스플라인의 1차 미분과 동일하다.
일부 임의적인 실시예에서, TH3[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표는 TH3[1]에서의 제2 톤 맵핑 곡선 상의 제3 톤 맵핑 함수의 Y 좌표와 동일하고, TH3[1]에서의 제2 3차 스플라인의 1차 미분은 TH3[1]에서의 제3 톤 맵핑 함수의 1차 미분과 동일하다.
예를 들어, 공식 (38)은 제2 톤 맵핑 곡선 상의 선형 스플라인에 기초하여 획득될 수 있다:
F(L) = MB[0][0] ×L (38).
그 다음으로, L은 TH[1]로 설정되고, TH[1]의 좌표 VA1이 계산되고, 좌표 VA1은 다음의 공식 (39)를 만족시킨다:
VA1 = MB[0][0] ×TH[1] (39).
다음으로, MA[0][1] 및 MA[1][1]은 제2 톤 맵핑 곡선 상의 제1 3차 스플라인에 기초하여 획득되고, MA[0][1] 및 MA[1][1]은 다음의 공식 (40) 및 (41)을 만족시킨다:
MA[0][1] = VA1 (40), 및
MA[1][1] = VA2 (41).
그 다음으로, 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 1차 미분 GD1이 계산되어, MB[0][1] = GD1이고, TH3[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 1차 미분 GD3이 계산된다. GD1 및 GD3은 다음의 공식 (42) 및 (43)을 만족시킨다:
MB[0][1] = GD1 = MB[0][0] (42), 및
Figure pct00123
(43), 여기서,
Figure pct00124
.
그 다음으로, TH2[1]에서의 제2 톤 맵핑 곡선 내의 첫 번째 3차 스플라인(즉, 제1 3차 스플라인) 곡선의 값 VA2[0]이 계산되고, TH3[1]에서의 두 번째 3차 스플라인(즉, 제2 3차 스플라인) 곡선의 값 VA3[0]이 계산되어, VA3[0] = VA3이다.
TH3[1]에서의 두 번째 3차 스플라인 곡선의 미분 GD3[0]이 계산되어, GD3[0] = GD3이다.
TH2[1]에서의 첫 번째 3차 스플라인 곡선 및 두 번째 3차 스플라인 곡선의 1차 미분 GD2[0] 및 GD2[1]이 각각 계산되어, GD2[0] = GD2[1]이다.
TH2[1]에서의 2개의 3차 스플라인 곡선의 2차 미분 GGD2[0] 및 GGD2[1]이 계산되어, GGD2[0] = GGD2[1]이다.
결론적으로, 다음의 공식 (44)가 획득될 수 있다:
Figure pct00125
(44), 여기서,
Figure pct00126
.
제2 파라미터 내의 MC[0][1], MD[0][1], MB[1][1], MC[1][1], 및 MD[1][1]과 같은 파라미터는 또 다른 조건을 참조하여 상기한 계산을 통해 획득될 수 있다.
그러므로, 이 출원의 이 실시예에서, 제1 톤 맵핑 곡선의 파라미터가 추가로 조절되어, 조절된 곡선 파라미터(즉, 제2 파라미터)에 대응하는 톤 맵핑 곡선(즉, 제2 톤 맵핑 곡선) 상의 포인트의 출력 휘도는 포인트의 대응하는 입력 휘도를 초과하지 않는다. 이것은 이미지의 최대 디스플레이 휘도가 디스플레이 디바이스의 최대 디스플레이 휘도에 근접할 때, 맵핑된 단말 디바이스의 픽셀의 휘도가 원래의 이미지의 휘도를 초과한다는 비정상을 회피하는 것을 돕는다.
상기한 것은 도 9를 참조하여 이 출원의 실시예에서의 동적 범위 맵핑 방법을 상세하게 설명한다. 다음은 도 10 및 도 11을 참조하여 이 출원의 실시예에서의 동적 범위 맵핑 장치를 설명한다. 도 10 및 도 11에서 설명된 동적 범위 맵핑 장치는 도 9에서 도시된 동적 범위 맵핑 방법의 단계를 수행할 수 있다는 것이 이해되어야 한다. 도 9에서의 단계에 대한 상기한 제한은 또한, 도 10 및 도 11에서 도시된 장치에 적용가능하다. 그러므로, 도 10 및 도 11에서 도시된 장치가 이하에서 설명될 때, 간결함을 위하여, 반복된 설명은 적절하게 생략된다.
도 10은 이 출원의 실시예에 따른 동적 범위 맵핑 장치(1000)의 개략적인 블록도이다. 장치(1000)는 획득 유닛(1010), 프로세싱 유닛(1020), 및 맵핑 유닛(1030)을 포함한다.
획득 유닛(1010)은 단말 디바이스의 디스플레이 파라미터를 획득하도록 구성된다.
획득 유닛(1010)은 이미지 데이터의 특징 정보를 획득하도록 추가로 구성된다.
획득 유닛(1010)은 이미지 데이터의 제1 톤 맵핑 곡선의 제1 파라미터를 획득하도록 추가로 구성된다.
프로세싱 유닛(1020)은 사전설정된 조건이 충족될 때, 제1 파라미터, 단말 디바이스의 디스플레이 파라미터, 및 이미지 데이터의 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하도록 구성된다. 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 제2 톤 맵핑 곡선 상의 제1 포인트에서의 입력 휘도를 초과하지 않는다.
맵핑 유닛(1030)은 제2 톤 맵핑 곡선의 제2 파라미터에 기초하여 이미지 데이터에 대한 동적 범위 맵핑을 수행하도록 구성된다.
이 출원의 일부 구현예에서, 사전설정된 조건은 다음의 조건 중의 임의의 하나가 충족될 때에 충족된다:
톤 맵핑이 제1 파라미터에 기초하여 이미지 데이터에 대해 수행될 때, 제1 톤 맵핑 곡선 상의 제2 포인트에서의 출력 휘도는 제1 톤 맵핑 곡선 상의 제2 포인트에서의 입력 휘도를 초과한다.
대안적으로, 제1 파라미터 내의 파라미터 pP1은 제1 값 Tp를 초과한다. 제1 값 Tp는 제1 파라미터 내의 aP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득된다.
대안적으로, 제1 파라미터 내의 파라미터 aP1은 제2 값 Ta를 초과한다. 제2 값 Ta는 제1 파라미터 내의 pP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득된다.
대안적으로, 제1 파라미터 내의 파라미터 aP1 및 파라미터 pP1의 곱은 제3 값 Tap 초과이다. 제3 값 Tap는 사전설정된 유리수이다.
이 출원의 일부 구현예에서, 제2 파라미터는 제1 선형 스플라인 곡선 파라미터를 포함한다. 제1 선형 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 기울기 MB[0][0], 또는 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3[0]을 포함한다.
이 출원의 일부 구현예에서, 제1 파라미터는 제2 선형 스플라인 곡선 파라미터를 포함한다. 제2 선형 스플라인 곡선 파라미터는 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0], 및 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0]을 포함한다. 디스플레이 파라미터는 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay를 포함한다. 특징 정보는 이미지 데이터의 최대 휘도 보정 값 max_lum을 포함한다.
프로세싱 유닛(1020)은,
곡선 파라미터 MB[0][0] 및 TH3[0]을 획득하기 위하여 최대 디스플레이 휘도 MaxDisplay 및 최대 휘도 보정 값 max_lum에 기초하여 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0]을 조절하도록 구체적으로 구성된다.
이 출원의 일부 구현예에서, 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0], 및 곡선 파라미터 MB[0][0] 및 TH3[0]은 다음의 공식 (30) 및 (31)을 만족시키고:
Figure pct00127
, 및
Figure pct00128
, 여기서,
Figure pct00129
, 또는
Figure pct00130
*, 여기서,
Figure pct00131
, 또는
Figure pct00132
이다.
L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, H(L, m_a_T)는 유사하고, N1 및 N2는 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
Figure pct00133
, 또는
Figure pct00134
이다.
이 출원의 일부 구현예에서, 제2 파라미터는 3차 스플라인 곡선 파라미터를 포함한다. 3차 스플라인 곡선 파라미터는 제2 톤 맵핑 곡선 상의 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 포함한다. TH1[1]은 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값을 지시한다. TH2[1]는 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최대 값, 및 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최소 값을 지시한다. TH3[1]은 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최대 값을 지시한다.
이 출원의 일부 구현예에서, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 이하에서 도시된 바와 같은 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]의 사전설정된 오프셋 값에 기초하여 획득된다:
TH1[1] = TH3[0],
TH2[1] = TH1[1] + B, 및
TH3[1] = TH2[1] + C * TH2[1] - D * TH1[1].
B, C, 및 D는 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값의 사전설정된 값이다. B는 어둡고-밝은 전이 영역 픽셀의 휘도 값에 대응하는 사전설정된 오프셋 값이다. C 및 D는 밝은 영역 픽셀의 휘도 값에 대응하는 사전설정된 가중화 계수이다.
이 출원의 일부 구현예에서, 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 제1 파라미터 내의 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 이하에서 도시된 바와 같은 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값에 기초하여 계산된다:
TH1[1] = 3Spline_TH[i][0][w],
TH2[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w], 및
TH3[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w] + 3Spline_TH_Delta1[i][2][w].
3Spline_TH[i][0][w], 3Spline_TH_Delta1[i][1][w], 및 3Spline_TH_Delta1[i][2][w]는, 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위하여 이용되고 메타데이터로부터 추출되는 상관 값이다.
이 출원의 일부 구현예에서, TH3[0]에서의 제2 톤 맵핑 곡선 상의 선형 스플라인의 Y 좌표는 TH1[1]에서의 제2 톤 맵핑 곡선 상의 3차 스플라인의 Y 좌표와 동일하고, TH3[0]에서의 선형 스플라인의 1차 미분은 TH1[1]에서의 3차 스플라인의 1차 미분과 동일하다.
이 출원의 일부 구현예에서, TH2[1]에서의 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 Y 좌표는 TH2[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표와 동일하고, TH2[1]에서의 제1 3차 스플라인의 1차 미분은 TH2[1]에서의 제2 3차 스플라인의 1차 미분과 동일하다.
이 출원의 일부 구현예에서, TH3[1]에서의 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표는 TH3[1]에서의 제2 톤 맵핑 곡선 상의 제3 톤 맵핑 함수의 Y 좌표와 동일하고, TH3[1]에서의 제2 3차 스플라인의 1차 미분은 TH3[1]에서의 제3 톤 맵핑 함수의 1차 미분과 동일하다.
이 출원의 일부 구현예에서, 획득 유닛(1010)은,
이미지 데이터의 메타데이터를 획득하고;
메타데이터 및 디스플레이 파라미터에 기초하여 제1 톤 맵핑 곡선의 제1 파라미터를 결정하도록 구체적으로 구성된다.
도 11은 이 출원의 실시예에 따른 동적 범위 맵핑 장치(1100)의 하드웨어 구조의 개략도이다. 도 11에서 도시된 장치(1100)는 컴퓨터 디바이스로서 간주될 수 있다. 장치(1100)는 이 출원의 실시예에서의 동적 범위 맵핑 장치의 구현예로서 이용될 수 있거나, 이 출원의 실시예에서의 동적 범위 맵핑 방법의 구현예로서 이용될 수 있다. 장치(1100)는 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 및 버스(1105)를 포함하고, 통신 인터페이스(1104)를 더 포함할 수 있다. 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 및 통신 인터페이스(1104)는 버스(1105)를 이용함으로써 서로에 대한 통신 접속을 구현한다.
프로세서(1101)는 범용 중앙 프로세싱 유닛(central processing unit, CPU), 마이크로프로세서, 애플리케이션-특정 집적 회로(application-specific integrated circuit, ASIC), 또는 하나 이상의 집적 회로일 수 있다. 프로세서(1101)는 이 출원의 실시예에서의 미디어 데이터 프로세싱 장치 내의 모듈에 의해 실행될 필요가 있는 기능을 구현하기 위하여 관련된 프로그램을 실행하고, 이 출원의 방법 실시예에서의 미디어 데이터 프로세싱 방법을 수행하도록 구성된다. 프로세서(1101)는 집적 회로 칩일 수 있고, 신호 프로세싱 능력을 가진다. 구현 프로세스에서, 상기한 방법에서의 단계는 프로세서(701) 내의 하드웨어의 통합된 로직 회로 또는 소프트웨어 형태인 명령을 이용함으로써 완료될 수 있다. 프로세서(1101)는 범용 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 애플리케이션-특정 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(field programmable gate array, FPGA), 또 다른 프로그래밍가능 로직 디바이스, 개별 게이트, 트랜지스터 로직 디바이스, 또는 개별 하드웨어 컴포넌트일 수 있다. 프로세서는 이 출원의 실시예에서 개시되는 방법, 단계, 및 논리적 블록도를 구현하거나 수행할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나, 프로세서는 임의의 기존의 프로세서 등일 수 있다. 이 출원의 실시예를 참조하여 개시된 방법의 단계는 하드웨어 디코딩 프로세서에 의해 직접적으로 수행되고 완료될 수 있거나, 디코딩 프로세서 내의 하드웨어 및 소프트웨어 모듈의 조합을 이용함으로써 수행되고 완료될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독-전용 메모리, 프로그래밍가능 판독-전용 메모리, 전기적 소거가능 프로그래밍가능 메모리, 또는 레지스터(register)와 같은, 본 기술분야에서의 완숙된 저장 매체에서 위치될 수 있다. 저장 매체는 메모리(1102) 내에 위치된다. 프로세서(1101)는 메모리(1102) 내의 정보를 판독하고, 프로세서(1101)의 하드웨어와 조합하여, 이 출원의 실시예에서의 미디어 데이터 프로세싱 장치 내에 포함된 모듈에 의해 실행될 필요가 있는 기능을 완료하거나, 이 출원의 방법 실시예에서의 미디어 데이터 프로세싱 방법을 수행한다.
메모리(1102)는 판독-전용 메모리(read-only memory, ROM), 정적 저장 디바이스, 동적 저장 디바이스, 또는 랜덤 액세스 메모리(random access memory, RAM)일 수 있다. 메모리(1102)는 오퍼레이팅 시스템 및 또 다른 애플리케이션 프로그램을 저장할 수 있다. 이 출원의 실시예에서의 미디어 데이터 프로세싱 장치 내에 포함되는 모듈에 의해 실행될 필요가 있는 기능이 구현되거나, 이 출원의 방법 실시예에서의 미디어 데이터 프로세싱 방법이 소프트웨어 또는 펌웨어를 이용함으로써 수행될 때, 이 출원의 실시예에서 제공된 기술적 해결책을 구현하기 위하여 이용된 프로그램 코드는 메모리(1102) 내에 저장되고, 프로세서(1101)는 미디어 데이터 프로세싱 장치 내에 포함되는 모듈에 의해 수행될 필요가 있는 동작을 수행하거나, 이 출원의 방법 실시예에서 제공된 미디어 데이터 프로세싱 방법을 수행한다.
입력/출력 인터페이스(1103)는 입력 데이터 및 정보를 수신하고, 동작 결과와 같은 데이터를 출력하도록 구성된다.
통신 인터페이스(1104)는 장치(1100)와 또 다른 디바이스 또는 통신 네트워크 사이의 통신을 구현하기 위하여, 트랜시버 장치, 예를 들어, 트랜시버를 이용하지만, 이것으로 제한되지는 않는다. 통신 인터페이스(1104)는 프로세싱 장치 내의 획득 모듈 또는 송신 모듈로서 이용될 수 있다.
버스(1105)는 장치(1100)의 컴포넌트(예를 들어, 프로세서(1101), 메모리(1102), 입력/출력 인터페이스(1103), 및 통신 인터페이스(1104)) 사이에서 정보를 전송하기 위한 경로를 포함할 수 있다.
장치(1100)의 것인 프로세서(1101), 메모리(1102), 입력 및 출력 인터페이스(1103), 통신 인터페이스(1104), 및 버스(1105)만이 도 11에서 도시되지만, 특정 구현 프로세스에서, 본 기술분야에서의 통상의 기술자는 장치(1100)가 정상적인 작동을 구현하기 위하여 요구된 또 다른 디바이스를 더 포함하고, 예를 들어, 플레이 대상 비디오 데이터를 디스플레이하도록 구성되는 디스플레이를 더 포함할 수 있다는 것을 인식해야 한다는 것이 주목되어야 한다. 추가적으로, 특정 요건에 기초하여, 본 기술분야에서의 통상의 기술자는 장치(1100)가 다른 추가적인 기능을 구현하기 위한 하드웨어 컴포넌트를 더 포함할 수 있다는 것을 이해해야 한다. 추가적으로, 본 기술분야에서의 통상의 기술자는 장치(1100)가 대안적으로, 이 출원의 이 실시예를 구현하기 위하여 요구된 컴포넌트만을 포함할 수 있지만, 도 11에서 도시된 모든 컴포넌트를 반드시 포함하지는 않는다는 것을 이해해야 한다.
본 기술분야에서의 통상의 기술자는 이 명세서에서 개시된 실시예에서 설명된 예와 조합하여, 유닛 및 알고리즘 단계가 전자 하드웨어, 또는 컴퓨터 소프트웨어 및 전자 하드웨어의 조합에 의해 구현될 수 있다는 것을 인지할 수 있다. 기능이 하드웨어 또는 소프트웨어를 이용함으로써 수행되는지 여부는 특정한 애플리케이션, 및 기술적 해결책의 설계 제약에 종속된다. 본 기술분야에서의 통상의 기술자는 각각의 특정한 애플리케이션을 위한 설명된 기능을 구현하기 위하여 상이한 방법을 이용할 수 있지만, 구현예는 이 출원의 범위를 초월하는 것으로 간주되지 않아야 한다.
이 출원의 실시예는 컴퓨터-판독가능 저장 매체를 추가로 제공한다. 컴퓨터-판독가능 저장 매체는 명령을 저장하고, 명령이 컴퓨터 상에서 작동될 때, 컴퓨터는 상기한 동적 범위 맵핑 방법을 수행하는 것이 가능하게 된다.
이 출원의 실시예는 명령을 포함하는 컴퓨터 프로그램 제품을 추가로 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 작동될 때, 컴퓨터는 상기한 동적 범위 맵핑 방법을 수행하는 것이 가능하게 된다.
본 기술분야에서의 통상의 기술자는 이 명세서에서 개시된 실시예에서 설명된 예와 조합하여, 유닛 및 알고리즘 단계가 전자 하드웨어, 또는 컴퓨터 소프트웨어 및 전자 하드웨어의 조합에 의해 구현될 수 있다는 것을 인지할 수 있다. 기능이 하드웨어 또는 소프트웨어를 이용함으로써 수행되는지 여부는 특정한 애플리케이션, 및 기술적 해결책의 설계 제약에 종속된다. 본 기술분야에서의 통상의 기술자는 각각의 특정한 애플리케이션을 위한 설명된 기능을 구현하기 위하여 상이한 방법을 이용할 수 있지만, 구현예는 이 출원의 범위를 초월하는 것으로 간주되지 않아야 한다.
편리하고 간단한 설명의 목적을 위하여, 상기한 시스템, 장치, 및 유닛의 상세한 작동 프로세스에 대하여, 상기한 방법 실시예에서의 대응하는 프로세스를 참조하고, 세부사항은 본 명세서에서 다시 설명되지 않는다는 것이 본 기술분야에서의 통상의 기술자에 의해 명확하게 이해될 수 있다.
이 출원에서 제공된 몇몇 실시예에서는, 개시된 시스템, 장치, 및 방법이 또 다른 방식으로 구현될 수 있다는 것이 이해되어야 한다. 예를 들어, 설명된 장치 실시예는 단지 예이다. 예를 들어, 유닛으로의 분할은 단지 논리적 기능 분할이고, 실제적인 구현예에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트는 또 다른 시스템으로 조합되거나 통합될 수 있거나, 또는 일부 특징은 무시되거나 수행되지 않을 수 있다. 추가적으로, 디스플레이되거나 논의된 상호 결합 또는 직접적인 결합 또는 통신 접속은 일부 인터페이스를 이용함으로써 구현될 수 있다. 장치 또는 유닛 사이의 간접적인 결합 또는 통신 접속은 전자적, 기계적, 또는 다른 형태로 구현될 수 있다.
별도의 부분으로서 설명된 유닛은 물리적으로 별도이거나 그렇지 않을 수 있고, 유닛으로서 디스플레이된 부분은 물리적 유닛이거나 그렇지 않을 수 있고, 하나의 위치에서 위치될 수 있거나, 복수의 네트워크 유닛 상에서 분산될 수 있다. 유닛의 일부 또는 전부는 실시예의 해결책의 목적을 달성하기 위하여 실제적인 요건에 기초하여 선택될 수 있다.
추가적으로, 이 출원의 실시예에서의 기능적인 유닛은 하나의 프로세싱 유닛으로 통합될 수 있거나, 유닛들의 각각은 물리적으로 단독으로 존재할 수 있거나, 2 개 이상의 유닛이 하나의 유닛으로 통합된다.
기능이 소프트웨어 기능 유닛의 형태로 구현되고, 독립적인 제품으로서 판매되거나 이용될 때, 기능은 컴퓨터-판독가능 저장 매체 내에 저장될 수 있다. 이러한 이해에 기초하여, 이 출원의 기술적 해결책은 필수적으로, 또는 현재의 기술에 기여하는 부분, 또는 기술적 해결책의 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에서 저장되고, 이 출원의 실시예에서 설명된 방법의 단계 중의 전부 또는 일부를 수행할 것을 (개인용 컴퓨터, 서버, 네트워크 디바이스 등일 수 있는) 컴퓨터 디바이스에 지시하기 위한 몇몇 명령을 포함한다. 상기한 저장 매체는 USB 플래시 드라이브, 분리가능한 하드 디스크, 판독-전용 메모리(read-only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 자기 디스크, 또는 광학 디스크와 같은, 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
상기한 설명은 이 출원의 단지 구체적인 구현예이지만, 이 출원의 보호 범위를 제한하도록 의도되지 않는다. 이 출원에서 개시된 기술적 범위 내에서 본 기술분야에서의 통상의 기술자에 의해 용이하게 도출된 임의의 변형 또는 대체는 이 출원의 보호 범위 내에 속할 것이다. 그러므로, 이 출원의 보호 범위는 청구항의 보호 범위에 종속될 것이다.

Claims (28)

  1. 동적 범위 맵핑 방법으로서,
    단말 디바이스의 디스플레이 파라미터를 획득하는 단계;
    이미지 데이터의 특징 정보를 획득하는 단계;
    상기 이미지 데이터의 제1 톤 맵핑 곡선(tone mapping curve)의 제1 파라미터를 획득하는 단계;
    사전설정된 조건이 충족될 때, 상기 제1 파라미터, 상기 단말 디바이스의 상기 디스플레이 파라미터, 및 상기 이미지 데이터의 상기 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계 - 상기 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 상기 제2 톤 맵핑 곡선 상의 상기 제1 포인트에서의 입력 휘도를 초과하지 않음 -; 및
    상기 제2 톤 맵핑 곡선의 상기 제2 파라미터에 기초하여 상기 이미지 데이터에 대한 동적 범위 맵핑을 수행하는 단계를 포함하는, 동적 범위 맵핑 방법.
  2. 제1항에 있어서,
    상기 사전설정된 조건은 다음의 조건:
    톤 맵핑이 상기 제1 파라미터에 기초하여 상기 이미지 데이터에 대해 수행될 때, 상기 제1 톤 맵핑 곡선 상의 제2 포인트에서의 출력 휘도가 상기 제1 톤 맵핑 곡선 상의 상기 제2 포인트에서의 입력 휘도를 초과하는 것; 또는
    상기 제1 파라미터 내의 파라미터 pP1이 제1 값 Tp를 초과하는 것 - 상기 제1 값 Tp는 상기 제1 파라미터 내의 aP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득됨 -; 또는
    상기 제1 파라미터 내의 파라미터 aP1이 제2 값 Ta를 초과하는 것 - 상기 제2 값 Ta는 상기 제1 파라미터 내의 pP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득됨 -; 또는
    상기 제1 파라미터 내의 파라미터 aP1 및 파라미터 pP1의 곱(product)이 제3 값 Tap를 초과하는 것 - 상기 제3 값 Tap는 사전설정된 유리수임 -
    중의 임의의 하나가 충족될 때에 충족되는, 동적 범위 맵핑 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제2 파라미터는 제1 선형 스플라인 곡선 파라미터(linear spline curve parameter)를 포함하고, 상기 제1 선형 스플라인 곡선 파라미터는 상기 제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 기울기 MB[0][0] 및/또는 상기 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3[0] 및/또는 상기 제1 선형 스플라인 및 수직 좌표 축의 교차 포인트 base_offset를 포함하는, 동적 범위 맵핑 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 파라미터는 제2 선형 스플라인 곡선 파라미터를 포함하고, 상기 제2 선형 스플라인 곡선 파라미터는 상기 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0] 및/또는 상기 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0]을 포함하고, 상기 디스플레이 파라미터는 상기 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay를 포함하고, 상기 특징 정보는 상기 이미지 데이터의 최대 휘도 보정 값 max_lum을 포함하고;
    상기 제1 파라미터, 상기 디스플레이 파라미터, 및 상기 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계는,
    상기 곡선 파라미터 MB[0][0] 및 TH3[0]을 획득하기 위하여 상기 최대 디스플레이 휘도 MaxDisplay 및 상기 최대 휘도 보정 값 max_lum에 기초하여 상기 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0]을 조절하는 단계를 포함하는, 동적 범위 맵핑 방법.
  5. 제4항에 있어서,
    상기 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0], 및 상기 곡선 파라미터 MB[0][0] 및 TH3[0]은 다음의 공식을 만족시키고:
    Figure pct00135
    , 및
    Figure pct00136
    , 여기서,
    Figure pct00137
    ,
    Figure pct00138
    , 또는
    Figure pct00139
    이고, 여기서,
    L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1 및 N2는 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
    Figure pct00140
    , 또는
    Figure pct00141
    인, 동적 범위 맵핑 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제2 파라미터는 3차 스플라인 곡선 파라미터(cubic spline curve parameter)를 포함하고, 상기 3차 스플라인 곡선 파라미터는 상기 제2 톤 맵핑 곡선 상의 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 포함하고, TH1[1]은 상기 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값을 지시하고, TH2[1]는 상기 3차 스플라인의 상기 제1 범위 픽셀의 상기 휘도 값의 최대 값, 및 상기 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최소 값을 지시하고, TH3[1]은 상기 3차 스플라인의 상기 제2 범위 픽셀의 상기 휘도 값의 최대 값을 지시하는, 동적 범위 맵핑 방법.
  7. 제6항에 있어서,
    상기 3차 스플라인의 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 상기 제1 파라미터 내의 상기 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 하기에서 도시된 바와 같은 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]의 사전설정된 오프셋 값에 기초하여 획득되고:
    TH1[1] = TH3[0],
    TH2[1] = TH1[1] + B, 및
    TH3[1] = TH2[1] + C * TH2[1] - D * TH1[1], 여기서,
    B, C, 및 D는 상기 3차 스플라인의 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값의 사전설정된 값이고, B는 어둡고-밝은 전이 영역 픽셀의 휘도 값에 대응하는 사전설정된 오프셋 값이고, C 및 D는 밝은 영역 픽셀의 휘도 값에 대응하는 사전설정된 가중화 계수인, 동적 범위 맵핑 방법.
  8. 제6항에 있어서,
    상기 3차 스플라인의 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 상기 제1 파라미터 내의 상기 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 하기에서 도시된 바와 같은 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값에 기초하여 계산되고:
    TH1[1] = 3Spline_TH[i][0][w],
    TH2[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w], 및
    TH3[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w] + 3Spline_TH_Delta1[i][2][w], 여기서,
    3Spline_TH[i][0][w], 3Spline_TH_Delta1[i][1][w], 및 3Spline_TH_Delta1[i][2][w]는, 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위하여 이용되고 메타데이터로부터 추출되는 상기 상관 값인, 동적 범위 맵핑 방법.
  9. 제8항에 있어서,
    TH3[0]에서의 상기 제2 톤 맵핑 곡선 상의 선형 스플라인의 Y 좌표는 TH1[1]에서의 상기 제2 톤 맵핑 곡선 상의 상기 3차 스플라인의 Y 좌표와 동일하고, TH3[0]에서의 상기 선형 스플라인의 1차 미분은 TH1[1]에서의 상기 3차 스플라인의 1차 미분과 동일한, 동적 범위 맵핑 방법.
  10. 제8항 또는 제9항에 있어서,
    TH2[1]에서의 상기 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 Y 좌표는 TH2[1]에서의 상기 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표와 동일하고, TH2[1]에서의 상기 제1 3차 스플라인의 1차 미분은 TH2[1]에서의 상기 제2 3차 스플라인의 1차 미분과 동일한, 동적 범위 맵핑 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    TH3[1]에서의 상기 제2 톤 맵핑 곡선 상의 상기 제2 3차 스플라인의 Y 좌표는 TH3[1]에서의 상기 제2 톤 맵핑 곡선 상의 제3 톤 맵핑 함수의 Y 좌표와 동일하고, TH3[1]에서의 상기 제2 3차 스플라인의 1차 미분은 TH3[1]에서의 상기 제3 톤 맵핑 함수의 1차 미분과 동일한, 동적 범위 맵핑 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 이미지 데이터의 제1 톤 맵핑 곡선의 제1 파라미터를 획득하는 단계는,
    상기 이미지 데이터의 상기 메타데이터를 획득하는 단계; 및
    상기 메타데이터 및 상기 디스플레이 파라미터에 기초하여 상기 제1 톤 맵핑 곡선의 상기 제1 파라미터를 결정하는 단계를 포함하는, 동적 범위 맵핑 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 제1 파라미터는 상기 제2 선형 스플라인 곡선 파라미터를 포함하고, 상기 제2 선형 스플라인 곡선 파라미터는 상기 제1 톤 맵핑 곡선 상의 상기 제2 선형 스플라인의 상기 기울기 MB_mid[0][0] 및/또는 상기 제2 선형 스플라인의 상기 범위 픽셀의 상기 휘도 값의 상기 최대 값 TH3_mid[0] 및/또는 상기 제1 선형 스플라인 및 상기 수직 좌표 축의 교차 포인트 base_offset_mid를 포함하고, 상기 디스플레이 파라미터는 상기 단말 디바이스의 상기 최대 디스플레이 휘도 MaxDisplay를 포함하고, 상기 특징 정보는 상기 이미지 데이터의 상기 최대 휘도 보정 값 max_lum을 포함하고;
    상기 제1 파라미터, 상기 디스플레이 파라미터, 및 상기 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하는 단계는,
    상기 곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset을 획득하기 위하여 상기 최대 디스플레이 휘도 MaxDisplay 및 상기 최대 휘도 보정 값 max_lum에 기초하여 상기 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid를 조절하는 단계를 포함하는, 동적 범위 맵핑 방법.
  14. 제13항에 있어서,
    상기 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid, 및 상기 곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset는 다음의 공식을 만족시키고:
    Figure pct00142
    ,
    Figure pct00143
    , 및
    Figure pct00144
    , 여기서,
    Figure pct00145
    ,
    Figure pct00146
    , 또는
    Figure pct00147
    이고, 여기서,
    L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1, N2, 및 N3은 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
    Figure pct00148
    , 또는
    Figure pct00149
    인, 동적 범위 맵핑 방법.
  15. 동적 범위 맵핑 장치로서,
    단말 디바이스의 디스플레이 파라미터를 획득하도록 구성된 획득 유닛 - 상기 획득 유닛은 이미지 데이터의 특징 정보를 획득하도록 추가로 구성되고, 상기 획득 유닛은 상기 이미지 데이터의 제1 톤 맵핑 곡선의 제1 파라미터를 획득하도록 추가로 구성됨 -;
    사전설정된 조건이 충족될 때, 상기 제1 파라미터, 상기 단말 디바이스의 상기 디스플레이 파라미터, 및 상기 이미지 데이터의 상기 특징 정보에 기초하여, 제2 톤 맵핑 곡선의 제2 파라미터를 획득하도록 구성된 프로세싱 유닛 - 상기 제2 톤 맵핑 곡선 상의 제1 포인트에서의 출력 휘도는 상기 제2 톤 맵핑 곡선 상의 상기 제1 포인트에서의 입력 휘도를 초과하지 않음 -; 및
    상기 제2 톤 맵핑 곡선의 상기 제2 파라미터에 기초하여 상기 이미지 데이터에 대한 동적 범위 맵핑을 수행하도록 구성된 맵핑 유닛을 포함하는, 동적 범위 맵핑 장치.
  16. 제15항에 있어서,
    상기 사전설정된 조건은 다음의 조건:
    톤 맵핑이 상기 제1 파라미터에 기초하여 상기 이미지 데이터에 대해 수행될 때, 상기 제1 톤 맵핑 곡선 상의 제2 포인트에서의 출력 휘도가 상기 제1 톤 맵핑 곡선 상의 상기 제2 포인트에서의 입력 휘도를 초과하는 것; 또는
    상기 제1 파라미터 내의 파라미터 pP1이 제1 값 Tp를 초과하는 것 - 상기 제1 값 Tp는 상기 제1 파라미터 내의 aP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득됨 -; 또는
    상기 제1 파라미터 내의 파라미터 aP1이 제2 값 Ta를 초과하는 것 - 상기 제2 값 Ta는 상기 제1 파라미터 내의 pP1, 및 aP1과 pP1 사이의 사전설정된 대응관계에 기초하여 획득됨 -; 또는
    상기 제1 파라미터 내의 파라미터 aP1 및 파라미터 pP1의 곱(product)이 제3 값 Tap를 초과하는 것 - 상기 제3 값 Tap는 사전설정된 유리수임 -
    중의 임의의 하나가 충족될 때에 충족되는, 동적 범위 맵핑 장치.
  17. 제15항 또는 제16항에 있어서,
    상기 제2 파라미터는 제1 선형 스플라인 곡선 파라미터를 포함하고, 상기 제1 선형 스플라인 곡선 파라미터는 상기 제2 톤 맵핑 곡선 상의 제1 선형 스플라인의 기울기 MB[0][0] 및/또는 상기 제1 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3[0] 및/또는 상기 제1 선형 스플라인 및 수직 좌표 축의 교차 포인트 base_offset를 포함하는, 동적 범위 맵핑 장치.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 제1 파라미터는 제2 선형 스플라인 곡선 파라미터를 포함하고, 상기 제2 선형 스플라인 곡선 파라미터는 상기 제1 톤 맵핑 곡선 상의 제2 선형 스플라인의 기울기 MB_mid[0][0] 및/또는 상기 제2 선형 스플라인의 범위 픽셀의 휘도 값의 최대 값 TH3_mid[0]을 포함하고, 상기 디스플레이 파라미터는 상기 단말 디바이스의 최대 디스플레이 휘도 MaxDisplay를 포함하고, 상기 특징 정보는 상기 이미지 데이터의 최대 휘도 보정 값 max_lum을 포함하고;
    상기 프로세싱 유닛은,
    상기 곡선 파라미터 MB[0][0] 및 TH3[0]을 획득하기 위하여 상기 최대 디스플레이 휘도 MaxDisplay 및 상기 최대 휘도 보정 값 max_lum에 기초하여 상기 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0]을 조절하도록 구체적으로 구성된, 동적 범위 맵핑 장치.
  19. 제18항에 있어서,
    상기 곡선 파라미터 MB_mid[0][0] 및 TH3_mid[0], 및 상기 곡선 파라미터 MB[0][0] 및 TH3[0]은 다음의 공식을 만족시키고:
    Figure pct00150

    Figure pct00151
    , 여기서,
    Figure pct00152
    ,
    Figure pct00153
    , 또는
    Figure pct00154
    , 여기서,
    L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1 및 N2는 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
    Figure pct00155
    , 또는
    Figure pct00156
    인, 동적 범위 맵핑 장치.
  20. 제15항 내지 제19항 중 어느 한 항에 있어서,
    상기 제2 파라미터는 3차 스플라인 곡선 파라미터(cubic spline curve parameter)를 포함하고, 상기 3차 스플라인 곡선 파라미터는 상기 제2 톤 맵핑 곡선 상의 3차 스플라인의 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 포함하고, TH1[1]은 상기 3차 스플라인의 제1 범위 픽셀의 휘도 값의 최소 값을 지시하고, TH2[1]는 상기 3차 스플라인의 상기 제1 범위 픽셀의 상기 휘도 값의 최대 값, 및 상기 3차 스플라인의 제2 범위 픽셀의 휘도 값의 최소 값을 지시하고, TH3[1]은 상기 3차 스플라인의 상기 제2 범위 픽셀의 상기 휘도 값의 최대 값을 지시하는, 동적 범위 맵핑 장치.
  21. 제20항에 있어서,
    상기 3차 스플라인의 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 상기 제1 파라미터 내의 상기 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 하기에서 도시된 바와 같은 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]의 사전설정된 오프셋 값에 기초하여 획득되고:
    TH1[1] = TH3[0],
    TH2[1] = TH1[1] + B, 및
    TH3[1] = TH2[1] + C * TH2[1] - D * TH1[1], 여기서,
    B, C, 및 D는 상기 3차 스플라인의 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값의 사전설정된 값이고, B는 어둡고-밝은 전이 영역 픽셀의 휘도 값에 대응하는 사전설정된 오프셋 값이고, C 및 D는 밝은 영역 픽셀의 휘도 값에 대응하는 사전설정된 가중화 계수인, 동적 범위 맵핑 장치.
  22. 제20항에 있어서,
    상기 3차 스플라인의 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]은 상기 제1 파라미터 내의 상기 제2 선형 스플라인 곡선 파라미터 TH3[0], 및 하기에서 도시된 바와 같은 상기 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위한 상관 값에 기초하여 계산되고:
    TH1[1] = 3Spline_TH[i][0][w],
    TH2[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w], 및
    TH3[1] = 3Spline_TH[i][0][w] + 3Spline_TH_Delta1[i][1][w] + 3Spline_TH_Delta1[i][2][w], 여기서,
    3Spline_TH[i][0][w], 3Spline_TH_Delta1[i][1][w], 및 3Spline_TH_Delta1[i][2][w]는, 보간 포인트 값 TH1[1], TH2[1], 및 TH3[1]을 계산하기 위하여 이용되고 메타데이터로부터 추출되는 상기 상관 값인, 동적 범위 맵핑 장치.
  23. 제22항에 있어서,
    TH3[0]에서의 상기 제2 톤 맵핑 곡선 상의 선형 스플라인의 Y 좌표는 TH1[1]에서의 상기 제2 톤 맵핑 곡선 상의 상기 3차 스플라인의 Y 좌표와 동일하고, TH3[0]에서의 상기 선형 스플라인의 1차 미분은 TH1[1]에서의 상기 3차 스플라인의 1차 미분과 동일한, 동적 범위 맵핑 장치.
  24. 제22항 또는 제23항에 있어서,
    TH2[1]에서의 상기 제2 톤 맵핑 곡선 상의 제1 3차 스플라인의 Y 좌표는 TH2[1]에서의 상기 제2 톤 맵핑 곡선 상의 제2 3차 스플라인의 Y 좌표와 동일하고, TH2[1]에서의 상기 제1 3차 스플라인의 1차 미분은 TH2[1]에서의 상기 제2 3차 스플라인의 1차 미분과 동일한, 동적 범위 맵핑 장치.
  25. 제22항 내지 제24항 중 어느 한 항에 있어서,
    TH3[1]에서의 상기 제2 톤 맵핑 곡선 상의 상기 제2 3차 스플라인의 Y 좌표는 TH3[1]에서의 상기 제2 톤 맵핑 곡선 상의 제3 톤 맵핑 함수의 Y 좌표와 동일하고, TH3[1]에서의 상기 제2 3차 스플라인의 1차 미분은 TH3[1]에서의 상기 제3 톤 맵핑 함수의 1차 미분과 동일한, 동적 범위 맵핑 장치.
  26. 제15항 내지 제25항 중 어느 한 항에 있어서,
    상기 획득 유닛은,
    이미지 데이터의 메타데이터를 획득하고,
    상기 메타데이터 및 상기 디스플레이 파라미터에 기초하여 상기 제1 톤 맵핑 곡선의 상기 제1 파라미터를 결정하도록 구체적으로 구성된, 동적 범위 맵핑 장치.
  27. 제15항 내지 제26항 중 어느 한 항에 있어서,
    상기 제1 파라미터는 상기 제2 선형 스플라인 곡선 파라미터를 포함하고, 상기 제2 선형 스플라인 곡선 파라미터는 상기 제1 톤 맵핑 곡선 상의 상기 제2 선형 스플라인의 상기 기울기 MB_mid[0][0] 및/또는 상기 제2 선형 스플라인의 상기 범위 픽셀의 상기 휘도 값의 상기 최대 값 TH3_mid[0] 및/또는 상기 제1 선형 스플라인 및 상기 수직 좌표 축의 교차 포인트 base_offset_mid를 포함하고, 상기 디스플레이 파라미터는 상기 단말 디바이스의 상기 최대 디스플레이 휘도 MaxDisplay를 포함하고, 상기 특징 정보는 상기 이미지 데이터의 상기 최대 휘도 보정 값 max_lum을 포함하고;
    상기 프로세싱 유닛은,
    상기 곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset을 획득하기 위하여 상기 최대 디스플레이 휘도 MaxDisplay 및 상기 최대 휘도 보정 값 max_lum에 기초하여 상기 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid를 조절하도록 구체적으로 구성된, 동적 범위 맵핑 장치.
  28. 제27항에 있어서,
    상기 곡선 파라미터 MB_mid[0][0], TH3_mid[0], 및/또는 base_offset_mid, 및 상기 곡선 파라미터 MB[0][0], TH3[0], 및/또는 base_offset는 다음의 공식을 만족시키고:
    Figure pct00157
    ,
    Figure pct00158
    , 및
    Figure pct00159
    , 여기서,
    Figure pct00160
    ,
    Figure pct00161
    , 또는
    Figure pct00162
    , 여기서,
    L은 입력 신호이고, G(L)은 톤 맵핑 곡선에 대응하는 함수 H(L)의 역함수이고, m_a, m_b, m_m, m_n, k1, k2, 및 k3은 곡선 파라미터이고, G(L, m_a_T)는 G(L)의 파라미터 M_a의 값이 m_a_T일 때, 입력 변수 L에 대응하는 G(L) 값을 지시하고, N1, N2, 및 N3은 유리수이고, max(a, b)는 a 및 b 중의 더 큰 값을 계산하는 것을 지시하고, min(a, b)는 a 및 b 중의 더 작은 값을 계산하는 것을 지시하고, H(L)은
    Figure pct00163
    , 또는
    Figure pct00164
    인, 동적 범위 맵핑 장치.
KR1020227041352A 2020-04-30 2021-04-26 동적 범위 맵핑 방법 및 장치 KR102701013B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010365696.3 2020-04-30
CN202010365696.3A CN113596424B (zh) 2020-04-30 2020-04-30 动态范围映射的方法和装置
PCT/CN2021/089981 WO2021218924A1 (zh) 2020-04-30 2021-04-26 动态范围映射的方法和装置

Publications (2)

Publication Number Publication Date
KR20230003066A true KR20230003066A (ko) 2023-01-05
KR102701013B1 KR102701013B1 (ko) 2024-08-29

Family

ID=78237389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227041352A KR102701013B1 (ko) 2020-04-30 2021-04-26 동적 범위 맵핑 방법 및 장치

Country Status (7)

Country Link
US (1) US20230054046A1 (ko)
EP (1) EP4135316A4 (ko)
JP (1) JP7462072B2 (ko)
KR (1) KR102701013B1 (ko)
CN (2) CN113596424B (ko)
TW (1) TWI790596B (ko)
WO (1) WO2021218924A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN113850743B (zh) * 2021-11-30 2022-03-01 江苏游隼微电子有限公司 一种基于自适应参数的视频全局色调映射方法
CN114359083B (zh) * 2021-12-24 2022-11-29 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法
CN115761015A (zh) * 2022-11-16 2023-03-07 北京奇艺世纪科技有限公司 色调映射方法、装置及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170134749A (ko) * 2015-05-11 2017-12-06 삼성전자주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
US20180330674A1 (en) * 2017-05-12 2018-11-15 Apple Inc. Electronic Devices With Tone Mapping To Accommodate Simultaneous Display of Standard Dynamic Range and High Dynamic Range Content
KR20190100416A (ko) * 2017-02-15 2019-08-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑
JP2020017079A (ja) * 2018-07-25 2020-01-30 株式会社朋栄 トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるhdr映像変換方法及びその装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210370A (ja) * 2004-01-22 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US8731322B2 (en) * 2007-05-03 2014-05-20 Mtekvision Co., Ltd. Image brightness controlling apparatus and method thereof
ES2641371T3 (es) * 2012-10-08 2017-11-08 Koninklijke Philips N.V. Procesamiento de imágenes con cambio de luminancia con restricciones de color
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
AU2015207818A1 (en) * 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
KR102488954B1 (ko) * 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
JP7184544B2 (ja) 2018-06-08 2022-12-06 シャープ株式会社 表示制御装置、表示装置、テレビジョン、及び表示制御方法
US10863157B2 (en) 2018-07-06 2020-12-08 Samsung Electronics Co., Ltd. Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device
CN110867172B (zh) * 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170134749A (ko) * 2015-05-11 2017-12-06 삼성전자주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
KR20190100416A (ko) * 2017-02-15 2019-08-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑
US20180330674A1 (en) * 2017-05-12 2018-11-15 Apple Inc. Electronic Devices With Tone Mapping To Accommodate Simultaneous Display of Standard Dynamic Range and High Dynamic Range Content
JP2020017079A (ja) * 2018-07-25 2020-01-30 株式会社朋栄 トーンマッピング処理及びトーンマッピングパラメータの自動調整更新によるhdr映像変換方法及びその装置

Also Published As

Publication number Publication date
JP2023523775A (ja) 2023-06-07
WO2021218924A1 (zh) 2021-11-04
KR102701013B1 (ko) 2024-08-29
CN113596424B (zh) 2022-12-06
CN116132648A (zh) 2023-05-16
TWI790596B (zh) 2023-01-21
CN113596424A (zh) 2021-11-02
US20230054046A1 (en) 2023-02-23
JP7462072B2 (ja) 2024-04-04
EP4135316A4 (en) 2023-09-13
EP4135316A1 (en) 2023-02-15
TW202143693A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
AU2021201806B2 (en) Device and method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities
KR102701013B1 (ko) 동적 범위 맵핑 방법 및 장치
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11030729B2 (en) Image processing method and apparatus for adjusting a dynamic range of an image
CN111885312B (zh) Hdr图像的成像方法、系统、电子设备及存储介质
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
CN111724316B (zh) 处理高动态范围图像的方法和装置
US20230140259A1 (en) Image dynamic range processing method and apparatus
CN112689138B (zh) 一种图像信号转换处理方法、装置及终端设备
EP3108451A1 (en) Image processing to retain small color/gray differences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
X701 Decision to grant (after re-examination)
GRNT Written decision to grant