KR102486233B1 - 파라메트릭 톤 - 조정 함수를 사용하여 영상을 톤 - 매핑하는 방법 및 장치 - Google Patents

파라메트릭 톤 - 조정 함수를 사용하여 영상을 톤 - 매핑하는 방법 및 장치 Download PDF

Info

Publication number
KR102486233B1
KR102486233B1 KR1020187001338A KR20187001338A KR102486233B1 KR 102486233 B1 KR102486233 B1 KR 102486233B1 KR 1020187001338 A KR1020187001338 A KR 1020187001338A KR 20187001338 A KR20187001338 A KR 20187001338A KR 102486233 B1 KR102486233 B1 KR 102486233B1
Authority
KR
South Korea
Prior art keywords
tone
value
input image
mapping
adjustment function
Prior art date
Application number
KR1020187001338A
Other languages
English (en)
Other versions
KR20180030534A (ko
Inventor
파브리스 르리앤네끄
세바스티앙 라쎄르
탕기 푸아리에
에두아르 프랑소와
에두아르 프랑소와
Original Assignee
인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP15306196.5A external-priority patent/EP3121787A1/en
Application filed by 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 filed Critical 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Publication of KR20180030534A publication Critical patent/KR20180030534A/ko
Application granted granted Critical
Publication of KR102486233B1 publication Critical patent/KR102486233B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Receiver Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

파라메트릭 톤 - 조정 함수를 사용하여 입력 영상을 톤 - 매핑하는 방법 및 장치에 관한 것으로서, 상기 방법은 입력 영상의 밝기 레벨에 의해 변조된 톤 조정 함수 중에서 적어도 하나의 파라미터를 결정하는 단계를 포함한다.

Description

파라메트릭 톤 - 조정 함수를 사용하여 영상을 톤 - 매핑하는 방법 및 장치
본 발명의 원리는 일반적으로 영상/비디오 톤 - 매핑에 관한 것이다. 특히, 본 발명의 원리의 기술 분야는 픽셀 값이 높은 동적 범위에 속하는 영상의 톤 - 매핑에 관한 것이다.
이 부분은 이하에 기술되며 그리고/또는 청구되는 본 발명의 원리의 다양한 양태와 관련될 수 있는 다양한 양태의 기술을 당업자들에게 소개하고자 한다. 이 토론은 본 발명의 원리의 다양한 측면을 보다 더욱 잘 이해할 수 있도록 배경 정보를 당업자에게 제공하는 데 도움이 될 것으로 생각된다. 따라서, 이러한 설명들은 이러한 관점에서 파악되어야 하며, 선행 기술로서 설명되는 것이 아니라는 것을 이해해야 한다.
이하에서, 영상은 예를 들면 영상(또는 비디오)의 화소 값에 관한 모든 정보 및 디스플레이 및/또는 영상(또는 비디오)을 시각화 및/또는 디코딩하는 임의의 다른 장치에 의해 사용될 수 있는 모든 정보를 특정하는 특정 영상/비디오 포맷의 샘플(픽셀 값)의 하나 또는 복수의 어레이를 포함할 수 있다. 영상은, 적어도 하나의 성분, 즉, 샘플의 제 1 어레이의 형태로 된, 루마(또는 휘도) 성분, 및 가능하게는, 적어도 하나의 다른 샘플 어레이의 형태로 형성된, 적어도 하나의 다른 성분, 즉, 일반적으로 색성분을 포함한다. 또는, 동등하게, 동일한 정보는 전통적인 3 색 RGB 표현과 같은 컬러 샘플의 배열 집합으로 표현될 수도 있다.
픽셀 값은 C 값의 벡터로 표시된다. 여기에서, C는 구성 요소의 갯수이다. 벡터의 각 값은 픽셀 값의 최대 동적 범위를 정의하는 다수의 비트로 표현된다.
표준 동적 범위의 영상(SDR 영상)은 휘도 값이 보통 2 또는 f-스톱(stop)의 배율로 측정된 제한적인 동적 표시로 표시되는 컬러 영상이다. SDR 영상은 약 10-f 스톱, 즉 선형 영역에서 가장 밝은 픽셀과 가장 어두운 픽셀 사이의 비율이 1000인 동적인 값을 가지며, 동적 상태를 줄이기 위해서 한정된 수의 비트로 코딩된다(ITU-R BT.709 OEFT(Optico-Electrical-Transfer-Function)(Rec . ITU-R BT.709-5, April 2002) 또는 ITU-R BT.2020 OETF(Rec . ITU-R BT.2020-1, June 2014)를 이용하여, 비선형 영역에서, HDTV(High Definition Television systems)와, UHDTV(Ultra-High Definition Television systems)에서는, 대부분 흔히 8 또는 10이 됨). 이러한 제한된 비선형 표시로 인해 작은 신호 변동을 올바르게 렌더링(rendeing)할 수 없게 된다. 특히, 어둡고 밝은 휘도 범위에서는 더욱 그렇다. 높은 동적 범위의 영상(HDR 영상)에서는 신호 동적 범위가 훨씬 더 높다(최대 20 f-스톱, 가장 밝은 픽셀과 가장 어두운 픽셀 사이에서 1 백만의 비율). 그리고 전체 범위에서 신호의 높은 정확도를 유지하기 위해서 새로운 비선형 표현이 필요하다. HDR 영상에서, 원시 데이터는 보통 부동 소수점 형식(각 구성 요소의 32 비트 또는 16 비트 중 하나, 즉 부동 또는 반부동(half-float))으로 표현된다. 가장 인기있는 형식은 openEXR 반부동 형식(RGB 구성 요소에 대해 16 비트, 즉 각 픽셀에 대해 48 비트)이며, 또는 긴 표현(전형적으로 적어도 16 비트)을 갖는 정수 형태이다. 예를 들어 더욱 간소화된 표현은 SMPTE 2084에 정의된 소위 PQ OETF(SMPTE standard: High Dynamic Range Electro -Optical Transfer Function of Mastering Reference Displays, SMPTE ST 2084:2014)를 이용하여 얻어진 10 또는 12 비트의 포맷과 같이 존재한다.
톤 - 매핑은 입력 영상의 동적 범위를 축소시키는 널리 공지된 동작이다.
톤 - 매핑 동작은 각각의 입력 HDR 값에 대한 출력 SDR 값을 결정하거나 또는 역으로 결정하는 톤 - 조정 함수로서 구현될 수 있다.
도 1은, "Philips HDR proposal Dynamic range conversion in relation to the "Unified Model" as discussed in SMPTE DG "Dynamic Metadata for Color Transforms of HDR and WCG Images" R. Nijland Koninklijke Philips N.V. 20150421에서 정의된 톤 - 조정 함수(도표로 곡선으로 표현)의 예를 도시하고 있다.
톤 - 조정 함수는 세 가지 범위(시간 구간): 즉 하부 구간, 중간 구간 및 상부 구간으로 정의된 파라메트릭 톤 - 조정 함수이다.
하부 구간 동안, 톤 - 조정 함수는 선형이다:
Figure 112018004689718-pct00001
(여기서, SGC는 실제 마파미터 값, y는 출력 값, 및 x는 입력 값임).
상부 구간 동안, 톤 - 조정 함수는 선형이다:
Figure 112018004689718-pct00002
(여기서, HGC는 기울기임(실제 파라미터 값)).
중간 구간 동안, 톤 - 조정 함수는 매끄러운 크로스 오버에서 두 개의 선형 구간을 연결하는 포물선
Figure 112018004689718-pct00003
이다. 크로스 오버 너비는 실제 파라미터 값인 MTA에 의해 결정된다.
Figure 112018004689718-pct00004
여기에서,
Figure 112018004689718-pct00005
이며,
Figure 112018004689718-pct00006
이 된다.
이러한 종래 기술에 따르면, 파라미터 SGC, HGC 및 MTA 파라미터 값은 다음과 같이 3개의 입력 파라미터 값인 shadowGainControl, midTonesAdjustement 및 highlightGainControl에 의존한다:
Figure 112018004689718-pct00007
이 때에,
Figure 112018004689718-pct00008
가 되며,
Figure 112018004689718-pct00009
이 된다.
Ltarget은 100 니트(nits)이고, Lsource는 4000 니트 또는 5000 니트와 같으며 함수 v는 식별 함수이다.
결과적으로, 세 개의 입력 파라미터 shadowGainControl, highLightGainControl 및 midTonesAdjustement는, 부분적으로 선형이고 포물선 형태를 가지는, 톤 - 조정 함수를 지정해야 한다.
본 발명은 특정 파라메트릭 톤 - 조정 함수에만 제한되지 않는다.
파라메트릭 톤 - 조정 함수를 지정하는 입력 파라미터는 누군가의 의도에 따라 수동으로 선택될 수 있지만, 이러한 파라미터를 정의하기 위해 많은 비디오 컨텐츠에서 적절하고 강력한 방법으로 자동 톤 - 매핑 방법을 구성하기가 어렵다는 문제가 있다.
다음은 본 발명의 원리의 일부 양태의 기본적인 이해를 제공하기 위해 본 발명의 원리의 단순화된 요약을 제공한다. 이 요약은 본 발명의 원리에 대한 광범위한 개요는 아니다. 본 발명의 원리의 핵심 요소 또는 중요 요소를 규정하기 위한 의도는 아니다. 이하의 요약은 단지 아래에 제공된 보다 상세한 설명의 서문으로서 간략화된 형태로 본 발명의 원리의 일부 양태를 제공한다.
본 발명의 원리는 다수의 범위에 걸쳐 정의된 파라메트릭 톤 - 조정 함수를 사용함으로써 입력 영상을 톤 - 매핑하는 방법으로 종래 기술의 결점들 중에서 적어도 하나를 개선하기 위해 개시되었다. 파라메트릭 톤 - 조정 함수의 적어도 한 개의 파라미터는 각각의 범위와 관련이 된다. 상기 방법은 적어도 하나의 범위에 걸쳐 비선형 톤 - 조정 함수를 정의하는 단계와, 상기 입력 영상의 휘도 레벨에 의해 변조된 상기 톤 - 조정 함수의 적어도 하나의 파라미터를 결정하는 단계를 포함한다.
본 발명의 원리들의 일례에 따르면, 톤 - 조정 함수는 3 개의 범위에 걸쳐 정의된다.
본 발명의 원리들의 일례에 따르면, 톤 - 조정 함수는 제 1 범위에서는 선형이며, 제 2범위에서는 포물선이고, 제 3범위에서는 선형이다.
본 발명의 원리들의 일례에 따라, 톤 - 조정 함수가 하기와 같이 정의된다:
- 제 1범위에 해서는 다음 수식에 의해 정의됨:
Figure 112018004689718-pct00010
(여기서, SGC는 실제 파라미터 값이고, y는 출력 값이고, x는 입력 값임);
- 제 2범위에 대해서는 다음 수식에 의해 정의됨:
Figure 112018004689718-pct00011
- 제 3범위에 대해서는 다음 수식에 의해 정의됨:
Figure 112018004689718-pct00012
(여기서, HGC는 기울기임);
여기에서,
Figure 112018004689718-pct00013
MTA는 실제 파라미터 값이며, 다음 수식이 정의된다.
Figure 112018004689718-pct00014
이 때에,
Figure 112018004689718-pct00015
가 되고,
Figure 112018004689718-pct00016
가 된다.
여기에서, shadowGainControl 및 midTonesAdjustement는 실수 값이며, 다음 식에 이해 제공된다.
Figure 112018004689718-pct00017
여기에서, highlightGainControl은 실수 값이고, 입력 영상의 휘도 레벨에 대응하여 니트(nits)로 표시되는 변조 값 Ba이다.
본 발명의 원리의 일례에 따르면, 실수 값인 highlightGainControl은 상수 값이다.
본 발명의 원리의 일례에 따르면, 실수 값인 highlightGainControl은 변조 값외에도 또 다른 파라미터로서 유지된다.
본 발명의 원리의 일례에 따르면, 실수 값인 highlightGainControl은 다음 수식에 의해 제공된다.
Figure 112018004689718-pct00018
본 발명의 원리들의 일례에 따라, 톤 - 조정 함수는 하기와 같이 정의된다:
- 제 1범위에 대해서는 다음 수식에 의해 정의됨:
Figure 112018004689718-pct00019
(여기서, SGC는 실제 파라미터 값이고, y는 출력 값이고, x는 입력 값임);
- 제 2범위에 대해서는 다음 수식에 의해 정의됨:
Figure 112018004689718-pct00020
- 제 3범위에 대해서는 다음 수식에 의해 정의됨:
Figure 112018004689718-pct00021
(여기서, HGC는 기울기임);
여기서,
Figure 112018004689718-pct00022
MTA는 실제 변수 값이며, 다음 수식이 정의된다.
Figure 112018004689718-pct00023
이 때에,
Figure 112018004689718-pct00024
가 되고,
Figure 112018004689718-pct00025
가 된다.
여기서, midTonesAdjustement는 다음에 의해 지정된 실수 값이다.
Figure 112018004689718-pct00026
여기서, highlightGainControl은 실수 값이고, 입력 영상의 휘도 레벨에 대응하여 니트로 표시되는 변조 값 Ba이다.
본 발명의 원리들의 일례에 따르면, 톤 - 조정 함수는 다음에 의해 정의되는 파라메트릭 대수 함수이다:
Figure 112018004689718-pct00027
(여기서,
Figure 112018004689718-pct00028
는 상수 값, y는 출력 값, x는 입력 값이며,
Figure 112018004689718-pct00029
은 입력 영상의 피크 휘도 값임).
본 발명의 원리의 일례에 따르면, 변조 값은 입력 영상의 중간 - 톤 레벨에 응답한다.
본 발명의 원리의 일례에 따르면, 중간 - 톤 레벨은 흑색 레벨 및 백색 레벨에 기초하여 결정된다.
본 발명의 원리의 일례에 따르면, 중간 - 톤 레벨은 (1) 기하 평균 및 (2) 흑색 레벨 및 백색 레벨의 대수 평균 중 하나로서 결정된다.
본 발명의 원리의 일례에 따르면, 입력 이미지는 비디오 시퀀스에 포함된 복수의 영상들 중에서 하나이며, 변조 값의 결정은 복수의 영상 각각에 대해 수행되며, 여기서, 복수의 영상이 일시적으로 평활화된다.
본 발명의 또 다른 양태에 따르면, 본 발명은, 입력 영상의 톤 - 매핑된 버전을 복수의 범위에 걸쳐 정의된 파라메트릭 역 - 톤 - 조정 함수를 사용하여 역 - 톤 - 매핑하는 방법에 관한 것이다. 상기 톤 - 조정 함수의 적어도 하나의 파라미터는 각 범위와 관련되어 있다. 상기 방법은 적어도 하나의 범위에 걸쳐 비선형 톤 - 조정 함수를 정의하는 단계와, 상기 입력 영상의 휘도 레벨에 의해 변조된 상기 역 - 톤 - 조정 함수의 적어도 하나의 파라미터를 얻는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 양태에 따르면, 본 발명은 입력 영상을 인코딩하는 방법에 관한 것으로서,
- 상기 입력 영상의 성분 값으로부터 최대 값을 구하는 단계;
- 상기 방법에 따라 상기 최대 값을 톤 - 매핑하여 선형 값을 얻는 단계; 및
- 입력 영상을 최대 값에 대한 선형 값의 비율만큼 증배하는 단계를 포함한다.
본 발명의 또 다른 양태에 따르면, 본 발명은 영상을 디코딩하는 방법에 관한 것으로서,
- 디코딩된 영상의 요소 값들로부터 최대 값을 얻는 단계;
- 상기 방법에 따라 상기 최대 값을 역 - 톤 - 매핑함으로써 비선형 값을 획득하는 단계;
- 디코딩된 영상을 최대 값에 대한 비선형 값의 비율만큼 증배하는 단계를 포함한다.
본 발명의 또 다른 양태에 따르면, 본 발명은 다수의 범위에 걸쳐 정의된 파라메트릭 톤 - 조정 함수를 사용함으로써 입력 영상을 톤 - 매핑하기 위한 장치에 관한 것으로서, 상기 톤 - 조정 함수의 적어도 하나의 파라미터는 각 범위와 관련되고, 상기 장치는 적어도 하나의 범위에 걸쳐 비선형 톤 - 조정 함수를 정의하고, 상기 입력 영상의 휘도 레벨에 의해 변조된 상기 톤 - 조정 함수의 적어도 하나의 파라미터를 결정하도록 구성된 프로세서를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 양태에 따르면, 본 발명은 입력 영상을 인코딩하기 위한 장치에 관한 것으로서,
- 입력 영상의 성분 값으로부터 최대 값을 구하며;
- 상기 방법에 따라 상기 최대 값을 톤 - 매핑하여 선형 값을 얻고;
- 상기 입력 영상을 상기 최대 값에 대한 상기 선형 값 사이의 비율만큼 증배하도록 구성되는 프로세서를 포함한다.
발명의 또 다른 양태에 따르면, 본 발명은 영상 디코딩 장치에 관한 것으로서,
- 디코딩된 영상의 성분 값들로부터 최대 값을 구하고;
- 상기 방법에 따라 상기 최대 값을 역 - 톤 - 매핑함으로써 비선형 값을 획득하고;
- 상기 디코딩된 영상을 상기 비선형 값과 상기 최대 값 사이의 비율로 증배하도록 구성되는 프로세서를 포함한다.
본 발명의 또 다른 양태에 따르면, 본 발명은 인코딩된 입력 영상의 휘도 레벨에 응답하는 변조 값을 나타내는 정보 데이터를 더 포함하는 것을 특징으로 하며, 인코딩된 영상을 전달하는 신호에 관한 것이다.
본 발명의 다른 양태에 따르면, 본 발명의 원리는 프로그램이 컴퓨터상에서 실행될 때 상기 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품 및 상기 프로그램이 컴퓨터 장치상에서 실행될 때 상기 방법의 단계들을 실행하는 프로그램 코드의 명령들을 운반하는 비-일시적 저장 매체에 관한 것이다.
본 발명의 원리의 다른 목적, 이점, 특징 및 용도 외에도 본 발명의 특이적 특성은 첨부된 도면과 관련하여 기재된 다음의 설명으로부터 명백해질 것이다.
도면에는 본 발명의 원리의 예가 도시되어 있으며, 다음과 같다.
도 1은 종래 기술에 따른 톤 - 조정 함수의 예를 도시한 도면이다.
도 2는 본 발명의 원리의 일례에 따라 입력 영상을 톤 - 매핑하는 방법의 단계들의 다이어그램을 도시한 도면이다.
도 3은 종래 기술에 따른 입력 영상의 선형 휘도(Y)에 따른 히스토그램의 예를 도시한 도면이다.
도 4와 도 5는 변조 값을 결정하는 방법을 도시한 도면이다.
도 6은 본 발명의 원리의 일례에 따라 입력 영상을 역 - 톤 - 매핑(inverse tone - mapping)하는 방법의 단계들을 도시한 도면이다.
도 7은 본 발명의 원리의 일례에 따라 HDR 콘텐츠를 인코딩하는 전체 방법을 도시한 도면이다.
도 8은 본 발명의 원리의 일례에 따라 HDR 콘텐츠를 디코딩하는 전체 방법을 도시한 도면이다.
도 9는 본 발명의 원리의 예에 따른 동적 범위 변환의 서브 단계를 도시한 도면이다.
도 10은 본 발명의 원리의 일례에 따른 역 동적 범위 축소의 서브 단계를 도시한 도면이다.
도 11은 본 발명의 원리의 일례에 따라 최대 값(T)를 톤 - 매핑함으로써 선형 값(t)를 얻는 단계를 도시한 도면이다.
도 12는 본 발명의 원리들의 일례에 따른 장치의 아키텍처의 예를 도시한 도면이다.
도 13은 본 발명의 원리의 일례에 따라 통신 네트워크를 통해 통신하는 2개의 원격 장치를 도시한 도면이다.
도 14는 본 발명의 원리들의 일례에 따른 신호의 신택스를 도시한 도면이다.
유사한 또는 동일한 요소는 동일한 참조 번호로 참조된다.
본 발명의 원리는 본 발명의 기술의 보기들이 도시된, 첨부된 도면을 참조하여 보다 상세히 설명될 것이다. 그러나, 본 발명의 기술들은 많은 다른 형태로 구체화될 수 있으며 본 명세서에 설명된 예들에 한정되는 것으로 해석되어서는 안된다. 따라서, 본 발명의 기술들은 다양한 변경들 및 대안적인 형태들을 허용하지만, 그 특정 예들은 도면들에서 보기로서 도시되어 있으며, 이하에서 상세히 설명될 것이다. 그러나, 본 발명의 기술들을 개시된 특정한 형태로 제한하고자 하는 의도는 없지만, 반대로, 본 개시는 청구항들에 의해 정의된 바와 같이 본 발명의 사상 및 범위 내에있는 모든 수정, 등가물, 및 대안을 포함하는 것으로 이해되어야 한다.
여기에서 사용된 용어는 특정 예를 설명하기 위한 것이며, 본 발명을 제한하기 위한 것은 아니다. 본 발명에서 사용된 단수 형태 "a", "an" 및 "the"는 문맥 상 다르게 지시하지 않는 한 복수 형태를 포함하는 것이다. 본 명세서에서 사용되는 바와 같이, "구비한다", "구비하는", "포함한다" 및/또는 "포함하는"이라는 용어는 명시된 특징, 정수, 단계, 동작, 구성 요소 및/또는 구성 요소의 존재를 기술하는 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 구성 요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것을 알아야 한다. 또한, 엘리먼트가 다른 엘리먼트에 "응답 가능" 또는 "접속된" 것으로 언급될 때에는, 그 엘리먼트는 직접 응답 가능하거나 다른 엘리먼트에 연결될 수 있거나, 또는 중간(intervening) 엘리먼트가 존재할 수 있다. 대조적으로, 엘리먼트가 다른 엘리먼트에 "직접 반응하는" 또는 "직접 연결되는"것으로 언급될 때에는, 중간 엘리먼트가 존재하지 않는다. 본원에 사용된 바와 같이, "및/또는"과 같은 용어는 하나 이상의 관련된 열거된 항목의 임의의 조합 및 모든 것을 포함하며 "/"로 약칭될 수 있다.
제 1, 제 2 등의 용어가 본 명세서에서 다양한 구성 요소를 설명하기 위해 사용될 수 있지만, 이들 구성 요소는 이들 용어에 의해 제한되어서는 안된다는 것을 이해할 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하기 위해서만 사용된다. 예를 들어, 제 1 엘리먼트는 제 2 엘리먼트로 지칭될 수 있으며, 마찬가지로, 제 2 엘리먼트는 본 발명의의 설명으로부터 벗어나지 않으면서 제 1 엘리먼트로 지칭될 수있다.
일부 도면들은 통신 경로 상에 화살표를 통해 통신의 주요 방향을 나타내고 있지만, 통신은 도시된 화살표와 반대 방향으로 발생할 수도 있다는 것을 이해해야 한다.
일부 예들은 블록도 및 동작 흐름도와 관련하여 설명되며, 여기에서 각 블록은 특정 논리 함수(들)을 구현하기 위한 하나 이상의 실행 가능 명령어를 포함하는 회로 요소, 모듈 또는 코드 부분을 나타낸다. 다른 구현 예에서는, 블록도에 도시된 함수(들)이 도시된 순서를 벗어나서 발생할 수 있다는 것을 주목해야 한다. 예를 들어, 연속적으로 도시된 2개의 블록들은 사실상 실질적으로 동시에 실행될 수 있거나 또는 관련된 함수에 따라 때때로 블록이 역순으로 실행될 수있다.
본 명세서에서 "실시 예에 따라" 또는 "실시 예에서"라는 언급은 실시 예와 관련하여 기술된 특별한 특징, 구조 또는 특성이 본 발명의 원리의 적어도 하나의 구현 예에 포함될 수 있음을 의미한다. 명세서에 기재된 "실시예" 또는 "실시예에 따르는"과 같은 문구의 기재는, 반드시 동일한 예를 모두 언급하는 것은 아니며, 다른 예들과 반드시 상호 배타적인 별도의 또는 대안적인 예도 아니다
특허 청구 범위에 나타나는 참조 번호는 단지 설명을 위한 것이며 청구 범위의 범위를 제한하지 않는다.
명시적으로 설명하지는 않았지만, 본 실시 예 및 변형 예들은 임의의 조합 또는 서브 조합으로 사용될 수 있다.
도 2에 도시된 바와 같이, 본 발명의 원리에 따르면, 파라메트릭 톤 - 조정 함수(TAF)를 사용하여 입력 영상(I)을 톤 - 매핑하는 방법은, 입력 영상의 휘도 레벨에 반응하여, 변조 값(Ba) 자체에 응답하는, 톤 - 조정 함수(TAF)의 적어도 하나의 파라미터를 결정하는 단계를 포함한다.
도 1에 도시된 바와 같이, 본 발명의 원리의 제 1 실시 예에 따르면, 톤 - 조정 함수(TAF)는 두 개의 입력 파라미터, 즉 shadowGainControl 및 midTonesAdjustement가 변조 값(Ba)으로부터 결정되는 하기 수식 (1), (2) 및 (3)에 의해 표시되는 파라메트릭 톤 - 조정 함수이다:
Figure 112018004689718-pct00030
입력 파라미터 highlightGainControl은 변조 값(Ba)에 의존하지 않는 상수 값(CST)(예를 들면, CST = 2)과 동일하다.
제 1 실시 예의 변형 예에 따르면, 입력 파라미터 highlightGainControl은 변조 값(Ba) 뿐만 아니라 다른 파라미터로서 유지된다.
제 1 실시 예의 변형 예에 따르면, 입력 파라미터 highlightGainControl은 다음과 같이 변조 값(Ba)에 의존한다:
highlightGainControl = 2 - 2 * exp(-0.26 / Ba)
이러한 첫 번째 예와 그 변형 예에서, 변조 값(Ba)는 니트(nits)로 표시되며 일반적으로 구간 [1, 40]에 존재한다.
이러한 제 1 실시 예 및 그 변형 예에 따르면, SGC, HGC 및 MTA 파라미터는 식 (4)에 따라 이들 3개의 입력 파라미터로부터 얻어진다.
도 1에 도시된 본 발명의 원리의 제 2 실시 예에 따르면, 톤 - 조정 함수(TAF)는 3개의 구별되는 범위, 즉 하부 구간, 중간 구간 및 상부 구간에 대해 정의된 파라메트릭 톤 - 조정이다.
하부 구간 동안, 톤 - 조정 함수는 선형이다:
Figure 112018004689718-pct00031
(여기서, SGC는 실제 파라미터 값이고, y는 출력 값이고, x는 입력 값임).
상부 구간 동안, 톤 - 조정 함수는 또한 선형이다:
Figure 112018004689718-pct00032
(여기서, HGC는 기울기(실제 파라미터 값)임).
중간 구간에서는, 톤 - 조정 함수는 매끄러운 크로스 오버에서 두 개의 선형 섹션을 연결하는 포물선
Figure 112018004689718-pct00033
이다. 크로스 오버 너비는 실제 파라미터 값인 MTA에 의해 결정된다.
간단히 말하자면, 톤 - 조정 함수(TAF)는 다음과 같이 정의된다:
Figure 112018004689718-pct00034
여기서,
Figure 112018004689718-pct00035
이러한 제 2 실시 예의 변형 예에 따라, 파라미터 SGC ', HGC'및 MTA ' 파라미터 값은 다음과 같이 2개의 입력 파라미터 값, midTonesAdjustement 및 highlightGainControl에 의존한다:
Figure 112018004689718-pct00036
여기서,
Figure 112018004689718-pct00037
가 되며,
Figure 112018004689718-pct00038
가 된다.
예를 들어, 위의 수식에서, Ltarget은 100 니트이고, Lsource는 바람직하게 4000 니트 또는 5000 니트이며, v는 식별 함수이다.
이러한 제 2 실시 예의 변형 예에 따르면, 입력 파라미터 midTonesAdjustement는 다음과 같이 변조 값(Ba)로부터 결정된다:
Figure 112018004689718-pct00039
입력 파라미터 highlightGainControl은 상수 값(CST)과 동일하다(예를 들면, CST = 2).
제 2 실시 예의 변형 예에 따르면, 입력 파라미터 highlightGainControl은 변조 값(Ba) 뿐만 아니라 또 다른 파라미터로서 유지된다.
제 2 실시 예의 변형 예에 따르면, 입력 파라미터 highlightGainControl은 다음과 같이 변조 값(Ba)에 의존한다.
Figure 112018004689718-pct00040
이러한 제 2 실시예 및 그 변형 예에서, 변조 값(Ba)은 니트(nits)로 표현되고 바람직하게는 구간 [1, 40]에 존재한다.
본 발명의 원리의 제 3 실시 예에 따르면, 톤 - 조정 함수(TAF)는 다음에 의해 정의되는 파라메트릭 대수(parametric logarithm)이다:
Figure 112018004689718-pct00041
여기서, k는 상수 값, 예를 들어 1000이고, PeakL은 입력 영상의 피크 휘도 값이다.
본 발명의 원리의 일 실시 예에 따르면, 변조 값(Ba)은 다음과 같이 얻어진다: 입력 영상의 픽셀은 도 3의 예시적인 히스토그램에 도시된 바와 같이, 그들의 선형 휘도(Y)에 따라 히스토그램으로 분류된다. 도 3에서, 히스토그램의 최 우단은 피크 휘도(P)에 존재한다. 이러한 휘도 피크는 예를 들면 영상 포맷에 기초하여 제공되며, 비디오가 톤 - 매핑될 때에는 영상마다 변하지 않는다고 가정한다. 다음에, 히스토그램의 최종 백분위에 대응하는 휘도 레벨로서 백색 레벨(W)을 정의하고, 히스토그램의 제 1 백분위에 대응하는 휘도 레벨로서 흑색 레벨(B)을 정의하고, 중간 톤 레벨(M)을 흑색 레벨(B) 및 백색 레벨(W)의 기하 평균(또는 로그 평균)으로 정의한다:
Figure 112018004689718-pct00042
결과적으로, 3개의 레벨(W, B 및 M)은 입력 영상의 내용(content)에 의존한다.
일반적으로, 변조 값(Ba) 및 톤 - 조정 함수의 선택은 매우 어두운 레벨에서 정보를 보존해야 하며, 중간 - 톤 범위(즉, 중간 톤 값의 근방)에서 상세한 부분들을 보존해야 한다. 따라서, 변조 값(Ba)을 유도할 때에는 두 가지 조건이 사용된다: (1) 흑색 부분들은 너무 과도하게 0으로 클리핑되지 않으며; (2) 입력 이미지의 중간 톤 범위를 나타내기 위해서 사용되는 SDR 영상 내의 코드워드의 수가 최대화된다.
흑색이 너무 적극적으로 클리핑 다운되지 않아야 한다는 제 1 조건을 고려하면, 흑색 레벨에 대한 하한이 설정된다. 즉,
Figure 112018004689718-pct00043
여기서,
Figure 112018004689718-pct00044
는 톤 - 조정 함수가고, B는 휘도 값이고, ε은 파라미터 값이다.
도 4에서, 예시적인 톤 - 조정 함수(
Figure 112018004689718-pct00045
)는 매핑된 값(
Figure 112018004689718-pct00046
)이 ε로 설정됨을 설명하기 위해 사용된다. 부등식 (14)는 특정 변조 값(Ba)을 결정하지 않는다. 대신에 Ba에 허용되는 변조 값 범위를 제공한다.
제 2 조건(중간 톤 범위를 인코딩하는데 사용되는 코드워드의 수를 최대화해야 함)에 대해, 중간 톤 레벨(M)에서의 톤 - 조정 함수(
Figure 112018004689718-pct00047
)에 대한 기울기는 도 5에 도시된 바와 같이 최대화된다.
두 조건을 결합하면, 변조 값(Ba)은 다음 최대화 문제를 해결함으로써 고유하게 결정될 수 있다.:
Figure 112018004689718-pct00048
톤 - 조정 함수가 주어진 최적화 문제(15)를 해결하기 위해, 예를 들어 비디오의 각 영상에 대한 변조 값(Ba)을 계산하기 위해서, 수용 가능한 Ba 값의 범위에서 Ba에 대한 체계적이며, 적극적이며 광범위한 탐색이 수행될 수 있다. 톤 - 조정 함수는 도 1에 도시된 함수가 될 수 있으며, 본 발명의 원리는 임의의 다른 형태의 톤 - 조정 함수에 적용될 수도 있다. 식 (15)에서, 로그 스케일은 휘도(Y)에 대해 사용되며, 이는 선형 영역보다 인간의 휘도 지각을 나타낼 수 있기 때문이다. 변형예에서, 단순화를 위해,
Figure 112018004689718-pct00049
대신에 Y에 기초하여 기울기를 결정할 수 있다.
본 발명의 원리의 다른 예에서, 예를 들어, 이에 제한되는 것은 아니지만, 영상(I)의 휘도의 평균, 중앙값, 최소값 또는 최대값을 사용하여, 변조 값을 결정하기 위해 상이한 방법이 사용될 수 있다. 선형 휘도 도메인에서 또는
Figure 112018004689718-pct00050
또는
Figure 112018004689718-pct00051
(여기서,
Figure 112018004689718-pct00052
임)과 같은 비선형 도메인에서 이러한 동작들이 수행될 수 있다.
톤 - 조정 함수(커브)를 더욱 향상시키기 위해 매우 어두운 프레임(Ba가 너무 낮음)과 매우 밝은 프레임(Ba가 너무 높음) 모두에서 오버 촬영을 피하기 위해 변조 값(Ba)에 일부 경계들을 한정할 수 있다. 예를 들어, 변조 값(Ba)은 다음과 같이 설정된다.
Figure 112018004689718-pct00053
이에 따라, 시각적으로 결정된 값 Bamin = 2 니트, Bamax = 50 니트, Bamid = 5 니트 및 감쇄 계수(σ)는 0.5로 감쇄된 변조 값(Baatt)을 결정한다. 이는 시각적으로 최적의 변조 값에 가까운 변조 값을 제공할 수 있다.
비디오 시퀀스에서, 변조 값(Ba)은 상기 비디오 시퀀스의 각각의 영상에 대해 결정될 수 있다. 급격한 휘도 변화가 있는 장면에서 일시적 불일치를 피하기 위해서는 일시적 안정화가 바람직하다. 폭발이나 불꽃을 나타내는 장면과 같이 빠르게 변화하는 비디오는, 한 장면에서 다른 장면으로 이동시에 변조 값이 급격히 변할수 있으며 불편한 조명 효과를 유발할 수 있다. 예를 들어, 전경(foreground)에서 조용한 배경과 갑작스런 플래시(폭발이나 불꽃 같은)가 있는 장면을 고려하면, 불편한 시각적 인공물 들을 제공할 수 있다. 이러한 경우, 플래시 때문에 백색(W)이 증가할 뿐만 아니라 M과 변조 값(Ba)가 증가한다. 변조 값(Ba)가 높으면, 톤 - 조정 함수는 어두운 부분을 더욱 억제하고, 이에 의해 톤 - 조정된 영상에서 예기치 않은 배경의 갑작스러운 어두움을 유도할 수 있다. 톤 - 조정된 비디오 시퀀스의 광도의 이러한 부자연스럽고 성가신 일시적 변화를 방지하기 위해, 비디오 시퀀스의 전체적인 광도 변화를 부드럽게 하기 위해 일시적 안정화가 제안된다.
본 발명의 원리의 일례에 따라, 지수 안정화가 사용된다.
Ban을 영상 n에서 결정된 변조라고 가정하고,
Figure 112018004689718-pct00054
을 일시적 안정화 이후의 변조 값으로 한다. 지수적 일시 안정화는 다음과 같이 표시된다.
Figure 112018004689718-pct00055
여기서, λ는 영상 비율에 맞는 실수 값이다.
다른 일시적 평활화 필터들은 변조 값들을 일시적으로 안정화시키기 위해 사용될 수 있다.
본 발명의 원리의 일례에 따라, 상기 방법은 비트 스트림에서 상기 변조 값(Ba) 및 가능한 경우 상기 입력 파라미터 highlightGainControl을 전송하는 단계를 더 포함한다.
예를 들어 변조 값(Ba)과 입력 파리미터 highlightGainControl은 adhoc SEI 메시지에 포함된 메타 데이터로 인코딩된다[HDR 및 WCG(카테고리 1)에 대한 CfE에 대한 Technicolor의 응답 - SDR 역 호환성을 가진 단일 레이어 HDR 비디오 코딩, ISO/IEC JTC1/SC29/WG11 MPEG2014/M36263June 2015, Warsaw, Poland]
도 6에 도시된 본 발명의 원리에 따라, 파라메트릭 역 - 톤 - 조정 함수(ITAF)를 사용하여 입력 영상(I)의 톤 - 매핑된 버전을 역 - 톤 - 매핑하는 방법이 기재되어 있다. 상기 파라메트릭 역 - 톤(inverse tone) 조정 함수(ITAF)는 전술한 톤 - 조정 함수(TAF)의 역 함수이다.
상기 역 - 톤 - 매핑 방법은 입력 영상(I)의 휘도 레벨에 대응하는 변조 값(Ba)을 구하고, 상기 변조 값(Ba)에 대응하여 역 - 톤 - 조정 함수(ITAF)의 적어도 하나의 파라미터를 얻는 단계를 포함한다.
본 발명의 원리의 일례에 따르면, 톤 - 조정 함수(TAF)가 수식 (2), (3) 및 (4)(제 1 실시 예 또는 그 변형 예 중 하나)에 의해 수식 (1) 및 그 파라미터들에 의해 조정될 때에, 역 - 톤 - 조정 함수(ITAF)는 수식 (1)에 도시된 톤 - 조정 함수의 역 함수로서 다음과 같이 얻어진다:
Figure 112018004689718-pct00056
여기서, SGC 및 HGC는 수식 (4)에 의해 제공된다.
본 발명의 원리의 일례에 따르면, 톤 - 조정 - 함수(TAF)가 수식 (6)(제 2 실시 예) 및 그의 파라미터가 수식 (7), (8) 및 (9)에 의해 정의될 때에, 역 - 톤 - 조정 함수(ITAF)는 수식 (8)에 도시된 톤- 조정 - 함수의 역함수로서 다음과 같이 얻어진다:
Figure 112018004689718-pct00057
Figure 112018004689718-pct00058
여기서. SGC 및 HGC는 수식 (9)에 의해 제공된다.
본 발명의 원리의 일례에 따르면, 톤 - 조정 함수가 수식 (7)(제 3 실시 예)에 의해 정의될 때에, 역 - 톤 - 조정 함수(ITAF)는 다음과 같이 정의된다:
Figure 112018004689718-pct00059
톤 - 조정 함수(및 역 - 톤 - 조정 함수)는 톤 - 매핑(역 - 톤 - 매핑) 처리를 필요로 하는 임의의 인코딩/디코딩 방식에서 사용될 수 있다.
예를 들어, MPEG HDR/WCG 증거 요청(call for evidence)(HDR/WCG 비디오 코딩에 대한 증거 요청(CfE), ISO/IEC JTC1/SC29/WG11 MPEG2014/N15083, February 2015, Geneva, Switzerland)에 의해 요구되는 바와 같이, HDR 및 WCG 인코딩/디코딩 방법은, 두 가지 유형의 요구 사항을 정의한다. 첫 번째 유형은 HDR 압축 성능, 즉 코딩된 비트 전송률의 함수로서의 HDR 영상 품질이다. 두 번째 유형의 요구 사항은 이전 버전과의 호환성(backward compatibility)이다. 즉, 관찰 가능한 SDR(표준 동적 범위) 영상(비디오)을 제공하면서도, 추가적인 단계를 실행하지 않고, 기존 레거시(legacy) 장비로 디코딩하여 표시할 수 있는 압축 비디오 비트 스트림을 제공하는 능력이다.
도 7은 HDR 압축 및 SDR 역 호환성 특징들을 제공하는 HDR 컨텐트를 인코딩하는 전반적인 방법을 도시하고 있다(Philips HDR proposal Dynamic range conversion in relation to the "Unified Model" as discussed in SMPTE DG "Dynamic Metadata for Color Transforms of HDR and WCG Images" R. Nijland Koninklijke Philips N.V. 20150421).
이러한 방법은 입력된 선형 HDR(RHDR, GHDR, BHDR) 영상을 SDR 선형 RGB 영상(RSDR, GSDR, BSDR)으로 변환하는 동적 변환 단계(100)를 포함한다. 입력 HDR 영상은 선형 광(linear light)이며, 최대 휘도는 Mastering Display Max Lum 메타 데이터(SMPTE ST 2086)로 표시하는 것이 가장 바람직하다. 출력(RSDR, GSDR, BSDR) 선형 광(linear light) 영상은 SDR이므로, 최대 휘도가 100 니트이다. 다음 단계는 코딩된 비디오 스트림(F)(단계 130)로 인코딩되는 Y'CbCr 출력 영상을 제공하는 색 공간 변환(단계 120)이 되는, 권고안 1886의 역 EOTF를 따르는 감마 보정(단계 110)으로 구성된다.
도 8은 HDR 콘텐츠를 디코딩하는 전체 방법을 도시하고 있다.
상기 방법은 디코딩된 Y'CbCr 영상을 획득하기 위해 코딩된 비디오 스트림(F)을 디코딩하는 단계(단계 200), 디코딩된 Y'CbCr 영상으로부터 R'G'B' 영상을 제공하는 역 컬러 공간 변환(단계 210), R'G'B' 영상으로부터 SDR 선형 RGB 영상을 얻기 위한 역 감마 보정(단계 220) 및 SDR 선형 RGB 영상, 즉 노트된 영상(RSDR,GSDR,BSDR)을, 입력 HDR 영상, 즉 노트(RHDR,GHDR,BHDR)들로 변환하는 역 동적 축소 단계(단계 230)를 포함한다.
단계들(210, 220 및 230)은 각각 단계들(120, 110 및 100)의 상호 동작들을 실행한다.
도 9는 동적 범위 변환(단계 100)의 하위 단계를 도시하고 있다.
이미 살펴 본 바와 같이, 단계 100은, 입력된 영상의 각 화소(p)에 대해, 입력 된 HDR 영상
Figure 112018004689718-pct00060
의 각 화소의 성분 값으로부터 최대 값 T(p)를 계산할 때에(단계 300)(여기에서,
Figure 112018004689718-pct00061
는 전형적으로 모두 1인 고정된 가중 인자임), 상기 최대 값 T(p)를 톤 - 매핑하여 선형 값 t(p)를 획득하는 단계(단계 310), 및 상기 입력 HDR 영상의 각 픽셀(p)의 성분 값을, 최대 값 T(p)에 대한 선형 값 t(p) 의 비율
Figure 112018004689718-pct00062
만큼 증배하는 단계(320)로 구성된다.
그런 다음 비율이 계산되어 곱셈 톤 - 매핑 요소로서, 입력
Figure 112018004689718-pct00063
구성 요소 값에 일반적으로 적용되어, 선형 조명 톤 - 매핑된(linear light tone mapped) RGB 값을 제공한다:
Figure 112018004689718-pct00064
도 10은 역 동적 범위 축소의 하위 단계들을 도시한 도면이다(단계 230).
살펴본 바와 같이, 단계(230)는 SDR 선형 RGB 영상, 즉 표시된
Figure 112018004689718-pct00065
의 각 픽셀의 성분 값으로부터 최대 값 t(p)를 연산하여 구하는 단계(단계 410), 상기 최대 값 t(p)를 역 - 톤 - 매핑하여 비선형 값 T(p)를 구하는 단계(단계 410), 및 최대 값 t(p)에 대해서 비선형 값 T(p) 사이의 비율
Figure 112018004689718-pct00066
만큼 상기 디코딩된 Y'CbCr 영상의 각 픽셀의 성분 값들을 증배하는 단계(단계 420)로 구성된다.
도 11은 본 발명의 원리의 일례에 따라 최대 값 T(p)를 톤 - 매핑함으로써 선형 값 t(p)를 획득하는 단계(단계 410)의 도면을 도시하고 있다.
단계(500)에서, 선형 값 t(p)를 비선형 지각 도메인으로 전송함으로써 비선형 값 nt(p)가 획득된다. 이를 위해 지각 곡선이 사용되며, 예를 들어, 추천 SMPTE 2084의 역전 EOTF가 사용되거나(High Dynamic Range Electro-Optical Transfer Function of Mastering Reference ST 2084:2014), 혹은(Philips HDR proposal Dynamic range conversion in relation to the "Unified Model" as discussed in SMPTE DG "Dynamic Metadata for Color Transforms of HDR and WCG Images" R. Nijland Koninklijke Philips N.V. 20150421)에 기재된 바와 같이 Philips에서 제안한 전달 함수가 사용된다.
단계(520)에서, 비선형 값 nt(p)는 출력 영상
Figure 112018004689718-pct00067
의 원하는 휘도 또는 어둠 레벨에 적응하도록 재형성된다. 이는 소위 "로컬 기울기 조정(Local Slope Adjustment)" 프로세스로서, 이전 버전과의 호환성 문제에 대해 원하는 휘도 레벨을 갖는 출력 SDR 톤 - 매핑 영상을 생성할 수 있다. 즉, 곡선이 높을수록 생성된 SDR 영상이 밝아지게 된다. 또한, 로컬 기울기 조정 곡선이 식별 함수
Figure 112018004689718-pct00068
에 가까워지면 SDR 영상은 더욱 어두워진다.
본 발명의 원리에 따르면, "로컬 기울기 조정" 프로세스는 도 1 내지 도 5와 관련하여 기술된 바와 같이 톤 - 매핑을 사용한다. 즉, "로컬 기울기 조정" 프로세스는 선택될 필요성이 있는 파라미터에 의해 매개 변수화된 톤 - 조정 함수를 사용한다. 본 발명의 원리들에 따르면, 로컬 기울기 조정 곡선의 적어도 하나의 파라미터는 상술한 바와 같이 입력 영상의 휘도 레벨에 응답하는 변조 값에 응답한다. 이는 매핑된 SDR 영상이 레거시 디스플레이와 역 호환되도록 고안된 HDR - SDR 톤 - 매핑을 포함하는 HDR 비디오 압축 체인 내에서 톤 - 조정 프로세스를 매개 변수화(따라서 구성 및 조정)하는 간단한 방법이다. 이것은 양호한 압축 효율을 유지하면서 양호한 SDR 역방향 호환 영상을 자동으로 유도하는 방법을 제공한다.
단계(530)에서, 선형 값 t(p)는 지각 전달 함수의 역 함수를 비선형 값 nt(p)에 적용함으로써 얻어진다. 지각 전달 함수의 역 함수는 100 니트와 동일한 출력 피크 휘도로 구성된다.
디코더(200)는 인코더(130)에 의해 인코딩된 데이터를 디코딩하도록 구성된다. 인코더(130)(및 디코더(200))는 블록 기반 프로세싱이 될 수 있다.
인코더(130)(그리고 디코더(120))는, 예를 들면, JPEG, JPEG2000, MPEG2, HEVC 추천("High Efficiency Video Coding", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, April 2013) 또는 H264/AVC 추천("Advanced video coding for generic audiovisual Services", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standardization Sector of ITU, February 2014))과 같이, 손실을 가지는 이미지/비디오 코더가 될 수 있는 특정한 인코더/디코더에 제한되지 않는다.
도 1 내지 도 11에 기재된 모듈은 식별 가능한 물리적 단위와 관련이 있을 수도 있고 없을 수도 있는 함수 단위이다. 예를 들어, 이러한 모듈 또는 그 중 일부는 고유 구성 요소 또는 회로에 통합되거나 소프트웨어의 함수에 기여할 수 있다. 대조적으로, 일부 모듈은 잠재적으로 별도의 물리적 개체로 구성될 수 있다. 본 발명의 원리와 호환 가능한 장치는 순수한 하드웨어, 예를 들어 각각 ≪응용 특정 집적 회로≫,≪필드 - 프로그래머블 게이트 어레이≫,≪매우 대규모 통합≫ 을 나타내는, ASIC 또는 FPGA 또는 VLSI와 같은 전용 하드웨어를 사용하여 구현된다. 또는 장치에 내장된 여러 통합 전자 부품 또는 하드웨어와 소프트웨어 구성 요소의 혼합에 의해 구현된다.
도 12는 도 1 내지 도 11과 관련하여 기술된 방법을 구현하기 위해 구성될 수 있는 장치(1200)의 예시적인 아키텍처를 나타낸다.
장치(1200)는 데이터 및 어드레스 버스(1201)에 의해 서로 링크되는 다음 요소를 포함한다:
- 예를 들어 DSP(또는 디지털 신호 프로세서)가 되는 마이크로 프로세서(1202)(또는 CPU);
- ROM(또는 판독 전용 메모리)(1203);
- RAM(또는 랜덤 액세스 메모리)(1204);
- 애플리케이션으로부터 전송할 데이터의 수신을 위한 I/O 인터페이스(1205); 및
- 배터리(1206)
일 실시예에 따르면, 배터리(1206)는 장치 외부에 있다. 언급된 각각의 메모리에서, 명세서에서 사용된 "레지스터"라는 단어는 작은 용량(일부 비트)의 영역 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 대량의 수신 또는 디코딩 된 데이터)에 대응할 수 있다. ROM(1203)은 적어도 프로그램 및 파라미터를 포함한다. ROM(1203)은 본 발명의 원리에 따라 기술을 수행하기 위한 알고리즘 및 명령어를 저장할 수 있다. 전원이 켜지면, CPU(1202)는 RAM에 프로그램을 업로드하고 대응하는 명령을 실행한다.
RAM(1204)은 CPU(1202)에 의해 실행되고 장치(1200)의 스위치의 온 상태 후에 업로드되는 프로그램, 레지스터 내의 입력 데이터, 레지스터의 다른 상태의 중간 데이터 및 레지스터내의 실행에 사용된 다른 변수를, 레지스터에 포함시킨다.
여기에서 설명된 구현 예는 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단 하나의 구현 형태(예를 들어, 방법 또는 장치의 관점에서만 논의됨)의 관점에서만 논의되더라도, 논의된 특징들의 구현은 다른 형태(예를 들어, 프로그램)로 구현될 수도 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 상기 방법은, 예를 들어, 예를 들어 컴퓨터, 마이크로 프로세서, 집적 회로 또는 프로그램 가능 논리 장치를 포함하는 일반적으로 처리 장치를 지칭하는, 예를 들어 프로세서와 같은 장치에서 구현될 수 있다. 프로세서는 또한 예를 들어 컴퓨터, 셀 폰, 휴대/개인 휴대 정보 단말기("PDA") 및 최종 사용자 간의 정보 통신을 용이하게 하는 다른 장치와 같은 통신 장치를 포함한다.
인코딩 또는 인코더의 일례에 따라, 영상(I)은 소스로부터 얻어진다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:
- 로컬 메모리(1203 또는 1204), 예를 들면, 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 읽기 전용 메모리), 하드 디스크;
- 저장 인터페이스(1205), 예를 들면, 대용량 저장 장치와의 인터페이스, RAM, 플래시 메모리, ROM, 광디스크 또는 자기 지원 장치;
- 통신 인터페이스(1205), 예를 들면, 유선 인터페이스(예를 들면, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스(예를 들면, IEEE 802.11 인터페이스, 또는 Bluetooth® 인터페이스); 및
- 영상 캡처 회로(예를 들면, CCD(또는 전하 결합 장치) 또는 CMOS(또는 Complementary Metal-Oxide-Semiconductor)와 같은 센서).
디코딩 또는 디코더의 일례에 따라, 디코딩된 영상(I)은 목적지로 전송된다; 특히, 목적지는 다음을 포함하는 세트에 속한다:
- 로컬 메모리(1203 또는 1204), 예를 들면, 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스(1205), 예를 들면, 대용량 저장 장치와의 인터페이스, RAM, 플래시 메모리, ROM, 광디스크 또는 자기 지원 장치;
- 통신 인터페이스(1205), 예를 들면, 무선 인터페이스(예를 들면, 버스 인터페이스(예를 들면, USB(또는 범용 직렬 버스)), 광역 네트워크 인터페이스, 근거리 통신망 인터페이스, HDMI(고화질 멀티미디어 인터페이스) 인터페이스) 또는 무선 인터페이스(예를 들면, IEEE 802.11 인터페이스, WiFi® 또는 Bluetooth® 인터페이스); 및
- 디스플레이.
인코딩 또는 인코더의 예에 따라, 코딩된 비디오 스트림(F)은 목적지로 전송된다. 예를 들어, 스트림(F)은 로컬 또는 원격 메모리, 예를 들어, 비디오 메모리(1204) 또는 RAM(1204), 하드 디스크(1203)에 저장된다 변형 예에서, 하나 또는 두 개의 비트 스트림이 저장 인터페이스(1205), 예를 들면, 대용량 저장 장치, 플래쉬 메모리, ROM, 광디스크 또는 자기 지원 장치와의 인터페이스로 전송되고, 게다가/또는 통신 인터페이스(1205), 예를 들면, 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티 포인트 링크 또는 브로드 캐스트 네트워크에 대한 인터페이스를 통해 전송된다.
디코딩 또는 디코더의 예에 따라, 스트림(F)은 소스로부터 얻어진다. 예시 적으로, 스트림은 로컬 메모리, 예를 들어, 비디오 메모리(1204), RAM(1204), ROM(1203), 플래시 메모리(1203) 또는 하드 디스크(1203)로부터 판독된다. 변형 예에서, 비트 스트림은 저장 인터페이스(1205), 예를 들면, 대용량 저장 장치, RAM, ROM, 플래시 메모리, 광디스크 또는 자기 지원 장치와의 인터페이스로부터 수신되고, 그리고/또는 통신 인터페이스(1205), 예를 들면, 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티 포인트 링크 또는 브로드 캐스트 네트워크에 대한 인터페이스를 통해 수신된다.
실시 예들에 따르면, 도 1 내지 도 6과 관련하여 기술된 방법을 구현하도록 구성된 장치(1200)는 다음을 포함하는 세트에 속한다:
- 모바일 장치;
- 통신 장치;
- 게임 장치;
- 태블릿(또는 태블릿 컴퓨터);
- 노트북;
- 정지 사진 카메라;
- 비디오 카메라;
- 인코딩 칩;
- 정지 영상 서버; 및
- 비디오 서버(예를 들면, 브로드 캐스트 서버, 주문형 비디오 서버 또는 웹 서버).
실시 예들에 따르면, 도 7, 도 9 또는 도 11과 관련하여 기술된 인코딩 방법을 구현하도록 구성된 장치(1200)는, 다음을 포함하는 세트에 속한다:
- 모바일 장치;
- 통신 장치;
- 게임 장치;
- 태블릿(또는 태블릿 컴퓨터);
- 노트북;
- 정지 사진 카메라;
- 비디오 카메라;
- 인코딩 칩;
- 정지 영상 서버; 및
- 비디오 서버(예를 들면, 브로드 캐스트 서버, 주문형 비디오 서버 또는 웹 서버).
실시 예들에 따르면, 도 8 또는 도 10과 관련하여 기술된 디코딩 방법을 구현하도록 구성되는 장치(60)는 다음을 포함하는 세트에 속한다:
- 모바일 장치;
- 통신 장치;
- 게임 장치;
- 셋톱 박스;
- TV 세트;
- 태블릿(또는 태블릿 컴퓨터);
- 노트북;
- 디스플레이 및
- 디코딩 칩.
도 13에 도시된 본 발명의 원리의 일 실시예에 따르면, 통신 네트워크(NET)를 통해 2개의 원격 장치들(A 및 B) 사이의 전송 단계에서는, 장치(A)는 도 7과 관련하여 설명된 바와 같이 영상을 인코딩하는 방법을 실현하도록 구성된 메모리 RAM 및 ROM과 관련된 프로세서를 포함하며, 장치(B)는, 도 8과 관련하여 설명된 바와 같이 디코딩 방법을 구현하도록 구성된 메모리 RAM 및 ROM과 관련된 프로세서를 포함한다.
일 실시예에 따르면, 네트워크는 장치(A)에서 장치(B)를 포함하는 디코딩 장치로 정지 영상 또는 비디오 영상을 방송하도록 구성된, 방송 네트워크이다. 장치(A)에 의해 전송되도록 의도된 신호는 스트림(F)을 운반한다. 스트림(F)은 입력 영상의 휘도 레벨에 대응하여 이미 언급된 역 - 톤 - 매핑의 파라미터를 결정하기 위해 사용되는 변조 값(Ba)을 포함한다. 선택적으로, 스트림(F)은 입력 파라미터 highlightGainControl을 더 포함한다.
도 14는 데이터가 패킷에 근거하는 전송 프로토콜을 통해 전송될 때에 그러한 신호의 신택스의 예를 도시한 도면이다. 각각의 전송된 패킷(P)은 헤더(H) 및 페이로드(PAYLOAD)를 포함한다. 예를 들어, 헤더(H)의 비트는 인코딩된 휘도 블록이 영상 블록의 휘도 성분과 상기 휘도 성분의 평균값의 표현의 합을 나타내는 것을 표시하는 정보 데이터를 나타내기 위해 사용된다
본 명세서에서 설명된 다양한 프로세스 및 특징의 구현은 다양한 상이한 장비 또는 애플리케이션으로 구체화될 수 있다. 이러한 장비의 예로는 인코더, 디코더, 디코더로부터의 출력을 처리 후 처리기(post-processor), 인코더에 입력을 제공하는 전 처리기(pre-processor), 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 노트북, 개인용 컴퓨터, 휴대 전화, PDA 및 영상 또는 비디오 또는 다른 통신 장치들을 처리하기 위한 임의의 다른 장치가 될 수 있다. 명백히 알 수 있는 바와 같이, 장비는 이동 형태가 될 수도 있고 이동 차량에 설치될 수도 있다.
또한, 상기 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수 있다. 그리고, 이러한 명령들(및/또는 구현에 의해 생성된 데이터 값)은 컴퓨터 판독 가능 저장 매체상에 저장될 수 있다. 컴퓨터 판독 가능 저장 매체는 하나 이상의 컴퓨터 판독 가능 매체(들)로 구현되고 컴퓨터에 의해 실행 가능한 컴퓨터 판독 가능 프로그램 코드가 구현된 컴퓨터 판독 가능 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 사용된 컴퓨터 판독 가능 저장 매체는 그 내부에 정보를 저장하는 고유의 능력 및 그로부터 정보의 검색을 제공하는 고유의 능력을 고려할 때에 일시적 저장 매체로 간주된다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 장치, 또는 전술한 것의 임의의 적절한 조합일 수 있다. 다음은 본 발명의 원리가 적용될 수있는 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예를 제공하지만, 단지 당업자가 용이하게 이해할 수 있는 예시적인 것이며, 단순히 나열한 목록이 아님을 이해해야 한다. 휴대용 컴퓨터 디스켓; 하드 디스크; ROM(read-only memory); 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리); 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM); 광학 저장 장치; 자기 저장 장치; 또는 상기의 임의의 적합한 조합을 포함할 수 있다.
명령들은 프로세서 - 판독 가능 매체 상에 명백하게 구현된 애플리케이션 프로그램을 형성할 수 있다.
명령은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합일 수 있다. 명령은, 예를 들어 운영 체제, 별도의 응용 프로그램 또는 이러한 두 개의 조합에서 발견될 수 있다. 따라서, 프로세서는 프로세스를 수행하도록 구성된 장치 및 프로세스를 수행하기 위한 명령을 포한하는 프로세서 - 판독 가능 매체(예를 들어, 저장 장치)를 포함하는 장치로서 특성화될 수 있다. 또한, 프로세서 - 판독 가능 매체는 명령들 외에도 또는 그 명령들 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.
당업자에게 명백한 바와 같이, 구현된 실시 예들은, 예를 들어 저장되거나 전송될 수 있는 정보를 운반하도록 포맷된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어 방법을 수행하기 위한 명령, 또는 기술된 구현 예들 중에서 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 본 발명의 원리의 설명된 예시의 구문을 쓰거나 읽는 규칙을 데이터로서 운반하거나, 또는 본 발명의 원리의 기재된 실시예에 의해 기록된 실제 구문 값을 데이터로서 전달하도록 포맷될 수 있다. 이러한 신호는, 예를 들어 전자기파(예를 들어, 스펙트럼의 무선 주파수 부분을 사용) 또는 기저 대역 신호로서 포맷될 수 있다. 포맷팅은, 예를 들어 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양한 다른 유선 또는 무선 링크를 통해 전송될 수있다. 신호는 프로세서 판독 가능 매체에 저장될 수 있다.
다수의 구현 예들이 설명되었다. 그럼에도 불구하고, 다양한 수정이 이루어질 수 있음을 알아야 한다. 예를 들어, 상이한 구현들의 요소들은 결합, 보충, 수정 또는 제거되어 다른 구현들을 생성할 수 있다. 또한, 당업자는 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고 결과적인 구현들은 적어도 실질적으로 동일한 방식(들)으로, 적어도 실질적으로 동일한 함수(들)을 수행하여, 적어도 개시된 구현 예들과 실질적으로 동일한 결과(들)를 얻게 된다는 것을 알게 될 것이다. 따라서, 이들 및 다른 구현 예들은 본 출원에 의해 고려된다.

Claims (25)

  1. 복수의 범위에 걸쳐 정의된 파라메트릭 톤 - 조정 함수를 사용하여 입력 영상을 톤 - 매핑하는 방법에 있어서,
    상기 톤 - 조정 함수의 적어도 하나의 파라미터는 각 범위와 관련되어 있으며,
    상기 방법은, 변조 값 Ba에 따라 적어도 하나의 범위에 걸쳐 비선형 톤 조정 함수를 정의하는 단계, 및
    상기 변조 값 Ba에 따라 상기 톤 - 조정 함수의 하나의 파라미터를 결정하는 단계를 포함하고,
    상기 변조 값 Ba는 흑색 레벨 및 백색 레벨로부터 결정된 상기 입력 영상의 중간 - 톤 레벨에 응답하고, 상기 흑색 레벨 및 상기 백색 레벨은 상기 입력 영상의 내용(content)에 기초하는, 입력 영상을 톤 - 매핑하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 톤 조정 함수는 제 1범위에 걸쳐 선형이며, 제 2범위에 걸쳐 포물선 형태이며, 제 3범위에 걸쳐 선형인, 입력 영상을 톤 - 매핑하는 방법.
  4. 제 3 항에 있어서,
    톤 조정 함수는,
    - 제 1범위에 대해서는 다음 수식에 의해 정의됨:
    Figure 112022078581782-pct00069

    (SGC는 실제 파라미터 값이고, y는 출력 값이고, x는 입력 값임);
    - 제 2범위에 대해서는 다음 수식에 의해 정의됨:
    Figure 112022078581782-pct00070

    - 제 3범위에 대해서는 다음 수식에 의해 정의됨:
    Figure 112022078581782-pct00071

    (HGC는 기울기임);
    여기에서,
    Figure 112022078581782-pct00072

    여기에서, MTA는 실제 변수 값이며, 다음 수식이 정의된다.
    Figure 112022078581782-pct00073

    이 때에,
    Figure 112022078581782-pct00074

    여기에서 shadowGainControl 및 midTonesAdjustement는 다음식에 의해 제공되는 실수 값이며,
    Figure 112022078581782-pct00075

    여기에서, highlightGainControl은 실수 값이고, nits로 표시되는 변조 값 Ba인, 입력 영상을 톤 - 매핑하는 방법.
  5. 제 4 항에 있어서,
    상기 실수 값, highlightGainControl은 상수 값이 되는, 입력 영상을 톤 - 매핑하는 방법.
  6. 제 4 항에 있어서,
    상기 실수 값, highlightGainControl은 상기 변조 값 Ba 외에도 다른 파라미터로서 유지되는, 입력 영상을 톤 - 매핑하는 방법.
  7. 제 4 항에 있어서,
    상기 실수 값, highlightGainControl은,
    Figure 112018004689718-pct00076
    에 의해 제공되는, 입력 영상을 톤 - 매핑하는 방법.
  8. 제 3 항에 있어서,
    상기 톤 조정 함수는,
    - 제 1범위에 대해서는 다음 수식에 의해 정의됨:
    Figure 112018017576245-pct00077

    (SGC는 실제 파라미터 값이고, y는 출력 값이고, x는 입력 값임);
    - 제 2범위에 대해서는 다음 수식에 의해 정의됨:
    Figure 112018017576245-pct00078

    - 제 3범위에 대해서는 다음 수식에 의해 정의됨:
    Figure 112018017576245-pct00079

    (HGC는 기울기임);
    여기에서,
    Figure 112018017576245-pct00080

    MTA는 실제 변수 값이며, 다음 수식이 정의됨.
    Figure 112018017576245-pct00081

    이 때에,
    Figure 112018017576245-pct00082
    이며,
    Figure 112018017576245-pct00083
    이 되고,
    여기에서 midTonesAdjustement는 다음에 의해 지정된 실수 값이며,
    Figure 112018017576245-pct00084

    여기에서, highlightGainControl은 실수 값이고, 입력 영상의 밝기 레벨에 응답하여 nits로 표시되는 변조 값 Ba인, 입력 영상을 톤 - 매핑하는 방법.
  9. 제 8 항에 있어서,
    상기 실수 값, highlightGainControl은 상수 값인, 입력 영상을 톤 - 매핑하는 방법.
  10. 제 8 항에 있어서,
    상기 실수 값, highlightGainControl은 상기 변조 값 Ba 외에도 다른 파라미터로서 유지되는, 입력 영상을 톤 - 매핑하는 방법.
  11. 제 8 항에 있어서,
    상기 실수 값, highlightGainControl은,
    Figure 112018004689718-pct00085
    에 의해 제공되는, 입력 영상을 톤 - 매핑하는 방법.
  12. 제 1 항에 있어서,
    상기 톤 조정 함수는 다음에 의해 정의되는 파라메트릭 대수(parametric logarithm)이며,
    Figure 112022078581782-pct00086

    여기에서, k는 상수 값, y는 출력 값, x는 입력 값, PeakL은 입력 영상의 피크 휘도 값이 되는, 입력 영상을 톤 - 매핑하는 방법.
  13. 삭제
  14. 삭제
  15. 제 1 항에 있어서,
    상기 중간 톤 레벨은 (1) 기하 평균 및 (2) 흑색 레벨 및 백색 레벨의 대수 평균 중 하나로서 결정되는, 입력 영상을 톤 - 매핑하는 방법.
  16. 제 1 항에 있어서,
    상기 입력 영상은 비디오 시퀀스에 포함된 복수의 영상들 중 하나이며, 상기 변조 값 Ba의 결정은 상기 복수 영상의 각각에 대해 수행되며, 상기 복수의 영상에 대한 상기 변조 값은 일시적으로 평활화되는, 입력 영상을 톤 - 매핑하는 방법.
  17. 복수의 범위에 걸쳐 정의된 파라메트릭 역 - 톤 - 조정 함수를 사용하여 입력 영상의 톤-매핑된 버전을 역 - 톤 - 매핑하는 방법에 있어서,
    상기 역 - 톤 - 조정 함수의 적어도 하나의 파라미터는 각 범위와 관련되어 있으며,
    상기 방법은 변조 값 Ba에 따라 적어도 하나의 범위에 걸쳐 비선형 톤 조정 함수를 정의하는 단계와,
    상기 변조 값 Ba에 따라 상기 역 - 톤 - 조정 함수의 하나의 파라미터를 얻는 단계를 포함하고,
    상기 변조 값 Ba는 흑색 레벨 및 백색 레벨로부터 결정된 상기 입력 영상의 중간 - 톤 레벨에 응답하고, 상기 흑색 레벨 및 상기 백색 레벨은 상기 입력 영상의 내용(content)에 기초하는, 입력 영상의 톤 - 매핑된 버전을 역 - 톤 - 매핑하는 방법.
  18. 입력 영상을 부호화하는 방법에 있어서,
    상기 입력 영상의 성분 값으로부터 최대 값을 구하는 단계;
    제 1 항에 따른 방법에 따라 상기 최대 값을 톤-매핑함으로써 선형 값을 얻는 단계; 및
    상기 입력 영상을 상기 최대 값과 상기 선형 값과의 비율만큼 증배하는 단계를 포함하는, 입력 영상을 부호화하는 방법.
  19. 영상을 디코딩하는 방법에 있어서,
    - 디코딩된 영상의 성분 값들로부터 최대 값을 얻는 단계;
    - 제 17 항의 방법에 따라 상기 최대 값을 역 - 톤 - 매핑하여 비선형 값을 얻는 단계; 및
    - 디코딩된 영상을 최대 값과 비선형 값과의 비율만큼 증배하는 단계를 포함하는, 영상을 디코딩하는 방법.
  20. 복수의 범위에 걸쳐 정의된 파라메트릭 톤 - 조정 함수를 사용하여 입력 영상을 톤 - 매핑하는 장치에 있어서,
    상기 톤 - 조정 함수의 적어도 하나의 파라미터는 각 범위와 관련되어 있으며,
    상기 장치는:
    변조 값 Ba에 따라 적어도 하나의 범위에 걸쳐 비선형 톤 조정 함수를 정의하도록, 그리고
    상기 변조 값 Ba에 따라 상기 톤 - 조정 함수의 하나의 파라미터를 결정하도록
    구성된 프로세서를 포함하고,
    상기 변조 값 Ba는 흑색 레벨 및 백색 레벨로부터 결정된 상기 입력 영상의 중간 - 톤 레벨에 응답하고, 상기 흑색 레벨 및 상기 백색 레벨은 상기 입력 영상의 내용(content)에 기초하는, 입력 영상을 톤 - 매핑하는 장치.
  21. 입력 영상을 인코딩하기 위한 장치에 있어서,
    - 입력 영상의 성분 값으로부터 최대 값을 구하며;
    - 제 1 항의 방법에 따라 상기 최대 값을 톤 매핑함으로써 선형 값을 구하고;
    - 입력 영상을 최대 값과 선형 값 사이의 비율만큼 증배하도록 구성된 프로세서를 포함하는, 입력 영상을 인코딩하기 위한 장치.
  22. 영상을 디코딩하는 장치에 있어서,
    - 디코딩된 영상의 성분 값들로부터 최대 값을 구하고;
    - 제 17 항에 따른 방법에 따라 상기 최대 값을 역 - 톤 - 매핑함으로써 비선형 값을 구하고;
    - 디코딩된 영상을 비선형 값과 최대 값 사이의 비율만큼 증배하도록 구성되어 있는 프로세서를 포함하는, 영상을 디코딩하는 장치.
  23. 프로그램이 컴퓨터 상에서 실행될 때에, 제 1 항 및 제 17 항 내지 제 19 항 중 어느 한 항에 따른 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램을 기록한 비-일시적인(non-transitory) 컴퓨터-판독 가능 저장 매체.
  24. 삭제
  25. 삭제
KR1020187001338A 2015-07-16 2016-07-07 파라메트릭 톤 - 조정 함수를 사용하여 영상을 톤 - 매핑하는 방법 및 장치 KR102486233B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15306166.8 2015-07-16
EP15306166 2015-07-16
EP15306196.5 2015-07-23
EP15306196.5A EP3121787A1 (en) 2015-07-23 2015-07-23 A method and device for tone-mapping a picture by using a parametric tone-adjustment function
PCT/EP2016/066167 WO2017009182A1 (en) 2015-07-16 2016-07-07 A method and device for tone-mapping a picture by using a parametric tone-adjustment function

Publications (2)

Publication Number Publication Date
KR20180030534A KR20180030534A (ko) 2018-03-23
KR102486233B1 true KR102486233B1 (ko) 2023-01-06

Family

ID=56372901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187001338A KR102486233B1 (ko) 2015-07-16 2016-07-07 파라메트릭 톤 - 조정 함수를 사용하여 영상을 톤 - 매핑하는 방법 및 장치

Country Status (9)

Country Link
US (1) US11182882B2 (ko)
EP (1) EP3323104B1 (ko)
JP (1) JP6948309B2 (ko)
KR (1) KR102486233B1 (ko)
CN (1) CN107924559B (ko)
CA (1) CA2992654A1 (ko)
MX (1) MX2018000575A (ko)
RU (1) RU2726290C2 (ko)
WO (1) WO2017009182A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
JP6738972B2 (ja) * 2017-02-15 2020-08-12 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのトーン曲線マッピング
EP3734954B1 (en) * 2017-12-27 2023-03-22 Panasonic Intellectual Property Management Co., Ltd. Display device and display method
CN108900823B (zh) * 2018-07-05 2019-07-12 华为技术有限公司 一种视频信号处理的方法及装置
EP3672219A1 (en) * 2018-12-18 2020-06-24 Thomson Licensing Method and device for determining control parameters for mapping an input image with a high dynamic range to an output image with a lower dynamic range
KR102661824B1 (ko) 2019-03-26 2024-04-26 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
EP3734588B1 (en) * 2019-04-30 2022-12-07 Dolby Laboratories Licensing Corp. Color appearance preservation in video codecs
EP3934223A1 (en) * 2020-06-29 2022-01-05 AMS Sensors Belgium BVBA Converting digital image data
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010009583A (ja) * 2008-05-30 2010-01-14 Panasonic Corp ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3629403C2 (de) 1986-08-29 1994-09-29 Agfa Gevaert Ag Verfahren zur Korrektur der Farbsättigung bei der elektronischen Bildverarbeitung
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
JP2000137805A (ja) * 1998-10-29 2000-05-16 Canon Inc 画像処理装置及びその方法
CN1271567C (zh) * 2000-11-30 2006-08-23 佳能株式会社 图像处理装置、图像处理方法、存储介质及程序
JP4153715B2 (ja) 2002-04-08 2008-09-24 松下電器産業株式会社 映像信号処理装置及び映像信号処理方法
US7158686B2 (en) 2002-09-19 2007-01-02 Eastman Kodak Company Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
JP4167097B2 (ja) * 2003-03-17 2008-10-15 株式会社沖データ 画像処理方法および画像処理装置
US8207932B2 (en) * 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
JP5157753B2 (ja) 2008-08-27 2013-03-06 カシオ計算機株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP4900419B2 (ja) 2009-05-20 2012-03-21 カシオ計算機株式会社 画像処理装置、及び画像処理プログラム
JP2010278890A (ja) 2009-05-29 2010-12-09 Canon Inc 画像形成装置、画像形成方法
JP5165076B2 (ja) 2011-01-31 2013-03-21 シャープ株式会社 映像表示装置
CN104471939B (zh) * 2012-07-13 2018-04-24 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备
EP3168809B1 (en) * 2012-08-08 2023-08-30 Dolby Laboratories Licensing Corporation Image processing for hdr images
EP3054418A1 (en) 2015-02-06 2016-08-10 Thomson Licensing Method and apparatus for processing high dynamic range images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010009583A (ja) * 2008-05-30 2010-01-14 Panasonic Corp ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置

Also Published As

Publication number Publication date
EP3323104A1 (en) 2018-05-23
JP6948309B2 (ja) 2021-10-13
WO2017009182A1 (en) 2017-01-19
EP3323104B1 (en) 2021-10-27
CN107924559B (zh) 2022-05-24
BR112018000910A2 (pt) 2018-09-11
US11182882B2 (en) 2021-11-23
CN107924559A (zh) 2018-04-17
US20180211369A1 (en) 2018-07-26
RU2018105678A (ru) 2019-08-16
RU2726290C2 (ru) 2020-07-10
MX2018000575A (es) 2018-08-21
RU2018105678A3 (ko) 2020-01-31
CA2992654A1 (en) 2017-01-19
KR20180030534A (ko) 2018-03-23
JP2018530031A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
KR102486233B1 (ko) 파라메트릭 톤 - 조정 함수를 사용하여 영상을 톤 - 매핑하는 방법 및 장치
US10148906B2 (en) Methods, apparatus, and systems for extended high dynamic range (“HDR”) HDR to HDR tone mapping
KR102529013B1 (ko) 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치
KR102367205B1 (ko) 컬러 맵핑 함수들을 이용하여 hdr 픽처 및 상기 hdr 픽처로부터 획득된 sdr 픽처의 양자를 인코딩하기 위한 방법 및 디바이스
KR102523233B1 (ko) 컬러 픽처를 디코딩하는 방법 및 디바이스
KR102537393B1 (ko) Hdr 이미지를 재구성하기 위한 방법 및 디바이스
US11741585B2 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
KR20180044291A (ko) 코딩 및 디코딩 방법과 대응하는 디바이스
US11423522B2 (en) Method and apparatus for colour correction during HDR to SDR conversion
EP3026908A1 (en) Method and device for quantizing and de-quantizing a picture using scaling factors for chrominance based on luminance
RU2705013C2 (ru) Способ и устройство кодирования и декодирования цветного изображения
EP3121787A1 (en) A method and device for tone-mapping a picture by using a parametric tone-adjustment function
EP3528201A1 (en) Method and device for controlling saturation in a hdr image
BR112018000910B1 (pt) Método e dispositivo para mapear por tons uma imagem de entrada, método para mapear tons inverso de uma versão mapeada por tons de uma imagem de entrada, método e dispositivo para codificar uma imagem de entrada, método e dispositivo para decodificar uma imagem de entrada, e mídia de armazenamento não transitório

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant