KR102369771B1 - 디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스 - Google Patents

디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR102369771B1
KR102369771B1 KR1020170156508A KR20170156508A KR102369771B1 KR 102369771 B1 KR102369771 B1 KR 102369771B1 KR 1020170156508 A KR1020170156508 A KR 1020170156508A KR 20170156508 A KR20170156508 A KR 20170156508A KR 102369771 B1 KR102369771 B1 KR 102369771B1
Authority
KR
South Korea
Prior art keywords
image data
original image
luminance information
parameters
information data
Prior art date
Application number
KR1020170156508A
Other languages
English (en)
Other versions
KR20190059006A (ko
Inventor
야닉 올리비에
다비 뚜즈
니꼴라 까라멜리
피에르 앙드리봉
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Priority to KR1020170156508A priority Critical patent/KR102369771B1/ko
Publication of KR20190059006A publication Critical patent/KR20190059006A/ko
Application granted granted Critical
Publication of KR102369771B1 publication Critical patent/KR102369771B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 원리들은 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터로부터 원래 이미지 데이터를 나타내는 이미지 데이터를 재구성하기 위한 방법 및 디바이스에 관련되며, 상기 파라미터들은 상기 원래 이미지 데이터로부터 프로세싱되고, 루마 컴포넌트의 탈포화 (desaturating), 탈포화된 루마 컴포넌트의 역-매핑 및 크로마 컴포넌트들의 보정을 포함하고, 이들 동작은 재구성된 이미지가 디스플레이되도록 의도되는 프리젠테이션 디스플레이의 피크 루미넌스, 통상의 표준 동적 범위 이미지의 피크 루미넌스 및 원래 이미지 데이터를 그레이딩하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터의 피크 루미넌스를 나타내는 단일 변조 팩터 (mod) 의 값에 따라 변조된다.

Description

디스플레이 적응형 ＨＤＲ 이미지를 재구성하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR RECONSTRUCTING A DISPLAY ADAPTED HDR IMAGE}
본 원리들은 일반적으로 디코딩된 이미지/비디오 데이터로부터의 이미지/비디오 재구성에 관한 것이다. 특히, 하지만 배타적이지는 않게, 본 원리들의 기술 분야는 이미지 특징들, 재구성 메타데이터, 및 프레젠테이션 디스플레이 능력들을 고려하여, 또 다른 이미지로부터의 이미지 재구성에 관한 것이다.
본 섹션은 하기에 기재되고 및/또는 청구되는 본 원리들의 다양한 양태들에 관련될 수도 있는, 다양한 기술의 양태들을 독자에게 소개하기 위해 의도된다. 이 논의는 본 원리들의 다양한 양태들을 더 잘 이해하기 쉽게 하기 위해 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이 서술들은 이러한 점에서 읽혀져야 하며, 종래 기술의 허용들로서가 아님을 이해해애 한다.
다음에 있어서, 이미지 데이터는 이미지 (또는 비디오) 의 픽셀 값들에 대한 모든 정보 및 예를 들어 이미지 (또는 비디오) 를 시각화하고 및/또는 디코딩하기 위해 디스플레이 및/또는 임의의 다른 디바이스에 의해 사용될 수도 있는 모든 정보를 특정하는 특정 이미지/비디오 포맷에서의 샘플들 (픽셀 값들) 의 하나 또는 몇몇 어레이들을 지칭한다. 이미지는 보통 이미지의 루미넌스 (또는 루마) 를 나타내는 샘플들의 제 1 어레이의 형상에서의 제 1 컴포넌트, 및 보통 이미지의 컬러 (또는 크로마) 를 나타내는 샘플들의 다른 어레이들의 형상에서의 제 2 및 제 3 컴포넌트를 포함한다. 또는, 동등하게, 동일한 정보가 전형적인 트리-크로마틱 RGB 표현과 같은, 컬럼 샘플들의 어레이들의 세트에 의해 또한 표현될 수도 있다.
픽셀 값은 C 값들의 벡터에 의해 나타내며, 여기서 C 는 컴포넌트들의 수이다. 벡터의 각 값은 픽셀 값들의 최대 동적 범위를 정의하는 비트들의 수로 나타낸다.
표준 동적 범위 이미지들 (SDR 이미지들) 은 루미넌스 값들이 제한된 수의 비트들 (통상적으로 8) 로 표현되는 이미지들이다. 이러한 제한된 표현은 특히, 다크 및 브라이트 루미넌스 범위들에서, 작은 신호 변화들의 정확한 렌더링을 허용하지 않는다. 높은 동적 범위 이미지 (HDR 이미지들) 에 있어서, 신호 표현은 그 전체 범위에 걸쳐 신호의 높은 정확도를 유지하기 위해 확장된다. HDR 이미지들에 있어서, 루미넌스 레벨들을 나타내는 픽셀 값들은 보통 플로팅 포인트 포맷 (통상적으로 컴포넌트 당 적어도 10 비트, 즉 플로트 또는 하프 플로트), 가장 인기있는 포맷인 오픈EXR 하프 플로트 포맷 (RGB 컴포넌트 당 16 비트, 즉 픽셀 당 48 비트) 으로, 또는 긴 표현, 통상적으로 적어도 16 비트를 갖는 정수들로 나타낸다.
고효율 비디오 코딩 (HEVC) 표준 (ITU-T H.265, ITU 의 텔레통신 표준화 부문 (10/2014), 시리즈 H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, 권고 (Recommendation) ITU-T H.265) 의 도입은, 울트라 HD 브로드캐스트 서비스들과 같은, 강화된 뷰잉 경험을 갖는 새로운 비디오 서비스들의 전개를 가능하게 한다. 증가된 공간 해상도에 부가하여, 울트라 HD 는 현재 개발된 표준 동적 범위 (SDR) HD-TV 보다 더 넓은 컬러 가뮤트 (wider color gamut)(WCG) 및 더 높은 동적 범위 (HDR) 를 가져올 수 있다. HDR/WCG 비디오의 코딩 및 표현을 위한 상이한 솔루션들이 제안되고 있다 (SMPTE 2014, "High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays", 또는 SMPTE ST 2084, 2014, 또는 Diaz, R., Blinstein, S. 및 Qu, S. "Integrating HEVC Video Compression with a High Dynamic Range Video Pipeline", SMPTE Motion Imaging Journal, Vol. 125, Issue 1. Feb, 2016, pp 14-21).
디코딩 및 렌더링 디바이스들과의 SDR 역방향 호환성은 브로드캐스팅 또는 멀티캐스팅 시스템들과 같은 일부 비디오 분산 시스템들에서 중요한 피처이다.
단일 계층 코딩/디코딩 프로세스에 기초한 솔루션은 역방향 호환가능, 예를 들어 SDR 호환가능할 수도 있고, 이미 가동중인 레거시 분산 네트워크들 및 서비스들을 레버리지할 수도 있다.
그러한 단일 계층 기반 분산 솔루션은, HDR-인에이블형 소비자 전자장치 (CE) 디바이스들 상에서 고품질 HDR 렌더링을 가능하게 하면서, 또한 SDR-인에이블형 CE 디바이스들 상에서 고품질 SDR 렌더링을 제공한다.
그러한 단일 계층 기반 분산 솔루션은, 디코딩된 신호, 예를 들어 SDR 신호로부터, 또 다른 신호, 예를 들어 HDR 신호를 재구성하기 위해 사용될 수 있는 인코딩된 신호, 예를 들어 SDR 신호, 및 (비디오 프레임 또는 장면 당 몇 바이트의) 연관된 메타데이터를 생성한다.
메타데이터는 신호의 재구성을 위해 사용된 파라미터 값들을 저장하였고 정정이거나 동적일 수도 있다. 정적 메타데이터는 비디오 (또는 이미지들의 세트) 및/또는 프로그램에 대해 동일한 상태를 유지하는 메타데이터를 의미한다.
정적 메타데이터는 전체 비디오 콘텐츠 (장면, 무비, 클립...) 에 대해 유효하고 이미지 콘텐츠에 의존하지 않을 수도 있다. 이들은, 예를 들어 이미지 포맷 또는 컬러 스페이스, 컬러 가뮤트를 정의할 수도 있다. 가령, SMPTE ST 2086:2014, "Mastering Display Color Volume Metadata Supporting High Luminance and Wide Color Gamut Images" 는 제작 여건에서 사용하기 위한 그러한 정적 메타데이터의 종류이다. 마스터링 디스플레이 컬러 볼륨 (MDCV) SEI (보충 강화 정보) 메시지는, H.264/AVC ("Advanced video coding for generic audiovisual Services", 시리즈 H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, 권고 ITU-T H.264, ITU 의 텔레통신 표준화 부문, 2012 년 1월) 및 HEVC 비디오 코덱들 양자 모두에 대한 ST 2086 의 분산 플레이버 (flavor) 이다.
동적 메타데이터는, 예를 들어 각각의 이미지 또는 이미지들의 각각의 그룹에 대해 이미지/비디오 콘텐츠에 의해 변화할 수 있는 콘텐츠 의존형이다. 일 예로서, SMPTE ST 2094:2016 표준 패밀리들, "Dynamic Metadata for Color Volume Transform" 은 제작 여건에서 사용하기 위한 동적 메타데이터이다. SMPTE ST 2094-30 는 컬러 재매핑 정보 (CRI) SEI 메시지 덕분에 HEVC 코딩된 비디오 스트림을 따라 분산될 수 있다.
다른 단일 계층 기반 분산 솔루션들은, 디스플레이 적응 동적 메타데이터가 레거시 비디오 신호와 함께 전달되는 분산 네트워크들 상에 존재한다. 이들 단일 계층 기반 분산 솔루션들은, HDR-10 비트 이미지 데이터 (예를 들어, 신호가 Rec. ITU-R BT.2100-0 "권고 ITU-R BT.2100-0, Image parameter values for high dynamic range television for use in production and international program exchange" 에서 특정된 바와 같은 HLG10 또는 PQ10 로서 표현되는 이미지 데이터) 및 입력 신호 (통상적으로 12 또는 16 비트) 로부터 연관된 메타데이터를 생성하고, 예를 들어 HEVC 메인 10 프로파일 인코딩 스킴을 사용하여 상기 HDR 10 비트 이미지 데이터를 인코딩하며, 상기 연관된 메타데이터 및 디코딩된 비디오 신호로부터 비디오 신호를 재구성할 수도 있다. 재구성된 신호의 동적 범위는 타겟 디스플레이의 특징들에 의존할 수도 있는 연관된 메타데이터에 따라 적응된다.
2016 년 8 월에 공개된 ETSI TS 103 433 V1.1.1 는, 다이렉트 역방향 호환성을 해결하는 단일 계층 분산 솔루션을 제안하며, 즉 이것은 SDR 분산 네트워크 및 이미 가동중인 서비스들을 레버리지하며, 그리고 SDR CE 디바이스들 상의 고품질 SDR 렌더링을 포함한 HDR 인에이블형 CE 디바이스들 상의 고품질 HDR 렌더링을 가능하게 한다. 이러한 사양의 일부 엘리먼트들이 도 2 의 기재에서 하기에 열거된다.
이 표준에서 디스플레이 적응 방법이 제안되고 있다. 이 방법은 디스플레이 루미넌스 능력에 대응하는 루미넌스 레벨로 재구성된 HDR 신호를 적응하는 것을 목적으로 한다. 예를 들어, 재구성된 HDR 은 1000 cd/m2 (니트 (nit)) 일 수 있는 한편, 이미지를 렌더링하기 위해 사용된 디스플레이는 50 니트까지만 렌더링할 수 있다. 이러한 디스플레이 적응의 일 목적은 가능한 최상으로 SDR 과 HDR 사이의 매핑에서 캡처되는 창의적인 의도를 유지하는 것이다. 이것은 원래 HDR 피크 루미넌스, 타겟 SDR 피크 루미넌스 (100 니트로 고정) 및 프레젠테이션 디스플레이 최대 루미넌스 사이의 비율들에 기초하여 톤 매핑 동작들에서 사용된 재계산된 메타데이터 값들을 사용하는 것이다. 디스플레이 적응은 100 니트로 런 다운할 수 있으며, 이로써 SDR 디스플레이들과 호환가능한 SDR 신호를 제공한다. 하지만, 이러한 종래 기술의 디스플레이 적응 방법은 낮은 피크 루미넌스를 갖는 디스플레이들 상에서 사용될 때 불만족스러운 결과들을 보였다: 첫째로, 일부 컬러 시프팅이 낮은 피크 루미넌스를 갖는 디스플레이들 상에서 나타나고, 둘째로, 100 니트의 피크 루미넌스를 갖는 디스플레이들에 대해, 포스트-프로세서 출력에서 생성된 SDR 이미지들이 허용가능하지 않은 포스트-프로세서 입력에서의 SDR 이미지들과 상이한데, 이는 포스트-프로세서가 통과 지점 (pass-through) 으로서 작용하여야 하기 때문이다.
이에 따라, 종래 기술의 문제들의 적어도 일부를 해결하는, 이미지가 렌더링될 디스플레이, 특히 낮은 피크 루미넌스를 갖는 디스플레이들 상에서 이미지가 적응되도록 HDR 비디오의 재구성을 위한 솔루션에 대한 필요가 있음을 이해할 수 있다. 본 개시물은 그러한 솔루션을 제공한다.
다음은 본 원리들의 일부 양태들의 기본적인 이해를 제공하기 위해서 본 원리들의 간략화된 개요를 제시한다. 이 개요는 본 원리들의 폭넓은 개관이 아니다. 이것은 본 원리들의 핵심적인 또는 중요한 엘리먼트들을 식별하려는 것으로 의도되지 않는다. 다음의 개요는 단지 하기에 제공되는 더 상세한 설명에 대한 서두로서 간략화된 형태로 본 원리들의 일부 양태들을 제시한다.
종래 기술의 결점들 중 적어도 하나를 개선하기 위해 착수된 본 원리들은, 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터로부터 원래 이미지 데이터를 나타내는 이미지 데이터를 재구성하기 위한 방법 및 디바이스로 취해지며, 상기 파라미터들은 상기 원래 이미지 데이터로부터 프로세싱되었고, 루마 컴포넌트의 포화도 저하 (desaturating), 포화도 저하된 루마 컴포넌트의 역 매핑 및 크로마 컴포넌트들의 보정을 포함하며, 이들 동작은 재구성된 이미지가 디스플레이되도록 의도되는 프레젠테이션 디스플레이의 피크 루미넌스, 통상의 표준 동적 범위 이미지의 피크 루미넌스, 및 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터의 피크 루미넌스를 나타내는 단일 변조 팩터 (mod) 의 값에 따라 변조된다.
이 기재가 피크 루미넌스 특징을 사용하지만, 그 원리들은 피크 루미넌스에 제한되는 것이 아니라 예를 들어, 평균 또는 메디안 루미넌스와 같은 디스플레이를 특징화하는 임의의 다른 값에 적용된다.
제 1 양태에서, 개시물은 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터 (I2) 로부터 원래 이미지 데이터 (I1) 를 나타내는 이미지 데이터 (I3) 를 재구성하기 위한 방법에 관련되며, 상기 파라미터들은 원래 이미지 데이터 (I1) 로부터 프로세싱되었고, 재구성된 이미지는 프레젠테이션 디스플레이의 특징에 적응되며, 상기 방법은, 포화도 저하된 루마 컴포넌트 및 재구성된 루마 컴포넌트에 따라 2 개의 재구성된 크로마 컴포넌트들을 획득하기 위해 2 개의 크로마 컴포넌트들을 보정하는 단계를 포함하고, 크로마 보정은, 프레젠테이션 디스플레이의 루미넌스 정보 데이터 (D_PL); 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터 (SDR_PL); 및 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터 (C_PL) 를 나타내는 단일 변조 팩터 (mod) 의 값에 응답하는 것을 특징으로 한다.
제 1 양태의 변형에 있어서, 변조 팩터의 값은 다음의 식에 따라 컴퓨팅되고,
Figure 112017131161252-pat00001
식 중, D_PL 은 프레젠테이션 디스플레이의 루미넌스 정보 데이터이고, SDR_PL 은 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터이고, C_PL 은 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터이며, invPQ 역 전달 함수이다.
제 1 양태의 제 2 변형에서, 방법은, 포화도 저하를 조정하기 위한 파라미터들에 따라 루마 컴포넌트를 포화도 저하하는 단계; 재구성된 루마 컴포넌트를 획득하기 위해 상기 포화도 저하된 루마 컴포넌트를 역 매핑하는 단계; 및 압축 보정을 수행하는 단계를 더 포함하고, 포화도 저하, 역 매핑, 압축 보정 및 크로마 보정은 단일 변조 팩터의 값에 응답하는 것을 특징으로 한다. 변형에 있어서, 변조 팩터의 값은 다음의 식에 따라 컴퓨팅되고;
Figure 112017131161252-pat00002
식 중, D_PL 은 프레젠테이션 디스플레이의 루미넌스 정보 데이터이고; SDR_PL 은 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터이며; 그리고 C_PL 은 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터이다.
제 1 양태의 변형 실시형태에 있어서,
- SDR_PL 의 값은 100 니트이고,
- 포화도 저하 (120) 동작은, 포화도 저하된 루마 컴포넌트 (y'1) 를 다음과 같이 획득 (31) 하는 단계를 더 포함하고,
Figure 112017131161252-pat00003
식 중, a 및 b 는 포화도 저하를 조정하기 위한 2 개의 제어 파라미터들이고, y' 는 루마 컴포넌트이며, u', v' 는 크로마 컴포넌트들이다.
- 역 매핑 (121) 은 다음의 식에 따라 변조 팩터에 의해 변조된 감마 함수를 사용하여 구성된 룩업 테이블을 사용하는 것이고;
Figure 112017131161252-pat00004
- 컬러 보정 (122) 동작은 주어진 루마 컴포넌트에 대해 크로마 컴포넌트들을 적용하기 위해 보정을 정의하는 룩업 테이블 (lutCC) 을 사용하고, 룩업 테이블 (lutCC) 은 포화도 이득 함수 (sgf()) 에 기초하여 도출되고, 포화도 이득 함수의 영향은 다음과 같이 변조 팩터에 의해 변조되며,
lutCC(Y) = f(Y).(1/Y), 식 중 f(Y) = 1 / (R . (sgf(1/Y).mod + (1 - mod) / R) 이고, R 은 2 와 동일한 상수 값이다.
- 포맷 적응은 다음의 식에 따라 변조 팩터에 의해 변조된 감마 함수를 포함하고;
Figure 112017131161252-pat00005
- 조합된 압축 보정은, 파라미터들의 세트 (SP) 로부터 획득된 파라미터들 (k0, k1, k2) 에 기초하여 파라미터 (T) 를 컴퓨팅하는 단계로서, 파라미터 (T) 는 다음과 같은 단일 변조 팩터 (mod) 의 값에 응답하는, 상기 파라미터 (T) 를 컴퓨팅하는 단계: T = k0 x U' x V' + k1 x U' x U' + k2 x V' x V', 파라미터 (T) 가 1 보다 작을 때, 조합된 압축 보정을 다음과 같이 컴퓨팅하는 단계: S =
Figure 112017131161252-pat00006
(1-T), U = U', 및 V = V', 및 파라미터 (T) 가 1 이상일 때, 조합된 압축 보정을 다음과 같이 컴퓨팅하는 단계를 포함한다: S = 0, U =U'/
Figure 112017131161252-pat00007
T, V = V'/
Figure 112017131161252-pat00008
T.
제 2 양태에서, 개시물은, 비트스트림으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터 (I2) 로부터 원래 이미지 데이터 (I1) 를 나타내는 이미지 데이터 (I3) 를 재구성하기 위한 디바이스에 관련되며, 상기 파라미터들은 상기 원래 이미지 데이터 (I1) 로부터 프로세싱되었고, 재구성된 이미지는 프레젠테이션 디스플레이의 특징에 적응되며, 디바이스는 포화도 저하된 루마 컴포넌트 및 재구성된 루마 컴포넌트에 따라 2 개의 재구성된 크로마 컴포넌트들을 획득하기 위해 2 개의 크로마 컴포넌트들을 보정하도록 구성된 프로세서를 포함하고, 크로마 보정은, 프레젠테이션 디스플레이의 루미넌스 정보 데이터; 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터; 및 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터를 나타내는 단일 변조 팩터 (mod) 의 값에 응답하는 것을 특징으로 한다.
제 2 양태의 변형에서, 변조 팩터의 값은 다음의 식에 따라 컴퓨팅되고,
Figure 112017131161252-pat00009
식 중, D_PL 은 프레젠테이션 디스플레이의 루미넌스 정보 데이터이고, SDR_PL 은 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터이고, C_PL 은 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터이며, invPQ 역 전달 함수이다.
제 2 양태의 제 2 변형에서, 프로세서는 또한, 포화도 저하를 조정하기 위한 파라미터들에 따라 루마 컴포넌트를 포화도 저하하고, 재구성된 루마 컴포넌트를 획득하기 위해 상기 포화도 저하된 루마 컴포넌트를 역 매핑하며, 그리고 압축 보정을 수행하도록 구성되고, 포화도 저하, 역 매핑, 압축 보정 및 크로마 보정은 단일 변조 팩터 (mod) 의 값에 응답하는 것을 특징으로 한다.
제 2 양태의 변형 실시형태에 있어서, 변조 팩터의 값은 다음의 식에 따라 컴퓨팅되고;
Figure 112017131161252-pat00010
식 중, D_PL 은 프레젠테이션 디스플레이의 루미넌스 정보 데이터이고; SDR_PL 은 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터이며; 그리고 C_PL 은 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터이다.
제 3 양태에서, 개시물은 컴퓨터 프로그램 제품에 관련되며, 컴퓨터 프로그램 제품은, 프로그램이 컴퓨터 상에서 실행될 때, 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함한다.
제 4 양태에서, 개시물은 비일시적 프로세서 판독가능 매체에 관련되며, 그 매체의 프로그램 코드 명령들은 프로그램이 컴퓨터 상에서 실행될 때 제 1 항 내지 8 항 중 어느 한 항에 기재된 방법의 단계들을 실행한다.
도면들에서, 본 원리들의 예들이 도시된다. 그것은 다음을 나타낸다:
- 도 1 은 본 원리들의 일 예에 따른 개선된 디스플레이 적응 피처를 갖는 디스플레이들로의 콘텐츠 전달을 지원하는 엔드-투-엔드 워크플로우의 하이 레벨 표현을 나타낸다.
- 도 2 는 종래 기술의 솔루션에 따른 HDR 및 SDR CE 디스플레이들로의 콘텐츠 프로덕션 및 전달을 지원하는 엔드-투-엔드 워크플로우를 나타낸다.
- 도 3 은 본 원리들의 일 실시형태에 따른 개선된 디스플레이 적응 기능을 포함하는 도 2 의 엔드-투-엔드 워크플로우의 예시적인 실시형태를 나타낸다.
- 도 4 는 본 원리들의 또 다른 실시형태에 따른 개선된 디스플레이 적응 기능을 포함하는 도 2 의 엔드-투-엔드 워크플로우의 예시적인 실시형태를 나타낸다.
- 도 5a 는 지각 전달 함수의 예시를 나타낸다.
- 도 5b 는 매핑을 위해 사용된 구간 (piece-wise) 곡선의 일 예를 나타낸다.
- 도 5c 는 신호를 선형 광 도메인으로 역 변환하기 위해 사용된 곡선의 일 예를 나타낸다.
- 도 6 은 본 원리들의 일 예에 따른 디바이스의 아키텍처의 일 예를 나타낸다.
유사하거나 동일한 엘리먼트들은 동일한 참조 번호들로 언급된다.
이하, 본 원리들이 나타나 있는 첨부 도면들을 참조하여 본 원리들이 충분히 기재될 것이다. 하지만, 본 원리들은, 많은 대안의 형태들로 구현될 수도 있고 본 명세서에 기술된 예들에 제한되는 것으로 해석되지 않아야 한다. 따라서, 본 원리들이 다양한 수정들 및 대안의 형태들에 영향을 받기 쉽지만, 그 특정 예들은 도면들에서 예시들로서 나타내며 본 명세서에서 상세하게 기재될 것이다. 하지만, 본 원리들을 개시된 특정 형태들에 제한하려는 의도는 없지만, 대조적으로 개시물은 청구항들에 의해 정의된 바와 같이 본 원리들의 사상 및 범위 내에 포함되는 모든 수정들, 등가물들, 및 대안들을 커버하는 것임을 이해해야 한다.
본 명세서에서 사용된 전문용어는 특정 예들만을 기술하기 위한 목적이고 본 원리들을 제한하는 것으로 의도되지 않는다. 본 명세서에서 사용된 바와 같이, 단수 형태들 "a", "an" 및 "the" 는 문맥이 달리 명백히 나타내지 않으면, 또한 복수 형태들을 포함하는 것으로 의도된다. 용어들 "포함하다 (comprise)", "포함하는 (comprising)", "포함하다 (include)" 및/또는 "포함하는 (including)" 은 이 명세서에서 사용될 때 언급된 피처들, 정수들, 단계들, 동작들, 엘리먼트들, 및/또는 컴포넌트들을 특정하지만, 하나 이상의 다른 피처들, 정수들, 단계들, 동작들, 엘리먼트들, 컴포넌트들, 및/또는 그 그룹들의 존재 또는 부가를 제외시키지 않음을 또한 이해할 것이다. 또한, 엘리먼트가 또 다른 엘리먼트에 대해 "응답적인" 또는 "접속된" 으로 지칭될 때, 다른 엘리먼트들에 직접 응답적이거나 접속될 수 있으며, 또는 중개 엘리먼트들이 존재할 수도 있다. 대조적으로, 엘리먼트가 다른 엘리먼트에 "직접 응답적인" 또는 "직접 접속된" 으로 지칭될 때, 중개 엘리먼트들이 존재하지 않는다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는" 은 연관된 열거된 아이템들 중 하나 이상의 임의의 것 그리고 모든 조합들을 포함하고 "/" 로서 축약될 수도 있다.
용어들, 제 1, 제 2, 등등은 본 명세서에서 다양한 엘리먼트들을 기재하기 위해 사용될 수도 있지만, 이 엘리먼트들이 이 용어들에 의해 제한되지 않아야 함을 이해할 것이다. 이 용어들은 단지 또 하나의 엘리먼트를 다른 것과 구별하기 위해서만 사용된다. 예를 들어, 제 1 엘리먼트는 제 2 엘리먼트로 칭할 수 있으며, 유사하게 제 2 엘리먼트는 본 원리들의 교시들을 벗어나지 않으면서 제 1 엘리먼트를 지칭할 수 있다.
다이어그램들의 일부는 통신의 주요 방향을 나타내기 위해 통신 경로들 상에 화살표들을 포함하지만, 통신은 도시된 화살표와 반대 방향으로 발생할 수도 있음을 이해한다.
일부 예들은 블록 다이어그램들 및 동작 플로우차트들에 관하여 기재되며, 여기서 각각의 블록은 회로 엘리먼트, 모듈, 또는 특정된 논리 함수(들)을 구현하기 위한 하나 이상의 실행가능 명령들을 포함하는 코드의 부분을 나타낸다. 또한, 다른 구현들에서, 블록들에서 언급된 기능(들) 은 언급된 순서와 달리 발생할 수도 있음을 유의해야 한다. 예를 들어, 연속적으로 나타낸 2 개의 블록들은, 사실상 수반된 기능성에 의존하여, 때때로 반대 순서로 실행될 수도 있고 또는 실질적으로 동시에 실행될 수도 있다.
본 명세서에서, "일 예에 따라" 또는 "일 예에서" 에 대한 언급은, 그 예와 관련하여 기재되는 특정 피처, 구조, 또는 특징이 본 원리들의 적어도 하나의 구현에 포함될 수 있음을 의미한다. 명세서의 다양한 곳에 있는 구절 "일 예에 따라" 또는 "일 예에서" 의 표현이 반드시 모두 동일한 예를 지칭하는 것도 아니고, 또한 반드시 다른 예들에 상호 배타적인 별도의 또는 대안의 예들을 지칭하는 것도 아니다.
청구항들에서 나타나는 참조 번호들은 단지 예시를 위해서이며 청구항들의 범위를 제한하는데 영향을 미치지 않는다.
명시적으로 기재되지는 않았지만, 본 예들 및 변형들은 임의의 조합 또는 하위 조합에서 채용될 수도 있다.
다음에서, 대문자 부호들, 예를 들어 (C1, C2, C3) 은 제 1 이미지의 컴포넌트들을 지정하고, 소문자 부호들, 예를 들어 (c1, c2, c3) 는 루미넌스의 동적 범위가 제 1 이미지의 루미넌스의 동적 범위보다 더 작은 또 다른 이미지의 컴포넌트들을 지정한다.
이미지의 루미넌스의 동적 범위는 상기 이미지의 루미넌스 값들의 최대 대 최소 사이의 비율이다. 통상적으로, SDR 이미지의 루미넌스의 동적 범위는 HDR 이미지에 대해 500 (100cd/m2 대 0.2cd/m2) 및 10000 (1000 cd/m2 대 0.1 cd/m2).
다음에서, 프라임 심볼들, 예를 들어,
Figure 112017131161252-pat00011
는, 이들 프라임 심볼들이 대문자 부호들일 때 제 1 이미지의 감마-압축된 컴포넌트들을 지정하고, 프라임 부호들, 예를 들어 (y',u',v') 는 이들 프라임 심볼들이 소문자 부호들일 때 제 2 이미지의 감마-압축된 컴포넌트들을 지정한다.
본 원리들은 이미지를 코딩/디코딩/재구성하기 위해 기재되지만, 이미지들 (비디오들) 의 시퀀스의 코딩/디코딩/재구성으로 확장하는데, 이는 시퀀스의 각각의 이미지가 하기에 기재되는 바와 같이 순차적으로 인코딩되고/디코딩되고/재구성되기 때문이다.
도 1 은 본 원리들의 일 예에 따른 개선된 디스플레이 적응 피처를 갖는 디스플레이들로의 콘텐츠 전달을 지원하는 엔드-투-엔드 워크플로우의 하이 레벨 표현을 나타낸다. 디바이스 (A) 는 이미지 또는 비디오 스트림을 인코딩하기 위한 방법을 구현하도록 구성되고, 디바이스 (B) 는 하기에 기재된 바와 같은 이미지 또는 비디오 스트림을 디코딩하기 위한 방법을 구현하도록 구성되며, 디바이스 (C) 는 디코딩된 이미지 또는 비디오 스트림을 디스플레이하도록 구성된다. 2 개의 원격 디바이스들 (A 및 B) 은 디바이스 (A) 로부터의 인코딩된 이미지 또는 비디오 스트림을 디바이스 (B) 에 제공하기 위해 적어도 구성되는 분산 네트워크 (NET) 를 통해 통신하고 있다.
인코딩 방법을 구현하도록 구성되는 디바이스 (A) 는, 모바일 디바이스, 통신 디바이스, 게임 디바이스, 태블릿 (또는 태블릿 컴퓨터), 컴퓨터 디바이스, 예컨대 랩탑, 스틸 이미지 카메라, 비디오 카메라, 인코딩 칩, 스틸 이미지 서버 및 비디오 서버 (예를 들어, 브로드캐스트 서버, 비디오 온 디맨드 서버 또는 웹서버) 를 포함하는 세트에 속한다.
본 명세서에 기재된 바와 같이 디코딩 방법을 구현하도록 구성되는 디바이스 (B) 는, 모바일 디바이스, 통신 디바이스, 게임 디바이스, 컴퓨터 디바이스 및 셋톱 박스를 포함하는 세트에 속한다.
본 명세서에 기재된 바와 같이 디스플레이 방법을 구현하도록 구성되는 디바이스 (C) 는, TV 세트 (또는 텔레비전), 태블릿 (또는 태블릿 컴퓨터), 컴퓨터 디바이스, 예컨대 랩탑, 디스플레이, 헤드 장착형 디스플레이 및 디코딩 칩을 포함하는 세트에 속한다.
일 예에 따라, 네트워크는 디바이스 (A) 로부터의 스틸 이미지 또는 비디오 이미지를 디바이스 (B) 를 포함하는 복수의 디코딩 디바이스들로 브로드캐스트 하도록 적응된, 브로드캐스트 네트워크이다. DVB 및 ATSC 기반 네트워크들은 그러한 브로드캐스트 네트워크들의 예들이다. 또 다른 예에 따라, 네트워크는 디바이스 (A) 로부터의 스틸 이미지들 또는 비디오 이미지들을 디바이스 (B) 를 포함하는 복수의 디코딩 디바이스들에 전달하도록 적응된, 브로드밴드 네트워크이다. 인터넷 기반 네트워크들, GSM 네트워크들, 또는 TV 오버 IP 네트워크들은 그러한 브로드밴드 네트워크들의 예들이다.
바람직한 실시형태에서, 디바이스 (B) 는 디스플레이될 스틸 이미지들 또는 비디오 이미지들의 피크 루미넌스 특징들 및 디바이스 (C) 의 피크 루미넌스 능력들을 획득한다. 디바이스 (B) 는 이 피크 루미넌스 정보를, 이하 변조 팩터 및 축약된 mod 로 명명된, 단일 값으로 결합한다. 이 단일 값은 종래 기술의 디스플레이 적응의 컬러 부정합 및 컬러 시프트를 보정하기 위해서 스틸 이미지 또는 비디오 이미지의 재구성 동안 사용된 복수의 파라미터들을 변조하는데 사용된다. 따라서, 엔드-투-엔드 워크플로우는 디스플레이 능력들 및 콘텐츠 특징들에 따라 스틸 이미지들 또는 비디오 이미지들이 최적으로 디스플레이되는 것을 보장한다.
바람직한 실시형태에서, 엔드-투-엔드 워크플로우는 디바이스 (A) 에 대한 브로드캐스트 서버, 디바이스 (B) 에 대한 셋톱 박스, 디바이스 (C) 에 대한 텔레비전, 및 DVD 지상파 방송 네트워크를 사용한다. 대안의 실시형태에서, 디바이스 (B 및 C) 는 단일 디바이스, 예를 들어 기능성들을 디코딩하는 텔레비전 통합 셋톱 박스에서 결합된다.
대안의 실시형태에서, 분산 네트워크 (NET) 는 인코딩된 이미지 또는 비디오 이미지가 저장되는 물리적 패키지 매체들에 의해 대체된다. 물리적 패키지 매체들은 블루-레이 디스크 및 UHD 블루-레이와 같은 광학 패키지 매체들 뿐만 아니라 메모리 기반 패키지 매체들을 포함한다.
도 2 는 ETSI 권고 TS 103 433 V1.1.1. 에서 정의된 종래 기술의 솔루션에 따른 HDR 및 SDR CE 디스플레이들로의 콘텐츠 프로덕션 및 전달을 지원하는 엔드-투-엔드 워크플로우를 나타낸다.
이러한 워크플로우는 연관된 메타데이터를 갖는 단일 계층 기반 분산 솔루션을 수반하고 디코딩된 이미지 데이터 (I2) 및 파라미터들의 세트 (SP) 로부터 원래 이미지 데이터 (I1) 를 나타내는 이미지 (I3) 를 재구성하기 위한 방법의 사용의 일 예를 도시한다.
기본적으로, 이 단일 계층 기반 분산 솔루션은 인코딩 및 디코딩 부분을 포함한다.
프리 프로세싱 부분에서, 프리 프로세싱 스테이지 (20) 는 파라미터들의 세트 (SP) 및 출력 이미지 (
Figure 112017131161252-pat00012
) 에서 원래 이미지 (I1) 를 분해하고, 스위칭 단계 (24) 는 원래 이미지 (I1) 또는 출력 이미지 (I12) 가 비트스트림 (B) 에서 인코딩되는지 (단계 23) 를 결정한다.
단계 23 에서, 이미지 (I2) 는 임의의 레거시 비디오 코덱으로 인코딩될 수도 있고 비트스트림 (B) 은 비트스트림 (B) 에 임베딩되거나 특정 채널 상에서 전달되는 연관된 메타 데이터 (파라미터들의 세트 (SP)) 를 동반하는 기존 레거시 분산 네트워크 전체에 걸쳐 반송된다.
변형에 있어서, 메타데이터를 동반하는 비트스트림 (B) 은 예를 들어, 셋-톱-박스의 디스크 또는 블루 레이 디스크와 같은 저장 매체 상에 저장된다.
변형에 있어서, 동반하는 연관된 메타데이터는 또 다른 특정 채널에 의해 실행되고 별도의 저장 매체 상에 저장된다.
바람직하게, 비디오 코덱은 HEVC 코덱, 예컨대 H.265/HEVC 코덱 (ITU-T H.265, ITU 의 텔레통신 표준화 부문 (10/2014), 시리즈 H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, 권고 ITU-T H.265) 또는 H.264/AVC ("Advanced video coding for generic audiovisual Services", 시리즈 H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, 권고 ITU-T H.264, ITU 의 텔레통신 표준화 부문, 2012 년 1월) 이다.
정보 데이터 (ID) 가 단계 23 에서 원래 이미지 (I1)(가능하게 컴포넌트들 (C1, U', V') 또는 Y'CbCr 4:2:0 PQ10 또는 HLG10 비디오 신호로 나타냄) 가 인코딩되는 것을 결정하는 경우, 상기 원래 이미지 (I1) 는 HEVC 메인 10 프로파일로 인코딩될 수도 있다.
정보 데이터 (ID) 가 단계 23 에서 출력 이미지 (I12) 가 인코딩되는 것을 결정하는 경우, Y'CbCr 4:2:0 감마 전달 특징 (표준 동적 범위) 신호로서 표현될 수 있는 출력 이미지 (I12) 는 메인 10 또는 메인 프로파일들을 포함하는 임의의 HEVC 프로파일로 인코딩될 수도 있다.
정보 데이터 (ID) 는 연관된 메타데이터로서 또한 전달될 수도 있다 (단계 23). 포스트 프로세싱 부분에서, 디코딩된 이미지 (
Figure 112017131161252-pat00013
) 는 비트스트림 (B) 로부터 획득되고 (단계 11), 파라미터들의 세트 (SP) 는 도 1 에서 설명된 바와 같이 획득되며 (단계 10), 그리고 프리 프로세싱 스테이지 (20) 의 기능적 반전인, 포스트 프로세싱 스테이지 (12) 는 디코딩된 이미지 (
Figure 112017131161252-pat00014
) 및 파라미터들의 세트 (SP) 로부터 이미지 (I3) 를 재구성한다.
이러한 단일 계층 기반 분산 솔루션은 또한 옵션의 포맷 적응 단계들 (21, 22, 25, 26) 을 포함할 수도 있다.
예를 들어, 단계 21 (옵션) 에서, 원래 이미지 (I1) 의 포맷은 프리 프로세싱 스테이지 (20) 의 입력의 특정 포맷 (C1,U',V') 에 적응될 수도 있고, 단계 22 (옵션) 에서, 출력 이미지 (I12) 의 포맷 (c, u', v') 은 또한 인코딩 전에 특정 출력 포맷에 적응될 수도 있다. 단계 25 에서, 디코딩된 이미지 (
Figure 112017131161252-pat00015
) 의 포맷은 포스트 프로세싱 스테이지 (12) 의 입력의 특정 포맷에 적응될 수도 있고, 단계 26 에서, 이미지 (I3) 는 타겟 장치 (예를 들어, 셋-톱-박스, 접속된 TV, HDR/SDR 인에이블형 CE 디바이스, 블루-레이 디스크 플레이어) 의 적어도 하나의 특징에 적응될 수도 있고, 및/또는 역 가뮤트 매핑은 디코딩된 이미지 (
Figure 112017131161252-pat00016
) 및 이미지 (I3) 또는 원래 이미지 (I1) 가 상이한 컬러 스페이스 및/또는 가뮤트에서 표현될 때 사용될 수도 있다.
상기 포맷 적응 단계들 (21, 22, 25, 26) 은 컬러 스페이스 변환 및/또는 컬러 가뮤트 매핑을 포함할 수도 있다. RGB-투-YUV 또는 YUV-투-RGB 변환, BT.709-투-BT.2020 또는 BT.2020-투-BT.709, 다운 샘플링 또는 업 샘플링 크로마 컴포넌트들 등과 같은 통상의 포맷 적응 프로세스들이 사용될 수도 있다. 잘 알려진 YUV 컬러 스페이스는 또한 종래 기술에서 잘 알려진 YCbCr 를 지칭함을 유의한다. ETSI 권고 TS 103 433 V1.1.1, 릴리즈 2016-8 는 포맷 적응 프로세스들 및 역 가뮤트 매핑 (부록 D) 의 일 예를 제공한다.
상기 입력 포맷 적응 단계 21 은 또한, 원래 이미지 (I1) 의 비트 심도를, 예를 들어 원래 이미지 (I1) 상에 전달 함수를 적용하는 것에 의해, 10 비트와 같은 특정 비트 심도로 적응하는 것을 포함할 수도 있다. 예를 들어, PQ 또는 HLG 전달 함수가 사용될 수도 있다 (Rec. ITU-R BT.2100-0).
더 상세하게, 프리 프로세싱 스테이지 (20) 는 단계들 (200-202) 를 포함한다.
단계 200 에서, 출력 이미지 (I12) 의 제 1 컴포넌트 (c1) 는 원래 이미지 (I1) 의 제 1 컴포넌트 (C1) 을 매핑하는 것에 의해 획득된다:
Figure 112017131161252-pat00017
식 중, TM 은 매핑 함수이다. 매핑 함수 (TM) 은 원래 이미지 (I1) 의 루미넌스의 동적 범위를 감소시키거나 증가시킬 수도 있고, 그 역은 이미지의 루미넌스의 동적 범위를 증가시키거나 감소시킬 수도 있다.
단계 201 에서, 출력 이미지 (I12) 의 제 2 및 제 3 컴포넌트 (u', v') 는 제 1 컴포넌트 (c1) 에 따라 원래 이미지 (I1) 의 제 2 및 제 3 컴포넌트들 (U', V') 를 보정하는 것에 의해 도출된다.
크로마 컴포넌트들의 보정은 매핑의 파라미터들을 튜닝하는 것에 의해 제어하에서 유지될 수도 있다. 따라서 컬러 포화도 및 휴 (hue) 가 제어 하에 있다.
단계 201 의 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (U' 및 V') 은, 값이 제 1 컴포넌트 (c1) 에 의존하는, 스케일링 함수
Figure 112017131161252-pat00018
에 의해 도출된다.
수학적으로 말하면, 제 2 및 제 3 컴포넌트들 (u', v') 은 다음으로 주어진다:
Figure 112017131161252-pat00019
옵션으로, 단계 202 에서, 제 1 컴포넌트 (c1) 는 다음과 같이, 인지된 포화도를 추가로 제어하도록 조정될 수도 있다:
Figure 112017131161252-pat00020
식 중, a 및 b 는 파라미터들의 세트 (SP) 중 2 개의 파라미터들이다.
이 단계 202 는 원래 이미지 (I1) 의 컬러들과 출력 이미지 (I12) 의 컬러들 사이에서 인지된 컬러 매칭을 보장하기 위해 출력 이미지 (I12) 의 루미넌스를 제어하도록 허용한다.
파라미터들의 세트 (SP) 는 매핑 함수 (TM) 또는 그 역 (ITM), 스케일링 함수
Figure 112017131161252-pat00021
에 대한 파라미터들을 포함할 수도 있다. 이 파라미터들은 동적 메타데이터와 연관되고, 비트스트림, 예를 들어, 비트스트림 (B) 에서 반송된다. 파라미터들 (a 및 b) 는 또한 비트스트림에서 반송될 수도 있다.
더 상세하게, 단계 10 에서의 포스트 프로세싱 부분에서, 파라미터들의 세트 (SP) 가 획득된다.
단계 10 의 일 실시형태에 따라, 파라미터들의 세트 (SP) 는 비트스트림 (B) 를 포함하는, 비트스트림으로부터 또는 특정 채널로부터 획득된 정적/동적 메타데이터에 의해 반송되고, 가능하게는 저장 매체에 저장한다.
단계 11 에서, 디코딩된 이미지 (I2) 는 비트스트림 (B) 를 디코딩하는 것에 의해 획득되고, 디코딩된 이미지 (I2) 는 그 후 SDR 또는 HDR 인에이블형 CE 디스플레이 중 어느 하나에 이용가능하다.
더 상세하게, 포스트 프로세싱 스테이지 (12) 는 단계들 (120-122) 을 포함한다.
옵션의 단계 120 에서, 디코딩된 이미지 (I2) 의 제 1 컴포넌트 (c) 는 다음과 같이 조정될 수도 있다:
Figure 112017131161252-pat00022
식 중 a 및 b 는 파라미터들의 세트 (SP) 중 2 개의 파라미터들이다.
단계 121 에서, 이미지 (I3) 의 제 1 컴포넌트 (C1) 는 제 1 컴포넌트 (c1) 를 역 매핑하는 것에 의해 획득된다:
Figure 112017131161252-pat00023
단계 122 에서, 이미지 (I3) 의 제 2 및 제 3 컴포넌트 (U', V') 는 컴포넌트 (c1) 에 따라 디코딩된 이미지 (I2) 의 제 2 및 제 3 컴포넌트 (u', v') 를 역 보정하는 것에 의해 도출된다.
단계 122 의 일 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (u' 및 v') 은 스케일링 함수
Figure 112017131161252-pat00024
에 의해 승산되며, 이 스케일링 함수의 값은 제 1 컴포넌트 (c1) 에 의존한다.
수학적으로 말하면, 2 개의 제 1 및 제 2 컴포넌트들 (U', V') 은 다음으로 주어진다:
Figure 112017131161252-pat00025
도 2 의 엔드-투-엔드 워크플로우는 추가로, 권고 ETSI TS 103 433 V1.1.1 의 부록 E 에서 정의된 디스플레이 적응 함수를 제공한다. 이것은 원래 HDR 피크 루미넌스, 100 cd/m2 로 고정된 타겟 SDR 피크 루미넌스, 및 프레젠테이션 디스플레이 최대 루미넌스 사이의 비율들에 기초하여 재계산된 메타데이터 값들을 사용한다. 이 디스플레이 동작은 단계 121 에서만 동작한다. 이 디스플레이 적응은, 배경 섹션에서 언급된 바와 같이, 불만족스러운 결과들을 보였다.
프리 프로세싱 부분에서 도 3 에 도시된 바와 같이, 개선된 디스플레이 적응 기능을 더 포함하는, 도 2 의 방법의 제 1 예시적인 실시형태에 따라, 원래 이미지 (I1) 의 제 1 컴포넌트 (C1) 는 다음에 의해 원래 이미지 (I1) 의 RGB 컴포넌트로부터 획득된 선형 광 루미넌스 컴포넌트 (L) 이고,
Figure 112017131161252-pat00026
제 2 및 제 3 컴포넌트 (U', V') 는 원래 이미지 (I1) 의 RGB 컴포넌트들에 (BT.709 OETF 에 근접한) 제곱근을 사용한 의사 감마화 (peudo-gammatization) 를 적용하는 것에 의해 도출된다:
Figure 112017131161252-pat00027
단계 200 에서, 출력 이미지 (I12) 의 제 1 컴포넌트 (y1) 는 상기 선형 광 루미넌스 컴포넌트 (L) 를 매핑하는 것에 의해 획득된다:
Figure 112017131161252-pat00028
단계 201 에서, 출력 이미지 (I12) 의 제 2 및 제 3 컴포넌트 (u', v') 는 제 1 컴포넌트 (y1) 에 따라 제 1 및 제 2 컴포넌트들 (U', V') 을 보정하는 것에 의해 도출된다.
단계 13 에서의 포스트 프로세싱 부분에서, 프레젠테이션 디스플레이 피크 루미넌스 (D_PL) 파라미터는 출력 이미지가 디스플레이되는 디스플레이 디바이스로부터 획득된다. 콘텐츠 또는 마스터링 피크 루미넌스 (C_PL) 파라미터들은 파라미터들의 세트 (SP) 로부터 또는 디코딩된 이미지로부터 획득된다. 이 파라미터들은, 재구성 프로세스에서 사용된 변조 팩터 (mod) 를 획득하기 위해 통상적으로 100 니트에 대응하는, SDR 프레젠테이션 디스플레이 피크 루미넌스 (SDR_PL) 와 조합된다.
Figure 112017131161252-pat00029
단계 120 에서, 개선된 디스플레이 적응을 제공하기 위해서, 디코딩된 이미지 (I2) 의 제 1 컴포넌트는 변조 팩터 (mod) 에 따라 조정될 수도 있다. 선형 변조는 다음과 같이 사용될 수 있다:
Figure 112017131161252-pat00030
예를 들어, 감마화 변조와 같은 변조들의 다른 타입이 사용될 수 있다.
단계 121 에서, 이미지 (I3) 의 선형 광 루미넌스 컴포넌트 (L) 는 제 1 컴포넌트 (c1) 를 역 매핑하는 것에 의해 획득된다:
Figure 112017131161252-pat00031
단계 122 에서, 이미지 (I3) 의 제 2 및 제 3 컴포넌트 (U', V') 는 제 1 컴포넌트 (y1) 에 따라 출력 이미지 (I2) 의 제 2 및 제 3 컴포넌트들 (u', v') 을 역 보정하는 것에 의해 도출된다.
단계 122 의 일 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (u' 및 v') 는 스케일링 함수
Figure 112017131161252-pat00032
에 의해 승산되고, 스케일링 함수의 값은 제 1 컴포넌트 (y1) 에 의존한다.
수학적으로 말하면, 2 개의 제 2 및 제 3 컴포넌트들은 (U', V') 은 다음으로 주어진다:
Figure 112017131161252-pat00033
단계 12 에서, 스케일링 함수
Figure 112017131161252-pat00034
(이른바 lutCC) 는 획득된 컬러 보정 파라미터들로부터 재구성 (도출) 된다 (더 많은 상세들에 대해서는 권고 TSI TS 103 433 V1.1.1 조항 7.2.3.2 참조).
TS 103 433 v1.1.1 의 조항 6.2.6 에 명시된 바와 같이, lutCC 도출은 파라미터들의 세트 (SP) 에 포함되고 HDR 분해 프로세스에서 인코딩된 컬러 보정에 대응하는 포화도 이득 함수 sgf (1/L) 을 사용한다. 도출은 다음과 같이 수행된다:
lutCC(Y) = f(Y).(1/Y) 식 중 f(Y) = 1 / (R . sgf(1/Y))
식 중, R 은 2 와 동일한 상수이다.
개선된 디스플레이 적응을 제공하기 위해서, lutCC 도출은 업데이터된 f 함수를 사용하는 것에 의해 변조 팩터 (mod) 에 따라 조정될 수도 있다:
f(Y) = 1 / (R . (sgf(1/Y).mod + (1 - mod) / R)
그러므로, 결과의 변조된 값은, D_PL=SDR_PL 일 때 (디스플레이가 SDR 임) 1 과 동일하고, D_PL = C_PL 일 때 (콘텐츠에 적응된 디스플레이) 변경되지 않으며, SDR_PL < D_PL < C_PL 일 때 1 과 변경되지 않은 값 사이이며, 따라서 적응을 필요로 한다.
단계 12 에서, 역 매핑 함수 (ITM)(이른바, lutMapY) 는 획득된 매핑 파라미터들로부터 재구성 (도출) 된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.1 참조).
lutMapY 도출은 "감마 함수 적용" 을 포함한다. 개선된 디스플레이 적응을 제공하기 위해서, 이 감마 함수는 다음과 같이 변조 팩터에 의해 변조된다:
Figure 112017131161252-pat00035
이것은 결과의 감마 변조된 값이 다음과 동일한 것을 보장한다:
- 프레젠테이션 디스플레이 피크 루미넌스 (D_PL) = 100 니트 (SDR_PL) 일 때, 2,4
- 프레젠테이션 디스플레이 피크 루미넌스 (D_PL) = 콘텐츠 또는 마스터링 피크 루미넌스 (C_PL) 일 때, 2,0
- SDR_PL < D_PL < C_PL 일 때, 2,4 와 2,0 사이에서 변조된다.
단계 122 에서, 조합된 압축 보정이 수행된다. 파라미터 (T) 는 먼저 다음과 같이 컴퓨팅된다:
Figure 112017131161252-pat00036
그 후, S, U 및 V 파라미터들은 T 값에 의존하여 다음과 같이 컴퓨팅된다.
If (T < 1) S =
Figure 112017131161252-pat00037
(1-T), U = U', V = V'
else S = 0, U =U'/
Figure 112017131161252-pat00038
T, V = V'/
Figure 112017131161252-pat00039
T
제 1 경우는 통상 경우에 대응한다. 제 2 는 원리적으로 가능하지 않지만, 양자화 및 압축 때문에 발생할 수도 있다.
개선된 디스플레이 적응을 제공하기 위해서, k0, k1 및 k2 파라미터들은 변조 팩터에 의해 변조되어 T 값이 다음과 같이 된다.
Figure 112017131161252-pat00040
마지막으로, 단계 26 은 감마 보정을 포함한다. 개선된 디스플레이 적응을 제공하기 위해서, 감마 함수는 다음과 같이 수정된다:
Figure 112017131161252-pat00041
이 변조의 결과는, 결과의 감마가, SDR 디스플레이들에 대해 2.4 이고, 프레젠테이션 디스플레이 피크 루미넌스가 콘텐츠 피크 루미넌스와 동일할 때 2.0 이며, 그리고 다르게는 2.0 과 2.4 사이로 적응된다.
개선된 디스플레이 적응 기능을 더 포함하는, 프리 프로세싱 부분에서 도 4 에 도시된 바와 같이, 도 2 의 방법의 제 2 예시적인 실시형태에 따라, 원래 이미지 (I1) 의 제 1 컴포넌트 (C1) 는 다음에 의해 원래 이미지 (I1) 의 감마-압축된 RGB 컴포넌트들로부터 획득된 컴포넌트 (Y'),
Figure 112017131161252-pat00042
그리고 원래 이미지 (I1) 의 RGB 컴포넌트들에 감마화를 적용하는 것에 의한 제 2 및 제 3 컴포넌트 (U', V') 이며,
Figure 112017131161252-pat00043
식 중, γ 는 감마 팩터, 바람직하게 2.4 와 동일할 수도 있다.
비선형 신호인 컴포넌트 (Y') 는 선형 광 루미넌스 컴포넌트 (L) 와 상이함을 유의한다.
단계 200 에서, 출력 이미지 (I12) 의 제 1 컴포넌트 (y'1) 는 상기 컴포넌트 (Y') 에 의해 획득된다.
Figure 112017131161252-pat00044
단계 121 에서, 재구성된 컴포넌트 (
Figure 112017131161252-pat00045
) 는 제 1 컴포넌트 (y'1) 를 역 매핑하는 것에 의해 획득되며,
Figure 112017131161252-pat00046
식 중 ITM 은 매핑 함수 (TM) 의 역이다.
따라서, 재구성된 컴포넌트 (
Figure 112017131161252-pat00047
) 의 값들은 컴포넌트 (Y') 의 값들의 동적 범위에 속한다.
단계 201 에서, 출력 이미지 (I12) 의 제 2 및 제 3 컴포넌트 (u', v') 는 제 1 컴포넌트 (y'1) 및 재구성된 컴포넌트 (
Figure 112017131161252-pat00048
) 에 따라 제 1 및 제 2 컴포넌트들 (U', V') 을 보정하는 것에 의해 도출된다.
이 단계 201 는 출력 이미지 (I12) 의 컬러들을 제어하도록 허용하고 원래 이미지 (I1) 의 컬러에 대한 그 매칭을 보장한다.
크로마 컴포넌트들의 보정은 매핑 (역 매핑) 의 파라미터들을 튜닝하는 것에 의한 제어 하에서 유지될 수도 있다. 따라서, 컬러 포화도 및 휴는 제어 하에 있다. 그러한 제어는, 보통 비-파라미터성 지각 전달 함수가 사용될 때, 가능하지 않다.
단계 (201) 의 일 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (u' 및 v') 은 스케일링 함수
Figure 112017131161252-pat00049
에 의해 도출되고, 이 스케일링 함수의 값은 컴포넌트 (y'1) 를 통한 재구성된 컴포넌트 (
Figure 112017131161252-pat00050
) 의 비율에 의존한다:
Figure 112017131161252-pat00051
식 중, Ω 는 (예를 들어, BT.2020 에 대해 1.3 과 동일한) 원래 이미지 (I1) 의 컬러 프라이머리들에 의존하는 상수이다.
단계 13 에서의 디코딩 측에서, 프레젠테이션 디스플레이 피크 루미넌스 (D_PL) 파라미터는, 출력 이미지가 디스플레이되는 디스플레이 디바이스로부터 획득된다. 콘텐츠 또는 마스터링 피크 루미넌스 (C_PL) 파라미터들은 파라미터들의 세트 (SP) 로부터 또는 디코딩된 이미지로부터 획득된다. 이들 파라미터들은 다음과 같이 정의된 재구성 프로세스에서 사용되는 변조 팩터 (mod) 를 획득하기 위해 통상적으로 100 니트에 대응하는, SDR 프레젠테이션 디스플레이 피크 루미넌스 (SDR_PL) 와 조합된다.
Figure 112017131161252-pat00052
단계 120 에서, 개선된 디스플레이 적응을 제공하기 위해서, 디코딩된 이미지 (I2) 의 제 1 컴포넌트는 다음과 변조 팩터 (mod) 에 따라 조정될 수도 있다. 선형 변조는 다음과 같이 사용될 수 있다.
Figure 112017131161252-pat00053
예를 들어, 감마화 변조와 같은 변조들의 다른 타입이 사용될 수 있다.
단계 121 에서의 포스트 프로세싱 부분에서, 이미지 (I3) 의 컴포넌트 (Y') 는 제 1 컴포넌트 (y'1) 를 역 매핑하는 것에 의해 획득된다.
Figure 112017131161252-pat00054
단계 122 에서, 이미지 (I3) 의 제 2 및 제 3 컴포넌트 (U', V') 는 제 1 컴포넌트 (y'1) 및 컴포넌트 (Y') 에 따라 디코딩된 이미지 (I2) 의 제 2 및 제 3 컴포넌트 (u',v') 을 역 보정하는 것에 의해 도출된다.
단계 (122) 의 일 실시형태에 따라, 제 2 및 제 3 컴포넌트들 (u' 및 v') 은 스케일링 함수
Figure 112017131161252-pat00055
에 의해 승산된다.
수학적으로 말하면, 2 개의 제 1 및 제 2 컴포넌트들 (U', V') 은 다음으로 주어진다:
Figure 112017131161252-pat00056
도 2, 도 3 및 도 4 의 매핑 함수 (TM) 은 지각 전달 함수에 기초하며, 그 목적은 원래 이미지 (I1) 의 컴포넌트를 출력 이미지 (I12) 의 컴포넌트로 변환함으로써, 그 루미넌스의 값들의 동적 범위를 감소 (또는 증가) 시키는 것이다. 따라서, 출력 이미지 (I12) 의 컴포넌트의 값들은 원래 이미지 (I1) 의 컴포넌트의 값들 보다 더 낮은 (또는 더 큰) 동적 범위에 속한다.
상기 지각 전달 함수는 제어 파라미터들의 제한된 세트를 사용한다.
도 5a 는 루미넌스 컴포넌트들을 매핑하기 위해 사용될 수도 있는 지각 전달 함수의 예시를 나타내지만, 루마 컴포넌트들을 매핑하기 위한 유사한 지각 전달 함수가 사용될 수도 있다.
매핑은 (도 5a 에서 5000cd/m2 와 동등한) 마스터링 디스플레이 피크 루미넌스에 의해 제어된다. 블랙 및 화이트 레벨들을 더 잘 제어하기 위해서, 콘텐츠 의존형 블랙과 화이트 레벨들 사이에 신호 스트레칭이 적용된다. 그 후, 변환된 신호는 도 5b 에 도시된 바와 같이, 3 개의 부분들 외부로부터 구축된 구간 곡선을 사용하여 매핑된다. 상부 및 하부 섹션들은 선형이고, 준도 (steepness) 는 shadowGain 및 highlightGain 파라미터들에 의해 각각 결정된다. 중간 섹션은 2 개의 선형 섹션들 사이에서 평활한 브리지를 제공하는 포물선이다. 크로스 오버의 폭은 midToneWidthAdjFactor 파라미터에 의해 결정된다.
매핑을 제어하는 모든 파라미터들은 예를 들어, SMPTE ST 2094-20 메타데이터를 반송하기 위해 JCTVC-W0133 에서 정의된 바와 같은 SEI 메시지를 사용하는 것에 의해 메타데이터로서 전달될 수도 있다.
도 5c 는 지각적 최적화된 비디오 신호가 타겟 레거시 디스플레이 최대 루미넌스, 예를 들어 100 cd/m2에 기초하여 선형 광 도메인으로 어떻게 역 변환되는지를 예시하기 위해 지각 전달 함수 (TM)(도 5a) 의 역의 예를 나타낸다.
단계 10 (도 1) 에서, 파라미터들의 세트 (SP) 는 디코딩된 이미지 (
Figure 112017131161252-pat00057
) 로부터 이미지 (I3) 를 재구성하기 위해 획득된다.
이 파라미터들은 비트스트림, 예를 들어 비트스트림 (B) 으로부터 획득된 메타데이터로부터 획득될 수도 있다.
권고 ETSI TS 103 433 V1.1.1 조항 6, 2016-08 은 상기 메타데이터의 신택스의 일 예를 제공한다.
SDR 비디오로부터 HDR 비디오를 재구성하기 위해 권고 ETSI TS 103 433 v1.1.1 의 신택스가 기재되지만, 이 신택스는 임의의 디코딩된 이미지 (
Figure 112017131161252-pat00058
) 로부터 임의의 이미지 (I3) 의 재구성으로 확장할 수도 있다.
포스트 프로세싱 (단계 12) 은 동적 메타데이터로부터 도출되는 스케일링 함수
Figure 112017131161252-pat00059
및 역 매핑 함수 (IMT) 에 대해 연산하는데, 이는 이들이 제 1 컴포넌트 (c1) 에 의존하기 때문이다.
권고 ETSI TS 103 433 V1.1.1 에 따라, 상기 동적 메타데이터는 이른바, 파라미터 기반 모드 또는 테이블 기반 모드 중 어느 하나에 따라 전달될 수도 있다.
파라미터 기반 모드는, 주요 목적이 직접 SDR 역방향 호환성 서비스들에 동적 메타데이터를 반송하기 위해 매우 낮은 부가 페이로드 또는 대역폭 사용을 제공하기 위한 것인, 분산 워크플로우들에 대한 관심일 수도 있다. 테이블 기반 모드는 HDR 및 SDR 스트림들의 양자 모두를 적절히 표현하기 위해 높은 레벨의 적응이 요구될 때 또는 로우-엔드 단말기들이 구비된 워크플로우들에 대한 관심일 수도 있다.
파라미터 기반 모드에 있어서, 전달될 동적 메타데이터는 역 함수 (ITM) 을 나타내는 루미넌스 매핑 파라미터들, 즉
tmInputSignalBlackLevelOffset;
tmInputSignalWhiteLevelOffset;
shadowGain;
highlightGain;
midToneWidthAdjFactor;
tmOutputFineTuning 파라미터들이다.
게다가, 전달될 다른 동적 메타테이트는 함수
Figure 112017131161252-pat00060
를 정의하는데 사용된 컬러 보정 파라미터들 (saturationGainNumVal, saturationGainX(i) 및 saturationGainY(i)) 이다 (ETSI 권고 ETSI TS 103 433 V1.1.1 조항들 6.3.5 및 6.3.6).
파라미터들 (a 및 b) 는 위에 설명된 바와 같이 saturationGain 함수 파라미터들에서 각각 반송/은닉될 수도 있다.
이들 동적 메타데이터는, 신택스가 SMPTE ST 2094-20 사양 (권고 ETSI TS 103 433 V1.1.1 부록 A.3) 에 기초하는, HEVC 컬러 볼륨 재구성 정보 (CVRI) 사용자 데이터 등록된 SEI 메시지를 사용하여 전달될 수도 있다.
통상적인 동적 메타데이터 페이로드는 장면 당 약 25 바이트이다.
단계 101 에서, CVRI SEI 메시지는 매핑 파라미터들 및 컬러 보정 파라미터들을 획득하기 파싱된 SEI 메시지이다.
단계 12 에서, 역 매핑 함수 (ITM)(이른바 lutMapY) 는 획득된 매핑 파라미터들로부터 재구성 (도출) 된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.1 참조).
단계 12 에서, 스케일링 함수
Figure 112017131161252-pat00061
(이른바 lutCC) 는 또한, 획득된 컬러 보정 파라미터들로부터 재구성 (도출) 된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.2 참조).
lutCC 도출은 파라미터들의 세트 (SP) 에 포함되고 HDR 분해 프로세스에서 인코딩된 컬러 보정에 대응하는 함수 sgf(1/L) 를 사용하는 것이다. 도출은 다음과 같이 수행된다:
lutCC(Y) = f(Y).(1/Y) 식 중 f(Y) = 1 / (R . sgf(1/Y))
개선된 디스플레이 적응을 제공하기 위해서, lutCC 도출은 업데이트된 f 함수에 의해 변조 팩터 (mod) 에 따라 조정될 수도 있다:
f(Y) = 1 / (R . (sgf(1/Y).mod + (1 - mod) / R)
그러므로, 결과의 변조된 값은, D_PL=SDR_PL 일 때 (디스플레이가 SDR 임) 1 과 동일하고, D_PL = C_PL 일 때 (콘텐츠에 적응된 디스플레이) 변경되지 않으며, 그렇지 않으면 1 과 변경되지 않은 값 사이이다.
테이블 기반 모드에서, 전달될 동적 데이터는 역 매핑 함수 (ITM) 를 나타내는 구간 선형 곡선의 피봇 점들이다. 예를 들어, 동적 데이터는, 피봇 점들의 수를 표시하는 luminanceMappingNumVal , 피봇 점들의 x 값들을 표시하는 luminanceMappingX, 및 피봇 점들의 y 값들을 표시하는 luminanceMappingY 이다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항들 6.2.7 및 6.3.7 참조).
또한, 전달될 다른 동적 메타데이터는 스케일링 함수
Figure 112017131161252-pat00062
를 나타내는 구간 선형 곡선의 피봇 점들일 수도 있다. 예를 들어, 동적 메타데이터는 피봇 점들의 수를 표시하는 colorCorrectionNumVal, 피봇 점들의 x 값들을 표시하는 colorCorrectionX, 및 피봇 점들의 y 값들을 표시하는 colorCorrectionY 이다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항들 6.2.8 및 6.3.8 참조).
이들 동적 메타데이터는, 신택스가 SMPTE ST 2094-30 사양 (권고 ETSI TS 103 433 V1.1.1 부록 A.4) 에 기초하는, HEVC 컬러 재매핑 정보 (CRI) SEI 메시지를 사용하여 전달될 수도 있다.
통상적인 페이로드는 장면 당 약 160 바이트이다.
단계 102 에서, CRI (컬러 재매핑 정보) SEI 메시지 (2016 년 12 월에 공개된 HEVC/H.265 버전에서 특정된 바와 같음) 는 역 매핑 함수 (ITM) 를 나타내는 구간 선형 곡선의 피봇 점들 및 스케일링 함수
Figure 112017131161252-pat00063
를 나타내는 구간 선형 곡선의 피봇 점들, 그리고 크로마 대 루마 인젝션 파라미터들 (a 및 b) 를 획득하기 위해 파싱된다.
단계 12 에서, 역 매핑 함수 (ITM) 는, 역 매핑 함수 (ITM) 을 나타내는 구간 선형 곡선에 대한 피봇 점들의 것들로부터 도출된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.3 참조).
단계 12 에서, 스케일링 함수
Figure 112017131161252-pat00064
는 또한, 스케일링 함수
Figure 112017131161252-pat00065
를 나타내는 구간 선형 곡선에 대한 상기 피봇 점들의 것들로부터 도출된다 (더 많은 상세들에 대해서는 권고 ETSI TS 103 433 V1.1.1 조항 7.2.3.4 참조).
포스트 프로세싱 스테이지에 의해 사용된 정적 메타데이터는 또한 SEI 메시지에 의해 전달될 수도 있음을 유의한다. 예를 들어, 파라미터 기반 모드 또는 테이블 기반 모드 중 어느 하나의 선택은, 권고 ETSI TS 103 433 V1.1.1 (조항 A.2.2) 에 의해 정의된 바와 같이 정보 (TSI) 사용자 데이터 등록된 SEI 메시지 (payloadMode) 에 의해 반송될 수도 있다. 예를 들어, 컬러 프라이머리들 또는 최대 디스플레이 마스터링 디스플레이 루미넌스와 같은 정적 메타데이터는, AVC, HEVC 에서 정의된 바와 같이 마스터링 디스플레이 컬러 볼륨 (MDCV) SEI 메시지에 의해 전달된다.
단계 103 의 일 실시형태에 따라, 정보 데이터 (ID) 는 비트스트림에서 신택스 엘리먼트에 의해 명시적으로 시그널링되고, 이로써 비트스트림을 파싱하는 것에 의해 획득된다.
예를 들어, 상기 신택스 엘리먼트는 SEI 메시지의 부분이다.
일 실시형태에 따라, 상기 정보 데이터 (ID) 는, 파라미터들의 세트 (SP) 를 프로세싱하기 위해 원래 이미지 (I1) 에 어떤 프로세싱이 적용되는지를 식별한다.
이 실시형태에 따라, 정보데이터 (ID) 는 그 후 이미지 (I3) 를 재구성하기 위해 파라미터들을 어떻게 사용할지를 추론하는데 사용될 수도 있다 (단계 12).
예를 들어, 1 과 동일할 때, 정보 데이터 (ID) 는, 프리 프로세싱 스테이지 (단계 20) 를 원래 HDR 이미지 (I1) 에 적용하는 것에 의해 파라미터들의 세트 (SP) 가 획득되었다는 것 그리고 디코딩된 이미지 (I2) 가 SDR 이미지인 것을 표시한다.
2 와 동일할 때, 정보 데이터 (ID) 는, 프리 프로세싱 스테이지 (단계 20) 를 HDR10비트 이미지 (단계 20 의 입력) 에 적용하는 것에 의해 파라미터들이 획득되었다는 것, 디코딩된 이미지 (
Figure 112017131161252-pat00066
) 가 HDR10 이미지이고, 매핑 함수 (TM) 가 PQ 전달 함수인 것을 표시한다.
3 과 동일할 때, 정보 데이터 (ID) 는, 프리 프로세싱 스테이지 (단계 20) 를 HDR10 이미지 (단계 20 의 입력) 에 적용하는 것에 파라미터들이 획득되었다는 것, 디코딩된 이미지 (
Figure 112017131161252-pat00067
) 가 HLG10 이미지이고, 매핑 함수 (TM) 가 원래 이미지 (I1) 에 대한 HLG 전달 함수인 것을 표시한다.
정보 데이터 (ID) 가 2 와 동일한 다른 실시형태에 따라, 변조 팩터의 값은 다음과 같으며,
Figure 112017131161252-pat00068
식 중, invPQ(C) 는 ST-2084 의 식들 5.1 및 5.2 에 의해 특정된 바와 같이 PQ EOTF 의 역이다. 이 실시형태에서, 압축 보정은 수정된 파라미터들 k0 = k1 = k2 = 0 을 사용하고, 포화도 저하는 수정된 파라미터들 a = b = 0 을 사용하여 수정된다.
정보 데이터 (ID) 가 3 과 동일한 또 다른 실시형태에 따라, 변조 팩터의 값은 다음과 같으며,
Figure 112017131161252-pat00069
식 중, invHLG(C) 는, §E.3.1, 표 E-4, p. 378 - Rec. ITU-T H.265 v4 (03/2017 또는 동등하게 ARIB STD-B67) 에 정의된 HLG EOTF 의 역이다. 이 실시형태에서, 압축 보정은 수정된 파라미터들 k0 = k1 = k2 = 0 을 사용하고, 포화도 저하는 수정된 파라미터들 a = b = 0 을 사용하여 수정된다.
단계 103 의 일 실시형태에 따라, 정보 데이터 (ID) 는 암시적으로 시그널링된다.
예를 들어, AVC (부록 E) 또는 HEVC (부록 E) 의 VUI 에 제시된 신택스 엘리먼트 transfer-characteristics 는 보통, 사용될 전달 함수 (매핑 함수 (TM)) 을 식별한다. 상이한 단일 계층 분산 솔루션들은 상이한 전달 함수 (PQ, HLG,...) 를 사용하기 때문에, 신택스 엘리먼트 transfer-characteristics 는 사용될 복구 모드를 암시적으로 식별하기 위해 사용될 수도 있다.
정보 데이터 (ID) 는 또한 상위 전송 또는 시스템 계층에서 정의된 서비스에 의해 암시적으로 시그널링될 수도 있다.
또 다른 예에 따라, 이미지 (I3) 의 컬러 스페이스 및 피크 루미넌스 값은, 비트스트림에 의해 반송된 MDCV SEI 메시지를 파싱하는 것에 의해 획득될 수도 있고, 정보 데이터 (ID) 는 피크 루미넌스 값들 및 컬러 스페이스들 (컬러 프라이머리들) 의 특정 조합들로부터 추론될 수도 있다.
도 1 내지 도 4 에서, 모듈들은 기능 유닛들이며, 이들은 별개의 물리 유닛들과 관련될 수도 또는 관련되지 않을 수도 있다. 예를 들어, 이들 모듈들 또는 그 일부는 고유 컴포넌트 또는 회로에서 통합될 수도 있고 또는 소프트웨어의 기능성들에 기여할 수도 있다. 반대로, 일부 모듈들은 별도의 물리 엔티티들로 잠재적으로 구성될 수도 있다. 본 원리들과 호환가능한 장치는, 순수 하드웨어, 예를 들어 전용 하드웨어, 예컨대 ASIC 또는 FPGA 또는 VLSI, 각각 주문형 집적 회로, 필드 프로그램가능 게이트 어레이, 대규모 집적을 사용하여, 또는 디바이스에 임베딩된 몇몇 통합된 전자 컴포넌트들로부터, 또는 하드웨어 및 소프트웨어 컴포넌트들의 혼합으로부터 구현된다.
도 6 은 도 1 내지 도 4 와 관련하여 기재된 방법을 구현하도록 구성될 수도 있는 디바이스 (60) 의 예시적인 아키텍처를 나타낸다.
디바이스 (60) 는 데이터 및 어드레스 버스 (61) 에 의해 함께 링크되는 다음의 엘리먼트들을 포함한다:
- 예를 들어, DSP (또는 디지털 신호 프로세서) 인, 마이크로프로세서 (62)(또는 CPU);
- ROM (또는 리드 온니 메모리)(63);
- RAM (또는 랜덤 액세스 메모리)(64);
- 어플리케이션으로부터, 송신하는 데이터의 수신을 위한 I/O 인터페이스 (65);
- 배터리 (66)
일 예에 따라, 배터리 (66) 는 디바이스 외부에 있다. 언급된 메모리의 각각에 있어서, 명세서에서 사용된 단어 《레지스터》는 작은 용량 (약간의 비트) 의 영역에 또는 매우 큰 영역 (예를 들어, 수신되거나 디코딩된 데이터의 많은 양 또는 전체 프로그램) 에 대응할 수 있다. ROM (63) 은 적어도 프로그램 및 파라미터들을 포함한다. ROM (63) 은 본 원리들에 따른 기법들을 수행하기 위한 알고리즘들 및 명령들을 저장할 수도 있다. 스위치 온될 때, CPU (62) 는 RAM (64) 에 프로그램을 업로드하고 대응 명령들을 실행한다.
RAM (64) 는, 레지스터에서, CPU (62) 에 의해 실행되고 디바이스 (60) 의 스위치 온 후에 업로드되는 프로그램, 레지스터에서의 입력 데이터, 레지스터에서의 방법의 상이한 상태들의 중간 데이터, 및 레지스터에서의 방법의 실행을 위해 사용된 다른 변수들을 포함한다.
본 명세서에 기재된 구현들은, 예를 들어 방법 또는 프로세서, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수도 있다. 구현의 단일 형태의 콘텍스트에서만 논의 (예를 들어, 방법 또는 디바이스로서만 논의) 되었더라도, 논의된 피처들의 구현은 또한 다른 형태들 (예를 들어, 프로그램) 로 구현될 수도 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수도 있다. 방법들은, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 로직 디바이스를 일반적으로 포함하는, 프로세싱 디바이스들을 지칭하는, 예를 들어 프로세서와 같은, 장치에서 구현될 수도 있다. 프로세서들은 또한, 예를 들어 컴퓨터들, 셀폰들, 휴대용/개인용 디지털 보조기들 ("PDA들"), 및 엔드 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들을 포함한다.
일 예에 따라, 예를 들어 입력 비디오 또는 입력 비디오의 원래 이미지는 소스로부터 획득되었다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:
- 로컬 메모리 (63 또는 64), 예를 들어 비디오 메모리 또는 RAM (또는 랜덤 액세스 메모리), 플래시 메모리, ROM (또는 리드 온니 메모리), 하드 디스크;
- 저장 인터페이스 (65), 예를 들어 대용량 스토리지, RAM, 플래시 메모리, RAOM, 광학 디스크 또는 자기 서포트와의 인터페이스;
- 통신 인터페이스 (65), 예를 들어 유선 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스 (예컨대, IEEE 802.11 인터페이스 또는 블루투스® 인터페이스); 및
- 이미지 캡처링 회로 (예를 들어, 센서, 이를 테면, 예를 들어 CCD (또는 전하 커플형 디바이스) 또는 CMOS (또는 상보형 금속-산화물-반도체)).
예들에 따라, 메타데이터 상에서 반송하는 비트스트림들은 목적지로 전송된다. 일 예로서, 이들 비트스트림들 중의 하나 또는 양자는 로컬 또는 원격 메모리, 예를 들어 비디오 메모리 또는 RAM (64), 하드 디스크에 저장된다. 변형에 있어서, 비트스트림들의 적어도 하나는 저장 인터페이스 (65), 예를 들어 대용량 스토리지, 플래시 메모리, ROM, 광학 디스크 또는 자기 서포트와의 인터페이스에 전송되고 및/또는 통신 인터페이스 (65), 예를 들어 포인트 대 포인트 링크, 통신 버스, 포인트 대 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스를 통해 송신된다.
다른 예들에 따라, 메타데이터 상에서 반송되는 비트스트림은 소스로부터 획득된다. 예시적으로, 비트스트림은 로컬 메모리, 예를 들어 비디오 메모리 (64), RAM (64), ROM (63), 플래시 메모리 (63), 또는 하드 디스크 (63) 로부터 판독된다. 변형에 있어서, 비트스트림은 저장 인터페이스 (65), 예를 들어 대용량 스토리지, RAM, ROM, 플래시 메모리, 광학 디스크 또는 자기 서포트와의 인터페이스로부터 수신되고, 및/또는 통신 인터페이스 (65), 예를 들어 포인트 대 포인트 링크, 버스, 포인트 대 멀티포인트 링크 또는 브로드캐스트 네트워크로부터 수신된다.
예들에 따라, 상술한 방법을 구현하도록 구성되는 디바이스 (60) 는, 다음을 포함하는 세트에 속한다:
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 태블릿 (또는 태블릿 컴퓨터)
- 랩탑;
- 스틸 이미지 카메라:
- 비디오 카메라;
- 인코딩/디코딩 칩;
- TV 세트;
- 셋톱 박스;
- 디스플레이;
- 스틸 이미지 서버; 및
- 비디오 서버 (예를 들어, 브로드캐스트 서버, 비디오 온 디멘드 서버 또는 웹 서버).
본 명세서에 기재된 다양한 프로세스들 및 피처들의 구현들은 각종 상이한 장비 또는 어플리케이션들에서 실시될 수도 있다. 그러한 장비의 예들은, 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트 프로세서, 인코더로부터의 입력을 제공하는 프리 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩탑, 개인용 컴퓨터, 셀폰, PDA, 및 이미지 또는 비디오 또는 다른 통신 디바이스들을 프로세싱하기 위한 임의의 다른 디바이스를 포함한다. 명백하게 되는 바와 같이, 장비는 모바일일 수도 있고 또한 모바일 차량에 설치될 수도 있다.
부가적으로, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있고, 그러한 명령들 (및/또는 구현에 의해 생성된 데이터 값들) 은 컴퓨터 판독가능 매체 상에 저장될 수도 있다. 컴퓨터 판독가능 저장 매체는 하나 이상의 컴퓨터 판독가능 매체(들) 에서 구현되고 컴퓨터에 의해 실행가능한 컴퓨터 판독가능 프로그램 코드가 수록된 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 사용된 바와 같이 컴퓨터 판독가능 저장 매체는 그 내부에 정보를 저장하기 위한 고유 능력 뿐만 그로부터 정보의 취출을 제공하기 위한 고유 능력이 주어진 비일시적 저장 매체로 고려된다. 컴퓨터 판독가능 저장 매체는, 예를 들어 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 상기한 것들의 임의의 적절한 조합일 수 있지만, 이에 제한되지 않는다. 다음은, 본 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 많은 특정 예들을 제공하지만, 당업자에 의해 쉽게 이해되는 바와 같이, 단지 예시적이며 배타적인 열거가 아님을 이해한다; 휴대용 컴퓨터 디스켓; 하드 디스크; 리드 온니 메모리 (ROM); 소거가능 프로그램가능 리드 온니 메모리 (EEPROM 또는 플래시 메모리); 휴대용 컴팩 디스크 리드 온니 메모리 (CD-ROM); 광학 저장 디바이스; 자기 저장 디바이스; 또는 상기한 것들의 임의의 적절한 조합.
명령들은 프로세서 판독가능 매체 상에서 유형으로 수록된 어플리케이션 프로그램을 형성할 수도 있다.
명령들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합일 수도 있다. 명령들은 예를 들어, 오퍼레이팅 시스템, 별도의 어플리케이션, 이들 2 개의 조합에서 발견될 수도 있다. 이에 따라, 프로세서는, 예를 들어, 프로세스를 실행하도록 구성된 디바이스 및 프로세스를 실행하기 위한 명령들을 갖는 프로세서 판독가능 매체 (예컨대, 저장 디바이스) 를 포함하는 디바이스 양자 모두에 의해 특징화될 수도 있다. 추가로, 프로세서 판독가능 매체는, 명령들에 부가하여 또는 명령들 대신, 구현에 의해 생성된 데이터 값들을 저장할 수도 있다.
당업자에게 자명하게 될 바와 같이, 구현들은 예를 들어, 저장되거나 송신될 수도 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수도 있다. 정보는 예를 들어, 기재된 구현들 중 하나에 의해 생성된 데이터, 또는 방법을 수행하기 위한 명령들을 포함할 수도 있다. 예를 들어, 신호는 본 원리들의 기재된 예들의 신택스를 기입하거나 판독하기 위한 규칙들을 데이터로서 반송하기 위해, 또는 본 원리들의 기재된 예에 의해 기입된 실제 신택스 값들을 데이터로서 반송하기 위해 포맷팅될 수도 있다. 그러한 신호는, 예를 들어 전자기파로서 (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여) 또는 기저대역 신호로서 포맷팅될 수도 있다. 포맷팅은, 예를 들어 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 반송하는 정보는, 예를 들어 아날로그 또는 디지털 정보일 수도 있다. 신호는, 알려진 바와 같이, 각종 상이한 유선 또는 무선 링크들을 통해 송신될 수도 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수도 있다.
다수의 구현들이 기재되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수도 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 엘리먼트들이 조합되거나, 보충되거나, 수정되거나, 또는 제거되어 다른 구현들을 생성할 수도 있다. 부가적으로, 당업자는 다른 구조들 및 프로세스들이 개시된 것들에 대해 치환될 수도 있고 결과의 구현들은 개신된 구현들과 적어도 실질적으로 동일한 결과(들) 을 달성하기 위해서, 적어도 실질적으로 동일한 방식(들) 로, 적어도 실질적으로 동일한 기능(들) 을 수행할 것임을 이해할 것이다. 따라서, 이들 및 다른 구현들은 이 어플리케이션에 의해 고려된다.

Claims (16)

  1. 비트스트림 (101) 으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터 (I2) 로부터 원래 이미지 데이터 (I1) 를 나타내는 이미지 데이터 (I3) 를 재구성하기 위한 방법으로서,
    상기 파라미터들은 상기 원래 이미지 데이터 (I1) 로부터 프로세싱되었고, 재구성된 이미지는 프레젠테이션 디스플레이의 특징에 적응되며,
    상기 방법은,
    포화도 저하된 (desaturated) 루마 컴포넌트 및 재구성된 루마 컴포넌트에 따라 2 개의 재구성된 크로마 컴포넌트들을 획득하기 위해 2 개의 크로마 컴포넌트들을 보정 (122) 하는 단계를 포함하고,
    크로마 보정 (120) 은,
    상기 프레젠테이션 디스플레이의 루미넌스 정보 데이터 (D_PL);
    통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터 (SDR_PL); 및
    상기 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 상기 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터 (C_PL)
    를 나타내는 단일 변조 팩터 (mod) 의 값에 응답하는 것을 특징으로 하는, 이미지 데이터를 재구성하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 변조 팩터의 값은 다음의 식에 따라 컴퓨팅되고,
    Figure 112017131161252-pat00070

    식 중, D_PL 은 상기 프레젠테이션 디스플레이의 루미넌스 정보 데이터이고, SDR_PL 은 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터이고, C_PL 은 상기 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 상기 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터이며, invPQ 는 역 전달 함수인, 이미지 데이터를 재구성하기 위한 방법.
  3. 제 1 항에 있어서,
    - 포화도 저하를 조정하기 위한 파라미터들에 따라 루마 컴포넌트를 포화도 저하 (120) 하는 단계;
    - 재구성된 루마 컴포넌트를 획득하기 위해 상기 포화도 저하된 루마 컴포넌트를 역 매핑 (121) 하는 단계; 및
    - 압축 보정을 수행하는 단계를 더 포함하고,
    상기 포화도 저하 (120), 상기 역 매핑, 상기 압축 보정 및 상기 크로마 보정 (120) 은 상기 단일 변조 팩터 (mod) 의 값에 응답하는 것을 특징으로 하는, 이미지 데이터를 재구성하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 변조 팩터의 값은 다음의 식에 따라 컴퓨팅되고;
    Figure 112017131161252-pat00071

    식 중, D_PL 은 상기 프레젠테이션 디스플레이의 루미넌스 정보 데이터이고; SDR_PL 은 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터이며; 그리고 C_PL 은 상기 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터인, 이미지 데이터를 재구성하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 SDR_PL 의 값은 100 니트 (nit) 인, 이미지 데이터를 재구성하기 위한 방법.
  6. 제 3 항에 있어서,
    상기 포화도 저하 (120) 의 동작은, 포화도 저하된 루마 컴포넌트 (y'1) 를 다음과 같이 획득 (31) 하는 단계를 더 포함하고,
    Figure 112020120602513-pat00088

    식 중, a 및 b 는 포화도 저하를 조정하기 위한 2 개의 제어 파라미터들이고, y' 는 루마 컴포넌트이며, u', v' 는 크로마 컴포넌트들인, 이미지 데이터를 재구성하기 위한 방법.
  7. 제 3 항에 있어서,
    상기 역 매핑 (121) 은 다음의 식에 따라 상기 변조 팩터에 의해 변조된 감마 함수를 사용하여 구성된 룩업 테이블을 사용하는, 이미지 데이터를 재구성하기 위한 방법.
    Figure 112020120602513-pat00089
  8. 제 1 항에 있어서,
    컬러 보정 (122) 동작은 주어진 루마 컴포넌트에 대해 크로마 컴포넌트들을 적용하기 위해 보정을 정의하는 룩업 테이블 (lutCC) 을 사용하고, 상기 룩업 테이블 (lutCC) 은 포화도 이득 함수 (sgf()) 에 기초하여 도출되고, 상기 포화도 이득 함수의 영향은 다음과 같이 변조 팩터에 의해 변조되며,
    lutCC(Y) = f(Y).(1/Y), 식 중 f(Y) = 1 / (R . (sgf(1/Y).mod + (1 - mod) / R) 이고, R 은 2 와 동일한 상수 값인, 이미지 데이터를 재구성하기 위한 방법.
  9. 제 1 항에 있어서,
    포맷 적응은 다음의 식에 따라 상기 변조 팩터에 의해 변조된 감마 함수인, 이미지 데이터를 재구성하기 위한 방법.
    Figure 112020120602513-pat00090
  10. 제 1 항에 있어서,
    조합된 압축 보정은,
    - 파라미터들의 세트 (SP) 로부터 획득된 파라미터들 (k0, k1, k2) 에 기초하여 파라미터 (T) 를 컴퓨팅하는 단계로서, 상기 파라미터 (T) 는 다음과 같이 단일 변조 팩터 (mod) 의 값에 응답하는, 상기 파라미터 (T) 를 컴퓨팅하는 단계;
    T = k0 x U' x V' + k1 x U' x U' + k2 x V' x V'
    - 상기 파라미터 (T) 가 1 보다 작을 때, 상기 조합된 압축 보정을 다음과 같이 컴퓨팅하는 단계;
    S =
    Figure 112020120602513-pat00091
    (1-T), U = U', 및 V = V'
    - 상기 파라미터 (T) 가 1 이상일 때, 상기 조합된 압축 보정을 다음과 같이 컴퓨팅하는 단계를 포함하는, 이미지 데이터를 재구성하기 위한 방법.
    S = 0, U =U'/
    Figure 112020120602513-pat00092
    T, V = V'/
    Figure 112020120602513-pat00093
    T
  11. 비트스트림 (101) 으로부터 획득된 파라미터들 및 디코딩된 이미지 데이터 (I2) 로부터 원래 이미지 데이터 (I1) 를 나타내는 이미지 데이터 (I3) 를 재구성하기 위한 디바이스로서,
    상기 파라미터들은 상기 원래 이미지 데이터 (I1) 로부터 프로세싱되었고, 재구성된 이미지는 프레젠테이션 디스플레이의 특징에 적응되며,
    상기 디바이스는,
    포화도 저하된 루마 컴포넌트 및 재구성된 루마 컴포넌트에 따라 2 개의 재구성된 크로마 컴포넌트들을 획득하기 위해 2 개의 크로마 컴포넌트들을 보정 (122) 하도록 구성된 프로세서를 포함하고,
    크로마 보정 (120) 은,
    상기 프레젠테이션 디스플레이의 루미넌스 정보 데이터 (D_PL);
    통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터 (SDR_PL); 및
    상기 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 상기 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터 (C_PL)
    를 나타내는 단일 변조 팩터 (mod) 의 값에 응답하는 것을 특징으로 하는, 이미지 데이터를 재구성하기 위한 디바이스.
  12. 제 11 항에 있어서,
    상기 변조 팩터의 값은 다음의 식에 따라 컴퓨팅되고,
    Figure 112017131161252-pat00078

    식 중, D_PL 은 상기 프레젠테이션 디스플레이의 루미넌스 정보 데이터이고, SDR_PL 은 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터이고, C_PL 은 상기 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 상기 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터이며, invPQ 역 전달 함수인, 이미지 데이터를 재구성하기 위한 디바이스.
  13. 제 12 항에 있어서,
    상기 프로세서는 또한,
    - 포화도 저하를 조정하기 위한 파라미터들에 따라 루마 컴포넌트를 포화도 저하 (120) 하고;
    - 재구성된 루마 컴포넌트를 획득하기 위해 상기 포화도 저하된 루마 컴포넌트의 역 매핑 (121) 을 수행하며; 그리고
    - 압축 보정을 수행하도록 구성되고,
    상기 포화도 저하 (120), 상기 역 매핑, 상기 압축 보정 및 상기 크로마 보정 (120) 은 상기 단일 변조 팩터 (mod) 의 값에 응답하는 것을 특징으로 하는, 이미지 데이터를 재구성하기 위한 디바이스.
  14. 제 13 항에 있어서,
    상기 변조 팩터의 값은 다음의 식에 따라 컴퓨팅되고;
    Figure 112017131161252-pat00079

    식 중, D_PL 은 상기 프레젠테이션 디스플레이의 루미넌스 정보 데이터이고; SDR_PL 은 통상의 표준 동적 범위 이미지의 루미넌스 정보 데이터이며; 그리고 C_PL 은 상기 원래 이미지 데이터를 그레이드하는데 사용된 마스터링 디스플레이 또는 상기 원래 이미지 데이터 (I1) 의 루미넌스 정보 데이터인, 이미지 데이터를 재구성하기 위한 디바이스.
  15. 프로그램 코드 명령들을 포함하는 기록 매체에 저장된 컴퓨터 프로그램으로서,
    상기 프로그램 코드 명령들은 상기 프로그램이 컴퓨터 상에서 실행될 때, 제 1 항 내지 제 10 항 중 어느 한 항에 기재된 방법의 단계들을 실행하는, 기록 매체에 저장된 컴퓨터 프로그램.
  16. 비일시적 프로세서 판독가능 매체로서,
    상기 비일시적 프로세서 판독가능 매체의 프로그램 코드 명령들은, 상기 프로그램 코드 명령들이 컴퓨터 상에서 실행될 때, 제 1 항 내지 10 항 중 어느 한 항에 기재된 방법의 단계들을 실행하는, 비일시적 프로세서 판독가능 매체.
KR1020170156508A 2017-11-22 2017-11-22 디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스 KR102369771B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170156508A KR102369771B1 (ko) 2017-11-22 2017-11-22 디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170156508A KR102369771B1 (ko) 2017-11-22 2017-11-22 디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스

Publications (2)

Publication Number Publication Date
KR20190059006A KR20190059006A (ko) 2019-05-30
KR102369771B1 true KR102369771B1 (ko) 2022-03-02

Family

ID=66675707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170156508A KR102369771B1 (ko) 2017-11-22 2017-11-22 디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스

Country Status (1)

Country Link
KR (1) KR102369771B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210045227A (ko) * 2019-10-16 2021-04-26 삼성전자주식회사 디스플레이 장치 및 그 동작방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130162766A1 (en) 2011-12-22 2013-06-27 2Dinto3D LLC Overlaying frames of a modified video stream produced from a source video stream onto the source video stream in a first output type format to generate a supplemental video stream used to produce an output video stream in a second output type format

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130162766A1 (en) 2011-12-22 2013-06-27 2Dinto3D LLC Overlaying frames of a modified video stream produced from a source video stream onto the source video stream in a first output type format to generate a supplemental video stream used to produce an output video stream in a second output type format

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S. Lasserre, et al. Technicolor's response to CfE for HDR and WCG(category 1) - Single layer HDR video coding with SDR backward compatibility, ISO/IEC JTC1/SC29/WG11 MPEG2014, M36263r1, 2015-06-21

Also Published As

Publication number Publication date
KR20190059006A (ko) 2019-05-30

Similar Documents

Publication Publication Date Title
KR102458747B1 (ko) 디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스
US20220167019A1 (en) Method and device for reconstructing image data from decoded image data
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
US20190164262A1 (en) Tone mapping adaptation for saturation control
KR102537393B1 (ko) Hdr 이미지를 재구성하기 위한 방법 및 디바이스
US20210266608A1 (en) Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format
CN111434114B (zh) 处理图像
KR102496345B1 (ko) Hdr 대 sdr 변환 동안의 컬러 보정을 위한 방법 및 장치
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
US11989855B2 (en) Saturation control for high-dynamic range reconstruction
CN111466117B (zh) 处理图像
KR102369771B1 (ko) 디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스
JP7074461B2 (ja) ディスプレイ適合ｈｄｒ画像を再構成する方法およびデバイス
CA2986520A1 (en) Method and device for reconstructing a display adapted hdr image
RU2776101C1 (ru) Способ и устройство для восстановления адаптированного к дисплею изображения hdr
CN112425168B (zh) 编码图像的方法和装置
EP3528201A1 (en) Method and device for controlling saturation in a hdr image
BR102017025044A2 (pt) Método e dispositivo para reconstruir uma imagem em hdr adaptada para exibição

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant