KR20200002029A - 컬러 영역 매핑을 위한 방법 및 디바이스 - Google Patents

컬러 영역 매핑을 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR20200002029A
KR20200002029A KR1020197035087A KR20197035087A KR20200002029A KR 20200002029 A KR20200002029 A KR 20200002029A KR 1020197035087 A KR1020197035087 A KR 1020197035087A KR 20197035087 A KR20197035087 A KR 20197035087A KR 20200002029 A KR20200002029 A KR 20200002029A
Authority
KR
South Korea
Prior art keywords
color
brightness
chroma
target
mapping
Prior art date
Application number
KR1020197035087A
Other languages
English (en)
Inventor
세드릭 떼보
쥐르겐 스토데
안젤로 마잔떼
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Publication of KR20200002029A publication Critical patent/KR20200002029A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6061Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut involving the consideration or construction of a gamut surface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 원리들은 제1 컬러 영역으로부터 제2 컬러 영역으로의 영역 매핑을 위한 방법 및 디바이스에 관한 것이다. 방법은 일정한 색조의 평면에서, 컬러의 크로마를 일정한 밝기로 제1 컬러 영역으로부터 상기 제2 컬러 영역을 향해 매핑하는 단계를 포함한다. 크로마 매핑은 제2 컬러 영역 경계 상에서 타겟 컬러를 획득하는 것을 더 포함하고, 타겟 컬러의 밝기는 제1 컬러 영역의 최대 크로마의 컬러의 밝기 이상이고, 타겟 컬러의 밝기는 제2 컬러 영역의 최대 크로마의 컬러의 밝기 미만이다. 컬러의 밝기가 타겟 컬러의 밝기 초과인 경우, 크로마 매핑은 밝기에 적용된 크로마의 감소 함수에 의해 제1 컬러 영역 경계 상에서 컬러의 크로마를 일정한 밝기로 매핑하는 것을 포함하고, 타겟 컬러의 밝기 및 백색의 밝기에 적용된 감소 함수의 각각의 출력들은 타겟 컬러의 크로마 및 백색의 크로마이다.

Description

컬러 영역 매핑을 위한 방법 및 디바이스
본 원리들은 일반적으로 이미지/비디오 코딩/디코딩에 관한 것이다. 특히 비배타적으로, 본 원리들의 기술적 분야는, 높은 동적 범위에 속하는 픽셀 값들을 갖는 이미지의 컬러 영역 매핑(color gamut mapping) 및 낮은 동적 범위에 속하는 픽셀 값들을 갖는 이미지의 인버스 컬러 영역 매핑에 관한 것이다.
본 섹션은, 아래에서 설명되고 그리고/또는 청구되는 본 원리들의 다양한 양태들과 관련될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된다. 이러한 논의는 본 원리들의 다양한 양태들의 더 양호한 이해를 돕기 위한 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이러한 설명들은 선행 기술의 인정이 아니라 이러한 관점에서 읽혀져야 함을 이해해야 한다.
다음으로, 이미지는 이미지(또는 비디오)의 픽셀 값들과 관련된 모든 정보, 및 예를 들어, 이미지(또는 비디오)를 시각화 및/또는 디코딩하기 위해 디스플레이 및/또는 다른 디바이스에 의해 사용될 수 있는 모든 정보를 특정하는 특정 이미지/비디오 포맷으로 샘플들(픽셀 값들)의 하나의 또는 몇몇 어레이들을 포함한다. 이미지는, 샘플들의 제1 어레이, 통상적으로 루마(또는 휘도) 성분(component)의 형상인 적어도 하나의 성분, 및 가능하게는, 샘플들의 적어도 하나의 다른 어레이, 통상적으로는 크로마 성분의 형상인 적어도 하나의 다른 성분을 포함한다. 또는, 동등하게, 동일한 정보가 또한, 전통적인 3색 RGB 표현과 같은 컬러 샘플들의 어레이들의 세트에 의해 표현될 수 있다.
픽셀 값은 C 값들의 벡터로 표현되고, 여기서 C는 성분들의 수이다. 벡터의 각각의 값은 픽셀 값들의 최대 동적 범위를 정의하는 다수의 비트들로 표현된다.
낮은 동적 범위(Low-Dynamic-Range) 이미지들(LDR 이미지들)은 휘도 값들이 제한된 수의 비트들(가장 빈번하게는 8 또는 10)로 표현되는 이미지들이다. 이러한 제한된 표현은, 특히 어두운 및 밝은 휘도 범위들에서 작은 신호 변화들의 정확한 렌더링을 허용하지 않는다. 높은 동적 범위(high-dynamic range) 이미지들(HDR 이미지들)에서, 그 전체 범위에 걸쳐 신호의 높은 정확도를 유지하기 위해 신호 표현이 확장된다. HDR 이미지들에서, 휘도 레벨들을 표현하는 픽셀 값들은 통상적으로 부동 소수점 포맷(각각의 성분에 대해 32-비트 또는 16-비트, 즉 부동 또는 절반-부동)에서 표현되며, 가장 대중적인 포맷은 openEXR 절반-부동 포맷(RGB 성분 당 16-비트, 즉 픽셀 당 48 비트) 또는 긴 표현, 통상적으로 적어도 16 비트를 갖는 정수들로 표현된다.
고 효율 비디오 코딩(HEVC) 표준(ITU-T H.265 Telecommunication standardization sector of ITU (10/2014), series H: audiovisual and multimedia systems, infrastructure of audiovisual services -coding of moving video, High efficiency video coding, Recommendation ITU-T H.265)의 도달은 울트라 HD 브로드캐스트 서비스들과 같은 향상된 뷰잉 경험을 갖는 새로운 비디오 서비스들의 배치를 가능하게 한다. 증가된 공간 분해능에 추가로, 울트라 HD는 현재 배치된 표준 동적 범위(SDR) HD-TV보다 더 넓은 컬러 영역(wider color gamut)(WCG) 및 더 높은 동적 범위(HDR)를 유도할 수 있다. HDR/WCG 비디오의 표현 및 코딩에 대한 상이한 솔루션들이 제안되었다(SMPTE 2014, "High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays, or SMPTE ST 2084, 2014, or Diaz, R., Blinstein, S. and Qu, S. "Integrating HEVC Video Compression with a High Dynamic Range Video Pipeline", SMPTE Motion Imaging Journal, Vol. 125, Issue 1. Feb, 2016, pp 14-21).
디코딩 및 렌더링 디바이스들과의 SDR 역호환성은 브로드캐스팅 또는 멀티캐스팅 시스템들과 같은 일부 비디오 분배 시스템들에서 중요한 특징이다.
이중-계층 코딩이 이러한 특징을 지원하는 하나의 솔루션이다. 그러나, 이의 다중-계층 설계로 인해, 이러한 솔루션이 모든 분배 워크플로우들에 적응되는 것은 아니다.
대안은 ETSI 추천 ETSI TS 103 433에 의해 정의된 바와 같은 단일 계층 HDR 분배 솔루션이다. 독자는 또한 추가의 세부사항들을 위해 IBC 2016 기사("A single-Layer HDR video coding framework with SDR compatibility", E. Francois and L. Van de Kerkhof, IBC 2016)를 참조할 수 있다. 이러한 단일 계층 분배 솔루션은 SDR 호환가능이고, 이미 배치된 SDR 분배 네트워크들 및 서비스들을 레버리지한다. 이는, HDR-가능 CE 디바이스들 상에서의 고품질 HDR 렌더링 및 또한 SDR CE(Consumer Electronics) 디바이스들 상에서 고품질 SDR 렌더링을 제공하는 것을 가능하게 한다.
이러한 단일 계층 분배 솔루션은 단일 계층 코딩/디코딩 프로세스에 기초하고 코덱 독립적이다(10 비트 코덱이 추천된다.).
이러한 단일 계층 분배 솔루션은 디코딩된 SDR 신호로부터 HDR 신호를 재구성하기 위한 후처리 스테이지에서 사용될 수 있는 (비디오 프레임 또는 장면 당 수 바이트의) 메타데이터를 사용한다.
디코딩된 SDR 신호 및 재구성된 HDR 신호가 동일한 컬러 공간을 갖지 않는 경우, 이러한 후처리 스테이지에서 인버스 영역 매핑(HDR 인코딩에서 전처리 스테이지의 영역 매핑의 듀얼 함수임)이 사용될 수 있다. 실제로, 컬러 영역들은 예를 들어, NTSC, ITU-R BT rec.709 ("rec. 709"), ITU-R BT rec. 2020 ("rec. 2020"), Adobe RGB, DCI-P3, 또는 컬러 재생 또는 컬러 다양성에 대한 임의의 다른 제약(들)에 대한 임의의 다른 현재 또는 미래의 표준들과 같은 표준들에 의해 정의될 수 있다. HDR/WCG의 단일 계층 분포의 경우, "컬러 영역 매핑"은 더 넓은 컬러 영역("소스 컬러들")의 컬러들을 더 좁은 컬러 영역("타겟 컬러들")의 컬러들에 매핑하거나 재분배하는 프로세스이다. 소스 컬러 영역(자기 자신의 소스 경계를 가짐) 내부의 소스 컬러들을 타겟 컬러들로 매핑하여, 이들이 타겟 컬러 영역(자기 자신의 타겟 경계를 가짐) 내부에 위치되도록 하는 방법을 정의하려 시도할 때, 타겟 컬러 영역 내의 컬러들의 전체 범위를 이용하기 위해, 상이한 조건들에 따라 컬러 영역 매핑을 정의하는 것이 공지되어 있고, 이러한 조건들 중 경계 매핑 조건, 즉, 임의의 소스 경계 컬러는 타겟 경계 컬러에 매핑되어야 한다. 그러나, 이러한 컬러 영역 매핑은 문제가 되는데, 이는 도 1a에 예시된 바와 같이 페이드된(faded) 컬러들을 초래하기 때문이다. 도 1a 및 도 1b는 종래 기술에 따른 색조 잎(hue leaf)에서 컬러 영역 매핑을 예시한다. 색조 잎은 일정한 색조(도 1a의 황색, 도 1b의 청색)에서 컬러 영역의 평면 섹션이다. 경계 컬러 영역 매핑은 일정한 밝기 값에서 크로마 값을 스케일링함으로써 수행된다. 도 1a는, 소스 커스프(cusp) 컬러(소스 황색)가 타겟 커스프 컬러보다 밝은 경우를 예시하며, 이는, 이러한 색조 잎에서, 최대 크로마(소스 황색)를 갖는 소스 컬러의 밝기가 최대 크로마를 갖는 타겟 컬러(타겟 커스프 컬러)의 밝기보다 크다(밝다)는 것을 의미한다. 본 기술분야의 통상의 기술자들은, 도 1a의 소스 황색인 소스 커스프 컬러가 소스 영역의 황색 원색에 대응하면, 타겟 커스프 컬러는 반드시 타겟 영역의 황색 원색에 대응하지 않을 수 있는데, 이는 소스 영역의 황색 원색과 타겟 영역의 황색 원색이 상이한 색조들을 가질 수 있기 때문임을 인식할 것이다. 도 1a에 도시된 바와 같이, 밝기 매핑이 없다면, 소스 황색은 황색 및 백색의 혼합인 페이드된 황색(일정한 밝기로 매핑된 황색)에 매핑된다. 게다가, (세그먼트 S0 상에서) 크로마 및 밝기의 증가하는 값들을 갖는 소스 경계 상의 일부 컬러들은 그에 따라, (세그먼트 S1 상에서) 크로마의 감소하는 값 및 밝기의 증가하는 값을 갖는 타겟 경계 상의 컬러에 매핑된다. 이는 특히 시각적으로 혼란스럽게 한다. 도 1b는, 소스 커스프 컬러, 즉, 도 1b의 소스 청색이 대응하는 타겟 커스프 컬러보다 어두운 경우를 예시하며, 이는, 이러한 색조 잎에서, 최대 크로마(소스 청색)를 갖는 소스 컬러의 밝기가 최대 크로마를 갖는 타겟 컬러(타겟 커스프 컬러)의 밝기보다 작다(어둡다)는 것을 의미한다. 도 1b에 도시된 바와 같이, 밝기 매핑이 없다면, 소스 청색(최대 크로마를 갖는 컬러에 대응함)은 동일한 밝기지만 타겟 영역에서 최대 크로마를 갖는 컬러에 대응하지 않는 청색(일정한 밝기의 매핑된 청색)에 매핑된다. 소스 커스프 컬러(소스 청색)는 도 1b에 도시된 바와 같이 타겟 영역에서 이러한 색조 잎의 가장 포화된 컬러(타겟 커스프 컬러)에 매핑되지 않는다. 따라서, 밝기 매핑이 없다면, 소스 청색은 동일한 밝기지만 불포화된 청색(일정한 밝기로 매핑된 청색)에 매핑된다. 그러나, 소스 청색에 비해 페이드된 청색을 표현하는 소스 컬러 영역의 다른 컬러(소스 컬러)는 도 1b에 도시된 바와 같은 타겟 영역의 이러한 색조 잎의 가장 포화된 컬러(타겟 커스프 컬러)에 매핑되어, 타겟 이미지의 매핑된 컬러(타겟 커스프 컬러)는 일정한 밝기로 매핑된 청색에 비해 너무 포화된 것으로 인지될 것이다. 이는 채도의 반전이다. 실제로, 소스 컬러 세그먼트(S2) 및 매핑된 컬러 세그먼트(S3)는 공지된 크로마 매핑 방법들에 의해 반전된 채도 기울기들을 갖는다. 동일한 문제가 황색 색조 잎에 대해서도 발생한다. 유사하게, 타겟 이미지에서 일정한 밝기로 매핑된 황색은 매핑된 컬러(타겟 커스프 컬러)에 비해 충분히 포화되지 않을 것으로 인지될 것이다. 도 1c에 예시된 채도 반전을 회피하기 위한 가능한 솔루션은 타겟 커스프 컬러의 밝기와 정렬된 소스 커스프 컬러의 밝기를 얻기 위해 예비적 밝기 매핑을 적용하는 것이다. 그러나, 이러한 솔루션은 소스 청색에 대한 매핑된 컬러의 밝기를 증가시킬 것이다. 이는 컬러 영역 매핑 이후 이미지들의 콘트라스트, 및 그에 따른 미적 의도를 변경하고, 이러한 예에서, 청색들은 더 밝아지는 한편 황색들은 더 어두워진다.
따라서, HDR 신호의 렌더링을 향상시키기 위해 이미지의 콘트라스트를 더 양호하게 보존하면서 채도 반전을 회피하거나 적어도 감소시키는 반전가능한 컬러 영역 매핑 방법이 바람직하다.
하기 내용은 본 원리들의 일부 양태들의 기본적인 이해를 제공하기 위해 본 원리들의 단순화된 요약을 제시한다. 이러한 요약은 본 원리들의 광범위한 개요가 아니다. 이는 본 원리들의 핵심적이거나 중요한 요소들을 식별하는 것으로 의도되지 않는다. 하기 요약은 단지 아래에 제공된 보다 상세한 설명의 서두로서 단순화된 형태로 본 원리들의 일부 양태들을 제시한다.
본 원리들은 일정한 밝기에서 크로마 매핑에 의해 행해진 채도 반전을 감소시키는 반전가능한 크로마 매핑을 제안한다. 이는 소스 컬러 영역의 기울기들을 중시하는 새로운 크로마 매핑을 수행함으로써 달성된다. 타겟 영역의 더 밝거나 더 어두운 부분의 수정에 대응하는 2개의 실시예들이 개시된다.
제1 양태에 따르면, 제1 컬러 영역(소스 영역)으로부터 제2 컬러 영역(타겟 영역)을 향해 컬러를 영역 매핑하기 위한 방법이 개시된다. 방법은, 일정한 색조의 평면에서, 제2 컬러 영역 경계 상에서 타겟 컬러를 획득하는 단계 - 타겟 컬러의 밝기는 제1 컬러 영역(소스 커스프 컬러)의 최대 크로마의 컬러의 밝기 이상이고, 타겟 컬러의 밝기는 제2 컬러 영역(타겟 커스프 컬러)의 최대 크로마의 컬러의 밝기 미만임 -; 및 컬러의 밝기가 타겟 컬러의 밝기 초과인 경우, 밝기에 적용된 크로마의 감소 함수에 의해 제1 컬러 영역 경계 상에서 컬러의 크로마를 일정한 밝기로 매핑하는 단계를 포함하고, 타겟 컬러의 밝기 및 백색의 밝기에 적용된 감소 함수의 각각의 출력들은 타겟 컬러의 크로마 및 백색의 크로마이다. 이러한 제1 특정 실시예는 타겟 커스프 컬러의 밝기가 소스 커스프 컬러의 밝기 초과인 경우에 적용가능하다.
특정 특성에 따르면, 방법은, 컬러에 대해, 일정한 밝기인 제1 컬러 영역 경계 상의 컬러를 결정하는 단계; 및 컬러의 밝기가 타겟 컬러의 밝기 초과인 경우, 감소 함수로 매핑된 제1 컬러 영역 경계 상의 결정된 컬러에 대해 컬러의 일정한 밝기의 크로마 매핑을 수행하는 단계를 더 포함한다. 이러한 특정 특성은 제1 컬러 영역 경계 상의 컬러들 뿐만 아니라 색조 잎의 임의의 컬러를 매핑하는 것을 허용한다.
다른 특정 특성에 따르면, 방법은, 중간 타겟 컬러들을 획득하는 단계, 및 타겟 컬러, 백색 및 중간 타겟 컬러들에 대한 응답으로 밝기에 적용된 크로마의 감소 함수를 결정하는 단계를 더 포함한다. 이러한 특정 특성은 감소 함수를 추가로 정의하도록 허용한다.
다른 특정 특성에 따르면, 타겟 컬러는 제2 컬러 영역 경계 상에 있고, 타겟 컬러의 밝기는 소스 커스프 컬러의 밝기 및 타겟 커스프 컬러의 밝기 사이의 선형 보간이다. 특정 특성은 채도 반전의 범위와 제2 영역에서 매핑된 컬러들의 리파티션(repartition) 사이의 적응가능한 절충을 허용한다.
다른 특정 특성에 따르면, 타겟 컬러는 제2 컬러 영역 경계 상에 있고, 타겟 컬러의 밝기는 소스 커스프 컬러의 밝기와 동일하다. 이러한 특정 특성은 채도 반전을 회피하는 것을 허용한다.
다른 특정 특성에 따르면, 소스 커스프 컬러는 원색들 및 보조색들의 그룹으로부터 선택된다. 이러한 특정 특성은 제공할 타겟 컬러들의 수를 감소시키는 것을 허용한다. 본 기술분야의 통상의 기술자는 원색들의 색조 잎들과 보조색들의 색조 잎들 사이의 색조 잎에 대해, 타겟 컬러가 보간되는 것을 이해할 것이다.
다른 특정 특성에 따르면, 타겟 컬러를 획득하는 것은 반전가능한 영역 매핑에 사용되는 파라미터들에 대한 메타데이터를 수신하는 것을 포함한다.
제2 특정 실시예에 따르면 타겟 커스프 컬러의 밝기가 소스 커스프 컬러의 밝기 미만인 경우, 방법은, 제2 컬러 영역 경계 상에서 타겟 컬러를 획득하는 단계를 포함하고, 타겟 컬러의 밝기는 제2 컬러 영역(타겟 커스프 컬러)의 최대 크로마의 컬러의 밝기 초과이고, 타겟 컬러의 밝기는 제1 컬러 영역(소스 커스프 컬러)의 최대 크로마의 컬러의 밝기 이하이다. 컬러의 밝기가 타겟 컬러의 밝기 미만인 경우, 크로마 매핑은 밝기에 적용된 크로마의 증가 함수에 의해 제1 컬러 영역 경계 상에서 컬러의 크로마를 일정한 밝기로 매핑하는 단계를 더 포함하고, 타겟 컬러의 밝기 및 흑색의 밝기에 적용된 증가 함수의 각각의 출력들은 타겟 컬러의 크로마 및 상기 흑색의 크로마이다. 제1 실시예에 대해 설명된 특정 특성들 중 임의의 특성은 이러한 제2 실시예에 준용하여 적용가능하다.
제2 양태에 따르면, 제1 컬러 영역으로부터 제2 컬러 영역으로의 영역 매핑을 위한 디바이스가 개시된다. 디바이스는 일정한 색조의 평면에서, 제2 컬러 영역 경계 상에서 타겟 컬러를 획득하도록 구성된 프로세서를 포함하고, 타겟 컬러의 밝기는 제1 컬러 영역(소스 커스프 컬러)의 최대 크로마의 컬러의 밝기 이상이고, 타겟 컬러의 밝기는 제2 컬러 영역(타겟 커스프 컬러)의 최대 크로마의 컬러의 밝기 미만임 -; 컬러의 밝기가 타겟 컬러의 밝기 초과인 경우, 프로세서는 밝기에 적용된 크로마의 감소 함수에 의해 제1 컬러 영역 경계 상에서 컬러의 크로마를 일정한 밝기로 매핑하도록 추가로 구성되고, 타겟 컬러의 밝기 및 백색의 밝기에 적용된 감소 함수의 각각의 출력들은 타겟 컬러의 크로마 및 백색의 크로마이다.
제3 양태에 따르면, SDR 비디오 및 반전가능한 컬러 영역 매핑에 사용되는 파라미터 값들을 갖는 신호가 개시된다. 신호는 반전가능한 컬러 영역 매핑을 구현하기 위해 targetCroppingMode, crpWeightFactor를 포함하도록 추가로 포맷된다.
제4 양태에 따르면, SDR 비디오 및 반전가능한 컬러 영역 매핑에 사용되는 파라미터들에 대한 메타데이터를 저장하는 콘텐츠를 갖는 비일시적 프로세서 판독가능 매체로서, 비일시적 프로세서 판독가능 매체는 반전가능한 컬러 영역 매핑을 구현하기 위해 targetCroppingMode, crpWeightFactor를 더 포함한다.
제5 양태에 따르면, 컴퓨터 상에서 프로그램이 실행되는 경우, 개시된 방법들 중 임의의 방법의 단계들의 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품이 개시된다.
제6 양태에 다르면, 프로세서로 하여금 적어도 개시된 방법들 중 임의의 방법의 단계들을 수행하게 하기 위한 명령어들이 저장된 프로세서 판독가능 매체가 개시된다.
제7 양태에 따르면, 컴퓨터에 의해 판독가능하고, 개시된 방법들 중 임의의 방법을 수행하도록 컴퓨터에 의해 실행가능한 명령어들의 프로그램을 유형으로 구현하는 비일시적 프로그램 저장 디바이스가 개시된다.
명시적으로 설명되지는 않았지만, 본 실시예들은 임의의 조합 또는 서브-조합으로 이용될 수 있다. 게다가, 방법에 대해 설명된 임의의 특성 또는 실시예는 개시된 방법을 프로세싱하도록 의도된 디바이스 및 프로그램 명령어들을 저장하는 컴퓨터 판독가능 저장 매체와 호환가능하다.
도면들에서, 본 원리들의 예들이 예시된다.
도 1a는 종래 기술에 따른 색조 잎에서 컬러 영역 매핑을 예시한다.
도 1b는 종래 기술에 따른 다른 색조 잎에서 컬러 영역 매핑을 예시한다.
도 1c는 종래 기술에 따른 색조 잎에서 컬러 영역 매핑을 예시한다.
도 2는 콘텐츠 생성 및 HDR 및 SDR 디스플레이들로의 전달을 지원하는 단-대-단 워크플로우를 도시한다.
도 3a는 전처리 스테이지를 더 상세히 도시한다.
도 3b는 HDR-대-SDR 분해를 더 상세히 도시한다.
도 4a는 후처리 스테이지를 더 상세히 도시한다.
도 4b는 HDR 재구성 프로세스를 더 상세히 도시한다.
도 5는 본 원리들의 예들에 따라 반전가능한 컬러 영역 매핑을 위한 방법의 단계들의 블록도를 도시한다.
도 6a, 도 6b, 도 6c 및 도 6d는 본 원리들의 예들에 따른 색조 잎에서 크로마 매핑을 예시한다.
도 7은 본 원리들의 예에 따른 디바이스의 아키텍처의 예를 도시한다.
도 8은 본 원리들의 예에 따라 통신 네트워크를 통해 통신하는 2개의 원격 디바이스들을 도시한다.
유사하거나 동일한 요소들은 동일한 참조 부호들로 참조된다.
본 원리들은, 본 원리들의 예들이 도시되는 첨부된 도면들을 참조하여 아래에서 더 상세히 설명될 것이다. 그러나, 본 원리들은 많은 대안적 형태들로 구체화될 수 있으며, 여기에 설명된 예들로 제한되는 것으로 해석되어서는 안 된다. 따라서, 본 원리들은 다양한 수정들 및 대안적인 형태들이 가능하지만, 이의 특정 예들은 도면들의 예들로서 도시되며 본원에 상세히 설명될 것이다. 그러나, 본 원리들을 개시된 특정 형태들로 제한하려는 의도는 없지만, 반대로, 본 개시내용은 청구항들에 의해 정의되는 바와 같은 본 원리들의 사상 및 범위 내에 속하는 모든 수정들, 균등물들 및 대안들을 커버하는 것으로 이해되어야 한다.
본원에서 사용되는 용어는 오직 특정 예들을 설명하기 위한 목적이고, 본 원리들을 제한하는 것으로 의도되지 않는다. 본원에서 사용되는 바와 같이, 단수형 형태들("a", "an" 및 "the")은, 문맥상 명시적으로 달리 표시하지 않으면, 복수형 형태들을 또한 포함하는 것으로 의도된다. 본 명세서에서 사용되는 경우, 용어들 "포함하다", "포함하는", "구비하다" 및/또는 "구비하는"은, 언급된 특징들, 정수들, 단계들, 동작들, 요소들 및/또는 컴포넌트들의 존재를 특정하지만, 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들 중 하나 이상의 존재 또는 추가를 배제하지는 않음을 추가로 이해할 것이다. 또한, 요소가 다른 요소에 "응답하는" 또는 "연결된" 것으로 언급되는 경우, 요소는 다른 요소에 직접 응답하거나 연결될 수 있거나, 또는 개재된 요소들이 존재할 수 있다. 대조적으로, 요소가 다른 요소에 "직접 응답하는" 또는 "직접 연결된" 것으로 언급되는 경우, 어떠한 개재 요소도 존재하지 않는다. 본 명세서에서 사용되는 바와 같이, 용어 "및/또는"은, 연관된 나열된 항목들 중 하나 이상의 임의의 및 모든 조합들을 포함하고, "/"로 축약될 수 있다.
제1, 제2 등의 용어들이 본 명세서에서 다양한 요소들을 설명하기 위해 사용될 수 있지만, 이러한 요소들은 이러한 용어들에 의해 제한되어서는 안됨을 이해할 것이다. 이러한 용어들은 하나의 요소를 다른 요소로부터 구별하기 위해서만 사용된다. 예를 들어, 본 원리들의 교시들을 벗어남이 없이, 제1 요소는 제2 요소로 지칭될 수 있고, 유사하게, 제2 요소는 제1 요소로 지칭될 수 있다.
일부 도면들은 통신의 주 방향을 도시하기 위해 통신 경로들 상의 화살표들을 포함하지만, 통신은 도시된 화살표들에 대한 반대 방향으로 발생할 수 있음을 이해해야 한다.
일부 예들은 블록도들 및 동작 흐름도들과 관련하여 설명되며, 여기서 각각의 블록은 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어들을 포함하는 회로 요소, 모듈 또는 코드 부분을 표현한다. 또한, 다른 구현들에서, 블록들에 언급된 기능(들)은 언급된 순서를 벗어나 발생할 수 있음을 주목해야 한다. 예를 들어, 연속적으로 도시된 2개의 블록들은 사실상, 실질적으로 동시에 실행될 수 있거나 또는 블록들은 수반되는 기능에 따라 때때로 역순으로 실행될 수 있다.
본 명세서에서 "일례에 따르면" 또는 "일례에서"에 대한 참조는 예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 원리들의 적어도 하나의 구현에 포함될 수 있다는 것을 의미한다. 본 명세서의 다양한 곳들에서 "일례에 따르면" 또는 "일례에서"라는 문구의 출현은 모두 반드시 동일한 예를 지칭하는 것이 아니며, 별개의 또는 대안적인 예들이 반드시 다른 예들과 상호 배타적이지는 않다.
청구항들에 나타나는 참조 부호들은 단지 설명을 위한 것이며, 청구항들의 범위에 대한 어떠한 제한적인 효과도 갖지 않을 것이다.
명시적으로 설명되지는 않았지만, 본 예들 및 변형들은 임의의 조합 또는 서브-조합으로 이용될 수 있다.
본 원리들은 이미지를 디코딩하는 것으로 설명되지만, 아래에서 설명되는 바와 같이 시퀀스의 각각의 이미지가 순차적으로 인코딩/디코딩되기 때문에 이미지들(비디오)의 시퀀스의 디코딩으로 확장된다.
도 2는 콘텐츠 생성 및 HDR 및 SDR 디스플레이들로의 전달을 지원하는 단-대-단 워크플로우를 도시한다. 이는 예를 들어, ETSI 추천 ETSI TS 103 433에서 정의된 바와 같이 사이드 메타데이터에 의한 단일 계층 SDR/HDR 인코딩-디코딩을 수반한다. 독자는 또한 추가의 세부사항들을 위해 IBC 2016 기사("A single-Layer HDR video coding framework with SDR compatibility", E. Francois and L. Van de Kerkhof, IBC 2016)를 참조할 수 있다.
전처리 스테이지에서, 착신 HDR 비디오는 SDR 비디오 및 메타데이터에서 분해된다. 그 다음, SDR 비디오는 임의의 SDR 비디오 코덱으로 인코딩되고, SDR 비트스트림은 특정 채널 상에서 반송되거나 SDR 비트스트림에 임베딩된 동반 메타데이터와 함께 기존의 SDR 분배 네트워크 전반에 걸쳐 운반된다.
바람직하게는, 코딩된 비디오는 H.265/HEVC 코덱 또는 H.264/AVC와 같은 HEVC 코덱이다.
메타데이터는 통상적으로 H.265/HEVC 또는 H.264/AVC 코덱과 함께 사용되는 경우 SEI 메시지들에 의해 반송된다.
SDR 비트스트림이 디코딩되고, 그 다음, 디코딩된 SDR 비디오는 SDR 고객 전자장치(CE) 디스플레이에 대해 이용가능하다.
다음으로, 기능적으로 전처리 스테이지의 역인 후처리 스테이지에서, HDR 비디오는 특정 채널로부터 또는 SDR 비트스트림으로부터 획득되는 디코딩된 SDR 비디오 및 메타데이터로부터 재구성된다.
도 3a는 전처리 스테이지를 더 상세히 도시한다.
전처리 스테이지의 코어 컴포넌트는 HDR 비디오로부터 SDR 비디오 및 메타데이터를 생성하는 HDR-대-SDR 분해이다.
더 상세하게는, HDR-대-SDR 분해는, 아래에 개시된 실시예에 따라 특정 입력 포맷으로 표현된 HDR 비디오를 특정 출력 포맷으로 표현된 SDR 비디오로 변환하는 것을 목적으로 하지만, 본 원리들은 특정 입력/출력 포맷(컬러 공간 또는 영역)으로 제한되지 않는다.
임의로, HDR 비디오의 포맷, SDR 비디오의 포맷 각각은 상기 특정 입력 포맷, 특정 출력 포맷 각각에 적응될 수 있다.
상기 입력/출력 포맷 적응은 컬러 공간 변환 및/또는 컬러 영역 매핑을 포함할 수 있다. 통상적인 포맷 적응 프로세스들, 예를 들어, RGB-대-YUV 또는 YUV-대-RGB 변환, BT.709-대-BT.2020 또는 BT.2020-대-BT.709, 크로마 성분들의 다운-샘플링 또는 업-샘플링 등이 사용될 수 있다.
HDR-대-SDR 분해는 입력 선형-광 4:4:4 RGB HDR 비디오를 SDR 호환가능 버전으로 변환하는 것을 목적으로 한다. 이 프로세스는 HDR 및 SDR 이미지들의 콘테이너의 원색들 및 영역과 같은 정적 메타데이터를 사용한다.
임의로, HDR 비디오의 포맷은 전처리 스테이지의 미리 결정된 입력 포맷에 이전에 적응될 수 있고/있거나 HDR 비디오(HDR 분해 스테이지의 입력) 및 SDR 비디오(HDR 분해 스테이지의 출력)가 상이한 컬러 공간들에서 표현되는 경우 영역 매핑이 사용될 수 있다.
도 3b는 HDR-대-SDR 분해를 더 상세히 도시한다.
하기에서, HDR 비디오 샘플들은 RGB 컬러 공간(특정 입력 포맷)으로 표현되고, SDR 비디오 샘플들은 RGB 컬러 공간(특정 출력 포맷)으로 표현된다.
단계 1에서, HDR 비디오는 HDR 비디오를 SDR 비디오로 변환하기 위해 추가로 사용될 매핑 파라미터들의 세트를 유도하기 위해 이미지별로 분석된다.
단계 2에서, 분해될 HDR 비디오의 현재 이미지의 휘도 성분 L은 SDR 루마 성분 Yl에 매핑된 휘도이다. 결과적 신호는 하기와 같이 주어지는 SDR 루마(SDR 루마 성분 Yl)이고:
Figure pct00001
여기서
Figure pct00002
는 캐노니칼(canonical) 3x3 R'G'B'-대-Y'CbCr 변환 행렬(예를 들어, 컬러 공간에 따라 ITU-R Rec. BT.2020 또는 ITU-R Rec. BT.709에서 특정된 바와 같음)이고, A1A2A3은 1x3 행렬들이다.
도 3b의 단계 3에서, 크로마 성분들은 다음과 같이 유도된다. 먼저, 입력 HDR 비디오의 R, G, B 값들은 비(Yl/L)에 의해 스케일링되고, 이는 RGB의 선형-광 SDR 버전을 도출한다. 그 다음, 제곱근이 적용되어, ITU-R Rec. BT.709 OETF(Opto-Electrical Transfer Function)에 가까운 전달 함수를 재생성한다. 제곱근의 사용은 프로세스의 반전가능성을 보장함을 주목한다.
결과적 R, G, B 신호는 크로마 성분들 Ul, Vl로 변환된다:
Figure pct00003
단계 4에서, SDR 컬러들을 HDR 비디오 컬러들에 매칭하기 위해 최종 컬러 보정이 적용된다. 먼저, 크로마 성분들은 스케일링 팩터 1/β(Yl)에 의해 조절되고, 여기서 β(Yl)는 결과적 SDR 비디오의 컬러 채도 및 색조를 제어할 수 있는 함수이다.
Figure pct00004
이러한 단계는 SDR 컬러들의 제어 및 HDR 컬러들에 대한 이들의 매칭을 보장하도록 허용한다.
단계 6에서, SDR-대-HDR 재구성 프로세스의 입력 SDR 픽처가 (변수 prePicColourSpace로 특정된 바와 같이) BT.709 컬러 영역에서 제공되고 (변수 recPicColourSpace로 특정된 바와 같이) HDR 픽처의 타겟 BT.2020 컬러 영역과 상이한 경우, 반전가능한 영역 매핑 프로세스가 적용될 수 있다. 컬러 역호환성은, SDR CE 수신기가 오직 BT.709 컬러 공간을 지원하는 한편, SL-HDR1을 사용하여 분배될 비디오가 BT.2020 컬러 공간을 지원할 수 있도록 정의된다. recPicColourSpace가 prePicColourSpace와 동일하지 않은 경우, HDR-대-SDR 분해 측에서, WCG HDR 비디오는 표준 컬러 영역 SDR 비디오(플러스 메타데이터)로 변환될 수 있는 한편, HDR 재구성 측에서의 인버스 프로세스는 WCG HDR 비디오를 표준 컬러 영역 SDR 비디오(플러스 메타데이터)로부터 렌더링함으로써 이러한 변환을 반전한다. 그러한 2개의 컬러 프로세스들의 캐스케이딩(cascading)은 시각적으로 무손실이어야 하며, 표준 컬러 영역 SDR 비디오는 최소의 장애로 원본 WCG HDR 비디오의 예술적 의도를 완전히 보존해야 한다. 컬러 재구성(인버스 영역 매핑) 및 압축(영역 매핑) 변환들 둘 모두는 상호 역으로 특정된다.
단계 5에서, 휘도 매핑(단계 2), 컬러 보정(단계 4) 및 반전가능한 컬러 영역 매핑(단계 6)에 대한 메타데이터가 후처리 스테이지에 운반된다. 메타데이터는 정적 메타데이터(파라미터들이 픽처와 함께 변하지 않는 경우) 또는 동적 메타데이터(파라미터들이 휘도 매핑에 관해 픽처와 함께 변하는 경우)로서 운반된다.
이러한 메타데이터는 SDR 버전의 텍스처 및 컬러들의 미세 제어 및 HDR 의도에 대한 양호한 피팅(fitting)을 보장하는 것을 가능하게 한다.
도 4a는 후처리 스테이지를 더 상세히 도시한다.
후처리 스테이지의 코어 컴포넌트는 (디코딩된) SDR 비디오 및 메타데이터로부터 HDR 비디오를 재구성하는 SDR-대-HDR 재구성이다.
더 상세하게는, HDR 재구성은, 아래에 개시된 실시예에 따라 특정 입력 포맷으로 표현된 SDR 비디오를 특정 출력 포맷으로 표현된 출력 HDR 비디오로 변환하는 것을 목적으로 하지만, 본 원리들은 특정 입력/출력 특정 포맷들(컬러 공간 또는 영역)로 제한되지 않는다.
상기 입력 또는 출력 포맷 적응은 컬러 공간 변환 및/또는 컬러 영역 매핑을 포함할 수 있다. 통상적인 포맷 적응 프로세스들, 예를 들어, RGB-대-YUV 또는 YUV-대-RGB 변환, BT.709-대-BT.2020 또는 BT.2020-대-BT.709 등이 사용될 수 있다. 예를 들어, ETSI 추천 ETSI TS 103 433의 부록 D가 인버스 영역 매핑의 사용 사례들을 제공하는 것을 참조한다.
임의로, 재구성된 HDR 비디오의 포맷은 타겟팅된 시스템 특성들(예를 들어, 셋탑 박스, 연결된 TV)에 적응될 수 있고, 그리고/또는 인버스 영역 매핑은, 디코딩된 SDR 비디오(HDR 재구성 스테이지의 입력) 및 재구성된 HDR 비디오(HDR 재구성 스테이지의 출력)이 상이한 컬러 공간들 및/또는 영역으로 표현되는 경우 사용될 수 있다.
도 4b는 HDR 재구성 프로세스를 더 상세히 도시한다.
HDR 재구성은 HDR-대-SDR 분해의 역함수이다(도 3b). 그러나, 구현 복잡도 이유로, 일부 동작들은 상이한 순서로 연접되거나 적용된다.
단계 31에서, 예를 들어, SDR 비트스트림으로부터 또는 특정 채널로부터 동적 및/또는 정적 메타데이터가 획득된다.
단계 32에서, 휘도-매핑 룩업 테이블 lutMapY(1D 룩업 테이블)이 획득된 메타데이터로부터 유도된다. 이러한 휘도-매핑 룩업 테이블은 휘도 매핑 곡선의 제곱근의 인버스에 대응한다.
단계 33에서, 컬러-보정 룩업 테이블 lutCC는 획득된 동적 메타데이터로부터 유도된다. 컬러-보정 룩업 테이블 lutCC는 하기 수식에 의해 전처리 컬러 보정 βp (Yl)(수식 4) 및 휘도-매핑 룩업 테이블 lutMapY에 링크되고:
Figure pct00005
여기서 B는 디코딩된 SDR 이미지의 루마 성분의 비트-깊이이다.
단계 34에서, 재구성된 HDR 비디오(선형-광 HDR 비디오)의 이미지는, 유도된 루마-관련 룩업 테이블 lutMapY 및 유도된 컬러 보정 룩업 테이블 lutCC를 사용하여 디코딩된 SDR 비디오의 이미지에 HDR 재구성을 적용함으로써 재구성된다. 단계 36에서, 컬러 재구성 또는 인버스 영역 매핑 프로세스는 연관된 메타데이터를 갖는 표준 컬러 영역 픽처로부터 넓은 컬러 영역 픽처의 생성을 가능하게 한다. 이러한 프로세스는 4:4:4 크로마 샘플링 및 전체 범위 YUV 선형-광 신호에 대해 정의된다. 입력 YUV 신호는 캐노니칼 R'G'B'-대-Y'CbCr 행렬(SMPTE RP 177 [i.8]을 이용하여 컴퓨팅됨)을 이용한 입력 RGB 선형-광 신호(SDR-대-HDR 재구성 프로세스(34)의 출력)의 YUV 컬러 공간으로의 변환으로부터 온다. 이러한 프로세스는 설명된 실시예들에 따른 크로마 리매핑, 밝기 리매핑(존재하는 경우) 및 색조 리매핑을 더 포함할 수 있다.
후처리는 휘도-매핑 룩업 테이블 lutMapY(단계 32), 컬러 보정 룩업 테이블 lutCC(단계 33), 및 채도 기울기들을 보존하는 크로마 매핑을 정의하는 인버스 영역 매핑 파라미터들(단계 35)에 대해 동작한다. 현저한 아이디어에 따르면, 개시된 크로마 매핑은 일정한 밝기로 동작하고, 소스 영역에서 최대 크로마를 갖는 컬러의 밝기가 타겟 컬러 영역의 크로핑된(cropped) 버전에서 최대 크로마를 갖는 컬러의 밝기와 거의 동일하도록 타겟 컬러 영역의 크로핑된 버전을 사용한다. 게다가, 경계에 대한 동일한 기울기가 소스 및 타겟 경계에 대해 결정된다. 따라서 크로마 매핑 모드 및 원색 및 보조색들마다 요구되는 영역 크로핑의 양을 정의하는 파라미터들이 정의된다. 각각의 표 및 파라미터들은 메타데이터로부터 유도된다(단계 31).
메타데이터는 획득된 동적 메타데이터(단계 31)로부터 휘도-매핑 룩업 테이블 lutMapY(단계 32), 및 컬러-보정 룩업 테이블 lutCC(단계 33)을 유도하기 위해 소위 파라미터-기반 모드 또는 표-기반 모드에 따라 동적 메타데이터로서 운반될 수 있다(단계 5). 인버스 컬러 영역 매핑에 대한 메타데이터는 정적 메타데이터로서 운반될 수 있다(단계 5). 단계 5에서 운반될 일부 메타데이터는, 크로마 매핑 방법, 및 원색 및/또는 보조색들마다 요구되는 타겟 컬러를 표현하는 크로마 매핑 파라미터들이다(ETSI 추천 ETSI TS 103 433 절 6.3.10). 따라서, 하기 파라미터들, targetCroppingMode 및 crpWeightFactor이 설명된다.
targetCroppingMode
이러한 변수는 반전가능한 영역 매핑에 의해 사용되는 표준 영역의 크로핑 모드를 표시한다. targetCroppingMode의 값은 하기 표에서 정의된 바와 같을 것이다:
Figure pct00006
crpWeightFactor
6개의 변수들의 이러한 어레이는 타겟 영역 크로핑 프로세스 동안 각각의 원색 및 보조색에 적용될 가중치를 특정한다. 이러한 어레이는 targetCroppingMode가 3과 동일한 경우에만 호출될 것이다. 0과 동일한 인덱스 값 c는 원색 적색에 대응해야 하고, 1과 동일한 인덱스 값 c는 보조색 마젠타에 대응해야 하고, 2와 동일한 c는 원색 청색에 대응해야 하고, 3과 동일한 c는 보조색 시안에 대응해야 하고, 4와 동일한 c는 원색 녹색에 대응해야 하고, 5와 동일한 c는 보조색 황색에 대응해야 한다. crpWeightFactor[c]의 값은 9/128의 단계로 한정된 범위 [0/128 ... 135/128] 내에 있다.
이러한 파라미터들은 ESTI 추천의 더 최근의 버전에서 croppingModeSCG 및 cmWeightFactor로 각각 재명명된다.
이러한 메타데이터는 SMPTE ST 2094-20 규격에 기초한 신택스를 갖는 HEVC 컬러 볼륨 재구성 정보(CVRI) 사용자 데이터 등록된 SEI 메시지를 사용하여 운반될 수 있다(ETSI 추천 ETSI TS 103 433 부록 A.3).
따라서, 단계 31에서, CVRI SEI 메시지는 휘도 매핑 파라미터들, 컬러 보정 파라미터들 및 인버스 영역 파라미터들을 획득하기 위해 파싱된다.
단계 32에서, 휘도-매핑 룩업 테이블 lutMapY는 획득된 휘도 매핑 파라미터들로부터 재구성(유도)된다(추가적 세부사항들에 대해 ETSI TS 103 433 절 7.2.3.1 참조).
단계 33에서, 컬러-보정 룩업 테이블 lutCC는 획득된 컬러 보정 파라미터들로부터 재구성(유도)된다(추가적 세부사항들에 대해 ETSI TS 103 433 절 7.2.3.2 참조).
단계 35에서, 크로마 매핑(즉, 타겟 컬러)에 대한 특징부들은 컬러 영역 매핑 방법에 대해 이후 설명되는 바와 같이 획득된 인버스 영역 매핑 파라미터들로부터 결정(유도)된다. 크로마 매핑 파라미터들은 모든 컬러들에 대한 글로벌 크로마 매핑을 수행하거나, 또는 콜드(cold) 컬러들(예를 들어, 소스 커스프 컬러가 타겟 커스프 컬러보다 어두운 컬러들에 대응하는 청색, 시안 및 녹색)만을 매핑하거나 또는 각각의 개별 원색 및 보조색의 일정한 밝기로 크로마 매핑하는 것을 가중할 가능성을 제공한다.
이러한 메타데이터는 SMPTE ST 2094-30 규격에 기초한 신택스를 갖는 HEVC 컬러 리매핑 정보(CRI) SEI 메시지를 사용하여 동적 메타데이터로서 운반될 수 있다(ETSI 추천 ETSI TS 103 433 부록 A.4).
정적 메타데이터가 또한 후처리 스테이지에 의해 사용될 수 있고 SEI 메시지에 의해 운반될 수 있음을 주목한다. 예를 들어, targetCroppingMode 및 crpWeightFactor는 ETSI TS 103 433 (절 A.2.2)에 의해 정의된 바와 같은 TS 103 433 정보(TSI) 사용자 데이터 등록된 SEI 메시지(payloadMode)에 의해 반송될 수 있다. 예를 들어, 원색들 또는 최대 디스플레이 마스터링 디스플레이 휘도와 같은 정적 메타데이터는 AVC, HEVC에 정의된 바와 같이 마스터링 디스플레이 컬러 볼륨(MDCV) SEI 메시지에 의해 운반된다.
도 5는 본 원리들의 예들에 따라 반전가능한 영역 매핑을 위한 방법의 단계들의 블록도를 도시한다. 이러한 방법은 SDR 이미지 및 메타데이터를 생성하는 임의의 HDR-대-SDR 분해 프로세스에 대해 호환가능하다. 예시적인 목적으로, 영역 매핑 방법은 도 3b와 관련하여 설명된 바와 같은 HDR-대-SDR 분해 프로세스의 일부(단계 6)이다. 이러한 프로세스는 특히, 넓은 컬러 영역 HDR 비디오가 표준 컬러 영역 SDR 비디오로 변환될 경우에 적응된다. 유리하게는, 본 원리들에 다른 일정한 밝기에서의 크로마 매핑은 HDR 이미지의 소스 컬러들의 의도의 더 양호한 보존을 얻기 위해 채도 반전을 방지하거나 감소시킨다. 도 6a, 도 6b, 도 6c 및 도 6d에 도시된 바와 같이, 크로마 매핑의 출력은 타겟 컬러 영역의 회색 영역으로 크로핑된다. 그러나, 이러한 방법은 완전히 반전가능하기 때문에, 이 방법은 또한 HDR 이미지를 생성하는 임의의 SDR-대-HDR 재구성 프로세스와 호환가능하다. 예시적인 목적으로, 영역 매핑 방법은 또한 도 4b와 관련하여 설명된 바와 같은 SDR-대-HDR 재구성 프로세스의 일부(단계 36)이다. 이러한 프로세스는 특히, 표준 컬러 영역 SDR 비디오가 넓은 컬러 영역 HDR 비디오로 다시 변환될 경우에 적응된다. 유리하게는, 인버스 영역 매핑은 인코더측에서 적용된 크로마 보정을 반전시킨다. 크로마는 색조 및 밝기를 불변으로 유지하면서 보정된다. 그러나, 이 방법은 또한 제1 컬러 영역으로부터 제2 컬러 영역으로의 컬러 영역 매핑을 수반하는 임의의 프로세스와 호환가능하다. HDR 비디오 샘플들 및 SDR 비디오 샘플들은 YUV, CIELUV, L*a*b* 또는 IPT와 같은 임의의 컬러 공간에서 표현될 수 있다. 예시의 목적으로, 컬러로 지칭되는 HDR 비디오 샘플은 도 6a, 도 6b, 도 6c 및 도 6d에 도시된 바와 같이, 색조 잎으로 공지된 일정한 색조를 갖는 평면에서 표현된다.
예비적 단계 51에서, 제1 영역(소스 영역)의 경계 상의 컬러에 대한 타겟 컬러가 획득된다. 도 6a에 예시된 제1 변형에 따르면, 타겟 컬러의 밝기(L2)는 제1 컬러 영역(소스 커스프 컬러)의 최대 크로마의 컬러의 밝기(L2)와 동일하고, 타겟 컬러의 밝기(L2)는 제2 컬러 영역(타겟 커스프 컬러)의 최대 크로마의 컬러의 밝기(L3) 미만이다. 도 6b에 예시된 제2 변형에 따르면, 타겟 컬러의 밝기(L2)는 제1 컬러 영역(소스 커스프 컬러)의 최대 크로마의 컬러의 밝기(L2)와 동일하고, 타겟 컬러의 밝기(L2)는 제2 컬러 영역(타겟 커스프 컬러)의 최대 크로마의 컬러의 밝기(L3) 초과이다. 도 6d에 예시된 제3 변형에 따르면, 타겟 컬러의 밝기(L5)는 제1 컬러 영역(소스 커스프 컬러)의 최대 크로마의 컬러의 밝기(L2) 초과이고, 타겟 컬러의 밝기(L5)는 제2 컬러 영역(타겟 커스프 컬러)의 최대 크로마의 컬러의 밝기(L3) 미만이다. 예시되지 않지만, 제4 변형에서, 타겟 컬러의 밝기는 제2 컬러 영역(타겟 커스프 컬러)의 최대 크로마의 컬러의 밝기 초과이고, 타겟 컬러의 밝기는 제1 컬러 영역(소스 커스프 컬러)의 최대 크로마의 컬러의 밝기 미만이다. 유리하게는, 추후에 나타낸 바와 같이, 제1 및 제2 변형들은 임의의 채도 반전을 회피하는 한편, 제3 및 제4 변형들은, 소스 커스프 컬러로 지칭되는 최대 크로마를 갖는 제1 영역의 경계 상의 컬러의 밝기(L2)와 타겟 컬러의 밝기(L5) 사이의 간격에 속하는 밝기를 갖는 컬러들로 채도 반전을 제한한다. 반대로, 종래 기술의 방법들에서, 채도 반전은 소스 커스프 컬러의 밝기(L2)와 타겟 커스프 컬러의 밝기(L3) 사이의 간격에 속하는 밝기를 갖는 컬러들에 대해 발생한다. 소스 커스프 컬러(각각 타겟 커스프 컬러)는 제1/소스 컬러 영역(각각 제2/타겟 컬러 영역)의 경계에 속하고 도 6a 및 도 6b에 도시된 바와 같이 최대 크로마를 갖는다. 타겟 컬러는, 타겟 커스프 컬러의 밝기가 소스 커스프 컬러의 밝기 초과인 경우 타겟 컬러의 밝기 초과인 밝기의 컬러들, 또는 타겟 커스프 컬러의 밝기가 소스 커스프 컬러의 밝기 미만인 경우 타겟 컬러의 밝기 미만인 밝기의 컬러들에 적용할 크로마 보정의 양을 표현한다. 제1 및 제2 변형들에 따르면, 제2 영역 경계와 소스 커스프 컬러의 밝기 라인(L2) 사이의 교차점이 타겟 컬러를 정의한다. 제3 변형에서, 타겟 컬러는 소스 커스프 컬러의 밝기에 대해 결정되는 것이 아니라, 도 6d에 도시된 바와 같이 타겟 커스프 컬러의 밝기(L3) 및 소스 커스프 컬러의 밝기(L2)에 응답하는 밝기(L5)에 대해 제2 영역(타겟 영역)의 경계 상에서 결정된다. 예를 들어, 타겟 컬러의 밝기(L5)는 타겟 커스프 컬러의 밝기(L3) 및 소스 커스프 컬러의 밝기(L2)의 선형 조합이다. 이러한 변형은 채도 반전을 방지하지 않지만, 소스 커스프 컬러의 밝기와 타겟 컬러의 밝기 사이에 밝기가 포함되는 컬러들의 범위로 채도 반전을 제한한다. 유리하게는, 이러한 변형은 채도 반전과 제2 영역의 커버리지 사이의 절충이다.(이는 매핑된 컬러들이 제2 영역의 더 큰 부분에 속하기 때문이다). 다른 비제한적 예에 따르면, 타겟 컬러(L5)의 밝기 값은 가중치 팩터로부터 획득되고, 가중치 팩터는 제2 커스프 컬러(소스 커스프 컬러)의 밝기(L3)과 제2 커스프 컬러의 밝기(L2) 사이의 밝기 값들의 차이의 비(또는 퍼센티지), 예를 들어, 0.3 또는 30%이지만, 더 일반적으로는 간격 [0-1] 또는 [0%-100%] 내에 있다. 특정 특성에 따르면, 컬러는 원색들 및 보조색들의 그룹으로부터 선택된 키 컬러이다. 변수 targetCroppingMode에 대해 이전에 설명된 바와 같이, 크로마 매핑은 각각의 원색 및 보조색에, 또는 녹색 및 청색 원색들 및 시안 보조색과 같이 컬러들의 일부에만, 또는 각각의 원색 및 보조색에 적용된 가중치 팩터로 적용된다. 따라서 가중치 팩터들은 주어진 색조 잎 내의 타겟 컬러의 밝기(L5)를 정의한다. 비제한적인 예에 따르면, 100%의 팩터는 녹색 및 청색 원색들 및 시안 보조색에 적용되고, 50%의 팩터는 황색 및 마젠타 보조색들 및 적색 원색에 대해 적용된다. 도 6a에 도시된 바와 같은 이러한 예에서, 타겟 컬러에 대한 밝기(L2)는 동일한 색조 잎에서 최대 크로마(소스 커스프 컬러)를 갖는 제1 영역의 경계 상의 소스 컬러의 밝기에 대응한다. 다른 비제한적인 예에 따르면, 50%의 팩터는 녹색 및 청색 원색들 및 시안 보조색에 적용되고, 0%의 팩터는 황색 및 마젠타 보조색들 및 적색 원색에 대해 적용된다. 도 6d에 도시된 바와 같은 이러한 예에서, 타겟 컬러의 밝기(L5)는 동일한 색조 잎에서 소스 커스프 컬러 및 타겟 커스프 컬러의 밝기의 산술 평균((L2+L3)/2)에 대응한다. 즉, 가중치 팩터는 타겟 커스프 컬러의 밝기(L3)와 소스 커스프 컬러의 밝기(L2) 사이의 선형 보간을 정의한다. 타겟 컬러를 획득하기 위한 파라미터들은 유리하게는 키 컬러들에 대해 전송/수신되고, 따라서 메타데이터의 크기를 제한한다. 컬러가 임의의 컬러(키 컬러가 아님을 의미함)인 특성에 따르면, 컬러에 대한 타겟 컬러의 값들은 키 컬러들에 대한 대응하는 값들로부터 보간된다. 이러한 예들에 따르면, 밝기 매핑은 유리하게는 일부 색조들, 예를 들어, 도 1a에 도시된 바와 같이 타겟 컬러 영역에서보다 소스 컬러 영역에서 커스프 컬러의 밝기가 낮은 색조들로 제한된다. 도 6c에 예시된 또 다른 제5 변형에서, N개(N은 1 초과의 정수임)의 타겟 컬러들이 동일한 밝기를 갖는 제1 영역(소스 영역)의 경계 상의 N개의 컬러들에 대한 각각의 N개의 크로마 매핑된 값들로서 주의깊게 결정된다. 그러한 N개의 타겟 컬러들은 크로마 매핑에서 사용되는 증가 또는 감소 함수를 개선하는 것을 허용한다. HDR-대-SDR 분해 프로세스에서, 키 컬러들 및 대응하는 타겟 컬러들이 정의되고 앞서 노출된 바와 같이 반전가능한 영역 매핑에 대한 파라미터들로서 코딩된다. 그 다음, 반전가능한 영역 매핑에 사용되는 크로마 매핑 파라미터들은 인버스 영역 매핑에 대한 메타데이터로서 전송된다. SDR-대-HDR 재구성 프로세스에서, 반전가능한 영역 매핑에 사용되는 파라미터들에 대한 메타데이터가 수신되고, 키 컬러들 및 대응하는 타겟 컬러가 그 수신된 파라미터들로부터 유도된다.
단계 52에서, 제1 컬러 영역으로부터 제2 컬러 영역을 향해 일정한 밝기로 컬러의 크로마 매핑이 적용된다. 유리하게는, 이 방법은 색조 및 밝기를 일정하게 유지하면서 컬러들을 매핑하는 공지된 방법들과 호환가능하며, 이는 출력 컬러가 원래의 컬러와 동일한 일정한 밝기 라인 및 동일한 일정한 색조 잎에 있음을 의미한다. 본 원리들에 따른 크로마 매핑 방법은 이제 도 6a의 제1 변형 및 도 6d의 제3 변형에 대해 설명된다. 본 기술분야의 통상의 기술자는 도 6b의 변형과 같이 다른 변형들에 대한 설명을 쉽게 적응시킬 것이다. 타겟 커스프 컬러가 소스 커스프 컬러(타겟 컬러는 그 사이에 있음)보다 밝은 제1 및 제3 변형들에서, 밝기의 증가하는 값에 적용된 함수의 크로마 값들의 출력이 감소하는 크로마 값들이도록 그리고 크로핑된 타겟 영역 경계가 타겟 컬러 및 백색을 통과하도록 하는 크로핑된 타겟 영역(도 1a의 파선)을 표현하는 감소 함수가 정의된다. 즉, 타겟 컬러의 밝기에 적용된 함수의 출력은 타겟 컬러의 크로마를 도출하고 백색의 밝기에 적용된 함수의 출력은 백색의 크로마(제로임)를 도출한다. 따라서 일정한 밝기로 제1 컬러 영역 경계 상의 컬러의 크로마를 매핑하는 것(523)은, 컬러의 밝기가 타겟 컬러의 밝기 초과(및 최대 백색의 밝기)인 경우 컬러의 밝기에 감소 함수를 적용하는 것을 포함한다. 제1 컬러 영역 경계 상의 다른 컬러들에 대해, 즉, 컬러의 밝기가 타겟 컬러의 밝기 미만(및 흑색의 밝기까지)인 경우, 공지된 크로마 매핑이 적용된다. 따라서, 크로핑된 타겟 영역 경계는 더 밝은 값들의 소스 영역 경계의 감소를 따른다. 타겟 컬러의 밝기가 소스 커스프 컬러의 밝기에 대응하는 추가적인 변형에서, 개시된 방법은 임의의 예비적 밝기 매핑을 회피하면서 채도 반전을 방지한다. 본 기술분야의 통상의 기술자는, 제1 영역 경계 상에 없는 컬러들에 대해, 매핑이, 컬러에 대해, 일정한 밝기인 제1 컬러 영역 경계 상의 컬러를 결정하는 것; 및 컬러의 밝기가 타겟 컬러의 밝기(L5) 초과인 경우, 감소 함수로 매핑된 제1 컬러 영역 경계 상의 결정된 컬러에 대해 컬러의 일정한 밝기의 크로마 매핑을 수행하는 것을 더 포함함을 인식할 것이다. 더 일반적으로, 임의의 컬러에 대해, 컬러의 일정한 밝기에서의 크로마 매핑은 제1 컬러 영역 경계 상의 결정된 컬러의 매핑된 크로마에 대해 수행된다. 특정 실시예에 따르면, 이러한 라인(L2) 상에서 가장 높은 크로마 값을 갖는 소스 컬러가 이러한 동일한 일정한 밝기 라인(L2) 상에서, 컬러의 밝기가 타겟 컬러의 밝기(L5) 초과인 경우 감소 함수로 매핑된 제1 컬러 영역 경계 상의 결정된 컬러, 또는 컬러의 밝기가 밝기(L5) 미만인 경우 이러한 동일한 일정한 밝기 라인(L2) 상의 타겟 영역 경계의 컬러에 매핑되도록, 각각의 일정한 밝기 라인(L1, L2, L3, L4) 상의 컬러들을 매핑하는 선형 크로마 스케일링이 사용된다. 청색 원색의 경우, 도 6a에 도시된 바와 같이, 타겟 영역의 하위 부분이 선형이기 때문에, 크로마에 적용된 증가 함수는 타겟 영역에 대응하는 아핀 함수(affine function)이다. 게다가, 소스 커스프 컬러와 백색 사이의 제1 컬러 영역 경계 상의 컬러는 일정한 밝기에서 타겟 컬러와 백색 사이의 크로마의 감소 함수로 매핑된다. 청색 원색의 경우, 도 6a에 도시된 바와 같이, 타겟 영역이 구분적 선형이기 때문에, 크로마에 적용된 감소 함수는 또한 타겟 컬러와 백색을 연결하는 아핀 함수이다. 유리하게는, 선형 컬러 공간에서, 각각의 일정한 색조 잎에서, 매핑된 컬러들은 오직 흑색, 백색 및 소스 커스프 컬러에 대응하는 타겟 컬러에 의해 정의되는 삼각형으로 분포된다. 즉, 매핑된 컬러 영역은, 그 경계 상에서, 소스 커스프 컬러의 밝기 초과의 밝기 값들에 대한 밝기로 채도가 증가하지 않도록 크로핑된다. 따라서 매핑된 영역의 형상은 소스 컬러 영역의 형상에 더 가깝다(이는, 소스 컬러 영역의 경계 상에서 채도가 커스프 컬러의 밝기보다 큰 밝기 값들에 대한 밝기로 증가하지 않기 때문이다). 이 예에서 단순화를 위해, 아핀 함수들이 설명되었지만, 본 원리들은 임의의 다른 함수와 호환가능하다. 다른 예에서, 각각의 일정한 색조 잎에서 사용되는 함수는 2차 함수이다. 도 6c에 도시된 변형에 따르면, 타겟 컬러 영역의 상부 세그먼트의 일부 또는 전체 세그먼트(백색을 커스프 타겟 컬러와 연결하는 라인)는 이러한 세그먼트에 접하고 N개의 타겟 중간 컬러들을 연결하는 포물선으로 대체된다.
완전함을 위해, 전체 크로마 매핑은 간략하게 노출된다. 예비적 테스트(521)에서, 영역 경계의 더 어두운 또는 더 밝은 부분이 크로핑되는 변형이 결정된다. 따라서, 타겟 커스프 컬러의 밝기가 소스 커스프 컬러의 밝기 초과이면, 타겟 영역의 더 밝은 부분은 도 6a, 도 6c 및 도 6d의 변형들에 대응하는 감소 함수(523)로 크로핑된다. 타겟 커스프 컬러의 밝기가 소스 커스프 컬러의 밝기 미만이면, 타겟 영역의 더 어두운 부분은 도 6b의 변형에 대응하는 증가 함수(522)로 크로핑된다.
개시된 방법이 예비적 밝기 매핑을 사용하는 것을 허용하지 않더라도, 방법은 타겟 영역 및 콘트라스트 변경에서 컬러들의 충족하는 절충 분포를 달성하기 위해 밝기 매핑과 호환가능하다. 따라서, 밝기 매핑은 소스 커스프 컬러를 타겟 커스프 컬러에 더 가까운 밝기를 갖는 중간 타겟 컬러에 매핑하기 위해 사용될 수 있다. 이는 밝기 매핑 이후 소스 컬러 영역 대신 밝기 매핑된 컬러 영역을 사용하여 제안된 방법을 적용하는 것에 대응한다.
본 기술분야의 통상의 기술자들은, 인버스 영역 매핑에 대해, 소스 및 타겟 영역 경계가 반전되기 때문에, 이 방법이 완전히 반전가능함을 이해할 것이다. 실제로, 인버스 크로마 매핑된 컬러는 순방향 영역 매핑 동안 사용되는 것과 동일한 증가 또는 감소 함수를 사용함으로써 획득된다.
이러한 방법은 SDR 이미지 및 동적 메타데이터를 요구하는 HDR 재구성 프로세스에 기초한다.
예시적인 목적으로, HDR 재구성 프로세스는 도 4b와 관련하여 설명된 바와 같이 HDR 재구성 프로세스일 수 있다. 그 경우, HDR 이미지는 디코딩된 SDR 이미지로부터 재구성된다. 그러나, HDR 이미지를 재구성하는데 사용되는 SDR 이미지는 또한 압축되어 저장되고 디코딩을 요구함이 없이 획득될 수 있다.
그 다음, 방법은 예를 들어, SDR 비트스트림을 디코딩함으로써, 재구성될 HDR 이미지의 휘도 값들의 동적 범위보다 낮은 휘도 값들의 동적 범위를 갖는 (디코딩된) SDR 이미지를 획득한다.
도 2 내지 도 5에서, 모듈은 식별가능한 물리적 유닛들과 관련이 있거나 그렇지 않을 수도 있는 기능 유닛들이다. 예를 들어, 이러한 모듈들 또는 이들 중 일부는 고유 컴포넌트 또는 회로에 통합되거나 소프트웨어의 기능들에 기여할 수 있다. 대조적으로, 일부 모듈들은 잠재적으로 별개의 물리적 엔티티들로 구성될 수 있다. 본 원리들과 호환가능한 장치는 순수한 하드웨어, 예를 들어 ASIC 또는 FPGA 또는 VLSI와 같은 전용 하드웨어(각각 ≪ Application Specific Integrated Circuit ≫, ≪ Field-Programmable Gate Array ≫, ≪ Very Large Scale Integration ≫)를 사용하여, 또는 디바이스에 내장된 몇몇 통합 전자 컴포넌트들로부터 또는 하드웨어와 소프트웨어 컴포넌트들의 혼합으로부터 구현된다.
도 7은 도 2 내지 도 5와 관련하여 설명된 방법을 구현하도록 구성될 수 있는 디바이스(60)의 예시적인 아키텍처를 표현한다.
디바이스(60)는 데이터 및 어드레스 버스(61)에 의해 함께 링크되는 하기 요소들을 포함한다:
- 예를 들어, DSP(또는 Digital Signal Processor)인 마이크로프로세서(62)(또는 CPU);
- ROM (또는 Read Only Memory)(63);
- RAM (또는 Random Access Memory)(64);
- 애플리케이션으로부터, 송신할 데이터의 수신을 위한 I/O 인터페이스(65); 및
- 배터리(66)
일례에 따르면, 배터리(66)는 디바이스 외부에 있다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 용어 ≪ 레지스터 ≫는 작은 용량(일부 비트들)의 영역에 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 대량의 수신 또는 디코딩된 데이터)에 대응할 수 있다. ROM(63)은 적어도 프로그램 및 파라미터들을 포함한다. ROM(63)은 설명된 실시예들에 따른 기술들을 수행하기 위한 알고리즘들 및 명령어들을 저장할 수 있다. 스위치 온되는 경우, CPU(62)는 RAM에 프로그램을 업로드하고, 대응하는 명령어들을 실행한다.
RAM(64)은, 레지스터에서, CPU(62)에 의해 실행되고 디바이스(60)의 스위치 온 후에 업로드되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들의 중간적 데이터 및 레지스터 내의 방법의 실행을 위해 사용되는 다른 변수들을 포함한다.
본원에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 오직 단일 형태의 구현의 상황에서 논의되는(예를 들어, 오직 방법 또는 디바이스로서만 논의되는) 경우에도, 논의되는 특징들의 구현은 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능 로직 디바이스를 포함하는 일반적인 처리 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 휴대 정보 단말("PDA들"), 및 최종 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
인코딩 또는 인코더의 예에 따르면, HDR 비디오 또는 HDR 비디오의 HDR 이미지가 소스로부터 획득된다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:
- 로컬 메모리(63 또는 64), 예를 들어, 비디오 메모리 또는 RAM(또는 Random Access Memory), 플래시 메모리, ROM(또는 Read Only Memory), 하드 디스크;
- 저장 인터페이스(65), 예를 들어, 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 지원부와의 인터페이스;
- 통신 인터페이스(65), 예를 들어, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어, IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및
- 이미지 캡처 회로(예를 들어, CCD(또는 Charge-Coupled Device) 또는 CMOS(또는 Complementary Metal-Oxide-Semiconductor)와 같은 센서).
디코딩 또는 디코더의 예에 따르면, 디코딩된 SRD 비디오 또는 재구성된 HDR 비디오는 목적지로 전송되고; 구체적으로, 목적지는 다음을 포함하는 세트에 속한다:
- 로컬 메모리(63 또는 64), 예를 들어, 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스(65), 예를 들어, 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 지원부와의 인터페이스;
- 통신 인터페이스(65), 예를 들어, 유선 인터페이스(예를 들어, 버스 인터페이스(예를 들어, USB(또는 Universal Serial Bus)), 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스, HDMI(High Definition Multimedia Interface) 인터페이스) 또는 무선 인터페이스(예를 들어, IEEE 802.11 인터페이스, WiFi® 또는 Bluetooth® 인터페이스); 및
- 디스플레이.
인코딩 또는 인코더의 예들에 따르면, 메타데이터를 반송하는 SDR 비트스트림 및/또는 다른 비트스트림이 목적지로 전송된다. 일례로, 이러한 비트스트림들 중 하나 또는 둘 모두는 로컬 또는 원격 메모리, 예를 들어, 비디오 메모리(64) 또는 RAM(64), 하드 디스크(63)에 저장된다. 변형에서, 이러한 비트스트림들 중 하나 또는 둘 모두는 저장 인터페이스(65), 예를 들어, 대용량 저장소, 플래시 메모리, ROM, 광 디스크 또는 자기 지원부와의 인터페이스에 전송되고 그리고/또는 통신 인터페이스(65), 예를 들어, 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스를 통해 송신된다.
디코딩 또는 디코더의 예들에 따르면, 메타데이터를 반송하는 SDR 비트스트림 및/또는 다른 비트스트림이 소스로부터 획득된다. 예시적으로, 비트스트림은 로컬 메모리, 예를 들어, 비디오 메모리(64), RAM(64), ROM(63), 플래시 메모리(63) 또는 하드 디스크(63)로부터 판독된다. 변형으로, 비트스트림은 저장 인터페이스(65), 예를 들어, 대용량 저장소, RAM, ROM, 플래시 메모리, 광 디스크 또는 자기 지원부와의 인터페이스로부터 수신되고 그리고/또는 통신 인터페이스(65), 예를 들어, 포인트 투 포인트 링크, 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스로부터 수신된다.
예들에 따르면, 앞서 설명된 바와 같은 인코딩 방법을 구현하도록 구성된 디바이스(60)는 다음을 포함하는 세트에 속한다:
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 태블릿(또는 태블릿 컴퓨터);
- 랩톱;
- 스틸 이미지 카메라;
- 비디오 카메라;
- 인코딩 칩;
- 스틸 이미지 서버; 및
- 비디오 서버(예를 들어, 브로드캐스트 서버, 비디오-온-디맨드 서버 또는 웹 서버).
예들에 따르면, 앞서 설명된 바와 같은 디코딩 방법을 구현하도록 구성된 디바이스(60)는 다음을 포함하는 세트에 속한다:
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 셋탑 박스;
- TV 세트;
- 태블릿(또는 태블릿 컴퓨터);
- 랩톱;
- 디스플레이 및
- 디코딩 칩.
도 7에 예시된 본 원리들의 예에 따르면, 통신 네트워크 NET를 통한 2개의 원격 디바이스들 A 및 B 사이의 송신 상황에서, 디바이스 A는 앞서 설명된 바와 같이 이미지를 인코딩하기 위한 방법을 구현하도록 구성되는 메모리 RAM 및 ROM과 관련된 프로세서를 포함하고, 디바이스 B는 앞서 설명된 바와 같은 디코딩하기 위한 방법을 구현하도록 구성되는 메모리 RAM 및 ROM과 관련된 프로세서를 포함한다.
일례에 따르면, 네트워크는 디바이스 A로부터 디바이스 B를 포함하는 디코딩 디바이스들로 스틸 이미지들 또는 비디오 이미지들을 브로드캐스트하도록 적응된 브로드캐스트 네트워크이다.
디바이스 A에 의해 송신되도록 의도된 신호는 SDR 비트스트림 및/또는 메타데이터를 반송하는 다른 비트스트림을 반송한다. SDR 비트스트림은 전술된 바와 같이 인코딩된 SDR 비디오를 포함한다. 이러한 신호는 상기 디코딩된 SDR 비디오로부터 HDR 비디오를 재구성하기 위해 사용되는 파라미터 값들에 대한 메타데이터를 더 포함한다.
본원에 설명된 다양한 프로세스들 및 특징들의 구현들은 다양한 상이한 장비 또는 애플리케이션들로 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋탑 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 이미지 또는 비디오를 처리하기 위한 임의의 다른 디바이스 또는 다른 통신 디바이스들을 포함한다. 명확해야 할 바와 같이, 장치는 모바일일 수 있고, 심지어 모바일 차량에 설치될 수 있다.
추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은 컴퓨터 판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독가능 저장 매체는 하나 이상의 컴퓨터 판독가능 매체(들)로 구현되고 컴퓨터에 의해 실행가능한 컴퓨터 판독가능 프로그램 코드가 구현된 컴퓨터 판독가능 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 사용된 컴퓨터 판독가능 저장 매체는 그 내부에 정보를 저장하는 고유의 능력 뿐만 아니라 그로부터 정보의 검색을 제공하는 고유의 능력이 주어지면 비일시적 저장 매체로 간주된다. 컴퓨터 판독가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 전술한 것의 임의의 적절한 조합일 수 있지만 이에 제한되지 않는다. 다음은 본 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 보다 구체적인 예들을 제공하는 한편, 단지 본 기술분야의 통상의 기술자에 의해 용이하게 인식되는 것, 즉, 휴대용 컴퓨터 디스켓; 하드 디스크; 판독 전용 메모리(ROM); 소거가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리); 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM); 광학 저장 디바이스; 자기 저장 디바이스; 또는 상기한 것의 임의의 적절한 조합과 같이 예시적이며 총망라하는 것이 아님을 인식해야 한다.
명령어들은 프로세서-판독가능 매체 상에 유형으로 구현된 애플리케이션 프로그램을 형성할 수 있다.
명령어들은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합일 수 있다. 명령어들은 예를 들어 운영 시스템, 별개의 애플리케이션 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는 프로세스를 수행하도록 구성된 디바이스, 및 프로세스를 수행하기 위한 명령어들을 갖는 프로세서-판독가능 매체(예를 들어, 저장 디바이스)를 포함하는 디바이스 둘 모두로서 특징화될 수 있다. 추가로, 프로세서-판독가능 매체는 명령어들에 추가하여 또는 명령어들 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.
본 기술분야의 통상의 기술자에게 자명할 바와 같이, 구현들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 반송하도록 포맷된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 설명된 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는 본 원리들의 설명된 예의 신택스를 기록 또는 판독하기 위한 규칙들을 데이터로서 반송하거나, 본 원리들의 설명된 예에 의해 기록된 실제 신택스 값들을 데이터로서 반송하도록 포맷될 수 있다. 이러한 신호는, 예를 들어, (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하는) 전자기 파로서 또는 기저대역 신호로서 포맷될 수 있다. 포맷은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림과 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 공지된 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체 상에 저장될 수 있다.
다수의 구현들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 행해질 수 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 요소들은 다른 구현들을 생성하기 위해 결합, 보충, 수정 또는 제거될 수 있다. 추가적으로, 통상의 기술자는, 다른 구조체들 및 프로세스들이 개시된 것들을 대체할 수 있고 결과적인 구현들이 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성할 것임을 이해할 것이다. 따라서, 이러한 및 다른 구현들이 본 출원에 의해 고려된다.

Claims (15)

  1. 현재 컬러를 제1 컬러 영역으로부터 제2 컬러 영역을 향해 영역 매핑(gamut mapping)하기 위한 방법으로서,
    상기 방법은, 일정한 색조의 평면에서, 상기 현재 컬러의 크로마를 일정한 밝기로 상기 제1 컬러 영역으로부터 상기 제2 컬러 영역을 향해 매핑하는 단계를 포함하고, 상기 방법은, 상기 크로마 매핑하는 단계가,
    상기 제2 컬러 영역 경계 상에서 타겟 컬러를 획득하는 단계(51) - 상기 타겟 컬러의 밝기(L5)는 상기 제1 컬러 영역의 최대 크로마의 컬러의 밝기(L2) 이상이고, 상기 타겟 컬러의 밝기(L5)는 상기 제2 컬러 영역의 최대 크로마의 컬러의 밝기(L3) 미만임 -;
    상기 현재 컬러의 밝기가 상기 타겟 컬러의 밝기 초과인 경우, 밝기에 적용된 크로마의 감소 함수에 의해 상기 제1 컬러 영역 경계 상에서 컬러의 크로마를 일정한 밝기로 매핑하는 단계(523) - 상기 타겟 컬러의 밝기 및 백색의 밝기에 적용된 상기 감소 함수의 각각의 출력들은 상기 타겟 컬러의 크로마 및 상기 백색의 크로마임 -
    를 더 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 일정한 색조의 평면에서,
    상기 현재 컬러에 대해, 일정한 밝기인 상기 제1 컬러 영역 경계 상의 컬러를 결정하는 단계; 및
    상기 현재 컬러의 밝기가 상기 타겟 컬러의 밝기 초과인 경우, 상기 감소 함수로 매핑된 상기 제1 컬러 영역 경계 상의 상기 결정된 컬러에 대해 상기 컬러의 일정한 밝기의 크로마 매핑을 수행하는 단계
    를 더 포함하는 방법.
  3. 제1항 또는 제2항에 있어서,
    중간 타겟 컬러들을 획득하는 단계, 및 타겟 컬러, 백색 및 중간 타겟 컬러들에 대한 응답으로 밝기에 적용된 크로마의 감소 함수를 결정하는 단계를 더 포함하는 방법.
  4. 현재 컬러를 제1 컬러 영역으로부터 제2 컬러 영역을 향해 영역 매핑하기 위한 방법으로서,
    상기 방법은, 일정한 색조의 평면에서, 상기 현재 컬러의 크로마를 일정한 밝기로 상기 제1 컬러 영역으로부터 상기 제2 컬러 영역을 향해 매핑하는 단계를 포함하고, 상기 방법은, 상기 크로마 매핑하는 단계가,
    상기 제2 컬러 영역 경계 상에서 타겟 컬러를 획득하는 단계(51) - 상기 타겟 컬러의 밝기는 상기 제2 컬러 영역의 최대 크로마의 컬러의 밝기 초과이고, 상기 타겟 컬러의 밝기는 상기 제1 컬러 영역의 최대 크로마의 컬러의 밝기 이하임 -;
    상기 현재 컬러의 밝기가 상기 타겟 컬러의 밝기 미만인 경우, 밝기에 적용된 크로마의 증가 함수에 의해 상기 제1 컬러 영역 경계 상에서 컬러의 크로마를 일정한 밝기로 매핑하는 단계(522) - 상기 타겟 컬러의 밝기 및 흑색의 밝기에 적용된 상기 증가 함수의 각각의 출력들은 상기 타겟 컬러의 크로마 및 상기 흑색의 크로마임 -
    를 더 포함하는 것을 특징으로 하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 타겟 컬러의 밝기는 상기 제1 컬러 영역의 최대 크로마의 컬러의 밝기(L2)와 상기 제2 컬러 영역의 최대 크로마의 컬러의 밝기(L3) 사이의 선형 보간인 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 타겟 컬러의 밝기는 상기 제1 컬러 영역의 최대 크로마의 컬러의 밝기(L2)와 동일한 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 컬러 영역의 상기 최대 크로마의 컬러는 원색들 및 보조색들의 그룹으로부터 선택되는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 증가 또는 감소 함수는 구분적 아핀 함수(piecewise affine function)인 방법.
  9. 현재 컬러를 일정한 색조의 평면에서 제1 컬러 영역으로부터 제2 컬러 영역을 향해 영역 매핑하기 위한 디바이스로서,
    상기 디바이스는,
    Figure pct00007
    상기 제2 컬러 영역 경계 상에서 타겟 컬러를 획득하기 위한 수단 - 상기 타겟 컬러의 밝기(L5)는 상기 제1 컬러 영역의 최대 크로마의 컬러의 밝기(L2) 이상이고, 상기 타겟 컬러의 밝기(L5)는 상기 제2 컬러 영역의 최대 크로마의 컬러의 밝기(L3) 미만임 -; 및
    Figure pct00008
    상기 제1 컬러 영역으로부터 상기 제2 컬러 영역을 향해 일정한 밝기에서 상기 현재 컬러의 크로마 매핑을 수행하기 위한 수단 - 상기 컬러의 밝기가 상기 타겟 컬러의 밝기 초과인 경우, 밝기에 적용된 크로마의 감소 함수에 의해 상기 제1 컬러 영역 경계 상에서 컬러의 크로마를 일정한 밝기로 매핑하고(523), 상기 타겟 컬러의 밝기 및 백색의 밝기에 적용된 상기 감소 함수의 각각의 출력들은 상기 타겟 컬러의 크로마 및 상기 백색의 크로마임 -
    을 더 포함하는 것을 특징으로 하는 디바이스.
  10. 제9항에 있어서,
    상기 타겟 컬러의 밝기는 상기 제1 컬러 영역의 최대 크로마의 컬러의 밝기(L2)와 상기 제2 컬러 영역의 최대 크로마의 컬러의 밝기(L3) 사이의 선형 보간인 디바이스.
  11. 제9항에 있어서,
    상기 타겟 컬러의 밝기는 상기 제1 컬러 영역의 최대 크로마의 컬러의 밝기(L2)와 동일한 디바이스.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 제1 컬러 영역의 상기 최대 크로마의 컬러는 원색들 및 보조색들의 그룹으로부터 선택되는 디바이스.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 증가 또는 감소 함수는 구분적 아핀 함수인 디바이스.
  14. SDR 비디오 및 반전가능한 영역 매핑에 사용되는 파라미터들에 대한 메타데이터를 저장하는 콘텐츠를 갖는 비일시적 프로세서 판독가능 매체로서, 상기 SDR 비디오는 제1항 또는 제4항에 따른 영역 매핑을 위한 방법을 사용하여 처리되고, 영역 매핑에 사용되는 파라미터들에 대한 메타데이터는 croppingModeSCG 및 cmWeightFactor를 포함하는 비일시적 프로세서 판독가능 매체.
  15. SDR 비디오 및 반전가능한 영역 매핑에 사용되는 파라미터 값들을 갖는 신호로서, 상기 SDR 비디오는 제1항 또는 제4항에 따른 영역 매핑을 위한 방법을 사용하여 처리되고, 영역 매핑에 사용되는 상기 파라미터들은 croppingModeSCG 및 cmWeightFactor를 포함하는 신호.
KR1020197035087A 2017-05-02 2018-04-26 컬러 영역 매핑을 위한 방법 및 디바이스 KR20200002029A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17305495.8A EP3399735A1 (en) 2017-05-02 2017-05-02 Method and device for color gamut mapping
EP17305495.8 2017-05-02
PCT/EP2018/060702 WO2018202531A1 (en) 2017-05-02 2018-04-26 Method and device for color gamut mapping

Publications (1)

Publication Number Publication Date
KR20200002029A true KR20200002029A (ko) 2020-01-07

Family

ID=58701580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035087A KR20200002029A (ko) 2017-05-02 2018-04-26 컬러 영역 매핑을 위한 방법 및 디바이스

Country Status (7)

Country Link
US (1) US11095864B2 (ko)
EP (2) EP3399735A1 (ko)
KR (1) KR20200002029A (ko)
CN (1) CN110741623B (ko)
BR (1) BR112019022968A2 (ko)
MX (1) MX2019013092A (ko)
WO (1) WO2018202531A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
CN111836029B (zh) * 2019-04-18 2022-03-15 福州瑞芯微电子股份有限公司 一种基于色域映射的白平衡调整方法、系统及白平衡终端
EP3873096A1 (en) * 2020-02-25 2021-09-01 Koninklijke Philips N.V. Improved hdr color processing for saturated colors
CN116506630A (zh) * 2022-01-18 2023-07-28 华为技术有限公司 一种图像采集方法、图像显示方法及装置
CN116363232B (zh) * 2022-07-14 2024-02-09 上海玄戒技术有限公司 色域压缩方法、装置、电子设备、芯片及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602537B2 (en) 2004-05-06 2009-10-13 Canon Kabushiki Kaisha Gamut mapping with primary color rotation
KR100601867B1 (ko) * 2004-06-11 2006-07-19 삼성전자주식회사 벡터 스트레칭을 이용한 색역 매핑 장치 및 방법
KR100605164B1 (ko) 2005-01-28 2006-07-28 삼성전자주식회사 색역 매핑 장치 및 그 방법
JP2007013626A (ja) 2005-06-30 2007-01-18 Canon Inc 色処理方法および装置
US20070097389A1 (en) 2005-10-28 2007-05-03 Hewlett-Packard Development Company, L.P. Color set mapping
KR100834762B1 (ko) * 2006-09-29 2008-06-05 삼성전자주식회사 이 기종간 색역 사상 방법 및 장치
CN101169928B (zh) * 2006-10-27 2011-06-22 财团法人工业技术研究院 色彩调整电路、数字色彩调整装置与应用其的多媒体装置
JP4996338B2 (ja) * 2007-05-21 2012-08-08 キヤノン株式会社 色処理方法および色処理装置
EP2375719A1 (en) * 2010-04-09 2011-10-12 Thomson Licensing Color gamut mapping method having one step preserving the lightness of the cusp colors
US20130050245A1 (en) 2010-05-13 2013-02-28 Dolby Laboratories Licensing Corporation Gamut Compression for Video Display Devices
JP5880253B2 (ja) 2012-04-25 2016-03-08 富士ゼロックス株式会社 色処理装置及び色処理プログラム
JP6229625B2 (ja) 2014-09-24 2017-11-15 株式会社Jvcケンウッド 色域変換装置、色域変換方法および色域変換プログラム
EP3096510A1 (en) * 2015-05-18 2016-11-23 Thomson Licensing Method and device for processing color image data representing colors of a color gamut
JP2017011490A (ja) 2015-06-22 2017-01-12 株式会社リコー 配信サーバ装置、配信方法及び配信システム
EP3110128A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Color gamut mapping based on the mapping of cusp colors obtained through simplified cusp lines
EP3396936A1 (en) * 2017-04-27 2018-10-31 Thomson Licensing Method and device for color gamut mapping

Also Published As

Publication number Publication date
EP3399735A1 (en) 2018-11-07
US11095864B2 (en) 2021-08-17
BR112019022968A2 (pt) 2020-05-19
CN110741623B (zh) 2021-11-30
MX2019013092A (es) 2020-02-12
EP3619912B1 (en) 2023-11-08
WO2018202531A1 (en) 2018-11-08
CN110741623A (zh) 2020-01-31
US20200404234A1 (en) 2020-12-24
EP3619912A1 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
US11671550B2 (en) Method and device for color gamut mapping
EP3616395B1 (en) Method and device for color gamut mapping
US11095864B2 (en) Method and device for color gamut mapping
KR20200081386A (ko) 제1 이미지로부터 제2 이미지를 생성하기 위한 방법 및 디바이스
KR102537393B1 (ko) Hdr 이미지를 재구성하기 위한 방법 및 디바이스
US20230351561A1 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
KR20190117686A (ko) 높은 동적 범위 이미지를 디코딩하기 위한 방법 및 디바이스
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
EP3528201A1 (en) Method and device for controlling saturation in a hdr image
KR20210029194A (ko) 이미지를 인코딩하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal