KR20180054623A - Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정 - Google Patents

Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정 Download PDF

Info

Publication number
KR20180054623A
KR20180054623A KR1020187007713A KR20187007713A KR20180054623A KR 20180054623 A KR20180054623 A KR 20180054623A KR 1020187007713 A KR1020187007713 A KR 1020187007713A KR 20187007713 A KR20187007713 A KR 20187007713A KR 20180054623 A KR20180054623 A KR 20180054623A
Authority
KR
South Korea
Prior art keywords
luminance
samples
chroma
sample
decoder
Prior art date
Application number
KR1020187007713A
Other languages
English (en)
Other versions
KR102538197B1 (ko
Inventor
르앙네 파브리스 레
세바스띠앙 라세르
에두아르 프랑수아
프랑끄 갈팽
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180054623A publication Critical patent/KR20180054623A/ko
Application granted granted Critical
Publication of KR102538197B1 publication Critical patent/KR102538197B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T5/007
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

공통 공간에서의 크라마 샘플 포지션과 연관된 루미넌스 샘플을 결정하는 단계 (33, 44); 및 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플을 적용하는 단계 (34, 492) 를 포함하는, 디코더 또는 인코더에서 컬러 샘플들을 처리하기 위해 사용된 루미넌스 값을 결정하는 방법이 제공된다.

Description

HDR 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정
본 개시는 일반적으로 비디오 인코딩 및/또는 디코딩에 관한 것으로, 특히 컬러 스페이싱을 이용한 비디오 인코딩 및/또는 디코딩에 관한 것이다.
디지털 신호 처리에서, 데이터 압축은 데이터 송신에서 매우 중요하게 되었다. 데이터 파일의 크기를 줄이는 프로세스를 데이터 압축이라고 한다. 압축은 데이터 저장 공간 또는 송신 용량과 같은 자원 사용을 줄이는데 도움이 되므로 유용하다. 그러나, 일단 데이터가 압축되면, 압축해제되어 사용할 수 있게 된다. 압축된 데이터는 사용하기 위해 압축 해제되어야 하므로, 이 추가 처리는 압축 해제를 통해 계산 또는 기타 비용을 부과한다. 또한, 데이터 압축 스키마의 설계는 압축 정도, (손실된 데이터 압축을 사용할 때) 도입되는 왜곡의 양, 및 데이터 압축 및 압축 해제에 필요한 계산 리소스를 포함한 다양한 팩터들 간의 트레이드 오프를 수반한다. 예를 들어, 비디오 압축 스키마는 비디오가 압축 해제될 때 볼 수 있을 정도로 충분히 빨리 압축 해제하려면 고가의 하드웨어를 필요로할 수도 있다. 비디오를 보기 전에 비디오를 완전히 압축 해제하는 옵션은 불편하거나 또는 추가적인 스토리지를 필요로 할 수도 있다.
비디오 압축에서, 이러한 트레이드 오프는 비압축 비디오가 매우 높은 데이터 레이트를 필요로 하므로 매우 중요한 고려 사항이 될 수 있다. 대부분의 비디오 압축 알고리즘은 공간 이미지 압축과 시간적 모션 보상을 결합한다. 또한, 비디오 압축 스트림은 하나의 패키지에서 오디오 스트림을 동반한다. 따라서, 대부분의 비디오 코딩 표준의 설계에서, 주요한 목표는 가장 높은 코딩 효율을 갖는 것을 목표로 한다. 코딩 효율은 특정 수준의 비디오 품질을 유지하면서 최저의 가능한 비트 레이트로 비디오를 인코딩하는 능력이다. 비디오 품질과 비트 레이트 사이의 트레이드 오프는 최근 수년 동안 많은 실제적 과제를 야기했다.
고효율 비디오 코딩 (이하 HEVC) 은 인기를 얻고 있는 비디오 압축 표준이다. 이러한 인기가 있는 이유는 HEVC가 동일한 수준의 비디오 품질에 비해 데이터 압축 레이트를 두 배로 높일 수 있기 때문이다. HEVC는 컬러 스페이싱, 스케일러블 코딩 확장 및 멀티뷰 확장과 같은 여러가지 기술을 지원한다. 더욱이, HEVC 비디오 압축 표준은, 무엇보다도, 소위 적합성 포인트 (conformance point) 에 따라 동작하는 비디오 디코딩 프로세스를 특정한다. 적합성 포인트는, 비디오 디코딩 및 렌더링 프로세스에서, 디코딩된 비디오 시퀀스와 HEVC 표준의 적합성이 검사될 수 있는 포인트에 대응한다. 임의의 후속 동작이 디코딩된 픽처 성분에 적용되기 이전에, 비디오 디코더의 고정 소수점 숫자 출력에 해당한다. 그러나, 대부분의 경우 이러한 기능들을 동시에 사용할 수 없었다. 따라서, 이러한 기능 중 일부를 동시에 최대한 활용할 수 있는 기술이 바람직하다.
픽처/비디오, 특히 고 동적 범위의 픽처/비디오를 인코딩 및 디코딩하기 위한 다른 기술들이 제안되어 왔다.
도 1은 종래의 고 동적 범위 (이하 HDR (high dynamic range)) 디코딩 워크플로우를 도시한 블록도이다. 대부분의 HDR 이미징 기술에서, 표준 디지털 이미징 또는 포토그래피 기술로 가능한 것보다 더 큰 동적 범위의 광도를 재현하기 위해 이미징 및 포토그래피가 사용된다. 이 기술은 비디오 및 이미지 전송 동안 유지되어야 하는 우수한 이미지들을 생성한다. 이를 위해, 도 1에 도시된 바와 같이, 일반적인 HDR 재구성 시스템 (HDR 재구성 (12), 컬러 업-샘플링 (13), HDR 후처리 (14)) 은, HEVC 디코더에 의해 생성된 디코딩된 비디오 시퀀스로부터 HDR 컨텐츠를 복원하는 것을 목표로 하는, 레거시 (HEVC) 비디오 디코더 (11) 이후에 배치된다. 대부분의 비디오 분배 사용 케이스에서, HEVC 코딩된 시퀀스는 4:2:0 크로마 포맷으로 표현되고, 컴포넌트 샘플은 10 비트 고정 소수점 숫자로 표현된다.
HDR 이미지는 여러개의 저 동적 범위 (LDR; low-dynamic-range) 또는 표준 동적 범위 (SDR; standard-dynamic-range) 사진을 병합하여 얻어지는 컴퓨터 렌더링 및 이미지일 수 있다. 또한, HDR 이미지는 오버샘플링된 바이너리 이미지 센서와 같은 특수 이미지 센서를 사용하여 또한 획득될 수 있다. 압축된 HDR 비디오를 배포하는 맥락에서, HDR을 대표하는 관련 SDR 비디오를 보다 제한된 동적 범위로 동시에 배포할 때, 몇 가지 과제가 있다. 이들 과제는, SDR 연관 비디오가 없는 경우에 경감되며, 결과적으로 SDR 비디오의 발생도 또한 해결될 과제의 일부이다.
도 1을 다시 참조하면, HEVC 코딩된 시퀀스들로 사용될 수 있는 디코더 및 특히 HDR 이미징을 사용하는 디코더는 4:2:0 크로마 샘플링로 샘플당 8 비트 내지 10 비트의 비트 심도를 허용하는 프로파일을 가져야 한다. 이러한 HEVC 디코더는 더 많은 수의 컬러를 허용하는 더 높은 비트 심도로 만들어진 비트스트림을 디코딩하고, 그리고 컬러 밴딩의 문제를 최화하하는 컬러의 더 부드러운 천이를 허용하기 위해 더 높은 비트 심도를 수용해야 한다. 도 1에서 사용된 예에서, HDR 재구성 프로세스의 대부분은 4:4:4 포맷으로 수행되는 반면, HEVC 코딩/디코딩 프로세스에서 고전적으로 사용되는 컬러 포맷은 4:2:0 이다. 결과는 HDR 재구성 프로세스의 높은 계산 복잡성이다.
더욱이, HEVC 비디오 압축 표준은, 무엇보다도, 소위 적합성 포인트 (conformance point) 에 따라 동작하는 비디오 디코딩 프로세스를 특정한다. 적합성 포인트는, 비디오 디코딩 및 렌더링 프로세스에서, 디코딩된 비디오 시퀀스와 HEVC 표준의 적합성이 검사될 수 있는 포인트에 대응한다. 임의의 후속 연산이 (크로마 업-샘플링, 컬러 공간 변환 및/또는 출력 디스플레이에 대한 비디오 신호 적응과 같이) 디코딩된 픽처 성분에 적용되기 이전에, 비디오 디코더의 고정 소수점 출력에 해당한다. 4:2:0 내지 4:4:4 크로마 업-샘플링 직전에, MPEG/HDR 비디오 압축을 위해 무빙 픽처 엑스퍼트 그룹 (이하 MPEG (Moving Picture Expert Group)) 표준화체에 의해 고려될 수 있는 적합성 포인트가 위치해 있다.
또한, 2015 년 8 월 24 일 출원된 유럽 특허 출원 n°15290214.4는 픽처/비디오 인코딩 및 디코딩 기술을 개시하여, 고 동적 범위의 픽처/비디오의 인코딩 및 디코딩을 가능하게 한다. 이러한 기술은, 인코더 측에서, 예를 들어, 레거시 SDR 워크플로우와 호환 가능한 포맷으로 표현된 SDR 픽처로 HDR 픽처를 매핑하는 것에 의존한다. 예시적으로, 포맷은 고해상도 TV (표준 ITU-R Rec BT.709에 의해 정의됨) 에 전용인 8 비트 YUV 포맷이거나 또는 초고해상도 TV (표준 ITU-R Rec BT.2020에 의해 정의됨) 에 전용인 10 비트 YUV 포맷일 수 있다. 그것은 레거시 SDR 이미지 코더를 사용하여 획득된 SDR 픽처를 인코딩하는 것을 더 포함한다. 예를 들어, 코더는 예를 들어 HEVC (또는 워크플로우에 의해 실행 가능한 임의의 다른 코덱) 의 표준 8 비트 h264/AVC 메인 프로파일 또는 표준 10 비트 HEVC 메인 프로파일일 수 있다. 또한, 분배 스킴은 획득된 인코딩된 SDR 픽처의 비트스트림을 분배하는 것을 포함한다. 디코더 측에서, 어드레싱된 사용자에 따라 두 가지 시나리오가 가능하다. 제 1 시나리오에서, 디코딩된 SDR 픽처는 분배된 비트스트림으로부터 얻어지고 SDR 가능 디바이스 상에 디스플레이된다.
제 2 시나리오에서, 디코딩된 HDR 픽처는 디코딩된 SDR 픽처를 먼저 얻고 디코딩된 SDR 픽처로부터 디코딩된 HDR 픽처로의 매핑을 두번째 적용함으로써 분배된 비트스트림으로부터 얻어진다.
HEVC 디코더를 구현하는 기술에 따르면, SDR 투 HDR 매핑 프로세스의 대부분은, 매핍 프로세스의 초기에 4:2:0 내지 4:4:4 업-샘플링을 수행하도록 구성되지 않은, XYZ 컬러 공간의 사용으로 인해, 4:4:4 크로마 포맷으로 디코딩된 컬러 픽처에 적용된다. 결과는 높은 계산 복잡도 디코더이다.
따라서 도메인은, 공정의 대부분이 4:2:0 도메인에서 수행되는, HDR 디코딩 프로세스를 갖는 것이 바람직할 것이다. 더욱이, 디코딩의 출력이 10-비트 정수 샘플들로 표현되는 HDR 디코딩 프로세스를 갖는 것이 바람직할 수 있어서, HDR 디코딩 프로세스는 확립된 표준 HDR 비디오 신호를 준수하는 HDR 신호를 생성한다.
추가적인 특징 및 장점은 본 원리의 기술을 통해 실현된다. 이 원리의 다른 실시형태 및 양태는 본 명세서에 상세히 설명되고 청구항의 일부로 간주된다. 장점과 특징이 있는 원리를 더 잘 이해하기 위해, 설명과 도면을 참조한다.
모든 관련된 코딩/디코딩 단계들에서 공통적으로 사용되는 공간 내의 크로마 샘플 포지션과 연관된 루미넌스 샘플을 결정하는 단계; 및 크로마 샘플에 적용되는 루미넌스에 의존하는 프로세서에서 결정된 루미넌스 샘플을 채용하는 단계를 포함하는, 디코더 또는 인코더에서 컬러 샘플들을 처리하기 위해 사용된 루미넌스 값을 결정하는 방법이 제공된다.
이 원리는 다음의 실시형태 및 실행 예들에 의해, 제한적이지는 않지만 첨부된 도면을 참조하여 더 잘 이해되고 예시될 것이다:
- 도 1 은 종래 기술에 따른 디코딩 워크플로우 및 적합성 포인트를 도시한 블록도를 도시한다.
- 도 2는 본 원리의 일례에 따른 컬러 스페이싱 스킴을 사용하는 디코딩 기술을 도시한 흐름도이다.
- 도 3 은 본 원리의 일례에 따른 동기식 코-로케이터를 갖는 디코더를 도시한 블록도이다.
- 도 4는 본 원리의 일례에 따른 재형상화 피처를 갖는 인코딩 기술을 도시한 블록도이다.
- 도 5 는 본 원리의 일례에 따른 디바이스의 아키텍처의 예를 도시한다.
도 1 내지 도 4에서, 표현된 블록은 순수하게 기능적인 엔티티이며, 물리적으로 분리된 엔티티에 반드시 대응하는 것은 아니다. 즉, 이들은 소프트웨어, 하드웨어의 형태로 개발될 수 있거나, 또는 하나 이상의 프로세서를 포함하는 하나 또는 수개의 집적 회로로 구현될 수 있다.
가능하면, 도면 전체에 걸쳐 동일한 참조 번호가 동일하거나 유사한 부분을 나타내기 위해 사용될 것이다.
본 원리의 도면 및 설명은, 일반적인 디지털 멀티미디어 콘텐츠 전달 방법 및 시스템에서 발견된 많은 다른 엘리먼트를 명확성을 위해 제거하면서, 본 원리의 명확한 이해와 관련된 엘리먼트를 나타내기 위해 단순화된 것으로 이해된다. 그러나, 그러한 엘리먼트는 당업계에 잘 알려져 있으므로, 그러한 엘리먼트에 대한 상세한 설명은 여기에 제공되지 않는다. 본원의 개시는 그러한 모든 변형 및 수정에 관한 것이다.
본 원리는, 공통 공간에서의 크라마 샘플 포지션과 연관된 루미넌스 샘플을 결정하는 단계; 및 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플을 적용하는 단계를 포함하는, 디코더 또는 인코더에서 컬러 샘플들을 처리하기 위해 사용된 루미넌스 값을 결정하는 방법을 제공하는 것이다.
적어도 하나의 실시형태에 따르면, 본 개시는 대부분의 프로세스가 4:2:0 크로마 포맷으로 수행되는 HDR 인코딩 또는 디코딩 프로세스를 제공한다.
또한, 적어도 하나의 실시형태에 따르면, 본 개시는 인코딩의 입력 및 디코딩의 출력이 10 비트 정수 샘플로 표현되는 HDR 인코딩 또는 디코딩 프로세스를 제공한다.
도 2는 HDR 픽처를 디코딩하고 재구성하는 주요 단계가 4:2:0 포맷으로 수행되는 디코딩의 일례를 도시한다. 예를 들어, 도 2에 도시된 디코더는, "마스터링 레퍼런스 디스플레이의 FCD SMPTE 표준 고 동적 범위 전기광학 전달 함수 (FCD SMPTE Standard High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays), SMPTE ST2084:201X, 버전 1.24, 2014-06-18"에 개시된 EOTF와 같은 표준 ST2084 전달 함수 TF를 통해 얻은 비선형 (R,G,B) 컬러 샘플에 기초하여 계산된, YCbCr 일정한 루미넌스 BT2020 컬러 공간에서의 컬러 업-샘플링을 수행한다.
또한, 양호한 HDR 압축 효율을 보장하기 위해, 디코더와 동기식으로 크로마 다운-샘플링이 수행될 수 있는 HDR 인코딩 프로세스가 제안된다. 이것은, 디코더 및 인코더에 대해 도 3 및 도 4에 각각 도시된 블록도들에서 제공된다.
예를 들어, 도 2에 도시된 디코딩 기술은 입력 HDR 비트스트림으로부터 적어도 하나의 선형 RGB HDR 픽처를 재구성하는 것을 목표로 한다.
단계 21에서, 입력 HDR 비트스트림이, SDR 컨텐츠를 나타내는
Figure pct00001
루마 및 크로마 샘플로 디코딩된다. 디코딩은 예를 들어 HEVC 비디오 코딩 표준을 따른다. HEVC 디코딩된 4:2:0 10 비트 픽처에는 두 개의 연속적인 컬러 변환 단계가 적용된다.
제 1 컬러 변환 단계 22 는 HEVC 코딩/디코딩에 사용된 YCbCr 컬러 공간에서 HEVC 디코더에 의해 (또는 HEVC 디코딩 후에 동작하는 다른 처리 스테이지에 의해) 주어진 적어도 하나의 디코딩된 픽처 (단계 21) 에 적용된다. SDR을 동적으로 유지하면서 컬러 성분을 수정하는 것을 목표로 한다. 제 1 컬러 변환 단계 22 의 출력은 재구성된 픽처 또는 픽처 샘플이며, 루미넌스 및 크로마 샘플
Figure pct00002
은 하기 식을 통해 얻어진다:
Figure pct00003
Figure pct00004
는 비선형 함수이다.
예를 들어, Y의 함수로서
Figure pct00005
의 값은 (http://www.etsi.org/deliver/etsi_ts/103400_103499/103433/01.01.01_60/ts_103433v010101p.pdf.에 위치한) 표준 "ETSI TS 103 433" 의 에넥스 C.2.3 에 특정된 바와 같이, 룩-업 테이블 (LUT) 에 정의될 수 있다.
상기 식에서,
Figure pct00006
는 풀 해상도 루미넌스 샘플 Y로부터 유도된 루미넌스 샘플 값 L에 대응하고, 현재 고려되는
Figure pct00007
Figure pct00008
크로미넌스 샘플에 대응하는 공간 포지션에서 루미넌스 값을 제공하는 것을 목표로 한다.
Figure pct00009
의 결정은 통상적으로 현재
Figure pct00010
샘플 포지션에 가까이 위치한 2 또는 4개의 루미넌스 샘플들 사이의 공간 보간 프로세스에 대응한다. 예를 들어, 이것은 바이-선형 (bi-선형) 또는 바이-큐빅 (bi-cubic) 보간일 수 있다. 간단하고, 더 빠른 변형에 따르면, 주어진 (U',V') 샘플 포지션의 코-로케이팅된 샘플
Figure pct00011
은 공간 포지션 측면에서 (U',V') 의 좌상부 최근접한 이웃 루미넌스 샘플로서 선택될 수 있다.
Figure pct00012
은 선택적 루마 샘플 보정 이후에 비디오 (HEVE) 디코더에 의해 제공된 루마 값이다.
예비 루미넌스 샘플 보정이 구현되는 경우 (선택적 단계),
Figure pct00013
은 다음과 같이 결정될 수 있다:
Figure pct00014
a 및 b 는 상수 값이다. 예를 들어, 값 a 및 b 는 포함되는 0 내지 0.5 로 구성된다. 이들 값 사이의 값들은 2 개의 연속적인 값들 사이에서 1/1638의 단계들로 선택될 수 있다.
이 경우, 코-로케이팅된
Figure pct00015
Figure pct00016
크로마 샘플들은 각각의 보정된 루미넌스 샘플 L' 에 대해 결정되어야 한다. 또한, 주어진 루미넌스 샘플
Figure pct00017
의 코-로케이팅된
Figure pct00018
은 공간 포지션 측면에서 현재
Figure pct00019
샘플을 둘러싸는 수개의
Figure pct00020
Figure pct00021
샘플들 사이에서 각각 보간된 값으로 이루어질 수 있다.
더 간단하고, 더 빠른 변형에 따르면, 좌상부 최근접한
Figure pct00022
샘플은 주어진 루미넌스 샘플
Figure pct00023
의 코-로케이팅된 샘플로서 선택될 수 있다.
변형에 따르면,
Figure pct00024
은 다음과 같이 결정될 수 있다:
Figure pct00025
제 2 컬러 변환 단계 23, 또는 크로마 변환 단계는 감소된 해상도로 2개의 재구성된 크로마 샘플들
Figure pct00026
에 적용되는데, 그 이유는 4:2:0 10 비트 도메인에서 수행되기 때문이다. 크로마 변환 단계 23 은 다음과 같이 정의된 전달 함수 TF를 통해 얻은 비선형 (R,G,B) 컬러 샘플들로부터 계산된 크로마 샘플들
Figure pct00027
을 출력한다:
Figure pct00028
단:
A: YUV 컬러 공간으로부터 RGB 컬러 공간으로의 변환 매트릭스,
Figure pct00029
: 3개의 상수, 및
Figure pct00030
은 ITU-R BT2020 규격에 특정된 바와 같이 YTF 상에 적용된 선형 연산을 나타냄:
Figure pct00031
P B = 0.7910, N B = -0.9702, P R = 0.4969, N R = -0.8591.
Figure pct00032
는 예를 들어, (L',U',V') 가 포함된 컬러 공간이 ITU-R BT709 인 경우 각각 (-0.27372,-0.68402,-0.12562) 와 동일할 수 있다.
Figure pct00033
는 예를 들어, (L',U',V') 가 포함된 컬러 공간이 ITU-R BT709 인 경우 각각 (-0.22826,-0.79256,-0.12749) 와 동일할 수 있다.
또한, 디코딩된 픽처의 루마 성분은, 표준 전달 함수 TF 의 도움으로 표현되기 위해, 별도의 채널에서 단계 24로 처리된다:
Figure pct00034
식 중
Figure pct00035
은, 가능하게는 보정 이후, 비디오 (HEVC) 디코더에 의해 제공된 루마 값이고,
Figure pct00036
는 인코더 측의 루미넌스에 적용된 비선형성의 역이다.
포맷 4:2:0 로부터 4:4:4 로의 크로마 업샘플링 단계 25 는 이후 성분
Figure pct00037
에 적용된다.
크로마 업-샘플링 단계 25 이후에 수행된 나머지 연산은 다음과 같다:
Figure pct00038
매트릭스 컬러 변환 단계 26 및 역 전달 단계 27:
이들 단계들은 U TF V TF 성분 계산의 역을 적용함으로써 비선형 RGB 컬러 공간의 비선형
Figure pct00039
Figure pct00040
성분 샘플들의 인출을 가능하게 한다.
매트릭스 컬러 변환 단계 26 의 출력은 성분들
Figure pct00041
이고, 역 전달 단계 27 의 출력은 다음과 같이
Figure pct00042
이다:
Figure pct00043
Figure pct00044
최종 매트릭스 컬러 보정 28:
이 단계는 ITU-R BT2020 규격에 정의된 관계에 따라 선형-라이트 루미넌스 Y, 선형-라이트 R 및 선형-라이트 B 의 함수로서의 선형 G 성분의 인출을 가능하게 한다:
Figure pct00045
.
크로마 업-샘플링 25 이후에 구현된, 매트릭스 컬러 변환 26, 역 전달 단계 27 및 최종 매트릭스 컬러 변환 28 은, 표준 ST2084 전달 함수를 이용한 YCbCr 일정 루미넌스 BT2020 컬러 공간과 같이 표준 비디오 유용성 정보 (VUI (Video Usability Information), HEVC 표준 규격에서 정의됨) 가 고려될 때 유용하다. 결과적으로, 4:2:0 내지 4:4:4 크로마 업-샘플링을 수행하는 디코딩된 비디오 신호의 포맷을 특정할 수 있는 특정 SEI 메시지를 정의할 필요가 없다.
최종 매트릭스 컬러 변환 28의 출력은 적어도 하나의 선형 RGB HDR 샘플이다.
도 2를 보면, 다양한 디코딩 연산들이 크로마 성분 샘플들에 적용되는 일부 연산을 수반하고, 이들 크로마 성분 샘플과 연관된 루미넌스 샘플 값에 의존한다는 점에서, 도시된 디코더는 코-로케이팅된 루미넌스 샘플 관리 측면에서 비동기식이다. 픽처가 하나의 루미넌스 및 2개의 크로미넌스 성분들로 만들어진 4:2:0 컬러 공간에서 표현되는 경우, 2개의 컬러 성분들 (Cb,Cr) 은 폭 및 높이 모두에서 루미넌스 성분의 크기의 절반인 공간 크기를 갖는다. 따라서, (Cb,Cr) 샘플을 변경하는 경우, 하나는 이러한 크로마 샘플에 공간적으로 대응하는 루미넌스 값을 인출해야 한다. 소위 '코-로케이팅된' 루미넌스 또는 루마 샘플이 이후 고려되며, 이것은 고려되는 크로마 샘플 주위에 공간적으로 위치한 루마 샘플의 함수로서 유도된다. 하지만, 도 2에 나타낸 HDR 디코딩 시스템에서, 코-로케이팅된 루미넌스 샘플은 코딩 또는 디코딩 스테이지에 따라 변하는 컬러 공간에서 결정된다. 이것은 비최적의 HDR 압축 성능을 초래한다.
일 실시형태에서, 과제는 도 3 및 도 4 에 도시된 HDR 코딩/디코딩 스킴에 의해 해결될 수 있다. 도 3 및 도 4 의 HDR 디코더 및 인코더 스킴은 이러한 비동기화된 코-로케이팅된 루미넌스 샘플 결정으로부터 발행된 아티팩트들을 감소시킨다.
특히, 도 3 및 도 4 모두에 나타낸 디코더 및 인코더는 동일한 YCbCr 일정한 루미넌스 BT2020 컬러 공간과 같이 크로마 업 및 다운-샘플링을 수행하기 위해 동일한 컬러 공간 내에서 동작한다. 포맷 4:2:0 로부터 4:4:4 로의 업-샘플링은 이러한 특정 컬러 공간에 잘 적합하여, 디코딩 프로세스가 4:2:0 포맷에 주로 구현될 수 있게 한다.
하지만, 다른 컬러 공간들도 또한 사용될 수 있다.
추가로, 도 3 및 도 4에 나타낸 실시형태들에서, 코-로케이팅된 크로미넌스 샘플들
Figure pct00046
Figure pct00047
을 정의할 필요가 없다. 단지 코-로케이팅된 루미넌스 샘플
Figure pct00048
만이 정의될 필요가 있다. 이들 실시형태에 따르면, 코-로케이팅된 루미넌스 샘플
Figure pct00049
은 인코딩 측 및 디코딩 측의 동일한 컬러 공간에서 결정될 수 있다.
도 3의 디코더는, 일 실시형태에서, 주어진 컬러 샘플과 연관되는 코-로케이팅된 루미넌스 샘플을 제공한다. 고려된 컬러 샘플에 적용된 루미넌스 의존적인 연산이 무엇이든간에, 이러한 샘플은 다운-샘플링된 컬러 성분에 포함되고 프로세스는 동일한 도메인에서 수행된다.
본 실시형태에서, 도 4 의 실시형태는, 디코더 측에서 크로마 업-샘플링을 수행하기 위해 사용된 컬러 공간과 동일한 공간에서, 컬러 다운-샘플링이 HDR-투-SDR 매핑 프로세스 이전에 수행되는 HDR 비디오 인코딩 스킴으로 이루어진다.
도 3 및 도 4 를 함께 취하면, 하나의 실시형태에서, 디코더/인코더 스킴에서 컬러 샘플들을 처리하기 위해 루미넌스 값을 결정하는 방법이 사용된다. 본 실시형태에서, 먼저 공통 공간에서의 크로마 샘플 포지션과 연관되는 루미넌스 샘플이 결정된다. 후속하여, 결정된 루미넌스 샘플은 크로마 샘플들에 적용되는 루미넌스에 의존하는 프로세스에서 적용된다. 하나의 실시형태에서, 공통 공간은 표준 전달 함수를 적용하는 경우 얻어지는 비선형 루미넌스 공간을 도시된 바와 같이 포함할 수 있다. 또한, 표준 전달 함수는 수용될 수 있는 PQ 로도 불리는 SMPTE ST2084 역 전기 광학 전달 함수 (EOTF) 를 포함한다.
하나의 실시형태에서, 루미넌스 샘플은 크로마 샘플에 가깝게 위치된 비선형 픽셀 값들의 평균 값을 계산함으로써 결정될 수 있다.
주어진 컬러 샘플과 연관되는 코-로케이팅된 루미넌스 샘플을 제공하기 위해서, 적어도 하나의 실시형태에 따른 디코딩 방법은 도 3 에 나타낸 다음의 단계들을 포함한다.
다시 한번, EOTF 와 같은 표준 ST2084 전달 함수 TF 를 통해 얻은 비선형 (R,G,B) 컬러 샘플들에 계산된, YCbCr 일정한 루미넌스 BT2020 컬러 공간에서 디코더가 컬러 업-샘플링을 수행하는 것을 고려한다. 하지만, 다른 컬러 공간 또는 다른 전달 함수가 고려될 수 있다.
단계 31 에서, 입력 HDR 비트스트림은 SDR 컨텐츠를 나타내는
Figure pct00050
루마 및 크로마 샘플들로 디코딩된다. 디코딩은 예를 들어 HEVC 비디오 코딩 표준에 부합된다.
루마 재형상화 단계 321 은 풀 해상도 루미넌스 성분
Figure pct00051
를 비선형 표준 지각 공간으로 변환하기 위해 적용될 수 있다:
Figure pct00052
식 중
Figure pct00053
는 비디오 (HEVC) 디코더에 의해 제공된 루마 값이고,
Figure pct00054
은 선택적 루미넌스 샘플 보정 단계가 도 3 에서 제거되기 때문에
Figure pct00055
와 동일하고, 그리고
Figure pct00056
는 인코더 측의 루미넌스에 적용된 비선형성의 역이다. 본 실시형태에서, 예비 루미넌스 샘플 보정을 적용할 필요는 없다.
단계 33 에서, 비선형 도메인에서의 코-로케이팅된 루미넌스 샘플,
Figure pct00057
, 은 각각의 크로마 샘플에 대해 얻어진다. 이러한 단계는 공통 공간에서의 크로마 샘플 포지션과 연관된 루미넌스 샘플 (
Figure pct00058
) 을 결정하는 것을 목표로 한다.
크로마 재형상화 단계 322, 또는 컬러 변환은 선형 성분
Figure pct00059
Figure pct00060
에 적용될 수 있다:
Figure pct00061
이러한 단계는 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플 (
Figure pct00062
) 을 적용하는 것을 목표로 한다.
선택적 단계 323 은 컬러 콘트라스트를 증가시키기 위해서 재형상화된 선형 성분
Figure pct00063
Figure pct00064
에 적용될 수 있다. 이러한 단계는 CPCE 타입 ("Colour-Preserving Contrast Enhancement") 의 필터링을 구현할 수 있다.
단계 34 에서, 크로마 보정은, 가능하게는 CPCE 필터링 이후, 2개의 재형상화된 선형 성분
Figure pct00065
Figure pct00066
에 적용된다. 크로마 보정 단계 34 는 다음과 같이 정의된 표준 ST2084 전달 함수 TF=PQ 를 통해 얻은 비선형 (R,G,B) 컬러 샘플들로부터 계산된 크로마 성분들
Figure pct00067
을 출력한다:
Figure pct00068
단:
Figure pct00069
: YUV 컬러 공간으로부터 RGB 컬러 공간으로의 변환 매트릭스,
Figure pct00070
: 3개의 상수, 및
P B = 0.7910, N B = -0.9702, P R = 0.4969, N R = -0.8591.
이후 포맷 4:2:0 로부터 4:4:4 로의 크로마 업샘플링 35 은 표준 전달 함수 TF=PQ 의 도움으로 표현된 성분들
Figure pct00071
에 적용된다.
크로마 업-샘플링 35 이후에 수행된 나머지 연산들은 도 2 와 관련하여 기재된 연산들과 유사하다:
Figure pct00072
매트릭스 컬러 변환 36 및 역 전달 단계 37:
이들 단계들은
Figure pct00073
Figure pct00074
성분 계산의 역, 즉 YCbCr 일정한 루미넌스 BT2020 컬러 공간에 대한 역 식을 적용함으로써, 비선형 RGB 컬러 공간의 비선형
Figure pct00075
Figure pct00076
성분 샘플들의 인출을 가능하게 한다.
매트릭스 컬러 변환 단계 36 의 출력은 성분들
Figure pct00077
이고, 역 전달 단계 37 의 출력은 다음과 같이
Figure pct00078
이다:
Figure pct00079
Figure pct00080
최종 매트릭스 컬러 변환 단계 38:
이 단계는 ITU-R BT2020 규격에 정의된 관계에 따라 선형-라이트 루미넌스 Y, 선형-라이트 R 및 선형-라이트 B 의 함수로서의 선형 G 성분의 인출을 가능하게 한다:
Figure pct00081
.
크로마 업-샘플링 35 이후에 구현된, 매트릭스 컬러 변환 36, 역 전달 단계 37 및 최종 매트릭스 컬러 변환 38 은 표준이고 알려져 있는 것이다. ITIU-R BT2020 표준 포맷 및 PQ 전달 함수를 구현하는 디바이스는 이들을 적용할 수 있다. 디코딩된 신호가 이 컬러 공간에 놓이는 지식은 HEVC 비트스트림에 포함된 VUI 메시지를 통해 얻으며, 이것은 표준 ST2084 전달 함수를 이용한 YCbCr 일정한 루미넌스 BT2020 컬러 공간의 사용을 나타낸다. 결과적으로, 특정 SEI 메시지를 정의할 필요가 없다.
출력은 적어도 하나의 선형 RGB HDR 샘플이다.
도 3 에 나타낸 디코더는, 동일한 전달 함수 및 컬러 공간이 사용되는 경우, 도 4 의 인코더로 코딩된 신호를 디코딩할 수 있다.
도 4 를 참조하면, PQ 전달 함수를 통해 얻은 비선형 (R,G,B) 컬러 샘플들에 기초하여 계산된, YCbCr 일정한 루미넌스 BT2020 컬러 공간에서 인코더가 컬러 다운-샘플링을 수행한다고 고려하면, 인코딩 방법은 적어도 하나의 선형-라이트 HDR (R,G,B) 샘플에 대해 다음의 단계들을 구현한다.
단계 41 에서, 선형-라이트 HDR (R,G,B) 샘플은 비선형 지각 공간으로 변환된다:
Figure pct00082
.
단계 42 에서, 현재 픽셀의 선형-라이트 루미넌스 값
Figure pct00083
은 선형-라이트 HDR (R,G,B) 샘플로부터 결정된다:
Figure pct00084
단계 43 에서, 선형-라이트 루미넌스 값
Figure pct00085
은 비선형 지각 공간으로 변환되어, 풀 해상도 비선형 루미넌스 성분
Figure pct00086
를 얻는다:
Figure pct00087
그리고 단계 44 에서, 비선형 도메인에서의 코-로케이팅된 루미넌스 샘플,
Figure pct00088
, 은 각각의 크로마 샘플에 대해 얻는다. 이러한 단계는 공통 공간에서의 크로마 샘플 포지션과 연관된 루미넌스 샘플 (
Figure pct00089
) 을 결정하는 것을 목표로 한다.
단계 45 에서, 비선형 도메인에서의 크로마 성분들
Figure pct00090
Figure pct00091
은 비선형 값들
Figure pct00092
,
Figure pct00093
Figure pct00094
로부터 계산된다. 이러한 계산은 예를 들어 ITU-R BT2020 규격 (Recommendation ITU-R BT.2020-1 (06/2014), 초 고화질을 위한 파라미터 값들, 제조 및 국제 프로그램 교환을 위한 텔레비전 시스템, BT 시리즈 브로드캐스팅 서비스 (텔레비전)) 에서 특정된다:
Figure pct00095
Figure pct00096
단계 46 에서, 크로마 성분들
Figure pct00097
Figure pct00098
Figure pct00099
Figure pct00100
로 다운-샘플링된다.
단계 47 에서, 코-로케이팅된 루미넌스 샘플 및 다운-샘플링된 크로마 성분들
Figure pct00101
은 ITU-R BT2020 규격에 따라 비선형 RGB 성분 샘플들
Figure pct00102
로 변환된다.
이로써
Figure pct00103
컬러 성분들은 입력 HDR 픽처와 비교하여 하프 해상도를 갖는다.
단계 48 에서,
Figure pct00104
컬러 성분들은, 역 함수
Figure pct00105
, 예를 들어 EOTF 함수를 적용함으로써 선형 지각 공간으로 변환되고, 이후 ITU-R BT709 권고에 가까운 비선형 함수를 수행하여, 입력 HDR 신호의 백워드 호환가능한 SDR 표현을 목표로 한다.
Figure pct00106
단계 49 에서, 선형 컬러 성분들
Figure pct00107
은 매트릭스-기반의 BT709 RGB 의 YUV 변환을 통해 선형 YUV 성분 샘플들로 변환된다:
Figure pct00108
선택적 단계 491 은 컬러 콘트라스트를 향상시키기 위해 선형 성분
Figure pct00109
Figure pct00110
에 적용될 수 있다. 이러한 단계는 CPCE 타입 ("colour-Preserving Contrast Enhancement") 의 필터링을 구현할 수 있다.
또한, 크로마 재형상화 단계 492, 또는 컬러 변환은 선형 성분
Figure pct00111
Figure pct00112
에 적용될 수 있다:
Figure pct00113
이러한 단계는 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플 (
Figure pct00114
) 에 적용된다. 그 목표는, 일단 신호가 타겟 SDR 컬러 공간에 매핑되면, 입력 HDR 신호의 지각된 컬러들을 보존하는 SDR 매핑된 컬러 성분을 생성하는 것이다.
루마 재형상화 단계 493 는 또한 풀 해상도 비선형 루미넌스 성분
Figure pct00115
에 적용될 수 있다:
Figure pct00116
Figure pct00117
이러한 단계는, 표준 HEVC 인코더와 같이, 인코더 494 에 의해 인코딩될 루마 성분을 제공한다.
이러한 크로마 재형상화 단계 및 루마 재형상화 단계는 2016 년 1 월 25 일에 출원된 국제 특허 출원 PCT/EP16/051449 에서 보다 상세히 기재된다.
도 4 에 나타낸 인코더에 따르면, 크로마 다운-샘플링은 루미넌스 및 컬러 성분들에 적용된 동적 범위 감소 단계 이전에 수행된다. 이로써 컬러 다운-샘플링은 디코더 측에서 수행된 크로마 업-샘플링과 동일한 도메인에서 수행되어, 전체 HDR 비디오 코딩/디코딩 체인의 HDR 압축 효율을 향상시킬 수 있다.
도 5 는 도 1 내지 도 4 와 관련하여 설명된 방법을 구현하도록 구성될 수도 있는 디바이스 (50) 의 예시적인 아키텍처를 표현한다.
디바이스 (50) 는 데이터 및 어드레스 버스 (51) 에 의해 함께 링크되는 다음의 엘리먼트들을 포함한다.
- 예를 들어, DSP (또는 디지털 신호 프로세서 (Digital Signal Processor)) 인 마이크로프로세서 (52) (또는 CPU);
- ROM (또는 판독 전용 메모리 (Read Only Memory)) (53);
- RAM (또는 랜덤 액세스 메모리 (Random Access Memory)) (54);
- 애플리케이션으로부터의, 송신하기 위한 데이터의 수신을 위한 I/O 인터페이스 (55); 및
- 배터리 (56)
예에 따르면, 배터리 (56) 는 디바이스의 외부에 있다. 언급된 메모리의 각각에서, 명세서에서 이용된 단어 <<레지스터 (register)>> 는 작은 용량의 영역 (일부 비트들) 또는 매우 큰 영역 (예컨대, 전체 프로그램 또는 많은 큰 양의 수신되거나 디코딩된 데이터) 에 대응할 수 있다. ROM (53) 은 적어도 프로그램 및 파라미터들을 포함한다. ROM (53) 은 본 원리들에 따라 기법들을 수행하기 위한 알고리즘들 및 명령들을 저장할 수도 있다. 스위칭 온 될 때, CPU (52) 는 RAM 에서 프로그램을 업로딩하고 대응하는 명령들을 실행한다.
RAM (54) 은 레지스터 내에, CPU (52) 에 의해 실행되고 디바이스 (50) 의 스위치 온 후에 업로딩된 프로그램, 레지스터에서의 입력 데이터, 레지스터에서의 방법의 상이한 상태들에서의 중간 데이터, 및 레지스터에서의 방법의 실행을 위하여 이용된 다른 변수들을 포함한다.
본원에서 설명된 구현예들은 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수도 있다. (예를 들어, 오직 방법 또는 디바이스로서 논의된) 단일 형태의 구현예의 맥락에서 오직 논의되더라도, 논의된 특징들의 구현예는 또한 다른 형태들 (예를 들어, 프로그램) 로 구현될 수도 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수도 있다. 방법들은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 예를 들어, 프로세서와 같은 예를 들어, 장치에서 구현될 수도 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 전화들, 휴대용/개인용 정보 단말 (portable/personal digital assistant) ("PDA") 들, 및 최종-사용자들 사이의 정보의 통신을 가능하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
디코딩 또는 디코더의 예에 따르면, 디코딩된 4:2:0 픽처들은 소스로부터 획득된다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:
- 로컬 메모리 (53 또는 54), 예컨대, 비디오 메모리 또는 RAM (또는 랜덤 액세스 메모리 (Random Access Memory)), 플래시 메모리, ROM (또는 판독 전용 메모리 (Read Only Memory)), 하드 디스크;
- 저장 인터페이스 (55), 예컨대, 대용량 스토리지, RAM, 플래시 메모리, ROM, 광학 디스크, 또는 자기적 지지체를 갖는 인터페이스;
- 통신 인터페이스 (55), 예컨대, 배선라인 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 (IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스와 같은) 무선 인터페이스; 및
- 픽처 캡처 회로 (예컨대, 예를 들어, CCD (또는 전하 결합 디바이스 (Charge-Coupled Device)) 또는 CMOS (또는 상보적 금속-옥사이드-반도체 (Complementary Metal-Oxide-Semiconductor)).
디코딩 또는 디코더의 예에 따르면, CIE XYZ 컬러 또는 RGB 컬러 스페이스와 같은 컬러 스페이스에서 표현된 재구성된 픽처는 목적지로 전송되고; 구체적으로, 목적지는 다음을 포함하는 세트에 속한다:
- 로컬 메모리 (53 또는 54), 예컨대, 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스 (55), 예컨대, 대용량 스토리지, RAM, 플래시 메모리, ROM, 광학 디스크, 또는 자기적 지지체를 갖는 인터페이스;
- 통신 인터페이스 (55), 예컨대, 배선라인 인터페이스 (예를 들어, 버스 인터페이스 (예컨대, USB (또는 유니버셜 직렬 버스 (Universal Serial Bus))), 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스, HDMI (고해상도 멀티미디어 인터페이스 (High Definition Multimedia Interface)) 인터페이스) 또는 (IEEE 802.11 인터페이스, WiFi® 또는 Bluetooth® 인터페이스와 같은) 무선 인터페이스; 및
- 디스플레이.
디코딩 또는 디코더의 예들에 따르면, 디코딩된 4:2:0 픽처들을 반송하는 비트스트림이 소스로부터 획득된다. 예시적으로, 비트스트림은 로컬 메모리, 예컨대, 비디오 메모리 (54), RAM (54), ROM (53), 플래시 메모리 (53), 또는 하드 디스크 (53) 로부터 판독된다. 변형에서, 비트스트림은 저장 인터페이스 (55), 예컨대, 대용량 스토리지, RAM, ROM, 플래시 메모리, 광학 디스크, 또는 자기적 지지체를 갖는 인터페이스로부터 수신되고, 및/또는 통신 인터페이스 (55), 예컨대, 포인트 투 포인트 링크, 버스, 포인트 투 멀티포인트 링크, 또는 브로드캐스트 네트워크에 대한 인터페이스로부터 수신된다.
예들에 따르면, 도 5와 관련하여 설명된 디코딩 방법을 구현하도록 구성되는 디바이스 (60) 는 다음을 포함하는 세트에 속한다:
- 이동 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 셋톱 박스;
- TV 세트;
- 태블릿 (또는 태블릿 컴퓨터);
- 랩톱;
- 디스플레이; 및
- 디코딩 칩.
본원에서 설명된 다양한 프로세스들 및 특징들의 구현예들은 다양한 상이한 장비 또는 애플리케이션들 내에 내장될 수도 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 입력을 인코더에 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 전화, PDA, 및 픽처 또는 비디오를 처리하기 위한 임의의 다른 디바이스 또는 다른 통신 디바이스들을 포함한다. 명확해야 하는 바와 같이, 장비는 이동식일 수도 있고, 심지어 이동 차량 내에 설치될 수도 있다.
추가적으로, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있고, 이러한 명령들 (및/또는 구현예에 의해 생성된 데이터 값들) 은 컴퓨터 판독가능 저장 매체 상에서 저장될 수도 있다. 컴퓨터 판독가능 저장 매체는, 하나 이상의 컴퓨터 판독가능 매체(들)에서 구체화되고, 컴퓨터에 의해 실행가능한 그 상에서 구체화된 컴퓨터 판독가능 프로그램 코드를 가지는 컴퓨터 판독가능 프로그램 제품의 형태를 취할 수 있다. 본원에서 이용된 바와 같은 컴퓨터 판독가능 저장 매체는, 정보를 그 안에 저장하기 위한 고유의 능력뿐만 아니라, 그로부터 정보의 취출 (retrieval) 을 제공하기 위한 고유의 능력이 주어지면, 비-일시적 저장 매체로 고려된다. 컴퓨터 판독가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 상기한 것의 임의의 적당한 조합일 수 있지만, 이것으로 제한되지는 않는다. 본 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 더욱 구체적인 예들을 제공하지만, 다음은 본 기술분야의 통상의 기술자에 의해 용이하게 이해되는 바와 같이, 단지 예시적이고 철저하지 않은 리스트라는 것이 인식되어야 한다: 휴대용 컴퓨터 디스켓; 하드 디스크; 판독-전용 메모리 (read-only memory; ROM); 소거가능 프로그래밍가능 판독-전용 메모리 (EPROM 또는 플래시 메모리 (Flash memory)); 휴대용 컴팩트 디스크 판독-전용 메모리 (compact disc read-only memory; CD-ROM); 광학 저장 디바이스; 자기 저장 디바이스; 또는 상기한 것의 임의의 적당한 조합.
명령들은 프로세서-판독가능 매체 상에서 유형적으로 구체화된 애플리케이션 프로그램을 형성할 수도 있다.
명령들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합으로 되어 있을 수도 있다. 명령들은 예를 들어, 오퍼레이팅 시스템, 별도의 애플리케이션, 또는 둘의 조합에서 발견될 수도 있다. 프로세서는 예를 들어, 프로세스를 수행하도록 구성된 디바이스, 및 프로세스를 수행하기 위한 명령들을 가지는 (저장 디바이스와 같은) 프로세서-판독가능 매체를 포함하는 디바이스의 양자로서 특징지어질 수도 있다. 또한, 프로세서-판독가능 매체는 명령들에 추가하여 또는 명령들 대신에, 구현예에 의해 생성된 데이터 값들을 저장할 수도 있다.
당해 분야의 당업자에게 명백한 바와 같이, 구현예들은 예를 들어, 저장될 수도 있거나 송신될 수도 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수도 있다. 정보는 예를 들어, 방법을 수행하기 위한 명령들, 또는 설명된 구현예들 중의 하나에 의해 생성된 데이터를 포함할 수도 있다. 예를 들어, 신호는 본 원리들의 설명된 예의 신택스를 기록하거나 판독하기 위한 규칙들을 데이터로서 반송하거나, 본 원리들의 설명된 예에 의해 기록된 실제적인 신택스-값들을 데이터로서 반송하도록 포맷팅될 수도 있다. 이러한 신호는 예를 들어, (예를 들어, 스펙트럼의 라디오 주파수 부분을 이용하는) 전자기파로서, 또는 기저대역 신호로서 포맷팅될 수도 있다. 포맷팅은 예를 들어, 데이터 스트림을 인코딩하고 캐리어를 인코딩된 데이터 스트림으로 변조하는 것을 포함할 수도 있다. 신호가 반송하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수도 있다. 신호는 알려져 있는 바와 같이, 다양한 상이한 유선 또는 무선 링크들 상에서 송신될 수도 있다. 신호는 프로세서-판독가능 매체 상에서 저장될 수도 있다.
다수의 구현예들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 행해질 수도 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현예들의 엘리먼트들은 다른 구현예들을 생성하기 위하여 조합될 수도 있거나, 보충될 수도 있거나, 수정될 수도 있거나, 제거될 수도 있다. 추가적으로, 당업자는 다른 구조들 및 프로세스들이 개시된 것들을 위하여 치환될 수도 있고 결과적인 구현예들은 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위하여 적어도 실질적으로 동일한 방법(들)으로 적어도 실질적으로 동일한 기능(들)을 수행할 것이라는 것을 이해할 것이다. 따라서, 이러한 그리고 다른 구현예들은 이 출원에 의해 고려된다.

Claims (9)

  1. 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하는 방법으로서,
    - 공통 공간에서 크로마 샘플 포지션과 연관된 루미넌스 샘플을 결정 (33, 44) 하는 단계; 및
    - 상기 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플을 적용 (34, 492) 하는 단계를 포함하는, 재구성된 루마 (Yr) 및 크로마 (Ur, Vr) 샘플들로부터 HDR 픽처를 재구성하는 방법.
  2. 제 1 항에 있어서,
    상기 공통 공간은 표준 전달 함수를 적용하는 경우 얻어진 비선형 루미넌스 공간을 포함하는, 재구성된 루마 (Yr) 및 크로마 (Ur, Vr) 샘플들로부터 HDR 픽처를 재구성하는 방법.
  3. 제 2 항에 있어서,
    상기 표준 전달 함수는 SMPTE ST2084 역 전기광학 전달 함수 (EOTF; electro-optical transfer function) 를 포함하는, 재구성된 루마 (Yr) 및 크로마 (Ur, Vr) 샘플들로부터 HDR 픽처를 재구성하는 방법.
  4. 제 1 항에 있어서,
    루미넌스 샘플을 결정하는 단계는 상기 크로마 샘플에 가까이 위치한 비선형 픽셀 값들의 평균 값을 계산하는 단계를 포함하는, 재구성된 루마 (Yr) 및 크로마 (Ur, Vr) 샘플들로부터 HDR 픽처를 재구성하는 방법.
  5. 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치로서,
    - 공통 공간에서 크로마 샘플 포지션과 연관된 루미넌스 샘플을 결정 (33, 44) 하기 위한 수단; 및
    - 상기 크로마 샘플에 적용되고 있는 루미넌스에 의존하는 프로세스에서 결정된 루미넌스 샘플을 적용 (34, 492) 하기 위한 수단을 포함하는, 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치.
  6. 제 5 항에 있어서,
    상기 공통 공간은 표준 전달 함수를 적용하는 경우 얻어진 비선형 루미넌스 공간을 포함하는, 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치.
  7. 제 6 항에 있어서,
    상기 표준 전달 함수는 SMPTE ST2084 역 전기광학 전달 함수 (EOTF) 를 포함하는, 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치.
  8. 제 5 항에 있어서,
    루미넌스 샘플을 결정하는 것은 상기 크로마 샘플에 가까이 위치한 비선형 픽셀 값들의 평균 값을 계산하는 것을 포함하는, 코더 또는 디코더에서 컬러 샘플들을 처리하기 사용된 루미넌스 값을 결정하기 위한 장치.
  9. 상기 컬러 샘플들을 처리하기 위해 사용된 루미넌스 값을 결정하기 위한 제 5 항 내지 제 8 항 중 어느 한 항에 기재된 장치를 포함하는 컬러 샘플들을 코딩 또는 디코딩하기 위한 디바이스.
KR1020187007713A 2015-09-18 2016-09-19 Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정 KR102538197B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15290234.2 2015-09-18
EP15290234 2015-09-18
PCT/EP2016/072101 WO2017046408A1 (en) 2015-09-18 2016-09-19 Determination of a co-located luminance sample of a color component sample, for hdr coding/decoding

Publications (2)

Publication Number Publication Date
KR20180054623A true KR20180054623A (ko) 2018-05-24
KR102538197B1 KR102538197B1 (ko) 2023-05-30

Family

ID=54337211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007713A KR102538197B1 (ko) 2015-09-18 2016-09-19 Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정

Country Status (6)

Country Link
US (1) US10721484B2 (ko)
EP (1) EP3350774A1 (ko)
JP (1) JP6990172B2 (ko)
KR (1) KR102538197B1 (ko)
CN (1) CN108027978B (ko)
WO (1) WO2017046408A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175495A1 (en) * 2007-01-23 2008-07-24 Segall Christopher A Methods and Systems for Inter-Layer Image Prediction with Color-Conversion
WO2012122426A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0963111A1 (en) * 1998-06-02 1999-12-08 Deutsche Thomson-Brandt Gmbh Method and apparatus for dynamic contrast improvement in video pictures
JP3551857B2 (ja) * 1999-09-09 2004-08-11 日本電気株式会社 高ダイナミックレンジ画像処理装置および方法
JP2008536450A (ja) * 2005-04-13 2008-09-04 トムソン ライセンシング ビデオ復号化のための方法および装置
US8031267B2 (en) * 2007-02-12 2011-10-04 Intel Corporation Motion adaptive upsampling of chroma video signals
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
RU2504011C2 (ru) * 2009-03-13 2014-01-10 Долби Лабораторис Лайсэнзин Корпорейшн Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой
US9036042B2 (en) * 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
TWI521973B (zh) * 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
WO2013006986A1 (en) * 2011-07-12 2013-01-17 Intel Corporation Luma-based chroma intra prediction
CN103918269B (zh) * 2012-01-04 2017-08-01 联发科技(新加坡)私人有限公司 色度帧内预测方法及装置
WO2013107939A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
CN104541301B (zh) * 2012-03-26 2017-11-03 皇家飞利浦有限公司 用于hdr图像编码和解码的基于视亮度区域的装置和方法
GB2503875B (en) * 2012-06-29 2015-06-10 Canon Kk Method and device for encoding or decoding an image
EP2894857A1 (en) * 2014-01-10 2015-07-15 Thomson Licensing Method and apparatus for encoding image data and method and apparatus for decoding image data
JP2015170905A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
US9832388B2 (en) * 2014-08-04 2017-11-28 Nvidia Corporation Deinterleaving interleaved high dynamic range image by using YUV interpolation
KR102529013B1 (ko) 2015-01-30 2023-05-08 인터디지털 브이씨 홀딩스 인코포레이티드 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치
EP3051818A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
KR102509504B1 (ko) 2015-08-24 2023-03-13 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 코딩 및 디코딩 방법과 대응하는 디바이스
US10674150B2 (en) * 2015-09-23 2020-06-02 Arris Enterprises Llc System and method for reshaping and adaptation of high dynamic range video data
EP3409015B1 (en) * 2016-01-28 2019-09-25 Koninklijke Philips N.V. Encoding and decoding hdr videos
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175495A1 (en) * 2007-01-23 2008-07-24 Segall Christopher A Methods and Systems for Inter-Layer Image Prediction with Color-Conversion
WO2012122426A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LASSERRE, S. et al., Modulation-based HDR video coding with SDR backward compatibility,JCTVC-U0085(Version 2),pp. 1-16, 2015.06.15. 1부.* *

Also Published As

Publication number Publication date
JP2018535569A (ja) 2018-11-29
CN108027978A (zh) 2018-05-11
US20180270490A1 (en) 2018-09-20
KR102538197B1 (ko) 2023-05-30
WO2017046408A1 (en) 2017-03-23
EP3350774A1 (en) 2018-07-25
JP6990172B2 (ja) 2022-01-12
US10721484B2 (en) 2020-07-21
CN108027978B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
EP3251084B1 (en) A method and apparatus of encoding and decoding a color picture
JP6921873B2 (ja) ディスプレイストリーム圧縮のためのサブストリーム多重化
JP2018533867A (ja) Qp値の決定
TW201931853A (zh) 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制
JP6719391B2 (ja) ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置
JP2018506938A (ja) 画像及びビデオを電気光変換及び光電気変換するための方法、システム、及び機器
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
US11741585B2 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
CN110754085B (zh) 用于非4:4:4格式视频内容的颜色重映射
KR102537393B1 (ko) Hdr 이미지를 재구성하기 위한 방법 및 디바이스
EP3603046A1 (en) Method and device for color gamut mapping
TWI713354B (zh) 用於顯示器調適之色彩重映射資訊sei信息發信號
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
JP2018524924A (ja) Hdrピクチャ及び前記hdrピクチャから得られるsdrピクチャの両方をカラーマッピング関数を使用して符号化するための方法及びデバイス
CA3054488A1 (en) Method and device for decoding a high-dynamic range image
KR102496345B1 (ko) Hdr 대 sdr 변환 동안의 컬러 보정을 위한 방법 및 장치
JP7043164B2 (ja) 高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための方法およびデバイス
KR20200002029A (ko) 컬러 영역 매핑을 위한 방법 및 디바이스
US20170105011A1 (en) Method and Apparatus for Syntax Signaling in Image and Video Compression
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
KR102538197B1 (ko) Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정
US20110249719A1 (en) Video compression
JP2019097013A (ja) ディスプレイ適合hdr画像を再構成する方法およびデバイス
CA2986520A1 (en) Method and device for reconstructing a display adapted hdr image
EP3528201A1 (en) Method and device for controlling saturation in a hdr image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant