KR20180043807A - 비디오 디코더에서의 높은 동적 범위 적응 동작들 - Google Patents

비디오 디코더에서의 높은 동적 범위 적응 동작들 Download PDF

Info

Publication number
KR20180043807A
KR20180043807A KR1020187008024A KR20187008024A KR20180043807A KR 20180043807 A KR20180043807 A KR 20180043807A KR 1020187008024 A KR1020187008024 A KR 1020187008024A KR 20187008024 A KR20187008024 A KR 20187008024A KR 20180043807 A KR20180043807 A KR 20180043807A
Authority
KR
South Korea
Prior art keywords
color
color space
operations
values
decoder
Prior art date
Application number
KR1020187008024A
Other languages
English (en)
Other versions
KR102243844B1 (ko
Inventor
조우예 구
쿠햐르 미누
Original Assignee
애리스 엔터프라이지즈 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애리스 엔터프라이지즈 엘엘씨 filed Critical 애리스 엔터프라이지즈 엘엘씨
Publication of KR20180043807A publication Critical patent/KR20180043807A/ko
Application granted granted Critical
Publication of KR102243844B1 publication Critical patent/KR102243844B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G06T5/009—
    • H04L65/607—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

비트스트림(108)을 디코딩하는 방법은 비트스트림을 디코더에 의해 수행되는 적응 후처리 동작들에 관한 정보를 표시하는 컬러 값들 및 메타데이터 아이템들로 디코딩하는 단계(302), 메타데이터 아이템들에 기초하여 컬러 값들에 대한 높은 동적 범위(HDR) 적응 동작들을 수행하는 단계(308), 및 컬러 값들로부터 HDR 비디오를 재구성하기 위해 고정 후처리 동작들을 수행하는 단계(312)를 포함하며, HDR 적응 동작들은 컬러 값들을 고정 후처리 동작들에 의해 예상되는 포맷으로 변환한다.

Description

비디오 디코더에서의 높은 동적 범위 적응 동작들
우선권 주장
본 출원은 2015년 9월 23일에 출원된 조기 출원 미국 가출원 일련 번호 제62/222,715호로부터 35 U.S.C. §119(e) 하에 우선권을 주장하며, 미국 가출원은 이로써 참조로 포함된다.
기술 분야
본 개시내용은 비디오 인코딩 및 디코딩의 분야에 관한 것으로, 특히 디코딩된 값들을 재구성된 높은 동적 범위(high dynamic range)(HDR) 비디오를 발생시키는 나중의 동작들에 의해 예상되는 포맷으로 변환하는 방법에 관한 것이다.
높은 동적 범위(HDR) 비디오 및/또는 넓은 컬러 재현(Wide Color Gamut)(WCG)에서의 컬러 값들을 갖는 비디오 시퀀스들은 표준 동적 범위(standard dynamic range)(SDR) 및/또는 더 좁은 컬러 재현에서의 컬러 값들을 갖는 전통적 비디오보다 더 큰 범위들의 휘도 및 컬러 값들을 제공한다. 예를 들어, 전통적 SDR 비디오는 이미지들이 캡처, 인코딩, 및/또는 디스플레이될 때 섀도우들 또는 하이라이트들 내의 상세들이 손실될 수 있도록, 제한된 휘도 및 컬러 범위를 가질 수 있다. 대조적으로, HDR 비디오는 더 광범위한 휘도 및 컬러 정보를 캡처할 수 있어, 비디오가 더 자연스럽고 인간 눈에 대한 실생활에 더 가깝게 나타나는 것을 허용한다.
인코더들은 고효율 비디오 코딩(High Efficiency Video Coding)(HEVC) 또는 고도 비디오 코딩(Advanced Video Coding)(AVC)과 같은 코딩 포맷을 사용하여 HDR 비디오를 비트스트림으로 인코딩할 수 있다. 인코더들은 비트스트림을 인코딩하기 전에 HDR 비디오의 원래 컬러 값들을 처리할 수 있다. 그러한 전처리는 코딩 효율을 개선하고 그리고/또는 값들을 특정 코딩 포맷과 호환가능하게 할 수 있다. 그 다음, 비트스트림은 그것이 디코딩되고 텔레비전 또는 다른 모니터 상의 뷰어들에게 디스플레이될 수 있도록 디코더에 전달될 수 있다. 전처리 동작들이 인코더에 의해 HDR 비디오 상에 수행된 때, 디코더들은 인코더의 전처리 동작들을 반전시키고 디코딩된 값들로부터 HDR 비디오를 재구성하기 위해 디코딩 후에 후처리 동작들을 사용할 수 있다.
그러한 후처리 동작들을 식별하고 후처리 동작들을 위해 디코딩된 값들을 준비하는 개선된 기술들이 요구된다.
본 개시내용은 비트스트림을 디코딩하는 방법을 제공하며, 방법은 디코더에서 비트스트림을 수신하는 단계, 디코더로 비트스트림을 디코더에 의해 수행될 적응 후처리 동작들에 관한 정보를 표시하는 컬러 값들 및 메타데이터 아이템들로 디코딩하는 단계, 디코더로, 메타데이터 아이템들에 기초하여 컬러 값들에 대한 하나 이상의 높은 동적 범위(HDR) 적응 동작을 수행하는 단계, 및 컬러 값들로부터 HDR 비디오를 재구성하기 위해 디코더로, 하나 이상의 고정 후처리 동작을 수행하는 단계를 포함하며, 하나 이상의 HDR 적응 동작은 컬러 값들을 하나 이상의 고정 후처리 동작에 의해 예상되는 포맷으로 변환한다.
본 개시내용은 또한 비트스트림을 수신하도록 구성되는 데이터 송신 인터페이스, 및 프로세서를 포함하는 비디오 디코더를 제공하며, 프로세서는 비트스트림을 프로세서에 의해 수행될 적응 후처리 동작들에 관한 정보를 표시하는 컬러 값들 및 메타데이터 아이템들로 디코딩하고, 메타데이터 아이템들에 기초하여 컬러 값들에 대한 하나 이상의 높은 동적 범위(HDR) 적응 동작을 수행하고 컬러 값들로부터 HDR 비디오를 재구성하기 위해 하나 이상의 고정 후처리 동작을 수행하도록 구성되고, 하나 이상의 HDR 적응 동작은 컬러 값들을 하나 이상의 고정 후처리 동작에 의해 예상되는 포맷으로 변환하고, 하나 이상의 HDR 적응 동작은 컬러 값들의 컬러 공간을 변환하고, 컬러 값들의 비트 심도를 변환하고, 그리고/또는 컬러 값들이 조정되는 전달 함수를 변경한다.
본 발명의 추가 상세들은 첨부 도면들의 도움으로 설명된다.
도 1은 인코더 및 디스플레이와 결합되는 디코더를 포함하는 비디오 시스템의 예시적 실시예를 도시한다.
도 2는 인코더가 하나 이상의 전처리 동작을 사용하여 HDR 비디오를 변환하고 인코딩하기 위해 사용할 수 있는 예시적 프로세스를 도시한다.
도 3은 디코더가 하나 이상의 HDR 적응 동작을 사용하여, 비트스트림을 디코딩하고 HDR 비디오를 재구성하기 위해 사용할 수 있는 예시적 프로세스를 도시한다.
도 4는 컬러 공간 적응 동작을 도시한다.
도 5는 전달 함수 적응 동작을 도시한다.
도 6은 비트 심도 적응 동작을 도시한다.
도 7은 하나 이상의 HDR 적응 동작을 사용하는 인코딩 프로세스의 대체 실시예를 도시한다.
도 1은 인코더(100) 및 디스플레이(104)와 결합되는 디코더(102)를 포함하는 비디오 시스템의 일 실시예를 도시한다. 인코더(100)는 비디오(106)를 수신하고 그것의 이미지 에센스(image essence)를 포함하는, 비디오(106)의 요소들로부터 비트스트림(108) 및 메타데이터 아이템들(110)을 발생시킬 수 있다. 비디오의 이미지 에센스는 프레임들 또는 픽처들의 시퀀스와 같은, 이미지들의 정렬된 시퀀스일 수 있다. 인코더(100)에 의해 발생되는 비트스트림(108) 및 메타데이터 아이템들(110)은 인터넷을 통해, 직교 진폭 변조(Quadrature Amplitude Modulation)(QAM)와 같은 디지털 케이블 텔레비전 연결을 통해, 또는 임의의 다른 디지털 송신 또는 전달 메커니즘을 통해 디코더(102)에 제공될 수 있다. 디코더(102)는 디스플레이(104) 상의 재생을 위해 비디오(106)의 재구성된 버전을 디코딩하고 출력하기 위해 비트스트림(108) 및 메타데이터 아이템들(110)을 사용할 수 있다. 디스플레이(104)는 재구성된 비디오(106)를 제시하도록 구성되는 텔레비전, 모니터, 디바이스 스크린, 또는 임의의 다른 타입의 디스플레이일 수 있다.
인코더(100)는 비디오(106)의 요소들, 예컨대 그것의 이미지 에센스를, 비트스트림(108)으로 인코딩, 트랜스코딩, 및/또는 압축하도록 구성되는 프로세서들, 메모리, 회로들, 및/또는 다른 하드웨어 및 소프트웨어 요소들을 포함할 수 있다. 인코더(100)는 고효율 비디오 코딩(HEVC), H.264/MPEG-4 고도 비디오 코딩(AVC), 또는 MPEG-2와 같은, 비디오 코딩 포맷 및/또는 압축 방식에 따라 비트스트림(108)을 발생시키도록 구성될 수 있다. 비제한 예들로서, 인코더(100)는 메인 10 HEVC 인코더 또는 AVC 하이 10 프로파일 인코더일 수 있다.
유사하게, 디코더(102)는 비트스트림(108)을 재구성된 비디오(106)로 디코딩, 트랜스코딩, 및/또는 압축 해제하도록 구성되는 프로세서들, 메모리, 회로들, 및/또는 다른 하드웨어 및 소프트웨어 요소들을 포함할 수 있다. 디코더(102)는 HEVC, H.264/MPEG-4 AVC, 또는 MPEG-2와 같은, 비디오 코딩 포맷 및/또는 압축 방식에 따라 비트스트림(108)을 디코딩하도록 구성될 수 있다. 비제한 예들에 의해, 디코더(102)는 메인 10 HEVC 디코더 또는 AVC 하이 10 프로파일 디코더일 수 있다.
일부 실시예들에서, 인코더(100) 및/또는 디코더(102)는 전용 하드웨어 디바이스들일 수 있다. 다른 실시예들에서, 인코더(100) 및/또는 디코더(102)는 서버들, 컴퓨터들, 또는 비디오 처리 디바이스들과 같은 다른 하드웨어 상에 실행하는 소프트웨어 프로그램들이거나, 이 프로그램들을 사용할 수 있다. 비제한 예로서, 인코더(100)는 비디오 서비스 제공자에 의해 동작되는 비디오 인코더일 수 있는 반면에, 디코더(102)는 텔레비전 또는 다른 디스플레이(104)에 연결되는, 케이블 박스와 같은, 셋톱 박스의 일부일 수 있다. 일부 실시예들에서, 디코더(102) 및 디스플레이(104)는 단일 디바이스로 통합될 수 있다.
일부 실시예들 또는 상황들에서, 인코더(100)에 제공되는 비디오(106)는 높은 동적 범위(HDR) 비디오(106)일 수 있다. HDR 비디오(106)는 더 작은 표준 동적 범위(SDR) 및/또는 표준 컬러 재현(standard color gamut)(SCG)에서의 값들을 갖는 비디오(106)에 비해, 높은 동적 범위(HDR) 내의 휘도 값들 및/또는 넓은 컬러 재현(WCG) 내의 색도 값들을 가질 수 있다. 비제한 예로서, HDR 비디오(106)는 SDR 비디오(106)와 비교하여 최소 가시 밝기에 대한 최대 가시 밝기의 더 높은 비율을 가질 수 있다. 그와 같이, HDR 비디오(106)는 증가된 레벨들의 지각가능 섀도우 및/또는 하이라이트 상세와 같은, SDR 비디오(106)보다 더 큰 범위의 컬러들 및 상세들을 포함할 수 있다.
인코더(100)에 제공되는 비디오(106)가 HDR 비디오(106)일 때, 인코더(100)는 코딩 효율을 증가시키도록 컬러 값들을 비트스트림(108)으로 인코딩하기 전에 HDR 비디오(106)로부터 컬러 값들을 변환하기 위해, 값들을 원하는 인코딩 방식을 사용하여 인코딩될 수 있는 형태로 변환하기 위해, 및/또는 임의의 다른 이유로 하나 이상의 전처리 동작을 사용할 수 있다. 비제한 예로서, 일부 실시예들에서, HDR 비디오(106)에 대한 컬러 값들은 적색 채널, 녹색 채널, 및 청색 채널을 포함하는 각각의 컬러 채널에 대해 16 비트 부동 소수점 값을 사용하는 선형 광 RGB 도메인에 표현되는 RGB 컬러 값들을 갖는 EXR 파일 포맷과 같은, 높은 비트 심도 포맷으로 제공될 수 있다. 그와 같이, 인코더(100)는 HDR 비디오(106)에서의 16 비트 값을 10 비트 HEVC 프로파일을 사용하여 인코딩될 수 있는 10 비트 값으로 변환할 수 있다. 다른 비제한 예로서, 인코더(100)는 또한 YCbCr 값들이 RGB 값들보다 더 적은 비트들을 사용하여 종종 인코딩될 수 있으므로, 컬러 값들을 RGB 컬러 프라이머리(color primary)로부터 YCbCr 컬러 공간으로 변환할 수 있다.
인코더(100)가 컬러 값들을 비트스트림(108)으로 인코딩하기 전에 하나 이상의 동작을 사용하여 컬러 값들을 변환할 때, 디코더(102)는 먼저 비트스트림(108)을 디코딩하고 그 다음에 HDR 비디오(106)를 재구성하기 위해 인코더의 동작들을 실질적으로 반전시키는 하나 이상의 대응하는 역 동작을 수행할 수 있다. 비트스트림(108)을 인코딩하기 전에 인코더(100)에 의해 취해지는 동작들에 관한 정보는 디코더(102)가 HDR 비디오(106)를 재구성할 때 메타데이터 아이템들(110)로부터 대응하는 역 동작들을 식별하고 수행할 수 있도록, 디코더들(102)에 메타데이터 아이템들(110)로 제공될 수 있다. 디코더(102)가 고정 역 동작들을 가지고 구성될 때, 디코더들은 고정 역 동작들 전에 디코딩된 값들을 예상된 포맷으로 변환하기 위해 메타데이터 아이템들(110)에 기초하여 HDR 적응 동작들을 사용할 수 있다.
비제한 예로서, 도 2는 인코더(100)가 HDR 비디오(106)를 변환하고 인코딩하기 위해 사용할 수 있는 예시적 프로세스를 도시한다.
단계(202)에서, 인코더(100)는 컬러 프라이머리 변환들(color primary conversions)을 수행할 수 있다. 컬러 프라이머리 변환 동작은 값들을 상이한 컬러 프라이머리로 변환할 수 있다. 일부 실시예들에서, 컬러 프라이머리 변환은 본원에 참조로 포함되는, 권고 ITU-R BT.709 및 권고 ITU-R BT.2020에 정의되는 RGB 컬러 프라이머리들과 같은 RGB 컬러 프라이머리, LMS 컬러 프라이머리, 및/또는 XYZ 컬러 프라이머리 사이의 값들을 변환할 수 있다. 비제한 예로서, 인코더(100)는 하나의 프라이머리 세트 내의 프라이머리 값들을 갖는 RGB 값들을 상이한 프라이머리 세트 내의 값들로 변환하기 위해 컬러 프라이머리 변환을 수행할 수 있다.
단계(204)에서, 인코더(100)는 컬러 값들에 대한 컬러 현시 전달 함수(color appearance transfer function)를 사용할 수 있다. 컬러 현시 전달 함수는 유사한 컬러들 사이의 지각가능 차이들이 인코딩 동안 보존될 수 있도록, 비선형 곡선과 함께 선형 컬러 값들을 재분배할 수 있다. 비제한 예로서, 선형 도메인에서의 유사한 값들은 인코더에 의해 동일한 값으로 양자화될 수 있지만, 그러한 유사한 값들이 비선형적으로 재분배될 때, 그들은 동일한 값으로 양자화될 가능성이 더 적을 수 있다. 그와 같이, 컬러 현시 전달 함수는 유사한 컬러들 사이의 전이들이 더 균일하게 나타나게 할 수 있다. 컬러 현시 전달 함수는 감마 함수, 참조로 이로써 포함되는, SMPTE ST.2084에 정의되는 전달 함수의 역과 같은 지각 양자화기(perceptual quantizer)(PQ) 전달 함수, 또는 다른 비선형 함수들일 수 있다.
단계(206)에서, 인코더(100)는 컬러 공간 변환 동작들을 수행할 수 있다. 컬러 공간 변환 동작은 원색 성분을 하나의 컬러 공간으로부터 IPT 또는 YCbCr과 같은, 다른 컬러 공간으로 변환할 수 있다. 비제한 예로서, 컬러 현시 전달 함수 후에 RGB 값들은 YCbCr 값들로 변환될 수 있다.
단계(208)에서, 인코더(100)는 채도 성분들에 전념되는 샘플들의 수를 감소시키기 위해 채도 서브샘플링을 수행할 수 있다. 비제한 예로서, YCbCr 값들은 Y 루마 성분, Cb 채도 성분, 및 Cr 채도 성분이 동일한 수의 샘플들로 설명되는 4:4:4 해상도를 가질 수 있다. 인코더(100)는 인간 눈이 Y 루마 성분보다 채도 성분들에 일반적으로 덜 민감한 바와 같이, 4:4:4 값들을 Cb 및 Cr 채도 성분들에 전념되는 샘플들의 수를 감소시키는 4:2:0 값들로 변환하기 위해 채도 서브샘플링 동작을 수행할 수 있다.
단계(210)에서, 인코더(100)는 코딩 전달 함수 동작들을 수행할 수 있다. 코딩 전달 함수 동작은 베버의 법칙, 스티븐스의 멱법칙, 또는 다른 파라메트릭에 기초한 전달 함수들 또는 적응 전달 함수들에 의해서와 같이, 상이한 스케일로 값들을 비선형으로 재분배할 수 있다. 비제한 예로서, 코딩 전달 함수는 비디오(106)의 콘텐츠에 기초하여 선택되는 감마 지수, 의도된 최대 및 최소 샘플 값들, 최대 밝기 또는 휘도 대조, 및/또는 양자화 스텝 크기를 사용하는 스티븐스의 멱법칙으로부터 유도될 수 있다.
단계(212)에서, 인코더(100)는 지각 정규화 동작들을 수행할 수 있다. 지각 정규화 동작은 모든 컬러 채널들에 걸쳐 지각적으로 균일한 출력 신호를 생성하기 위해, 인간 시각 시스템(Human Visual System)(HVS)의 심리 물리적 마스킹 효과들에 기초하여, 컬러 값들을 스케일링할 수 있다. 일부 실시예들에서, 컬러 프라이머리 변환들, 컬러 현시 전달 함수들, 컬러 공간 변환, 및 코딩 전달 함수들과 같은 동작들은 픽셀별 기준으로 동작할 수 있는 반면에, 지각 정규화 동작들은 서로에 대해 값들을 지각적으로 조정하기 위해 주위 픽셀들에 대한 픽셀들을 시간적으로 및/또는 공간적으로 고려할 수 있다. 그와 같이, 지각 정규화 동작들은 인간들이 함께 볼 때와 비교하여 단독으로 볼 때 컬러들을 상이하게 지각할 수 있으므로, 컬러 값들 사이의 상대 세기들 및 대조를 조정할 수 있다.
단계(214)에서, 인코더(100)는 컬러 값들을 주어진 비트 심도를 갖는 고정 소수점 값으로 양자화할 수 있다. 비제한 예로서, HDR 비디오(106)에서의 컬러 값들이 16 비트 값으로 표현된 때, 인코더(100)는 그들을 10 비트 값과 같은, 더 낮은 비트 심도로 양자화할 수 있다.
단계(216)에서, 인코더(100)는 컬러 값들을 비트스트림(108)으로 인코딩할 수 있다. 상기 설명된 바와 같이, 인코더(100)는 HEVC, AVC, 또는 MPEG-2와 같은, 비디오 코딩 포맷 및/또는 압축 방식에 따라 비트스트림(108)을 발생시키도록 구성될 수 있다.
대체 실시예들에서, 단계(216) 전에 도 2에 도시된 전처리 동작들 중 어느 것 또는 전부는 없거나 상이한 순서로 수행될 수 있다. 비제한 예로서, 일부 실시예들에서, 인코더(100)는 단계(208) 동안의 프로세스에서 더 이른 것보다는 오히려 단계(214)에서의 양자화 후에 채도 서브샘플링을 4:4:4 포맷으로부터 4:2:0 포맷으로 수행할 수 있다. 다른 비제한 예로서, 단계(212)의 지각 정규화는 일부 실시예들에서 없을 수 있다.
인코더(100)에 의해 발생되는 비트스트림(108)은 하나 이상의 메타데이터 아이템(110)과 함께 디코더들(102)에 전달될 수 있다. 메타데이터 아이템들(110)은 컬러 프라이머리 변환, 컬러 현시 전달 함수, 컬러 공간 변환, 코딩 전달 함수, 지각 정규화, 및/또는 채도 서브샘플링 동작들에 관한 파라미터들 또는 다른 정보와 같은, 인코더(100)가 도 2에 도시된 동작들의 일부 또는 전부를 수행했는지에 관한 정보를 표시할 수 있다. 아래에 설명되는 바와 같이, 디코더(102)는 HDR 비디오(106)의 재구성을 발생시키기 위해 인코더의 동작들을 실질적으로 반전시키는 역 동작들을 식별하고 수행하도록 이러한 메타데이터 아이템들(110)을 사용할 수 있다. 일부 실시예들에서, 메타데이터 아이템들(110)은 비트스트림(108)으로 인코딩되거나 다른 방법으로 비트스트림과 포함될 수 있는 반면에, 다른 실시예들에서, 메타데이터 아이템들(110) 및 비트스트림(108)은 디코더들(102)에 개별적으로 전달될 수 있다. 메타데이터 아이템들(110)은 또한 인코딩 또는 디코딩 동안 인코딩된 참조 픽처들을 재구성할 때 인코더들(100) 및/또는 디코더들(102)에 의해 사용될 수 있다.
일부 실시예들에서, 인코더(100)에 의해 취해지는 동작들의 일부 또는 전부는 상이한 장면들, 상이한 프레임들, 및/또는 동일한 프레임의 상이한 영역들에 대해 상이한 파라미터들을 갖는 동작들을 수행하는 것과 같이, 비디오(106)의 콘텐츠에 기초하여 조정될 수 있다. 그와 같이, 각각의 장면, 프레임, 및/또는 프레임 영역에 대해 취해지는 전처리 동작들에 관한 정보를 표시하는 메타데이터 아이템들(110)이 인코딩될 수 있다.
일부 실시예들에서, 도 2에 도시된 전처리 동작들은 인코더(100)에 의해 발생되는 비트스트림(108)이 인코딩된 SDR 값들을 포함하도록, 원래 HDR 값들을 SDR 값들로 변환할 수 있다. 비제한 예로서, 도 2의 전처리 동작들은 HDR 컬러 값들을 10 비트 4:2:0 SDR 호환가능 컬러 값들로 변환할 수 있다. 이러한 실시예들에서, SDR 디스플레이에 대한 디코더(102)는 역 후처리 동작들을 수행하는 것 없이 비트스트림(108)으로부터 SDR 값들을 디코딩하고 그들을 SDR 디스플레이(104)에 출력할 수 있는 반면에, HDR 디스플레이에 대한 디코더(102)는 디코딩된 SDR 값들을 HDR 값들로 변환하기 위해 비트스트림(108)을 디코딩하고, 메타데이터 아이템들(110)로부터 역 동작들을 식별하고, 역 후처리 동작들을 수행할 수 있다.
다른 실시예들에서, 도 2에 도시된 동작들 후에 인코더(100)에 의해 발생되는 비트스트림(108)은 디코딩 후에 부가 처리 없이 SDR 디스플레이 상에 제시하는데 적절하지 않을 수 있는 값들을 포함할 수 있다. 이러한 실시예들의 일부에서, 인코더(100)는 단계(218)에서 디코더(102)가 비트스트림(108)으로부터 디코딩되는 값들을 SDR 디스플레이(104) 상의 디스플레이에 적절한 값들로 변환하기 위해 사용할 수 있는 하나 이상의 톤 매핑 동작을 결정하도록 HDR 비디오(106)로부터의 원래 값들 및/또는 SDR에 습득되는 비디오(106)의 개별 인스턴스로부터의 SDR 값들에 대해 단계(206) 후에 변환된 값들을 검토할 수 있다. 룩업 테이블들 또는 전달 함수들과 같은, 식별된 톤 매핑 동작들에 관한 정보는 디코더들(102)에 메타데이터 아이템들(110)로 제공될 수 있다.
상기 설명된 바와 같이, 디코더(102)는 그것이 인코딩 전에 인코더(100)에 의해 취해지는 동작들을 실질적으로 반전시키기 위해 비트스트림(108)을 디코딩한 후에 사용할 수 있는 후처리 동작들을 식별하도록 메타데이터 아이템들(110)을 사용할 수 있다. 그러나, 일부 실시예들에서, 디코더(102)에서의 하나 이상의 후처리 동작은 특정 비트 심도의 값들, 특정 컬러 공간의 값들, 및/또는 특정 전달 함수에 의해 조정되었던 값들과 같은, 특정 포맷의 값들을 처리하도록 구성될 수 있다. 그와 같이, 디코더(102) 값들을 나중의 후처리 동작들에 의해 예상되는 포맷으로 변환하기 위해 하나 이상의 HDR 적응 동작을 수행할 수 있다.
비제한 예로서, 디코더(102)는 비트스트림(108)으로부터 값들을 디코딩하고, 그들을 더 높은 비트 심도로 역 양자화하고, 그 다음에 메타데이터 아이템들(110)에 의해 식별되는 역 지각 정규화 동작을 수행할 수 있다. 이러한 예에서, 역 지각 정규화 동작 후의 값들은 PQ 함수에 의해 조정되었던 10 비트 4:2:0 XYZ 값들일 수 있다. 그러나, 디코더(102)는 채도 업샘플링 동작, 역 컬러 공간 변환 동작, 역 컬러 현시 전달 함수, 및 역 컬러 프라이머리 변환 동작과 같은, 부가 후처리 동작들에 의해 그러한 값들을 추가로 처리하도록 구성될 수 있다. 나중의 후처리 동작들은 값들이 조기 동작들에 의해 생성되는 것과 상이한 포맷으로 있는 것을 예상할 때, 디코더(102)는 PQ 함수에 의해 조정되는 10 비트 4:2:0 XYZ 값들을 감마 함수에 의해 조정되는 16 비트 4:2:0 YCbCr 값들로 변환하는 것과 같이, 값들을 예상된 포맷으로 변환하기 위해 하나 이상의 HDR 적응 동작을 수행할 수 있다. HDR 적응 동작들에 의한 값들을 예상된 포맷으로 변환한 후에, 디코더(102)는 HDR 비디오를 재구성하기 위해 추가 후처리 동작들을 계속할 수 있다.
비제한 예로서, 도 3은 디코더(102)가 하나 이상의 HDR 적응 동작을 사용하여, 비트스트림(108)을 디코딩하고 HDR 비디오(106)를 재구성하기 위해 사용할 수 있는 예시적 프로세스를 도시한다.
단계(302)에서, 디코더(102)는 비트스트림(108)을 디코딩할 수 있다. 상기 설명된 바와 같이, 디코더(102)는 HEVC, AVC, 또는 MPEG-2와 같은, 비디오 코딩 포맷 및/또는 압축 방식에 따라 비트스트림(108)을 디코딩하도록 구성될 수 있다.
단계(304)에서, 디코더(102)는 컬러 값들을 상이한 비트 심도로 역 양자화할 수 있다. 비제한 예로서, 비트스트림(108)으로부터 디코딩되는 컬러 값들이 10 비트 값일 때, 디코더(102)는 그들을 16 비트 값 또는 부동 소수점 값들과 같은, 더 높은 비트 심도로 역 양자화할 수 있다.
단계(306)에서, 디코더(102)는 역 지각 정규화 동작들을 수행할 수 있다. 역 지각 정규화 동작은 단계(212)에서 인코더(100)에 의해 취해지는 지각 정규화 동작들을 실질적으로 반전시킬 수 있다. 역 지각 정규화 동작들은 한 세트의 3개의 1차원 룩업 테이블과 같은, 메타데이터 아이템들(110)에 의해 식별될 수 있으며, 그것의 각각은 삼 세트의 값들의 하나의 요소를 변환하기 위해 사용될 수 있다.
단계(308)에서, 디코더(102)는 하나 이상의 HDR 적응 동작을 수행할 수 있다. 본원에 설명되는 바와 같이, HDR 적응 동작들은 조기 동작들에 의해 출력되는 값들을 이러한 예에서 단계들(310, 312, 314, 및 316)에 도시된 동작들과 같은, 나중의 후처리 동작들에 의해 예상되는 포맷으로 변환할 수 있다.
단계(310)에서, 디코더(102)는 채도 성분들에 전념되는 샘플들의 수를 증가시키기 위해 채도 업샘플링을 수행할 수 있다. 비제한 예로서, 디코더(102)는 4:2:0 값들을 4:4:4 값들로 변환하기 위해 채도 업샘플링 동작을 수행할 수 있다.
단계(312)에서, 디코더(102)는 역 컬러 공간 변환 동작들을 수행할 수 있다. 역 컬러 공간 변환 동작은 값들을 IPT, 및/또는 YCbCr 컬러 공간들 사이에서 변환하는 것과 같이, 값들을 상이한 컬러 공간으로 변환할 수 있다. 일부 실시예들에서, 역 컬러 공간 변환 동작은 디코더(102)가 단계(206)에서 인코더(100)에 의해 취해지는 컬러 공간 변환 동작을 실질적으로 반전시킬 수 있도록, 메타데이터 아이템들(110)에 의해 식별될 수 있다. 다른 실시예들에서, 디코더의 역 컬러 공간 변환 동작은 입력 값들이 구체적 입력 컬러 공간에 있는 것을 예상하고 그들을 다른 구체적 출력 컬러 공간으로 변환하는 고정 동작일 수 있다. 이러한 실시예들에서, 단계(308) 동안의 HDR 적응 동작은 값들을 디코더의 고정 역 컬러 공간 변환 동작에 의해 예상되는 입력 컬러 공간으로 변환할 수 있다.
단계(314)에서, 디코더(102)는 컬러 값들에 대한 역 컬러 현시 전달 함수를 사용할 수 있다. 역 컬러 현시 전달 함수는 역 감마 함수, 역 PQ 함수, 또는 다른 비선형 함수들일 수 있다. 비제한 예들로서, 역 감마 함수는 인코더(100)에서 수행되는 전방 감마 함수를 반전시킬 수 있는 반면에, 역 PQ 함수는 인코더(100)에서 수행되는 반전 PQ 함수를 원래로 되돌리는 SMPTE ST.2084에 정의되는 PQ 함수와 같은 전방 전달 함수일 수 있다. 일부 실시예들에서, 역 컬러 현시 전달 함수는 디코더(102)가 단계(204)에서 인코더(100)에 의해 사용되는 컬러 현시 전달 함수를 실질적으로 반전시킬 수 있도록, 메타데이터 아이템들(110)에 의해 식별될 수 있다. 다른 실시예들에서, 디코더의 역 컬러 현시 전달 함수는 감마 함수 또는 PQ 함수와 같은, 구체적 전달 함수에 의해 이전에 조정되었던 값들에 대해 연산할 것을 예상하는 고정 함수일 수 있다. 이러한 실시예들에서, 단계(308) 동안의 HDR 적응 동작은 디코더의 고정 역 컬러 현시 전달 함수가 값들에 대해 예상대로 연산할 수 있도록 들어오는 값들(incoming values)을 변환할 수 있다. 비제한 예로서, 들어오는 값들이 감마 함수에 의해 조정되었지만 고정 역 컬러 현시 전달 함수가 PQ 함수를 반전시키도록 구성될 때, HDR 적응 블록은 고정 역 컬러 현시 전달 함수가 PQ 조정 값들을 적절히 연산하도록 감마 조정 값들을 PQ 조정 값들로 변환할 수 있다.
단계(316)에서, 디코더(102)는 역 컬러 프라이머리 변환 동작들을 수행할 수 있다. 역 컬러 프라이머리 변환 동작은 값들을 상이한 컬러 프라이머리로 변환할 수 있다. 일부 실시예들에서, 역 컬러 프라이머리 변환 동작은 디코더(102)가 단계(202)에서 인코더(100)에 의해 취해지는 컬러 프라이머리 변환 동작을 실질적으로 반전시킬 수 있도록, 메타데이터 아이템들(110)에 의해 식별될 수 있다. 다른 실시예들에서, 디코더의 역 컬러 프라이머리 변환 동작은 입력 값들이 구체적 입력 컬러 프라이머리에 있는 것을 예상하고 그들을 다른 구체적 출력 컬러 프라이머리로 변환하는 고정 동작일 수 있다. 이러한 실시예들에서, 단계(308) 동안의 HDR 적응 동작은 값들을 디코더의 고정 역 컬러 프라이머리 변환 동작에 의해 예상되는 입력 컬러 프라이머리로 변환할 수 있다.
대체 실시예들에서, 단계(302) 후에 도 3에 도시된 후처리 동작들 중 어느 것 또는 전부는 없거나 상이한 순서로 수행될 수 있다. 비제한 예로서, 일부 실시예들에서, 인코더(100)는 단계(310) 동안의 프로세스에서 더 늦은 것보다는 오히려 역 양자화 전의 단계(304) 전에 채도 업샘플링을 4:2:0 포맷으로부터 4:4:4 포맷으로 수행할 수 있다. 다른 비제한 예로서, 단계(306)의 역 지각 정규화는 일부 실시예들에서 없을 수 있다.
도 3에 도시된 동작들은 HDR 디스플레이(104) 상의 디스플레이를 위해 HDR 비디오(106)를 실질적으로 재구성할 수 있다.
비트스트림(108)을 인코딩하기 전의 인코더의 전처리 동작들이 원래 HDR 값들을 SDR 값들로 변환하는 일부 실시예들에서, SDR 디스플레이(104)에 대한 디코더(102)는 단계(304) 내지 단계(316)에 도시된 것들과 같은 나중의 후처리 동작들을 수행하는 것 없이, 단계(302)에서 디코딩 동작들을 수행하고 그 다음에 SDR 디스플레이(104) 상의 디스플레이를 위해 그러한 디코딩된 SDR 값들을 출력할 수 있다.
비트스트림(108)으로부터 디코딩되는 값들이 SDR 디스플레이들(104) 상의 디스플레이에 적절하지 않지만 인코더(100)가 단계(218)에서 톤 매핑 동작들을 식별하고 톤 매핑 동작들에 관해 메타데이터 아이템들(110)을 제공하는 다른 실시예들에 있어서, 단계(318)에서 디코더(102)는 디코딩된 및/또는 처리된 값들을 HDR 값들로부터 SDR 디스플레이(104)에 의해 제시될 수 있는 SDR 값들로 변환하기 위해 디코딩된 및/또는 처리된 값들에 식별된 톤 매핑 동작들을 수행할 수 있다. 비제한 예로서, 단계(318)에서 수행되는 톤 매핑 동작들은 HDR 값들을 SDR 값들로 변환하기 위해, 단계(308)에서 HDR 적응 동작들에 의해 생성되는 변환된 HDR 값들과 같은, 비트스트림(108)으로부터 디코딩되는 HDR 값들에 대해 동작할 수 있다. 일부 실시예들에서, 단계(318)에서 수행되는 톤 매핑 동작들은 또한 단계(316) 후에 재구성된 HDR 비디오(106)에서의 값들에 부분적으로 기초할 수 있다.
상기 설명된 바와 같이, 디코더(102)에서의 HDR 적응 동작들은 디코딩된 값들을 디코더(102)에서의 나중의 후처리 동작들에 의해 및/또는 디스플레이(104)에 의해 예상되는 구체적 포맷으로 변환할 수 있다. 일부 실시예들에서, 디코더(102)가 상기 설명된 바와 같이 메타데이터 아이템들(110)에 기초하여 역 컬러 공간 변환들, 역 컬러 현시 전달 함수들, 및/또는 역 컬러 프라이머리 변환들을 적응할 수 있지만, 다른 실시예들에서, 그러한 후처리 동작들은 고정될 수 있고 값들을 특정 포맷으로 예상할 수 있다. HDR 적응 동작들은 값들을 그러한 고정 후처리 동작들에 의해 예상되는 포맷으로 변환할 수 있다.
제1 비제한 예로서, 디코더의 역 지각 정규화 동작들은 메타데이터 아이템들에 의해 식별되는 3개의 1차원 룩업 테이블들 기초하여 값들을 변환할 수 있고, 그것의 역 컬러 공간 변환 동작은 고정 단위 행렬(fixed identity matrix)을 사용할 수 있고, 그것의 역 컬러 현시 전달 함수는 고정 역 PQ 함수일 수 있고, 그것의 역 컬러 프라이머리 변환 동작들은 고정 XYZ 대 RGB 컬러 프라이머리 변환 행렬을 사용한다. 일부 실시예들에서, 역 지각 정규화 동작들에 의해 생성되는 값들은 또한 고정 동작들 전에 단계(310)에서 4:2:0으로부터 4:4:0으로 채도 업샘플링될 수 있다.
따라서, 이러한 예에서, HDR 적응 동작들은 3개의 1차원 룩업 테이블로부터 발견되는 값들을 PQ 함수에 의해 조정되는 10 비트 4:2:0 XYZ 값들로 변환할 수 있다. 그와 같이, HDR 적응 동작들에 의해 출력되는 값들은 이때 4:4:4 값들로 채도 업샘플링되고, 고정 역 PQ 함수에 의해 처리되고, 그 다음에 고정 컬러 프라이머리 변환 동작을 사용하여 XYZ 값들로부터 RGB 값들로 변환될 수 있다.
유사한 비제한 예로서, 디코더의 역 컬러 공간 변환 동작이 고정 단위 행렬을 사용할 때, 그것의 역 컬러 현시 전달 함수는 고정 역 PQ 함수이고, 그것의 역 컬러 프라이머리 변환 동작들은 YCbCr 값들을 PQ 함수에 의해 변환되었던 R'G'B' 성분들로 변환하기 위해 고정 변환 행렬을 사용하고, 디코더의 HDR 적응 동작들은 역 지각 정규화 동작들에 의해 발견되는 값들을 PQ 함수에 의해 조정되는 10 비트 4:2:0 YCbCr 값들로 변환할 수 있다.
일반적으로, HDR 적응 동작들 전 및 후의 컬러 값들의 포맷은 ABCTF _N으로 표현될 수 있으며, "ABC"는 컬러 값들의 컬러 공간을 표시하고, "TF"는 디코더(102)가 역 컬러 현시 전달 함수에 의해 반전시키는 것으로 예상하는 전달 함수를 표시하고, "N"은 컬러 값들의 비트 심도를 표시한다. "ABC"에 의해 표시되는 컬러 공간은 YUV, YCbCr, XYZ, YDxDz, IPT, RGB, YFbFr, YCbCr 일정한 휘도, Y"u"v", 또는 임의의 다른 컬러 공간일 수 있다. "TF"에 의해 표시되는 전달 함수는 감마 함수, PQ 함수, 또는 임의의 다른 전달 함수일 수 있다. 비트 심도는 8 비트, 10 비트, 12 비트, 14 비트, 16 비트, 24 비트, 32 비트, 또는 임의의 다른 수의 비트일 수 있다.
그와 같이, HDR 적응 동작들은 XYZPQ _ 12 ; XYZPQ _ 14 ; XYZPQ _ 16 ; YDxDzPQ _ 10 ; YDxDzPQ_ 12 ; YDxDzPQ _ 14 ; YDxDzPQ _ 16 ; IPTPQ _ 10 ; IPTPQ _ 12 ; IPTPQ _ 14 ; IPTPQ _ 16 ; XYZGamma _ 10 ; XYZGamma _ 12 ; XYZGamma _ 14 ; XYZGamma _ 16 ; YCbCrPQ _ 10 ; YCbCrPQ _ 12 ; YCbCrPQ _ 14 ; YCbCrPQ_ 16 ; RGBPQ _ 10 ; RGBPQ _ 12 ; RGBPQ _ 14 ; RGBPQ _ 16 ; YCbCrGamma _ 10 ; YCbCrGamma _ 12 ; YCbCrGamma _ 14 ; YCbCrGamma_ 16 ; RGBGamma _ 10 ; RGBGamma _ 12 ; RGBGamma_ 14 ; RGBGamma _ 16 ; 및/또는 임의의 다른 포맷을 포함하는 포맷들 사이의 변환 사이와 같은, 입력 ABCTF_N 포맷과 원하는 출력 ABCTF _N 포맷 사이의 컬러 값들을 변환할 수 있다. 따라서, HDR 적응 동작들은 아래에 설명되는 바와 같이, 컬러 공간 적응 동작들(400), 전달 함수 적응 동작들(500), 및/또는 비트 심도 적응 동작들(600)을 포함할 수 있다.
도 4는 컬러 공간 적응 동작(400)을 도시한다. 컬러 공간 적응 동작(400)은 값들을 입력 컬러 공간으로부터 출력 컬러 공간으로 변환하는 HDR 적응 동작일 수 있다. 일부 실시예들에서, 입력 및/또는 출력 컬러 공간은 일정한 휘도(constant luminance)(CL) 또는 비일정한 휘도(non-constant luminance)(NCL)일 수 있다.
일부 실시예들에서, 컬러 공간 적응 동작(400)은 먼저 값들을 입력 컬러 공간으로부터 RGB BT.2020 또는 선형 XYZ 컬러 프라이머리와 같은, 컬러 프라이머리들의 선형 세트로 변환할 수 있다. 그 다음, 컬러 공간 적응 동작(400)은 중간 선형 도메인 컬러 공간 값들을 원하는 출력 컬러 공간으로 변환할 수 있다.
비제한 예로서, 입력 컬러 공간이 YCbCr NCL 휘도 컬러 공간이고 원하는 출력 컬러 공간이 YPQCbPQCrPQ NCL 컬러 공간 - 여기서 값들은 PQ 함수에 의해 조정됨 - 일 때, 컬러 공간 적응 동작(400)은, 전달 함수(TFY)에 의해 입력 Y 루마 성분을 PQ Y 루마 성분으로 변환할 수 있어, YPQ= TFY(Y)이 된다.
컬러 공간 적응 동작(400)은 또한, 공식 B = a1*Y+a2*Cb+a3*Cr을 사용하여 3개의 입력 YCbCr 성분을 청색(B) 값으로 변환한 후에, 매핑 함수(TFB)를 사용하여 B 값을 PQ B 값으로 변환할 수 있어, BPQ= TFB(B)이 된다.
유사하게, 컬러 공간 적응 동작(400)은 또한, 공식 R = a4*Y+a5*Cb+a6*Cr을 사용하여 3개의 입력 YCbCr 성분을 적색(R) 값으로 변환한 후에, 매핑 함수(TFR)를 사용하여 R 값을 PQ R 값으로 변환할 수 있어, RPQ= TFR(R)이 된다.
그 다음, 컬러 공간 적응 동작(400)은, 전달 함수들(TFCb 및 TFCr) 각각을 사용하여, PQ Cb 및 PQ Cr 값들을 발견하기 위해 PQ Y, PQ B, 및 PQ R 값들을 사용할 수 있어, CbPQ = TFCb(YPQ, BPQ, RPQ) 및 CrPQ= TFCr(YPQ, BPQ, RPQ)이 된다. TFCb, 및 TFCr은 이하와 같이 정의될 수 있다:
CbPQ = TFCb(YPQ, BPQ, RPQ) = a1PQ*YPQ + a2PQ*BPQ + a3PQ *RPQ
CrPQ = TFCr(YPQ, BPQ, RPQ) = a4PQ*YPQ + a5PQ*BPQ + a6PQ *RPQ
일부 실시예들에서, TFY, TFB, TFR, TFCb, 및 TFCr과 같은 함수들은 메타데이터 아이템들(110)을 통해 전달되는 파라미터들에 따라 변경될 수 있거나 디코더(102)에 다른 방법으로 알려져 있는 고정 매핑 함수들 또는 적응 매핑 함수들일 수 있다. 비제한 예로서, 일부 실시예들에서, a1, a2, a3, a4, a5, 및/또는 a6은 권고 ITU-R BT.2020 또는 SMPTE ST.2084와 같은 표준에 기초하여 인코더들(100) 및 디코더들(102)에 알려진 디폴트 값들을 가질 수 있으며, 인코더(100)가 인코딩 동안 그들의 값을 수정할지라도 인코더(100)는 메타데이터 아이템들(110)을 사용하여 변경된 값들을 디코더들(102)에 전달할 수 있다. 다른 실시예들에서, 디코더(102)는 값들을 변환하기 위해 TFY, TFB, TFR, TFCb, 및 TFCr에 대한 고정 또는 적응 룩업 테이블들을 사용할 수 있다.
대체 실시예들에서, 컬러 공간 적응 동작(400)은 값들을 중간 선형 도메인 컬러 공간으로 변환하는 것 없이, 값들을 입력 컬러 공간으로부터 출력 컬러 공간으로 직접 변환할 수 있다.
이러한 직접 변환 실시예들의 일부에서, 3개의 성분을 갖는 삼중 신호로 표현되는 입력 값들은 이하와 같이 3개의 함수를 사용하여 출력 삼중 신호의 3개의 성분으로 변환될 수 있으며, Input_Comp_1, Input_Comp_2, 및 Input_Comp_3은 입력 컬러 공간에서의 컬러 값들의 성분들을 표현하고 Output_Comp_1, Output_Comp_2, 및 Output_Comp_3은 입력 컬러 공간에서의 컬러 값들의 성분들을 표현한다:
Output_Comp_1 = TFOutput _Comp_1(Input_Comp_1, Input_Comp_2, Input_Comp_3)
Output_Comp_2 = TFOutput _Comp_2(Input_Comp_1, Input_Comp_2, Input_Comp_3)
Output_Comp_3 = TFOutput _Comp_3(Input_Comp_1, Input_Comp_2, Input_Comp_3)
비제한 예로서, TFOutput _Comp_1, TFOutput _Comp_2, 및 TFOutput _Comp_3 함수들은 출력 PQ Y 성분, 출력 PQ Cb 성분, 및 출력 PQ Cr 성분을 각각 발생시키기 위해 입력 BT.2020 YCbCr 값들의 3개의 성분에 대해 연산할 수 있다.
일부 실시예들에서, TFOutput _Comp_1, TFOutput _Comp_2, 및 TFOutput _Comp_3은 메타데이터 아이템들(110)을 통해 전달되는 파라미터들에 따라 변경될 수 있거나 디코더(102)에 다른 방법으로 알려져 있는 고정 매핑 함수들 또는 적응 매핑 함수들일 수 있다. 다른 실시예들에서, 디코더(102)는 입력 컬러 공간 및 출력 컬러 공간에서의 값들 사이에서 직접 변환하기 위해 고정 또는 적응 룩업 테이블들을 사용할 수 있다.
도 5는 전달 함수 적응 동작(500)을 도시한다. 상기 설명된 바와 같이, 역 컬러 현시 전달 함수와 같은 동작들은 컬러 값들에 대한 특정 전달 함수의 효과들을 반전시키도록 구성될 수 있다. 그와 같이, 전달 함수 적응 동작(500)은 값들을 입력 전달 함수에 기초하여 조정되는 것으로부터 출력 전달 함수에 기초하여 조정되는 것으로 변환하는 HDR 적응 동작일 수 있다. 입력 및/또는 출력 전달 함수들은 감마 함수, PQ 함수, 또는 임의의 다른 함수와 같은, 선형 또는 비선형 전달 함수들일 수 있다. 출력 전달 함수는 역 컬러 현시 전달 함수와 같은, 디코더(102)에서의 나중의 역 전달 함수에 의해 반전되는 것으로 예상되는 전달 함수일 수 있다.
일부 실시예들에서, 전달 함수 적응 동작(500)은 메타데이터 아이템들(110)을 통해 전달되는 파라미터들에 따라 변경될 수 있거나 디코더(102)에 다른 방법으로 알려져 있는 고정 매핑 함수들 또는 적응 매핑 함수들일 수 있다. 다른 실시예들에서, 디코더(102)는 입력 전달 함수에 의해 조정되는 값들 및 출력 전달 함수에 의해 조정되는 값들 사이에서 직접 변환하기 위해 고정 또는 적응 룩업 테이블들을 사용할 수 있다.
비제한 예로서, 인코더(100)에 의해 발생되는 메타데이터 아이템들(110)이 적응 역 컬러 현시 전달 함수를 위해 장면별로, 프레임별로, 또는 프레임 영역 기초로 적응 컬러 현시 전달 함수에 대한 파라미터들을 표시하지만, 디코더(102)가 고정 역 컬러 현시 전달 함수를 사용할 때, 디코더(102)는 전달 함수 조정이 고정 역 컬러 현시 전달 함수에 의해 적절히 반전될 수 있도록, 그러한 장면, 프레임, 또는 프레임 영역에 대한 파라미터들에 기초하여 값들을 변환하기 위해 전달 함수 적응 동작(500)에서 그러한 메타데이터 아이템들(110)을 사용할 수 있다.
일부 실시예들에서, 디코더(102)는 그것이 사용할 수 있는 고정 수의 가능한 역 컬러 현시 전달 함수들을 가질 때, 디코더(102)는 대응하는 수의 고정 룩업 테이블들을 가질 수 있으며, 하나는 각각의 가능한 역 전달 함수를 위한 것이다. 그와 같이, 디코더(102)에서 X 가능한 입력 값들 및 M 가능한 역 컬러 현시 전달 함수들이 있을 때, 특정 역 컬러 현시 전달 함수들에 대해 입력 값(x)(0 ≤ x ≤ X) 및 인덱스(m)(0 ≤ m ≤ M)가 주어지면, 디코더(102)는 LUT[x][m]에서 출력 값(Y)을 발견하기 위해 룩업 테이블(lookup table)(LUT)을 사용할 수 있다. 일부 실시예들에서, 유사한 고정 룩업 테이블들은 또한 Cb 및 Cr 성분들과 같은, 다른 성분들을 위해 제공될 수 있다. 이러한 실시예들의 일부에서, x의 값들은 Y, Cb, 및 Cr 성분들 중 하나 이상의 조합에 기초할 수 있다.
다른 실시예들에서, 룩업 테이블은 메타데이터 아이템들(110)에서 수신되는 정보로부터 적응적으로 발생될 수 있다. 비제한 예로서, 메타데이터 아이템들(110)은 2의 차수, 또는 임의의 다른 차수를 갖는 다수의 구분적 다항 곡선과 같은, 다수의 구분적 세그먼트 곡선을 정의할 수 있다. 이러한 예에서, 디코더(102)는 각각의 곡선 세그먼트의 파라미터들에 기초하여 전달 함수 적응 동작(500)에서 사용하기 위해 그러한 곡선으로부터 전달 함수를 결정하고 대응하는 룩업 테이블을 발생시킬 수 있다.
도 6은 비트 심도 적응 동작(600)을 도시한다. 일부 실시예들에서, 디코딩된 값들은 나중의 동작들에 의해 예상되는 것과 상이한 비트 심도로 표현될 수 있다. 비제한 예로서, 역 지각 정규화 동작들과 같은 디코더에서의 동작은 값들을 임의의 예산 정확도로 생성하고 임의의 비트 심도로 표현되는 하나 이상의 전달 함수, 3차원 룩업 테이블들, 또는 한 세트의 3개의 1차원 룩업 테이블을 사용할 수 있다. 비제한 예로서, 역 지각 정규화 동작은 10 비트, 16 비트, 24 비트, 32 비트, 또는 임의의 다른 수의 비트로 표현되는 부동 소수점 값들을 생성할 수 있다. 그러나, 나중의 동작들은 8 비트 또는 10 비트와 같은, 구체적 비트 심도에서 값들을 예상할 수 있다. 그와 같이, 비트 심도 적응 동작(600)은 값들을 입력 비트 심도로부터 출력 비트 심도로 변환할 수 있다.
HDR 적응 동작들이 값들을 나중의 후처리 동작들에 의해 예상되는 포맷으로 변환하기 위해 디코더(102)에 의해 수행되는 것으로 위에 설명되지만, 유사한 HDR 적응 동작들은 값들을 그러한 나중의 동작들에 의해 예상되는 포맷으로 변환하기 위해 나중의 전처리 동작들 전의 단계에서 인코더(100)에 의해 수행될 수 있다. 비제한 예로서, 인코더의 컬러 프라이머리 변환, 컬러 현시 전달 함수, 컬러 공간 변환, 및/또는 채도 서브샘플링 동작들이 나중의 전처리 동작들에 의해 예상되는 것과 상이한 포맷으로 값들을 생성할 때, 인코더(100)는 컬러 공간, 전달 함수 조정, 비트 심도, 또는 임의의 다른 속성을 변환하기 위해 하나 이상의 HDR 적응 동작을 수행할 수 있다.
비제한 예로서, 도 7은 도 2에 도시된 인코딩 단계들의 대체 실시예를 도시하며, 단계(209)는 단계(208)에서의 채도 서브샘플링과 단계(210)에서의 코딩 전달 함수 사이에서 발생한다. 단계(209)에서, 인코더(100)는 도 4 내지 도 6에 대해 설명된 것들과 같은 하나 이상의 HDR 적응 동작을 수행할 수 있다. 이러한 예시적 실시예에서 단계(209) 동안 수행되는 HDR 적응 동작들은 값들을 단계들(202 내지 208)을 통해 생성되는 포맷으로부터 단계들(210, 212, 214, 및/또는 216)과 같은 나중의 단계들에 의해 예상되는 포맷으로 변환할 수 있다. 대체 실시예들에서, HDR 적응 동작들은 임의의 다른 단계에서 인코더(100)에 의해 수행될 수 있다.
본 발명이 특별하게 위에 설명되었지만, 이것은 본 기술분야의 통상의 기술자에게 본 발명을 제조하고 사용하는 법을 교시할 뿐이었다. 많은 부가 수정들은 범위가 이하의 청구항들에 의해 정의되는 바와 같이, 본 발명의 범위 내에 있을 것이다.

Claims (20)

  1. 비트스트림을 디코딩하는 방법으로서,
    디코더에서 비트스트림을 수신하는 단계;
    상기 디코더로 상기 비트스트림을 상기 디코더에 의해 수행될 적응 후처리 동작들에 관한 정보를 표시하는 컬러 값들 및 메타데이터 아이템들로 디코딩하는 단계;
    상기 디코더로, 상기 메타데이터 아이템들에 기초하여 상기 컬러 값들에 대한 하나 이상의 높은 동적 범위(HDR) 적응 동작을 수행하는 단계; 및
    상기 디코더로, 상기 컬러 값들로부터 HDR 비디오를 재구성하기 위해 하나 이상의 고정 후처리 동작을 수행하는 단계
    를 포함하며,
    상기 하나 이상의 HDR 적응 동작은 상기 컬러 값들을 상기 하나 이상의 고정 후처리 동작에 의해 예상되는 포맷으로 변환하는, 방법.
  2. 제1항에 있어서, 상기 고정 후처리 동작들 중 하나는 역 컬러 공간 변환 동작이고, 상기 HDR 적응 동작들 중 하나는 상기 컬러 값들을 입력 컬러 공간으로부터 상기 역 컬러 공간 변환 동작에 의해 예상되는 출력 컬러 공간으로 변환하는 컬러 공간 적응 동작인, 방법.
  3. 제2항에 있어서, 상기 컬러 공간 적응 동작은 고정 룩업 테이블 또는 고정 매핑 함수에 기초하여 상기 컬러 값들을 변환하는, 방법.
  4. 제2항에 있어서, 상기 컬러 공간 적응 동작은 상기 메타데이터 아이템들 내의 파라미터들로부터 결정되는 적응 룩업 테이블 또는 적응 매핑 함수에 기초하여 상기 컬러 값들을 변환하는, 방법.
  5. 제2항에 있어서, 상기 컬러 공간 적응 동작은 먼저 상기 컬러 값들의 적어도 일부 성분들을 상기 입력 컬러 공간으로부터 중간 선형 컬러 공간으로 변환하고 그 다음에 상기 중간 선형 컬러 공간으로부터 상기 출력 컬러 공간으로 변환하는, 방법.
  6. 제5항에 있어서, 상기 입력 컬러 공간은 YCbCr 컬러 공간이고, 상기 출력 컬러 공간은 지각적으로 양자화된(PQ) YCbCr 컬러 공간이며, 상기 디코더는,
    루마 변환 동작을 사용하여 Y 루마 성분을 상기 YCbCr 컬러 공간으로부터 상기 PQ YCbCr 컬러 공간에 대한 PQ Y 루마 성분으로 변환하고,
    청색 변환 동작을 사용하여 상기 Y 루마 성분, Cb 채도 성분, 및 Cr 채도 성분을 상기 YCbCr 컬러 공간으로부터 중간 PQ 청색 성분으로 변환하고,
    적색 변환 동작을 사용하여 상기 Y 루마 성분, 상기 Cb 채도 성분, 및 상기 Cr 채도 성분을 상기 YCbCr 컬러 공간으로부터 중간 PQ 적색 성분으로 변환하고,
    Cb 변환 동작을 사용하여 상기 PQ Y 루마 성분, 상기 중간 PQ 청색 성분, 및 상기 중간 PQ 적색 성분을 PQ Cb 채도 성분으로 변환하고,
    Cr 변환 동작을 사용하여 상기 PQ Y 루마 성분, 상기 중간 PQ 청색 성분, 및 상기 중간 PQ 적색 성분을 PQ Cr 채도 성분으로 변환하며,
    상기 루마 변환 동작, 상기 청색 변환 동작, 상기 적색 변환 동작, 상기 Cb 변환 동작, 및 상기 Cr 변환 동작은 매핑 함수들 또는 룩업 테이블들로 정의되는, 방법.
  7. 제6항에 있어서, 상기 입력 컬러 공간 및 상기 출력 컬러 공간 중 하나는 비일정한 휘도 컬러 공간이고, 상기 입력 컬러 공간 및 상기 출력 컬러 공간 중 다른 하나는 일정한 휘도 컬러 공간인, 방법.
  8. 제1항에 있어서, 상기 고정 후처리 동작들 중 하나는 역 컬러 현시 전달 함수(inverse color appearance transfer function)이고, 상기 HDR 적응 동작들 중 하나는 상기 컬러 값들을 입력 전달 함수에 의해 조정되는 것으로부터 역 컬러 현시 전달 함수에 의해 예상되는 출력 전달 함수에 의해 조정되는 것으로 변환하는 전달 함수 적응 동작인, 방법.
  9. 제8항에 있어서, 상기 입력 전달 함수 및 상기 출력 전달 함수 중 하나는 감마 함수이고, 상기 입력 전달 함수 및 상기 출력 전달 함수 중 다른 하나는 지각 양자화기(PQ) 함수인, 방법.
  10. 제8항에 있어서, 상기 전달 함수 적응 동작은 고정 룩업 테이블 또는 고정 매핑 함수에 기초하여 상기 컬러 값들을 변환하는, 방법.
  11. 제10항에 있어서, 상기 디코더는 상기 디코더에 의해 사용될 수 있는 각각의 가능한 역 컬러 현시 전달 함수에 대한 고정 룩업 테이블을 갖고, 상기 디코더는 상기 메타데이터 아이템들을 사용하여 식별되는 고정 룩업 테이블들 중 하나 상에서 출력 컬러 값을 발견함으로써 컬러 값을 변환하는, 방법.
  12. 제8항에 있어서, 상기 전달 함수 적응 동작은 상기 메타데이터 아이템들 내의 파라미터들로부터 결정되는 적응 룩업 테이블 또는 적응 매핑 함수에 기초하여 상기 컬러 값들을 변환하는, 방법.
  13. 제12항에 있어서, 상기 메타데이터 아이템들은 다수의 구분적 세그먼트 곡선(piece-wise segment curve)을 정의하고, 상기 디코더는 상기 다수의 구분적 세그먼트 곡선의 각각의 세그먼트를 정의하는 파라미터들을 사용하여 상기 적응 룩업 테이블을 발생시키는, 방법.
  14. 제13항에 있어서, 상기 다수의 구분적 세그먼트 곡선은 2의 차수를 갖는 다수의 구분적 다항 곡선인, 방법.
  15. 제1항에 있어서, 상기 HDR 적응 동작들 중 하나는, 상기 고정 후처리 동작들이 상기 출력 비트 심도에서 상기 컬러 값들을 예상할 때 상기 컬러 값들을 입력 비트 심도로부터 출력 비트 심도로 변환하는 비트 심도 적응 동작인, 방법.
  16. 제1항에 있어서, 상기 메타데이터 아이템들은, 상기 디코더가 상이한 장면들, 프레임들, 또는 프레임 영역들에 대한 상기 메타데이터 아이템들에 기초하여 상기 하나 이상의 HDR 적응 동작을 변경하도록, 장면 기초, 프레임 기초, 또는 프레임 영역 기초로 인코더의 전처리 동작들에 관한 정보를 표시하는, 방법.
  17. 비디오 디코더로서,
    비트스트림을 수신하도록 구성된 데이터 송신 인터페이스; 및
    프로세서를 포함하며, 상기 프로세서는,
    상기 비트스트림을 상기 프로세서에 의해 수행될 적응 후처리 동작들에 관한 정보를 표시하는 컬러 값들 및 메타데이터 아이템들로 디코딩하고;
    상기 메타데이터 아이템들에 기초하여 상기 컬러 값들에 대한 하나 이상의 높은 동적 범위(HDR) 적응 동작을 수행하고;
    상기 컬러 값들로부터 HDR 비디오를 재구성하기 위해 하나 이상의 고정 후처리 동작을 수행하도록 구성되고,
    상기 하나 이상의 HDR 적응 동작은 상기 컬러 값들을 상기 하나 이상의 고정 후처리 동작에 의해 예상되는 포맷으로 변환하고, 상기 하나 이상의 HDR 적응 동작은 상기 컬러 값들의 컬러 공간을 변환하고, 상기 컬러 값들의 비트 심도를 변환하고, 그리고/또는 상기 컬러 값들이 조정되는 전달 함수를 변경하는, 비디오 디코더.
  18. 제17항에 있어서, 상기 하나 이상의 HDR 적응 동작은 고정 룩업 테이블들 또는 고정 매핑 함수들에 기초하여 상기 컬러 값들을 변환하는, 비디오 디코더.
  19. 제17항에 있어서, 상기 하나 이상의 HDR 적응 동작은 상기 메타데이터 아이템들 내의 파라미터들로부터 결정되는 적응 룩업 테이블들 또는 적응 매핑 함수들에 기초하여 상기 컬러 값들을 변환하는, 비디오 디코더.
  20. 제17항에 있어서, 상기 메타데이터 아이템들은, 상기 디코더가 상이한 장면들, 프레임들, 또는 프레임 영역들에 대한 상기 메타데이터 아이템들에 기초하여 상기 하나 이상의 HDR 적응 동작을 변경하도록, 장면 기초, 프레임 기초, 또는 프레임 영역 기초로 인코더의 전처리 동작들에 관한 정보를 표시하는, 비디오 디코더.
KR1020187008024A 2015-09-23 2016-09-23 비디오 디코더에서의 높은 동적 범위 적응 동작들 KR102243844B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562222715P 2015-09-23 2015-09-23
US62/222,715 2015-09-23
PCT/US2016/053531 WO2017053860A1 (en) 2015-09-23 2016-09-23 High dynamic range adaptation operations at a video decoder
US15/274,653 US9819956B2 (en) 2015-09-23 2016-09-23 High dynamic range adaptation operations at a video decoder
US15/274,653 2016-09-23

Publications (2)

Publication Number Publication Date
KR20180043807A true KR20180043807A (ko) 2018-04-30
KR102243844B1 KR102243844B1 (ko) 2021-04-22

Family

ID=58283636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008024A KR102243844B1 (ko) 2015-09-23 2016-09-23 비디오 디코더에서의 높은 동적 범위 적응 동작들

Country Status (5)

Country Link
US (6) US9819956B2 (ko)
EP (1) EP3338243B1 (ko)
JP (1) JP6608067B2 (ko)
KR (1) KR102243844B1 (ko)
WO (1) WO2017053860A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
JP2018525905A (ja) * 2015-07-22 2018-09-06 アリス エンタープライジズ エルエルシーＡｒｒｉｓ Ｅｎｔｅｒｐｒｉｓｅｓ Ｌｌｃ 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
WO2017053350A1 (en) * 2015-09-21 2017-03-30 Dolby Laboratories Licensing Corporation Techniques for operating a display in the perceptual code space
KR102243844B1 (ko) * 2015-09-23 2021-04-22 애리스 엔터프라이지즈 엘엘씨 비디오 디코더에서의 높은 동적 범위 적응 동작들
US10332481B2 (en) * 2015-11-02 2019-06-25 Dolby Laboratories Licensing Corporation Adaptive display management using 3D look-up table interpolation
CN107027027B (zh) * 2016-01-31 2021-02-12 西安电子科技大学 图像的编码、解码方法及装置、以及图像的编解码系统
US10771795B2 (en) * 2016-06-13 2020-09-08 Intel Corporation Switchable chroma sampling for wireless display
CN111667418B (zh) * 2016-08-22 2024-06-28 华为技术有限公司 用于图像处理的方法和装置
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
CN107071515B (zh) * 2017-04-08 2018-12-07 腾讯科技（深圳）有限公司 一种图片文件处理方法及系统
US11785193B2 (en) * 2017-12-12 2023-10-10 Interdigital Vc Holdings, Inc. Processing an image
GB2575009B (en) * 2018-05-14 2022-12-14 Advanced Risc Mach Ltd Media processing systems
US11151748B2 (en) * 2018-07-13 2021-10-19 Electronics And Telecommunications Research Institute 3D point cloud data encoding/decoding method and apparatus
JP2022508741A (ja) * 2018-10-09 2022-01-19 ヴイ－ノヴァ インターナショナル リミテッド 複数解像度を使う階層コーディングスキーム内での信号エレメントコーディングフォーマット互換性
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11503310B2 (en) 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
JP7557298B2 (ja) 2020-07-17 2024-09-27 日本放送協会 映像符号化装置、映像復号装置及びこれらのプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20150248747A1 (en) * 2012-09-12 2015-09-03 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
WO2016140954A1 (en) * 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971408B2 (en) * 2011-04-14 2015-03-03 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
US8731287B2 (en) * 2011-04-14 2014-05-20 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
US9066070B2 (en) * 2011-04-25 2015-06-23 Dolby Laboratories Licensing Corporation Non-linear VDR residual quantizer
WO2013067113A1 (en) * 2011-11-01 2013-05-10 Dolby Laboratories Licensing Corporation Adaptive false contouring prevention in layered coding of images with extended dynamic range
US9420302B2 (en) * 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
KR101957904B1 (ko) * 2012-03-12 2019-03-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
US9538155B2 (en) * 2013-12-04 2017-01-03 Dolby Laboratories Licensing Corporation Decoding and display of high dynamic range video
EP2887664A1 (en) * 2013-12-19 2015-06-24 Thomson Licensing Method and device for encoding a high-dynamic range image
US9277196B2 (en) * 2014-02-19 2016-03-01 DDD IP Ventures, Ltd. Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
US9230338B2 (en) * 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9584786B2 (en) * 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US11363281B2 (en) 2014-03-19 2022-06-14 Arris Enterprises Llc Scalable coding of video sequences using tone mapping and different color gamuts
US10536731B2 (en) * 2014-05-12 2020-01-14 Apple Inc. Techniques for HDR/WCR video coding
US9613407B2 (en) * 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
US10469849B2 (en) * 2014-10-07 2019-11-05 Trellis Europe Srl Video and image encoding process
US10735755B2 (en) 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
WO2016172395A1 (en) 2015-04-21 2016-10-27 Arris Enterprises Llc Scalable video coding system with parameter signaling
EP3295450B1 (en) * 2015-05-12 2020-07-01 Dolby Laboratories Licensing Corporation Backlight control and display mapping for high dynamic range images
US10244245B2 (en) 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
JP2018525905A (ja) 2015-07-22 2018-09-06 アリス エンタープライジズ エルエルシーＡｒｒｉｓ Ｅｎｔｅｒｐｒｉｓｅｓ Ｌｌｃ 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
US10536695B2 (en) * 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
KR102243844B1 (ko) * 2015-09-23 2021-04-22 애리스 엔터프라이지즈 엘엘씨 비디오 디코더에서의 높은 동적 범위 적응 동작들

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248747A1 (en) * 2012-09-12 2015-09-03 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016140954A1 (en) * 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images

Also Published As

Publication number Publication date
US20180054627A1 (en) 2018-02-22
JP6608067B2 (ja) 2019-11-20
WO2017053860A1 (en) 2017-03-30
EP3338243A1 (en) 2018-06-27
US10432955B2 (en) 2019-10-01
US10116954B2 (en) 2018-10-30
US9819956B2 (en) 2017-11-14
US20220021893A1 (en) 2022-01-20
US11153589B2 (en) 2021-10-19
KR102243844B1 (ko) 2021-04-22
JP2018534883A (ja) 2018-11-22
US12028542B2 (en) 2024-07-02
US20240323421A1 (en) 2024-09-26
US20190379896A1 (en) 2019-12-12
EP3338243B1 (en) 2022-04-20
US20170085895A1 (en) 2017-03-23
US20190028727A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
US12028542B2 (en) High dynamic range adaptation operations at a video decoder
JP7114653B2 (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
US20230171429A1 (en) Color volume transforms in coding of high dynamic range and wide color gamut sequences
US10506232B2 (en) System for reshaping and coding high dynamic range and wide color gamut sequences
EP3308541B1 (en) System for coding high dynamic range and wide color gamut sequences
US20240323382A1 (en) System for coding high dynamic range and wide color gamut sequences
JP2024149797A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant