KR20220040508A - 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 - Google Patents

높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 Download PDF

Info

Publication number
KR20220040508A
KR20220040508A KR1020227008981A KR20227008981A KR20220040508A KR 20220040508 A KR20220040508 A KR 20220040508A KR 1020227008981 A KR1020227008981 A KR 1020227008981A KR 20227008981 A KR20227008981 A KR 20227008981A KR 20220040508 A KR20220040508 A KR 20220040508A
Authority
KR
South Korea
Prior art keywords
values
sdr
hdr
color volume
display
Prior art date
Application number
KR1020227008981A
Other languages
English (en)
Other versions
KR102531489B1 (ko
Inventor
쿠햐르 미누
Original Assignee
애리스 엔터프라이지즈 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애리스 엔터프라이지즈 엘엘씨 filed Critical 애리스 엔터프라이지즈 엘엘씨
Priority to KR1020237015421A priority Critical patent/KR102711913B1/ko
Publication of KR20220040508A publication Critical patent/KR20220040508A/ko
Application granted granted Critical
Publication of KR102531489B1 publication Critical patent/KR102531489B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H04L45/745—Address table lookup; Address filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

디지털 비디오를 인코딩하는 방법으로서, 인코더에서 비디오의 높은 동적 범위 마스터(high dynamic range(HDR) master), 비디오의 참조 표준 동적 범위 마스터(reference standard dynamic range(SDR) master), 및 타겟 SDR 디스플레이 속성들(target SDR display properties)을 수신하는 단계, HDR 마스터로부터의 HDR 값들을, 타겟 SDR 디스플레이 상의 디스플레이를 위해 변환될 때 참조 SDR 마스터 내의 SDR 값들과 실질적으로 유사한 SDR 값들로 변환하는 컬러 볼륨 변환을 찾는 단계, 컬러 볼륨 변환을 사용하여 HDR 마스터로부터의 HDR 값들을 SDR 값들로 변환하는 단계, 디코더들에게 컬러 볼륨 변환을 식별해주는 메타데이터 아이템들을 생성하는 단계, 및 SDR 값들을 비트 스트림으로 인코딩하는 단계를 포함한다.

Description

높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들{COLOR VOLUME TRANSFORMS IN CODING OF HIGH DYNAMIC RANGE AND WIDE COLOR GAMUT SEQUENCES}
우선권 주장
본 출원은 여기에 참조로서 포함되는 2015년 8월 28일에 출원된 선행 출원 미국 가출원 일련번호 제62/211,519호로부터의 우선권을 35 U.S.C. § 119(e) 하에 주장하는, 2016년 8월 26일에 출원된 계류중인 미국 특허 출원 제15/248,024의 계속 출원이다.
기술분야
본 개시내용은 비디오 인코딩 및 디코딩의 분야에 관한 것으로, 특히 동일한 비트 스트림(bitstream)이 표준 동적 범위(standard dynamic range)(SDR) 시스템들 및 높은 동적 범위(high dynamic range)(HDR) 시스템들에 의해 사용될 수 있도록 하는, SDR 컬러 볼륨 및 HDR 컬러 볼륨 내의 컬러 값들 사이의 변환 방법에 관한 것이다.
높은 동적 범위(HDR) 비디오 및/또는 넓은 컬러 영역(Wide Color Gamut)(WCG) 내의 컬러 값들을 갖는 비디오 시퀀스들은 표준 동적 범위(SDR) 및/또는 더 좁은 컬러 영역 내의 컬러 값들을 갖는 종래의 비디오보다 더 큰 범위의 휘도 및 컬러 값들을 제공한다. 예를 들어, 종래의 SDR 비디오는 제한된 휘도 및 컬러 범위를 가질 수 있어, 섀도우들 또는 하이라이트들 내의 상세들은 이미지들이 캡처되고, 인코딩되고, 및/또는 디스플레이될 때 손실될 수 있다. 대조적으로, HDR 비디오는 더 넓은 범위의 휘도 및 컬러 정보를 캡처할 수 있어, 비디오가 인간 눈에 더 자연스럽고 실생활에 더 가깝게 보이는 것을 허용한다.
HDR 비디오가 종래의 SDR 비디오보다 더 자연스럽게 보일 수 있긴 하지만, 많은 디스플레이들 및/또는 디코더들은 아직 HDR 비디오를 지원하지 않는다. HDR 비디오는 SDR 비디오보다 더 높은 최소 가시 밝기 값들 대비 최대 가시 밝기 값들의 비율(ratio of maximum visible brightness values to minimum visible brightness values)을 가질 수 있으나, 많은 SDR 디스플레이들은 HDR 비디오에 존재할 수 있는 더 높은 콘트라스트를 재생할 수 없다. 예를 들어 많은 기존의 SDR 디스플레이들은 0.5 내지 100 니트(nits)(제곱미터당 칸델라(candelas per square meter))의 휘도 값들에서 콘트라스트들을 디스플레이할 수 있지만, 많은 HDR 디스플레이들은 0.01 내지 1000 니트의 휘도 값들과 같은 훨씬 더 높은 범위의 휘도 값들에서 콘트라스트들을 디스플레이할 수 있다.
일부 시스템들은 이 문제를 상이한 유형들의 디스플레이들에 대해 상이한 비트 스트림들을 생성함으로써 해결한다. 예를 들어, SDR 디스플레이들 상에 디코딩되고 디스플레이될 수 있는 SDR 비트 스트림은 생성될 수 있는 한편, HDR 디스플레이들 상에 디코딩되고 디스플레이될 수 있는 별개의 HDR 비트 스트림이 생성될 수 있다. 그러나, 단일 비디오에 대해 두 개의 개별 비트 스트림들을 생성하는 것은 시간 소모적 및/또는 프로세서-집약적(processor intensive)일 수 있다. 부가적으로, 서버들은 디바이스들이 자신들의 디스플레이 기능들에 적절한 버전을 요청할 수 있게 하기 위하여 비트 스트림의 두 버전을 모두 저장해야 할 필요가 있을 수 있다. 이는 저장 용량 문제들을 초래할 수 있다. 다른 대안으로서, 두 버전들에 대한 비트 스트림들은 동일한 트랜스포트 스트림으로 다중화되어, 디코더들이 트랜스포트 스트림으로부터 두 비트 스트림들 중 어느 것을 디코딩할지 선택할 수 있게 한다. 그러나, 이는 트랜스포트 스트림의 크기를 증가시킬 수 있고, 따라서 트랜스포트 스트림을 전달하는 데 더 많은 대역폭을 사용할 수 있다.
HDR 소스로부터 단일 비트 스트림을 인코딩하여, 동일한 비트 스트림이 HDR 시스템들에 의해 디코딩되어 HDR 컬러 값들을 제공하고 SDR 시스템들에 의해 디코딩되어 SDR 컬러 값들을 제공할 수 있게 하는 시스템이 필요하다. 이러한 시스템에서, 디코더들은 인코더에 의해 생성되는 정보를 사용하여, 비트 스트림으로부터 디코딩되는 값들을 자신들의 디스플레이 유형에 적절한 대로 HDR 컬러 볼륨 또는 SDR 컬러 볼륨 중 하나로 변환할 수 있어야 한다.
본 개시내용은 디지털 비디오를 인코딩하는 방법을 제공하고, 상기 방법은 인코더에서 높은 동적 범위 마스터(high dynamic range(HDR) master), 참조 표준 동적 범위 마스터(reference standard dynamic range(SDR) master), 및 타겟 SDR 디스플레이 속성들(target SDR display properties)을 수신하는 단계 - HDR 마스터는 HDR 컬러 볼륨 내의 HDR 값들을 포함하는 비디오의 제1 이미지 에센스(image essence)이고, 참조 SDR 마스터는 SDR 컬러 볼륨 내의 참조 SDR 값들을 포함하는 비디오의 제2 이미지 에센스이고, 타겟 SDR 디스플레이 속성들은 타겟 SDR 디스플레이가 스크린 상에의 디스플레이를 위해 디코딩된 SDR 값들을 변환하기 위해 사용하는 SDR 디스플레이 동작들을 표시함 -, HDR 마스터로부터 유래된 HDR 값들을, 타겟 SDR 디스플레이 속성들에서 식별되는 SDR 디스플레이 동작들로 변환될 때 참조 SDR 값들과 실질적으로 유사한 SDR 값들로 변환하도록 하는 컬러 볼륨 변환을 인코더에서 찾는 단계, 인코더에서 컬러 볼륨 변환을 사용하여 HDR 마스터로부터 유래된 HDR 값들을 SDR 값들로 변환하는 단계, 인코더를 사용하여 디코더들에게 컬러 볼륨 변환을 식별해주는 하나 이상의 메타데이터 아이템을 생성하는 단계, 및 인코더를 사용하여 SDR 값들을 비트 스트림으로 인코딩하는 단계를 포함한다.
본 개시내용은 또한 디지털 비디오를 인코딩하는 방법을 제공하고, 상기 방법은 인코더에서 높은 동적 범위(HDR) 마스터 및 참조 표준 동적 범위(SDR) 마스터를 수신하는 단계 - HDR 마스터는 HDR 컬러 볼륨 내의 HDR 값들을 포함하는 비디오의 제1 이미지 에센스이고, 참조 SDR 마스터는 SDR 컬러 볼륨 내의 참조 SDR 값들을 포함하는 비디오의 제2 이미지 에센스임 -, HDR 마스터로부터 유래된 HDR 값들을 참조 SDR 값들과 실질적으로 유사한 SDR 값들로 변환하는 컬러 볼륨 변환을 인코더에서 찾는 단계, 인코더를 사용하여 디코더들에게 컬러 볼륨 변환을 식별해주는 하나 이상의 메타데이터 아이템을 생성하는 단계, 및 상기 인코더를 사용하여 HDR 값들을 비트 스트림으로 인코딩하는 단계를 포함한다.
본 발명의 추가적 상세들이 첨부된 도면들의 도움으로 설명된다.
도 1은 디스플레이와 결합된 디코더 및 인코더를 포함하는 비디오 시스템의 예시적인 실시예를 도시한다.
도 2는 HDR 마스터로부터 인코딩된 SDR 값들을 갖는 비트 스트림을 생성하도록 구성된 인코더의 실시예를 도시한다.
도 3은 도 2에 도시된 인코더에 의해 생성된 비트 스트림으로부터 SDR 값들을 디코딩 및 디스플레이하도록 구성된 SDR 시스템 내의 디코더의 실시예를 도시한다.
도 4는 도 2에 도시된 인코더에 의해 생성된 비트 스트림으로부터 SDR 값들을 디코딩하고 SDR 값들을 디스플레이를 위한 HDR 값들로 변환하도록 구성된 HDR 시스템 내의 디코더의 실시예를 도시한다.
도 5는 HDR 마스터로부터의 HDR 값들을 참조 SDR 마스터의 SDR 값들 및 타겟 SDR 디스플레이의 디스플레이 속성들에 기초한 SDR 값들로 변환하기 위해 인코더에서의 컬러 볼륨 변환 동작을 찾는 프로세스를 도시한다.
도 6은 HDR 마스터로부터 인코딩된 HDR 값들을 갖는 비트 스트림을 생성하도록 구성된 인코더의 실시예를 도시한다.
도 7은 도 6에 도시된 인코더에 의해 생성된 비트 스트림으로부터의 HDR 값들을 디코딩 및 디스플레이하도록 구성된 HDR 시스템 내의 디코더의 실시예를 도시한다.
도 8은 도 6에 도시된 인코더에 의해 생성된 비트 스트림으로부터의 HDR 값들을 디코딩하고 HDR 값들을 디스플레이를 위한 SDR 값들로 변환하도록 구성된 SDR 시스템 내의 디코더의 실시예를 도시한다.
도 1은 디스플레이(104)와 결합된 디코더(102) 및 인코더(100)를 포함하는 비디오 시스템의 일 실시예를 도시한다. 인코더(100)는 이미지 에센스를 포함하는 비디오의 요소들로부터 비트 스트림(106) 및 메타데이터 아이템들(108)을 생성할 수 있다. 비디오의 이미지 에센스는 이미지들의 순서 시퀀스(ordered sequence), 예컨대 프레임들 또는 그림들의 시퀀스일 수 있다. 인코더(100)에 의해 생성되는 비트 스트림(106) 및 메타데이터 아이템들(108)은 인터넷을 통해, 직각 진폭 변조(Quadrature Amplitude Modulation)(QAM)와 같은 디지털 케이블 텔레비전 연결을 통해, 또는 임의의 다른 디지털 전송 또는 전달 메커니즘을 통해 디코더(102)에 제공될 수 있다. 디코더(102)는 디스플레이(104) 상의 플레이백(playback)을 위한 비디오의 재구성된 버전을 디코딩하고 출력하기 위해 비트 스트림(106) 및 메타데이터 아이템들(108)을 사용할 수 있다. 디스플레이(104)는 텔레비전, 모니터, 디바이스 스크린, 또는 재구성된 비디오를 제공하도록 구성되는 임의의 다른 유형의 디스플레이일 수 있다.
인코더(100)는 비디오의 요소들, 예컨대 그것의 이미지 에센스를 비트 스트림(106)으로 인코딩, 트랜스코딩, 및/또는 압축하도록 구성되는 프로세서들, 메모리, 회로들, 및/또는 다른 하드웨어 및 소프트웨어 요소들을 포함할 수 있다. 인코더(100)는 비디오 코딩 포맷 및/또는 압축 방식, 예컨대 고효율 비디오 코딩(HEVC), H.264/MPEG-4 고도 비디오 코딩(AVC), 또는 MPEG-2에 따라 비트 스트림(106)을 생성하도록 구성될 수 있다. 제한이 아닌 예로서, 일부 실시예들에서, 인코더(100)는 메인 10 HEVC 인코더일 수 있다.
유사하게, 디코더(102)는 비트 스트림(106)을 재구성되는 비디오로 디코딩, 트랜스코딩, 및/또는 압축 해제하도록 구성되는 프로세서들, 메모리, 회로들, 및/또는 다른 하드웨어 및 소프트웨어 요소들을 포함할 수 있다. 디코더(102)는 비디오 코딩 포맷 및/또는 압축 방식, 예컨대 HEVC, H.264/MPEG-4 AVC, 또는 MPEG-2에 따라 비트 스트림(106)을 디코딩하도록 구성될 수 있다. 제한이 아닌 예로서, 일부 실시예들에서, 디코더(102)는 메인 10 HEVC 디코더일 수 있다.
일부 실시예들에서, 인코더(100) 및/또는 디코더(102)는 전용 하드웨어 디바이스들일 수 있다. 다른 실시예들에서, 인코더(100) 및/또는 디코더(102)는 다른 하드웨어, 예컨대 서버들, 컴퓨터들, 또는 비디오 처리 디바이스들 상에 실행하는 소프트웨어 프로그램들이거나, 그것들을 사용할 수 있다. 제한이 아닌 예로서, 인코더(100)는 비디오 서비스 제공자에 의해 작동되는 비디오 인코더일 수 있는 반면에, 디코더(102)는 텔레비전 또는 다른 디스플레이(104)에 연결되는 셋톱 박스(set top box), 예컨대 케이블 박스의 일부일 수 있다. 일부 실시예들에서, 디코더(102) 및 디스플레이(104)는 단일 디바이스로 통합될 수 있다.
디코더(102) 및/또는 디스플레이(104)는 표준 동적 범위(SDR) 시스템 또는 높은 동적 범위(HDR) 시스템일 수 있다. HDR 시스템은 높은 동적 범위(HDR)에서의 휘도 값들 및/또는 넓은 컬러 영역(WCG)에서의 색도 값들(chromaticity values)을 디코딩 및 디스플레이할 수 있는 반면, SDR 시스템은 더 작은 범위들에서 휘도 및/또는 색도 값들을 디코딩 및/또는 디스플레이하는 것으로 제한될 수 있다. 제한이 아닌 예로서, HDR 비디오는 SDR 비디오와 비교하여 더 높은 최소 가시 밝기 대비 최대 가시 밝기의 비율을 가질 수 있다. 그와 같이, HDR 시스템들은 SDR 시스템들에 의해 재생할 수 있는 SDR 비디오보다 더 넓은 범위의 컬러들 및 상세들, 예컨대 지각될 수 있는 섀도우 및 하이라이트 상세를 갖는 HDR 비디오를 재생할 수 있다.
HDR 디스플레이(104)는 동작들, 예컨대 디스플레이(104) 상의 프레젠테이션을 위해 SDR 비디오를 변환하는 SDR 전달 함수들에 대한 내장된 지원으로 종래의 SDR 비디오를 일반적으로 처리할 수 있지만, 많은 SDR 디스플레이들(104)은 HDR 비디오를 디스플레이하는 데 사용되는 컬러 공간 및 컬러 원색들(color primaries) 및/또는 전달 함수들을 지원하지 않는다. 제한이 아닌 예로서, 일부 실시예들에서, SDR 디스플레이(104)는 권고 ITU-R BT.2035 섹션 3.2에 의해 정의된 바와 같이, 100 니트(제곱미터당 칸델라)까지의 휘도 값들을 재생하도록 구성될 수 있는 반면, 일부 실시예들에서, HDR 디스플레이(104)는 1000니트 이상까지의 휘도 값들을 재생할 수 있다. 또 다른 제한이 아닌 예로서, 일부 실시예들에서, SDR 디스플레이(104)는 권고 ITU-R BT.709에 의해 정의된 표준 컬러 영역(standard color gamut) 내의 색도 값들을 재생할 수 있는 반면, 일부 실시예들에서, HDR 디스플레이(104)는 권고 ITU-R BT.2020에 의해 정의된 넓은 컬러 영역 내의 색도 값들을 재생할 수 있다. 권고 ITU-R BT.2035, 권고 ITU-R BT.709, 및 권고 ITU-R BT.2020이 참조로서 여기에 포함된다.
도 2 내지 도 4는 비트 스트림(106)이 HDR 시스템들 및 SDR 시스템들 모두에 의해 그것들의 디스플레이 속성들에 따라 디코딩될 수 있도록, 인코더(100)가 HDR 값들로부터 비트 스트림(106)을 생성할 수 있는 시스템의 일 실시예를 도시한다. 도 2에 도시된 바와 같이, 이 실시예에서, 인코더(100)는 SDR 휘도 및/또는 색도 값들의 인코딩된 버전들을 포함하는 비트 스트림(106)을 출력할 수 있고, 하나 이상의 메타데이터 아이템(108)은 인코더(100)가 원래의 HDR 값들로부터 SDR 값들을 어떻게 생성했는지를 표시할 수 있다. 그와 같이, SDR 시스템은 도 3에 도시된 바와 같이 플레이백을 위해 비트 스트림(106)으로부터 SDR 비디오를 재구성할 수 있는 반면, HDR 시스템은 도 4에 도시된 바와 같이 비트 스트림(106)을 디코딩할 수 있고, 디코딩된 SDR 값들을 HDR 디스플레이(104) 상의 플레이백을 위한 HDR 값들로 변환하기 위해서 하나 이상의 메타데이터 아이템(108)에서 식별되는 동작을 사용할 수 있다.
도 3 및 도 4가 SDR 시스템들 및 HDR 시스템들에 대한 개별 디코더들(102)을 도시하지만, 대안적인 실시예들에서 디코더(102)는 SDR 시스템들 및 HDR 시스템들 모두에 대한 동작들로 구성될 수 있어, 동일한 디코더(102)가 SDR 디스플레이(104)에 비디오를 출력하는 경우 도 3에 도시된 동작들을 따라갈 수 있고 또는 HDR 디스플레이(104)에 비디오를 출력하는 경우 도 4에 도시된 동작들을 따라갈 수 있다.
도 2에 도시된 바와 같이, 인코더(100)는 동일한 비디오의 HDR 마스터(202) 및 참조 SDR 마스터(204) 모두를 수신할 수 있다. 인코더(100)는 또한 아래에 더욱 설명되듯이, 목표되는 유형의 SDR 디스플레이(104)의 속성들(attributes)을 설명하는 타겟 SDR 디스플레이 속성들(206)(Target SDR Display Properties)을 수신하거나 이들로 구성될 수 있다.
HDR 마스터(202)는 상기 설명된 바와 같이, 휘도 및/또는 색도 값들이 높은 동적 범위(HDR) 및/또는 넓은 컬러 영역(WCG)으로 표현되는 비디오의 이미지 에센스일 수 있다. 참조 SDR 마스터(204)는 휘도 및/또는 색도 값들이 HDR 마스터의 값들보다 더 작은 동적 범위 및/또는 더 좁은 컬러 영역으로 표현되는 동일한 비디오의 이미지 에센스일 수 있다.
일부 실시예들에서, 인코더(100)는 HDR 마스터(202)로부터의 HDR 값들 상에 하나 이상의 컬러 변환 동작(208)을 수행할 수 있다. 컬러 변환 동작들(208)은 컬러 원색 변환들(color primary conversions), 컬러 공간 변환들(color space conversions), 및/또는 전달 함수 동작들일 수 있다. 컬러 원색 변환 동작들은 RGB, LMS, 및/또는 XYZ 컬러 원색들 내의 값들 사이에서 변환하는 것과 같이, 값들을 상이한 컬러 원색으로 변환할 수 있다. 컬러 공간 변환 동작들은 RGB, IPT, 및/또는 YCbCr 컬러 공간들 사이에서 변환하는 것과 같이, 값들을 상이한 컬러 공간으로 변환할 수 있다. 전달 함수 동작들은 특정한 값 범위 내에서 함께 번칭(bunching)되는 값들을 더 균등하게 분배하는 것과 같이, 값들을 상이한 범위로 재분배할 수 있는 비선형적인 전달 함수들일 수 있다.
제한이 아닌 예로서, 일부 실시예들에서, HDR 마스터(202)의 입력 값들이 선형적인 RGB 값들일 때, 인코더(100)는 특정 원색 값들을 갖는 RGB 값들을 상이한 원색 세트로 변환하기 위해 컬러 원색 변환을 수행할 수 있고, 값들을 비선형적으로 재분배하여 컬러 지각(color perception)을 더 균일하게 만들기 위해 전달 함수를 사용할 수 있고, 비선형적인 값들을 YCbCr 값들로 변환하기 위해 컬러 공간 변환을 수행할 수 있고, 및/또는 컬러 대조를 더 균일하게 만들기 위해 제2 전달 함수를 사용할 수 있다. 그와 같이, 이 예에서, 컬러 변환 동작들(208)은 HDR 마스터(202)로부터의 원래의 선형적인 HDR RGB 값들을 비선형적인 HDR YCbCr 값들로 변환할 수 있고, 이는 후술되는 컬러 볼륨 변환 동작(210)으로 전달될 수 있다. 대안적인 실시예들에서, 컬러 변환 동작들(208)의 일부 또는 전부는 생략될 수 있어, HDR 마스터(202)로부터의 원래의 값들은 그대로 있을 수 있거나 또는 그것들이 컬러 볼륨 변환 동작(210)으로 전달되기 전에 임의의 다른 원하는 방식으로 변환된다.
컬러 볼륨 변환 동작(210)은 톤 매핑 함수, 스케일링 인자, 하나 이상의 룩업 테이블의 세트, 또는 HDR 컬러 볼륨으로부터의 컬러 값들을 더 작은 SDR 컬러 볼륨으로 변환하는 데 사용될 수 있는 임의의 다른 동작 또는 데이터일 수 있다. 제한이 아닌 예로서, 컬러 볼륨 변환 동작(210)은 HDR YCbCr 컬러 값들을 SDR YCbCr 컬러 값들로 변환할 수 있다.
아래에 더욱 설명되듯이, 인코더(100)는 HDR 마스터(202)로부터 유래된 HDR 값들을, 그것들이 SDR 디스플레이(104) 상에서의 프레젠테이션을 위해 변환될 때 참조 SDR 마스터(204) 내의 SDR 값들에 실질적으로 일치할 SDR 값들로 변환하는 컬러 볼륨 변환 동작(210)을 찾기 위해 참조 SDR 마스터(204) 및 타겟 SDR 디스플레이 속성들(206)을 사용할 수 있다. 타겟 SDR 디스플레이 속성들(206)은 디스플레이(104) 상에서의 프레젠테이션을 위해 컬러 값들을 변환하기 위해 타겟 디스플레이(104)에 의해 사용되는 SDR 디스플레이 동작들(304)의 파라미터들 또는 다른 속성들을 표시할 수 있다. 그와 같이, 인코더(100)는 HDR 값들을, 디스플레이를 위해 변환될 때 참조 SDR 마스터(204) 내의 SDR 값들에 실질적으로 일치할 SDR 값들로 변환할 컬러 볼륨 변환 동작(210)을 찾을 때 그러한 SDR 디스플레이 동작들(304)을 에뮬레이팅할 수 있다. SDR 디스플레이 동작들(304)은 디스플레이(104) 상의 프레젠테이션을 위한 값들을 변환하는 데 사용되는 전달 함수들, 컬러 공간 변환 동작들, 및/또는 임의의 다른 동작들을 포함할 수 있다. 제한이 아닌 예로서, 타겟 SDR 디스플레이 속성들(206)은 권고 ITU-R BT.1886에서 정의된 참조 전자-광학 전달 함수의 파라미터들, 예컨대 사용자 이득 변수(user gain variable)에 대한 파라미터 및 사용자 블랙 레벨 변수(user black level variable)에 대한 파라미터를 포함할 수 있다. 권고 ITU-R BT.1886이 참조로서 여기에 포함된다.
블록(212)에서, 인코더(100)는 컬러 볼륨 변환 동작(210)에 의해 출력되는 SDR 값들 상에 하나 이상의 양자화 동작(quantization operations) 및/또는 크로마 서브샘플링 동작(chroma subsampling operations)을 수행할 수 있다. 일부 실시예들에서, HDR 마스터(202) 내의 원래의 HDR 값들은 SDR 시스템에 의해 기대되는 것보다 더 높은 비트 심도(bit-depth)로 제공될 수 있다. 제한이 아닌 예로서, HDR 값들은 16비트 값들로서 제공될 수 있는 반면, SDR 시스템들은 10비트 또는 8비트 값들을 기대할 수 있다. 그와 같이, 컬러 볼륨 변환 동작(210)이 높은 비트 심도 HDR 값들을 높은 비트 심도 SDR 값들로 변환할 때, 인코더(100)는 높은 비트 심도 값들을 더 낮은 비트 심도 값들, 예컨대 10비트 또는 8비트 값들로 양자화할 수 있다. 컬러 볼륨 변환 동작(210)에 의해 생성되는 변환된 SDR 값들은 또한 많은 SDR 시스템들에 의해 기대될 수 있는 것보다 더 많은 색도 정보를 가질 수 있다. 제한이 아닌 예로서, 변환된 SDR YCbCr 값들은 Y 루마 컴포넌트, Cb 크로마 컴포넌트, 및 Cr 크로마 컴포넌트가 동일한 수의 샘플들로 설명되는 4:4:4 해상도를 가질 수 있다. 인간 눈이 일반적으로 Y 루마 컴포넌트보다 Cb 및 Cr 크로마 컴포넌트들에 덜 민감하기 때문에, 인코더(100)는 4:4:4 값들을 Cb 및 Cr 크로마 컴포넌트들에 할애(devote)되는 샘플들의 수를 감소시키는 4:2:0 값들로 변환하기 위해 크로마 서브샘플링 동작을 수행할 수 있다.
일부 실시예들에서, 컬러 변환 동작들(208), 컬러 볼륨 변환 동작(210), 양자화 동작들(212), 및/또는 크로마 서브샘플링 동작들(212)의 일부는 도 2에 제공된 것과 다른 순서로 수행될 수 있다. 제한이 아닌 예로서, 대안적인 실시예들에서, 인코더(100)는 HDR 값들 상에 컬러 원색 변환, 제1 전달 함수, 컬러 공간 변환, 크로마 서브샘플링 동작, 및 제2 전달 함수를 수행할 수 있고, HDR 값들을 SDR 값들로 변환하기 위하여 컬러 볼륨 변환 동작(210)을 사용할 수 있고, 이후 SDR 값들을 인코딩하기 전에 SDR 값들 상에 양자화 동작(212)을 수행할 수 있다.
블록(214)에서, 인코더(100)는 SDR 값들을 비트 스트림(106)으로 인코딩할 수 있다. 상기 설명된 바와 같이, 인코더(100)는 비디오 코딩 포맷 및/또는 압축 방식, 예컨대 HEVC, AVC, 또는 MPEG-2에 따라 비트 스트림(106)을 생성하도록 구성될 수 있다.
출력 비트 스트림(106)은 하나 이상의 메타데이터 아이템(108)과 함께 디코더들(102)로 전달될 수 있다. 메타데이터 아이템들(108)은 어떻게 인코더(100)가 컬러 변환 동작들(208), 컬러 볼륨 변환 동작(210), 및/또는 양자화 및 크로마 서브샘플링 동작들(212)을 수행했는지에 대한 정보를 표시할 수 있어, HDR 시스템에 대한 디코더(102)가 아래의 도 4에 도시된 바와 같이 비트 스트림(106)을 디코딩하는 동안 그러한 동작들을 역으로 행할 수 있도록 한다. 일부 실시예들에서, 메타데이터 아이템들(108)은 비트 스트림(106)으로 인코딩되거나 다르게는 비트 스트림(106)과 함께 포함될 수 있는 반면, 다른 실시예들에서 메타데이터 아이템들(108) 및 비트 스트림(106)은 디코더들(102)에 개별적으로 전달될 수 있다.
하나 이상의 메타데이터 아이템(108)은 어떻게 컬러 볼륨 변환 동작들(210)이 수행되었는지를 디코더(102)에게 식별해주거나 시그널링하고, 및/또는 어떻게 디코더(102)가 디코딩된 SDR 값들을 HDR 값들로 변환할 수 있는 역 컬러 볼륨 변환 동작(406)을 도출해낼 수 있는지를 식별하거나 표시하는 데이터일 수 있다. 일부 실시예들에서, 컬러 볼륨 변환 동작(210) 또는 역 컬러 볼륨 변환 동작(406)을 설명하는 메타데이터 아이템(108)은 SDR 컬러 볼륨과 HDR 컬러 볼륨 사이의 값들을 변환하는 인코더(100) 및/또는 디코더(102)에 알려진 미리 정의된 파라메트릭 톤 매핑 함수(parametric tone mapping function)를 조정할 수 있는 파라미터일 수 있다. 다른 실시예들에서, 메타데이터 아이템(108)은 SDR 값들이 HDR 값들로 또는 그 반대로 스케일링될 수 있는 스케일링 인자에 대한 값일 수 있다. 또 다른 실시예들에서, 메타데이터 아이템들(108)은 하나 이상의 룩업 테이블일 수 있다. 제한이 아닌 예로서, 메타데이터 아이템(108)은 Y, Cb, 및 Cr 값들과 같은 값들의 3원 세트(ternary set)를 SDR 컬러 볼륨으로부터 HDR 컬러 볼륨으로 또는 그 반대로 변환하는 3차원의 룩업 테이블(3D-LUT)일 수 있다. 또 다른 제한이 아닌 예로서, 메타데이터 아이템들(108)은 각각이 SDR 컬러 볼륨 사이의 단일 유형의 값을 HDR 컬러 볼륨으로 변환하는 3개의 1차원 룩업 테이블들(1D-LUTs), 예컨대 Y값들에 대한 1D-LUT, Cb 값들에 대한 1D-LUT, 및 Cr 값들에 대한 1D-LUT의 세트일 수 있다.
도 3은 비트 스트림(106)을 디코딩하는 SDR 시스템 내의 디코더(102)를 도시한다. SDR 시스템에 대한 디코더(102)는 블록(302)에서 SDR 값들을 찾기 위해 비트 스트림(106)을 수신할 수 있고 비트 스트림(106)을 디코딩할 수 있다. 일부 실시예들에서, 디코더(102)는 또한 메타데이터 아이템들(108)을 수신할 수 있으나, 이것은 어떻게 인코더(100)가 HDR 값들을 SDR 값들로 변환했는지에 관련된 메타데이터 아이템들(108)을 무시할 수 있다.
디코더(102) 및/또는 디스플레이(104)는 또한 디코딩되는 SDR 값들 상에 하나 이상의 SDR 디스플레이 동작들(304)을 수행하여 디스플레이(104) 상의 프레젠테이션을 위해 그것들을 변환할 수 있다. 제한이 아닌 예로서, SDR 디스플레이 동작(304)은 ITU 권고 BT.1886에서 정의된 참조 전자-광학 전달 함수일 수 있다.
부가적으로, 디코딩되는 SDR 값들이 SDR 디스플레이(104)에 의해 제공될 수 있는 것과 다른 컬러 공간에 있을 때, 디코더(102) 또는 디스플레이(104)에 의해 수행되는 SDR 디스플레이 동작들(304)은 SDR 값들을 원하는 컬러 공간으로 변환하는 SDR 디스플레이 컬러 공간 변환 동작들일 수 있다. 제한이 아닌 예로서, 디코딩되는 값들이 SDR YCbCr 값들이고 SDR 디스플레이(104)가 SDR RGB 값들을 제공하도록 구성될 때, 디코더(102)는 SDR YCbCr 값들을 SDR 디스플레이(104)에 의해 디스플레이될 수 있는 SDR RGB 값들로 변환하기 위해 SDR 디스플레이 컬러 공간 변환 동작들을 사용할 수 있다.
일부 실시예들에서, SDR 디스플레이 컬러 공간 변환 동작들은 SDR YCbCr 값들을 디스플레이 SDR RGB 값들의 적색 컴포넌트로 변환하는 제1 함수, SDR YCbCr 값들을 디스플레이 SDR RGB 값들의 청색 컴포넌트로 변환하는 제2 함수, 및 SDR YCbCr 값들을 디스플레이 SDR RGB 값들의 녹색 컴포넌트로 변환하는 제3 함수를 갖는, SDR YCbCr 값들 상에 작용하는 함수들의 세트일 수 있다. 제한이 아닌 예로서, 함수들은 다음과 같이 기술될 수 있다:
Figure pat00001
상기 수학식들에서: Y S , Cb S , 및 Cr S 는 SDR YCbCr 값들의 컴포넌트들일 수 있고;
Figure pat00002
는 SDR 디스플레이(104)에 의해 디스플레이될 수 있는 SDR RGB 값들에 대한 적색 값 R DS 를 생성하기 위해 SDR YCbCr 값들 상에 작용하는 함수일 수 있고;
Figure pat00003
는 SDR 디스플레이(104)에 의해 디스플레이될 수 있는 SDR RGB 값들에 대한 녹색 값 G DS 를 생성하기 위해 SDR YCbCr 값들 상에 작용하는 함수일 수 있고;
Figure pat00004
는 SDR 디스플레이(104)에 의해 디스플레이될 수 있는 SDR RGB 값들에 대한 청색 값 B DS 를 생성하기 위해 SDR YCbCr 값들 상에 작용하는 함수일 수 있다.
일단 디코딩된 SDR 값들이 SDR 디스플레이(104)에 의해 사용되는 컬러 공간 내에 있으면, SDR 디스플레이(104)는 SDR 값들을 사용하여 비디오의 이미지 에센스의 재구성을 제공할 수 있다.
도 4는 비트 스트림(106)을 디코딩하는 HDR 시스템 내의 디코더(102)를 도시한다. HDR 시스템에 대한 디코더(102)는 비트 스트림(106) 및 메타데이터 아이템들(108)을 수신할 수 있다. 블록(402)에서, 디코더(102)는 SDR 값들을 찾기 위해 비트 스트림(106)을 디코딩할 수 있다. 디코더(102)는 인코더의 동작들을 역으로 행하고 디코딩된 SDR 값들로부터 HDR 값들을 재구성하기 위해 어떻게 인코더(100)가 HDR 값들을 SDR 값들로 변환했는지를 표시하는 메타데이터 아이템들(108)을 사용할 수 있다.
인코더(100)가 컬러 볼륨 변환 동작(210) 후에 양자화 및/또는 크로마 서브샘플링 동작들(212)을 수행했다면, 디코더(102)는 디코딩된 SDR 값들을 더 높은 비트 심도로 변환하고 및/또는 크로마 컴포넌트들에 할애되는 비트들의 수를 증가시키는 역 양자화(inverse quantization) 및/또는 크로마 업샘플링 동작들(404)을 수행할 수 있다.
디코더(102)는 SDR 컬러 볼륨으로부터 디코딩된 값들을 HDR 컬러 볼륨으로 변환하기 위해 역 컬러 볼륨 변환 동작(406)을 수행할 수 있다. 제한이 아닌 예로서, 역 컬러 볼륨 변환 동작(406)은 디코딩된 SDR YCbCr 컬러 값들을 HDR YCbCr 컬러 값들로 변환할 수 있다.
상기 설명된 바와 같이, 메타데이터 아이템들(108)은 어떻게 인코더(100)가 자신의 컬러 볼륨 변환 동작(210) 동안 HDR 값들을 SDR 값들로 변환했는지, 및/또는 어떻게 디코더(102)가 자신의 역 컬러 볼륨 변환 동작(406) 동안 컬러 볼륨 변환 동작(210)을 역으로 행할 수 있는지를 표시할 수 있다. 제한이 아닌 예들로서, 메타데이터 아이템들(108)은 디코딩된 SDR 값들을 HDR 값들로 변환하는 데 사용될 수 있는 파라메트릭 톤 매핑 함수에 대한 파라미터, 스케일링 인자, 3D-LUT, 또는 세 개의 1D-LUT들일 수 있다.
디코더(102) 및/또는 디스플레이(104)는 또한 디코딩된 HDR 값들 상에 하나 이상의 HDR 디스플레이 동작(408)을 수행하여 HDR 값들을 디스플레이(104) 상에 프레젠테이션하기 위해 변환할 수 있다. 부가적으로, HDR 값들이 HDR 디스플레이(104)에 의해 제공될 수 있는 것과 다른 컬러 공간에 있을 때, 디코더(102) 또는 디스플레이(104)에 의해 수행되는 HDR 디스플레이 동작들(408)은 HDR 값들을 원하는 컬러 공간으로 변환하는 HDR 디스플레이 컬러 공간 변환 동작들일 수 있다. 제한이 아닌 예로서, 값들이 HDR YCbCr 값들이고 HDR 디스플레이(104)가 HDR RGB 값들을 제공하도록 구성될 때, 디코더(102)는 HDR YCbCr 값들을 HDR 디스플레이(104)에 의해 디스플레이될 수 있는 HDR RGB 값들로 변환하기 위해 HDR 디스플레이 동작들(408)을 사용할 수 있다.
일부 실시예들에서, HDR 디스플레이 동작들(408)은 HDR YCbCr 값들을 디스플레이 HDR RGB 값들의 적색 컴포넌트로 변환하는 제1 함수, HDR YCbCr 값들을 디스플레이 HDR RGB 값들의 청색 컴포넌트로 변환하는 제2 함수, 및 HDR YCbCr 값들을 디스플레이 HDR RGB 값들의 녹색 컴포넌트로 변환하는 제3 함수를 갖는, HDR YCbCr 값들 상에 작용하는 함수들의 세트일 수 있다. 제한이 아닌 예로서, 함수들은 다음과 같이 기술될 수 있다:
Figure pat00005
상기 수학식들에서: Y H , Cb H , 및 Cr H 는 HDR YCbCr 값들의 컴포넌트들일 수 있고;
Figure pat00006
는 HDR 디스플레이(104)에 의해 디스플레이될 수 있는 HDR RGB 값들에 대한 적색 값 R DH 를 생성하기 위해 HDR YCbCr 값들 상에 작용하는 함수일 수 있고;
Figure pat00007
는 HDR 디스플레이(104)에 의해 디스플레이될 수 있는 HDR RGB 값들에 대한 녹색 값 G DH 를 생성하기 위해 HDR YCbCr 값들 상에 작용하는 함수일 수 있고;
Figure pat00008
는 HDR 디스플레이(104)에 의해 디스플레이될 수 있는 HDR RGB 값들에 대한 청색 값 B DH 를 생성하기 위해 HDR YCbCr 값들 상에 작용하는 함수일 수 있다.
일단 디코딩된 HDR 값들이 HDR 디스플레이(104)에 의해 사용되는 컬러 공간 내에 있으면, HDR 디스플레이(104)는 HDR 값들을 사용하여 비디오의 이미지 에센스의 재구성을 제공할 수 있다.
도 2 내지 도 4에서 볼 수 있는 바와 같이, SDR 시스템 및 HDR 시스템은 비디오의 HDR 마스터(202)로부터 인코더(100)에 의해 생성되는 동일한 비트 스트림(106) 및 메타데이터 아이템들(108)을 수신할 수 있다. 비트 스트림(106)은 SDR 값들의 인코딩된 버전들을 가질 수 있는 반면, 메타데이터 아이템들(108)은 인코딩된 SDR 값들을 HDR 값들로 변환하는 방법을 표시할 수 있다. 그와 같이, SDR 시스템은 비트 스트림(106)을 처리하여 SDR 값들을 사용하여 비디오의 이미지 에센스의 재구성을 제공할 수 있는 반면, HDR 시스템은 메타데이터 아이템들(108)에 의해 식별되는 동작들을 사용하여 동일한 비트 스트림(106)을 처리하고 HDR 값들을 사용하여 비디오의 이미지 에센스의 재구성을 제공할 수 있다.
도 5는 도 2에 도시된 인코더(100)에서 컬러 볼륨 변환 동작(210)을 찾는 프로세스를 도시한다. 상기 설명된 바와 같이, 인코더(100)는 HDR 마스터(202)로부터의 HDR 컬러 볼륨 내의 값들을, SDR 디스플레이(104) 상의 프레젠테이션을 위해 변환될 때 참조 SDR 마스터(204)로부터의 SDR 값들에 실질적으로 일치할 SDR 컬러 볼륨 내의 값들로 변환할 수 있는 컬러 볼륨 변환 동작(210)을 찾을 수 있다.
단계(502)에서, 인코더(100)는 디폴트 컬러 볼륨 변환 동작(210)의 파라미터들 또는 다른 속성들을 변경하여 복수의 후보 컬러 볼륨 변환 동작들(210)을 발생시킬 수 있다.
단계(504)에서, 인코더(100)는 각각의 후보 컬러 볼륨 변환 동작들(210)을 사용하여 HDR 마스터(202)로부터의 HDR 값들을 SDR 값들로 변환할 수 있다. 제한이 아닌 예로서, 인코더(100)는 각각의 후보 컬러 볼륨 변환 동작들(210)을 사용하여 HDR YCbCr 값들을 상이한 후보 SDR YCbCr 값들로 변환할 수 있다.
단계(506)에서, 인코더(100)는 각각의 후보 컬러 볼륨 변환 동작(210)에 의해 생성되는 후보 SDR 값들을 타겟 SDR 디스플레이(104)에 의해 제공될 수 있는 상이한 컬러 공간 내의 후보 프레젠테이션 SDR 값들로 변환하기 위해 타겟 SDR 시스템에 의해 사용되는 SDR 디스플레이 동작들(304)을 에뮬레이팅할 수 있다. 일부 실시예들에서, 상기 설명된 타겟 SDR 디스플레이 속성들(206)은 타겟 SDR 시스템에 의해 사용되는 SDR 디스플레이 동작들(304)의 파라미터들 또는 다른 속성들을 표시하여, 인코더(100)가 그러한 SDR 디스플레이 동작들(304)을 에뮬레이팅할 수 있도록 한다. 제한이 아닌 예로서, 각각의 후보 컬러 볼륨 변환 동작(210)이 상이한 후보 SDR YCbCr 값들을 생성했을 때, 인코더(100)는 후보 SDR YCbCr 값들을 타겟 SDR 디스플레이(104)에 의해 디스플레이될 수 있는 후보 프레젠테이션 SDR RGB 값들로 변환하기 위해 SDR 컬러 공간 변환 동작들을 에뮬레이팅할 수 있고 전달 함수들을 디스플레이할 수 있다.
단계(508)에서, 인코더(100)는 참조 SDR 마스터(204) 내의 SDR 값들과 에뮬레이팅된 SDR 디스플레이 동작들(304)에 의해 생성되는 후보 프레젠테이션 SDR 값들 사이의 차이를 비교할 수 있다. 인코더(100)는 도 2에서 사용할 최종 컬러 볼륨 변환 동작(210)으로서 참조 SDR 마스터(204) 내의 SDR 값들과의 가장 작은 차이를 가졌던 후보 프레젠테이션 SDR 값들을 초래했던 후보 컬러 볼륨 변환 동작(210)을 선택할 수 있다. 제한이 아닌 예로서, 에뮬레이팅된 SDR 디스플레이 동작들(304)이 상이한 후보 프레젠테이션 SDR RGB 값들을 생성했을 때, 인코더(100)는 참조 SDR 마스터(204)로부터의 SDR RGB 값들에 가장 가깝게 일치했던 후보 프레젠테이션 SDR RGB 값들을 초래했던 컬러 볼륨 변환 동작으로서 최종 컬러 볼륨 변환 동작(210)을 선택할 수 있다.
대안적인 실시예들에서, 참조 SDR 마스터(204) 및 타겟 SDR 디스플레이 속성들(206)에 기초하여, 인코더(100)는 전체 왜곡을 최소화하도록 도출된 하나 이상의 미리 정의된 공식을 사용하여 컬러 볼륨 변환 동작(210), 또는 파라미터화된 컬러 볼륨 변환 동작(210)의 파라미터들을 찾을 수 있다. 상기 설명된 바와 같이, 인코더(100)에 의해 발견된 컬러 볼륨 변환 동작(210)은 HDR 마스터(202)로부터의 HDR 컬러 볼륨 내의 값들을, SDR 디스플레이(104) 상의 프레젠테이션을 위해 변환될 때 참조 SDR 마스터(204)로부터의 SDR 값들에 실질적으로 일치할, SDR 컬러 볼륨 내의 값들로 변환할 수 있다.
제한이 아닌 예로서, 인코더(100)는 R CH , G CH , 및 B CH 로 표시되는 HDR RBG 값들로서 HDR 마스터(202)로부터 캡처된 샘플 값들을 수신할 수 있다. 인코더는 HDR RBG 값들을 Y H , Cb H , 및 Cr H 로 표시되는 HDR YCbCr 값들로 변환하기 위해 하나 이상의 컬러 변환 동작(208)을 수행할 수 있다. 인코더(100)는 이후 HDR YCbCr 값들을 Y S , Cb S , 및 Cr S 로 표시되는 SDR YCbCr 값들로 변환하는,
Figure pat00009
Figure pat00010
로 표시되는 컬러 볼륨 변환 동작(210)을 찾을 수 있다. 인코더(100)는 SDR YCbCr 값들이 에뮬레이팅된 SDR 디스플레이 동작들(304)을 사용하여 디스플레이 SDR RGB 값들(R DS , G DS , 및 B DS 로 표시됨)로 변환될 때, 에뮬레이팅된 디스플레이 SDR RGB 값들과 참조 SDR 마스터(204)로부터의 참조 SDR RGB 값들(R RS , G RS , 및 B RS 로 표시됨) 사이의 차이들이 최소화될 수 있도록, SDR YCbCr 값들을 생성하는 컬러 볼륨 변환 동작(210)을 찾을 수 있다. 다시 말하자면, 거리 함수 D, 예컨대 유클리드 2-놈 거리(Euclidean 2-norm distance) 또는 임의의 다른 거리 측정을 찾는 함수가 SDR RGB 값들의 두 세트들 사이의 거리를 찾을 때, 인코더(100)는 다음과 같이 되도록 컬러 볼륨 변환 동작
Figure pat00011
를 찾을 수 있다:
Figure pat00012
인코더(100)가 특정 컬러 볼륨 변환 동작(210)인
Figure pat00013
를 찾고 사용할 때, 인코더는 또한
Figure pat00014
의 효과들을 반전시킬 수 있고 Y S , Cb S , 및 Cr S 로 표시되는 SDR YCbCr 값들을 Y H , Cb H , 및 Cr H 로 표시되는 HDR YCbCr 값들로 변환시킬 수 있는,
Figure pat00015
로 표시되는 대응하는 역 컬러 볼륨 변환 동작(406)을 찾을 수 있다.
인코더(100)는
Figure pat00016
로서의 역 컬러 볼륨 변환 동작(406)의 표현을 HDR 시스템들 내의 디코더들(102)에 통신하는 하나 이상의 메타데이터 아이템(108)을 생성할 수 있다. 일부 실시예들에서,
Figure pat00017
및/또는
Figure pat00018
는 값들의 3원 세트를 하나의 컬러 볼륨에서 또 다른 컬러 볼륨으로 변환하도록 동작하는 가역 파라메트릭 함수의 파라미터들에 의해 정의될 수 있고 통신될 수 있다. 다른 실시예들에서,
Figure pat00019
및/또는
Figure pat00020
는 값들의 3원 세트를 하나의 컬러 볼륨에서 또 다른 컬러 볼륨으로 변환하는 가역적인 3 차원 룩업 테이블(3D-LUT)과 함께 정의될 수 있고 통신될 수 있다. 또 다른 실시예들에서,
Figure pat00021
및/또는
Figure pat00022
는 세 개의 가역적인 1 차원 룩업 테이블(1D-LUT)과 함께 정의될 수 있고 통신될 수 있으며, 각각의 1D-LUT는 값들의 3원 세트 중의 하나의 값을 하나의 컬러 볼륨에서 또 다른 컬러 볼륨으로 변환한다. 그와 같이, 역 컬러 볼륨 변환 동작(406)인
Figure pat00023
를 식별하기 위해 디코더들(102)에 송신된 메타데이터 아이템들(108)은 역 파라메트릭 함수의 파라미터들, 3D-LUT, 또는 세 개의 1D-LUT들일 수 있다. 제한이 아닌 예로서, 디코더(102)에는, 디코더가 특정 비트 스트림(106)에 대한 메타데이터 아이템들(108) 내에 수신되는 파라미터들에 기초하여 조정할 수 있는 파라미터화된 역 컬러 볼륨 변환 동작(406)에 사전 로딩될 수 있다.
HDR 마스터(202) 및 참조 SDR 마스터(204) 둘 모두가 동일한 컬러 원색 내의 그것들의 초기 값들을 제공하는 일부 실시예들 또는 상황들에서, 또는 값들이 동일한 컬러 원색으로 변환될 수 있는 때, 인코더(100)는 후보 디스플레이 SDR RGB 값들 R DS , G DS , 및 B DS 와 타겟 HDR 디스플레이(104)에 의해 디스플레이될 수 있는 HDR RGB 값들의 선형적으로 스케일링된 버전 사이의 거리 D에 기초하여 컬러 볼륨 변환 동작(210)을 찾을 수 있다. 이러한 실시예들에서, 인코더(100)는 HDR YCbCr 값들 Y H , Cb H , 및 Cr H 를 타겟 HDR 디스플레이(104) 상에 디스플레이될 수 있는 HDR RGB 값들 R DH , G DH , 및 B DH 로 변환하기 위해 HDR 시스템에 의해 수행될 수 있는 HDR 컬러 공간 변환 동작들을 에뮬레이팅할 수 있다. 인코더(100)는
Figure pat00024
로 표현되는 스케일링 인자를 찾거나 그것으로 사전 구성될 수 있고, 그러한 스케일링 인자에 의해, 인코더는 에뮬레이팅된 디스플레이 HDR RGB 값들을 선형적으로 스케일링할 수 있다. 일부 실시예들 또는 상황들에서, 스케일링 인자
Figure pat00025
의 값은 모든 픽셀 또는 픽셀들의 서브셋에 대해 상이할 수 있다. 인코더(100)는 이후 선형적으로 스케일링된 디스플레이 HDR RGB 값들과 상기 설명된 대로 발견되는 후보 디스플레이 SDR RGB R DS , G DS , 및 B DS 사이의 차이들을 최소화하는 컬러 볼륨 변환 동작(210)인
Figure pat00026
를 찾을 수 있다. 다시 말하자면, 인코더(100)는 다음과 같이 되도록 컬러 볼륨 변환 동작
Figure pat00027
를 찾을 수 있다:
Figure pat00028
이러한 실시예들에서, 스케일링 인자
Figure pat00029
의 값들은 디코더들(102)에 통신되는 메타데이터 아이템(108)으로서 포함될 수 있다. 제한이 아닌 예로서, 스케일링 인자
Figure pat00030
의 값들은 다층 코딩 방식에서 층으로서 제공될 수 있다. 일부 실시예들에서, 스케일링 인자
Figure pat00031
의 값이 상이한 픽셀들 또는 픽셀들의 서브셋들에 대해 상이한 경우, 스케일링 인자들
Figure pat00032
는 메타데이터 아이템들(108) 내의 2 차원 맵들로서 제공될 수 있다. 일부 실시예들에서, 디코더(102)는 역 컬러 볼륨 변환 동작들
Figure pat00033
를 도출해내기 위해 스케일링 인자에 대한 제공된 값을 사용할 수 있다. 다른 실시예들에서, 스케일링 인자 값들은 디코더(102)가 알려진 역 컬러 볼륨 변환 동작
Figure pat00034
를 조정할 수 있는 파라미터들일 수 있다.
상기 예들에서, 인코더(100)는 RGB 값들의 두 세트 사이의 최소 거리에 기초하여 컬러 볼륨 변환 동작(210)을 찾는다. 대안적인 실시예들 또는 상황들에서, 인코더(100)는 에뮬레이팅된 디스플레이 HDR RGB 값들 또는 HDR 마스터(202)로부터의 원래의 HDR RGB 값들을, SDR Y 루마 컴포넌트로 변환될 때 그 SDR Y 루마 컴포넌트와 컬러 볼륨 변환 동작(210)에 의해 생성된 SDR Y 루마 컴포넌트 사이의 거리를 최소화하는, SDR RGB 값들로 스케일링하는 스케일링 인자
Figure pat00035
에 기초하여 컬러 볼륨 변환 동작(210)을 찾을 수 있다. 스케일링 인자
Figure pat00036
가 발견될 때, 그 스케일링 인자
Figure pat00037
는 또한 에뮬레이팅된 디스플레이 HDR RGB 값들 또는 HDR 마스터(202)로부터의 원래의 HDR RGB 값들로부터 SDR Cb 및 Cr 크로마 컴포넌트들을 찾는 데 사용될 수 있다.
이러한 실시예들에서, 인코더(100)는 또한 다음과 같이 되도록 후보 디스플레이 SDR RGB 값들을 SDR Y 루마 컴포넌트 Y S 로 변환하는 함수를 구비할 수 있다:
Figure pat00038
디스플레이 HDR RGB 값들 R DH , G DH , 및 B DH 는 그것들이 SDR 컬러 볼륨 내에 있도록 선형적으로 스케일링될 수 있다. 그와 같이, 인코더(100)는 SDR YCbCr 값들의 Y 루마 컴포넌트들과 선형적으로 스케일링된 디스플레이 HDR YCbCr 값들 사이의 최소 거리 D를 제공하는 스케일링 인자
Figure pat00039
의 값을 찾기 위해, 스케일링 인자
Figure pat00040
의 상이한 값들에 의해 생성된 스케일링된 디스플레이 HDR RGB 값들 R DH , G DH , 및 B DH 상에 이 함수를 사용할 수 있다. 다시 말하자면, 인코더(100)는 다음과 같이 스케일링 인자
Figure pat00041
를 찾을 수 있다:
Figure pat00042
많은 상황들에서, 에뮬레이팅된 HDR 디스플레이 동작들(408)을 통해 인코더(100)에 의해 생성된 디스플레이 HDR RGB 값들 R DH , G DH , 및 B DH 는 HDR 마스터(202)로부터의 원래의 캡처된 샘플 HDR RBG 값들 R CH , G CH , 및 B CH 와 실질적으로 유사한 것으로 추정될 수 있으므로, 일부 실시예들에서, 인코더(100)는 스케일링 인자
Figure pat00043
를 찾을 때, 디스플레이 HDR RGB 값들 R DH , G DH , 및 B DH 를 먼저 찾는 것을 대신하여, 원래의 캡처된 샘플 HDR RBG 값들을 직접 사용할 수 있다. 제한이 아닌 예로서, 일부 실시예들에서, 인코더(100)는 다음과 같이 스케일링 인자
Figure pat00044
를 찾을 수 있다:
Figure pat00045
일단 스케일링 인자
Figure pat00046
가 SDR Y 루마 컴포넌트 Y S 와 HDR 마스터(202)로부터 원래의 캡처된 HDR RGB 값들(R CH , G CH , 및 B CH ) 또는 에뮬레이팅된 디스플레이 HDR RGB 값들(R DH , G DH , 및 B DH ) 사이의 관계에 기초하여 상기 설명된 바와 같이 발견되면, 인코더(100)는 또한 SDR Cb 및 Cr 크로마 컴포넌트들 Cb S 및 Cr S 를 생성하기 위해 그 스케일링 인자
Figure pat00047
를 사용할 수 있다. 제한이 아닌 예로서, 디스플레이 HDR RGB 값들이 원래의 캡처된 HDR RGB 값들과 실질적으로 유사한 것으로 기대될 때, 인코더(100)는 알려진 스케일링 인자
Figure pat00048
를 사용하여, 다음과 같이, 원래의 캡처된 HDR RGB 값들 R CH , G CH , 및 B CH 를 SDR Cb 및 Cr 크로마 컴포넌트들로 변환할 수 있다:
Figure pat00049
일부 실시예들에서, HDR 디스플레이 동작(408)은 SDR 디스플레이 컬러 공간 변환 동작을 수행한 다음, 디스플레이 SDR RGB 값들을 디스플레이를 위한 HDR RGB 값들로 나중에 변환될 수 있는 HDR YCbCr 값들로 변환하기 위해 스케일링 인자
Figure pat00050
를 적용하는 것을 포함할 수 있다. 상기 설명된 바와 같이, 일부 실시예들에서, 인코더(100)가 스케일링 인자
Figure pat00051
에 대한 값을 결정할 때, 인코더는 그 값이 디코더(102)에 통신될 수 있도록 메타데이터 아이템(108) 내에 그 값을 포함시킬 수 있다. 그러나, 다른 실시예들에서, HDR 시스템 내의 디코더(102)는 디코딩된 값들에 기초하여 스케일링 인자
Figure pat00052
에 대한 값을 도출할 수 있다.
제한이 아닌 예로서, 도 4에 도시된 바와 같이, HDR 시스템 내의 디코더는 비트 스트림(106)을,
Figure pat00053
로 표시되는 HDR Y 루마 컴포넌트에 매핑될 수 있는
Figure pat00054
로 표시되는 디코딩된 SDR Y 루마 컴포넌트를 포함하는, SDR YCbCr 값들로 디코딩할 수 있다. HDR 시스템에서 디코더(102)는 또한 디코딩된 SDR YCbCr 값들을 SDR 디스플레이(104) 상에 디스플레이될 수 있는 디코딩된 디스플레이 SDR RGB 값들(
Figure pat00055
,
Figure pat00056
,
Figure pat00057
로 표시됨)로 변환하기 위해 SDR 디스플레이 동작들(304)을 수행할 수 있다. 이 디코딩된 디스플레이 SDR RGB 값들 및 디코딩된 SDR Y 루마 컴포넌트로부터, 디코더(102)는 다음과 같이 스케일링 인자
Figure pat00058
에 대한 값을 계산할 수 있다:
Figure pat00059
디코더(102)는 SDR 루마 컴포넌트
Figure pat00060
와 HDR 루마 컴포넌트
Figure pat00061
사이의 관계를 제공받을 수 있다. 제한이 아닌 예로서, SDR 값들과 HDR 값들을 관련시키는 가역 파라메트릭 함수를 설명하는 파라미터, 또는
Figure pat00062
를
Figure pat00063
에 매핑하는 1D LUT는 인코더(100)에 의해 메타데이터 아이템(108)에서 제공될 수 있다. 그와 같이, 디코더(102)는 디코딩된 SDR 루마 컴포넌트
Figure pat00064
로부터 HDR 루마 컴포넌트
Figure pat00065
를 찾을 수 있고, 스케일링 인자
Figure pat00066
가 디코더(102)에 주어지거나 디코더(102)에 의해 발견될 때, 디코더(102)는 또한 다음과 같이 디코딩된 디스플레이 SDR RGB 값들로부터 디코딩된 HDR Cb 및 Cr 크로마 컴포넌트들(
Figure pat00067
및
Figure pat00068
)을 찾을 수 있다:
Figure pat00069
Figure pat00070
일단 디코더(102)가 상기 설명된 바와 같이 디코딩된 SDR RGB 값들로부터 디코딩된 HDR YCbCr 값들을 찾으면, 디코더(102) 또는 HDR 디스플레이(104)는 디코딩된 HDR YCbCr 값들을 HDR 디스플레이(104) 상에 디스플레이될 수 있는 HDR RGB 값들로 변환하기 위해 HDR 디스플레이 동작(408)을 수행할 수 있다.
상기 예들에서, 인코더들(100) 및/또는 디코더들(102)에는 RGB 값들을 Y, Cb, 또는 Cr 값들로 변환하는 상기 설명된 함수들의 일부 또는 전부가 사전 로딩될 수 있고, 그것들은 다음을 포함한다:
Figure pat00071
및
Figure pat00072
일부 실시예들에서 HDR 컬러 볼륨이 SDR 컬러 볼륨보다 클 수 있으므로,
Figure pat00073
,
Figure pat00074
, 및
Figure pat00075
는 SDR 컬러 원색에서 정규화된 범위보다 더 큰 RGB 값들, 예컨대 1보다 크고 0보다 작은 값들의 변환을 다루도록 세팅될 수 있다. 유사하게, 일부 실시예들에서,
Figure pat00076
,
Figure pat00077
, 및
Figure pat00078
는 또한 정규화된 범위 밖의 값들의 변환을 다루도록 세팅될 수 있다. SDR 및 HDR RGB 값들이 초기에 동일한 컬러 원색이 아닌 일부 실시예들 또는 상황들에서,
Figure pat00079
,
Figure pat00080
,
Figure pat00081
,
Figure pat00082
,
Figure pat00083
, 또는
Figure pat00084
가 정규화된 범위 밖의 값들을 다루도록 세팅되지 않는다면, 더 큰 컬러 원색 내의 값들은 더 작은 컬러 원색으로 변환될 수 있다.
일부 실시예들 또는 상황들에서, HDR 마스터(202)로부터의 HDR 값들 상에 인코더(100)에 의해 수행되는 컬러 변환 동작들(208)의 특정 세트는 위에서 정의된 최소화 문제들을 컴포넌트 스케일링으로 감소시킬 수 있다. 제한이 아닌 예로서, 인코더의 컬러 변환 동작들(208)이 전달 함수 즉, 멱함수(power function)를 포함하고,
Figure pat00085
이며,
Figure pat00086
는 전달 함수의 비선형 제곱(non-linear power)일 때, HDR Y 루마 컴포넌트 Y H 및 SDR Y 루마 컴포넌트 Y S 는 다음과 같이 발견될 수 있으며, 여기서 a ij 는 컴포넌트 j를 생성하기 위해 컴포넌트 i 상에 작용하는 3x3 컬러 공간 행렬에 대한 계수 값이다:
Figure pat00087
이러한 상황에서, HDR 마스터(202)로부터 원래의 캡처된 HDR RGB 값들(R CH , G CH , 및 B CH ) 및 디스플레이 SDR RGB 값들(R DS , G DS , 및 B DS )은 다음과 같이, 스케일링 인자
Figure pat00088
에 의해 정의되는 선형적인 관계를 가질 수 있다:
Figure pat00089
그와 같이, SDR Y 루마 컴포넌트 Y S 는 다음과 같이 HDR Y 루마 컴포넌트 Y H 에
Figure pat00090
를 곱함으로써 그로부터 발견될 수 있다:
Figure pat00091
상기 수학식들로부터, 인코더(100)가 HDR Y 루마 컴포넌트 Y H 를 갖고 있고, 에뮬레이팅된 디스플레이 SDR RGB 값들(R DS , G DS , 및 B DS )로부터의 컬러 변환 동작(208) 내의 멱함수에서 사용되는
Figure pat00092
의 값을 사용하여 대응하는 SDR Y 루마 컴포넌트 Y S 를 찾을 수 있을 때, 인코더(100)는 다음과 같이 Y S , Y H , 및
Figure pat00093
를 사용하여 스케일링 인자
Figure pat00094
를 찾을 수 있다:
Figure pat00095
이 상황들에서, Y S 와 Y H 를 관련시키는 스케일링 인자
Figure pat00096
의 값이 발견된 경우, 스케일링 인자
Figure pat00097
는 또한 다음과 같이 HDR Cb 및 Cr 값들로부터 SDR Cb 및 Cr 값들을 찾는 데 사용될 수 있다:
Figure pat00098
그와 같이, 인코더의 컬러 변환 동작들(208)이 전달 함수 즉, 멱함수를 포함하고,
Figure pat00099
인 상황에서 Y H 에 대한 Y S 의 비율이 인코더(100) 또는 디코더(102)에 의해 결정될 수 있을 때, 인코더(100) 또는 디코더(102)는 다음의 수학식들을 사용하여 SDR Cb 값 Cb S 와 HDR Cb 값 Cb H 사이에서, 그리고 SDR Cr 값 Cr S 와 HDR Cr 값 Cr H 사이에서 변환할 수 있다:
Figure pat00100
상기 설명된 바와 같이, 컬러 볼륨 변환 동작(210) 및/또는 역 컬러 볼륨 변환 동작(406)의 속성들, 예컨대 톤 매핑 함수의 파라미터들, 스케일링 인자, 3D LUT, 또는 세 개의 1D LUT들의 세트를 설명하는 메타데이터 아이템들(108)은, 디코더(102)가 비트 스트림(106)으로부터 디코딩된 SDR 값들을 디스플레이를 위한 HDR 값들로 변환하기 위해 표시되는 역 컬러 볼륨 변환 동작(406)을 사용할 수 있도록, 인코더(100)에 의해 생성될 수 있다.
대안적인 실시예들에서, 인코더(100)는 HDR 값들을 비트 스트림(106)으로 인코딩할 수 있지만, 디코딩된 HDR 값들을 디스플레이를 위한 SDR 값들로 변환하는 방법을 디코더(102)에 표시하는 메타데이터 아이템들(108)을 제공할 수 있다. 그와 같이, 일부 실시예들에서, 메타데이터 아이템들(108), 예컨대 톤 매핑 함수의 파라미터들, 스케일링 인자, 3D LUT, 또는 세 개의 1D LUT들의 세트는 SDR 시스템에 대해 인코더(100)에서 디코더(102)로 통신될 수 있어, 디코더(102)가 디코딩된 HDR 값들을 디스플레이를 위한 SDR 값들로 변환하기 위해 메타데이터 아이템들(108)에 의해 표시되는 컬러 볼륨 변환 동작(210)을 사용할 수 있게 된다. 도 6 내지 도 8은 그러한 대안적인 실시예의 예를 도시한다.
도 6 내지 도 8은 비트 스트림(106)이 HDR 시스템들 및 SDR 시스템들 모두에 의해 그들의 디스플레이 속성들에 따라 디코딩될 수 있도록, 인코더(100)가 HDR 값들로부터 비트 스트림(106)을 생성하는 시스템의 대안적인 실시예를 도시한다. 도 6에 도시된 바와 같이, 이 실시예에서, 인코더(100)는 HDR 휘도 및/또는 색도 값들의 인코딩된 버전들, 어떻게 인코더(100)가 원래의 HDR 값들로부터 HDR 값들을 인코딩 했는지를 표시하는 하나 이상의 HDR 메타데이터 아이템(108), 및 SDR 시스템의 디코더(102)가 디코딩된 HDR 값들을 참조 SDR 마스터(204)로부터의 SDR 값들에 실질적으로 일치하는 SDR 값들로 변환할 수 있는 방법을 표시하는 하나 이상의 SDR 메타데이터 아이템(108)을 포함하는 비트 스트림(106)을 출력할 수 있다. 그와 같이, HDR 시스템은 도 7에 도시된 바와 같이, 플레이백을 위해 비트 스트림(106)으로부터 HDR 비디오를 재구성할 수 있는 반면, SDR 시스템은 도 8에 도시된 바와 같이, 디코딩된 HDR 값들을 SDR 디스플레이(104) 상의 플레이백을 위해 SDR 값들로 변환하기 위해 비트 스트림(106)을 디코딩할 수 있고 하나 이상의 SDR 메타데이터 아이템(108)에서 식별되는 동작을 사용할 수 있다.
도 7 및 도 8이 HDR 시스템들 및 SDR 시스템들에 대한 별개의 디코더들(102)을 도시하는 반면, 대안적인 실시예들에서, 디코더(102)는 HDR 시스템들 및 SDR 시스템들 모두에 대한 동작들로 구성될 수 있어, 동일한 디코더(102)가 HDR 디스플레이(104)에 비디오를 출력하고 있다면 도 7에 도시된 동작들을 따르고, 또는 SDR 디스플레이(104)에 비디오를 출력하고 있다면 도 8에 도시된 동작들을 따를 수 있게 된다.
도 6의 실시예에 도시된 인코더(100)는 동일한 비디오의 HDR 마스터(202) 및 참조 SDR 마스터(204) 모두를 수신할 수 있다. 인코더(100)는 도 2와 관련하여 상기 설명된 바와 같이, HDR RGB 값들을 HDR YCbCr 값들로 변환하는 것과 같이, HDR 마스터(202)로부터의 HDR 값들 상에 하나 이상의 컬러 변환 동작(208)을 수행할 수 있다. 인코더는 또한 블록(214)에서 HDR 값들을 비트 스트림으로 인코딩하기 전에, HDR 값들 상에 하나 이상의 양자화 및/또는 크로마 서브샘플링 동작(212)을 수행할 수 있다. 이 실시예에서, 양자화 및/또는 크로마 서브샘플링 동작들(212)은 HDR 값들을 설명하기 위해 인코딩될 비트들의 수를 감소시키는 역할을 할 수 있다. 인코더는 또한 컬러 변환 동작들(208), 양자화 및/또는 크로마 서브샘플링 동작들(212), 및 인코딩(214)이 HDR 값들 상에 어떻게 수행되었는지를 표시하는 HDR 메타데이터 아이템들(108)을 생성할 수 있다.
상기 설명된 바와 같이 HDR 값들을 비트 스트림(106)으로 인코딩하는 것에 더하여, 인코더(100)는 또한 원래의 HDR 값들, 및/또는 컬러 변환 동작들(208)에 의해 또 다른 컬러 공간으로 변환되는 HDR 값들을 컬러 볼륨 변환 모듈(602)에 전달할 수 있다. 컬러 볼륨 변환 모듈(602)은 또한 참조 SDR 마스터(204)로부터 SDR 값들을 수신할 수 있다.
컬러 볼륨 변환 모듈(602)은 상기 설명된 수학식들 및 프로세스들을 사용하여, 디코더(102)가 HDR 값들을, SDR 값들이 SDR 디스플레이 상의 디스플레이를 위해 변환될 때 참조 SDR 값들에 실질적으로 일치할 SDR 값들로 변환하는 데 사용할 수 있는 파라메트릭 톤 매핑 동작의 파라미터들, 스케일링 인자, 3D LUT, 또는 세 개의 1D LUT들의 세트를 찾기 위해 입력 HDR 값들 및 참조 SDR 값들을 사용할 수 있다. 컬러 볼륨 변환 모듈(602)은 HDR 컬러 볼륨 내의 값들이 SDR 컬러 볼륨 내의 대응하는 값들로 변환될 수 있는 방법을 표시하는 하나 이상의 SDR 메타데이터 아이템(108)을 출력할 수 있다.
이 실시예에서, HDR 값들, HDR 메타데이터 아이템들(108), 및 SDR 메타데이터 아이템들(108)을 포함하는 비트 스트림(106)은 HDR 시스템들 및 SDR 시스템들에 대한 디코더들에 전달될 수 있다.
도 7은 도 6에 도시된 인코더에 의해 생성된 비트 스트림(106)을 디코딩하는 HDR 시스템 내의 디코더(102)를 도시한다. HDR 시스템에 대한 디코더(102)는 비트 스트림(106) 및 메타데이터 아이템들(108)을 수신할 수 있다. 디코더(102)는 HDR 컬러 볼륨으로부터의 값들을 SDR 컬러 볼륨 내의 값들로 변환하는 방법을 설명하는 SDR 메타데이터 아이템들(108)을 무시할 수 있다. 디코더(102)는 HDR 값들을 찾기 위해 비트 스트림(106)을 디코딩할 수 있고, 이후 HDR 메타데이터 아이템들(108)에 의해 표시되는 임의의 역 양자화 및/또는 크로마 업샘플링 동작들(404)을 수행할 수 있다.
디코더(102) 및/또는 디스플레이(104)는 또한 디코딩된 HDR 값들 상에 하나 이상의 HDR 디스플레이 동작(408)을 수행하여, 디스플레이(104) 상의 프레젠테이션을 위해 이들을 변환할 수 있다. 부가적으로, 디코딩된 HDR 값들이 HDR 디스플레이(104)에 의해 제공될 수 있는 것과 다른 컬러 공간 내에 있을 때, 디코더(102) 또는 디스플레이(104)는 HDR 값들을 원하는 컬러 공간으로 변환하는 하나 이상의 HDR 디스플레이 컬러 공간 변환 동작들을 수행할 수 있다. 제한이 아닌 예로서, 디코딩된 값들이 HDR YCbCr 값들이고 HDR 디스플레이(104)가 HDR RGB 값들을 제공하도록 구성될 때, 디코더(102)는 HDR YCbCr 값들을 HDR 디스플레이(104)에 의해 디스플레이될 수 있는 HDR RGB 값들로 변환하기 위해 HDR 디스플레이 컬러 공간 변환 동작들을 사용할 수 있다. 대안적인 실시예들에서, HDR 디스플레이(104)는 디코더(102)에 의해 디코딩된 값들 상에 HDR 디스플레이 컬러 공간 변환 동작들을 수행하여, 그것들을 HDR 디스플레이(104)가 재생할 수 있는 컬러 공간으로 변환할 수 있다.
일단 디코딩된 HDR 값들이 HDR 디스플레이(104)에 의해 사용되는 컬러 공간에 있으면, HDR 디스플레이(104)는 HDR 값들을 사용하여 비디오의 이미지 에센스의 재구성을 제공할 수 있다.
도 8은 도 6에 도시된 인코더에 의해 생성된 비트 스트림(106)을 디코딩하는 SDR 시스템 내의 디코더(102)를 도시한다. SDR 시스템에 대한 디코더(102)는 비트 스트림(106) 및 메타데이터 아이템들(108)을 수신할 수 있다. HDR 시스템에 대한 디코더(102)는 비트 스트림(106) 및 메타데이터 아이템들(108)을 수신할 수 있다. 디코더(102)는 블록(402)에서 HDR 값들을 찾기 위해 비트 스트림(106)을 디코딩할 수 있고, 이후 임의의 역 양자화 및/또는 크로마 업샘플링 동작들(404), 및/또는 HDR 메타데이터 아이템들(108)에 의해 표시되는 HDR 디스플레이 동작들(408)을 수행할 수 있다.
게다가, 도 8에 도시된 SDR 시스템에 대한 디코더(102)는 디코딩된 HDR 값들을 SDR 값들로 변환하기 위해 컬러 볼륨 변환 동작(210)을 수행할 수 있다. 디코더(102)는 최종 디스플레이 SDR 값들이 SDR 마스터(204)로부터의 참조 SDR 값들에 실질적으로 일치할 수 있도록 HDR 컬러 볼륨 내의 값들이 SDR 컬러 볼륨으로 변환될 수 있는 방법을 표시하는, 인코더의 컬러 볼륨 변환 모듈(602)에 의해 생성되는 SDR 메타데이터 아이템들(108)을 수신할 수 있다. 디코더(102)는 비트 스트림(106)으로부터 디코딩되었던 HDR 값들을 SDR 값들로 변환하기 위해 SDR 메타데이터 아이템들(108)에 의해 표시되는 컬러 볼륨 변환 동작(210)을 수행할 수 있다. 제한이 아닌 예로서, 디코더(102)는 디코딩된 HDR YCbCr 값들을 SDR YCbCr 값들로 변환할 수 있다.
디코더(102) 및/또는 디스플레이(104)는 또한 디코딩된 SDR 값들 상에 하나 이상의 SDR 디스플레이 동작(304)을 수행하여 그것들을 디스플레이(104) 상의 프레젠테이션을 위해 변환할 수 있다. 부가적으로, SDR 값들이 SDR 디스플레이(104)에 의해 제공될 수 있는 것과 다른 컬러 공간에 있을 때, 디코더(102) 또는 디스플레이(104)에 의해 수행되는 SDR 디스플레이 동작들(304)은 SDR 값들을 원하는 컬러 공간으로 변환하는 SDR 디스플레이 컬러 공간 변환 동작들일 수 있다. 제한이 아닌 예로서, 값들이 SDR YCbCr 값들이고 SDR 디스플레이(104)가 SDR RGB 값들을 제공하도록 구성될 때, 디코더(102)는 SDR YCbCr 값들을 SDR 디스플레이(104)에 의해 디스플레이될 수 있는 SDR RGB 값들로 변환하기 위해 SDR 디스플레이 컬러 공간 변환 동작들을 사용할 수 있다. 대안적인 실시예들에서, SDR 디스플레이(104)는 디코더(102)에 의해 출력된 SDR 값들 상에 SDR 디스플레이 컬러 공간 변환 동작들을 수행하여, 그것들을 SDR 디스플레이(104)가 재생할 수 있는 컬러 공간으로 변환할 수 있다.
일단 SDR 값들이 SDR 디스플레이(104)에 의해 사용되는 컬러 공간 내에 있으면, SDR 디스플레이(104)는 SDR 값들을 사용하여 비디오의 이미지 에센스의 재구성을 제공할 수 있다.
도 2 및 도 6에 도시된 바와 같이, 인코더(100)는, SDR 시스템에 의해 디코딩되고 제공될 때 참조 SDR 마스터(204)에 실질적으로 일치할 수 있고 시청자들이 SDR 시스템들에 대해 의도되는 대로의 컬러들을 인지하는 것을 허용하는, HDR 마스터(202)로부터 비트 스트림(106)을 생성할 수 있다. 일부 실시예들에서, 도 2 내지 도 4에 도시된 바와 같이, 인코더(100)는 비트 스트림을 인코딩하기 전에 HDR 값들을 SDR 값들로 변환하기 위해 컬러 볼륨 변환 동작(210)을 수행할 수 있고, HDR 시스템들에 대한 디코더들(102)은 디코딩된 SDR 값들을 디스플레이를 위한 HDR 값들로 변환하기 위해 역 컬러 볼륨 변환 동작(406)을 수행할 수 있다. 다른 실시예들에서, 도 6 내지 도 8에 도시된 바와 같이, 인코더(100)는 컬러 볼륨 변환 모듈(602)에서 컬러 볼륨 변환 동작(210)을 식별할 수 있고 그 컬러 볼륨 변환 동작(210)을 메타데이터 아이템들(108) 내에서 SDR 시스템들에 대한 디코더들(102)에게 표시할 수 있어, SDR 시스템들에 대한 디코더들(102)이 비트 스트림(106)으로부터 HDR 값들을 디코딩할 수 있고 이후 컬러 볼륨 변환 동작(210)을 사용하여 그것들을 SDR 값들로 변환할 수 있게 한다.
상기 설명된 방법들을 사용하여 HDR 컬러 볼륨과 SDR 컬러 볼륨 사이의 값들을 변환하는 것은 또한 SDR 값들의 양자화 및/또는 압축을 도울 수 있다. 제한이 아닌 예로서, SDR 값들, 예컨대 SDR Cb 또는 Cr 컴포넌트들은 그 컴포넌트들이 SDR 값들로 다시 역스케일링될 때, 동일한 왜곡을 달성하기 위해 더 큰 양자화 단계 크기들이 사용될 수 있도록, 그것들의 동적 범위를 HDR 값들로서 신장시키도록 스케일링될 수 있다.
본 발명이 상기에 구체적으로 설명되었지만, 이것은 본 발명을 제조하고 사용하는 법을 본 기술분야의 통상의 기술자에게 단지 교시하는 것이었다. 많은 부가 수정들은 그러한 범위가 이하의 청구항들에 의해 정의되는 바와 같이, 본 발명의 범위 내에 있을 것이다.

Claims (37)

  1. 디지털 비디오를 인코딩하는 방법으로서,
    인코더가, 높은 동적 범위 마스터(high dynamic range(HDR) master), 표준 동적 범위 마스터(standard dynamic range(SDR) master), 및 타겟 SDR 디스플레이 속성들(target SDR display properties)을 수신하는 단계 - 상기 HDR 마스터는 HDR 컬러 볼륨 내의 HDR 값들을 포함하는 비디오의 제1 이미지 에센스(image essence)이고, 상기 SDR 마스터는 SDR 컬러 볼륨 내의 SDR 값들을 포함하는 상기 비디오의 제2 이미지 에센스이고, 상기 타겟 SDR 디스플레이 속성들은 SDR 디스플레이 특성들(SDR display characteristics)을 표시함 -;
    상기 인코더에서 컬러 볼륨 변환을 결정하는 단계 - 상기 컬러 볼륨 변환은 상기 HDR 마스터로부터 유래되는 HDR 값들을, 상기 SDR 디스플레이 특성들에 기초하여 변환할 때, 상기 SDR 값들과 실질적으로 유사한 SDR 값들로 변환함 -;
    상기 인코더가, 디코더에게 상기 컬러 볼륨 변환을 식별해주는 적어도 하나의 메타데이터 아이템을 생성하는 단계; 및
    상기 컬러 볼륨 변환에 기초하여 생성된 상기 HDR 값들 및/또는 SDR 값들을 상기 인코더에 의해 비트 스트림으로 인코딩하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 인코더에서 상기 타겟 SDR 디스플레이 속성들을 수신하는 단계 - 상기 타겟 SDR 디스플레이 속성들은 상기 HDR 마스터로부터 유래되는 HDR 값들을 상기 SDR 값들과 실질적으로 유사한 상기 SDR 값들로 변환할 때 사용하기 위해 디코딩된 SDR 값들을 스크린 상에의 디스플레이를 위해 변환하기 위해 타겟 SDR 디스플레이가 사용하는 SDR 디스플레이 동작들을 표시함 -; 및
    상기 인코더에서, 상기 컬러 볼륨 변환을 이용하여 상기 HDR 마스터로부터 유래되는 상기 HDR 값들을 상기 생성된 SDR 값들로 변환하는 단계
    를 더 포함하는 방법.
  3. 제1항에 있어서, 상기 컬러 볼륨 변환을 수행하기 전에 상기 HDR 마스터로부터의 상기 HDR 값들을 상이한 컬러 공간으로 변환하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서, 상기 HDR 마스터로부터의 상기 HDR 값들은 HDR RGB 값들이고, 상기 인코더는 상기 HDR RGB 값들을 HDR YCbCr 값들로 변환하고, 상기 인코더는 상기 컬러 볼륨 변환을 사용하여 상기 HDR YCbCr 값들을 SDR YCbCr 값들로 변환하고, 상기 인코더는 상기 SDR YCbCr 값들을 상기 비트 스트림으로 인코딩하는, 방법.
  5. 제1항에 있어서,
    HDR 시스템에 대한 디코더에서 상기 비트 스트림 및 상기 적어도 하나의 메타데이터 아이템을 수신하는 단계;
    상기 디코더로 상기 비트 스트림을 디코딩된 SDR 값들로 디코딩하는 단계;
    상기 디코더에서 상기 적어도 하나의 메타데이터 아이템에 기초하여 역 컬러 볼륨 변환을 찾는 단계; 및
    상기 디코더에서 상기 역 컬러 볼륨 변환을 사용하여 상기 디코딩된 SDR 값들을 디코딩된 HDR 값들로 변환하는 단계
    를 더 포함하는, 방법.
  6. 제1항에 있어서, 상기 인코더는 거리를 최소화하는 동작을 찾음으로써 상기 컬러 볼륨 변환을 찾고, 상기 거리는 상기 SDR 값들과, SDR 값들이 SDR 디스플레이에서의 디스플레이를 위해 변환된 후의 상기 동작에 의해 생성되는 SDR 값들 사이의 거리인 방법.
  7. 제1항에 있어서, 상기 인코더는, 상기 HDR 마스터로부터 유래되는 HDR 값들 상에 컬러 공간 변환을 수행함으로써 디스플레이 HDR 값들을 찾고; 스케일링 인자에 의해 상기 디스플레이 HDR 값들을 선형적으로 스케일링하고; 및 SDR 값들이 SDR 디스플레이에서의 디스플레이를 위해 변환된 후의 동작에 의해 생성되는 SDR 값들과 스케일링된 디스플레이 HDR 값들 사이의 거리를 최소화하는 상기 동작을 찾음으로써, 상기 컬러 볼륨 변환을 찾는, 방법.
  8. 제1항에 있어서, 상기 인코더는 스케일링 인자를 찾음으로써 상기 컬러 볼륨 변환을 찾고, 상기 스케일링 인자는 상기 스케일링 인자에 의해 스케일링되는 상기 HDR 값들로부터 생성되는 루마 값(luma value)과 상기 컬러 볼륨 변환에 의해 생성되는 SDR 루마 값 사이의 최소 거리를 초래하는, 방법.
  9. 제8항에 있어서, 상기 인코더는 상기 스케일링 인자가 발견된 후에 상기 스케일링 인자에 의해 스케일링되는 상기 HDR 값들로부터 SDR 크로마 컴포넌트들을 생성하는, 방법.
  10. 제1항에 있어서, 상기 인코더는 상기 컬러 볼륨 변환을 수행하기 전에 상기 HDR 값들 상에 멱함수(power function)를 수행하고, 상기 인코더는 상기 멱함수에서 사용되는 거듭제곱의 역수로 취해지는 상기 HDR 값들로부터 도출되는 HDR 루마 컴포넌트에 대한, 상기 컬러 볼륨 변환에 의해 생성되는 SDR 루마 컴포넌트의 비율에 기초하여 스케일링 인자를 찾음으로써 상기 컬러 볼륨 변환을 찾는, 방법.
  11. 제10항에 있어서, 상기 인코더는 HDR 크로마 컴포넌트들에 상기 HDR 루마 컴포넌트에 대한 상기 SDR 루마 컴포넌트의 비율을 곱함으로써 SDR 크로마 컴포넌트들을 생성하는, 방법.
  12. 제1항에 있어서, 상기 컬러 볼륨 변환은 가역적인 파라미터화된 톤 매핑 함수(parameterized tone mapping function)이고, 상기 적어도 하나의 메타데이터 아이템은 상기 톤 매핑 함수를 조정하기 위한 파라미터를 표시하는, 방법.
  13. 제1항에 있어서, 상기 적어도 하나의 메타데이터 아이템은 상기 SDR 컬러 볼륨과 상기 HDR 컬러 볼륨 사이에서 값들을 변환하기 위해 상기 컬러 볼륨 변환에 의해 사용되는 스케일링 인자를 표시하는, 방법.
  14. 제1항에 있어서, 상기 적어도 하나의 메타데이터 아이템은 상기 SDR 컬러 볼륨 내의 값들의 3원 세트(ternary set)를 상기 HDR 컬러 볼륨 내의 또 다른 값들의 3원 세트에 매핑하는 가역 3차원 룩업 테이블(lookup table)을 표시하는, 방법.
  15. 제1항에 있어서, 상기 적어도 하나의 메타데이터 아이템은 3개의 1차원 룩업 테이블들의 세트를 표시하고, 각각의 상기 세트는 상기 SDR 컬러 볼륨 내의 값들의 3원 세트 중 하나의 값을 상기 HDR 컬러 볼륨 내의 값들의 3원 세트 중의 대응하는 하나의 값에 매핑하는, 방법.
  16. 제1항에 있어서,
    SDR 시스템에 대한 디코더에서 상기 비트 스트림 및 상기 적어도 하나의 메타데이터 아이템을 수신하는 단계;
    상기 디코더로 상기 비트 스트림을 디코딩된 HDR 값들로 디코딩하는 단계;
    상기 적어도 하나의 메타데이터 아이템에 기초하여 상기 디코더에서 상기 컬러 볼륨 변환을 식별하는 단계; 및
    상기 디코더에서 상기 컬러 볼륨 변환을 사용하여 상기 디코딩된 HDR 값들을 디코딩된 SDR 값들로 변환하는 단계
    를 더 포함하는 방법.
  17. 제16항에 있어서, 상기 컬러 볼륨 변환은 가역적인 파라미터화된 톤 매핑 함수(parameterized tone mapping function)이고, 상기 적어도 하나의 메타데이터 아이템은 상기 톤 매핑 함수를 조정하기 위한 파라미터를 표시하는, 방법.
  18. 제16항에 있어서, 상기 적어도 하나의 메타데이터 아이템은 상기 SDR 컬러 볼륨과 상기 HDR 컬러 볼륨 사이에서 값들을 변환하기 위해 상기 컬러 볼륨 변환에 의해 사용되는 스케일링 인자를 표시하는, 방법.
  19. 제16항에 있어서, 상기 적어도 하나의 메타데이터 아이템은 상기 SDR 컬러 볼륨 내의 값들의 3원 세트를 상기 HDR 컬러 볼륨 내의 또 다른 값들의 3원 세트에 매핑하는 가역 3차원 룩업 테이블을 표시하는, 방법.
  20. 제16항에 있어서, 상기 적어도 하나의 메타데이터 아이템은 3개의 1차원 룩업 테이블들의 세트를 표시하고, 각각의 상기 세트는 상기 SDR 컬러 볼륨 내의 값들의 3원 세트 중 하나의 값을 상기 HDR 컬러 볼륨 내의 값들의 3원 세트 중의 대응하는 하나의 값에 매핑하는, 방법.
  21. 디지털 비디오를 인코딩하는 방법으로서,
    인코더가 높은 동적 범위(HDR) 비디오, 표준 동적 범위(SDR) 비디오, 및 타겟 SDR 디스플레이 속성들을 수신하는 단계 - 상기 HDR 비디오는 HDR 컬러 볼륨 내의 HDR 값들을 포함하는 비디오의 제1 이미지 에센스이고, 상기 SDR 비디오는 SDR 컬러 볼륨 내의 SDR 값들을 포함하는 상기 비디오의 제2 이미지 에센스이고, 상기 타겟 SDR 디스플레이 속성들은 SDR 디스플레이 특성들을 표시함 -;
    상기 인코더에서 컬러 볼륨 변환을 결정하는 단계 - 상기 컬러 볼륨 변환이 상기 HDR 비디오로부터 유래하는 상기 HDR 값들에 적용될 때, 상기 SDR 디스플레이 특성들에 기초하여 변환할 때 상기 SDR 값들과 실질적으로 유사한 SDR 값들을 유발함 -;
    상기 인코더가 디코더에 대한 상기 컬러 볼륨 변환을 식별하는 적어도 하나의 메타데이터 아이템을 생성하는 단계; 및
    상기 디코더에 대해 상기 인코더에 의해 비트 스트림으로 상기 컬러 볼륨 변환에 기초하여 생성된 상기 적어도 하나의 메타데이터 아이템 및 상기 HDR 값들을 제공하는 단계
    를 포함하는 방법.
  22. 제21항에 있어서, 상기 컬러 볼륨 변환은 톤 매핑 함수를 포함하는 방법.
  23. 제21항에 있어서, 상기 컬러 볼륨 변환은 스케일링 인자를 포함하는 방법.
  24. 제21항에 있어서, 상기 컬러 볼륨 변환은 적어도 하나의 룩업 테이블을 포함하는 방법.
  25. 제21항에 있어서, 상기 컬러 볼륨 변환은 HDR YCbCr 컬러 값들을 SDR YCbCr 컬러 값들로 변환하는 방법.
  26. 제21항에 있어서, 상기 컬러 볼륨 변환을 수행하기 전에 상기 HDR 비디오로부터의 상기 HDR 값들을 상이한 컬러 공간으로 변환하는 단계를 더 포함하는 방법.
  27. 제21항에 있어서, 상기 HDR 비디오로부터의 상기 HDR 값들은 HDR RGB 값들이고, 상기 인코더는 상기 HDR RGB 값들을 HDR YCbCr 값들로 변환하고, 상기 인코더는 상기 컬러 볼륨 변환을 사용하여 상기 HDR YCbCr 값들을 SDR YCbCr 값들로 변환하고, 상기 인코더는 상기 SDR YCbCr 값들을 상기 비트 스트림에 인코딩하는 방법.
  28. 디지털 비디오를 디코딩하는 방법으로서,
    디코더가 높은 동적 범위(HDR) 비디오를 비트 스트림으로 수신하는 단계 - 상기 HDR 비디오는 HDR 컬러 볼륨 내의 HDR 값들을 포함하는 비디오의 제1 이미지 에센스임 -;
    상기 디코더가 상기 HDR 비디오에 대한 컬러 볼륨 변환을 식별하는 적어도 하나의 메타데이터 아이템을 수신하는 단계 - 상기 컬러 볼륨 변환은, 상기 컬러 볼륨 변환이 상기 HDR 비디오로부터 유래하는 상기 HDR 값들에 적용될 때, 타겟 SDR 디스플레이의 SDR 디스플레이 특성들에 기초하여 변환할 때 상기 컬러 볼륨 변환이 결정된 SDR 컬러 볼륨 내의 제2 이미지 에센스를 갖는 표준 동적 범위(SDR) 비디오의 SDR 값들과 실질적으로 유사한 SDR 값들을 유발하도록 특성화됨 -;
    상기 HDR 값들을 디코딩하고, 상기 적어도 하나의 메타데이터 아이템에 기초하여 상기 HDR 값들을 수정하여 상기 SDR 값들을 생성하는 단계
    를 포함하는 방법.
  29. 제28항에 있어서, 상기 컬러 볼륨 변환은 톤 매핑 함수를 포함하는 방법.
  30. 제28항에 있어서, 상기 컬러 볼륨 변환은 스케일링 인자를 포함하는 방법.
  31. 제28항에 있어서, 상기 컬러 볼륨 변환은 적어도 하나의 룩업 테이블을 포함하는 방법.
  32. 제28항에 있어서, 상기 컬러 볼륨 변환은 HDR YCbCr 컬러 값들을 SDR YCbCr 컬러 값들로 변환하는 방법.
  33. 제28항에 있어서, 상기 컬러 볼륨 변환을 수행하기 전에 상기 HDR 비디오로부터의 상기 HDR 값들을 상이한 컬러 공간으로 변환하는 단계를 더 포함하는 방법.
  34. 디지털 비디오를 디코딩하는 방법으로서,
    디코더가 표준 동적 범위(SDR) 비디오를 비트 스트림으로 수신하는 단계 - 상기 SDR 비디오는 SDR 컬러 볼륨 내의 SDR 값들을 포함하는 비디오의 제1 이미지 에센스임 -;
    상기 디코더가 상기 SDR 비디오에 대한 컬러 볼륨 변환을 식별하는 적어도 하나의 메타데이터 아이템을 수신하는 단계 - 상기 컬러 볼륨 변환은, 상기 컬러 볼륨 변환이 상기 SDR 비디오로부터 유래하는 상기 SDR 값들에 적용될 때, 타겟 HDR 디스플레이의 HDR 디스플레이 특성들에 기초하여 변환할 때 상기 컬러 볼륨 변환이 결정된 HDR 컬러 볼륨 내의 제2 이미지 에센스를 갖는 높은 동적 범위(HDR) 비디오의 HDR 값들과 실질적으로 유사한 HDR 값들을 유발하도록 특성화됨 -;
    상기 SDR 값들을 디코딩하고, 상기 적어도 하나의 메타데이터 아이템에 기초하여 상기 SDR 값들을 수정하여 상기 HDR 값들을 생성하는 단계
    를 포함하는 방법.
  35. 제34항에 있어서, 상기 컬러 볼륨 변환은 톤 매핑 함수를 포함하는 방법.
  36. 제34항에 있어서, 상기 컬러 볼륨 변환은 스케일링 인자를 포함하는 방법.
  37. 제34항에 있어서, 상기 컬러 볼륨 변환은 적어도 하나의 룩업 테이블을 포함하는 방법.
KR1020227008981A 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들 KR102531489B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237015421A KR102711913B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562211519P 2015-08-28 2015-08-28
US62/211,519 2015-08-28
US15/248,024 2016-08-26
PCT/US2016/048836 WO2017040237A1 (en) 2015-08-28 2016-08-26 Color volume transforms in coding of high dynamic range and wide color gamut sequences
KR1020207018611A KR102377807B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
US15/248,024 US10687080B2 (en) 2015-08-28 2016-08-26 Color volume transforms in coding of high dynamic range and wide color gamut sequences

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207018611A Division KR102377807B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237015421A Division KR102711913B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들

Publications (2)

Publication Number Publication Date
KR20220040508A true KR20220040508A (ko) 2022-03-30
KR102531489B1 KR102531489B1 (ko) 2023-05-11

Family

ID=58097096

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020207018611A KR102377807B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
KR1020237015421A KR102711913B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
KR1020187006037A KR102129541B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
KR1020227008981A KR102531489B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020207018611A KR102377807B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
KR1020237015421A KR102711913B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
KR1020187006037A KR102129541B1 (ko) 2015-08-28 2016-08-26 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들

Country Status (5)

Country Link
US (4) US10687080B2 (ko)
EP (1) EP3329673A1 (ko)
JP (1) JP6530554B2 (ko)
KR (4) KR102377807B1 (ko)
WO (1) WO2017040237A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5948619B2 (ja) 2014-06-10 2016-07-06 パナソニックＩｐマネジメント株式会社 表示システム、表示方法および表示装置
JP2018525905A (ja) * 2015-07-22 2018-09-06 アリス エンタープライジズ エルエルシーＡｒｒｉｓ Ｅｎｔｅｒｐｒｉｓｅｓ Ｌｌｃ 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
WO2017019818A1 (en) * 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
CN108605125B (zh) * 2016-01-28 2021-05-25 皇家飞利浦有限公司 对hdr视频进行编码和解码的方法及设备
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
WO2017190985A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
US20170353704A1 (en) * 2016-06-01 2017-12-07 Apple Inc. Environment-Aware Supervised HDR Tone Mapping
CN111667418B (zh) * 2016-08-22 2024-06-28 华为技术有限公司 用于图像处理的方法和装置
EP3410722A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
EP3416363A1 (en) * 2017-06-13 2018-12-19 Koninklijke Philips N.V. Gamut mapping for hdr (de)coding
US10140392B1 (en) 2017-06-29 2018-11-27 Best Apps, Llc Computer aided systems and methods for creating custom products
US10254941B2 (en) 2017-06-29 2019-04-09 Best Apps, Llc Computer aided systems and methods for creating custom products
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
EP3484137A1 (en) 2017-11-09 2019-05-15 Thomson Licensing Method and device for generating a second image from a first image
EP3493542A1 (en) * 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
US10546554B2 (en) * 2018-03-26 2020-01-28 Dell Products, Lp System and method for adaptive tone mapping for high dynamic ratio digital images
US10600148B2 (en) 2018-04-17 2020-03-24 Grass Valley Canada System and method for mapped splicing of a three-dimensional look-up table for image format conversion
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
TW201946445A (zh) * 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像處理方法
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US10867081B2 (en) 2018-11-21 2020-12-15 Best Apps, Llc Computer aided systems and methods for creating custom products
US10922449B2 (en) 2018-11-21 2021-02-16 Best Apps, Llc Computer aided systems and methods for creating custom products
CN112689138B (zh) * 2019-10-18 2022-08-26 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
EP3873096A1 (en) * 2020-02-25 2021-09-01 Koninklijke Philips N.V. Improved hdr color processing for saturated colors
WO2021178221A1 (en) 2020-03-03 2021-09-10 Best Apps, Llc Computer aided systems and methods for creating custom products
US11514203B2 (en) * 2020-05-18 2022-11-29 Best Apps, Llc Computer aided systems and methods for creating custom products
BR112022026963A2 (pt) 2020-07-01 2023-01-24 Dolby Laboratories Licensing Corp Distribuição de imagens de alta faixa dinâmica em um sistema de reprodução de capacidade mista
CN113489930B (zh) * 2021-06-10 2024-03-19 中央广播电视总台 一种视频信号处理方法、装置及存储介质
CN115567694A (zh) * 2022-11-10 2023-01-03 北京奇艺世纪科技有限公司 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090122368A (ko) * 2007-04-03 2009-11-27 톰슨 라이센싱 상이한 색채 범위를 갖는 색채 보정을 갖는 디스플레이를 위한 방법 및 시스템
KR20140146628A (ko) * 2012-03-26 2014-12-26 코닌클리케 필립스 엔.브이. Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
WO2012142285A2 (en) 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
DK3324622T3 (da) * 2011-04-14 2019-10-14 Dolby Laboratories Licensing Corp Indikator med multiple regressioner og multiple farvekanaler
MX2014003556A (es) 2011-09-27 2014-05-28 Koninkl Philips Nv Aparato y metodo para transformacion de intervalo dinamico de imagenes.
JP5747136B2 (ja) * 2012-08-08 2015-07-08 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｒ画像のための画像処理
RU2670782C9 (ru) * 2013-07-18 2018-11-23 Конинклейке Филипс Н.В. Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
CN111526350B (zh) * 2014-02-25 2022-04-05 苹果公司 自适应视频处理
MX360781B (es) * 2014-09-22 2018-11-16 Panasonic Ip Man Co Ltd Método de reproducción y aparato de reproducción.
EP3205082B1 (en) * 2014-10-10 2018-04-04 Koninklijke Philips N.V. Saturation processing specification for dynamic range mappings
KR20170091744A (ko) * 2015-01-19 2017-08-09 돌비 레버러토리즈 라이쎈싱 코오포레이션 높은 동적 범위 비디오에 대한 디스플레이 관리
KR101818900B1 (ko) * 2015-02-17 2018-02-21 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 동적 범위를 갖는 신호들에 대한 계층간 예측
BR112017017792A2 (pt) * 2015-02-27 2018-04-10 Sony Corporation dispositivos e métodos de transmissão e de recepção.
JP6724779B2 (ja) * 2015-03-24 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10848795B2 (en) * 2015-05-12 2020-11-24 Lg Electronics Inc. Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
EP3113495A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Methods and devices for encoding and decoding a hdr color picture
EP3113496A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
JP2018525905A (ja) 2015-07-22 2018-09-06 アリス エンタープライジズ エルエルシーＡｒｒｉｓ Ｅｎｔｅｒｐｒｉｓｅｓ Ｌｌｃ 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
WO2017019818A1 (en) * 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
JP6633739B2 (ja) * 2015-08-20 2020-01-22 エルジー エレクトロニクス インコーポレイティド 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090122368A (ko) * 2007-04-03 2009-11-27 톰슨 라이센싱 상이한 색채 범위를 갖는 색채 보정을 갖는 디스플레이를 위한 방법 및 시스템
KR20140146628A (ko) * 2012-03-26 2014-12-26 코닌클리케 필립스 엔.브이. Ｈｄｒ 이미지 인코딩 및 디코딩을 위한 밝기 영역-기반 장치들 및 방법들

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
기술문서1(Technicolor, 2015)* *
논문1(Himanshu Kasliwal 등, 2015)* *
논문2(Garrett M. Johnson 등, 2010)* *

Also Published As

Publication number Publication date
US10687080B2 (en) 2020-06-16
US20170064334A1 (en) 2017-03-02
EP3329673A1 (en) 2018-06-06
KR102129541B1 (ko) 2020-07-03
US11589074B2 (en) 2023-02-21
KR20180038471A (ko) 2018-04-16
JP6530554B2 (ja) 2019-06-12
WO2017040237A1 (en) 2017-03-09
US20240236370A1 (en) 2024-07-11
KR102711913B1 (ko) 2024-09-27
KR20230066493A (ko) 2023-05-15
KR20200079573A (ko) 2020-07-03
US20230171429A1 (en) 2023-06-01
JP2018528666A (ja) 2018-09-27
KR102377807B1 (ko) 2022-03-22
US20200275126A1 (en) 2020-08-27
US11973982B2 (en) 2024-04-30
KR102531489B1 (ko) 2023-05-11

Similar Documents

Publication Publication Date Title
US11973982B2 (en) Color volume transforms in coding of high dynamic range and wide color gamut sequences
US12028542B2 (en) High dynamic range adaptation operations at a video decoder
JP7541055B2 (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
US12120305B2 (en) Colour conversion within a hierarchical coding scheme
US8982963B2 (en) Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video
JP2018525883A (ja) カラー・ピクチャを符号化および復号する方法およびデバイス
JP2024149797A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant