KR20180030841A - 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템 - Google Patents

높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템 Download PDF

Info

Publication number
KR20180030841A
KR20180030841A KR1020187001892A KR20187001892A KR20180030841A KR 20180030841 A KR20180030841 A KR 20180030841A KR 1020187001892 A KR1020187001892 A KR 1020187001892A KR 20187001892 A KR20187001892 A KR 20187001892A KR 20180030841 A KR20180030841 A KR 20180030841A
Authority
KR
South Korea
Prior art keywords
video data
data set
transfer function
digital video
metadata
Prior art date
Application number
KR1020187001892A
Other languages
English (en)
Other versions
KR102254535B1 (ko
Inventor
쿠야르 미누
조우예 구
데이비드 엠. 베이론
에이제이 루쓰라
Original Assignee
애리스 엔터프라이지즈 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애리스 엔터프라이지즈 엘엘씨 filed Critical 애리스 엔터프라이지즈 엘엘씨
Publication of KR20180030841A publication Critical patent/KR20180030841A/ko
Application granted granted Critical
Publication of KR102254535B1 publication Critical patent/KR102254535B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

디지털 비디오 데이터를 인코딩하는 방법은 높은 동적 범위(HDR) 및/또는 넓은 컬러 재현(WCG) 데이터의 적어도 부분 재생을 허용하기 위해 인코딩 전에 적응 전처리를 HDR 및/또는 WCG 이미지 데이터를 표현하는 데이터에 적용하고 디코딩 후에 상보 후처리를 데이터에 적용한다. 예시적 방법들은 양자화 전에 하나 이상의 컬러 공간 변환들, 및 지각 전달 함수들을 데이터에 적용한다. 예시적 방법들은 HDR 및/또는 WCG 데이터를 복구하기 위해 디코딩 후에 역 지각 전달 함수들 및 역 컬러 공간 변환들을 적용한다. 전달 함수들은 상이한 전달 함수들이 프레임들의 상이한 그룹들, 프레임들 또는 단일 프레임 내의 처리 윈도우들을 포함하는 비디오 데이터 세트들에 적용될 수 있도록 적응적이다. 데이터 세트에 관한 정보 및 적용된 전달 함수에 관한 정보는 메타데이터로서 인코더로부터 디코더로 전달된다.

Description

높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템
본 출원은 2015년 7월 22일에 출원된 이전 출원 미국 가출원 일련 번호 제62/195,432호로부터의 우선권을 35 U.S.C.§119(e) 하에 주장하며, 미국 가출원은 참조로 이로써 포함된다.
기술분야
본 개시내용은 높은 동적 범위(High Dynamic Range)(HDR) 및/또는 넓은 컬러 재현(Wide Color Gamut)(WCG) 비디오 시퀀스들을 인코딩하고 디코딩하는 비디오의 분야에 관한 것으로, 특히 입력 비디오 시퀀스의 콘텐츠 특성들에 기초하여, 선형 입력 값들을 인코딩되고 디코딩될 수 있는 비선형 값들로 적응 변환(adaptive transform)하는 방법에 관한 것이다.
HDR 비디오 및 WCG 비디오는 종래의 표준 동적 범위(Standard Dynamic Range)(SDR) 비디오보다 더 큰 범위들의 휘도 및 컬러 값들을 제공한다. 예를 들어, 종래의 비디오는 제한된 휘도 및 컬러 범위를 가질 수 있어, 섀도우들 또는 하이라이트들 내의 상세들은 이미지들이 캡처되고, 인코딩되고, 및/또는 디스플레이될 때 손실될 수 있다. 대조적으로, HDR 및/또는 WCG 비디오는 더 넓은 범위의 휘도 및 컬러 정보를 캡처할 수 있어, 비디오가 인간 눈에 대한 실생활에 더 자연스럽고 더 가깝게 나타나는 것을 허용한다.
그러나, 많은 일반적 비디오 인코딩 및 디코딩 방식들, 예컨대 MPEG-4 고도 비디오 코딩(Advanced Video Coding)(AVC) 및 고효율 비디오 코딩(High Efficiency Video Coding)(HEVC)은 HDR 또는 WCG 비디오를 직접 처리하도록 설계되지 않는다. 그와 같이, HDR 및 WCG 비디오 정보는 통상 비디오 압축 알고리즘을 사용하여 인코딩될 수 있기 전에 다른 포맷들로 변환되어야 한다.
예를 들어, HDR 비디오 포맷들 예컨대 EXR 파일 포맷은 10 유효 비트들, 5 지수 비트들 및 1 사인 비트를 갖는 16 비트 반정밀도 부동 소수점 값들을 가진 적색, 녹색, 청색(Red, Green, Blue)(RGB) 컬러 공간에서 컬러들을 설명한다. 이러한 값들은 광범위한 잠재적 세기 및 컬러 값들을 커버한다. SDR 비디오는 비-HDR 및 비-WCG 비디오의 컬러들을 표현하기 위해 8 또는 10 비트 값들을 이용한다. 많은 기존 비디오 압축 알고리즘들은 SDR 비디오와의 사용을 위해 의미되고, 따라서 8 또는 10 비트 값들을 수신하는 것을 예상한다. 압축 알고리즘들은 비디오 해상도를 실질적으로 감소시키거나 상당한 왜곡을 도입하는 것 없이 협력할 수 있으므로 16 비트 반정밀도 부동 소수점 컬러 값들을 10 비트 값들로 양자화하는 것은 어렵다.
일부 인코더들은 균일한 양자화 전에 선형 값들을 입력 비디오로부터 비선형 값들로 변환하기 위해 코딩 전달 함수를 사용한다. 비제한 예로서, 코딩 전달 함수는 더 큰 범위가 인코더에 제공되는 8 또는 10 비트 값들에 의해 표현될 수 있도록 양자화 범위의 일단 또는 양단에서 컬러 값들을 압축하는 감마 함수를 포함할 수 있다. 그러나, 인코더가 선형 입력 값들을 비선형 값들로 변환하기 위해 코딩 전달 함수를 사용할 때에도, 코딩 전달 함수는 고정될 수 있어, 그것은 입력 비디오의 콘텐츠에 의존하여 변경되지 않는다. 예를 들어, 인코더의 코딩 전달 함수는 HDR 범위, 예컨대 0 내지 10,000 니트(칸델라/제곱 미터 또는 cd/m2)인 모든 가능한 입력 값을 8 비트 값들에 대해서는 0 내지 255 또는 10 비트 값들에 대해서는 0 내지 1023의 범위인 특정 비선형 값들에 정적으로 매핑하기 위해 정의될 수 있다. 그러나, 입력 비디오가 그러한 범위의 부분에서만 입력 값들을 포함할 때, 고정 매핑은 양자화 레벨들의 나쁜 할당을 초래할 수 있어 재생된 이미지에서 양자화 왜곡을 야기한다. 예를 들어, 파란 하늘을 주로 나타내는 픽처는 많은 유사한 파란 음영들을 가질 수 있지만, 그러한 파란 음영들은 코딩 전달 함수가 정의되는 전체 범위의 작은 부분을 점유할 수 있다. 그와 같이, 유사한 파란 음영들은 동일한 값으로 양자화될 수 있다. 이러한 양자화는 종종 컨튜어링 또는 밴딩으로서 시청자들에 의해 지각될 수 있으며, 양자화된 파란 음영들은 음영들 사이의 더 자연적인 전이들 대신에 그들의 스크린 상에 디스플레이되는 하늘에 걸친 밴드들로 연장된다.
부가적으로, 인간 시각 시스템의 정신 물리적 연구들은 특정 위치에서의 콘트라스트 레벨들에 대한 시청자의 민감성이 위치 자체에서의 실제 레벨들보다 주위 위치들의 평균 밝기에 더 의존적일 수 있는 것을 나타냈다. 그러나, 많은 코딩 전달 함수들은 이것을 고려하지 않고 대신에 주위 픽셀들의 특성들을 고려하지 않는 고정 변환 함수들(fixed conversion functions) 또는 테이블들을 사용한다.
본 개시내용은 HDR 및/또는 WCG 데이터의 적어도 부분 재생을 허용하기 위해 인코딩 전에 적응 전처리를 높은 동적 범위(HDR) 및/또는 넓은 컬러 재현(WCG) 이미지 데이터를 표현하는 데이터에 적용하고 디코딩 후에 상보 후처리를 데이터에 적용하는 디지털 비디오 데이터를 인코딩하는 방법들을 설명한다. 예시적 방법들은 양자화 전에 하나 이상의 컬러 공간 변환들, 및 지각 전달 함수를 데이터에 적용한다. 예시적 방법들은 HDR 및/또는 WCG 데이터를 복구하기 위해 디코딩 후에 역 지각 전달 함수들 및 역 컬러 공간 변환들을 적용한다. 전달 함수들은 상이한 전달 함수들이 프레임들의 상이한 그룹들, 개별 프레임들 또는 프레임의 서브 컴포넌트들, 예컨대 처리 윈도우들을 포함하는 상이한 비디오 데이터 세트들에 적용될 수 있도록 적응적이다. 데이터 세트에 관한 정보 및 적용된 전달 함수에 관한 정보는 메타데이터로서 인코더로부터 디코더로 전달된다.
본 발명의 추가 상세들은 첨부 도면들의 도움으로 설명된다.
도 1은 인코더 및 디코더를 포함하는 비디오 코딩 시스템의 일 실시예를 도시한다.
도 2a 및 도 2b는 입력 HDR 및/또는 WCG 비디오 시퀀스를 2개까지의 컬러 볼륨 변환 프로세스들 및 2개의 전달 함수들을 사용하는 비-HDR, 비-WCG 비디오 인코더와 호환가능한 코딩된 비트 스트림으로 인코딩하고, 그러한 코딩된 비트 스트림을 역 컬러 볼륨 변환 프로세스들 및 전달 함수들을 사용하는 상보 비디오 디코더에 의한 디코딩된 비디오로 디코딩하는 프로세스의 제1 예를 도시한다.
도 3a 및 도 3b는 비-HDR, 비-WCG 비디오 인코더 및 디코더를 사용하여 입력 HDR 및/또는 WCG 비디오 시퀀스를 인코딩하고 디코딩하는 프로세스의 제2 예를 도시하며, 여기서 인코더에 의해 사용되는 코딩 전달 함수는 지각 정규화 동작과 조합되고 디코더에 의해 사용되는 역 코딩 전달 함수는 역 지각 정규화 프로세스와 조합된다.
도 4a 및 도 4b는 코딩된 비트 스트림으로의 입력 HDR 및/또는 WCG 비디오 시퀀스를 위한 인코딩 및 디코딩 프로세스의 제3 예를 도시하며, 여기서 인코더 및 디코더는 재구성된 HDR 및/또는 WCG 시퀀스로부터 유도되는 참조 프레임들을 사용한다.
도 5a 및 도 5b는 인코더에서 SDR 비디오 데이터를 사용하는 인코딩 및 디코딩 프로세스들의 제4 예를 도시하며, 여기서 프로세스들은 디코더에서 SDR 및 HDR 이미지 데이터를 동시에 생성하기 위해 선형 SDR 등급 RGB 이미지로부터 발생되는 톤 맵을 사용한다.
도 6a 및 도 6b는 인코딩 단계에서 코딩 전달 함수 후에 그리고 양자화 전에 파라메트릭 톤 매핑 프로세스들을 이용하고 디코딩 단계에서 역 양자화 후에 그리고 역 코딩 전달 함수 전에 상보 역 파라메트릭 톤 매핑 프로세스들을 이용하는 인코딩 및 디코딩 프로세스들의 제5 예를 도시한다.
도 7a 및 도 7b는 톤 매핑 및 역 톤 매핑 프로세스들이 3차원(three-dimensional)(3D) 룩업 테이블을 사용하여 구현되는 도 6a 및 도 6b에 도시된 인코딩 및 디코딩 프로세스들의 변화를 도시한다.
도 8a 및 도 8b는 톤 매핑 및 역 톤 매핑 프로세스들이 3개의 1차원(one-dimensional)(1D) 룩업 테이블들을 사용하여 구현되는 도 6a 및 도 6b에 도시된 인코딩 및 디코딩 프로세스들의 변화를 도시한다.
도 9는 감마 압축 전달 함수의 예시적 플롯을 도시한다.
도 10은 감마 압축 해제 전달 함수의 예시적 플롯을 도시한다.
도 11은 지각 양자화 전달 함수의 예시적 플롯을 도시한다.
도 12는 입력 및 출력 데이터의 상대 양자화로 표현되는 웨버 법칙 전달 함수의 예시적 플롯을 도시한다.
도 13은 입력 및 출력 데이터의 상대 양자화로 표현되는 스티븐스 법칙 전달 함수의 예시적 플롯을 도시한다.
아래에 설명되는 예시적 시스템들 및 방법들은 양자화되고 비-HDR, 비-WCG 인코더 예컨대 고효율 비디오 코딩(HEVC), H.264/MPEG-4 고도 비디오 코딩(AVC), 또는 MPEG-2 인코더에 의해 인코딩되며 그 다음에 수신기에서 HDR 및/또는 WCG 데이터의 적어도 일부를 복구하기 위해 재구성될 수 있도록 HDR 및/또는 WCG 비디오를 효과적으로 압축하기 위해 코딩 전달 함수를 적응시키거나, HDR 및/또는 WCG 비디오 데이터를 다른 방법으로 변환하고 및/또는 재분배한다. 전달 함수들은 입력 비디오의 픽처들의 그룹, 픽처, 또는 서브픽처 윈도우의 레벨에서 실제 비디오 콘텐츠에 기초할 수 있다. 이러한 비디오 프로세스들은 잠재적 값들의 전체 범위에 걸치는 대신에 입력 비디오 데이터에 실제로 존재하는 컬러 및/또는 세기 정보를 표현하는 비선형 값들의 곡선들 또는 톤 맵들을 발생시킴으로써 달성될 수 있다. 그와 같이, 비선형 값들이 균일하게 양자화될 때, 균일한 양자화에 의해 도입되는 잡음 및/또는 왜곡은 인간 시청자에 의해 지각될 가능성이 없도록 최소화될 수 있다. 게다가, 인코딩을 위한 입력 비디오 데이터를 준비하기 위해 수행되는 처리에 관한 메타데이터 정보는 디코더들에 송신되어, 디코더들은 비디오 데이터를 디코딩할 때 대응하는 역 동작들을 수행할 수 있다.
도 1은 인코더 시스템(100) 및 디코더 시스템(150)을 포함하는 비디오 코딩 시스템의 일 실시예를 도시한다. 인코더(100) 시스템은 코딩된 비트 스트림(109)을 입력 비디오로 인코딩하고, 트랜스코딩하고, 및/또는 압축하도록 구성되는 프로세서들(디지털 신호 프로세서들(digital signal processors)(DSPs), 또는 특수 비디오 프로세서들), 메모리, 회로들, 및/또는 다른 하드웨어 및 소프트웨어 요소들을 포함할 수 있다. 인코더 시스템(100)은 비디오 코딩 포맷 및/또는 압축 방식, 예컨대 고효율 비디오 코딩(HEVC), H.264/MPEG-4 고도 비디오 코딩(AVC), 또는 MPEG-2에 따라 코딩된 비트 스트림(109)을 발생시키도록 구성될 수 있다. 비제한 예로서, 일부 실시예들에서, 인코더(100)는 메인 10 HEVC 인코더일 수 있다.
예시적 인코더 시스템(100)은 비디오 소스(102)로부터 HDR 및/또는 WCG 비디오 데이터를 수신한다. 시스템(100)은 참조 픽처 캐시(118) 내의 참조 픽처들에 기초하여, 인코더(106), 예를 들어 메인 10 HEVC 인코더를 사용하여 인코딩될 수 있도록 HDR 및/또는 WCG 데이터를 적응 처리하는 프리프로세서(104)를 포함한다. 인코딩된 데이터는 송신기(108)를 사용하여 비트 스트림(109)으로서 디코더 시스템(150)의 수신기(110)에 송신될 수 있다. 송신기 및 수신기는 유선, 무선 또는 광 연결들을 포함하는 임의의 송신 방법을 사용할 수 있다. 일 실시예에서, 송신기는 인코딩된 비디오 데이터를 인터넷 프로토콜(Internet protocol)(IP) 패킷들로서 포맷하고 IP 패킷들을 네트워크를 통해 수신기(110)에 송신할 수 있다. 네트워크는 직교 진폭 변조(Quadrature Amplitude Modulation)(QAM), 또는 다른 디지털 송신 메커니즘을 사용하는 디지털 케이블 텔레비전 연결일 수 있다. 네트워크는 유선 케이블 네트워크, 광 섬유 네트워크, 또는 무선 네트워크일 수 있다. 네트워크는 개인 네트워크 또는 글로벌 정보 네트워크(예를 들어, 인터넷)일 수 있다. 인코딩된 비디오 데이터를 송신하는 것에 더하여, 송신기(100)는 프리프로세서(104)에 의해 수행되는 처리를 설명하는 메타데이터(122)를 송신한다. 메타데이터(122)가 개별 신호로 제시되지만, 그것은 비트 스트림(109) 내에, 예를 들어 비트 스트림 내의 보조 개선 정보(supplemental enhancement information)(SEI) 또는 비디오 유용성 정보(video usability information)(VUI) 데이터로서 또는 픽처 그룹들(Groups of Picture)(GOP), 픽처들, 슬라이스들, 매크로블록들의 헤더들 내에 포함될 수 있다. SEI 또는 VUI는 입력 이미지 데이터의 x 및 y 좌표들에 의해 정의되는 직사각형 처리 윈도우들 및 식별된 처리 윈도우 상에서 인코더에 의해 수행되는 처리를 정의하는 특정 메타데이터를 식별할 수 있다.
디코더 시스템(150)은 수신기(110)에서 비트 스트림(109)을 수신하고 디스플레이(116) 상의 표현을 위해 코딩된 비트 스트림(109)을 디코딩된 HDR 및/또는 WCG 비디오로 디코딩하고, 트랜스코딩하고, 및/또는 압축하도록 구성되는 프로세서들, 메모리, 회로들, 및/또는 다른 하드웨어 및 소프트웨어 요소들을 포함할 수 있다. 디코더 시스템(150)은 비디오 코딩 포맷 및/또는 압축 방식, 예컨대 HEVC, H.264/MPEG-4 AVC, 또는 MPEG-2에 따라 코딩된 비트 스트림(109)을 디코딩하도록 구성될 수 있다. 비제한 예로서, 일부 실시예들에서, 디코더(112)는 메인 10 HEVC 디코더일 수 있다. 비디오 데이터가 디코딩된 후에, 그것은 HDR 및/또는 WCG 비디오 데이터를 재발생시키기 위해 인코더로부터 수신되는 메타데이터에 응답하여, 프리프로세서(104)에 의해 수행되는 처리를 반전시키는 포스트프로세서(114)에 의해 처리된다. 디코딩된 HDR 및/또는 WCG 비디오 데이터는 플레이백, 예컨대 텔레비전, 모니터, 또는 다른 디스플레이(116) 상의 플레이백을 위해 디스플레이 디바이스에 출력될 수 있다.
일부 실시예들에서, 인코더 시스템(100) 및/또는 디코더 시스템(150)은 전용 하드웨어 디바이스들일 수 있다. 다른 실시예들에서, 인코더 시스템(100) 및/또는 디코더 시스템(150)은 다른 하드웨어 예컨대 서버들, 컴퓨터들, 또는 비디오 처리 디바이스들 상에 실행하는 소프트웨어 프로그램들이거나, 소프트웨어 프로그램들을 사용할 수 있다. 비제한 예로서, 인코더 시스템(100)은 비디오 서비스 제공자에 의해 조작되는 비디오 인코더일 수 있는 반면에, 디코더 시스템(150)은 소비자 텔레비전 디스플레이에 연결되는, 케이블 박스와 같은 셋톱 박스의 일부일 수 있다.
비디오 소스(102)에 의해 제공되는 입력 비디오 데이터는 또한 프레임들 또는 이미지 에센스 또는 비디오 데이터 세트로 언급되는, 픽처들의 시퀀스를 포함할 수 있다. 일부 실시예들에서, 픽처들 내의 컬러들은 컬러 공간 또는 컬러 모델에 따라 하나 이상의 값들을 사용하여 디지털적으로 설명될 수 있다. 비제한 예로서, 픽처 내의 컬러들은 컬러들이 적색 채널, 녹색 채널, 및 청색 채널 내의 값들의 조합을 통해 설명되는 RGB 컬러 모델을 사용하여 표시될 수 있다.
입력 비디오 데이터는 높은 동적 범위(HDR) 내에 및/또는 넓은 컬러 재현(WCG) 상에 설명되는 휘도 및/또는 컬러 값들을 가진 하나 이상의 프레임 시퀀스들을 갖는 HDR 비디오 데이터 세트일 수 있다. 비제한 예로서, 높은 동적 범위를 갖는 비디오는 비-HDR 비디오보다 더 넓은 범위의 가능한 값들을 갖는 스케일로 표시되는 휘도 값들을 가질 수 있고, 넓은 컬러 재현을 사용하는 비디오는 비-WCG 비디오보다 적어도 일부 채널들에서 더 넓은 범위의 가능한 값들을 갖는 컬러 모델 상에 표현되는 그것의 컬러들을 가질 수 있다. 그와 같이, HDR 입력 비디오는 표준 또는 비-HDR 비디오들보다 더 넓은 범위의 휘도 및/또는 색도 값들을 가질 수 있다.
일부 실시예들에서, HDR 입력 비디오 데이터는 컬러 채널당 8 또는 10 비트들과 같은 더 낮은 비트 심도들을 사용하여 컬러 값들을 표현하는 비-HDR 포맷들에 비해, 높은 비트 심도 포맷으로 RGB 값들에 의해 표시되는 그것의 컬러들을 가질 수 있다. 비제한 예로서, HDR 입력 비디오 데이터는 각각의 컬러 채널에 대해 16 비트 부동 소수점 값(10 유효 비트들, 5 지수 비트들 및 1 사인 비트를 가짐)을 사용하여 선형의 밝은 RGB 도메인에서 표현되는 RGB 컬러 값들을 갖는 EXR 파일 포맷일 수 있다.
도 2a에 도시된 바와 같이, 인코더 시스템(200)은 처리된 데이터를 10 비트 값들로 양자화하고, 색도 정보를 다운샘플링하고 기존 인코더(216), 예컨대 메인 10 HEVC 인코더를 사용하여 결과적 데이터를 인코딩하기 전에 제1(중간) 컬러 변환 동작(컬러 볼륨 변환)(202), 제1 전달 함수(204), 제2(최종) 컬러 변환 동작(206), 제2(코딩) 전달 함수(208), 및 임의적 지각 정규화 동작(210)을 선형 HDR RGB 데이터에 적용할 수 있다. 블록들(202, 204, 206, 208 및 210)은 비디오의 콘텐츠의 하나 이상의 특성들에 기초하여, 비디오 소스로부터의 선형 HDR RGB 값들을 비선형 곡선 상의 값들로 변환(202)하는 압축 및 지각 매핑 동작을 구현한다.
비제한 예들로서, 지각 매핑 동작은 데이터 세트 또는 데이터 세트의 일부에서의 최소 밝기, 평균 밝기, 피크 밝기, 최대 콘트라스트 비, 누적 분포 함수, 및/또는 임의의 다른 인자에 기초하여 비디오 데이터 세트의 전부 또는 일부의 콘텐츠에 맞춤화될 수 있다. 일부 실시예들에서, 그러한 특성들은 다양한 처리 단계들에서 비디오의 컬러 성분들 또는 휘도 성분들의 히스토그램 또는 통계 분석을 통해 발견될 수 있다. 일 예에서, 디지털 이미지 데이터는 지각 전달 함수 또는 지각 톤 매핑 동작을 적용하기 전에 처리 윈도우들로 분할될 수 있다. 각각의 처리 윈도우의 하나 이상의 성분(예를 들어, Y'CbCr)은 예를 들어 최소 샘플 값, 최대 샘플 값, 평균 샘플 값, 값, 및 최대 콘트라스트(예를 들어, 최소 샘플 값과 최대 샘플 값 사이의 차이)를 결정하기 위해 분석될 수 있다. 이러한 값들은 단일 성분에 대해 산출되거나 2개 이상의 성분들의 조합들에 대해 산출될 수 있다. 이러한 값들은 코딩 전달 함수 및 지각 정규화기에 적용되거나 처리 윈도우에 적용하기 위해 지각 매핑을 결정하는 톤 매핑 프로세스에 적용된다.
예시적 지각 매핑은 도 2b에 도시된 디코딩 시스템(220)에서 HDR 비디오 데이터로 디코딩되고 재구성될 수 있도록 HDR 비디오 데이터가 인코더(216)를 사용하여 더 효율적으로 인코딩되는 것을 허용하기 위해 전체 또는 국부 범위로 입력 비디오 데이터의 콘텐츠에 맞춤화되는 비선형 곡선 상에 선형 컬러 정보를 재분배하도록 구성된다. 아래에 설명되는 바와 같이, 선형 컬러 값들을 다른 컬러 공간들로 변환하는 것 및 입력 비디오의 콘텐츠에 기초하여 비선형 곡선들을 적용하는 것은 균일한 양자화 동작들을 통해 도입되는 왜곡 및/또는 잡음의 위험을 감소시키면서 재구성된 이미지에서 HDR 및/또는 WCG 상세를 제공할 수 있다. 일부 실시예들에서, 더 큰 수의 비트들 및/또는 양자화 레벨들은 비디오 프레임의 부분에 존재하고 및/또는 인간 시청자에 의해 지각될 가능성이 가장 많은 세기들 및 색조들의 범위들에 할당될 수 있는 반면에, 더 적은 비트들 및/또는 양자화 레벨들은 컬러 채널들에 존재하지 않고 및/또는 시청자들에 의해 지각될 가능성이 더 적은 세기들 및 색조들에 할당될 수 있다.
비제한 예로서, 입력 비디오 데이터가 밤에 발생하는 장면을 표현할 때, 그것의 픽처들은 RGB 도메인에서 함께 실질적으로 번칭(bunching)되는 어두운 컬러들을 주로 포함할 수 있다. 그러한 장면에서, RGB 도메인에서의 더 밝은 컬러들이 없거나 드물 수 있다. 이러한 상황에서, 조합된 지각 매핑은 장면에 존재하지 않는 값들을 생략하거나 덜 강조하면서, 장면 내에 실제로 존재하는 색도 및 휘도 값들의 범위를 포함하는 하나 이상의 비선형 곡선들 상에 색도 및 휘도 값들이 재분배되도록 적응될 수 있다. 그와 같이, 이전에 함께 번칭된 어두운 색도 및 휘도 값들은 비선형 값들의 곡선 상에 실질적으로 균일하게 널리 퍼질 수 있는(더 큰 수의 균일한 양자화 단계들을 할당하는) 반면에 덜 일반적인 더 밝은 값들은 함께 압축되거나(더 작은 수의 양자화 단계들을 할당하거나) 그들이 장면에 없으면 심지어 생략될 수 있다. 어두운 값들이 곡선 상에 널리 퍼질 수 있음에 따라, 그들 사이의 미세한 차이들은 비선형 곡선 상의 값들이 이산 값들 또는 코드 워드들로 균일하게 양자화될 때에도 구별될 수 있다.
상기 설명된 바와 같이, 지각 매핑 동작은 픽처들의 시퀀스, 단일 픽처 또는 서브픽처 윈도우에 대한 입력 비디오의 콘텐츠에 따라 상이한 비선형 전달 함수들을 적용하기 위해 변경될 수 있도록, 적응적일 수 있다. 서브픽처 처리는 동일한 픽처의 상이한 서브구역들, 예컨대 AVC에서의 처리 윈도우들, 슬라이스들, 매크로블록들, 또는 HEVC에서의 코딩 트리 유닛들(coding tree units)(CTUs)이 그들의 콘텐츠에 기초하여 상이하게 처리되는 것을 허용한다. 다른 실시예들 또는 상황들에서, 지각 매핑 동작들은 상이한 픽처들에 대한 픽처 레벨에 따라 변경될 수 있다. 또 다른 실시예들 또는 상황들에서, 지각 매핑 동작은 상이한 픽처 시퀀스들, 예컨대 상이한 픽처 그룹들(GOPs) 또는 이미지 에센스들에 대한 수프라-픽처 레벨에 따라 변경될 수 있다. 지각 매핑 동작은 임의의 원하는 컬러 공간, 예컨대 RGB, Y'CbCr, X'Y'Z' 또는 I'PT 컬러 공간들에서 적용될 수 있다. 픽처들의 특정 시퀀스, 단일 픽처 또는 서브픽처 요소를 표현하는 비디오 데이터의 콘텐츠는 비디오 데이터에 의해 표현되는 픽셀 값들의 히스토그램을 발생시킴으로써 결정될 수 있다. 예를 들어, 비교적 어둡고 비교적 밝은 구역들 둘 다를 갖는 이미지는 예를 들어 쿼드 트리 알고리즘을 사용하여 분할될 수 있어, 어두운 구역들로부터의 데이터는 한 세트의 처리 윈도우들에 있고 밝은 구역들로부터의 데이터는 다른 세트의 윈도우들에 있다. 어두운 구역들에서 윈도우들에 적용되는 지각 매핑은 밝은 구역들에서 적용되는 것과 상이할 수 있어, 양 구역들에서의 상세가 재생된 HDR 이미지에서 유지되고 디스플레이되는 것을 허용한다.
일 구현에서, 지각 정규화 블록(210) 및/또는 코딩 전달 함수 블록(208)은 지각적으로 매핑된 Y'CbCr 값들을 발생시키기 위해 컬러 변환 블록(206)에 의해 제공되는 Y'CbCr 값들에 지각 매핑 전달 함수를 적용할 수 있다. 일부 실시예들에서, 지각 매핑 동작은 Y'CbCr 값들을 연관된 지각적 매핑 Y'CbCr 값들에 매핑하는 3D 룩업 테이블을 사용할 수 있다. 다른 실시예들에서, 지각 매핑 동작은 각각의 컬러 성분을 변환하기 위해 하나 이상의 공식들을 사용할 수 있다. 비제한 예로서, 지각 매핑 동작은 공식들 예컨대 Y'_PM = f(Y', Cb, Cr) Cb_PM = g(Y', Cb, Cr) Cr_PM = h(Y', Cb, Cr)을 사용하여 값들을 변환할 수 있다. 이러한 예에서, 함수들은 3개의 Y'CbCr 값들을 입력들로서 각각 취하고 지각적으로 매핑된 Y'CbCr 값들을 출력할 수 있다.
도 2a에 도시된 바와 같이, 인코더(200)는 HDR 및/또는 WCG 데이터를 선형 RGB 값들로서 수신할 수 있다. 인코더(200)는 제1 컬러 변환 동작(202)을 수행할 수 있다. 이러한 동작은 선형 RGB 값들을 중간 선형 컬러 공간, 예를 들어 LMS, XYZ 또는 YCbCr로 변환한다. 이러한 변환은 RGB 데이터에서 리던던시를 감소시키고 데이터를 압축에 도움이 되는 포맷으로 삽입한다. 그러나, 입력 데이터의 포맷에 따라, 블록(202)은 임의의 컬러 변환을 수행하지 않을 수 있거나 단일 프레임의 상이한 부분들을 포함하는 비디오 시퀀스의 상이한 부분들에 대해 상이한 컬러 변환 동작들을 수행할 수 있는 것이 생각된다. 컬러 변환 동작(202)은 또한 수행된 변환 동작 및 그것이 수행된 시퀀스, 프레임 또는 이미지의 어느 부분들을 표시하는 메타데이터를 생성할 수 있다. 변환을 단지 식별하는 대신에, 메타데이터는 블록(202)에 의해 적용되는 컬러 변환 동작의 역을 표현하는 매트릭스 계수들을 포함할 수 있다. 역 계수들을 포함하는 메타데이터 대신에, 그것이 컬러 볼륨 변환 동작(202)에서 사용되는 계수들을 포함할 수 있는 것 및 역 계수들이 디코더(220)에서 발생될 수 있는 것이 생각된다. 컬러 변환 동작(202)은 제1 전달 함수(204)에 의해 처리하기 더 용이한 컬러 공간에서 데이터를 생성할 수 있다.
전달 함수(204)는 밝고 및/또는 어두운 픽셀 값들을 더 작은 범위의 값들로 압축하는 감마 함수일 수 있다. 대안적으로, 그것은 지각 전달 함수, 예컨대 지각 양자화(perceptual quantization)(PQ) 전달 함수일 수 있다. 다른 대안으로서, 그것은 컬러 변환된 비디오 데이터의 임의의 변환을 야기하지 않는 항등 함수일 수 있다. 이러한 함수는 휘도 채널에만 적용되거나 각각의 채널에 적용될 수 있고 상이한 함수들은 비디오 시퀀스의 상이한 부분들 및/또는 시퀀스 내의 상이한 프레임들 또는 프레임들의 부분들에 적용될 수 있다. 예를 들어, 이미지의 비교적 어두운 구역에서 휘도 채널에 적용되는 감마 또는 PQ 전달 함수는 관련 동작이 그러한 이미지 구역 내의 색도 채널 데이터에 적용되는 것을 야기할 수 있다. 블록(204)은 또한 적용된 변환 또는 변환의 역 및 그것이 적용된 이미지 데이터의 부분을 설명하는 메타데이터를 발생시킨다. 이러한 메타데이터는 전달 함수 또는 전달 함수의 역을 설명하는 파라미터들을 포함할 수 있다. 완전 전달 함수 또는 역 전달 함수에 대한 데이터 값들은 예를 들어 역 전달 함수, 또는 전달 함수 또는 역 전달 함수를 모델링하는 선형 세그먼트들의 종점들을 재구성하기 위해, 선형 보간 또는 2차 또는 3차 곡선 맞춤 동작을 사용하여 이러한 값들로부터 보간될 수 있다.
그 다음, 블록(204)으로부터의 컬러 변환 및 변형 데이터는 블록(206)에서 최종 컬러 변환 동작에 종속된다. 이러한 컬러 변환 동작은 예를 들어 비디오 데이터를 지각 압축, 특히 WCG 이미지 데이터에 더 적절한 I'PT 또는 Y'CbCr과 같은 컬러 공간으로 변환할 수 있다. 블록(206)은 이미지들의 시퀀스, 단일 이미지들, 또는 이미지들의 부분들을 지각 정규화 및 양자화를 위해 처리하기 더 용이한 하나 이상의 컬러 공간들로 변환할 수 있다. 블록(202)과 같이, 블록(206)에 의해 수행되는 컬러 변환은 항등 함수일 수 있어, 어떠한 변환도 야기하지 않는다. 대안적으로, 상이한 컬러 변환 동작들은 비디오 데이터의 상이한 부분들에 대해 수행될 수 있다. 더욱이, 블록(206)은 수행된 컬러 변환 및 그것이 적용된 비디오 데이터(수프라-프레임들, 프레임들 또는 서브프레임들)의 부분들을 설명하는 메타데이터를 발생시킬 수 있다. 이러한 메타데이터는 데이터의 부분 및 적용된 변환을 간단히 식별할 수 있다. 대안적으로, 변환을 식별하는 대신에, 메타데이터는 3x3 변환 매트릭스의 계수들을 포함할 수 있다. 상기 설명된 바와 같이, 메타데이터는 블록(206)에 의해 수행되는 컬러 변환 또는 그것의 역을 설명할 수 있다.
블록(206) 후에, 2배의 컬러 변환된 비디오 데이터는 제2 전달 함수(208)에 종속된다. 함수(208)는 인간 시각 시스템에 의해 중요한 것으로 지각되는 비디오 정보를 강조하고 중요하지 않은 것으로 지각되는 비디오 정보를 덜 강조함으로써 양자화 및 코딩을 위한 비디오 데이터를 준비하는 코딩 전달 함수일 수 있다. 전달 함수(208)는 데이터를 인간 지각에 따르게 하는 함수, 예를 들어 처리되는 비디오 데이터의 부분에서 이미지 콘텐츠, 의도된 최대 및 최소 샘플 값들, 최대 밝기 또는 휘도 콘트라스트 및/또는 양자화 단계 크기에 기초하여 선택될 수 있는 감마 성분을 갖는 스티븐스 멱 법칙 또는 웨버 법칙 전달 함수일 수 있다. 전달 함수(208)는 휘도 픽셀들의 콘트라스트 감도를 설명하고 휘도 샘플들에 적용되는 변환에 기초하여 대응하는 색도 샘플들을 리매핑하기 위해 이미지를 조정할 수 있다. 이러한 함수는 프레임들의 시퀀스, 단일 프레임 또는 프레임의 부분, 예컨대 처리 윈도우에 적용될 수 있다. 전처리 단계에서의 다른 블록들과 같이, 코딩 전달 함수 블록(208)은 적용된 전달 함수, 또는 그것의 역, 및 그것이 적용된 프레임들 또는 프레임들의 부분들을 설명하는 메타데이터를 발생시킬 수 있다. 이러한 메타데이터는 전달 함수를 파라미터에 의해 또는 값들의 시퀀스에 의해 설명할 수 있다. 전달 함수가 적용되는 파라미터들은 전달 함수에 제공되는 비디오 데이터를 분석함으로써 결정될 수 있다.
비디오 데이터는 예를 들어 특정 세트의 톤 매핑 파라미터들이 표시되고 쿼드 트리의 각각의 리프 노드에 적용될 수 있도록 쿼드 트리 분해를 이미지 데이터에 적용함으로써 처리 윈도우들로 분할될 수 있다. 이러한 예에서, 쿼드 트리 분해의 각각의 리프 노드는 상이한 톤 매핑 방식을 가질 수 있다. 대안적으로, 처리 윈도우들은 원하는 주관적 타겟을 달성하기 위해 톤 매핑들이 적용되는 영역들로 지정되며 예컨대 컬러리스트에 의해 결정될 수 있다. 영역 형상은 직사각형, 원형 등일 수 있으며, 여기서 형상, 위치, 크기 등의 파라미터들이 지정될 수 있다. 처리 윈도우를 식별할 때, 처리 윈도우에서 각각의 비디오 성분 비디오 데이터의 최대, 평균, 및 최소 값들을 결정하고 이러한 값들을 전달 함수 블록(208)에 공급하는 것이 바람직할 수 있다. 예를 들어, 시스템은 이미지 픽셀들을 빈들로 분할하는 처리 윈도우 상에 히스토그램을 수행하고 처리 윈도우에서 픽셀들의 일부 퍼센티지(예를 들어, 80 내지 95%)에 스패닝되는 한 세트의 인접 빈들을 선택함으로써 최소, 평균 및 최대 값들을 결정할 수 있다. 최소 데이터 값은 가장 작은 데이터 값들을 포함하는 빈에 의해 정의되는 최소 값일 수 있고, 최대 데이터 값은 가장 큰 데이터 값들을 포함하는 빈에 정의되는 최대 값일 수 있고, 평균 값은 선택된 빈들의 전부에서 모든 값들의 평균일 수 있다. 그 다음, 블록(208)은 최소보다 더 작거나 최대보다 더 큰 값들에 할당되는 양자화 단계들의 수를 감소시키면서 최소 및 최대 값들 사이에 할당되는 양자화 단계들의 수를 증가시키기 위해 코딩 전달 함수 및/또는 지각 정규화기(210)를 적응시킨다. 적응은 또한 처리 윈도우를 식별하는 데이터를 포함하는 메타데이터에서 주목된다. 이러한 메타데이터는 역 지각 정규화 및 역 코딩 전달 함수들이 비트 스트림으로부터 디코딩되는 데이터에 적용될 수 있도록 비트 스트림을 갖는 디코더에 송신된다. 메타데이터는 적응된 전달 함수를 설명하는 파라미터들 또는 전달 함수가 보간을 사용하여 재구성될 수 있는 데이터 값들을 포함할 수 있다.
처리 윈도우들의 식별이 코딩 전달 함수 블록(208)에 의해 수행되는 것으로 설명되지만, 그것은 디코더의 다른 요소들에 의해 수행될 것이 생각된다. 예를 들어, 그것은 비디오 소스(102)(도 1에 도시됨)에 의해 수행되거나 중간 컬러 변환 블록(202)에 의해 수행될 수 있다. 개별 프레임들을 처리 윈도우들로 분할하는 것에 더하여, 동일한 알고리즘은 디지털 비디오 데이터 세트 내의 프레임들을 그들의 공통 특성들에 의해 그룹화하고, 및/또는 개별 프레임들의 특성들을 식별하기 위해 사용될 수 있다. 컬러 변환 프로세스들 및 압축 전달 함수 프로세스 둘 다가 동일한 부분들에 맞춤화될 수 있도록 인코딩 프로세스에서 초기에 공통 특성들을 갖는 디지털 비디오 데이터 세트의 부분들을 식별하는 것이 유리할 수 있다.
코딩 전달 함수(208) 후에, 데이터는 블록(210)에서 지각 정규화에 종속될 수 있다. 이러한 단계는 비디오 데이터의 지각 압축을 프레임들의 그룹 및/또는 프레임에 걸쳐 더 균일하게 하기 위해 비디오 데이터의 이득(스케일링) 및 오프셋을 조정한다. 지각 정규화는 또한 양자화를 위한 컬러 공간에서 데이터를 준비하기 위해 대응하는 휘도 샘플들에 대해 수행되는 처리를 위해 색도 샘플들을 보상할 수 있다. 이득 및 오프셋 값들 또는 그들의 역들뿐만 아니라, 그들이 적용된 이미지 데이터의 부분들의 식별은 메타데이터로 제공된다. 지각 정규화는 전달 함수들(204 및 208)이 균일하게 지각적으로 변환된 데이터를 생성할 때 또는 비디오 데이터가 균일하게 지각적으로 변환되는 것이 중요하지 않을 때 사용되지 않을 수 있다.
메인 10 HEVC 인코더를 사용하는 이러한 예에서, 전달 함수(208) 및/또는 임의적 지각 정규화 프로세스(210)에 의해 제공되는 정규화된 지각적 압축 데이터는 양자화기(212)에서 10 비트 값들로 양자화된다. 전달 함수(208) 및/또는 지각 정규화기(210)의 출력 샘플들이 부동 소수점 값들이면, 양자화기(212)는 픽셀 샘플들을 부동 소수점으로부터 10 비트 고정 소수점 값들로 변환할 수 있다. 출력 샘플들이 N 비트 고정 소수점 값들(N>10)이면, 양자화기는 N 비트 샘플들의 10 최상위 비트들(most significant bits)(MSBs)을 선택하거나 11번째 비트에 기초하여 이러한 값들을 라운딩할 수 있다. 블록들(202, 204, 206, 208 및 210)에 의해 수행되는 전처리 때문에, 더 지각적으로 중요한 이미지 데이터는 덜 지각적으로 중요한 데이터보다 더 큰 수의 양자화 레벨들을 수용한다. 양자화기(212)가 컬러 성분들을 위해 스칼라 또는 벡터 양자화를 이용할 수 있는 것이 생각된다.
다음에, 블록(214)은 4:4:4 픽셀들을 4:2:0 픽셀들로 변환하기 위해 색도 정보를 다운샘플링한다. 색도 샘플들의 해상도의 감소는 휘도보다 더 낮은 공간 해상도에서 컬러들을 지각하는 인간 시각 시스템에 현저하지 않다. 색도 정보를 다운샘플링하기 위해 수행되는 처리를 정의하는 메타데이터는 인코더의 다운샘플링 블록(214)으로부터의 메타데이터에 추가된다. 이러한 메타데이터는 예를 들어 다운샘플링된 데이터를 발생시키기 위해 사용된 2차원 공간 필터 또는 다운샘플링된 데이터로부터 공간적으로 업샘플링된 데이터를 발생시키는 역 필터의 커널을 설명할 수 있다. 메타데이터는 또한 서브샘플링 동작들에서 임의의 위상 시프트 오프셋들을 지정할 수 있다. 그 다음, 인코더(216)는 출력 비트 스트림을 생성하기 위해 전처리된, 양자화된 및 다운샘플링된 데이터를 인코딩한다. 일 구현에서, 메타데이터는 보조 개선 정보(SEI) 또는 비디오 유용성 정보(VUI) 데이터로서 비트 스트림과 인코딩된다. 블록(214)이 4:4:4 픽셀들을 4:2:0 픽셀들로 변환하는 것으로 도시되지만, 다른 변환들이 수행될 수 있으며, 예를 들어 4:4:4 픽셀들을 4:2:2 또는 4:1:1 픽셀 포맷들로 변환하는 것이 생각된다. 이러한 대체 다운샘플링된 포맷들 중 어느 것이 블록(214)에 의해 발생되면, 대응하는 업샘플링은 디코딩 시스템 내의 대응하는 블록에 의해 수행될 것이다.
도 2b에 도시된 디코딩 시스템(220)은 디코더(222)에서 비트 스트림을 수신한다. 예시적 메인 10 HEVC 디코더(222)는 메타데이터를 추출하고, 인코더(216)에 의해 수행되는 인코딩 동작을 반전시켜 10 비트 비디오 데이터를 4:2:0 픽셀 포맷으로 생성한다. 색도 다운샘플러(214)에 의해 생성되는 메타데이터는 예를 들어 4:2:0 샘플들을 공간 보간 필터에 적용함으로써, 4:2:0 샘플들로부터 4:4:4 픽셀 포맷 샘플들을 재구성하는 업샘플러(224)에 적용된다. 이러한 샘플들은 4:4:4 픽셀 샘플들을 부동 소수점 값들로 변환하는 역 양자화기(226)에 제공되거나 제로 값의 덜 중요한 비트들을 더 높은 정밀도 고정 소수점 샘플들에 추가할 수 있다. 역 양자화기(226)에 의해 수행되는 동작들은 양자화기(212)에 의해 수행되는 양자화 동작들을 반전시키는 경향이 있다.
지각 정규화 블록(210)으로부터 수신되는 메타데이터에 기초하는 블록(228)은 지각 정규화 필터(210)에 의해 수행되는 이득 및 오프셋 조정들을 반전시키기 위해 식별된 비디오 데이터 세트들에서 샘플들을 약화시키고 상쇄시킨다. 유사하게, 블록(230)은 코딩 전달 함수(208)의 역인 전달 함수를 적용한다. 이것은 메타데이터 내의 파라미터들로부터 발생되는 역 스티븐스 법칙 또는 역 웨버 법칙 전달 함수일 수 있거나 그것은 적용된 필터 특성의 샘플들 또는 선형화된 특성의 라인 세그먼트들을 표현하는 메타데이터 내의 값들로부터 재발생되는 전달 함수일 수 있다.
유사하게, 디코더(220)의 블록들(232, 234 및 236)은 인코더(200)의 블록(206)에 의해 수행되는 최종 컬러 변환 동작, 블록(204)에 의해 수행되는 제1 전달 함수 및 블록(202)에 의해 수행되는 중간 컬러 변환 동작을 각각 반전시킨다. 이러한 동작들은 메타데이터에서 컬러 변환 동작들 및 전달 함수들과 연관되는 프레임 또는 프레임들의 영역들을 표현하는 데이터 세트들에 대해서만 수행된다. 역 컬러 변환 블록(236)에 의해 제공되는 출력 데이터는 재구성된 선형 HDR RGB 신호이다. 지각적으로 중요한 데이터 예컨대 이미지들의 어두운 부분들에서 상세 및 텍스처 및 이미지들의 어둡고 밝은 부분들 둘 다에서의 컬러 값들은 재구성된 데이터에서 보존되는 반면에 지각적으로 덜 중요한 데이터는 손실될 수 있다. 도 2a 및 도 2b에 도시된 시스템들뿐만 아니라 아래의 다른 도면들에 도시된 시스템들이 선형 HDR RGB 데이터를 수신하고 재구성하는 것으로 도시되지만, 그들이 다른 HDR 및/또는 WCG 데이터를 수신하고 재구성할 수 있는 것이 생각된다.
도 3a 및 도 3b는 도 2a 및 도 2b에 도시된 인코딩 및 디코딩 시스템들의 변형을 설명한다. 도 3a 및 도 3b에 도시된 블록들 중 다수는 동일한 번호들을 갖는 도 2a 및 도 2b의 블록들과 동일하다. 간결성을 위해, 이러한 블록들의 동작은 본원에 개별적으로 설명되지 않는다. 한편 도 2a 및 도 2b와 다른 한편 도 3a 및 도 3b 사이의 하나의 차이는 지각 정형 블록(304) 및 도 3b에 도시된 대응하는 역 지각 정형 블록(327)이다. 블록(304)은 코딩 전달 함수(306)를 지각 정규화 동작(308)과 조합하고, 유사하게, 블록(327)은 역 지각 정규화 동작(326) 및 역 코딩 전달 함수 블록(328)을 조합한다.
도 3a 및 도 3b에 도시된 각각의 시스템들(300 및 320)에 대한 도 2a 및 도 2b에 도시된 시스템들(200 및 220) 사이의 다른 차이는 처리 스트림에서 색도 다운샘플링 프로세스(302) 및 색도 업샘플링 프로세스(330)의 위치들이다. 도 3a에서, 다운샘플링 프로세스(302)는 최종 컬러 변환 프로세스(206)에 의해 제공되는 데이터로 조작된다. 유사하게, 도 3b에서, 업샘플링 프로세스(330)에 의해 제공되는 업샘플링된 출력 값들은 프로세스(206)의 역인 역 컬러 변환 프로세스(232)에 적용된다. 다운샘플링 및 업샘플링 프로세스들의 재배치는 지각 정형 처리가 다운샘플링된 색도 값들을 갖는 픽셀들에 대해 수행되는 것을 야기한다. 이러한 수정은 더 적은 색도 샘플들이 도 2a에 도시된 대응하는 블록들(208, 210 및 212) 및 도 2b에 도시된 블록들(226, 228 및 230)에 의해 처리되는 것보다 도 3a에 도시된 블록들(306, 308, 310) 및 도 3b에 도시된 블록들(324, 326 및 328)에 의해 처리되므로 더 적은 처리를 야기할 수 있다. 상기 설명된 바와 같이, 추가 처리 감소는 코딩 전달 함수(306)와 함께 지각 정규화 프로세스(308)에 의해 수행되는 오프셋 및 이득 조정들을 포함하고 역 코딩 전달 함수(328)와 함께 역 지각 정규화 프로세스(326)에 의해 수행되는 역 오프셋 및 이득 조정들을 포함함으로써 달성될 수 있다.
도 4a 및 도 4b에 도시된 인코딩 시스템들(400 및 420)은 도 2a 및 도 2b에 도시된 각각의 시스템들(200 및 220)의 다른 변형을 표현한다. 도 4a 및 도 4b 및 도 2a 및 도 2b의 유사한 번호 요소들은 동일한 방식으로 동작하고, 간결성을 위해 본원에 개별적으로 설명되지 않는다. 도 4a 및 도 4b에 도시된 프로세스들은 인코더(402) 및 디코더(422)에 의해 사용되는 참조 픽처들의 내용에서 도 2a 및 도 2b의 프로세스들과 다르다. 도 1을 참조하여 상기 설명된 바와 같이, 메인 10 HEVC 디코더는 현재 프레임으로부터의 픽셀 값들이 참조 프레임들 중 하나 이상으로부터 발생되는 대응하는 픽셀 값들로부터 감산되는 예측 인코딩 및 디코딩을 수행한다. 이러한 차이 값들은 전형적으로 전체 픽셀 값보다 훨씬 더 적은 정보를 갖고, 따라서 인코더에서 더 효율적으로 주파수 변환되고 양자화된다. 도 1에 도시된 바와 같이, 참조 픽처 캐시(118) 내의 참조 프레임들은 그것이 발생시키는 인코딩된 데이터를 디코딩하는 인코더(106)에 의해 발생된다. 이것은 차이 값들이 인코딩 예측 프로세스들에 의해 도입되는 손실들 또는 왜곡을 보상할 수 있도록 행해진다.
표준 메인 10 HEVC 디코더가 도 2a 및 도 2b에 도시된 프로세스들에 사용되면, 참조 픽처들은 도 2b에 도시된 디코더에 의해 수행되는 후처리 단계들을 포함하지 않기 때문에 인코딩된 픽처들의 디코딩된 버전들을 정확히 표현하지 않을 수 있다. 도 4a 및 도 4b에 도시된 시스템들(400 및 420)은 인코더(402) 및 디코더(422)를 개선함으로써 이것을 처리한다. 인코더(402)는 재구성된 선형 HDR RGB 이미지들을 재발생시키기 위해 내부적으로 디코딩된 픽처들을 프로세스들(224, 226, 228, 230, 232, 234 및 236)과 동일한 방식으로 후처리하고 그 다음에 재구성된 이미지들을 현재 이미지에 대한 프로세스들(202, 204, 206, 208, 210, 212 및 214)과 동일한 방식으로 처리함으로써 참조 픽처들을 발생시키도록 개선된다. 결과는 예측 코딩을 더 정확히 수행하기 위해 메인 10 HEVC 인코더에 의해 사용될 수 있는 참조 프레임들의 세트이다. 전처리 및 후처리 프로세스들이 상보적이기 때문에, 일부 후처리 프로세스들은 대응하는 전처리 프로세스가 또한 제거되는 한 제거될 수 있다. 예를 들어, 개선된 인코더는 LMS 또는 XYZ로부터 선형 HDR RGB로의 컬러 변환을 수행하지 않을 수 있고, 또한 선형 HDR RGB 데이터를 LMS 또는 XYZ 컬러 공간으로 변환하는 상보적 전처리 동작을 수행하지 않을 수 있다.
개선된 디코더(422)는 디코더의 블록들(224, 226, 228, 230, 232, 234 및 236)이 후처리 단계들을 이미 수행했기 때문에 후처리 및 전처리 둘 다를 수행하지 않는다. 따라서, 도 4b에 도시된 시스템(420)에서, 역 컬러 변환기(236)에 의해 생성되는 재구성된 선형 HDR RGB 데이터는 참조 이미지들을 발생시키기 위해 그것을 현재 이미지에 대한 전처리 블록들(202, 204, 206, 208, 210, 212 및 214)과 동일한 방식으로 처리하는 디코더(422)에 적용된다. 상기 설명된 바와 같이, 이러한 전처리 동작들의 일부는 재구성된 이미지들에 대한 이미지 데이터가 디코딩 시스템(420) 내의 상이한 지점으로 취해지면 제거될 수 있다. 예를 들어, 참조 이미지들에 대한 데이터가 역 전달 함수(234)의 출력으로부터 취해지면, 데이터를 선형 HDR RGB 컬러 공간으로부터 XYZ 또는 LMS 컬러 공간으로 변환하는 전처리 동작이 요구되지 않을 것이다.
상기 설명된 예시적 구현들의 초점은 더 낮은 동적 범위 및/또는 더 좁은 컬러 재현을 갖는 비디오 신호들, 예를 들어 표준 동적 범위(SDR) 비디오 데이터를 처리하도록 설계되는 인코더 및 디코더를 사용하여 HDR 및/또는 WCG 신호의 재발생을 허용하는 신호를 인코딩하고 디코딩하는 것이다. 그러나, 도 2b의 디코더(222)에 의해 생성되는 데이터는 그것이 양자화 해상도를 증가시키거나 감소시키기 위해 지각적으로 처리되었던 데이터를 포함할 수 있기 때문에 디코더와 호환가능한 모니터 상의 디스플레이에 적절하지 않을 수 있다.
도 5a, 도 5b, 도 6a, 도 6b, 도 7a, 도 7b, 도 8a 및 도 8b에 도시된 예시적 시스템들은 더 낮은 동적 범위 및/또는 더 좁은 컬러 재현을 갖는 비디오 데이터(예를 들어, SDR 데이터)가 재구성된 HDR 및/또는 WCG 비디오 데이터와 함께 발생되는 것을 허용하는 프로세스들을 포함한다. 이러한 시스템들은 SDR 이미지들을 발생시키기 위해 톤 매핑을 이용한다. 톤 매핑은 국부화된 콘트라스트를 유지하면서 전체 이미지 또는 이미지의 부분들의, 동적 범위, 또는 콘트라스트 비를 감소시킨다. 그것은 또한 SDR 이미지로 표현될 수 없는 컬러들을 SDR 이미지의 컬러 공간으로 매핑함으로써 컬러 재현을 감소시킬 수 있다. 톤 매핑은 또한 SDR 이미지의 미학을 HDR 이미지와 주관적으로 매칭시키기 위해 수행될 수 있다.
도 5a는 SDR 호환가능 이미지를 생성하기 위해 HDR 이미지를 처리하는 인코더(500)를 도시한다. 도 4a에 도시된 시스템(400) 내의 블록들과 동일한 번호들을 갖는 도 5a의 블록들은 동일한 방식으로 동작하고 본원에 상세히 설명되지 않는다. 그러나, 도 2a의 인코더(216)는 톤 맵을 사용하기 위해 도 2a에 도시된 인코더(200)의 구현을 수정하도록 도 5a의 인코더(402)를 대신할 수 있는 것이 생각된다. 일 구현에서, 비디오 데이터를 Y'CbCr 컬러 공간으로 변환하는 컬러 변환 프로세스(206)에 의해 생성되는 이미지 데이터는 이러한 구현에서 톤 맵(502)에 적용된다. 이러한 구현에서, 블록(204)의 전달 함수가 비선형 Y' 데이터를 발생시키기 위해 입력 이미지 시퀀스의 전체 이미지들에 적용되는 것으로 가정된다. 다시 말해, 각각의 이미지의 모든 부성분들은 동일하게 처리된다. 톤 맵을 발생시키기 위해 사용되는 이미지 데이터는 이러한 블록들이 톤 맵을 사용하여 처리하기 더 어려운 방식들로 이미지 데이터를 조정하므로 코딩 전달 함수 블록(208) 및 지각 정규화 블록(210)에 의해 수행되는 지각 수정들 전에 취득된다. 톤 맵(502)은 적절한 SDR 이미지를 생성하기 위해 높은 콘트라스트 요소들의 콘트라스트를 감소시키도록 비디오 데이터에서 이러한 요소들을 식별하고 톤 맵 값들을 발생시킨다. 이러한 SDR 톤 매핑 데이터는 메타데이터의 일부로서 디코더(520)에 송신된다. 다른 구현에서, 선형 SDR 등급 RGB 이미지 데이터는 비디오 소스(102)(도 1에 도시됨)로부터 이용가능하다. 이러한 사례에서, 선형 HDR RGB 이미지 데이터 및 선형 SDR 등급 RGB 이미지 데이터 둘 다는 톤 맵 프로세스(502)에 적용된다. 톤 맵 프로세스는 2개의 데이터 세트들 내의 대응하는 이미지 데이터 사이의 차이들을 분석함으로써 톤 맵을 발생시킬 수 있다. 그 다음, SDR 톤 매핑 데이터는 Y'CbCr 컬러 공간으로 변환된다. 대안적으로, 톤 맵 프로세스(502)는 이미지 데이터 세트들을 비교하기 전에 선형 HDR RGB 데이터 및 선형 SDR 등급 RGB 데이터를 Y'CbCr 컬러 공간으로 변환할 수 있다. 발생된 톤 맵은 전달 함수들의 세트일 수 있으며, 하나는 변환된 선형 SDR 등급 RGB 데이터로부터 대응하는 값들을 매칭시키기 위해 컬러 변환 블록(206)에 의해 생성되는 Y'CbCr 데이터의 값들을 조정하는 Y', Cb 및 Cr 채널들 각각에 대한 것이다.
도 5b는 SDR 이미지가 디코더(520)에서 어떻게 복구되는지를 도시한다. 도 5a와 같이, 도 4b에 도시된 시스템(420)과 동일한 번호들을 갖는 블록들은 동일한 방식으로 동작하고 본원에 상세히 설명되지 않는다. 그러나, 도 2b의 디코더(222)는 역 톤 맵을 사용하기 위해 도 2b에 도시된 구현을 수정하도록 도 5b에 도시된 디코더(422)를 대신할 수 있는 것이 생각된다. 디코더(520) 내의 톤 맵은 재구성된 SDR 데이터를 생성하기 위해 역 코딩 전달 함수(230)에 의해 생성되는 데이터에 적용된다. 도시된 바와 같이, 톤 맵은 또한 역 전달 함수(230)에 의해 제공되는 Y'CbCr 신호에 대한 수정들을 결정하기 위해 재구성된 선형 HDR RGB 신호를 이용할 수 있다. 더 용이한 처리를 위해, 블록(524)은 톤 매핑 함수에 적용하기 전에 재구성된 선형 HDR RGB 데이터를 Y'CbCr 컬러 공간으로 변환하는 것이 바람직할 수 있다.
도 6a 및 도 6b는 조합된 인코딩 시스템(600) 및 디코딩 시스템(620)이 구 버전과 호환가능 SDR 신호를 생성할 수 있는 다른 구현을 예시한다. 이전 구현들과 같이, 도 2a에 도시된 시스템(200)과 동일한 번호들을 갖는 블록들은 동일한 방식으로 동작하고 본원에 상세히 설명되지 않는다. 도 6a 및 도 6b에 도시된 시스템들은 임의적 지각 정규화 블록(210)이 SDR 이미지 데이터와 호환가능할 Y'CbCr 컬러 공간에서 픽셀 데이터를 매핑하는 톤 매핑을 적용하는 파라메트릭 톤 매핑 블록(602)으로 대체되는 것을 제외하고 도 2a 및 도 2b에 도시된 시스템들의 단계들의 전부를 수행한다. 파라메트릭 톤 매핑 블록(602)에 의해 제공되는 출력 데이터가 양자화기(212)에 의해 양자화되고 다운샘플링 블록(214)에 의해 다운샘플링될 때, 결과는 SDR 모니터 상에 디스플레이될 수 있는 SDR 신호이다.
파라메트릭 톤 매핑 블록(602)은 예를 들어 HDR Y'CbCr로부터 SDR Y'CbCr로의 정적 톤 매핑을 구현할 수 있다. 대안적으로, 톤 매핑 블록(602)은 SDR 데이터가 디스플레이되는 디스플레이 디바이스(또는 디스플레이 디바이스의 타입, 예를 들어 OLED, LED 또는 플라즈마)의 속성들을 고려하고 디스플레이 디바이스에 특정한 정적 톤 맵을 적용할 수 있다. 다른 대안으로서, 톤 맵은 비디오 소스(102)(도 1에 도시됨)에 의해 제공되는 선형 HDR RGB 데이터 및 SDR 등급 RGB 이미지 데이터를 사용하고 디스플레이 디바이스의 속성들을 사용하여 동적으로 발생될 수 있다. 상기 설명된 바와 같이, 톤 매핑 함수들을 발생시키기 전에, 블록(204)에 의해 수행되는 것과 유사한 압축 전달 함수 및 블록(206)에 의해 수행되는 것과 유사한 컬러 변환 동작을 적용함으로써 HDR 및 SDR RGB 데이터를 Y'CbCr 데이터로 변환하는 것이 바람직할 수 있다.
도 2a를 참조하여 상기 설명된 파라메트릭 변환 함수들(f(), g() 및 h())과 유사한, Y'CbCr 데이터의 성분들 각각에 대한 개별 톤 매핑 함수들이 있을 수 있다. 이러한 함수들은 구체적 대응 픽셀 값들이 함수들의 지점들을 정의하기 위해 HDR로부터 SDR 컬러 공간들로 어떻게 매핑되는지를 우선 식별하고 그 다음에 곡선을 지점들에 맞추거나 함수들에 근사하는 인접 지점들 사이에 라인 세그먼트들의 세트를 정의함으로써 정의될 수 있다. 이러한 지점들은 예를 들어 HDR 및 SDR 컬러 공간들의 휘도 및 색도 값들에 스패닝하기 위해 선택될 수 있다. 방정식들 및/또는 라인 세그먼트들을 정의하는 계수들은 톤 맵을 정의하고 메타데이터의 일부로서 디코더(620)에 송신되는 파라미터들이다.
시스템(620)의 디코더(222)는 재구성된 SDR 데이터를 생성하기 위해 비트 스트림을 디코딩한다. 그 다음, 이러한 데이터는 역 파라메트릭 톤 매핑 블록(622)에 적용되는 데이터를 생성하기 위해 블록(224)에서 업샘플링되고 블록(226)에서 역 양자화된다. 블록(622)은 SDR 컬러 공간 내의 Y'CrCb 데이터를 HDR 컬러 공간 내의 Y'CrCb 데이터에서의 대응하는 데이터에 매핑하기 위해 파라메트릭 톤 매핑 블록(602)의 역을 수행한다. 디코딩 시스템(620) 내의 나머지 블록들은 도 2b의 대응하는 블록들과 동일한 방식으로 동작하고, 간결성을 위해 본원에 개별적으로 설명되지 않는다.
도 7a 및 도 7b는 도 6a 및 도 6b의 파라메트릭 톤 매핑 블록들(602 및 622)이 도 7a 및 도 7b의 3D 룩업 테이블들(look-up tables)(LUTs)(702 및 722)로 대체되는 것을 제외하고 도 6a 및 도 6b에 도시된 시스템들(600 및 620)과 동일한 인코딩 시스템(700) 및 디코딩 시스템(720)을 도시한다. 도 7a에 도시된 시스템(700)에 사용되는 3D LUT는 도 2를 참조하여 상기 설명된 바와 같이 함수들(Y'_PM = f(Y', Cb, Cr), Cb_PM = g(Y', Cb, Cr), Cr_PM = h(Y', Cb, Cr))을 구현할 수 있다. 따라서, 각각의 출력 값(Y'_PM, Cb_PM 및 Cr_PM)은 입력 픽셀들의 모든 3개의 값들(Y', Cb 및 Cr)의 함수이다. 유사하게, 도 8a 및 도 8b는 도 6a 및 도 6b의 파라메트릭 톤 매핑 블록들(602 및 622)이 도 8a 및 도 8b의 3x1D 룩업 테이블들(LUTs)(802 및 822)로 대체되는 것을 제외하고 도 6a 및 도 6b에 도시된 시스템들(600 및 620)과 동일한 인코딩 시스템(800) 및 디코딩 시스템(820)을 도시한다. 게다가, 도 8a에서, 색도 다운샘플링(214)은 컬러 변환(206) 직후에 발생하고, 도 8b에서, 색도 업샘플링은 역 컬러 변환(232) 직전에 발생한다. 따라서, 이러한 시스템들에서, 톤 매핑 및 역 톤 매핑은 4:2:0 포맷으로 비디오 데이터에 적용된다. 도 8a 및 도 8b에 도시된 3개의 1D 톤 맵들에서, 각각 변환된 출력 값은 비변환된 입력 값만의 함수이며, 따라서 Y'_PM = f(Y'), Cb_PM = g(Cb), Cr_PM = h(Cr)이다.
도 2a를 참조하여 상기 설명된 바와 같이, 블록(204)에 의해 적용되는 전달 함수는 인코딩에 더 적절하게 하기 위해 비디오 데이터를 압축한다. 이러한 전달 함수는 XYZ 또는 LMS 입력 데이터를 X'Y'Z' 또는 L'M'S' 데이터로 변환하는 도 9에 도시된 그래프와 같은 감마 압축 함수일 수 있으며, 그것은 100 니트에 스패닝되는 데이터를 출력하기 위해 1000 니트에 스패닝된다. 블록(234)은 이러한 압축을 반전시키고 도 10에 도시된 그래프와 같은 전달 함수를 가질 수 있다. 하나의 그러한 압축 전달 함수는 지각 양자화(PQ) 전달 함수일 수 있다.
비제한 예로서, 일부 실시예들에서, PQ 전달 함수는 휘도 값들(L)로 조작되는 함수일 수 있으며, 함수는 이하와 같이 정의된다:
Figure pct00001
이러한 예에서, 각각의 서브픽처 레벨, 픽처 레벨, 또는 수프라-픽처 레벨에서 인코더(200)로부터 디코더(220)로 송신될 수 있는 파라미터들은 m1, m2, c1, c2, 및 c3 중 하나 이상을 포함한다. 예를 들어, 하나의 비제한 예시적 구현에서, 파라미터들의 값들은 이하와 같을 수 있다:
m1 = 0.159302
m2 = 78.84375
c1 = 0.835938
c2 = 18.85156
C3 = 18.68750
일부 실시예들 또는 상황들에서, 이러한 파라미터들 중 하나 이상의 값들은 미리 결정될 수 있어, 그들은 인코더(200) 및 디코더(220) 둘 다에 알려져 있다. 그와 같이, 인코더(200)는 PQ 곡선을 조정하기 위해 파라미터들의 전부 미만을 디코더(220)에 송신할 수 있다. 비제한 예로서, m2를 제외한 모든 파라미터들이 사전 설정될 수 있어, 인코더(200)는 그것이 각각의 코딩 레벨에서 사용한 m2의 값을 디코더(220)에만 송신한다.
도 11에 도시된 바와 같이, m2의 값을 맞추는 것은 상이한 휘도 값들에 대한 PQ 곡선을 조정할 수 있다. m2가 상기 표시된 78.84375 값 미만인 것으로 설정될 때, 예컨대 m2가 62에 설정될 때, PQ 값들은 곡선의 일부 또는 전부에 걸쳐 증가될 수 있다. 대조적으로, m2가 상기 표시된 78.84375 값보다 더 큰 것으로 설정될 때, 예컨대 m2가 160에 설정될 때, PQ 값들은 곡선의 일부 또는 전부에 걸쳐 감소될 수 있다.
일부 실시예들에서, 블록(208)은 전달 함수를 설명하는 메타데이터 및 그것이 적용된 이미지(들) 또는 이미지의 영역을 연관된 디코딩 시스템에 송신할 수 있다. 그 다음, 디코더는 디코딩 프로세스 동안 사용하기 위해 연관된 역 지각 매핑 동작(230)을 결정할 수 있다. 대안적으로, 인코더 또는 인코더 내의 전달 함수 블록(208)은 역 지각 매핑 동작을 결정하고 역 전달 함수를 설명하는 메타데이터를 디코더에 송신할 수 있다.
이러한 정보는 전달 함수 또는 역 전달 함수를 설명하는 파라미터들일 수 있거나 그것은 변환을 설명하는, 톤 맵과 같은 값들의 테이블일 수 있다.
상기 설명된 바와 같이, 전달 함수(208)는 이미지 시퀀스, 이미지 또는 이미지의 부분을 위해 요구되는 처리에 따라 많은 형태들을 취할 수 있다. 전달 함수(208), 및 역 코딩 전달 함수들(230)을 유도하기 위해 디코더에 송신될 수 있는 그것과 연관되는 파라미터들의 다양한 비제한 예들은 아래에 제공된다. 이러한 예들에서, 블록(208)에 의해 사용되는 코딩 전달 함수는
Figure pct00002
로 표시될 수 있어, 그것은 컬러 성분 내의 밝기 또는 세기 값(I)을 입력으로서 사용하고 ν로 표시되는 변환된 값을 출력할 수 있다. 유사하게, 디코더의 역 코딩 전달 함수(230)가
Figure pct00003
로 표시될 수 있지만, 그것은 값(ν)을 취하고 그것을 값(I)으로 다시 변환할 수 있다. 인코더의 균일한 양자화 동작(212)은 지각 정규화 블록(210) 또는 톤 맵들(602, 702 또는 802) 중 하나에 의해 수정되는 바와 같이, 코딩 전달 함수(208)에 의해 발생되는 변환된 ν 값들로 조작될 수 있음에 따라,
Figure pct00004
로 표시될 수 있다. 균일한 양자화 동작(212)에서 사용되는 양자화 레벨들 사이의 단계 크기는 Δstep로 표시될 수 있다.
캐스케이드 적응 코딩 전달 함수(208)의 유효 양자화 단계 크기(
Figure pct00005
)는 아래에 나타낸 바와 같이, 역 전달 함수(230)의 경사에 비례할 수 있다:
Figure pct00006
따라서, 유효 양자화 단계 크기(
Figure pct00007
)는 역 코딩 전달 함수(230)의 경사 및 균일한 양자화 동작(212)의 단계 크기(Δstep)에 의존할 수 있다. 예를 들어, 역 코딩 전달 함수(230)의 경사가 감소할 때, 유효 양자화 단계 크기(
Figure pct00008
)가 감소할 수 있다. 균일한 양자화 동작(212)의 단계 크기(Δstep)는 균일한 양자화에 의해 도입되는 왜곡 및/또는 잡음이 인간 시청자들에게 다른 방법으로 지각될 수 있을 만큼 충분히 클 때, 비교적 큰 단계 크기(Δstep)의 효과들은 전달 함수(208)를 비디오 데이터의 콘텐츠에 적응시킴으로써 변조될 수 있어, 역 코딩 전달 함수(230)의 경사는 더 작아진다. 그와 같이, 역 코딩 전달 함수(230)의 경사를 감소시키는 것은 전체 왜곡 및/또는 잡음이 인간 시청자에 의해 지각될 가능성이 더 적도록 비교적 큰 단계 크기(Δstep)의 효과들을 해소하고, 따라서 유효 양자화 단계 크기(
Figure pct00009
)를 변조할 수 있다.
유효 양자화 단계 크기(
Figure pct00010
)는 관련 메트릭, 즉 상대 양자화 단계 크기(∧step)에 포함될 수 있으며,
Figure pct00011
코딩 전달 함수(208), 및 따라서 대응하는 역 코딩 전달 함수(230)는 상대 양자화 단계 크기(
Figure pct00012
)가 설정된 임계 레벨 아래에 남도록 입력 비디오 데이터의 콘텐츠에 기초하여 적응될 수 있다. 예를 들어, 임계 레벨은 지각적으로 투명하거나 지각적으로 무손실인 왜곡 및 잡음과의 인코딩을 야기하는 역 코딩 전달 함수(230)를 위해 최적 경사를 제공하는 함수(
Figure pct00013
)에 의해 정의될 수 있다. 그와 같이, 코딩 전달 함수(208), 및 따라서 대응하는 역 코딩 전달 함수(230)는
Figure pct00014
이도록 적응될 수 있다.
유사하게, 지각적으로 작거나 "최소 식별(just noticeable)" 콘트라스트 조건이 허용가능한 것으로 간주되고
Figure pct00015
에 의해 정의되면, 이하의 미분 방정식이 적용될 수 있다:
Figure pct00016
그와 같이,
Figure pct00017
에 대해 상기 미분 방정식을 푸는 것은 원하는
Figure pct00018
를 위해 디코더의 역 코딩 전달 함수(230)를 제공할 수 있다. 유사하게, 상대 양자화 단계 크기(
Figure pct00019
)는 임의의 주어진 역 전달 함수(230)에 대해 산출될 수 있다.
제1 비제한 예로서, 코딩 전달 함수(208) 및 역 코딩 전달 함수(230)는 이하가 되도록, 웨버 법칙의 제1 변형에 기초할 수 있다:
Figure pct00020
이러한 및 아래의 다른 예들에서, IN은 서브픽처 레벨, 픽처 레벨, 또는 수프라-픽처 레벨 상에서, 입력 비디오 데이터의 부분의 정규화된 밝기일 수 있다. 정규화된 밝기는 이하와 같이 최대 밝기로 나누어지는 밝기 레벨일 수 있다.
Figure pct00021
이러한 및 아래의 다른 예들에서, C는 서브픽처 레벨, 픽처 레벨, 또는 수프라-픽처 레벨 상에서 입력 비디오 데이터의 부분 내의 최대 콘트라스트일 수 있다. 최대 콘트라스트는 이하와 같이 최소 밝기로 나누어지는 최대 밝기일 수 있다:
Figure pct00022
이러한 및 아래의 다른 예들에서,
Figure pct00023
은 이하와 같이, D로 표시되는, 균일한 양자화기 동작(212)의 동적 범위에 의해 정규화되는, 전달 함수(208)에 의해 발생되는 값일 수 있다:
Figure pct00024
따라서, 상기 정의들로부터, 웨버 법칙의 제1 변형에 대한 상대 양자화 단계 크기는 이하에 의해 주어질 수 있다:
Figure pct00025
제2 비제한 예로서, 코딩 전달 함수(208) 및 역 코딩 전달 함수(230)는 이하와 같이, 웨버 법칙의 제2 변형에 기초할 수 있다:
Figure pct00026
따라서, 이것으로부터, 웨버 법칙의 제2 변형에 대한 상대 양자화 단계 크기는 이하에 의해 주어질 수 있다:
Figure pct00027
웨버 법칙의 변형들에 기초한 상기 2개의 예들의 상대 양자화 단계 크기들은 도 12에 도시된 바와 같이, 로그-로그 스케일로 플로팅될 수 있다. 웨버 법칙의 제1 변형에 기초한 상대 양자화 단계 크기의 경사는 IN의 작은 값들에 대해 음의 경사를 갖는 로그-로그 스케일로 선형이고, 그 다음에 특정 지점보다 더 큰 IN의 값들에 대해 평면(0의 경사를 갖는 로그-로그 스케일로 선형)일 수 있다. 유사하게, 웨버 법칙의 제2 변형에 기초한 상대 양자화 단계 크기의 경사는 IN의 작은 값들에 대해 음이고, 그 다음에 IN의 더 큰 값들에 대해 평면 경사에 매끄럽게 접근하는 것으로 전이될 수 있다. 따라서, 2개의 변형들은 유사할 수 있으며, 제2 변형은 상이한 경사들을 갖는 IN 범위들 사이에서 더 매끄러운 전이를 갖는다.
제3 비제한 예로서, 코딩 전달 함수(208) 및 역 코딩 전달 함수(230)는 이하와 같이, 스티븐스 멱 법칙의 제1 변형에 기초할 수 있다:
Figure pct00028
따라서, 이것으로부터, 스티븐스 멱 법칙의 제1 변형에 대한 상대 양자화 단계 크기는 이하에 의해 주어질 수 있다:
Figure pct00029
제4 비제한 예로서, 코딩 전달 함수(208) 및 역 코딩 전달 함수(230)는 이하가 되도록, 스티븐스 멱 법칙의 제3 변형에 기초할 수 있다:
Figure pct00030
따라서, 이것으로부터, 스티븐스 멱 법칙의 제3 변형에 대한 상대 양자화 단계 크기는 이하에 의해 주어질 수 있다:
Figure pct00031
스티븐스 멱 법칙의 변형들에 기초한 2개의 예들의 상대 양자화 단계 크기들은 도 13에 도시된 바와 같이, 로그-로그 스케일로 플로팅될 수 있다. 이러한 예들 둘 다에서, 상대 양자화 단계 크기의 경사는 IN의 작은 값들에 대해 -1의 경사를 갖거나 이 경사에 접근하고, IN의 큰 값들에 대해 - γ의 경사를 갖거나 이 경사에 접근할 수 있으며, 2개의 예들은 상이한 경사들을 갖는 IN 범위들 사이의 전이의 매끄러움에 따라 변한다. 부가적으로, γ가 0으로 감에 따라, 스티븐스 멱 법칙의 제1 변형은 웨버 법칙의 제1 변형과 수렴할 수 있는 반면에, 스티븐스 멱 법칙의 제3 변형은 웨버 법칙의 제2 변형과 수렴할 수 있다.
상기 설명된 예시적 시스템들에서, 컬러 변환 동작들은 매트릭스 곱하기 및 오프셋 동작들을 포함할 수 있고, 전달 함수 동작들은 값들의 범위에 걸쳐 구간적 함수 동작들로 지정될 수 있고, 양자화는 컬러 성분들에 걸쳐 스칼라 또는 벡터일 수 있다. 예시적 톤 매핑들은 원하는 기술적 효과를 달성하기 위해 분할 이득 동작들 및 지각 수정들을 포함한다. 지각 정규화는 또한 톤 매핑 동작들을 포함할 수 있고 세기 및 텍스처 마스킹을 국부화된 기초로 이용할 수 있다.
도 3a 및 도 8a에 예시된 바와 같이, 컬러 공간 변환 블록(206) 직후에 인코더 시스템에서 색도 서브샘플링을 수행하는 것이 가능하며, 후속 동작들은 4:2:0 컬러 공간에서 발생한다. 도 3b 및 도 8b에서의 대응하는 디코더 동작들은 대응하는 제안된 디코더 시스템들을 나타낸다. 유사한 색도 서브샘플링 및 컬러 공간 변환 동작들은 다른 예시적 시스템들에 대해 이루어질 수 있다.
상기 설명된 예들은 3개의 특징을 구현한다:
첫 번째, 도 2a에 도시된 시스템을 참조하여, 전달 함수 블록(208) 및 임의적 지각 정규화 블록(210)은 HDR 및/또는 WCG 데이터와 다른 방법으로 호환가능하지 않은 비트 심도를 갖는, 메인 10 HEVC와 같은 인코더들 및 디코더들을 사용하여 HDR 및/또는 WCG 데이터를 송신하는 것을 돕는 이미지 데이터의 지각 변환을 구현한다. 블록(208)에 의해 구현되는 전달 함수는 적응 전달 함수 파라미터들을 갖는 지각 양자화 함수, 스티븐스 멱 법칙 또는 웨버 법칙 전달 함수를 포함할 수 있다. 전달 함수들은 IPT 또는 YCbCr 공간에서 조작되고 전달 함수들 다음에 오프셋 및 스케일링 조정들이 이어진다. 전달 함수(208)는 또한 세기 및 텍스처 마스킹을 국부화된 기초 또는 사전 정의된 규칙으로, 예컨대 위치 기반 LUT로서 이용함으로써, 국부적으로, 예를 들어 서브픽처 레벨에서 적용될 수 있다. 상기 예들에서 구현되는 전달 함수(208) 또는 다른 전달 함수들의 국부 파라미터 적응에 대한 서브픽처 파티션들은 예를 들어 SEI 또는 VUI를 사용하여 메타데이터를 송신함으로써 명시적으로 시그널링되거나, 디코더에서 이용가능한 샘플 값들 및 다른 정보로부터 암시적으로 계산될 수 있다.
두 번째, HDR 및/또는 WCG 데이터의 인코딩을 수용하기 위해 이루어지는 임의의 픽처 적응 변경들은 시간 예측 및 코딩 효율을 개선하기 위해 코딩 루프 내의 참조 픽처들에 포함될 수 있다.
세 번째, HDR 및/또는 WCG 비디오 데이터의 비압축된 SDR 버전이 인코더에서 이용가능하면, 전체 참조 톤 매핑 알고리즘은 비압축된 SDR 버전과 등급화된 SDR 버전 사이에서 왜곡을 최소화하기 위해 적용될 수 있다. 유도된 톤 매핑 파라미터들은 메타데이터로서 송신될 수 있어 디코더가 구 버전과 호환가능 SDR 출력 데이터를 합성하는 것을 허용한다. 비압축된 SDR 버전이 인코더에서 이용가능하지 않으면, 기술적 수정들은 분석으로부터의 메타데이터 정보가 구 버전과 호환가능 SDR 비디오 데이터의 합성을 위해 디코더에 사용될 수 있도록 톤 매핑으로 포함될 수 있다.
본 발명이 상기에 특별히 설명되었지만, 이것은 본 발명을 제조하고 사용하는 법을 본 기술분야의 통상의 기술자에게 단지 교시하는 것이었다. 많은 부가 수정들은 그러한 범위가 이하의 청구항들에 의해 정의되는 바와 같이, 본 발명의 범위 내에 있을 것이다.

Claims (20)

  1. 디지털 비디오를 인코딩하는 방법으로서,
    높은 동적 범위(high dynamic range)(HDR) 및 넓은 컬러 재현(wide color gamut)(WCG) 비디오 데이터 중 적어도 하나를 포함하는 디지털 비디오 데이터 세트를 수신하는 단계;
    상기 디지털 비디오 데이터 세트의 부분의 특성을 식별하는 단계;
    상기 식별된 특성에 따라 지각 전달 함수를 수정하는 단계;
    상기 디지털 비디오 데이터 세트의 지각적으로 수정된 부분을 발생시키기 위해 상기 수정된 지각 전달 함수를 상기 디지털 비디오 데이터 세트의 부분에 적용하는 단계;
    상기 디지털 비디오 데이터 세트의 지각적으로 정규화된 부분을 발생시키기 위해 이득 인자 또는 오프셋 중 적어도 하나를 포함하는 지각 정규화를 상기 지각적으로 수정된 디지털 비디오 데이터 세트에 적용하는 단계;
    비트 스트림을 발생시키기 위해 상기 비디오 데이터 세트의 지각적으로 정규화된 부분을 인코딩하는 단계;
    상기 지각 전달 함수의 수정을 표시하고, 상기 지각 정규화를 식별하고, 상기 비디오 데이터 세트의 부분을 식별하는 메타데이터 및 상기 비트 스트림을 디코더에 송신하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 송신하는 단계는 상기 메타데이터를 상기 비트 스트림 내의 보조 개선 정보(supplemental enhancement information)(SEI) 데이터로서 송신하는 단계를 포함하는 방법.
  3. 제1항에 있어서, 상기 데이터 세트는 이미지 프레임들의 시퀀스를 포함하고, 상기 디지털 비디오 데이터 세트의 부분의 특성을 식별하는 단계는 다수의 비디오 프레임들, 단일 비디오 프레임 및 단일 비디오 프레임의 부분으로 구성되는 그룹으로부터 선택되는 상기 데이터 세트의 부분의 특성을 식별하는 단계를 포함하는 방법.
  4. 제1항에 있어서, 상기 인코딩하는 단계는,
    하나 이상의 참조 프레임들에 기초하여 상기 비디오 데이터 세트의 지각적으로 정규화된 부분을 예측 인코딩하는 단계;
    상기 비디오 데이터 세트의 지각적으로 정규화된 부분을 재발생시키는 단계;
    적어도 하나의 HDR 및 WCG 비디오 데이터를 포함하는 상기 디지털 비디오 데이터 세트를 재발생시키기 위해 역 지각 정규화를 상기 비디오 데이터 세트의 지각적으로 정규화된 부분에 적용하는 단계; 및
    상기 디지털 비디오 데이터 세트의 지각적으로 수정된 부분을 추가 비디오 데이터 세트들을 예측 인코딩하는데 사용될 추가 참조 프레임의 일부로서 재발생시키기 위해 상기 수정된 지각 전달 함수를 상기 디지털 비디오 데이터 세트의 부분에 적용하는 단계
    를 포함하는 방법.
  5. 제1항에 있어서, 상기 수정된 지각 전달 함수에 의해 처리된 상기 디지털 비디오 데이터에, 상기 처리된 비디오 데이터를 인코딩하기 전에 톤 맵을 적용함으로써 상기 수정된 지각 전달 함수에 의해 처리된 상기 디지털 비디오 데이터를 수정하는 단계를 더 포함하는 방법.
  6. 제1항에 있어서,
    중간 컬러 변환된 비디오 데이터를 발생시키기 위해 상기 디지털 비디오 데이터 세트의 부분을 입력 컬러 공간으로부터 중간 컬러 공간으로 변환하는 단계 및 상기 입력 컬러 공간, 상기 중간 컬러 공간 및 상기 디지털 비디오 데이터 세트의 부분을 식별하는 메타데이터를 발생시키는 단계;
    압축된 비디오 데이터를 발생시키기 위해 압축 전달 함수를 상기 중간 컬러 변환된 비디오 데이터에 적용하는 단계 및 상기 압축 전달 함수를 특징으로 하고 상기 디지털 비디오 데이터 세트의 부분을 식별하는 메타데이터를 발생시키는 단계;
    최종 컬러 변환된 비디오 데이터를 발생시키기 위해 상기 압축된 비디오 데이터를 상기 중간 컬러 공간으로부터 최종 컬러 공간으로 변환하는 단계 및 상기 중간 컬러 공간, 상기 최종 컬러 공간 및 상기 디지털 비디오 데이터 세트의 부분을 식별하는 메타데이터를 발생시키는 단계; 및
    조합된 메타데이터를 발생시키기 위해, 상기 입력 컬러 공간 및 상기 중간 컬러 공간을 식별하는 상기 메타데이터, 상기 압축 전달 함수를 특징으로 하는 상기 메타데이터 및 상기 지각 전달 함수의 상기 수정을 표시하는 상기 메타데이터에 의해 상기 최종 컬러 공간을 식별하는 상기 메타데이터를 조합하는 단계
    를 더 포함하며;
    상기 지각 전달 함수가 적용되는 상기 디지털 비디오 데이터의 부분은 상기 최종 컬러 변환된 비디오 데이터를 포함하고;
    상기 송신하는 단계는 상기 비트 스트림 및 상기 조합된 메타데이터를 상기 디코더에 송신하는 방법.
  7. 제6항에 있어서, 상기 수정된 지각 전달 함수를 상기 제2 컬러 변환된 비디오 데이터에 적용하기 전에 상기 최종 컬러 변환된 비디오 데이터에 대해 색도 다운샘플링 동작을 수행하는 단계를 더 포함하는 방법.
  8. 제6항에 있어서, 상기 비디오 데이터 세트의 처리된 부분을 인코딩하기 전에 상기 비디오 데이터 세트의 처리된 부분에 대해 색도 다운샘플링을 수행하는 단계를 더 포함하는 방법.
  9. 제1항에 있어서,
    상기 비디오 데이터 세트를 표준 동적 범위(standard dynamic range)(SDR) 비디오 데이터와 일치하는 비디오 데이터로 변환(translate)하기 위해 톤 맵을 발생시키도록 상기 비디오 데이터 세트의 부분을 처리하는 단계;
    조합된 메타데이터를 발생시키기 위해 상기 톤 맵을 표현하는 데이터를 상기 메타데이터와 조합하는 단계
    를 더 포함하며;
    상기 송신하는 단계는 상기 비트 스트림 및 상기 조합된 메타데이터를 상기 디코더에 송신하는 방법.
  10. 높은 동적 범위(HDR) 및 넓은 컬러 재현(WCG) 비디오 데이터 중 적어도 하나를 포함하는 디지털 비디오 데이터 세트를 인코딩하기 위한 디지털 비디오 인코딩 시스템으로서,
    상기 디지털 비디오 데이터 세트의 부분의 특성을 식별하고;
    상기 식별된 특성에 따라 지각 전달 함수를 수정하고;
    상기 디지털 비디오 데이터 세트의 지각적으로 수정된 부분을 발생시키기 위해 상기 수정된 지각 전달 함수를 상기 디지털 비디오 데이터 세트의 부분에 적용하고;
    상기 디지털 비디오 데이터 세트의 지각적으로 정규화된 부분을 발생시키기 위해 이득 인자 또는 오프셋 중 적어도 하나를 포함하는 지각 정규화를 상기 디지털 비디오 데이터 세트의 지각적으로 수정된 부분에 적용하도록
    구성되는 지각 전달 함수 프로세스;
    비트 스트림을 발생시키기 위해 상기 비디오 데이터 세트의 처리된 부분을 인코딩하기 위한 인코더; 및
    상기 지각 전달 함수의 수정을 표시하고, 상기 지각 정규화를 식별하고, 상기 비디오 데이터 세트의 부분을 식별하는 메타데이터 및 상기 비트 스트림을 디코더에 송신하기 위한 송신기
    를 포함하는 디지털 비디오 인코딩 시스템.
  11. 제10항에 있어서, 상기 인코더는 메인 10 고효율 비디오 코더(High Efficiency Video Coder)(HEVC) 인코더이고, 상기 인코더 시스템은 상기 메타데이터를 상기 비트 스트림 내의 보조 개선 정보(SEI) 데이터로서 포맷하는 디지털 비디오 인코딩 시스템.
  12. 제10항에 있어서, 상기 지각 전달 함수 프로세서는 상기 디지털 비디오 데이터의 부분의 특성을 다수의 비디오 프레임들의 그룹, 단일 비디오 프레임 또는 단일 비디오 프레임의 부분 중 하나로서 식별하도록 구성되는 디지털 비디오 인코딩 시스템.
  13. 제10항에 있어서, 상기 인코더는,
    하나 이상의 참조 프레임들을 사용하여 상기 비디오 데이터 세트의 지각적으로 정규화된 부분을 예측 인코딩하고;
    상기 비디오 데이터 세트의 지각적으로 정규화된 부분을 재발생시키고;
    HDR 및 WCG 비디오 데이터 중 적어도 하나를 포함하는 상기 디지털 비디오 데이터 세트를 재발생시키기 위해 역 지각 정규화를 상기 비디오 데이터 세트의 지각적으로 정규화된 부분에 적용하고;
    추가 비디오 데이터 세트들을 예측 인코딩하는 상기 인코더에 의해 사용될 추가 참조 프레임의 일부로서 상기 디지털 비디오 데이터 세트의 지각적으로 수정된 부분을 재발생시키기 위해 상기 수정된 지각 전달 함수를 상기 디지털 비디오 데이터 세트의 부분에 적용하도록
    구성되는 디지털 비디오 인코딩 시스템.
  14. 제10항에 있어서,
    중간 컬러 변환된 비디오 데이터를 발생시키기 위해 상기 디지털 비디오 데이터 세트의 부분을 입력 컬러 공간으로부터 중간 컬러 공간으로 변환하고, 상기 입력 컬러 공간, 상기 중간 컬러 공간 및 상기 디지털 비디오 데이터 세트의 부분을 식별하는 메타데이터를 발생시키도록 구성되는 중간 컬러 변환 프로세스;
    압축된 비디오 데이터를 발생시키기 위해 압축 전달 함수를 상기 중간 컬러 변환된 비디오 데이터에 적용하고, 상기 압축 전달 함수를 특징으로 하고 상기 디지털 비디오 데이터 세트의 부분을 식별하는 메타데이터를 발생시키도록 구성되는 압축 전달 함수 프로세스; 및
    최종 컬러 변환된 비디오 데이터를 발생시키기 위해 상기 압축된 비디오 데이터를 상기 중간 컬러 공간으로부터 최종 컬러 공간으로 변환하고, 상기 중간 컬러 공간, 상기 최종 컬러 공간 및 상기 디지털 비디오 데이터 세트의 부분을 식별하는 메타데이터를 발생시키도록 구성되는 최종 컬러 변환 프로세스
    를 더 포함하며;
    상기 인코더는 조합된 메타데이터를 발생시키기 위해, 상기 입력 컬러 공간 및 상기 중간 컬러 공간을 식별하는 상기 메타데이터, 상기 압축 전달 함수를 특징으로 하는 상기 메타데이터 및 상기 지각 전달 함수의 수정을 표시하는 상기 메타데이터에 의해 상기 최종 컬러 공간을 식별하는 상기 메타데이터를 조합하도록 구성되고;
    상기 지각 전달 함수가 적용되는 상기 디지털 비디오 데이터의 부분은 상기 최종 컬러 변환된 비디오 데이터를 포함하고;
    상기 송신하는 것은 상기 비트 스트림 및 상기 조합된 메타데이터를 상기 디코더에 송신하는 디지털 비디오 인코딩 시스템.
  15. 높은 동적 범위(HDR) 및 넓은 컬러 재현(WCG) 비디오 데이터 중 적어도 하나를 포함하는 출력 디지털 비디오 데이터 세트를 재구성하기 위해, HDR 및 WCG 비디오 데이터를 포함하는 디지털 비디오 데이터 세트를 수용하지 않는 포맷으로 비트 스트림을 디코딩하기 위한 디지털 비디오 디코딩 시스템으로서,
    상기 비트 스트림으로부터 디지털 비디오 데이터 세트를 복구하기 위해 상기 비트 스트림을 디코딩하기 위한 디코더;
    상기 디지털 비디오 데이터 세트의 부분에 대응하는 비디오 데이터를 수신하고;
    상기 수신된 비디오 데이터에 적용될 전달 함수를 식별하는 메타데이터를 상기 비트 스트림으로부터 검색하고;
    상기 수신된 비디오 데이터에 적용될, 이득 인자 또는 오프셋 중 적어도 하나를 포함하는 역 지각 정규화 함수를 식별하는 메타데이터를 상기 비트 스트림으로부터 검색하고;
    상기 식별된 전달 함수에 기초하여 역 지각 전달 함수를 발생시키고;
    상기 디지털 비디오 데이터 세트의 역 변환된 부분을 발생시키기 위해 상기 발생된 역 지각 전달 함수 및 상기 역 지각 정규화 함수를 상기 디지털 비디오 데이터 세트의 부분에 적용하도록
    구성되는 역 지각 전달 함수 프로세스;
    HDR 및 WCG 비디오 데이터 중 적어도 하나를 포함하는 상기 출력 디지털 비디오 데이터 세트를 재구성하기 위해 상기 디지털 비디오 데이터 세트의 역 변환된 부분을 처리하도록 구성되는 출력 컬러 변환 프로세스
    를 포함하는 디지털 비디오 디코딩 시스템.
  16. 제15항에 있어서, 상기 비트 스트림은 메인 10 고효율 비디오 코더(HEVC) 비트 스트림이고, 상기 역 지각 전달 함수 프로세스는 상기 비트 스트림 내의 보조 개선 정보(SEI) 데이터로부터 상기 메타데이터를 추출하도록 구성되는 디지털 비디오 디코딩 시스템.
  17. 제15항에 있어서, 상기 역 지각 전달 함수 프로세스는 상기 디지털 비디오 데이터의 부분을 다수의 비디오 프레임들의 그룹, 단일 비디오 프레임 또는 단일 비디오 프레임의 부분 중 하나로서 수신하도록 구성되는 디지털 비디오 디코딩 시스템.
  18. 제15항에 있어서, 상기 디코더는,
    하나 이상의 참조 프레임들을 사용하여 상기 비트 스트림을 예측 디코딩하고;
    컬러 변환 프로세스를 상기 출력 디지털 비디오 데이터 세트에 적용하고 - 상기 컬러 변환 프로세스는 컬러 변환된 비디오 데이터 세트를 발생시키기 위해 상기 출력 컬러 변환 프로세스의 역임 -;
    상기 수신된 비디오 데이터에 적용될 상기 역 지각 전달 함수를 식별하는 상기 메타데이터로부터 지각 전달 함수 프로세스를 발생시키고;
    변환된 비디오 데이터 세트를 발생시키기 위해 상기 지각 전달 함수를 상기 컬러 변환된 비디오 데이터 세트에 적용하고;
    상기 역 지각 정규화 함수를 식별하는 상기 메타데이터를 사용하여 지각 정규화 함수를 발생시키고;
    지각적으로 정규화된 비디오 데이터 세트를 발생시키기 위해 상기 지각 정규화 함수를 상기 변환된 비디오 데이터 세트에 적용하고;
    상기 지각적으로 정규화된 비디오 데이터 세트로부터 상기 비트 스트림을 예측 디코딩하는데 사용하기 위해 추가 참조 프레임을 발생시키도록
    구성되는 디지털 비디오 디코딩 시스템.
  19. 제15항에 있어서,
    상기 비트 스트림으로부터 중간 컬러 변환 메타데이터를 추출하고 - 상기 중간 컬러 변환 메타데이터는 상기 비트 스트림으로부터 추출되는 상기 디지털 비디오 데이터 세트의 입력 컬러 공간 및 상기 디지털 비디오 데이터 세트가 변환되는 중간 컬러 공간을 식별함 -;
    중간 컬러 변환된 디지털 비디오 데이터를 생성하기 위해 상기 디지털 비디오 데이터 세트의 역 변환된 부분을 상기 입력 컬러 공간으로부터 상기 중간 컬러 공간으로 변환하도록
    구성되는 중간 컬러 변환 프로세스;
    상기 출력 컬러 변환 프로세스에 적용될 상기 디지털 비디오 데이터 세트를 발생시키기 위해 상기 비트 스트림으로부터 압축 메타데이터를 추출하고 역 압축 전달 함수를 상기 중간 컬러 변환된 비디오 데이터에 적용하도록 구성되는 역 압축 전달 함수 프로세스
    를 더 포함하는 디지털 비디오 디코딩 시스템.
  20. 컴퓨터 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 컴퓨터로 하여금,
    높은 동적 범위(HDR) 및 넓은 컬러 재현(WCG) 비디오 데이터 중 적어도 하나를 포함하는 디지털 비디오 데이터 세트를 수신하게 하고;
    상기 디지털 비디오 데이터 세트의 부분의 특성을 식별하게 하고;
    상기 식별된 특성에 따라 지각 전달 함수를 수정하게 하고;
    상기 수정된 지각 전달 함수를 상기 디지털 비디오 데이터 세트의 부분에 적용하게 하고;
    비트 스트림을 발생시키기 위해 상기 비디오 데이터 세트의 처리된 부분을 인코딩하게 하고;
    상기 지각 전달 함수의 수정을 표시하고 상기 비디오 데이터 세트의 부분을 식별하는 메타데이터 및 상기 비트 스트림을 디코더에 송신하게 하는
    비일시적 컴퓨터 판독가능 매체.
KR1020187001892A 2015-07-22 2016-07-22 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템 KR102254535B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562195342P 2015-07-22 2015-07-22
US62/195,342 2015-07-22
PCT/US2016/043571 WO2017015564A1 (en) 2015-07-22 2016-07-22 System for coding high dynamic range and wide color gamut sequences
US15/217,046 2016-07-22
US15/217,046 US10116938B2 (en) 2015-07-22 2016-07-22 System for coding high dynamic range and wide color gamut sequences

Publications (2)

Publication Number Publication Date
KR20180030841A true KR20180030841A (ko) 2018-03-26
KR102254535B1 KR102254535B1 (ko) 2021-05-20

Family

ID=56616047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187001892A KR102254535B1 (ko) 2015-07-22 2016-07-22 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템

Country Status (4)

Country Link
US (4) US10116938B2 (ko)
JP (3) JP2018525905A (ko)
KR (1) KR102254535B1 (ko)
WO (1) WO2017015564A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262823A1 (ko) * 2019-06-28 2020-12-30 삼성전자 주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284863B2 (en) 2015-06-08 2019-05-07 Qualcomm Incorporated Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
US10116938B2 (en) 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
KR102377807B1 (ko) 2015-08-28 2022-03-22 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
EP3142002A1 (en) * 2015-09-09 2017-03-15 Red.Com, Inc. Motion video output for multiple displays
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
JP6608067B2 (ja) 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 映像復号化器における高ダイナミックレンジ適応演算
EP3169071B1 (en) * 2015-11-16 2020-01-29 InterDigital VC Holdings, Inc. Backward-compatible encoding of a hdr picture
EP3409015B1 (en) * 2016-01-28 2019-09-25 Koninklijke Philips N.V. Encoding and decoding hdr videos
CN107027027B (zh) * 2016-01-31 2021-02-12 西安电子科技大学 图像的编码、解码方法及装置、以及图像的编解码系统
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US9916638B2 (en) * 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
WO2018070822A1 (ko) * 2016-10-14 2018-04-19 엘지전자 주식회사 적응적 영상 재생을 위한 데이터 처리 방법 및 장치
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6822121B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10104334B2 (en) * 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
CN107181963B (zh) * 2017-03-31 2019-10-22 武汉斗鱼网络科技有限公司 一种视频压缩方法及装置
US10402952B2 (en) 2017-06-02 2019-09-03 Apple Inc. Perceptual tone mapping of SDR images for an HDR display
CA3068342A1 (en) * 2017-06-28 2019-01-03 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
CN110999300B (zh) * 2017-07-24 2023-03-28 杜比实验室特许公司 用于图像/视频处理的单通道逆映射
WO2019067762A1 (en) * 2017-09-28 2019-04-04 Dolby Laboratories Licensing Corporation FRAME FREQUENCY CONVERSION METADATA
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
KR102523672B1 (ko) * 2017-11-14 2023-04-20 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
US10880531B2 (en) 2018-01-31 2020-12-29 Nvidia Corporation Transfer of video signals using variable segmented lookup tables
EP3525463A1 (en) * 2018-02-13 2019-08-14 Koninklijke Philips N.V. System for handling multiple hdr video formats
WO2019167555A1 (ja) 2018-03-02 2019-09-06 ソニー株式会社 映像信号処理装置、映像信号処理方法および撮像装置
US11151748B2 (en) * 2018-07-13 2021-10-19 Electronics And Telecommunications Research Institute 3D point cloud data encoding/decoding method and apparatus
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
JP7443325B2 (ja) * 2018-07-17 2024-03-05 ドルビー ラボラトリーズ ライセンシング コーポレイション フォービエイションおよびｈｄｒ
US10802795B2 (en) * 2018-08-21 2020-10-13 Semiconductor Components Industries, Llc Systems and methods for image data compression
US11403987B2 (en) 2018-10-25 2022-08-02 Baylor University System and method for a multi-primary wide gamut color system
US11532261B1 (en) 2018-10-25 2022-12-20 Baylor University System and method for a multi-primary wide gamut color system
US11587491B1 (en) 2018-10-25 2023-02-21 Baylor University System and method for a multi-primary wide gamut color system
US11488510B2 (en) 2018-10-25 2022-11-01 Baylor University System and method for a multi-primary wide gamut color system
US11037481B1 (en) 2018-10-25 2021-06-15 Baylor University System and method for a multi-primary wide gamut color system
US11043157B2 (en) 2018-10-25 2021-06-22 Baylor University System and method for a six-primary wide gamut color system
US10997896B2 (en) 2018-10-25 2021-05-04 Baylor University System and method for a six-primary wide gamut color system
US11410593B2 (en) 2018-10-25 2022-08-09 Baylor University System and method for a multi-primary wide gamut color system
US11475819B2 (en) 2018-10-25 2022-10-18 Baylor University System and method for a multi-primary wide gamut color system
US11373575B2 (en) 2018-10-25 2022-06-28 Baylor University System and method for a multi-primary wide gamut color system
US11030934B2 (en) 2018-10-25 2021-06-08 Baylor University System and method for a multi-primary wide gamut color system
US10950162B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US11069279B2 (en) * 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US11289000B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11189210B2 (en) 2018-10-25 2021-11-30 Baylor University System and method for a multi-primary wide gamut color system
US11341890B2 (en) 2018-10-25 2022-05-24 Baylor University System and method for a multi-primary wide gamut color system
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR20200101048A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
CN110740324B (zh) * 2019-09-11 2023-03-31 浙江大华技术股份有限公司 编码控制方法及相关装置
US11356623B2 (en) 2020-06-01 2022-06-07 City University Of Hong Kong System and method for processing an image
EP4229869A1 (en) * 2020-10-14 2023-08-23 Dolby Laboratories Licensing Corporation Color transformation for hdr video with a coding-efficiency constraint
WO2022260902A1 (en) 2021-06-08 2022-12-15 Dolby Laboratories Licensing Corporation Chained reshaping function optimization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016140954A1 (en) * 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
KR20170110090A (ko) * 2015-01-30 2017-10-10 톰슨 라이센싱 높은 동적 범위(hdr) 비디오들을 인코딩하고 디코딩하는 방법 및 장치

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2752000B1 (en) * 2011-08-31 2021-03-17 Dolby Laboratories Licensing Corporation Multiview and bitdepth scalable video delivery
RU2652465C2 (ru) * 2012-07-13 2018-04-26 Конинклейке Филипс Н.В. Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений
RU2670782C9 (ru) * 2013-07-18 2018-11-23 Конинклейке Филипс Н.В. Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений
JP6236148B2 (ja) * 2013-10-02 2017-11-22 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｍｉを介したディスプレイマネジメントメタデータの送信
WO2015130797A1 (en) * 2014-02-25 2015-09-03 Apple Inc. Adaptive transfer function for video encoding and decoding
CN110708545B (zh) * 2014-02-26 2022-04-01 交互数字Vc控股公司 用于对hdr图像进行编码和解码的方法和装置
CA2943216A1 (en) 2014-03-19 2015-09-24 Arris Enterprises Llc Scalable coding of video sequences using tone mapping and different color gamuts
US10298854B2 (en) * 2014-05-30 2019-05-21 Apple Inc. High dynamic range video capture control for video transmission
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
EP3178231A1 (en) * 2014-08-08 2017-06-14 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
JP6617142B2 (ja) * 2014-10-07 2019-12-11 トレリス・ユーロプ・ソチエタ・ア・レスポンサビリタ・リミタータＴＲＥＬＬＩＳ ＥＵＲＯＰＥ ＳｒＬ 改善されたビデオおよび画像符号化プロセス
JP6356349B2 (ja) * 2014-10-10 2018-07-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ダイナミックレンジマッピングのための彩度処理仕様
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
US10735755B2 (en) 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US11677967B2 (en) * 2015-04-21 2023-06-13 Arris Enterprises Llc Scalable video coding system with parameter signaling
US10397585B2 (en) * 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
US10321162B2 (en) * 2015-06-08 2019-06-11 Qualcomm Incorporated Derivation of color gamut scalability parameters and tables in scalable video coding
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
KR102509504B1 (ko) * 2015-08-24 2023-03-13 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 코딩 및 디코딩 방법과 대응하는 디바이스
KR102377807B1 (ko) * 2015-08-28 2022-03-22 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
US10674150B2 (en) * 2015-09-23 2020-06-02 Arris Enterprises Llc System and method for reshaping and adaptation of high dynamic range video data
JP6608067B2 (ja) * 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 映像復号化器における高ダイナミックレンジ適応演算
KR20230160412A (ko) * 2015-09-23 2023-11-23 애리스 인터내셔널 아이피 리미티드 전송 스트림들 내의 하이 다이내믹 레인지 및 와이드 컬러 가무트 콘텐츠의 시그널링

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170110090A (ko) * 2015-01-30 2017-10-10 톰슨 라이센싱 높은 동적 범위(hdr) 비디오들을 인코딩하고 디코딩하는 방법 및 장치
WO2016140954A1 (en) * 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. Baylon, et al. Response to Call for Evidence for HDR and WCG Video Coding: Arris, Dolby and InterDigital. ISO/IEC JTC1/SC29/WG11 MPEG2015, m36264 Ver.2, Jun. 23, 2015, pp.1-9 *
R. Goris, et al. Philips response to CfE for HDR and WCG. ISO/IEC JTC1/SC29/WG11 MPEG2015, m36266 Ver.4, Jun. 23, 2015, pp.1-16 *
S. Lasserre, et al. Technicolor's response to CfE for HDR and WCG (category 1) - Single layer HDR video coding with SDR backward compatibility. ISO/IEC JTC1/SC29/WG11, m36263, Jun. 21, 2015, pp.1-21 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262823A1 (ko) * 2019-06-28 2020-12-30 삼성전자 주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
US11825235B2 (en) 2019-06-28 2023-11-21 Samsung Electronics Co., Ltd. Electronic device for processing image and image processing method thereof

Also Published As

Publication number Publication date
US20190028706A1 (en) 2019-01-24
JP2018525905A (ja) 2018-09-06
WO2017015564A1 (en) 2017-01-26
US20220368908A1 (en) 2022-11-17
US10116938B2 (en) 2018-10-30
US20170026646A1 (en) 2017-01-26
KR102254535B1 (ko) 2021-05-20
US11375193B2 (en) 2022-06-28
JP7114653B2 (ja) 2022-08-08
JP2020171022A (ja) 2020-10-15
US10771784B2 (en) 2020-09-08
JP2022140582A (ja) 2022-09-26
US20210006793A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
US11375193B2 (en) System for coding high dynamic range and wide color gamut sequences
US11070809B2 (en) System and method for reshaping and adaptation of high dynamic range video data
US20220021893A1 (en) High dynamic range adaptation operations at a video decoder
EP3308541B1 (en) System for coding high dynamic range and wide color gamut sequences

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant