KR20160132993A - 톤 맵핑 및 상이한 컬러 전역을 이용하는 비디오 시퀀스의 확장 가능 코딩 - Google Patents

톤 맵핑 및 상이한 컬러 전역을 이용하는 비디오 시퀀스의 확장 가능 코딩 Download PDF

Info

Publication number
KR20160132993A
KR20160132993A KR1020167028714A KR20167028714A KR20160132993A KR 20160132993 A KR20160132993 A KR 20160132993A KR 1020167028714 A KR1020167028714 A KR 1020167028714A KR 20167028714 A KR20167028714 A KR 20167028714A KR 20160132993 A KR20160132993 A KR 20160132993A
Authority
KR
South Korea
Prior art keywords
color
mapping
global
extension
tone mapping
Prior art date
Application number
KR1020167028714A
Other languages
English (en)
Other versions
KR102024982B1 (ko
Inventor
쿠야르 미누
아제 케이. 루스라
데이비드 엠. 바이론
Original Assignee
애리스 인터프라이지즈, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애리스 인터프라이지즈, 인크. filed Critical 애리스 인터프라이지즈, 인크.
Publication of KR20160132993A publication Critical patent/KR20160132993A/ko
Application granted granted Critical
Publication of KR102024982B1 publication Critical patent/KR102024982B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

공간 해상도와 함께 컬러 전역 원색들을 고려하는 확장 가능 비디오 코딩을 위한 확장 가능 비디오 코딩(SVC) 프로세스가 제공된다. 프로세스는 계층들 간의 컬러 변환을 고려하여 향상 계층(EL) 또는 더 높은 계층들에서의 개선된 인코딩 및 디코딩을 가능하게 하기 위해 다층 시스템에서 기본 계층(BL)의 인코더 또는 디코더 프로세스로부터 획득된 비디오 컬러 데이터를 이용하여 리샘플링하는 것을 제공한다. 적용 가능한 SVC의 예는 MPEG-4 AVC(Advanced Video Coding) 및 HEVC(High Efficiency Video Coding)를 포함한다. SVC 프로세스를 이용하여, 하나의 컬러 전역 공간에서 표현된 비디오 데이터가 아마도 다른 컬러 공간과 관련된 인코딩에서의 예측을 위해 사용될 수 있으며, 상이한 공간 해상도 및 비트 심도에 대한 수용도 이루어질 수 있다.

Description

톤 맵핑 및 상이한 컬러 전역을 이용하는 비디오 시퀀스의 확장 가능 코딩{SCALABLE CODING OF VIDEO SEQUENCES USING TONE MAPPING AND DIFFERENT COLOR GAMUTS}
관련 출원의 상호 참조
본원은 2014년 3월 19일자로 선행 출원된 미국 가출원 제61/955,773호로부터 35 U.S.C.§119(e)에 따라 우선권을 주장하며, 이 가출원은 그 전체가 본 명세서에 참고로 포함된다.
기술 분야
본 발명은 해상도에서 차이를 갖고서 동일 소스로부터 도출된 비디오 시퀀스들의 인코딩 및 디코딩을 위한 2층 확장 가능 비디오 코딩(SVC)을 이용하는 프로세스에 관한 것이다. 구체적으로, 본 발명은 확장 가능 코딩 동안 인코더 또는 디코더 프로세스로부터 획득된 비디오 데이터의 배열, 예측 및 재구성에 관한 것이다. 확장 가능 인코더 또는 디코더 프로세스의 예는 MPEG-4 AVC(Advanced Video Coding) 및 HEVC(High Efficiency Video Coding)를 포함하며, 이는 확장 가능 HEVC(SHVC)로서 지칭될 수 있다.
컬러 톤 맵핑이 적용되는 2개의 계층을 이용하여 확장 가능 비디오 코딩 시스템의 일례가 도 1에 도시된다. 도 1의 시스템에서, 2개의 계층 중 하나는 기본 계층(BL)이며, 여기서는 BL 비디오가 100으로 지칭되는 인코더 E0에서 인코딩되고, 102로 지칭되는 디코더 D0에서 디코딩되어 기본 계층 비디오 출력(BL 출력)을 생성한다. BL 비디오는 통상적으로 최대 해상도(FR) 계층으로부터 입력(y)을 수신하는 향상 계층(EL)보다 낮은 품질을 갖는다. EL은 FR 비디오를 인코딩하기 위한 104로 지칭되는 인코더 E1는 물론, 106으로 지칭되는 디코더 D1을 포함한다. 최대 해상도 비디오의 인코더 E1(104)에서의 인코딩에서는, BL 인코더(100)로부터의 크로스 계층(CL) 정보를 이용하여 향상 계층(EL) 정보를 생성한다. 이어서, 최대 해상도 계층의 대응하는 EL 비트스트림이 BL의 디코더 D0(102)으로부터의 CL 정보를 이용하여 디코더 D1(106)에서 인코딩되어 최대 해상도 비디오(FR 출력)를 출력한다. 확장 가능 비디오 코딩 시스템에서 CL 정보를 이용함으로써, 인코딩된 정보는 FR이 CL 정보 없이 독립적으로 인코딩된 경우보다 EL에서 더 효율적으로 송신될 수 있다. 도 1에 도시된 2개의 계층을 이용할 수 있는 SVC 코딩의 일례는 AVC 및 HEVC를 이용하는 비디오 코딩을 포함한다.
공간 확장성에서, BL은 통상적으로 최대 해상도(FR)보다 낮은 공간 해상도를 가지며, 도 1에 도시된 바와 같이, FR로부터 BL로의 다운샘플링 변환 프로세스가 적용된다. 도 1은 아래 방향 화살표(r)가 FR로부터 BL로의 해상도 감소를 나타내어 BL이 FR 계층 데이터의 다운샘플링에 의해 생성될 수 있다는 것을 나타내는 블록 108을 도시한다. 일반적으로, 블록 108의 아래 방향 화살표는 확장성에 대해 기본 계층(BL)은 통상적으로 최대 해상도(FR) 계층보다 낮은 공간 해상도를 갖는다는 것을 나타낸다. 설명되는 다층 방법들은 2개보다 많은 계층이 존재할 때 적용된다는 점에 유의할 필요가 있다.
BL로부터의 CL 정보는 나중에 업샘플링 후에 사용되어 EL에서의 FR 비디오의 코딩을 향상시킬 수 있다. 도 2의 업샘플러와 관련된 도 1의 시스템에서, CL 정보는 BL의 인코딩 및 디코딩 프로세스로부터 도출된 픽셀 정보를 포함한다. BL 픽처들은 FR 픽처들과 다른 공간 해상도를 가지므로, BL 픽처는 FR 픽처에 대한 적절한 예측을 생성하기 위해 FR 픽처 해상도로 다시 업샘플링(리샘플링)되어야 한다.
발명의 요약
본 발명의 실시예들은 계층들 간의 컬러 전역 변환은 물론, 일부 실시예들에서는 공간 해상도 변환도 처리하는 SVC를 위한 시스템들을 제공한다. 프로세스는 계층들 간의 컬러 변환을 고려하여 향상 계층(EL) 또는 더 높은 계층들에서 개선된 인코딩 및 디코딩을 가능하게 하기 위해 다층 시스템에서 기본 계층(BL)의 인코더 또는 디코더 프로세스로부터 획득된 비디오 컬러 데이터를 이용하여 리샘플링하는 것을 제공한다. 예로서, 재구성 데이터와 관련하여, 하나의 컬러 전역 공간에서 더 낮은 해상도로 표현된 비디오 데이터는 다른 컬러 전역 공간에서 더 높은 해상도의 비디오를 예측하는 데 사용될 수 있다.
하나의 추가 실시예에서, 비디오 프레임의 상이한 영역들에 상이한 컬러 맵핑이 적용된다. 상이한 프레임 영역들에 대한 맵핑은 다음의 절차들: (a) 적응성 쿼드-트리 구조를 갖는 선형 또는 비선형 3DLUT 컬러 맵핑 파라미터들을 시그널링하는 절차; (b) 컬러 톤들을 교정하기 위한 동일한 공간 자유를 생성하기 위해 슬라이스 또는 타일 헤더들 내에서 맵핑 파라미터들을 시그널링하는 절차; (c) 이전의 프레임들로부터 같은 곳에 배치된 파티셔닝 및 컬러 맵핑 파라미터들을 재사용하도록 시그널링하는 절차; 및 (d) 공간 확장성이 또한 적용되는 경우에 적응성 쿼드-트리 파티셔닝을 이용하여 필터 파라미터들을 적응적으로 시그널링하는 절차 중 적어도 하나에 의해 행해질 수 있다.
추가 실시예에서, 기본으로부터 타겟 컬러 전역으로의 컬러 톤 맵핑 및 공간 확장 양자는 하나가 먼저 적용된 후에 나머지가 적용되는 순서로 개별적으로 적용된다. 일 실시예에서, 컬러 전역 확장이 인코더 측에서 톤 맵핑 기능을 위해 적용될 때, 톤 맵핑 기능은 공간 확장 후에 발생한다. 이어서, 공간 확장이 먼저 적용된 후에 톤 맵핑이 적용되는 역순이 디코더 측에서 발생한다.
추가 실시예에서, 톤 맵핑은 하나의 컬러 전역 공간에서의 3개의 컬러 값의 벡터로부터 다른 전역 공간에서의 3개의 컬러 값의 대응하는 벡터로 맵핑하는 기능으로서 적용된다. 맵핑은 동일한 컬러 공간에서의 값들로 맵핑할 수도 있다. 이어서, 인코더에서의 맵핑은 기본 계층(BL)이 존재하는 그리드와 다른 3 컬러 성분 그리드 상에서 적용된다. 이 실시예에서는, 수직 및 수평 차원들에서의 루마 및 크로마 샘플들의 상대 위치가 디코더로 시그널링되어, 디코더가 샘플 위치들을 조정하여 순방향으로의 톤 맵핑에 사용된 것을 반전시키는 것을 가능하게 한다.
첨부 도면을 이용하여 본 발명의 추가 상세들이 설명된다. 도면에서:
도 1은 2개의 계층을 갖는 확장 가능 비디오 코딩 시스템 내의 컴포넌트들의 블록도이다.
도 2는 도 1에서 기본 계층 데이터를 최대 해상도 계층 데이터로 변환하는 데 사용될 수 있는 업샘플링 프로세스를 나타낸다.
도 3은 컬러 맵핑도 가능하게 하는 도 1의 다운샘플러를 나타낸다.
도 4는 컬러 맵핑도 가능하게 하는 도 2의 업샘플러를 나타낸다.
도 5는 본 발명의 실시예에 따른 도 4의 업샘플링 프로세스를 구현하기 위한 컴포넌트들의 블록도를 나타낸다.
도 6은 업샘플링 동안 공간 해상도 변환이 먼저 수행된 후에 컬러 전역 공간으로의 컬러 맵핑 변경이 적용되는 본 발명의 일 실시예의 프로세스를 나타낸다.
도 7은 컬러 맵핑이 먼저 행해진 후에 공간 업샘플링이 발생하는 도 6에 대한 대안을 나타낸다.
컬러 톤 맵핑 개요
캡처된 픽처 또는 비디오를 상이한 디스플레이들 상에 적절히 표시하기 위해, 본 발명의 실시예들에서는 컬러 맵핑을 적용하여, 비디오 디스플레이 콘텐츠를 하나의 컬러 공간으로부터 다른 컬러 공간으로 또는 동일한 컬러 공간 내에서 맵핑한다. 이러한 프로세스를 위해, 그의 가장 일반적인 형태에서, 픽셀에 대한 하나의 계층에서의 주요 컬러 값들의 세트로부터의 컬러 톤들이 픽처 내에서 타겟 컬러 전역으로 지칭되는 다른 계층에 대한 컬러 값들의 상이한 세트로 맵핑된다. 맵핑은 제2 계층에 대한 컬러 값들이 타겟 컬러 전역에 적합한 디스플레이들 상의 콘텐츠의 표현에 적합하도록 적용된다. 아래의 섹션들은 그러한 컬러 톤 맵핑을 제공하는 확장 가능 비디오 코딩(SVC) 프로세스의 특징들을 설명한다.
I. 컬러 전역 및 비트 심도를 처리하는 확장성 프로세스
본 발명의 일부 실시예들에서, 동일 캡처 콘텐츠는 상이한 컬러 전역 사양 및 아마도 상이한 비트별 샘플 및 아마도 상이한 해상도를 갖는 상이한 디스플레이들 상에 표시되어야 한다. 컬러 맵핑의 프로세스는 하나의 컬러 전역 공간으로부터 트리플릿 샘플을 취하여, 다른 컬러 전역 공간의 동일 공간 위치 내의 대응하는 샘플에 맵핑한다. 이러한 프로세스는 비선형적이며, 콘텐츠 또는 영역에 의존할 수 있다. FR로부터 BL 계층으로의 컬러 및 공간 변환을 고려하는 다운샘플링에 대한 프로세스가 도 3에 도시되며, 이는 도 1의 블록 108에 적용될 수 있다.
BL로부터 EL까지의 상이한 컬러 전역 공간들 및 해상도들을 포함하는 업샘플링의 프로세스가 도 4에 도시되며, 이는 도 2의 블록 200에서 사용될 수 있다. 도 4의 프로세스는 인코더 및 디코더 측 양쪽에 적용될 수 있다. 도 4에 도시된 업샘플링을 위해, 해상도 x의 데이터가 BL에서의 인코딩 및 디코딩 프로세스로부터 도출된다. 임의의 공지된 순서에서의 컬러 맵핑 및 업샘플링의 조합에 의해 BL 픽처를 처리하여, 원래의 EL 입력 y의 예측에 대한 근거로서 사용될 수 있는 도 4에 도시된 바와 같은 y' 출력을 생성한다.
도 5는 본 발명의 실시예들에서 도 4의 업샘플링 프로세스를 구현하기 위한 더 상세한 블록도를 나타낸다. 업샘플링 또는 리샘플링 프로세스는 업샘플링된 데이터 y'와 최대 해상도 데이터 y 간의 에러(E)(제곱 평균 에러)를 최소화하도록 결정될 수 있다. 도 5의 시스템은 입력 비디오 신호를 샘플링하는 입력 샘플 선택 모듈(500)을 포함한다. 시스템은 후속하는 샘플 필터 및/또는 리맵 모듈(504)로부터 필터 또는 맵을 선택하여 모듈(500)로부터의 선택된 입력 샘플들을 업샘플링하기 위한 필터 및/또는 컬러 맵핑 선택 모듈(502)을 더 포함한다.
모듈(500)에서, 비디오 신호 x 내의 입력 샘플들의 세트가 먼저 선택된다. 일반적으로, 샘플들은 x 내의 샘플들의 이차원 서브세트일 수 있으며, 이차원 필터 또는 이차원 맵핑 구조가 입력 샘플들의 세트에 따라 샘플들에 적용될 수 있다. 모듈(502)은 모듈(500)로부터 x 내의 데이터 샘플들을 수신하고, 모듈(504) 내에서 적절한 필터 또는 맵 기능을 식별하여 샘플들로 지향시킨다.
개별 필터들이 사용되는 경우, 필터 h[n; m]을 선택된 샘플들에 행들 및 열들을 따라 적용하여 y' 또는 이 예에서는 열들 각각에 대한 y'[m]의 출력 값을 생성한다. 통상적으로, 이것은 M개의 필터의 세트(h)를 이용하여 구현될 수 있으며, 출력 인덱스 m에서의 출력 값 y'[m]에 대해, 필터 h[n; m mod M]이 선택되고, 행들의 대응하는 입력 샘플들 x에 적용된다. 필터들 h[n; p](여기서, p = m mod M)는 일반적으로 M개의 상이한 위상 오프셋, 예로서 p/M(여기서, p = 0, 1, ..., M-1)의 위상 오프셋들을 갖는 필터들에 대응한다. 선택된 입력 샘플들에 대해 선택된 필터 h[n; m]을 이용하는 필터링 프로세스의 전체 출력은 출력 값 y'를 생성한다.
필터링에 더하여, 컬러 맵핑 계산을 적용하여 상이한 또는 동일한 컬러 공간으로 변환할 수 있다. 이러한 맵핑 동작은 에러 비용을 최소화하도록 수행될 수 있다. 도 5는 업샘플링 및 컬러 처리 동작들 양자가 컬러 변환을 위한 필터링 또는 맵핑을 이용하여 동일 예측 프로세스에서 수행될 수 있다는 것을 나타낸다.
도 3, 4 또는 5의 모듈들은 설명된 기능들이 달성되는 것을 가능하게 하는 하나 이상의 프로세서 및 메모리 장치를 포함할 수 있다. 메모리는 프로세서에 의해 실행될 때 모듈로 하여금 설명된 바와 같이 기능하여 비디오 신호들을 처리하게 하는 코드를 저장하도록 구성된다. 메모리는 설명된 기능들이 달성되는 것을 가능하게 하기 위한 데이터도 저장할 수 있다. 도 3-5의 모듈들에 더하여, 도 1의 다른 컴포넌트들은 그러한 프로세서 및 메모리 컴포넌트들을 포함할 수 있다.
II. 컬러 맵핑 향상
아래의 섹션들은 컬러 및 공간 변환을 더 양호하게 처리하는 SVC에 대한 본 발명의 실시예들에서 적용될 수 있는 추가 특징들을 설명한다.
A. 공간 확장 및 컬러 맵핑의 순서의 시그널링
공간 확장 및 컬러 전역 확장 양자가 요구되는 경우, 인코더에서 그러한 프로세스들이 행해지는 순서는 변경될 수 있다. 다운샘플링 및 톤 맵핑은 통상적으로 매우 비선형적이고 비가역적인 동작들이므로, 일부 실시예들에서는 디코더가 상이한 컬러 전역 및 공간 확장에서 더 높은 해상도를 위한 예측을 재구성해야 하는 순서를 시그널링하는 것이 제안된다.
조합된 공간 및 컬러 전역 확장성의 일례는 BL에 대한 1080p BT.709로부터 EL에 대한 4K BT.2020까지이다. 이 경우, 인코더는 먼저 4K BT.2020으로부터 4K BT.709로 가는 선택권을 가질 수 있고, 이어서 4K BT.709를 1080p BT.709로 다운샘플링할 수 있다. 다른 예에서, 다운샘플링은 먼저 1080p BT.2020를 생성하도록 발생하고, 이어서 컬러 맵핑은 1080p BT2020으로부터 1080p BT.709를 생성하도록 발생한다.
추가 실시예에서, 비트스트림 내의 플래그는 BL 재구성 샘플들이 EL 예측 샘플들을 생성하도록 처리되는 순서를 표준 방식으로 지시할 것이다. 예로서, 도 6에 도시된 하나의 예에서, 업샘플링(600)이 먼저 발생할 것이고, 이어서 컬러 맵핑(602)이 발생하여 컬러 전역 공간으로 변경한다. 도 7에 도시된 다른 예에서, 컬러 맵핑(602)이 먼저 수행될 것이고, 이어서 공간 업샘플링(600)이 발생한다. 이러한 2개의 프로세스의 순서에 대한 결정은 에러(예로서, 왜곡) 또는 비용(예로서, 레이트와 왜곡의 조합)의 소정 크기를 최소화하기 위해 인코더에 의해 지시되어야 한다.
비디오 시퀀스가 비디오가 캡처되는 해상도 및 컬러 전역과 다른 해상도에서 원하는 컬러 전역을 갖도록 처리되어야 하는 경우, 공간 확장이 발생한 후에 인코더 측에서 톤 맵핑 기능들을 적용하는 것이 제안된다. 이러한 제안되는 순서의 한 가지 장점은 BL 비디오에 대한 의도된 컬러들과의 더 적은 간섭을 유발한다는 것이다. 제안되는 순서는 확장 가능 압축의 더 높은 코딩 효율을 유도할 것으로도 예상되는데, 이는 (디코더에서의) 톤 역맵핑이 업샘플링 전에 수행될 경우에 더 정확하고, 따라서 공간 확장에 의해 유발되는 왜곡을 방지할 것이기 때문이다.
B. 프레임의 영역들 내에 콘텐츠에 기초하는 컬러 맵핑 파라미터들의 시그널링
컬러 맵핑은 통상적으로 장면의 예술적 의도를 유지하도록 행해지므로, 프레임의 상이한 영역에 상이한 맵핑들이 적용될 수 있을 것으로 예상된다. 따라서, 인코더가 주어진 BL 픽처 내의 상이한 장소에 대한 상이한 컬러 맵핑 파라미터들을 시그널링하는 것을 가능하게 하는 것이 제안된다.
일례에서, 이것은 적응성 쿼드-트리 구조를 갖는 선형 또는 비선형(예로서, 삼차원 탐색표(3DLUT)에 의한) 컬러 맵핑 파라미터들을 시그널링함으로써 행해질 수 있다. 다른 예에서, 컬러 맵핑 파라미터들은 컬러 톤들을 교정하기 위한 동일 공간 자유를 생성하기 위해 슬라이스 또는 타일 헤더들 내에서 시그널링될 수 있다. 연속 프레임들 사이에서의 로컬 콘텐츠의 유사한 예술적 변경들로 인해, 이전 프레임들로부터 같은 곳에 배치된 파티셔닝 및 컬러 맵핑 파라미터들을 재사용하도록 시그널링하는 것이 가능하다. 게다가, 적응성 쿼드-트리 파티셔닝은 공간 확장성도 적용되는 경우에 필터 파라미터들을 적응적으로 시그널링하는 데 사용될 수 있다.
C. 상이한 컬러 전역들을 갖는 한 쌍의 시퀀스에 대한 BL 및 EL의 콘텐츠 의존 할당
해상도 또는 비디오 품질 선호와 같은 다른 기준이 존재하지 않을 경우, 비용 또는 에러를 최소화할 수 있도록 상이한 컬러 전역들을 갖는 시퀀스들을 BL 및 EL에 할당하는 것이 제안된다. 예로서, BT.2020 컬러 공간에서의 하나와 BT.709 컬러 공간에서의 다른 하나인 2개의 1080p 시퀀스의 확장 가능 인코딩은 BT.2020을 BL로서 그리고 BT.709를 EL로서 사용하는 것에 비해 BT.709를 BL로서 사용하고 BT.2020을 EL로서 사용하는 경우에 상이한 전체 비트레이트 및 평균 PSNR을 유발할 수 있다.
D. 컬러 맵핑을 위한 크로마-루마 정렬의 제안되는 시그널링
대부분의 경우, 톤 맵핑 기능은 하나의 컬러 전역 공간에서의 3개의 컬러 값의 벡터로부터 다른 전역 공간에서의 3개의 컬러 값의 대응하는 벡터로의 맵핑이다. 인코더에서의 컬러 맵핑이 (예로서, 컬러 서브샘플링 4:4:4 대 4:2:0 또는 공간 확장성으로 인해) BL이 존재하는 그리드와 다른 3 컬러 성분 그리드 상에서 적용된 예들이 존재한다. 이러한 예들에서는 디코더가 샘플 위치들을 조정하여 순방향 톤 맵핑에 사용된 것을 반전시킬 수 있도록 루마 및 크로마 샘플들의 (수직 및 수평) 상대 위치가 시그널링되어야 하는 것이 제안된다.
본 발명은 위에서 구체적으로 설명되었지만, 이것은 본 발명을 실시하고 이용하는 방법을 이 분야의 통상의 기술자에게 가르치기 위한 것일 뿐이었다. 많은 추가 변경이 아래의 청구항들에 의해 정의되는 범위와 같은 본 발명의 범위 내에 속할 것이다.

Claims (20)

  1. 확장 가능 비디오 코딩(scalable video coding)을 위한 방법으로서,
    제1 코딩 계층의 비디오로부터 샘플링 신호들을 수신하고, 기본 해상도보다 높은 해상도를 갖는 향상된 해상도로 비디오를 코딩하는 제2 코딩 계층에 출력 신호를 제공하는 단계;
    상기 기본 해상도로 비디오를 코딩하기 위한 상기 제1 코딩 계층 내의 비디오 신호의 입력 샘플들로부터 픽처를 선택하는 단계;
    상기 제1 코딩 계층 내의 주요 컬러 전역(primary color gamut)을 갖는 상기 픽처 내의 픽셀에 대한 주요 컬러 값들의 세트를, 타겟 컬러 전역에 적합한 상기 제2 코딩 계층에 사용되는 디스플레이 상의 표현에 적합한 상기 타겟 컬러 전역을 구성하는 컬러 값들의 다른 세트로 변환하는 복수의 필터 또는 맵핑 공식을 선택하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 주요 컬러 전역으로부터 상기 타겟 컬러 전역으로의 컬러 전역 확장에 더하여, 공간 확장이 제공되는 방법.
  3. 제2항에 있어서,
    상기 공간 확장 및 컬러 전역 확장은 상기 공간 확장 및 컬러 전역 중 하나가 먼저 적용된 후에 나머지가 적용되는 순서로 적용되는 방법.
  4. 제3항에 있어서,
    공간 확장이 적용되고,
    인코더 측에서 톤 맵핑 기능에 대해 상기 컬러 전역 확장이 적용될 때, 상기 톤 맵핑 기능은 공간 확장 후에 발생하는 방법.
  5. 제4항에 있어서,
    상기 공간 확장 및 상기 톤 맵핑의 역순이 디코더 측에서 적용되는 방법.
  6. 제2항에 있어서,
    상기 컬러 전역 확장 및 상기 공간 확장이 제공되는 순서를 지시하기 위해 플래그가 상기 비디오의 비트스트림 내에서 제공되는 방법.
  7. 제1항에 있어서,
    상기 픽처에 대한 프레임의 상이한 영역들에 상이한 맵핑이 적용되는 방법.
  8. 제7항에 있어서,
    상기 상이한 프레임 영역들에서의 상기 상이한 맵핑은 (a) 적응성 쿼드-트리 구조를 갖는 선형 또는 비선형 삼차원 탐색표(3DLUT) 컬러 맵핑 파라미터들을 시그널링하는 것; (b) 컬러 톤들을 교정하기 위한 동일한 공간 자유를 생성하기 위해 슬라이스 또는 타일 헤더들 내에서 맵핑 파라미터들을 시그널링하는 것; (c) 이전의 프레임들로부터 같은 곳에 배치된 파티셔닝 및 컬러 맵핑 파라미터들을 재사용하도록 시그널링하는 것; 및 (d) 공간 확장성이 또한 적용되는 경우에 적응성 쿼드-트리 파티셔닝을 이용하여 필터 파라미터들을 적응적으로 시그널링하는 것 중 적어도 하나에 의해 행해지는 방법.
  9. 제1항에 있어서,
    상기 주요 컬러 전역 및 타겟 컬러 전역은 기본 계층(BL) 및 향상 계층(EL)에 대한 할당된 상이한 시퀀스들인 방법.
  10. 제1항에 있어서,
    상기 컬러 전역 확장은 톤 맵핑 기능을 위해 적용되고,
    상기 톤 맵핑은 하나의 컬러 전역 공간에서의 3개의 컬러 값의 벡터로부터 다른 전역 공간에서의 3개의 컬러 값의 대응하는 벡터로 맵핑하는 기능이고,
    상기 인코더에서의 상기 맵핑은 기본 계층(BL)이 존재하는 그리드와 다른 3 컬러 성분 그리드 상에서 적용되는 방법.
  11. 제10항에 있어서,
    수직 및 수평 차원들에서의 루마 및 크로마 샘플들의 상대 위치가 디코더로 시그널링되어, 상기 디코더가 샘플 위치들을 조정하여 순방향으로의 상기 톤 맵핑에 사용된 것을 반전시키는 것을 가능하게 하는 방법.
  12. 제1항에 있어서,
    상기 컬러 전역 확장은 톤 맵핑 기능을 위해 적용되고,
    상기 톤 맵핑은 하나의 컬러 전역 공간으로부터 동일한 전역 공간으로 맵핑하는 기능인 방법.
  13. 확장 가능 비디오 코딩을 위한 시스템으로서,
    기본 해상도로 비디오를 코딩하기 위한 모듈들을 포함하는 제1 코딩 계층;
    상기 기본 해상도보다 높은 해상도를 갖는 향상된 해상도로 비디오를 코딩하기 위한 모듈들을 포함하는 제2 코딩 계층;
    상기 제1 코딩 계층으로부터 샘플링 신호들을 수신하고, 업샘플링 프로세스 후에 출력 신호를 상기 제2 코딩 계층에 제공하는 업샘플링 유닛
    을 포함하고,
    상기 업샘플링 유닛 출력 신호는 상기 제2 코딩 계층에서의 더 효율적인 코딩을 가능하게 하고,
    상기 제1 코딩 계층 모듈들은
    상기 제1 코딩 계층에 대한 비디오의 샘플링 신호들을 제공하는 샘플링 모듈;
    상기 샘플링 모듈로부터의 비디오 신호의 입력 샘플들로부터 픽처를 선택하는 픽처 선택 모듈;
    상기 업샘플링 유닛에 제공하기 위해 상기 제1 코딩 계층 내의 주요 컬러 전역을 갖는 상기 픽처 내의 픽셀에 대한 주요 컬러 값들의 세트를, 타겟 컬러 전역에 적합한 상기 제2 코딩 계층에 사용되는 디스플레이 상의 표현에 적합한 상기 타겟 컬러 전역을 구성하는 컬러 값들의 다른 세트로 변환하기 위한 복수의 필터 또는 맵핑 공식을 선택하는 컬러 변환 모듈
    을 포함하는 시스템.
  14. 제13항에 있어서,
    상기 제1 코딩 계층 모듈들은 상기 제2 코딩 계층에 제공하기 위해 상기 제1 코딩 계층으로부터의 상기 컬러 변환과 별개로 공간 확장을 제공하는 공간 확장 모듈을 더 포함하는 시스템.
  15. 제14항에 있어서,
    상기 컬러 전역 확장이 인코더 측에서의 톤 맵핑 기능을 위해 적용될 때, 상기 톤 맵핑은 상기 공간 확장 후에 발생하고,
    상기 공간 확장 및 상기 톤 맵핑의 역순이 디코더 측에서 적용되는 시스템.
  16. 제14항에 있어서,
    상기 컬러 전역 확장 및 상기 공간 확장이 제공되는 순서를 지시하기 위해 플래그가 상기 비디오의 비트스트림 내에서 제공되는 시스템.
  17. 제13항에 있어서,
    상기 픽처에 대해, 프레임의 상이한 영역들에 상이한 맵핑이 적용되며,
    상기 상이한 프레임 영역들에서의 상기 상이한 맵핑은 (a) 적응성 쿼드-트리 구조를 갖는 선형 또는 비선형 삼차원 탐색표(3DLUT) 컬러 맵핑 파라미터들을 시그널링하는 것; (b) 컬러 톤들을 교정하기 위한 동일한 공간 자유를 생성하기 위해 슬라이스 또는 타일 헤더들 내에서 맵핑 파라미터들을 시그널링하는 것; (c) 이전의 프레임들로부터 같은 곳에 배치된 파티셔닝 및 컬러 맵핑 파라미터들을 재사용하도록 시그널링하는 것; 및 (d) 공간 확장성이 또한 적용되는 경우에 적응성 쿼드-트리 파티셔닝을 이용하여 필터 파라미터들을 적응적으로 시그널링하는 것 중 적어도 하나에 의해 행해지는 시스템.
  18. 제13항에 있어서,
    상기 컬러 전역 확장은 톤 맵핑 기능을 위해 적용되고,
    상기 톤 맵핑은 하나의 컬러 전역 공간에서의 3개의 컬러 값의 벡터로부터 다른 전역 공간에서의 3개의 컬러 값의 대응하는 벡터로 맵핑하는 기능이고,
    상기 인코더에서의 상기 맵핑은 기본 계층(BL)이 존재하는 그리드와 다른 3 컬러 성분 그리드 상에서 적용되는 시스템.
  19. 제18항에 있어서,
    수직 및 수평 차원들에서의 루마 및 크로마 샘플들의 상대 위치가 디코더로 시그널링되어, 상기 디코더가 샘플 위치들을 조정하여 순방향으로의 상기 톤 맵핑에 사용된 것을 반전시키는 것을 가능하게 하는 시스템.
  20. 제13항에 있어서,
    상기 컬러 전역 확장은 톤 맵핑 기능을 위해 적용되고,
    상기 톤 맵핑은 하나의 컬러 전역 공간으로부터 동일한 전역 공간으로 맵핑하는 기능인 시스템.
KR1020167028714A 2014-03-19 2015-03-19 톤 맵핑 및 상이한 컬러 전역을 이용하는 비디오 시퀀스의 확장 가능 코딩 KR102024982B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461955773P 2014-03-19 2014-03-19
US61/955,773 2014-03-19
US14/662,376 2015-03-19
US14/662,376 US11363281B2 (en) 2014-03-19 2015-03-19 Scalable coding of video sequences using tone mapping and different color gamuts
PCT/US2015/021402 WO2015143119A1 (en) 2014-03-19 2015-03-19 Scalable coding of video sequences using tone mapping and different color gamuts

Publications (2)

Publication Number Publication Date
KR20160132993A true KR20160132993A (ko) 2016-11-21
KR102024982B1 KR102024982B1 (ko) 2019-09-24

Family

ID=54143329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167028714A KR102024982B1 (ko) 2014-03-19 2015-03-19 톤 맵핑 및 상이한 컬러 전역을 이용하는 비디오 시퀀스의 확장 가능 코딩

Country Status (6)

Country Link
US (3) US11363281B2 (ko)
EP (1) EP3120545A1 (ko)
KR (1) KR102024982B1 (ko)
CA (1) CA2943216A1 (ko)
MX (1) MX2016012130A (ko)
WO (1) WO2015143119A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6449892B2 (ja) * 2013-09-20 2019-01-09 ヴィド スケール インコーポレイテッド ３ｄルックアップテーブル符号化に色域スケーラビリティを提供するシステムおよび方法
CN105874793B (zh) * 2013-10-07 2019-10-11 Vid拓展公司 用于多层视频编码的组合可分级性处理的方法和设备
JP2018525905A (ja) 2015-07-22 2018-09-06 アリス エンタープライジズ エルエルシーＡｒｒｉｓ Ｅｎｔｅｒｐｒｉｓｅｓ Ｌｌｃ 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
KR102243844B1 (ko) 2015-09-23 2021-04-22 애리스 엔터프라이지즈 엘엘씨 비디오 디코더에서의 높은 동적 범위 적응 동작들
US10080005B2 (en) 2015-11-09 2018-09-18 Netflix, Inc. High dynamic range color conversion correction
US10742986B2 (en) 2015-11-09 2020-08-11 Netflix, Inc. High dynamic range color conversion correction
US10715772B2 (en) 2015-11-09 2020-07-14 Netflix, Inc. High dynamic range color conversion correction
CN108989819B (zh) * 2017-06-03 2023-04-07 上海天荷电子信息有限公司 各模式采用各自相应色彩空间的数据压缩方法和装置
US10771797B2 (en) * 2018-07-30 2020-09-08 Logmein, Inc. Enhancing a chroma-subsampled video stream
JP2022508741A (ja) * 2018-10-09 2022-01-19 ヴイ－ノヴァ インターナショナル リミテッド 複数解像度を使う階層コーディングスキーム内での信号エレメントコーディングフォーマット互換性

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009000110A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
EP2324636A1 (en) * 2008-08-22 2011-05-25 Thomson Licensing Method and system for content delivery
US9756353B2 (en) * 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
WO2014045506A1 (en) * 2012-09-24 2014-03-27 Sharp Kabushiki Kaisha Video compression with color space scalability
KR20140089487A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
BR112014029917A2 (pt) * 2013-04-05 2017-07-25 Sony Corp aparelho e método de processamento de imagem.
JP6353896B2 (ja) * 2013-04-08 2018-07-04 ドルビー・インターナショナル・アーベー ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
CN105874793B (zh) * 2013-10-07 2019-10-11 Vid拓展公司 用于多层视频编码的组合可分级性处理的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Louis Kerofsky 외, "Color Gamut Scalable Video Coding", 11th meeting, (Shanghai, 10-19 october 2012), JCTVC-K0241, 2012.* *

Also Published As

Publication number Publication date
MX2016012130A (es) 2017-04-27
EP3120545A1 (en) 2017-01-25
KR102024982B1 (ko) 2019-09-24
US20230209073A1 (en) 2023-06-29
US20220272366A1 (en) 2022-08-25
US20150271509A1 (en) 2015-09-24
US11622121B2 (en) 2023-04-04
CA2943216A1 (en) 2015-09-24
WO2015143119A1 (en) 2015-09-24
US11363281B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
US11622121B2 (en) Scalable coding of video sequences using tone mapping and different color gamuts
US11330242B2 (en) Multi-view signal codec
US20230276061A1 (en) Scalable video coding system with parameter signaling
JP5674873B2 (ja) ビデオ符号化及び複合化におけるタイリング
US10750194B2 (en) Scalable video coding using reference and scaled reference layer offsets
US20240137537A1 (en) On reference layer and scaled reference layer offset parameters for inter-layer prediction in scalable video coding
CN112616057B (zh) 图像预测方法、编码器、解码器以及存储介质
US10218970B2 (en) Resampling filters for scalable video coding with phase offset adjustment and signaling of same
CN112532997B (zh) 图像预测方法、编码器、解码器以及存储介质
EP3700218A1 (en) Scalable video coding using reference and scaled reference layer offsets
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
US20150271495A1 (en) Scalable Video Coding using Phase Offset Flag Signaling
EP3272124B1 (en) Scalable video coding system with parameter signaling
CN118828018A (zh) 图像预测方法、编码器、解码器以及存储介质
CN118870026A (zh) 图像预测方法、编码器、解码器以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant