KR102465026B1 - 고 스루풋 cabac 코딩을 위한 팔레트 인덱스 그루핑 - Google Patents

고 스루풋 cabac 코딩을 위한 팔레트 인덱스 그루핑 Download PDF

Info

Publication number
KR102465026B1
KR102465026B1 KR1020177020755A KR20177020755A KR102465026B1 KR 102465026 B1 KR102465026 B1 KR 102465026B1 KR 1020177020755 A KR1020177020755 A KR 1020177020755A KR 20177020755 A KR20177020755 A KR 20177020755A KR 102465026 B1 KR102465026 B1 KR 102465026B1
Authority
KR
South Korea
Prior art keywords
syntax element
palette
encoded
video data
block
Prior art date
Application number
KR1020177020755A
Other languages
English (en)
Other versions
KR20170110084A (ko
Inventor
마르타 카르체비츠
웨이 푸
라잔 랙스맨 조쉬
바딤 세레긴
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170110084A publication Critical patent/KR20170110084A/ko
Application granted granted Critical
Publication of KR102465026B1 publication Critical patent/KR102465026B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

일 예에서, 비디오 데이터를 디코딩하는 방법은 픽처의 비디오 데이터의 팔레트 모드 인코딩된 블록을 수신하는 단계를 포함할 수도 있다. 방법은 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 인코딩된 팔레트 모드 정보를 수신하는 단계를 포함할 수도 있다. 인코딩된 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함할 수도 있다. 방법은, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하기 전에 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩하는 단계를 포함할 수도 있다. 방법은, 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩한 후에 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하는 단계를 포함할 수도 있다.

Description

고 스루풋 CABAC 코딩을 위한 팔레트 인덱스 그루핑{PALETTE INDEX GROUPING FOR HIGH THROUGHPUT CABAC CODING}
본 출원은 2015 년 1 월 30 일자로 출원된 미국 가특허출원 제 62/110,302 호의 우선권을 주장하며, 이것은 그 전체가 본원에 참조로서 여기에 포함된다.
본 개시물은 콘텐트를 인코딩 및 디코딩, 및 보다 구체적으로는 팔레트-기반 코딩 모드에 따라 콘텐트를 인코딩 및 디코딩하는 것에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 방송 시스템들, 무선 방송 시스템들, PDA (personal digital assistant) 들, 랩톱이나 데스크톱 컴퓨터들, 태블릿 컴퓨터들, 전자책 리더들, 디지털 카메라들, 디지털 녹음 디바이스들, 디지털 미디어 재생기들, 비디오 게임 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화들, 소위 "스마트 폰들", 비디오 원격화상회의 디바이스들, 비디오 스트리밍 디바이스들 등을 포함하는 광범위한 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, 어드밴스드 비디오 코딩 (AVC), ITU-T H.265, 고효율 비디오 코딩 (HEVC) 에 의해 정의된 표준들, 및 이러한 표준들의 확장들에서 설명된 바와 같은 비디오 압축 기법들을 구현한다. 비디오 디바이스들은 이러한 비디오 압축 기법들을 구현함으로써, 디지털 비디오 정보를 보다 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.
비디오 압축 기법들은 비디오 시퀀스들에 내재하는 리던던시를 감소시키기나 제거하기 위해 공간 (인트라-픽처) 예측 및/또는 시간 (인터-픽처) 예측을 수행한다. 블록-기반 비디오 코딩에 있어서, 비디오 슬라이스 (즉, 비디오 프레임 또는 비디오 프레임의 일부) 는 비디오 블록들로 파티셔닝될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스 내의 비디오 블록들은 동일한 픽처 내의 이웃하는 블록들 내의 레퍼런스 샘플들에 대한 공간 예측을 사용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스 내의 비디오 블록들은 동일한 픽처 내의 이웃하는 블록들 내의 레퍼런스 샘플들에 대하여 공간 예측, 또는 다른 레퍼런스 픽처들 내의 레퍼런스 샘플들에 대하여 시간 예측을 사용할 수도 있다. 픽처들은 프레임들로서 지칭될 수도 있고, 레퍼런스 픽처들은 참조 프레임들로서 지칭될 수도 있다.
공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 초래한다. 잔차 데이터는 코딩될 원래의 블록과 예측 블록 간의 픽셀 차이들을 나타낸다. 인터 코딩된 블록은 예측 블록을 형성하는 레퍼런스 샘플들의 블록을 가리키는 모션 벡터에 따라 인코딩되고, 잔차 데이터는 코딩된 블록과 예측 블록 간의 차이를 나타낸다. 인트라-코딩된 블록은 인트라-코딩 모드와 잔차 데이터에 따라 인코딩된다. 추가의 압축을 위해, 잔차 데이터는 픽셀 도메인에서 변환 도메인으로 변환되어, 잔차 계수들을 초래할 수도 있고 이 잔차 계수들은, 그 후 양자화될 수도 있다. 처음에 2 차원 어레이로 배열된 양자화된 계수들은, 순서대로 스캐닝되어 계수들의 1 차원 벡터를 생성할 수도 있고, 엔트로피 코딩이 적용되어 보다 많은 압축을 달성할 수도 있다.
콘텐트, 예컨대 이미지는 팔레트 모드를 사용하여 인코딩 및 디코딩될 수도 있다. 일반적으로, 팔레트 모드는 콘텐트를 표현하기 위해 팔레트의 사용을 수반하는 기법이다. 콘텐트는, 이 콘텐트가 팔레트에 대응하는 값들을 포함하는 인덱스 맵에 의해 표현되도록 인코딩될 수도 있다. 인덱스 맵은 콘텐트를 복원하도록 디코딩될 수도 있다.
본 개시물의 기법들은 팔레트-기반 콘텐트 코딩에 관한 것이다. 예를 들어, 팔레트-기반 콘텐트 코딩에서, 콘텐트 코더 (예를 들어, 비디오 인코더 또는 비디오 디코더와 같은 콘텐트 코더) 는 특정 영역 (예를 들어, 소정 블록) 의 비디오 데이터를 나타내기 위한 컬러들의 테이블로서 "팔레트" 를 형성할 수도 있다. 팔레트-기반 콘텐트 코딩은, 예를 들어 상대적으로 적은 수의 컬러들을 갖는 비디오 데이터의 영역들을 코딩하는데 특히 유용할 수도 있다. 실제 픽셀 값들 (또는 그 잔차분들) 을 코딩하기 보다는, 콘텐트 코더는 픽셀들의 컬러들을 나타내는 팔레트에서의 엔트리들과 픽셀들을 관련시키는 픽셀들 중 하나 이상에 대한 팔레트 인덱스들 (예를 들어, 인덱스 값들) 을 코딩할 수도 있다. 본 개시물에 설명된 기법들은 팔레트-기반 코딩 모드들을 시그널링하는 것, 팔레트들을 송신하는 것, 팔레트들을 도출하는 것, 비-송신된 신택스 엘리먼트들의 값을 도출하는 것, 팔레트-기반 코딩 맵들 및 다른 신택스 엘리먼트들을 송신하는 것, 팔레트 엔트리들을 예측하는 것, 팔레트 인덱스들의 런들을 코딩하는 것, 팔레트 정보를 엔트로피 코딩하는 것 중 하나 이상의 다양한 조합들에 대한 기법들 및 다양한 다른 팔레트 코팅 기법들을 포함할 수도 있다.
일 예에서, 본 개시물은 인코딩된 비디오 비트스트림으로부터, 픽처의 비디오 데이터의 팔레트 모드 인코딩된 블록을 수신하는 단계; 인코딩된 비디오 비트스트림으로부터, 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 인코딩된 팔레트 모드 정보를 수신하는 단계로서, 인코딩된 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하는, 상기 인코딩된 팔레트 모드 정보를 수신하는 단계; 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하기 전에 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩하는 단계; 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩한 후에 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하는 단계; 및 제 1 신택스 엘리먼트의 디코딩된 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 디코딩된 복수의 신택스 엘리먼트들을 사용하여 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하는 단계를 포함하는 비디오 데이터를 디코딩하는 방법을 설명한다.
다른 예에서, 본 개시물은, 비디오 데이터를 저장하도록 구성된 메모리; 및 메모리와 통신하고, 인코딩된 비디오 비트스트림으로부터, 픽처의 비디오 데이터의 팔레트 모드 인코딩된 블록을 수신하고; 인코딩된 비디오 비트스트림으로부터, 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 인코딩된 팔레트 모드 정보를 수신하는 것으로서, 인코딩된 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하는, 상기 인코딩된 팔레트 모드 정보를 수신하고; 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하기 전에 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩하고; 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩한 후에 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하며; 제 1 신택스 엘리먼트의 디코딩된 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 디코딩된 복수의 신택스 엘리먼트들을 사용하여 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하도록 구성된 비디오 디코더를 포함하는 비디오 데이터를 디코딩하기 위한 디바이스를 설명한다.
다른 예에서, 본 개시물은, 명령들이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체를 설명하고, 명령들은, 실행되는 경우 하나 이상의 프로세서들로 하여금, 인코딩된 비디오 비트스트림으로부터, 픽처의 비디오 데이터의 팔레트 모드 인코딩된 블록을 수신하게 하고; 인코딩된 비디오 비트스트림으로부터, 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 인코딩된 팔레트 모드 정보를 수신하게 하는 것으로서, 인코딩된 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하는, 상기 인코딩된 팔레트 모드 정보를 수신하게 하고; 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하기 전에 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩하게 하고; 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩한 후에 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하게 하며; 제 1 신택스 엘리먼트의 디코딩된 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 디코딩된 복수의 신택스 엘리먼트들을 사용하여 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하게 한다.
다른 예에서, 본 개시물은, 비디오 데이터의 블록이 팔레트 모드로 코딩된다는 것을 결정하는 단계; 팔레트 모드를 사용하여 비디오 데이터의 블록을 인코딩된 비트스트림으로 인코딩하는 단계를 포함하고, 팔레트 모드를 사용하여 비디오 데이터의 블록을 인코딩하는 단계는, 비디오 데이터의 블록에 대한 팔레트 모드 정보를 생성하는 단계로서, 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하는, 상기 팔레트 모드 정보를 생성하는 단계; 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 인코딩된 비트스트림으로 인코딩하기 전에 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 인코딩된 비트스트림으로 인코딩하는 단계; 및 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 인코딩된 비트스트림으로 인코딩한 후에, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 인코딩된 비트스트림으로 인코딩하는 단계를 포함하는 비디오 데이터를 인코딩하는 방법을 설명한다.
다른 예에서, 본 개시물은 비디오 데이터를 인코딩하기 위한 디바이스를 설명하고, 이 디바이스는 비디오 데이터를 저장하도록 구성된 메모리; 및 메모리와 통신하는 비디오 인코더를 포함하고, 비디오 인코더는, 메모리에 저장된 비디오 데이터의 블록이 팔레트 모드로 코딩된다는 것을 결정하고; 팔레트 모드를 사용하여 비디오 데이터의 블록을 인코딩된 비트스트림으로 인코딩하도록 구성되고, 팔레트 모드를 사용하여 비디오 데이터의 블록을 인코딩하도록 구성되는 비디오 인코더는, 비디오 데이터의 블록에 대한 팔레트 모드 정보를 생성하는 것으로서, 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하는, 상기 팔레트 모드 정보를 생성하고; 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 인코딩된 비트스트림으로 인코딩하기 전에 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 인코딩된 비트스트림으로 인코딩하며; 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 인코딩된 비트스트림으로 인코딩한 후에, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 인코딩된 비트스트림으로 인코딩하도록 구성되는 비디오 인코더를 포함한다.
본 개시물의 하나 이상의 예들의 상세들은 첨부되는 도면들 및 이하의 설명들에서 기술된다. 본 개시물의 다른 특성들, 목적들 및 이점들은 상세한 설명 및 도면들로부터, 그리고 청구항들로부터 명백해질 것이다.
도 1 은 본 개시물에서 설명된 기법들을 이용할 수도 있는 예시의 비디오 코딩 시스템을 예시하는 블록도이다.
도 2 는 본 개시물에서 설명된 기법들을 수행할 수도 있는 예시의 비디오 인코더를 예시하는 블록도이다.
도 3 은 본 개시물에서 설명된 기법들을 수행할 수도 있는 예시의 비디오 디코더를 예시하는 블록도이다.
도 4 는 본 개시물의 기법들과 일치하는, 팔레트-기반 비디오 코딩을 위한 팔레트 엔트리들을 결정하는 예를 예시하는 개념도이다.
도 5 는 본 개시물의 기법들에 일치하는, 픽셀들의 블록에 대한 팔레트로의 인덱스들을 결정하는 예를 예시하는 개념도이다.
도 6 은 본 개시물의 기법들에 일치하는, 래스터 스캐닝 순서를 가정하는, 런-길이 위의 최대 복사본을 결정하는 예를 예시하는 개념도이다.
도 7 은 팔레트-모드에 대한 신택스 엘리먼트들의 코딩 순서에 대한 변화들을 예시하는 테이블이다.
도 8 은 본 개시물의 팔레트-기반 비디오 코딩에 대한 기법들과 일치하는 비디오 데이터를 디코딩하는 예시의 프로세스를 예시하는 플로우차트이다.
도 9 는 본 개시물의 팔레트-기반 비디오 코딩에 대한 기법들과 일치하는 비디오 데이터를 인코딩하는 예시의 프로세스를 예시하는 플로우차트이다.
본 개시물의 양태들은 콘텐트 코딩 (예를 들어, 비디오 코딩) 에 대한 기법들에 관련된다. 특히, 본 개시물은 콘텐트 데이터 (예를 들어, 비디오 데이터) 의 팔레트-기반 코딩을 위한 기법들 및 팔레트 코딩 정보의 콘텍스트-기반 적응 바이너리 산술 코딩 (CABAC) 에 대한 기법들을 설명한다. 본 개시물의 다양한 예들에서, 본 개시물의 기법들은, 이하에서 더 상세히 설명되는 바와 같이, 코딩 효율성을 개선시키고/시키거나 코덱 복잡성을 감소시키기 위해 팔레트 모드에서 블록을 예측 또는 코딩하는 프로세스들에 관련될 수도 있다. 예를 들어, 본 개시물은 팔레트 인덱스 그루핑 (예컨대, 진보된 팔레트 인덱스 그루핑) 에 관련된 기법들을 설명한다.
CABAC 프로세스에서, 예를 들어 『D. Marpe, H. Schwarz, and T. Wiegand, "Context-based adaptive binary arithmetic coding in the H.264/AVC video compression standard," in IEEE Trans , Cir . & Sys . Video Tech ., Vol.13, No.7, July 2003』에서와 같이, 2 개의 모드들: (1) 바이패스 모드 및 (2) 콘텍스트 모드가 존재한다. 바이패스 모드에서는, 콘텍스트 업데이트 프로세스가 존재하지 않는다. 따라서, 바이패스 모드는 ISA 레벨 병행성 (parallelism) 또는 하드웨어를 활용함으로써 콘텍스트-기반 모드보다 더 높은 데이터 스루풋을 달성할 수 있다. 바이패스 모드의 이 이점은, 함께 프로세싱될 수 있는 바이패스 빈들의 수가 증가할 때 더 크게 된다.
『R. Joshi and J. Xu, "High efficient video coding (HEVC) screen content coding: Draft 2," JCTVC-S1005』 에서 설명된 바와 같이, 현재 팔레트 모드 코딩 설계에서는, 스크린 콘텐트 코딩에서, palette _ index _ idc 및 palette_escape_val 의 신택스 엘리먼트들은 CABAC 바이패스 모드 코딩되고, CABAC 콘텍스트 모드 코딩되는 palette _ run _ msb _ id _ plus1 과 같은 다른 신택스 엘리먼트들과 인터리빙된다. 본 개시물은 바이패스 모드 코딩된 신택스 엘리먼트들을 함께 그루핑하는 기법들을 설명한다. 본원에 사용된 바와 같이, "바이패스 모드 코딩된" 및 "콘텍스트 모도 코딩된" 은 각각, "바이패스 코딩된" 및 "콘텍스트 코딩된" 과 상호교환 가능하다.
본원에 사용된 바와 같이, 용어 "콘텐트" 의 인스턴스들은 용어 "비디오" 로 변경될 수도 있고, 용어 "비디오" 의 인스턴스들은 용어 "콘텐트" 로 변경될 수도 있다. 용어들 "콘텐트" 또는 "비디오" 가 형용사, 명사 또는 기타 품사로 사용되는지 여부와 관계없이, 이것은 사실이다. 예를 들어, "콘텐트 코더" 에 대한 참조는 또한, "비디오 코더" 에 대한 참조들을 포함하고, "비디오 코더" 에 대한 참조는 또한 "콘텐트 코더" 에 대한 참조를 포함한다. 유사하게, "콘텐트" 에 대한 참조는 또한 "비디오" 에 대한 참조를 포함하고, "비디오" 에 대한 참조는 또한 "콘텐트" 에 대한 참조를 포함한다.
본원에 사용된 바와 같이, "콘텐트" 는 임의의 유형의 콘텐트를 지칭한다. 예를 들어, "콘텐트" 는 비디오, 스크린 콘텐트, 이미지, 임의의 그래픽 콘텐트, 임의의 디스플레이 가능 콘텐트, 또는 이에 대응하는 임의의 데이터 (예를 들어, 비디오 데이터, 스크린 콘텐트 데이터, 이미지 데이터, 그래픽 콘텐트 데이터, 디스플레이 가능 콘텐트 데이터, 등) 를 지칭할 수도 있다.
본원에 사용된 바와 같이, 용어 "비디오" 는 스크린 콘텐트, 이동 가능 콘텐트, 시퀀스로 제시될 수도 있는 복수의 이미지들, 또는 이에 대응하는 임의의 데이터 (예를 들어, 스크린 콘텐트 데이터, 이동 가능 콘텐트 데이터, 비디오 데이터, 이미지 데이터, 등) 를 지칭할 수도 있다.
본원에 사용된 바와 같이, 용어 "이미지" 는 단일의 이미지, 하나 이상의 이미지들, 비디오에 대응하는 복수의 이미지들 중 하나 이상의 이미지들, 비디오에 대응하지 않는 복수의 이미지들 중 하나 이상의 이미지들, 비디오에 대응하는 복수의 이미지들 (예를 들어, 비디오에 대응하는 이미지들 모두 또는 비디오에 대응하는 모두보다 적은 이미지들), 단일 이미지의 서브-파트, 단일 이미지의 복수의 서브-파트들, 복수의 이미지들에 대응하는 복수의 서브-파트들, 하나 이상의 그래픽 파라미티브들, 이미지 데이터, 그래픽 데이터 등을 지칭할 수도 있다.
전통적인 비디오 코딩에서, 이미지들은 연속적인-톤인 것으로 그리고 부분적으로 평활한 것으로 가정된다. 이들 가정들에 기초하여, 다양한 툴들, 예컨대 블록-기반 변환들, 필터링 및 다른 코딩 툴들이 개발되어 왔고, 이러한 툴들은 자연스러운 콘텐트 비디오들에 대한 우수한 성능을 보여주었다. 그러나, 원격 데스크톱과 같은 애플리케이션들에서, 협동 가능한 작업 및 무선 디스플레이, 컴퓨터-생성된 스크린 콘텐트는 압축될 우세한 콘텐트일 수도 있다. 이 유형의 스크린 콘텐트는 별개의-톤, 급격한 라인들, 및 높은 콘트라스트 객체 경계들을 갖는 경향이 있다. 계속적인-톤 및 평활성의 가정은 더 이상 적용되지 않을 수도 있고, 따라서 전통적인 비디오 코딩 기법들은 콘텐트 (예를 들어, 스크린 콘텐트) 를 압축하는데 있어서 비효율적일 수도 있다.
팔레트-기반 비디오 코딩의 일 예에서, 비디오 인코더는 블록에 대한 팔레트를 결정하고 (예를 들어, 팔레트를 명시적으로 코딩하고, 팔레트를 예측하거나, 또는 이의 조합), 팔레트에서 엔트리를 위치시켜 하나 이상의 픽셀들의 값(들)을 나타내며, 블록의 픽셀 값들을 나타내는데 사용된 팔레트에서의 엔트리를 나타내는 인덱스 값들로 팔레트 및 블록 양자 모두를 인코딩함으로써 비디오 데이터의 블록을 인코딩할 수도 있다. 일부 예들에서, 비디오 인코더는 팔레트 및/또는 인덱스 값들을 인코딩된 비트스트림으로 시그널링할 수도 있다. 또한, 비디오 디코더는, 인코딩된 비트스트림으로부터 블록에 대한 팔레트, 뿐만 아니라 블록의 개별의 픽셀들에 대한 인덱스 값들을 획득할 수도 있다. 비디오 디코더는 팔레트의 엔트리들에 픽셀들의 인덱스 값들을 관련시켜, 블록의 다양한 픽셀 값들을 복원할 수도 있다.
예를 들어, 비디오 데이터의 특정 영역은 상대적으로 적은 수의 컬러들을 갖는 것으로 가정될 수도 있다. 비디오 코더 (예를 들어, 비디오 인코더 또는 비디오 디코더) 는 소위 "팔레트" 를 코딩 (예를 들어, 인코딩 또는 디코딩) 하여, 특정 영역의 비디오 데이터를 나타낼 수도 있다. 팔레트는 특정 영역 (예를 들어, 소정 블록) 의 비디오 데이터를 나타내는 픽셀 값들 또는 컬러들의 인덱스 (예를 들어, 테이블) 로서 표현될 수도 있다. 비디오 코더는, 팔레트에서 적합한 값에 하나 이상의 픽셀 값들을 관련시키는, 인덱스를 코딩할 수도 있다. 각각의 픽셀은 픽셀의 컬러를 나타내는 팔레트에서의 엔트리와 연관될 수도 있다. 예를 들어, 팔레트는 소정 블록에서 가장 우세한 픽셀 값들을 포함할 수도 있다. 일부 경우들에서, 가장 우세한 픽셀 값들은 블록 내에서 가장 빈번하게 발생하는 하나 이상의 픽셀 값들을 포함할 수도 있다. 부가적으로, 일부 경우들에서, 비디오 코더는, 픽셀 값이 블록에서 가장 우세한 픽셀 값들 중 하나로서 포함될지 여부를 결정하도록 임계 값을 적용할 수도 있다. 팔레트-기반 코딩의 다양한 양태들에 따르면, 비디오 코더는 비디오 데이터의 현재 블록에 대한 실제 픽셀 값들 또는 그 잔차분들을 코딩하는 대신에, 현재 블록의 픽셀 값들 중 하나 이상을 나타내는 인덱스 값들을 코딩할 수도 있다. 팔레트-기반 코딩의 맥락에서, 인덱스 값들은 현재 블록의 개별의 픽셀 값들을 나타내는데 사용되는 팔레트에서 각각의 엔트리들을 표시한다. 위의 설명은 팔레트-기반 비디오 코딩의 일반적인 설명을 제공하도록 의도된다.
팔레트-기반 코딩은, 하나 이상의 전통적인 코딩 툴들이 비효율적인 다른 콘텐트 또는 스크린 생성된 콘텐트 코딩에 특히 적합할 수도 있다. 비디오 데이터의 팔레트-기반 코딩의 기법들은 하나 이상의 다른 코딩 기법들, 예컨대 인터- 또는 인트라-예측 코딩에 대한 기법들과 함께 사용될 수도 있다. 예를 들어, 이하에서 더 상세히 설명되는 바와 같이, 인코더 또는 디코더, 또는 결합형 인코더-디코더 (코덱) 는 인터- 및 인트라-예측 코딩, 뿐만 아니라 팔레트-기반 코딩을 수행하도록 구성될 수도 있다.
일부 예들에서, 팔레트-기반 코딩 기법들은 하나 이상의 비디오 코딩 표준들과의 사용을 위해 구성될 수도 있다. 예를 들어, 고효율 비디오 코딩 (HEVC) 은 ITU-T 비디오 코딩 전문가 그룹 (VCEG) 및 ISO/IEC 모션 픽처 전문가 그룹 (MPEG) 의 JCT-VC (Joint Collaboration Team on Video Coding) 에 의해 개발되고 있는 새로운 비디오 코딩 표준이다. 완결된 HEVC 표준 문헌은, 『"ITU-T H.265, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video - High efficiency video coding," Telecommunication Standardization Sector of International Telecommunication Union (ITU), April 2013』로서 공개되어 있다.
스크린 생성된 콘텐트의 더 효율적인 코딩을 제공하기 위해, JCT-VC 는 HEVC 스크린 콘텐트 코딩 (SCC) 표준으로서 지칭된, HEVC 표준에 대한 확장을 개발하고 있다. "HEVC SCC Draft 2" 또는 "WD2" 로서 지칭된, HEVC SCC 의 최근 작업 초안은 문헌 『JCTVC-S1005, R. Joshi and J. Xu, "HEVC screen content coding draft text 2," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 19th Meeting: Strasbourg, FR, 17-24 October 2014』에 설명되어 있다.
HEVC 프레임워크에 대하여, 일 예로서, 팔레트-기반 코딩 기법들은 코딩 유닛 (CU) 모드로서 사용되도록 구성될 수도 있다. 다른 예들에서, 팔레트-기반 코딩 기법들은 HEVC 의 프레임워크에서 예측 유닛 (PU) 모드로서 사용되도록 구성될 수도 있다. 따라서, CU 모드의 맥락에서 설명된 다음의 개시된 프로세스들 모두는, 부가적으로 또는 대안으로 PU 에 적용할 수도 있다. 그러나, 이들 HEVC-기반 예들은, 이러한 기법들이 다른 기존의 또는 아직 개발될 시스템들/표준들의 부분으로서 또는 독립적으로 작업하도록 적용될 수도 있기 때문에 본원에 설명된 팔레트-기반 코딩 기법들의 제한 또는 한정으로 고려되지 않아야 한다. 이들 경우들에서, 팔레트 코딩에 대한 유닛은 정사각형 블록들, 직사각형 블록들 또는 심지어 비-직사각형 형상의 영역들일 수 있다.
일부 예들에서, 팔레트는 하나 이상의 CU들, PU들, 또는 데이터의 임의의 영역 (예를 들어, 데이터의 임의의 블록) 에 대해 도출될 수도 있다. 예를 들어, 팔레트는 현재 CU 에서 가장 우세한 픽셀 값들을 포함할 수도 있고 (그리고 이 값들로 이루어질 수도 있고), 여기서 CU 는 이 특정 예에 대한 데이터의 영역이다. 팔레트의 엘리먼트들 및 사이즈는 비디오 인코더로부터 비디오 디코더로 먼저, 송신된다. 팔레트의 엘리먼트들 및/또는 사이즈는 이웃하는 CU들 (예를 들어, 위 및/또는 좌측 코딩된 CU) 에서 팔레트의 엘리먼트들 및/또는 사이즈를 사용하여 직접적으로 코딩되거나 또는 예측적으로 코딩될 수 있다. 그 후에, CU 에서의 픽셀 값들은 소정의 스캐닝 순서에 따라 팔레트에 기초하여 인코딩된다. CU 에서 각각의 픽셀 로케이션에 대해, 플래그 (예를 들어, palette_flag 또는 escape_flag) 가 먼저 송신되어, 픽셀 값이 팔레트에 포함되는지 여부를 표시할 수도 있다. 팔레트에서의 엔트리에 맵핑하는 이들 픽셀 값들에 대해, 그 엔트리와 연관된 팔레트 인덱스는 CU 에서 소정의 픽셀 로케이션에 대해 시그널링된다. 플래그 (예를 들어, palette_flag 또는 escape_flag) 를 전송하는 대신에, 팔레트에 존재하지 않는 이들 픽셀 값들에 대해, 특수한 인덱스가 픽셀에 할당될 수도 있고 실제 픽셀 값은 (가능하게는 양자화된 형태로) CU 에서 소정의 픽셀 로케이션에 대해 송신될 수도 있다. 이들 픽셀들은 "이스케이프 픽셀들" 로서 지칭된다. 이스케이프 픽셀은 고정 길이 코딩, 단항 코딩 등과 같은 임의의 기존의 엔트로피 코딩 방법을 사용하여 코딩될 수 있다. 일부 예들에서, 본원에 설명된 하나 이상의 기법들은 플래그, 예컨대 palette_flag 또는 escape_flag 를 이용할 수도 있다. 다른 예들에서, 본원에 설명된 하나 이상의 기법들은 플래그, 예컨대 palette_flag 또는 escape_flag 를 이용하지 않을 수도 있다.
비디오 데이터의 블록 내의 샘플들은 수평 래스터 스캐닝 순서 또는 다른 스캐닝 순서를 사용하여 프로세싱 (예를 들어, 스캐닝) 될 수도 있다. 예를 들어, 비디오 인코더는 수평 래스터 스캐닝 순서를 사용하여 팔레트 인덱스들을 스캐닝함으로써 팔레트 인덱스들의 2 차원 블록을 1 차원 어레이로 변환할 수도 있다. 마찬가지로, 비디오 디코더는 수평 래스터 스캐닝 순서를 사용하여 팔레트 인덱스들의 블록을 복원할 수도 있다. 따라서, 본 개시물은 스캐닝 순서에서 블록에서 현재 코딩되고 있는 샘플들을 선행하는 샘플과 같은 이전 샘플을 지칭할 수도 있다. 수평 래스터 스캔과 다른 스캔들, 예컨대 수직 래스터 스캐닝 순서가 또한, 적용 가능할 수도 있다는 것이 인지되어야 한다. 위의 예, 뿐만 아니라 본 개시물에 설명된 다른 예들은 팔레트-기반 비디오 코딩의 일반적인 설명을 제공하도록 의도된다.
도 1 은 본 개시물의 기법들을 이용할 수도 있는 예시의 비디오 코딩 시스템 (10) 을 예시하는 블록도이다. 본원에 설명된 바와 같이, 용어 "비디오 코더" 는 일반적으로 비디오 인코더들 및 비디오 디코더들 양자 모두를 지칭한다. 본 개시물에서, 용어들 "비디오 코딩" 또는 "코딩" 은 비디오 인코딩 또는 비디오 디코딩을 일반적으로 지칭할 수도 있다. 비디오 코딩 시스템 (10) 의 비디오 인코더 (20) 및 비디오 디코더 (30) 는 본 개시물에 설명된 다양한 예들에 따라 엔트로피 코딩 (예를 들어, CABAC) 및 팔레트-기반 비디오 코딩에 대한 기법들을 수행하도록 구성될 수도 있는 디바이스들의 예들을 나타낸다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 팔레트-기반 코딩이나 비-팔레트 기반 코딩을 사용하여, HEVC 코딩에서 CU들 또는 PU들과 같은 비디오 데이터의 다양한 블록들을 선택적으로 코딩하도록 구성될 수도 있다. 비-팔레트 기반 코딩 모드들은 다양한 인터-예측 시간적 코딩 모드들 또는 인트라-예측 공간적 코딩 모드들, 예컨대 HEVC 표준에 의해 지정된 다양한 코딩 모드들을 지칭할 수도 있다.
도 1 에 도시된 바와 같이, 비디오 코딩 시스템 (10) 은 소스 디바이스 (12) 및 목적지 디바이스 (14) 를 포함한다. 소스 디바이스 (12) 는 인코딩된 비디오 데이터를 생성한다. 따라서, 소스 디바이스 (12) 는 비디오 인코딩 디바이스 또는 비디오 인코딩 장치로서 지칭될 수도 있다. 목적지 디바이스 (14) 는 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오 데이터를 디코딩할 수도 있다. 따라서, 목적지 디바이스 (14) 는 비디오 디코딩 디바이스 또는 비디오 디코딩 장치로서 지칭될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 비디오 코딩 디바이스들 또는 비디오 코딩 장치들의 예들일 수도 있다.
소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 데스크톱 컴퓨터들, 모바일 컴퓨팅 디바이스들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 소위 "스마트" 폰들과 같은 전화 핸드셋들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 매체 플레이어들, 비디오 게임용 콘솔들, 차량 내 컴퓨터들 등을 포함하는 광범위한 디바이스들을 포함할 수도 있다.
목적지 디바이스 (14) 는 채널 (16) 을 통해 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신할 수도 있다. 채널 (16) 은 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 인코딩된 비디오 데이터를 이동시킬 수 있는 하나 이상의 미디어 또는 디바이스들을 포함할 수도 있다. 일 예에서, 채널 (16) 은, 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 실시간으로 직접 송신하게 하는 하나 이상의 통신 매체를 포함할 수도 있다. 이 예에서, 소스 디바이스 (12) 는 통신 표준, 예컨대 무선 통신 프로토콜에 따라 인코딩된 비디오 데이터를 변조할 수도 있고, 변조된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수도 있다. 하나 이상의 통신 매체는 무선 및/또는 유선 통신 매체, 예컨대 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 하나 이상의 통신 매체는 패킷-기반 네트워크, 예컨대 근거리 네트워크, 광-대역 네트워크, 또는 글로벌 네트워크 (예를 들어, 인터넷) 의 부분을 형성할 수도 있다. 하나 이상의 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는 다른 장비를 포함할 수도 있다.
다른 예에서, 채널 (16) 은 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오 데이터를 저장하는 저장 매체를 포함할 수도 있다. 이 예에서, 목적지 디바이스 (14) 는, 예를 들어 디스크 액세스 또는 카드 액세스를 통해 저장 매체에 액세스할 수도 있다. 저장 매체는 다양한 국부적으로-액세스된 데이터 저장 매체, 예컨대 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 다른 적합한 디지털 저장 매체를 포함할 수도 있다.
추가의 예에서, 채널 (16) 은 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오 데이터를 저장하는 다른 중간 저장 디바이스 또는 파일 서버를 포함할 수도 있다. 이 예에서, 목적지 디바이스 (14) 는 파일 서버 또는 다른 중간 저장 디바이스에 저장된 인코딩된 비디오 데이터를 스트리밍 또는 다운로드를 통해 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장할 수 있고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수 있는 유형의 서버일 수도 있다. 예시의 파일 서버들은 (예를 들어, 웹사이트용의) 웹서버, 파일 트랜스퍼 프로토콜 (FTP) 서버, NAS (network attached storage) 디바이스들, 및 로컬 디스크 드라이브들을 포함한다.
목적지 디바이스 (14) 는 인터넷 접속과 같은 표준 데이터 접속을 통해 인코딩된 비디오 데이터에 액세스할 수도 있다. 데이터 접속들의 예시의 유형들은 파일 서버 상에 저장된 인코딩된 비디오 데이터에 액세스하기에 적합한 무선 채널들 (예를 들어, Wi-Fi 접속들), 유선 접속들 (예를 들어, DSL, 케이블 모뎀 등), 또는 양자 모두의 조합들을 포함할 수도 있다. 파일 서버로부터 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 양자 모두의 조합일 수도 있다.
소스 디바이스 (12) 및 목적지 디바이스 (14) 는 본 개시물과 일치하는 팔레트-기반 코딩 및 엔트로피 코딩 (예를 들어, CABAC) 을 수행하도록 구성될 수도 있다. 그러나, 팔레트-기반 코딩 또는 CABAC 에 대한 본 개시물의 기법들은 무선 애플리케이션들 또는 설정들에 제한되지 않는다. 본 기법은 다양한 멀티미디어 애플리케이션들, 예컨대 지상파 (over-the-air) 텔레비전 방송들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예를 들어 인터넷을 통한 스트리밍 비디오 송신들, 데이터 저장 매체 상의 저장을 위한 비디오 데이터의 인코딩, 데이터 저장 매체 상에 저장된 비디오 데이터의 디코딩, 또는 다른 애플리케이션들을 지원하여 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 비디오 코딩 시스템 (10) 은, 비디오 스트리밍, 비디오 플레이백, 비디오 방송, 및/또는 비디오 텔레포니와 같은 애플리케이션들을 지원하기 위해 일방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 에 예시된 비디오 코딩 시스템 (10) 은 단지 일 예이고, 본 개시물의 기법들은 인코딩 디바이스와 디코딩 디바이스 간의 임의의 데이터 통신을 반드시 포함하지는 않는 비디오 코딩 설정들 (예를 들어, 비디오 인코딩 또는 비디오 디코딩) 에 적용할 수도 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 취출되고, 네트워크를 통해 스트리밍되는 등등이다. 비디오 인코딩 디바이스는 데이터를 인코딩하여 메모리에 저장할 수도 있고/있거나 비디오 디코딩 디바이스는 데이터를 메모리로부터 취출하여 디코딩할 수도 있다. 많은 예들에서, 인코딩 및 디코딩은 서로와 통신하지 않지만 단순히 데이터를 메모리에 인코딩하고/하거나 데이터를 메모리로부터 취출하여 디코딩하는 디바이스들에 의해 수행된다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부 예들에서, 출력 인터페이스 (22) 는 변조기/복조기 (modem) 및/또는 송신기를 포함할 수도 있다. 비디오 소스 (18) 는 비디오 캡처 디바이스, 예를 들어 비디오 카메라, 이전에 캡처된 비디오 데이터를 포함하는 비디오 아카이브, 비디오 콘텐트 제공자로부터 비디오 데이터를 수신하기 위한 비디오 피드 인터페이스, 및/또는 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 비디오 데이터의 이러한 소스들의 조합을 포함할 수도 있다.
비디오 인코더 (20) 는 비디오 소스 (18) 로부터의 비디오 데이터를 인코딩할 수도 있다. 일부 예들에서, 소스 디바이스 (12) 는 인코딩된 비디오 데이터를 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 로 직접 송신한다. 다른 예들에서, 인코딩된 비디오 데이터는 또한, 디코딩 및/또는 플레이백을 위해 목적지 디바이스 (14) 에 의한 나중의 액세스를 위해 저장 매체 또는 파일 서버 상에 저장될 수도 있다.
도 1 의 예에서, 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 예들에서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함한다. 입력 인터페이스 (28) 는 채널 (16) 을 통해 인코딩된 비디오 데이터를 수신할 수도 있다. 디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합될 수도 있거나 또는 목적지 디바이스 (14) 외부에 있을 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 디스플레이한다. 디스플레이 디바이스 (32) 는 다양한 디스플레이 디바이스들, 예컨대 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 유형의 디스플레이 디바이스를 포함할 수도 있다.
본 개시물은, 일반적으로 비디오 인코더 (20) 가 소정의 정보를 다른 디바이스, 예컨대 비디오 디코더 (30) 로 "시그널링" 또는 "송신" 하는 것을 지칭할 수도 있다. 용어 "시그널링" 또는 "송신" 은 일반적으로, 압축된 비디오 데이터를 디코딩하는데 사용된 신택스 엘리먼트들 및/또는 다른 데이터의 통신을 지칭할 수도 있다. 이러한 통신은 실시간 또는 거의 실시간으로 발생할 수도 있다. 대안으로, 이러한 통신은 어떤 기간 동안 발생할 수도 있고, 예컨대 인코딩 시에 인코딩된 비트스트림으로 컴퓨터 판독가능 저장 매체에 신택스 엘리먼트들을 저장할 때 발생할 수도 있고, 신택스 엘리먼트는 그 후 이 매체에 저장된 후에 언제든지 디코딩 디바이스에 의해 취출될 수도 있다. 따라서, 비디오 디코더 (30) 가 소정의 정보를 "수신하는 것" 으로서 지칭될 수도 있는 동안, 정보의 수신은 반드시 실시간으로 또는 거의 실시간으로 발생하지 않고 저장 후 언젠가 매체로부터 취출될 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 임의의 다양한 적합한 회로부, 예컨대 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서 (DSP) 들, 주문형 집적 회로들 (ASIC) 들, 필드 프로그램가능 게이트 어레이 (FPGA) 들, 이산 로직, 하드웨어, 또는 이들의 임의의 조합들로서 구현될 수도 있다. 이 기법들이 부분적으로 소프트웨어로 구현되는 경우, 디바이스는 그 소프트웨어에 대한 명령들을 적합한 비일시적 컴퓨터 판독가능 저장 매체에 저장할 수도 있고, 본 개시물의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 그 명령들을 실행할 수도 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는) 전술한 것들 중 어느 하나가 하나 이상의 프로세서들인 것으로 간주될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있고, 이들 중 어느 것도 결합된 인코더/디코더 (CODEC) 의 일부로서 각각의 디바이스에 통합될 수도 있다.
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 비디오 압축 표준, 예컨대 위에서 언급되고 HEVC 표준으로 설명된 HEVC 표준에 따라 동작한다. 기본 HEVC 표준에 추가하여, 스케일러블 비디오 코딩, 멀티뷰 비디오 코딩, 및 HEVC 에 대한 3D 코딩 확장들을 생성하기 위해 진행 중인 노력들이 존재한다. 또한, 예를 들어 본 개시물에 설명된 바와 같은 팔레트-기반 코딩 모드들은 HEVC 표준의 확장을 위해 제공될 수도 있다. 일부 예들에서, 팔레트-기반 코딩에 대해 본 개시물에 설명된 기법들은 다른 비디오 코딩 표준들에 따라 동작하도록 구성된 인코더들 및 디코더들에 적용될 수도 있다. 따라서, HEVC 코덱에서 코딩 유닛들 (CUs) 또는 예측 유닛들 (PUs) 의 코딩을 위한 팔레트-기반 코딩 모드의 적용이 예시의 목적을 위해 설명된다.
HEVC 및 다른 비디오 코딩 표준들에서, 비디오 시퀀스는 통상적으로 일련의 픽처들을 포함한다. 픽처들은 또한, "프레임들" 로서 지칭될 수도 있다. 픽처는 SL, SCb, 및 SCr 로 표기된 3 개의 샘플 어레이들을 포함할 수도 있다. SL 은 루마 샘플들의 2-차원 어레이 (즉, 블록) 이다. SCb 는 Cb 크로미넌스 샘플들의 2-차원 어레이이다. SCr 은 Cr 크로미넌스 샘플들의 2-차원 어레이이다. 크로미넌스 샘플들은 또한, 본원에서 "크로마" 샘플들로서 지칭될 수도 있다. 다른 인스턴스들에서, 픽처는 모노크롬일 수도 있고, 루마 샘플들의 어레이 만을 포함할 수도 있다.
픽처의 인코딩된 표현을 생성하기 위해, 비디오 인코더 (20) 는 코딩 트리 유닛 (CTU) 들의 세트를 생성할 수도 있다. CTU들 각각은 루마 샘플들의 코딩 트리 블록, 크로마 샘플들의 2 개의 대응하는 코딩 트리 블록들, 및 코딩 트리 블록들의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다. 코딩 트리 블록은 샘플들의 NxN 블록일 수도 있다. CTU 는 또한, "트리 블록" 또는 "최대 코딩 유닛" (LCU) 으로서 지칭될 수도 있다. HEVC 의 CTU 들은 H.264/AVC 와 같은 다른 표준들의 매크로블록들과 광범위하게 유사할 수도 있다. 그러나, CTU 는 반드시 특정 사이즈에 제한되지 않고, 하나 이상의 코딩 유닛들 (CUs) 을 포함할 수도 있다. 슬라이스는 래스터 스캔으로 연속적으로 오더링된 정수의 CTU 들을 포함할 수도 있다. 코딩된 슬라이스는 슬라이스 헤더 및 슬라이스 데이터를 포함할 수도 있다. 슬라이스의 슬라이스 헤더는 슬라이스에 관한 정보를 제공하는 신택스 엘리먼트들을 포함하는 신택스 구조일 수도 있다. 슬라이스 데이터는 슬라이스의 코딩된 CTU들을 포함할 수도 있다.
본 개시물은 샘플들의 하나 이상의 블록들의 샘플들을 코딩하는데 사용된 하나 이상의 샘플 블록들 및 신택스 구조들을 지칭하기 위해 용어 "비디오 유닛" 또는 "비디오 블록" 또는 "블록" 을 사용할 수도 있다. 비디오 유닛들 또는 블록들의 예시의 유형들은 CTU들, CU들, PU들, 변환 유닛(TU) 들, 매크로블록들, 매크로블록 파티션들 등을 포함할 수도 있다. 일부 맥락들에서, PU들의 논의는 매크로블록들 또는 매크로블록 파티션들의 논의와 상호교환될 수도 있다.
코딩된 CTU 를 생성하기 위해, 비디오 인코더 (20) 는 CTU 의 코딩 트리 블록들 상에서 쿼드-트리 파티셔닝을 재귀적으로 수행하여 코딩 트리 블록들을 코딩 블록들, 따라서 명칭 "코딩 트리 유닛들" 로 분할할 수도 있다. 코딩 블록은 샘플들의 NxN 블록일 수도 있다. CU 는 루마 샘플 어레이, Cb 샘플 어레이, 및 Cr 샘플 어레이를 갖는 픽처의 루마 샘플들의 코딩 블록 및 크로마 샘플들의 2 개의 대응하는 코딩 블록들, 및 코딩 블록들의 샘플들을 코딩하는데 사용된 신택스 구조들일 수도 있다. 비디오 인코더 (20) 는 CU 의 코딩 블록을 하나 이상의 예측 블록들로 파티셔닝할 수도 있다. 예측 블록은, 동일한 예측이 적용되는 샘플들의 직사각형 (즉, 정사각형 또는 비-정사각형) 블록일 수도 있다. CU 의 예측 유닛 (PU) 은 루마 샘플들의 예측 블록, 픽처의 크로마 샘플들의 2 개의 대응하는 예측 블록들, 및 예측 블록 샘플들을 예측하는데 사용된 신택스 구조들일 수도 있다. 비디오 인코더 (20) 는 CU 의 각각의 PU 의 루마, Cb 및 Cr 예측 블록들에 대한 예측 루마, Cb, 및 Cr 블록들을 생성할 수도 있다.
비디오 인코더 (20) 는 인트라 예측 또는 인터 예측을 사용하여 PU 에 대한 예측 블록들을 생성할 수도 있다. 비디오 인코더 (20) 가 인트라 예측을 사용하여 PU 의 예측 블록들을 생성하는 경우, 비디오 인코더 (20) 는 PU 와 연관된 픽처의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
비디오 인코더 (20) 가 인터 예측을 사용하여 PU 의 예측 블록들을 생성하는 경우, 비디오 인코더 (20) 는 PU 와 연관된 픽처 외에 하나 이상의 픽처들의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다. 비디오 인코더 (20) 는 단방향-예측 또는 양방향-예측을 사용하여 PU 의 예측 블록들을 생성할 수도 있다. 비디오 인코더 (20) 가 단방향-예측을 사용하여 PU 에 대한 예측 블록들을 생성하는 경우, PU 는 단일의 모션 벡터 (MV) 를 가질 수도 있다. 비디오 인코더 (20) 가 양방향-예측을 사용하여 PU 에 대한 예측 블록들을 생성하는 경우, PU 는 2 개의 MV들을 가질 수도 있다.
비디오 인코더 (20) 가 CU 의 하나 이상의 PU들에 대한 예측 블록들 (예를 들어, 예측 루마, Cb 및 Cr 블록들) 을 생성한 후에, 비디오 인코더 (20) 는 CU 에 대한 잔차 블록들을 생성할 수도 있다. CU 의 잔차 블록에서 각각의 샘플은 CU 의 PU 의 예측 블록에서의 샘플과 CU 의 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낼 수도 있다. 예를 들어, 비디오 인코더 (20) 는 CU 에 대한 루마 잔차 블록을 생성할 수도 있다. CU 의 루마 잔차 블록에서 각각의 샘플은, CU 의 예측 루마 블록들 중 하나에서의 루마 샘플과 CU 의 원래의 루마 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낸다. 또한, 비디오 인코더 (20) 는 CU 에 대한 Cb 잔차 블록을 생성할 수도 있다. CU 의 Cb 잔차 블록에서 각각의 샘플은, CU 의 예측 Cb 블록들 중 하나에서의 Cb 샘플과 CU 의 원래의 Cb 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낼 수도 있다. 비디오 인코더 (20) 는 또한, CU 에 대한 Cr 잔차 블록을 생성할 수도 있다. CU 의 Cr 잔차 블록에서 각각의 샘플은, CU 의 예측 Cr 블록들 중 하나에서의 Cr 샘플과 CU 의 원래의 Cr 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낼 수도 있다.
또한, 비디오 인코더 (20) 는 쿼드-트리 파티셔닝을 사용하여, CU 의 잔차 블록들 (예를 들어, 루마, Cb, 및 Cr 잔차 블록들) 을 하나 이상의 변환 블록들 (예를 들어, 루마, Cb, 및 Cr 변환 블록들) 로 분해할 수도 있다. 변환 블록은, 동일한 변환이 적용되는 샘플들의 직사각형 블록일 수도 있다. CU 의 변환 유닛 (TU) 은 루마 샘플들의 변환 블록, 크로마 샘플들의 2 개의 대응하는 변환 블록들, 및 변환 블록 샘플들을 변환하는데 사용된 신택스 구조들일 수도 있다. 따라서, CU 의 각각의 TU 는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수도 있다. TU 와 연관된 루마 변환 블록은 CU 의 루마 잔차 블록의 서브-블록일 수도 있다. Cb 변환 블록은 CU 의 Cb 잔차 블록의 서브-블록일 수도 있다. Cr 변환 블록은 CU 의 Cr 잔차 블록의 서브-블록일 수도 있다.
비디오 인코더 (20) 는 변환 블록에 하나 이상의 변환들을 적용하여 TU 에 대한 계수 블록을 생성할 수도 있다. 계수 블록은 변환 계수들의 2-차원 어레이일 수도 있다. 변환 계수는 스칼라 양일 수도 있다. 예를 들어, 비디오 인코더 (20) 는 TU 에 대한 루마 계수 블록을 생성하기 위해 TU 의 루마 변환 블록에 하나 이상의 변환들을 적용할 수도 있다. 비디오 인코더 (20) 는 TU 에 대한 Cb 계수 블록을 생성하기 위해 TU 의 Cb 변환 블록에 하나 이상의 변환들을 적용할 수도 있다. 비디오 인코더 (20) 는 TU 에 대한 Cr 계수 블록을 생성하기 위해 TU 의 Cr 변환 블록에 하나 이상의 변환들을 적용할 수도 있다.
계수 블록 (예를 들어, 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록) 을 생성한 후에, 비디오 인코더 (20) 는 계수 블록을 양자화할 수도 있다. 양자화는 일반적으로, 변환 계수들을 표현하기 위해 사용된 데이터의 양을 가능한 감소시키기 위해 변환 계수들이 양자화되어, 추가의 압축을 제공하는 프로세스를 지칭한다. 비디오 인코더 (20) 가 계수 블록을 양자화한 후에, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들 상에 콘텍스트-적응 바이너리 산술 코딩 (CABAC) 을 수행할 수도 있다.
CABAC 에 대하여, 일 예로서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 확률 모델 (또한, 콘텍스트 모델로서 지칭됨) 을 선택하여, 콘텍스트에 기초한 비디오 데이터의 블록과 연관된 심볼들을 코딩할 수도 있다. 예를 들어, 콘텍스트 모델 (Ctx) 은, 각각 특정 확률 모델에 대응할 수도 있는 복수의 상이한 콘텍스트들 중 하나를 선택하도록 적용되는 오프셋 또는 인덱스일 수도 있다. 따라서, 상이한 확률 모델이 통상적으로, 각각의 콘텍스트에 대해 정의된다. 빈을 인코딩 또는 디코딩한 후에, 확률 모델은 또한, 빈에 대한 가장 현재의 확률 추정치들을 반영하도록 빈의 값에 기초하여 업데이트된다. 예를 들어, 확률 모델은 유한 상태 머신에서 상태로서 유지될 수도 있다. 각각의 특정 상태는 특정 확률 값에 대응할 수도 있다. 확률 모델의 업데이트에 대응하는 다음의 상태는, 현재의 빈 (예를 들어, 현재 코딩되고 있는 빈) 의 값에 의존할 수도 있다. 따라서, 확률 모델의 선택은 이전에 코딩된 빈들의 값들에 의해 영향을 받을 수도 있는데, 이 값들은, 소정 값을 갖는 빈의 확률을 적어도 부분적으로 나타내기 때문이다. 위에서 설명된 콘텍스트 코딩 프로세스는 일반적으로, 콘텍스트-적응 코딩 모드로서 지칭될 수도 있다.
따라서, 비디오 인코더 (20) 는 확률 모델을 사용하여 타겟 심볼을 인코딩할 수도 있다. 마찬가지로, 비디오 디코더 (30) 는 확률 모델을 사용하여 타겟 심볼을 파싱할 수도 있다. 일부 인스턴스들에서, 비디오 인코더 (20) 는 콘텍스트 적응 및 비-콘텍스트 적응 코딩의 조합을 사용하여 신택스 엘리먼트들을 코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 빈들의 일부를 코딩하도록 콘텍스트 상에서 동작하는 "콘텍스트 모델" 또는 확률 모델을 선택함으로써 빈들을 콘텍스트 코딩할 수도 있다. 반대로, 다른 빈들에 대해, 비디오 인코더 (20) 는 빈들을 코딩할 때 규칙적인 산술 코딩 프로세스를 바이패스, 또는 생략함으로써 빈들을 바이패스 코딩할 수도 있다. 이러한 예들에서, 비디오 인코더 (20) 는 고정된 확률 모델을 사용하여 빈들을 바이패스 코딩할 수도 있다. 즉, 바이패스 코딩된 빈들은 콘텍스트 또는 확률 업데이트들을 포함하지 않는다.
비디오 인코더 (20) 는 엔트로피-인코딩된 신택스 엘리먼트들을 포함하는 비트스트림을 출력할 수도 있다. 비트스트림은 또한, 엔트로피 인코딩되지 않은 신택스 엘리먼트들을 포함할 수도 있다. 비트스트림은 코딩된 픽처들 및 연관된 데이터의 표현을 형성하는 비트들의 시퀀스를 포함할 수도 있다. 비트스트림은 네트워크 추상 계층 (NAL) 유닛들의 시퀀스를 포함할 수도 있다. NAL 유닛들 각각은 NAL 유닛 헤더를 포함하고, 로 (raw) 바이트 시퀀스 페이로드 (RBSP) 를 캡슐화한다. NAL 유닛 헤더는 NAL 유닛 유형 코드를 나타내는 신택스 엘리먼트를 포함할 수도 있다. NAL 유닛의 NAL 유닛 헤더에 의해 지정된 NAL 유닛 유형은 NAL 유닛의 유형을 나타낸다. RBSP 는 NAL 유닛 내에 캡슐화되는 정수의 바이트들을 포함하는 신택스 구조일 수도 있다. 일부 인스턴스들에서, RBSP 는 0 비트들을 포함한다.
NAL 유닛들의 상이한 유형들은 RBSP들의 상이한 유형들을 캡슐화할 수도 있다. 예를 들어, NAL 유닛의 제 1 유형은 픽처 파라미터 세트 (PPS) 에 대한 RBSP 를 캡슐화할 수도 있고, NAL 유닛의 제 2 유형은 코딩된 슬라이스에 대한 RBSP 를 캡슐화할 수도 있고, NAL 유닛의 제 3 유형은 보충 강화 정보 (SEI) 에 대한 RBSP 를 캡슐화할 수도 있는 등등이다. (SEI 메시지들 및 파라미터 세트들에 대한 RBSP들과 대조적으로) 비디오 코딩 데이터에 대한 RBSP들을 캡슐화하는 NAL 유닛들은 비디오 코딩 계층 (VCL) NAL 유닛들로서 지칭될 수도 있다.
비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 생성된 비트스트림을 수신할 수도 있다. 또한, 비디오 디코더 (30) 는 비트스트림을 파싱하여 비트스트림으로부터 신택스 엘리먼트들을 디코딩할 수도 있다. 비디오 디코더 (30) 는 비트스트림으로부터 디코딩된 신택스 엘리먼트들에 적어도 부분적으로 기초하여 비디오 데이터의 픽처들을 복원할 수도 있다. 비디오 데이터를 복원하기 위한 프로세스는 일반적으로, 비디오 인코더 (20) 에 의해 수행된 프로세스와 상반될 수도 있다. 예를 들어, 비디오 디코더 (30) 는 PU들의 MV들을 사용하여, 현재 CU 의 인터-예측된 PU들에 대한 예측 블록들을 결정할 수도 있다. 유사하게, 비디오 디코더 (30) 는 현재 CU 의 PU들에 대한 인트라-예측된 블록들을 생성할 수도 있다. 또한, 비디오 디코더 (30) 는 현재 CU 의 TU들과 연관된 변환 계수 블록들을 역 양자화할 수도 있다. 비디오 디코더 (30) 는 변환 계수 블록들 상에서 역 변환을 수행하여, 현재 CU 의 TU들과 연관된 변환 블록들을 복원할 수도 있다. 비디오 디코더 (30) 는 현재 CU 의 PU들에 대한 예측 블록들의 샘플들을 현재 CU 의 TU들의 변환 블록들의 역 양자화 및 역 변환으로부터 획득된 대응하는 잔차 값들에 추가함으로써 현재 CU 의 코딩 블록들을 복원할 수도 있다. 픽처의 각각의 CU 에 대한 코딩 블록들을 복원함으로써, 비디오 디코더 (30) 는 픽처를 복원할 수도 있다.
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 팔레트-기반 코딩을 수행하도록 구성될 수도 있다. 예를 들어, 팔레트 기반 코딩에서는, 위에서 설명된 인트라-예측 또는 인터-예측 코딩 기법들을 수행하기 보다는, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 특정 영역 (예를 들어, 소정 블록) 의 비디오 데이터를 나타내는 픽셀 값들 또는 컬러들의 테이블과 같은 소위 팔레트를 코딩할 수도 있다 . 이 방식에서, 비디오 데이터의 현재 블록에 대한 실제 픽셀 값들 또는 그 잔차분들을 코딩하기 보다는, 비디오 코더는 현재 블록의 픽셀 값들 중 하나 이상에 대한 인덱스 값들을 코딩할 수도 있고, 여기서 인덱스 값들은 현재 블록의 픽셀 값들을 나타내는데 사용되는 팔레트에서의 엔트리들을 나타낸다.
예를 들어, 비디오 인코더 (20) 는 블록의 팔레트를 결정하고, 각각의 픽셀의 값을 나타내도록 팔레트에 엔트리를 위치시키며, 팔레트에 픽셀 값을 관련시키는 픽셀들에 대한 인덱스 값들 및 팔레트를 인코딩함으로써 비디오 데이터의 블록을 인코딩할 수도 있다. 비디오 디코더 (30) 는, 인코딩된 비트스트림으로부터 블록에 대한 팔레트, 뿐만 아니라 블록의 픽셀들에 대한 인덱스 값들을 획득할 수도 있다. 비디오 디코더 (30) 는 개별의 픽셀들의 인덱스 값들을 팔레트의 엔트리들에 일치시켜, 블록의 픽셀 값들을 복원할 수도 있다. 개별의 픽셀과 연관된 인덱스 값이 블록에 대한 대응하는 팔레트의 임의의 인덱스 값에 일치하지 않는 인스턴스들에서, 비디오 디코더 (30) 는 팔레트-기반 코딩의 목적들을 위해, 이러한 픽셀을 이스케이프 픽셀로서 식별할 수도 있다.
이하에서 더 상세히 설명되는 바와 같이, 팔레트-기반 코딩의 기본 아이디어는, 코딩될 비디오 데이터의 소정 블록에 대해, 비디오 인코더 (20) 가 현재 블록에서 가장 우세한 픽셀 값들을 포함하는 팔레트를 도출할 수도 있다는 것이다. 예를 들어, 팔레트는 현재 CU 에 대해 대표적이고/이거나 우세한 것으로 결정 또는 가정되는 다수의 픽셀 값들을 지칭할 수도 있다. 비디오 인코더 (20) 는 먼저, 팔레트의 엘리먼트들 및 사이즈를 비디오 디코더 (30) 로 송신할 수도 있다. 부가적으로, 비디오 인코더 (20) 는 소정의 스캐닝 순서에 따라 소정 블록에서 픽셀 값들을 인코딩할 수도 있다. 소정의 블록에 포함된 각각의 픽셀에 대해, 비디오 인코더 (20) 는 팔레트의 대응하는 엔트리에 픽셀 값을 맵핑하는 인덱스 값을 시그널링할 수도 있다. 픽셀 값이 팔레트에 포함되지 않으면 (즉, 팔레트-코딩된 블록의 특정 픽셀 값을 지정하는 팔레트 엔트리가 존재하지 않으면), 이러한 픽셀은 "이스케이프 픽셀" 로서 정의된다. 팔레트-기반 코딩에 따르면, 비디오 인코더 (20) 는 이스케이프 픽셀에 대해 예약되는 인덱스 값을 인코딩 및 시그널링할 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 또한, 소정 블록에 포함된 이스케이프 픽셀에 대한 픽셀 값 (또는 그 양자화된 버전) 을 인코딩 및 시그널링할 수도 있다. 예를 들어, 비디오 디코더 (30) 는, 왜곡 메트릭 (예를 들어, MSE, SAD, 등) 에 기초하여 픽셀 값이 팔레트 엔트리에 일치 또는 다르게는 밀접한지 여부를 결정하도록 구성될 수도 있다.
비디오 인코더 (20) 에 의해 시그널링된 인코딩된 비디오 비트스트림을 수신 시에, 비디오 디코더 (30) 는 먼저, 비디오 인코더 (20) 로부터 수신된 정보에 기초하여 팔레트를 결정할 수도 있다. 비디오 디코더 (30) 는 그 후, 소정 블록의 픽셀 로케이션들과 연관된 수신된 인덱스 값들을 팔레트의 엔트리들에 맵핑하여, 소정 블록의 픽셀 값들을 복원할 수도 있다. 일부 인스턴스들에서, 비디오 디코더 (30) 는, 예컨대 픽셀이 이스케이프 픽셀들에 대해 예약된 인덱스 값과 팔레트-코딩된다는 것을 결정함으로써, 팔레트-코딩된 블록의 픽셀이 이스케이프 픽셀이라는 것을 결정할 수도 있다. 비디오 디코더 (30) 가 팔레트-코딩된 블록에서 이스케이프 픽셀을 식별하는 인스턴스들에서, 비디오 디코더 (30) 는 소정 블록에 포함된 이스케이프 픽셀에 대한 픽셀 값 (또는 그 양자화된 버전) 을 수신할 수도 있다. 비디오 디코더 (30) 는 개별의 픽셀 값들을 대응하는 팔레트 엔트리들에 맵핑함으로써 팔레트-코딩된 블록을 복원하고, 픽셀 값 (또는 그 양자화된 버전) 을 사용함으로써 팔레트-코딩된 블록에 포함된 임의의 이스케이프 픽셀들을 복원할 수도 있다.
위에서 언급된 바와 같이, 예시의 팔레트-코딩 모드에서, 팔레트는 인덱스로 넘버링된 엔트리들을 포함할 수도 있다. 각각의 엔트리는, 최종 복원된 블록 샘플들로서 또는 블록에 대한 예측자로서 사용될 수 있는, (예를 들어, YCbCr, RGB, YUV, CMYK, 또는 다른 포맷들과 같은 컬러 공간들에서) 컬러 컴포넌트 값들 또는 세기들을 표현할 수도 있다. 표준 제출 문헌 『JCTVC-Q0094 (Wei Pu et al., "AHG10: Suggested Software for Palette Coding based on RExt6.0," JCTVC-Q0094, Valencia, ES, 27 March - 4 April 2014)』에서 설명된 바와 같이, 팔레트는 예측자 팔레트로부터 복사되는 엔트리들을 포함할 수도 있다. 예측자 팔레트는 팔레트 모드 또는 다른 복원된 샘플들을 사용하여 이전에 코딩된 블록들로부터 팔레트 엔트리들을 포함할 수도 있다. 예측자 팔레트에서 각각의 엔트리에 대해, 바이너리 플래그는, 그 엔트리가 현재 팔레트에 복사되는지 여부를 나타내도록 전송된다 (플래그 = 1 로 표시됨). 이것은, 바이너리 팔레트 예측 벡터로서 지칭된다. 부가적으로, 현재 팔레트는 명시적으로 시그널링된 새로운 엔트리들을 포함할 수도 있다 (예를 들어, 이들로 이루어질 수도 있다). 새로운 엔트리들의 수가 또한, 시그널링될 수도 있다.
다른 예로써, 팔레트 모드에서, 팔레트는 블록 샘플들에 대한 예측자들로서 또는 최종 복원된 블록 샘플들로서 사용될 수도 있는 컬러 컴포넌트 값들을 나타내는 인덱스에 의해 넘버링된 엔트리들을 포함할 수도 있다. 팔레트에서 각각의 엔트리는, 예를 들어 하나의 루마 컴포넌트 (예를 들어, 루마 값), 2 개의 크로마 컴포넌트들 (예를 들어, 2 개의 크로마 값들), 또는 3 개의 컬러 컴포넌트들 (예를 들어, RGB, YUV, 등) 을 포함할 수도 있다. 이전에 디코딩된 팔레트 엔트리들은 리스트에 저장될 수도 있다. 이 리스트는, 예를 들어 현재의 팔레트 모드 CU 에서 팔레트 엔트리들을 예측하는데 사용될 수도 있다. 바이너리 예측 벡터는, 리스트에서 어느 엔트리들이 현재 팔레트에서 재-사용되는지를 나타내도록 비트스트림으로 시그널링될 수도 있다. 일부 예들에서, 런-길이 코딩이 바이너리 플레이트 예측자를 압축하는데 사용될 수도 있다. 예를 들어, 런-길이 값은 0 차 지수-골롬 (Exp-Golomb) 코드를 사용하여 코딩될 수도 있다.
본 개시물에서, 각각의 팔레트 엔트리는 샘플의 모든 컬러 컴포넌트들에 대한 값들을 지정하는 것으로 가정될 것이다. 그러나, 본 개시물의 개념들은 각각의 컬러 컴포넌트에 대한 별개의 팔레트 엔트리 및/또는 별개의 팔레트를 사용하는 것에 적용 가능하다. 또한, 블록 내 샘플들은 수평 래스터 스캐닝 순서를 사용하여 프로세싱된다는 것이 가정된다. 그러나, 다른 스캔들, 예컨대 수직 래스터 스캐닝 순서가 또한, 적용 가능하다. 위에서 언급된 바와 같이, 팔레트는, 예를 들어 이전의 블록(들)을 코딩하는데 사용된 팔레트(들)로부터 예측된 예측된 팔레트 엔트리들, 및 현재 블록에 대해 특정될 수도 있고 명시적으로 시그널링되는 새로운 엔트리들을 포함할 수도 있다. 인코더 및 디코더는, 예측된 그리고 새로운 팔레트 엔트리들의 수를 알 수도 있고, 이들의 합은 블록에서 총 팔레트 사이즈를 나타낼 수도 있다.
위에서 인용된 JCTVC-Q0094 의 예에서 제안된 바와 같이, 팔레트로 코딩된 블록 내의 각각의 샘플은 이하에서 설명된 바와 같이, 3 개의 모드들 중 하나에 속할 수도 있다:
Figure 112017071179209-pct00001
이스케이프 (Escape) 모드. 이 모드에서, 샘플 값은 팔레트 엔트리로서 팔레트 안에 포함되지 않고, 양자화된 샘플 값이 모든 컬러 컴포넌트들에 대해 명시적으로 시그널링된다. 이것은 새로운 팔레트 엔트리들의 시그널링과 유사하지만, 새로운 팔레트 엔트리들에 대해, 컬러 컴포넌트 값들이 양자화되지는 않는다.
Figure 112017071179209-pct00002
상측 복사 (CopyAbove) 모드 (또한, 상단에서복사 (CopyFromTop) 모드로 지칭됨). 이 모드에서, 현재 샘플에 대한 팔레트 엔트리 인덱스는 샘플들의 블록에서 현재 샘플 바로 상측에 위치된 샘플로부터 복사된다. 다른 예들에서, 상측 복사 모드에 대해, 비디오 데이터의 블록은, 블록 상측의 샘플이 실제로 블록의 좌측의 샘플이도록 이동될 수도 있다.
Figure 112017071179209-pct00003
값 (Value) 모드 (또한, 인덱스 모드로 지칭됨). 이 모드에서, 팔레트 엔트리 인덱스의 값은 명시적으로 시그널링된다.
본원에 설명된 바와 같이, 팔레트 엔트리 인덱스는 팔레트 인덱스 또는 단순히 인덱스로서 지칭될 수도 있다. 이들 용어들은 본 개시물의 기법들을 설명하도록 상호 교환적으로 사용될 수 있다. 또한, 이하에서 더 상세히 설명되는 바와 같이, 팔레트 인덱스는 하나 이상의 연관된 컬러 또는 세기 값들을 가질 수도 있다. 예를 들어, 팔레트 인덱스는 픽셀의 단일 컬러 또는 세기 컴포넌트 (예를 들어, RGB 데이터의 Red 컴포넌트, YUV 데이터의 Y 컴포넌트 등) 와 연관된 단일의 연관된 컬러 또는 세기 값을 가질 수도 있다. 다른 예에서, 팔레트 인덱스는 다수의 연관된 컬러 또는 세기 값들을 가질 수도 있다. 일부 인스턴스들에서, 팔레트-기반 비디오 코딩은 모노크롬 비디오를 코딩하도록 적용될 수도 있다. 따라서, "컬러 값" 은 일반적으로, 픽셀 값을 생성하는데 사용된 임의의 컬러 또는 비-컬러 컴포넌트를 지칭할 수도 있다.
런 값은 동일한 팔레트-코딩 모드를 사용하여 코딩되는 팔레트 인덱스 값들의 런을 나타낼 수도 있다. 예를 들어, 값 모드에 대하여, 비디오 코더 (예를 들어, 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는 동일한 인덱스 값을 갖고 팔레트 인덱스로 코딩되고 있는 스캔 순서에서 연속적인 후속의 샘플들의 수를 나타내는 런 값 및 인덱스 값을 코딩할 수도 있다. 상측 복사 모드에 대하여, 비디오 코더는, 현재 샘플 값에 대한 인덱스 값이 상측-이웃하는 샘플 (예를 들어, 블록에서 현재 코딩되고 있는 샘플 상측에 위치되는 샘플) 의 인덱스 값과 동일하다는 표시 및 상측-이웃하는 샘플로부터 인덱스 값을 또한 복사하는 스캔 순서에서 연속적인 후속의 샘플들의 수를 나타내는 런 값을 코딩할 수도 있다. 따라서, 위의 예들에서, 팔레트 인덱스 값들의 런은 상측-이웃하는 샘플들로부터 복사되는 인덱스 값들의 런 또는 샘플 값을 갖는 팔레트 값들의 런을 지칭한다.
따라서, 런은, 소정 모드에 대해, 샘플 모드에 속하는 후속 샘플들의 수를 지정할 수도 있다. 일부 인스턴스들에서, 인덱스 값 및 런 값을 시그널링하는 것은 런-길이 코딩과 유사할 수도 있다. 예시의 목적들을 위한 예에서, 비디오 데이터의 블록에 대응하는 인덱스 블록의 연속적인 팔레트 인덱스 값들의 스트링은 0, 2, 2, 2, 2, 5 일 수도 있다. 각각의 인덱스 값은 비디오 데이터의 블록에서의 샘플에 대응한다. 이 예에서, 비디오 코더는 값 모드를 사용하여 제 2 샘플 (예를 들어, "2" 의 제 1 팔레트 인덱스 값) 을 코딩할 수도 있다. 2 의 인덱스 값을 코딩한 후에, 비디오 코더는, 3 개의 후속 샘플들이 또한 2 의 동일한 팔레트 인덱스 값을 갖는다는 것을 나타내는 3 의 런을 코딩할 수도 있다. 유사한 방식으로, 상측 복사 모드를 사용하여 인덱스를 코딩한 후에 4 개의 팔레트 인덱스들의 런을 코딩하는 것은, 총 5 개의 팔레트 인덱스들이 현재 코딩되고 있는 샘플 포지션 상측 로우에서 대응하는 팔레트 인덱스 값들로부터 복사된다는 것을 나타낼 수도 있다.
팔레트를 사용하여, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 샘플들의 블록 (예를 들어, 비디오 데이터의 블록) 을 인덱스 블록으로 코딩하도록 구성될 수도 있고, 여기서 인덱스 블록은 하나 이상의 팔레트 엔트리들, 및 일부 예들에서는 하나 이상의 이스케이프 픽셀 값들에 맵핑하는 인덱스 값들을 포함하는 블록이다. 비디오 인코더 (20) 는 인덱스 블록을 엔트로피 인코딩하여 인덱스 블록을 압축하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는, 비디오 디코더 (30) 가 샘플들의 블록 (예를 들어, 인코더 (20) 에 의해 인코딩된 비디오 데이터의 블록) 을 생성할 수도 있는 인덱스 블록을 생성하기 위해 인코딩된 인덱스 블록을 엔트로피 디코딩하도록 구성될 수도 있다. 예를 들어, 런-길이 기반 엔트로피 코딩은 인덱스 블록을 압축 및 압축해제하는데 사용될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 CABAC 를 사용하여 인덱스 블록을 각각 엔트로피 인코딩 및 디코딩하도록 구성될 수도 있다.
CABAC 코딩을 정보 (예를 들어, 신택스 엘리먼트, 인덱스 블록의 인덱스 값들과 같은 인덱스 값들, 또는 다른 정보) 에 적용하기 위해, 비디오 코더 (예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30)) 는 정보에 대해 바이너리화를 수행할 수도 있다. 바이너리화는 정보를 일련의 하나 이상의 비트들로 변환하는 프로세스를 지칭한다. 하나 이상의 비트들의 각각의 시리즈들은 "빈들" 로서 지칭될 수도 있다. 바이너리화는 무손실 프로세스이고, 다음의 코딩 기법들: 고정 길이 코딩, 단항 코딩, 트렁케이트된 단항 코딩, 트렁케이트된 라이스 코딩, 골롬 코딩, 지수 골롬 코딩, 골롬-라이스 코딩, 임의의 형태의 골롬 코딩, 임의의 형태의 라이스 코딩, 및 임의의 형태의 엔트로피 코딩 중 하나 또는 이들의 조합을 포함할 수도 있다. 예를 들어, 바이너리화는 5 의 정수 값을 단항 코딩 기법을 사용하여 11110 로서 또는 8-비트 고정 길이 기법을 사용하여 00000101 로서 나타내는 것을 포함할 수도 있다.
바이너리화 후에, 비디오 코더는 코딩 콘텍스트를 식별할 수도 있다. 코딩 콘텍스트는 특정 값들을 갖는 빈들을 코딩하는 확률들을 식별할 수도 있다. 예를 들어, 코딩 콘텍스트는 0-값의 빈을 코딩하는 0.7 확률 및 1-값의 빈을 코딩하는 0.3 확률을 나타낼 수도 있다. 코딩 콘텍스트를 식별한 후에, 비디오 코더는, 콘텍스트 모드 코딩으로서 알려지는 콘텍스트에 기초하여 그 빈을 산술적으로 코딩할 수도 있다. CABAC 콘텍스트 모드 코딩을 사용하여 코딩된 빈들은 "콘텍스트 빈들" 로서 지칭될 수도 있다.
또한, 모든 빈들에 대해 콘텍스트 모드 코딩을 수행하기 보다는, 비디오 코더 (예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30)) 는 바이패스 CABAC 코딩 (예를 들어, 바이패스 모드 코딩) 을 사용하여 일부 빈들을 코딩할 수도 있다. 바이패스 모드 코딩은 적응적 콘텍스트 (예를 들어, 코딩 콘텍스트) 를 사용하지 않고 빈을 산술적으로 코딩하는 프로세스를 지칭한다. 즉, 바이패스 코딩 엔진은 콘텍스트들을 선택하지 않고, 양자의 심볼들 (0 및 1) 에 대해 0.5 의 확률을 가정할 수도 있다. 바이패스 모드 코딩은 콘텍스트 모드 코딩만큼 대역폭-효율적이지 않을 수도 있지만, 이것은 빈에 대해 콘텍스트 모드 코딩을 수행하기 보다는 빈에 대해 바이패스 모드 코딩을 수행하기에 계산적으로 덜 비쌀 수도 있다. 또한, 바이패스 모드 코딩을 수행하는 것은 더 높은 정보의 병렬화 및 스루풋을 허용할 수도 있다. 바이패스 모드 코딩을 사용하여 코딩된 빈들은 "바이패스 빈들" 로서 지칭될 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 CABAC 코더 (예를 들어, CABAC 인코더 및 CABAC 디코더 각각) 로 구성될 수도 있다. CABAC 코더는 CABAC 콘텍스트 모드 코딩을 수행하기 위해 콘텍스트 모드 코딩 엔진 및 바이패스 모드 코딩을 수행하기 위해 바이패스 모드 코딩 엔진을 포함할 수도 있다. 빈이 콘텍스트 모드 코딩되면, 콘텍스트 모드 코딩 엔진이 이 빈을 코딩하는데 사용된다. 콘텍스트 모드 코딩 엔진은 단일의 빈을 코딩하기 위해 2 보다 많은 프로세싱 사이클들을 필요로 할 수도 있다. 그러나, 적절한 파이프라인 설계로, 콘텍스트 모드 코딩 엔진은 n 개의 빈들을 인코딩하기 위해 단지 n+M 사이클들을 필요로할 수도 있고, 여기서 M 은 파이프라인을 시작하기 위한 오버헤드이다. M 은 대개, 0 보다 크다.
CABAC 코딩 프로세스의 시작 시에 (즉, 바이패스 모드에서 콘텍스트 모드로 그리고 그 반대로 스위칭할 때마다), 파이프라인 오버헤드가 도입된다. 빈이 바이패스 모드 코딩되면, 바이패스 모드 코딩 엔진이 이 빈을 코딩하는데 사용된다. 바이패스 모드 코딩 엔진은 n-비트 정보를 코딩하기 위해 단지 하나의 사이클을 필요로 할 것으로 예상될 수도 있고, 여기서 n 은 1 보다 클 수도 있다. 따라서, 바이패스 빈들 및 콘텍스트 빈들의 세트를 코딩하기 위한 총 사이클들의 수는, 세트 내에서 바이패스 빈들 모두가 함께 코딩되고 세트 내에서 콘텍스트 빈들 모두가 함께 코딩된다면 감소될 수도 있다. 특히, 콘텍스트 모드 코딩으로 트랜지셔닝하기 전에 또는 후에 바이패스 빈들을 함께 코딩하는 것은 콘텍스트 모드 코딩 엔진을 재시작하는데 필요한 오버헤드를 절약할 수 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 팔레트 모드를 사용하여 비디오 데이터의 블록을 각각 인코딩 또는 디코딩하는 동안 바이패스 모드 내지 콘텍스트 모드 간에 스위칭하도록 구성될 수도 있다. 다른 예에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 팔레트 모드를 사용하여 비디오 데이터의 블록을 인코딩 또는 디코딩하는 경우 인코딩 또는 디코딩 프로세스가 바이패스 모드 내지 콘텍스트 모드 간에 스위칭하는 횟수들을 감소시키도록 구성될 수도 있다.
본 개시물에 설명된 기법들은 팔레트-기반 비디오 코딩 모드들을 시그널링하고, 팔레트들을 송신하고, 팔레트들을 도출하고, 스캐닝 순서를 시그널링하고, 스캐닝 순서를 도출하며, 팔레트-기반 비디오 코딩 맵들 및 다른 신택스 엘리먼트들을 송신하는 것 중 하나 이상의 다양한 조합들에 대한 기법들을 포함할 수도 있다. 예를 들어, 본 개시물의 기법들은 팔레트 정보를 엔트로피 코딩하는 것에 대한 것일 수도 있다. 일부 예들에서, 본 개시물의 기법들은, 다른 것들 중에서, 코딩 효율성을 증가시키고 팔레트-기반 비디오 코딩과 연관된 코딩 비효율성을 감소시키는데 사용될 수도 있다. 따라서, 이하에서 더 상세히 설명된 바와 같이, 본 개시물의 기법들은, 일부 인스턴스들에서 팔레트 모드를 사용하여 비디오 데이터를 코딩할 때 효율성을 개선시키고 비트레이트를 개선시킬 수도 있다.
전술된 바와 같이, 스크린 콘텐트 코딩의 현재 팔레트 모드 설계에서, palette_index_idc 및 palette _ escape _ val 의 신택스 엘리먼트들은 CABAC 바이패스 코딩되고, CABAC 콘텍스트 코딩되는 다른 신택스 엘리먼트들 (예를 들어, palette_run_msb_id_plus1) 과 인터리빙된다. 그러나, 바이패스 코딩된 정보 (예를 들어, 신택스 엘리먼트들) 를 함께 그루핑하는 것이 이로울 수도 있고, 이것은 코딩 효율성을 개선시키고/시키거나 코덱 복잡성을 감소시킬 수도 있다.
palette _ index _ idc 의 신택스 엘리먼트는, 예를 들어 JCTVC-S1005 에서 정의된 바와 같이 currentPaletteEntries 에 의해 표현된 어레이에 대한 인덱스의 표시일 수도 있다. palette_index_idc 의 값은 0 내지 (adjustedIndexMax-1) 를 포함하는 범위에 있을 수도 있다. palette _ escape _ val 의 신택스 엘리먼트는, 예를 들어 JCTVC-S1005 에서 정의된 바와 같이 컴포넌트에 대한 양자화된 이스케이프 코딩된 샘플 값을 지정할 수도 있다. palette _ run _ msb _ id _ plus1 마이너스 1 은, 예를 들어 JCTVC-S1005 에서 정의된 바와 같이 paletteRun 의 바이너리 표현에서 최상위 비트의 인덱스를 지정할 수도 있다. 변수 paletteRun 은, 예를 들어 JCTVC-S1005 에서 정의된 바와 같이, palette_run_type_flag 가 COPY_ABOVE_MODE 와 동일한 경우 상측 로우에서의 포지션과 동일한 팔레트 인덱스로 연속적인 로케이션들의 수 마이너스 1 을 지정할 수도 있거나, 또는 palette_run_type_flag 가 COPY_INDEX_MODE 와 동일한 경우 동일한 팔레트 인덱스로 연속적인 로케이션들의 수 마이너스 1 을 지정할 수도 있다. palette_index_idc, palette _ escape _ val , palette _ run _ msb _ id _ plus1, currentPaletteEntries, adjustedIndexMax, 및 paletteRun 에 관한 추가의 상세들은 JCTVC-S1005 에서 발견될 수도 있다.
일부 예들에서, 본 개시물은 CABAC 스루풋을 개선시키기 위해 팔레트 인덱스 블록 코딩 섹션의 프론트에서 신택스 엘리먼트들 palette _ index _ idc 의 전부를 그루핑하는 방법을 설명한다. 예를 들어, 비디오 인코더 (20) 는 팔레트 인덱스 블록 코딩 섹션의 프론트에서 신택스 엘리먼트들 palette _ index _ idc 모두를 인코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20), 콘텍스트 모드 인코딩될 신택스 엘리먼트들을 인코딩하기 전에 신택스 엘리먼트들 palette _ index _ idc 모두를 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는 팔레트 인덱스 블록 코딩 섹션의 프론트에서 신택스 엘리먼트들 palette _ index _ idc 모두를 디코딩하도록 구성될 수도 있다. 예를 들어, 비디오 디코더 (30) 는 콘텍스트 모드 인코딩된 신택스 엘리먼트들을 디코딩하기 전에 신택스 엘리먼트들 palette _ index _ idc 모두를 디코딩하도록 구성될 수도 있다.
다른 예로서, 비디오 인코더 (20) 는, 신택스 엘리먼트들 palette _ index _ idc 이 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 인코딩하기 전에, 인코딩되도록 팔레트 인덱스 블록 코딩 섹션의 프론트에서 신택스 엘리먼트들 palette _ index _ idc 모두를 바이패스 모드 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는, 신택스 엘리먼트들 palette _ index _ idc 모두가 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 디코딩하기 전에, 디코딩되도록 블록의 팔레트 인덱스 블록 코딩 섹션의 프론트에서 블록에 대한 신택스 엘리먼트들 palette _ index _ idc 모두를 디코딩하도록 구성될 수도 있다.
신택스 엘리먼트(들)은 팔레트 런 유형 (예를 들어, 상측 복사 모드 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련되었다.
다른 예로서, 비디오 인코더 (20) 는, 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 콘텍스트 인코딩하기 전에 신택스 엘리먼트들 palette_index_idc 모두를 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는, 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 콘텍스트 디코딩하기 전에 신택스 엘리먼트들 palette _ index _ idc 모두를 디코딩하도록 구성될 수도 있다.
다른 예로서, 비디오 인코더 (20) 는, 콘텍스트 모드 인코딩될 신택스 엘리먼트들을 인코딩하기 전에 팔레트 블록 코딩 섹션 내의 신택스 엘리먼트들 palette_index_idc 모두를 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는 콘텍스트 모드 인코딩된 신택스 엘리먼트들을 디코딩하기 전에 팔레트 블록 코딩 섹션 내의 신택스 엘리먼트들 palette _ index _ idc 모두를 디코딩하도록 구성될 수도 있다. 다른 예로서, 비디오 인코더 (20) 는, 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 콘텍스트 인코딩하기 전에 팔레트 블록 코딩 섹션 내의 신택스 엘리먼트들 palette _ index _ idc 모두를 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는, 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 콘텍스트 디코딩하기 전에 팔레트 블록 코딩 섹션 내의 신택스 엘리먼트들 palette _ index _ idc 모두를 디코딩하도록 구성될 수도 있다.
일반적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 콘텍스트 모드를 사용하여 각각 인코딩 또는 디코딩될 신택스 엘리먼트들과 바이패스 모드에서 palette_index_idc 의 인코딩 또는 디코딩을 인터리빙하지 않도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 콘텍스트 모드를 사용하여 각각 인코딩 또는 디코딩되는 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)과 바이패스 모드에서 palette _ index _ idc 의 인코딩 또는 디코딩을 인터리빙하지 않도록 구성될 수도 있다. 다른 예로서, 비디오 인코더 (20) 는 콘텍스트 모드를 요구하는 신택스 엘리먼트를 콘텍스트 인코딩하기 전에 palette _ index _ idc 신택스 엘리먼트의 모든 인스턴스들을 바이패스 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는 콘텍스트 모드를 요구하는 신택스 엘리먼트를 콘텍스트 디코딩하기 전에 palette _ index _ idc 신택스 엘리먼트의 모든 인스턴스들을 바이패스 디코딩하도록 구성될 수도 있다. 다른 예로서, 비디오 인코더 (20) 는, 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 콘텍스트 인코딩하기 전에 palette _ index _ idc 신택스 엘리먼트의 모든 인스턴스들을 바이패스 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는, 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 콘텍스트 디코딩하기 전에 palette _ index _ idc 신택스 엘리먼트의 모든 인스턴스들을 바이패스 디코딩하도록 구성될 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, palette _ index _ idc 의 어커런스들의 수를 나타내는 값을 각각 인코딩 및 디코딩할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 palette _ index _ idc 의 어커런스들의 수를 나타내는 값을 사용하여, 신택스 엘리먼트들 palette _ index _ idc 각각을 각기 인코딩 또는 디코딩할 수도 있다. 본 개시물에 설명된 기법들은 또한, 팔레트 런 길이 관련 신택스 엘리먼트들의 리던던시를 제거하고, palette _ run _ type _ flag 및 palette_index_idc 의 리던던시를 제거할 수도 있다.
일부 예들에서, 본 개시물은 CABAC 스루풋을 개선시키기 위해 블록 (예를 들어, PU 또는 CU) 의 팔레트 인덱스 블록 코딩 섹션의 프론트에서 신택스 엘리먼트들 palette _ escape _ val 모두를 그루핑하는 방법을 설명한다. 예를 들어, 비디오 인코더 (20) 는 블록의 팔레트 인덱스 블록 코딩 섹션의 프론트에서 신택스 엘리먼트들 palette _ escape _ val 모두를 인코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 는, 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 인코딩하기 전에 신택스 엘리먼트들 palette _ escape _ val 모두가 인코딩되도록 팔레트 인덱스 블록 코딩 섹션의 프론트에서 신택스 엘리먼트들 palette_escape_val 모두를 바이패스 모드 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는, 신택스 엘리먼트들 palette _ escape _ val 모두가 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 디코딩하기 전에 디코딩되도록 블록의 팔레트 인덱스 블록 코딩 섹션의 프론트에서 블록에 대한 신택스 엘리먼트들 palette _ escape _ val 모두를 디코딩하도록 구성될 수도 있다. 다른 예로서, 비디오 인코더 (20) 는, 콘텍스트 모드 인코딩될 신택스 엘리먼트들을 인코딩하기 전에 신택스 엘리먼트들 palette _ escape _ val 모두를 인코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 는, 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)을 콘텍스트 인코딩하기 전에 신택스 엘리먼트들 palette _ escape _ val 모두를 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는 블록의 팔레트 인덱스 블록 코딩 섹션의 프론트에서 블록에 대해 신택스 엘리먼트들 palette _ escape _ val 모두를 디코딩하도록 구성될 수도 있다. 예를 들어, 비디오 디코더 (30) 는 블록에서 콘텍스트 모드 인코딩된 신택스 엘리먼트들을 디코딩하기 전에 신택스 엘리먼트들 palette _ escape _ val 모두를 디코딩하도록 구성될 수도 있다.
다른 예로서, 비디오 인코더 (20) 는, 콘텍스트 모드 인코딩될 신택스 엘리먼트들을 인코딩하기 전에 블록의 팔레트 블록 코딩 섹션 내의 신택스 엘리먼트들 palette_escape_val 모두를 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는 블록의 콘텍스트 모드 인코딩된 신택스 엘리먼트들을 디코딩하기 전에 블록의 팔레트 블록 코딩 섹션 내의 신택스 엘리먼트들 palette _ escape _ val 모두를 디코딩하도록 구성될 수도 있다.
일반적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 블록의 콘텍스트 모드를 사용하여 각각 인코딩 또는 디코딩될 신택스 엘리먼트들과 바이패스 모드에서 블록 (예를 들어, PU 또는 CU) 에 대한 palette _ escape _ val 의 인코딩 또는 디코딩을 인터리빙하지 않도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 콘텍스트 모드를 사용하여 각각 인코딩 또는 디코딩되는 팔레트 런 유형 (예를 들어, 상측 복사 모드 또는 인덱스 모드) 및/또는 런 길이 (예를 들어, palette_run_msb_id_plus1) 에 관련된 신택스 엘리먼트(들)과 바이패스 모드에서 palette _ escape _ val 의 인코딩 또는 디코딩을 인터리빙하지 않도록 구성될 수도 있다. 다른 예로서, 비디오 인코더 (20) 는 콘텍스트 모드를 요구하는 신택스 엘리먼트를 콘텍스트 인코딩하기 전에 블록에 대한 palette_escape_val 신택스 엘리먼트의 모든 인스턴스들을 바이패스 인코딩하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는 블록의 콘텍스트 모드를 요구하는 신택스 엘리먼트를 콘텍스트 디코딩하기 전에 블록 (예를 들어, PU 또는 CU) 의 palette _ escape _ val 신택스 엘리먼트의 모든 인스턴스들을 바이패스 디코딩하도록 구성될 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, 블록에 대한 palette_escape_val 의 어커런스들의 수를 나타내는 값을 각각 인코딩 및 디코딩할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 palette _ escape _ val 의 어커런스들의 수를 나타내는 값을 사용하여, 블록에 대한 신택스 엘리먼트들 palette_escape_val 각각을 각기 인코딩 또는 디코딩할 수도 있다. 본 개시물에 설명된 기법들은 블록에 대한 palette _ index _ idc 의 동적 범위를 감소시킬 수도 있고, 이것은 개선된 코딩 효율성을 초래할 수도 있다.
본원에 설명된 기법들, 양태들, 및/또는 예들은 임의의 조합으로 서로 결합하여 또는 서로 별개로 이용될 수도 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 본원에 설명된 기법들, 양태들, 및/또는 예들 중 하나 이상의 임의의 적합한 조합 또는 어느 하나를 수행하도록 구성될 수도 있다.
일부 예들에서, CABAC 스루풋을 개선시키기 위해, 비디오 코더 (예를 들어, 비디오 인코더 (20)) 는 전술된 바와 같이 신택스 엘리먼트 palette _ index _ idc 의 어커런스들 모두를 그루핑하도록 구성될 수도 있다. 예를 들어, 비디오 코더 (예를 들어, 비디오 인코더 (20)) 는 현재 블록에 대한 인덱스 코딩 섹션의 프론트에서 현재 블록 (예를 들어, PU 또는 CU) 에서 신택스 엘리먼트 palette _ index _ idc 의 어커런스들 모두를 그루핑하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (예를 들어, 비디오 디코더 (30)) 는 전술된 바와 같이 신택스 엘리먼트들 palette_index_idc 모두를 디코딩하도록 구성될 수도 있다. 도 7 은 『R. Joshi and J. Xu, "High efficient video coding (HEVC) screen content coding: Draft 2," JCTVC-S1005, Section 7.3.3.8 』에 관하여 인덱스 코딩 블록의 프론트에서 현재 블록 (예를 들어, CU) 의 신택스 엘리먼트 palette _ index _ idc 의 어커런스들 모두를 그루핑하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 1 로서 지칭된다. 구체적으로, 도 7 은 (또한, 인덱스 코딩 블록의 프론트 또는 팔레트 블록 코딩 섹션으로서 지칭될 수도 있는) 인덱스 코딩 블록의 프론트에 신택스 엘리먼트 palette _ index _ idc 의 인스턴스를 재배치하는 비디오 인코더 (20) 의 예를 예시한다. 신택스 엘리먼트 palette _ index _ idc 의 예시된 인스턴스를 재배치함으로써, 비디오 인코더 (20) 는 바이패스 모드를 사용하여 신택스 엘리먼트 palette _ index _ idc 의 모든 인스턴스들을 코딩하고, 인덱스 코딩 블록에서 신택스 엘리먼트 palette _ index _ idc 의 모든 인스턴스들이 바이패스 모드 인코딩된 후에 발생하는 팔레트 정보를 코딩하기 위해 콘텍스트 모드로 스위칭함으로써 CABAC 스루풋을 개선시키도록 구성될 수도 있다.
JCTVC-S1005 의 개시물에 따르면, palette _ index _ idc 의 일 인스턴스가 바이패스 모드로 코딩될 것이고, 그 후 팔레트 런 유형에 관련된 신택스 엘리먼트의 일 인스턴스 및 palette _ run _ msb _ id _ plus1 의 일 인스턴스가 콘텍스트 모드로 코딩될 것이며, 프로세스가 while(scanPos < nCbS * nCbS) 을 반복할 것이고, 이것은 바이패스 모드를 사용하여 코딩될 신택스 엘리먼트들이 함께 그루핑되지 않기 때문에, 비디오 인코더가 바이패스 모드 코딩과 콘텍스트 모드 코딩 사이에서 뒤 및 앞으로 스위칭한다는 것을 의미한다. 이것은, "while(scanPos<nCbS * nCbS)" 의 while 루프 바로 아래의 타원 (즉, 타원은, 콘텍스트 모드를 사용하여 팔레트 런 유형에 관련된 신택스 엘리먼트가 인코딩된다는 것을 나타내는 정보를 배제함), "while(scanPos<nCbS * nCbS)" 의 while 루프 아래에 있는 palette _ index _ idc 신택스 엘리먼트의 결론부를 갖는 if-statement 를 둘러싸는 박스, 및 후속의 의사-코드로 도 7 에 도시된다. 그러나, 전술된 바와 같이 도 7 은 또한, 예를 들어 인덱스 코딩 블록의 프론트에 신택스 엘리먼트 palette _ index _ idc 의 하나 이상의 인스턴스들의 그루핑 (이것은 또한, 재배치로서 지칭될 수도 있음) 인, 본 개시물의 Aspect 1 을 도시한다. 바이패스 모드를 사용하여 인코딩될 하나 이상의 신택스 엘리먼트들 (예를 들어, 또는 다른 팔레트 정보) 을 재배치함으로써, 비디오 인코더 (예를 들어, 비디오 인코더 (20)) 는, 비디오 인코더 또는 비디오 디코더가 바이패스 모드 인코딩과 콘텍스트 모드 인코딩 사이에서 스위칭해야 하는 횟수를 감소시킴으로써 엔트로피 코딩의 스루풋을 증가시킬 수도 있다. 유사하게, 이러한 방식으로 하나 이상의 신택스 엘리먼트들을 재-배치함으로써, 비디오 디코더 (예를 들어, 비디오 디코더 (30)) 의 스루풋은, 비디오 디코더가 바이패스 모드 디코딩과 콘텍스트 모드 디코딩 사이에서 스위칭해야 하는 횟수가 감소되기 때문에 증가할 수도 있다. 본 개시물에 설명된 기법들의 일부 예들에서, palette_index_idc 신택스 엘리먼트의 모든 인스턴스들은, palette _ run _ msb _ id _ plus1 의 인스턴스가 콘텍스트 모드로 코딩되기 전에 바이패스 모드로 코딩될 것이다.
일부 예들에서, 비디오 인코더 (20) 는 예를 들어, num _ palette _ index 로 명명된 신택스 엘리먼트를 사용하여 신택스 엘리먼트 palette _ index _ idc 의 어커런스들 (예를 들어, 인스턴스들) 의 수를 시그널링하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 는 num _ palette _ index 에 대한 값을 비트스트림으로 시그널링할 수도 있고, 여기서 이 값은 신택스 엘리먼트 palette _ index _ idc 의 어커런스들의 수를 나타낸다. 일부 예들에서, 비디오 인코더 (20) 는 palette_index_idc 로서 인덱스 값을 시그널링하지 않도록 구성될 수도 있다. 이러한 예들에서, 비디오 디코더 (30) 는 인덱스 값을 추론하도록 구성될 수도 있다. 예를 들어, palette _ index _ idc 의 어커런스는 num _ palette _ index 에서 카운트될 수도 있고, 이것은 특정 블록에서 런 유형 (예를 들어, COPY_INDEX_MODE) 이 발생하는 횟수들과 동일할 수도 있다. 런 유형 (예를 들어, COPY_INDEX_MODE) 이 추론되거나 또는 palette _ index _ idc 가 추론되는 경우에도, 이것은 여전히 num _ palette _ index 를 향해 카운트한다. 본원에 설명된 바와 같이, 파싱, 디코딩, 또는 여전히 디코딩될 인덱스들의 수를 참조하여 일부 예들에서, 모드 또는 인덱스가 추론되는지 여부에 관계 없이 COPY_INDEX_MODE 의 수를 추론할 수도 있다. 비디오 디코더 (30) 는, 예를 들어 비트스트림으로부터 num_palette_index 신택스 엘리먼트에 대응하는 인코딩된 값을 디코딩함으로써, 신택스 엘리먼트 palette_index_idc 의 어커런스들 (예를 들어, 인스턴스들) 의 수를 결정하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 2 로서 지칭된다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 Aspect 2 와 함께 또는 Aspect 2 없이 Aspect 1 을 구현하도록 구성될 수도 있다.
일부 예들에 따르면, 신택스 와이즈 (Syntax wise), Aspect 2 는 다음과 같이 정의될 수도 있다:
Figure 112017071179209-pct00004
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 변수 indexMax 가 1 보다 큰 경우에만 Aspects 1 및 2 를 (예를 들어, 인에이블함으로써) 구현하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 3 으로서 지칭된다. 변수 indexMax 는 현재 코딩 유닛에 대해 팔레트 인덱스가 갖는 별개의 값들의 수를 지정할 수도 있다. 일부 예들에서, indexMax 는 (palette size + palette_escape_val_present_flag) 의 양을 지칭할 수도 있다.
일부 예들에서, Aspects 1 및 2 는, (a) 현재 블록에서 이스케이프 픽셀이 존재하지 않고 (즉, palette_escape_val_present_flag = = 0), 팔레트 사이즈가 2 보다 작거나; 또는 (b) 현재 블록에서 적어도 하나의 이스케이프 픽셀이 존재하고 (즉, palette_escape_val_present_flag = = 1) 팔레트 사이즈가 0 과 동일한 경우 디스에이블될 수도 있다. 다른 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 변수 indexMax 가 2 보다 큰 경우에만 Aspects 1 및 2 를 (예를 들어, 인에이블함으로써) 구현하도록 구성될 수도 있다. 유사하게, indexMax 가 (palette size + palette_escape_val_present_flag) 와 동일한 예들에서, Aspects 1 및 2 는 indexMax 가 1 보다 큰 경우 인에이블 (예를 들어, 구현) 될 수도 있다. 예를 들어, 팔레트 사이즈가 0 이고 palette_escape_val_present_flag 가 1 이면, 블록의 픽셀들 모두가 이스케이프 픽셀들이고; 이와 같이 인덱스들은 이미 알려져 있다. 다른 예로서, palette_escape_val_present_flag 가 0 이고 팔레트 사이즈가 1 이면, 다시 각각의 픽셀이 인덱스 0 을 갖고; 이와 같이, 어떤 인덱스들의 시그널링도 필요하지 않을 수도 있다.
일부 예들에서, 비디오 인코더 (20) 는, 신택스 엘리먼트 palette_run_type_flag[ xC ][ yC ] 의 최종 어커런스 (예를 들어, 인스턴스) 가 팔레트 인덱스 블록 코딩 섹션의 프론트에서 비디오 인코더 (20) 에 의해 시그널링되도록 Aspects 1 및 2 을 구현하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 4 로서 지칭된다. 구체적으로, 신택스 테이블은, 일부 예에 따라 새로운 신택스 엘리먼트 palette _ last _ run _ type _ flag 를 다음과 같이 추가함으로써 업데이트될 수도 있다:
Figure 112017071179209-pct00005
비디오 디코더 (30) 는, 예를 들어 비트스트림으로부터 인코딩된 palette_last_run_type_flag 신택스 엘리먼트를 디코딩함으로써, 신택스 엘리먼트 palette_run_type_flag[ xC ][ yC ] 의 최종 어커런스 (예를 들어, 인스턴스) 를 결정하도록 구성될 수도 있다. palette _ last _ run _ type _ flag 의 신택스 엘리먼트는, 예를 들어 CABAC 에서 바이패스 모드 코딩 또는 콘텍스트 모드 코딩될 수도 있다. palette _ last _ run _ type _ flag 신택스 엘리먼트가 콘텍스트 모드 코딩되는 예들에서, palette _ last _ run _ type _ flag 신택스 엘리먼트는 palette _ run _ type _flag[ xC ][ yC ] 과 동일한 콘텍스트(들)을 공유할 수도 있거나, 또는 palette_last_run_type_flag 신택스 엘리먼트는 palette _ run _ type _ flag [ xC ][ yC ] 의 콘텍스트(들)로부터 독립적인 그 자신의 콘텍스트(들)을 가질 수도 있다.
일부 예들에서, 비디오 디코더 (30) 는, 동적 범위 조정 프로세스가 palette_index_idc 신택스 엘리먼트의 제 1 어커런스 (예를 들어, 인스턴스) 에 대해 디스에이블되도록 신택스 엘리먼트 palette _ index _ idc 를 디코딩하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 5 로서 지칭된다. 구체적으로, JCTVC-S1005 섹션 7.4.9.6 에서 지정된 adjustedIndexMax 변수의 도출 절차와 매우 유사한 프로세스가 사용된다. 비교 목적을 위해, JCTVC-S1005 는, 변수 adjustedIndexMax 가 다음과 같이 도출될 수도 있다는 것을 설명한다:
Figure 112017071179209-pct00006
그러나, 본 개시물의 Aspect 5 에 따르면, 변수 adjustIndexMax 는 이하에 설명된 바와 같이 도출될 수도 있다. 예를 들어, 각각의 블록에 대해 변수 isFirstIndex 는 파싱 전에 1 로 초기화된다. 일부 예들에서, 변수 adjustedIndexMax 는 다음과 같이 도출될 수도 있다:
Figure 112017071179209-pct00007
Figure 112017071179209-pct00008
일부 예들에서, 비디오 디코더 (30) 는 paletteRun 을 파싱 및 디코딩하기 전에 하나 이상의 컨디션들을 체크하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 6 으로서 지칭된다. 변수 paletteRun 은, 예를 들어 JCTVC-S1005 에 의해 개시된 바와 같이, palette_run_type_flag 가 COPY_ABOVE_MODE 와 동일한 경우 상측 로우에서의 포지션과 동일한 팔레트 인덱스로 연속적인 로케이션들의 수 마이너스 1 을 지정할 수도 있거나, 또는 palette_run_type_flag 가 COPY_INDEX_MODE 와 동일한 경우 동일한 팔레트 인덱스로 연속적인 로케이션들의 수 마이너스 1 을 지정할 수도 있다.
비디오 디코더 (30) 가 컨디션들 중 하나 이상이 충족된다고 결정하는지를 비디오 디코더 (30) 는 체크하도록 구성될 수도 있다는 하나 이상의 컨디션들을 참조하면, 비디오 디코더 (30) 는 현재 paletteRun (즉, palette _ run _ msb _ id _ plus1 및 palette _ run _ refinement _ bits) 에 관련된 신택스 엘리먼트들에 대한 파싱 및 디코딩 프로세스를 바이패스하도록 구성될 수도 있다. 이러한 예에서, 비디오 디코더 (30) 는 현재 블록의 끝까지 실행하는 것으로서, 즉 maxPaletteRun 과 동일한 현재 paletteRun 를 암시적으로 도출하도록 구성될 수도 있다. Aspect 6 에 관련한 하나 이상의 컨디션들의 리스트는: (i) num _ palette _ index 와 동일한 파싱된/디코딩된 palette _ index _ idc 신택스 엘리먼트들의 수; 또는 대안으로 num_palette_index 마이너스 수신된 인덱스들의 수와 동일한 변수 paletteIndicesLeft 가 정의될 수도 있고, 이러한 정의로, 이 컨디션은 paletteIndicesLeft 가 0 과 동일한 것으로서 언급될 수도 있으며;/또는 최종 팔레트 런 유형 palette _ last _ run _ type _ flag 과 동일한 현재 팔레트 런 유형 palette_run_type_flag[ xC ][ yC ] 을 포함한다.
일부 예들에서, Aspect 6 에 대해 위에서 설명된 컨디션들 (i) 및 (ii) 이 동시에 충족되지 않으면, 비디오 인코더 (20) 는 팔레트 런 길이를 비트스트림으로 코딩하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 7 로서 지칭된다. 다른 예들에서, Aspect 6 에 대해 위에서 설명된 컨디션들 (i) 및 (ii) 이 동시에 충족되지 않으면, 비디오 인코더 (20) 는 팔레트 런 길이를 비트스트림으로 코딩하도록 구성될 수도 있다. 현재 드래프트 사양 JCTVC-S1005 에 따르면, 최대 달성 가능한 런 길이를 지정하는 파라미터가 입력으로서 요구되고, 여기서 파라미터는 maxPaletteRun = nCbS * nCbS - scanPos - 1 과 동일하다. 그러나 본 개시물에 따르면, 비디오 인코더 (20) 는 maxPaletteRun = nCbS * nCbS - scanPos - 1 - paletteIndicesLeft 까지 최대 달성 가능한 런 길이를 지정하는 파라미터를 감소시켜 코딩 효율성을 개선시키도록 구성될 수도 있다. 본원에 사용된 바와 같이, nCbS 는 현재 블록의 사이즈를 지정한다.
일부 예들에서, 블록이 팔레트 공유 모드에 있지 않으면 (즉, palette_share_flag[xO][yO] = = 0), 미사용된 엔트리들로 팔레트를 절대 시그널링하지 않는다는 것을 요구하는 규범적 제약이 비디오 인코더 (20) 에 부과될 수도 있다. 본 개시물의 이 양태는 Aspect 8 로서 지칭된다.
일부 예들에서, 팔레트-공유를 사용하지 않는 팔레트 모드에 대해, 비디오 디코더 (30) 는, 다음의 컨디션들 중 하나 이상이 충족되는 경우 신택스 엘리먼트 palette_index_idc 의 현재 어커런스 (예를 들어, 인스턴스) 의 디코딩을 바이패스하도록 구성될 수도 있다: num _ palette _ index 가 indexMax 와 동일한 컨디션 1, 및 paletteIndicesLeft = = 1 인 컨디션 2. 이러한 예들에서, 비디오 디코더 (30) 는, 팔레트에 있지만 디코딩 프로세스 동안 인덱스 맵에 아직 나타나지 않은 (예를 들어, 디코딩 프로세스에서 이 포인트까지 인덱스 맵에서 나타나지 않은) 인덱스로서 신택스 엘리먼트 palette _ index _ idc 의 현재 어커런스에 대한 값을 암시적으로 도출하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 9 로서 지칭된다.
비디오 디코더 (30) 는, 컨디션 1 이, 0 과 (indexMax - 1) 사이를 포함하는 모든 인덱스가 시그널링되고 단지 한 번 시그널링되는 것을 요구하기 때문에 Aspect 9 에 대해 위에서 설명된 바와 같이 신택스 엘리먼트 palette _ index _ idc 의 현재 어커런스에 대한 값을 도출하도록 구성될 수도 있다. 따라서, 제 1 (indexMax - 1) 인덱스 값들이 시그널링된 후에, 비디오 디코더 (30) 는, 현재 인덱스 맵에 대한 디코딩 프로세스 동안 아직 나타나지 않은, 0 과 (indexMax - 1) 사이의 수로서 최종 인덱스 값을 도출하도록 구성될 수도 있다.
일부 예들에서, 비디오 디코더 (30) 는, 다음의 컨디션들 중 하나 또는 양자 모두가 충족되는 경우 신택스 엘리먼트 palette _ run _ type _ flag[ xC ][ yC ] 의 현재 어커런스 (예를 들어, 인스턴스) 의 디코딩을 바이패스하도록 구성될 수도 있다: paletteIndicesLeft 가 0 과 동일한 컨디션 1, 및 현재 픽셀이 스캐닝 순서에서 블록의 최종 포지션에 있는 컨디션 2. 이러한 예들에서, 비디오 디코더 (30) 는 신택스 엘리먼트 palette _ run _ type _ flag[ xC ][ yC ] 의 현재 어커런스에 대한 값을 암시적으로 도출하도록 구성될 수도 있다. 예를 들어, 컨디션 1 이 충족되는 경우, palette _ run _ type _ flag[ xC ][ yC ] 비디오 디코더 (30) 는 COPY_ABOVE_MODE 로서 신택스 엘리먼트 palette _ run _ type _ flag[ xC ][ yC ] 의 현재 어커런스에 대한 값을 도출하도록 구성될 수도 있다. 다른 예로서, 컨디션 1 이 충족되는 경우, palette _ run _ type _ flag[ xC ][ yC ] 비디오 디코더 (30) 는, paletteIndicesLeft > 0 인 경우 COPY_INDEX_MODE 로서, 그리고 paletteIndicesLeft = 0 인 경우 COPY_ABOVE_MODE 로서 신택스 엘리먼트 palette_run_type_flag[ xC ][ yC ] 의 현재 어커런스에 대한 값을 도출하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 10 으로서 지칭된다.
본원에 설명된 바와 같이, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 언제 컨디션이 충족되는지를 결정하도록 구성될 수도 있다. 예를 들어, Aspect 10 에 대하여, 비디오 디코더 (30) 는 컨디션 1 이 충족되는지 여부를 결정하도록 구성될 수도 있다. 유사하게, 비디오 디코더 (30) 는 컨디션 2 가 충족되는지 여부를 결정하도록 구성될 수도 있다. 컨디션 1 또는 컨디션 2 가 충족된다고 결정하는 것에 응답하여, 비디오 디코더 (30) 는 위에서 설명된 바와 같이 신택스 엘리먼트 palette _ run _ type _ flag[ xC ][ yC ] 의 현재 어커런스에 대한 값을 도출하도록 구성될 수도 있다.
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 임의의 골롬 코드 패밀리를 사용하여 num _ palette _ index 신택스 엘리먼트를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 예를 들어 골롬 라이스 코드, 지수 골롬 코드, 트렁케이트된 라이스 코드, 단항 코드, 또는 골롬 라이스 및 지수 골롬 코드의 연결을 사용하여 num_palette_index 신택스 엘리먼트를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 11 로서 지칭된다.
다른 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 임의의 골롬 코드 패밀리의 임의의 트렁케이트된 버전을 사용하여 num _ palette _ index 신택스 엘리먼트를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 coeff_abs_level_remaining 신택스 엘리먼트들을 코딩하는데 사용된 코드와 같은, 예를 들어 트렁케이트된 골롬 라이스 코드, 트렁케이트된 지수 골롬 코드, 트렁케이트된 라이스 코드, 트렁케이트된 단항 코드, 또는 트렁케이트된 라이스 코드 및 지수 골롬 코드의 연결을 사용하여 num_palette_index 신택스 엘리먼트를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 12 로서 지칭된다.
일부 예들에서, Aspects 11 또는 12 에 관련한 임의의 골롬 파라미터들은 CU 사이즈, indexMax, 팔레트 사이즈, 및/또는 palette _ escape _ val _ present _ flag 에 의존한다. 이러한 의존성은 방정식들 또는 검색 테이블로서 표현될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 검색 테이블 또는 방정식들에서의 파라미터들을, 이들이 예를 들어 SPS/PPS/Slice 헤더에서 비디오 디코더 (30) 에 의해 수신되도록, 시그널링하도록 구성될 수도 있다. 대안으로 또는 부가적으로, 파라미터들은 블록별 단위로 적응적으로 업데이트될 수도 있다. 본 개시물의 이 양태는 Aspect 13 으로서 지칭된다. 일부 예들에서, 골롬 파라미터 cRiceParam 는 indexMax, 팔레트 사이즈, 및/또는 palette _ escape _ val _ present _ flag 에 의존할 수도 있다. 골롬 파라미터 cRiceParam 는 블록에서 블록으로 변할 수도 있다.
일부 예들에서, 비디오 인코더 (20) 는, 예를 들어 numPaletteIndexCoded 로 명명된 신택스 엘리먼트에 의해 표현될 수도 있는, 오프셋 값과 num _ palette _ index 의 값 간의 차이를 시그널링함으로써 num _ palette _ index 를 예측적으로 인코딩하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 14 로서 지칭된다. 예를 들어, 비디오 인코더 (20) 는 numPaletteIndexCoded 에 대한 값을 시그널링함으로써 num _ palette _ index 를 예측적으로 인코딩하도록 구성될 수도 있고, 여기서 numPaletteIndexCoded = num _ palette _ index - IndexOffsetValue 이다. 유사하게, 비디오 디코더 (30) 는, 예를 들어 비트스트림으로부터 numPaletteIndexCoded 에 대한 값을 결정함으로써 num _ palette _ index 를 예측적으로 디코딩하도록 구성될 수도 있다. numPaletteIndexCoded = num _ palette _ index - IndexOffsetValue 이기 때문에, 비디오 디코더 (30) 는 numPaletteIndexCoded 의 결정된 값 및 IndexOffsetValue 에 기초하여 num _ palette _ index 의 값을 결정하도록 구성될 수도 있다.
일부 예들에서, 변수 IndexOffsetValue 은 상수일 수도 있다. 예를 들어, IndexOffsetValue 는 팔레트 공유 모드에 대해 X 의 상수 값과 동일할 수도 있거나, 또는 비-팔레트 공유 모드에 대해 Y 의 상수 값과 동일할 수도 있고, 여기서 X 및 Y 는 정수들이다. 일부 예들에서, X 및 Y 는 동일할 수도 있다 (예를 들어, X 는 예컨대, 1 과 동일한 Y 와 동일하다). 다른 예들에서, X 및 Y 는 상이할 수도 있다 (예를 들어, X 는 Y 와 동일하지 않다). 예를 들어, IndexOffsetValue 은 팔레트 공유 모드가 사용되는 경우 9 와 동일할 수도 있고, IndexOffsetValue 은 비-공유 모드가 사용되는 경우 33 과 동일할 수도 있다. 일부 예들에서, 변수 IndexOffsetValue 는 신택스 엘리먼트 palette _ share _flag[ xO ][ yO ] 에 의존할 수도 있다. 다른 예들에서, 변수 IndexOffsetValue 는 변수 indexMax 에 의존할 수도 있다. 예를 들어, IndexOffsetValue 는 indexMax 와 동일할 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 SPS/PPS/Slice 헤더에서 IndexOffsetValue 을 시그널링하도록 구성될 수도 있다. 대안으로 또는 부가적으로, 변수 IndexOffsetValue 는 블록별로 적응적으로 업데이트될 수도 있고, 이것은 변수 IndexOffsetValue 에 대응하는 값이 블록별로 적응적으로 업데이트될 수도 있다는 것을 의미한다.
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 임의의 골롬 코드 패밀리 또는 임의의 트렁케이트된 골롬 패밀리, 예컨대 골롬 라이스 및 지수 골롬 코드의 연결을 사용하여 코딩될 수도 있는 numPaletteIndexCoded 를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다. 예를 들어, IndexOffsetValue 이 1 과 동일한 경우, numPaletteIndexCoded 은 num _ palette _ index - 1 과 동일하다.
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 임의의 골롬 코드 패밀리를 사용하여 numPaletteIndexCoded 를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 예를 들어 골롬 라이스 코드, 지수 골롬 코드, 트렁케이트된 라이스 코드, 단항 코드, 또는 골롬 라이스 및 지수 골롬 코드의 연결을 사용하여 numPaletteIndexCoded 를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다.
다른 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 임의의 골롬 코드 패밀리의 임의의 트렁케이트된 버전을 사용하여 numPaletteIndexCoded 를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 coeff_abs_level_remaining 신택스 엘리먼트들을 코딩하는데 사용된 코드와 같은, 예를 들어 트렁케이트된 골롬 라이스 코드, 트렁케이트된 지수 골롬 코드, 트렁케이트된 라이스 코드, 트렁케이트된 단항 코드, 또는 트렁케이트된 라이스 코드 및 지수 골롬 코드의 연결을 사용하여 numPaletteIndexCoded 를 각각 인코딩 또는 디코딩하도록 구성될 수도 있다.
numPaletteIndexCoded 를 코딩하기 위해, 비디오 인코더 (20) 는 numPaletteIndexCoded 의 부호를 결정하도록 구성될 수도 있다. 비디오 인코더 (20) 는, numPaletteIndexCoded 의 값이 음인지 또는 아닌지 여부 (예를 들어, 결정된 부호가 양인지 또는 음인지 여부) 를 나타내는 플래그를 시그널링하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 15 로서 지칭된다. 일부 예들에서, 비디오 인코더 (20) 는 플래그를 시그널링하고, 그 후 numPaletteIndexCoded 의 값을 시그널링하도록 구성될 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 numPaletteIndexCoded 의 값을 시그널링하고, 그 후 플래그를 시그널링하도록 구성될 수도 있다. 비디오 인코더 (20) 는 바이패스 모드 또는 콘텍스트 모드를 사용하여 플래그를 인코딩하도록 구성될 수도 있다. 콘텍스트 코딩되면, 콘텍스트들은 CU 사이즈, indexMax, 팔레트 사이즈, 및/또는 palette_escape_val_present_flag 에 의존할 수도 있다.
전술된 바와 같이, 비디오 인코더 (20) 는 일부 예들에 따라 numPaletteIndexCoded 의 부호를 결정하도록 구성될 수도 있다. numPaletteIndexCoded 의 결정된 부호가 음이면, 비디오 인코더 (20) 는 (1 - numPaletteIndexCoded) 의 값을 비트스트림으로 인코딩하도록 구성될 수도 있다. numPaletteIndexCoded 의 결정된 부호가 양이면, 비디오 인코더 (20) 는 numPaletteIndexCoded 의 값을 비트스트림으로 인코딩하도록 구성될 수도 있다. 비디오 인코더 (20) 는, 예를 들어 numPaletteIndexCoded 의 부호, CU 사이즈, indexMax, 팔레트 사이즈, 및/또는 palette _ escape _ val _ present _ flag 에 의존하는 상이한 골롬 코드 파라미터들을 사용하여 (1 - numPaletteIndexCoded) 의 값 또는 값 numPaletteIndexCoded 를 인코딩하도록 구성될 수도 있다.
일부 예들에서, 비디오 인코더 (20) 는, Aspect 15 에 추가적이거나 또는 이에 대한 대안일 수도 있는, 맵핑 동작을 사용하여 numPaletteIndexCoded 의 음의 부분들을 표현하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 16 으로서 지칭된다. 예를 들어, 맵핑 인터벌은 변수 mapInterval 로서 도입 및 정의될 수도 있다. 비디오 인코더 (20) 는, 변수 mapInterval 을 사용하여, mapInterval(-numPaletteIndexCoded) - 1 과 동일한 동일하게 이격된 양의 값들에 numPaletteIndexCoded 의 양의 값들을 맵핑하도록 구성될 수도 있다. numPaletteIndexCoded 의 대응하는 양의 값은 맵핑된 음의 값들에 의해 취해진 포지션들에 따라서 부응하도록 시프트될 수도 있다.
예를 들어, mapInterval = 2 이고, numPaletteIndexCoded 가 {-3, -2, -1, 0, 1, 2, 3 } 로부터 선택되면, 맵핑은 이하의 표 1 과 같이 예시될 수 있다. 이 예에서, 비디오 인코더 (20) 는 표 1 에서 맵핑된 값들을 사용하여 numPaletteIndexCode 의 값들을 인코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 는 맵핑된 값들을 바이너리 형태로 엔트로피 인코딩하도록 구성될 수도 있다.
Figure 112017071179209-pct00009
일부 예들에서, 비디오 인코더 (20) 는 Aspect 16 에 대하여 설명된 바와 같이 맵핑 동작을 사용하여 numPaletteIndexCoded 의 음의 부분들을 표현하도록 구성될 수도 있다. 비디오 인코더 (20) 는 Aspect 16 을 구현할 때 존재할 수도 있는 하나 이상의 리던던시들을 제거하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 17 로서 지칭된다. 예를 들어, numPaletteIndexCoded 의 음의 값들의 수가 A= {-1, -2, ..., -IndexOffset Value + 1} 로부터의 범위일 수도 있다. 다른 예로서, numPaletteIndexCode 의 음의 값들의 수는 A= {-1, -2, ..., -IndexOffset Value + 1, IndexOffsetValue} 로부터의 범위일 수도 있다. 이들 예들 중 어느 하나에서, 맵핑된 값은 단지, 음의 numPaletteIndexCoded 값들에 대해 (IndexOffsetValue - 1) 또는 IndexOffsetValue 포지션들을 예약할 필요가 있다. 예를 들어, mapInterval = 2 이고, numPaletteIndexCoded 가 {-3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7, 8} 로부터 선택되면, 맵핑은 이하의 표 II 에서 예시된다. 이 예에서, 비디오 인코더 (20) 는 표 II 에서 맵핑된 값들을 사용하여 numPaletteIndexCode 의 값들을 인코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 는 맵핑된 값들을 바이너리 형태로 엔트로피 인코딩하도록 구성될 수도 있다.
Figure 112017071179209-pct00010
위의 표 II 에 도시된 바와 같이, 비디오 인코더 (20) 는, numPaletteIndexCode 의 음 및 양의 값들이 소정 값 후에 인터리빙되지 않도록 numPaletteIndexCode 의 값들에 대응하는 맵핑된 값들을 인코딩하도록 구성될 수도 있다. 예를 들어, 위의 표 II 의 예에서, numPaletteIndexCoded 의 값 3 으로 시작하는 맵핑된 값들을 통해 numPaletteIndexCoded 의 양 및 음의 값들의 인터리빙이 존재하지 않는다 (즉, numPaletteIndexCoded 맵의 음의 값들 3-8 는 값들 6-11 에 맵핑됨).
전술된 바와 같이, 비디오 인코더 (20) 는 Aspect 16 을 구현할 때 존재할 수도 있는 하나 이상의 리던던시들을 제거하도록 구성될 수도 있다. 전술된 리던던시 예와 상이한 다른 린더던시 예는 다음을 포함한다: num _ palette _ index 가 현재 블록에서 픽셀들의 총 수에 의해 상한이 정해질 때, numPaletteIndexCoded 도 또한 상한이 정해진다. 따라서, 양의 코드워드의 확률들 모두에 대한 포지션들을 할당한 후에, 음의 값들은 인터리빙 없이 다음의 포지션들에 맵핑될 수 있다. 예를 들어, mapInterval = 2 이고, numPaletteIndexCoded 가 {-5, -4, -3, -2, -1, 0, 1, 2, 3} 로부터 선택되면, 맵핑은 이하의 표 III 에서 예시된다. 이 예에서, 비디오 인코더 (20) 는 표 III 에서 맵핑된 값들을 사용하여 numPaletteIndexCode 의 값들을 인코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 는 맵핑된 값들을 바이너리 형태로 엔트로피 인코딩하도록 구성될 수도 있다.
Figure 112017071179209-pct00011
위의 표 III 에 도시된 바와 같이, 비디오 인코더 (20) 는, numPaletteIndexCode 의 음 및 양의 값들이 소정 값 후에 인터리빙되지 않도록 numPaletteIndexCode 의 값들에 대응하는 맵핑된 값들을 인코딩하도록 구성될 수도 있다. 예를 들어, 위의 표 III 의 예에서, numPaletteIndexCoded 의 값 4 로 시작하는 맵핑된 값들을 통해 numPaletteIndexCoded 의 양 및 음의 값들의 인터리빙이 존재하지 않는다 (즉, numPaletteIndexCoded 의 음의 값들 -4 와 -5 는 값들 7 및 8 에 맵핑됨).
일부 예들에서, 비디오 인코더 (20) 는 팔레트 인덱스와 팔레트 런 간의 관계를 더욱 디커플링하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 18 로서 지칭된다. 예를 들어, 팔레트 런 코딩의 콘텍스트들이 파싱 또는 디코딩된 인덱스들에 의존하는 것을 허용하는 대신에, 비디오 인코더 (20) 는 팔레트 런 코딩의 콘텍스트들을 이전의 런의 palette_run_msb_id_plus1, indexMax, 및/또는 CU 사이즈에 의존하거나 또는 이전의 팔레트 런 길이에 의존하게 하도록 구성될 수도 있다.
일부 예들에서, 바이패스 빈들을 추가로 그루핑하기 위해, 비디오 인코더 (20) 는 다음과 같이 팔레트 런 유형 (즉, palette _ run _ type _flag[ xC ][ yC ]) 을 시그널링하기 전에 이스케이프 값들 뿐만 아니라 팔레트 블록에서의 이스케이프 인덱스들의 수를 시그널링하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 19 로서 지칭된다. 이탤릭체로된 부분은 JCT-VC S1005 의 이전 버전(들)과 관련된 변화들을 예시하고, 우측 컬럼의 "ae(v)" 뿐만 아니라 굵게 표시된 부분들은 신택스 엘리먼트의 시그널링을 나타낸다.
Figure 112017071179209-pct00012
위의 예에서, escape_idc_coding() 은 이스케이프 인덱스들의 수 및 각각의 이스케이프 인덱스에 대응하는 이스케이프 값들의 시그널링으로 이루어진다. 팔레트 블록 내의 이스케이프 인덱스들의 수는 palette _ escape _ val _ present _ flag 가 0 인 경우 또는 indexMax 이 0 과 동일한 경우 시그널링되지 않을 수도 있다. 전자의 경우에서, 이스케이프 인덱스들의 수는 0 인 것으로 추론되고, 어떤 이스케이프 값들도 시그널링되지 않는다. 0 과 동일한 indexMax 의 후자의 경우에서, palette _ escape _ val _ present _ flag 가 1 과 동일하고 이스케이프 값들이 시그널링되는 경우 이스케이프 인덱스들의 수는 블록 사이즈와 동일한 것으로 추론되거나, 또는 palette _ escape _ val _ present _ flag 가 0 과 동일한 경우 이스케이프 인덱스들의 수는 0 인 것으로 추론된다.
일부 예들에서, 비디오 인코더 (20) 는 골롬 코드 패밀리를 사용하여 이스케이프 인덱스들의 수를 시그널링하도록 구성될 수도 있다. 본 개시물의 이 양태는 Aspect 20 으로서 지칭된다. 예를 들어, 비디오 인코더 (20) 는 예를 들어 골롬 라이스 코드, 지수 골롬 코드, 트렁케이트된 라이스 코드, 단항 코드, 또는 골롬 라이스 및 지수 골롬 코드의 연결을 사용하여 이스케이프 인덱스들의 수를 시그널링하도록 구성될 수도 있다. 위의 코드들의 트렁케이트된 버전들은 블록 사이즈와 동일한 최대 세트와 함께 사용될 수도 있다.
일부 예들에서, palette _ escape _ val _ present _ flag 가 0 과 동일할 때, 현재 블록에 이스케이프 픽셀이 없다는 규범적인 제한을 palette_escape_val_present_flag 에 대해 강요하도록 제안된다. 본 개시물의 이 양태는 Aspect 21 로서 지칭된다. palette _ escape _ val _ present _ flag 가 1 과 동일한 경우, 현재 블록에는 적어도 하나의 이스케이프 픽셀이 존재한다. 이 제한으로, escape_idc_coding() 에서, 이스케이프 인덱스들의 수 마이너스 1 은 이스케이프 인덱스들의 수 대신에 코딩되어 코딩 효율성을 개선시킬 수 있다. 그 경우에서, 트렁케이트된 골롬 코드 패밀리에 대한 최대 값은 이에 따라 (blockSize-1) 으로 조정될 수도 있다.
일부 예들에서, 이스케이프 인덱스들의 수가 인덱스들 맵 블록을 코딩하기 전에 시그널링되는 경우 및 이스케이프 인덱스들 모두가 이미 코딩된 경우, indexMax 는 1 만큼 감소될 수도 있다. 또한, indexMax 1 이 되면, 인덱스, 런 및 모드 코딩은 남아 있는 샘플들 모두에 대한 인덱스들이 추론될 수도 있기 때문에 종료된다. 본 개시물의 이 양태는 Aspect 22 로서 지칭된다. Aspect 22 의 일 예로서, 팔레트 사이즈가 1 과 동일하고 palette_escape_val_present_flag 가 1 과 동일하다는 것을 가정한다. 대개, 가능한 인덱스 값들은 0 및 1 이고, 여기서 1 은 이스케이프 샘플(들)에 대해 사용된다. Aspect 22 하에서, 비디오 인코더 (20) 는 이스케이프 값들/샘플들의 수를 시그널링하도록 구성될 수도 있다. 그 다음, 인덱스들이 시그널링되고 최종 이스케이프 값들/샘플이 조우될 때, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 더 이상의 이스케이프 값/샘플들이 존재하지 않는다고 추론 (예를 들어, 결정) 하도록 구성될 수도 있다. 이와 같이, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 최종 이스케이프 값/샘플에서부터 블록의 끝까지 발생할 수 있는 인덱스 값 만이 0 이라는 것을 결정하도록 구성될 수도 있고, 이는 비디오 인코더 (20) 가 모드, 인덱스 값 및/또는 런 값을 최종 이스케이프 값/샘플로부터 블록의 끝까지 시그널링하지 않도록 구성될 수도 있다는 것을 의미한다.
일부 예들에서, escape_idc_coding() 는 indices_idc_coding() 과 결합하여 사용된다. 본 개시물의 이 양태는 Aspect 23 으로서 지칭된다. 일 예에서, 이스케이프 인덱스들의 수는 인덱스들의 수를 시그널링하기 전에 시그널링될 수도 있다. 이 경우에서, 비-이스케이프 인덱스들의 수 만이 indices_idc_coding() 으로 시그널링될 필요가 있다. 일 예에서, 이스케이프 인덱스들의 수는, 인덱스들의 수를 시그널링한 후에 시그널링될 수도 있다. 이 경우에서, 트렁케이트된 골롬 코드 패밀리에 대한 최대 값은 따라서, num _ palette _ index 로 조정될 수도 있다.
비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 본 개시물에 설명된 기법들에 따라 동작하도록 구성될 수도 있다. 일반적으로, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는, 현재 블록이 팔레트 모드로 코딩된다는 것을 결정하고, 현재 블록을 복원하기 위한 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드 코딩하며, 제 1 신택스 엘리먼트의 복수의 인스턴스를 바이패스 모드 코딩한 후에, 현재 블록을 복원하기 위한 제 2 신택스 엘리먼트의 복수의 인스턴스들을 콘텍스트 모드 디코딩하도록 구성될 수도 있다.
도 2 는 본 개시물에서 기법들을 구현할 수도 있는 예시적인 비디오 인코더 (20) 를 예시하는 블록도이다. 도 2 는 설명의 목적을 위해 제공되고, 본 개시물에서 광범위하게 예시 및 설명된 바와 같은 기법들의 제한으로 간주되지 않아야 한다. 설명의 목적을 위해, 본 개시물은 HEVC 코딩의 맥락, 예를 들어 HEVC 의 SCC 에서 비디오 인코더 (20) 를 설명한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에 적용 가능할 수도 있다.
비디오 인코더 (20) 는 본 개시물에 설명된 다양한 예들에 따라 팔레트-기반 코딩 및 엔트로피 코딩 (예를 들어, CABAC) 에 대한 기법들을 수행하도록 구성될 수도 있는 디바이스의 예를 나타낸다.
도 2 의 예에서, 비디오 인코더 (20) 는 블록 인코딩 유닛 (100), 비디오 데이터 메모리 (101), 잔차 생성 유닛 (102), 변환 프로세싱 유닛 (104), 양자화 유닛 (106), 역양자화 유닛 (108), 역 변환 프로세싱 유닛 (110), 복원 유닛 (112), 필터 유닛 (114), 디코딩된 픽처 버퍼 (116), 및 엔트로피 인코딩 유닛 (118) 을 포함한다. 블록 인코딩 유닛 (100) 은 인터-예측 프로세싱 유닛 (120) 및 인트라-예측 프로세싱 유닛 (126) 을 포함한다. 인터-예측 프로세싱 유닛 (120) 은 모션 추정 유닛 및 모션 보상 유닛 (미도시) 을 포함한다. 비디오 인코더 (20) 는 또한, 본 개시물에 설명된 팔레트-기반 코딩 기법들의 다양한 양태들을 수행하도록 구성된 팔레트-기반 인코딩 유닛 (122) 을 포함한다. 다른 예들에서, 비디오 인코더 (20) 는 더 많은, 더 적은, 또는 상이한 기능적 컴포넌트들을 포함할 수도 있다.
비디오 데이터 메모리 (101) 는 비디오 인코더 (20) 의 컴포넌트들에 의해 인코딩될 비디오 데이터를 저장할 수도 있다. 비디오 데이터 메모리 (101) 에 저장된 비디오 데이터는, 예를 들어 비디오 소스 (18) 로부터 획득될 수도 있다. 디코딩된 픽처 버퍼 (116) 는, 예를 들어 인트라- 또는 인터-코딩 모드들에서 비디오 인코더 (20) 에 의해 비디오 데이터를 인코딩하는데 있어서 사용하기 위해 레퍼런스 비디오 데이터를 저장하는 레퍼런스 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (101) 및 디코딩된 픽처 버퍼 (116) 는 다양한 메모리 디바이스들, 예컨대 동기식 DRAM (SDRAM) 을 포함하는 동적 랜덤 액세스 메모리 (DRAM), 자기저항 RAM (MRAM), 저항성 RAM (RRAM), 또는 다른 유형들의 메모리 디바이스들 중 어느 하나에 의해 수행될 수도 있다. 비디오 데이터 메모리 (101) 및 디코딩된 픽처 버퍼 (116) 는 동일한 메모리 디바이스 또는 별개의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, 비디오 데이터 메모리 (101) 는 비디오 인코더 (20) 의 다른 컴포넌트들과 함께 온-칩이거나, 또는 이들 컴포넌트들에 대한 오프-칩일 수도 있다.
비디오 인코더 (20) 는 비디오 데이터를 수신할 수도 있다. 비디오 인코더 (20) 는 비디오 데이터의 픽처의 슬라이스에서 각각의 CTU 를 인코딩할 수도 있다. CTU들 각각은 동일한 크기의 루마 코딩 트리 블록 (CTB) 들 및 픽처의 대응하는 CTB들과 연관될 수도 있다. CTU 를 인코딩하는 것의 부분으로서, 블록 인코딩 유닛 (100) 은 CTU 의 CTB들을 점진적으로-더 작은 블록들로 분할하도록 쿼드-트리 파티셔닝을 수행할 수도 있다. 더 작은 블록들은 CU들의 코딩 블록들일 수도 있다. 예를 들어, 블록 인코딩 유닛 (100) 은 CTU 와 연관된 CTB 를 4 개의 동일한 사이즈의 서브-블록들로 파티셔닝하고, 서브-블록들 중 하나 이상을 4 개의 동일한 사이즈의 서브-서브-블록들로 파티셔닝하는 등등일 수도 있다.
비디오 인코더 (20) 는 CTU 의 CU들을 인코딩하여, CU들의 인코딩된 표현들 (즉, 코딩된 CU들) 을 생성할 수도 있다. CU 를 인코딩하는 것의 부분으로서, 블록 인코딩 유닛 (100) 은 CU 의 하나 이상의 PU들 중 CU 와 연관된 코딩 블록들을 파티셔닝할 수도 있다. 따라서, 각각의 PU 는 루마 예측 블록 및 대응하는 크로마 예측 블록들과 연관될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 다양한 사이즈들을 갖는 PU들을 지원할 수도 있다. 위에 표시된 바와 같이, CU 의 사이즈는 CU 의 루마 코딩 블록의 사이즈를 지칭할 수도 있고, PU 의 사이즈는 PU 의 루마 예측 블록의 사이즈를 지칭할 수도 있다. 특정 CU 의 사이즈가 2Nx2N 이라고 가정하면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 인트라 예측을 위해 2Nx2N 또는 NxN 의 PU 사이즈들, 및 인터 예측을 위해 2Nx2N, 2NxN, Nx2N, NxN, 또는 유사한 대칭적인 PU 사이즈들을 지원할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, 인터 예측을 위해 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 사이즈들에 대한 비대칭적 파티셔닝을 지원할 수도 있다.
인터-예측 프로세싱 유닛 (120) 은 CU 의 각각의 PU 상에서 인터 예측을 수행함으로써 PU 에 대한 예측 데이터를 생성할 수도 있다. PU 에 대한 예측 데이터는 PU 에 대한 모션 정보 및 PU 의 예측 블록들을 포함할 수도 있다. 인터-예측 유닛 (121) 은, PU 가 I 슬라이스, P 슬라이스, 또는 B 슬라이스에 있는지 여부에 따라 CU 의 PU 에 대한 상이한 동작들을 수행할 수도 있다. I 슬라이스에서, 모든 PU들은 인트라 예측된다. 따라서, PU 가 I 슬라이스 내에 있으면, 인터-예측 유닛 (121) 은 PU 상에서 인터 예측을 수행하지 않는다. 따라서, I-모드에서 인코딩된 블록들에 대해, 예측 블록은 동일한 프레임 내의 이전에-인코딩된 이웃하는 블록들로부터 공간 예측을 사용하여 형성된다.
PU 가 P 슬라이스 내에 있으면, 인터-예측 프로세싱 유닛 (120) 의 모션 추정은 PU 에 대한 레퍼런스 영역에 대해 레퍼런스 픽처들의 리스트 (예를 들어, "RefPicListO") 에서 레퍼런스 픽처들을 검색할 수도 있다. PU 에 대한 레퍼런스 영역은, 레퍼런스 픽처 내에서, PU 의 샘플 블록들에 가장 가깝게 대응하는 샘플 블록들을 포함하는 영역일 수도 있다. 인터-예측 프로세싱 유닛 (120) 의 모션 추정 유닛은 PU 에 대한 레퍼런스 영역을 포함하는 레퍼런스 픽처의 RefPicListO 내의 포지션을 나타내는 레퍼런스 인덱스를 생성할 수도 있다. 또한, 모션 추정 유닛은 PU 의 코딩 블록과 레퍼런스 영역과 연관된 레퍼런스 로케이션 간의 공간적 변위를 나타내는 MV 를 생성할 수도 있다. 예를 들어, MV 는 현재 디코딩된 픽처에서의 좌표들로부터 레퍼런스 픽처에서의 좌표들 까지의 오프셋을 제공하는 2-차원 벡터일 수도 있다. 모션 추정 유닛은 PU 의 모션 정보로서 MV 및 레퍼런스 인덱스를 출력할 수도 있다. 인터-예측 프로세싱 유닛 (120) 의 모션 보상 유닛은 PU 의 모션 벡터에 의해 표시된 레퍼런스 로케이션에서 실제 또는 보간된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
또한, PU 가 B 슬라이스 내에 있으면, 모션 추정 유닛은 PU 에 대한 단-방향 예측 또는 양-방향 예측을 수행할 수도 있다. PU 에 대한 단방향-예측을 수행하기 위해, 모션 추정 유닛은 PU 에 대한 레퍼런스 영역에 대해 제 2 레퍼런스 픽처 리스트 ("RefPicList1") 또는 RefPicListO 의 레퍼런스 픽처들을 검색할 수도 있다. 모션 추정은 유닛은, PU 의 모션 정보로서, 레퍼런스 영역을 포함하는 레퍼런스 픽처의 RefPicListO 또는 RefPicList1 에서의 포지션을 나타내는 레퍼런스 인덱스, 레퍼런스 영역과 연관된 레퍼런스 로케이션과 PU 의 예측 블록 간의 공간적 변위를 나타내는 MV, 및 레퍼런스 픽처가 RefPicListO 또는 RefPicList1 인지 여부를 나타내는 하나 이상의 예측 방향 표시자들을 출력할 수도 있다. 인터-예측 프로세싱 유닛 (120) 의 모션 보상 유닛은 PU 의 모션 벡터에 의해 표시된 레퍼런스 영역에서 실제 또는 보간된 샘플들에 적어도 부분적으로 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
PU 에 대한 양-방향 인터 예측을 수행하기 위해, 모션 추정 유닛은 PU 에 대한 레퍼런스 영역에 대해 RefPicListO 에서 레퍼런스 픽처들을 검색할 수도 있고, 또한 PU 에 대한 다른 레퍼런스 영역에 대해 RefPicList1 에서 레퍼런스 픽처들을 검색할 수도 있다. 모션 추정 유닛은 레퍼런스 영역들을 포함하는 레퍼런스 픽처들의 RefPicList0 및 RefPicList1 에서의 포지션들을 나타내는 레퍼런스 픽처 인덱스들을 생성할 수도 있다. 또한, 모션 추정 유닛은 PU 의 샘플 블록과 레퍼런스 영역들과 연관된 레퍼런스 로케이션 간의 공간적 변위들을 나타내는 MV들을 생성할 수도 있다. PU 의 모션 정보는 PU 의 MV들 및 레퍼런스 인덱스들을 포함할 수도 있다. 모션 보상 유닛은 PU 의 모션 벡터들에 의해 표시된 레퍼런스 영역들에서 실제 또는 보간된 샘플들에 적어도 부분적으로 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
본 개시물의 다양한 예들에 따르면, 비디오 인코더 (20) 는 팔레트-기반 코딩을 수행하도록 구성될 수도 있다. HEVC 프레임워크에 대하여, 일 예로서 팔레트-기반 코딩 기법들은 CU 레벨에서 사용되도록 구성될 수도 있다. 다른 예들에서, 팔레트-기반 비디오 코딩 기법들은 PU 레벨에서 사용되도록 구성될 수도 있다. 다른 예들에서, 팔레트-기반 코딩 기법들은 서브-예측 유닛 (서브-PU) 레벨 (예를 들어, 예측 유닛의 서브-블록) 에서 사용되도록 구성될 수도 있다. 따라서, CU 의 맥락에서 (본 개시물 전체에 걸쳐) 본원에 설명된 개시된 프로세스들 모두는 부가적으로 또는 대안으로, PU 레벨 또는 서브-PU 레벨에 적용할 수도 있다. 그러나, 이들 HEVC-기반 예들은, 본원에 설명된 팔레트-기반 비디오 코딩 기법들의, 이러한 기법들이 독립적으로 또는 다른 기존의 또는 아직 개발되는 시스템들/표준들의 부분으로서 작업하도록 적용될 수도 있기 때문에, 제한 또는 한정으로 고려되지 않아야 한다. 이들 경우들에서, 팔레트 코딩에 대한 유닛은 정사각형 블록들, 직사각형 블록들 또는 심지어 비-직사각형 형상의 영역들일 수 있다.
팔레트-기반 인코딩 유닛 (122) 은, 예를 들어 CU 또는 PU 에 대해 팔레트-기반 인코딩 모드가 선택될 때 팔레트-기반 디코딩을 수행할 수도 있다. 예를 들어, 팔레트-기반 인코딩 유닛 (122) 은 픽셀 값들을 나타내는 엔트리들을 갖는 팔레트를 생성하고, 팔레트에서의 픽셀 값들을 선택하여 비디오 데이터의 블록의 적어도 일부 포지션들의 픽셀 값들을 나타내며, 선택된 픽셀 값들에 각각 대응하는 팔레트에서의 엔트리들과 비디오 데이터의 블록의 포지션들 중 적어도 일부를 연관시키는 정보를 시그널링하도록 구성될 수도 있다. 다양한 기능들이 팔레트-기반 인코딩 유닛 (122) 에 의해 수행되는 것으로서 설명되지만, 이러한 기능들 중 일부 또는 모두는 상이한 프로세싱 유닛들의 조합 또는 다른 프로세싱 유닛들에 의해 수행될 수도 있다.
본 개시물의 양태들에 따르면, 팔레트-기반 인코딩 유닛 (122) 은 본원에 설명된 팔레트 코딩을 위한 기법들의 임의의 조합을 수행하도록 구성될 수도 있다.
인트라-예측 프로세싱 유닛 (126) 은 PU 상에서 인트라 예측을 수행함으로써 PU 에 대한 예측 데이터를 생성할 수도 있다. PU 에 대한 예측 데이터는 다양한 신택스 엘리먼트들 및 PU 에 대한 예측 블록들을 포함할 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 I 슬라이스들, P 슬라이스들, 및 B 슬라이스들에서 PU들에 대해 인트라 예측을 수행할 수도 있다.
PU 상에서 인트라 예측을 수행하기 위해, 인트라-예측 프로세싱 유닛 (126) 은 다수의 인트라 예측 모드들을 사용하여 PU 에 대한 예측 데이터의 다수의 세트들을 생성할 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 이웃하는 PU들의 샘플 블록들로부터 샘플들을 사용하여 PU 에 대한 예측 블록을 생성할 수도 있다. PU들, CU들, 및 CTU들에 대해 좌측에서 우측으로, 상부에서 하부로의 인코딩 순서를 가정하면, 이웃하는 PU들은 PU 의 위, 위 및 우측, 위 및 좌측, 또는 좌측에 있을 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 다양한 수들의 인트라 예측 모드들, 예를 들어 33 개의 방향성 인트라 예측 모드들을 사용할 수도 있다. 일부 예들에서, 인트라 예측 모드들의 수는 PU 와 연관된 영역의 사이즈에 의존할 수도 있다.
블록 인코딩 유닛 (100) 은 PU들에 대한 인트라-예측 프로세싱 유닛 (126) 에 의해 생성된 예측 데이터 또는 PU들에 대한 인터-예측 프로세싱 유닛 (120) 에 의해 생성된 예측 데이터 중에서부터 CU 의 PU들에 대한 예측 데이터를 선택할 수도 있다. 일부 예들에서, 블록 인코딩 유닛 (100) 은 예측 데이터의 세트들의 레이트/왜곡 메트릭들에 기초하여 CU 의 PU들에 대한 예측 데이터를 선택한다. 선택된 예측 데이터의 예측 블록들은 선택된 예측 블록들로서 본원에 지칭될 수도 있다.
잔차 생성 유닛 (102) 은, CU 의 루마, Cb 및 Cr 코딩 블록 및 CU 의 PU들의 선택된 예측 루마, Cb 및 Cr 블록들에 기초하여, CU 의 루마, Cb 및 Cr 잔차 블록들을 생성할 수도 있다. 예를 들어, 잔차 생성 유닛 (102) 은, 잔차 블록들 내의 각각의 샘플이 CU 의 코딩 블록에서의 샘플과 CU 의 PU 의 대응하는 선택된 예측 블록 내의 대응하는 샘플 간의 차이와 동일한 값을 갖도록 CU 의 잔차 블록들을 생성할 수도 있다.
변환 프로세싱 유닛 (104) 은 CU 와 연관된 잔차 블록들을 CU 의 TU들과 연관된 변환 블록들로 파티셔닝하도록 쿼드-트리 파티셔닝을 수행할 수도 있다. 따라서, 일부 예들에서, TU 는 루마 변환 블록 및 2 개의 크로마 변환 블록들과 연관될 수도 있다. CU 의 TU들의 루마 및 크로마 변환 블록들의 사이즈들 및 포지션들은 CU 의 PU들의 예측 블록들의 사이즈들 및 포지션들에 기초하거나 기초하지 않을 수도 있다. "잔차 쿼드-트리" (RQT) 로서 알려진 쿼드-트리 구조는 영역들 각각과 연관된 노드들을 포함할 수도 있다. CU 의 TU들은 RQT 의 리프 노드들에 대응할 수도 있다.
변환 프로세싱 유닛 (104) 은 TU 의 변환 블록들에 하나 이상의 변환들을 적용함으로써 CU 의 각각의 TU 에 대한 변환 계수 블록들을 생성할 수도 있다. 변환 프로세싱 유닛 (104) 은 TU 와 연관된 변환 블록에 다양한 변환들을 적용할 수도 있다. 예를 들어, 변환 프로세싱 유닛 (104) 은 이산 코사인 변환 (DCT), 방향성 변환, 또는 개념적으로 유사한 변환을 변환 블록에 적용할 수도 있다. 일부 예들에서, 변환 프로세싱 유닛 (104) 은 변환 블록에 변환들을 적용하지 않는다. 이러한 예들에서, 변환 블록은 변환 계수 블록으로서 취급될 수도 있다.
양자화 유닛 (106) 은 계수 블록에서 변환 계수들을 양자화할 수도 있다. 양자화 프로세스는 변환계수들의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 내림 (rounded down) 될 수도 있고, 여기서 n 은 m 보다 크다. 양자화 유닛 (106) 은 CU 와 연관된 양자화 파라미터 (QP) 값에 기초하여 CU 의 TU 와 연관된 변환 계수 블록을 양자화할 수도 있다. 비디오 인코더 (20) 는 CU 와 연관된 QP 값을 조정함으로써 CU 와 연관된 변환 계수 블록들에 적용된 양자화의 정도를 조정할 수도 있다. 양자화는 정보의 손실을 도입할 수도 있고, 따라서 양자화된 변환 계수들은 원래의 계수들보다 더 낮은 정확도를 가질 수도 있다.
역양자화 유닛 (108) 및 역 변환 프로세싱 유닛 (110) 은 계수 블록에 역양자화 및 역 변환들을 각각 적용하여, 계수 블록으로부터 잔차 블록을 복원할 수도 있다. 복원 유닛 (112) 은 블록 인코딩 유닛 (100) 에 의해 생성된 하나 이상의 예측 블록들로부터 대응하는 샘플들에 복원된 잔차 블록을 추가하여, TU 와 연관된 복원된 변환 블록을 생성할 수도 있다. 이 방식에서 CU 의 각각의 TU 에 대한 변환 블록들을 복원함으로써, 비디오 인코더 (20) 는 CU 의 코딩 블록들을 복원할 수도 있다.
필터 유닛 (114) 은 CU 와 연관된 코딩 블록들에서 블록킹 아티팩트들을 감소시키도록 하나 이상의 디블록킹 동작들을 수행할 수도 있다. 필터 유닛 (114) 은 샘플 적응 오프셋 (SAO) 필터링 및/또는 적응 루프 필터링 (ALF) 을 포함하는, 다른 필터링 동작들을 수행할 수도 있다. 디코딩된 픽처 버퍼 (116) 는, 필터 유닛 (114) 이 복원된 코딩 블록들 상에서 하나 이상의 디블록킹 동작들을 수행한 후에 복원된 코딩 블록들을 저장할 수도 있다. 인터-예측 프로세싱 유닛 (120) 은 복원된 코딩 블록들을 포함하는 레퍼런스 픽처를 사용하여, 다른 픽처들의 PU들 상에서 인터 예측을 수행할 수도 있다. 또한, 인트라-예측 프로세싱 유닛 (126) 은 디코딩된 픽처 버퍼 (116) 에서 복원된 코딩 블록들을 사용하여 CU 와 동일한 픽처에서 다른 PU들 상에 인트라 예측을 수행할 수도 있다.
엔트로피 인코딩 유닛 (118) 은 비디오 인코더 (20) 의 다른 기능적 컴포넌트들로부터 데이터를 수신할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 은 양자화 유닛 (106) 으로부터 계수 블록들을 수신할 수도 있고, 블록 인코딩 유닛 (100) 으로부터 신택스 엘리먼트들을 수신할 수도 있다. 엔트로피 인코딩 유닛 (118) 은 데이터 상에서 하나 이상의 엔트로피 인코딩 동작들을 수행하여, 엔트로피-인코딩된 데이터를 생성할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 은 콘텍스트-적응 코딩 동작, 예컨대 CABAC 동작, 콘텍스트-적응 가변 길이 코딩 (CAVLC) 동작, 변수-대-변수 (V2V) 길이 코딩 동작, 신택스 기반 콘텍스트-적응 바이너리 산술 코딩 (SBAC) 동작, 확률 구간 파티셔닝 엔트로피 (PIPE) 코딩 동작, 지수-골롬 인코딩 동작, 또는 다른 유형의 엔트로피 인코딩 동작을 데이터 상에서 수행할 수도 있다. 비디오 인코더 (20) 는 엔트로피 인코딩 유닛 (118) 에 의해 생성된 엔트로피-인코딩된 데이터를 포함하는 비트스트림을 출력할 수도 있다. 예를 들어, 비트스트림은 CU 에 대한 RQT 를 나타내는 데이터를 포함할 수도 있다.
일부 예들에서, 잔차 코딩은 팔레트 코딩과 함께 수행되지 않는다. 따라서, 비디오 인코더 (20) 는, 팔레트 코딩 모드를 사용하여 코딩할 때 변환 또는 양자화를 수행하지 않을 수도 있다. 또한, 비디오 인코더 (20) 는 잔차 데이터로부터 별개로 팔레트 코딩 모드를 사용하여 생성된 데이터를 엔트로피 인코딩할 수도 있다.
본 개시물의 기법들 중 하나 이상에 따르면, 비디오 인코더 (20), 및 구체적으로 팔레트-기반 인코딩 유닛 (122) 은 예측된 비디오 블록들의 팔레트-기반 비디오 코딩을 수행할 수도 있다. 전술된 바와 같이, 비디오 인코더 (20) 에 의해 생성된 팔레트는 명시적으로 인코딩되어 비디오 디코더 (30) 로 전송되고, 이전의 팔레트 엔트리들로부터 예측되고, 이전의 픽셀 값들로부터 예측되거나, 또는 이들의 조합일 수도 있다.
본 개시물의 하나 이상의 기법들에 따르면, 비디오 인코더 (20) 는, 현재 블록이 팔레트 모드로 코딩된다는 것을 결정하고, 현재 블록을 복원하기 위한 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드 인코딩하며, 제 1 신택스 엘리먼트의 복수의 인스턴스를 바이패스 모드 인코딩한 후에, 예를 들어 CABAC 코딩 프로세스를 사용하여 현재 블록을 복원하기 위한 제 2 신택스 엘리먼트의 복수의 인스턴스들을 콘텍스트 모드 인코딩하도록 구성될 수도 있다. 비디오 인코더 (20) 는, 제 2 신택스 엘리먼트의 복수의 인스턴스들 중 어느 하나의 인스턴스의 콘텍스트 모드 인코딩과 인터리빙하지 않고, CABAC 코딩 프로세스의 바이패스 모드를 사용하여, 제 1 신택스 엘리먼트의 복수의 인스턴스들 중 임의의 2 개의 인스턴스들을 바이패스 모드 인코딩하도록 구성될 수도 있다. 일 예에서, 제 1 신택스 엘리먼트는 palette_index_idc 신택스 엘리먼트 또는 palette_escape_val 신택스 엘리먼트 중 하나를 포함하고, 제 2 신택스 엘리먼트는 palette_run_msb_id_plus1 신택스 엘리먼트를 포함한다. 비디오 인코더 (20) 는 현재 블록에 대한 인덱스 블록 코딩 섹션의 프론트에서 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 인코딩하도록 구성될 수도 있다.
비디오 인코더 (20) 는 제 1 신택스 엘리먼트의 인스턴스들의 수를 나타내는 제 3 신택스 엘리먼트를 인코딩하도록 구성될 수도 있고, 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드 인코딩하는 것은 제 3 신택스 엘리먼트에 기초하여 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드 인코딩하는 것을 포함한다. 비디오 인코더 (20) 는 골롬 라이스 코드, 지수 골롬 코드, 트렁케이트된 라이스 코드, 단항 코드, 골롬 라이스 및 지수 골롬 코드의 연결, 또는 임의의 이전 코드의 트렁케이트된 버전 중 하나를 사용하여 제 3 신택스 엘리먼트를 인코딩할 수도 있다.
도 3 은 본 개시물의 기법들을 수행하도록 구성되는 예시의 비디오 디코더 (30) 를 예시하는 블록도이다. 도 3 은 설명의 목적을 위해 제공되고, 본 개시물에 광범위하게 예시 및 설명된 바와 같은 기법들에 대한 제한이 아니다. 설명의 목적을 위해, 본 개시물은 HEVC 코딩의 맥락에서 비디오 디코더 (30) 를 설명한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에 적용 가능할 수도 있다.
인코더 (20) 에 대하여 전술된 팔레트 코딩의 상세들은 디코더 (30) 에 대하여 여기에서 반복되지 않지만, 디코더 (30) 는 인코더 (20) 에 대하여 본원에 설명된 임의의 인코딩 프로세스에 대해 상반되는 디코딩 프로세스를 수행할 수도 있다는 것이 이해된다.
비디오 디코더 (30) 는 본 개시물에 설명된 다양한 예들에 따라 팔레트-기반 코딩 및 엔트로피 코딩 (예를 들어, CABAC) 에 대한 기법들을 수행하도록 구성될 수도 있는 디바이스의 예를 나타낸다.
도 3 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (150), 비디오 데이터 메모리 (151), 블록 디코딩 유닛 (152), 역양자화 유닛 (154), 역 변환 프로세싱 유닛 (156), 복원 유닛 (158), 필터 유닛 (160), 및 디코딩된 픽처 버퍼 (162) 를 포함한다. 블록 디코딩 유닛 (152) 은 모션 보상 유닛 (164) 및 인트라-예측 프로세싱 유닛 (166) 을 포함한다. 비디오 디코더 (30) 는 또한, 본 개시물에 설명된 팔레트-기반 코딩 기법들의 다양한 양태들을 수행하도록 구성된 팔레트-기반 디코딩 유닛 (165) 을 포함한다. 다른 예들에서, 비디오 디코더 (30) 는 더 많은, 더 적은, 또는 상이한 기능적 컴포넌트들을 포함할 수도 있다.
비디오 데이터 메모리 (151) 는 비디오 디코더 (30) 의 컴포넌트들에 의해 디코딩될 비디오 데이터, 예컨대 인코딩된 비디오 비트스트림을 저장할 수도 있다. 비디오 데이터 메모리 (151) 에 저장된 비디오 데이터는, 예를 들어 컴퓨터 판독가능 매체 (16) 로부터, 예를 들어 카메라와 같은 로컬 비디오 소스로부터, 비디오 데이터의 유선 또는 무선 네트워크 통신을 위해, 또는 물리적 데이터 저장 매체에 액세스함으로써 획득될 수도 있다. 비디오 데이터 메모리 (151) 는 인코딩된 비디오 비트스트림으로부터 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼 (CPB) 를 형성할 수도 있다. 디코딩된 픽처 버퍼 (162) 는, 예를 들어 인트라- 또는 인터-코딩 모드들에서 비디오 디코더 (30) 에 의해 비디오 데이터를 디코딩하는데 있어서 사용하기 위해 레퍼런스 비디오 데이터를 저장하는 레퍼런스 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (151) 및 디코딩된 픽처 버퍼 (162) 는 다양한 메모리 디바이스들, 예컨대 동기식 DRAM (SDRAM) 을 포함하는 동적 랜덤 액세스 메모리 (DRAM), 자기저항 RAM (MRAM), 저항성 RAM (RRAM), 또는 다른 유형들의 메모리 디바이스들 중 어느 하나에 의해 수행될 수도 있다. 비디오 데이터 메모리 (151) 및 디코딩된 픽처 버퍼 (162) 는 동일한 메모리 디바이스 또는 별개의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, 비디오 데이터 메모리 (151) 는 비디오 디코더 (30) 의 다른 컴포넌트들과 함께 온-칩이거나, 또는 이들 컴포넌트들에 대한 오프-칩일 수도 있다.
비디오 데이터 메모리 (151) 에 의해 제공될 수도 있는 코딩된 픽처 버퍼 (CPB) 는 비트스트림의 인코딩된 비디오 데이터 (예를 들어, NAL 유닛들) 를 수신 및 저장할 수도 있다. 엔트로피 디코딩 유닛 (150) 은 CPB 로부터 인코딩된 비디오 데이터 (예를 들어, NAL 유닛들) 를 수신하고, NAL 유닛들을 파싱하여 신택스 엘리먼트들을 디코딩할 수도 있다. 엔트로피 디코딩 유닛 (150) 은 NAL 유닛들에서 엔트로피-인코딩된 신택스 엘리먼트들을 엔트로피 디코딩할 수도 있다. 블록 디코딩 유닛 (152), 역양자화 유닛 (154), 역 변환 프로세싱 유닛 (156), 복원 유닛 (158), 및 필터 유닛 (160) 은 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여 디코딩된 비디오 데이터를 생성할 수도 있다.
비디오 디코더 (30) 는 본원에 설명된 비디오 인코더 (20) 의 프로세스와 일반적으로 상반되는 프로세스를 수행하도록 구성될 수도 있다. 유사하게, 비디오 인코더 (20) 는 본원에 설명된 비디오 디코더 (30) 의 프로세스와 일반적으로 상반되는 프로세스를 수행하도록 구성될 수도 있다. 예를 들어, 비디오 디코더 (30) 가 비트스트림에서 인코딩된 신택스 엘리먼트를 디코딩하도록 구성될 수도 있다는 개시물은 유사하게, 비디오 인코더 (20) 가 신택스 엘리먼트를 비트스트림으로 인코딩하도록 구성될 수도 있다는 것을 필연적으로 개시한다.
다른 예로서, 엔트로피 디코딩 유닛 (150) 은 본원에 설명된 엔트로피 인코딩 유닛 (118) 의 프로세스와 일반적으로 상반된 프로세스를 수행하도록 구성될 수도 있다. 본 개시물의 양태들에 따르면, 엔트로피 디코딩 유닛 (150) 은 엔트로피 인코딩 유닛 (118) 에 의해 생성된 임의의 코드 워드들을 엔트로피 디코딩하도록 구성될 수도 있다. 예를 들어, 엔트로피 디코딩 유닛 (150) 은 균일한 및 불균일한 k차 트렁케이트된 지수-골롬 (TEGk)-인코딩된 값들, 예컨대 바이너리 팔레트 예측 벡터 및/또는 CU 에 대한 팔레트 맵을 엔트로피 디코딩하도록 구성될 수도 있다. 다른 예로서, 엔트로피 디코딩 유닛 (150) 은 k차 지수-골롬 (EGk) 코드 워드, k차 트렁케이트된 지수-골롬 (TEGk) 코드 워드, k차 불균일한 트렁케이트된 지수-골롬 (TEGk) 코드 워드, 또는 그 임의의 조합을 엔트로피 디코딩하도록 구성될 수도 있다.
비트스트림의 NAL 유닛들은 코딩된 슬라이스 NAL 유닛들을 포함할 수도 있다. 비트스트림을 디코딩하는 것의 부분으로서, 엔트로피 디코딩 유닛 (150) 은 코딩된 슬라이스 NAL 유닛들로부터 신택스 엘리먼트들을 추출 및 엔트로피 디코딩할 수도 있다. 코딩된 슬라이스들 각각은 슬라이스 헤더 및 슬라이스 데이터를 포함할 수도 있다. 슬라이스 헤더는 슬라이스에 속하는 신택스 엘리먼트들을 포함할 수도 있다. 슬라이스 헤더에서 신택스 엘리먼트들은 슬라이스를 포함하는 픽처와 연관된 PPS 를 식별하는 신택스 엘리먼트를 포함할 수도 있다.
비트스트림으로부터 신택스 엘리먼트들을 디코딩하는 것에 추가하여, 비디오 디코더 (30) 는 비-파티셔닝된 CU 상에서 복원 동작을 수행할 수도 있다. 비-파티셔닝된 CU 상에서 복원 동작을 수행하기 위해, 비디오 디코더 (30) 는 CU 의 각각의 TU 상에서 복원 동작을 수행할 수도 있다. CU 의 각각의 TU 에 대한 복원 동작을 수행함으로써, 비디오 디코더 (30) 는 CU 의 잔차 블록들을 복원할 수도 있다.
CU 의 TU 상에서 복원 동작을 수행하는 것의 부분으로서, 역양자화 유닛 (154) 은 TU 와 연관된 계수 블록들을 역양자화, 즉 양자화 해제할 수도 있다. 역양자화 유닛 (154) 은 TU 의 CU 와 연관된 QP 값을 사용하여 양자화의 정도, 및 유사하게는 적용할 역양자화 유닛 (154) 에 대한 역양자화의 정도를 결정할 수도 있다. 즉, 압축 비율, 즉 원래의 시퀀스를 나타내는데 사용된 비트들의 수 및 압축된 시퀀스를 나타내는데 사용된 비트들의 수의 비율은 변환 계수들을 양자화할 때 사용된 QP 의 값을 조정함으로써 제어될 수도 있다. 압축 비율은 또한, 이용된 엔트로피 코딩의 방법에 의존할 수도 있다.
역양자화 유닛 (154) 이 계수 블록을 역양자화한 후에, 역 변환 프로세싱 유닛 (156) 은 TU 와 연관된 잔차 블록을 생성하기 위해 계수 블록에 하나 이상의 역 변환들을 적용할 수도 있다. 예를 들어, 역 변환 프로세싱 유닛 (156) 은 역 DCT, 역정수 변환, 역 카루넨-루베 변환 (KLT), 역회전 변환, 역방향 변환, 또는 다른 역 변환을 계수 블록에 적용할 수도 있다.
PU 가 인트라 예측을 사용하여 인코딩되면, 인트라 예측 프로세싱 유닛 (166) 은 인트라 예측을 수행하여 PU 에 대한 예측 블록들을 생성할 수도 있다. 인트라-예측 프로세싱 유닛 (166) 은 공간적으로-이웃하는 PU들의 예측 블록들에 기초하여 PU 에 대한 예측 루마, Cb 및 Cr 블록들을 생성하도록 인트라-예측 모드를 사용할 수도 있다. 인트라-예측 프로세싱 유닛 (166) 은 비트스트림으로부터 디코딩된 하나 이상의 신택스 엘리먼트들에 기초하여 PU 에 대한 인트라 예측 모드를 결정할 수도 있다.
블록 디코딩 유닛 (152) 은 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여 제 1 레퍼런스 픽처 리스트 (RefPicListO) 및 제 2 레퍼런스 픽처 리스트 (RefPicList1) 를 구성할 수도 있다. 또한, PU 가 인터 예측을 사용하여 인코딩되면, 엔트로피 디코딩 유닛 (150) 은 PU 에 대한 모션 정보를 추출할 수도 있다. 모션 보상 유닛 (164) 은, PU 의 모션 정보에 기초하여 PU 에 대한 하나 이상의 레퍼런스 영역들을 결정할 수도 있다. 모션 보상 유닛 (164) 은, PU 에 대한 하나 이상의 레퍼런스 블록들에서 샘플 블록들에 기초하여, PU 에 대한 예측 루마, Cb 및 Cr 블록들을 생성할 수도 있다.
복원 유닛 (158) 은 CU 의 TU들과 연관된 루마, Cb 및 Cr 변환 블록들 및 CU 의 PU들의 예측 루마, Cb 및 Cr 블록들, 즉 적용 가능한 바와 같이 인트라-예측 데이터 또는 인터-예측 데이터를 사용하여, CU 의 루마, Cb 및 Cr 코딩 블록들을 복원할 수도 있다. 예를 들어, 복원 유닛 (158) 은 예측 루마, Cb 및 Cr 블록들의 대응하는 샘플들에 루마, Cb 및 Cr 변환 블록들의 샘플들을 추가하여, CU 의 루마, Cb 및 Cr 코딩 블록들을 복원할 수도 있다.
필터 유닛 (160) 은 CU 의 루마, Cb 및 Cr 코딩 블록들과 연관된 블록킹 아티팩트들을 감소시키도록 디블록킹 동작을 수행할 수도 있다. 비디오 디코더 (30) 는 CU 의 루마, Cb 및 Cr 코딩 블록들을 디코딩된 픽처 버퍼 (162) 에 저장할 수도 있다. 디코딩된 픽처 버퍼 (162) 는 도 1 의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상의 프리젠테이션, 인트라 예측, 및 후속의 모션 보상을 위해 레퍼런스 픽처들을 제공할 수도 있다. 예를 들어, 비디오 디코더 (30) 는 디코딩된 픽처 버퍼 (162) 에서의 루마, Cb 및 Cr 블록들에 기초하여 다른 CU들의 PU들 상에서 인트라 예측 또는 인터 예측을 수행할 수도 있다.
본 개시물의 다양한 예들에 따르면, 비디오 디코더 (30) 는 팔레트-기반 코딩을 수행하도록 구성될 수도 있다. 팔레트-기반 디코딩 유닛 (165) 은, 예를 들어 CU 또는 PU 에 대해 팔레트-기반 디코딩 모드가 선택될 때 팔레트-기반 디코딩을 수행할 수도 있다. 예를 들어, 팔레트-기반 디코딩 유닛 (165) 은 픽셀 값들을 나타내는 엔트리들을 갖는 팔레트를 생성하고, 팔레트에서의 엔트리들과 비디오 데이터의 블록에서의 적어도 일부 픽셀 로케이션들을 연관시키는 정보를 수신하고, 이 정보에 기초하여 팔레트에서 픽셀 값들을 선택하며, 팔레트에서의 선택된 픽셀 값들에 기초하여 블록의 픽셀 값들을 복원하도록 구성될 수도 있다. 다양한 기능들이 팔레트-기반 디코딩 유닛 (165) 에 의해 수행되는 것으로서 설명되지만, 이러한 기능들 중 일부 또는 모두는 상이한 프로세싱 유닛들의 조합 또는 다른 프로세싱 유닛들에 의해 수행될 수도 있다.
팔레트-기반 디코딩 유닛 (165) 은 팔레트 코딩 모드 정보를 수신하고, 팔레트 코딩 모드 정보가 팔레트 코딩 모드가 블록에 적용한다는 것을 나타내는 경우 상기 동작들을 수행할 수도 있다. 팔레트 코딩 모드 정보가, 팔레트 코딩 모드가 블록에 적용하지 않는다는 것을 나타내는 경우, 또는 다른 모드 정보가, 상이한 모드의 사용을 나타내는 경우, 팔레트-기반 디코딩 유닛 (165) 은, 예를 들어 HEVC 인터-예측 또는 인트라-예측 코딩 모드와 같은 비-팔레트 기반 코딩 모드를 사용하여 비디오 데이터의 블록을 디코딩한다. 비디오 데이터의 블록은, 예를 들어 HEVC 코딩 프로세스에 따라 생성된 CU 또는 PU 일 수도 있다. 팔레트-기반 코딩 모드는 복수의 상이한 팔레트-기반 코딩 모드들 중 하나를 포함할 수도 있고, 또는 단일의 팔레트-기반 코딩 모드가 존재할 수도 있다.
본 개시물의 양태들에 따르면, 팔레트-기반 디코딩 유닛 (165) 은 본원에 설명된 팔레트 코딩을 위한 기법들의 임의의 조합을 수행하도록 구성될 수도 있다. 인코더 (20) 에 대하여 전술된 팔레트 코딩의 상세들은 디코더 (30) 에 대하여 여기에서 반복되지 않지만, 디코더 (30) 는 인코더 (20) 에 대하여 본원에 설명된 임의의 팔레트-기반 인코딩 프로세스에 대해 상반되는 팔레트-기반 디코딩 프로세스를 수행할 수도 있다는 것이 이해된다.
비디오 디코더 (30) 는, 현재 블록이 팔레트 모드로 코딩된다는 것을 결정하고, 예를 들어 CABAC 코딩 프로세스의 바이패스 모드를 사용하여 현재 블록을 복원하기 위한 제 1 신택스 엘리먼트의 복수의 인스턴스를 바이패스 모드 디코딩하며, 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드 디코딩한 후에, 예를 들어 CABAC 코딩 프로세스를 사용하여 현재 블록을 복원하기 위한 제 2 신택스 엘리먼트의 복수의 인스턴스들을 콘텍스트 모드 디코딩하도록 구성될 수도 있다. 비디오 디코더 (30) 는 제 2 신택스 엘리먼트의 복수의 인스턴스들 중 어느 하나의 인스턴스의 콘텍스트 모드 디코딩과 인터리빙하지 않고 제 1 신택스 엘리먼트의 복수의 인스턴스들 중 임의의 2 개의 인스턴스들을 바이패스 모드 디코딩할 수도 있다. 일부 예들에서, 제 1 신택스 엘리먼트는 palette_index_idc 신택스 엘리먼트 또는 palette_escape_val 신택스 엘리먼트 중 하나를 포함하고, 제 2 신택스 엘리먼트는 palette_run_msb_id_plus1 신택스 엘리먼트를 포함한다. 비디오 디코더 (30) 는 현재 블록에 대한 인덱스 블록 코딩 섹션의 프론트에서 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 디코딩할 수도 있다.
비디오 디코더 (30) 는 제 1 신택스 엘리먼트의 인스턴스들의 수를 나타내는 제 3 신택스 엘리먼트를 디코딩할 수도 있고, 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드 디코딩하는 것은 제 3 신택스 엘리먼트에 기초하여 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드 디코딩하는 것을 포함한다. 비디오 디코더 (30) 는 골롬 라이스 코드, 지수 골롬 코드, 트렁케이트된 라이스 코드, 단항 코드, 골롬 라이스 및 지수 골롬 코드의 연결, 또는 이전 코드의 트렁케이트된 버전 중 어느 하나를 사용하여 제 3 신택스 엘리먼트를 인코딩할 수도 있다.
도 4 는 본 개시물의 기법들과 일치하는, 비디오 데이터를 코딩하기 위한 팔레트를 결정하는 예를 예시하는 개념도이다. 도 4 의 예는 제 1 팔레트들 (184) 과 연관되는 제 1 PAL (palette) 코딩 유닛 (CU)(180) 및 제 2 팔레트들 (192) 과 연관되는 제 2 PAL CU (188) 을 갖는 픽처 (178) 를 포함한다. 이하에서 더 상세히 설명되는 바와 같이 그리고 본 개시물의 기법들에 따르면, 제 2 팔레트들 (192) 은 제 1 팔레트들 (184) 에 기초한다. 픽처 (178) 는 또한, 인터-예측 코딩 모드로 코딩되는 블록 (200) 및 인트라-예측 코딩 모드로 코팅된 블록 (196) 을 포함한다.
도 4 의 기법들은 비디오 인코더 (20)(도 1 및 도 2) 및 비디오 디코더 (30)(도 1 및 도 3) 의 맥락에서 그리고 설명의 목적을 위해 HEVC 비디오 코딩 표준에 대하여 설명된다. 그러나, 본 개시물의 기법들은 이 방식으로 제한되지 않고, 다른 비디오 코딩 프로세스들 및/또는 표준들에서 다른 비디오 코딩 프로세서들 및/또는 디바이스들에 의해 적용될 수도 있다는 것이 이해되어야 한다.
일반적으로, 팔레트는 도 4 의 예에서 현재 코딩되고 있는 CU, CU (188) 에 대해 우세한 그리고/또는 대표적인 다수의 픽셀 값들을 지칭한다. (인덱스/인덱스들 (184) 로도 지칭될 수도 있는) 제 1 팔레트들 (184) 및 (인덱스/인덱스들 (192) 로도 지칭될 수도 있는) 제 2 팔레트들 (192) 은 (다수의 인덱스들로서 지칭될 수도 있는) 다수의 팔레트들을 포함하는 것으로서 도시된다. 일부 예들에서, 본 개시물의 양태들에 따르면, 비디오 코더 (예컨대, 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는 CU 의 각각의 컬러 컴포넌트에 대해 별개로 팔레트들 (예를 들어, 인덱스들) 을 코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 CU 의 루마 (Y) 컴포넌트에 대한 팔레트, CU 의 크로마 (U) 컴포넌트에 대한 다른 팔레트, 및 CU 의 크로마 (V) 컴포넌트에 대한 또 다른 팔레트를 인코딩할 수도 있다. 이 예에서, Y 팔레트의 엔트리들은 CU 의 픽셀들의 Y 값들을 나타낼 수도 있고, U 팔레트의 엔트리들은 CU 의 픽셀들의 U 값들을 나타낼 수도 있으며, V 팔레트의 엔트리들은 CU 의 픽셀들의 V 값들을 나타낼 수도 있다.
다른 예들에서, 비디오 인코더 (20) 는 CU 의 모든 컬러 컴포넌트들에 대한 단일의 팔레트를 인코딩할 수도 있다. 이 예에서, 비디오 인코더 (20) 는 Yi, Ui, 및 Vi 를 포함하는 삼중 값인 i-번째 엔트리를 갖는 팔레트를 인코딩할 수도 있다. 이 경우에서, 팔레트는 픽셀들의 컴포넌트들 각각에 대한 값들을 포함한다. 따라서, 다수의 개별의 팔레트들을 갖는 팔레트들의 세트로서 팔레트들 (184 및 192) 의 표현은 단지 일 예이고, 제한하는 것으로 의도되지 않는다.
도 4 의 예에서, 제 1 팔레트들 (184) 은 엔트리 인덱스 값 1, 엔트리 인덱스 값 2, 및 엔트리 인덱스 값 3 을 각각 갖는 3 개의 엔트리들 (202-206) 을 포함한다. 제 1 팔레트들 (184) 은 인덱스 값들 (예를 들어, 제 1 팔레트들 (184) 의 좌측 컬럼에 도시된 값들) 을 픽셀 값들에 관련시킨다. 예를 들어, 도 4 에 도시된 바와 같이, 제 1 팔레트들 (184) 중 하나는 인덱스 값들 1, 2 및 3 을 픽셀 값들 A, B, 및 C 에 각각 관련시킨다. 본원에 설명된 바와 같이, 제 1 CU (180) 의 실제 픽셀 값들을 코딩하기 보다는, 비디오 코더 (예컨대, 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는 (인덱스 값들 1-3 으로도 표현될 수도 있는) 인덱스들 (1-3) 을 사용하여 블록의 픽셀들을 코딩하도록 팔레트-기반 코딩을 사용할 수도 있다. 즉, 제 1 CU (180) 의 각각의 픽셀 포지션에 대해, 비디오 인코더 (20) 는 픽셀에 대한 인덱스 값을 인코딩할 수도 있고, 여기서 인덱스 값은 제 1 팔레트들 (184) 중 하나 이상에서의 픽셀 값과 연관된다. 비디오 디코더 (30) 는 비트스트림으로부터 인덱스 값들을 획득하고, 제 1 팔레트들 (184) 중 하나 이상 및 인덱스 값들을 사용하여 픽셀 값들을 복원할 수도 있다. 따라서, 제 1 팔레트들 (184) 은 팔레트-기반 디코딩에서 비디오 디코더 (30) 에 의한 사용을 위해 인코딩된 비디오 데이터 비트스트림으로 비디오 인코더 (20) 에 의해 송신된다.
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 제 1 팔레트들 (184) 에 기초하여 제 2 팔레트들 (192) 을 결정할 수도 있다. 예를 들어, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는, 예측 팔레트들, 이 예에서 제 1 팔레트들 (184) 이 결정되는 하나 이상의 블록들을 위치시킬 수도 있다. 도 4 에 예시된 예와 같은 일부 예들에서, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는, 제 2 CU (188) 에 대한 예측 팔레트를 결정할 때 좌측 이웃하는 CU (제 1 CU (180)) 와 같은 이전에 코딩된 CU 를 위치시킬 수도 있다.
도 4 의 예에서, 제 2 팔레트들 (192) 은 엔트리 인덱스 값 1, 엔트리 인덱스 값 2, 및 엔트리 인덱스 값 3 을 각각 갖는 3 개의 엔트리들 (208-212) 을 포함한다. 제 2 팔레트들 (192) 은 인덱스 값들 (예를 들어, 제 1 팔레트들 (192) 의 좌측 컬럼에 도시된 값들) 을 픽셀 값들에 관련시킨다. 예를 들어, 도 4 에 도시된 바와 같이, 제 2 팔레트들 (192) 중 하나는 인덱스 값들 1, 2 및 3 을 픽셀 값들 A, B, 및 D 에 각각 관련시킨다. 이 예에서, 비디오 인코더 (20) 는, 제 1 팔레트들 (184) 중 어느 엔트리들이 제 2 팔레트들 (192) 에 포함되는지를 나타내는 하나 이상의 신택스 엘리먼트들을 코딩할 수도 있다. 도 4 의 예에서, 하나 이상의 신택스 엘리먼트들은 벡터 (216) 로서 예시된다. 벡터 (216) 는 다수의 연관된 빈들 (또는 비트들) 을 갖고, 각각의 빈은, 그 빈과 연관된 팔레트 예측자가 현재 팔레트의 엔트리를 예측하는데 사용되는지 여부를 나타낸다. 예를 들어, 벡터 (216) 는, 제 1 팔레트들 (184) 중 첫 번째 2 개의 엔트리들 (202 및 204) 이 제 2 팔레트들 (192) 에 포함되는 (벡터 (216) 에서 "1" 의 값) 한편, 제 1 팔레트들 (184) 중 제 3 엔트리는 제 2 팔레트들 (192) 에 포함되지 않는다 (벡터 (216) 에서 "0" 의 값) 는 것을 나타낸다. 도 4 의 예에서, 벡터는 부울 방식 벡터 (Boolean vector) 이다.
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 팔레트 예측을 수행할 때 (팔레트 예측자 테이블로도 지칭될 수도 있는) 팔레트 예측자 리스트를 결정할 수도 있다. 팔레트 예측자 리스트는 현재 블록을 코딩하기 위한 팔레트의 하나 이상의 엔트리들을 예측하는데 사용되는 하나 이상의 이웃하는 블록들의 팔레트들로부터 엔트리들을 포함할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 동일한 방식으로 리스트를 구성할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 팔레트 예측자 리스트 중 어느 엔트리들이 현재 블록을 코딩하기 위한 팔레트에 포함되는지를 나타내도록 데이터 (예컨대, 벡터 (216)) 를 코딩할 수도 있다.
도 5 는 본 개시물의 기법들에 일치하는, 픽셀들의 블록에 대한 팔레트로의 인덱스들을 결정하는 예를 예시하는 개념도이다. 예를 들어, 도 5 는 팔레트들 (244) 의 엔트리에 인덱스 값들과 연관된 픽셀들의 각각의 포지션들을 관련시키는 인덱스 값들 (예를 들어, 인덱스 값들 1, 2 및 3) 을 포함하는 (또한, 맵 (240) 또는 인덱스 맵 (240) 으로서 지칭될 수도 있는) 인덱스 블록 (240) 을 포함한다.
인덱스 블록 (240) 이 각각의 픽셀 포지션에 대한 인덱스 값을 포함하는 것으로서 도 5 의 예에 예시되지만, 다른 예들에서 반드시 모든 픽셀 포지션들이 팔레트들 (244) 의 엔트리에 픽셀 값을 관련시키는 인덱스 값과 연관되지 않을 수도 있다는 것이 이해되어야 한다. 즉, 위에서 언급된 바와 같이, 일부 예들에서, 픽셀 값이 팔레트들 (244) 내에 포함되지 않으면 인덱스 블록 (240) 내의 포지션에 대한 실제 픽셀 값 (또는 그 양자화된 버전) 의 표시를 비디오 인코더 (20) 는 인코딩할 수도 있다 (그리고, 비디오 디코더 (30) 는 인코딩된 비트스트림으로부터 획득할 수도 있다).
일부 예들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 어느 픽셀 포지션들이 어느 인덱스 값들과 연관되는지를 나타내는 추가의 맵을 코딩하도록 구성될 수도 있다. 예를 들어, 인덱스 블록 (240) 내의 (i, j) 엔트리가 CU 의 (i, j) 포지션에 대응한다고 가정한다. 비디오 인코더 (20) 는, 엔트리가 연관된 인덱스 값을 갖는지 여부를 나타내는 인덱스 블록 (즉, 각각의 픽셀 포지션) 의 각각의 엔트리에 대한 하나 이상의 신택스 엘리먼트들을 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는, CU 내의 (i, j) 로케이션에서 픽셀 값이 팔레트들 (244) 에서의 값들 중 하나라는 것을 나타내도록 1 값을 갖는 플래그를 인코딩할 수도 있다.
비디오 인코더 (20) 는, 이러한 예에서 또한, (244 로서 도 5 의 예에 도시된) 팔레트를 인코딩할 수도 있다. 팔레트들 (244) 이 단일의 엔트리 및 연관된 픽셀 값을 포함하는 경우들에서, 비디오 인코더 (20) 는 인덱스 값의 시그널링을 스킵할 수도 있다. 비디오 인코더 (20) 는, CU 내의 (i, j) 로케이션에서 픽셀 값이 팔레트들 (244) 에서의 값들 중 하나가 아니라는 것을 나타내도록 0 의 값을 갖는 플래그를 인코딩할 수도 있다. 이 예에서, 비디오 인코더 (20) 는 또한, 픽셀 값을 복원하는데 있어서 비디오 디코더 (30) 에 의한 사용을 위해 픽셀 값의 표시를 인코딩할 수도 있다. 일부 경우들에서, 픽셀 값은 손실있는 방식으로 코딩될 수도 있다.
CU 의 하나의 포지션에서 픽셀의 값은 CU 의 다른 포지션들에서 하나 이상의 다른 픽셀들의 값들의 표시를 제공할 수도 있다. 예를 들어, (1 보다 많은 픽셀 값이 단일의 인덱스 값에 맵핑될 수도 있는, 손실 있는 코딩의 경우에서) CU 의 이웃하는 픽셀 포지션들은 동일한 픽셀 값을 가질 것이고 또는 동일한 인덱스 값에 맵핑될 수도 있다는 비교적 높은 확률이 존재할 수도 있다.
따라서, 비디오 인코더 (20) 는 동일한 픽셀 값 또는 인덱스 값을 갖는, 소정의 스캔 순서에서 다수의 연속적인 픽셀들 또는 인덱스 값들을 나타내는 하나 이상의 신택스 엘리먼트들을 인코딩할 수도 있다. 위에서 언급된 바와 같이, 유사-값 픽셀 또는 인덱스 값들의 스트링은 본원에서 런 (run) 으로서 지칭될 수도 있다. 예시의 목적을 위한 예에서, 소정의 스캔 순서에서 2 개의 연속적인 픽셀들 또는 인덱스들이 상이한 값들을 가지면, 런은 0 과 동일하다. 소정의 스캔 순서에서 2 개의 연속적인 픽셀들 또는 인덱스들은 동일한 값을 갖지만 스캔 순서에서 제 3 픽셀 또는 인덱스가 상이한 값을 가지면, 런은 1 과 동일하다. 동일한 값을 갖는 3 개의 연속적인 인덱스들 또는 픽셀들에 대해, 런은 2 이고 등등이다. 비디오 디코더 (30) 는 인코딩된 비트스트림으로부터 런을 나타내는 신택스 엘리먼트들을 획득하고, 데이터를 사용하여 동일한 픽셀 또는 인덱스 값을 갖는 연속적인 로케이션들의 수를 결정할 수도 있다.
본 개시물의 기법들에 따른 일부 예들에서, 엔트로피 인코딩 유닛 (118) 및 엔트로피 디코딩 유닛 (150) 은 인덱스 블록 (240) 을 엔트로피 코딩하도록 구성될 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 및 엔트로피 디코딩 유닛 (150) 은 팔레트 모드로 인덱스 블록에 관련된 바이너리 팔레트 예측 벡터 및/또는 런-길이들 (예를 들어, 런-길이 값들 또는 코드들) 을 엔트로피 코딩하도록 구성될 수도 있다.
도 6 은 본 개시물의 기법들에 일치하는, 래스터 스캐닝 순서의 예를 가정하는, 최대 상측 복사 런-길이를 결정하는 예를 예시하는 개념도이다. 도 6 의 예에서, 점선들 (280) 에 의해 포괄된 픽셀들 중 어느 것도 이스케이프 샘플로서 코딩되지 않으면, 최대 가능한 런-길이는 35 (즉, 음영이 없는 픽셀 포지션들의 수) 이다. 점선들 (280) 내의 픽셀들 중 하나 이상이 이스케이프 샘플로서 코딩되어, 이스케이프 픽셀로서 마킹된 픽셀 ("X" 를 갖는 픽셀 포지션) 이 스캐닝 순서에서 점선들 (280) 내의 제 1 이스케이프 픽셀이라고 가정하면, 최대 가능한 코딩된 상측 복사 런-길이는 5 이다.
일부 예들에서, 비디오 디코더 (30) 는 단지, 점선들 (280) 내의 픽셀들에 대한 런 모드 (예를 들어, 픽셀들이 코딩되는 팔레트 모드) 를 결정할 수도 있다. 따라서, 최악의 경우에서, 비디오 디코더 (30) 는 BlockWidth-1 픽셀들에 대한 결정을 한다. 일부 예들에서, 비디오 디코더 (30) 는, 런 모드가 체크되는 다수의 픽셀들 중 최대값에 관한 소정의 제한들을 구현하도록 구성될 수도 있다. 예를 들어, 비디오 디코더 (30) 는 단지, 픽셀들이 현재 픽셀과 동일한 로우에 있는 경우 점선들 (280) 내의 픽셀들을 체크할 수도 있다. 비디오 디코더 (30) 는, 점선들 (280) 내의 모든 다른 픽셀들이 이스케이프 샘플들로서 코딩되지 않는다는 것을 추론할 수도 있다. 도 6 의 예는 래스터 스캐닝 순서를 가정한다. 그러나, 기법들은 다른 스캐닝 순서들, 예컨대 수직, 수평 횡단, 및 수직 횡단에 적용될 수도 있다.
본 개시물의 예에 따르면, 현재 런 모드가 '상측 복사' 이면, 현재 픽셀에 대한 런-길이의 콘텍스트들은 현재 픽셀에 대해 상측-이웃하는 픽셀의 인덱스의 인덱스 값에 의존할 수도 있다. 이 예에서, 현재 픽셀에 대해 상측-이웃하는 픽셀이 현재 CU 밖에 있으면, 비디오 디코더는, 대응하는 인덱스가 미리정의된 상수 (k) 와 동일하다는 것을 가정한다. 일부 예들에서, k = 0 이다.
엔트로피 코딩 동안, 엔트로피 인코더 또는 디코더는 인코딩 또는 디코딩될 심볼의 비트들을 하나 이상의 빈들 안에 배치할 수도 있다. 빈들은, 심볼의 값이 0 과 동일한지 여부를 나타낼 수도 있다. 엔트로피 코더 또는 엔트로피 디코더는 빈들의 값들을 사용하여 엔트로피 코딩 프로세스를 조정할 수도 있다. 일부 예들에서, 엔트로피 인코더 또는 디코더는 또한, 값들이 특정 값보다 큰지, 예를 들어 0 보다 큰지, 1 보다 큰지 등의 여부를 나타내도록 빈들을 사용할 수도 있다.
일부 예들에서, 현재 모드가 '상측 복사' 이면, 런-길이 코드워드의 제 1 빈은, 현재 샘플 (예를 들어, 픽셀) 에 대한 상측-이웃하는 샘플 (예를 들어, 픽셀) 이 0 인지 또는 아닌지 여부에 기초하여 2 개의 후보 CABAC 콘텍스트들 중 하나를 선택한다.
다른 예로서, 현재 모드가 '이전 복사' 이면, 런-길이 코드워드의 제 1 빈은, 인덱스 값이 0 과 동일한지, 1 과 동일한지, 2 와 동일한지, 또는 2 보다 큰지 여부에 기초하여 4 개의 후보 CABAC 콘텍스트들 중 하나를 선택한다.
도 8 은 본 개시물의 기법들과 일치하는 비디오 데이터를 디코딩하는 예시의 프로세스를 예시하는 플로우차트이다. 도 8 의 프로세스는 일반적으로, 예시의 목적을 위해 비디오 디코더 (30) 에 의해 수행되는 것으로 설명되지만, 다양한 다른 프로세서들이 또한, 도 8 에 도시된 프로세스를 수행할 수도 있다. 일부 예들에서, 블록 디코딩 유닛 (152), 팔레트-기반 디코딩 유닛 (165), 및/또는 엔트로피 디코딩 유닛 (150) 은 도 8 에 도시된 하나 이상의 프로세스들을 수행할 수도 있다.
도 8 의 예에서, 비디오 디코더 (30) 는 인코딩된 비디오 비트스트림으로부터, 픽처의 비디오 데이터의 팔레트 모드 인코딩된 블록을 수신하도록 (800) 구성될 수도 있다. 비디오 디코더 (30) 는 인코딩된 비디오 비트스트림으로부터, 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 인코딩된 팔레트 모드 정보를 수신하도록 (802) 구성될 수도 있다. 일부 예들에서, 인코딩된 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함할 수도 있다. 예를 들어, 제 1 신택스 엘리먼트는 palette_index_idc 또는 palette_escape_val 을 포함할 수도 있고, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 palette_run_msb_id_plus1 신택스 엘리먼트를 포함할 수도 있다. 다른 예로서, 제 1 신택스 엘리먼트는 팔레트 엔트리들의 어레이에 대한 인덱스의 표시일 수도 있거나, 또는 제 1 신택스 엘리먼트는 이스케이프 샘플에 대응하는 컬러 컴포넌트에 대한 양자화된 이스케이프 코딩된 샘플 값을 지정할 수도 있다. 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은, 런 유형 모드를 지정하는 신택스 엘리먼트 및 런 길이를 나타내는 변수의 바이너리 표현에서 최상위 비트의 인덱스를 지정하는 신택스 엘리먼트를 포함할 수도 있다.
다른 예로서, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 제 1 신택스 엘리먼트와 상이한 어느 하나 및 모든 신택스 엘리먼트들일 수도 있다. 일부 예들에 대하여 본원에 설명된 바와 같이, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 또한, 제 2, 제 3, 및/또는 제 4 신택스 엘리먼트들과 상이할 수도 있다. 이러한 예들에서, 제 1, 제 2, 제 3, 및 제 4 신택스 엘리먼트들과 상이한 복수의 신택스 엘리먼트들은 제 1, 제 2, 제 3, 및/또는 제 4 신택스 엘리먼트들과 상이한 임의의 및 모든 신택스 엘리먼트들일 수도 있다. 일부 예들에서, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 바이패스 모드 디코딩되지 않고/않거나 바이패스 모드 디코딩되지 않을 임의의 및 모든 신택스 엘리먼트들일 수도 있다.
비디오 디코더 (30) 는, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하기 전에, 바이패스 모드, 예를 들어 CABAC 코딩 프로세스의 바이패스 모드를 사용하여, 제 1 신택스 엘리먼트의 복수의 인스턴스들을 디코딩하도록 (804) 구성될 수도 있다. 비디오 디코더 (30) 는, 제 1 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩한 후에 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드, 예를 들어 (바이패스 모드 보다는) 규칙적인 CABAC 모드를 사용하여 디코딩하도록 (806) 구성될 수도 있다. 일부 예들에서, 제 1 신택스 엘리먼트의 복수의 인스턴스들은 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 제 1 신택스 엘리먼트의 모든 인스턴스들을 포함한다. 이러한 예들에서, 제 1 신택스 엘리먼트의 모든 인스턴스들은, 임의의 후속 데이터, 예컨대 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 디코딩하기 전에 바이패스 모드를 사용하여 디코딩된다. 다르게 말하면, 비디오 디코더 (30) 는, 바이패스 모드를 사용하여 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 제 1 신택스 엘리먼트의 모든 인스턴스들을 디코딩한 후에, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 디코딩하도록 구성될 수도 있다.
비디오 디코더 (30) 는 제 1 신택스 엘리먼트의 디코딩된 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 디코딩된 복수의 신택스 엘리먼트들을 사용하여 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하도록 (808) 구성될 수도 있다. 일부 예들에서, 제 1 신택스 엘리먼트의 복수의 인스턴스들은, 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하는 동안 바이패스 모드와 콘텍스트 모드 간의 스위칭이 감소되도록 함께 그루핑된다.
일부 예들에서, 인코딩된 팔레트 모드 정보는 (예를 들어, 제 1 신택스 엘리먼트의 얼마나 많은 인스턴스들이 비디오 데이터의 팔레트 모드 인코딩된 블록에 대해 존재하는지를 나타내는) 제 1 신택스 엘리먼트의 인스턴스들의 수를 나타내는 제 2 신택스 엘리먼트를 포함할 수도 있다. 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 또한, 제 2 신택스 엘리먼트와 상이할 수도 있다. 이러한 예들에서, 비디오 디코더 (30) 는, 제 1 신택스 엘리먼트 및 제 2 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 디코딩하기 전에, 제 2 신택스 엘리먼트를 바이패스 모드를 사용하여 디코딩하도록 구성될 수도 있다. 일부 예들에서, 제 2 신택스 엘리먼트의 어떤 인스턴스도 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 제 1 신택스 엘리먼트의 임의의 2 개의 인스턴스들 사이에서 인터리빙되지 않는다. 일부 예들에서, 비디오 디코더 (30) 는, 제 2 신택스 엘리먼트에 의해 표시된 수와 동일한 제 1 신택스 엘리먼트의 인스턴스들의 수를 디코딩한 후에, 제 1 신택스 엘리먼트의 인스턴스들의 수를 뒤따르는 인코딩된 비디오 비트스트림에서 후속의 데이터가 제 1 신택스 엘리먼트 및 제 2 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들에 대응한다는 것을 결정하도록 구성될 수도 있다. 일부 예들에서, 비디오 디코더 (30) 는 절단된 라이스 코드 및 지수 골롬 코드의 연결을 사용하여 제 2 신택스 엘리먼트를 디코딩하도록 구성될 수도 있다.
일부 예들에서, 인코딩된 팔레트 모드 정보는 제 3 신택스 엘리먼트 및 제 4 신택스 엘리먼트를 포함할 수도 있다. 이러한 예들에서, 비디오 디코더 (30) 는 비디오 데이터의 팔레트 모드 인코딩된 블록이 이스케이프 픽셀을 포함하는지 여부를 나타내는 제 3 신택스 엘리먼트에 대응하는 값을 결정하기 위해 제 3 신택스 엘리먼트를 디코딩하도록 구성될 수도 있다. 비디오 디코더 (30) 는 팔레트 사이즈를 나타내는 제 4 신택스 엘리먼트에 대응하는 값을 결정하기 위해 제 4 신택스 엘리먼트를 디코딩하도록 구성될 수도 있다. 비디오 디코더 (30) 는, 제 3 및 제 4 신택스 엘리먼트들에 대응하는 결정된 값들에 각각 기초하여, 제 1 신택스 엘리먼트 및 제 2 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩한 후에 콘텍스트 모드를 사용하여 제 1 신택스 엘리먼트 및 제 2 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 디코딩하도록 구성될 수도 있다.
일부 예들에서, 인코딩된 팔레트 모드 정보는 다른 신택스 엘리먼트를 포함할 수도 있고, 비디오 디코더 (30) 는, 비디오 데이터의 팔레트 모드 인코딩된 블록에 대해 팔레트 인덱스가 갖는 다수의 별개의 값들을 지정하는 이 다른 신택스 엘리먼트에 대응하는 값을 결정하기 위해 이 다른 신택스 엘리먼트를 디코딩하도록 구성될 수도 있다. 비디오 디코더 (30) 는, 이 다른 신택스 엘리먼트에 대응하는 결정된 값에 기초하여, 제 1 신택스 엘리먼트 및 제 2 신택스 엘리먼트의 복수의 인스턴스들을 바이패스 모드를 사용하여 디코딩한 후에 콘텍스트 모드를 사용하여 제 1 신택스 엘리먼트 및 제 2 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 디코딩하도록 구성될 수도 있다.
일부 예들에서, 인코딩된 팔레트 모드 정보는 다른 신택스 엘리먼트를 포함할 수도 있고, 비디오 디코더 (30) 는 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 palette_run_type_flag[ xC ][ yC ] 의 신택스 엘리먼트의 최종 인스턴스를 나타내는 이 다른 신택스 엘리먼트에 대응하는 값을 결정하기 위해 이 다른 신택스 엘리먼트를 디코딩하도록 구성될 수도 있다.
일부 예들에서, 비디오 디코더 (30) 는, 비디오 데이터의 인코딩된 블록이 하나 이상의 이스케이프 샘플들을 갖는다고 결정하도록 구성될 수도 있다. 이러한 예들에서, 비디오 디코더 (30) 는 하나 이상의 이스케이프 샘플들 중에서 비디오 데이터의 인코딩된 블록에서의 최종 이스케이프 샘플을 디코딩하도록 구성될 수도 있다. 비디오 디코더 (30) 는 최종 이스케이프 샘플을 뒤따르는 비디오 데이터의 인코딩된 블록의 샘플들에 적용하는 인덱스 값을 추론하도록 구성될 수도 있다. 비디오 디코더 (30) 는 최종 이스케이프 샘플을 뒤따르는 샘플들의 각각의 샘플에 대해 추론된 인덱스 값을 사용하여 최종 이스케이프 샘플을 뒤따르는 비디오 데이터의 인코딩된 블록의 샘플들을 디코딩하도록 구성될 수도 있다.
일부 예들에서, 비디오 디코더 (30) 는 수신된 팔레트 인덱스들의 수를 결정하도록 구성될 수도 있다. 이러한 예들에서, 비디오 디코더 (30) 는 수신된 팔레트 인덱스들의 수 및 제 1 신택스 엘리먼트의 인스턴스들의 수에 기초하여 남아 있는 팔레트 인덱스들의 수를 결정하도록 구성될 수도 있다. 비디오 디코더 (30) 는 제 1 신택스 엘리먼트의 인스턴스들의 수 및 수신된 팔레트 인덱스들의 수에 기초하여 비디오 데이터의 인코딩된 블록에 대한 최대 가능한 런 값을 결정하도록 구성될 수도 있다. 일부 예들에서, 비디오 디코더 (30) 는 nCbS * nCbS - scanPos - 1 - paletteIndicesLeft 에 따라 비디오 데이터의 인코딩된 블록에 대한 최대 가능한 런 값을 결정하도록 구성될 수도 있고, 여기서 nCbS 는 비디오 데이터의 인코딩된 블록의 사이즈를 지정하고, scanPos 는 스캔 포지션을 지정하며, paletteIndicesLeft 는 남아 있는 팔레트 인덱스들의 수를 지정한다.
도 9 는 본 개시물의 기법들과 일치하는 비디오 데이터를 인코딩하는 예시의 프로세스를 예시하는 플로우차트이다. 도 9 의 프로세스는 일반적으로, 예시의 목적을 위해 비디오 인코더 (20) 에 의해 수행되는 것으로 설명되지만, 다양한 다른 프로세서들이 또한, 도 9 에 도시된 프로세스를 수행할 수도 있다. 일부 예들에서, 블록 인코딩 유닛 (100), 팔레트-기반 인코딩 유닛 (122), 및/또는 엔트로피 인코딩 유닛 (118) 이 도 9 에 도시된 하나 이상의 프로세스들을 수행할 수도 있다.
도 9 의 예에서, 비디오 인코더 (20) 는, 비디오 데이터의 블록이 팔레트 모드로 인코딩된다는 것을 결정하도록 (900) 구성될 수도 있다. 비디오 인코더 (20) 는, 비디오 데이터의 블록을 팔레트 모드를 사용하여 인코딩된 비트스트림으로 인코딩하도록 (902) 구성될 수도 있다.
일부 예들에서, 비디오 인코더 (20) 는 비디오 데이터의 블록에 대한 팔레트 모드 정보를 생성하도록 (904) 구성될 수도 있다. 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함할 수도 있다. 예를 들어, 제 1 신택스 엘리먼트는 palette_index_idc 또는 palette_escape_val 을 포함할 수도 있고, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 palette_run_msb_id_plus1 신택스 엘리먼트를 포함할 수도 있다. 다른 예로서, 제 1 신택스 엘리먼트는 팔레트 엔트리들의 어레이에 대한 인덱스의 표시일 수도 있거나, 또는 제 1 신택스 엘리먼트는 이스케이프 샘플에 대응하는 컬러 컴포넌트에 대한 양자화된 이스케이프 코딩된 샘플 값을 지정할 수도 있다. 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은, 런 유형 모드를 지정하는 신택스 엘리먼트 및 런 길이를 나타내는 변수의 바이너리 표현에서 최상위 비트의 인덱스를 지정하는 신택스 엘리먼트를 포함할 수도 있다.
다른 예로서, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 제 1 신택스 엘리먼트와 상이한 임의의 및 모든 신택스 엘리먼트들일 수도 있다. 일부 예들에 대하여 본원에 설명된 바와 같이, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 또한, 제 2, 제 3, 및/또는 제 4 신택스 엘리먼트들과 상이할 수도 있다. 이러한 예들에서, 제 1, 제 2, 제 3, 및 제 4 신택스 엘리먼트들과 상이한 복수의 신택스 엘리먼트들은 제 1, 제 2, 제 3, 및/또는 제 4 신택스 엘리먼트들과 상이한 임의의 및 모든 신택스 엘리먼트들일 수도 있다. 일부 예들에서, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 바이패스 모드 인코딩되지 않고/않거나 바이패스 모드 인코딩되지 않을 임의의 및 모든 신택스 엘리먼트들일 수도 있다.
비디오 인코더 (20) 는, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 인코딩된 비트스트림으로 인코딩하기 전에, 바이패스 모드, 예를 들어 CABAC 코딩 프로세스의 바이패스 모드를 사용하여, 제 1 신택스 엘리먼트의 복수의 인스턴스들을 인코딩된 비트스트림으로 인코딩하도록 (906) 구성될 수도 있다. 비디오 인코더 (20) 는, 제 1 신택스 엘리먼트의 복수의 신택스 엘리먼트들을 바이패스 모드를 사용하여 인코딩된 비트스트림으로 인코딩한 후에, 콘텍스트 모드, 예를 들어 규칙적인 CABAC 콘텍스트-기반 모드를 사용하여, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 인코딩된 비트스트림으로 인코딩하도록 (908) 구성될 수도 있다. 일부 예들에서, 제 1 신택스 엘리먼트의 복수의 인스턴스들은, 비디오 데이터의 팔레트 모드 인코딩된 블록을 인코딩하는 동안 바이패스 모드와 콘텍스트 모드 간의 스위칭이 감소되도록 함께 그루핑된다.
일부 예들에서, 제 1 신택스 엘리먼트의 복수의 인스턴스들은 비디오 데이터의 블록에 대한 제 1 신택스 엘리먼트의 모든 인스턴스들을 포함한다. 이러한 예들에서, 제 1 신택스 엘리먼트의 모든 인스턴스들은, 임의의 후속 데이터, 예컨대 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 인코딩하기 전에 바이패스 모드를 사용하여 인코딩된다. 다르게 말하면, 비디오 인코더 (20) 는, 바이패스 모드를 사용하여 비디오 데이터의 블록에 대한 제 1 신택스 엘리먼트의 모든 인스턴스들을 인코딩한 후에, 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 콘텍스트 모드를 사용하여 인코딩하도록 구성될 수도 있다.
일부 예들에서, 팔레트 모드 정보는 (예를 들어, 제 1 신택스 엘리먼트의 얼마나 많은 인스턴스들이 비디오 데이터의 블록에 대해 존재하는지를 나타내는) 제 1 신택스 엘리먼트의 인스턴스들의 수를 나타내는 제 2 신택스 엘리먼트를 포함할 수도 있다. 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들은 또한, 제 2 신택스 엘리먼트와 상이할 수도 있다. 이러한 예들에서, 비디오 인코더 (20) 는, 제 1 신택스 엘리먼트 및 제 2 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들의 인코딩 전에, 제 2 신택스 엘리먼트를 바이패스 모드를 사용하여 인코딩된 비트스트림으로 인코딩하도록 구성될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는, 인코딩된 비트스트림에서 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 제 1 신택스 엘리먼트의 임의의 2 개의 인스턴스들 사이에서 제 2 신택스 엘리먼트의 어떤 인스턴스도 인터리빙되지 않도록 제 1 신택스 엘리먼트의 복수의 인스턴스들을 인코딩하도록 구성될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는, 인코딩된 비트스트림에서 제 1 신택스 엘리먼트의 인코딩된 복수의 인스턴스들 후에 제 2 신택스 엘리먼트를 인코딩된 비트스트림으로 인코딩하도록 구성될 수도 있다. 예를 들어, 비디오 인코더 (20) 는 제 1 신택스 엘리먼트의 모든 인스턴스들을 먼저 인코딩하고, 그 후 제 2 신택스 엘리먼트를 인코딩된 비트스트림으로 인코딩하도록 구성될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는 트렁케이트된 라이스 코드 및 지수 골롬 코드의 연결을 사용하여 제 2 신택스 엘리먼트를 인코딩하도록 구성될 수도 있다.
일부 예들에서, 팔레트 모드 정보는 제 3 신택스 엘리먼트 및 제 4 신택스 엘리먼트를 포함할 수도 있다. 이러한 예들에서, 비디오 인코더 (20) 는, 비디오 데이터의 블록이 이스케이프 픽셀을 포함하는지 여부를 나타내는 제 3 신택스 엘리먼트에 대응하는 값을 인코딩된 비트스트림으로 인코딩하도록 구성될 수도 있다. 비디오 인코더 (20) 는 팔레트 사이즈를 나타내는 제 4 신택스 엘리먼트에 대응하는 값을 인코딩된 비트스트림으로 인코딩하도록 구성될 수도 있다. 일부 예들에서, 팔레트 모드 정보는 다른 신택스 엘리먼트를 포함할 수도 있고, 비디오 인코더 (20) 는 비디오 데이터의 블록에 대해 팔레트 인덱스가 갖는 다수의 별개의 값들을 지정하는 이 다른 신택스 엘리먼트에 대응하는 값을 인코딩된 비트스트림으로 인코딩하도록 구성될 수도 있다.
일부 예들에서, 인코딩된 팔레트 모드 정보는 다른 신택스 엘리먼트를 포함할 수도 있고, 비디오 인코더 (20) 는 비디오 데이터의 블록에 대한 palette_run_type_flag[ xC ][ yC ] 의 신택스 엘리먼트의 최종 인스턴스를 나타내는 이 다른 신택스 엘리먼트에 대응하는 값을 인코딩하도록 구성될 수도 있다.
일부 예들에서, 비디오 인코더 (20) 는 하나 이상의 이스케이프 샘플들 중에서 비디오 데이터의 블록에서의 최종 이스케이프 샘플을 인코딩하도록 구성될 수도 있다. 이러한 예들에서, 비디오 인코더 (20) 는 최종 이스케이프 샘플을 뒤따르는 비디오 데이터의 블록의 샘플들에 적용하는 인덱스 값을 추론하도록 구성될 수도 있다. 비디오 인코더 (20) 는 최종 이스케이프 샘플을 뒤따르는 샘플들의 각각의 샘플에 대해 추론된 인덱스 값을 사용하여 최종 이스케이프 샘플을 뒤따르는 비디오 데이터의 블록의 샘플들을 인코딩하도록 구성될 수도 있다.
본원에 설명된 기법들 중 모두는 개별적으로 또는 결합하여 사용될 수도 있다는 것이 이해되어야 한다. 예를 들어, 비디오 인코더 (20) 및/또는 그 하나 이상의 컴포넌트들 및 비디오 디코더 (30) 및/또는 그 하나 이상의 컴포넌트들은 임의로 결합하여 본 개시물에 설명된 기법들을 수행할 수도 있다.
예에 따라, 본원에서 설명된 임의의 기법들의 소정의 액트들 또는 이벤트들은 상이한 시퀀스로 수행될 수 있고, 추가, 머지될 수도 있거나, 또는 함께 제거될 수도 있다 (예를 들어, 설명된 모든 액트들 또는 이벤트들이 기법의 실시에 반드시 필요한 것은 아니다) 는 것이 인지되어야 한다. 또한, 소정 예들에서, 액트들 또는 이벤트들은, 순차적이기 보다는 예를 들어 멀티-스레디드 프로세싱, 인터럽트 프로세싱, 또는 다중 프로세서들을 통해 동시에 수행될 수도 있다. 또한, 본 개시물의 소정 양태들은 명확함의 목적을 위해 단일의 모듈 또는 유닛에 의해 수행되는 것으로서 설명되지만, 본 개시물의 기법들은 비디오 코더와 연관된 모듈들 또는 유닛들의 조합에 의해 수행될 수도 있다는 것이 이해되어야 한다.
본 개시물의 소정 양태들은 예시의 목적을 위해 개발 중인 HEVC 표준에 대하여 설명되어 있다. 그러나, 본 개시물에 설명된 기법들은, 다른 아직 개발되지 않은 다른 표준 또는 사설 비디오 코딩 프로세스들을 포함하는, 다른 비디오 코딩 프로세스들에 유용할 수도 있다.
전술된 기법들은 비디오 인코더 (20)(도 1 및 도 2) 및/또는 비디오 디코더 (30)(도 1 및 도 3) 에 의해 수행될 수도 있고, 이들 양자 모두는 일반적으로 비디오 코더로서 지칭될 수도 있다. 마찬가지로, 비디오 코딩은 적용 가능한 바와 같이, 비디오 인코딩 또는 비디오 디코딩을 지칭할 수도 있다.
본 개시물에 따르면, 용어 "또는" 은 콘텍스트가 다르게 구술하지 않는 경우 "및/또는" 으로서 해석될 수도 있다. 부가적으로, "하나 이상" 또는 "적어도 하나" 등과 같은 문구들은 다른 것들이 아니라 본원에 개시된 일부 특성들에 대해 사용되었을 수도 있으나; 이러한 언어가 사용되지 않은 특성들은 맥락이 다르게 구술하지 않는 경우 시사된 그러한 의미를 갖는 것으로 해석될 수도 있다.
기법들의 다양한 양태들의 특정 조합들이 위에서 설명되지만, 이들 조합들은 단지 본 개시물에 설명된 기법들의 예들을 예시하기 위해 제공된다. 따라서, 본 개시물의 기법들은 이들 예시의 조합들에 제한되지 않아야 하고, 본 개시물에 설명된 기법들의 다양한 양태들의 임의의 가능한 조합을 포괄할 수도 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 이 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 송신될 수도 있고, 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체, 또는 예를 들어, 통신 프로토콜에 따라 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수도 있다. 이 방식으로, 컴퓨터 판독가능 매체는 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비제한적인 예로서, 이러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장 디바이스, 자기 디스크 저장 디바이스 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체라고 적절히 칭해진다. 예를 들어, 명령들이 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 대신에 비일시적인, 유형의 저장 매체들을 가리킨다. 본원에서 사용된 디스크 (disk) 및 디스크 (disc) 는, 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크 (disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
명령들은, 하나 이상의 디지털 신호 프로세서 (DSP) 들, 범용 마이크로프로세서들, 주문형 집적 회로 (ASIC) 들, 필드 프로그래머블 로직 어레이 (FPGA) 들, 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본원에서 사용되는 바와 같이, 용어 "프로세서" 는 상기의 구조 또는 본원에 설명된 기술들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 또한, 일부 양태들에서, 본원에 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있고, 또는 결합형 코덱에 통합될 수도 있다. 또한, 본 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC), 또는 IC 들의 세트 (예를 들어, 칩 세트) 를 포함하는 광범위한 디바이스들 또는 장치들로 구현될 수도 있다. 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태를 강조하기 위해 다양한 컴포넌트들, 모듈들, 또는 유닛들이 본 개시물에서 설명되었지만, 반드시 상이한 하드웨어 유닛들에 의해 실현될 필요는 없다. 차라리, 전술한 바와 같이 다양한 유닛들은 적합한 소프트웨어 및/또는 펌웨어와 관련되어, 전술된 하나 이상의 프로세서들을 포함하는, 상호 동작적인 하드웨어 유닛들의 집합에 의해 제공되거나 또는 코덱 하드웨어 유닛으로 결합될 수도 있다.
다양한 예들이 설명되었다. 설명된 시스템들, 동작들, 기능들, 또는 예들의 조합이 고려된다. 이들 및 다른 예들은 다음의 특허청구범위 내에 있다.

Claims (45)

  1. 비디오 데이터를 디코딩하는 방법으로서,
    인코딩된 비디오 비트스트림으로부터, 픽처의 비디오 데이터의 팔레트 모드 인코딩된 블록을 수신하는 단계;
    상기 인코딩된 비디오 비트스트림으로부터, 상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 인코딩된 팔레트 모드 정보를 수신하는 단계로서, 상기 인코딩된 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 상기 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하고, 상기 제 1 신택스 엘리먼트는 팔레트 엔트리들의 어레이에 대한 인덱스의 표시이거나 또는 이스케이프 샘플에 대응하는 컬러 컴포넌트에 대한 양자화된 이스케이프 코딩된 샘플 값을 지정하고, 그리고 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 런 길이를 나타내는 변수의 바이너리 표현으로 최상위 비트의 인덱스를 지정하는 신택스 엘리먼트 및 런 유형 모드를 지정하는 신택스 엘리먼트를 포함하는, 상기 인코딩된 팔레트 모드 정보를 수신하는 단계;
    상기 인코딩된 비디오 비트스트림으로부터 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 파싱하기 전에 상기 인코딩된 비디오 비트스트림으로부터 상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 파싱하는 단계;
    상기 인코딩된 비디오 비트스트림으로부터 상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 파싱한 후에 상기 인코딩된 비디오 비트스트림으로부터 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 파싱하는 단계;
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을, 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 디코딩하는 단계;
    상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을, 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 디코딩하는 단계; 및
    상기 제 1 신택스 엘리먼트의 디코딩된 상기 복수의 인스턴스들 및 상기 제 1 신택스 엘리먼트와 상이한 디코딩된 상기 복수의 신택스 엘리먼트들을 사용하여 상기 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들은 상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 상기 제 1 신택스 엘리먼트의 모든 인스턴스들을 포함하는, 비디오 데이터를 디코딩하는 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제 1 신택스 엘리먼트는 palette_index_idc 또는 palette_escape_val 이고,
    상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 palette_run_msb_id_plus1 신택스 엘리먼트를 포함하는, 비디오 데이터를 디코딩하는 방법.
  5. 제 1 항에 있어서,
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들은, 상기 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하는 동안 상기 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드와 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드 간의 스위칭이 감소되도록 함께 그루핑되는, 비디오 데이터를 디코딩하는 방법.
  6. 제 1 항에 있어서,
    상기 인코딩된 팔레트 모드 정보는 상기 제 1 신택스 엘리먼트의 인스턴스들의 수를 나타내는 제 2 신택스 엘리먼트를 포함하고, 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 상기 제 2 신택스 엘리먼트와 상이하며,
    상기 방법은,
    상기 인코딩된 비디오 비트스트림으로부터 상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 파싱하기 전에 상기 인코딩된 비디오 비트스트림로부터 상기 제 2 신택스 엘리먼트를 파싱하는 단계; 및
    상기 제 2 신택스 엘리먼트를 상기 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 디코딩하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  7. 제 6 항에 있어서,
    상기 제 2 신택스 엘리먼트의 어떤 인스턴스도 상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 상기 제 1 신택스 엘리먼트의 임의의 2 개의 인스턴스들 사이에서 인터리빙되지 않는, 비디오 데이터를 디코딩하는 방법.
  8. 제 6 항에 있어서,
    상기 제 2 신택스 엘리먼트에 의해 표시된 수와 동일한 상기 제 1 신택스 엘리먼트의 인스턴스들의 수를 디코딩한 후에, 상기 제 1 신택스 엘리먼트의 상기 인스턴스들의 수를 뒤따르는 상기 인코딩된 비디오 비트스트림에서의 후속의 데이터가 상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들에 대응한다는 것을 결정하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  9. 제 6 항에 있어서,
    상기 인코딩된 팔레트 모드 정보는 제 3 신택스 엘리먼트 및 제 4 신택스 엘리먼트를 포함하고,
    상기 방법은,
    상기 비디오 데이터의 팔레트 모드 인코딩된 블록이 이스케이프 샘플을 포함하는지 여부를 나타내는 상기 제 3 신택스 엘리먼트에 대응하는 값을 결정하도록 상기 제 3 신택스 엘리먼트를 디코딩하는 단계;
    팔레트 사이즈를 나타내는 상기 제 4 신택스 엘리먼트에 대응하는 값을 결정하도록 상기 제 4 신택스 엘리먼트를 디코딩하는 단계; 및
    상기 제 3 신택스 엘리먼트 및 상기 제 4 신택스 엘리먼트에 각각 대응하는 결정된 상기 값들에 기초하여, 상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 디코딩하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  10. 제 6 항에 있어서,
    상기 인코딩된 팔레트 모드 정보는 제 3 신택스 엘리먼트를 포함하고,
    상기 방법은,
    상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대해 팔레트 인덱스가 갖는 다수의 별개의 값들을 지정하는 상기 제 3 신택스 엘리먼트에 대응하는 값을 결정하도록 상기 제 3 신택스 엘리먼트를 디코딩하는 단계; 및
    상기 제 3 신택스 엘리먼트에 대응하는 결정된 상기 값에 기초하여, 상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 디코딩하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  11. 제 6 항에 있어서,
    상기 인코딩된 팔레트 모드 정보는 제 3 신택스 엘리먼트를 포함하고,
    상기 방법은,
    상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 palette_run_type_flag[ xC ][ yC ] 의 신택스 엘리먼트의 최종 인스턴스를 나타내는 상기 제 3 신택스 엘리먼트에 대응하는 값을 결정하도록 상기 제 3 신택스 엘리먼트를 디코딩하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  12. 제 6 항에 있어서,
    상기 제 2 신택스 엘리먼트를 트렁케이트된 라이스 코드 및 지수 골롬 코드의 연결을 사용하여 디코딩하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  13. 제 1 항에 있어서,
    상기 비디오 데이터의 인코딩된 블록이 하나 이상의 이스케이프 샘플들을 갖는다는 것을 결정하는 단계;
    상기 하나 이상의 이스케이프 샘플들 중에서 상기 비디오 데이터의 인코딩된 블록에서의 최종 이스케이프 샘플을 디코딩하는 단계;
    상기 최종 이스케이프 샘플을 뒤따르는 상기 비디오 데이터의 인코딩된 블록의 샘플들에 적용하는 인덱스 값을 추론하는 단계; 및
    상기 최종 이스케이프 샘플을 뒤따르는 상기 샘플들의 각각의 샘플에 대해 추론된 상기 인덱스 값을 사용하여 상기 최종 이스케이프 샘플을 뒤따르는 상기 비디오 데이터의 인코딩된 블록의 샘플들을 디코딩하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  14. 제 6 항에 있어서,
    수신된 팔레트 인덱스들의 수를 결정하는 단계;
    수신된 상기 팔레트 인덱스들의 수 및 상기 제 1 신택스 엘리먼트의 상기 인스턴스들의 수에 기초하여 남아 있는 팔레트 인덱스들의 수를 결정하는 단계; 및
    런 길이를 나타내는 상기 변수에 대한 값이 상기 수신된 팔레트 인덱스들의 수 및 상기 제 1 신택스 엘리먼트의 상기 인스턴스들의 수에 기초하여 상기 비디오 데이터의 인코딩된 블록에 대한 최대 가능한 런 값과 동일하다는 것을 결정하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  15. 제 14 항에 있어서,
    상기 비디오 데이터의 인코딩된 블록에 대한 상기 최대 가능한 런 값이 nCbS * nCbS - scanPos - 1 - paletteIndicesLeft 와 동일하고,
    nCbS 는 상기 비디오 데이터의 인코딩된 블록의 사이즈를 지정하고, scanPos 는 스캔 포지션을 지정하며, paletteIndicesLeft 는 상기 남아 있는 팔레트 인덱스들의 수를 지정하는, 비디오 데이터를 디코딩하는 방법.
  16. 비디오 데이터를 디코딩하기 위한 디바이스로서,
    상기 비디오 데이터를 저장하도록 구성된 메모리; 및
    상기 메모리와 통신하는 비디오 디코더를 포함하고,
    상기 비디오 디코더는,
    상기 메모리로부터 픽처의 비디오 데이터의 팔레트 모드 인코딩된 블록을 수신하고;
    상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 인코딩된 팔레트 모드 정보를 수신하는 것으로서, 상기 인코딩된 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 상기 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하고, 상기 제 1 신택스 엘리먼트는 팔레트 엔트리들의 어레이에 대한 인덱스의 표시이거나 또는 이스케이프 샘플에 대응하는 컬러 컴포넌트에 대한 양자화된 이스케이프 코딩된 샘플 값을 지정하고, 그리고 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 런 길이를 나타내는 변수의 바이너리 표현으로 최상위 비트의 인덱스를 지정하는 신택스 엘리먼트 및 런 유형 모드를 지정하는 신택스 엘리먼트를 포함하는, 상기 인코딩된 팔레트 모드 정보를 수신하고;
    상기 인코딩된 팔레트 모드 정보로부터 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 파싱하기 전에 상기 인코딩된 팔레트 모드 정보로부터 상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 파싱하고;
    상기 인코딩된 팔레트 모드 정보로부터 상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 파싱한 후에 상기 인코딩된 팔레트 모드 정보로부터 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 파싱하고;
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을, 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 디코딩하고;
    상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을, 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 디코딩하며; 그리고
    상기 제 1 신택스 엘리먼트의 디코딩된 상기 복수의 인스턴스들 및 상기 제 1 신택스 엘리먼트와 상이한 디코딩된 상기 복수의 신택스 엘리먼트들을 사용하여 상기 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  17. 제 16 항에 있어서,
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들은 상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 상기 제 1 신택스 엘리먼트의 모든 인스턴스들을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.
  18. 삭제
  19. 제 16 항에 있어서,
    상기 제 1 신택스 엘리먼트는 palette_index_idc 또는 palette_escape_val 이고,
    상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 palette_run_msb_id_plus1 신택스 엘리먼트를 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.
  20. 제 16 항에 있어서,
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들은, 상기 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하는 동안 상기 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드와 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드 간의 스위칭이 감소되도록 함께 그루핑되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  21. 제 16 항에 있어서,
    상기 인코딩된 팔레트 모드 정보는 상기 제 1 신택스 엘리먼트의 인스턴스들의 수를 나타내는 제 2 신택스 엘리먼트를 포함하고, 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 상기 제 2 신택스 엘리먼트와 상이하며,
    상기 비디오 디코더는 또한,
    상기 인코딩된 팔레트 모드 정보로부터 상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 파싱하기 전에 상기 인코딩된 팔레트 모드 정보로부터 상기 제 2 신택스 엘리먼트를 파싱하고; 그리고
    상기 제 2 신택스 엘리먼트를 상기 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  22. 제 21 항에 있어서,
    상기 제 2 신택스 엘리먼트의 어떤 인스턴스도 상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 상기 제 1 신택스 엘리먼트의 임의의 2 개의 인스턴스들 사이에서 인터리빙되지 않는, 비디오 데이터를 디코딩하기 위한 디바이스.
  23. 제 21 항에 있어서,
    상기 비디오 디코더는 또한, 상기 제 2 신택스 엘리먼트에 의해 표시된 수와 동일한 상기 제 1 신택스 엘리먼트의 인스턴스들의 수를 디코딩한 후에, 상기 제 1 신택스 엘리먼트의 상기 인스턴스들의 수를 뒤따르는 상기 인코딩된 비디오 비트스트림에서의 후속의 데이터가 상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들에 대응한다는 것을 결정하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  24. 제 21 항에 있어서,
    상기 인코딩된 팔레트 모드 정보는 제 3 신택스 엘리먼트 및 제 4 신택스 엘리먼트를 포함하고,
    상기 비디오 디코더는 또한,
    상기 비디오 데이터의 팔레트 모드 인코딩된 블록이 이스케이프 샘플을 포함하는지 여부를 나타내는 상기 제 3 신택스 엘리먼트에 대응하는 값을 결정하도록 상기 제 3 신택스 엘리먼트를 디코딩하고;
    팔레트 사이즈를 나타내는 상기 제 4 신택스 엘리먼트에 대응하는 값을 결정하도록 상기 제 4 신택스 엘리먼트를 디코딩하며;
    상기 제 3 신택스 엘리먼트 및 상기 제 4 신택스 엘리먼트에 각각 대응하는 결정된 상기 값들에 기초하여, 상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  25. 제 21 항에 있어서,
    상기 인코딩된 팔레트 모드 정보는 제 3 신택스 엘리먼트를 포함하고,
    상기 비디오 디코더는 또한,
    상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대해 팔레트 인덱스가 갖는 다수의 별개의 값들을 지정하는 상기 제 3 신택스 엘리먼트에 대응하는 값을 결정하도록 상기 제 3 신택스 엘리먼트를 디코딩하며;
    상기 제 3 신택스 엘리먼트에 대응하는 결정된 상기 값에 기초하여, 상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  26. 제 21 항에 있어서,
    상기 인코딩된 팔레트 모드 정보는 제 3 신택스 엘리먼트를 포함하고,
    상기 비디오 디코더는 또한,
    상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 palette_run_type_flag[ xC ][ yC ] 의 신택스 엘리먼트의 최종 인스턴스를 나타내는 상기 제 3 신택스 엘리먼트에 대응하는 값을 결정하도록 상기 제 3 신택스 엘리먼트를 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  27. 제 21 항에 있어서,
    상기 비디오 디코더는 또한,
    상기 제 2 신택스 엘리먼트를 트렁케이트된 라이스 코드 및 지수 골롬 코드의 연결을 사용하여 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  28. 제 16 항에 있어서,
    상기 비디오 디코더는 또한,
    상기 비디오 데이터의 인코딩된 블록이 하나 이상의 이스케이프 샘플들을 갖는다는 것을 결정하고;
    상기 하나 이상의 이스케이프 샘플들 중에서 상기 비디오 데이터의 인코딩된 블록에서의 최종 이스케이프 샘플을 디코딩하고;
    상기 최종 이스케이프 샘플을 뒤따르는 상기 비디오 데이터의 인코딩된 블록의 샘플들에 적용하는 인덱스 값을 추론하며;
    상기 최종 이스케이프 샘플을 뒤따르는 상기 샘플들의 각각의 샘플에 대해 추론된 상기 인덱스 값을 사용하여 상기 최종 이스케이프 샘플을 뒤따르는 상기 비디오 데이터의 인코딩된 블록의 샘플들을 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  29. 제 21 항에 있어서,
    상기 비디오 디코더는 또한,
    수신된 팔레트 인덱스들의 수를 결정하고;
    수신된 상기 팔레트 인덱스들의 수 및 상기 제 1 신택스 엘리먼트의 상기 인스턴스들의 수에 기초하여 남아 있는 팔레트 인덱스들의 수를 결정하며; 그리고
    런 길이를 나타내는 상기 변수에 대한 값이 상기 수신된 팔레트 인덱스들의 수 및 상기 제 1 신택스 엘리먼트의 상기 인스턴스들의 수에 기초하여 상기 비디오 데이터의 인코딩된 블록에 대한 최대 가능한 런 값과 동일하다는 것을 결정하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
  30. 제 29 항에 있어서,
    상기 비디오 데이터의 인코딩된 블록에 대한 상기 최대 가능한 런 값이 nCbS * nCbS - scanPos - 1 - paletteIndicesLeft 과 동일하고,
    nCbS 는 상기 비디오 데이터의 인코딩된 블록의 사이즈를 지정하고, scanPos 는 스캔 포지션을 지정하며, paletteIndicesLeft 는 남아 있는 팔레트 인덱스들의 수를 지정하는, 비디오 데이터를 디코딩하기 위한 디바이스.
  31. 명령들이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 실행되는 경우, 하나 이상의 프로세서들로 하여금,
    메모리로부터, 픽처의 비디오 데이터의 팔레트 모드 인코딩된 블록을 수신하게 하고;
    상기 비디오 데이터의 팔레트 모드 인코딩된 블록에 대한 인코딩된 팔레트 모드 정보를 수신하게 하는 것으로서, 상기 인코딩된 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 상기 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하고, 상기 제 1 신택스 엘리먼트는 팔레트 엔트리들의 어레이에 대한 인덱스의 표시이거나 또는 이스케이프 샘플에 대응하는 컬러 컴포넌트에 대한 양자화된 이스케이프 코딩된 샘플 값을 지정하고, 그리고 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 런 길이를 나타내는 변수의 바이너리 표현으로 최상위 비트의 인덱스를 지정하는 신택스 엘리먼트 및 런 유형 모드를 지정하는 신택스 엘리먼트를 포함하는, 상기 인코딩된 팔레트 모드 정보를 수신하게 하고;
    상기 인코딩된 팔레트 모드 정보로부터 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 파싱하기 전에 상기 인코딩된 팔레트 모드 정보로부터 상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 파싱하게 하고;
    상기 인코딩된 팔레트 모드 정보로부터 상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 파싱한 후에 상기 인코딩된 팔레트 모드 정보로부터 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 파싱하게 하고;
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 디코딩하게 하고;
    상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 디코딩하게 하며; 그리고
    상기 제 1 신택스 엘리먼트의 디코딩된 상기 복수의 인스턴스들 및 상기 제 1 신택스 엘리먼트와 상이한 디코딩된 상기 복수의 신택스 엘리먼트들을 사용하여 상기 비디오 데이터의 팔레트 모드 인코딩된 블록을 디코딩하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  32. 비디오 데이터를 인코딩하는 방법으로서,
    비디오 데이터의 블록이 팔레트 모드로 코딩된다는 것을 결정하는 단계;
    상기 비디오 데이터의 블록을 팔레트 모드를 사용하여 인코딩된 비트스트림으로 인코딩하는 단계를 포함하고,
    상기 비디오 데이터의 블록을 팔레트 모드를 사용하여 인코딩하는 단계는,
    상기 비디오 데이터의 블록에 대한 팔레트 모드 정보를 생성하는 단계로서, 상기 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 상기 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하고, 상기 제 1 신택스 엘리먼트는 팔레트 엔트리들의 어레이에 대한 인덱스의 표시이거나 또는 이스케이프 샘플에 대응하는 컬러 컴포넌트에 대한 양자화된 이스케이프 코딩된 샘플 값을 지정하고, 그리고 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 런 길이를 나타내는 변수의 바이너리 표현으로 최상위 비트의 인덱스를 지정하는 신택스 엘리먼트 및 런 유형 모드를 지정하는 신택스 엘리먼트를 포함하는, 상기 팔레트 모드 정보를 생성하는 단계;
    상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩하기 전에 상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩하는 단계; 및
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 상기 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩한 후에, 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  33. 제 32 항에 있어서,
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들은 상기 비디오 데이터의 블록에 대한 상기 제 1 신택스 엘리먼트의 모든 인스턴스들을 포함하는, 비디오 데이터를 인코딩하는 방법.
  34. 삭제
  35. 제 32 항에 있어서,
    상기 제 1 신택스 엘리먼트는 palette_index_idc 또는 palette_escape_val 이고,
    상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 palette_run_msb_id_plus1 신택스 엘리먼트를 포함하는, 비디오 데이터를 인코딩하는 방법.
  36. 제 32 항에 있어서,
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들은, 상기 비디오 데이터의 팔레트 모드 인코딩된 블록을 인코딩하는 동안 상기 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드와 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드 간의 스위칭이 감소되도록 함께 그루핑되는, 비디오 데이터를 인코딩하는 방법.
  37. 제 32 항에 있어서,
    상기 팔레트 모드 정보는 상기 제 1 신택스 엘리먼트의 인스턴스들의 수를 나타내는 제 2 신택스 엘리먼트를 포함하고, 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 상기 제 2 신택스 엘리먼트와 상이하며,
    상기 방법은,
    상기 제 2 신택스 엘리먼트 및 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들의 인코딩 전에 상기 제 2 신택스 엘리먼트를 상기 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
  38. 제 37 항에 있어서,
    상기 제 2 신택스 엘리먼트의 어떤 인스턴스도 상기 비디오 데이터의 블록에 대한 상기 제 1 신택스 엘리먼트의 임의의 2 개의 인스턴스들 사이에서 인터리빙되지 않는, 비디오 데이터를 인코딩하는 방법.
  39. 제 37 항에 있어서,
    상기 인코딩된 비트스트림에서 상기 제 1 신택스 엘리먼트의 상기 인코딩된 복수의 인스턴스들 후에 상기 제 2 신택스 엘리먼트를 상기 인코딩된 비트스트림으로 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
  40. 제 37 항에 있어서,
    상기 팔레트 모드 정보는 제 3 신택스 엘리먼트 및 제 4 신택스 엘리먼트를 포함하고,
    상기 방법은,
    상기 비디오 데이터의 블록이 이스케이프 샘플을 포함하는지 여부를 나타내는 상기 제 3 신택스 엘리먼트에 대응하는 값을 상기 인코딩된 비트스트림으로 인코딩하는 단계; 및
    팔레트 사이즈를 나타내는 상기 제 4 신택스 엘리먼트에 대응하는 값을 상기 인코딩된 비트스트림으로 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
  41. 제 37 항에 있어서,
    상기 팔레트 모드 정보는 제 3 신택스 엘리먼트를 포함하고,
    상기 방법은,
    상기 비디오 데이터의 블록에 대해 팔레트 인덱스가 갖는 다수의 별개의 값들을 지정하는 상기 제 3 신택스 엘리먼트에 대응하는 값을 상기 인코딩된 비트스트림으로 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
  42. 제 37 항에 있어서,
    상기 팔레트 모드 정보는 제 3 신택스 엘리먼트를 포함하고,
    상기 방법은,
    상기 비디오 데이터의 블록에 대한 palette_run_type_flag[ xC ][ yC ] 의 신택스 엘리먼트의 최종 인스턴스를 나타내는 상기 제 3 신택스 엘리먼트에 대응하는 값을 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
  43. 제 37 항에 있어서,
    상기 제 2 신택스 엘리먼트를 트렁케이트된 라이스 코드 및 지수 골롬 코드의 연결을 사용하여 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
  44. 제 32 항에 있어서,
    하나 이상의 이스케이프 샘플들 중에서 상기 비디오 데이터의 블록에서의 최종 이스케이프 샘플을 인코딩하는 단계;
    상기 최종 이스케이프 샘플을 뒤따르는 상기 비디오 데이터의 블록의 샘플들에 적용하는 인덱스 값을 추론하는 단계; 및
    상기 최종 이스케이프 샘플을 뒤따르는 상기 샘플들의 각각의 샘플에 대해 추론된 상기 인덱스 값을 사용하여 상기 최종 이스케이프 샘플을 뒤따르는 상기 비디오 데이터의 블록의 샘플들을 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
  45. 비디오 데이터를 인코딩하기 위한 디바이스로서,
    상기 비디오 데이터를 저장하도록 구성된 메모리; 및
    상기 메모리와 통신하는 비디오 인코더를 포함하고,
    상기 비디오 인코더는,
    상기 메모리에 저장된 비디오 데이터의 블록이 팔레트 모드로 인코딩된다는 것을 결정하고;
    상기 비디오 데이터의 블록을 팔레트 모드를 사용하여 인코딩된 비트스트림으로 인코딩하도록 구성되고,
    상기 비디오 인코더가 상기 비디오 데이터의 블록을 팔레트 모드를 사용하여 인코딩하도록 구성되는 것은,
    상기 비디오 인코더가:
    상기 비디오 데이터의 블록에 대한 팔레트 모드 정보를 생성하는 것으로서, 상기 팔레트 모드 정보는 제 1 신택스 엘리먼트의 복수의 인스턴스들 및 상기 제 1 신택스 엘리먼트와 상이한 복수의 신택스 엘리먼트들을 포함하고, 상기 제 1 신택스 엘리먼트는 팔레트 엔트리들의 어레이에 대한 인덱스의 표시이거나 또는 이스케이프 샘플에 대응하는 컬러 컴포넌트에 대한 양자화된 이스케이프 코딩된 샘플 값을 지정하고, 그리고 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들은 런 길이를 나타내는 변수의 바이너리 표현으로 최상위 비트의 인덱스를 지정하는 신택스 엘리먼트 및 런 유형 모드를 지정하는 신택스 엘리먼트를 포함하는, 상기 팔레트 모드 정보를 생성하고;
    상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩하기 전에 상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩하며; 그리고
    상기 제 1 신택스 엘리먼트의 상기 복수의 인스턴스들을 상기 콘텍스트-기반 적응 바이너리 산술 코딩 바이패스 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩한 후에, 상기 제 1 신택스 엘리먼트와 상이한 상기 복수의 신택스 엘리먼트들을 상기 콘텍스트-기반 적응 바이너리 산술 코딩 콘텍스트 모드를 사용하여 상기 인코딩된 비트스트림으로 인코딩하도록 구성되는 것을 포함하는, 비디오 데이터를 인코딩하기 위한 디바이스.
KR1020177020755A 2015-01-30 2016-01-29 고 스루풋 cabac 코딩을 위한 팔레트 인덱스 그루핑 KR102465026B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562110302P 2015-01-30 2015-01-30
US62/110,302 2015-01-30
US15/009,477 US9942551B2 (en) 2015-01-30 2016-01-28 Palette index grouping for video coding
US15/009,477 2016-01-28
PCT/US2016/015663 WO2016123488A1 (en) 2015-01-30 2016-01-29 Palette index grouping for high throughput cabac coding

Publications (2)

Publication Number Publication Date
KR20170110084A KR20170110084A (ko) 2017-10-10
KR102465026B1 true KR102465026B1 (ko) 2022-11-08

Family

ID=55361980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177020755A KR102465026B1 (ko) 2015-01-30 2016-01-29 고 스루풋 cabac 코딩을 위한 팔레트 인덱스 그루핑

Country Status (21)

Country Link
US (1) US9942551B2 (ko)
EP (1) EP3251367A1 (ko)
JP (1) JP6782704B2 (ko)
KR (1) KR102465026B1 (ko)
CN (1) CN107211138B (ko)
AU (1) AU2016211327B2 (ko)
CA (1) CA2972617C (ko)
CL (1) CL2017001892A1 (ko)
CO (1) CO2017007499A2 (ko)
EA (1) EA035306B1 (ko)
IL (1) IL253009B (ko)
MX (1) MX369884B (ko)
MY (1) MY183211A (ko)
NZ (1) NZ732997A (ko)
PH (1) PH12017501183A1 (ko)
SA (1) SA517382015B1 (ko)
SG (1) SG11201704982TA (ko)
TN (1) TN2017000310A1 (ko)
TW (1) TWI714548B (ko)
WO (1) WO2016123488A1 (ko)
ZA (1) ZA201705084B (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
US10469870B2 (en) 2014-09-26 2019-11-05 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry
KR102470832B1 (ko) 2014-10-20 2022-11-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
SG10202002209TA (en) * 2014-12-19 2020-04-29 Hfi Innovation Inc Methods of palette based prediction for non-444 color format in video and image coding
CN107211143B (zh) 2015-01-15 2020-08-18 株式会社Kt 用于处理视频信号的方法和设备
CN107211153B (zh) 2015-01-29 2020-10-02 株式会社Kt 用于处理视频信号的方法和设备
KR102422484B1 (ko) 2015-01-29 2022-07-20 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3282706A4 (en) * 2015-04-02 2019-01-30 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
CN111818344B (zh) * 2015-04-08 2022-05-24 寰发股份有限公司 视频编解码中调色板模式上下文编解码和二值化的方法
US20180213222A1 (en) * 2015-05-27 2018-07-26 Kt Corporation Method and device for processing video signal
US10148977B2 (en) * 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
US11418790B2 (en) * 2019-06-28 2022-08-16 Qualcomm Incorporated Arithmetic coding with selective adaptation for video coding
US11627327B2 (en) * 2019-08-05 2023-04-11 Qualcomm Incorporated Palette and prediction mode signaling
CN114342408A (zh) * 2019-08-26 2022-04-12 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
CN114930833A (zh) * 2019-10-10 2022-08-19 北京达佳互联信息技术有限公司 使用调色板模式的视频编解码的方法和装置
EP4052464A4 (en) * 2019-11-01 2023-02-15 Beijing Dajia Internet Information Technology Co., Ltd. METHOD AND DEVICE FOR REMAINDER AND COEFFICIENT ENCODING
US11451801B2 (en) * 2019-12-26 2022-09-20 Alibaba Group Holding Limited Methods for coding video data in palette mode
CN117528122A (zh) * 2020-03-27 2024-02-06 北京达佳互联信息技术有限公司 对视频进行解码的方法、电子装置、存储介质和程序产品
US11770535B2 (en) * 2021-02-19 2023-09-26 Samsung Display Co., Ltd. Systems and methods for joint color channel entropy encoding with positive reconstruction error

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US20060126744A1 (en) * 2004-12-10 2006-06-15 Liang Peng Two pass architecture for H.264 CABAC decoding process
CN100466739C (zh) * 2005-10-12 2009-03-04 华为技术有限公司 Cabac解码系统及方法
US7626521B2 (en) * 2006-06-08 2009-12-01 Via Technologies, Inc. Decoding control of computational core of programmable graphics processing unit
CN102148980A (zh) * 2010-02-04 2011-08-10 成都市世嘉电子实业有限公司 高吞吐率cabac解码器设计方法
CN107529708B (zh) * 2011-06-16 2019-05-07 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
WO2013106987A1 (en) * 2012-01-16 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of bypass coding and reducing contexts for some syntax elements
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9538172B2 (en) * 2012-04-11 2017-01-03 Qualcomm Incorporated Grouping bypass coded syntax elements in video coding
US9264706B2 (en) * 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
EP3139616A1 (en) * 2012-05-29 2017-03-08 HFI Innovation Inc. Method and apparatus for coding of sample adaptive offset information
HUE037047T2 (hu) * 2012-06-11 2018-08-28 Samsung Electronics Co Ltd Eljárás színes komponens szerinti SAO paramétert megosztó videók kódolására
EP3050294A4 (en) * 2013-09-27 2017-08-09 Qualcomm Incorporated Residual coding for depth intra prediction modes
US10542271B2 (en) * 2013-12-27 2020-01-21 Hfi Innovation Inc. Method and apparatus for major color index map coding
CA2935559C (en) * 2014-01-02 2018-11-20 Vid Scale, Inc. Two-dimensional palette coding for screen content coding
KR101845462B1 (ko) * 2014-03-14 2018-04-04 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 팔레트 코딩
US10750198B2 (en) * 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
US10264285B2 (en) * 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
US10038915B2 (en) * 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
US9900617B2 (en) * 2014-06-20 2018-02-20 Qualcomm Incorporated Single color palette mode in video coding
US9544607B2 (en) * 2014-08-25 2017-01-10 Hfi Innovation Inc. Method of palette index signaling for image and video coding
US20160100177A1 (en) * 2014-10-06 2016-04-07 Qualcomm Incorporated Non-uniform exponential-golomb codes for palette mode coding
US9986248B2 (en) * 2015-01-29 2018-05-29 Qualcomm Incorporated Palette mode coding for video coding
US10205968B2 (en) * 2015-02-13 2019-02-12 Mediatek Inc. Method and apparatus for palette index coding in video and image compression
US10448058B2 (en) * 2015-05-21 2019-10-15 Qualcomm Incorporated Grouping palette index at the end and index coding using palette size and run value

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rajan Joshi, et al. High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 2, JCT-VC of ITU-T and ISO/IEC. JCTVC-S1005, 2014-12-10, pp. 1-350*

Also Published As

Publication number Publication date
TW201644273A (zh) 2016-12-16
CN107211138B (zh) 2020-05-08
KR20170110084A (ko) 2017-10-10
CA2972617C (en) 2019-12-31
TWI714548B (zh) 2021-01-01
TN2017000310A1 (en) 2019-01-16
JP6782704B2 (ja) 2020-11-11
CA2972617A1 (en) 2016-08-04
SA517382015B1 (ar) 2020-10-26
CO2017007499A2 (es) 2017-10-10
EP3251367A1 (en) 2017-12-06
PH12017501183A1 (en) 2017-12-18
US20160227217A1 (en) 2016-08-04
SG11201704982TA (en) 2017-08-30
EA035306B1 (ru) 2020-05-27
WO2016123488A1 (en) 2016-08-04
MY183211A (en) 2021-02-18
AU2016211327B2 (en) 2020-03-12
ZA201705084B (en) 2019-01-30
US9942551B2 (en) 2018-04-10
AU2016211327A1 (en) 2017-07-13
CL2017001892A1 (es) 2018-02-23
EA201791503A1 (ru) 2018-01-31
JP2018507615A (ja) 2018-03-15
IL253009B (en) 2018-11-29
BR112017016371A2 (pt) 2018-03-27
NZ732997A (en) 2022-07-01
CN107211138A (zh) 2017-09-26
IL253009A0 (en) 2017-08-31
MX369884B (es) 2019-11-25
MX2017009735A (es) 2017-11-17

Similar Documents

Publication Publication Date Title
KR102465026B1 (ko) 고 스루풋 cabac 코딩을 위한 팔레트 인덱스 그루핑
JP6708652B2 (ja) ビデオコーディングのためのパレットモードコーディング
EP3257246B1 (en) Restriction on palette block size in video coding
CA2945039C (en) Maximum palette parameters in palette-based video coding
KR101958536B1 (ko) 팔레트-기반 비디오 코딩에서 런들을 코딩
US11259020B2 (en) Determining palettes in palette-based video coding
CA2945036C (en) Escape sample coding in palette-based video coding
AU2016323800A1 (en) Restriction of escape pixel signaled values in palette mode video coding
KR20160136338A (ko) 비디오 코딩을 위한 런 길이 코드를 이용한 팔레트 예측자 시그널링
WO2016057504A1 (en) Non-uniform exponential-golomb codes for palette mode coding
OA18322A (en) Palette index grouping for high throughput cabac coding.
OA18393A (en) Restriction on palette block size in video coding.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant