KR20190055113A - 비디오 코딩을 위한 가변 수의 인트라 모드들 - Google Patents

비디오 코딩을 위한 가변 수의 인트라 모드들 Download PDF

Info

Publication number
KR20190055113A
KR20190055113A KR1020197009536A KR20197009536A KR20190055113A KR 20190055113 A KR20190055113 A KR 20190055113A KR 1020197009536 A KR1020197009536 A KR 1020197009536A KR 20197009536 A KR20197009536 A KR 20197009536A KR 20190055113 A KR20190055113 A KR 20190055113A
Authority
KR
South Korea
Prior art keywords
block
intra prediction
mode
video data
modes
Prior art date
Application number
KR1020197009536A
Other languages
English (en)
Other versions
KR102546382B1 (ko
Inventor
바딤 세레긴
난 후
웨이-정 치엔
마르타 카르체비츠
신 자오
비자야라가반 티루말라이
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20190055113A publication Critical patent/KR20190055113A/ko
Application granted granted Critical
Publication of KR102546382B1 publication Critical patent/KR102546382B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 코더는 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하고; 제 1 블록의 제 1 높이 및 제 1 폭에 기초하여, 비디오 데이터의 제 1 블록에 대한 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하고; N 개의 사용 가능한 인트라 예측 모드들의 그룹으로부터, 비디오 데이터의 제 1 블록을 코딩하는데 사용된 제 1 인트라 예측 모드를 선택하며; 그리고 제 1 인트라 예측 모드를 사용하여 제 1 블록을 코딩한다. 비디오 코더는 블록에 대한 제 1 최고 확률 모드 (MPM) 후보 리스트를 생성하고; 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 1 MPM 후보 리스트에 포함되지 않는 것을 표시하는 제 1 플래그를 코딩하고; 제 1 MPM 후보 리스트의 인트라 예측 모드에 기초하여 적어도 하나의 후보 인트라 예측 모드를 도출함으로써 제 2 MPM 후보 리스트를 생성한다.

Description

비디오 코딩을 위한 가변 수의 인트라 모드들
본 출원은 2016 년 10 월 4 일자로 출원된 미국 특허 가출원 제 62/404,128 호의 이점을 청구하며, 그 전체 내용은 참조에 의해 본원에 통합된다.
본 개시는 비디오 인코딩 및 비디오 디코딩에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인용 디지털 보조기들 (PDA들), 랩탑 또는 데스크탑 컴퓨터들, 태블릿 컴퓨터들, e-북 리더들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 소위 “스마트 폰들”, 비디오 텔레컨퍼런싱 디바이스들, 비디오 스트리밍 디바이스들 등을 포함한, 광범위한 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, 어드밴스드 비디오 코딩 (AVC) 에 의해 정의된 표준들, 최근 완성된 고 효율 비디오 코딩 (HEVC) 표준, 및 그러한 표준들의 확장들에서 설명된 기술들과 같은 비디오 압축 기술들을 구현한다. 비디오 디바이스들은 그러한 비디오 압축 기술들을 구현함으로써 디지털 비디오 정보를 더 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.
비디오 압축 기술들은 비디오 시퀀스들에 내재한 리던던시를 감소 또는 제거하기 위해 공간 (인트라-픽처) 예측 및/또는 시간 (인터-픽처) 예측을 수행한다. 블록 기반 비디오 코딩에 대해, 비디오 슬라이스 (즉, 비디오 프레임 또는 비디오 프레임의 일부) 는 비디오 블록들로 파티셔닝될 수도 있으며, 이 비디오 블록들은 또한 트리블록들, 코딩 유닛들 (CU들) 및/또는 코딩 노드들로 지칭될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스에서의 비디오 블록들은 동일 픽처의 이웃 블록들에서의 참조 샘플들에 대한 공간 예측을 사용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스에서의 비디오 블록들은 동일 픽처의 이웃 블록들에서의 참조 샘플들에 대한 공간 예측, 또는 다른 참조 픽처들에서의 참조 샘플들에 대한 시간 예측을 이용할 수도 있다. 픽처들은 프레임들로서 지칭될 수도 있으며, 참조 픽처들은 참조 프레임들로서 지칭될 수도 있다.
공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 발생시킨다. 잔차 데이터는 코딩될 오리지널 블록과 예측 블록 간의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 포인팅하는 모션 벡터, 및 코딩된 블록과 예측 블록 간의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가적인 압축을 위해, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어, 잔차 변환 계수들을 발생시킬 수도 있으며, 그 후, 이 잔차 변환 계수들은 양자화될 수도 있다. 2차원 어레이로 초기에 배열되는 양자화된 변환 계수들은 변환 계수들의 1차원 벡터를 생성하기 위해 스캐닝될 수도 있으며, 엔트로피 코딩이 훨씬 더 많은 압축을 달성하도록 적용될 수도 있다.
본 개시는 인트라 예측과 관련된 기술들, 및 보다 상세하게는, 비디오 인코더로부터 비디오 디코더로의 인트라 예측 모드들의 시그널링에 관한 것이다.
일 예에서, 비디오 데이터를 코딩하는 방법은, 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하는 단계로서, 상기 비디오 데이터의 제 1 블록은 제 1 높이 및 제 1 폭을 가지는, 상기 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하는 단계; 제 1 높이 및 제 1 폭에 기초하여, 비디오 데이터의 제 1 블록에 대한 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 단계로서, 상기 N 은 2 보다 큰 정수 값인, 상기 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 단계; N 개의 사용 가능한 인트라 예측 모드들의 그룹으로부터, 비디오 데이터의 제 1 블록을 코딩하는데 사용된 제 1 인트라 예측 모드를 선택하는 단계; 및 제 1 인트라 예측 모드를 사용하여 제 1 블록을 코딩하는 단계를 포함한다.
다른 예에서, 비디오 데이터를 코딩하는 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리 및 하나 이상의 프로세서들을 포함하며, 하나 이상의 프로세서들은, 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하는 것으로서, 상기 비디오 데이터의 제 1 블록은 제 1 높이 및 제 1 폭을 가지는, 상기 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하고; 제 1 높이 및 제 1 폭에 기초하여, 비디오 데이터의 제 1 블록에 대한 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 것으로서, 상기 N 은 2 보다 큰 정수 값인, 상기 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하고; N 개의 사용 가능한 인트라 예측 모드들의 그룹으로부터, 비디오 데이터의 제 1 블록을 코딩하는데 사용된 제 1 인트라 예측 모드를 선택하며; 그리고 제 1 인트라 예측 모드를 사용하여 제 1 블록을 코딩하도록 구성된다.
또 다른 예에서, 비디오 데이터를 코딩하는 방법은, 비디오 데이터의 블록이 인트라 모드 코딩된 것으로 결정하는 단계; 상기 블록에 대한 제 1 최고 확률 모드 (MPM) 후보 리스트를 생성하는 단계; 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 1 MPM 후보 리스트에 포함되지 않은 것을 표시하는 제 1 플래그를 코딩하는 단계; 블록에 대한 제 2 MPM 후보 리스트를 생성하는 단계로서, 상기 블록에 대한 제 2 MPM 후보 리스트를 생성하는 단계는 제 1 MPM 후보 리스트 내의 인트라 예측 모드에 기초하여 제 2 MPM 후보 리스트에 포함시키기 위한 적어도 하나의 후보 인트라 예측 모드를 도출하는 단계를 포함하는, 상기 블록에 대한 제 2 MPM 후보 리스트를 생성하는 단계; 및 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 2 MPM 후보 리스트에 포함되는지의 여부를 표시하는 제 2 플래그를 코딩하는 단계를 포함한다.
또 다른 예에서, 비디오 데이터를 코딩하는 디바이스는 비디오 데이터를 저장하도록 구성된 메모리; 및 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은 비디오 데이터의 블록이 인트라 모드 코딩된 것으로 결정하고; 상기 블록에 대한 제 1 최고 확률 모드 (MPM) 후보 리스트를 생성하고; 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 1 MPM 후보 리스트에 포함되지 않은 것을 표시하는 제 1 플래그를 코딩하고; 블록에 대한 제 2 MPM 후보 리스트를 생성하는 것으로서, 상기 블록에 대한 제 2 MPM 후보 리스트를 생성하는 것은 제 1 MPM 후보 리스트 내의 인트라 예측 모드에 기초하여 제 2 MPM 후보 리스트에 포함시키기 위한 적어도 하나의 후보 인트라 예측 모드를 도출하는 것을 포함하는, 상기 블록에 대한 제 2 MPM 후보 리스트를 생성하며; 그리고 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 2 MPM 후보 리스트에 포함되는지의 여부를 표시하는 제 2 플래그를 코딩하도록 구성된다.
본 개시물의 하나 이상의 양태들의 상세들은 첨부된 도면과 하기의 설명으로부터 설명된다. 본 개시물에서 설명된 기술들의 다른 피처들, 목적들, 및 이점들은 그 설명 및 도면들로부터 그리고 청구항들로부터 명백할 것이다.
도 1 은 본 개시에서 설명된 기술들을 활용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록도이다.
도 2 는 비디오 데이터의 블록의 인트라 예측의 일 예를 도시한 개념도이다.
도 3 은 인트라 예측 모드들 및 대응하는 모드 인덱스들의 일 예를 도시한 개념도이다.
도 4 는 인트라 예측 모드들 및 JEM 에서 정의된 대응하는 모드 인덱스들의 일 예를 도시한 개념도이다.
도 5 는 본 개시의 일 예에 따른 JEM 에서 정의된 인트라 예측 모드들의 일 예를 도시한 개념도이다.
도 6 은 본 개시에서 설명된 기술들을 구현할 수도 있는 예시적인 비디오 인코더를 도시한 블록도이다.
도 7 은 본 개시에서 설명된 기술들을 구현할 수도 있는 예시적인 비디오 디코더를 도시한 블록도이다.
도 8 은 본 개시의 기법들에 따른 예시적인 비디오 코딩 프로세스를 도시한 흐름도이다.
도 9 는 본 개시의 기법들에 따른 예시적인 비디오 코딩 프로세스를 도시한 흐름도이다.
최근에 개발된 HEVC (High Efficiency Video Coding) 표준을 포함하는 다양한 비디오 코딩 표준들은 비디오 블록들에 대한 예측 코딩 모드들을 포함하며, 여기서 현재 코딩되고 있는 블록은 비디오 데이터의 이미 코딩된 블록에 기초하여 예측된다. 인트라 예측 모드에서, 현재 블록은 현재 블록과 동일한 픽처 내의 하나 이상의 이전에 코딩된 이웃하는 블록들에 기초하여 예측되는 반면, 인터 예측 모드에서 현재 블록은 상이한 픽처 내의 이미 코딩된 블록에 기초하여 예측된다. 인터 예측 모드에서, 예측 블록으로서 사용하기 위해 이전에 코딩된 픽처의 블록을 결정하는 프로세스는 때때로 비디오 인코더에 의해 일반적으로 수행되는 모션 추정으로 지칭되고, 예측 블록을 식별하고 취출하는 프로세스는 때때로 비디오 인코더들과 비디오 디코더들 양자에 의해 수행되는 모션 보상으로 지칭된다. HEVC 의 확장들 및 HEVC 에 대한 후속물들은 또한, 인트라 블록 카피, 사전 (dictionary) 및 팔레트 코딩 모드와 같은 추가 코딩 모드들을 사용할 수도 있다.
본 개시는 인트라 예측, 및 보다 구체적으로는, 예측 방향들 (즉, 인트라 예측 모드들) 의 선택 및 예측 방향들의 코딩에 관한 기술들을 설명한다. 본 개시의 기술들은 HEVC 와 같은 임의의 기존 비디오 코덱들과 함께 사용될 수도 있거나, 또는 현재 HEVC 표준 및 그 확장들의 압축 능력을 초과할 수도 있는 압축 능력을 갖는 미래 비디오 코딩 기술에 사용하기 위한 효율적인 코딩 툴일 수도 있다. 본 개시의 기술들은 예를 들어, 현재 개발 중인 H.266 표준 또는 HEVC 에 대한 다른 후속 표준들과 관련하여 사용될 수도 있다.
본 개시는 때때로 비디오 코더를 지칭할 수도 있다. 비디오 코더는 비디오 인코딩 또는 비디오 디코딩을 지칭하는 일반적인 용어인 것으로 의도된다. 유사하게, 용어 비디오 코딩은 비디오 인코딩 또는 비디오 디코딩을 지칭하는 일반적인 용어인 것으로 의도된다. 본 개시의 특정 기술들은 비디오 인코딩 또는 비디오 디코딩에 관하여 기술될 수도 있지만, 달리 명시 적으로 언급되지 않는 한, 이들 기술들은 비디오 인코딩 또는 비디오 디코딩 중 다른 하나에 동등하게 적용가능될 수 없다고 가정되지 않아야 한다. 본 개시는, 예를 들어, 최고 효율 모드 (MPM) 후보 리스트들을 생성하고 MPM 후보 리스트들과 연관된 특정 정보를 엔트로피 코딩하기 위한 컨텍스트들을 결정하기 위한 기술들을 설명한다. MPM 후보 리스트를 생성하고 컨텍스트들을 결정하기 위한 기술들은 비디오 인코더와 비디오 디코더 양자에 의해 수행되므로, 비디오 디코더는 비디오 인코더로부터 비디오 디코더로의 명시적인 시그널링을 거의 또는 전혀 갖지 않고 비디오 인코더와 동일한 MPM 후보 리스트 또는 동일한 컨텍스트를 결정할 수 있다. 따라서, 본 개시의 특정 기술들이 비디오 인코더 또는 비디오 디코더 중 하나와 관련하여 설명되는 경우에도, 기술들은 일반적으로 비디오 인코더 또는 비디오 디코더 중 다른 하나에도 또한 적용가능한 것으로 가정되어야 한다.
본 개시는 또한, 현재 블록, 현재 픽처 등과 같은 용어들을 사용할 수도 있다. 본 명세서의 문맥에서, 용어 전류는 예를 들어, 이전에 또는 이미 코딩된 블록 또는 픽처와는 반대로 또는 코딩된 블록 또는 픽처와는 반대로, 현재 코딩되고 있는 블록 또는 픽처를 식별하는 것으로 의도된다.
도 1 은 본 개시에서 설명된 기술들을 활용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 도시한 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은, 목적지 디바이스 (14) 에 의해 더 나중 시간에 디코딩될 인코딩된 비디오 데이터를 생성하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 노트북 (즉, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한 광범위한 디바이스들 중 임의의 디바이스를 포함할 수도 있다. 일부 경우들에 있어서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신을 위해 장비될 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신할 수도 있다. 링크 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동 가능한 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 일 예에서, 링크 (16) 는, 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 직접 목적지 디바이스 (14) 로 실시간으로 송신할 수 있게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
다른 예에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스 (26) 로 출력될 수도 있다. 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스 (26) 로부터 액세스될 수도 있다. 저장 디바이스 (26) 는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산된 또는 국부적으로 액세스된 데이터 저장 매체들 중 임의의 데이터 저장 매체를 포함할 수도 있다. 추가의 예에 있어서, 저장 디바이스 (26) 는, 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오를 유지할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스 (14) 는 저장 디바이스 (26) 로부터의 저장된 비디오 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다. 파일 서버는, 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신하는 것이 가능한 임의의 타입의 서버일 수도 있다. 예시적인 파일 서버들은 웹 서버 (예를 들어, 웹 사이트용), FTP 서버, 네트워크 접속형 저장 (NAS) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는 인코딩된 비디오 데이터에, 인터넷 커넥션을 포함한 임의의 표준 데이터 커넥션을 통해 액세스할 수도 있다. 이는 파일 서버 상에 저장되는 인코딩된 비디오 데이터에 액세스하기에 적합한 무선 채널 (예를 들어, Wi-Fi 커넥션), 유선 커넥션 (예를 들어, DSL, 케이블 모뎀 등), 또는 이들 양자의 조합을 포함할 수도 있다. 인코딩된 비디오 데이터의 저장 디바이스 (26) 로부터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들 양자의 조합일 수도 있다.
본 개시의 기술들은 무선 애플리케이션들 또는 세팅들로 반드시 한정되는 것은 아니다. 그 기술들은, 공중 경유 (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예를 들어, 인터넷을 통한 스트리밍 비디오 송신들, 데이터 저장 매체 상의 저장을 위한 디지털 비디오의 인코딩, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들과 같은 다양한 멀티미디어 애플리케이션들 중 임의의 애플리케이션들의 지원으로 비디오 코딩에 적용될 수도 있다. 일부 예들에 있어서, 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오 전화와 같은 애플리케이션들을 지원하기 위해 일방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부 경우들에 있어서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 소스 디바이스 (12) 에 있어서, 비디오 소스 (18) 는 비디오 캡처 디바이스, 예를 들어, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽스 데이터를 소스 비디오로서 생성하기 위한 컴퓨터 그래픽스 시스템과 같은 소스, 또는 그러한 소스들의 조합을 포함할 수도 있다. 일 예로서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 하지만, 본 개시에서 설명된 기술들은 일반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다.
캡처되거나 사전-캡처되거나 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 데이터는 소스 디바이스 (12) 의 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 로 직접 송신될 수도 있다. 인코딩된 비디오 데이터는 또한 (또는 대안적으로), 디코딩 및/또는 플레이백을 위한 목적지 디바이스 (14) 또는 다른 디바이스들에 의한 더 나중의 액세스를 위해 저장 디바이스 (26) 상으로 저장될 수도 있다.
목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 경우들에 있어서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함할 수도 있다. 목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 인코딩된 비디오 데이터를 링크 (16) 상으로 수신한다. 링크 (16) 상으로 통신되는 또는 저장 디바이스 (26) 상에 제공되는 인코딩된 비디오 데이터는, 비디오 데이터를 디코딩함에 있어서 비디오 디코더 (30) 와 같은 비디오 디코더에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 신택스 엘리먼트들을 포함할 수도 있다. 그러한 신택스 엘리먼트들에는, 통신 매체 상으로 송신되거나 저장 매체 상에 저장되거나 또는 파일 서버에 저장되는 인코딩된 비디오 데이터가 포함될 수도 있다.
디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합되거나 그 외부에 있을 수도 있다. 일부 예들에 있어서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고, 또한, 외부 디스플레이 디바이스와 인터페이싱하도록 구성될 수도 있다. 다른 예들에 있어서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 최근 완성된 HEVC 표준과 같은 비디오 압축 표준에 따라 동작할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 ITU-T VCEG (Video Coding Experts Group) 및 ISO/IEC MPEG (Motion Picture Experts Group) 의 JCT-VC (Joint Collaboration Team on Video Coding) 뿐만 아니라 JCT-3V (Joint Collaboration Team on 3D Video Coding Extension Development) 에 의해 개발된, 범위 확장, 멀티뷰 확장 (MV-HEVC) 또는 스케일러블 확장 (SHVC) 과 같은 HEVC 확장에 따라 추가로 동작할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, ISO/IEC MPEG-4, 파트 10, 어드밴스드 비디오 코딩 (AVC) 으로서 대안적으로 지칭되는 ITU-T H.264 표준과 같은 다른 전매특허 또는 산업 표준들, 또는 그러한 표준들의 확장들, 예컨대 스케일러블 비디오 코딩 (SVC) 및 멀티뷰 비디오 코딩 (MVC) 확장들에 따라 동작할 수도 있다. 하지만, 본 개시의 기술들은 임의의 특정 코딩 표준으로 한정되지 않는다. 비디오 압축 표준들의 다른 예들은, ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, 및 ISO/IEC MPEG-4 비주얼을 포함한다.
ITU-T VCEG (Q6/16) 및 ISO/IEC MPEG (JTC 1/SC 29/WG 11) 는 현재 HEVC 표준을 훨씬 능가하는 압축 능력을 갖는 미래 비디오 코딩 기술의 표준화에 대한 잠재적 필요성을 연구하고 있다 (스크린 컨텐츠 코딩 및 높은 동적 범위 코딩을 위한 현재의 확장들 및 단기간의 확장들을 포함함). 이 그룹들은 제안된 압축 기술 설계들을 평가하기 위해 JVET (Joint Video Exploration Team) 로 알려진 공동 작업으로 이 탐험 활동에 함께 작업하고 있다. JVET 는 2015 년 10 월 19-21 일에 처음 모였다. 참조 소프트웨어의 일 버전, 즉 Joint Exploration Model 2 (JEM 2) 는:
https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-2.0/ 에서 다운로드될 수 있다. JEM2 에 대한 알고리즘은 J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, "Algorithm description of Joint Exploration Test Model 2", JVET-B1001, 샌디에고, 2016 년 3 월에 기술되며, 그 설명은 참조에 의해 본원에 통합된다. 참조 소프트웨어의 다른 버전, 즉 Joint Exploration Model 3 (JEM 3) 는 https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/ 에서 다운로드될 수 있다. JEM3 에 대한 알고리즘은 J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, "Algorithm description of Joint Exploration Test Model 3", JVET-C1001, 제네바, 2016 년 5 월 26 일부터 6 월 1일에 기술되며, 참조에 의해 본원에 통합된다.
본 개시의 기술들은 설명의 용이함을 위해 HEVC 용어를 활용할 수도 있다. 그러나, 본 개시의 기술들은 HEVC 에 한정되고, 실제로, 본 개시의 기술들은 HEVC 및 그 확장들에 대한 후속 표준들에서 구현될 수도 있음이 명백하게 고려된다.
비록 도 1 에 도시되지는 않지만, 일부 예들에 있어서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기 위해 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용 가능하다면, 몇몇 예들에서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜을 따를 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 임의의 다양한 적합한 인코더 회로 또는 디코더 회로로서 구현될 수도 있다. 기술들이 부분적으로 소프트웨어로 구현될 경우, 디바이스는 적합한 비-일시적인 컴퓨터 판독가능 매체에 소프트웨어에 대한 명령들을 저장하고, 본 개시물의 기술들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어로 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 하나는 개별 디바이스에 있어서 결합된 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다.
HEVC 및 다른 비디오 코딩 상세들에 있어서, 비디오 시퀀스는 통상적으로 픽처들의 시리즈를 포함한다. 픽처들은 또한 "프레임들" 로서 지칭될 수도 있다. 하나의 예시적인 접근 방식에서, 픽처는 SL, SCb, 및 SCr 로 표기되는 3개의 샘플 어레이들을 포함할 수도 있다. 그러한 예시적인 접근 방식에서, SL 은 루마 샘플들의 2 차원 어레이 (즉, 블록) 이다. SCb 는 Cb 크로미넌스 샘플들의 2 차원 어레이이다. SCr 는 Cr 크로미넌스 샘플들의 2 차원 어레이이다. 크로미넌스 샘플들은 "크로마" 샘플들로서 여기에서 또한 지칭될 수도 있다. 다른 예들에서, 픽처는 단색일 수도 있고, 루마 샘플들의 어레이만을 포함할 수도 있다.
픽처의 인코딩된 표현을 생성하기 위하여, 비디오 인코더 (20) 는 코딩 트리 유닛 (coding tree unit; CTU) 들의 세트를 생성할 수도 있다. 각각의 CTU들은 루마 샘플들의 코딩 트리 블록, 크로마 샘플들의 2 개의 대응하는 코딩 트리 블록들, 및 코딩 트리 블록들의 샘플들을 코딩하는데 이용되는 신택스 구조들을 포함할 수도 있다. 단색 픽처들 또는 3 개의 별개의 컬러 평면들을 갖는 픽처들에서, CTU 는 단일의 코딩 트리 블록, 및 코딩 트리 블록의 샘플들을 코딩하는데 이용된 신택스 구조들을 포함한다. 코딩 트리 블록은 샘플들의 NxN 블록일 수도 있다. CTU 는 또한 “트리 블록” 또는 "최대 코딩 유닛" LCU 으로 지칭될 수도 있다. HEVC 의 CTU들은 H.264/AVC 와 같은 다른 표준들의 매크로블록들과 대체로 유사할 수도 있다. 그러나, CTU 는 특정 사이즈로 반드시 제한되는 것은 아니며, 하나 이상의 코딩 유닛들 (CU들) 을 포함할 수도 있다. 슬라이스는 래스터 스캔 순서에 있어서 연속적으로 순서화된 정수 개수의 CTU들을 포함할 수도 있다.
코딩된 CTU 를 생성하기 위해, 비디오 인코더 (20) 는 CTU 의 코딩 트리 블록들에 쿼드 트리 파티셔닝을 재귀적으로 수행하여, 코딩 트리 블록들을 코딩 블록들, 따라서, 명칭 "코딩 트리 유닛들" 로 분할할 수도 있다. 코딩 블록은 샘플들의 NxN 블록일 수도 있다. CU 는 루마 샘플 어레이, Cb 샘플 어레이, 및 Cr 샘플 어레이를 갖는 픽처의 루마 샘플들의 코딩 블록, 및 크로마 샘플들의 2개의 대응하는 코딩 블록들, 그리고 코딩 블록들의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다. 단색 픽처들 또는 3개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, CU 는 단일의 코딩 블록, 및 그 코딩 블록의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 CU 의 코딩 블록을 하나 이상의 예측 블록들로 파티셔닝할 수도 있다. 예측 블록은, 동일한 예측이 적용되는 샘플들의 직사각형 (즉, 정사각형 또는 비-정사각형) 블록이다. CU 의 예측 유닛 (PU) 은 루마 샘플들의 예측 블록, 크로마 샘플들의 2 개의 대응하는 예측 블록들, 및 예측 블록 샘플들을 예측하는데 사용된 신택스 구조들을 포함할 수도 있다. 단색 픽처들 또는 3개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, PU 는 단일의 예측 블록, 및 그 예측 블록을 예측하는데 사용된 신택스 구조들을 포함할 수도 있다. 비디오 인코더 (20) 는 예측 루마, 루마에 대한 Cb 및 Cr 블록들, CU 의 각각의 PU 의 Cb 및 Cr 예측 블록을 생성할 수도 있다.
비디오 인코더 (20) 는 PU 에 대한 예측 블록들을 생성하기 위해 인트라 예측 또는 인터 예측을 이용할 수도 있다. 비디오 인코더 (20) 가 인트라 예측을 사용하여 PU 의 예측 블록들을 생성하면, 비디오 인코더 (20) 는 PU 와 연관된 픽처의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다. 비디오 인코더 (20) 가 인터 예측을 사용하여 PU 의 예측 블록들을 생성하면, 비디오 인코더 (20) 는 PU 와 연관된 픽처 이외의 하나 이상의 픽처들의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
비디오 인코더 (20) 가 CU 의 하나 이상의 PU들에 대한 예측 루마, Cb, 및 Cr 블록들을 생성한 후, 비디오 인코더 (20) 는 CU 에 대한 루마 잔차 블록을 생성할 수도 있다. CU 의 루마 잔차 블록에서의 각각의 샘플은 CU 의 예측 루마 블록들 중 하나에서의 루마 샘플과, CU 의 오리지널 루마 코딩 블록에서의 대응하는 샘플 사이의 차이를 나타낸다. 추가로, 비디오 인코더 (20) 는 CU 에 대한 Cb 잔차 블록을 생성할 수도 있다. CU 의 Cb 잔차 블록에서의 각각의 샘플은 CU 의 예측 Cb 블록들 중 하나에서의 Cb 샘플과, CU 의 오리지널 Cb 코딩 블록에서의 대응하는 샘플 사이의 차이를 나타낼 수도 있다. 비디오 인코더 (20) 는 또한, CU 에 대한 Cr 잔차 블록을 생성할 수도 있다. CU 의 Cr 잔차 블록에서의 각각의 샘플은 CU 의 예측 Cr 블록들 중 하나에서의 Cr 샘플과, CU 의 오리지널 Cr 코딩 블록에서의 대응하는 샘플 사이의 차이를 나타낼 수도 있다.
또한, 비디오 인코더 (20) 는 CU 의 루마, Cb 및 Cr 잔차 블록들을 하나 이상의 루마, Cb 및 Cr 변환 블록들로 분해하기 위해 쿼드트리 파티셔닝을 이용할 수도 있다. 변환 블록은, 동일한 변환이 적용되는 샘플들의 직사각형 (즉, 정사각형 또는 비-정사각형) 블록이다. CU 의 변환 유닛 (TU) 은 루마 샘플들의 변환 블록, 크로마 샘플들의 2 개의 대응하는 변환 블록들, 및 변환 블록 샘플들을 변환하는데 이용되는 신택스 구조들을 포함할 수도 있다. 따라서, CU 의 TU 각각은 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수도 있다. TU 와 연관된 루마 변환 블록은 CU 의 루마 잔차 블록의 서브블록일 수도 있다. Cb 변환 블록은 CU 의 Cb 잔차 블록의 서브블록일 수도 있다. Cr 변환 블록은 CU 의 Cr 잔차 블록의 서브블록일 수도 있다. 단색 픽처들 또는 3개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, TU 는 단일의 변환 블록, 및 그 변환 블록의 샘플들을 변환하는데 사용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 TU 에 대한 루마 계수 블록을 생성하기 위해 TU 의 루마 변환 블록에 하나 이상의 변환들을 적용할 수도 있다. 변환 계수 블록은 변환 계수들의 2 차원 어레이일 수도 있다. 변환 계수는 스칼라 양일 수도 있다. 비디오 인코더 (20) 는 TU 에 대한 Cb 계수 블록을 생성하기 위해 TU 의 Cb 변환 블록에 하나 이상의 변환들을 적용할 수도 있다. 비디오 인코더 (20) 는 TU 에 대한 Cr 계수 블록을 생성하기 위해 TU 의 Cr 변환 블록에 하나 이상의 변환들을 적용할 수도 있다.
계수 블록 (예를 들어, 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록) 을 생성한 후, 비디오 인코더 (20) 는 계수 블록을 양자화할 수도 있다. 양자화는, 변환 계수 블록의 계수들을 표현하기 위해 사용되는 데이터의 양을 최대한 줄이기 위해 변환 계수들이 양자화되어 추가적인 압축을 제공하는 프로세스를 일반적으로 지칭한다. 비디오 인코더 (20) 가 계수 블록을 양자화한 후, 비디오 인코더 (20) 는 양자화된 변환 계수들을 표시하는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들에 대해 컨텍스트-적응형 이진 산술 코딩 (CABAC) 을 수행할 수도 있다.
비디오 인코더 (20) 는 연관된 데이터와 코딩된 픽처들의 표현을 형성하는 비트들의 시퀀스를 포함하는 비트스트림을 출력할 수도 있다. 비트스트림은 네트워크 추상화 계층 (NAL) 유닛들의 시퀀스를 포함할 수도 있다. NAL 유닛은 필요에 따라 에뮬레이션 방지 비트들에 산재된 원시 바이트 시퀀스 페이로드 (RBSP) 형태로 데이터를 포함하는 바이트들 및 NAL 유닛으로 데이터의 타입의 표시를 포함하는 신택스 구조이다. NAL 유닛들 각각은 NAL 유닛 헤더를 포함할 수도 있고, RBSP 를 캡슐화할 수도 있다. NAL 유닛 헤더는 NAL 유닛 타입 코드를 나타내는 신택스 엘리먼트를 포함할 수도 있다. NAL 유닛의 NAL 유닛 헤더에 의해 특정된 NAL 유닛 타입 코드는 NAL 유닛의 타입을 나타낸다. RBSP 는 NAL 유닛 내에 캡슐화된 바이트들의 정수를 포함하는 신택스 구조일 수도 있다. 일부 경우들에서, RBSP 는 제로 비트들을 포함한다.
상이한 타입들의 NAL 유닛들이 상이한 타입들의 RBSP들을 캡슐화할 수도 있다. 예를 들어, 제 1 타입의 NAL 유닛은 PPS 에 대한 RBSP 를 캡슐화할 수도 있고 제 2 타입의 NAL 유닛은 코딩된 슬라이스에 대한 RBSP 를 캡슐화할 수도 있고, 제 3 타입의 NAL 유닛은 SEI 메시지들에 대한 RBSP 를 캡슐화할 수 있는 등이다. (파라미터 세트들 및 SEI 메시지들에 대한 RBSP들에 대하여 반대로) 비디오 코딩 데이터에 대한 RBSP들을 캡슐화하는 NAL 유닛들은 VCL (video coding layer) NAL 유닛들로 지칭될 수도 있다.
비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 생성된 비트스트림을 수신할 수도 있다. 부가적으로, 비디오 디코더 (30) 는 비트스트림을 파싱하여, 비트스트림으로부터 신택스 엘리먼트들을 획득할 수도 있다. 비디오 디코더 (30) 는 비트스트림으로부터 획득된 신택스 엘리먼트들에 적어도 부분적으로 기초하여 비디오 데이터의 픽처들을 복원할 수도 있다. 비디오 데이터를 복원하는 프로세스는 비디오 인코더 (20) 에 의해 수행되는 프로세스에 대하여 일반적으로 상호적일 수도 있다. 또한, 비디오 디코더 (30) 는 현재 CU 의 TU들과 연관된 계수 블록을 역 양자화할 수도 있다. 비디오 디코더 (30) 는 계수 블록들에 대해 역 변환들을 수행하여 현재 CU 의 TU 들과 연관된 변환 블록들을 복원할 수도 있다. 비디오 디코더 (30) 는 현재 CU 의 PU들에 대한 예측 블록들의 샘플들을, 현재 CU 의 TU들의 변환 블록들의 대응하는 샘플들에 부가함으로써, 현재 CU 의 코딩 블록들을 복원할 수도 있다. 픽처의 각각의 CU 의 코딩 블록들을 복원함으로써, 비디오 디코더 (30) 는 픽처를 복원할 수도 있다.
도 2 는 비디오 인코더 (20) 또는 비디오 디코더 (30) 에 의해 수행될 수도 있는 것과 같은, 비디오 데이터의 블록의 인트라 예측의 일 예를 도시한 개념도이다. 인트라 예측에서, 비디오 데이터의 블록 (예를 들어, PU) 은 공간적으로 이웃하는 복원된 이미지 샘플을 사용하여 예측된다. 이미지 블록 (40), 예를 들어, 16×16 이미지 블록에 대한 인트라 예측의 전형적인 예가 도 2 에 도시된다. 인트라 예측으로, 비디오 인코더 (20) 또는 비디오 디코더 (30) 는 (화살표 42 로 표시된 바와 같이) 선택된 예측 방향을 따라 상부 및 좌측의 이웃하는 복원된 샘플들 (참조 샘플들) 을 카피함으로써 이미지 블록 (40) 을 예측한다.
도 3 은 HEVC 표준에서 사용되는 인트라 예측 모드들 및 대응하는 모드 인덱스들의 일 예를 도시한 개념도이다. HEVC 에서, 도 3 에 표시된 것과 같이, 평면 모드 (즉, 평면 인트라 예측 모드), DC 모드 및 33 개의 각도 모드들 (즉, 각도 인트라 예측 모드들) 을 포함하는, 루마 블록의 인트라 예측을 위한 35 개의 모드들이 있다. HEVC 에서 정의된 것과 같은 35 개의 인트라 예측 모드들은 이하 표 1 에 도시된 것과 같이 인덱싱된다.
표 1 - 인트라 예측 모드 및 연관된 명칭의 지정
Figure pct00001
도 4 는 JEM 에서 정의된 인트라 예측 모드들 및 대응하는 모드 인덱스들의 일 예를 도시한 개념도이다. JEM-3.0 에서 하나의 인트라 관련 코딩 툴은 도 4 에 도시된 바와 같이, 67 개의 인트라 예측 모드들의 도입이다. HEVC 의 인트라 예측 모드들과 비교하여, 32 개의 부가적인 각도 인트라 예측 각도들이 도 4 에 점선으로 도시된 것과 같이, 도입된다. HEVC 의 33 개의 각도 인트라 예측 모드들은 실선으로 도시된다. 인트라 모드 인덱스 0 및 1 은 HEVC 에서 동일한 평면 및 DC 모드들을 지칭한다. 인트라 모드 인덱스들 2 ~ 66 은 순수 수평 예측, 대각선 예측, 및 순수 수직 예측에 각각 대응하는 인덱스들 18, 34 및 50 을 갖는 상이한 인트라 예측 각도들을 지칭한다. 67 개의 인트라 예측 모드들로, 보다 미세한 인트라 예측 정확도가 HEVC 의 35 개의 인트라 예측 모드들에 대하여 달성될 수도 있다.
인트라 모드를 시그널링하기 위해, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 MPM 리스트를 구축 할 수도 있다. 비디오 인코더 (20) 는 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 MPM 리스트의 모드들 중 하나인지 여부를 표시하는 플래그를 시그널링한다. 실제 모드가 MPM 리스트의 모드들 중 하나인 경우, 비디오 인코더 (20) 는 인코딩된 비디오 데이터의 비트스트림에 포함시키기 위한 인덱스 값을 표시하는 신택스 엘리먼트를 생성할 수도 있고, 여기서 인덱스 값은 MPM 리스트의 어느 엔트리가 실제 인트라 예측 모드에 대응하는지를 표시한다. 인코딩된 비디오 데이터를 디코딩할 때, 비디오 디코더 (30) 는 플래그 및 인덱스 값을 디코딩하여 블록을 코딩하는데 사용된 인트라 예측 모드에 대응하는 리스트 내의 엔트리를 결정할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 가 동일한 MPM 리스트를 생성하도록 구성되기 때문에, 비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 사용된 인트라 예측 모드를 결정하여 그 블록을 인코딩할 수 있다. 블록을 코딩하는데 사용된 실제 인트라 모드가 MPM 리스트의 선택된 모드들로부터 기인하는 것이 아니라면, 비디오 인코더 (20) 는 블록을 코딩하는데 사용된 모드의 모드 인덱스를 명시적으로 시그널링할 수도 있다. 모드 인덱스의 최대 값은 MPM들 및 선택된 모드들을 제거함으로써 감소될 수도 있다. 예를 들어, 선택된 모드들의 리스트는 매 4 번째 모드를 취함으로써 구축될 수도 있다, 즉 균일하게 샘플링될 수도 있다.
JEM 에서의 인트라 예측 모드 시그널링에 대한 현재 구현은 잠재적으로 본 개시의 양태들에 의해 해결될 수도 있는 몇몇 문제점들을 갖는다. 일 예로서, JEM 에서의 인트라 각도 방향들의 수는 HEVC 에 대한 인트라 각도 방향들의 수에 비해 2 배이지만, 더 미세한 예측 방향들이 여전히 요구될 수도 있다. 그러나, 더 작은 블록 사이즈들에 대하여 방향들의 수를 증가시키는 것은 예측 품질을 현저하게 개선하지 못할 수도 있고, 실제로, 시그널링 오버헤드를 바람직하지 않게 증가시킬 수도 있다. JEM 에서, 균일하게 샘플링된 선택된 모드들을 갖는 MPM 리스트는 그러한 MPM 리스트가 이웃들 또는 이미 선택된 MPM 리스트에 의존하지 않기 때문에 특정 블록에 대한 최상의 인트라 예측 모드들을 가장 효율적으로 나타내지 못할 수도 있다. JEM 에서, 인트라 모드들의 수가 증가하여, 인트라 모드 시그널링 비용도 또한 증가할 수도 있다. JEM 에서, 직사각형 블록들은 인트라 예측을 위해 인에이블되지만, JEM 은 인트라 모드 시그널링에 대하여 블록 형상 및 대응하는 에지 특징들을 고려하지 않는다. 잠재적인 문제의 다른 예로서, 더 많은 각도 인트라 모드들이 도입됨에 따라, MPM 인덱스에 대한 컨텍스트 모델이 추가로 리파이닝될 필요가 있을 수도 있다.
상기 언급된 문제점들을 잠재적으로 해결하기 위해, 본 개시는 인트라 예측 모드들 및 인트라 예측 모드들의 시그널링과 관련된 몇 가지 기술들을 도입한다. 개시된 기술들은 개별적으로 적용될 수도 있거나, 반대로 언급되지 않는 한, 임의의 조합으로 또한 적용될 수도 있다. 다음의 기술들은 비디오 인코더 (20) 또는 비디오 디코더 (30) 에 의해 적용될 수도 있다. 일부 예들에서, 비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 수행되는 인코딩 프로세싱에 상반되는 디코딩 프로세스를 수행할 수도 있다. 일 예로서, 비디오 인코더 (20) 가 특정 정보를 송신하면, 비디오 디코더 (30) 는 이러한 정보를 수신할 수도 있다. MPM 리스트들을 구축하는 경우, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 동일한 리스트들을 구축하기 위해 동일한 기술들을 수행할 수도 있다.
이 개시의 기술들에 따르면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 가변 수의 인트라 모드들을 사용하도록 구성될 수도 있어서 모든 인트라 코딩된 블록들이 동일한 가용 인트라 모드들을 갖는 것은 아니다. 도 5 는 본 개시의 일 예에 따른 JEM 에 포함될 수 있는 인트라 예측 모드들의 일 예를 도시한 개념도이다. 도 5 는 본 개시에 의해 도입된 131 개의 인트라 모드들을 도시한다. 도 5 의 숫자들 2, 34, 66, 98 및 130 은 각도 모드들에 대한 모드 인덱스들을 나타내고, 숫자들 0 및 1은 각각 평면 및 DC 모드들에 대한 모드 인덱스들을 나타낸다. 도 5 에는 명시적으로 도시되지 않았지만, 다른 각도 모드들은 또한 연관된 인덱스들을 갖는다. 실선들 (예를 들어, 도면 부호 53 로 라벨링된 모드들) 은 HEVC 의 35 개의 모드들 (33 개의 각도 모드들, 플러스 DC 및 평면) 을 나타낸다. JEM 의 현재 구현은 33 개의 HEVC 각도 모드들 사이의 추가의 각도 모드들에 대응하는 추가의 모드들과 함께 67 개의 인트라 모드들을 활용한다. 도면 부호 55 로 라벨링된 모드들은 JEM 의 현재 버전에 포함된 추가 모드들의 예들이다. 이 개시는 33 개의 HEVC 각도 모드들과 추가의 32 개 JEM 각도 모드들 사이에 추가 모드들을 추가하는 것을 제안한다. 도면 부호 57 로 라벨링된 모드들은 본 개시에 의해 제안된 추가의 각도 모드들의 예들이다.
그러나, 인트라 모드 예측 방향들의 수를 단순히 증가시키는 것은 방향의 증가는, 증가된 방향들의 수가 또한 부가적인 가변성으로 인한 오버헤드 시그널링을 증가시키기 때문에, 코딩 성능을 개선하는데 도움이 되지 않을 수도 있다. 둘째, 인트라 모드 방향들의 더 많은 다양성은 모든 블록 사이즈들에 대해 효율적이지 않을 수도 있다. 예를 들어, 작은 블록 사이즈들의 경우, 더 적은 인트라 방향들이 더 적은 오버헤드에 바람직할 수도 있으며, 더 큰 블록의 경우 더 많은 인트라 방향들이 더 양호할 수도 있다.
일 예에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 코딩되고 있는 블록의 사이즈 (예를 들어, 높이 및 폭) 에 의존하여 상이한 모드들의 그룹핑들을 활용할 수도 있다. 인트라 모드들의 수는 블록 사이즈 또는 블록 면적 (폭*높이) 마다 시그널링될 수도 있다. 블록 사이즈 또는 블록 면적 당 선택된 수의 인트라 모드 방향들은 비디오 파라미터 세트 (VPS), 시퀀스 파라미터 세트 (SPS), 픽처 파라미터 세트 (PPS), 슬라이스 헤더, 블록들의 그룹에서, CTU 레벨에서, 블록 레벨에서, 또는 다른 곳에서 시그널링될 수도 있다. 일 예에서, 인트라 모드 방향들의 수를 시그널링하는 것은 SPS 에서 수행될 수도 있다.
일 예에서, 인트라 모드들의 수를 시그널링하기 위해, 비디오 인코더 (20) 는 블록 사이즈 또는 블록 면적을 표시하는 임계치를 시그널링할 수도 있고, 임계치보다 더 작거나 더 크지 않은 블록들의 경우, 비디오 인코더 (20) 는 특정 수의 인트라 모드들을 사용할 수도 있다. 임계치는 디폴트 수를 기준으로 또는 시그널링될 임계치와 최소의 가능한 블록 사이즈 또는 면적 간의 차이로서 시그널링될 수도 있다. 예를 들어, 최소 블록 사이즈는 4x4 일 수도 있으므로, log2(특정 수의 인트라 모드들에 해당하는 블록 사이즈) - log2(4) 가 시그널링된다. 4 대신에, 임의의 다른 사이즈가 사용될 수도 있다. 시그널링에서 최소 블록 사이즈는 아래에서 설명되는 바와 같이 그것이 나타내는 인트라 모드들의 수에 의존할 수도 있다.
앞서 설명된 것과 같이, 다양한 블록 사이즈들은 상이한 수의 인트라 모드들을 가질 수도 있다. 예를 들어, 블록 사이즈 또는 블록 면적을 표시하는 제 1 임계치가 시그널링되고, 블록 사이즈 또는 블록 면적이 제 1 임계치보다 더 작거나 크지 않다면, 인트라 모드들의 수는 제 1 수와 동일하다. 예를 들어, 제 1 임계치는 32 (블록 면적) 일 수도 있고, 시그널링된 값은 log2(32) -log2(16) = 1 이고, 16 은 4x4 블록의 면적이고 이 예에서 제 1 수의 인트라 모드들에 대하여 최소 블록으로 고려되며, 제 1 임계치 32 보다 크지 않은 면적을 갖는 블록들에 대하여, 예컨대, 35 개의 인트라 모드들과 동일한 제 1 수의 인트라 모드들이 사용될 수도 있다.
유사하게, 비디오 인코더 (20) 는 제 2 수의 인트라 모드들이 사용되는 것을 표시하기 위해 제 2 임계치를 시그널링할 수도 있다. 예를 들어, 제 2 임계치는 256 과 동일하게 설정될 수도 있고, 시그널링된 값은 log2(256)-log2(64) = 2 이고, 64 는 8x8 블록의 면적이고 이 예에서 제 2 수의 인트라 모드들에 대해 최소로 설정되며, 제 2 수의 인트라 모드들은 예를 들면, 67 개 모드들과 동일하게 설정된다. 제 2 임계치보다 더 작거나 크지 않은 블록들에 대하여, 제 2 수의 인트라 모드들이 옵션적으로 그 블록들을 제외하고 사용될 수도 있으며, 여기서 그 수의 인트라 모드들은 제 1 임계치와 비교하는 동안 이미 할당되었다.
다른 블록들은 디폴트 수의 인트라 모드들, 예를 들어 131 개의 인트라 모드들을 사용할 수도 있다. 위의 예는 아래의 표로 요약될 수 있다.
Figure pct00002
일 예에서, 시그널링된 임계치들은 픽처 사이즈 (예를 들어, 픽처 해상도) 에 의존할 수도 있다. 하나의 예에서 2 개의 임계치들이 활용될 수도 있지만, 2 보다 크거나 적은 수의 임계치들의 다른 수의 인트라 모드들과 함께 사용될 수도 있다. 다른 예에서, 인트라 모드들의 수는, 블록 폭 및/또는 높이, 블럭 폭 (높이) 대 높이 (폭) 의 비율, 참조 샘플들의 어떤 라인(들)이 인트라 예측을 위해 사용되는지, (2017 년 3 월 30 일에 공개된 미국 특허 공보 2017/0094285 에 설명된 바와 같은) 픽처 의존 예측 결합 (PDPC), (2016 년 7 월 28 일에 공개된 미국 특허 공보 2016/0219290 에 설명된 바와 같은) 강화된 다중 변환 (EMT), (양자가 2017 년 3 월 30 일에 공개된 미국 특허 공보 2017/0094313 및 미국 특허 공보 2017/0094314 에 설명된 바와 같은) 일차 변환, 즉 분리 불가능한 이차 변환 (NSST) 의 타입, 또는 이차 변환 모드의 타입이 현재 블록에 대하여 적용되는지의 여부, 현재 블록이 인트라 슬라이스에서 코딩되는지 또는 인터 (P 또는 B) 슬라이스에서 코딩되는지의 여부, 이웃하는 복원된 값들, 이웃하는 인트라 모드들을 포함하지만 이에 제한되지 않는 다른 디코딩된 정보에 의존할 수도 있다. 예를 들어, 대부분의 이웃하는 블록들이 평면 또는 DC 모드들을 사용하는 경우, 현재 블록은 현재 블록에 대한 디폴트 수보다 작은 수의 인트라 모드들을 사용할 수도 있고, 그렇지 않다면, 디폴트 수의 인트라 모드들이 현재 블록에 대하여 적용된다 .
다른 예에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 인코딩 및 디코딩 프로세스 동안 인트라 모드들의 수를 업데이트할 수도 있다. 예를 들어, 카운터는 MPM 모드들이 선택된 인트라 모드로서 얼마나 자주 사용되고 있는지를 카운트하는데 사용될 수도 있고, MPM 모드들이 매우 빈번하게 사용되는 경우, 인트라 모드들의 총 수가 감소 될 수도 있고 (예를 들어, 131 에서 67 로 감소될 수도 있고), 그렇지 않으면 MPM 모드가 빈번하게 사용되지 않는 경우, 인트라 모드들의 총 수가 증가될 수도 있다 (예를 들어, 35 에서 67 로 증가될 수도 있다).
MPM들의 수는 인트라 모드들의 총 수에 의존할 수도 있다. 예를 들어, 인트라 모드들의 총 수가, 예를 들어 67 과 같은 제 1 값과 동일하다면, 예를 들어 6 과 같은 하나의 수의 MPM들이 인트라 모드 코딩에 사용될 수도 있다. 인트라 모드들의 총 수가, 예를 들어 131 과 같은 제 2 값과 동일하다면, 예를 들어 7 또는 5 MPM들과 같은 제 2 수의 MPM들이 인트라 모드 코딩에 사용될 수도 있다.
사용되는 인트라 보간 필터 (타입 및 길이) 는 인트라 모드들의 총 수에 의존할 수도 있다. 예를 들어, 인트라 모드들의 총 수가 제 1 수, 예를 들어 67 과 동일할 경우, 예를 들어 4-탭 A 3차 보간 필터와 같은 특정 필터 길이를 갖는 제 1 필터가 적용될 수도 있고, 그 후에 예를 들어, 131 과 같은 제 2 수와 동일한 인트라 모드들의 총 수에 대하여, 예를 들어 6-탭 6차 보간 필터와 같은 다른 필터 길이를 갖는 다른 필터가 적용될 수도 있다.
모드 의존 인트라 평활화 임계치들은 예를 들어, 인트라 모드들의 수가 67 에서 131 개 모드들로 증가될 때, 2 배의 수의 각도 방향들에 대해 임계치에 2 를 곱함으로써 증가된 수의 방향들에 대해 확장될 수도 있다.
본 개시의 기술들에 따르면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 인트라 모드 컨버전을 수행하도록 구성될 수도 있다. 1 초과 수의 인트라 모드들이 사용될 수도 있으므로, 인트라 모드들은 인트라 모드들의 일 범위로부터 다른 범위로 컨버팅되어야 할 수도 있다. 예를 들어, 현재 블록은 131 개의 모드들을 사용할 수도 있지만, 이웃 블록은 67 개의 모드들을 사용할 수도 있다. MPM 리스트가 현재 블록에 대해 구축될 때, 인트라 모드들은 이웃 블록을 위해 사용된 인트라 모드들의 수가 상이한 경우, 인트라 모드들의 현재 수를 사용하여 인트라 모드들로 맵핑될 수도 있다.
예를 들어, 이웃 블록은 수평 모드를 가질 수도 있고, 수평 모드 수는 35 개의 인트라 모드들에서 10, 67 개의 인트라 모드들에서 18, 및 131 개의 인트라 모드들에서 34 이다. 이와 같이, 이웃 블록이 67 개의 인트라 모드들을 사용하면, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 예를 들어 수평 모드 수 10 또는 18 을 34 로 맵핑할 수도 있다.
일 예에서, 인트라 모드들의 선택된 서브세트, 예를 들어 131 모드들로부터의 67 개의 모드들은 모든 다른 제 2 모드 (DC 및 평면을 제외함) 를 포함하지 않을 수도 있다. 다시 말해서, 선택된 서브세트는 JEM 에서 현재 활용되는 오직 67 개의 모드들만을 포함할 수도 있고, 본 개시에 의해 제안된 추가의 64 개의 각도 모드들은 포함하지 않을 수도 있다. 일 예에서, 모든 다른 제 2 모드를 선택하는 것은 오직 각도 모드에만 적용할 수도 있는 반면, 평면 모드 (모드 0) 및 DC 모드 (모드 1) 는 일반적으로 더 빈번하며, 더 작은 서브세트에 항상 포함될 수도 있다. 일 예에서, 67 개의 모드들의 서브세트는, 예를 들어 오프라인 실험 및/또는 트레이닝에 기초하여, 이미지의 특성들에 가장 적합한 131 개의 모드들로부터 선택될 수도 있다. 이러한 방식으로 67 개의 모드들을 선택하면, 예측 정확도가 향상되어 개선된 코딩 성능을 초래할 수도 있다. 선택된 67 개의 모드들은 룩업 테이블 (LUT) 에 저장될 수도 있다. 보다 큰 인트라 모드 세트 (즉, 131 개의 모드들) 간의 더 작은 인트라 모드 세트 (즉, 67 개의 모드들) 로의 맵핑 및 그 반대는 룩업 테이블을 사용하여 수행될 수도 있다. 131 개의 모드들로부터 35 개의 모드들의 서브세트를 선택하기 위해, 유사한 방법들이 적용될 수도 있고, 이 맵핑을 수행하기 위해 룩업 테이블이 사용될 수도 있다.
비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 일반적으로 룩업 테이블에 따라 맵핑 또는 컨버전 프로세스를 수행할 수도 있으며, 입력 또는 하나의 인덱스는 컨버팅될 모드이고, 출력 또는 제 2 인덱스는 컨버팅된 모드이다. 컨버전은 더 큰 인트라 모드 세트에서 더 작은 세트로, 또는 더 작은 세트에서 더 큰 세트로의 양자의 방향들로 수행될 수도 있다. 더 작은 인트라 모드 세트는 더 큰 인트라 모드 세트의 서브세트일 수도 있고, 더 큰 인트라 모드의 세트는 더 작은 인트라 모드 세트의 수퍼세트일 수도 있다. 서브세트는, 예를 들어 더 큰 세트의 가장 빈번하게 사용되는 모드들에 기초하여 또는 선택된 방향들의 이웃에 기초하여 유도될 수도 있다. 예를 들어, 선택된 방향들은 수평, 수직, 대각선 또는 다른 모드들일 수도 있다. 가장 빈번한 모드들의 일부 예들은 DC 모드 또는 평면 모드일 수도 있다.
일 예에서, 블록과 함께 저장된 인트라 모드들은 블록이 더 적은 수의 인트라 모드들을 사용하더라도, 최대 수의 인트라 모드들, 예를 들어 131 개의 인트라 모드들에 의해 표현된 모드 번호로 설정될 수도 있다. 최대 수의 인트라 모드들로 표현되는 모드로부터 블록을 위해 사용되는 원하는 수의 인트라 모드들 내의 모드로의 맵핑 또는 컨버전 프로세스가 수행되어 실제 모드를 도출할 수도 있다.
맵핑 또는 컨버전 규칙은 비디오 인코더 (20) 및 비디오 디코더 (30) 에 대해 고정될 수도 있거나, 또는 예를 들어 인덱스를 시그널링하는 규칙들의 리스트를 사용하여 비트스트림으로 표시될 수도 있다. 다른 예에서, 컨버전 규칙은 인코딩 및 디코딩 프로세스 동안 업데이트될 수도 있다.
하나의 예에서, LUT 기반 맵핑을 사용하는 대신에, 맵핑 프로세스는 폐쇄형 표현에 기반할 수도 있다. 131 개의 모드들로 표현되는 모드를 67 개의 모드들로 표현되는 모드로 컨버팅하기 위해서는 다음이 적용될 수도 있다, shift =1 을 설정하는 것에 의해, (((mode-2)>>shift)<<shift)+2; 이는 0 에 더 가까운, 최인접의 모든 제 2 모드로 라운딩할 것이다. 예를 들어, 67 개의 모드들은 도 5 의 라인들 53 및 55 에 의해 참조된 모드들을 포함할 것이지만, 라인들 57 에 의해 참조된 모드들을 포함하지 않을 것이다. 유사하게, 일 예에서, 컨버전이 131 개 모드들로부터 35 개 모드로 행해지는 경우, 시프트 값은 1 대신에 2 일 수도 있다. 이 예에서, 모드들은 도 5 의 라인들 53 에 의해 참조된 모드들을 포함할 것이지만, 라인들 55 및 57 에 의해 참조된 모드들을 포함하지 않을 것이다. 다른 예에서, 1<<(shift-1) 의 오프셋 값은 최인접 모드로 라운딩하기 위해 우측 시프트 연산 전에 가산될 수도 있다. 각도 방향의 수가 증가할 때 비-각도 모드들이 확장되지 않을 수도 있고, 각각 DC 및 평면 모드로 맵핑 될 수도 있기 때문에, 인트라 모드들의 수에 관계없이 비-각도 모드들 (DC 및 평면) 의 수로 인해 마이너스 2 가 가산될 수도 있다.
일 예에서, 모든 이웃 인트라 모드들이 현재 블록에 적용가능하지 않을 수도 있기 때문에, 맵핑은 MPM 리스트 구성 동안 행해질 수도 있다. 또한, MPM 리스트 도출에서 도출된 모드 스텝들을 계산할 때, 예를 들어, 플러스 또는 마이너스 1 이 모든 131 개의 인트라 모드들을 사용하는 블록들에 사용될 수도 있다. 다른 예에서, 플러스 또는 마이너스 2 는 2 배 더 적은 수의 모드들 (67) 에 대해 사용될 수도 있고, 스텝 플러스 또는 마이너스 4 는 4 배 더 작은 수의 인트라 모드들 (35) 에 사용될 수도 있는 등등이다. 예를 들어, 폐쇄형 표현에 기초하는 또는 LUT 에 기초하는 맵핑 규칙과 같은 맵핑 규칙은 스텝들 플러스 또는 마이너스 2, 플러스 또는 마이너스 4 가 도출된 모드들을 계산하기 위해 사용될 때 적용될 수도 있다.
일 예에서, 고정된 세트의 더 작은 인트라 모드들 (예컨대, 67) 를 사용하는 것보다, 적응형 방법들이 코딩 동안 인트라 모드들을 선택하는데 사용될 수도 있다. 인코더 (20) 및 디코더 (30) 는 예를 들어 초기 세트로부터 시작하여 인트라 모드 세트를 업데이트하기 위해 동일한 방법들을 사용한다. 일 예에서, 비디오 인코더 (20) 는 인트라 모드들의 초기 세트로부터 시작할 수도 있다. 초기 세트는 임의의 세트일 수도 있으며, 예를 들어, 오프라인 실험으로부터 또는 전술한 바와 같은 더 큰 모드들을 균일하게 샘플링하는 것으로부터 학습된 세트일 수도 있다. 그 후, 인코더 (20) 는 이미 코딩된 영역에서 발생한 더 큰 인트라 모드 세트 (예를 들어, 131) 에서 빈번하게 그리고 빈번하지 않게 사용된 코딩 모드들 양자를 추적할 수도 있다. 그 후, 빈번하게 사용된 인트라 모드들을 추가하고 빈번하지 않은 인트라 모드들을 제거하여 초기 세트를 업데이트할 수도 있다. 업데이트 프로세스는 예를 들어, 각각의 CU, PU, TU 또는 CTU 또는 블록들 또는 유닛들의 그룹에 대해 다양한 입도 레벨로 수행될 수도 있다. 업데이트 단계가 이미 코딩된 영역들에 기초하여 수행되기 때문에, 디코더 (30) 는 동일한 방법을 따를 수도 있다.
또한, 현재 블록에 적용되는 인트라 보간 필터는 인트라 모드 컨버전/맵핑 프로세스에 의존할 수도 있다. 인트라 모드 컨버전 또는 맵핑은 더 큰 수의 인트라 모드들로 표현되는 모드에 대해 실행되어 더 작은 수의 인트라 모드들로 표현되는 모드로 컨버팅될 수도 있으며, 예를 들어, 131 개의 인트라 모드들 세트로부터의 모드는 67 개의 인트라 모드들 세트로부터의 모드로 맵핑될 수도 있다. 컨버전 동안, 맵핑될 모드 및 맵핑된 모드의 인트라 모드 방향들이 맵핑될 인트라 모드 방향이 더 작은 모드 세트에 존재하지 않는 경우와 같이, 반드시 매칭하지 않을 수도 있다. 그러나, 인트라 모드 정보에 기초하여 도출되거나 적용되는 일부 다른 파라미터 또는 도출 프로세스들이 존재할 수도 있다. 일 예에서, 더 큰 세트로부터의 모드는 맵핑되거나 컨버팅된 인트라 모드를 사용하는 대신에 그러한 파라미터들을 도출하는데 사용될 수도 있다. 예를 들어, (예를 들어, 인트라 예측을 수행하기 위해 비-정수 샘플을 도출하는데 사용되는) 인트라 보간 필터는 인트라 모드에 의존할 수도 있고, 그러한 경우, 더 큰 인트라 세트로부터의 컨버팅되지 않은 모드가 필터를 결정하는데 사용될 수도 있다. 이 인트라 보간 필터 선택 방법에 의하면, 예측 정밀도는 향상되지만, 인트라 모드들의 총수는 변경되지 않을 수도 있다.
또한, 상술된 맵핑 규칙은 또한 PDPC, EMT 또는 일차 변환, NSST 또는 이차 변환 등과 같은, 인트라 모드들에 관련된 다른 툴에 대해서도 사용될 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 이하 더 상세히 설명되는 다양한 인트라 모드 코딩 기술들을 수행하도록 구성될 수도 있다. 상이한 수의 인트라 모드들이 모드를 시그널링하는데 사용될 수 있기 때문에, MPM 리스트 사이즈는 변화할 수도 있다. 다른 예에서, MPM 리스트 사이즈는 모든 수의 인트라 모드들에 대해 동일할 수도 있다. 더 작은 세트의 모드들 (예를 들어, 67 또는 35) 이 LUT 에 저장될 때, 모드 값 자체 대신에, 모드에 대응하는 LUT 의 인덱스가 시그널링될 수도 있다. 디코더 (30) 는 디코딩된 인덱스로부터 그리고 LUT 를 사용하여 실제 모드를 디코딩할 수도 있다.
모드가 MPM 이 아닌 경우, 모드는 선택된 모드 세트로부터의 모드인 것으로, 또는 예를 들어 JEM 에서 현재 사용되고 있는 바와 같이, 선택된 모드 세트로부터의 모드가 아닌 것으로 추가로 분류될 수도 있다. 유사하게, 선택된 모드들의 수는 인트라 모드들의 수에 의존하여 변화할 수도 있다. 예를 들어, 선택된 모드들의 수는 131 개 모드들의 경우 32, 67 개 모드들의 경우 16, 35 개 모드들의 경우 8 일 수도 있다. 코딩될 모드가 선택된 모드들 중 하나인 경우, 모드 값 그 자체보다 선택된 모드 세트 내의 모드의 인덱스가 시그널링될 수도 있다.
마찬가지로, 비-선택 모드들의 최대 모드 수는 사용된 인트라 모드들 수에 의존하여 변화할 수도 있다. 예를 들어, 최대 모드 수는 131 개 모드들 및 6 의 MPM 리스트 사이즈의 경우 93 개 모드들; 67 개 모드들 및 6 개의 MPM 모드들의 경우 45, 및 35 개 모드들 및 6 개의 MPM 모드들의 경우 21 일 수도 있다. 일반적으로 모드 값은 (모드들의 수) - (MPM 모드들) - (선택된 모드들의 수) 로 계산될 수도 있다.
모드를 시그널링하기 위해, MPM 리스트에 포함된 모드들 및 시그널링될 모드는 최대 수의 인트라 모드들 (131) 에 의해 표현되는 모드들로부터 원하는 수의 인트라 모드들에 의해 표현되는 모드들로 컨버팅될 수도 있다. 이 예에서, 모드가 MPM 이 아닌 경우, 시그널링될 인트라 모드 값은 HEVC 및 JEM 에서 현재 수행되고 있는 것과 같이 MPM 모드들을 감산함으로써 조정될 수도 있다.
크로마 컴포넌트들은 루마 컴포넌트 (DM 모드들) 에 사용되는 인트라 모드들을 적용하여 크로마 인트라 예측을 도출할 수도 있다. 이 예에서, 크로마 컴포넌트에 사용되는 인트라 모드들은 크로마에 사용되는 모드들의 수에 대응하는 인트라 모드로 컨버팅될 수도 있다. 크로마에 사용되는 모드들의 수는 블록 사이즈 또는 블록 면적에 의존할 수도 있다. 예를 들어, 대응하는 루마 컴포넌트로부터의 블록의 인트라 모드인 DM 모드는 하나의 인트라 모드 범위 (예를 들어, 131) 이지만, 대응하는 크로마 블록이 다른 인트라 모드 범위 (예를 들어, 67) 로부터의 모드를 가질 수도 있고, 루마 모드는 크로마 인트라 예측을 도출하기 전에, 예를 들어 상기 예에서 설명 된 바와 같이, 131 의 모드에서 67 의 모드로 컨버팅될 수도 있다. 상이한 루마 및 크로마 블록 사이즈들은 예를 들어, 루마 및 크로마 컴포넌트들이 개별적으로 코딩될 때 발생할 수도 있지만, 루마 정보는 크로마 컴포넌트들을 코딩하는데 사용될 수도 있다. 다른 예에서, 크로마 인트라 모드 시그널링이 인트라 모드들의 총 수에 의존하지 않을 수도 있고, 루마 인트라 모드가 사용될 수도 있는지 여부를 표시하는 플래그가 시그널링될 수 있기 때문에, 비-컨버팅된 인트라 모드들이 사용될 수도 있다.
MPM 리스트 사이즈는 예를 들어, 6 개의 모드들에서 7 개의 모드들로 증가될 수도 있다. MPM 인덱스를 코딩하기 위해 MPM 인덱스를 나타내는 데 사용되는 이진화는 상이할 수도 있고, 예컨대 MPM 인덱스에 의존한다. 예를 들어, 하나의 이진화 방법이 더 작은 MPM 인덱스들, 즉 특정 임계치보다 작은 인덱스들을 위해 사용될 수도 있고, 다른 이진화 방법이 다른 MPM 인덱스들을 위해 사용될 수도 있으며, 여기서 다른 MPM 인덱스들은 실제 MPM 인덱스 마이너스 임계치로 코딩될 수도 있다. 일 예로서, 단항 또는 절단된 단항 코드들이 제 1 이진화 방법으로서 사용될 수도 있고, 고정 길이의 이진 코드 또는 절단된 이진 코드가 제 2 이진화 방법으로서 사용될 수도 있다.
상술한 MPM 리스트에 더하여, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한 제 2 MPM 리스트를 구축하도록 구성될 수도 있다. 전술한 바와 같이, 선택된 모드들은 인트라 모드들의 가능한 범위로부터 균일하게 선택될 수도 있다. 본 개시에서, 선택된 모드들은 MPM 모드들로부터 도출될 수도 있고, 따라서 이차 MPM 리스트를 생성한다.
2 개의 MPM 리스트들을 사용할 때, 비디오 인코더 (20) 는 예를 들어, 비디오의 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 1 MPM 리스트에 포함되는지를 표시하는 제 1 신택스 엘리먼트를 생성할 수도 있다. 실제 인트라 예측 모드가 제 1 MPM 리스트에 포함된다면, 비디오 인코더 (20) 는 제 1 리스트 내의 어느 엔트리가 실제 인트라 예측 모드에 대응하는지를 표시하는 신택스 엘리먼트를 생성할 수도 있다. 실제 인트라 예측 모드가 제 1 MPM 리스트에 포함되지 않는다면, 비디오 인코더 (20) 는 비디오의 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 2 MPM 리스트에 포함되는지를 표시하는 제 2 신택스 엘리먼트를 생성할 수도 있다. 실제 인트라 예측 모드가 제 2 MPM 리스트에 포함된다면, 비디오 인코더 (20) 는 제 2 리스트 내의 어느 엔트리가 실제 인트라 예측 모드에 대응하는지를 표시하는 신택스 엘리먼트를 생성할 수도 있다. 실제 인트라 예측 모드가 제 2 MPM 리스트에 포함되지 않는다면, 비디오 인코더 (20) 는 나머지 모드들 중 어느 것이 실제 인트라 예측 모드에 대응하는지를 표시하는 신택스 엘리먼트를 생성할 수도 있다. 비디오 인코더 (20) 와 동일한 제 1 및 제 2 MPM 리스트들을 생성하고 비디오 인코더 (20) 에 의해 생성되는 다양한 신택스를 수신함으로써, 비디오 디코더 (30) 는 블록을 코딩하는데 사용되는 인트라 예측 모드를 결정할 수 있다.
각 MPM 모드에서 도출된 모드들의 수는 MPM 인덱스에 의존할 수도 있거나, 또는 그 모드들은 모든 MPM 으로부터 균일하게 도출될 수 있다. 예를 들어, MPM 모드 0 에 대해, 4 개의 이차 모드들이 도출된다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 예를 들어, MPM 모드 0 값에 오프셋 -+ 1, -+ 2, -+ 3, ...을 적용함으로써 이차 모드들을 도출할 수도 있다. 일부 구현들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오직 고유 모드들, 즉 MPM 리스트 또는 이차 MPM 리스트에 아직 부가되지 않은 모드들을 2 차 MPM 리스트에 포함시킬 수도 있다. 이 도출은 모든 MPM 모드들에 대해, 또는 오직 특정 MPM 모드들에 대해서만 반복될 수도 있다. 예를 들어, MPM 모드 1 의 경우, 프로세스가 반복되고, 예컨대 3 개의 이차 고유 모드들이 도출되어 이차 MPM 리스트에 추가되고, 최종 MPM 모드까지 계속될 수도 있다. 일반적으로, 도출은 모든 가능한 인트라 모드들로부터 주어진 모드 주위의 모드들의 서브세트를 선택하는 것으로 기술될 수도 있다.
도출된 이차 모드들의 수는 MPM 모드 인덱스에 의존할 수도 있고, 도출된 모드들의 수는 MPM 모드 0 또는 더 작은 MPM 인덱스를 갖는 모드에 대해 최대일 수도 있다. 예를 들어, 도출된 모드들의 수는 6 개의 MPM 모드들에 대해 {4, 3, 3, 2, 2, 2} 이고, 여기서 각각의 값은 각 MPM 모드에서 도출된 이차 모드들의 수이며, 즉 4 개의 모드들이 제 1 MPM 모드에서 도출되고, 3 개의 모드들이 제 2 및 제 3 MPM 모드들에서 도출되고, 2 개의 모드들이 제 4 및 최종 MPM 모드들에서 도출된다.
다른 예에서, 도출은 오직 특정 MPM 모드들에만 적용될 수도 있다. 예를 들어, 도출은 오직 각도 모드들 (DC 또는 평면이 아닌 모드들) 에만 적용될 수도 있다. 일반적으로, 도출은 MPM 모드의 서브세트에 적용될 수도 있다. 상기 예에서, {4, 3, 3, 2, 2} 는 오직 각도 MPM 모드들 (예를 들어, 평면 및 DC 에 대해서는 아니다) 에 적용될 수도 있고, 각 값은 각각의 각도 MPM 모드에서 도출된 이차 모드들의 수이다. 다른 예에서, 모든 MPM 모드들이 2 차 모드를 생성하는데 사용되는 것은 아니다. 이 예에서, 이웃하는 블록들로부터의 오직 MPM 모드들만이 수반될 수도 있다.
MPM 모드들을 기반으로 생성된 이차 모드들이 제 2 MPM 리스트를 채울 수 없는 것이 가능할 수도 있다. 따라서, 리스트 내의 나머지 모드들을 채우기 위해 디폴트 이차 MPM 리스트가 사용될 수도 있다. 일 예에서, 이 디폴트 제 2 MPM 리스트는 예를 들어, 매번 옵션적으로 2 배가 될 수도 있는 서브-샘플 스텝 사이즈로 균일하게 서브-샘플링 각도 모드들에 의해 도출될 수도 있다. 예를 들어, 65 개의 각도 모드들에 대해, 디폴트의 제 2 MPM 리스트는 {2, 18, 34, 50, 66; 10, 26, 42, 58; 6, 14, 22, 30, 38, 46, 54, 62, 등} 일 수도 있고, 여기서 초기 스텝 사이즈는 16 또는 8 일 수도 있다. 상술한 바와 같이, 이차 MPM 리스트 내의 모드들의 수는 현재 블록에 대해 사용될 수 있는 인트라 모드들의 수에 의존할 수도 있다.
다른 예에서, 인트라 모드가 선택된 모드들 중 하나인 것을 표시하는 플래그 또는 인덱스를 시그널링하는 대신에, 비디오 인코더 (20) 는 실제 모드가 서브세트에 속하는 것을 표시하는 플래그를 생성하고 비디오 디코더 (30) 가 이를 수신할 수도 있다. 서브세트들의 수는 2 이상일 수도 있으며, 서브세트들의 사이즈는 상이할 수도 있다. 예를 들어, 대각선 모드 이후의 모드들 (수직형 모드들) 은 수직 서브세트 내에 위치될 수도 있고, 다른 모드들은 수평 서브세트 내에 위치될 수도 있다. (2 초과의 서브세트들이 사용되는 경우) 플래그 또는 인덱스는 코딩될 모드가 어느 서브세트에 속하는지를 표시한다. 제 2 단계로서, 코딩될 모드가 MPM 모드가 아니므로, 선택된 서브세트들에 속하는 모든 MPM 모드들이 서브세트로부터 제거될 수도 있고, 따라서 서브세트 사이즈가 감소된다. 그 후, 서브세트 내의 모드 값 또는 모드 인덱스는, 예컨대 최대 값이 서브세트 사이즈일 수도 있는 절단된 이진화를 사용하여 시그널링될 수도 있다. 플래그 또는 인덱스는 컨텍스트 코딩될 수도 있으며, 컨텍스트는 MPM 리스트 내의 모드들에 관한 서브세트 타입 또는 서브세트 인덱스에 의존할 수도 있거나, 또는 인트라 모드 서브세트에 포함된 인트라 모드들의 수에 의존할 수도 있다.
인트라 예측 모드들을 시그널링하기 위해, 비디오 인코더 (20) 및 비디오 디코더 (30)는 또한 MPM들의 스와핑 및 컨텍스트 모델링을 수행하도록 구성될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 블록 형상에 기초하여 모드들을 스와핑하도록 구성될 수도 있다. JEM 에서, 인트라 코딩을 위해 직사각형 블록들이 사용될 수도 있다: 수평 (블록의 높이가 블록의 폭보다 작음) 및 수직 (블록의 높이가 블록의 폭보다 큼).
이웃 인트라 모드들 (예를 들어, 이웃하는 블록들에 사용되는 인트라 모드들) 은 현재 블록의 이웃 블록 위치 및 형상에 의존하여 더 빈번하게 선택될 수도 있다. 유사하게, 일부 인트라 모드 방향들은 현재 블록 형상에 의존하여 더 바람직할 수도 있다. 예를 들어, 좌측 이웃 블록으로부터의 인트라 모드 또는 수직 각도 모드들 (예를 들어, 67 개 인트라 모드 케이스에 대하여 도 4 에 도시된 바와 같이 대각선 모드 (34) 보다 큰 인덱스를 갖는 모드들) 은 수직 형상 블록들에 대해 보다 바람직할 수도 있다; 유사하게, 상부 이웃에 대한 인트라 모드 또는 수평 인트라 모드들 (예를 들어, 67 개 인트라 모드 경우에 대해 도 4 에 도시된 바와 같이 대각선 모드 (34) 보다 적은 인덱스를 갖는 각도 모드들) 은 수평 형상 블록들에 대해 더 바람직할 수도 있다.
따라서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 인트라 모드 코딩 동안 블록 형상을 고려할 수도 있다. 예를 들어, MPM 리스트 또는 할당된 MPM 인덱스에 포함된 모드들은 현재 블록 형상에 의존할 수도 있고 및/또는 MPM 모드가 바람직한 인트라 모드들로부터 얼마나 멀리 떨어져 있는지에 따라, 바람직한 모드들 (예를 들어, 수평 또는 수직 모드와 같은) 은 전술한 바와 같이 현재 블록 형상에 의존할 수도 있다. 예를 들어, 수직 형상 블록의 경우, 처음 2 개의 MPM들이 양자의 각도인 경우, 바람직한 모드, 예를 들어 수직 모드에 더 가까운 것이 제 1 MPM 으로 설정되고 다른 하나는 제 2 MPM 으로 설정될 수도 있다. 유사하게, 제 1 또는 이차 MPM 리스트에 포함되지 않은 다른 인트라 모드들을 시그널링할 때, 인트라 모드들은 수직 및 수평 방향들에 대한 모드들과 같은 바람직한 모드들로부터의 모드의 거리에 기초하여 코드워드들이 할당될 수도 있다. 일 예로서, 수직 블록들에 대해, 수직 방향에 더 가까운 인트라 모드는 수직 방향으로부터 더 먼 모드보다 더 짧은 코드워드가 할당될 수도 있다.
일 예에서, 하나의 블록 형상에 대응하는 바람직한 모드들은 시그널링 이전에 다른 블록 형상에 대응하는 바람직한 모드들로 맵핑될 수도 있다. 이러한 바람직한 모드들은 더 작은 모드 인덱스를 가질 수도 있거나 더 짧은 코드워드를 할당할 수도 있다. 이러한 방식으로, 상이한 블록 형상들의 바람직한 모드들이 함께 코딩될 수도 있고 선택적으로 동일한 컨텍스트 모델링을 공유할 수도 있으며, 이는 잠재적으로 더 효율적인 코딩을 초래할 수도 있다. 예를 들어, 수직 인트라 모드 방향들 (예를 들어, 더 큰 모드 인덱스를 갖는 모드들) 은 인트라 모드 시그널링 이전에 수평 인트라 모드 방향들 (예를 들어, 더 짧은 모드 인덱스를 갖는 모드들) 로 맵핑될 수도 있다. 일 예에서, 이는 인덱스 리맵핑에 의해 달성될 수도 있는데, 예를 들어, ModeIndex 를 갖는 모드에 대해, NewModeIndex 로의 리맵핑은,
NewModeIndex = MaxModeIndex - ModeIndex 로서 실행될 수도 있고, 여기서 MaxModeIndex 는 최대 인트라 모드 인덱스이다.
비디오 디코더 (30) 는 수평 방향들을 수직 방향들로 맵핑하기 위해, 예를 들어 특정 블록 형상들에 대해 역맵핑을 수행할 수도 있다. 일 예에서, 기술된 맵핑은 폭보다 크거나 동일한 높이를 갖는 블록들과 같이, 선택된 블록 형상들 또는 블록 사이즈들에 대해서만 적용될 수도 있다.
정사각형 블록들의 경우, 이웃하는 블록들로부터의 MPM들은, 사용가능하고 고유한 경우, 선택된 서브세트의 모드들에 속하는 모드들을 우선함으로써 재정렬될 수 있다. 예를 들어, MPM1이 제 1 세트 {평면, DC, 2, 수평, 수직, 대각선1, 대각선2} 에 속하고 MPM0 이 해당 세트에 속하지 않으면, MPM0 과 MPM1 이 스와핑된다. 이 예에서, 모드 대각선1 및 대각선2 는 대각선 인트라 모드들, 일 예에서 각각 도 4 의 인트라 모드들 2 및 66 에 대응할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 컨텍스트 그룹핑을 수행하도록 구성될 수도 있다. 현재 JEM 에서, MPM 인덱스 코딩을 위한 컨텍스트들은 3 개의 그룹들, 즉 평면 및 DC (비-각도 세트), 수평 세트 (좌측 하부부터 우측 상부로의 대각선 방향에서 대각선 모드까지의 모드들), 및 수직 세트 (대각선 모드에서 우측 상부부터 좌측 하부로의 대각선 방향까지) 로 분리된다.
컨텍스트 세트는 인트라 MPM 모드 방향 및/또는 현재 블록 형상, 및/또는 MPM 리스트 내의 MPM 모드들의 수에 기초하여 리파이닝될 수도 있다.
예를 들어, 인트라 모드의 총 수가 67 인 경우 (도 4), MPM 인덱스에 대한 컨텍스트는 컨텍스트 모델이 바람직한 인트라 모드들, 예컨대 수직 또는 수평 방향들로의 거리에 의존하는 방식으로 그룹핑될 수도 있으며, 이는 다음 표에 도시된 바와 같다.
Figure pct00003
일 예에서, 보다 일반적인 접근법에서, MPM 인덱스를 코딩하는데 사용된 컨텍스트는 디폴트 또는 미리 선택된 인트라 모드들로부터의 특정 MPM 모드 (특정 MPM 인덱스를 갖는 모드) 의 거리에 따라; 다시 말해서, 현재 MPM 모드가 디폴트 모드들에서 얼마나 멀리 떨어져 있는지에 따라 할당된다. 이러한 디폴트 모드들은 예를 들어, 수평, 수직, 대각선 또는 임의의 다른 방향일 수도 있다.
도 6 은 본 개시에서 설명된 기법들을 구현할 수도 있는 예시적인 비디오 인코더 (20) 를 예시한 블록 다이어그램이다. 비디오 인코더 (20) 는 비디오 슬라이스들 내에서 인트라 및 인터 코딩을 수행할 수도 있다. 인트라 코딩은 소정의 비디오 프레임 또는 픽처 내 비디오에 있어서 공간 리던던시를 감소 또는 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접한 프레임들 또는 픽처들 내 비디오에 있어서 시간 리던던시를 감소 또는 제거하기 위해 시간 예측에 의존한다. 인트라-모드 (I 모드) 는 여러 공간 기반의 압축 모드들 중 임의의 것을 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양방향 예측 (B 모드) 과 같은 인터-모드들은 수개의 시간 기반 압축 모드들 중 임의의 모드를 지칭할 수도 있다.
도 6 의 예에서, 비디오 인코더 (20) 는 비디오 데이터 메모리 (33), 파티셔닝 유닛 (35), 예측 프로세싱 유닛 (41), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 예측 프로세싱 유닛 (41) 은 모션 추정 유닛 (42), 모션 보상 유닛 (44) 및 인트라 예측 프로세싱 유닛 (46) 을 포함한다. 비디오 블록 복원을 위해, 비디오 인코더 (20) 는 또한 역양자화 유닛 (58), 역변환 프로세싱 유닛 (60), 합산기 (62), 필터 유닛 (64), 및 디코딩된 픽처 버퍼 (66) 를 포함한다.
도 6 에 도시된 바와 같이, 비디오 인코더 (20) 는 비디오 데이터를 수신하고, 수신된 비디오 데이터를 비디오 데이터 메모리 (33) 에 저장한다. 비디오 데이터 메모리 (33) 는 비디오 인코더 (20) 의 컴포넌트들에 의해 인코딩될 비디오 데이터를 저장할 수도 있다. 비디오 데이터 메모리 (33) 에 저장된 비디오 데이터는 예를 들어, 비디오 소스 (18) 로부터 획득될 수도 있다. 디코딩된 픽처 버퍼 (66) 는 비디오 인코더 (20) 에 의해 비디오 데이터를 예를 들어 인트라 코딩 모드 또는 인터 코딩 모드로 인코딩하는데 사용하기 위한 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수 있다. 비디오 데이터 메모리 (33) 및 DPB (66) 는 다양한 메모리 디바이스들, 이를 테면, SDRAM (synchronous DRAM), MRAM (magnetoresistive RAM), RRAM (resistive RAM) 을 포함하는 DRAM (Dynamic random access memory), 또는 다른 타입들의 메모리 디바이스들의 어느 것에 의해 형성될 수도 있다. 비디오 데이터 메모리 (33) 및 DPB (66) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 여러 예들에서, 비디오 데이터 메모리 (33) 는 비디오 인코더 (20) 의 다른 컴포넌트들과 온칩 또는 이들 컴포넌트들에 대하여 오프칩일 수도 있다.
파티셔닝 유닛 (35) 은 비디오 데이터 메모리 (33) 로부터 비디오 데이터를 취출하고, 비디오 데이터를 비디오 블록들로 파티셔닝한다. 이러한 파티셔닝은 또한, 예를 들어, LCU들 및 CU들의 쿼드트리 구조에 따른 비디오 블록 파티셔닝뿐 아니라 슬라이스들, 타일들, 또는 다른 더 큰 유닛들로의 파티셔닝을 포함할 수도 있다. 비디오 인코더 (20) 는 인코딩되어야 할 비디오 슬라이스 내의 비디오 블록들을 인코딩하는 컴포넌트들을 일반적으로 예시한다. 슬라이스는 다수의 비디오 블록들로 (그리고 아마도 타일들로서 지칭된 비디오 블록들의 세트들로) 분할될 수도 있다. 예측 프로세싱 유닛 (41) 은, 에러 결과들 (예를 들면, 코딩 레이트 및 왜곡 레벨) 에 기초하여 현재의 비디오 블록에 대해, 복수의 가능한 코딩 모드들 중 하나, 예를 들어 복수의 인트라 코딩 모드들 중 하나 또는 복수의 인터 코딩 모드들 중 하나를 선택할 수도 있다. 예측 프로세싱 유닛 (41) 은 결과적인 인트라- 또는 인터-코딩된 블록을 합산기 (50) 에 제공하여 잔차 블록 데이터를 생성하고, 합산기 (62) 에 제공하여 참조 픽처로서의 사용을 위한 인코딩된 블록을 복원할 수도 있다.
예측 프로세싱 유닛 (41) 내의 인트라 예측 유닛 (46) 은 공간 압축을 제공하기 위해, 코딩될 현재 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃 블록들에 관해 현재 비디오 블록의 인트라-예측 코딩을 수행할 수도 있다. 예측 프로세싱 유닛 (41) 내의 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간 압축을 제공하기 위해 하나 이상의 참조 픽처들에서의 하나 이상의 예측 블록들에 관해 현재 비디오 블록의 인터-예측 코딩을 수행한다.
모션 추정 유닛 (42) 은 비디오 시퀀스에 대한 미리 정해진 패턴에 따라 비디오 슬라이스에 대해 인터 예측 모드를 결정하도록 구성될 수도 있다. 미리 결정된 패턴은 비디오 슬라이스들을 P 슬라이스들 또는 B 슬라이스들로서 시퀀스로 지정할 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적인 목적을 위해 별개로 도시된다. 모션 추정 유닛 (42) 에 의해 수행된 모션 추정은, 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 참조 픽처 내에서의 예측 블록에 관한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU 의 변위를 표시할 수도 있다.
예측 블록은 픽셀 차이의 관점에서 코딩될 비디오 블록의 PU 와 밀접하게 매칭하도록 발견되는 블록이며, 이 픽셀 차이는 절대 차이의 합 (SAD), 제곱 차이의 합 (SSD), 또는 다른 상이한 메트릭들에 의해 결정될 수도 있다. 일부 예들에 있어서, 비디오 인코더 (20) 는 디코딩된 픽처 버퍼 (66) 에 저장된 참조 픽처들의 서브-정수 픽셀 포지션들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 참조 픽처의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 분수 픽셀 포지션들의 값들을 보간할 수도 있다. 따라서, 모션 추정 유닛 (42) 은 풀 픽셀 포지션들 및 분수 픽셀 포지션들에 대한 모션 탐색을 수행하고, 분수 픽셀 정밀도로 모션 벡터를 출력할 수도 있다.
모션 추정 유닛 (42) 은 인터-코딩된 슬라이스에 있어서의 비디오 블록의 PU 에 대한 모션 벡터를, 그 PU 의 포지션을 참조 픽처의 예측 블록의 포지션과 비교함으로써 계산한다. 참조 픽처는 제 1 참조 픽처 리스트 (리스트 0) 또는 제 2 참조 픽처 리스트 (리스트 1) 로부터 선택될 수도 있으며, 이 리스트들 각각은 DPB (66) 에 저장된 하나 이상의 참조 픽처들을 식별한다. 모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다.
모션 보상 유닛 (44) 에 의해 수행된 모션 보상은, 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페칭 또는 생성하는 것을, 가능하게는 서브-픽셀 정밀도에 대한 보간들을 수행하는 것을 수반할 수 있다. 현재 비디오 블록의 PU 에 대한 모션 벡터를 수신할 시, 모션 보상 유닛 (44) 은, 모션 벡터가 참조 픽처 리스트들 중 하나에 포인팅하는 예측 블록을 로케이팅할 수도 있다. 비디오 인코더 (20) 는, 코딩되고 있는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산하여 픽셀 차이 값들을 형성함으로써 잔차 비디오 블록을 형성한다. 픽셀 차이 값들은 블록에 대한 잔차 데이터를 형성하고, 루마 및 크로마 차이 컴포넌트들 양자를 포함할 수도 있다. 합산기 (50) 는 이러한 감산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 모션 보상 유닛 (44) 은 또한, 비디오 슬라이스의 비디오 블록들을 디코딩함에 있어서 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 생성할 수도 있다.
예측 프로세싱 유닛 (41) 이 인터 예측 또는 인트라 예측 중 어느 하나를 통해 현재 비디오 블록에 대한 예측 블록을 생성한 후, 비디오 인코더 (20) 는 현재 비디오 블록으로부터 예측 블록을 감산함으로써 잔차 비디오 블록을 형성한다. 잔차 블록에서의 잔차 비디오 데이터는 하나 이상의 TU들 내에 포함될 수도 있고 변환 프로세싱 유닛 (52) 에 적용될 수도 있다. 변환 프로세싱 유닛 (52) 은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 사용하여 잔차 비디오 데이터를 잔차 변환 계수들로 변환한다. 변환 프로세싱 유닛 (52) 은 잔차 비디오 데이터를 픽셀 도메인으로부터, 주파수 도메인과 같은 변환 도메인으로 변환할 수도 있다.
변환 프로세싱 유닛 (52) 은 결과적인 변환 계수들을 양자화 유닛 (54) 으로 전송할 수도 있다. 양자화 유닛 (54) 은 비트 레이트를 추가로 감소시키기 위해 변환 계수들을 양자화한다. 양자화 프로세스는 그 계수들의 일부 또는 그 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수도 있다. 그 후, 일부 예들에 있어서, 양자화 유닛 (54) 은, 양자화된 변환 계수들을 포함하는 매트릭스의 스캔을 수행할 수도 있다. 다른 예에서, 엔트로피 인코딩 유닛 (56) 은 스캔을 수행할 수도 있다.
양자화에 후속하여, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 인코딩한다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 컨텍스트 적응 가변 길이 코딩 (CAVLC), 컨텍스트 적응 이진 산술 코딩 (CABAC), 신택스-기반 컨텍스트-적응 이진 산술 코딩 (SBAC), 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩 또는 또 다른 엔트로피 인코딩 방법론 또는 기법을 수행할 수도 있다. 엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 인코딩 이후, 인코딩된 비트스트림은 비디오 디코더 (30) 로 송신되거나, 또는 비디오 디코더 (30) 에 의한 더 나중의 송신 또는 취출을 위해 아카이브될 수도 있다. 엔트로피 인코딩 유닛 (56) 은 또한, 코딩되고 있는 현재 비디오 슬라이스에 대한 모션 벡터들 및 다른 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.
역양자화 유닛 (58) 및 역변환 프로세싱 유닛 (60) 은, 각각, 역양자화 및 역변환을 적용하여, 참조 픽처의 참조 블록으로서의 더 나중 사용을 위해 픽셀 도메인에서 잔차 블록을 복원한다. 모션 보상 유닛 (44) 은, 참조 픽처 리스트들 중 하나 내에서의 참조 픽처들 중 하나의 예측 블록에 잔차 블록을 부가함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한, 하나 이상의 보간 필터들을 복원된 잔차 블록에 적용하여, 모션 추정에서 사용하기 위한 서브-정수 픽셀 값들을 계산할 수도 있다. 합산기 (62) 는 복원된 블록을 생산하기 위하여, 복원된 잔차 블록을 모션 보상 유닛 (44) 에 의해 생산된 모션 보상된 예측 블록에 가산한다.
필터 유닛 (64) 은 복원된 블록 (예를 들면, 합산기 (62) 의 출력) 을 필터링하고, 필터링된 복원된 블록을 참조 블록으로서 사용하기 위해 DPB (66) 에 저장한다. 참조 블록은, 후속 비디오 프레임 또는 픽처에서의 블록을 인터-예측하기 위해 참조 블록으로서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 사용될 수도 있다. 필터 유닛 (64) 은 디블록 필터링, SAO 필터링 및/또는 ALF, 및/또는 다른 타입의 루프 필터들과 같은 임의의 타입의 필터링을 수행할 수도 있다. 디블록 필터는 예컨대, 복원된 비디오에서 블록키니스 (blockiness) 아티팩트들을 제거하기 위해 블록 경계들을 필터링하는 디블록 필터링을 적용할 수 있다.
도 7 은 본 개시에서 설명된 기법들을 구현할 수도 있는 예시적인 비디오 디코더 (30) 를 예시한 블록 다이어그램이다. 도 7 의 비디오 디코더 (30) 는 예를 들어, 도 6 의 비디오 인코더 (20) 에 대하여 앞서 설명된 시그널링을 수신하도록 구성될 수도 있다. 도 7 의 예에서, 비디오 디코더 (30) 는 비디오 데이터 메모리 (78), 엔트로피 디코딩 유닛 (80), 예측 프로세싱 유닛 (81), 역 양자화 유닛 (86), 역변환 프로세싱 유닛 (88), 합산기 (90) 및 DPB (94) 를 포함한다. 예측 프로세싱 유닛 (81) 은 모션 보상 유닛 (82) 및 인트라 예측 프로세싱 유닛 (84) 을 포함한다. 비디오 디코더 (30) 는 일부 예들에서, 도 6 로부터 비디오 인코더 (20) 에 대해 설명된 인코딩 패스에 일반적으로 역순인 디코딩 패스를 수행할 수도 있다.
디코딩 프로세스 동안, 비디오 디코더 (30) 는, 인코딩된 비디오 슬라이스의 비디오 블록들 및 관련 신택스 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 비디오 인코더 (20) 로부터 수신한다. 비디오 디코더 (30) 는 수신된 인코딩된 비디오 비트 스트림을 비디오 데이터 메모리 (78) 에 저장한다. 비디오 데이터 메모리 (78) 는 비디오 디코더 (30) 의 컴포넌트들에 의해 디코딩될 비디오 데이터, 이를 테면, 인코딩된 비디오 비트스트림을 저장할 수도 있다. 비디오 데이터 메모리 (78) 에 저장된 비디오 데이터는 예를 들어, 링크 (16) 를 통해, 저장 디바이스 (26) 로부터, 또는 카메라와 같은 로컬 비디오 소스로부터, 또는 물리적 데이터 저장 매체에 액세스하는 것에 의해 획득될 수도 있다. 비디오 데이터 메모리 (78) 는 인코딩된 비디오 비트스트림으로부터 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼 (CPB) 를 형성할 수도 있다. 디코딩된 픽처 버퍼 (94) 는 비디오 인코더 (30) 에 의해 비디오 데이터를 예를 들어 인트라 코딩 모드 또는 인터 코딩 모드로 인코딩하는데 사용하기 위한 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수 있다. 비디오 데이터 메모리 (78) 및 DPB (94) 는 DRAM, SDRAM, MRAM, RRAM 또는 다른 타입의 메모리 디바이스들과 같은 임의의 다양한 메모리 디바이스들에 의해 형성될 수도 있다. 비디오 데이터 메모리 (78) 및 DPB (94) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 여러 예들에서, 비디오 데이터 메모리 (78) 는 비디오 디코더 (30) 의 다른 컴포넌트들과 온칩 또는 이들 컴포넌트들에 대하여 오프칩일 수도 있다.
비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (80) 은 비디오 데이터 메모리 (78) 에 저장된 비디오 데이터를 엔트로피 디코딩하여 양자화된 계수들, 모션 벡터들 및 다른 신택스 엘리먼트들을 생성한다. 엔트로피 디코딩 유닛 (80) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 예측 프로세싱 유닛 (81) 으로 포워딩한다. 비디오 디코더 (30) 는 신택스 엘리먼트들을 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨로 수신할 수도 있다.
비디오 슬라이스가 인트라-코딩된 (I) 슬라이스로서 코딩될 때, 예측 프로세싱 유닛 (81) 의 인트라 예측 프로세싱 유닛 (84) 은 시그널링된 인트라 예측 모드와, 현재의 프레임 또는 픽처의 이전에 디코딩된 블록들로부터의 데이터에 기초하여, 현재의 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수도 있다. 비디오 프레임이 인터-코딩된 슬라이스 (즉, B 슬라이스 또는 P 슬라이스) 로서 코딩될 때, 예측 프로세싱 유닛 (81) 의 모션 보상 유닛 (82) 은 모션 벡터들과, 엔트로피 디코딩 유닛 (80) 으로부터 수신된 다른 신택스 엘리먼트들에 기초하여, 현재의 비디오 슬라이스의 비디오 블록에 대한 예측 블록들을 생성한다. 예측 블록들은 참조 픽처 리스트들 중 하나 내에서의 참조 픽처들 중 하나로부터 생성될 수도 있다. 비디오 디코더 (30) 는 DPB (94) 에 저장된 참조 픽처들에 기초한 디폴트 구성 기법들을 사용하여 참조 프레임 리스트들, 즉, 리스트 0 및 리스트 1 을 구성할 수도 있다.
모션 보상 유닛 (82) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 그 예측 정보를 사용하여, 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 모션 보상 유닛 (82) 은 비디오 슬라이스의 비디오 블록들을 코딩하기 위해 이용된 예측 모드 (예컨대, 인트라-예측 또는 인터-예측), 인터-예측 슬라이스 타입 (예컨대, B 슬라이스, P 슬라이스), 슬라이스에 대한 참조 픽처 리스트들 중의 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터-인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터-코딩된 비디오 블록에 대한 인터-예측 상태, 및 현재의 비디오 슬라이스에서의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정하기 위하여, 수신된 신택스 엘리먼트들의 일부를 이용한다.
모션 보상 유닛 (82) 은 또한, 보간 필터들에 기초하여 보간을 수행할 수도 있다. 모션 보상 유닛 (82) 은 비디오 블록들의 인코딩 동안 비디오 인코더 (20) 에 의해 사용된 바와 같은 보간 필터들을 사용하여, 참조 블록들의 서브-정수 픽셀들에 대한 보간된 값들을 계산할 수도 있다. 이 경우, 모션 보상 유닛 (82) 은 수신된 신택스 엘리먼트들로부터 비디오 인코더 (20) 에 의해 사용된 보간 필터들을 결정하고, 보간 필터들을 사용하여 예측 블록들을 생성할 수도 있다.
역양자화 유닛 (86) 은 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (80) 에 의해 디코딩되는 양자화된 변환 계수들을 역양자화, 즉, 양자화 해제한다. 역양자화 프로세스는 적용되어야 할 양자화도 및, 마찬가지로, 역양자화도를 결정하기 위하여 비디오 슬라이스에서의 각각의 비디오 블록에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터의 이용을 포함할 수도 있다. 역변환 프로세싱 유닛 (88) 은 픽셀 도메인에서 잔차 블록들을 생성하기 위하여, 역변환, 예컨대, 역 DCT, 역정수 변환, 또는 개념적으로 유사한 역변환 프로세스를 변환 계수들에 적용한다.
예측 프로세싱 유닛이 예를 들어, 인트라 또는 인터 예측을 사용하여 현재 비디오 블록에 대한 예측 블록을 생성한 이후, 비디오 디코더 (30) 는 역변환 프로세싱 유닛 (88) 으로부터의 잔차 블록들을 모션 보상 유닛 (82) 에 의해 생성된 대응하는 예측 블록들과 합산함으로써 복원된 비디오 블록을 형성한다. 합산기 (90) 는 이러한 합산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 필터 유닛 (92) 은 예를 들어, 하나 이상의 필터 기술들을 사용하여 복원된 비디오 블록을 필터링한다.
필터 유닛 (92) 은 복원된 블록 (예를 들면, 합산기 (90) 의 출력) 을 필터링하고, 필터링된 복원된 블록을 참조 블록으로서 사용하기 위해 DPB (94) 에 저장한다. 참조 블록은, 후속 비디오 프레임 또는 픽처에서의 블록을 인터-예측하기 위해 참조 블록으로서 모션 보상 유닛 (82) 에 의해 사용될 수도 있다. 필터 유닛 (92) 은 디블록 필터링, SAO 필터링 및/또는 ALF, 및/또는 다른 타입의 루프 필터들과 같은 임의의 타입의 필터링을 수행할 수도 있다. 디블록 필터는 예컨대, 복원된 비디오에서 블록키니스 (blockiness) 아티팩트들을 제거하기 위해 블록 경계들을 필터링하는 디블록 필터링을 적용할 수 있다.
도 8 은 본 개시에서 설명된 예시적인 비디오 코딩 기술을 도시하는 흐름도이다. 도 8 의 기술들은 예를 들어, 비디오 디코더 (30) 와 같은 비디오 디코더 또는 비디오 인코더 (20) 와 같은 비디오 인코더에 대응할 수도 있는 일반적인 비디오 코더를 참조하여 설명될 것이다. 도 8 의 예에서, 비디오 코더는 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정한다 (100). 제 1 높이 및 제 1 폭에 기초하여, 비디오 코더는 비디오 데이터의 제 1 블록에 대한 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별한다 (102). N 은 2 보다 큰 정수 값이다. 비디오 코더는 예를 들어, 제 1 높이 및 제 1 폭에 기초하여 제 1 블록의 면적을 결정하고, 그 면적에 기초하여 N 에 대한 값을 결정할 수도 있다. 다른 예에서, 비디오 코더는 제 1 높이 및 제 1 폭에 기초하여 제 1 블록의 형상을 결정하고, 그 형상에 기초하여 N 에 대한 값을 결정할 수도 있다. 형상은 예를 들어, 수직 직사각형 또는 수평 직사각형에 대응할 수도 있다.
비디오 코더는 N 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 비디오 데이터의 제 1 블록을 코딩하는데 사용된 제 1 인트라 예측 모드를 선택한다 (104). 비디오 코더는 제 1 인트라 예측 모드를 사용하여 제 1 블록을 코딩한다 (106). 예들에서, 비디오 코더가 비디오 인코더인 경우, 비디오 코더는 제 1 인트라 예측 모드를 사용하여 제 1 블록을 인코딩함으로써 제 1 인트라 예측 모드를 사용하여 제 1 블록을 코딩할 수도 있다. 예들에서, 비디오 코더가 비디오 디코더인 경우, 비디오 코더는 제 1 인트라 예측 모드를 사용하여 제 1 블록을 디코딩함으로써 제 1 인트라 예측 모드를 사용하여 제 1 블록을 코딩할 수도 있다.
도 8 에 도시된 단계들에 부가하여, 비디오 코더는 또한, 비디오 데이터의 제 2 블록이 인트라 모드 코딩된 것으로 결정할 수도 있고, 여기서 비디오 데이터의 제 2 블록은 제 2 높이 및 제 2 폭을 가지며, 제 2 높이와 제 2 폭에 기초하여, 비디오 데이터의 제 2 블록에 대한 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별할 수도 있다. M 은 N 과 상이한 정수 값이고 2 보다 크다. 비디오 코더는 M 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 비디오 데이터의 제 2 블록을 코딩하는데 사용된 제 2 인트라 예측 모드를 선택한다. 비디오 코더는 비디오 데이터에서 임계 값을 시그널링할 수도 있고, 임계 값보다 큰 면적을 갖는 제 1 블록에 응답하여, N 에 대한 값을 결정할 수도 있다. 임계 값 미만의 면적을 갖는 제 2 블록에 응답하여, 비디오 코더는 M 값이 N 보다 더 작은, M 에 대한 값을 결정한다. N 개의 사용가능한 인트라 예측 모드들의 그룹 내의 각각의 인트라 예측 모드는 0 부터 N-1 까지의 범위의 고유 인덱스를 가질 수도 있고, M 개의 사용가능한 인트라 예측 모드들의 그룹 내의 각각의 인트라 예측 모드는 0 부터 M-1 까지의 범위의 고유 인덱스를 가질 수도 있다.
일 예에서, 제 1 높이는 제 1 폭보다 더 클 수도 있고, 비디오 코더는 비디오 데이터의 제 2 블록이 인트라 모드 코딩되고 제 2 높이 및 제 2 폭을 가지는 것으로 결정할 수도 있으며, 제 2 폭은 제 2 높이보다 더 크다. 제 2 높이 및 제 2 폭에 기초하여, 비디오 코더는 비디오 데이터의 제 2 블록에 대한 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하며, M 개의 사용가능한 인트라 예측 모드들의 그룹은 N 개의 사용가능한 인트라 예측 모드들의 그룹에 포함되지 않은 적어도 하나의 인트라 예측 모드를 포함한다. 비디오 코더는 M 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 비디오 데이터의 제 2 블록을 코딩하는데 사용된 제 2 인트라 예측 모드를 선택한다.
도 9 는 본 개시에서 설명된 예시적인 비디오 코딩 기술을 도시하는 흐름도이다. 도 9 의 기술들은 예를 들어, 비디오 디코더 (30) 와 같은 비디오 디코더 또는 비디오 인코더 (20) 와 같은 비디오 인코더에 대응할 수도 있는 일반적인 비디오 코더를 참조하여 설명될 것이다. 도 9 의 예에서, 비디오 코더는 비디오 데이터의 블록이 인트라 모드 코딩된 것으로 결정한다 (120). 비디오 코더는 블록에 대한 제 1 MPM 후보 리스트를 생성한다 (122). 비디오 코더는 그 후, 실제 인트라 예측 모드가 제 1 MPM 리스트에 포함되는지를 표시하는 플래그를 코딩한다 (124). 비디오 인코더의 경우에, 비디오 인코더는 인코딩된 비디오 데이터의 비트스트림에 포함시키기 위한 플래그를 생성한다. 비디오 디코더의 경우에, 비디오 디코더는 비트스트림에서 플래그를 수신하고, 플래그를 디코딩한다. 비디오 코더가 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 1 MPM 후보 리스트에 포함되는 것을 표시하는 제 1 플래그를 코딩한다면 (124, 예), 비디오 코더는 제 1 MPM 후보 리스트 내의 어떤 엔트리가 블록을 코딩하는데 사용된 실제 인트라 예측 모드에 대응하는지를 식별하는 인덱스 값을 코딩한다 (예를 들어, 생성하거나 수신한다) (126).
비디오 코더가 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 1 MPM 후보 리스트에 포함되지 않는 것을 표시하는 제 1 플래그를 코딩한다면 (124, 아니오), 비디오 코더는 블록에 대한 제 2 MPM 후보 리스트를 생성한다 (128). 본 개시의 기술들에 따르면, 비디오 코더는 제 1 MPM 후보 리스트 내의 인트라 예측 모드에 기초하여 제 2 MPM 후보 리스트에 포함시키기 위한 적어도 하나의 후보 인트라 예측 모드를 도출함으로써 제 2 MPM 후보 리스트를 생성할 수도 있다. 제 1 MPM 후보 리스트 내의 인트라 예측 모드는, 예를 들어, 블록의 이웃하는 블록을 코딩하는데 사용된 인트라 예측 모드에 대응할 수도 있거나, 또는 이웃하는 블록을 코딩하는데 사용된 인트라 예측 모드에 기초하여 도출된다. 비디오 코더는 제 1 MPM 후보 리스트 내의 인트라 예측 모드에 오프셋을 추가함으로써 제 1 MPM 후보 리스트 내의 인트라 예측 모드에 기초하여 제 2 MPM 후보 리스트에 포함시키기 위한 적어도 하나의 후보 인트라 예측 모드를 도출할 수도 있다. 비디오 코더는 제 2 MPM 후보 리스트 내의 모든 모드들이 제 1 MPM 후보 리스트 내의 모든 모드들과 구별되도록, 제 2 MPM 후보 리스트를 생성할 수도 있다. 비디오 코더는 적어도 하나의 디폴트 후보를 제 2 MPM 후보 리스트에 추가함으로써 제 2 MPM 후보 리스트를 생성할 수도 있다. 제 2 MPM 후보 리스트에 포함시키기 위한 적어도 하나의 후보 인트라 예측 모드를 도출하기 위해, 비디오 코더는 제 1 MPM 후보 리스트 내의 모드의 모드 인덱스에 기초하여 M 에 대한 정수 값을 결정함으로써 M 개의 후보 모드들을 도출할 수도 있고, 여기서 M 은 정수 값이다.
비디오 코더는 그 후, 실제 인트라 예측 모드가 제 2 MPM 리스트에 포함되는지를 표시하는 제 2 플래그를 코딩한다 (130). 비디오 코더가 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 2 MPM 후보 리스트에 포함되는 것을 표시하는 제 2 플래그를 코딩한다면 (130, 예), 비디오 코더는 제 2 MPM 후보 리스트 내의 어떤 엔트리가 블록을 코딩하는데 사용된 실제 인트라 예측 모드에 대응하는지를 식별하는 인덱스 값을 코딩한다 (예를 들어, 생성하거나 수신한다) (132). 비디오 코더가 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 제 1 MPM 후보 리스트에 포함되지 않은 것을 표시하는 제 2 플래그를 코딩한다면 (130, 아니오), 비디오 코더는 나머지 인트라 예측 모드들 중 어느 것이 실제 인트라 예측 모드에 대응하는지를 식별하는 신택스를 코딩한다 (134).
하나 이상의 예들에 있어서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상으로 저장 또는 전송되고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들, 또는 예를 들어, 통신 프로토콜에 따라, 일 장소에서 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독 가능한 매체들은 일반적으로 (1) 비-일시적인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명된 기술들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
제한이 아닌 예로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독가능 매체로서 적절히 칭해진다. 예를 들면, 명령들이 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신된다면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 접속들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하는 것이 아니라, 대신에 비-일시적인, 유형의 저장 매체들과 관련되는 것이 이해되어야만 한다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저들을 사용하여 데이터를 광학적으로 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 DSP들, 범용 마이크로 프로세서들, ASIC들, FPGA들, 또는 다른 균등한 집적된 또는 별개의 로직 회로부와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본 명세서에서 사용되는 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기술들의 구현에 적절한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되고 결합된 코덱에서 통합된 전용 하드웨어 모듈 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기술들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기술들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 적절한 소프트웨어 및/또는 펌웨어와 함께 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하여 코덱 하드웨어 유닛으로 결합되거나 또는 상호운용식 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims (30)

  1. 비디오 데이터를 코딩하는 방법으로서,
    상기 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하는 단계로서, 상기 비디오 데이터의 상기 제 1 블록은 제 1 높이 및 제 1 폭을 가지는, 상기 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하는 단계;
    상기 제 1 높이 및 상기 제 1 폭에 기초하여, 비디오 데이터의 상기 제 1 블록에 대한 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 단계로서, 상기 N 은 2 보다 큰 정수 값인, 상기 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 단계;
    상기 N 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 상기 비디오 데이터의 상기 제 1 블록을 코딩하는데 사용된 제 1 인트라 예측 모드를 선택하는 단계; 및
    상기 제 1 인트라 예측 모드를 사용하여 상기 제 1 블록을 코딩하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 비디오 데이터의 제 2 블록이 인트라 모드 코딩된 것으로 결정하는 단계로서, 상기 비디오 데이터의 상기 제 2 블록은 제 2 높이 및 제 2 폭을 가지는, 상기 비디오 데이터의 제 2 블록이 인트라 모드 코딩된 것으로 결정하는 단계;
    상기 제 2 높이 및 상기 제 2 폭에 기초하여, 상기 비디오 데이터의 상기 제 2 블록에 대한 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 단계로서, 상기 M 은 상기 N 과 상이한 정수 값이고 2 보다 큰, 상기 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 단계; 및
    상기 M 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 상기 비디오 데이터의 상기 제 2 블록을 코딩하는데 사용된 제 2 인트라 예측 모드를 선택하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  3. 제 2 항에 있어서,
    상기 비디오 데이터에서 임계 값을 시그널링하는 단계;
    상기 임계 값보다 큰 면적을 갖는 상기 제 1 블록에 응답하여, N 에 대한 값을 결정하는 단계;
    상기 임계 값 미만의 면적을 갖는 상기 제 2 블록에 응답하여, M 에 대한 값을 결정하는 단계로서, 상기 M 은 N 보다 작은, 상기 M 에 대한 값을 결정하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  4. 제 2 항에 있어서,
    상기 N 개의 사용가능한 인트라 예측 모드들의 그룹 내의 각각의 인트라 예측 모드는 0 부터 N-1 까지의 범위의 고유 인덱스를 가지며,
    상기 M 개의 사용가능한 인트라 예측 모드들의 그룹 내의 각각의 인트라 예측 모드는 0 부터 M-1 까지의 범위의 고유 인덱스를 가지는, 비디오 데이터를 코딩하는 방법.
  5. 제 1 항에 있어서,
    상기 제 1 높이는 상기 제 1 폭보다 크며,
    상기 방법은,
    상기 비디오 데이터의 제 2 블록이 인트라 모드 코딩되는 것으로 결정하는 단계로서, 상기 비디오 데이터의 상기 제 2 블록은 제 2 높이 및 제 2 폭을 가지고, 상기 제 2 폭은 상기 제 2 높이보다 큰, 상기 비디오 데이터의 제 2 블록이 인트라 모드 코딩되는 것으로 결정하는 단계;
    상기 제 2 높이 및 상기 제 2 폭에 기초하여, 비디오 데이터의 상기 제 2 블록에 대한 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 단계로서, 상기 M 개의 사용가능한 인트라 예측 모드들의 그룹은 상기 N 개의 사용가능한 인트라 예측 모드들의 그룹에 포함되지 않은 적어도 하나의 인트라 예측 모드를 포함하는, 상기 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 단계; 및
    상기 M 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 상기 비디오 데이터의 상기 제 2 블록을 코딩하는데 사용된 제 2 인트라 예측 모드를 선택하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 높이 및 상기 제 1 폭에 기초하여 상기 제 1 블록의 면적을 결정하는 단계; 및
    상기 면적에 기초하여, N 에 대한 값을 결정하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  7. 제 1 항에 있어서,
    상기 제 1 인트라 예측 모드를 사용하여 상기 제 1 블록을 코딩하는 단계는,
    상기 제 1 인트라 예측 모드를 사용하여 상기 제 1 블록을 인코딩하는 단계; 또는
    상기 제 1 인트라 예측 모드를 사용하여 상기 제 1 블록을 디코딩하는 단계
    중 하나를 포함하는, 비디오 데이터를 코딩하는 방법.
  8. 비디오 데이터를 코딩하기 위한 디바이스로서,
    상기 비디오 데이터를 저장하도록 구성된 메모리; 및
    하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하는 것으로서, 상기 비디오 데이터의 상기 제 1 블록은 제 1 높이 및 제 1 폭을 가지는, 상기 비디오 데이터의 제 1 블록이 인트라 모드 코딩된 것으로 결정하고;
    상기 제 1 높이 및 상기 제 1 폭에 기초하여, 비디오 데이터의 상기 제 1 블록에 대한 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 것으로서, 상기 N 은 2 보다 큰 정수 값인, 상기 N 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하고;
    상기 N 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 상기 비디오 데이터의 상기 제 1 블록을 코딩하는데 사용된 제 1 인트라 예측 모드를 선택하며; 그리고
    상기 제 1 인트라 예측 모드를 사용하여 상기 제 1 블록을 코딩하도록
    구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  9. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로,
    상기 비디오 데이터의 제 2 블록이 인트라 모드 코딩된 것으로 결정하는 것으로서, 상기 비디오 데이터의 상기 제 2 블록은 제 2 높이 및 제 2 폭을 가지는, 상기 비디오 데이터의 제 2 블록이 인트라 모드 코딩된 것으로 결정하고;
    상기 제 2 높이 및 상기 제 2 폭에 기초하여, 상기 비디오 데이터의 상기 제 2 블록에 대한 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 것으로서, 상기 M 은 상기 N 과 상이한 정수 값이고 2 보다 큰, 상기 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하며; 그리고
    상기 M 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 상기 비디오 데이터의 상기 제 2 블록을 코딩하는데 사용된 제 2 인트라 예측 모드를 선택하도록
    구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  10. 제 9 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로,
    상기 비디오 데이터에서 임계 값을 시그널링하고;
    상기 임계 값보다 큰 면적을 갖는 상기 제 1 블록에 응답하여, N 에 대한 값을 결정하고;
    상기 임계 값 미만의 면적을 갖는 상기 제 2 블록에 응답하여, M 에 대한 값을 결정하는 것으로서, 상기 M 은 N 보다 작은, M 에 대한 값을 결정하도록
    구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  11. 제 9 항에 있어서,
    상기 N 개의 사용가능한 인트라 예측 모드들의 그룹 내의 각각의 인트라 예측 모드는 0 부터 N-1 까지의 범위의 고유 인덱스를 가지며,
    상기 M 개의 사용가능한 인트라 예측 모드들의 그룹 내의 각각의 인트라 예측 모드는 0 부터 M-1 까지의 범위의 고유 인덱스를 가지는, 비디오 데이터를 코딩하기 위한 디바이스.
  12. 제 8 항에 있어서,
    상기 제 1 높이는 상기 제 1 폭보다 크며,
    상기 하나 이상의 프로세서들은 추가로,
    상기 비디오 데이터의 제 2 블록이 인트라 모드 코딩되는 것으로 결정하는 것으로서, 상기 비디오 데이터의 상기 제 2 블록은 제 2 높이 및 제 2 폭을 가지고, 상기 제 2 폭은 상기 제 2 높이보다 큰, 상기 비디오 데이터의 제 2 블록이 인트라 모드 코딩되는 것으로 결정하고;
    상기 제 2 높이 및 상기 제 2 폭에 기초하여, 상기 비디오 데이터의 상기 제 2 블록에 대한 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하는 것으로서, 상기 M 개의 사용가능한 인트라 예측 모드들의 그룹은 상기 N 개의 사용가능한 인트라 예측 모드들의 그룹에 포함되지 않은 적어도 하나의 인트라 예측 모드를 포함하는, 상기 M 개의 사용가능한 인트라 예측 모드들의 그룹을 식별하며; 그리고
    상기 M 개의 사용가능한 인트라 예측 모드들의 그룹으로부터, 상기 비디오 데이터의 상기 제 2 블록을 코딩하는데 사용된 제 2 인트라 예측 모드를 선택하도록
    구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  13. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로,
    상기 제 1 높이 및 상기 제 1 폭에 기초하여 상기 제 1 블록의 면적을 결정하고; 그리고
    상기 면적에 기초하여, N 에 대한 값을 결정하도록
    구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  14. 제 8 항에 있어서,
    상기 제 1 인트라 예측 모드를 사용하여 상기 제 1 블록을 코딩하기 위해, 상기 하나 이상의 프로세서들은 추가로,
    상기 제 1 인트라 예측 모드를 사용하여 상기 제 1 블록을 인코딩하거나; 또는
    상기 제 1 인트라 예측 모드를 사용하여 상기 제 1 블록을 디코딩하는 것
    중 적어도 하나로 구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  15. 제 8 항에 있어서,
    상기 디바이스는 무선 통신 디바이스를 포함하고, 인코딩된 비디오 데이터를 수신하도록 구성된 수신기를 더 포함하는, 비디오 데이터를 코딩하기 위한 디바이스.
  16. 제 15 항에 있어서,
    상기 무선 통신 디바이스는 전화기 핸드셋을 포함하고,
    상기 수신기는 무선 통신 표준에 따라 상기 인코딩된 비디오 데이터를 포함하는 신호를 복조하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  17. 비디오 데이터를 코딩하는 방법으로서,
    상기 비디오 데이터의 블록이 인트라 모드 코딩된 것으로 결정하는 단계;
    상기 블록에 대한 제 1 최고 확률 모드 (MPM) 후보 리스트를 생성하는 단계;
    상기 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 상기 제 1 MPM 후보 리스트에 포함되지 않은 것을 표시하는 제 1 플래그를 코딩하는 단계;
    상기 블록에 대한 제 2 MPM 후보 리스트를 생성하는 단계로서, 상기 블록에 대한 상기 제 2 MPM 후보 리스트를 생성하는 단계는,
    상기 제 1 MPM 후보 리스트 내의 인트라 예측 모드에 기초하여 상기 제 2 MPM 후보 리스트에 포함시키기 위한 적어도 하나의 후보 인트라 예측 모드를 도출하는 단계
    를 포함하는, 상기 블록에 대한 제 2 MPM 후보 리스트를 생성하는 단계; 및
    상기 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 상기 제 2 MPM 후보 리스트에 포함되는지의 여부를 표시하는 제 2 플래그를 코딩하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  18. 제 17 항에 있어서,
    상기 제 1 MPM 후보 리스트 내의 상기 인트라 예측 모드에 기초하여 상기 제 2 MPM 후보 리스트에 포함시키기 위한 상기 적어도 하나의 후보 인트라 예측 모드를 도출하는 단계는 상기 제 1 MPM 후보 리스트 내의 상기 인트라 예측 모드에 오프셋을 추가하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  19. 제 17 항에 있어서,
    상기 제 1 MPM 후보 리스트 내의 상기 인트라 예측 모드는 상기 블록의 이웃하는 블록을 코딩하는데 사용된 인트라 예측 모드에 대응하거나, 또는 상기 이웃하는 블록을 코딩하는데 사용된 상기 인트라 예측 모드에 기초하여 도출되는, 비디오 데이터를 코딩하는 방법.
  20. 제 17 항에 있어서,
    상기 제 2 MPM 후보 리스트 내의 모든 모드들이 상기 제 1 MPM 후보 리스트 내의 모든 모드들과 구별되도록, 상기 제 2 MPM 후보 리스트를 생성하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  21. 제 17 항에 있어서,
    상기 블록에 대한 상기 제 2 MPM 후보 리스트를 생성하는 단계는,
    적어도 하나의 디폴트 후보를 상기 제 2 MPM 후보 리스트에 추가하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  22. 제 17 항에 있어서,
    상기 블록을 코딩하는데 사용된 상기 실제 인트라 예측 모드가 상기 제 1 MPM 후보 리스트에 포함되지 않은 것을 표시하는 상기 제 1 플래그를 코딩하는 단계 및 상기 블록을 코딩하는데 사용된 상기 실제 인트라 예측 모드가 상기 제 2 MPM 후보 리스트에 포함되는지의 여부를 표시하는 상기 제 2 플래그를 코딩하는 단계는,
    상기 제 1 플래그 및 상기 제 2 플래그를 인코딩하는 단계; 또는
    상기 제 1 플래그 및 상기 제 2 플래그를 디코딩하는 단계
    중 하나를 포함하는, 비디오 데이터를 코딩하는 방법.
  23. 제 17 항에 있어서,
    상기 제 2 MPM 후보 리스트에 포함시키기 위한 상기 적어도 하나의 후보 인트라 예측 모드를 도출하는 단계는 M 개의 후보 모드들을 도출하는 단계를 포함하고, 상기 M 은 정수 값이고,
    상기 방법은,
    상기 제 1 MPM 후보 리스트에서의 모드의 모드 인덱스에 기초하여 M 에 대한 상기 정수 값을 결정하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  24. 비디오 데이터를 코딩하기 위한 디바이스로서,
    상기 비디오 데이터를 저장하도록 구성된 메모리; 및
    하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 비디오 데이터의 블록이 인트라 모드 코딩된 것으로 결정하고;
    상기 블록에 대한 제 1 최고 확률 모드 (MPM) 후보 리스트를 생성하고;
    상기 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 상기 제 1 MPM 후보 리스트에 포함되지 않은 것을 표시하는 제 1 플래그를 코딩하고;
    상기 블록에 대한 제 2 MPM 후보 리스트를 생성하는 것으로서, 상기 블록에 대한 제 2 MPM 후보 리스트를 생성하는 것은,
    상기 제 1 MPM 후보 리스트 내의 인트라 예측 모드에 기초하여 상기 제 2 MPM 후보 리스트에 포함시키기 위한 적어도 하나의 후보 인트라 예측 모드를 도출하는 것
    을 포함하는, 상기 블록에 대한 제 2 MPM 후보 리스트를 생성하며; 그리고
    상기 블록을 코딩하는데 사용된 실제 인트라 예측 모드가 상기 제 2 MPM 후보 리스트에 포함되는지의 여부를 표시하는 제 2 플래그를 코딩하도록
    구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  25. 제 24 항에 있어서,
    상기 제 1 MPM 후보 리스트 내의 상기 인트라 예측 모드에 기초하여 상기 제 2 MPM 후보 리스트에 포함시키기 위한 상기 적어도 하나의 후보 인트라 예측 모드를 도출하기 위해, 상기 적어도 하나의 프로세서들은 상기 제 1 MPM 후보 리스트 내의 상기 인트라 예측 모드에 오프셋을 추가하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  26. 제 24 항에 있어서,
    상기 제 1 MPM 후보 리스트 내의 상기 인트라 예측 모드는 상기 블록의 이웃하는 블록을 코딩하는데 사용된 인트라 예측 모드에 대응하거나, 또는 상기 이웃하는 블록을 코딩하는데 사용된 상기 인트라 예측 모드에 기초하여 도출되는, 비디오 데이터를 코딩하기 위한 디바이스.
  27. 제 24 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 제 2 MPM 후보 리스트 내의 모든 모드들이 상기 제 1 MPM 후보 리스트 내의 모든 모드들과 구별되도록, 상기 제 2 MPM 후보 리스트를 생성하도록 구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  28. 제 24 항에 있어서,
    상기 블록에 대한 상기 제 2 MPM 후보 리스트를 추가로 생성하기 위해, 상기 하나 이상의 프로세서들은,
    적어도 하나의 디폴트 후보를 상기 제 2 MPM 후보 리스트에 추가하도록
    구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  29. 제 24 항에 있어서,
    상기 블록을 코딩하는데 사용된 상기 실제 인트라 예측 모드가 상기 제 1 MPM 후보 리스트에 포함되지 않은 것을 표시하는 상기 제 1 플래그를 코딩하고 그리고 상기 블록을 코딩하는데 사용된 상기 실제 인트라 예측 모드가 상기 제 2 MPM 후보 리스트에 포함되는지의 여부를 표시하는 상기 제 2 플래그를 코딩하기 위해, 상기 하나 이상의 프로세서들은,
    상기 제 1 플래그 및 상기 제 2 플래그를 인코딩하거나; 또는
    상기 제 1 플래그 및 상기 제 2 플래그를 디코딩하는 것
    중 하나로 구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
  30. 제 24 항에 있어서,
    상기 제 2 MPM 후보 리스트에 포함시키기 위한 상기 적어도 하나의 후보 인트라 예측 모드를 도출하는 것은 M 개의 후보 모드들을 도출하는 것을 포함하고, 상기 M 은 정수 값이며,
    상기 하나 이상의 프로세서들은,
    상기 제 1 MPM 후보 리스트에서의 모드의 모드 인덱스에 기초하여 M 에 대한 상기 정수 값을 결정하도록
    구성되는, 비디오 데이터를 코딩하기 위한 디바이스.
KR1020197009536A 2016-10-04 2017-10-04 비디오 코딩을 위한 가변 수의 인트라 모드들 KR102546382B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662404128P 2016-10-04 2016-10-04
US62/404,128 2016-10-04
US15/723,950 US10506228B2 (en) 2016-10-04 2017-10-03 Variable number of intra modes for video coding
US15/723,950 2017-10-03
PCT/US2017/055162 WO2018067714A1 (en) 2016-10-04 2017-10-04 Variable number of intra modes for video coding

Publications (2)

Publication Number Publication Date
KR20190055113A true KR20190055113A (ko) 2019-05-22
KR102546382B1 KR102546382B1 (ko) 2023-06-21

Family

ID=61758559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009536A KR102546382B1 (ko) 2016-10-04 2017-10-04 비디오 코딩을 위한 가변 수의 인트라 모드들

Country Status (7)

Country Link
US (2) US10506228B2 (ko)
EP (1) EP3523978A1 (ko)
JP (1) JP6818135B2 (ko)
KR (1) KR102546382B1 (ko)
CN (1) CN109716774B (ko)
BR (1) BR112019006757A2 (ko)
WO (1) WO2018067714A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029720A1 (ko) * 2019-08-13 2021-02-18 한국전자통신연구원 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2021054790A1 (ko) * 2019-09-18 2021-03-25 한국전자통신연구원 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
CN115733973A (zh) * 2016-12-23 2023-03-03 华为技术有限公司 一种用于矩形视频编码块的编码方法、装置及计算机可读存储介质
CN116828172A (zh) * 2017-01-02 2023-09-29 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的发送方法以及存储介质
KR102528387B1 (ko) * 2017-01-09 2023-05-03 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
EP3643065A1 (en) * 2017-07-24 2020-04-29 ARRIS Enterprises LLC Intra mode jvet coding
KR20200027013A (ko) * 2017-07-24 2020-03-11 애리스 엔터프라이지즈 엘엘씨 인트라 모드 jvet 코딩
WO2019072365A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. DEVICES AND METHODS FOR IMAGE AND VIDEO ENCODING
CA3078804A1 (en) * 2017-10-09 2019-04-18 Arris Enterprises Llc Adaptive unequal weight planar prediction
CN111434109A (zh) * 2017-11-28 2020-07-17 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
WO2019191713A1 (en) * 2018-03-30 2019-10-03 Hulu, LLC Intra prediction mode signaling for video coding
US10609402B2 (en) * 2018-05-02 2020-03-31 Tencent America LLC Method and apparatus for prediction and transform for small blocks
EP3813021A4 (en) * 2018-06-14 2021-08-11 Panasonic Intellectual Property Corporation of America THREE-DIMENSIONAL DATA ENCODING PROCESS, THREE-DIMENSIONAL DATA DECODING PROCESS, THREE-DIMENSIONAL DATA ENCODING DEVICE AND TRIDIMENSIONAL DATA DECODING DEVICE
KR20210015963A (ko) * 2018-06-29 2021-02-10 후아웨이 테크놀러지 컴퍼니 리미티드 인트라-예측을 위한 디바이스 및 방법
CN113243106B (zh) 2018-06-29 2022-11-01 华为技术有限公司 一种用于视频图像的预测块的帧内预测的设备和方法
TWI731361B (zh) * 2018-07-01 2021-06-21 大陸商北京字節跳動網絡技術有限公司 依賴形狀的幀內編碼
US10567752B2 (en) * 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US10284860B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10701358B2 (en) * 2018-07-09 2020-06-30 Tencent America LLC Mode dependent primary and secondary transforms
US10404980B1 (en) * 2018-07-10 2019-09-03 Tencent America LLC Intra prediction with wide angle mode in video coding
CN112425161A (zh) * 2018-07-11 2021-02-26 英迪股份有限公司 基于帧内预测的视频编码方法和装置
KR20240063982A (ko) 2018-07-11 2024-05-10 후아웨이 테크놀러지 컴퍼니 리미티드 루마 인트라 모드 시그널링
CN116546199A (zh) 2018-08-12 2023-08-04 Lg电子株式会社 解码装置、编码装置、存储介质和发送图像的数据的装置
KR20210027486A (ko) * 2018-08-27 2021-03-10 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측 방법 및 장치
CN117729327A (zh) * 2018-09-03 2024-03-19 华为技术有限公司 用于帧内预测的方法和装置
JP2021536717A (ja) 2018-09-07 2021-12-27 ビー1、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッドB1 Institute Of Image Technology, Inc. イントラ予測を用いた画像符号化／復号化方法及び装置
US10771778B2 (en) 2018-09-14 2020-09-08 Tencent America LLC Method and device for MPM list generation for multi-line intra prediction
KR20200033195A (ko) * 2018-09-19 2020-03-27 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020059092A1 (ja) * 2018-09-20 2020-03-26 富士通株式会社 符号化装置、符号化方法、符号化プログラム、復号装置、復号方法及び復号プログラム
WO2020057663A1 (en) * 2018-09-21 2020-03-26 Huawei Technologies Co., Ltd. Intra prediction mode derivation based on neighboring blocks
EP3860122B1 (en) * 2018-09-28 2024-03-27 JVCKenwood Corporation Image decoding device, image decoding method, and image decoding program
WO2020072249A1 (en) * 2018-10-01 2020-04-09 Interdigital Vc Holdings, Inc. Directions for wide angle intra prediction
US11516506B2 (en) * 2018-10-05 2022-11-29 Lg Electronics Inc. Method and apparatus for processing image service
BR122021007351B1 (pt) * 2018-10-09 2022-09-20 Lg Electronics Inc Método de codificação de imagem baseado em predição intra usando lista de mpm e dispositivo para o mesmo
CN113016181A (zh) * 2018-11-14 2021-06-22 交互数字Vc控股公司 依据块形状适配最可能模式候选的选择
US11012711B2 (en) * 2018-11-29 2021-05-18 Tencent America LLC Adaptive most probable modes for multiple reference line intra prediction
US11032551B2 (en) 2018-12-04 2021-06-08 Tencent America LLC Simplified most probable mode list generation scheme
US11470340B2 (en) 2018-12-10 2022-10-11 Tencent America LLC Simplified merge list construction for small coding blocks
WO2020141123A1 (en) * 2019-01-01 2020-07-09 Telefonaktiebolaget Lm Ericsson (Publ) History-based intra most probable mode derivation
US11095915B2 (en) * 2019-01-31 2021-08-17 Qualcomm Incorporated Shared motion vector predictor list for intra block copy mode in video coding
EP3922018A4 (en) * 2019-03-12 2022-06-08 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE CODING
US11405638B2 (en) * 2019-03-17 2022-08-02 Tencent America LLC Method and apparatus for video coding by determining intra prediction direction based on coded information of neighboring blocks
US11240516B2 (en) 2019-03-20 2022-02-01 Tencent America LLC Coding mode signaling for small blocks
US11997256B2 (en) * 2019-03-26 2024-05-28 Lg Electronics Inc. Intra prediction method on basis of MPM list and apparatus therefor
WO2020207497A1 (en) * 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Applicability of matrix-based intra prediction
CN113812160B (zh) * 2019-05-09 2024-01-12 北京字节跳动网络技术有限公司 用于屏幕内容编解码的最大可能模式列表构建
KR20220013939A (ko) 2019-05-31 2022-02-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 제한된 업샘플링 프로세스
EP3963885A4 (en) 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
KR20220024643A (ko) * 2019-06-20 2022-03-03 인터디지털 브이씨 홀딩스 프랑스 에스에이에스 위치 의존적 인트라 예측 조합을 이용한 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스
CN114641997A (zh) * 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
CN114979656A (zh) * 2021-02-21 2022-08-30 腾讯科技（深圳）有限公司 视频编解码方法、装置、计算机可读介质及电子设备
US20230008488A1 (en) * 2021-07-07 2023-01-12 Tencent America LLC Entropy coding for intra prediction modes
US20230069984A1 (en) * 2021-08-24 2023-03-09 Tencent America LLC Hardware friendly design for intra mode coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186972A (ja) * 2004-12-03 2006-07-13 Matsushita Electric Ind Co Ltd イントラ予測装置
EP2728883A2 (en) * 2011-06-28 2014-05-07 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video, accompanied with intra prediction

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386048B2 (en) 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
KR100940444B1 (ko) 2007-12-18 2010-02-10 한국전자통신연구원 공간적 에지 검출을 이용한 인트라 예측 모드 구성 방법
CN101605255B (zh) 2008-06-12 2011-05-04 华为技术有限公司 一种视频编解码的方法及装置
KR101527085B1 (ko) 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
US8902978B2 (en) 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US8923395B2 (en) 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
US20130215963A1 (en) * 2010-10-26 2013-08-22 Humax Co., Ltd. Adaptive intra-prediction encoding and decoding method
WO2012070857A2 (ko) 2010-11-25 2012-05-31 엘지전자 주식회사 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
EP2661880A4 (en) * 2011-01-07 2016-06-29 Mediatek Singapore Pte Ltd METHOD AND DEVICE FOR IMPROVED CODING OF INTRA-LUMA PREDICTION MODE
WO2012092761A1 (en) * 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and apparatus for improved intra prediction mode coding
JP5781313B2 (ja) 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CN102685474B (zh) 2011-03-10 2014-11-05 华为技术有限公司 预测模式的编解码方法、编解码设备及网络系统
US9532058B2 (en) * 2011-06-03 2016-12-27 Qualcomm Incorporated Intra prediction mode coding with directional partitions
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN103636203B (zh) 2011-06-17 2017-07-14 寰发股份有限公司 内部预测模式编码的方法及装置
CN105245894B (zh) 2011-06-17 2017-08-08 Jvc建伍株式会社 图像解码装置、图像解码方法及接收装置、接收方法
US9462290B2 (en) 2011-10-07 2016-10-04 Pantech Co., Ltd. Methods and apparatuses of encoding/decoding intra prediction mode using candidate intra prediction modes
US9154796B2 (en) 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
US9253508B2 (en) * 2011-11-04 2016-02-02 Futurewei Technologies, Inc. Differential pulse code modulation intra prediction for high efficiency video coding
KR20130049525A (ko) 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
CN108174206A (zh) 2011-12-05 2018-06-15 Lg 电子株式会社 帧内预测的方法和设备
US20130163664A1 (en) * 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
WO2014054267A1 (ja) * 2012-10-01 2014-04-10 パナソニック株式会社 画像符号化装置及び画像符号化方法
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN115134595A (zh) * 2015-06-05 2022-09-30 杜比实验室特许公司 用于执行帧间预测的图像编解码方法、比特流存储方法
US10425648B2 (en) 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186972A (ja) * 2004-12-03 2006-07-13 Matsushita Electric Ind Co Ltd イントラ予測装置
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
EP2728883A2 (en) * 2011-06-28 2014-05-07 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video, accompanied with intra prediction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029720A1 (ko) * 2019-08-13 2021-02-18 한국전자통신연구원 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2021054790A1 (ko) * 2019-09-18 2021-03-25 한국전자통신연구원 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Also Published As

Publication number Publication date
BR112019006757A2 (pt) 2019-07-02
CN109716774B (zh) 2021-07-23
US11431968B2 (en) 2022-08-30
CN109716774A (zh) 2019-05-03
EP3523978A1 (en) 2019-08-14
JP6818135B2 (ja) 2021-01-20
WO2018067714A1 (en) 2018-04-12
JP2019530367A (ja) 2019-10-17
KR102546382B1 (ko) 2023-06-21
US20180098064A1 (en) 2018-04-05
US10506228B2 (en) 2019-12-10
US20200068194A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
US11431968B2 (en) Variable number of intra modes for video coding
EP3350995B1 (en) Palette predictor initialization and merge for video coding
CN109076230B (zh) 解码视频数据的方法和装置
US10097842B2 (en) Restriction of escape pixel signaled values in palette mode video coding
CN109076228B (zh) 滤波信息的发信号
CN108141605B (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
JP6246920B2 (ja) パレットベースのビデオコーディングにおけるパレット予測
JP6297671B2 (ja) パレットベースのビデオコード化におけるパレットインデックスの決定
KR102334126B1 (ko) 인트라 블록 복사를 위한 레지듀얼 예측
JP6396439B2 (ja) 残差差分パルスコード変調（ｄｐｃｍ）拡張ならびに変換スキップ、回転、および走査との調和
US20180199062A1 (en) Intra prediction techniques for video coding
US9451277B2 (en) Restriction of prediction units in B slices to uni-directional inter prediction
KR20190007427A (ko) 인트라 예측 모드들의 이웃 기반의 시그널링
US20130202038A1 (en) Restriction of prediction units in b slices to uni-directional inter prediction
US20140198846A1 (en) Device and method for scalable coding of video information
TW201711461A (zh) 片級內部區塊複製及其他視訊寫碼改善
JP2018524906A (ja) イントラブロックコピーモードでの参照ピクチャリスト構成
CN110892724A (zh) 视频译码中的经改进帧内预测
MX2013014123A (es) Modelado de contexto eficiente de memoria.
KR20150076235A (ko) 비디오 코딩을 위한 참조 화상 상태
JP2018507613A (ja) ビデオコーディングにおけるパレットエントリのコーディング

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant