KR20210141772A - 다중 레퍼런스 라인을 이용한 인트라 예측 - Google Patents

다중 레퍼런스 라인을 이용한 인트라 예측 Download PDF

Info

Publication number
KR20210141772A
KR20210141772A KR1020217037047A KR20217037047A KR20210141772A KR 20210141772 A KR20210141772 A KR 20210141772A KR 1020217037047 A KR1020217037047 A KR 1020217037047A KR 20217037047 A KR20217037047 A KR 20217037047A KR 20210141772 A KR20210141772 A KR 20210141772A
Authority
KR
South Korea
Prior art keywords
intra prediction
prediction mode
reference line
subset
block
Prior art date
Application number
KR1020217037047A
Other languages
English (en)
Other versions
KR102458641B1 (ko
Inventor
샨 리우
샹 마
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Priority to KR1020227036516A priority Critical patent/KR102645509B1/ko
Publication of KR20210141772A publication Critical patent/KR20210141772A/ko
Application granted granted Critical
Publication of KR102458641B1 publication Critical patent/KR102458641B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 코딩 디바이스는 비디오 데이터를 포함하는 비트 스트림을 수신한다. 디바이스는 인트라 예측 모드 서브 세트를 결정한다. 인트라 예측 모드 서브 세트는, 현재 이미지 블록에 대한 복수의 레퍼런스 라인과 상관 관계를 갖는 인트라 예측 모드를 포함하고, 현재 이미지 블록에 대한 기본(primary) 레퍼런스 라인과 상관 관계를 갖는 인트라 예측 모드를 제외한다. 제1 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되는 경우, 디바이스는 대체(alternative) 인트라 예측 모드 인덱스에 의해 제1 인트라 예측 모드를 디코딩한다. 제1 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되지 않는 경우, 디바이스는 인트라 예측 모드 인덱스에 의해 제1 인트라 예측 모드를 디코딩한다. 디바이스는 제1 인트라 예측 모드에 기초하여 디코딩된 이미지 블록을 포함하는 비디오 데이터를 제시한다.

Description

다중 레퍼런스 라인을 이용한 인트라 예측{INTRA-PREDICTION WITH MULTIPLE REFERENCE LINES}
본 출원은, 2017년 5월 9일 Shan Liu 등에 의해 출원되고 발명의 명칭이 "Method and Apparatus For Intra Prediction Using Multiple Reference Lines"인 미국 가출원 제62/503,884호 및 2017년 5월 26일 Xiang Ma 등에 의해 출원되고 발명의 명칭이 "Method and Apparatus For Intra Prediction Using Multiple Reference Lines"인 미국 가출원 제62/511,757호에 대한 우선권을 주장하는 2018년 5월 7일에 출원되고 발명의 명칭이 "Intra-Prediction With Multiple Reference Lines"인 미국 진출원 제15/972,870호에 대한 우선권을 주장하며, 그 내용 전부는 참조에 의해 본 명세서에 포함된다.
본 발명은 다중 레퍼런스 라인을 이용한 인트라 예측에 관한 것이다.
비교적 짧은 비디오라도 묘사하기 위해 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 제한된 대역폭 용량으로 통신 네트워크를 통해 데이터가 스트리밍되거나 이와 다르게 통신될 때 어려움을 초래할 수 있다. 따라서 비디오 데이터는 현대의 통신 네트워크를 통해 통신되기 전에 일반적으로 압축된다. 메모리 자원이 한정적일 수 있기 때문에, 비디오가 저장 디바이스에 저장될 때 비디오의 크기 또한 문제가 될 수 있다. 비디오 데이터를 전송하거나 저장하기 전에, 비디오 압축 디바이스는 종종 소스(source)에서 소프트웨어 및/또는 하드웨어를 사용하여 비디오 데이터를 코딩함으로써, 디지털 비디오 이미지를 나타내기 위해 필요한 데이터의 양을 감소시킨다. 이어서 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축 해제 디바이스에 의해 목적지에서 수신된다. 제한된 네트워크 자원 및 더 높은 비디오 품질에 대한 요구의 증가에 따라, 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축 비율을 개선하는 개선된 압축 및 압축 해제 기술이 바람직하다.
일 실시 예에서, 본 개시는 비디오 코딩 디바이스를 포함하고, 상기 비디오 코딩 디바이스는: 비트 스트림을 수신하도록 구성되는 수신기; 수신기에 연결되고: 인트라 예측 모드 서브 세트를 결정하고 - 여기서 인트라 예측 모드 서브 세트는, 현재 이미지 블록에 대한 복수의 레퍼런스 라인과 상관 관계를 갖는 인트라 예측 모드를 포함하고, 현재 이미지 블록에 대한 기본(primary) 레퍼런스 라인과 상관 관계를 갖는 인트라 예측 모드를 제외함 -; 제1 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되는 경우, 대체(alternative) 인트라 예측 모드 인덱스에 의해 제1 인트라 예측 모드를 디코딩하도록 구성되는 프로세서; 및 프로세서에 연결된 디스플레이 - 여기서 디스플레이는 제1 인트라 예측 모드에 기초하여 디코딩된 이미지 블록을 포함하는 비디오 데이터를 제시함 - 를 포함한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 프로세서가: 제1 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되는 경우 레퍼런스 라인을 디코딩하고 - 여기서 레퍼런스 라인 인덱스는, 제1 인트라 예측 모드에 대한 복수의 레퍼런스 라인으로부터의 제1 레퍼런스 라인을 나타냄 -, 제1 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되지 않는 경우 레퍼런스 라인을 디코딩하지 않도록 추가로 구성되는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 레퍼런스 라인 인덱스는, 비트 스트림에서 제1 인트라 예측 모드 뒤에 위치하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 인트라 예측 모드 서브 세트는, 시작 방향성 인트라 예측 모드(DirS), 종료 방향성 인트라 예측 모드(DirE) 및 DirS와 DirE 사이의 모든 N번째 방향성 인트라 예측 모드를 포함하고, N은 미리 결정된 정수 값에 해당하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 인트라 예측 모드 서브 세트는, 평면 예측 모드 및 직류(Direct Current, DC) 예측 모드를 더 포함하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 인트라 예측 모드 서브 세트는, 시작 방향성 인트라 예측 모드(DirS), 종료 방향성 인트라 예측 모드(DirE), 중간 방향성 인트라 예측 모드(DirD), 수평 방향성 인트라 예측 모드(DirH), 수직 방향성 인트라 예측 모드(DirV) 및 DirS, DirE, DirD, DirH 및 DirV의 플러스 또는 마이너스 N의 방향성에서의 유효 방향성 인트라 예측 모드를 포함하고, N은 미리 결정된 정수 값에 해당하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 인트라 예측 모드 서브 세트는, 평면 예측 모드 및 직류(Direct Current, DC) 예측 모드를 더 포함하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 인트라 예측 모드 서브 세트는, 디코딩된 이웃 블록에 대해 선택된 인트라 예측 모드를 포함하고, 디코딩된 이웃 블록은, 미리 결정된 현재 이미지 블록에 인접한 지점에 위치하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 인트라 예측 모드 서브 세트는, 현재 이미지 블록에 대한 MPM(most probable mode) 리스트와 연관된 모드를 포함하는 것을 제공한다.
일 실시 예에서, 본 개시는 방법을 포함하고, 상기 방법은: 메모리에서, 예측 블록으로 코딩된 이미지 블록을 포함하는 비트 스트림을 저장하는 단계; 메모리에 연결된 프로세서에 의해, 직류(Direct Current, DC) 인트라 예측 모드에 의해 인코딩된 현재 예측 블록을 획득하는 단계; 현재 예측 블록과 연관된 복수의 레퍼런스 라인 중 적어도 2 개의 모든 레퍼런스 샘플을 평균함으로써 현재 예측 블록에 대응하는 현재 이미지 블록을 근사하기 위한 DC 예측 값을 결정하는 단계; 프로세서에 의해, DC 예측 값에 기초하여 현재 이미지 블록을 재구성하는 단계; 및 디스플레이 상에, 현재 이미지 블록을 포함하는 비디오 프레임을 디스플레이하는 단계를 포함한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, DC 예측 값을 결정하는 단계는, N 개의 인접한 레퍼런스 라인의 모든 레퍼런스 샘플을 현재 예측 블록에 대해 평균하는 단계를 포함하고, N은 미리 결정된 정수에 해당하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, DC 예측 값을 결정하는 단계는, 선택된 레퍼런스 라인 및 대응하는 레퍼런스 라인의 모든 레퍼런스 샘플을 평균하는 단계를 포함하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, DC 예측 값을 결정하는 단계는, 기본 레퍼런스 라인 및 선택된 레퍼런스 라인의 모든 레퍼런스 샘플을 평균하는 단계를 포함하는 것을 제공한다.
일 실시 예에서, 본 개시는 비디오 코딩 디바이스에 의해 사용하기 위한 컴퓨터 프로그램 제품을 포함하는 비 일시적인 컴퓨터로 판독 가능한 매체를 포함하고, 상기 컴퓨터 프로그램 제품은, 상기 비 일시적인 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 실행 가능한 인스트럭션을 포함하고, 상기 컴퓨터로 실행 가능한 인스트럭션은 프로세서에 의해 실행되는 경우 비디오 코딩 디바이스가: 수신기를 통해 비트 스트림을 수신하고; 프로세서에 의해, 비트 스트림으로부터 인트라 예측 모드를 디코딩하고 - 여기서 인트라 예측 모드는 현재 블록과 선택된 레퍼런스 라인 사이의 관계를 나타내고, 복수의 레퍼런스 라인과 연관된 현재 블록은 선택된 레퍼런스 라인을 포함함 -; 프로세서에 의해, 선택된 레퍼런스 라인을 나타내는 선택된 코드 워드에 기초하여 선택된 레퍼런스 라인을 디코딩하고 - 여기서 선택된 코드 워드는, 선택된 레퍼런스 라인의 선택 확률에 기초한 길이를 포함함 -; 및 디스플레이 상에, 인트라 예측 모드 및 선택된 레퍼런스 라인에 기초하여 디코딩된 이미지 블록을 포함하는 비디오 데이터를 제시하도록 한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 복수의 레퍼런스 라인은 복수의 코드 워드로 표시되고, 현재 블록으로부터 가장 먼 레퍼런스 라인은 두 번째로 가장 짧은 길이를 갖는 코드 워드로 표시되는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 복수의 레퍼런스 라인은 복수의 코드 워드로 표시되고, 현재 블록으로부터 두 번째로 가장 먼 레퍼런스 라인은 두 번째로 가장 짧은 길이를 갖는 코드 워드로 표시되는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 복수의 레퍼런스 라인은 복수의 코드 워드로 표시되고, 인접한 레퍼런스 라인을 제외한 미리 정의된 레퍼런스 라인은 두 번째로 가장 짧은 길이를 갖는 코드 워드로 표시되는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 복수의 레퍼런스 라인은 복수의 코드 워드로 표시되고, 복수의 코드 워드는 클래스 A 그룹 및 클래스 B 그룹으로 분류되고, 클래스 A 그룹은, 클래스 B 그룹의 코드 워드의 길이보다 더 짧은 길이를 갖는 코드 워드를 포함하는 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 복수의 레퍼런스 라인은 레퍼런스 로우(row) 및 레퍼런스 칼럼(column)을 포함하고, 현재 블록에 대해 저장된 레퍼런스 로우의 개수는, 현재 블록에 대해 저장된 레퍼런스 칼럼의 개수의 절반인 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 복수의 레퍼런스 라인은 레퍼런스 로우 및 레퍼런스 칼럼을 포함하고, 현재 블록에 대해 저장된 레퍼런스 로우의 개수는, 현재 블록에 대해 저장된 레퍼런스 칼럼의 개수와 동일한 것을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 해당 측면의 다른 구현 예는, 복수의 레퍼런스 라인은 레퍼런스 로우를 포함하고, 현재 블록에 대해 저장된 레퍼런스 로우의 개수는, 디블로킹 필터 동작(deblocking filter operation)에 의해 사용되는 레퍼런스 로우의 개수에 기초하여 선택되는 것을 제공한다.
명확성을 위해, 전술한 실시 예들 중 임의의 하나는, 다른 전술한 실시 예들 중 임의의 하나 이상과 결합되어 본 개시의 범위 내에서 새로운 실시 예를 생성할 수 있다.
이들 및 다른 특징들은 첨부한 도면 및 청구 범위와 함께 취해진 다음의 상세한 설명으로부터 보다 명확하게 이해될 것이다.
본 개시의 보다 완전한 이해를 위해, 이제 첨부한 도면 및 상세한 설명과 관련하여 다음의 간단한 설명을 참조하며, 동일한 참조 번호는 유사한 부분을 나타낸다.
도 1은 비디오 신호를 코딩하는 예시적인 방법을 설명하기 위한 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(coding and decoding)(코덱(codec)) 시스템을 설명하기 위한 개략도이다.
도 3은 인트라 예측을 구현할 수 있는 예시적인 비디오 인코더를 나타내는 블록도이다.
도 4는 인트라 예측을 구현할 수 있는 예시적인 비디오 디코더를 나타내는 블록도이다.
도 5는 비디오 코딩에서 사용되는 예시적인 인트라 예측 모드를 나타내는 개략도이다.
도 6은 비디오 코딩에서 블록들의 방향성 관계(directional relationship)의 예를 나타내는 개략도이다.
도 7은 인트라 예측으로 블록을 코딩하기 위한 기본 레퍼런스 라인 스킴의 예를 나타내는 개략도이다.
도 8은 인트라 예측으로 블록을 코딩하기 위한 대체 레퍼런스 라인 스킴의 예를 나타내는 개략도이다.
도 9는 예시적인 인트라 예측 모드 서브 세트를 나타내는 개략도이다.
도 10은 비디오 코딩 비트 스트림에서 대체 레퍼런스 라인에 대한 예시적인 조건부 시그널링 표현을 나타내는 개략도이다.
도 11은 비디오 코딩 비트 스트림에서 기본 레퍼런스 라인에 대한 예시적인 조건부 시그널링 표현을 나타내는 개략도이다.
도 12는 대체 레퍼런스 라인으로 DC 모드 인트라 예측을 위한 예시적인 메커니즘을 나타내는 개략도이다.
도 13은 코드 워드로 대체 레퍼런스 라인을 코딩하기 위한 예시적인 메커니즘을 나타내는 개략도이다.
도 14는 상기한 개수의 로우 및 칼럼을 갖는 대체 레퍼런스 라인을 코딩하기 위한 예시적인 메커니즘을 나타내는 개략도이다.
도 15는 상기한 개수의 로우 및 칼럼을 갖는 대체 레퍼런스 라인을 코딩하기 위한 다른 예시적인 메커니즘을 나타내는 개략도이다.
도 16은 예시적인 비디오 코딩 디바이스를 설명하기 위한 개략도이다.
도 17은 대체 레퍼런스 라인을 이용하여 인트라 예측 모드 서브 세트로 비디오 코딩을 하는 예시적인 방법을 설명하기 위한 흐름도이다.
도 18은 대체 레퍼런스 라인을 이용하여 DC 모드 인트라 예측으로 비디오 코딩을 하는 예시적인 방법을 설명하기 위한 흐름도이다.
도 19는 선택 확률에 기초하여 코드 워드에 의해 코딩된 레퍼런스 라인으로 비디오 코딩을 하는 예시적인 방법을 설명하기 위한 흐름도이다.
하나 이상의 실시 예들의 예시적인 구현 예가 아래에 제공되지만, 개시된 시스템들 및/또는 방법들은 현재 공지되거나 존재하는 임의의 수의 기술들을 이용하여 구현될 수 있다는 점을 처음부터 이해하여야 한다. 본 개시는 본 명세서에 도시되고 설명된 예시적인 설계 및 구현 예를 포함하여 아래에 예시된 예시적인 구현, 도면 및 기술에 제한되지 않아야 하며, 그 등가물의 전체 범위와 함께 첨부된 청구 범위의 범위 내에서 수정될 수 있다.
비디오 코딩 프로세스 동안 비디오 데이터를 압축하기 위해 많은 스킴들이 사용된다. 예를 들어, 비디오 시퀀스는 이미지 프레임으로 분할된다. 그런 다음 이미지 프레임은 이미지 블록으로 파티션 분할된다. 그 다음 이미지 블록은 인터 예측(inter-prediction)(다른 프레임의 블록들 간의 상관 관계) 또는 인트라 예측(intra-prediction)(동일 프레임에서 블록들 간의 상관 관계)에 의해 압축될 수 있다. 인트라 예측에서, 현재 이미지 블록은 샘플의 레퍼런스 라인으로부터 예측된다. 레퍼런스 라인은 이웃 블록이라고도 하는 인접한 이미지 블록의 샘플을 포함한다. 현재 블록의 샘플은 가장 가까운 루마(빛) 또는 크로마(색) 값을 갖는 레퍼런스 라인의 샘플과 매칭된다. 현재 블록은 매칭 샘플을 나타내는 예측 모드로서 코딩된다. 예측 모드는 각도 예측 모드, 직류(DC) 모드 및 평면 모드를 포함한다. 예측 모드에 의해 예측된 값과 실제 값의 차이는 잔차 블록의 잔차 값으로 코딩된다. 다중 레퍼런스 라인을 사용함으로써 매칭이 개선될 수 있다. 매칭이 향상되면 잔차 값이 줄어들어 압축이 향상된다. 그러나, 레퍼런스 라인의 개수를 증가시키면, 매칭 레퍼런스 라인을 고유하게 식별하기 위해 필요한 빈(bin)의 개수(이진 값)가 증가할 수 있다. 최적의 매치를 결정하기 위해 다중 레퍼런스 라인이 필요하지 않은 경우, 다중 레퍼런스 라인을 식별하는 것과 연관된 시그널링 오버헤드의 증가는, 다중 레퍼런스 라인과 일반적으로 연관된 압축 이득을 극복할 수 있고, 따라서 전 비트 스트림 파일 크기를 증가시킨다. 이러한 경우 코딩 효율이 저하된다.
다중 레퍼런스 라인에 기초하여 인트라 예측과 관련된 시그널링 오버헤드를 감소시키고 이에 따라 비디오 코딩 시스템에서의 압축을 증가시키는 비디오 코딩 프로세스를 지원하는 메커니즘이 본 명세서에 개시된다. 예를 들어, 인트라 예측 모드 서브 세트를 생성하기 위한 메커니즘이 개시된다. 모든 인트라 예측 모드가 다중 레퍼런스 라인의 완전한 세트에 액세스하는 것을 허용하면 시그널링 오버헤드가 증가하고 이에 따라 최종 인코딩을 위한 파일 크기가 커질 수 있다. 따라서, 인트라 예측 모드 서브 세트는 대체 레퍼런스 라인에 액세스할 수 있는 인트라 예측 모드의 서브 세트를 포함하고, 인트라 예측 모드 서브 세트에서 제외된 모드는 기본 레퍼런스 라인을 액세스하는 것으로 제한된다. 본 명세서에서 사용되는 바와 같이, 기본 레퍼런스 라인은 현재 블록에 가장 근접하여 위치한(예컨대 바로 인접한) 레퍼런스 라인이다. 대체 레퍼런스 라인은 기본 레퍼런스 라인과, 기본 레퍼런스 라인보다 현재 블록에서 멀리 떨어져 위치한 레퍼런스 라인의 세트를 모두 포함한다. 인코더는, 대체 레퍼런스 라인이 유리한 경우 인트라 예측 모드 서브 세트로부터의 모드를 사용할 수 있고, 레퍼런스 라인이 충분한 경우 인트라 예측 모드 서브 세트로부터 제외되는 모드를 사용할 수 있다. 인트라 예측 모드 서브 세트 외부의 모드는 기본 레퍼런스 라인을 액세스하는 것으로 제한되므로, 인트라 예측 모드 서브 세트에 포함되지 않은 인트라 예측 모드에 대해서는 레퍼런스 라인 인덱스가 생략될 수 있다. 이는 인트라 예측 모드 정보 뒤에 레퍼런스 라인 인덱스를 인코딩함으로써 달성될 수 있다. 인트라 예측 모드 정보가, 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되지 않음을 나타내는 경우, 디코더는 레퍼런스 라인 인덱스가 포함되지 않는다는 것을 문맥적으로 인지할 수 있다. 인트라 예측 모드 서브 세트에 포함된 인트라 예측 모드는 미리 결정되고(예를 들어, 테이블에 저장되고 및/또는 하드 코딩되고) 및/또는, 이웃 블록 인트라 예측 모드 서브 세트 등에 기초하여 문맥적으로 추론될 수 있다. 일부 경우에, 인트라 예측 모드 서브 세트는 MPM(most probable mode) 리스트와 연관된 모드를 포함하도록 선택될 수 있다. 이를 통해 가장 일반적으로 선택된 모드가 대체 레퍼런스 라인에 액세스할 수 있다. 또한, 인트라 예측 모드 서브 세트에서의 인트라 예측 모드는 인트라 예측 모드 서브 세트 인덱스에 기초하여 시그널링될 수 있다. 인트라 예측 모드 서브 세트는 전체 인트라 예측 모드 세트보다 더 적은 예측 모드를 포함하기 때문에, 인트라 예측 모드 서브 세트 인덱스는 일반적으로 더 적은 수의 빈으로 시그널링될 수 있다. 또한, DC 인트라 예측 모드로의 확장이 개시된다. 개시된 DC 인트라 예측 모드는 대체 레퍼런스 라인에 기초하여 DC 예측 값이 결정되도록 할 수 있다. 특정 레퍼런스 라인을 나타내는 코드 워드 크기를 압축하기 위한 메커니즘이 또한 개시된다. 본 메커니즘에서, 레퍼런스 라인은 현재 이미지 샘플로부터의 거리에 기초하지 않고 선택 확률에 기초하여 인덱싱된다. 예를 들어, 가장 많이 선택될 수 있는 레퍼런스 라인 인덱스는 가장 짧은 인덱스를 수신하고, 가장 적게 선택될 수 있는 레퍼런스 라인은 가장 긴 인덱스를 수신한다. 이로 인해 대부분의 경우 레퍼런스 라인 인덱스에 대한 인코딩은 더 작아진다. 레퍼런스 라인 인덱스에 대한 코드 워드는 미리 결정되어 일관되게 사용될(예를 들어, 테이블에 저장되고 및/또는 하드 코딩될) 수 있다. 또한, 특정 하드웨어 설계는 레퍼런스 라인 칼럼보다 레퍼런스 라인 로우를 저장하기 위해 더 많은 메모리를 필요로 한다. 따라서, 이미지 샘플을 코딩할 때 레퍼런스 칼럼보다 더 적은 레퍼런스 로우를 저장하는 것을 지원하고, 이에 따라 코딩 동안 메모리 요구량의 감소를 지원하는 메커니즘이 개시된다.
도 1은 비디오 신호를 코딩하는 예시적인 방법(100)을 설명하기 위한 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 줄이기 위해 다양한 메커니즘을 사용하여 비디오 신호를 압축한다. 파일 크기가 작을수록 압축된 비디오 파일을 사용자에게 전송할 수 있고 동시에 연관된 대역폭 오버헤드를 줄일 수 있다. 그 다음 디코더는 압축된 비디오 파일을 디코딩하여 최종 사용자에게 디스플레이하기 위해 원래의 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로, 디코더가 비디오 신호를 일관되게 재구성할 수 있도록 하는 인코딩 프로세스를 미러링한다.
단계(101)에서, 비디오 신호는 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 비 압축 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 디바이스에 의해 캡처될 수 있고, 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 컴포넌트 및 비디오 컴포넌트를 모두 포함할 수 있다. 비디오 컴포넌트는, 순서대로 볼 때, 모션의 시각적 인상을 주는 일련의 이미지 프레임을 포함한다. 프레임은 본 명세서에서 루마 컴포넌트로 지칭되는 광 및 크로마 컴포넌트로 지칭되는 색상으로 표현되는 픽셀을 포함한다. 일부 실시 예에서, 프레임은 또한 3 차원 시청을 지원하기 위해 깊이 값을 포함할 수 있다.
단계(103)에서, 비디오는 블록으로 파티션 분할된다. 파티션 분할은, 압축을 위해 각 프레임의 픽셀을 정사각형 및/또는 직사각형 블록으로 세분화하는 것을 포함한다. 예를 들어, 코딩 트리는, 구성이 추가 인코딩을 지원하도록 달성될 때까지 블록을 분할한 다음 재귀적으로 세분하기 위해 사용될 수 있다. 따라서, 블록은 HEVC(High Efficiency Video Coding)(H.265 및 MPEG-H Part 2라고도 함)에서 코딩 트리 유닛으로 지칭될 수 있다. 예를 들어, 프레임의 루마 컴포넌트는, 개별 블록이 비교적 균일한 조명 값을 포함할 때까지 세분화될 수 있다. 또한, 프레임의 크로마 컴포넌트는, 개별 블록이 비교적 균일한 색상 값을 포함할 때까지 세분화될 수 있다. 따라서, 파티션 분할 메커니즘은 비디오 프레임의 내용에 따라 변한다.
단계(105)에서, 단계(103)에서 파티션 분할된 이미지 블록을 압축하기 위해 다양한 압축 메커니즘이 사용된다. 예를 들어, 인터 예측 및/또는 인트라 예측이 사용될 수 있다. 인터 예측은, 공통 장면의 객체가 연속 프레임에 나타나는 경향이 있다는 사실을 이용하도록 설계되었다. 따라서, 레퍼런스 프레임에서 객체를 나타내는 블록은 후속 프레임에서 반복적으로 묘사될 필요가 없다. 구체적으로, 테이블과 같은 객체는 다중 프레임에 걸쳐 일정한 위치에 유지될 수 있다. 따라서 테이블이 한 번 묘사되면 후속 프레임은 레퍼런스 프레임을 다시 참조할 수 있다. 패턴 매칭 메커니즘은 다중 프레임에 걸쳐 객체를 매칭시키기 위해 사용될 수 있다. 또한, 이동하는 물체는, 예를 들어 물체 이동 또는 카메라 이동으로 인해 다중 프레임에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 다중 프레임에 걸쳐 스크린을 가로질러 이동하는 자동차를 보여줄 수 있다. 이러한 이동을 설명하기 위해 모션 벡터가 사용될 수 있다. 모션 벡터는 2 차원 벡터로, 프레임의 객체 좌표에서 레퍼런스 프레임의 객체 좌표까지의 오프세트를 제공한다. 따라서, 인터 예측은, 레퍼런스 프레임에서 대응하는 블록으로부터 오프세트를 나타내는 모션 벡터 세트로서 현재 프레임의 이미지 블록을 인코딩할 수 있다.
인트라 예측은 공통 프레임에서 블록을 인코딩한다. 인트라 예측은 루마 및 크로마 컴포넌트가 프레임에서 군집하는 경향이 있다는 사실을 이용한다. 예를 들어, 나무의 일부에서 녹색 패치는, 유사한 녹색 패치에 인접하게 위치하는 경향이 있다. 인트라 예측은 다중 방향성 예측 모드(예를 들어, HEVC 33), 평면 모드 및 DC 모드를 사용한다. 방향성 모드는 현재 블록이 대응하는 방향의 이웃 블록의 샘플과 유사/동일함을 나타낸다. 평면 모드는 로우/칼럼을 따르는 일련의 블록(예를 들어, 평면)이 로우의 에지에서 이웃 블록에 기초하여 보간될 수 있음을 나타낸다. 사실상, 평면 모드는 값을 변경하는 데 비교적 일정한 기울기를 사용하여 로우/칼럼에 걸쳐 광/색상의 부드러운 전환(smooth transition)을 나타낸다. DC 모드는 경계 스무딩(boundary smoothing)에 사용되며, 블록이 방향성 예측 모드의 각도 방향과 연관된 모든 이웃 블록의 샘플과 연관된 평균 값과 유사/동일함을 나타낸다. 따라서, 인트라 예측 블록은 이미지 블록을 실제 값 대신 다양한 관계형 예측 모드 값으로 나타낼 수 있다. 또한, 인터 예측 블록은 이미지 블록을 실제 값 대신 모션 벡터 값으로 나타낼 수 있다. 어느 경우든, 예측 블록은 일부 경우에 이미지 블록을 정확하게 나타내지 않을 수 있다. 차이는 잔차 블록에 저장된다. 파일을 추가로 압축하기 위해 변환이 잔차 블록에 적용될 수 있다.
단계(107)에서, 다양한 필터링 기술이 적용될 수 있다. HEVC에서, 필터는 인 루프 필터링 스킴(in-loop filtering scheme)에 따라 적용된다. 위에서 논의된 블록 기반 예측은 디코더에서 고르지 않은 이미지(blocky image)를 생성할 수 있다. 또한, 블록 기반 예측 스킴은 블록을 인코딩 한 다음 나중에 레퍼런스 블록으로 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 인 루프 필터링 스킴은 노이즈 억제 필터, 디블로킹 필터(de-blocking filter), 적응형 루프 필터 및 샘플 적응형 오프세트(sample adaptive offset, SAO) 필터를 블록/프레임에 반복적으로 적용한다. 이러한 필터는 이러한 차단 아티팩트(block artefact)를 완화하여 인코딩된 파일을 정확하게 재구성할 수 있다. 또한, 이들 필터는 재구성된 레퍼런스 블록에서 아티팩트를 완화시키므로, 아티팩트는, 재구성된 레퍼런스 블록에 기초하여 인코딩된 후속 블록에서 추가 아티팩트를 생성할 가능성이 낮아진다.
비디오 신호가 파티션 분할, 압축 및 필터링되면, 결과 데이터는 단계(109)에서 비트 스트림으로 인코딩된다. 비트 스트림은 위에서 논의된 데이터뿐 아니라 디코더에서 적절한 비디오 신호 재구성을 지원하기 위해 바람직한 임의의 시그널링 데이터를 포함한다. 예를 들어, 이러한 데이터는 파티션 데이터, 예측 데이터, 잔차 블록, 및 디코더에 코딩 명령을 제공하는 다양한 플래그를 포함할 수 있다. 비트 스트림은, 요청 시 디코더를 향해 전송되기 위해 메모리에 저장될 수 있다. 비트 스트림은 또한 복수의 디코더를 향해 브로드 캐스트 및/또는 멀티 캐스트될 수 있다. 비트 스트림의 생성은 반복 프로세스이다. 따라서, 단계(101, 103, 105, 107 및 109)는 다수의 프레임 및 블록에 걸쳐 연속적으로 및/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 명확성 및 논의의 편의성을 위해 제시되는 것이며, 비디오 코딩 프로세스를 특정 순서로 제한하도록 의도되지 않는다.
디코더는 비트 스트림을 수신하고 단계(111)에서 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 비트 스트림을 대응하는 구문(syntax) 및 비디오 데이터로 변환하기 위해 엔트로피 디코딩 스킴을 사용한다. 디코더는 단계(111)에서 비트 스트림으로부터의 구문 데이터를 사용하여 프레임에 대한 파티션을 결정한다. 파티션 분할은 단계(103)에서의 블록 파티션 분할의 결과와 매치해야 한다. 이제 단계(111)에서 사용된 엔트로피 인코딩/디코딩이 설명된다. 인코더는, 입력 이미지(들)의 값에 대한 공간적 위치에 기초하여, 블록 파티션 분할 스킴을 선택하는 것과 같은, 압축 프로세스 동안 수 개의 가능한 선택 중에서 많은 선택을 한다. 정확한 선택을 시그널링하는 것은 다수의 빈을 사용할 수 있다. 본 명세서에서 사용되는 바와 같이, 빈은 변수(예를 들어, 문맥에 따라 변할 수 있는 비트 값)로 취급되는 이진 값이다. 엔트로피 코딩은 인코더가, 특정 경우에 명백하게 실행 불가능한 옵션을 폐기하고, 허용 가능한 옵션 세트를 남긴다. 그 다음 각각의 허용 가능한 옵션에 코드 워드가 할당된다. 코드 워드의 길이는 허용 가능한 옵션의 개수에 기초한다(예를 들어, 2 개의 옵션을 위한 1 개의 빈, 3 개 내지 4 개의 옵션을 위한 2 개의 빈 등). 그 다음 인코더는 선택한 옵션에 대한 코드 워드를 인코딩한다. 이러한 스킴은, 잠재적으로 큰 모든 가능한 옵션 세트로부터 선택을 독특하게 나타내는 것과 대조적으로, 허용 가능한 옵션의 작은 서브 세트로부터의 선택을 독특하게 나타 내기 위해 코드 워드가 원하는 만큼 커짐에 따라 코드 워드의 크기를 감소시킨다. 이러한 스킴은, 잠재적으로 큰 모든 가능한 옵션 세트로부터의 선택을 고유하게 나타내는 것과 대조적으로, 코드 워드가 허용 가능한 옵션의 작은 서브 세트로부터의 선택을 고유하게 나타내기 위해 바람직한 만큼 크도록 코드 워드의 크기를 줄인다. 그 후, 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션 세트를 결정함으로써 해당 선택을 디코딩한다. 허용 가능한 옵션 세트를 결정함으로써, 디코더는 코드 워드를 판독하고 인코더에 의해 이루어진 해상 선택을 결정할 수 있다.
단계(113)에서, 디코더는 블록 디코딩을 수행한다. 구체적으로, 디코더는 역 변환을 사용하여 잔차 블록을 생성한다. 그 다음 디코더는 잔차 블록 및 대응하는 예측 블록을 사용하여, 파티션 분할에 따라 이미지 블록을 재구성한다. 예측 블록은 단계(105)에서 인코더에서 생성된 인트라 예측 블록 및 인터 예측 블록을 모두 포함할 수 있다. 그 후, 재구성된 이미지 블록은, 단계(111)에서 결정된 파티션 분할 데이터에 따라 재구성된 비디오 신호의 프레임으로 위치한다. 단계(113)의 구문은 또한, 앞서 설명한 바와 같은 엔트로피 코딩을 통해 비트 스트림에서 시그널링될 수 있다.
단계(115)에서, 필터링은, 인코더에서 단계(107)과 유사한 방식으로 재구성된 비디오 신호의 프레임들에 대해 수행된다. 예를 들어, 노이즈 억제 필터, 디블로킹 필터, 적응 루프 필터 및 SAO 필터가 프레임에 적용되어 차단 아티팩트를 제거할 수 있다. 프레임이 필터링되면, 비디오 신호는 최종 사용자가 볼 수 있도록 단계(117)에서 디스플레이로 출력될 수 있다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)을 설명하기 위한 개략도이다. 구체적으로, 코덱 시스템(200)은 방법(100)의 구현 예를 지원하는 기능을 제공한다. 코덱 시스템(200)은 인코더 및 디코더 모두에 사용되는 컴포넌트를 도시하도록 일반화된다. 코덱 시스템(200)은 방법(100)의 단계(101 및 103)와 관련하여 논의된 바와 같이 비디오 신호를 수신 및 파티션 분할하여, 파티션 분할된 비디오 신호(201)를 생성한다. 코덱 시스템(200)은 이어서 방법(100)의 단계(105, 107 및 109)와 관련하여 논의된 바와 같이 인코더로서 동작할 때 파티션 분할된 비디오 신호(201)를 코딩된 비트 스트림으로 압축한다. 디코더 코덱 시스템(200)으로서 동작할 때, 방법(100)의 단계(111, 113, 115 및 117)와 관련하여 논의된 바와 같이 비트 스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 화상 추정 컴포넌트(215), 인트라 화상 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 모션 추정 컴포넌트(221), 스케일링 및 역 변환 컴포넌트(229), 필터 제어 분석 컴포넌트(227), 인 루프 필터 컴포넌트(225), 디코딩된 화상 버퍼 컴포넌트(223) 및 헤더 포매팅 및 CABAC(Context adaptive binary arithmetic coding) 컴포넌트(231)를 포함한다. 이러한 컴포넌트들은 도시된 바와 같이 결합된다. 도 2에서, 검은 선은 인코딩/디코딩 될 데이터의 이동을 나타내며, 점선은 다른 컴포넌트의 동작을 제어하는 제어 데이터의 이동을 나타낸다. 코덱 시스템(200)의 컴포넌트들은 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 컴포넌트의 서브 세트를 포함할 수 있다. 예를 들어, 디코더는 인트라 화상 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 스케일링 및 역 변환 컴포넌트(229), 인 루프 필터 컴포넌트(225) 및 디코딩된 화상 버퍼 컴포넌트(223)를 포함할 수 있다. 이제 이러한 구성 요소에 대해 설명하도록 한다.
파티션 분할된 비디오 신호(201)는 코딩 트리에 의해 픽셀 블록으로 파티션 분할된, 캡처된 비디오 스트림이다. 코딩 트리는 다양한 분할 모드를 사용하여 픽셀 블록을 더 작은 픽셀 블록으로 세분화한다. 그 후에 이들 블록은 더 작은 블록으로 세분화될 수 있다. 블록은 코딩 트리에서 노드로 지칭될 수 있다. 큰 부모 노드는 작은 자식 노드로 분할된다. 노드가 세분화되는 횟수는 노드/코딩 트리의 깊이로 지칭될 수 있다. 분할된 블록은 경우에 따라 코딩 유닛(CU)으로 지칭된다. 분할 모드는, 하나의 노드를, 사용된 분할 모드에 따라 각각 다양한 형태를 갖는 2개, 3개 또는 4개의 자식 노드로 파티션 분할하기 위해 사용된 이진 트리(BT), 트리플 트리(TT) 및 쿼드 트리(QT)를 포함할 수 있다. 파티션 분할된 비디오 신호(201)는 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 화상 추정 컴포넌트(215), 필터 제어 분석 컴포넌트(227) 및 압축을 위한 모션 추정 컴포넌트(221)로 전달된다.
일반 코더 제어 컴포넌트(211)는, 응용 제약에 따라 비디오 시퀀스의 이미지를 비트 스트림으로 코딩하는 것과 관련된 결정을 하도록 구성된다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 재구성 품질에 대한 비트 레이트/비트 스트림 크기의 최적화를 관리한다. 이러한 결정은 저장 공간 / 대역폭 가용성 및 이미지 해상도 요청에 기초하여 이루어질 수 있다. 일반 코더 제어 컴포넌트(211)는 또한 버퍼 언더런 및 오버런 문제를 완화하기 위해 전송 속도에 비추어 버퍼 활용율을 관리한다. 이러한 문제를 관리하기 위해, 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트에 의한 파티셔닝 분할, 예측 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 압축 복잡도를 동적으로 증가시켜 해상도를 증가시키고, 대역폭 사용량을 증가시키거나 압축 복잡도를 감소시켜 해상도 및 대역폭 사용량을 감소시킬 수 있다. 따라서, 일반 코더 제어 컴포넌트(211)는 비디오 신호 재구성 품질을 비트 레이트 문제와 균형을 맞추기 위해 코덱 시스템(200)의 다른 컴포넌트를 제어한다. 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트의 동작을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한 헤더 포매팅 및 CABAC 구성 요소(231)로 전달되어, 디코더에서 디코딩하기 위한 신호 파라미터로, 비트 스트림으로 인코딩된다.
파티션 분할된 비디오 신호(201)는 또한 인터 예측을 위해 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)로 송신된다. 파티션 분할된 비디오 신호(201)의 프레임 또는 슬라이스는 다중 비디오 블록들로 분할될 수 있다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 시간 예측을 제공하기 위해 하나 이상의 레퍼런스 프레임에서 하나 이상의 블록에 관련되어 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 코덱 시스템(200)은 예를 들어 비디오 데이터의 각 블록에 대한 적절한 코딩 모드를 선택하기 위해 다중 코딩 패스를 수행할 수 있다.
모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 고도로 통합될 수 있지만, 개념적 목적을 위해 개별적으로 도시된다. 모션 추정 컴포넌트(221)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 현재 프레임(또는 다른 코딩된 유닛) 내에서 코딩되는 현재 블록에 대한 레퍼런스 프레임(또는 다른 코딩된 유닛) 내의 예측 블록에 대한 비디오 블록의 예측 유닛(PU)의 변위를 나타낼 수 있다. 예측 블록은 픽셀 차이의 관점에서 코딩될 블록과 밀접하게 매치하는 것으로 밝혀진 블록으로서, 이는 SAD(Sum of Absolute Difference), SSD(Sum of Square Difference) 또는 다른 차이 메트릭에 의해 결정될 수 있다. 일부 예에서, 코덱 시스템(200)은 디코딩된 화상 버퍼(223)에 저장된 레퍼런스 화상의 서브 정수 픽셀 위치에 대한 값을 계산할 수 있다. 예를 들어, 비디오 코덱 시스템(200)은, 레퍼런스 화상의 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 다른 분수(fractional) 픽셀 위치의 값을 보간할 수 있다. 따라서, 모션 추정 컴포넌트(221)는 전체 픽셀 위치 및 분수 픽셀 위치에 대해 모션 검색을 수행하고, 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다. 모션 추정 컴포넌트(221)는, PU의 위치를 레퍼런스 화상의 예측 블록의 위치와 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 컴포넌트(221)는 계산된 모션 벡터를 모션 데이터로서 인코딩을 위한 헤더 포매팅 및 CABAC 컴포넌트(231)에 출력하고, 모션을 모션 보상 컴포넌트(219)에 출력한다.
모션 보상 컴포넌트(219)에 의해 수행되는 모션 보상은, 모션 추정 컴포넌트(221)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치(fetch) 또는 생성하는 것을 포함할 수 있다. 다시, 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 일부 예들에서 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 컴포넌트(219)는, 모션 벡터가 레퍼런스 화상 리스트를 가리키는 예측 블록을 찾을 수 있다. 그 후, 코딩된 현재 비디오 블록의 픽셀 값으로부터 예측 블록의 픽셀 값들을 감산함으로써 픽셀 차이 값을 형성함으로써 잔차 비디오 블록이 형성된다. 일반적으로, 모션 추정 컴포넌트(221)는 루마 컴포넌트에 대한 모션 추정을 수행하고, 모션 보상 컴포넌트(219)는 크로마 컴포넌트 및 루마 컴포넌트 모두에 대한 루마 컴포넌트에 기초하여 계산된 모션 벡터를 사용한다. 예측 블록 및 잔차 블록은 스케일링 및 양자화 컴포넌트(213)를 변환하기 위해 전달된다.
파티션 분할된 비디오 신호(201)는 또한 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217)로 송신된다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 같이, 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217)는 고도로 통합될 수 있지만, 개념적 목적을 위해 개별적으로 도시된다. 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217)는, 상술한 바와 같이, 프레임 사이에서 모션 추정 컴포넌트(221)와 모션 보상 컴포넌트(219)에 의해 수행된 인터 예측에 대한 대안으로서, 현재 프레임의 블록들에 대한 현재 블록을 인트라 예측한다. 특히, 인트라 화상 추정 컴포넌트(215)는 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정한다. 일부 예에서, 인트라 화상 추정 컴포넌트(215)는 다중의 테스트된 인트라 예측 모드로부터 현재 블록을 인코딩하기 위해 적절한 인트라 예측 모드를 선택한다. 그 후, 선택된 인트라 예측 모드는, 인코딩을 위해 헤더 포매팅 및 CABAC 컴포넌트(231)로 전달된다.
예를 들어, 인트라 화상 추정 컴포넌트(215)는, 테스트된 다양한 인트라 예측 모드에 대한 레이트 왜곡 분석을 이용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중에서 가장 우수한 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택한다. 레이트-왜곡 분석은 일반적으로, 인코딩된 블록을 생성하기 위해 사용되는 비트 레이트(예를 들어 비트의 수)뿐만 아니라, 인코딩된 블록을 생성하기 위해 인코딩된 원래의 비 인코딩된 블록과 인코딩된 블록 사이의 왜곡(또는 오차)의 양을 결정한다. 인트라 화상 추정 컴포넌트(215)는 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산하여, 어느 인트라 예측 모드가 블록에 대한 최상의 레이트 왜곡 값을 나타내는지를 결정한다. 또한, 인트라 화상 추정 컴포넌트(215)는 레이트-왜곡 최적화(rate-distortion optimization, RDO)에 기초하여 깊이 모델링 모드(depth modeling mode, DMM)를 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수 있다.
인트라 화상 예측 컴포넌트(217)는, 인코더 상에 구현될 때 인트라 화상 추정 컴포넌트(215)에 의해 결정된, 선택된 인트라 예측 모드에 기초하여 예측 블록으로부터 잔차 블록을 생성하거나, 디코더 상에 구현될 때 비트 스트림으로부터 잔차 블록을 판독할 수 있다. 잔차 블록은 행렬로 표현된 예측 블록과 원래 블록 사이의 값의 차이를 포함한다. 이후 잔차 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 전달된다. 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217)는 루마 및 크로마 컴포넌트 모두에서 동작할 수 있다.
변환 스케일링 및 양자화 컴포넌트(213)는 잔차 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 컴포넌트(213)는 이산 코사인 변환(discrete cosine transform, DCT), 이산 사인 변환(discrete sine transform, DST) 또는 개념적으로 유사한 변환과 같은 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환(wavelet transform), 정수 변환, 서브 밴드 변환 또는 다른 유형의 변환도 사용될 수 있다. 변환은 잔차 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한, 예를 들어 주파수에 기초하여, 변환된 잔차 정보를 스케일링하도록 구성된다. 이러한 스케일링은 상이한 주파수 정보가 상이한 세분화도(granularity)로 양자화되도록 잔차 정보에 스케일 팩터를 적용하는 것을 포함하며, 이는 재구성된 비디오의 최종 시각 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 비트 레이트를 더 감소시키기 위해 변환 계수를 양자화하도록 구성된다. 양자화 프로세스는 일부 또는 모든 계수와 연관된 비트 깊이를 감소시킬 수 있다. 양자화 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 이후, 일부 예에서, 변환 스케일링 및 양자화 컴포넌트(213)는 양자화된 변환 계수를 포함하는 매트릭스의 스캔을 수행할 수 있다. 양자화된 변환 계수는 비트 스트림으로 인코딩 되도록 헤더 포매팅 및 CABAC 컴포넌트(231)에 전달된다.
스케일링 및 역 변환 컴포넌트(229)는 모션 스케일링 및 양자화 컴포넌트(213)의 역 동작을 적용하여 모션 추정을 지원한다. 스케일링 및 역 변환 컴포넌트(229)는 역 스케일링, 변환 및/또는 양자화를 적용하여, 예를 들어, 다른 현재 블록에 대한 예측 블록이 될 수 있는 레퍼런스 블록으로서 나중에 사용하기 위해, 픽셀 도메인에서 잔차 블록을 재구성한다. 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)는 나중 블록/프레임의 모션 추정에 사용하기 위해 잔차 블록을 대응하는 예측 블록에 다시 추가함으로써 레퍼런스 블록을 계산할 수 있다. 스케일링, 양자화 및 변환 중에 생성된 아티팩트를 완화하기 위해 재구성된 레퍼런스 블록에 필터가 적용된다. 이러한 아티팩트는, 그렇지 않으면 후속 블록이 예측될 때 부정확한 예측을 야기(하고 추가 아티팩트를 생성)할 수 있다.
필터 제어 분석 컴포넌트(227) 및 인 루프 필터 컴포넌트(225)는 필터를 잔여 블록 및/또는 재구성된 이미지 블록에 적용한다. 예를 들어, 스케일링 및 역 변환 컴포넌트(229)로부터의 변환된 잔차 블록은, 인트라 화상 예측 컴포넌트(217) 및/또는 모션 보상 컴포넌트(219)로부터의 대응하는 예측 블록과 결합되어 원래의 이미지 블록을 재구성할 수 있다. 이후 필터는 재구성된 이미지 블록에 적용될 수 있다. 일부 예에서, 필터는 대신에 잔차 블록에 적용될 수도 있다. 도 2의 다른 컴포넌트와 마찬가지로, 필터 제어 분석 컴포넌트(227) 및 인 루프 필터 컴포넌트(225)는 고도로 통합되고 함께 구현될 수 있지만, 개념적 목적을 위해 개별적으로 도시된다. 재구성된 레퍼런스 블록에 적용된 필터는 특정 공간 영역에 적용되며, 이러한 필터가 적용되는 방법을 조정하기 위한 다중 파라미터를 포함한다. 필터 제어 분석 컴포넌트(227)는 재구성된 레퍼런스 블록을 분석하여 그러한 필터가 적용되어야 하는 위치를 결정하고 대응하는 파라미터를 설정한다. 이러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포매팅 및 CABAC 컴포넌트(231)에 전달된다. 인 루프 필터 컴포넌트(225)는, 필터 제어 데이터에 기초하여 이러한 필터를 적용한다. 필터는 디블로킹 필터, 노이즈 억제 필터, SAO 필터 및 적응형 루프 필터를 포함할 수 있다. 이러한 필터는, 예에 따라 공간/픽셀 도메인에(예를 들어, 재구성된 픽셀 블록에 대해) 또는 주파수 도메인에 적용될 수 있다.
인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔차 블록 및/또는 예측 블록은, 위에서 논의된 바와 같이 모션 추정에서 나중에 사용하기 위해 디코딩된 화상 버퍼(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 화상 버퍼(223)는 재구성 및 필터링된 블록을 출력 비디오 신호의 일부로서 디스플레이를 향해 저장 및 전달한다. 디코딩된 화상 버퍼(223)는 예측 블록, 잔차 블록 및/또는 재구성된 이미지 블록을 저장할 수 있는 임의의 메모리 디바이스일 수 있다.
헤더 포매팅 및 CABAC 컴포넌트(231)는 코덱 시스템(200)의 다양한 컴포넌트로부터 데이터를 수신하고, 이러한 데이터를 디코더를 향한 전송을 위해 코딩된 비트 스트림으로 인코딩한다. 구체적으로, 헤더 포매팅 및 CABAC 컴포넌트(231)는, 일반적인 제어 데이터 및 필터 제어 데이터와 같은, 제어 데이터를 인코딩하기 위해 다양한 헤더를 생성한다. 또한, 양자화된 변환 계수 데이터 형태의 잔차 데이터뿐만 아니라 인트라 예측 및 모션 데이터를 포함하는 예측 데이터가 모두 비트 스트림으로 인코딩된다. 최종 비트 스트림은 원래의 파티션 분할된 비디오 신호(201)를 재구성하기 위해 디코더에 의해 원하는 모든 정보를 포함한다. 이러한 정보는 또한 인트라 예측 모드 인덱스 테이블(또한 코드 워드 매핑 테이블이라고도 함), 다양한 블록에 대한 인코딩 문맥의 정의, 가장 가능성 있는 인트라 예측 모드의 표시, 파티션 정보의 표시 등을 포함할 수 있다. 이러한 데이터는 엔트로피 코딩을 사용하여 인코딩될 수 있다. 예를 들어, 정보는 CAVLC(context adaptive variable length coding), CABAC, SBAC(syntax-based context-adaptive binary arithmetic coding), PIPE(probability interval partitioning entropy) 또는 다른 엔트로피 코딩 기술을 사용함으로써 인코딩될 수 있다. 엔트로피 코딩에 이어, 코딩된 비트 스트림은 다른 디바이스(예를 들어, 비디오 디코더)로 전송되거나 추후 전송 또는 검색을 위해 보관될 수 있다.
도 3은 인트라 예측을 구현할 수 있는 예시적인 비디오 인코더(300)를 도시 한 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능을 구현하고 및/또는 방법(100)의 단계(101, 103, 105, 107 및/또는 109)를 구현하기 위해 사용될 수 있다. 비디오 인코더(300)는 입력 비디오 신호를 파티션 분할하여, 파티션 분할된 비디오 신호(301)를 생성하며, 이는 파티션 분할된 비디오 신호(201)와 실질적으로 유사하다. 파티션 분할된 비디오 신호(301)는 이어서 인코더(300)의 컴포넌트에 의해 압축되고 비트 스트림으로 인코딩된다.
구체적으로, 파티션 분할된 비디오 신호(301)는 인터 예측을 위해 인트라 화상 예측 컴포넌트(317)에 전달된다. 인트라 화상 예측 컴포넌트(317)는 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217)와 실질적으로 유사할 수 있다. 파티션 분할된 비디오 신호(301)는 또한, 디코딩된 화상 버퍼(323)의 레퍼런스 블록에 기초하여 인터 예측을 위해 모션 보상 컴포넌트(321)에 전달된다. 모션 보상 컴포넌트(321)는 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 인트라 화상 예측 컴포넌트(317) 및 모션 보상 컴포넌트(321)로부터의 예측 블록 및 잔차 블록은, 잔차 블록의 변환 및 양자화를 위해 변환 및 양자화 컴포넌트(313)에 전달된다. 변환 및 양자화 컴포넌트(313)는 변환 스케일링 및 양자화 컴포넌트(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔차 블록 및 대응하는 예측 블록은 (연관된 제어 데이터와 함께) 비트 스트림으로 코딩하기 위해 엔트로피 코딩 구성 요소(331)로 전달된다. 엔트로피 코딩 컴포넌트(331)는 헤더 포매팅 및 CABAC 컴포넌트(231)와 실질적으로 유사할 수 있다.
변환 및 양자화된 잔차 블록 및/또는 대응하는 예측 블록은 또한, 모션 보상 컴포넌트(321)에 의해 사용하기 위해 레퍼런스 블록으로 재구성하기 위해 변환 및 양자화 컴포넌트(313)로부터 역 변환 및 양자화 컴포넌트(329)로 전달된다. 역 변환 및 양자화 컴포넌트(329)는 스케일링 및 역 변환 컴포넌트(229)와 실질적으로 유사할 수 있다. 인 루프 필터 컴포넌트(325)의 인 루프 필터는 또한, 예에 따라 잔차 블록 및/또는 재구성된 레퍼런스 블록에 적용된다. 인 루프 필터 컴포넌트(325)는 필터 제어 분석 컴포넌트(227) 및 인 루프 필터 컴포넌트(225)와 실질적으로 유사할 수 있다. 인 루프 필터 컴포넌트(325)는 노이즈 억제 필터, 디블로킹 필터, SAO 필터 및/또는 적응형 루프 필터와 같은 다중 필터를 포함할 수 있다. 이후 필터링된 블록은 모션 보상 컴포넌트(321)에 의해 레퍼런스 블록에서 사용하기 위해 디코딩된 화상 버퍼(323)에 저장된다. 디코딩된 화상 버퍼(323)는 디코딩된 화상 버퍼(223)와 실질적으로 유사할 수 있다.
후술하는 바와 같이, 인트라 화상 예측 컴포넌트(317)는, 이웃 블록과 연관된 대체 레퍼런스 라인을 갖는 인트라 예측 모드를 선택함으로써 인트라 예측을 수행할 수 있다. 시그널링 오버헤드를 감소시키기 위해, 인트라 화상 예측 컴포넌트(317)는 대체 레퍼런스 라인에 액세스하는 인트라 예측 모드의 서브 세트를 포함하는 인트라 예측 모드 서브 세트를 결정할 수 있다. 인트라 예측 모드 서브 세트에서 제외된 모드는 기본 레퍼런스 라인에 액세스할 수 있다. 인트라 화상 예측 컴포넌트(317)는, 더 나은 매칭을 획득하기 위해 대체 레퍼런스 라인을 갖는 인트라 예측 모드를 선택하거나, 더 낮은 시그널링 오버헤드를 지원하기 위해 기본 레퍼런스 라인을 갖는 인트라 예측 모드를 선택할 수 있는 옵션을 갖는다. 인트라 화상 예측 컴포넌트(317)는 또한, 후술되는 바와 같이 대체 레퍼런스 라인을 사용할 때 증가된 코딩 효율을 지원하기 위해 다양한 다른 메커니즘을 사용할 수도 있다.
도 4는 인트라 예측을 구현할 수 있는 예시적인 비디오 디코더(400)를 나타내는 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능을 구현하고 및/또는 방법(100)의 단계(111, 113, 115 및/또는 117)를 구현하기 위해 사용될 수 있다. 디코더(400)는, 예를 들어 인코더(300)로부터 비트 스트림을 수신하고, 최종 사용자에게 디스플레이하기 위해 비트 스트림에 기초하여 재구성된 출력 비디오 신호를 생성한다.
비트 스트림은 엔트로피 디코딩 컴포넌트(433)에 의해 수신된다. 엔트로피 디코딩 컴포넌트(433)는 엔트로피 인코딩 컴포넌트(331)의 역 기능을 수행한다. 엔트로피 디코딩 컴포넌트(433)는 CAVLC, CABAC, SBAC, PIPE 코딩 또는 다른 엔트로피 코딩 기술과 같은 엔트로피 디코딩 스킴을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 컴포넌트(433)는, 비트 스트림에서 코드 워드로 인코딩된 추가 데이터를 해석하기 위한 문맥을 제공하기 위해 헤더 정보를 사용할 수 있다. 디코딩된 정보는, 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 모션 데이터, 예측 데이터 및 잔차 블록으로부터의 양자화된 변환 계수와 같은 비디오 신호를 디코딩하기 위한 임의의 원하는 정보를 포함한다. 양자화된 변환 계수는 잔차 블록으로 재구성하기 위해 역 변환 및 양자화 컴포넌트(429)로 전달된다. 역 변환 및 양자화 컴포넌트(429)는 역 변환 및 양자화 컴포넌트(329)와 실질적으로 유사할 수 있다.
재구성된 잔차 블록 및/또는 예측 블록은, 인트라 예측 연산에 기초하여 이미지 블록으로 재구성하기 위해 인트라 화상 예측 컴포넌트(417)로 전달된다. 인트라 화상 예측 컴포넌트(417)는 인트라 화상 예측 컴포넌트(317)와 실질적으로 유사할 수 있지만 반대로 동작한다. 구체적으로, 인트라 화상 예측 컴포넌트(417)는 예측 모드를 사용하여 프레임에서 레퍼런스 블록을 찾고 결과에 잔차 블록을 적용하여 인트라 예측된 이미지 블록을 재구성한다. 재구성된 인트라 예측된 이미지 블록 및/또는 잔차 블록 및 대응하는 인터 예측 데이터는, 인-루프 필터 컴포넌트(425)를 통해 디코딩된 화상 버퍼 컴포넌트(423)로 전달되며, 이들은 각각 디코딩된 화상 버퍼 컴포넌트(323) 및 인-루프 필터 컴포넌트(325)와 실질적으로 유사할 수 있다. 인 루프 필터 컴포넌트(425)는 재구성된 이미지 블록, 잔차 블록 및/또는 예측 블록을 필터링하고, 이러한 정보는 디코딩된 화상 버퍼 컴포넌트(423)에 저장된다. 디코딩된 화상 버퍼 컴포넌트(423)로부터 재구성된 이미지 블록은 인터 예측을 위해 모션 보상 컴포넌트(421)에 전달된다. 모션 보상 컴포넌트(421)는 모션 보상 컴포넌트(321)와 실질적으로 유사할 수 있지만, 반대로 동작할 수 있다. 구체적으로, 모션 보상 컴포넌트(421)는 레퍼런스 블록으로부터의 모션 벡터를 이용하여 예측 블록을 생성하고 잔차 블록을 그 결과에 적용하여 이미지 블록을 재구성한다. 결과적인 재구성된 블록은 또한 인 루프 필터 컴포넌트(425)를 통해 디코딩된 화상 버퍼 컴포넌트(423)에도 전달될 수 있다. 디코딩된 화상 버퍼 컴포넌트(423)는 추가적으로 재구성된 이미지 블록을 계속 저장하며, 이는 파티션 정보를 통해 프레임으로 재구성될 수 있다. 이러한 프레임은 또한 순서대로 배치될 수 있다. 시퀀스는 재구성된 출력 비디오 신호로서 디스플레이를 향해 출력된다.
인트라 화상 예측 컴포넌트(317)와 마찬가지로, 인트라 화상 예측 컴포넌트(417)는 대체 레퍼런스 라인을 갖는 인트라 예측 모드에 기초하여 인트라 예측을 수행할 수 있다. 구체적으로, 인트라 화상 예측 컴포넌트(417)는 인트라 예측 모드 서브 세트에 할당된 모드를 인식한다. 예를 들어, 인트라 예측 모드 서브 세트는, 예에 따라, 결정된 MPM 리스트에 대응할 수 있고, 메모리에 미리 정의될 수 있고, 및/또는 이웃 블록의 인트라 예측 모드에 기초하여 결정될 수 있다. 따라서, 인트라 화상 예측 컴포넌트(417)는, 현재 블록에 대한 인트라 예측 모드가 인트라 예측 모드 서브 세트에 있을 때, 비트 스트림으로부터 레퍼런스 라인 인덱스를 획득할 수 있다. 그렇지 않으면, 인트라 화상 예측 컴포넌트(417)는 기본 레퍼런스 라인이 인코더에 의해 의도된 것으로 추론적으로 결정할 수 있다. 인트라 화상 예측 컴포넌트(417)는 또한, 후술되는 바와 같이 대체 레퍼런스 라인을 사용할 때 증가된 코딩 효율을 지원하기 위해 다양한 다른 메커니즘을 사용할 수 있다.
도 5는 비디오 코딩에 사용되는 예시적인 인트라 예측 모드(500)를 도시하는 개략도이다. 예를 들어, 인트라 예측 모드(500)는 방법(100)의 단계들(105 및 113), 코덱 시스템(200)의 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217), 인코더(300)의 인트라 화상 예측 컴포넌트(317), 및 디코더(400)의 인트라 화상 예측 컴포넌트(417)에 의해 사용될 수 있다. 구체적으로, 인트라 예측 모드(500)는, 이미지 블록을, 선택된 예측 모드 및 잔여 잔차 블록을 포함하는 예측 블록으로 압축하기 위해 사용될 수 있다.
위에서 살펴본 바와 같이, 인트라 예측은 현재 이미지 블록을 대응하는 샘플 또는 하나 이상의 이웃 블록의 샘플에 매칭시키는 것을 포함한다. 현재 이미지 블록은 선택된 예측 모드 인덱스 및 잔차 블록으로서 표현 될 수 있으며, 이는 현재 이미지 블록에 포함된 모든 루마/크로마 값을 나타내는 것보다 훨씬 작다. 이용 가능한 레퍼런스 프레임이 없거나, 인터 예측 코딩이 현재 블록 또는 프레임에 대해 사용되지 않는 경우, 인트라 예측이 사용될 수 있다. 인트라 예측을 위한 레퍼런스 샘플은, 동일한 프레임에서 이전에 코딩된(또는 재구성된) 이웃 블록으로부터 도출될 수 있다. H.264로도 알려진 AVC(Advanced Video Coding) 및 H.265/HEVC는 모두 인트라 예측을 위한 레퍼런스 샘플로서 인접 블록의 경계 샘플의 레퍼런스 라인을 사용한다. 상이한 텍스처 또는 구조적 특징을 커버하기 위해 많은 상이한 인트라 예측 모드가 사용된다. H.265/HEVC는 현재 블록을 하나 이상의 레퍼런스 샘플과 공간적으로 상관시키는 총 35개의 인트라 예측 모드(500)를 지원한다. 구체적으로, 인트라 예측 모드(500)는 모드 2 내지 34로 인덱싱되는 33개의 방향성 예측 모드, 모드 1로 인덱싱되는 DC 모드 및 모드 0으로 인덱싱되는 평면 모드를 포함한다.
인코딩 동안, 인코더는, 이웃 블록의 에지를 가로지르는 레퍼런스 라인에서, 대응하는 레퍼런스 샘플의 루마/크로마 값과 현재 블록의 루마/크로마 값을 매칭시킨다. 레퍼런스 라인 중 하나와 최상의 매칭이 발견되면, 인코더는 최상의 매칭 레퍼런스 라인을 가리키는 방향성 인트라 예측 모드(500) 중 하나를 선택한다. 설명의 명확성을 위해, 이하에서는 특정 방향성 인트라 예측 모드(500)를 참조하기 위해 두문자어(acronym)가 사용된다. DoeS는 좌측 하단으로부터 시계 방향으로 카운트할 때 시작 방향성 인트라 예측 모드를 나타낸다(예를 들어, HEVC의 모드 2). DirE는 좌측 하단으로부터 시계 방향으로 카운트할 때 종료 방향성 인트라 예측 모드를 나타낸다(예를 들어, HEVC의 모드 34). DirD는 좌측 하단으로부터 시계 방향으로 카운트 할 때 중간 방향성 인트라 코딩 모드를 나타낸다(예를 들어, HEVC의 모드 18). DirH는 수평 인트라 예측 모드를 나타낸다(예를 들어, HEVC의 모드 10). DirV는 수직 인트라 예측 모드를 나타낸다(예를 들어, HEVC의 모드 26).
위에서 논의된 바와 같이, DC 모드는 스무딩 기능으로서 작용하고, 현재 블록의 예측 값을 이웃 블록을 순회하는 레퍼런스 라인의 모든 레퍼런스 샘플의 평균 값으로 도출한다. 또한, 위에서 논의된 바와 같이, 평면 모드는, 레퍼런스 샘플의 레퍼런스 라인의 하단 및 좌측 상단 또는 좌측 상단 및 우측 상단에 있는 샘플들 사이의 부드러운 전환(예를 들어, 값의 일정한 기울기)을 나타내는 예측 값을 리턴한다.
DirH에서 DriV까지의 평면, DC 및 예측 모델에 대해, 레퍼런스 라인의 맨 위 로우 및 레퍼런스 라인의 좌측 칼럼에 있는 샘플이 레퍼런스 샘플로 사용된다. (DirS 및 DirH를 포함하는) DirS에서 DirH까지의 예측 방향을 갖는 예측 모드에 대해, 레퍼런스 라인의 좌측 칼럼에서 이전에 코딩되고 재구성된 이웃 블록의 레퍼런스 샘플이 레퍼런스 샘플로 사용된다. (DirV 및 DirE를 포함하는) DirV에서 DirE까지의 예측 방향을 갖는 예측 모드에 대해, 레퍼런스 라인의 맨 위 로우에서 이전에 코딩되고 재구성된 이웃 블록의 레퍼런스 샘플이 레퍼런스 샘플로 사용된다.
다수의 인트라 예측 모드(500)가 존재함에도 불구하고, 모든 인트라 예측 모드(500)가 비디오 코딩 동안 동일한 확률로 선택되는 것은 아니다. 또한, 이웃 블록에 의해 선택된 인트라 예측 모드(500)는 현재 블록에 대해 선택된 인트라 예측 모드(500)와 통계적으로 높은 상관 관계를 갖는다. 따라서, 일부 예에서 MPM 리스트가 사용될 수 있다. MPM 리스트는 선택될 가능성이 가장 높은 인트라 예측 모드(500)의 서브 세트를 포함하는 리스트이다. 현재 블록의 인트라 예측 모드가 MPM 리스트에 포함되는 경우, 선택된 모드는 MPM 리스트 인덱스에 의해 비트 스트림에서 시그널링될 수 있으며, 이는 모든 인트라 예측 모드(500)를 고유하게 식별하기 위해 사용되는 빈의 개수보다 적은 개수의 빈을 갖는 코드 워드를 사용할 수 있다.
MPM 리스트는 일부 이웃 디코딩된 블록의 인트라 예측 모드(500) 및 또한 일반적으로 높은 선택된 확률을 갖는 일부 디폴트(default) 인트라 예측 모드로 구성될 수 있다. 예를 들어, H.265/HEVC에서 길이가 3 인 MPM 리스트는, 현재 블록의 하나 위와 하나 왼쪽의, 2개의 이웃 블록의 인트라 예측 모드로 구성된다. 복제 모드의 경우, MPM 리스트는 디폴트로 평면 모드, DC 모드 또는 DirV 모드로 그 순서대로 할당된다. MPM 리스트가 더 긴 길이를 포함하는 경우, MPM 리스트는 또한, 추가적인 이웃 블록의 인트라 예측 모드(500) 및/또는 추가적인 디폴트 인트라 예측 모드(500)를 포함할 수 있다. MPM 리스트의 길이 및 구성 스킴은 미리 정의될 수 있다.
도 6은 비디오 코딩에서 블록(600)의 방향성 관계의 예를 도시하는 개략도이다. 예를 들어, 블록(600)은 인트라 예측 모드(500)를 선택할 때 사용될 수 있다. 따라서, 블록(600)은 방법(100)의 단계(105 및 113), 코덱 시스템(200)의 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217), 인코더(300)의 인트라 화상 예측 컴포넌트(317) 및/또는 디코더(400)의 인트라 화상 예측 컴포넌트(417)에 의해 사용될 수 있다. 비디오 코딩에서, 블록(600)은 비디오 컨텐츠에 기초하여 파티션 분할되므로, 다양한 형상 및 크기의 다수의 직사각형 및 정사각형을 포함할 수 있다. 블록(600)은 설명의 목적을 위해 사각형으로 도시되어 있고, 이에 따라 토론의 명확성을 지원하기 위해 실제 비디오 코딩 블록으로부터 단순화되어 있다.
블록(600)은 현재 블록(601) 및 이웃 블록(610)을 포함한다. 현재 블록(601)은 지정된 시간에 코딩되는 임의의 블록이다. 이웃 블록(610)은 현재 블록(601)의 좌측 에지 또는 상단 에지에 바로 인접한 임의의 블록이다. 비디오 코딩은 일반적으로 좌측 상단에서 우측 하단으로 진행된다. 따라서, 이웃 블록(610)은 현재 블록(601)의 코딩에 앞서 인코딩되고 재구성되었을 수 있다. 현재 블록(601)을 코딩 할 때, 인코더는 현재 블록(601)의 루마/크로마 값을 이웃 블록(610)의 에지를 순회하는 레퍼런스 라인의 레퍼런스 샘플(또는 샘플들)과 매칭시킨다. 그 다음, 매칭은 매칭된 샘플(또는 DC 또는 평면 모드가 선택된 경우의 샘플)을 가리키는, 인트라 예측 모드, 예를 들어 인트라 예측 모드(500)를 선택하기 위해 사용된다. 다음으로, 선택된 인트라 예측 모드는, 현재 블록(601)의 루마/크로마 값이, 선택된 인트라 예측 모드에 대응하는 레퍼런스 샘플과 실질적으로 유사하다는 것을 나타낸다. 모든 차이는 잔차 블록에서 유지될 수 있다. 이후, 선택된 인트라 예측 모드는 비트 스트림으로 인코딩된다. 디코더에서, 현재 블록(601)은, (잔차 블록으로부터의 임의의 잔차 정보와 함께) 선택된 인트라 예측 모드에 대응하는 이웃하는 블록(610)의 선택된 레퍼런스 라인의 레퍼런스 샘플의 루마/크로마 값을 사용함으로써 재구성될 수 있다.
도 7은 인트라 예측으로 블록을 코딩하기 위한 기본 레퍼런스 라인 스킴(700)의 예를 도시한 개략도이다. 기본 레퍼런스 라인 스킴(700)은 인트라 예측 모드(500)를 선택할 때 사용될 수 있다. 따라서, 기본 레퍼런스 라인 스킴(700)은, 방법(100)의 단계(105 및 113), 코덱 시스템(200)의 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217), 인코더(300)의 인트라 화상 예측 컴포넌트(317) 및/또는 디코더(400)의 인트라 화상 예측 컴포넌트(417)에 의해 사용될 수 있다.
기본 레퍼런스 라인 스킴(700)은 레퍼런스 샘플(712)의 기본 레퍼런스 라인(711)을 사용한다. 기본 레퍼런스 라인(711)은 현재 블록(701)에 대한 레퍼런스 샘플(712)로서 이웃하는 블록의 에지 샘플(예를 들어, 픽셀)을 포함한다. 본 명세서에서 사용된 것과 같이, 레퍼런스 샘플(712)은 픽셀 또는 그 하위부분의 크로마 또는 루마 값과 같은, 값으로 사용된다. 현재 블록(701)은 현재 블록(601)과 실질적으로 유사하다. 논의의 목적으로, 기본 레퍼런스 라인(711)은 현재 블록(701) 위의 레퍼런스 샘플(712)을 포함하는 레퍼런스 로우(713)를 포함한다. 기본 레퍼런스 라인(711)은 또한 현재 블록(701)의 좌측에 레퍼런스 샘플(712)을 포함하는 레퍼런스 칼럼(714)을 포함한다. 기본 레퍼런스 라인 스킴(700)에서, 기본 레퍼런스 라인(711)이 사용되며, 기본 레퍼런스 라인(711)은 현재 블록(701)에 바로 인접한 레퍼런스 라인이다. 따라서, 현재 블록(701)은, 인트라 예측 동안 기본 레퍼런스 라인(711)에 포함된 레퍼런스 샘플(712)과 가능한 한 가깝게 매칭된다.
도 8은 인트라 예측으로 블록을 코딩하기 위한 대체 레퍼런스 라인 스킴(800)의 예를 도시하는 개략도이다. 대체 레퍼런스 라인(800)은 인트라 예측 모드(500)를 선택할 때 사용될 수 있다. 따라서, 대체 레퍼런스 라인 스킴(800)은, 방법(100)의 단계(105 및 113), 코덱 시스템(200)의 인트라 화상 추정 컴포넌트(215) 및 인트라 화상 예측 컴포넌트(217), 인코더(300)의 인트라 화상 예측 컴포넌트(317) 및/또는 디코더(400)의 인트라 화상 예측 컴포넌트(417)에 의해 사용될 수 있다.
대체 레퍼런스 라인 스킴(800)은, 현재 블록(701)과 실질적으로 유사한 현재 블록(801)을 사용한다. 복수의 레퍼런스 라인(811)은 현재 블록(801)으로부터 연장된다. 레퍼런스 라인(811)은 레퍼런스 샘플(712)과 유사한 레퍼런스 샘플(812)을 포함한다. 레퍼런스 라인(811)은 기본 레퍼런스 라인(711)과 실질적으로 유사하지만, 현재 블록(801)으로부터 더 멀리 연장된다. 대체 레퍼런스 라인(811)을 사용하면 매칭 알고리즘이 더 많은 레퍼런스 샘플(812)에 액세스할 수 있다. 더 많은 레퍼런스 샘플의 존재는, 일부 경우에 현재 블록(801)에 대해 더 나은 매칭을 결과할 수 있고, 이는 결국 예측 모드가 선택된 후에 더 적은 잔차 샘플을 야기할 수 있다. 대체 레퍼런스 라인 스킴(800)은 다중 라인 인트라 예측(multiple lines intra prediction, MLIP)으로 지칭될 수 있고, JVET(Joint Video Experts Team) 문서 JVET-C0043, JVET-C0071, JVET-D0099, JVET-D0131 및 JVET-0149에서 상세히 논의되며, 그 내용은 참조에 의해 포함된다. 레퍼런스 라인(811)은 0에서 M까지 번호가 매겨질 수 있으며, 여기서 M은 임의의 미리 결정된 상수 값이다. 레퍼런스 라인(811)은 도시된 바와 같이 레퍼런스 로우(813) 및 레퍼런스 칼럼(814)을 포함할 수 있으며, 이들은 각각 레퍼런스 로우(713) 및 레퍼런스 칼럼(714)과 유사하다.
인코딩하는 동안, 인코더는 RDO에 기초하여 레퍼런스 라인(811)으로부터 최상의 매칭을 선택할 수 있다. 구체적으로, M+1 레퍼런스 라인은 가장 가까운 레퍼런스 라인(RefLine0)에서 가장 먼 레퍼런스 라인(RefLineM)까지 사용되며, 여기서 M은 0보다 크다. 인코더는 최고의 속도 왜곡 비용(rate distortion cost)으로 레퍼런스 라인을 선택한다. 선택된 레퍼런스 라인의 인덱스는 비트 스트림에서 디코더로 시그널링된다. 여기서 RefLine0은 원래의 레퍼런스 라인(예를 들어, 기본 레퍼런스 라인(711))으로 지칭될 수 있고, RefLine1~RefLineM은 추가적인 레퍼런스 라인 또는 대체 레퍼런스 라인으로 지칭될 수 있다. 인트라 예측 모드(500) 중 임의의 것에 의해 사용하기 위해, 추가 레퍼런스 라인이 선택될 수 있다. 추가 레퍼런스 라인은 또한, 일부 경우에 인트라 예측 모드(500)의 서브 세트에 의해 사용되도록 선택 될 수 있다(예를 들어, DirS-DirE는 추가 레퍼런스 라인을 사용할 수 있다).
레퍼런스 라인(812)이 선택되면, 레퍼런스 라인(811)의 선택된 레퍼런스 라인의 인덱스는 비트 스트림에서 디코더로 시그널링된다. 상이한 레퍼런스 라인을 사용함으로써, 보다 정확한 예측 신호가 도출될 수 있으며, 이는 일부 경우에 잔차 샘플을 줄임으로써 코딩 효율을 증가시킬 수 있다. 그러나, 대체 레퍼런스 라인(811)을 사용하면, 선택된 레퍼런스 라인이 디코더에 시그널링됨에 따라 시그널링 오버헤드가 증가한다. 사용된 레퍼런스 라인(811)의 수가 증가함에 따라, 선택된 레퍼런스 라인을 고유하게 식별하기 위해 시그널링 동안 더 많은 빈이 사용된다. 따라서, 대체 레퍼런스 라인(811)을 사용하면, 매칭 샘플이 현재 블록(801)에 바로 인접한 레퍼런스 라인에 있을 때 실제로 코딩 효율을 감소시킬 수 있다.
MLIP를 지원하는 압축 이점에도 불구하고, 더 높은 코딩 이득을 달성하기 위해 일부 영역을 개선할 수 있다. 예를 들어, 증가된 압축을 달성하기 위해 인트라 예측 모드 서브 세트가 사용될 수 있다. 구체적으로, 일부 인트라 예측 모드는 증가된 매칭 정확도를 지원하기 위해 대체 레퍼런스 라인(811)을 사용하도록 선택될 수 있다. 다른 인트라 예측 모드는, 기본 레퍼런스 라인(711)을 사용하고 대체 레퍼런스 라인(811)과 연관된 시그널링 오버헤드를 포기하도록 선택될 수 있다. 대체 레퍼런스 라인(811)을 이용하는 인트라 예측 모드는 인트라 예측 모드 서브 세트에 포함될 수 있다.
도 9는 인코더 또는 디코더에서 인트라 예측 모드의 비디오 코딩에 사용하기 위한 예시적인 인트라 예측 모드 서브 세트(930)를 도시한 개략도(900)이다. 대체 레퍼런스 라인 스킴(800) 및 기본 레퍼런스 라인 스킴(700)은 인트라 예측 모드 리스트(920) 및 인트라 예측 모드 서브 세트(930) 모두를 사용하도록 조합/수정될 수 있다. 인트라 예측 모드 리스트(920)는 인트라 예측 스킴에 사용될 수 있는 모든 인트라 예측 모드(923)(예를 들어, 인트라 예측 모드(500))를 포함한다. 이러한 인트라 예측 모드(923)는 대응하는 인트라 예측 모드 인덱스(921)에 의해 각각 인덱싱될 수 있다. 본 실시 예에서, 일부 인트라 예측 모드는 대체 레퍼런스 라인에 액세스할 수 있다. 대체 레퍼런스 라인에 액세스할 수 있는 인트라 예측 모드는, 대체 레퍼런스 라인 예측 모드(933)로서 인트라 예측 모드 서브 세트(930)에 저장된다. 인트라 예측 모드 서브 세트(930)에서의 대체 레퍼런스 라인 예측 모드(933)는 대체 인트라 예측 모드 인덱스(931)에 의해 인덱싱될 수 있다. 대체 인트라 예측 모드 인덱스(931)는. 인트라 예측 모드 서브 세트(930)에서 대체 레퍼런스 라인 예측 모드(933)를 나타내고 번호를 매기기 위해 사용되는 인덱스 값이다. 인트라 예측 모드 서브 세트(930)에 더 적은 인트라 예측 모드가 포함되므로, 대체 인트라 예측 모드 인덱스(931)는 인트라 예측 모드 인덱스(921)보다 적은 빈을 포함할 수 있다. 따라서, 인트라 예측 모드가 인트라 예측 모드 서브 세트(930)에 포함되는 경우, 인트라 예측 모드는 대체 레퍼런스 라인과 매칭될 수 있다. 인트라 예측 모드가 인트라 예측 모드 서브 세트(930)에 포함되지 않은 경우, 인트라 예측 모드는 기본 레퍼런스 라인과 매칭될 수 있다. 이러한 스킴은, 인트라 예측 모드 리스트(920)가 텍스처 및 구조적 특성을 상세하게 커버하기 위해 다수의 인트라 예측 모드(923)를 포함한다는 사실을 이용한다. 그러나 대체 레퍼런스 라인을 사용할 확률은 비교적 낮다. 따라서, 대체 레퍼런스 라인 경우에는 러프한(rough) 방향으로 충분하다. 그러므로, 인트라 예측 모드(923)는 아래에서 논의되는 바와 같은 스킴을 사용함으로써 인트라 예측 모드 서브 세트 (930)를 구성하기 위해 샘플링될 수 있다.
인트라 예측 모드 리스트(920) 및 인트라 예측 모드 서브 세트(930) 모두의 사용은 코딩 효율의 상당한 증가를 허용한다. 또한, 대체 레퍼런스 라인 예측 모드(933)로서 인트라 예측 모드가 포함되어야 하는 선택은 코딩 효율에 영향을 미친다. 예를 들어, 넓은 모드 범위는 대체 인트라 예측 모드 인덱스(931)를 나타 내기 위해 더 많은 비트를 사용하는 반면, 모드 범위가 더 적은 경우 더 적은 비트가 사용된다. 일 실시 예에서, 인트라 예측 모드 서브 세트(930)는 [DirS, DirE]에서 각각의 두 번째 인트라 예측 모드를 포함하며, 여기서 [A, B]는 정수 요소 x를 포함하는 세트를 나타내고, B>=x>= A이다. 구체적으로, 인트라 예측 모드 서브 세트(930)는 예측 모드 {DirS, DirS+2, DirS+4, DirS+6,......, DirE}와 연관 될 수 있으며, 여기서 {A, B, C, D}는 중괄호 사이에 나열된 모든 요소를 포함하는 세트를 나타낸다. 또한, 대체 인트라 예측 모드 인덱스(931) 모드 범위의, 선택된 인트라 예측 모드를 나타내기 위한 비트 수가 감소된다. 이러한 경우에, 대체 인트라 예측 모드 인덱스(931)는 인트라 예측 모드 인덱스(921)를 2로 나눔으로써 도출될 수 있다.
다른 실시 예에서, 인트라 예측 모드 서브 세트(930)는 MPM 리스트(935)의 인트라 예측 모드를 포함한다. 위에서 살펴본 바와 같이, MPM 리스트(935)는 선택 될 가능성이 가장 높은 인트라 예측 모드의 서브 세트를 포함한다. 이 경우, 인트라 예측 모드 서브 세트(930)는 현재 블록의 디코딩 및/또는 재구성된 이웃 블록의 인트라 예측 모드를 포함하도록 구성될 수 있다. 선택된 인트라 예측 모드가 MPM 리스트(935)에 포함되는지 여부를 나타내기 위해, 플래그가 비트 스트림에 사용될 수 있다. 선택된 인트라 예측 모드가 MPM 리스트(935)에 있을 때, MPM 리스트(935) 인덱스가 시그널링된다. 그렇지 않으면, 대체 인트라 예측 모드 인덱스(931)가 시그널링된다. 선택된 인트라 예측 모드가 기본 레퍼런스 라인 모드이고, MPM 리스트(935)에 포함되지 않은 경우, 인트라 예측 모드 인덱스(921)가 시그널링될 수 있다. 일부 예에서, 대체 인트라 예측 모드 인덱스(931) 및/또는 MPM 리스트(935) 인덱스가 고정 길이인 이진화(binarization) 메커니즘이 사용될 수 있다. 일부 예에서, 대체 인트라 예측 모드 인덱스(931) 및/또는 MPM 리스트(935) 인덱스는, CABAC(context-based adaptive binary arithmetic coding)을 통해 코딩된다. 다른 이진화 및/또는 엔트로피 코딩 메커니즘이 또한 사용될 수 있다. 사용된 이진화/엔트로피 코딩 메커니즘은 사전에 정의되어 있다. 인트라 예측 모드 서브 세트(930)의 모드 범위는, 인트라 예측 모드 리스트(920)보다 적은 인트라 예측 모드(예를 들어, 러프 모드)를 포함한다. 따라서, MPM리스트(935) 내의 인트라 예측 모드(예를 들어, 이웃 블록의 모드)가 인트라 예측 모드 서브 세트(930) 모드 범위에 포함되지 않는 경우, 인트라 예측 모드 인덱스(921)는, 예를 들어 1을 더하거나 빼서 가장 가까운 대체 인트라 예측 모드 인덱스(931) 값으로 반올림되어 (예를 들어, 2로) 나누어질 수 있다. 반올림 메커니즘은 미리 정의될 수 있다. 이웃 블록들의 상대 위치, 스캐닝 순서 및/또는 MPM 리스트(935)의 크기 또한 미리 정의될 수 있다.
구체적인 예로서, H.265에 따라 동작하는 인코더는 33의 크기를 갖는 [DirS, DirE]의 모드 범위를 이용할 수 있다. 각각의 제2 모드가 인트라 예측 모드 서브 세트(930)에서 사용될 때, 대체 인트라 예측 모드 인덱스(931)에 대한 모드 범위의 크기는 17이다. MPM 리스트(935)의 크기는 하나일 수 있고, 최상위 이웃의 디코딩된 블록의 인트라 예측 모드는 MPM 리스트(935)를 구성하기 위해 사용된다. 이웃 블록의 모드가 대체 인트라 예측 모드 인덱스(931)의 모드 범위(예를 들어 모드 3)에 있지 않으면, 이웃 블록의 모드는 모드 4(또는 2)로 반올림된다. 특정 실시 예로서, 선택된 인트라 예측 모드가 모드 16인 경우, 인트라 예측 모드 인덱스(921)에 따라, 그리고 선택된 모드가 MPM 리스트(935)에 없는 경우, 선택된 인트라 예측 모드는 8에 해당하는 대체 인트라 예측 모드 인덱스(931)를 가질 것이다(16/2 = 8). 고정 길이 이진화 방법이 사용될 때, 본 실시 예에서 선택된 인트라 예측 모드를 나타내기 위해 1000이 사용될 수 있다.
상기 실시 예들은 인트라 예측 모드 서브 세트(930)가 인트라 예측 모드(923)의 각각의 홀수(또는 각각의 짝수)를 포함한다고 가정한다. 그러나, 다른 메커니즘 또한, 전술한 메커니즘들을 사용하면서 인트라 예측 모드 서브 세트(930)를 채우기 위해 사용될 수 있다. 일 실시 예에서, 인트라 예측 모드 서브 세트(930)는 [DirS, DirE]의 각각의 N번째 인트라 예측 모드를 포함하며, 여기서 N은 0, 1, 2, 3, 4 등과 같은 정수이다. 본 실시 예는 또한 {DirS, DirS+ N, DirS+2N??..DirE}로서 설명될 수 있다. 다른 예로서, 인트라 예측 모드 서브 세트(930)는, 평면 및 DC 인트라 예측 모드뿐 아니라 [DirS, DirE]의 각각의 N번째 인트라 예측 모드를 포함할 수 있다.
다른 실시 예에서, 인트라 예측 모드(930)는, 높은 일반적 선택 확률을 갖는 인트라 예측 모드를 포함한다. 따라서, 인트라 예측 모드 시그널링 비용이 감소되고, 코딩 효율이 향상된다. 몇몇의 실시 예에서, 기본 방향을 갖는 인트라 예측 모드는 일반적으로 더 높은 일반적 확률로 선택된다(예를 들어 직접 수직, 수평 등). 따라서, 인트라 예측 모드 서브 세트(930)는 이러한 모드를 포함할 수 있다. 예를 들어, 인트라 예측 모드 서브 세트(930)는, DirS, DirE, DirD, DirV 및 DirH와 같은 기본 방향성 인트라 예측 모드를 포함 할 수 있다. 기본 모드에 대한 이웃 모드가 또한 일부 실시 예에 포함될 수도 있다. 구체적인 예로서, 인트라 예측 모드 DirS, DirE, DirD, DirV, DirH는, 플러스 또는 마이너스 N의 인덱스를 갖는 인접한 인트라 예측 모드와 함께 인트라 예측 모드 서브 세트(930)에 포함된다. 이것은 [DirS, DirS+N], [DirE-N, DirE], [DirD-N, DirD+N], [DirH-N, DirH+N], [DirV-N, DirV+N]으로 표현될 수 있다. 다른 실시 예에서, 인트라 예측 모드 서브 세트(930)는, 플러스 또는 마이너스 N의 인덱스를 갖는 인접한 인트라 예측 모드 및 DC 및 평면 모드뿐 아니라 인트라 예측 모드 DirS, DirE, DirD, DirV, DirH를 포함한다.
다른 실시 예에서, 인트라 예측 모드 서브 세트(930)는 적응적으로 구성되므로, 미리 정의된 인트라 예측 모드로 정의되지 않는다. 예를 들어, 인트라 예측 모드 서브 세트(930)는 현재 블록(예컨대 현재 블록(601))의 이웃의 디코딩된 블록(예컨대 이웃 블록(610))의 인트라 예측 모드를 포함할 수 있다. 이웃 블록들은 현재 블록의 왼쪽 및 위쪽에 위치할 수 있다. 추가적인 이웃 블록이 또한 사용될 수 있다. 인트라 예측 모드 서브 세트(930)의 크기 및 구성 스킴이 미리 정의되어 있다. 다른 실시 예에서, 인트라 예측 모드 서브 세트(930)는 이웃 블록의 인트라 예측 모드와, DC 및 평면 모드와 같이 미리 결정된 특정 디폴트 인트라 예측 모드를 포함한다. 다른 예에서, 인트라 예측 모드 서브 세트(930)는 MPM 리스트(935)의 인트라 예측 모드를 포함한다.
비트 스트림에서 레퍼런스 라인 인덱스를 수신하면, 디코더는, 레퍼런스 라인 인덱스가 기본 레퍼런스 라인을 가리킬 때, 인트라 예측 모드 리스트(920)가 관련되어 있다고 결정한다. 이러한 경우에, 디코더는 대응하는 인트라 예측 모드(923)를 결정하기 위해 다음의 인트라 예측 모드 인덱스(921)를 읽을 수 있다. 레퍼런스 라인 인덱스가 추가 레퍼런스 라인을 가리키는 경우, 인트라 모드 서브 세트(930)가 관련된다. 이러한 경우에, 디코더는, 대응하는 대안적인 레퍼런스 라인 예측 모드(933)를 결정하기 위해 다음의 대체 인트라 예측 모드 인덱스(931)를 읽을 수 있다. 몇몇의 실시 예에서, 표시된 대체 레퍼런스 라인 예측 모드(933)가 MPM 리스트(935)에 있을 때를 나타내기 위해 플래그가 사용될 수 있다. 이러한 경우에, 대체 레퍼런스 라인 예측 모드(933)는 MPM 리스트(935)에 의해 사용된 인덱스에 따라 시그널링될 수 있다.
위에서 언급한 바와 같이, 도(900)는 대체 레퍼런스 라인으로 또는 기본 레퍼런스 라인으로 인트라 예측 모드를 코딩 할 때 이용될 수 있다. 이러한 데이터를 코딩하기 위한 시그널링 스킴이 아래에서 논의된다. 구체적으로, 레퍼런스 라인 인덱스는, 대응하는 인트라 예측 모드에 대한 인덱스 후에 시그널링될 수 있다. 또한, 레퍼런스 라인 인덱스는 조건부로 시그널링될 수 있다. 예를 들어, 레퍼런스 라인 인덱스는, 인트라 예측 모드가 대체 레퍼런스 라인과 연관될 때 시그널링되거나, 인트라 예측 모드가 기본 레퍼런스 라인과 연관될 때 생략될 수 있다. 기본 레퍼런스 라인의 경우에 레퍼런스 라인 인덱스를 나타낼 필요가 없으므로, 이것은 인트라 예측 모드가 인트라 예측 모드 서브 세트(930)에 포함되지 않을 때마다 레퍼런스 라인 인덱스가 생략되도록 한다. 이러한 접근법은 시그널링 오버헤드를 줄임으로써 코딩 효율을 크게 향상시킨다. 아래에 설명된 조건부 시그널링 스킴은 이러한 개념에 대한 구현 예이다.
도 10은, 비디오 코딩 비트 스트림에서 대체 레퍼런스 라인에 대한 예시적인 조건부 시그널링 표현(1000)을 나타내는 개략도이다. 예를 들어, 조건부 시그널링 표현(1000)은, 인코더 또는 디코더에서 인트라 예측 모드(500)와 같은 인트라 예측 모드를 이용하는 비디오 코딩 동안, 인트라 예측 모드 서브 세트(930)가 대체 레퍼런스 라인 스킴(800)의 일부로서 이용될 때 비트 스트림에서 이용될 수 있다. 구체적으로, 코딩 디바이스가, 대체 레퍼런스 라인과 연관된 선택된 인트라 예측 모드를 포함하는 인트라 예측 데이터로 비트 스트림을 인코딩 또는 디코딩할 때, 조건부 시그널링 표현(1000)이 사용된다. 이와 다르게, 코딩 디바이스가, 기본 레퍼런스 라인과 연관된 선택된 인트라 예측 모드를 포함하는 인트라 예측 데이터로 비트 스트림을 인코딩 또는 디코딩할 때, 아래에서 설명되는 것과 같이, 조건부 시그널링 표현(1100)이 대신 사용된다.
조건부 시그널링 표현(1000)은 관련 파티션 정보를 포함하는 코딩 유닛(1041) 필드를 포함할 수 있다. 이러한 파티션 정보는, 디코더가 프레임을 생성하기 위해 디코딩된 이미지 블록을 채울 수 있도록 하기 위해 디코더에 대한 블록 경계를 나타낸다. 코딩 유닛(1041) 필드는 컨텍스트를 위해 포함되며, 조건부 시그널링 표현(1000)과 관련하여 논의되는 다른 필드들에 인접하여 위치하거나 위치하지 않을 수 있다. 조건부 시그널링 표현(1000)은 플래그(1042)를 더 포함한다. 플래그 (1042)는, 다음의 정보가 대체 레퍼런스 라인과 연관된 인트라 예측 모드에 대한 것임을 디코더에 지시한다. 예를 들어, 플래그(1042)는, 다음 정보가 대체 인트라 예측 모드 인덱스(931) 또는 MPM 리스트(935) 인덱스로 코딩되는지 여부를 나타낼 수 있다. 플래그(1042) 다음에, 예를 들어 대체 인트라 예측 모드 인덱스(931)를 코딩하기 위해, 인트라 예측 모드 서브 세트 인덱스(1043) 필드가 사용된다. 몇몇의 실시 예에서, 인트라 예측 모드 서브 세트 인덱스(1043) 필드는, 전술한 바와 같이 MPM 리스트(935) 인덱스를 보유하기 위해 MPM 리스트 인덱스 필드로 대체될 것이다. 어느 경우이든, 디코더는, 플래그(1042) 및 인덱스에 기초하여 관련 코딩 유닛(1041)에 대해 선택된 인트라 예측 모드를 해독할 수 있다. 인트라 예측 모드 서브 세트 인덱스(1043) 필드가, 선택된 인트라 예측 모드가 대체 레퍼런스 라인과 관련됨을 나타내었으므로, 레퍼런스 라인 인덱스(1044)는 또한 어떤 레퍼런스 라인이 매칭 샘플을 포함하는지를 디코더에 표시하기 위해 포함된다. 따라서, 인트라 예측 모드 서브 세트 인덱스(1043)는 이웃 블록에서 매칭 샘플의 방향을 제공하고, 레퍼런스 라인 인덱스(1044)는 매칭 샘플까지의 거리를 제공한다. 이러한 정보에 기초하여, 디코더는 매칭 샘플을 결정하고, 매칭 샘플을 이용하여 예측 블록을 생성하고, 비트 스트림 내의 다른 곳에 코딩된 잔차 블록과 예측 블록을 선택적으로 결합하여 픽셀 블록을 재구성할 수 있다.
도 11은, 비디오 코딩 비트 스트림에서 기본 레퍼런스 라인에 대한 예시적인 조건부 시그널링 표현(1100)을 나타내는 개략도이다. 예를 들어, 조건부 시그널링 표현(1100)은, 인코더 또는 디코더에서 인트라 예측 모드(500)와 같은 인트라 예측 모드를 이용하는 비디오 코딩 동안, 인트라 예측 모드 리스트(920)가 기본 레퍼런스 라인 스킴(700)의 일부로서 이용될 때 비트 스트림에서 이용될 수 있다. 조건부 시그널링 표현(1100)은, 코딩 유닛(1041) 필드와 유사한 방식으로 파티션 정보를 갖는 코딩 유닛(1141) 필드를 포함할 수 있다. 조건부 시그널링 표현(1100)은 또한 플래그(1042)와 실질적으로 유사한 플래그(1142)를 포함하지만, 이 경우에, 선택된 인트라 예측 모드가 인트라 예측 모드 서브 세트(930)와 연관되지 않음을 나타낸다. 플래그(1422)의 정보에 기초하여, 인트라 예측 모드 인덱스(1145)는, 인트라 예측 모드 인덱스(921)에 대한 모드 범위의 인덱스로서 해석될 수 있다. 또한, 선택된 인트라 예측 모드가 기본 레퍼런스 라인과 연관되어 있다고 판단되면, 레퍼런스 라인 인덱스는 생략된다.
따라서, 조건부 시그널링 표현(1000) 및 조건부 시그널링 표현(1100)은, 대체 레퍼런스 라인을 갖는 인트라 예측 모드 또는 기본 레퍼런스 라인을 갖는 인트라 예측 모드를 각각 시그널링하기 위해 이용될 수 있다. 이들 스킴은 전술한 임의의 예/실시 예와 함께 사용될 수 있다. 일 실시 예에서, [DirS, DirE]의 인트라 예측 모드는 대체 레퍼런스 라인을 이용할 수 있다. 이와 같은 경우에, 선택된 인트라 예측 모드가 [DirS, DirE]에 포함되지 않는 경우(예를 들어, DC 또는 평면 모드), 레퍼런스 라인 인덱스에 시그널링을 할 필요가 없다. 따라서, 레퍼런스 인덱스는 0과 동일한 것으로 추론되고, 여기서 0은 현재 블록에 바로 인접한 기본 레퍼런스 라인을 나타낸다. 이와 같은 경우에, 인트라 예측 모드 서브 세트(930)는, 이러한 경우에 모든 방향성 레퍼런스가 대체 레퍼런스 라인을 사용하기 때문에 인트라 예측 모드 서브 세트(930)는 이용되지 않을 수 있다. 요약하면, 인트라 예측 모드가 DC 또는 평면 모드가 아닐 때마다 이와 같은 예에서 레퍼런스 라인 인덱스가 시그널링된다. 또한, 이러한 경우에 인트라 예측 모드가 DC 또는 평면 모드일 때마다 레퍼런스 라인 인덱스가 시그널링되지 않는다. 다른 실시 예에서, 레퍼런스 라인 인덱스는, 인트라 예측 모드가 인트라 예측 모드 서브 세트(930)에 있을 때마다 시그널링된다. 따라서, 레퍼런스 라인 인덱스는, 인트라 예측 모드가 인트라 예측 모드 서브 세트(930)에 포함되지 않을 때마다 시그널링되지 않는다.
아래의 표 1은, 선택된 모드가 DC 또는 평면 모드일 때 레퍼런스 인덱스가 생략되는 경우를 설명하는 예시적인 구문 테이블이다.
Figure pat00001
표 1에 도시된 바와 같이, 인트라 예측 모드가 평면이 아니고 DC가 아닌 경우, 본 실시 예에서 현재 블록의 x 및 y 위치와 함께 레퍼런스 라인 인덱스가 시그널링된다.
아래의 표 2는, 레퍼런스 인덱스가, 현재 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함될 때 시그널링되고 아니면 생략되는 경우를 설명하는 예시적인 구문 테이블이다. 인트라 예측 모드 서브 세트는 도 9와 관련하여 설명된 임의의 메커니즘에 따라 결정될 수 있다.
Figure pat00002
표 2에 도시된 바와 같이, 인트라 예측 모드가 인트라 예측 서브 세트에 있으면, 레퍼런스 라인 인덱스가 시그널링된다.
MLIP 스킴에 대해 독립적으로 또는 상술한 예/실시 예와 함께 추가적인 수정이 이루어질 수도 있다. 예를 들어, 다수의 MLIP 스킴에서, DC 인트라 예측 모드는 기본 레퍼런스 라인으로 제한된다. 이러한 경우에, DC 인트라 예측 모드는 레퍼런스 라인의 모든 레퍼런스 샘플의 평균인 예측 값을 생성한다. 이것은 블록 사이에 스무딩 효과를 생성한다. 아래에서 설명되는 바와 같이, DC 인트라 예측 모드는 MLIP 스킴으로 확장되어, 복수의 레퍼런스 라인에서 모든 레퍼런스 샘플의 평균인 예측 값을 생성할 수 있다.
도 12는, 대체 레퍼런스 라인(1211)을 갖는 DC 모드 인트라 예측(1200)에 대한 예시적인 메커니즘을 나타낸 개략도이다. DC 모드 인트라 예측(1200)은, 예를 들어 인트라 예측 모드(500)에 따라 DC 인트라 예측을 수행할 때, 인코더(300) 또는 디코더(400)와 같은 인코더 또는 디코더에서 사용될 수 있다. DC 모드 인트라 예측(1200) 스킴은, 인트라 예측 모드 서브 세트(930), 조건부 시그널링 표현(1000 및 1100)과 함께 이용될 수 있거나, 이러한 예들과 독립적으로 이용될 수 있다.
DC 모드 인트라 예측(1200)은 0-M으로 표시되는 대체 레퍼런스 라인(1211)을 갖는 현재 블록을 사용한다. 따라서, 임의의 개수의 레퍼런스 라인(1211)이 사용될 수 있다. 이러한 레퍼런스 라인(1211)은, 레퍼런스 라인(811)과 실질적으로 유사하며, 레퍼런스 샘플(812)과 실질적으로 유사한 레퍼런스 샘플(1212)을 포함한다. 이후 DC 예측 값(1201)은, 복수의 레퍼런스 라인(1211)에서 레퍼런스 샘플(1212)의 평균으로 계산된다. 일 실시 예에서, DC 예측 값(1201)은, 인트라 예측 모드 선택 동안 어느 레퍼런스 라인(1211)이 선택되는 지에 관계없이 모든 레퍼런스 라인(1211) 0-M에서 모든 레퍼런스 샘플(1212)의 평균으로 계산된다. 이것은 현재 블록에 대해 매우 강력한 DC 예측 값(1201)을 제공한다. 예를 들어, 4개의 레퍼런스 라인(1211)이 존재하면, 0 내지 3으로 인덱싱된 레퍼런스 라인(1211)에서 모든 레퍼런스 샘플(1212)의 평균 값이 결정되고 현재 블록의 DC 예측 값(1201)으로 설정된다. 이와 같은 실시 예에서, 경우에 따라 비트 스트림에서 레퍼런스 라인 인덱스가 시그널링되지 않을 수 있다.
다른 실시 예에서, DC 예측 값(1201)은 선택된 레퍼런스 라인 및 대응하는 레퍼런스 라인에 기초하여 결정된다. 이것은 DC 예측 값(1201)이, 인덱스 0의 레퍼런스 라인 전부 또는 일부 대신에 2 개의 상관된 레퍼런스 라인(1211)에 기초하여 결정될 수 있도록 한다. 예를 들어, 4개의 레퍼런스 라인(1211)이 사용될 때, 레퍼런스 라인(1211)은 0 내지 4로 인덱싱될 수 있다. 이러한 경우에, 아래의 표 3은 레퍼런스 라인이 선택될 때 사용되는 대응하는 레퍼런스 라인(1211)의 예를 나타낸다.
Figure pat00003
도시된 바와 같이, 상관된 레퍼런스 라인(1211)은 DC 예측 값(1201)을 결정하기 위해 이용될 수 있다. 이러한 경우에, 디코더는 선택된 레퍼런스 라인 인덱스가 비트 스트림에서 시그널링 될 때 양 레퍼런스 라인(1211)을 결정할 수 있다.
다른 실시 예에서, DC 모드 인트라 예측(1200)은 항상 인덱스 0의 레퍼런스 라인(기본 레퍼런스 라인)을 이용할 수 있고, 그러한 선택이 DC 예측 값(1201)을 예측된 픽셀 블록의 값에 보다 정확하게 매칭시킬 때 추가적인 레퍼런스 라인(1211)을 선택할 수도 있다. 아래의 표 4는 이러한 예를 나타낸다. 이러한 경우에, 디코더는 선택된 레퍼런스 라인 인덱스가 비트 스트림에서 시그널링 될 때 양 레퍼런스 라인(1211)을 결정할 수 있다.
Figure pat00004
MLIP 스킴에 대해 독립적으로 또는 상술한 예/실시 예와 함께 추가적인 수정이 이루어질 수도 있다. 예를 들어, 다수의 MLIP 스킴에서, 레퍼런스 라인은 현재 블록으로부터의 레퍼런스 라인의 거리에 기초하여 인덱싱된다. 예를 들어, JVET-C0071에서, RefLine0, RefLine1, RefLine2 및 RefLine3를 각각 지시하기 위해 코드 워드 0, 10, 110 및 111이 이용된다. 선택되는 더 높은 통계적 확률을 이용하여 짧은 코드 워드를 레퍼런스 라인에 할당함으로써 이러한 접근법을 개선할 수 있다. 다수의 레퍼런스 라인이 비트 스트림에서 시그널링되므로, 본 메커니즘을 이용할 때 레퍼런스 라인 시그널링을 위한 평균 코드 워드 길이가 감소된다. 이것은 코딩 효율을 증가시킨다. 코드 워드를 갖는 대체 레퍼런스 라인 시그널링을 위한 예시적인 스킴이 아래에서 논의된다.
도 13은, 코드 워드를 갖는 대체 레퍼런스 라인을 코딩하기 위한 예시적인 메커니즘(1300)을 설명하기 위한 개략도이다. 메커니즘(1300)은, 예를 들어 인트라 예측 모드(500)에 따라, 인트라 예측을 수행할 때, 인코더(300) 또는 디코더(400)와 같은 인코더 또는 디코더에서 사용될 수 있다. 메커니즘(1300)은, 인트라 예측 모드 서브 세트(930), 조건부 시그널링 표현(1000 및 1100), DC 모드 인트라 예측(1200)과 함께 이용될 수 있거나, 이러한 예들과 독립적으로 이용될 수 있다.
메커니즘(1300)은 인트라 예측에 의해 코딩되는 현재 블록(1301) 및 레퍼런스 샘플을 포함하는 대응하는 레퍼런스 라인(1311)을 사용한다. 현재 블록(1301) 및 레퍼런스 라인(1311)은 각각 현재 블록(801) 및 레퍼런스 라인(811)과 실질적으로 유사할 수 있다. 현재 블록 (1301)은 레퍼런스 라인(1311)에서 하나 이상의 레퍼런스 샘플에 매칭된다. 상기 매칭에 기초하여, 매칭 레퍼런스 샘플을 나타내기 위해 인트라 예측 모드 및 레퍼런스 라인(1311)이 선택된다. 선택된 인트라 예측 모드는 전술한 바와 같이 비트 스트림으로 코딩된다. 또한, 선택된 레퍼런스 라인의 인덱스는, 레퍼런스 라인 코드 워드(1315)를 이용함으로써 비트 스트림에 코딩될 수 있다. 레퍼런스 라인 코드 워드(1315)는 레퍼런스 라인의 인덱스를 나타내는 이진 값이다. 또한, 레퍼런스 라인 코드 워드(1315)는 데이터를 추가로 압축하기 위해 선행하는 0 값을 생략한다. 따라서, 레퍼런스 라인(1311)은 경우에 따라 단일 이진 값으로 시그널링될 수 있다.
메커니즘(1300)에서, 레퍼런스 라인(1311) 인덱스에 대한 코드 워드(1315)의 길이는, 레퍼런스 라인(1311)부터 현재 블록(1301)까지의 거리와 관련되지 않을 수 있다. 대신에, 코드 워드(1315)는, 코드 워드(1315)의 길이 및, 대응하는 레퍼런스 라인(1311)이 현재 블록(1301)에 사용될 레퍼런스 라인(1311)으로서 선택될 확률에 기초하여 레퍼런스 라인(1311)에 할당된다. 몇몇의 경우에, 현재 블록(1301)으로부터 더 멀리 있는 레퍼런스 라인(1311)에는, 현재 블록(1301)에 바로 인접한 레퍼런스 라인(1311)보다 더 짧은 코드 워드가 주어질 수 있다. 예를 들어, 0, 10, 110 및 111의 코드 워드(1315)는 각각 RefLine0, RefLine3, RefLine1 및 RefLine2를 나타내기 위해 사용될 수 있다. 또한, 코드 워드(1315)의 처음 빈 또는 처음 두 개의 빈은 컨텍스트 코딩될 수 있는 반면, 마지막 빈(들)은 컨텍스트 없이 바이 패스(by-pass) 코딩 될 수 있다. 컨텍스트는 공간적(예를 들어, 위쪽 및 왼쪽) 이웃 블록으로부터 도출될 수 있다. 표 5는 4 개의 레퍼런스 라인(1311)이 사용될 때 코드 워드(1315)에 대한 예시적인 코딩 스킴을 도시한다.
Figure pat00005
표 5에 도시된 바와 같이, 레퍼런스 라인(1311)은 0에서 3까지로 인덱싱될 수 있다. 예시적인 MLIP 스킴에서, 이러한 인덱스는 현재 블록(1301)으로부터의 거리에 기초하여 코드 워드(1315)로 표현되며, 가장 가까운 레퍼런스 라인(1311)에 가장 작은 코드 워드가 할당되고, 가장 먼 레퍼런스 라인(1311)에 가장 큰 코드 워드(1315)가 할당된다. 예시적인 메커니즘 1 및 2에서, 가장 가능성 있는 레퍼런스 라인(1311)은 인덱스 0이며, 가장 짧은 코드 워드(1315)를 수신한다. 두 번째로 가장 가능성이 있는 레퍼런스 라인(1311)은 가장 먼 레퍼런스 라인(인덱스 3)이며, 두 번째로 가장 짧은 코드 워드(1315)를 수신한다. 나머지 코드 워드(1315)는, 예에 따라, 내림차순 또는 오름차순으로 인덱스 1 및 2에 할당된다.
다른 예에서, 인덱스 0의 레퍼런스 라인(1311)은 가장 가능성 있는 레퍼런스 라인(1311)으로 남아있을 수 있다. 또한, 두 번째로 가장 가능성 있는 레퍼런스 라인(1311)은 인덱스 2의 레퍼런스 라인(1311)일 수 있다. 결과적으로 표 6이 된다.
Figure pat00006
표 6에 도시된 바와 같이, 가장 가능성 있는 레퍼런스 라인(1311)은 인덱스 0이며, 가장 짧은 코드 워드(1315)를 수신한다. 두 번째로 가장 가능성이 높은 레퍼런스 라인(1311)은 두 번째로 가장 먼 레퍼런스 라인(인덱스 2)이며, 두 번째로 가장 짧은 코드 워드(1315)를 수신한다. 나머지 코드 워드(1315)는 예에 따라 내림차순 또는 오름차순으로 인덱스 1 및 3에 할당된다.
상기 예는 더 많은 수의 레퍼런스 라인 사용되는 경우로 확장될 수 있다. 예를 들어, 5 개의 레퍼런스 라인이 사용되는 경우, 표 7에 도시된 바와 같이 표 5의 예가 확장될 수 있다.
Figure pat00007
표 7에 도시된 바와 같이, 가장 가능성 있는 레퍼런스 라인(1311)은 인덱스 0이며, 가장 짧은 코드 워드(1315)를 수신한다. 두 번째로 가장 가능성이 높은 레퍼런스 라인(1311)은 인덱스 2와 연관된 레퍼런스 라인(1311)이며, 두 번째로 가장 짧은 코드 워드(1315)를 수신한다. 나머지 코드 워드(1315)는 예에 따라 내림차순 또는 오름차순으로 인덱스 1, 2, 4 및 5에 할당된다.
다른 실시 예에서, 레퍼런스 라인(1311) 인덱스는 클래스로 분류될 수 있고, 각 클래스에는 다르게 배열될 수 있는 상이한 코드 워드(1315) 그룹이 할당될 수 있다. 예를 들어, 클래스 A 그룹은 가장 짧은 코드 워드(1315)를 수신할 수 있고 클래스 B는 가장 긴 코드 워드(1315)를 수신할 수 있다. 클래스 A 코드 워드(1315) 및 클래스 B 코드 워드(1315)는 오름차순 또는 내림차순, 또는 이들의 임의의 조합으로 할당될 수 있다. 클래스 구성 스킴은 미리 정의될 수 있다. 이러한 스킴을 명확화 하기 위해 다음 예가 제공된다. 다음의 예는 아래 표 8에 도시된 바와 같이 0에서 5까지 인덱싱되는 6 개의 레퍼런스 라인(1311)을 사용한다. 레퍼런스 라인(1311)은 원하는 대로 어느 클래스에나 할당될 수 있다. 예를 들어, 1, 3 및 5로 인덱싱되는 레퍼런스 라인(1311)은 클래스 A에 할당될 수 있는 반면, 2 및 4로 인덱싱되는 레퍼런스 라인은 클래스 B에 할당될 수 있다. 0으로 인덱싱되는 레퍼런스 라인(1311)은 항상 가장 높은 확률 선택일 수 있으므로, 항상 가장 짧은 코드 워드(1315)를 가질 수 있다. 클래스 A에는, 인덱스 0에 대한 코드 워드(1315)가 아닌 가장 짧은 코드 워드(1315)가 할당될 수 있다. 클래스 B에는 가장 긴 코드 워드(1315)가 할당될 수 있다. 이러한 스킴의 결과는 표 8에 도시되어 있다.
Figure pat00008
표 8의 예 1에서, 클래스 A 및 클래스 B 코드 워드(1315)는 모두 독립적으로 증가(내림차순)한다. 표 8의 예 2에서, 클래스 A 코드 워드(1315)는 증가(내림차순)하고 클래스 B 코드 워드(1315)는 감소(오름차순)한다. 표 8의 예 3에서, 클래스 A 코드 워드(1315)는 감소(오름차순)하고 클래스 B 코드 워드(1315)는 증가(내림차순)한다. 표 8의 예 4에서, 클래스 A 및 클래스 B 코드 워드(1315)는 모두 독립적으로 감소(오름차순) 한다. 원하는 대로 코드 워드(1315)를 생성하기 위해, 이러한 스킴에서 임의의 수의 레퍼런스 라인 및 임의의 수의 클래스가 사용될 수 있다.
MLIP 스킴에 대해 독립적으로 또는 상술한 예/실시 예와 함께 추가적인 수정이 이루어질 수도 있다. 예를 들어, MLIP 스킴은 로우 및 칼럼이 모두 다른 대체 레퍼런스 라인을 사용한다. 다수의 MLIP 스킴에서, 동일한 수의 로우 및 칼럼이 사용된다. 그러나, MLIP 스킴이 하드웨어로 동작하는 경우, 전체 로우 세트는 코딩 동안 메모리, 예를 들어 중앙 처리 장치(CPU) 칩의 라인 버퍼에 저장된다. 한편, 칼럼은 캐시에 저장되어 원하는 대로 CPU 버퍼로 끌어올 수 있다. 따라서, 레퍼런스 라인 로우를 이용하는 것이 레퍼런스 라인 칼럼을 이용하는 것보다 시스템 자원 측면에서 계산적으로 더 비싸다. 라인 버퍼 메모리 사용량을 줄이는 것이 바람직할 수 있으므로, 아래의 MLIP 방식은 다른 수의 레퍼런스 로우 및 레퍼런스 칼럼을 사용한다. 구체적으로, 아래의 MLIP 스킴은 레퍼런스 칼럼보다 적은 레퍼런스 로우를 사용한다.
도 14는 상이한 개수의 로우 및 칼럼을 갖는 대체 레퍼런스 라인을 코딩하기 위한 예시적인 메커니즘(1400)을 도시하는 개략도이다. 메커니즘(1400)은, 예를 들어 인트라 예측 모드(500)에 따라 DC 인트라 예측을 수행할 때, 인코더(300) 또는 디코더(400)와 같은 인코더 또는 디코더에서 사용될 수 있다. 메커니즘(1400)은, 인트라 예측 모드 서브 세트(930), 조건부 시그널링 표현(1000 및 1100), DC 모드 인트라 예측(1200), 메커니즘(1300)과 함께 사용되거나, 또는 이러한 예들과 독립적으로 사용될 수 있다.
메커니즘(1400)은 0-M으로 표시되는 대체 레퍼런스 라인(1411)을 갖는 현재 블록(1401)을 사용한다. 따라서, 임의의 개수의 레퍼런스 라인(1411)이 사용될 수 있다. 이러한 레퍼런스 라인(1411)은, 레퍼런스 라인(811 및/또는 1211)과 실질적으로 유사하며, 레퍼런스 샘플(812 및/또는 1212)과 실질적으로 유사한 레퍼런스 샘플을 포함한다. 레퍼런스 라인(1411)은 현재 블록(1401) 위에 위치한 레퍼런스 샘플을 포함하는 레퍼런스 로우(1413)를 포함한다. 레퍼런스 라인(1411)은 또한 현재 블록(1401)의 왼쪽에 위치한 레퍼런스 샘플을 포함하는 레퍼런스 칼럼(1414)을 포함한다. 전술한 바와 같이, MLIP 스킴은 인트라 예측 동안 모든 레퍼런스 로우(1413)을 온칩 메모리에 저장하는데, 이는 자원 집약적이다. 따라서, 메모리 사용량을 줄이고 및/또는 코딩 효율과 메모리 사용량 사이의 특정한 트레이드 오프를 획득하기 위해, 레퍼런스 로우(1413)의 수는 레퍼런스 칼럼(1414)의 수보다 적을 수 있다. 도 14에 도시된 바와 같이, 레퍼런스 로우(1413)의 수는 레퍼런스 칼럼(1414)의 수의 절반일 수 있다. 예를 들어, 이는 처음 레퍼런스 로우(1413)와 마지막 레퍼런스 로우(1413) 사이의 레퍼런스 로우(1413)의 절반을 제거함으로써 달성될 수 있다(예를 들어, RefLine0 및 RefLine3는 유지하지만 RefLine1 및 RefLine2는 제거함). 다른 실시 예에서, 홀수 번째 로우(1413) 또는 짝수 번째 로우(1413)이 제거될 수 있다(예를 들어, RefLine0 및 RefLine2는 유지하지만, RefLine1 및 RefLine3는 제거하거나, 이와 반대로 함). 로우(1413)를 제거하기 위한 메커니즘(1400)은 미리 정의될 수 있다.
도 15는 상이한 개수의 로우 및 칼럼을 갖는 대체 레퍼런스 라인을 코딩하기 위한 다른 예시적인 메커니즘(1500)을 도시하는 개략도이다. 메커니즘(1500)은 예를 들어 인트라 예측 모드(500)에 따라 DC 인트라 예측을 수행할 때, 인코더 (300)또는 디코더(400)와 같은 인코더 또는 디코더에서 이용될 수 있다. 메커니즘(1500)은 인트라 예측 모드 서브 세트(930), 조건부 시그널링 표현(1000 및 1100), DC 모드 인트라 예측(1200), 메커니즘(1300)과 함께 이용될 수 있거나, 이러한 예들과 독립적으로 이용될 수 있다.
메커니즘(1500)은 메커니즘(1400)과 실질적으로 유사하지만, 상이한 개수의 레퍼런스 로우(1513)를 사용한다. 구체적으로, 메커니즘(1500)은 0-M으로 표시되는 대체 레퍼런스 라인(1511)을 갖는 현재 블록(1501)을 사용한다. 따라서, 임의의 개수의 레퍼런스 라인(1511)이 사용될 수 있다. 이러한 레퍼런스 라인(1511)은 레퍼런스 라인(811 및/또는 1211)과 실질적으로 유사하며, 레퍼런스 샘플(812 및/또는 1212)과 실질적으로 유사한 레퍼런스 샘플을 포함한다. 레퍼런스 라인(1511)은, 현재 블록(1501) 위에 위치한 레퍼런스 샘플을 포함하는 레퍼런스 로우(1513)를 포함한다. 레퍼런스 라인(1511)은 또한 현재 블록(1501)의 좌측에 위치한 레퍼런스 샘플을 포함하는 레퍼런스 칼럼(1514)을 포함한다.
이 경우, 레퍼런스 로우(1513)의 수는 레퍼런스 칼럼(1514)의 수 (1514)에서 K를 뺀 값에 해당하며, 여기서 K는 레퍼런스 칼럼(1514)의 수보다 작은 양의 정수이다. K는 SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 또는 비트 스트림의 슬라이스 헤더에서 미리 정의되거나 시그널링될 수 있다. 도시된 예에서, 레퍼런스 로우(1513)의 수는 레퍼런스 칼럼(1514)의 수에서 1을 뺀 것이다. 그러나 임의의 K 값이 사용될 수 있다. 레퍼런스 로우(1513)는 임의의 미리 정의된 메커니즘을 이용하여 제거된다. 도 15에서, 1로 인덱싱된 레퍼런스 라인(1511)과 연관된 레퍼런스 로우(1513)가 제거된다. 다른 예에서, 2, 3 등으로 인덱싱된 레퍼런스 라인(1511)과 연관된 레퍼런스 로우(1513)가 제거된다.
메커니즘(1400 및/또는 1500)을 사용할 때, 레퍼런스 로우의 레퍼런스 인덱스는 레퍼런스 칼럼의 레퍼런스 인덱스와 상이할 수 있다. 레퍼런스 로우 및 칼럼의 수가 위에서 논의된 것과 다른 경우, 레퍼런스 라인 인덱스를 나타내거나 도출하기 위한 몇 가지 메커니즘이 아래에 제시된다. 일 메커니즘에서, 레퍼런스 칼럼 인덱스와 왼쪽 로우 인덱스는 별도로 시그널링된다. 예를 들어, 일 구문 요소는 0과 NumTop 사이의 레퍼런스 로우 인덱스를 시그널링하기 위해 사용되며, 여기서 NumTop은 (0과 NumTop을 포함하는) 레퍼런스 로우의 수이다. 0과 NumLeft 사이의 레퍼런스 칼럼 인덱스를 시그널링하기 위해 다른 구문 요소가 사용되며, 여기서 NumLeft는 (0과 NumLeft를 포함하는) 레퍼런스 칼럼의 수이다.
다른 메커니즘에서, 일 구문 요소는 레퍼런스 로우 및 레퍼런스 칼럼 모두에 대한 레퍼런스 라인 인덱스를 시그널링하기 위해 사용된다. 대부분의 예에서, NumLeft는 NumTop보다 크다. 그러나 아래에 설명된 메커니즘은 NumTop이 NumLeft보다 큰 상황에도 적용된다. 일 메커니즘에서, NumLeft > NumTop 인 경우, 레퍼런스 칼럼의 인덱스는 상술한 메커니즘을 이용하여 시그널링된다. 이러한 경우에, 레퍼런스 라인 인덱스는 0과 NumLeft 사이(0과 NumLeft를 포함함)이다. 레퍼런스 로우로부터의 레퍼런스 라인 또는 레퍼런스 픽셀이 이용되고, 레퍼런스 라인 인덱스가 NumTop보다 큰 경우, NumTop의 인덱스와 연관된 레퍼런스 라인이 시그널링된다.
다른 메커니즘에서, NumLeft > NumTop 인 경우, 레퍼런스 로우의 인덱스는 상술한 메커니즘을 이용하여 시그널링된다. 이러한 경우에, 레퍼런스 라인 인덱스는 0과 NumTop 사이(0과 NumTop를 포함함)이다. 레퍼런스 로우로부터의 레퍼런스 라인 또는 레퍼런스 픽셀이 이용되는 경우, 시그널링된(또는 파싱된) 레퍼런스 라인 인덱스는 선택된 레퍼런스 라인을 나타낸다. NumLeft가 NumTop보다 크기 때문에, 인덱스 매핑 테이블은 레퍼런스 칼럼으로부터의 레퍼런스 샘플이 선택될 때 시그널링된 레퍼런스 라인 인덱스를 선택된 레퍼런스 칼럼에 매핑하기 위해 사용된다. 매핑 테이블 9-11의 예는 다음과 같다.
Figure pat00009
Figure pat00010
Figure pat00011
몇몇의 예에서, 상기 도시된 테이블 매핑들은 구현에 따른 계산으로 대체될 수 있다.
또한, 일부 인트라 예측 모드는 레퍼런스 칼럼을 레퍼런스 라인으로 사용하고, 다른 인트라 예측 모드는 레퍼런스 로우를 레퍼런스 라인으로 사용한다. 한편, 일부 인트라 예측 모드는 레퍼런스 로우와 레퍼런스 칼럼을 모두를 레퍼런스 라인으로 사용한다. 예를 들어, 인덱스 범위 정의는 인트라 예측 모드에 의존적일 수 있다. 이것은 위상 프로세스와 위상 결과가 인덱스 범위에 의해 결정되기 때문이다.
구체적인 예로서, 레퍼런스 칼럼을 사용하는 인트라 예측 모드(예를 들어, [DirS, DirH])는 인덱스 범위가 [0, NumLeft]이다. 레퍼런스 로우를 사용하는 인트라 예측 모드(예를 들어, [DirV, DirE])는 인덱스 범위가 [0, NumTop]이다. 레퍼런스 칼럼과 레퍼런스 로우를 모두 사용하는 인트라 예측 모드에는 두 가지 경우가 있다. 첫 번째 경우, 인덱스 범위는 [0, NumTop] 사이(Modi1로 표시)이다. 이 경우 NumLeft> NumTop이고 인덱스 범위는 [1, NumTop]이다. 따라서 NumLeft 레퍼런스 칼럼에서 여러 레퍼런스 칼럼이 선택되며, 여기서 선택한 레퍼런스 칼럼의 수는 Numtop 이하이다. 선택 메커니즘은 인코더 및 디코더에서 미리 정의된다. 두 번째 경우, 인덱스 범위는 [0, NumLeft] 사이(Modi2로 표시)이다. 이 경우, 매핑 메커니즘은, 예를 들어 시그널링된 레퍼런스 라인 인덱스에 기초하여, 레퍼런스 칼럼의 인덱스 및 인덱스 레퍼런스 행을 결정하기 위해 사용된다. 매핑 메커니즘은 미리 정의되어 있다. 예를 들어, 상기 표 9-11의 임의의 매핑 메커니즘이 이용될 수 있다.
다른 구체적인 예로서, 레퍼런스 라인의 수가 4인 경우, 온칩 메모리 사용량을 줄이기 위해 레퍼런스 라인(RefLine1 및 RefLine3)의 레퍼런스 로우가 제거될 수 있다. 이 경우에, 4 개의 레퍼런스 칼럼 및 2 개의 레퍼런스 로우가 사용된다. 인트라 예측 모드가 레퍼런스 칼럼 및 레퍼런스 로우를 모두 사용하는 경우, 선택된 레퍼런스 샘플(들)을 고유하게 시그널링하기 위해 인덱스 범위가 재정의된다. 이 경우 인트라 예측 모드 [DirS, DirH]의 인덱스 범위는 [0, 3]이다. 인트라 예측 모드 [DirV, DirE]에 대해 인덱스 범위는 [0, 1]이다.
레퍼런스 칼럼과 레퍼런스 로우를 모두 사용하는 인트라 예측 모드(예를 들어, 평면, DC 또는 (DirH, DirV)의 인트라 예측 모드))에 대해, 인덱스 범위는 [0,1](Modi1)이거나 인덱스 범위는 [0,3](Modi2)이다. 인덱스 범위가 [0,1](Modi1로 표시)인 경우, 2 개의 레퍼런스 칼럼이 사용된다(예를 들어, RefLine0 및 RefLine2의 왼쪽 부분이 사용된다). 이 경우, 레퍼런스 로우 및 레퍼런스 칼럼 모두의 수는 2이다. 나머지 2개의 레퍼런스 칼럼도 사용되도록 선택될 수 있다(예컨대 RefLine1 및 RefLine3). 선택 메커니즘은 미리 정의되어 있다. 인덱스 범위가 [0,3](Modi2로 표시)인 경우, 레퍼런스 칼럼의 수는 4이고, 레퍼런스 로우의 수는 2이며, 인덱스 범위는 [0, 3]이다. 그 다음 인덱스 매핑 메커니즘이 사용된다(예를 들어, [0,1]의 레퍼런스 칼럼 인덱스는 레퍼런스 로우 인덱스 0에 대응하고, [2,3]의 레퍼런스 칼럼 인덱스는 레퍼런스 로우 인덱스 1에 대응함). 다른 매핑 메커니즘이 또한 사용될 수 있다(예를 들어, [0,2]의 칼럼 인덱스는 로우 인덱스 0에 대응하고, 칼럼 인덱스 3은 로우 인덱스 1에 대응함). 그러나, 사용된 매핑 메커니즘은 미리 정의되어 있다.
레퍼런스 인덱스 코딩 메커니즘 및 레퍼런스 라인 구성 메커니즘은 코딩 효율을 개선하고 온칩 메모리 사용량을 줄이기 위해 결합될 수 있다. 아래는 이러한 메커니즘들의 조합 예이다. 이 경우, 가장 먼 레퍼런스 라인의 인덱스에는 가장 짧은 코드 워드가 할당되고 NumTop은 NumLeft의 절반이다. 또한, 레퍼런스 라인의 수는 4이고 표 8의 Ex 1이 사용된다. 인덱스 코딩 메커니즘에 관해서는, NumTop이 NumLeft보다 작을 때, Modi1이 사용되며, 여기서 RefLine0 및 RefLine3의 칼럼이 유지된다. 이는 아래 표 12에 도시된 바와 같은 레퍼런스 라인 시그널링 메커니즘을 결과한다.
Figure pat00012
이 예에서, 인트라 예측 모드가 [DirS, DirH] 사이인 경우, 인덱스 범위는 [0, 3]이며, 레퍼런스 라인 인덱스를 나타내는 메커니즘은 표 12에 나타나 있다. 레퍼런스 라인 인덱스에 따라 레퍼런스 칼럼을 레퍼런스 라인으로 선택할 수 있다. 또한, 인트라 예측 모드가 [DirV, DirE] 사이인 경우, 인덱스 범위는 [0, 1]이며, 레퍼런스 라인 인덱스를 나타내는 메커니즘은 표 12에 정의되어 있다. 레퍼런스 라인 인덱스에 따라 레퍼런스 칼럼을 레퍼런스 라인으로 선택할 수 있다. 이 경우 RefLine0 및 RefLine3은 고려되지만 RefLine1 및 RefLine2는 고려되지 않는다. 인트라 예측 모드가 [평면, DC]와 (DirH, DirV) 사이인 경우, 인덱스 범위는 [0, 1]이며, 레퍼런스 라인 인덱스를 나타내는 메커니즘은 표 12에 정의되어 있다. 레퍼런스 칼럼 및 레퍼런스 로우는 레퍼런스 라인 인덱스에 따라 레퍼런스 라인으로 선택된다. 이 경우 RefLine0 및 RefLine3은 고려되지만 RefLine1 및 RefLine2는 고려되지 않는다. 유사하게, 위에서 논의된 이진화 테이블은 또한 코딩 효율을 더 증가시키기 위해 적용될 수 있다.
도 16은 본 개시의 일 실시 예에 따른 비디오 코딩 디바이스(1600)를 설명하기 위한 개략도이다. 비디오 코딩 디바이스(1600)는 본 명세서에 설명된 바와 같이 개시된 실시 예들을 구현하기에 적합하다. 비디오 코딩 디바이스(1600)는 네트워크를 통해 데이터를 업스트림 및/또는 다운스트림으로 통신하기 위한 다운스트림 포트(1620), 업스트림 포트(1650) 및/또는 트랜시버 유닛(Tx/Rx)(1610)을 포함한다. 비디오 코딩 디바이스(1600)는 또한 데이터를 처리하기 위한 로직 유닛 및/또는 중앙 처리 유닛(CPU)을 포함하는 프로세서 (1630)와, 데이터를 저장하기 위한 메모리(1632)를 포함한다. 비디오 코딩 디바이스(1600)는 또한, 광 또는 무선 통신 네트워크를 통한 데이터의 통신을 위해 업스트림 포트(1650) 및/또는 다운스트림 포트(1620)에 연결된 무선 통신 컴포넌트, 광 전기(OE) 컴포넌트 및/또는 전기 광(EO) 컴포넌트를 포함할 수도 있다. 비디오 코딩 디바이스(1600)는 또한 사용자와 데이터를 통신하기 위한 입력 및/또는 출력(I/O) 디바이스(1660)를 포함할 수도 있다. I/O 디바이스(1660)는 비디오 데이터를 표시하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커 등과 같은 출력 디바이스를 포함할 수 있다. I/O 디바이스(1660)는 또한 키보드, 마우스, 트랙볼 등과 같은 입력 디바이스 및/또는 이러한 출력 디바이스와 상호 작용하기 위한 대응하는 인터페이스를 포함할 수 있다.
프로세서(1630)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(1630)는 하나 이상의 CPU 칩, 코어(예컨대 다중 코어 프로세서로서), FPGA(field-programmable gate array), ASIC(application specific integrated circuit), DSP(digital signal processor)로 구현될 수 있다. 프로세서(1630)는 다운스트림 포트(1620), Tx/Rx(1610), 업스트림 포트(1650) 및 메모리(1632)와 통신할 수 있다. 프로세서(1630)는 코딩 모듈(1614)를 포함한다. 코딩 모듈(1614)은 상술한 개시된 실시 예들, 예컨대 방법(1700, 1800, 1900) 및/또는 상술한 다른 메커니즘을 구현한다. 또한, 코디 모듈(1614)은 코덱 시스템(200), 인코더(300), 디코더(400)를 구현하고, 블록(600)을 갖는 인트라 예측 모드(500)를 이용하여 인트라 예측을 수행하고, 기본 레퍼런스 라인 스킴(700)을 이용하고, 대체 레퍼런스 라인 스킴(800)을 이용하고, 인트라 예측 모드 서브 세트(930)를 이용하고, 표현(1000 및/또는 1100)을 이용하고, DC 모드 인트라 예측(1200)을 이용하고, 메커니즘(1300, 1400 및/또는 1500)뿐 아니라 이들의 임의의 조합을 이용할 수 있다. 따라서 코딩 모듈(1614)의 포함은 비디오 코딩 디바이스(1600)의 기능성에 실질적인 개선을 제공하고, 비디오 코딩 디바이스(1600)의 다른 상태로의 변환에 영향을 미친다. 대안적으로, 코딩 모듈(1614)은 메모리(1622)에 저장되고 프로세서(1630)에 의해 실행되는 인스트럭션(예를 들어, 비 일시적 매체에 저장된 컴퓨터 프로그램 제품)으로서 구현될 수 있다.
메모리(1632)는 디스크, 테이프 드라이브, 솔리드 스테이트 드라이브, ROM(read only memory), RAM(random access memory), 플래시 메모리, TCAM(ternary content-addressable memory), SRAM(static random-access memory) 등과 같은 하나 이상의 메모리 타입을 포함한다. 메모리(1632)는 오버 플로우 데이터 저장 디바이스로서 사용될 수 있으며, 그러한 프로그램이 실행을 위해 선택된 경우 프로그램을 저장하고, 프로그램을 실행하는 동안 판독된 인스트럭션 및 데이터를 저장한다.
도 17은 대체 레퍼런스 라인을 갖는 인트라 예측 모드 서브 세트를 갖는 비디오 코딩의 예시적인 방법(1700)의 흐름도이다. 예를 들어, 방법(1700)은 디코더(400)로서 동작하도록 구성된 비디오 코딩 디바이스(1600)상에서 동작할 수 있다. 또한, 방법(1700)은 대체 레퍼런스 라인 스킴(800) 및 인트라 예측 모드 서브 세트(930)와 함께 인트라 예측 모드(500)를 사용할 수도 있다.
단계(1701)에서, 비트 스트림이 수신된다. 비트 스트림은 디코더에 의해 압축된, 압축된 비디오 데이터의 인코딩을 포함한다. 단계(1703)에서, 인트라 예측 모드 서브 세트(930)와 같은 인트라 예측 모드 서브 세트가 결정된다. 인트라 예측 모드 서브 세트는, 현재 이미지 블록에 대한 복수의 레퍼런스 라인과 상관 관계를 갖는 인트라 예측 모드를 포함하고, 현재 이미지 블록에 대한 기본 레퍼런스 라인과 상관 관계를 갖는 인트라 예측 모드를 제외한다. 인트라 예측 모드 서브 세트는 전술한 바와 같은 다양한 그룹의 인트라 예측 모드를 포함할 수 있다. 몇몇의 예에서, 인트라 예측 모드 서브 세트는 DirS, DirE 및 DirS와 DirE 사이의 모든 N번째 방향성 인트라 예측 모드를 포함하고, 여기서 N은 미리 결정된 정수 값에 해당한다. 다른 예에서, 인트라 예측 모드 서브 세트는, 평면 예측 모드 및 DC 예측 모드를 더 포함할 수 있다. 또 다른 예에서, 인트라 예측 모드 서브 세트는, DirS, DirE, DirD, DirH, DirV 및 DirS, DirE, DirD, DirH 및 DirV의 플러스 또는 마이너스 N의 방향성에서의 유효 방향성 인트라 예측 모드를 포함하고, 여기서 N은 미리 결정된 정수 값에 해당한다. 이러한 인트라 예측 모드 서브 세트는 평면 예측 모드 및 DC 예측 모드를 더 포함할 수 있다. 또 다른 예에서, 인트라 예측 모드 서브 세트는, 미리 결정된 현재 이미지 블록에 인접한 지점에 위치하는 디코딩된 이웃 블록에 대해 선택된 인트라 예측 모드를 포함한다. 또 다른 예에서, 인트라 예측 모드 서브 세트는, 블록에 대한 MPM 리스트와 연관된 모드를 포함한다. 또한, 인트라 예측 모드 서브 세트는 위에서 논의된 인트라 예측 모드의 임의의 다른 조합을 포함할 수도 있다.
선택적인 단계(1705)에서, 선택된 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되는 경우, 선택된 인트라 예측 모드는 인트라 예측 모드 서브 세트 인덱스에 의해 디코딩된다. 선택적인 단계(1707)에서, 선택된 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되지 않는 경우, 선택된 인트라 예측 모드는 인트라 예측 모드 인덱스에 의해 디코딩된다. 선택된 인트라 예측 모드는, 도 9와 관련하여 논의된 바와 같이, 일부 경우에 MPM 인덱스에 기초하여 디코딩될 수도 있다. 도 10 및 도 11과 관련하여 논의된 바와 같이, 인덱싱 스킴을 결정하기 위한 컨텍스트를 제공하기 위해 플래그가 사용될 수도 있다.
단계(1709)에서, 선택된 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되는 경우, 레퍼런스 라인 인덱스는 인코딩으로부터 디코딩된다. 레퍼런스 라인 인덱스는, 선택된 인트라 예측 모드에 대한 복수의 레퍼런스 라인으로부터 선택된 레퍼런스 라인을 표시한다. 상술한 바와 같이, 비트 스트림에서 불필요한 비트를 감소시키기 위해, 선택된 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되지 않는 경우, 레퍼런스 라인 인덱스는 디코딩되지 않는다. (도 10 및 도 11과 관련하여 설명한 바와 같이) 레퍼런스 라인 인덱스는, 비트 스트림에서 이러한 조건부 시그널링을 추가로 지원하기 위해 인코딩에서, 선택된 인트라 예측 모드 후에 코딩될 수도 있다.
단계(1711)에서, 비디오 데이터는 디스플레이를 통해 사용자에게 제시된다. 비디오 데이터는, 선택된 인트라 예측 모드 및 대응하는 레퍼런스 라인(들)에 기초하여 디코딩된 이미지 블록을 포함한다.
도 18은 대체 레퍼런스 라인을 갖는 DC 모드 인트라 예측을 이용한 비디오 코딩의 예시적인 방법(1800)의 흐름도이다. 예를 들어, 방법(1800)은 디코더(400)로서 동작하도록 구성된 비디오 코딩 디바이스(1600)상에서 동작할 수 있다. 또한, 방법(1800)은, DC 모드 인트라 예측(1200)에 따라, 대체 레퍼런스 라인 스킴(800) 및 인트라 예측 모드 서브 세트(930)와 함께 인트라 예측 모드(500)를 사용할 수도 있다.
단계(1801)에서, 비트 스트림은 메모리에 저장된다. 비트 스트림은 압축된 비디오 데이터를 포함한다. 압축된 비디오 데이터는 인트라 예측 스킴에 따라 예측 블록으로 코딩된 이미지 블록을 포함한다. 단계(1803)에서, DC 인트라 예측 모드에 의해 인코딩된 현재 예측 블록이 획득된다. 단계(1805)에서, 현재 예측 블록에 대해 DC 예측 값이 결정된다. DC 예측 값은, 현재 예측 블록과 연관된 복수의 레퍼런스 라인 중 적어도 2개의 모든 레퍼런스 샘플의 평균을 결정함으로써 현재 예측 블록에 대응하는 현재 이미지 블록을 근사한다. 따라서, 단계(1805)는 DC 예측 모드를 대체 레퍼런스 라인 컨텍스트로 확장한다. 몇몇의 예에서, DC 예측 값을 결정하는 것은, 현재 예측 블록에 대한 N개의 인접한 레퍼런스 라인에서 모든 레퍼런스 샘플들의 평균을 결정하는 것을 포함할 수 있으며, 여기서 N은 미리 결정된 정수이다. 몇몇의 예에서, DC 예측 값을 결정하는 것은, 선택된 레퍼런스 라인 및 대응하는(예를 들어, 미리 정의된) 레퍼런스에서 모든 레퍼런스 샘플의 평균을 결정하는 것을 포함한다. 또 다른 예에서, DC 예측 값을 결정하는 것은 인접한 레퍼런스 라인(예를 들어, 인덱스 0을 갖는 레퍼런스 라인) 및 비트 스트림에서 시그널링되는 선택된 레퍼런스 라인의 모든 레퍼런스 샘플의 평균을 결정하는 것을 포함한다. 또한, DC 예측 값은 위에서 도 12와 관련하여 논의된 바와 같은 스킴들의 임의의 조합을 이용함으로써 결정될 수 있다. 단계(1807)에서, 현재 이미지 블록은 DC 예측 값에 기초하여 재구성된다. 단계(1809)에서, 현재 이미지 블록을 포함하는 비디오 프레임이 사용자에게 디스플레이된다.
도 19는 선택 확률에 기초하여 코드 워드에 의해 코딩된 레퍼런스 라인을 갖는 비디오 코딩의 예시적인 방법(1900)의 흐름도이다. 예를 들어, 방법(1900)은 디코더(400)로서 동작하도록 구성된 비디오 코딩 디바이스(1600)상에서 동작할 수 있다. 또한, 방법(1900)은, 메커니즘(1300)을 이용하여, 대체 레퍼런스 라인 스킴(800) 및 인트라 예측 모드 서브 세트(930)와 함께 인트라 예측 모드(500)를 사용할 수도 있다. 또한, 도 14 및 도 15와 관련하여 논의된 바와 같이, 상이한 수의 레퍼런스 로우 및 레퍼런스 칼럼이 방법(1900)에 의해 사용될 수 있다.
단계(1901)에서, 인코딩을 포함하는 비트 스트림이 수신된다. 인코딩은 인코더에 의해 압축된 비디오 데이터를 포함한다. 단계(1903)에서, 인트라 예측 모드는 인코딩으로부터 디코딩된다. 인트라 예측 모드는 선택된 레퍼런스 라인에서 현재 블록과 레퍼런스 샘플 사이의 관계를 나타낸다. 또한, 현재 블록은, 선택된 레퍼런스 라인(예를 들어, 대체 레퍼런스 라인 스킴)을 포함하는 복수의 레퍼런스 라인과 연관된다. 단계(1905)에서, 선택된 레퍼런스 라인은, 선택된 레퍼런스 라인을 나타내는 선택된 코드 워드에 기초하여 디코딩된다. 선택된 코드 워드는, 도 13과 관련하여 설명된 바와 같은, 선택된 레퍼런스 라인의 선택 확률에 기초한 길이를 포함한다. 예를 들어, 복수의 레퍼런스 라인은 복수의 코드 워드에 의해 표시될 수 있다. 또한, 현재 블록으로부터 가장 먼 레퍼런스 라인은, 두 번째로 가장 짧은 길이를 갖는 코드 워드에 의해 표시될 수 있다. 다른 예에서, 현재 블록으로부터 두 번째로 먼 레퍼런스 라인은, 두 번째로 가장 짧은 길이를 갖는 코드 워드에 의해 표시될 수 있다. 다른 예에서, 인접한 레퍼런스 라인이 아닌 미리 정의된 레퍼런스 라인은 두 번째로 가장 짧은 코드 워드에 의해 표시될 수 있다. 또 다른 예에서, 복수의 코드 워드는 클래스 A 그룹 및 클래스 B 그룹으로 분류될 수 있다. 클래스 A 그룹은, 클래스 B 그룹의 코드 워드의 길이보다 더 짧은 길이를 갖는 코드 워드를 포함할 수 있다. 또한, 클래스 A 그룹 및 클래스 B 그룹은 서로 독립적으로 증가 및 감소할 수 있다. 다른 예에서, 레퍼런스 라인은, 도 14 및 도 15와 관련하여 설명된 바와 같이 상이한 수의 레퍼런스 로우 및 레퍼런스 칼럼을 포함할 수 있다. 예를 들어, 복수의 레퍼런스 라인은 레퍼런스 로우 및 레퍼런스 칼럼을 포함할 수 있다. 또한, 현재 블록에 대해 저장된 레퍼런스 로우의 개수는, 현재 블록에 대해 저장된 레퍼런스 칼럼의 개수의 절반일 수 있다. 다른 예에서, 현재 블록에 대해 저장된 레퍼런스 로우의 개수는, 현재 블록에 대해 저장된 레퍼런스 칼럼의 개수에서 1을 뺀 것과 동일할 수 있다. 다른 예에서, 현재 블록에 대해 저장된 레퍼런스 로우의 수는 디블로킹 필터 동작에 의해 사용되는 레퍼런스 로우의 수에 기초하여 선택될 수 있다. 단계(1907)에서, 비디오 데이터는 디스플레이를 통해 사용자에게 제시된다. 비디오 데이터는 인트라 예측 모드 및 선택된 레퍼런스 라인에 기초하여 디코딩된 이미지 블록을 포함한다. 따라서, 방법(1700, 1800, 및 1900)은, 인트라 예측을 통해 비디오를 코딩할 때 대체 레퍼런스 라인 스킴의 효과를 향상시키기 위해 단독으로 또는 임의의 조합으로 적용될 수 있다.
비디오 코딩 디바이스는: 비트 스트림을 수신하는 수신 수단; 인트라 예측 모드 서브 세트를 결정하고 - 여기서 인트라 예측 모드 서브 세트는, 현재 이미지 블록에 대한 복수의 레퍼런스 라인과 상관 관계를 갖는 인트라 예측 모드를 포함하고, 현재 이미지 블록에 대한 기본 레퍼런스 라인과 상관 관계를 갖는 인트라 예측 모드를 제외함 -; 제1 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되는 경우, 대체 인트라 예측 모드 인덱스에 의해 제1 인트라 예측 모드를 디코딩하고; 제1 인트라 예측 모드가 인트라 예측 모드 서브 세트에 포함되지 않는 경우, 인트라 예측 모드 인덱스에 의해 제1 인트라 예측 모드를 디코딩하는 프로세싱 수단; 및 제1 인트라 예측 모드에 기초하여 디코딩된 이미지 블록을 포함하는 비디오 데이터를 제시하는 디스플레이 수단을 포함한다.
방법은: 메모리 수단에, 예측 블록으로 코딩된 이미지 블록을 포함하는 비트 스트림을 저장하는 단계; 프로세싱 수단에 의해, 직류(Direct Current, DC) 인트라 예측 모드에 의해 인코딩된 현재 예측 블록을 획득하는 단계; 현재 예측 블록과 연관된 복수의 레퍼런스 라인 중 적어도 2 개의 모든 레퍼런스 샘플의 평균을 결정함으로써 현재 예측 블록에 대응하는 현재 이미지 블록을 근사하기 위한 DC 예측 값을 결정하는 단계; 프로세싱 수단에 의해, DC 예측 값에 기초하여 현재 이미지 블록을 재구성하는 단계; 및 디스플레이 수단 상에, 현재 이미지 블록을 포함하는 비디오 프레임을 디스플레이하는 단계를 포함한다.
비디오 코딩 디바이스는: 비트 스트림을 수신하는 수신 수단; 비트 스트림으로부터 인트라 예측 모드를 디코딩하고 - 여기서 인트라 예측 모드는 현재 블록과 선택된 레퍼런스 라인 사이의 관계를 나타내고, 복수의 레퍼런스 라인과 연관된 현재 블록은 선택된 레퍼런스 라인을 포함함 -, 선택된 레퍼런스 라인을 나타내는 선택된 코드 워드에 기초하여 선택된 레퍼런스 라인을 디코딩하고 - 여기서 선택된 코드 워드는 선택된 레퍼런스 라인의 선택 확률에 기초한 길이를 포함함 -; 및 인트라 예측 모드 및 선택된 레퍼런스 라인에 기초하여 디코딩된 이미지 블록을 포함하는 비디오 데이터를 제시하는 디스플레이 수단을 포함한다.
제1 구성 요소와 제2 구성 요소 사이의 라인, 트레이스 또는 다른 매체를 제외하고는 개재 구성 요소가 없을 때 제1 구성 요소가 제2 구성 요소에 직접 결합된다. 제1 구성 요소는, 제1 구성 요소와 제2 구성 요소 사이에 라인, 트레이스 또는 다른 매체 이외의 개재 구성 요소가 있을 때 제2 구성 요소에 간접적으로 결합된다. 용어 "결합된" 및 그 변형은 직접 결합된 것과 간접적으로 결합된 것을 모두 포함한다. 용어 "약"의 사용은 달리 언급되지 않는 한 후속 숫자의 ±10%를 포함하는 범위를 의미한다.
본 개시에서 여러 실시 예들이 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않으면서 다수의 다른 특정 형태로 구현될 수 있음을 이해할 수 있다. 본 실시 예는 예시적이고 비 제한적인 것으로 간주되어야 하며, 의도는 본 명세서에 제공된 상세 사항으로 제한되지 않아야 한다. 예를 들어, 다양한 요소 또는 구성 요소가 다른 시스템에 결합되거나 통합될 수 있거나 특정 특징이 생략되거나 구현되지 않을 수 있다.
또한, 다양한 실시 예에서 개별 또는 분리된 것으로 설명되고 예시된 기술, 시스템, 서브 시스템 및 방법은, 본 개시의 범위를 벗어나지 않고 다른 시스템, 구성 요소, 기술 또는 방법과 결합되거나 통합될 수 있다. 변경, 대체 및 대안의 다른 예는 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에 의해 확인될 수 있으며, 본 명세서에 개시된 사상 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims (17)

  1. 비디오 코딩 방법으로서,
    코딩 유닛을 위한 레퍼런스 라인 인덱스를 획득하는 단계 - 상기 코딩 유닛은 복수의 레퍼런스 라인과 연관되고, 상기 복수의 레퍼런스 라인은 기본 레퍼런스 라인과, 상기 기본 레퍼런스 라인보다 상기 코딩 유닛으로부터 더 멀리 위치하는 하나 이상의 추가적인 레퍼런스 라인을 포함함 - ;
    상기 레퍼런스 라인 인덱스가 상기 기본 레퍼런스 라인을 나타낼 때, 인트라 예측 모드 리스트에서 상기 코딩 유닛을 위한 제1 인트라 예측 모드를 결정하는 단계; 및
    상기 레퍼런스 라인 인덱스가 상기 추가적인 레퍼런스 라인 중의 하나를 나타낼 때, 상기 인트라 예측 모드 리스트의 서브세트에서만 상기 코딩 유닛을 위한 제2 인트라 예측 모드를 결정하는 단계 - 상기 인트라 예측 모드 리스트의 서브세트는 MPM(most probable mode) 리스트임 -
    를 포함하는 비디오 코딩 방법.
  2. 제1항에 있어서,
    상기 MPM 리스트 내의 후보 인트라 예측 모드는 상기 코딩 유닛의 인접한 코딩 유닛에 의해 사용되는 인트라 예측 모드를 포함하는, 비디오 코딩 방법.
  3. 제1항에 있어서,
    상기 제1 인트라 예측 모드 또는 상기 제2 인트라 예측 모드와 상기 복수의 레퍼런스 라인에 기초하여 블록 예측값을 획득함으로써 상기 코딩 유닛을 디코딩하는 단계
    를 더 포함하는 비디오 코딩 방법.
  4. 제1항에 있어서,
    상기 레퍼런스 라인 인덱스의 값은, 존재하지 않는 경우, 0과 동일한 것으로 추론되는, 비디오 코딩 방법.
  5. 제1항에 있어서,
    상기 인트라 예측 모드 리스트의 서브세트는 시작 방향성 인트라 예측 모드(DirS), 종료 방향성 인트라 예측 모드(DirE) 및 DirS와 DirE 사이의 모든 N번째 방향성 인트라 예측 모드를 포함하고, N은 미리 결정된 정수 값에 해당하는, 비디오 코딩 방법.
  6. 제5항에 있어서,
    상기 인트라 예측 모드 리스트의 서브세트는, 평면 예측 모드 및 직류(Direct Current, DC) 예측 모드를 포함하는, 비디오 코딩 방법.
  7. 제1항에 있어서,
    상기 인트라 예측 모드 리스트의 서브세트는, 시작 방향성 인트라 예측 모드(DirS), 종료 방향성 인트라 예측 모드(DirE), 중간 방향성 인트라 예측 모드(DirD), 수평 방향성 인트라 예측 모드(DirH), 수직 방향성 인트라 예측 모드(DirV) 및 DirS, DirE, DirD, DirH 및 DirV의 플러스 또는 마이너스 N의 방향성에서의 유효 방향성 인트라 예측 모드를 포함하고, N은 미리 결정된 정수 값에 해당하는, 비디오 코딩 방법.
  8. 제7항에 있어서,
    상기 인트라 예측 모드 리스트의 서브세트는, 평면 예측 모드 및 직류(Direct Current, DC) 예측 모드를 더 포함하는, 비디오 코딩 방법.
  9. 비디오 코딩 디바이스로서,
    수신기와 프로세서를 포함하고,
    상기 수신기는,
    비트스트림을 수신하도록 구성되고,
    상기 비트스트림은, 디코딩될 코딩 유닛을 포함하며, 상기 코딩 유닛은 복수의 레퍼런스 라인과 연관되고, 상기 복수의 레퍼런스 라인은 기본 레퍼런스 라인과, 상기 기본 레퍼런스 라인보다 상기 코딩 유닛으로부터 더 멀리 위치하는 하나 이상의 추가적인 레퍼런스 라인을 포함하고,
    상기 프로세서는 상기 수신기와 연결되어,
    상기 레퍼런스 라인 인덱스가 상기 기본 레퍼런스 라인을 나타낼 때, 인트라 예측 모드 리스트에서 상기 코딩 유닛을 위한 제1 인트라 예측 모드를 결정하고;
    상기 레퍼런스 라인 인덱스가 상기 추가적인 레퍼런스 라인 중의 하나를 나타낼 때, 상기 인트라 예측 모드 리스트의 서브세트에서만 상기 코딩 유닛을 위한 제2 인트라 예측 모드를 결정하도록 구성되며, 여기서 상기 인트라 예측 모드 리스트의 서브세트는 MPM(most probable mode) 리스트인, 비디오 코딩 디바이스.
  10. 제9항에 있어서,
    상기 MPM 리스트 내의 후보 인트라 예측 모드는 상기 코딩 유닛의 인접한 코딩 유닛에 의해 사용되는 인트라 예측 모드를 포함하는, 비디오 코딩 디바이스.
  11. 제9항에 있어서,
    상기 프로세서는 추가로, 제1 인트라 예측 모드 또는 상기 제2 인트라 예측 모드와 상기 복수의 레퍼런스 라인에 기초하여 블록 예측값을 획득함으로써 상기 코딩 유닛을 디코딩하도록 구성되는, 비디오 코딩 디바이스.
  12. 제9항에 있어서,
    상기 레퍼런스 라인 인덱스의 값은, 존재하지 않는 경우, 0과 동일한 것으로 추론되는, 비디오 코딩 디바이스.
  13. 제9항에 있어서,
    상기 인트라 예측 모드 리스트의 서브세트는 시작 방향성 인트라 예측 모드(DirS), 종료 방향성 인트라 예측 모드(DirE) 및 DirS와 DirE 사이의 모든 N번째 방향성 인트라 예측 모드를 포함하고, N은 미리 결정된 정수 값에 해당하는, 비디오 코딩 디바이스.
  14. 제13항에 있어서,
    상기 인트라 예측 모드 리스트의 서브세트는, 평면 예측 모드 및 직류(Direct Current, DC) 예측 모드를 포함하는, 비디오 코딩 디바이스.
  15. 제9항에 있어서,
    상기 인트라 예측 모드 리스트의 서브세트는, 시작 방향성 인트라 예측 모드(DirS), 종료 방향성 인트라 예측 모드(DirE), 중간 방향성 인트라 예측 모드(DirD), 수평 방향성 인트라 예측 모드(DirH), 수직 방향성 인트라 예측 모드(DirV) 및 DirS, DirE, DirD, DirH 및 DirV의 플러스 또는 마이너스 N의 방향성에서의 유효 방향성 인트라 예측 모드를 포함하고, N은 미리 결정된 정수 값에 해당하는, 비디오 코딩 디바이스.
  16. 제15항에 있어서,
    상기 인트라 예측 모드 리스트의 서브세트는, 평면 예측 모드 및 직류(Direct Current, DC) 예측 모드를 더 포함하는, 비디오 코딩 디바이스.
  17. 비디오 코딩 디바이스에 의한 사용을 위한 컴퓨터 프로그램 제품을 포함하는, 컴퓨터가 판독 가능한 비-일시적인 매체로서,
    상기 컴퓨터 프로그램 제품은 상기 컴퓨터가 판독 가능한 비-일시적인 매체에 저장된 컴퓨터가 실행 가능한 명령을 포함하여, 프로세서에 의해 실행될 때 상기 비디오 코딩 디바이스로 하여금:
    비트스트림을 수신하고 - 상기 비트스트림은, 디코딩될 코딩 유닛을 포함하며, 상기 코딩 유닛은 복수의 레퍼런스 라인과 연관되고, 상기 복수의 레퍼런스 라인은 기본 레퍼런스 라인과, 상기 기본 레퍼런스 라인보다 상기 코딩 유닛으로부터 더 멀리 위치하는 하나 이상의 추가적인 레퍼런스 라인을 포함함 - ,
    상기 레퍼런스 라인 인덱스가 상기 기본 레퍼런스 라인을 나타낼 때, 인트라 예측 모드 리스트에서 상기 코딩 유닛을 위한 제1 인트라 예측 모드를 결정하며,
    상기 레퍼런스 라인 인덱스가 상기 추가적인 레퍼런스 라인 중의 하나를 나타낼 때, 상기 인트라 예측 모드 리스트의 서브세트에서만 상기 코딩 유닛을 위한 제2 인트라 예측 모드를 결정하도록 하는 - 여기서 상기 인트라 예측 모드 리스트의 서브세트는 MPM(most probable mode) 리스트임 - , 컴퓨터가 판독 가능한 비-일시적인 매체.
KR1020217037047A 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측 KR102458641B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227036516A KR102645509B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762503884P 2017-05-09 2017-05-09
US62/503,884 2017-05-09
US201762511757P 2017-05-26 2017-05-26
US62/511,757 2017-05-26
US15/972,870 US10742975B2 (en) 2017-05-09 2018-05-07 Intra-prediction with multiple reference lines
US15/972,870 2018-05-07
KR1020197026287A KR102424188B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측
PCT/CN2018/086136 WO2018205950A1 (en) 2017-05-09 2018-05-09 Intra-prediction with multiple reference lines

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197026287A Division KR102424188B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227036516A Division KR102645509B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측

Publications (2)

Publication Number Publication Date
KR20210141772A true KR20210141772A (ko) 2021-11-23
KR102458641B1 KR102458641B1 (ko) 2022-10-24

Family

ID=64098024

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020227036516A KR102645509B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측
KR1020217037047A KR102458641B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측
KR1020197026287A KR102424188B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측
KR1020247007415A KR20240033192A (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227036516A KR102645509B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020197026287A KR102424188B1 (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측
KR1020247007415A KR20240033192A (ko) 2017-05-09 2018-05-09 다중 레퍼런스 라인을 이용한 인트라 예측

Country Status (6)

Country Link
US (4) US10742975B2 (ko)
EP (1) EP3568979B1 (ko)
JP (3) JP6907328B2 (ko)
KR (4) KR102645509B1 (ko)
CN (4) CN113852812B (ko)
WO (1) WO2018205950A1 (ko)

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742975B2 (en) 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
WO2018216862A1 (ko) * 2017-05-24 2018-11-29 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
JP7304343B2 (ja) * 2017-07-06 2023-07-06 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化方法及びその装置、ビデオ復号方法及びその装置
CN117440151A (zh) * 2017-07-06 2024-01-23 Lx 半导体科技有限公司 图像解码方法、图像编码方法、发送方法和数字存储介质
US10432929B2 (en) * 2018-02-12 2019-10-01 Tencent America LLC Method and apparatus for multiple line intra prediction in video compression
KR102448401B1 (ko) * 2018-03-16 2022-09-28 엘지전자 주식회사 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
KR20190110041A (ko) * 2018-03-19 2019-09-27 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3777169B1 (en) * 2018-03-28 2023-05-03 Fg Innovation Company Limited Device and method for decoding video data in multiple reference line prediction
KR102657933B1 (ko) * 2018-03-30 2024-04-22 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
KR102344190B1 (ko) * 2018-05-12 2021-12-28 주식회사 윌러스표준기술연구소 참조 샘플을 이용하는 비디오 신호 처리 방법 및 장치
US11792426B2 (en) * 2018-06-18 2023-10-17 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image using a prediction value based on reference pixels
CA3102546A1 (en) 2018-06-27 2020-01-02 Kt Corporation Method and apparatus for processing video signal
US11159806B2 (en) * 2018-06-28 2021-10-26 Qualcomm Incorporated Position dependent intra prediction combination with multiple reference lines for intra prediction
WO2020003261A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection from multiple luts
CN117812254A (zh) 2018-06-29 2024-04-02 弗劳恩霍夫应用研究促进协会 扩展参考图像内预测
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
CN115134599A (zh) 2018-06-29 2022-09-30 抖音视界有限公司 更新查找表（lut）的条件
WO2020003270A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
US10491893B1 (en) 2018-08-29 2019-11-26 Tencent America LLC Method and apparatus for multi-line intra prediction
HUE066408T2 (hu) * 2018-09-03 2024-07-28 Huawei Tech Co Ltd Eljárás és berendezés az intra predikcióra
WO2020050704A1 (ko) * 2018-09-07 2020-03-12 김기백 영상 부호화/복호화 방법 및 장치
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
US11095885B2 (en) 2018-10-05 2021-08-17 Tencent America LLC Mode list generation for multi-line intra prediction
WO2020092535A1 (en) * 2018-10-31 2020-05-07 Interdigital Vc Holdings, Inc. Multi-reference line intra prediction and most probable mode
WO2020091213A1 (ko) * 2018-11-04 2020-05-07 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US11178396B2 (en) * 2018-11-14 2021-11-16 Tencent America LLC Constrained intra prediction and unified most probable mode list generation
CN113056920B (zh) 2018-11-22 2024-05-24 北京字节跳动网络技术有限公司 基于子块的帧间预测的协调方法
CN113316931B (zh) 2018-11-22 2024-04-12 北京字节跳动网络技术有限公司 视频处理中的脉冲编解码调制技术
US11729376B2 (en) * 2018-11-27 2023-08-15 Apple Inc. Method for encoding/decoding video signal and apparatus therefor
US11012711B2 (en) * 2018-11-29 2021-05-18 Tencent America LLC Adaptive most probable modes for multiple reference line intra prediction
US11032551B2 (en) 2018-12-04 2021-06-08 Tencent America LLC Simplified most probable mode list generation scheme
CN111294590A (zh) * 2018-12-06 2020-06-16 华为技术有限公司 用于多假设编码的加权预测方法及装置
CN116647678A (zh) * 2018-12-29 2023-08-25 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置
CN112970257A (zh) 2019-01-02 2021-06-15 Oppo广东移动通信有限公司 解码预测方法、装置及计算机存储介质
KR20210092829A (ko) 2019-01-09 2021-07-26 엘지전자 주식회사 Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
WO2020145735A1 (ko) * 2019-01-10 2020-07-16 엘지전자 주식회사 Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
US11172197B2 (en) * 2019-01-13 2021-11-09 Tencent America LLC Most probable mode list generation scheme
CN117201773A (zh) * 2019-01-13 2023-12-08 Lg 电子株式会社 用于执行基于mrl的帧内预测的图像编译方法和装置
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
US11019359B2 (en) * 2019-01-15 2021-05-25 Tencent America LLC Chroma deblock filters for intra picture block compensation
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
KR20210114386A (ko) 2019-02-08 2021-09-23 주식회사 윌러스표준기술연구소 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
JP7515266B2 (ja) 2019-02-15 2024-07-12 日本放送協会 イントラ予測装置、画像復号装置、及びプログラム
US12047556B2 (en) 2019-02-20 2024-07-23 Lg Electronics Inc. MPM list-based intra prediction method and device
WO2020171660A1 (ko) * 2019-02-21 2020-08-27 엘지전자 주식회사 인트라 예측을 위한 비디오 신호의 처리 방법 및 장치
US11902572B2 (en) * 2019-02-26 2024-02-13 Lg Electronics Inc. Intra prediction-based image coding method and apparatus using unified MPM list
CN118694973A (zh) * 2019-02-28 2024-09-24 数码士有限公司 基于帧内预测的视频信号处理方法和装置
WO2020180133A1 (ko) * 2019-03-06 2020-09-10 엘지전자 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP7244646B2 (ja) * 2019-03-12 2023-03-22 テンセント・アメリカ・エルエルシー ビデオ符号化又は復号の方法及び装置並びにコンピュータプログラム
WO2020182167A1 (en) 2019-03-12 2020-09-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image coding
CN110166772B (zh) * 2019-03-12 2021-04-27 浙江大华技术股份有限公司 帧内预测模式的编解码方法、装置、设备和可读存储介质
US11405638B2 (en) * 2019-03-17 2022-08-02 Tencent America LLC Method and apparatus for video coding by determining intra prediction direction based on coded information of neighboring blocks
US11496748B2 (en) * 2019-03-21 2022-11-08 Tencent America LLC Method and apparatus for improved planar and DC modes for non-zero reference lines
US11025909B2 (en) * 2019-03-21 2021-06-01 Tencent America LLC Method and apparatus for video coding
CA3138231A1 (en) * 2019-03-21 2020-09-24 Huawei Technologies Co., Ltd. Method and apparatus for intra-prediction
MX2021011384A (es) * 2019-03-22 2021-11-04 Lg Electronics Inc Metodo y dispositivo de decodificacion de imagenes y metodo y dispositivo de codificacion de imagenes en sistema de codificacion de imagenes.
WO2020197152A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 모드 후보 리스트를 사용하는 영상 디코딩 방법 및 그 장치
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
WO2020197031A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서 다중 참조 라인 기반의 인트라 예측 방법 및 장치
EP4319159A3 (en) * 2019-03-23 2024-04-03 LG Electronics Inc. Method for coding image on basis of intra prediction using mpm list and apparatus therefor
US11057619B2 (en) 2019-03-23 2021-07-06 Lg Electronics Inc. Image coding method and apparatus based on intra prediction using MPM list
WO2020197444A1 (en) * 2019-03-24 2020-10-01 Huawei Technologies Co., Ltd. Method and apparatus of quantizing coefficients for matrix-based intra prediction technique
WO2020197202A1 (ko) * 2019-03-26 2020-10-01 엘지전자 주식회사 Mpm 리스트에 기반한 인트라 예측 방법 및 그 장치
EP3723368A1 (en) * 2019-04-12 2020-10-14 InterDigital VC Holdings, Inc. Wide angle intra prediction with sub-partitions
CN117499641A (zh) * 2019-05-10 2024-02-02 北京字节跳动网络技术有限公司 用于视频处理的简化二次变换的有条件使用
CN117354521A (zh) 2019-06-07 2024-01-05 北京字节跳动网络技术有限公司 视频比特流中的简化二次变换的有条件信令
WO2020256507A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 다중 참조 라인 인트라 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11277616B2 (en) * 2019-06-20 2022-03-15 Qualcomm Incorporated DC intra mode prediction in video coding
WO2020256597A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Matrix-based intra prediction for still picture and video coding
CN113347427A (zh) * 2019-06-21 2021-09-03 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及存储介质
EP3970377B1 (en) * 2019-06-21 2023-08-30 Huawei Technologies Co., Ltd. Method and apparatus of quantizing coefficients for matrix-based intra prediction technique
WO2020259263A1 (en) * 2019-06-25 2020-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image coding
WO2021023151A1 (en) 2019-08-03 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Position based mode derivation in reduced secondary transforms for video
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
EP3888362A4 (en) * 2019-09-19 2022-05-18 Telefonaktiebolaget Lm Ericsson (Publ) MATRIX MULTIPLICATION PROCESS FOR MATRIX-BASED INTRAPREDICTION (MIP)
WO2021052505A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling in video processing
US11363295B2 (en) * 2019-11-27 2022-06-14 Tencent America LLC Method and system for intra mode coding
CN114731430A (zh) * 2019-12-05 2022-07-08 交互数字Vc控股法国有限公司 与多个变换选择、矩阵加权帧内预测或多参考线帧内预测结合的用于视频编码和解码的帧内子分区
CN114830652A (zh) * 2019-12-16 2022-07-29 华为技术有限公司 用于方向性帧内预测的参考样本插值滤波的方法及装置
US11558605B2 (en) * 2020-01-23 2023-01-17 Tencent America LLC Video coding method and system based on multiple reference line intra prediction
WO2021172910A1 (ko) * 2020-02-25 2021-09-02 엘지전자 주식회사 레지듀얼 코딩과 관련한 영상 디코딩 방법 및 그 장치
CN111447440B (zh) * 2020-03-13 2021-11-16 浙江大华技术股份有限公司 帧内像素预测值的计算方法、电子设备及装置
CN111447441B (zh) * 2020-03-13 2021-11-16 浙江大华技术股份有限公司 帧内像素预测值的计算方法、电子设备及装置
CN111654696B (zh) * 2020-04-24 2022-08-05 北京大学 一种帧内的多参考行预测方法、装置、存储介质及终端
US11563977B2 (en) * 2020-09-24 2023-01-24 Tencent America LLC Method and apparatus for video coding
US11765376B2 (en) 2020-10-08 2023-09-19 Tencent America LLC Pruning methods and apparatuses for neural network based video coding
US12015765B2 (en) * 2021-04-26 2024-06-18 Tencent America LLC Template matching based intra prediction
US20220417501A1 (en) * 2021-06-29 2022-12-29 FG Innovation Company Limited Device and method for coding video data
WO2023129918A1 (en) * 2021-12-28 2023-07-06 Innopeak Technology, Inc. Intra prediction with multiple reference lines
WO2023133205A1 (en) * 2022-01-05 2023-07-13 Ofinno, Llc Asymmetric offset multiple reference line coding
US20240022738A1 (en) * 2022-07-13 2024-01-18 Tencent America LLC Template matching for multiple reference line intra prediction
WO2024022146A1 (en) * 2022-07-27 2024-02-01 Mediatek Inc. Using mulitple reference lines for prediction

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101103699B1 (ko) * 2007-02-23 2012-01-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
US9083974B2 (en) 2010-05-17 2015-07-14 Lg Electronics Inc. Intra prediction modes
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US20120243606A1 (en) * 2010-09-24 2012-09-27 Nokia Corporation Methods, apparatuses and computer programs for video coding
KR101292091B1 (ko) * 2010-10-26 2013-08-08 (주)휴맥스 적응적 화면내 예측 부호화 및 복호화 방법
KR101444667B1 (ko) 2011-01-15 2014-09-30 에스케이 텔레콤주식회사 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN106412585A (zh) * 2011-06-17 2017-02-15 联发科技股份有限公司 内部预测模式编码的方法
DK2838270T3 (da) 2011-06-28 2017-01-02 Samsung Electronics Co Ltd Videoafkodningsfremgangsmåde ved anvendelse af intraforudsigelse
PT2942954T (pt) 2011-10-24 2020-08-05 Innotive Ltd Aparelho de descodificação de imagem
JP2013141187A (ja) 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
WO2014003421A1 (ko) 2012-06-25 2014-01-03 한양대학교 산학협력단 비디오 부호화 및 복호화를 위한 방법
CA2896637C (en) 2013-03-26 2018-02-13 Mediatek Inc. Method of cross color intra prediction
KR20140124443A (ko) * 2013-04-15 2014-10-27 인텔렉추얼디스커버리 주식회사 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
CN105704491B (zh) * 2014-11-28 2020-03-13 同济大学 图像编码方法、解码方法、编码装置和解码装置
US20160373742A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
CN108886617B (zh) * 2016-04-06 2021-08-27 株式会社Kt 用于处理视频信号的方法和设备
US10764576B2 (en) * 2016-05-04 2020-09-01 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
US20190306516A1 (en) * 2016-05-24 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for intra prediction coding
CA3025520A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Improved weighted angular prediction coding for intra coding
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US10798404B2 (en) * 2016-10-05 2020-10-06 Qualcomm Incorporated Systems and methods of performing improved local illumination compensation
US20190238839A1 (en) 2016-10-14 2019-08-01 Sony Corporation Image processing apparatus and image processing method
US10742975B2 (en) * 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
MX2021005504A (es) * 2018-11-08 2021-06-18 Guangdong Oppo Mobile Telecommunications Corp Ltd Metodo de codificacion/decodificacion de se?al de imagen y aparato para ello.

Also Published As

Publication number Publication date
CN113852812A (zh) 2021-12-28
KR20190113940A (ko) 2019-10-08
US20240089429A1 (en) 2024-03-14
CN113852812B (zh) 2023-10-20
KR20240033192A (ko) 2024-03-12
US20200329235A1 (en) 2020-10-15
EP3568979A4 (en) 2020-04-01
CN113840140A (zh) 2021-12-24
KR102424188B1 (ko) 2022-07-21
US20180332284A1 (en) 2018-11-15
JP2023059946A (ja) 2023-04-27
CN113840141A (zh) 2021-12-24
JP2021166397A (ja) 2021-10-14
CN110235444B (zh) 2021-08-31
KR102645509B1 (ko) 2024-03-07
EP3568979A1 (en) 2019-11-20
JP7543464B2 (ja) 2024-09-02
JP6907328B2 (ja) 2021-07-21
WO2018205950A1 (en) 2018-11-15
US11184610B2 (en) 2021-11-23
KR102458641B1 (ko) 2022-10-24
JP2020508617A (ja) 2020-03-19
CN110235444A (zh) 2019-09-13
US10742975B2 (en) 2020-08-11
JP7234300B2 (ja) 2023-03-07
US20220060699A1 (en) 2022-02-24
US11800094B2 (en) 2023-10-24
KR20220145428A (ko) 2022-10-28
EP3568979B1 (en) 2024-10-23
CN113840140B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
KR102458641B1 (ko) 다중 레퍼런스 라인을 이용한 인트라 예측
US10609384B2 (en) Restriction on sub-block size derivation for affine inter prediction
US20220070488A1 (en) Adaptive Interpolation Filter
US20210136409A1 (en) Intra-Prediction Using a Cross-Component Linear Model in Video Coding
CN110199524B (zh) 一种在计算设备中实现的方法
US11606571B2 (en) Spatial varying transform for video coding
WO2019052568A1 (en) ADAPTIVE MOTION VECTOR RESOLUTION

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant