KR20210145752A - 행렬 기반 인트라 예측을 위한 최고 확률 모드 리스트 구성 - Google Patents
행렬 기반 인트라 예측을 위한 최고 확률 모드 리스트 구성 Download PDFInfo
- Publication number
- KR20210145752A KR20210145752A KR1020217031428A KR20217031428A KR20210145752A KR 20210145752 A KR20210145752 A KR 20210145752A KR 1020217031428 A KR1020217031428 A KR 1020217031428A KR 20217031428 A KR20217031428 A KR 20217031428A KR 20210145752 A KR20210145752 A KR 20210145752A
- Authority
- KR
- South Korea
- Prior art keywords
- mode
- mip
- video block
- mpm list
- intra prediction
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 claims abstract description 487
- 230000007704 transition Effects 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims description 99
- 230000004044 response Effects 0.000 claims description 37
- 238000005192 partition Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 8
- 238000013138 pruning Methods 0.000 claims description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 124
- 241000023320 Luma <angiosperm> Species 0.000 description 123
- 230000008569 process Effects 0.000 description 81
- 239000000523 sample Substances 0.000 description 69
- 238000010586 diagram Methods 0.000 description 40
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000009795 derivation Methods 0.000 description 29
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 22
- 238000003672 processing method Methods 0.000 description 21
- 230000011664 signaling Effects 0.000 description 16
- 238000012935 Averaging Methods 0.000 description 12
- 238000013139 quantization Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 101100226347 Escherichia phage lambda exo gene Proteins 0.000 description 3
- 238000007792 addition Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- FZEIVUHEODGHML-UHFFFAOYSA-N 2-phenyl-3,6-dimethylmorpholine Chemical compound O1C(C)CNC(C)C1C1=CC=CC=C1 FZEIVUHEODGHML-UHFFFAOYSA-N 0.000 description 2
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- QEDQZYNGDXULGO-UHFFFAOYSA-N 3-methyl-2-(3-methylphenyl)morpholine Chemical compound CC1NCCOC1C1=CC=CC(C)=C1 QEDQZYNGDXULGO-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 코딩을 위한 행렬 기반 인트라 예측 방법들을 포함하는 디지털 비디오 코딩을 위한 디바이스들, 시스템들 및 방법들이 설명된다. 대표적인 양태에서, 비디오 처리를 위한 방법은, 비디오의 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 위해, 규칙에 기초하여 최고 확률 모드(MPM) 리스트를 생성하는 단계 - 규칙은 현재 비디오 블록의 이웃 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드로 코딩되는지에 기초함 - , 및 MPM 리스트를 사용하여 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 단계를 포함하고, 전환은 현재 비디오 블록에 비-MIP 모드를 적용하고, 비-MIP 모드는 MIP 모드와 상이하다.
Description
관련 출원들에 대한 교차 참조
파리 조약에 따른 적용가능한 특허법 및/또는 규칙 하에서, 본 출원은 2019년 4월 12일자로 출원된 국제 특허 출원 제PCT/CN2019/082424호의 우선권 및 이익을 적시에 주장하도록 이루어진다. 특허법 하에서 모든 목적을 위해, 위에 언급된 출원의 전체 개시내용은 본 출원의 개시내용의 일부로서 참조로 포함된다.
기술분야
본 특허 문서는 비디오 코딩 기법들, 디바이스들 및 시스템들에 관한 것이다.
비디오 압축의 진보에도 불구하고, 디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크들에서 가장 큰 대역폭 사용을 여전히 차지한다. 비디오를 수신하고 디스플레이할 수 있는 접속된 사용자 디바이스들의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.
디지털 비디오 코딩에 관련된 디바이스들, 시스템들 및 방법들, 및 구체적으로, 비디오 코딩을 위한 행렬 기반 인트라 예측 방법들이 설명된다. 설명된 방법들은 기존의 비디오 코딩 표준들(예를 들어, HEVC(High Efficiency Video Coding))과 장래의 비디오 코딩 표준들(예를 들어, VVC(Versatile Video Coding)) 또는 코덱들 양자 모두에 적용될 수 있다.
제1 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환(conversion)을 위해, 규칙에 기초한 제1 절차를 사용하여 제1 최고 확률 모드(most probable mode, MPM) 리스트를 생성하는 단계; 및 제1 MPM 리스트를 사용하여 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 단계를 포함하고, 현재 비디오 블록의 전환은 행렬 기반 인트라 예측(matrix based intra prediction, MIP) 모드를 사용하며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산(boundary downsampling operation), 이어서 행렬 벡터 곱셈 연산(matrix vector multiplication operation), 및 이어서 선택적으로 업샘플링 연산(upsampling operation)을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 규칙은 제1 MPM 리스트의 생성을 위해 사용되는 제1 절차가 MIP 모드와 상이한 비-MIP 인트라 모드를 사용하여 코딩되는 비디오의 다른 비디오 블록들의 전환을 위한 제2 MPM 리스트의 생성을 위해 사용되는 제2 절차와 동일하다는 것을 지정하고, 제1 MPM 리스트의 적어도 일부는 제2 MPM 리스트의 적어도 일부에 기초하여 생성된다.
제2 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 위해, 규칙에 기초하여 최고 확률 모드(MPM) 리스트를 생성하는 단계 - 규칙은 현재 비디오 블록의 이웃 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드로 코딩되는지에 기초하며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 이웃 비디오 블록의 예측 블록이 결정됨 - ; 및 MPM 리스트를 사용하여 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 단계를 포함하고, 전환은 현재 비디오 블록에 비-MIP 모드를 적용하고, 비-MIP 모드는 MIP 모드와 상이하다.
제3 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 현재 비디오 블록의 코딩된 표현으로 코딩되는 비디오의 현재 비디오 블록을 디코딩하는 단계 - MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정됨 - ; 및 디코딩과 연관된 라인 버퍼를, 현재 비디오 블록이 MIP 모드를 사용하여 코딩되는지를 표시하는 정보를 라인 버퍼에 저장하지 않고서 업데이트하는 단계를 포함한다.
제4 예시적인 비디오 처리 방법은 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하고, 현재 비디오 블록은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 코딩되며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 산술 코딩 또는 디코딩 프로세스에서 최대 K개의 컨텍스트를 사용하여 비트스트림 표현에서 플래그가 코딩되고, 플래그는 현재 비디오 블록이 MIP 모드를 사용하여 코딩되는지를 표시하고, K는 0 이상이다.
제5 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 위해, 행렬 기반 인트라 예측(MIP) 모드로 코딩된 현재 비디오 블록에 대한 인트라 예측 모드를 생성하는 단계 - MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정됨 - ; 현재 비디오 블록이 MIP 모드로 코딩되는지에 기초하여 인트라 예측 모드를 표시하는 정보를 저장하기 위한 규칙을 결정하는 단계; 및 규칙에 따라 전환을 수행하는 단계 - 규칙은 인트라 예측 모드에 대한 신택스 요소가 현재 비디오 블록에 대한 비트스트림 표현에 저장되는 것을 정의하고, 규칙은 현재 비디오 블록에 대한 MIP 모드의 모드 인덱스가 비트스트림 표현에 저장되지 않는 것을 정의함 - 를 포함한다.
제6 예시적인 비디오 처리 방법은 비디오의 루마 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드를 사용하여 코딩된다는 제1 결정을 수행하는 단계 - MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 루마 비디오 블록의 예측 블록이 결정됨 - ; 제1 결정에 기초하여, 루마 비디오 블록과 연관된 크로마 비디오 블록에 사용될 크로마 인트라 모드에 관한 제2 결정을 수행하는 단계; 및 제2 결정에 기초하여, 크로마 비디오 블록과 크로마 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
제7 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 단계를 포함하고, 전환은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 현재 비디오 블록을 코딩할지의 결정에 기초하며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다.
제8 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록을 현재 비디오 블록의 비트스트림 표현으로 인코딩하기 위해, 행렬 기반 인트라 예측(MIP) 모드 및 현재 비디오 블록을 인코딩하기 위한 MIP 모드와 상이한 코딩 모드를 사용할지를 규칙에 따라 결정하는 단계 - MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 결정하는 것을 포함함 - ; 및 결정에 기초하여, 현재 비디오 블록의 인코딩된 표현을 비트스트림 표현에 추가하는 단계를 포함한다.
제9 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(MIP) 모드 및 MIP 모드와 상이한 코딩 모드를 사용하여 비디오의 현재 비디오 블록이 비트스트림 표현으로 인코딩되는 것을 결정하는 단계 - MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 결정하는 것을 포함함 - ; 및 비트스트림 표현을 파싱 및 디코딩함으로써 현재 비디오 블록의 디코딩된 표현을 생성하는 단계를 포함한다.
제10 예시적인 비디오 처리 방법은 비디오와 현재 비디오 블록의 코딩된 표현 사이의 전환에서 비디오의 현재 비디오 블록의 재구성된 블록에 대한 루프 필터의 적용가능성에 관한 결정을 행하는 단계 - 현재 비디오 블록은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 코딩되며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정됨 - ; 및 결정에 따라 현재 비디오 블록을 처리하는 단계를 포함한다.
제11 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록을 현재 비디오 블록의 비트스트림 표현으로 인코딩하기 위해, 규칙에 따라 사용될 현재 비디오 블록의 이웃 샘플들의 타입을 결정하는 단계; 및 결정에 기초하여, 현재 비디오 블록의 인코딩된 표현을 비트스트림 표현에 추가하는 단계를 포함하고, 현재 비디오 블록은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 인코딩되며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다.
제12 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드를 사용하여 그리고 규칙에 따라 현재 비디오 블록의 이웃 샘플들의 타입을 사용하여 비트스트림 표현으로 인코딩되는 것을 결정하는 단계 - MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 결정하는 것을 포함함 - ; 및 비트스트림 표현을 파싱 및 디코딩함으로써 현재 비디오 블록의 디코딩된 표현을 생성하는 단계를 포함한다.
제13 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하고, 전환은, 행렬 기반 인트라 예측(MIP) 모드를 사용함으로써, 샘플들의 행렬들을 사용하여 행렬 곱셈을 선택하고 적용함으로써 그리고/또는 현재 비디오 블록에 대한 오프셋 벡터들을 사용하여 오프셋을 선택하고 가산함으로써 현재 비디오 블록에 대한 예측 블록을 생성하는 것을 포함하고, 샘플들은 비디오의 이전에 코딩된 샘플들의 행 및 열 방향 평균화(row and column wise averaging)로부터 획득되고, 선택하는 것은 현재 비디오 블록의 참조 픽처에 LMCS(luma mapping with chroma scaling) 기법을 적용하는 것과 연관된 재성형(reshaping) 정보에 기초한다.
제14 예시적인 비디오 처리 방법은 현재 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드를 사용하여 코딩되어야 하는 것을 결정하는 단계 - MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정됨 - ; 및 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하고, 전환을 수행하는 것은 MIP 모드와 또 다른 코딩 기법의 공동-적용(co-application)의 규칙에 기초한다.
제15 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하고, MIP 모드를 사용하여 전환을 수행하는 것은 비디오의 이전에 코딩된 샘플들의 행 및 열 방향 평균화로부터 획득된 샘플들의 행렬들을 사용하여 행렬 곱셈을 적용함으로써 예측 블록을 생성하는 것을 포함하고, 행렬들은 샘플의 비트 심도에 의존한다.
제16 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록에 대해, 행렬 기반 인트라 예측(MIP) 모드를 사용하여 중간 예측 신호를 생성하는 단계 - MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정됨 - ; 중간 예측 신호에 기초하여, 최종 예측 신호를 생성하는 단계; 및 최종 예측 신호에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
제17 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하고, 전환을 수행하는 것은 MIP 모드에 대한 업샘플링 프로세스에서 보간 필터를 사용하는 것을 포함하고, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들의 행 및 열 방향 평균화로부터 획득된 제1 세트의 샘플들에 행렬 곱셈이 적용되고, 행렬 곱셈으로부터 획득된 제2 세트의 샘플들에 보간 필터가 적용되며, 보간 필터는 쌍선형 보간 필터(bilinear interpolation filter)를 배제한다.
제18 예시적인 비디오 처리 방법은 규칙에 따라 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하고, 규칙은 전환 동안의 행렬 기반 인트라 예측(MIP) 모드 또는 변환 모드(transform mode)의 적용가능성 사이의 관계를 지정하고, MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 결정하는 것을 포함하고, 변환 모드는 현재 비디오 블록에 대한 예측 블록을 결정하기 위한 변환 연산의 사용을 지정한다.
제19 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하고, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 전환을 수행하는 것은 규칙에 따라 적어도 하나의 참조 경계 샘플의 합에 좌측 비트 시프트 연산 또는 우측 비트 시프트 연산을 적용함으로써 경계 샘플들을 도출하는 것을 포함하고, 규칙은 좌측 비트 시프트 연산을 적용할지 또는 우측 비트 시프트 연산을 적용할지를 결정한다.
제20 예시적인 비디오 처리 방법은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함하고, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 예측 샘플들 predSamples[ xHor + dX ][ yHor ]는 업샘플링 연산에서 다음의 수식: predSamples[ xHor + dX ][ yHor ] = ( ( upHor - dX ) * predSamples[ xHor ][ yHor ] + dX * predSamples[ xHor + upHor ][ yHor ] + offsetHor) / upHor, 및 predSamples[ xVer ][ yVer + dY ] = ( ( upVer - dY ) * predSamples[ xVer ][ yVer ] + dY * predSamples[ xVer ][ yVer + upVer ]+ offsetVer ) / upVer에 따라 결정되고, offsetHor 및 offsetVer은 정수들이고, upHor은 현재 비디오 블록 폭과 현재 비디오 블록 크기에 기초한 미리 정의된 값의 함수이고, upVer은 현재 비디오 블록 높이와 현재 비디오 블록 크기에 기초한 미리 정의된 값의 함수이고; dX는 1... upHor-1이고, dY는 1... upVer-1이고, xHor은 upHor에 기초한 위치들이고 yHor은 upVer에 기초한 위치들이다.
제21 예시적인 비디오 처리 방법은 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 위해, 행렬 기반 인트라 예측(MIP) 모드로 코딩된 현재 비디오 블록에 대한 인트라 예측 모드를 생성하는 단계 - MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정됨 - ; 현재 비디오 블록이 MIP 모드로 코딩되는지에 기초하여 인트라 예측 모드를 표시하는 정보를 저장하기 위한 규칙을 결정하는 단계; 및 규칙에 따라 전환을 수행하는 단계를 포함하고, 규칙은 비트스트림 표현이 현재 비디오 블록과 연관된 MIP 모드를 표시하는 정보의 저장을 배제한다는 것을 정의한다.
또 다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(affine linear weighted intra prediction, ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 결정에 기초하여, 비-ALWIP 인트라 모드에 대한 최고 확률 모드(MPM) 리스트의 적어도 일부에 기초하여 ALWIP 모드에 대한 MPM 리스트의 적어도 일부를 구성하는 단계, 및 ALWIP 모드에 대한 MPM 리스트에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록의 루마 성분이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 결정에 기초하여, 크로마 인트라 모드를 추론하는 단계, 및 크로마 인트라 모드에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계, 및 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 개시된 기술은 비디오 처리를 위한 방법을 제공하기 위해 사용될 수 있다. 이 예시적인 방법은 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드와 상이한 코딩 모드를 사용하여 코딩되는 것을 결정하는 단계, 및 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
또 다른 대표적인 양태에서, 위에서 설명한 방법은 프로세서 실행가능 코드의 형태로 구현되고 컴퓨터 판독가능 프로그램 매체에 저장된다.
또 다른 대표적인 양태에서, 위에서 설명한 방법을 수행하도록 구성되거나 동작가능한 디바이스가 개시된다. 디바이스는 이 방법을 구현하도록 프로그래밍되는 프로세서를 포함할 수 있다.
또 다른 대표적인 양태에서, 비디오 디코더 장치는 본 명세서에 설명된 바와 같은 방법을 구현할 수 있다.
개시된 기술의 위의 및 또 다른 양태들 및 특징들은 도면들, 설명 및 청구항들에서 더 상세히 설명된다.
도 1은 33개의 인트라 예측 방향의 예를 도시한다.
도 2는 67개의 인트라 예측 모드의 예를 도시한다.
도 3은 선형 모델의 가중치들의 도출에 사용되는 샘플들의 위치들의 예를 도시한다.
도 4는 예측 블록에 이웃하는 4개의 참조 라인의 예를 도시한다.
도 5a 및 도 5b는 블록 크기에 따른 서브-파티션(sub-partition)들의 예들을 도시한다.
도 6은 4x4 블록들에 대한 ALWIP의 예를 도시한다.
도 7은 8x8 블록들에 대한 ALWIP의 예를 도시한다.
도 8은 8x4 블록들에 대한 ALWIP의 예를 도시한다.
도 9는 16x16 블록들에 대한 ALWIP의 예를 도시한다.
도 10은 MPM 리스트 구성에서 사용하는 이웃 블록들의 예를 도시한다.
도 11은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 예시적인 방법의 흐름도를 도시한다.
도 12는 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 다른 예시적인 방법의 흐름도를 도시한다.
도 13은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 또 다른 예시적인 방법의 흐름도를 도시한다.
도 14는 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 또 다른 예시적인 방법의 흐름도를 도시한다.
도 15는 본 문서에서 설명되는 비주얼 미디어 디코딩 또는 비주얼 미디어 인코딩 기법을 구현하기 위한 하드웨어 플랫폼의 예의 블록도이다.
도 16은 본 명세서에 개시된 다양한 기법들이 구현될 수 있는 예시적인 비디오 처리 시스템을 도시하는 블록도이다.
도 17은 본 개시내용의 기법들을 이용할 수 있는 예시적인 비디오 코딩 시스템을 예시하는 블록도이다.
도 18은 비디오 인코더의 예를 예시하는 블록도이다.
도 19는 비디오 디코더의 예를 예시하는 블록도이다.
도 20 내지 도 38은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 추가의 예시적인 방법들의 예시적인 흐름도들을 도시한다.
도 2는 67개의 인트라 예측 모드의 예를 도시한다.
도 3은 선형 모델의 가중치들의 도출에 사용되는 샘플들의 위치들의 예를 도시한다.
도 4는 예측 블록에 이웃하는 4개의 참조 라인의 예를 도시한다.
도 5a 및 도 5b는 블록 크기에 따른 서브-파티션(sub-partition)들의 예들을 도시한다.
도 6은 4x4 블록들에 대한 ALWIP의 예를 도시한다.
도 7은 8x8 블록들에 대한 ALWIP의 예를 도시한다.
도 8은 8x4 블록들에 대한 ALWIP의 예를 도시한다.
도 9는 16x16 블록들에 대한 ALWIP의 예를 도시한다.
도 10은 MPM 리스트 구성에서 사용하는 이웃 블록들의 예를 도시한다.
도 11은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 예시적인 방법의 흐름도를 도시한다.
도 12는 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 다른 예시적인 방법의 흐름도를 도시한다.
도 13은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 또 다른 예시적인 방법의 흐름도를 도시한다.
도 14는 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 또 다른 예시적인 방법의 흐름도를 도시한다.
도 15는 본 문서에서 설명되는 비주얼 미디어 디코딩 또는 비주얼 미디어 인코딩 기법을 구현하기 위한 하드웨어 플랫폼의 예의 블록도이다.
도 16은 본 명세서에 개시된 다양한 기법들이 구현될 수 있는 예시적인 비디오 처리 시스템을 도시하는 블록도이다.
도 17은 본 개시내용의 기법들을 이용할 수 있는 예시적인 비디오 코딩 시스템을 예시하는 블록도이다.
도 18은 비디오 인코더의 예를 예시하는 블록도이다.
도 19는 비디오 디코더의 예를 예시하는 블록도이다.
도 20 내지 도 38은 개시된 기술에 따른, 행렬 기반 인트라 예측을 위한 추가의 예시적인 방법들의 예시적인 흐름도들을 도시한다.
고해상도 비디오의 수요 증가로 인해, 비디오 코딩 방법들 및 기법들은 현대 기술에서 널리 사용되고 있다. 비디오 코덱들은 전형적으로 디지털 비디오를 압축 또는 압축해제하는 전자 회로 또는 소프트웨어를 포함하며, 더 높은 코딩 효율을 제공하도록 계속적으로 개선되고 있다. 비디오 코덱은 압축되지 않은 비디오를 압축된 포맷으로 전환하거나, 그 반대로 전환한다. 비디오 품질, 비디오를 표현하는 데 사용되는 데이터의 양(비트 레이트에 의해 결정됨), 인코딩 및 디코딩 알고리즘들의 복잡도, 데이터 손실들 및 에러들에 대한 민감도, 편집의 용이성, 랜덤 액세스, 및 엔드-투-엔드 지연(레이턴시) 사이에 복잡한 관계들이 존재한다. 압축된 포맷은 보통 표준 비디오 압축 사양, 예를 들어, HEVC(High Efficiency Video Coding) 표준(H.265 또는 MPEG-H Part 2로도 알려짐), 완성될 VVC(Versatile Video Coding) 표준, 또는 다른 현재 및/또는 장래 비디오 코딩 표준들을 따른다.
개시된 기술의 실시예들은 런타임 성능을 개선시키기 위해 기존의 비디오 코딩 표준들(예를 들어, HEVC, H.265) 및 장래의 표준들에 적용될 수 있다. 섹션 제목들은 본 문서에서 설명의 가독성을 개선시키기 위해 사용되며, 논의 또는 실시예들(및/또는 구현들)을 결코 각자의 섹션들에만 제한하지 않는다.
1 HEVC에 대한 간단한 검토
1.1 HEVC/H.265에서의 인트라 예측
인트라 예측은 고려된 컬러 채널에서 이전에 재구성된 샘플들을 사용하여 주어진 TB(transform block)에 대한 샘플들을 생산하는 것을 수반한다. 인트라 예측 모드는 루마 및 크로마 채널들에 대해 개별적으로 시그널링되며, 크로마 채널 인트라 예측 모드는 'DM_CHROMA' 모드를 통해 루마 채널 인트라 예측 모드에 선택적으로 의존한다. 인트라 예측 모드가 PB(prediction block) 레벨에서 시그널링되지만, 인트라 예측 프로세스는 CU에 대한 잔차 쿼드-트리 계층구조에 따라 TB 레벨에서 적용되고, 그에 의해 하나의 TB의 코딩이 CU 내의 다음 TB의 코딩에 영향을 미칠 수 있게 하고, 따라서 참조 값들로서 사용되는 샘플들까지의 거리를 감소시킨다.
HEVC는 35개의 인트라 예측 모드 - DC 모드, 평면 모드 및 33개의 방향성, 또는 '각도' 인트라 예측 모드를 포함한다. 33개의 각도 인트라 예측 모드가 도 1에 예시되어 있다.
크로마 컬러 채널들과 연관된 PB들의 경우, 인트라 예측 모드는 평면, DC, 수평, 수직, 'DM_CHROMA' 모드 또는 때때로 대각선 모드 '34'로서 지정된다.
크로마 포맷들 4:2:2 및 4:2:0에 대해, 크로마 PB는 2개 또는 4개(각각)의 루마 PB와 중첩될 수 있으며; 이 경우, DM_CHROMA에 대한 루마 방향은 이 루마 PB들의 상단 좌측으로부터 취해진다.
DM_CHROMA 모드는 루마 컬러 채널 PB의 인트라 예측 모드가 크로마 컬러 채널 PB들에 적용되는 것을 표시한다. 이것은 비교적 일반적이기 때문에, intra_chroma_pred_mode의 최고 확률 모드 코딩 방식은 선택되는 이 모드를 위해 바이어싱된다.
2 VVC에서의 인트라 예측의 예들
2.1 67개의 인트라 예측 모드를 사용한 인트라 모드 코딩
내추럴 비디오(natural video)에서 제시된 임의의 에지 방향들을 캡처하기 위해, 방향성 인트라 모드들의 수는, HEVC에서 사용되는 바와 같이, 33에서 65로 확장된다. 추가적인 방향성 모드들은 도 2에서 적색 점선 화살표들로서 도시되고, 평면 및 DC 모드들은 동일하게 유지된다. 이러한 더 조밀한 방향성 인트라 예측 모드들은 모든 블록 크기들에 대해 그리고 루마 및 크로마 인트라 예측들 양자 모두에 대해 적용된다.
2.2 교차 성분 선형 모델(cross-component linear model, CCLM)의 예들
일부 실시예들에서, 그리고 교차 성분 중복성(cross-component redundancy)을 감소시키기 위해, 교차 성분 선형 모델(CCLM) 예측 모드(LM이라고도 함)가 JEM에서 사용되며, 이를 위해 다음과 같이 선형 모델을 사용함으로써 동일한 CU의 재구성된 루마 샘플들에 기초하여 크로마 샘플들이 예측된다:
여기서, predC(i, j)는 CU에서의 예측된 크로마 샘플들을 나타내고, recL'(i, j)는 동일한 CU의 다운샘플링된 재구성된 루마 샘플들을 나타낸다. 선형 모델 파라미터 α 및 β는, 다운샘플링된 이웃 루마 샘플들의 세트 내의 최소 샘플 값 및 최대 샘플을 갖는 루마 샘플, 및 그들의 대응하는 크로마 샘플들인, 2개의 샘플로부터의 루마 값들과 크로마 값들 사이의 관계로부터 도출된다. 도 3은 CCLM 모드에서 수반되는 좌측 및 상측 샘플들의 위치 및 현재 블록의 샘플의 예를 도시한다.
이 파라미터 계산은 디코딩 프로세스의 일부로서 수행되며, 인코더 검색 동작으로서가 아니다. 그 결과, 디코더에 α 및 β값들을 전달하기 위해 신택스가 사용되지 않는다.
크로마 인트라 모드 코딩의 경우, 크로마 인트라 모드 코딩을 위해 총 8개의 인트라 모드가 허용된다. 그러한 모드들은 5개의 전통적인 인트라 모드 및 3개의 교차 성분 선형 모델 모드(CCLM, LM_A 및 LM_L)를 포함한다. 크로마 모드 코딩은 대응하는 루마 블록의 인트라 예측 모드에 직접 의존한다. 루마 및 크로마 성분들에 대한 개별 블록 파티셔닝 구조가 I 슬라이스들에서 가능해지기 때문에, 하나의 크로마 블록은 다수의 루마 블록에 대응할 수 있다. 따라서, 크로마 DM 모드의 경우, 현재 크로마 블록의 중심 위치를 커버하는 대응하는 루마 블록의 인트라 예측 모드가 직접 상속된다.
2.3 다중 참조 라인(multiple reference line, MRL) 인트라 예측
다중 참조 라인(MRL) 인트라 예측은 인트라 예측을 위해 더 많은 참조 라인들을 사용한다. 도 4에는, 4개의 참조 라인의 예가 도시되어 있으며, 여기서 세그먼트들 A 및 F의 샘플들은 재구성된 이웃 샘플들로부터 페치되지 않지만 각각 세그먼트 B 및 E로부터의 가장 가까운 샘플들로 패딩된다. HEVC 인트라-픽처 예측은 가장 가까운 참조 라인(즉, 참조 라인 0)을 사용한다. MRL에서, 2개의 추가 라인(참조 라인 1 및 참조 라인 3)이 사용된다. 선택된 참조 라인의 인덱스(mrl_idx)가 시그널링되어 인트라 예측자를 생성하는데 사용된다. 0보다 큰 참조 라인 idx에 대해, MPM 리스트에 추가적인 참조 라인 모드들만을 포함하고, 나머지 모드 없이 mpm 인덱스만을 시그널링한다.
2.4 인트라 서브-파티션(intra sub-partition, ISP)
인트라 서브-파티션(ISP) 툴은 블록 크기에 따라 루마 인트라-예측된 블록들을 수직으로 또는 수평으로 2 또는 4개의 서브-파티션으로 분할한다. 예를 들어, ISP에 대한 최소 블록 크기는 4x8(또는 8x4)이다. 블록 크기가 4x8(또는 8x4)보다 크면, 대응하는 블록은 4개의 서브-파티션으로 분할된다. 도 5는 2가지 가능성의 예를 도시한다. 모든 서브-파티션들은 적어도 16개의 샘플을 갖는 조건을 충족시킨다.
각각의 서브-파티션에 대해, 잔차 신호를 예측 신호에 가산함으로써 재구성된 샘플들이 획득된다. 여기서, 잔차 신호는 엔트로피 디코딩, 역양자화 및 역변환과 같은 프로세스들에 의해 생성된다. 따라서, 각각의 서브-파티션의 재구성된 샘플 값들은 다음 서브-파티션의 예측을 생성하는 데 이용가능하고, 각각의 서브-파티션은 반복적으로 처리된다. 또한, 처리될 첫 번째 서브-파티션은 CU의 상단-좌측 샘플을 포함하는 것이고 그 후 계속해서 하향(수평 스플릿) 또는 우측(수직 스플릿)으로 이어지는 것이다. 그 결과, 서브-파티션 예측 신호들을 생성하는 데 사용되는 참조 샘플들은 라인들의 좌측 및 상측에만 위치한다. 모든 서브-파티션들은 동일한 인트라 모드를 공유한다.
2.5 아핀 선형 가중 인트라 예측(ALWIP 또는 행렬 기반 인트라 예측)
아핀 선형 가중 인트라 예측(ALWIP, 행렬 기반 인트라 예측(MIP)으로도 알려짐)은 JVET-N0217에서 제안된다.
JVET-N0217에서, 2개의 테스트가 수행된다. 테스트 1에서, ALWIP는 8K 바이트의 메모리 제한 및 샘플당 최대 4개의 곱셈으로 설계된다. 테스트 2는 테스트 1과 유사하지만, 메모리 요건 및 모델 아키텍처의 관점에서 설계를 더 단순화한다.
○ 모든 블록 형상들에 대한 행렬들 및 오프셋 벡터들의 단일 세트.
○ 모든 블록 형상들에 대해 19로의 모드들의 수의 감소.
○ 5760 10-비트 값, 즉 7.20 킬로바이트로의 메모리 요건의 감소.
○ 예측된 샘플들의 선형 보간은 제1 테스트에서와 같이 반복적 보간을 대체하여 방향 당 단일 단계로 수행된다.
2.5.1 JVET-N0217의 테스트 1
폭 W 및 높이 H의 직사각형 블록의 샘플들을 예측하기 위해, 아핀 선형 가중 인트라 예측(ALWIP)은 블록의 좌측에 있는 H개의 재구성된 이웃 경계 샘플의 하나의 라인 및 블록 상측에 있는 W개의 재구성된 이웃 경계 샘플의 하나의 라인을 입력으로서 취한다. 재구성된 샘플들이 이용불가능한 경우, 이들은 종래의 인트라 예측에서 행해지는 바와 같이 생성된다.
예측 신호의 생성은 다음의 3개의 단계에 기초한다:
경계 샘플들 중에서, W=H=4인 경우에 4개의 샘플 및 모든 다른 경우에 8개의 샘플이 평균화에 의해 추출된다.
오프셋의 가산이 뒤따르는 행렬 벡터 곱셈은 입력으로서 평균화된 샘플들을 사용하여 수행된다. 그 결과는 원래의 블록에서의 샘플들의 서브샘플링된 세트에 대한 감소된 예측 신호이다.
나머지 위치들에서의 예측 신호는, 각각의 방향에서 단일 단계 선형 보간인 선형 보간에 의해 서브샘플링된 세트에 대한 예측 신호로부터 생성된다.
예측 신호를 생성하는데 필요한 행렬들 및 오프셋 벡터들은 행렬들의 3개의 세트 S0, S1, S2로부터 취해진다. 세트 S0은, 각각이 16개의 행 및 4개의 열을 갖는 18개의 행렬 
및 각각이 크기 16인 18개의 오프셋 벡터 
로 구성된다. 그 세트의 행렬들 및 오프셋 벡터들은 크기 4x4의 블록들에 사용된다. 세트 S1은, 각각이 16개의 행 및 8개의 열을 갖는 10개의 행렬 
및 각각이 크기 16인 10개의 오프셋 벡터 
로 구성된다. 그 세트의 행렬들 및 오프셋 벡터들은 크기들 4x8, 8x4 및 8x8의 블록들에 사용된다. 마지막으로, S2은, 각각이 64개의 행 및 8개의 열을 갖는 6개의 행렬 
및 크기 64인 6개의 오프셋 벡터 
로 구성된다. 그 세트의 행렬들 및 오프셋 벡터들 또는 이러한 행렬들 및 오프셋 벡터들의 일부는 모든 다른 블록-형상들에 사용된다.
행렬 벡터 곱의 계산에 필요한 곱셈들의 총 수는 항상 4xWxH 이하이다. 다시 말해서, ALWIP 모드들에 대해 샘플 당 최대 4개의 곱셈이 요구된다.
2.5.2 경계의 평균화
제1 단계에서, 입력 경계들 
및 
는 더 작은 경계들 
및 
로 감소된다. 여기서, 
과 
는 양자 모두 4x4-블록의 경우에 2개의 샘플로 구성되고, 양자 모두 다른 모든 경우에 4개의 샘플로 구성된다.
4x4-블록의 경우, 0≤i<2에 대해,
을 정의하고 유사하게 
를 정의한다.
그렇지 않고, 블록-폭 W가 W=4·2k로서 주어지면, 0≤i<4에 대해,
을 정의하고 유사하게 
를 정의한다.
2개의 감소된 경계 
및 
는 감소된 경계 벡터 
에 연결되며(concatenated), 따라서 형상 4x4의 블록들에 대해 크기가 4이고 모든 다른 형상의 블록들에 대해 크기가 8이다. mode가 ALWIP-모드를 참조하는 경우, 이 연결(concatenation)은 다음과 같이 정의된다:
마지막으로, 서브샘플링된 예측 신호의 보간을 위해, 큰 블록들에 대해, 평균화된 경계의 제2 버전이 필요하다. 즉, min(W,H)>8이고 W≥H이면, W=8*2l을 기입하고, 0≤i<8에 대해, 다음을 정의한다:
min(W,H)>8이고 H>W이면, 유사하게 
를 정의한다.
2.5.3 행렬 벡터 곱셈에 의한 감소된 예측 신호의 생성
감소된 입력 벡터 
로부터 감소된 예측 신호 
를 생성한다. 후자의 신호는 폭 
및 높이 
의 다운샘플링된 블록에 대한 신호이다. 여기서, 
및 
는 다음과 같이 정의된다:
감소된 예측 신호 
는 행렬 벡터 곱을 산출하고 오프셋을 가산함으로써 계산된다:
여기서, A는 
·
개의 행 및 W=H=4인 경우에 4개의 열과 모든 다른 경우에 8개의 열을 갖는 행렬이다. b는 
·
크기의 벡터이다.
행렬 A 및 벡터 b는 다음과 같이 세트들 S0, S1, S2 중 하나로부터 취해진다. 인덱스 idx=idx(W,H)를 다음과 같이 정의한다:
또한, m은 다음과 같다:
이어서, idx≤1 또는 idx=2이고 min(W,H)>4인 경우, 
이고 
이다. idx=2 및 min(W,H)=4인 경우, A를, W=4인 경우, 다운샘플링된 블록에서의 홀수 x 좌표에 대응하거나, H=4인 경우, 다운샘플링된 블록에서의 홀수 y 좌표에 대응하는 
의 모든 행을 생략하여 발생하는 행렬로 한다.
마지막으로, 감소된 예측 신호는 다음의 경우에 그의 전치로 대체된다:
○ W=H=4 및 mode≥18
○ max(W,H)=8 및 mode≥10
○ max(W,H)>8 및 mode≥6
2.5.4 전체 ALWIP 프로세스의 예시
평균화, 행렬 벡터 곱셈 및 선형 보간의 전체 프로세스가 도 6 내지 도 9에서 상이한 형상들에 대해 예시된다. 나머지 형상들은 묘사된 경우들 중 하나에서와 같이 취급된다는 점에 유의한다.
1. 4x4 블록이 주어지면, ALWIP는 경계의 각각의 축을 따라 2개의 평균을 취한다. 결과적인 4개의 입력 샘플이 행렬 벡터 곱셈에 입력된다. 행렬들은 세트 S0으로부터 취해진다. 오프셋을 가산한 후, 이것은 16개의 최종 예측 샘플을 산출한다. 선형 보간은 예측 신호를 생성하기 위해 필요하지 않다. 따라서, 샘플당 총 (4·16)/(4·4)=4회의 곱셈이 수행된다.
2. 8x8 블록이 주어지면, ALWIP는 경계의 각각의 축을 따라 4개의 평균을 취한다. 결과적인 8개의 입력 샘플이 행렬 벡터 곱셈에 입력된다. 행렬들은 세트 S1로부터 취해진다. 이것은 예측 블록의 홀수 위치들에 대해 16개의 샘플을 산출한다. 따라서, 샘플당 총 (8·16)/(8·8)=2회의 곱셈이 수행된다. 오프셋을 가산한 후, 이들 샘플은 감소된 상단 경계를 사용하여 수직으로 보간된다. 수평 보간은 원래의 좌측 경계를 사용하여 뒤따른다.
3. 8x4 블록이 주어지면, ALWIP는 경계의 수평축을 따라 4개의 평균을 취하고 좌측 경계에서 4개의 원래 경계 값을 취한다. 결과적인 8개의 입력 샘플이 행렬 벡터 곱셈에 입력된다. 행렬들은 세트 S1로부터 취해진다. 이것은 예측 블록의 홀수 수평 및 각각의 수직 위치들에 대해 16개의 샘플을 산출한다. 따라서, 샘플당 총 (8·16)/(8·4)=4회의 곱셈이 수행된다. 오프셋을 가산한 후, 이들 샘플은 원래의 좌측 경계를 사용하여 수평으로 보간된다.
4. 16x16 블록이 주어지면, ALWIP는 경계의 각각의 축을 따라 4개의 평균을 취한다. 결과적인 8개의 입력 샘플이 행렬 벡터 곱셈에 입력된다. 행렬들은 세트 S2로부터 취해진다. 이것은 예측 블록의 홀수 위치들에 대해 64개의 샘플을 산출한다. 따라서, 샘플당 총 (8·64)/(16·16)=2회의 곱셈이 수행된다. 오프셋을 가산한 후, 이들 샘플은 상단 경계의 8개의 평균을 사용하여 수직으로 보간된다. 수평 보간은 원래의 좌측 경계를 사용하여 뒤따른다. 이 경우, 보간 프로세스는 어떠한 곱셈도 추가하지 않는다. 따라서, 총괄적으로, ALWIP 예측을 산출하기 위해 샘플당 2개의 곱셈이 요구된다.
더 큰 형상들에 대해, 절차는 본질적으로 동일하고, 샘플 당 곱셈들의 수가 4 미만임을 체크하는 것이 용이하다.
W>8인 Wx8 블록들에 대해, 샘플들이 홀수 수평 및 각각의 수직 위치들에 주어지기 때문에 수평 보간만이 필요하다.
마지막으로, W>8인 Wx4 블록들에 대해, A_k를 다운샘플링된 블록의 수평축을 따라 홀수 엔트리에 대응하는 모든 행을 생략하여 발생하는 행렬로 한다. 따라서, 출력 크기는 32이고 다시, 수평 보간만이 수행되도록 남아 있다.
전치된 경우들은 그에 따라 취급된다.
2.5.5 단일 단계 선형 보간
max(W,H)≥8인 WxH 블록에 대해, 예측 신호는 선형 보간에 의해 
×
에 대해 감소된 예측 신호 
로부터 발생한다. 블록 형상에 따라, 선형 보간은 수직, 수평 또는 양자 모두의 방향으로 행해진다. 선형 보간이 양자 모두의 방향으로 적용되어야 한다면, W<H인 경우에 수평 방향으로 먼저 적용되고, 그 밖의 경우에 수직 방향으로 먼저 적용된다.
일반성을 잃지 않고서, max(W,H)≥8 및 W≥H인 WxH 블록을 고려한다. 이어서, 1차원 선형 보간이 다음과 같이 수행된다. 일반성을 잃지 않고서, 수직 방향에서의 선형 보간을 설명하는 것으로 충분하다. 먼저, 감소된 예측 신호는 경계 신호에 의해 상단으로 확장된다. 수직 업샘플링 인자 
를 정의하고 
을 기입한다. 그 후, 아래 식에 의해 확장된 감소된 예측 신호를 정의한다:
그 후, 이 확장된 감소된 예측 신호로부터, 수직 선형 보간된 예측 신호가 아래 식에 의해 생성된다:
2.5.6 제안된 인트라 예측 모드들의 시그널화(signalization)
인트라 모드에서의 각각의 코딩 유닛(CU)에 대해, ALWIP 모드가 대응하는 예측 유닛(PU)에 적용될지 여부를 표시하는 플래그가 비트스트림에서 전송된다. 후자의 인덱스의 시그널화는 JVET-M0043에서와 동일한 방식으로 MRL과 조화된다. ALWIP 모드가 적용되는 경우, ALWIP 모드의 인덱스 predmode는 3개의 MPM을 갖는 MPM-리스트를 사용하여 시그널링된다.
여기서, MPM들의 도출은 다음과 같이 상측 및 좌측 PU의 인트라 모드들을 사용하여 수행된다. 각각의 종래의 인트라 예측 모드 
에 할당하는 3개의 고정 테이블 map_angular_to_alwipidx, idx∈{0,1,2}가 있으며, ALWIP 모드
폭(W) 및 높이(H)의 각각의 PU에 대해, 아래 인덱스
를 정의하며, 이는 3개의 세트 중 어느 것으로부터 ALWIP-파라미터들이 섹션 2.5.3에서와 같이 취해져야 하는지를 표시한다.
상측 예측 유닛(PUabove)이 이용가능하고, 현재 PU와 동일한 CTU에 속하며, 인트라 모드에 있는 경우, idx(PU)=idx(PUabove)인 경우 및 ALWIP가 ALWIP-모드 
로 PUabove에 적용되는 경우, 다음과 같이 된다:
상측 PU가 이용가능하고, 현재 PU와 동일한 CTU에 속하고 인트라 모드에 있는 경우 및 종래의 인트라 예측 모드 
가 상측 PU에 적용되는 경우, 다음과 같이 된다:
모든 다른 경우들에서,
가 되고, 이는 이 모드가 이용불가능하다는 것을 의미한다. 동일한 방식으로 그러나 좌측 PU가 현재 PU와 동일한 CTU에 속할 필요가 있다는 제한 없이, 모드 
를 도출한다.
마지막으로, 3개의 고정된 디폴트 리스트 listidx, idx∈{0,1,2}가 제공되고, 이들 각각은 3개의 별개의 ALWIP 모드를 포함한다. 디폴트 리스트 listidx(PU) 및 모드들 
및 
중에서, 반복들을 제거할 뿐만 아니라 디폴트 값들에 의해 -1을 치환함으로써 3개의 별개의 MPM을 구성한다.
ALWIP MPM 리스트 구성에서 사용되는 좌측 이웃 블록 및 상측 이웃 블록은 도 10에 도시된 바와 같이 A1 및 B1이다.
2.5.7 종래의 루마 및 크로마 인트라 예측 모드들에 대한 적응된 MPM-리스트 도출
제안된 ALWIP-모드들은 다음과 같이 종래의 인트라 예측 모드들의 MPM 기반 코딩과 조화된다. 종래의 인트라 예측 모드들에 대한 루마 및 크로마 MPM-리스트 도출 프로세스들은 고정 테이블들 map_alwip_to_angularidx, idx∈{0,1,2}를 사용하고, 주어진 PU 상의 ALWIP-모드 
를 종래의 인트라 예측 모드들 중 하나에 맵핑한다.
루마 MPM-리스트 도출을 위해, ALWIP-모드 
를 사용하는 이웃 루마 블록을 만날 때마다, 이 블록은 종래의 인트라 예측 모드 
을 사용하는 것처럼 취급된다. 크로마 MPM-리스트 도출을 위해, 현재 루마 블록이 LWIP-모드를 사용할 때마다, ALWIP-모드를 종래의 인트라 예측 모드로 변환하기 위해 동일한 맵핑이 사용된다.
2.5.8 대응하는 수정된 작업 초안
일부 실시예들에서, 이 섹션에서 설명된 바와 같이, 개시된 기술의 실시예들에 기초하여 intra_lwip_flag, intra_lwip_mpm_flag, intra_lwip_mpm_idx 및 intra_lwip_mpm_remainder에 관련된 부분들이 작업 초안에 추가되었다.
일부 실시예들에서, 이 섹션에서 설명된 바와 같이, 개시된 기술의 실시예들에 기초하여 작업 초안에 대한 추가들 및 수정들을 나타내기 위해 <begin> 및 <end> 태그들이 사용된다.
신택스 테이블들
코딩 유닛 신택스
시맨틱스
<begin>intra_lwip_flag[ x0 ][ y0 ]이 1인 것은 루마 샘플들에 대한 인트라 예측 타입이 아핀 선형 가중 인트라 예측인 것을 지정한다. intra_lwip_flag[ x0 ][ y0 ]이 0인 것은 루마 샘플들에 대한 인트라 예측 타입이 아핀 선형 가중 인트라 예측이 아닌 것을 지정한다.
intra_lwip_flag[ x0 ][ y0 ]이 존재하지 않을 때, 그것은 0인 것으로 추론된다.
신택스 요소들 intra_lwip_mpm_flag[ x0 ][ y0 ], intra_lwip_mpm_idx[ x0 ][ y0 ] 및 intra_lwip_mpm_remainder[ x0 ][ y0 ]은 루마 샘플들에 대한 아핀 선형 가중 인트라 예측 모드를 지정한다. 어레이 인덱스들 x0, y0은 픽처의 상단-좌측 루마 샘플에 대한 고려된 코딩 블록의 상단-좌측 루마 샘플의 위치 (x0, y0)를 지정한다. intra_lwip_mpm_flag[ x0 ][ y0 ]이 1일 때, 아핀 선형 가중 인트라 예측 모드는 조항 8.4.X에 따라 이웃 인트라-예측된 코딩 유닛으로부터 추론된다.
intra_lwip_mpm_flag[ x0 ][ y0 ]이 존재하지 않을 때, 그것은 1인 것으로 추론된다.<end>
intra_subpartitions_split_flag[ x0 ][ y0 ]은 인트라 서브파티션 스플릿 타입이 수평인지 수직인지를 지정한다. intra_subpartitions_split_flag[ x0 ][ y0 ]이 존재하지 않을 때, 그것은 다음과 같이 추론된다:
- intra_lwip_flag[ x0 ][ y0 ]이 1인 경우, intra_subpartitions_split_flag[ x0 ][ y0]은 0인 것으로 추론된다.
- 그렇지 않으면, 다음이 적용된다:
- cbHeight가 MaxTbSizeY보다 큰 경우, intra_subpartitions_split_flag[ x0 ][ y0]은 0인 것으로 추론된다.
- 그렇지 않으면(cbWidth가 MaxTbSizeY보다 크면), intra_subpartitions_split_flag[ x0 ][ y0 ]은 1인 것으로 추론된다.
디코딩 처리
8.4.1 인트라 예측 모드에서 코딩된 코딩 유닛들에 대한 일반적인 디코딩 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 코딩 블록의 상단-좌측 샘플을 지정하는 루마 위치(xCb, yCb),
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight,
- 단일 또는 이중 트리가 사용되는지를 지정하고, 이중 트리가 사용되면, 현재 트리가 루마 또는 크로마 성분들에 대응하는지를 지정하는 변수 treeType.
이 프로세스의 출력은 인-루프 필터링 전의 수정된 재구성된 픽처이다.
조항 8.7.1에 지정된 바와 같은 양자화 파라미터들에 대한 도출 프로세스는 루마 위치 (xCb, yCb), 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight, 및 변수 treeType를 입력들로 하여 호출된다.
treeType가 SINGLE_TREE와 동일하거나 treeType가 DUAL_TREE_LUMA와 동일할 때, 루마 샘플들에 대한 디코딩 프로세스는 다음과 같이 지정된다:
- pcm_flag[ xCb ][ yCb ]가 1인 경우, 재구성된 픽처는 다음과 같이 수정된다:
- 그렇지 않으면, 다음이 적용된다:
1. 루마 인트라 예측 모드는 다음과 같이 도출된다:
- intra_lwip_flag[ xCb ][ yCb ]가 1인 경우, 조항 8.4.X에 지정된 바와 같은 아핀 선형 가중 인트라 예측 모드에 대한 도출 프로세스가 루마 위치 (xCb, yCb), 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출된다.
- 그렇지 않으면, 조항 8.4.2에 지정된 바와 같은 루마 인트라 예측 모드에 대한 도출 프로세스가 루마 위치 (xCb, yCb), 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출된다.
2. 조항 8.4.4.1에 지정된 바와 같은 인트라 블록들에 대한 일반적인 디코딩 프로세스는 루마 위치 (xCb, yCb), 트리 타입 treeType, cbWidth와 동일하게 설정된 변수 nTbW, cbHeight와 동일하게 설정된 변수 nTbH, IntraPredModeY[ xCb ][ yCb ]와 동일하게 설정된 변수 predModeIntra, 및 0과 동일하게 설정된 변수 cIdx를 입력들로 하여 호출되고, 출력은 인-루프 필터링 전에 수정된 재구성된 픽처이다.
…
<begin>
8.4.X 아핀 선형 가중 인트라 예측 모드에 대한 도출 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 루마 코딩 블록의 상단-좌측 샘플을 지정하는 루마 위치(xCb, yCb),
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스에서, 아핀 선형 가중 인트라 예측 모드 IntraPredModeY[ xCb ][ yCb ]가 도출된다.
IntraPredModeY[ xCb ][ yCb ]는 다음의 순서화된 단계들에 의해 도출된다:
1. 이웃 위치들 (xNbA, yNbA) 및 (xNbB, yNbB)은 각각 (xCb-1, yCb) 및 (xCb, yCb-1)과 동일하게 설정된다.
2. X가 A 또는 B로 대체되는 경우, 변수들 candLwipModeX는 다음과 같이 도출된다:
- 조항 6.4.X [Ed. (BB): 이웃 블록들 가용성 검사 프로세스 tbd]에 지정된 바와 같은 블록에 대한 가용성 도출 프로세스는 (xCb, yCb)와 동일하게 설정된 위치 (xCurr, yCurr) 및 (xNbX, yNbX)와 동일하게 설정된 이웃 위치 (xNbY, yNbY)를 입력들로 하여 호출되고, 출력은 availableX에 할당된다.
- 후보 아핀 선형 가중 인트라 예측 모드 candLwipModeX는 다음과 같이 도출된다:
- 다음의 조건들 중 하나 이상이 참이면, candLwipModeX는 -1과 동일하게 설정된다.
- 변수 availableX는 FALSE와 동일하다.
- CuPredMode[ xNbX ][ yNbX ]는 MODE_INTRA와 동일하지 않고 mh_intra_flag[ xNbX ][ yNbX ]는 1과 동일하지 않다.
- pcm_flag[ xNbX ][ yNbX ]는 1과 동일하다.
- X는 B와 동일하고, yCb-1은 ( ( yCb >> CtbLog2SizeY ) << CtbLog2SizeY )보다 작다.
- 그렇지 않으면, 다음이 적용된다:
- 조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출되고, 출력은 변수 sizeId에 할당된다.
- intra_lwip_flag[ xNbX ][ yNbX ]가 1인 경우, 조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 루마 샘플들에서의 이웃 코딩 블록의 폭 nbWidthX 및 루마 샘플들에서의 이웃 코딩 블록의 높이 nbHeightX 입력으로 하여 호출되고, 출력은 변수 sizeIdX에 할당된다.
- sizeId가 sizeIdX와 동일하면, candLwipModeX는 IntraPredModeY[ xNbX ][ yNbX ]와 동일하게 설정된다.
- 그렇지 않으면, candLwipModeX는 -1과 동일하게 설정된다.
- 그렇지 않으면, candLwipModeX는 표 8-X1에 지정된 바와 같이 IntraPredModeY[ xNbX ][ yNbX ] 및 sizeId를 사용하여 도출된다.
3. candLwipModeList[ x ](x = 0..2)는 표 8-X2에 지정된 바와 같은 lwipMpmCand[ sizeId ]를 사용하여 다음과 같이 도출된다:
- candLwipModeA와 candLwipModeB가 양자 모두 -1이면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
- candLwipModeA가 candLwipModeB와 동일하거나 candLwipModeA 또는 candLwipModeB 중 어느 하나가 -1이면, 다음이 적용된다:
- candLwipModeList[ 0 ]이 lwipMpmCand[ sizeId ][ 0 ]과 동일하면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
- candLwipModeA와 candLwipModeB가 양자 모두 lwipMpmCand[ sizeId ][ 0 ]과 동일하지 않으면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
- candLwipModeA와 candLwipModeB가 양자 모두 lwipMpmCand[ sizeId ][ 1 ]과 동일하지 않으면, 다음이 적용된다:
- 그렇지 않으면, 다음이 적용된다:
4. IntraPredModeY[ xCb ][ yCb ]는 다음의 절차를 적용함으로써 도출된다:
- intra_lwip_mpm_flag[ xCb ][ yCb ]가 1이면, IntraPredModeY[ xCb ][ yCb ]는 candLwipModeList[ intra_lwip_mpm_idx[ xCb ][ yCb ] ]와 동일하게 설정된다.
- 그렇지 않으면, IntraPredModeY[ xCb ][ yCb ]는 다음의 순서화된 단계들을 적용함으로써 도출된다:
1. candLwipModeList[ i ]가 i = 0..1에 대해 candLwipModeList[ j ]보다 크고, 각각의 i에 대해 j = ( i + 1 )..2일 때, 양자 모두의 값들은 다음과 같이 스와핑된다:
2. IntraPredModeY[ xCb ][ yCb ]는 다음의 순서화된 단계들에 의해 도출된다:
i. IntraPredModeY[ xCb ][ yCb ]는 intra_lwip_mpm_remainder[ xCb ][ yCb ]와 동일하게 설정된다.
ii. i가 0 내지 2(경계값 포함)와 동일한 경우, IntraPredModeY[ xCb ][ yCb ]가 candLwipModeList[ i ] 이상일 때, IntraPredModeY[ xCb ][ yCb ]의 값은 1씩 증분된다.
x = xCb..xCb + cbWidth - 1이고 y = yCb..yCb + cbHeight - 1인 변수 IntraPredModeY[ x ][ y ]는 IntraPredModeY[ xCb ][ yCb ]와 동일하게 설정된다.
8.4.X.1 예측 블록 크기 타입에 대한 도출 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스의 출력은 변수 sizeId이다.
변수 sizeId는 다음과 같이 도출된다:
- cbWidth와 cbHeight 양자 모두가 4이면, sizeId는 0으로 설정된다.
- 그렇지 않고, cbWidth와 cbHeight 양자 모두가 8 이하이면, sizeId는 1로 설정된다.
- 그렇지 않으면, sizeId는 2로 설정된다.
<end>
8.4.2. 루마 인트라 예측 모드에 대한 도출 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 루마 코딩 블록의 상단-좌측 샘플을 지정하는 루마 위치(xCb, yCb),
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스에서, 루마 인트라 예측 모드 IntraPredModeY[ xCb ][ yCb ]가 도출된다.
표 8-1은 인트라 예측 모드 IntraPredModeY[ xCb ][ yCb ]에 대한 값 및 연관된 명칭들을 지정한다.
주석 - : 인트라 예측 모드들 INTRA_LT_CCLM, INTRA_L_CCLM 및 INTRA_T_CCLM은 크로마 성분들에만 적용가능하다.
IntraPredModeY[ xCb ][ yCb ]는 다음의 순서화된 단계들에 의해 도출된다:
1. 이웃 위치들 (xNbA, yNbA) 및 (xNbB, yNbB)은 각각 ( xCb - 1, yCb + cbHeight - 1 ) 및 ( xCb + cbWidth - 1, yCb - 1)과 동일하게 설정된다.
2. X가 A 또는 B로 대체되는 경우, 변수들 candIntraPredModeX는 다음과 같이 도출된다:
- 조항 <begin>6.4.X [Ed. (BB): 이웃 블록들 가용성 검사 프로세스 tbd] <end>에 지정된 바와 같은 블록에 대한 가용성 도출 프로세스는 (xCb, yCb)와 동일하게 설정된 위치 (xCurr, yCurr) 및 (xNbX, yNbX)와 동일하게 설정된 이웃 위치 (xNbY, yNbY)를 입력들로 하여 호출되고, 출력은 availableX에 할당된다.
- 후보 인트라 예측 모드 candIntraPredModeX는 다음과 같이 도출된다:
- 다음의 조건들 중 하나 이상이 참이면, candIntraPredModeX는 INTRA_PLANAR과 동일하게 설정된다.
- 변수 availableX는 FALSE와 동일하다.
- CuPredMode[ xNbX ][ yNbX ]는 MODE_INTRA와 동일하지 않고 ciip_flag[ xNbX ][ yNbX ]는 1과 동일하지 않다.
- pcm_flag[ xNbX ][ yNbX ]는 1과 동일하다.
- X는 B와 동일하고, yCb-1은 ( ( yCb >> CtbLog2SizeY ) << CtbLog2SizeY )보다 작다.
- 그렇지 않으면, candIntraPredModeX는 다음과 같이 도출된다:
- intra_lwip_flag[ xCb ][ yCb ]가 1이면, candIntraPredModeX는 다음의 순서화된 단계들에 의해 도출된다:
i. 조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출되고, 출력은 변수 sizeId에 할당된다.
ii. candIntraPredModeX는 표 8-X3에 지정된 바와 같은 IntraPredModeY[ xNbX ][ yNbX ] 및 sizeId를 사용하여 도출된다.
- 그렇지 않으면, candIntraPredModeX는 IntraPredModeY[ xNbX ][ yNbX ]와 동일하게 설정된다.
3. 변수들 ispDefaultMode1 및 ispDefaultMode2는 다음과 같이 정의된다:
- IntraSubPartitionsSplitType가 ISP_HOR_SPLIT와 동일하면, ispDefaultMode1은 INTRA_ANGULAR18과 동일하게 설정되고 ispDefaultMode2는 INTRA_ANGULAR5와 동일하게 설정된다.
- 그렇지 않으면, ispDefaultMode1은 INTRA_ANGULAR50과 동일하게 설정되고, ispDefaultMode2는 INTRA_ANGULAR63과 동일하게 설정된다.
…
8.4.3 크로마 인트라 예측 모드에 대한 도출 프로세스
이 프로세스에 대한 입력은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 크로마 코딩 블록의 상단-좌측 샘플을 지정하는 루마 위치(xCb, yCb),
- 루마 샘플들에서 현재 코딩 블록의 폭을 지정하는 변수 cbWidth,
- 루마 샘플들에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스에서, 크로마 인트라 예측 모드 IntraPredModeC[ xCb ][ yCb ]가 도출된다.
대응하는 루마 인트라 예측 모드 lumaIntraPredMode는 다음과 같이 도출된다:
- intra_lwip_flag[ xCb ][ yCb ]가 1이면, lumaIntraPredMode는 다음의 순서화된 단계들에 의해 도출된다:
i. 조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 루마 샘플들에서의 현재 코딩 블록의 폭 cbWidth 및 루마 샘플들에서의 현재 코딩 블록의 높이 cbHeight를 입력으로 하여 호출되고, 출력은 변수 sizeId에 할당된다.
ii. 루마 인트라 예측 모드는 표 8-X3에 지정된 바와 같은 IntraPredModeY[ xCb + cbWidth / 2 ][ yCb + cbHeight / 2 ] 및 sizeId를 사용하고 candIntraPredModeX의 값을 lumaIntraPredMode에 할당하여 도출된다.
- 그렇지 않으면, lumaIntraPredMode는 IntraPredModeY[ xCb + cbWidth / 2 ][ yCb + cbHeight / 2 ]와 동일하게 설정된다.
크로마 인트라 예측 모드 IntraPredModeC[ xCb ][ yCb]는 표 8-2 및 표 8-3에 지정된 바와 같은 intra_chroma_pred_mode[ xCb ][ yCb ] 및 lumaIntraPredMode를 사용하여 도출된다.
…
xxx. 인트라 샘플 예측
<begin>
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 상단 좌측 샘플에 대한 현재 변환 블록의 상단-좌측 샘플을 지정하는 샘플 위치( xTbCmp, yTbCmp ),
- 인트라 예측 모드를 지정하는 변수 predModeIntra,
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 코딩 블록 폭을 지정하는 변수 nCbW,
- 코딩 블록 높이를 지정하는 변수 nCbH,
- 현재 블록의 컬러 성분을 지정하는 변수 cIdx.
이 프로세스의 출력들은 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)이다.
예측된 샘플들 predSamples[ x ][ y ]는 다음과 같이 도출된다:
- intra_lwip_flag[ xTbCmp ][ yTbCmp ]가 1이고 cIdx가 0이면, 조항 8.4.4.2.X1에 지정된 바와 같은 아핀 선형 가중 인트라 샘플 예측 프로세스가 위치( xTbCmp, yTbCmp ), 인트라 예측 모드 predModeIntra, 변환 블록 폭 nTbW 및 높이 nTbH를 입력들로 하여 호출되고, 출력은 predSamples이다.
- 그렇지 않으면, 조항 8.4.4.2.X1.에 지정된 바와 같은 일반적인 인트라 샘플 예측 프로세스가 위치( xTbCmp, yTbCmp ), 인트라 예측 모드 predModeIntra, 변환 블록 폭 nTbW 및 높이 nTbH, 코딩 블록 폭 nCbW 및 높이 nCbH, 및 변수 cIdx를 입력들로 하여 호출되고, 출력은 predSamples이다.
8.4.4.2.X1 아핀 선형 가중 인트라 샘플 예측
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 상단 좌측 샘플에 대한 현재 변환 블록의 상단-좌측 샘플을 지정하는 샘플 위치( xTbCmp, yTbCmp ),
- 인트라 예측 모드를 지정하는 변수 predModeIntra,
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH.
이 프로세스의 출력들은 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)이다.
조항 8.4.X.1에 지정된 바와 같은 블록에 대한 크기 타입 도출 프로세스는 변환 블록 폭 nTbW 및 변환 블록 높이 nTbH를 입력으로 하여 호출되고, 출력은 변수 sizeId에 할당된다.
변수들 numModes, boundarySize, predW, predH 및 predC는 표 8-X4에 지정된 바와 같은 sizeId를 사용하여 도출된다.
플래그 isTransposed는 다음과 같이 도출된다:
플래그들 needUpsBdryHor 및 needUpsBdryVer은 다음과 같이 도출된다:
변수들 upsBdryW 및 upsBdryH는 다음과 같이 도출된다:
변수들 lwipW 및 lwipH는 다음과 같이 도출된다:
참조 샘플들 refT[ x ](x = 0..nTbW - 1) 및 refL[ y ](y = 0..nTbH - 1)의 생성을 위해, 조항 8.4.4.2.X2에 지정된 바와 같은 참조 샘플 도출 프로세스가 샘플 위치 ( xTbCmp, yTbCmp ), 변환 블록 폭 nTbW, 변환 블록 높이 nTbH를 입력들로 하여, 그리고 상단 및 좌측 참조 샘플들 refT[ x ](x = 0..nTbW - 1) 및 refL[ y ](y = 0..nTbH - 1)를, 각각, 출력들로 하여 호출된다.
경계 샘플들 p[ x ](x = 0..2 * boundarySize - 1)의 생성을 위해, 다음이 적용된다:
- 조항 8.4.4.2.X3에 지정된 바와 같은 경계 감소 프로세스는 상단 참조 샘플들에 대해 블록 크기 nTbW, 참조 샘플들 refT, 경계 크기 boundarySize, 업샘플링 경계 플래그 needUpsBdryVer, 및 업샘플링 경계 크기 upsBdryW를 입력들로 하여, 그리고 감소된 경계 샘플들 redT[ x ](x = 0..boundarySize - 1) 및 업샘플링 경계 샘플들 upsBdryT[ x ](x = 0..upsBdryW - 1)을 출력들로 하여 호출된다.
- 조항 8.4.4.2.X3에 지정된 바와 같은 경계 감소 프로세스는 좌측 참조 샘플들에 대해 블록 크기 nTbH, 참조 샘플들 refL, 경계 크기 boundarySize, 업샘플링 경계 플래그 needUpsBdryHor, 및 업샘플링 경계 크기 upsBdryH를 입력들로 하여, 그리고 감소된 경계 샘플들 redL[ x ](x = 0..boundarySize - 1) 및 업샘플링 경계 샘플들 upsBdryL[ x ](x = 0..upsBdryH - 1)을 출력들로 하여 호출된다.
- 감소된 상단 및 좌측 경계 샘플들 redT 및 redL은 다음과 같이 경계 샘플 어레이 p에 할당된다:
- isTransposed가 1이면, p[ x ]는 redL[ x ](x = 0..boundarySize - 1)와 동일하게 설정되고, p[ x + boundarySize ]는 redT[ x ](x = 0..boundarySize - 1)와 동일하게 설정된다.
- 그렇지 않으면, p[ x ]는 redT[ x ](x = 0..boundarySize - 1)와 동일하게 설정되고, p[ x + boundarySize ]는 redL[ x ](x = 0..boundarySize - 1)와 동일하게 설정된다.
predModeIntra에 따른 인트라 샘플 예측 프로세스에 대해, 다음의 순서화된 단계들이 적용된다:
1. 아핀 선형 가중 샘플들 predLwip[ x ][ y ](x = 0..lwipW - 1, y = 0..lwipH - 1)은 다음과 같이 도출된다:
- 변수 modeId는 다음과 같이 도출된다:
- 가중치 행렬 mWeight[ x ][ y ](x = 0..2 * boundarySize - 1, y = 0..predC * predC - 1)는 표 8-XX [TBD: 가중치 행렬들 추가]에 지정된 바와 같은 sizeId 및 modeId를 사용하여 도출된다.
- 바이어스 벡터 vBias[ y ](y = 0..predC * predC - 1)는 표 8-XX [TBD: 바이어스 벡터들 추가]에 지정된 바와 같은 sizeId 및 modeId를 사용하여 도출된다.
- 변수 sW는 표 8-X5에 지정된 바와 같은 sizeId 및 modeId를 사용하여 도출된다.
- 아핀 선형 가중 샘플들 predLwip[ x ][ y ](x = 0..lwipW - 1, y = 0..lwipH - 1)은 다음과 같이 도출된다:
2. 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)는 다음과 같이 도출된다:
- isTransposed가 1일 때, predLwip[ x ][ y ](x = 0..predW - 1, y = 0..predH - 1)는 predLwip[ y ][ x ]와 동일하게 설정된다.
- needUpsBdryVer이 TRUE이거나 needUpsBdryHor이 TRUE이면, 조항 8.4.4.2.X4에 지정된 바와 같은 예측 업샘플링 프로세스는 입력 블록 폭 predW, 입력 블록 높이 predH, 아핀 선형 가중 샘플들 predLwip, 변환 블록 폭 nTbW, 변환 블록 높이 nTbH, 업샘플링 경계 폭 upsBdryW, 업샘플링 경계 높이 upsBdryH, 상단 업샘플링 경계 샘플들 upsBdryT, 및 좌측 업샘플링 경계 샘플들 upsBdryL을 입력들로 하여 호출되고, 출력은 예측된 샘플 어레이 predSamples이다.
- 그렇지 않으면, predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)는 predLwip[ x ][ y ]와 동일하게 설정된다.
8.4.4.2.X2 참조 샘플 도출 프로세스
이 프로세스에 대한 입력들은 다음과 같다:
- 현재 픽처의 상단 좌측 루마 샘플에 대한 현재 변환 블록의 상단-좌측 루마 샘플을 지정하는 샘플 위치( xTbY, yTbY ),
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH.
이 프로세스의 출력들은 각각 상단 및 좌측 참조 샘플들 refT[ x ](x = 0..nTbW - 1) 및 refL[ y ](y = 0..nTbH - 1)이다.
이웃 샘플들 refT[ x ](x = 0..nTbW - 1) 및 refL[ y ](y = 0..nTbH - 1)은 인-루프 필터 프로세스 전에 구성된 샘플들이고 다음과 같이 도출된다:
- 상단 및 좌측 이웃 루마 위치들 ( xNbT, yNbT ) 및 ( xNbL, yNbL )은 다음에 의해 지정된다:
- 조항 6.4.X [Ed. (BB): 이웃 블록들 가용성 검사 프로세스 tbd]에 지정된 바와 같은 블록에 대한 가용성 도출 프로세스는 (xTbY, yTbY)와 동일하게 설정된 현재 루마 위치 (xCurr, yCurr) 및 상단 이웃 루마 위치 (xNbT, yNbT)를 입력들로 하여 호출되고, 출력은 availTop[ x ](x = 0..nTbW - 1)에 할당된다.
- 조항 6.4.X [Ed. (BB): 이웃 블록들 가용성 검사 프로세스 tbd]에 지정된 바와 같은 블록에 대한 가용성 도출 프로세스는 (xTbY, yTbY)와 동일하게 설정된 현재 루마 위치 (xCurr, yCurr) 및 좌측 이웃 루마 위치 (xNbL, yNbL)를 입력들로 하여 호출되고, 출력은 availLeft[ y ](y = 0..nTbH - 1)에 할당된다.
- 상단 참조 샘플들 refT[ x ](x = 0..nTbW - 1)는 다음과 같이 도출된다:
- 모든 availTop[ x ](x = 0..nTbW - 1)가 TRUE이면, 위치 ( xNbT, yNbT )에 있는 샘플은 refT[ x ](x = 0..nTbW - 1)에 할당된다.
- 그렇지 않고, availTop[ 0 ]이 FALSE이면, 모든 refT[ x ](x = 0..nTbW - 1)는 1 << ( BitDepthY - 1 )과 동일하게 설정된다.
- 그렇지 않으면, 참조 샘플들 refT[ x ](x = 0..nTbW - 1)는 다음의 순서화된 단계들에 의해 도출된다:
1. 변수 lastT는 FALSE와 동일한 x = 1..nTbW - 1인 시퀀스 availTop[ x ]에서의 제1 요소의 위치 x와 동일하게 설정된다.
2. 모든 x = 0..lastT - 1에 대해, 위치 ( xNbT, yNbT )에 있는 샘플은 refT[ x ]에 할당된다.
3. 모든 x = lastT..nTbW - 1에 대해, refT[ x ]는 refT[ lastT - 1 ] 과 동일하게 설정된다.
- 좌측 참조 샘플들 refL[ y ](x = 0..nTbH - 1)는 다음과 같이 도출된다:
- 모든 availLeft[ y ](y = 0..nTbH - 1가 TRUE이면, 위치 ( xNbL, yNbL )에 있는 샘플은 refL[ y ](y = 0..nTbH - 1)에 할당된다.
- 그렇지 않고, availLeft[ 0 ]이 FALSE이면, 모든 refL[ y ](y = 0..nTbH - 1)는 1 << ( BitDepthY - 1 )과 동일하게 설정된다.
- 그렇지 않으면, 참조 샘플들 refL[ y ](y = 0..nTbH - 1)는 다음의 순서화된 단계들에 의해 도출된다:
1. 변수 lastL는 FALSE와 동일한 y = 1..nTbH - 1인 시퀀스 availLeft[ y ]에서의 제1 요소의 위치 y와 동일하게 설정된다.
2. 모든 y = 0..lastL - 1에 대해, 위치 ( xNbL, yNbL )에 있는 샘플은 refL[ y ]에 할당된다.
3. 모든 y = lastL..nTbH - 1에 대해, refL[ y ]는 refL[ lastL - 1 ]과 동일하게 설정된다.
경계 감소 프로세스의 사양
이 프로세스에 대한 입력들은 다음과 같다:
- 변환 블록 크기를 지정하는 변수 nTbX,
- 참조 샘플들 refX[ x ](x = 0..nTbX - 1),
- 다운샘플링된 경계 크기를 지정하는 변수 boundarySize,
- 중간 경계 샘플들이 업샘플링을 위해 요구되는지를 지정하는 플래그 needUpsBdryX,
- 업샘플링을 위한 경계 크기를 지정하는 변수 upsBdrySize.
이 프로세스의 출력들은 감소된 경계 샘플들 redX[ x ](x = 0..boundarySize - 1) 및 업샘플링 경계 샘플들 upsBdryX[ x ](x = 0..upsBdrySize - 1)이다.
업샘플링 경계 샘플들 upsBdryX[ x ](x = 0..upsBdrySize - 1)는 다음과 같이 도출된다:
- needUpsBdryX가 TRUE이고 upsBdrySize가 nTbX 미만이면, 다음이 적용된다:
- 그렇지 않으면(upsBdrySize가 nTbX와 동일하면), upsBdryX[ x ]는 refX[ x ]와 동일하게 설정된다.
감소된 경계 샘플들 redX[ x ](x = 0..boundarySize - 1)는 다음과 같이 도출된다:
- boundarySize가 upsBdrySize 미만이면, 다음이 적용된다:
- 그렇지 않으면(boundarySize가 upsBdrySize와 동일하면), redX[ x ]는 upsBdryX[ x ]와 동일하게 설정된다.
8.4.4.2.X4 예측 업샘플링 프로세스의 사양
이 프로세스에 대한 입력들은 다음과 같다:
- 입력 블록 폭을 지정하는 변수 predW,
- 입력 블록 높이를 지정하는 변수 predH,
- 아핀 선형 가중 샘플들 predLwip[ x ][ y ](x = 0..predW - 1, y = 0..predH - 1),
- 변환 블록 폭을 지정하는 변수 nTbW,
- 변환 블록 높이를 지정하는 변수 nTbH,
- 업샘플링 경계 폭을 지정하는 변수 upsBdryW,
- 업샘플링 경계 높이를 지정하는 변수 upsBdryH,
- 상단 업샘플링 경계 샘플들 upsBdryT[ x ](x = 0..upsBdryW - 1),
- 좌측 업샘플링 경계 샘플들 upsBdryL[ x ](x = 0..upsBdryH - 1).
이 프로세스의 출력들은 예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)이다.
희소 예측된 샘플들 predSamples[ m ][ n ]은 다음과 같이 predLwip[ x ][ y ](x = 0..predW - 1, y = 0..predH - 1)로부터 도출된다:
상단 경계 샘플들 upsBdryT[ x ](x = 0..upsBdryW - 1)는 다음과 같이 predSamples[ m ][ -1 ]에 할당된다:
좌측 경계 샘플들 upsBdryL[ y ](y = 0..upsBdryH - 1)는 다음과 같이 predSamples[ -1 ][ n ]에 할당된다:
예측된 샘플들 predSamples[ x ][ y ](x = 0..nTbW - 1, y = 0..nTbH - 1)는 다음과 같이 도출된다:
- nTbH가 nTbW보다 크면, 다음의 순서화된 단계들이 적용된다:
1. upHor이 1보다 클 때, 모든 희소 위치들 ( xHor, yHor ) = ( m * upHor - 1, n * upVer - 1 ) (m = 0..predW - 1, n = 1..predH)에 대한 수평 업샘플링이 다음과 같이 dX = 1..upHor - 1로 적용된다:
2. 모든 희소 위치들 ( xVer, yVer ) = ( m, n * upVer - 1 ) (m = 0..nTbW - 1, n = 0..predH - 1)에 대한 수직 업샘플링이 다음과 같이 dY = 1..upVer - 1로 적용된다:
- 그렇지 않으면, 다음의 순서화된 단계들이 적용된다:
1. upVer이 1보다 클 때, 모든 희소 위치들 ( xVer, yVer ) = ( m * upHor - 1, n * upVer - 1 ) (m = 1..predW, n = 0..predH - 1)에 대한 수직 업샘플링이 (8-X40)에 지정된 바와 같은 dY = 1..upVer - 1로 적용된다.
2. 모든 희소 위치들 ( xHor, yHor ) = ( m * upHor - 1, n ) (m = 0..predW - 1, n = 0..nTbH - 1)에 대한 수평 업샘플링이 (8-X39)에 지정된 바와 같은 dX = 1..upHor - 1로 적용된다.
<end>
<end>
ALWIP의 개요
폭 W 및 높이 H의 직사각형 블록의 샘플들을 예측하기 위해, 아핀 선형 가중 인트라 예측(ALWIP)은 블록의 좌측에 있는 H개의 재구성된 이웃 경계 샘플의 하나의 라인 및 블록 상측에 있는 W개의 재구성된 이웃 경계 샘플의 하나의 라인을 입력으로서 취한다. 재구성된 샘플들이 이용불가능한 경우, 이들은 종래의 인트라 예측에서 행해지는 바와 같이 생성된다. ALWIP는 루마 인트라 블록에만 적용된다. 크로마 인트라 블록의 경우, 종래의 인트라 코딩 모드들이 적용된다.
예측 신호의 생성은 다음의 3개의 단계에 기초한다:
1. 경계 샘플들 중에서, W=H=4인 경우에 4개의 샘플 및 모든 다른 경우에 8개의 샘플이 평균화에 의해 추출된다.
2. 오프셋의 가산이 뒤따르는 행렬 벡터 곱셈은 입력으로서 평균화된 샘플들을 사용하여 수행된다. 그 결과는 원래의 블록에서의 샘플들의 서브샘플링된 세트에 대한 감소된 예측 신호이다.
3. 나머지 위치들에서의 예측 신호는, 각각의 방향에서 단일 단계 선형 보간인 선형 보간에 의해 서브샘플링된 세트에 대한 예측 신호로부터 생성된다.
ALWIP 모드가 적용되는 경우, ALWIP 모드의 인덱스 predmode는 3개의 MPM을 갖는 MPM-리스트를 사용하여 시그널링된다. 여기서, MPM들의 도출은 다음과 같이 상측 및 좌측 PU의 인트라 모드들을 사용하여 수행된다. 각각의 종래의 인트라 예측 모드 predmodeAngular에 할당하는 3개의 고정 테이블 map_angular_to_alwipidx, idx∈{0,1,2}가 있으며, ALWIP 모드
폭(W) 및 높이(H)의 각각의 PU에 대해, 아래 인덱스
를 정의하며, 이는 3개의 세트 중 어느 것으로부터 ALWIP-파라미터들이 취해져야 하는지를 표시한다.
상측 예측 유닛(PUabove)이 이용가능하고, 현재 PU와 동일한 CTU에 속하며, 인트라 모드에 있는 경우, idx(PU)=idx(PUabove)인 경우 및 ALWIP가 ALWIP-모드 
로 PUabove에 적용되는 경우, 다음과 같이 된다:
상측 PU가 이용가능하고, 현재 PU와 동일한 CTU에 속하고 인트라 모드에 있는 경우 및 종래의 인트라 예측 모드 
가 상측 PU에 적용되는 경우, 다음과 같이 된다:
모든 다른 경우들에서,
가 되고, 이는 이 모드가 이용불가능하다는 것을 의미한다. 동일한 방식으로 그러나 좌측 PU가 현재 PU와 동일한 CTU에 속할 필요가 있다는 제한 없이, 모드 
를 도출한다.
마지막으로, 3개의 고정된 디폴트 리스트 listidx, idx∈{0,1,2}가 제공되고, 이들 각각은 3개의 별개의 ALWIP 모드를 포함한다. 디폴트 리스트 listidx(PU) 및 모드들 
및 
중에서, 반복들을 제거할 뿐만 아니라 디폴트 값들에 의해 -1을 치환함으로써 3개의 별개의 MPM을 구성한다.
루마 MPM-리스트 도출을 위해, ALWIP-모드 
를 사용하는 이웃 루마 블록을 만날 때마다, 이 블록은 종래의 인트라 예측 모드 
을 사용하는 것처럼 취급된다.
3 VVC에서의 변환
3.1 다중 변환 선택(multiple transform selection, MTS)
HEVC에서 채용된 DCT-II 외에도, 인터 및 인트라 코딩된 블록들 양자 모두를 잔차 코딩하기 위해 다중 변환 선택(MTS) 방식이 사용된다. 이는 DCT8/DST7로부터의 다중 선택된 변환들을 사용한다. 새롭게 도입된 변환 행렬들은 DST-VII 및 DCT-VIII이다.
3.2 JVET-N0193에서 제안된 감소된 2차 변환(Reduced Secondary Transform, RST)
감소된 2차 변환(RST)은 4x4 및 8x8 블록들에 대해 각각 16x16 및 16x64 비-분리형 변환을 적용한다. 1차 순방향 변환 및 역변환은 2개의 1-D 수평/수직 변환 패스들과 동일한 방식으로 여전히 수행된다. 2차 순방향 변환 및 역변환은 1차 변환들과는 별개의 프로세스 단계이다. 인코더의 경우, 1차 순방향 변환이 먼저 수행된 다음, 2차 순방향 변환 및 양자화, 그리고 CABAC 비트 인코딩이 후속된다. 디코더의 경우, CABAC 비트 디코딩 및 역양자화, 이어서 2차 역변환이 먼저 수행된 다음, 1차 역변환이 후속된다. RST는 인트라 슬라이스 및 인터 슬라이스들 양자 모두에서 인트라 코딩된 TU들에만 적용된다.
3.3 JVET-N0185에서의 인트라 모드 코딩을 위한 통합 MPM 리스트
다중 참조 라인(MRL) 및 인트라 서브-파티션(ISP) 코딩 툴들이 적용되는지 여부에 관계없이 인트라 블록들에 대해 통합 6-MPM 리스트가 제안된다. MPM 리스트는 VTM4.0에서와 같이 좌측 및 상측 이웃 블록의 인트라 모드들에 기초하여 구성된다. 좌측의 모드가 Left로 표시되고 상측 블록의 모드가 Above로 표시된다고 가정하면, 통합 MPM 리스트는 다음과 같이 구성된다:
●
이웃 블록이 이용가능하지 않을 때, 그 인트라 모드는 디폴트로 평면(Planar)으로 설정된다.
●
양자 모두의 모드들 Left 및 Above가 비-각도 모드들이면:
a. MPM 리스트 → {평면, DC, V, H, V-4, V+4}
●
모드들 Left 및 Above 중 하나가 각도 모드이고, 다른 하나가 비-각도 모드이면:
a. 모드 Max를 Left 및 Above에서 더 큰 모드로서 설정한다
b. MPM 리스트 → {평면, Max, DC, Max -1, Max +1, Max -2}
●
Left 및 Above가 양자 모두 각도 모드이고 이들이 상이하면:
a. 모드 Max를 Left 및 Above에서 더 큰 모드로서 설정한다
b. 모드 Left와 Above의 차이가 2 내지 62(경계값 포함)의 범위에 있으면
i. MPM 리스트 → {평면, Left, Above, DC, Max -1, Max +1}
c. 그렇지 않으면
i. MPM 리스트 → {평면, Left, Above, DC, Max -2, Max +2}
●
Left 및 Above가 양자 모두 각도 모드이고 이들이 동일하면:
a. MPM 리스트 → {평면, Left, Left -1, Left +1, DC, Left -2}
게다가, MPM 인덱스 코드워드의 제1 빈은 CABAC 컨텍스트 코딩된다. 현재 인트라 블록이 MRL 가능형인지, ISP 가능형인지, 또는 정상 인트라 블록인지에 대응하는 총 3개의 컨텍스트가 사용된다.
통합 MPM 리스트 구성에서 사용되는 좌측 이웃 블록 및 상측 이웃 블록은 도 10에 도시된 바와 같이 A2 및 B2이다.
하나의 MPM 플래그가 먼저 코딩된다. 블록이 MPM 리스트에서의 모드 중 하나로 코딩되면, MPM 인덱스가 추가로 코딩된다. 그렇지 않으면, (MPM들을 제외한) 나머지 모드들에 대한 인덱스가 코딩된다.
4 구현들에서의 단점들의 예들
JVET-N0217에서의 ALWIP의 설계는 다음의 문제들을 갖는다:
1) 2019년 3월 JVET 회의에서, MRL 모드, ISP 모드, 및 정상 인트라 모드에 대해 통합 6-MPM 리스트 생성이 채택되었다. 그러나, 아핀 선형 가중 예측 모드는 MPM 리스트 구성을 복잡하게 만드는 상이한 3-MPM 리스트 구성을 사용한다. 복잡한 MPM 리스트 구성은, 특히 4x4 샘플들과 같은 작은 블록들에 대해, 디코더의 스루풋을 손상시킬 수 있다.
2) ALWIP는 블록의 루마 성분에만 적용된다. ALWP 코딩된 블록의 크로마 성분의 경우, 크로마 모드 인덱스가 코딩되어 디코더에 전송되며, 이는 불필요한 시그널링을 초래할 수 있다.
3) ALWIP와 다른 코딩 툴들의 상호작용들이 고려되어야 한다.
4) 
(8-X31)로 upsBdryX를 계산할 때, 
은 -1과 동일하고, -1로 좌측 시프트되는 것은 정의되지 않는 것이 가능하다.
5) 예측 샘플들을 업샘플링할 때, 라운딩(rounding)이 적용되지 않는다.
6) 디블록킹(deblocking) 프로세스에서, ALWIP 코딩된 블록들은 정상 인트라-블록들로서 취급된다.
5 행렬 기반 인트라 코딩을 위한 예시적인 방법들
현재 개시된 기술의 실시예들은 기존의 구현들의 단점들을 극복함으로써, 더 높은 코딩 효율들을 갖지만 더 낮은 계산 복잡도를 갖는 비디오 코딩을 제공한다. 본 문서에 설명된 바와 같이, 비디오 코딩을 위한 행렬 기반 인트라 예측 방법들은 기존의 및 장래의 비디오 코딩 표준들 양자 모두를 향상시킬 수 있고, 다양한 구현들에 대해 설명된 다음의 예들에서 설명된다. 아래에 제공되는 개시된 기술의 예들은 일반적인 개념들을 설명하는 것이며, 제한하는 것으로 해석되도록 의도되지 않는다. 일 예에서, 명시적으로 반대로 표시되지 않는 한, 이러한 예들에서 설명된 다양한 특징들은 조합될 수 있다.
다음의 논의에서, 인트라 예측 모드는 각도 인트라 예측 모드(DC, 평면, CCLM 및 다른 가능한 인트라 예측 모드들을 포함함)를 지칭하며; 인트라 모드는 정상 인트라 모드, 또는 MRL, 또는 ISP 또는 ALWIP를 지칭한다.
다음의 논의에서, "다른 인트라 모드들"은 정상 인트라 모드, 또는 MRL, 또는 ISP와 같은, ALWIP를 제외한 하나 또는 다수의 인트라 모드를 지칭할 수 있다.
다음의 논의에서, SatShift(x, n)는 다음과 같이 정의된다:
Shift(x, n)은 
으로서 정의된다.
일 예에서, offset0 및/또는 offset1은 (1<<n)>>1 또는 (1<<(n-1))로 설정된다. 다른 예에서, offset0 및/또는 offset1은 0으로 설정된다.
다른 예에서, offset0=offset1= ((1<<n)>>1)-1 또는 ((1<<(n-1)))-1이다.
Clip3(min, max, x)은 다음과 같이 정의된다:
ALWIP에 대한 MPM 리스트 구성
1. ALWIP에 대한 MPM 리스트의 전부 또는 일부는 (정상 인트라 모드, MRL, 또는 ISP와 같은) 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성하기 위해 전부 또는 일부 절차에 따라 구성될 수 있다는 것이 제안된다.
a. 일 예에서, ALWIP에 대한 MPM 리스트의 크기는 비-ALWIP 인트라 모드에 대한 MPM 리스트의 크기와 동일할 수 있다.
i. 예를 들어, MPM 리스트의 크기는 ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대해 6이다.
b. 일 예에서, ALWIP에 대한 MPM 리스트는 비-ALWIP 인트라 모드에 대한 MPM 리스트로부터 도출될 수 있다.
i. 일 예에서, 비-ALWIP 인트라 모드에 대한 MPM 리스트가 먼저 구성될 수 있다. 그 후, 이들 중 일부 또는 전부는 ALWIP 코딩된 블록들에 대한 MPM 리스트에 더 추가될 수 있는 MPM들로 전환될 수 있다.
1) 대안적으로, 또한, 전환된 MPM을 ALWIP 코딩된 블록들에 대한 MPM 리스트에 추가할 때, 프루닝(pruning)이 적용될 수 있다.
2) 디폴트 모드들은 ALWIP 코딩된 블록들에 대한 MPM 리스트에 추가될 수 있다.
a. 일 예에서, 디폴트 모드들은 비-ALWIP 인트라 모드의 MPM 리스트로부터 전환된 것들 이전에 추가될 수 있다.
b. 대안적으로, 디폴트 모드들은 비-ALWIP 인트라 모드의 MPM 리스트로부터 전환된 것들 이후에 추가될 수 있다.
c. 대안적으로, 디폴트 모드들은 비-ALWIP 인트라 모드의 MPM 리스트로부터 전환된 것들과 인터리브 방식(interleaved way)으로 추가될 수 있다.
d. 일 예에서, 디폴트 모드들은 모든 종류의 블록들에 대해 동일하도록 고정될 수 있다.
e. 대안적으로, 디폴트 모드들은 이웃 블록들의 가용성, 이웃 블록들의 모드 정보, 블록 치수와 같은 코딩된 정보에 따라 결정될 수 있다.
ii. 일 예에서, 비-ALWIP 인트라 모드에 대한 MPM 리스트에서의 하나의 인트라 예측 모드는, ALWIP에 대한 MPM 리스트에 넣어질 때, 그 대응하는 ALWIP 인트라 예측 모드로 전환될 수 있다.
1) 대안적으로, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 모든 인트라 예측 모드들은 ALWIP에 대한 MPM 리스트를 구성하기 위해 사용되기 전에 대응하는 ALWIP 인트라 예측 모드들로 전환될 수 있다.
2) 대안적으로, 모든 후보 인트라 예측 모드들(이웃 블록들로부터의 인트라 예측 모드들과 평면 및 DC와 같은 디폴트 인트라 예측 모드들을 포함할 수 있음)은, 비-ALWIP 인트라 모드들에 대한 MPM 리스트가 ALWIP에 대한 MPM 리스트를 도출하기 위해 추가로 사용될 수 있다면, 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 구성하기 위해 사용되기 전에 대응하는 ALWIP 인트라 예측 모드들로 전환될 수 있다.
3) 일 예에서, 2개의 전환된 ALWIP 인트라 예측 모드가 비교될 수 있다.
a. 일 예에서, 이들이 동일하다면, 이들 중 하나만이 ALWIP에 대한 MPM 리스트에 넣어질 수 있다.
b. 일 예에서, 이들이 동일하다면, 이들 중 하나만이 비-ALWIP 인트라 모드들에 대한 MPM 리스트에 넣어질 수 있다.
iii. 일 예에서, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 S개의 인트라 예측 모드 중 K개가 ALWIP 모드에 대한 MPM 리스트로서 선택될 수 있다. 예를 들어, K는 3이고 S는 6이다.
1) 일 예에서, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 처음 K개의 인트라 예측 모드가 ALWIP 모드에 대한 MPM 리스트로서 선택될 수 있다.
2. ALWIP에 대한 MPM 리스트를 도출하는 데 사용되는 하나 또는 다수의 이웃 블록은 또한 (정상 인트라 모드, MRL, 또는 ISP와 같은) 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 도출하는 데 사용될 수 있다는 것이 제안된다.
a. 일 예에서, ALWIP에 대한 MPM 리스트를 도출하는데 사용되는 현재 블록의 좌측에 있는 이웃 블록은 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 도출하는데 사용되는 것과 동일해야 한다.
i. 현재 블록의 상단-좌측 코너가 (xCb, yCb)이고, 현재 블록의 폭 및 높이가 W 및 H라고 가정하면, 일 예에서, ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대한 MPM 리스트를 도출하는 데 사용되는 좌측 이웃 블록은 위치(xCb-1, yCb)를 커버할 수 있다. 대안적인 예에서, ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대한 MPM 리스트를 도출하는 데 사용되는 좌측 이웃 블록은 위치(xCb-1, yCb+H-1)를 커버할 수 있다.
ii. 예를 들어, 통합 MPM 리스트 구성에서 사용되는 좌측 이웃 블록 및 상측 이웃 블록은 도 10에 도시된 바와 같이 A2 및 B2이다.
b. 일 예에서, ALWIP에 대한 MPM 리스트를 도출하는데 사용되는 현재 블록의 상측에 있는 이웃 블록은 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 도출하는데 사용되는 것과 동일해야 한다.
i. 현재 블록의 상단-좌측 코너가 (xCb, yCb)이고, 현재 블록의 폭 및 높이가 W 및 H라고 가정하면, 일 예에서, ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대한 MPM 리스트를 도출하는 데 사용되는 상측 이웃 블록은 위치(xCb, yCb-1)를 커버할 수 있다. 대안적인 예에서, ALWIP 및 비-ALWIP 인트라 모드들 양자 모두에 대한 MPM 리스트를 도출하는 데 사용되는 상측 이웃 블록은 위치(xCb+W-1, yCb-1)를 커버할 수 있다.
ii. 예를 들어, 통합 MPM 리스트 구성에서 사용되는 좌측 이웃 블록 및 상측 이웃 블록은 도 10에 도시된 바와 같이 A1 및 B1이다.
3. ALWIP에 대한 MPM 리스트는 현재 블록의 폭 및/또는 높이에 따라 상이한 방식들로 구성될 수 있다는 것이 제안된다.
a. 일 예에서, 상이한 블록 치수들에 대해 상이한 이웃 블록들이 액세스될 수 있다.
4. ALWIP에 대한 MPM 리스트 및 비-ALWIP 인트라 모드들에 대한 MPM 리스트는 동일한 절차로 구성될 수 있지만 상이한 파라미터들로 구성될 수 있다는 것이 제안된다.
a. 일 예에서, 비-ALWIP 인트라 모드들의 MPM 리스트 구성 절차에서의 S개의 인트라 예측 모드 중 K개가 ALWIP 모드에서 사용되는 MPM 리스트에 대해 도출될 수 있다. 예를 들어, K는 3이고 S는 6이다.
i. 일 예에서, MPM 리스트 구성 절차에서의 처음 K개의 인트라 예측 모드가 ALWIP 모드에서 사용되는 MPM 리스트에 대해 도출될 수 있다.
b. 일 예에서, MPM 리스트에서의 제1 모드는 상이할 수 있다.
i. 예를 들어, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 제1 모드는 평면일 수 있지만, ALWIP에 대한 MPM 리스트에서의 모드 X0일 수 있다.
1) 일 예에서, X0은 평면으로부터 전환된 ALWIP 인트라 예측 모드일 수 있다.
c. 일 예에서, MPM 리스트에서의 스터핑 모드들은 상이할 수 있다.
i. 예를 들어, 비-ALWIP 인트라 모드들에 대한 MPM 리스트에서의 처음 3개의 스터핑 모드는 DC, 수직 및 수평일 수 있지만, 이들은 ALWIP에 대한 MPM 리스트에서의 모드 X1, X2, X3일 수 있다.
1) 일 예에서, X1, X2, X3은 상이한 sizeId에 대해 상이할 수 있다.
ii. 일 예에서, 스터핑 모드의 수는 상이할 수 있다.
d. 일 예에서, MPM 리스트에서의 이웃 모드들은 상이할 수 있다.
i. 예를 들어, 이웃 블록들의 정상 인트라 예측 모드들은 비-ALWIP 인트라 모드들에 대한 MPM 리스트를 구성하는 데 사용된다. 그리고 이들은 ALWIP 인트라 예측 모드들로 전환되어 ALWIP 모드에 대한 MPM 리스트를 구성한다.
e. 일 예에서, MPM 리스트에서의 시프트된 모드들은 상이할 수 있다.
i. 예를 들어, X+K0(여기서 X는 정상 인트라 예측 모드이고 K0은 정수임)이 비-ALWIP 인트라 모드들에 대한 MPM 리스트에 넣어질 수 있다. 그리고 Y+K1(여기서 Y는 ALWIP 인트라 예측 모드이고 K1은 정수임)은 ALWIP에 대한 MPM 리스트에 넣어질 수 있고, K0은 K1과 상이할 수 있다.
1) 일 예에서, K1은 폭 및 높이에 의존할 수 있다.
5. 비-ALWIP 인트라 모드들로 현재 블록에 대한 MPM 리스트를 구성할 때 ALWIP로 코딩되는 경우 이웃 블록이 이용불가능한 것으로서 취급된다는 것이 제안된다.
a. 대안적으로, 비-ALWIP 인트라 모드들로 현재 블록에 대한 MPM 리스트를 구성할 때 ALWIP로 코딩되는 경우 이웃 블록이 (평면과 같은) 미리 정의된 인트라 예측 모드로 코딩되는 것으로서 취급된다.
6. ALWIP 모드로 현재 블록에 대한 MPM 리스트를 구성할 때 비-ALWIP 인트라 모드들로 코딩되는 경우 이웃 블록이 이용불가능한 것으로서 취급된다는 것이 제안된다.
a. 대안적으로, ALWIP 모드로 현재 블록에 대한 MPM 리스트를 구성할 때 비-ALWIP 인트라 모드들로 코딩되는 경우 이웃 블록이 미리 정의된 ALWIP 인트라 예측 모드 X로 코딩되는 것으로서 취급된다.
i. 일 예에서, X는 폭 및/또는 높이와 같은 블록 치수들에 의존할 수 있다.
7. 라인 버퍼로부터 ALWIP 플래그의 저장을 제거하는 것이 제안된다.
a. 일 예에서, 액세스될 제2 블록이 현재 블록에 비해 상이한 LCU/CTU 행/영역에 위치할 때, 제2 블록이 ALWIP로 코딩되는지의 조건부 검사(conditional check)는 스킵된다.
b. 일 예에서, 액세스될 제2 블록이 현재 블록에 비해 상이한 LCU/CTU 행/영역에 위치할 때, 제2 블록은, 정상 인트라 코딩된 블록으로서 취급되는 것과 같은, 비-ALWIP 모드와 동일한 방식으로 취급된다.
8. ALWIP 플래그를 인코딩할 때, K(K>=0)개 이하의 컨텍스트가 사용될 수 있다.
a. 일 예에서, K=1이다.
9. ALWIP 모드와 연관된 모드 인덱스를 직접 저장하는 대신에 ALWIP 코딩된 블록들의 전환된 인트라 예측 모드를 저장하는 것이 제안된다.
a. 일 예에서, 하나의 ALWIP 코딩된 블록과 연관된 디코딩된 모드 인덱스는, 섹션 2.5.7에서 설명된 바와 같은 map_alwip_to_angular에 따라서와 같이, 정상 인트라 모드에 맵핑된다.
b. 대안적으로, 또한, ALWIP 플래그의 저장은 완전히 제거된다.
c. 대안적으로, 또한, ALWIP 모드의 저장은 완전히 제거된다.
d. 대안적으로, 또한, 하나의 이웃/현재 블록이 ALWIP 플래그로 코딩되는지의 조건부 검사는 스킵될 수 있다.
e. 대안적으로, 또한, ALWIP 코딩된 블록들에 대해 할당된 모드들의 전환 및 하나의 액세스된 블록과 연관된 정상 인트라 예측들이 스킵될 수 있다.
상이한 컬러 성분들에서의 ALWIP
10. 추론된 크로마 인트라 모드(예를 들어, DM 모드)는 대응하는 루마 블록이 ALWIP 모드로 코딩되는 경우 항상 적용될 수 있다는 것이 제안된다.
a. 일 예에서, 크로마 인트라 모드는 대응하는 루마 블록이 ALWIP 모드로 코딩되는 경우 시그널링 없이 DM 모드인 것으로 추론된다.
b. 일 예에서, 대응하는 루마 블록은 주어진 위치(예를 들어, 현재 크로마 블록의 상단-좌측, 현재 크로마 블록의 중심)에 위치한 크로마 샘플의 대응하는 샘플을 커버하는 것일 수 있다.
c. 일 예에서, DM 모드는 (ALWIP) 모드를 정상 인트라 모드 중 하나에 맵핑하는 것을 통해서와 같이, 대응하는 루마 블록의 인트라 예측 모드에 따라 도출될 수 있다.
11. 크로마 블록들의 대응하는 루마 블록이 ALWIP 모드로 코딩될 때, 몇몇 DM 모드들이 도출될 수 있다.
12. 하나의 대응하는 루마 블록이 ALWIP 모드로 코딩되는 경우 크로마 블록들에 특수 모드가 할당된다는 것이 제안된다.
a. 일 예에서, 특수 모드는 ALWIP 코딩된 블록들과 연관된 인트라 예측 모드에 관계없이 주어진 정상 인트라 예측 모드인 것으로 정의된다.
b. 일 예에서, 인트라 예측의 상이한 방식들이 이 특수 모드에 할당될 수 있다.
13. ALWIP가 또한 크로마 성분들에 적용될 수 있다는 것이 제안된다.
a. 일 예에서, 행렬 및/또는 바이어스 벡터는 상이한 컬러 성분들에 대해 상이할 수 있다.
b. 일 예에서, 행렬 및/또는 바이어스 벡터는 Cb 및 Cr에 대해 공동으로 미리 정의될 수 있다.
i. 일 예에서, Cb 및 Cr 성분은 연결될 수 있다.
ii. 일 예에서, Cb 및 Cr 성분은 인터리빙될 수 있다.
c. 일 예에서, 크로마 성분은 대응하는 루마 블록과 동일한 ALWIP 인트라 예측 모드를 공유할 수 있다.
i. 일 예에서, 대응하는 루마 블록이 ALWIP 모드를 적용하고 크로마 블록이 DM 모드로 코딩되는 경우, 동일한 ALWIP 인트라 예측 모드가 크로마 성분에 적용된다.
ii. 일 예에서, 동일한 ALWIP 인트라 예측 모드가 크로마 성분에 적용되고 그 후 선형 보간이 스킵될 수 있다.
iii. 일 예에서, 동일한 ALWIP 인트라 예측 모드가 서브샘플링된 행렬 및/또는 바이어스 벡터와 함께 크로마 성분에 적용된다.
d. 일 예에서, 상이한 성분에 대한 ALWIP 인트라 예측 모드의 수는 상이할 수 있다.
i. 예를 들어, 크로마 성분들에 대한 ALWIP 인트라 예측 모드의 수는 동일한 블록 폭 및 높이에 대한 루마 성분에 대한 것보다 적을 수 있다.
ALWIP의 적용가능성
14. ALWIP가 적용될 수 있는지가 시그널링될 수 있다는 것이 제안된다.
a. 예를 들어, 그것은 시퀀스 레벨에서(예를 들어, SPS에서), 픽처 레벨에서(예를 들어, PPS 또는 픽처 헤더에서), 슬라이스 레벨에서(예를 들어, 슬라이스 헤더에서), 타일 그룹 레벨에서(예를 들어, 타일 그룹 헤더에서), 타일 레벨에서, CTU 행 레벨에서, 또는 CTU 레벨에서 시그널링될 수 있다.
b. 예를 들어, intra_lwip_flag는 ALWIP가 적용될 수 없는 경우 시그널링되지 않고 0인 것으로 추론될 수 있다.
15. ALWIP가 적용될 수 있는지는 블록 폭(W) 및/또는 높이(H)에 의존할 수 있다는 것이 제안된다.
c. 예를 들어, W>=T1(또는 W>T1) 및 H>=T2(또는 H>T2)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T1=T2=32;
i. 예를 들어, W<=T1(또는 W<T1) 및 H<=T2(또는 H<T2)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T1=T2=32;
d. 예를 들어, W>=T1(또는 W>T1) 또는 H>=T2(또는 H>T2)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T1=T2=32;
i. 예를 들어, W<=T1(또는 W<T1) 또는 H<=T2(또는 H<T2)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T1=T2=32, 또는 T1=T2=8;
e. 예를 들어, W+H>=T(또는 W*H>T)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T=256;
i. 예를 들어, W+H<=T(또는 W+H<T)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T=256;
f. 예를 들어, W*H>=T(또는 W*H>T)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T=256;
i. 예를 들어, W*H<=T(또는 W*H<T)이면 ALWIP가 적용되지 않을 수 있다. 예를 들어, T=256;
g. 예를 들어, intra_lwip_flag는 ALWIP가 적용될 수 없는 경우 시그널링되지 않고 0인 것으로 추론될 수 있다.
ALWIP에서의 산출 문제들
16. ALWIP에 수반되는 임의의 시프트 연산은 단지 S만큼 숫자를 좌측 시프트 또는 우측 시프트만 할 수 있으며, 여기서 S는 0 이상이어야 한다는 것이 제안된다.
a. 일 예에서, 우측 시프트 연산은 S가 0과 같거나 0보다 클 때 상이할 수 있다.
i. 일 예에서, upsBdryX[ x ]는 uDwn>1일 때 
, 및 uDwn이 1일 때 
로서 산출되어야 한다.
b. 일 예에서, upsBdryX[ x ]는 
로서 산출되어야 한다.
17. ALWIP의 업샘플링 프로세스에서 결과들이 0을-향해 또는 0으로부터-멀리 라운딩되어야 한다는 것이 제안된다.
a. 일 예에서,
및
여기서 offsetHor 및 offsetVer은 정수들이다. 예를 들어, offsetHor=upHor/2 및 offsetVer=upVer/2이다.
다른 코딩 툴들과의 상호작용
18. ALWIP가 CIIP-코딩된 블록에 사용될 수 있다는 것이 제안된다.
a. 일 예에서, CIIP-코딩된 블록에서는, 인트라 예측 신호를 생성하기 위해 ALWIP 인트라 예측 모드 또는 평면과 같은 정상 인트라 예측 모드가 사용되는지가 명시적으로 시그널링될 수 있다.
b. 일 예에서, 인트라 예측 신호를 생성하기 위해 ALWIP 인트라 예측 모드 또는 평면과 같은 정상 인트라 예측 모드가 사용될 수 있는지가 암시적으로 추론될 수 있다.
i. 일 예에서, ALWIP 인트라 예측 모드는 CIIP 코딩된 블록에서 결코 사용되지 않을 수 있다.
1) 대안적으로, 정상 인트라 예측은 CIIP 코딩된 블록에서 결코 사용되지 않을 수 있다.
ii. 일 예에서, 인트라 예측 신호를 생성하기 위해 ALWIP 인트라 예측 모드 또는 평면과 같은 정상 인트라 예측 모드가 사용되는지가 이웃 블록들의 정보로부터 추론될 수 있다.
19. CCLM 모드에서 이웃 루마 샘플들을 다운샘플링하는 데 사용되는 절차의 전부 또는 일부가 ALWIP 모드에서 이웃 샘플들을 다운샘플링하는 데 사용될 수 있다는 것이 제안된다.
a. 대안적으로, ALWIP 모드에서 이웃 루마 샘플들을 다운샘플링하는 데 사용되는 절차의 전부 또는 일부가 CCLM 모드에서 이웃 샘플들을 다운샘플링하는 데 사용될 수 있다.
b. 다운샘플링 절차는 CCLM 프로세스 및 ALWIP 프로세스에서 사용될 때 상이한 파라미터들/인수들로 호출될 수 있다.
c. 일 예에서, CCLM 프로세스에서의 (이웃 루마 위치들의 선택, 다운샘플링 필터들과 같은) 다운샘플링 방법은 ALWIP 프로세스에서 이용될 수 있다.
d. 이웃 루마 샘플들을 다운샘플링하는 데 사용되는 절차는 다운샘플링된 위치들의 선택, 다운샘플링 필터들, 라운딩 및 클리핑 연산들을 적어도 포함한다.
20. ALWIP 모드로 코딩된 블록은 RST 또는/및 2차 변환 또는/및 회전 변환 또는/및 비-분리형 2차 변환(Non-Separable Secondary Transform, NSST)을 적용할 수 없다는 것이 제안된다.
a. 일 예에서, 이러한 제약이 적용될 수 있는지의 여부는, 예를 들어, (15)에서 설명된 조건들과 동일하게, 블록의 치수 정보에 의존할 수 있다.
b. 대안적으로, ALWIP 모드는 RST 또는/및 2차 변환 또는/및 회전 변환 또는/및 NSST가 적용될 때 허용되지 않을 수 있다.
c. 대안적으로, ALWIP 모드로 코딩된 블록은 RST 또는/및 2차 변환 또는/및 회전 변환 또는/및 비-분리형 2차 변환(NSST)을 적용할 수 있다.
i. 일 예에서, 변환 행렬의 선택은 ALWIP 인트라 예측 모드에 의존할 수 있다.
ii. 일 예에서, 변환 행렬의 선택은 ALWIP 인트라 예측 모드로부터 전환되는 정상 인트라 예측 모드에 의존할 수 있다.
iii. 일 예에서, 변환 행렬의 선택은 ALWIP 인트라 예측 모드로부터 전환되는 정상 인트라 예측 모드에 대한 분류에 의존할 수 있다.
21. ALWIP 모드로 코딩된 블록은 블록-기반 DPCM(BDPCM) 또는 잔차 RDPCM을 적용할 수 없다는 것이 제안된다.
a. 대안적으로, ALWIP 모드는 BDPCM 또는 RDPCM이 적용될 때 허용되지 않을 수 있다.
22. ALWIP 모드로 코딩된 블록은 변환으로서 DCT-II만을 사용할 수 있다는 것이 제안된다.
a. 일 예에서, 변환 행렬 인덱스들의 시그널링은 항상 스킵된다.
b. 대안적으로, ALWIP 모드로 코딩된 블록에 사용되는 변환이 명시적으로 시그널링되는 대신에 암시적으로 도출될 수 있다는 것이 제안된다. 예를 들어, 변환은 JVET-M0303에서 제안된 방식에 따라 선택될 수 있다.
c. 대안적으로, ALWIP 모드로 코딩된 블록은 변환 스킵만을 사용할 수 있다는 것이 제안된다.
i. 대안적으로, 또한, ALWIP가 사용될 때, 변환 스킵의 사용의 표시의 시그널링은 스킵된다.
d. 일 예에서, ALWIP 모드 정보(예컨대, 인에이블/디스에이블, 예측 모드 인덱스)는 변환 행렬의 표시 이후에 조건부로 시그널링될 수 있다.
i. 일 예에서, 주어진 변환 행렬(예컨대, 변환 스킵 또는 DCT-II)에 대해, ALWIP 모드 정보의 표시가 시그널링될 수 있다.
ii. 대안적으로, 또한, ALWIP 모드 정보의 표시들은 일부 미리 정의된 변환 행렬들에 대해 스킵될 수 있다.
23. ALWIP 모드로 코딩된 블록은 선택된 변환이 모드-의존적일 때 ALWIP 인트라 예측 모드로부터 전환된 정상 인트라-예측으로 코딩되는 것으로 간주된다는 것이 제안된다.
24. ALWIP 모드는 변환 스킵을 사용하지 않을 수 있다.
a. 예를 들어, 이 경우에 변환 스킵의 사용의 표시를 추가로 시그널링할 필요가 없다.
b. 대안적으로, ALWIP 모드는 변환 스킵이 적용될 때 허용되지 않을 수 있다.
i. 예를 들어, 이 경우에 변환 스킵이 적용될 때 ALWIP 모드 정보를 시그널링할 필요가 없다.
25. 디블록킹 필터, SAO(sample adaptive offset), ALF(adaptive loop filter)와 같은 필터링 프로세스에서, 필터들을 선택하는 방법 및/또는 샘플들을 필터링할지의 여부는 ALWIP의 사용에 의해 결정될 수 있다.
26. 필터링되지 않은 이웃 샘플들은 ALWIP 모드에서 사용될 수 있다.
a. 대안적으로, 필터링된 이웃 샘플들은 ALWIP 모드에서 사용될 수 있다.
b. 일 예에서, 필터링된 이웃 샘플들은 다운샘플링에 사용될 수 있고 필터링되지 않은 이웃 샘플들은 업샘플링에 사용될 수 있다.
c. 일 예에서, 필터링되지 않은 이웃 샘플들은 다운샘플링에 사용될 수 있고 필터링된 이웃 샘플들은 업샘플링에 사용될 수 있다.
d. 일 예에서, 필터링된 좌측 이웃 샘플들은 업샘플링에 사용될 수 있고 필터링되지 않은 상측 이웃 샘플들은 업샘플링에 사용될 수 있다.
e. 일 예에서, 필터링되지 않은 좌측 이웃 샘플들은 업샘플링에 사용될 수 있고 필터링된 상측 이웃 샘플들은 업샘플링에 사용될 수 있다.
f. 일 예에서, 필터링된 이웃 샘플들 또는 필터링되지 않은 이웃 샘플들이 사용되는지는 ALWIP 모드에 의존할 수 있다.
i. 일 예에서, ALWIP 모드는 전통적인 인트라 예측 모드로 전환될 수 있고, 필터링된 이웃 샘플들 또는 필터링되지 않은 이웃 샘플들이 사용되는지는 전환된 전통적인 인트라 예측 모드에 의존할 수 있다. 예를 들어, 이러한 결정은 전통적인 인트라 예측 모드들과 동일하다.
ii. 대안적으로, 필터링된 이웃 샘플들 또는 필터링되지 않은 이웃 샘플들이 ALWIP 모드에 사용되는지가 시그널링될 수 있다.
g. 일 예에서, 필터링된 샘플들은 전통적인 인트라 예측 모드들과 동일하게 생성될 수 있다.
27. 어느 행렬들 또는/및 오프셋 벡터들이 사용되는지는 재성형(LMCS(luma mapping with chroma scaling)라고도 함) 정보에 의존할 수 있다.
a. 일 예에서, 재성형이 온 및 오프일 때 상이한 행렬들 또는/및 오프셋 벡터들이 사용될 수 있다.
b. 일 예에서, 상이한 재성형 파라미터들에 대해 상이한 행렬들 또는/및 오프셋 벡터들이 사용될 수 있다.
c. 일 예에서, ALWIP는 항상 원래 도메인에서 수행될 수 있다.
i. 예를 들어, 이웃 샘플은 ALWIP에서 사용되기 전에 (재성형이 적용되는 경우) 원래 도메인에 맵핑된다.
28. ALWIP는 재성형이 적용될 때 디스에이블될 수 있다.
a. 대안적으로, ALWIP가 인에이블될 때 재성형이 디스에이블될 수 있다.
b. 일 예에서, ALWIP는 재성형이 적용될 때 HDR(high dynamic range) 콘텐츠에 대해 디스에이블될 수 있다.
29. ALWIP에서 사용되는 행렬들은 샘플 비트 심도에 의존할 수 있다.
30. ALWIP에 의해 생성된 예측은 추가 사용될 예측 신호를 획득하기 위해 처리될 중간 신호로서 취급될 수 있다는 것이 제안된다.
a. 일 예에서, 위치 의존적 인트라 예측 조합(Position Dependent Intra Prediction Combination, PDPC)이 ALWIP에 의해 생성된 예측에 적용되어 추가 사용될 예측 신호를 생성할 수 있다.
b. 일 예에서, ALWIP에 의해 생성된 경계 샘플 예측은 이웃 샘플들로 필터링되어 추가 사용될 예측 신호를 생성할 수 있다.
31. 쌍선형 보간 필터 이외의 보간 필터들이 ALWIP의 업샘플링 프로세스에서 사용될 수 있다는 것이 제안된다.
a. 일 예에서, 4-탭 보간 필터가 ALWIP의 업샘플링 프로세스에서 사용될 수 있다.
i. 예를 들어, 크로마 성분들에 대한 모션 보상을 행하는 데 사용되는 VVC에서의 4-탭 보간 필터가 ALWIP의 업샘플링 프로세스에서 사용될 수 있다.
ii. 예를 들어, 각도 인트라-예측을 행하는 데 사용되는 VVC에서의 4-탭 보간 필터가 ALWIP의 업샘플링 프로세스에서 사용될 수 있다.
iii. 예를 들어, 루마 성분에 대한 모션 보상을 행하는 데 사용되는 VVC에서의 8-탭 보간 필터가 ALWIP의 업샘플링 프로세스에서 사용될 수 있다.
위에 설명된 예들은 아래에 설명된 방법들, 예를 들어, 방법들(1100 내지 1400, 및 2000 내지 3800)의 맥락에서 통합될 수 있으며, 이는 비디오 인코더 및/또는 디코더에서 구현될 수 있다.
도 11은 비디오 처리를 위한 예시적인 방법의 흐름도를 도시한다. 방법(1100)은, 단계(1102)에서, 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계를 포함한다.
방법(1100)은, 단계(1104)에서, 결정에 기초하여, 비-ALWIP 인트라 모드에 대한 최고 확률 모드(MPM) 리스트의 적어도 일부에 기초하여 ALWIP 모드에 대한 MPM 리스트의 적어도 일부를 구성하는 단계를 포함한다.
방법(1100)은, 단계(1106)에서, ALWIP 모드에 대한 MPM 리스트에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
일부 실시예들에서, ALWIP 모드의 MPM 리스트의 크기는 비-ALWIP 인트라 모드에 대한 MPM 리스트의 크기와 동일하다. 일 예에서, ALWIP 모드의 MPM 리스트의 크기는 6이다.
일부 실시예들에서, 방법(1100)은 ALWIP 모드에 대한 MPM 리스트에 디폴트 모드들을 삽입하는 단계를 추가로 포함한다. 일 예에서, 디폴트 모드들은 비-ALWIP 인트라 모드에 대한 MPM 리스트에 기초하는 ALWIP 모드에 대한 MPM 리스트의 부분 이전에 삽입된다. 다른 예에서, 디폴트 모드들은 비-ALWIP 인트라 모드에 대한 MPM 리스트에 기초하는 ALWIP 모드에 대한 MPM 리스트의 부분 이후에 삽입된다. 또 다른 예에서, 디폴트 모드들은 비-ALWIP 인트라 모드에 대한 MPM 리스트에 기초하는 ALWIP 모드에 대한 MPM 리스트의 부분과 인터리브 방식으로 삽입된다.
일부 실시예들에서, ALWIP 모드에 대한 MPM 리스트 및 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성하는 것은 하나 이상의 이웃 블록에 기초한다.
일부 실시예들에서, ALWIP 모드에 대한 MPM 리스트 및 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성하는 것은 현재 비디오 블록의 높이 또는 폭에 기초한다.
일부 실시예들에서, ALWIP 모드에 대한 MPM 리스트를 구성하는 것은 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성하는 데 사용되는 제2 세트의 파라미터들과 상이한 제1 세트의 파라미터들에 기초한다.
일부 실시예들에서, 방법(1100)은, 현재 비디오 블록의 이웃 블록이 ALWIP 모드로 코딩된 것을 결정하고, 비-ALWIP 인트라 모드에 대한 MPM 리스트를 구성함에 있어서, 이웃 블록을 이용불가능한 것으로서 지정하는 단계를 추가로 포함한다.
일부 실시예들에서, 방법(1100)은, 현재 비디오 블록의 이웃 블록이 비-ALWIP 인트라 모드로 코딩된 것을 결정하고, ALWIP 모드에 대한 MPM 리스트를 구성함에 있어서, 이웃 블록을 이용불가능한 것으로서 지정하는 단계를 추가로 포함한다.
일부 실시예들에서, 비-ALWIP 인트라 모드는 정상 인트라 모드, 다중 참조 라인(MRL) 인트라 예측 모드 또는 인트라 서브-파티션(ISP) 툴에 기초한다.
도 12는 비디오 처리를 위한 예시적인 방법의 흐름도를 도시한다. 방법(1200)은, 단계(1210)에서, 현재 비디오 블록의 루마 성분이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계를 포함한다.
방법(1200)은, 단계(1220)에서, 결정에 기초하여, 크로마 인트라 모드를 추론하는 단계를 포함한다.
방법(1200)은, 단계(1230)에서, 크로마 인트라 모드에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
일부 실시예들에서, 루마 성분은 크로마 성분의 미리 결정된 크로마 샘플을 커버한다. 일 예에서, 미리 결정된 크로마 샘플은 크로마 성분의 상단-좌측 샘플 또는 중심 샘플이다.
일부 실시예들에서, 추론된 크로마 인트라 모드는 DM 모드이다.
일부 실시예들에서, 추론된 크로마 인트라 모드는 ALWIP 모드이다.
일부 실시예들에서, ALWIP 모드는 현재 비디오 블록의 하나 이상의 크로마 성분에 적용된다.
일부 실시예들에서, ALWIP 모드의 상이한 행렬 또는 바이어스 벡터들이 현재 비디오 블록의 상이한 컬러 성분들에 적용된다. 일 예에서, 상이한 행렬 또는 바이어스 벡터들은 Cb 및 Cr 성분들에 대해 공동으로 미리 정의된다. 다른 예에서, Cb 및 Cr 성분들은 연결된다. 또 다른 예에서, Cb 및 Cr 성분들은 인터리빙된다.
도 13은 비디오 처리를 위한 예시적인 방법의 흐름도를 도시한다. 방법(1300)은, 단계(1302)에서, 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드를 사용하여 코딩되는 것을 결정하는 단계를 포함한다.
방법(1300)은, 단계(1304)에서, 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
일부 실시예들에서, 결정은 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더, 타일 그룹 헤더, 타일 헤더, 코딩 트리 유닛(CTU) 행 또는 CTU 영역에서의 시그널링에 기초한다.
일부 실시예들에서, 결정은 현재 비디오 블록의 높이(H) 또는 폭(W)에 기초한다. 일 예에서, W>T1 또는 H>T2이다. 다른 예에서, W≥T1 또는 H≥T2이다. 또 다른 예에서, W<T1 또는 H<T2이다. 또 다른 예에서, W≤T1 또는 H≤T2이다. 또 다른 예에서, T1=32 및 T2=32이다.
일부 실시예들에서, 결정은 현재 비디오 블록의 높이(H) 또는 폭(W)에 기초한다. 일 예에서, W+H≤T이다. 다른 예에서, W+H≥T이다. 또 다른 예에서, WxH≤T이다. 또 다른 예에서, WxH≥T이다. 또 다른 예에서, T=256이다.
도 14는 비디오 처리를 위한 예시적인 방법의 흐름도를 도시한다. 방법(1400)은, 단계(1402)에서, 현재 비디오 블록이 아핀 선형 가중 인트라 예측(ALWIP) 모드와 상이한 코딩 모드를 사용하여 코딩되는 것을 결정하는 단계를 포함한다.
방법(1400)은, 단계(1404)에서, 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 단계를 포함한다.
일부 실시예들에서, 코딩 모드는 조합된 인트라 및 인터 예측(combined intra and inter prediction, CIIP) 모드이고, 방법(1400)은 ALWIP 모드와 정상 인트라 예측 모드 사이의 선택을 수행하는 단계를 추가로 포함한다. 일 예에서, 선택을 수행하는 것은 현재 비디오 블록의 비트스트림 표현에서의 명시적 시그널링에 기초한다. 다른 예에서, 선택을 수행하는 것은 미리 결정된 규칙에 기초한다. 또 다른 예에서, 미리 결정된 규칙은 현재 비디오 블록이 CIIP 모드를 사용하여 코딩될 때 ALWIP 모드를 항상 선택한다. 또 다른 예에서, 미리 결정된 규칙은 현재 비디오 블록이 CIIP 모드를 사용하여 코딩될 때 정상 인트라 예측 모드를 항상 선택한다.
일부 실시예들에서, 코딩 모드는 교차 성분 선형 모델(CCLM) 예측 모드이다. 일 예에서, ALWIP 모드에 대한 다운샘플링 절차는 CCLM 예측 모드에 대한 다운샘플링 절차에 기초한다. 다른 예에서, ALWIP 모드에 대한 다운샘플링 절차는 제1 세트의 파라미터들에 기초하고, CCLM 예측 모드에 대한 다운샘플링 절차는 제1 세트의 파라미터들과 상이한 제2 세트의 파라미터들에 기초한다. 또 다른 예에서, ALWIP 모드 또는 CCLM 예측 모드에 대한 다운샘플링 절차는 다운샘플링된 위치들의 선택, 다운샘플링 필터들의 선택, 라운딩 연산 또는 클리핑 연산 중 적어도 하나를 포함한다.
일부 실시예들에서, 방법(1400)은 감소된 2차 변환(RST), 2차 변환, 회전 변환 또는 비-분리형 2차 변환(NSST) 중 하나 이상을 적용하는 단계를 추가로 포함한다.
일부 실시예들에서, 방법(1400)은 블록-기반 차분 펄스 코드 변조(DPCM) 또는 잔차 DPCM을 적용하는 단계를 추가로 포함한다.
6 개시된 기술의 예시적인 구현들
도 15는 비디오 처리 장치(1500)의 블록도이다. 장치(1500)는 본 명세서에 설명된 방법들 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(1500)는 스마트폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등으로 구체화될 수 있다. 장치(1500)는 하나 이상의 프로세서(1502), 하나 이상의 메모리(1504) 및 비디오 처리 하드웨어(1506)를 포함할 수 있다. 프로세서(들)(1502)는 본 문서에 설명된 하나 이상의 방법(방법들(1100 내지 1400, 및 2000 내지 3800)을 포함하지만 이에 제한되지 않음)을 구현하도록 구성될 수 있다. 메모리(메모리들)(1504)는 본 명세서에 설명된 방법들 및 기법들을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(1506)는 본 문서에 설명된 일부 기법들을 하드웨어 회로부에 구현하는 데 사용될 수 있다.
일부 실시예들에서, 비디오 코딩 방법들은 도 15와 관련하여 설명된 바와 같이 하드웨어 플랫폼 상에 구현되는 장치를 사용하여 구현될 수 있다.
도 16은 본 명세서에 개시된 다양한 기법들이 구현될 수 있는 예시적인 비디오 처리 시스템(1600)을 도시하는 블록도이다. 다양한 구현들은 시스템(1600)의 컴포넌트들의 일부 또는 전부를 포함할 수 있다. 시스템(1600)은 비디오 콘텐츠를 수신하기 위한 입력(1602)을 포함할 수 있다. 비디오 콘텐츠는 미가공(raw) 또는 압축되지 않은 포맷, 예를 들어, 8 또는 10 비트 멀티-컴포넌트 픽셀 값들로 수신될 수 있거나, 압축된 또는 인코딩된 포맷일 수 있다. 입력(1602)은 네트워크 인터페이스, 주변 버스 인터페이스, 또는 저장 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예들은 이더넷, PON(passive optical network) 등과 같은 유선 인터페이스들 및 Wi-Fi 또는 셀룰러 인터페이스들과 같은 무선 인터페이스들을 포함한다.
시스템(1600)은 본 문서에 설명된 다양한 코딩 또는 인코딩 방법들을 구현할 수 있는 코딩 컴포넌트(1604)를 포함할 수 있다. 코딩 컴포넌트(1604)는 비디오의 코딩된 표현을 생성하기 위해 입력(1602)으로부터 코딩 컴포넌트(1604)의 출력으로의 비디오의 평균 비트레이트를 감소시킬 수 있다. 따라서, 코딩 기법들은 때때로 비디오 압축 또는 비디오 트랜스코딩 기법들이라고 한다. 코딩 컴포넌트(1604)의 출력은 저장될 수 있거나, 또는 컴포넌트(1606)로 나타낸 바와 같이 연결된 통신을 통해 송신될 수 있다. 입력(1602)에서 수신된 비디오의 저장된 또는 통신된 비트스트림(또는 코딩된) 표현은 디스플레이 인터페이스(1610)에 전송되는 픽셀 값들 또는 디스플레이가능한 비디오를 생성하기 위해 컴포넌트(1608)에 의해 사용될 수 있다. 비트스트림 표현으로부터 사용자-시청가능 비디오를 생성하는 프로세스는 때때로 비디오 압축해제(video decompression)라고 한다. 게다가, 특정 비디오 처리 연산들이 "코딩" 연산들 또는 툴들로 지칭되지만, 코딩 툴들 또는 연산들이 인코더에서 사용되고 코딩의 결과들을 반대로 하는 대응하는 디코딩 툴들 또는 연산들이 디코더에 의해 수행될 것이라는 점이 이해될 것이다.
주변 버스 인터페이스 또는 디스플레이 인터페이스의 예들은 USB(universal serial bus) 또는 HDMI(high definition multimedia interface) 또는 디스플레이포트(Displayport) 등을 포함할 수 있다. 저장 인터페이스들의 예들은 SATA(serial advanced technology attachment), PCI, IDE 인터페이스 등을 포함한다. 본 문서에 설명된 기법들은 디지털 데이터 처리 및/또는 비디오 디스플레이를 수행할 수 있는 모바일 전화, 랩톱, 스마트폰 또는 다른 디바이스와 같은 다양한 전자 디바이스에서 구현될 수 있다.
개시된 기술의 일부 실시예들은 비디오 처리 툴 또는 모드를 인에이블하라는 판정 또는 결정을 하는 것을 포함한다. 일 예에서, 비디오 처리 툴 또는 모드가 인에이블될 때, 인코더는 비디오의 블록의 처리에서 툴 또는 모드를 사용하거나 구현할 것이지만, 툴 또는 모드의 사용에 기초하여 결과적인 비트스트림을 반드시 수정할 필요는 없을 수 있다. 즉, 비디오의 블록으로부터 비디오의 비트스트림 표현으로의 전환은 판정 또는 결정에 기초하여 인에이블될 때 비디오 처리 툴 또는 모드를 사용할 것이다. 다른 예에서, 비디오 처리 툴 또는 모드가 인에이블될 때, 디코더는 비디오 처리 툴 또는 모드에 기초하여 비트스트림이 수정되었다는 것을 알고서 비트스트림을 처리할 것이다. 즉, 비디오의 비트스트림 표현으로부터 비디오의 블록으로의 전환은 판정 또는 결정에 기초하여 인에이블된 비디오 처리 툴 또는 모드를 사용하여 수행될 것이다.
개시된 기술의 일부 실시예들은 비디오 처리 툴 또는 모드를 디스에이블하라는 판정 또는 결정을 하는 것을 포함한다. 일 예에서, 비디오 처리 툴 또는 모드가 디스에이블될 때, 인코더는 비디오의 블록을 비디오의 비트스트림 표현으로 전환함에 있어서 툴 또는 모드를 사용하지 않을 것이다. 다른 예에서, 비디오 처리 툴 또는 모드가 디스에이블될 때, 디코더는 판정 또는 결정에 기초하여 디스에이블된 비디오 처리 툴 또는 모드를 사용하여 비트스트림이 수정되지 않았다는 것을 알고서 비트스트림을 처리할 것이다.
도 17은 본 개시내용의 기법들을 이용할 수 있는 예시적인 비디오 코딩 시스템(100)을 예시하는 블록도이다. 도 17에 도시된 바와 같이, 비디오 코딩 시스템(100)은 소스 디바이스(110) 및 목적지 디바이스(120)를 포함할 수 있다. 비디오 인코딩 디바이스라고 지칭될 수 있는 소스 디바이스(110)는 인코딩된 비디오 데이터를 생성한다. 비디오 디코딩 디바이스라고 지칭될 수 있는 목적지 디바이스(120)는 소스 디바이스(110)에 의해 생성되는 인코딩된 비디오 데이터를 디코딩할 수 있다. 소스 디바이스(110)는 비디오 소스(112), 비디오 인코더(114), 및 입력/출력(I/O) 인터페이스(116)를 포함할 수 있다.
비디오 소스(112)는 비디오 캡처 디바이스와 같은 소스, 비디오 콘텐츠 제공자로부터 비디오 데이터를 수신하는 인터페이스, 및/또는 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 이러한 소스들의 조합을 포함할 수 있다. 비디오 데이터는 하나 이상의 픽처를 포함할 수 있다. 비디오 인코더(114)는 비디오 소스(112)로부터의 비디오 데이터를 인코딩하여 비트스트림을 생성한다. 비트스트림은 비디오 데이터의 코딩된 표현을 형성하는 비트 시퀀스를 포함할 수 있다. 비트스트림은 코딩된 픽처들 및 연관된 데이터를 포함할 수 있다. 코딩된 픽처는 픽처의 코딩된 표현이다. 연관된 데이터는 시퀀스 파라미터 세트들, 픽처 파라미터 세트들, 및 다른 신택스 구조들을 포함할 수 있다. I/O 인터페이스(116)는 변조기/복조기(모뎀) 및/또는 송신기를 포함할 수 있다. 인코딩된 비디오 데이터는 I/O 인터페이스(116)를 통해 네트워크(130a)를 거쳐 목적지 디바이스(120)에 직접 송신될 수 있다. 인코딩된 비디오 데이터는 또한 목적지 디바이스(120)에 의한 액세스를 위해 저장 매체/서버(130b)에 저장될 수 있다.
목적지 디바이스(120)는 I/O 인터페이스(126), 비디오 디코더(124), 및 디스플레이 디바이스(122)를 포함할 수 있다.
I/O 인터페이스(126)는 수신기 및/또는 모뎀을 포함할 수 있다. I/O 인터페이스(126)는 소스 디바이스(110) 또는 저장 매체/서버(130b)로부터 인코딩된 비디오 데이터를 취득할 수 있다. 비디오 디코더(124)는 인코딩된 비디오 데이터를 디코딩할 수 있다. 디스플레이 디바이스(122)는 디코딩된 비디오 데이터를 사용자에게 디스플레이할 수 있다. 디스플레이 디바이스(122)는 목적지 디바이스(120)와 통합될 수 있거나, 또는 외부 디스플레이 디바이스와 인터페이싱하도록 구성되는 목적지 디바이스(120)의 외부에 있을 수 있다.
비디오 인코더(114) 및 비디오 디코더(124)는 HEVC(High Efficiency Video Coding) 표준, VVM(Versatile Video Coding) 표준 및 다른 현재 및/또는 추가 표준들과 같은 비디오 압축 표준에 따라 동작할 수 있다.
도 18은 도 17에 예시된 시스템(100)에서의 비디오 인코더(114)일 수 있는, 비디오 인코더(200)의 예를 예시하는 블록도이다.
비디오 인코더(200)는 본 개시내용의 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다. 도 18의 예에서, 비디오 인코더(200)는 복수의 기능 컴포넌트들을 포함한다. 본 개시내용에 설명된 기법들은 비디오 인코더(200)의 다양한 컴포넌트들 사이에서 공유될 수 있다. 일부 예들에서, 프로세서는 본 개시내용에 설명된 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다.
비디오 인코더(200)의 기능 컴포넌트들은 파티션 유닛(201), 모드 선택 유닛(203), 모션 추정 유닛(204), 모션 보상 유닛(205) 및 인트라 예측 유닛(206)을 포함할 수 있는 예측 유닛(202), 잔차 생성 유닛(207), 변환 유닛(208), 양자화 유닛(209), 역양자화 유닛(210), 역변환 유닛(211), 재구성 유닛(212), 버퍼(213), 및 엔트로피 인코딩 유닛(214)을 포함할 수 있다.
다른 예들에서, 비디오 인코더(200)는 보다 많은, 보다 적은, 또는 상이한 기능 컴포넌트들을 포함할 수 있다. 일 예에서, 예측 유닛(202)은 인트라 블록 카피(intra block copy, IBC) 유닛을 포함할 수 있다. IBC 유닛은 적어도 하나의 참조 픽처가 현재 비디오 블록이 위치하는 픽처인 IBC 모드에서 예측을 수행할 수 있다.
게다가, 모션 추정 유닛(204) 및 모션 보상 유닛(205)과 같은 일부 컴포넌트들은 고도로 통합될 수 있지만, 설명의 목적을 위해 도 18의 예에서 개별적으로 표현되어 있다.
파티션 유닛(201)은 픽처를 하나 이상의 비디오 블록으로 파티셔닝할 수 있다. 비디오 인코더(200) 및 비디오 디코더(300)는 다양한 비디오 블록 크기들을 지원할 수 있다.
모드 선택 유닛(203)은, 예를 들어, 에러 결과들에 기초하여, 코딩 모드들인 인트라 또는 인터 중 하나를 선택하고, 결과적인 인트라-코딩된 또는 인터-코딩된 블록을 잔차 생성 유닛(207)에 제공하여 잔차 블록 데이터를 생성하고 재구성 유닛(212)에 제공하여 참조 픽처로서 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 일부 예에서, 모드 선택 유닛(203)은, 예측이 인터 예측 신호 및 인트라 예측 신호에 기초하는 조합된 인트라 및 인터 예측(CIIP) 모드를 선택할 수 있다. 모드 선택 유닛(203)은 또한 인터-예측의 경우에 블록에 대한 모션 벡터의 해상도(예를 들면, 서브-픽셀 또는 정수 픽셀 정밀도)를 선택할 수 있다.
현재 비디오 블록에 대한 인터 예측을 수행하기 위해, 모션 추정 유닛(204)은 버퍼(213)로부터의 하나 이상의 참조 프레임을 현재 비디오 블록과 비교하는 것에 의해 현재 비디오 블록에 대한 모션 정보를 생성할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록과 연관된 픽처 이외의 버퍼(213)로부터의 픽처들의 디코딩된 샘플들 및 모션 정보에 기초하여 현재 비디오 블록에 대한 예측된 비디오 블록을 결정할 수 있다.
모션 추정 유닛(204) 및 모션 보상 유닛(205)은, 예를 들어, 현재 비디오 블록이 I 슬라이스, P 슬라이스, 또는 B 슬라이스에 있는지에 따라, 현재 비디오 블록에 대해 상이한 연산들을 수행할 수 있다.
일부 예들에서, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 단방향 예측을 수행할 수 있고, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 참조 비디오 블록에 대해 리스트 0 또는 리스트 1의 참조 픽처들을 검색할 수 있다. 모션 추정 유닛(204)은 이어서 참조 비디오 블록을 포함하는 리스트 0 또는 리스트 1에서의 참조 픽처를 표시하는 참조 인덱스 및 현재 비디오 블록과 참조 비디오 블록 사이의 공간적 변위를 표시하는 모션 벡터를 생성할 수 있다. 모션 추정 유닛(204)은 참조 인덱스, 예측 방향 표시자, 및 모션 벡터를 현재 비디오 블록의 모션 정보로서 출력할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록의 모션 정보에 의해 표시되는 참조 비디오 블록에 기초하여 현재 블록의 예측된 비디오 블록을 생성할 수 있다.
다른 예들에서, 모션 추정 유닛(204)은 현재 비디오 블록에 대해 양방향 예측을 수행할 수 있고, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 참조 비디오 블록에 대해 리스트 0에서의 참조 픽처들을 검색할 수 있고, 또한 현재 비디오 블록에 대한 다른 참조 비디오 블록에 대해 리스트 1에서의 참조 픽처들을 검색할 수 있다. 모션 추정 유닛(204)은 이어서 참조 비디오 블록들을 포함하는 리스트 0 및 리스트 1에서의 참조 픽처들을 표시하는 참조 인덱스들 및 참조 비디오 블록들과 현재 비디오 블록 사이의 공간적 변위들을 표시하는 모션 벡터들을 생성할 수 있다. 모션 추정 유닛(204)은 현재 비디오 블록의 참조 인덱스들 및 모션 벡터들을 현재 비디오 블록의 모션 정보로서 출력할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록의 모션 정보에 의해 표시되는 참조 비디오 블록들에 기초하여 현재 비디오 블록의 예측된 비디오 블록을 생성할 수 있다.
일부 예들에서, 모션 추정 유닛(204)은 디코더의 디코딩 처리를 위한 모션 정보의 전체 세트를 출력할 수 있다.
일부 예들에서, 모션 추정 유닛(204)은 현재 비디오에 대한 모션 정보의 전체 세트를 출력하지 않을 수 있다. 오히려, 모션 추정 유닛(204)은 다른 비디오 블록의 모션 정보를 참조하여 현재 비디오 블록의 모션 정보를 시그널링할 수 있다. 예를 들어, 모션 추정 유닛(204)은 현재 비디오 블록의 모션 정보가 이웃 비디오 블록의 모션 정보와 충분히 유사하다고 결정할 수 있다.
일 예에서, 모션 추정 유닛(204)은, 현재 비디오 블록이 다른 비디오 블록과 동일한 모션 정보를 갖는다는 것을 비디오 디코더(300)에 표시하는 값을 현재 비디오 블록과 연관된 신택스 구조에서 표시할 수 있다.
다른 예에서, 모션 추정 유닛(204)은, 다른 비디오 블록 및 모션 벡터 차이(motion vector difference, MVD)를 현재 비디오 블록과 연관된 신택스 구조에서 식별할 수 있다. 모션 벡터 차이는 현재 비디오 블록의 모션 벡터와 표시된 비디오 블록의 모션 벡터 사이의 차이를 표시한다. 비디오 디코더(300)는 표시된 비디오 블록의 모션 벡터 및 모션 벡터 차이를 사용하여 현재 비디오 블록의 모션 벡터를 결정할 수 있다.
위에서 논의한 바와 같이, 비디오 인코더(200)는 모션 벡터를 예측적으로 시그널링할 수 있다. 비디오 인코더(200)에 의해 구현될 수 있는 예측적 시그널링 기법들의 두 가지 예는 AMVP(advanced motion vector prediction) 및 병합 모드 시그널링을 포함한다.
인트라 예측 유닛(206)은 현재 비디오 블록에 대해 인트라 예측을 수행할 수 있다. 인트라 예측 유닛(206)이 현재 비디오 블록에 대해 인트라 예측을 수행할 때, 인트라 예측 유닛(206)은 동일한 픽처 내의 다른 비디오 블록들의 디코딩된 샘플들에 기초하여 현재 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 현재 비디오 블록에 대한 예측 데이터는 예측된 비디오 블록 및 다양한 신택스 요소들을 포함할 수 있다.
잔차 생성 유닛(207)은 현재 비디오 블록으로부터 현재 비디오 블록의 예측된 비디오 블록(들)을 감산(예를 들면, 마이너스 부호로 표시됨)하는 것에 의해 현재 비디오 블록에 대한 잔차 데이터를 생성할 수 있다. 현재 비디오 블록의 잔차 데이터는 현재 비디오 블록에서의 샘플들의 상이한 샘플 성분들에 대응하는 잔차 비디오 블록들을 포함할 수 있다.
다른 예들에서, 예를 들어, 스킵 모드에서 현재 비디오 블록에 대한 현재 비디오 블록의 잔차 데이터가 없을 수 있고, 잔차 생성 유닛(207)은 감산 연산을 수행하지 않을 수 있다.
변환 처리 유닛(208)은 현재 비디오 블록과 연관된 잔차 비디오 블록에 하나 이상의 변환을 적용하는 것에 의해 현재 비디오 블록에 대한 하나 이상의 변환 계수 비디오 블록을 생성할 수 있다.
변환 처리 유닛(208)이 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 생성한 후에, 양자화 유닛(209)은 현재 비디오 블록과 연관된 하나 이상의 양자화 파라미터(QP) 값에 기초하여 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 양자화할 수 있다.
역양자화 유닛(210) 및 역변환 유닛(211)은, 각각, 변환 계수 비디오 블록에 역양자화 및 역변환을 적용하여 변환 계수 비디오 블록으로부터 잔차 비디오 블록을 재구성할 수 있다. 재구성 유닛(212)은 버퍼(213)에 저장하기 위한 현재 블록과 연관된 재구성된 비디오 블록을 생산하기 위해 예측 유닛(202)에 의해 생성된 하나 이상의 예측된 비디오 블록으로부터의 대응하는 샘플들에 재구성된 잔차 비디오 블록을 가산할 수 있다.
재구성 유닛(212)이 비디오 블록을 재구성한 후에, 비디오 블록에서의 비디오 블록킹 아티팩트들을 감소시키기 위해 루프 필터링 연산이 수행될 수 있다.
엔트로피 인코딩 유닛(214)은 비디오 인코더(200)의 다른 기능 컴포넌트들로부터 데이터를 수신할 수 있다. 엔트로피 인코딩 유닛(214)이 데이터를 수신할 때, 엔트로피 인코딩 유닛(214)은 하나 이상의 엔트로피 인코딩 연산을 수행하여 엔트로피 인코딩된 데이터를 생성하고 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력할 수 있다.
도 19는 도 17에 예시된 시스템(100)에서의 비디오 디코더(114)일 수 있는, 비디오 디코더(300)의 예를 예시하는 블록도이다.
비디오 디코더(300)는 본 개시내용의 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다. 도 19의 예에서, 비디오 디코더(300)는 복수의 기능 컴포넌트들을 포함한다. 본 개시내용에 설명된 기법들은 비디오 디코더(300)의 다양한 컴포넌트들 사이에서 공유될 수 있다. 일부 예들에서, 프로세서는 본 개시내용에 설명된 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다.
도 19의 예에서, 비디오 디코더(300)는 엔트로피 디코딩 유닛(301), 모션 보상 유닛(302), 인트라 예측 유닛(303), 역양자화 유닛(304), 역변환 유닛(305), 및 재구성 유닛(306) 및 버퍼(307)를 포함한다. 비디오 디코더(300)는, 일부 예들에서, 비디오 인코더(200)(도 18)와 관련하여 설명된 인코딩 패스(encoding pass)와 일반적으로 상호 관계를 나타내는 디코딩 패스(decoding pass)를 수행할 수 있다.
엔트로피 디코딩 유닛(301)은 인코딩된 비트스트림을 검색할 수 있다. 인코딩된 비트스트림은 엔트로피 코딩된 비디오 데이터(예를 들면, 비디오 데이터의 인코딩된 블록들)를 포함할 수 있다. 엔트로피 디코딩 유닛(301)은 엔트로피 코딩된 비디오 데이터를 디코딩할 수 있고, 엔트로피 디코딩된 비디오 데이터로부터, 모션 보상 유닛(302)은 모션 벡터들, 모션 벡터 정밀도, 참조 픽처 리스트 인덱스들, 및 다른 모션 정보를 포함하는 모션 정보를 결정할 수 있다. 모션 보상 유닛(302)은, 예를 들어, AMVP 및 병합 모드를 수행하는 것에 의해 그러한 정보를 결정할 수 있다.
모션 보상 유닛(302)은 모션 보상된 블록들을 생산할 수 있으며, 가능하게는 보간 필터들에 기초하여 보간을 수행할 수 있다. 서브-픽셀 정밀도와 함께 사용될 보간 필터들에 대한 식별자들이 신택스 요소들에 포함될 수 있다.
모션 보상 유닛(302)은 참조 블록의 서브-정수 픽셀들에 대한 보간된 값들을 산출하기 위해 비디오 블록의 인코딩 동안에 비디오 인코더(20)에 의해 사용되는 바와 같은 보간 필터들을 사용할 수 있다. 모션 보상 유닛(302)은 수신된 신택스 정보에 따라 비디오 인코더(200)에 의해 사용되는 보간 필터들을 결정하고 보간 필터들을 사용하여 예측 블록들을 생산할 수 있다.
모션 보상 유닛(302)은 인코딩된 비디오 시퀀스의 프레임(들) 및/또는 슬라이스(들)를 인코딩하는 데 사용되는 블록들의 크기들, 인코딩된 비디오 시퀀스의 픽처의 각각의 매크로블록이 어떻게 파티셔닝되는지를 설명하는 파티션 정보, 각각의 파티션이 어떻게 인코딩되는지를 표시하는 모드들, 각각의 인터-인코딩된 블록에 대한 하나 이상의 참조 프레임(및 참조 프레임 리스트), 및 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 결정하기 위해 신택스 정보의 일부를 사용할 수 있다.
인트라 예측 유닛(303)은 공간적으로 인접한 블록들로부터 예측 블록을 형성하기 위해, 예를 들어, 비트스트림에서 수신되는 인트라 예측 모드들을 사용할 수 있다. 역양자화 유닛(303)은 비트스트림에서 제공되고 엔트로피 디코딩 유닛(301)에 의해 디코딩되는 양자화된 비디오 블록 계수들을 역양자화(inverse quantize), 즉, 탈양자화(de-quantize)한다. 역변환 유닛(303)은 역변환을 적용한다.
재구성 유닛(306)은 디코딩된 블록들을 형성하기 위해 모션 보상 유닛(202) 또는 인트라-예측 유닛(303)에 의해 생성되는 대응하는 예측 블록들과 잔차 블록들을 합산(sum)할 수 있다. 원하는 경우, 디코딩된 블록들을 필터링하여 블록성 아티팩트(blockiness artifact)들을 제거하기 위해 디블록킹 필터가 또한 적용될 수 있다. 디코딩된 비디오 블록들은 이어서 버퍼(307)에 저장되고, 버퍼(307)는 후속하는 모션 보상/인트라 예측을 위한 참조 블록들을 제공하고 또한 디스플레이 디바이스 상에 제시하기 위한 디코딩된 비디오를 생산한다.
일부 실시예들에서, ALWIP 모드 또는 MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산(또는 평균화 연산), 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로(또는 옵션으로) 업샘플링 연산(또는 선형 보간 연산)을 수행함으로써 현재 비디오 블록의 예측 블록을 계산하는 데 사용된다. 일부 실시예들에서, ALWIP 모드 또는 MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산(또는 평균화 연산)을 수행한 다음, 행렬 벡터 곱셈 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 계산하는 데 사용된다. 일부 실시예들에서, ALWIP 모드 또는 MIP 모드는 또한 행렬 벡터 곱셈 연산을 수행한 후에 업샘플링 연산(또는 선형 보간 연산)을 수행할 수 있다.
도 20은 행렬 기반 인트라 예측을 위한 예시적인 방법(2000)의 예시적인 흐름도를 도시한다. 동작(2002)은, 비디오의 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 위해, 규칙에 기초한 제1 절차를 사용하여 제1 최고 확률 모드(MPM) 리스트를 생성하는 것을 포함한다. 동작(2004)은, 제1 MPM 리스트를 사용하여 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 것을 포함하고, 현재 비디오 블록의 전환은 행렬 기반 인트라 예측(MIP) 모드를 사용하며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 규칙은 제1 MPM 리스트의 생성을 위해 사용되는 제1 절차가 MIP 모드와 상이한 비-MIP 인트라 모드를 사용하여 코딩되는 비디오의 다른 비디오 블록들의 전환을 위한 제2 MPM 리스트의 생성을 위해 사용되는 제2 절차와 동일하다는 것을 지정하고, 제1 MPM 리스트의 적어도 일부는 제2 MPM 리스트의 적어도 일부에 기초하여 생성된다.
방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트의 크기는 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 크기와 동일하다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트 및 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 크기는 6이다. 방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 MIP 모드에 대한 제1 MPM 리스트가 구성되기 전에 구성된다. 방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 부분 또는 전부는 MIP 모드에 대한 제1 MPM 리스트의 부분에 추가되는 MPM들로 전환된다.
방법(2000)에 대한 일부 실시예들에서, MPM들의 서브세트는 MPM들을 프루닝함으로써 MIP 모드에 대한 제1 MPM 리스트의 부분에 추가된다. 일부 실시예들에서, 방법(2000)은 MIP 모드에 대한 제1 MPM 리스트에 디폴트 인트라 예측 모드들을 추가하는 단계를 추가로 포함한다. 방법(2000)에 대한 일부 실시예들에서, 디폴트 인트라 예측 모드들은 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 부분에 기초하는 MIP 모드에 대한 제1 MPM 리스트의 부분 이전에 MIP 모드에 대한 제1 MPM 리스트에 추가된다. 방법(2000)에 대한 일부 실시예들에서, 디폴트 인트라 예측 모드들은 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 부분에 기초하는 MIP 모드에 대한 제1 MPM 리스트의 부분 이후에 MIP 모드에 대한 제1 MPM 리스트에 추가된다. 방법(2000)에 대한 일부 실시예들에서, 디폴트 인트라 예측 모드들은 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 부분에 기초하는 MIP 모드에 대한 제1 MPM 리스트의 부분과 인터리브 방식으로 MIP 모드에 대한 제1 MPM 리스트에 추가된다. 방법(2000)에 대한 일부 실시예들에서, 디폴트 인트라 예측 모드들은 복수의 타입들의 비디오 블록들에 대해 동일하다. 방법(2000)에 대한 일부 실시예들에서, 디폴트 인트라 예측 모드들은 현재 비디오 블록의 코딩된 정보에 기초하여 결정된다. 방법(2000)에 대한 일부 실시예들에서, 코딩된 정보는 이웃 비디오 블록들의 가용성, 이웃 비디오 블록들의 모드 정보, 또는 현재 비디오 블록의 블록 치수를 포함한다.
방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 하나의 인트라 예측 모드는 MIP 모드에 대한 제1 MPM 리스트에 추가되는 전환된 MIP 모드를 획득하기 위해 그의 대응하는 MIP 모드로 전환된다. 방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 모든 인트라 예측 모드들은 MIP 모드에 대한 제1 MPM 리스트에 추가되는 복수의 전환된 MIP 모드들을 획득하기 위해 그의 대응하는 MIP 모드로 전환된다. 방법(2000)에 대한 일부 실시예들에서, 모든 인트라 예측 모드들은 비-MIP 인트라 모드에 대한 제2 MPM 리스트를 구성하는 데 사용되는 복수의 전환된 MIP 모드들을 획득하기 위해 그의 대응하는 MIP 모드로 전환된다. 방법(2000)에 대한 일부 실시예들에서, 모든 인트라 예측 모드들은 현재 비디오 블록의 이웃 비디오 블록들로부터의 인트라 예측 모드들 및 디폴트 인트라 예측 모드들을 포함한다. 방법(2000)에 대한 일부 실시예들에서, 디폴트 인트라 예측 모드들은 평면 모드 및 직류(direct current, DC) 모드를 포함한다.
방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 2개의 인트라 예측 모드는 2개의 전환된 MIP 모드를 획득하기 위해 그의 대응하는 MIP 모드들로 전환되고, 2개의 전환된 MIP 모드가 동일한 것에 응답하여 2개의 전환된 MIP 모드 중 하나가 MIP 모드에 대한 제1 MPM 리스트에 추가된다. 방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 2개의 인트라 예측 모드는 2개의 전환된 MIP 모드를 획득하기 위해 그의 대응하는 MIP 모드들로 전환되고, 2개의 전환된 MIP 모드가 동일한 것에 응답하여 2개의 전환된 MIP 모드 중 하나가 비-MIP 인트라 모드에 대한 제2 MPM 리스트에 추가된다. 방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 S개의 인트라 예측 모드를 포함하고, S개의 인트라 예측 모드 중 K개가 MIP 모드에 대한 제1 MPM 리스트에 포함되도록 선택된다. 방법(2000)에 대한 일부 실시예들에서, K는 3이고 S는 6이다. 방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 처음 K개의 인트라 예측 모드가 MIP 모드에 대한 제1 MPM 리스트에 포함되도록 선택된다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트 및 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 현재 비디오 블록의 하나 이상의 이웃 비디오 블록에 기초하여 도출되거나 구성된다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트 및 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 현재 비디오 블록의 좌측에 위치한 동일한 이웃 비디오 블록에 기초하여 도출되거나 구성된다.
방법(2000)에 대한 일부 실시예들에서, 좌측에 위치한 동일한 이웃 비디오 블록은 현재 비디오 블록의 바로 좌측에 있고 현재 비디오 블록과 정렬된다. 방법(2000)에 대한 일부 실시예들에서, 동일한 이웃 비디오 블록은 현재 비디오 블록의 좌측 및 하측에 위치한다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트 및 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 동일한 이웃 비디오 블록에 기초하여 도출되거나 구성되며, 동일한 이웃 비디오 블록은 최하단 위치에서 현재 비디오 블록의 좌측에 위치하거나, 또는 동일한 이웃 비디오 블록은 최우측 위치에서 현재 비디오 블록의 상측에 위치한다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트 및 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 현재 비디오 블록의 상측에 위치한 동일한 이웃 비디오 블록에 기초하여 도출되거나 구성된다.
방법(2000)에 대한 일부 실시예들에서, 상측에 위치한 동일한 이웃 비디오 블록은 현재 비디오 블록의 바로 상측에 있고 현재 비디오 블록과 정렬된다. 방법(2000)에 대한 일부 실시예들에서, 동일한 이웃 비디오 블록은 현재 비디오 블록의 좌측 및 상측에 위치한다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트 및 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 동일한 이웃 비디오 블록에 기초하여 도출되거나 구성되며, 동일한 이웃 비디오 블록은 최좌측 위치에서 현재 비디오 블록의 상측에 위치하거나, 또는 동일한 이웃 비디오 블록은 최상단 위치에서 현재 비디오 블록의 좌측에 위치한다. 방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드는 인트라 예측 모드, 다중 참조 라인(MRL) 인트라 예측 모드, 또는 인트라 서브-파티션(ISP) 툴에 기초한다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트는 현재 비디오 블록의 높이 또는 폭에 추가로 기초한다.
방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트는 현재 비디오 블록의 이웃 비디오 블록의 높이 또는 폭에 추가로 기초한다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트는 비-MIP 인트라 모드에 대한 제2 MPM 리스트를 구성하는 데 사용되는 제2 세트의 파라미터들과 상이한 제1 세트의 파라미터들에 기초하여 구성된다. 방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 S개의 인트라 예측 모드를 포함하고, S개의 인트라 예측 모드 중 K개가 MIP 모드에 대한 제1 MPM 리스트에 포함되도록 도출된다. 방법(2000)에 대한 일부 실시예들에서, K는 3이고 S는 6이다.
방법(2000)에 대한 일부 실시예들에서, 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 처음 K개의 인트라 예측 모드가 MIP 모드에 대한 제1 MPM 리스트에 포함되도록 도출된다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트에 리스트된 제1 모드는 비-MIP 인트라 모드에 대한 제2 MPM 리스트에 리스트된 제1 모드와 상이하다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트에 리스트된 제1 모드는 제1 모드이고, 비-MIP 인트라 모드에 대한 제2 MPM 리스트에 리스트된 제1 모드는 평면 모드이다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트에서의 제1 모드는 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 평면 모드로부터 전환된다.
방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트는 비-MIP 인트라 모드에 대한 제2 MPM 리스트에 포함된 제2 세트의 스터핑 모드들과 상이한 제1 세트의 스터핑 모드들을 포함한다. 방법(2000)에 대한 일부 실시예들에서, 제1 세트의 스터핑 모드들은 제1 모드, 제2 모드, 및 제3 모드를 포함하고, 제2 세트의 스터핑 모드들은 직류(DC) 모드, 수직 모드, 및 수평 모드를 포함한다. 방법(2000)에 대한 일부 실시예들에서, 제1 모드, 제2 모드, 및 제3 모드는 현재 비디오 블록의 크기에 기초하여 제1 세트의 스터핑 모드들에 포함된다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트는 현재 비디오 블록의 이웃 비디오 블록들의 제1 세트의 인트라 예측 모드들을 포함하고, 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 현재 비디오 블록의 이웃 비디오 블록들의 제2 세트의 인트라 예측 모드들을 포함하고, 제1 세트의 인트라 예측 모드들은 제2 세트의 인트라 예측 모드들과 상이하다.
방법(2000)에 대한 일부 실시예들에서, 제2 세트의 인트라 예측 모드들은 제1 세트의 인트라 예측 모드들에 포함되는 MIP 모드들로 전환되는 인트라 예측 모드들을 포함한다. 방법(2000)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 MPM 리스트는 제1 세트의 시프트된 인트라 예측 모드들을 포함하고, 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 제2 세트의 시프트된 인트라 예측 모드들을 포함하고, 제1 세트의 시프트된 인트라 예측 모드들은 제2 세트의 시프트된 인트라 예측 모드들과 상이하다. 방법(2000)에 대한 일부 실시예들에서, 제1 세트의 시프트된 인트라 예측 모드들은 제1 수식 Y+K1에 따라 K1만큼 시프트된 MIP 모드(Y)를 포함하고, 제2 세트의 시프트된 인트라 예측 모드들은 제2 수식 X+K0에 따라 K0만큼 시프트된 비-MIP 인트라 모드(X)를 포함하고, K1은 K0과 상이하다. 방법(2000)에 대한 일부 실시예들에서, K1은 현재 비디오 블록의 폭 및 높이에 의존한다.
일부 실시예들에서, 방법(2000)은 현재 비디오 블록의 이웃 비디오 블록이 비-MIP 인트라 모드로 코딩된다는 제1 결정을 수행하는 단계; 및 제1 결정에 응답하여, 이웃 비디오 블록이 MIP 모드에 대한 제1 MPM 리스트의 구성에 이용불가능하다는 제2 결정을 수행하는 단계를 추가로 포함한다.
일부 실시예들에서, 방법(2000)은 현재 비디오 블록의 이웃 비디오 블록이 비-MIP 인트라 모드로 코딩된다는 제1 결정을 수행하는 단계; 및 제1 결정에 응답하여, 이웃 비디오 블록이 미리 정의된 MIP 인트라 예측 모드로 코딩된다는 제2 결정을 수행하는 단계를 추가로 포함하고, MIP 모드에 대한 제1 MPM 리스트는 미리 정의된 MIP 인트라 예측 모드를 사용하여 구성된다. 방법(2000)에 대한 일부 실시예들에서, 미리 정의된 MIP 인트라 예측 모드는 현재 비디오 블록의 폭 및/또는 높이에 의존한다.
도 21은 행렬 기반 인트라 예측을 위한 예시적인 방법(2100)의 예시적인 흐름도를 도시한다. 동작(2102)은 비디오의 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 위해, 규칙에 기초하여 최고 확률 모드(MPM) 리스트를 생성하는 것을 포함하고, 규칙은 현재 비디오 블록의 이웃 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드로 코딩되는지에 기초하며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 이웃 비디오 블록의 예측 블록이 결정된다. 동작(2104)은 MPM 리스트를 사용하여 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 것을 포함하고, 여기서 전환은 현재 비디오 블록에 비-MIP 모드를 적용하고, 비-MIP 모드는 MIP 모드와 상이하다.
방법(2100)에 대한 일부 실시예들에서, 규칙은 MIP 모드로 코딩된 이웃 비디오 블록이 비-MIP 코딩된 현재 비디오 블록에 대한 MPM 리스트를 생성하기 위해 이용불가능한 것으로서 취급된다는 것을 지정한다. 방법(2100)에 대한 일부 실시예들에서, 규칙은 MIP 모드로 코딩된 이웃 비디오 블록이 미리 정의된 인트라 예측 모드로 코딩되는 것으로 결정된다는 것을 지정한다. 방법(2100)에 대한 일부 실시예들에서, 규칙은 미리 정의된 인트라 예측 모드가 평면 모드를 포함한다는 것을 지정한다.
도 22는 행렬 기반 인트라 예측을 위한 예시적인 방법(2200)의 예시적인 흐름도를 도시한다. 동작(2202)은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 현재 비디오 블록의 코딩된 표현으로 코딩되는 비디오의 현재 비디오 블록을 디코딩하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다. 동작(2204)은 디코딩과 연관된 라인 버퍼를, 현재 비디오 블록이 MIP 모드를 사용하여 코딩되는지를 표시하는 정보를 라인 버퍼에 저장하지 않고서 업데이트하는 것을 포함한다.
일부 실시예들에서, 방법(2200)은 비디오의 제2 비디오 블록에 액세스하는 단계를 추가로 포함하고, 제2 비디오 블록은 현재 비디오 블록을 디코딩하기 전에 디코딩되고, 제2 비디오 블록은 현재 비디오 블록과 비교하여 상이한 LCU(Largest Coding Unit) 또는 CTU(Coding Tree Unit) 행 또는 CTU 영역에 위치하고, 현재 비디오 블록은 제2 비디오 블록이 MIP 모드를 사용하여 코딩되는지를 결정하지 않고서 디코딩된다. 일부 실시예들에서, 방법(2200)은 제2 비디오 블록이 MIP 모드를 사용하여 코딩되는지를 결정하지 않고서 제2 비디오 블록이 비-MIP 인트라 모드를 사용하여 코딩되는 것을 결정함으로써 제2 비디오 블록에 액세스하는 단계 - 제2 비디오 블록은 현재 비디오 블록과 비교하여 상이한 LCU(Largest Coding Unit) 또는 CTU(Coding Tree Unit) 행 또는 CTU 영역에 위치함 - ; 및 제2 비디오 블록에 액세스하는 것에 기초하여, 현재 비디오 블록을 디코딩하는 단계를 추가로 포함한다.
도 23은 행렬 기반 인트라 예측을 위한 예시적인 방법(2300)의 예시적인 흐름도를 도시한다. 동작(2302)은 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 현재 비디오 블록은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 코딩되며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 산술 코딩 또는 디코딩 프로세스에서 최대 K개의 컨텍스트를 사용하여 비트스트림 표현에서 플래그가 코딩되고, 플래그는 현재 비디오 블록이 MIP 모드를 사용하여 코딩되는지를 표시하고, K는 0 이상이다. 방법(2300)에 대한 일부 실시예들에서, K는 1이다. 방법(2300)에 대한 일부 실시예들에서, K는 4이다.
도 24는 행렬 기반 인트라 예측을 위한 예시적인 방법(2400)의 예시적인 흐름도를 도시한다. 동작(2402)은, 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 위해, 행렬 기반 인트라 예측(MIP) 모드로 코딩된 현재 비디오 블록에 대한 인트라 예측 모드를 생성하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다. 동작(2404)은 현재 비디오 블록이 MIP 모드로 코딩되는지에 기초하여 인트라 예측 모드를 표시하는 정보를 저장하기 위한 규칙을 결정하는 것을 포함한다. 동작(2406)은 규칙에 따라 전환을 수행하는 것을 포함하고, 규칙은 인트라 예측 모드에 대한 신택스 요소가 현재 비디오 블록에 대한 비트스트림 표현에 저장되는 것을 정의하고, 규칙은 현재 비디오 블록에 대한 MIP 모드의 모드 인덱스가 비트스트림 표현에 저장되지 않는 것을 정의한다.
방법(2400)에 대한 일부 실시예들에서, MIP 모드에 대한 모드 인덱스는 인트라 예측 모드와 연관된다. 방법(2400)에 대한 일부 실시예들에서, 규칙은 비트스트림 표현이 현재 비디오 블록이 MIP 모드로 코딩된다는 것을 표시하는 플래그를 배제한다는 것을 정의한다. 방법(2400)에 대한 일부 실시예들에서, 규칙은 비트스트림 표현이 현재 비디오 블록과 연관된 MIP 모드를 표시하는 정보의 저장을 배제한다는 것을 정의한다. 일부 실시예들에서, 방법(2400)은, 전환 후에, 비디오의 제2 비디오 블록과 제2 비디오 블록의 비트스트림 표현 사이의 제2 전환을 수행하는 단계를 추가로 포함하고, 제2 비디오 블록은 현재 비디오 블록의 이웃 비디오 블록이고, 제2 전환은 제2 비디오 블록이 MIP 모드를 사용하여 코딩되는지를 결정하지 않고서 수행된다.
도 25는 행렬 기반 인트라 예측을 위한 예시적인 방법(2500)의 예시적인 흐름도를 도시한다. 동작(2502)은, 비디오의 루마 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드를 사용하여 코딩된다는 제1 결정을 수행하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 루마 비디오 블록의 예측 블록이 결정된다. 동작(2504)은, 제1 결정에 기초하여, 루마 비디오 블록과 연관된 크로마 비디오 블록에 사용될 크로마 인트라 모드에 관한 제2 결정을 수행하는 것을 포함한다. 동작(2506)은, 제2 결정에 기초하여, 크로마 비디오 블록과 크로마 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함한다.
방법(2500)에 대한 일부 실시예들에서, 제2 결정을 수행하는 것은 시그널링에 의존하지 않고서 크로마 인트라 모드가 도출 모드(Derived Mode, DM)인 것을 결정하는 것을 포함한다. 방법(2500)에 대한 일부 실시예들에서, 루마 비디오 블록은 크로마 비디오 블록의 미리 결정된 대응하는 크로마 샘플을 커버한다. 방법(2500)에 대한 일부 실시예들에서, 미리 결정된 대응하는 크로마 샘플은 크로마 비디오 블록의 상단-좌측 샘플 또는 중심 샘플이다. 방법(2500)에 대한 일부 실시예들에서, 크로마 인트라 모드는 도출 모드(DM)를 포함한다. 방법(2500)에 대한 일부 실시예들에서, DM은 루마 비디오 블록의 제2 인트라 예측 모드로부터 크로마 비디오 블록에 대한 제1 인트라 예측 모드를 도출하기 위해 사용된다. 방법(2500)에 대한 일부 실시예들에서, 루마 비디오 블록과 연관된 MIP 모드는 미리 정의된 인트라 모드에 맵핑된다.
방법(2500)에 대한 일부 실시예들에서, 루마 비디오 블록이 MIP 모드로 코딩된다는 제1 결정에 응답하여 복수의 도출 모드(DM)가 도출된다. 방법(2500)에 대한 일부 실시예들에서, 크로마 인트라 모드는 지정된 인트라 예측 모드를 포함한다. 방법(2500)에 대한 일부 실시예들에서, 미리 정의된 인트라 모드 또는 지정된 인트라 모드는 평면 모드이다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록은 MIP 모드를 사용하여 코딩된다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록은 제2 크로마 비디오 블록의 제2 행렬 또는 제2 바이어스 벡터와 상이한 제1 행렬 또는 제1 바이어스 벡터를 사용하여 코딩된다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록은 청색 컬러 성분이고, 제1 행렬 또는 제1 바이어스 벡터는 청색 컬러 성분에 대해 미리 정의되고, 제2 크로마 비디오 블록은 적색 컬러 성분이고, 제2 행렬 또는 제2 바이어스 벡터는 적색 컬러 성분에 대해 미리 정의된다.
방법(2500)에 대한 일부 실시예들에서, 청색 컬러 성분과 적색 컬러 성분은 연결된다. 방법(2500)에 대한 일부 실시예들에서, 청색 컬러 성분과 적색 컬러 성분은 인터리빙된다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록은 루마 비디오 블록에 사용되는 MIP 모드와 동일한 MIP 모드를 사용하여 코딩된다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록은 도출 모드(DM)를 사용하여 코딩된다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록이 MIP 모드를 사용하여 코딩된 후에 업샘플링 연산(또는 선형 보간 기법)은 스킵된다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록은 서브샘플링된 행렬 및/또는 바이어스 벡터와 함께 MIP 모드를 사용하여 코딩된다. 방법(2500)에 대한 일부 실시예들에서, 루마 비디오 블록 및 크로마 비디오 블록에 대한 MIP 모드의 수는 상이하다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록은 제1 수의 MIP 모드와 연관되고, 루마 비디오 블록은 제2 수의 MIP 모드와 연관되며, 제1 수의 MIP 모드는 제2 수의 MIP 모드보다 작다. 방법(2500)에 대한 일부 실시예들에서, 크로마 비디오 블록과 루마 비디오 블록은 동일한 크기를 갖는다.
도 26은 행렬 기반 인트라 예측을 위한 예시적인 방법(2600)의 예시적인 흐름도를 도시한다. 동작(2602)은 비디오의 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 것을 포함하고, 전환은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 현재 비디오 블록을 코딩할지의 결정에 기초하며(또는 결정하는 것에 기초하며), 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다.
방법(2600)의 일부 실시예들에서, 현재 비디오 블록이 MIP 모드로 코딩되어야 한다는 결정에 응답하여 코딩된 표현에 신택스 요소가 포함되고, 신택스 요소는 현재 비디오 블록을 코딩하기 위한 MIP 모드의 사용을 표시한다. 방법(2600)의 일부 실시예들에서, 코딩된 표현은 MIP 모드가 현재 비디오 블록에 대해 인에이블 또는 디스에이블된다는 것을 표시하는 신택스 요소를 포함하고, 신택스 요소는 MIP 모드가 현재 비디오 블록을 코딩하기 위해 허용되거나 허용되지 않는다는 것을 표시한다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록이 MIP 모드로 코딩되지 않아야 한다는 결정에 응답하여 코딩된 표현에 신택스 요소가 포함되지 않고, 신택스 요소는 MIP 모드가 현재 비디오 블록에 대해 사용되는지를 표시한다.
방법(2600)의 일부 실시예들에서, MIP 모드의 인에이블을 표시하는 제2 신택스 요소가 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더, 타일 그룹 헤더, 타일 헤더, 코딩 트리 유닛(CTU) 행 또는 CTU 영역에 추가로 포함된다. 방법(2600)의 일부 실시예들에서, 전환을 위해 MIP 모드를 사용할지의 결정은 현재 비디오 블록의 높이(H) 및/또는 폭(W)에 기초한다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록은 W≥T1 및 H≥T2에 응답하여 MIP 모드를 사용하여 코딩되지 않는 것으로 결정된다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록은 W≤T1 및 H≤T2에 응답하여 MIP 모드를 사용하여 코딩되지 않는 것으로 결정된다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록은 W≥T1 또는 H≥T2에 응답하여 MIP 모드를 사용하여 코딩되지 않는 것으로 결정된다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록은 W≤T1 또는 H≤T2에 응답하여 MIP 모드를 사용하여 코딩되지 않는 것으로 결정된다. 방법(2600)의 일부 실시예들에서, T1=32 및 T2=32이다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록은 W+H≥T에 응답하여 MIP 모드를 사용하여 코딩되지 않는 것으로 결정된다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록은 W+H≤T에 응답하여 MIP 모드를 사용하여 코딩되지 않는 것으로 결정된다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록은 WxH≥T에 응답하여 MIP 모드를 사용하여 코딩되지 않는 것으로 결정된다. 방법(2600)의 일부 실시예들에서, 현재 비디오 블록은 WxH≤T에 응답하여 MIP 모드를 사용하여 코딩되지 않는 것으로 결정된다. 방법(2600)의 일부 실시예들에서, T=256이다.
도 27a는 행렬 기반 인트라 예측을 위한 예시적인 비디오 인코딩 방법(2700A)의 예시적인 흐름도를 도시한다. 동작(2702A)은, 비디오의 현재 비디오 블록을 현재 비디오 블록의 비트스트림 표현으로 인코딩하기 위해, 행렬 기반 인트라 예측(MIP) 모드 및 현재 비디오 블록을 인코딩하기 위한 MIP 모드와 상이한 코딩 모드를 사용할지를 규칙에 따라 결정하는 것을 포함하고, MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 결정하는 것을 포함한다. 동작(2704A)은, 결정에 기초하여, 현재 비디오 블록의 인코딩된 표현을 비트스트림 표현에 추가하는 것을 포함한다.
도 27b는 행렬 기반 인트라 예측을 위한 예시적인 비디오 디코딩 방법(2700B)의 예시적인 흐름도를 도시한다. 동작(2702B)은 행렬 기반 인트라 예측(MIP) 모드 및 MIP 모드와 상이한 코딩 모드를 사용하여 비디오의 현재 비디오 블록이 비트스트림 표현으로 인코딩되는 것을 결정하는 것을 포함하고, MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 결정하는 것을 포함한다. 동작(2704B)은 비트스트림 표현을 파싱 및 디코딩함으로써 현재 비디오 블록의 디코딩된 표현을 생성하는 것을 포함한다.
방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 코딩 모드는 조합된 인트라 및 인터 예측(CIIP) 모드이고, 방법은 MIP 모드와 인트라 예측 모드 사이의 선택을 수행함으로써 현재 비디오 블록에 대한 인트라 예측 신호를 생성하는 단계를 추가로 포함한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 선택을 수행하는 것은 현재 비디오 블록의 비트스트림 표현에서의 시그널링에 기초한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 선택을 수행하는 것은 미리 결정된 규칙에 기초한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 미리 결정된 규칙은 현재 비디오 블록이 CIIP 모드를 사용하여 코딩되는 것에 응답하여 MIP 모드를 선택한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 미리 결정된 규칙은 현재 비디오 블록이 CIIP 모드를 사용하여 코딩되는 것에 응답하여 인트라 예측 모드를 선택한다. 방법(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 미리 결정된 규칙은 현재 비디오 블록이 CIIP 모드를 사용하여 코딩되는 것에 응답하여 평면 모드를 선택한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 선택을 수행하는 것은 현재 비디오 블록의 이웃 비디오 블록들과 연관된 정보에 기초한다.
방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 코딩 모드는 교차 성분 선형 모델(CCLM) 예측 모드이다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, MIP 모드에서 현재 비디오 블록의 이웃 샘플을 다운샘플링하기 위한 제1 다운샘플링 절차는 현재 비디오 블록의 이웃 루마 샘플들이 다운샘플링되는 CCLM 예측 모드에 대한 제2 다운샘플링 절차의 적어도 일부를 사용한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, CCLM 예측 모드에서 현재 비디오 블록의 이웃 샘플을 다운샘플링하기 위한 제1 다운샘플링 절차는 현재 비디오 블록의 이웃 루마 샘플들이 다운샘플링되는 MIP 예측 모드에 대한 제2 다운샘플링 절차의 적어도 일부를 사용한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 다운샘플링 절차는 제1 세트의 파라미터들에 기초하고, CCLM 예측 모드에 대한 제1 다운샘플링 절차는 제1 세트의 파라미터들과 상이한 제2 세트의 파라미터들에 기초한다.
방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, MIP 모드에 대한 제1 다운샘플링 절차 및 CCLM 예측 모드에 대한 제2 다운샘플링 절차는 이웃 루마 위치들의 선택 또는 다운샘플링 필터의 선택을 포함한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 이웃 루마 샘플들은 다운샘플링된 위치들의 선택, 다운샘플링 필터들의 선택, 라운딩 연산 또는 클리핑 연산 중 적어도 하나를 사용하여 다운샘플링된다. 방법(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 규칙은 블록-기반 차분 펄스 코드 변조(BDPCM) 또는 잔차 DPCM이 MIP 모드로 코딩된 현재 비디오 블록에 적용되지 않는다는 것을 정의한다. 방법들(2700A 및/또는 2700B)에 대한 일부 실시예들에서, 규칙은 블록-기반 차분 펄스 코드 변조(BDPCM) 또는 잔차 DPCM을 적용하는 것에 응답하여 MIP 모드가 현재 비디오 블록에 적용하기 위해 허용되지 않는다는 것을 정의한다.
도 28은 행렬 기반 인트라 예측을 위한 예시적인 방법(2800)의 예시적인 흐름도를 도시한다. 동작(2802)은 비디오와 현재 비디오 블록의 코딩된 표현 사이의 전환에서 비디오의 현재 비디오 블록의 재구성된 블록에 대한 루프 필터의 적용가능성에 관한 결정을 행하는 것을 포함하고, 현재 비디오 블록은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 코딩되며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다. 동작(2804)은 결정에 따라 현재 비디오 블록을 처리하는 것을 포함한다.
방법(2800)에 대한 일부 실시예들에서, 루프 필터는 디블록킹 필터를 포함한다. 방법(2800)에 대한 일부 실시예들에서, 루프 필터는 SAO(sample adaptive offset)를 포함한다. 방법(2800)에 대한 일부 실시예들에서, 루프 필터는 ALF(adaptive loop filter)를 포함한다.
도 29a는 행렬 기반 인트라 예측을 위한 예시적인 비디오 인코딩 방법(2900A)의 예시적인 흐름도를 도시한다. 동작(2902A)은, 비디오의 현재 비디오 블록을 현재 비디오 블록의 비트스트림 표현으로 인코딩하기 위해, 규칙에 따라 사용될 현재 비디오 블록의 이웃 샘플들의 타입을 결정하는 것을 포함한다. 동작(2904A)은, 결정에 기초하여, 현재 비디오 블록의 인코딩된 표현을 비트스트림 표현에 추가하는 것을 포함하고, 현재 비디오 블록은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 인코딩되며, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다.
도 29b는 행렬 기반 인트라 예측을 위한 예시적인 비디오 디코딩 방법(2900B)의 예시적인 흐름도를 도시한다. 동작(2902B)은 비디오의 현재 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드를 사용하여 그리고 규칙에 따라 현재 비디오 블록의 이웃 샘플들의 타입을 사용하여 비트스트림 표현으로 인코딩되는 것을 결정하는 것을 포함하고, MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 결정하는 것을 포함한다. 동작(2904B)은 비트스트림 표현을 파싱 및 디코딩함으로써 현재 비디오 블록의 디코딩된 표현을 생성하는 것을 포함한다.
방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 규칙은 이웃 샘플들의 타입이 필터링되지 않은 이웃 샘플들인 것을 정의한다. 방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 규칙은 필터링되지 않은 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 업샘플링 프로세스를 위해 사용된다는 것을 정의하고, 규칙은 필터링되지 않은 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 다운샘플링 프로세스를 위해 사용된다는 것을 정의하고, 규칙은 필터링되지 않은 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 행렬 벡터 곱셈 연산을 위해 사용된다는 것을 정의한다. 방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 규칙은 이웃 샘플들의 타입이 필터링된 이웃 샘플들인 것을 정의한다. 방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 규칙은 필터링되지 않은 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 업샘플링 기법을 위해 사용된다는 것을 정의하고, 규칙은 필터링된 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 다운샘플링 기법을 위해 사용된다는 것을 정의한다.
방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 규칙은 필터링되지 않은 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 다운샘플링 기법을 위해 사용된다는 것을 정의하고, 규칙은 필터링된 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 업샘플링 기법을 위해 사용된다는 것을 정의한다. 방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 규칙은 필터링되지 않은 상측 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 업샘플링 기법을 위해 사용된다는 것을 정의하고, 규칙은 필터링된 좌측 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 업샘플링 기법을 위해 사용된다는 것을 정의한다. 방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 규칙은 필터링되지 않은 좌측 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 업샘플링 기법을 위해 사용된다는 것을 정의하고, 규칙은 필터링된 상측 이웃 샘플들을 포함하는 이웃 샘플들의 타입이 업샘플링 기법을 위해 사용된다는 것을 정의한다.
방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 이웃 샘플들의 타입은 필터링되지 않은 이웃 샘플들 또는 필터링된 이웃 샘플들을 포함하고, 규칙은 필터링되지 않은 이웃 샘플들이 사용되는지 또는 필터링된 이웃 샘플들이 사용되는지가 현재 비디오 블록의 MIP 모드에 기초한다는 것을 정의한다.
일부 실시예들에서, 방법들(2900A 및/또는 2900B)은 MIP 모드를 인트라 예측 모드로 전환하는 단계를 추가로 포함하고, 이웃 샘플들의 타입은 필터링되지 않은 이웃 샘플들 또는 필터링된 이웃 샘플들을 포함하고, 규칙은 필터링되지 않은 이웃 샘플들이 사용되는지 또는 필터링된 이웃 샘플들이 사용되는지가 인트라 예측 모드에 기초한다는 것을 정의한다. 방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 이웃 샘플들의 타입은 필터링되지 않은 이웃 샘플들 또는 필터링된 이웃 샘플들을 포함하고, 규칙은 필터링되지 않은 이웃 샘플들이 사용되는지 또는 필터링된 이웃 샘플들이 사용되는지가 신택스 요소 또는 시그널링에 기초한다는 것을 정의한다. 방법들(2900A 및/또는 2900B)에 대한 일부 실시예들에서, 필터링된 이웃 샘플들 또는 필터링된 좌측 이웃 샘플들 또는 필터링된 상측 이웃 샘플들은 인트라 예측 모드를 사용하여 생성된다.
도 30은 행렬 기반 인트라 예측을 위한 예시적인 방법(3000)의 예시적인 흐름도를 도시한다. 동작(3002)은 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 전환은, 행렬 기반 인트라 예측(MIP) 모드를 사용함으로써, 샘플들의 행렬들을 사용하여 행렬 곱셈을 선택하고 적용함으로써 그리고/또는 현재 비디오 블록에 대한 오프셋 벡터들을 사용하여 오프셋을 선택하고 가산함으로써 현재 비디오 블록에 대한 예측 블록을 생성하는 것을 포함하고, 샘플들은 비디오의 이전에 코딩된 샘플들의 행 및 열 방향 평균화(row and column wise averaging)로부터 획득되고, 선택하는 것은 현재 비디오 블록의 참조 픽처에 LMCS(luma mapping with chroma scaling) 기법을 적용하는 것과 연관된 재성형(reshaping) 정보에 기초한다. 방법(3000)에 대한 일부 실시예들에서, 참조 픽처에 대해 재성형 기법이 인에이블될 때, 재성형 정보는 참조 픽처에 대해 재성형 기법이 디스에이블될 때 재성형 정보와 연관된 것들과 상이한 행렬들 및/또는 오프셋 벡터들과 연관된다. 방법(3000)에 대한 일부 실시예들에서, 재성형 정보의 상이한 재성형 파라미터들에 대해 상이한 행렬들 및/또는 오프셋 벡터들이 사용된다. 방법(3000)에 대한 일부 실시예들에서, 전환을 수행하는 것은 원래 도메인에서 MIP 모드를 사용하여 현재 비디오 블록에 대해 인트라 예측을 수행하는 것을 포함한다. 방법(3000)에 대한 일부 실시예들에서, 현재 비디오 블록의 이웃 샘플들은 재성형 정보를 적용하는 것에 응답하여 원래 도메인에 맵핑되고, 이웃 샘플들은 MIP 모드에서 사용되기 전에 원래 도메인에 맵핑된다.
도 31은 행렬 기반 인트라 예측을 위한 예시적인 방법(3100)의 예시적인 흐름도를 도시한다. 동작(3102)은 현재 비디오 블록이 행렬 기반 인트라 예측(MIP) 모드를 사용하여 코딩되어야 한다고 결정하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다. 동작(3104)은, 결정에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 전환을 수행하는 것은 MIP 모드와 또 다른 코딩 기법의 공동-적용의 규칙에 기초한다.
방법(3100)에 대한 일부 실시예들에서, 규칙은 MIP 모드와 또 다른 코딩 기법이 상호 배타적으로 사용된다는 것을 지정한다. 방법(3100)에 대한 일부 실시예들에서, 규칙은 또 다른 코딩 기법이 HDR(high dynamic range) 기법 또는 재성형 기법인 것을 지정한다.
도 32는 행렬 기반 인트라 예측을 위한 예시적인 방법(3200)의 예시적인 흐름도를 도시한다. 동작(3202)은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, MIP 모드를 사용하여 전환을 수행하는 것은 비디오의 이전에 코딩된 샘플들의 행 및 열 방향 평균화로부터 획득된 샘플들의 행렬들을 사용하여 행렬 곱셈을 적용함으로써 예측 블록을 생성하는 것을 포함하고, 행렬들은 샘플의 비트 심도에 의존한다.
도 33은 행렬 기반 인트라 예측을 위한 예시적인 방법(3300)의 예시적인 흐름도를 도시한다. 동작(3302)은, 비디오의 현재 비디오 블록에 대해, 행렬 기반 인트라 예측(MIP) 모드를 사용하여 중간 예측 신호를 생성하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다. 동작(3304)은, 중간 예측 신호에 기초하여, 최종 예측 신호를 생성하는 것을 포함한다. 동작(3306)은, 최종 예측 신호에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함한다.
방법(3300)에 대한 일부 실시예들에서, 최종 예측 신호를 생성하는 것은 중간 예측 신호에 PDPC(Position Dependent Intra Prediction Combination)를 적용함으로써 수행된다. 방법(3300)에 대한 일부 실시예들에서, 최종 예측 신호를 생성하는 것은 MIP 모드로 비디오의 이전에 코딩된 샘플들을 생성함으로써 그리고 이전에 코딩된 샘플들을 현재 비디오 블록의 이웃 샘플들로 필터링함으로써 수행된다.
도 34는 행렬 기반 인트라 예측을 위한 예시적인 방법(3400)의 예시적인 흐름도를 도시한다. 동작(3402)은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 전환을 수행하는 것은 MIP 모드에 대한 업샘플링 프로세스에서 보간 필터를 사용하는 것을 포함하고, MIP 모드에서는, 비디오의 이전에 코딩된 샘플들의 행 및 열 방향 평균화로부터 획득된 제1 세트의 샘플들에 행렬 곱셈이 적용되고, 행렬 곱셈으로부터 획득된 제2 세트의 샘플들에 보간 필터가 적용되며, 보간 필터는 쌍선형 보간 필터(bilinear interpolation filter)를 배제한다.
방법(3400)에 대한 일부 실시예들에서, 보간 필터는 4-탭 보간 필터를 포함한다. 방법(3400)에 대한 일부 실시예들에서, 현재 비디오 블록의 크로마 성분들에 대한 모션 보상이 4-탭 보간 필터를 사용하여 수행된다. 방법(3400)에 대한 일부 실시예들에서, 현재 비디오 블록의 각도 인트라 예측이 4-탭 보간 필터를 사용하여 수행된다. 방법(3400)에 대한 일부 실시예들에서, 보간 필터는 8-탭 보간 필터를 포함하고, 현재 비디오 블록의 루마 성분에 대한 모션 보상이 8-탭 보간 필터를 사용하여 수행된다.
도 35는 행렬 기반 인트라 예측을 위한 예시적인 방법(3500)의 예시적인 흐름도를 도시한다. 동작(3502)은 규칙에 따라 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 규칙은 전환 동안의 행렬 기반 인트라 예측(MIP) 모드 또는 변환 모드(transform mode)의 적용가능성 사이의 관계를 지정하고, MIP 모드는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록을 결정하는 것을 포함하고, 변환 모드는 현재 비디오 블록에 대한 예측 블록을 결정하기 위한 변환 연산의 사용을 지정한다.
방법(3500)에 대한 일부 실시예들에서, 변환 모드는 감소된 2차 변환(RST), 2차 변환, 회전 변환 또는 비-분리형 2차 변환(NSST)을 포함한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 MIP 모드가 현재 비디오 블록에 적용되는 것에 응답하여 변환 모드를 사용한 변환 연산이 적용되지 않아야 한다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 현재 비디오 블록의 높이(H) 또는 폭(W)에 기초하여 변환 모드를 사용한 변환 연산을 적용할지를 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 W≥T1 및 H≥T2에 응답하여 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 W≤T1 및 H≤T2에 응답하여 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 W≥T1 또는 H≥T2에 응답하여 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 W≤T1 또는 H≤T2에 응답하여 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, T1=32 및 T2=32이다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 W+H≥T에 응답하여 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 W+H≤T에 응답하여 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 WxH≥T에 응답하여 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 WxH≤T에 응답하여 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, T=256이다.
방법(3500)에 대한 일부 실시예들에서, 규칙은 현재 비디오 블록이 MIP 모드로 코딩되는 것에 응답하여 변환 모드를 사용한 변환 연산이 적용되어야 한다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 변환 연산을 위한 변환 행렬 또는 커널의 선택은 MIP 모드로 코딩되는 현재 비디오 블록에 기초한다. 일부 실시예들에서, 방법(3500)은 MIP 모드를 인트라 예측 모드로 전환하는 단계; 및 전환된 인트라 예측 모드에 기초하여 변환 행렬 또는 커널을 선택하는 단계를 추가로 포함한다. 일부 실시예들에서, 방법(3500)은 MIP 모드를 인트라 예측 모드로 전환하는 단계; 및 전환된 인트라 예측 모드의 분류에 기초하여 변환 행렬 또는 커널을 선택하는 단계를 추가로 포함한다. 방법(3500)에 대한 일부 실시예들에서, 전환된 인트라 예측 모드는 평면 모드를 포함한다.
방법(3500)에 대한 일부 실시예들에서, 규칙은, MIP 모드가 현재 비디오 블록에 적용되는 것이 허용되지 않을 때 변환 모드를 사용한 변환 연산이 현재 비디오 블록에 적용된다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 MIP 모드를 사용하여 코딩된 현재 비디오 블록에 DCT-II(Discrete Cosine Transform Type II) 변환 코딩 기법이 적용된다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 현재 비디오 블록의 비트스트림 표현은 DCT-II 변환 코딩 기법에 대한 변환 행렬 인덱스들의 시그널링을 배제한다. 방법(3500)에 대한 일부 실시예들에서, 전환을 수행하는 것은 DCT-II 변환 코딩 기법에 의해 사용될 변환 행렬을 도출하는 것을 포함한다. 방법(3500)에 대한 일부 실시예들에서, 비트스트림 표현은 변환 행렬의 표시 이후에 시그널링되는 MIP 모드에 관련된 정보를 포함한다.
방법(3500)에 대한 일부 실시예들에서, 비트스트림 표현은 변환 행렬에 대한 MIP 모드의 표시를 포함한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 비트스트림 표현이 미리 정의된 변환 행렬들에 대한 MIP 모드의 표시를 배제한다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은, 현재 비디오 블록이 MIP 모드로 코딩되는 것에 응답하여 변환 스킵 기법을 사용한 변환 연산이 현재 비디오 블록에 적용된다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 현재 비디오 블록의 비트스트림 표현은 현재 비디오 블록이 MIP 모드로 코딩될 때 변환 스킵 기법의 시그널링을 배제한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은, MIP 모드로 코딩된 현재 비디오 블록에 대해, 모드 의존적 변환 행렬 또는 커널을 선택함으로써 변환 연산이 수행될 때 MIP 모드는 미리 정의된 인트라 예측 모드로 전환된다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 MIP 모드로 코딩되는 현재 비디오 블록에 대해 변환 스킵 기법을 사용한 변환 연산이 허용되지 않는다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 비트스트림 표현은 변환 스킵 기법의 사용을 표시하는 시그널링을 배제한다. 방법(3500)에 대한 일부 실시예들에서, 규칙은 MIP 모드로 코딩되지 않는 현재 비디오 블록에 대해 변환 스킵 기법을 사용한 변환 연산이 허용된다는 것을 표시한다. 방법(3500)에 대한 일부 실시예들에서, 비트스트림 표현은 MIP 모드를 사용하는 것을 표시하는 시그널링을 배제한다.
도 36은 행렬 기반 인트라 예측을 위한 예시적인 방법(3600)의 예시적인 흐름도를 도시한다. 동작(3602)은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 전환을 수행하는 것은 규칙에 따라 적어도 하나의 참조 경계 샘플의 합에 좌측 비트 시프트 연산 또는 우측 비트 시프트 연산을 적용함으로써 경계 샘플들을 도출하는 것을 포함하고, 규칙은 좌측 비트 시프트 연산을 적용할지 또는 우측 비트 시프트 연산을 적용할지를 결정한다.
방법(3600)에 대한 일부 실시예들에서, 규칙은 시프트된 비트의 수가 0 이상인 것에 응답하여 우측 비트 시프트 연산이 적용된다는 것을 정의한다. 방법(3600)에 대한 일부 실시예들에서, 규칙은 시프트된 비트의 수가 0 초과인 것에 응답하여 우측 비트 시프트 연산이 제1 기법을 사용하여 적용된다는 것을 정의하고, 규칙은 시프트된 비트의 수가 0인 것에 응답하여 우측 비트 시프트 연산이 제2 기법을 사용하여 적용된다는 것을 정의하고, 제1 기법은 제2 기법과 상이하다.
방법(3600)에 대한 일부 실시예들에서, 경계 샘플들 upsBdryX[ x ]는 다음 수학식들 중 하나를 사용하여 산출된다: uDwn>1이면, 
, 또는 uDwn=1이면, 
, 여기서 uDwn은 현재 비디오 블록 크기 및 경계 크기의 함수와 동일하고, refX [x]는 참조 샘플들 x의 수를 표시하고, 여기서 >>는 우측 비트 시프트 연산을 표시하고, <<는 좌측 비트 시프트 연산을 표시한다. 방법(3600)에 대한 일부 실시예들에서, 경계 샘플들 upsBdryX[ x ]는 다음 수학식을 사용하여 산출된다: 
, 여기서 uDwn은 현재 비디오 블록 및 경계 크기의 함수와 동일하고, refX [x]는 참조 샘플들 x의 수를 표시하고, 여기서 >>는 우측 비트 시프트 연산을 표시하고, <<는 좌측 비트 시프트 연산을 표시한다.
방법(3600)에 대한 일부 실시예들에서, 경계 크기는 현재 비디오 블록 크기에 기초하여 미리 정의된다. 방법(3600)에 대한 일부 실시예들에서, uDwn은 uDwn = nTbs / boundarySize로서 산출되고, 여기서 nTbs 및 boundarySize는 각각 현재 비디오 블록 크기 및 경계 크기를 표현한다. 방법(3600)에 대한 일부 실시예들에서, 경계 샘플들 upsBdryX[ x ]는 다음 수학식들 중 하나를 사용하여 산출된다: nTbs > boundarySize이면 
, 또는 nTbs = boundarySize이면 
.
도 37은 행렬 기반 인트라 예측을 위한 예시적인 방법(3700)의 예시적인 흐름도를 도시한다. 동작(3702)은 행렬 기반 인트라 예측(MIP) 모드를 사용하여 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 수행하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정되고, 예측 샘플들 predSamples[ xHor + dX ][ yHor ]는 업샘플링 연산에서 다음의 수식: predSamples[ xHor + dX ][ yHor ] = ( ( upHor - dX ) * predSamples[ xHor ][ yHor ] + dX * predSamples[ xHor + upHor ][ yHor ] + offsetHor) / upHor, 및 predSamples[ xVer ][ yVer + dY ] = ( ( upVer - dY ) * predSamples[ xVer ][ yVer ] + dY * predSamples[ xVer ][ yVer + upVer ]+ offsetVer ) / upVer에 따라 결정되고, offsetHor 및 offsetVer은 정수들이고, upHor은 현재 비디오 블록 폭과 현재 비디오 블록 크기에 기초한 미리 정의된 값의 함수이고, upVer은 현재 비디오 블록 높이와 현재 비디오 블록 크기에 기초한 미리 정의된 값의 함수이고; dX는 1... upHor-1이고, dY는 1... upVer-1이고, xHor은 upHor에 기초한 위치들이고 yHor은 upVer에 기초한 위치들이다. 방법(3700)에 대한 일부 실시예들에서, offsetHor=upHor/2 및 offsetVer=upVer/2이다.
도 38은 행렬 기반 인트라 예측을 위한 예시적인 방법(3800)의 예시적인 흐름도를 도시한다. 동작(3802)은, 비디오의 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 전환을 위해, 행렬 기반 인트라 예측(MIP) 모드로 코딩된 현재 비디오 블록에 대한 인트라 예측 모드를 생성하는 것을 포함하고, 이 MIP 모드에서는, 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 현재 비디오 블록의 예측 블록이 결정된다. 동작(3804)은 현재 비디오 블록이 MIP 모드로 코딩되는지에 기초하여 인트라 예측 모드를 표시하는 정보를 저장하기 위한 규칙을 결정하는 것을 포함한다. 동작(3806)은 규칙에 따라 전환을 수행하는 것을 포함하고, 규칙은 비트스트림 표현이 현재 비디오 블록과 연관된 MIP 모드를 표시하는 정보의 저장을 배제한다는 것을 정의한다.
이 특허 문서는 코딩된 표현을 의미하기 위해 비트스트림 표현을 참조할 수 있으며, 그 반대도 마찬가지이다. 전술한 것으로부터, 본 개시된 기술의 특정 실시예들은 예시를 위해 본 명세서에 설명되었지만, 다양한 수정들이 본 발명의 범위로부터 벗어나지 않고 이루어질 수 있는 것이 이해될 것이다. 따라서, 본 개시된 기술은, 첨부된 청구항들에 의한 것을 제외하고는 제한되지 않는다.
본 문서에서, "비디오 처리"라는 용어는 비디오 인코딩, 비디오 디코딩, 비디오 압축 또는 비디오 압축해제를 지칭할 수 있다. 예를 들어, 비디오의 픽셀 표현으로부터 대응하는 비트스트림 표현으로 또는 그 반대로 전환하는 동안 비디오 압축 알고리즘들이 적용될 수 있다. 현재 비디오 블록의 비트스트림 표현은, 예를 들어, 신택스에 의해 정의되는 바와 같이, 비트스트림 내의 상이한 곳들에 동위치(co-locate)되거나 확산되는 비트들에 대응할 수 있다. 예를 들어, 변환되고 코딩된 에러 잔차 값들의 관점에서 그리고 또한 비트스트림 내의 헤더들 및 다른 필드들에서의 비트들을 사용하여 매크로블록이 인코딩될 수 있다. 또한, 전환 동안, 디코더는, 위의 해결책들에서 설명된 바와 같이, 결정에 기초하여, 일부 필드들이 존재하거나 존재하지 않을 수 있다는 것을 알고서 비트스트림을 파싱할 수 있다. 유사하게, 인코더는 특정 신택스 필드들이 포함되거나 포함되지 않아야 한다고 결정하고, 코딩된 표현으로부터 신택스 필드들을 포함하거나 배제함으로써 그에 따라 코딩된 표현을 생성할 수 있다.
본 특허 문서에 설명된 주제 및 기능적 동작들의 구현들은 다양한 시스템들, 디지털 전자 회로에서, 또는 본 명세서에 개시된 구조들 및 그들의 구조적 균등물들을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어에서, 또는 이들 중 하나 이상의 것의 조합들에서 구현될 수 있다. 본 명세서에 설명된 주제의 구현들은 하나 이상의 컴퓨터 프로그램 제품, 즉, 데이터 처리 장치에 의한 실행을 위해 또는 데이터 처리 장치의 동작을 제어하기 위해 유형의 그리고 비일시적 컴퓨터 판독가능 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독가능 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 메모리 디바이스, 머신 판독가능 전파 신호를 달성하는 물질의 합성, 또는 이들 중 하나 이상의 것의 조합일 수 있다. "데이터 처리 유닛" 또는 "데이터 처리 장치"라는 용어는, 예로서 프로그램가능 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 포함한, 데이터를 처리하기 위한 모든 장치, 디바이스, 및 머신을 포함한다. 장치는, 하드웨어 외에도, 문제의(in question) 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 것의 조합을 구성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로도 알려짐)은 컴파일되거나 해석된 언어를 포함하는 임의의 형태의 프로그래밍 언어로 쓰여질 수 있고, 이는 독립형(stand-alone) 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴 또는 컴퓨팅 환경에서 사용을 위해 적합한 다른 유닛으로서를 포함하는 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 반드시 대응하지는 않는다. 프로그램은 다른 프로그램들 또는 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 유지하는 파일의 일부분에, 문제의 프로그램에 전용된 단일 파일에, 또는 다수의 조정된 파일(coordinated file)(예를 들어, 하나 이상의 모듈, 서브 프로그램(sub program), 또는 코드 부분(portion of code)을 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서, 또는 한 사이트에 배치되거나 다수의 사이트에 걸쳐 분산되어 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 명세서에 설명된 프로세스들 및 논리 흐름들은, 입력 데이터에 대해 동작하여 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은, 또한 특수 목적 논리 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)로서 구현될 수 있다.
컴퓨터 프로그램을 실행하는데 적합한 프로세서들은, 예로서, 범용 마이크로프로세서와 특수 목적 마이크로프로세서 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 양자 모두로부터 명령어들과 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은, 명령어들을 수행하기 위한 프로세서 및 명령어들과 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 자기, 광 자기 디스크 또는 광 디스크와 같은 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스를 포함하거나, 또는 이들로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 다를 행하도록 동작적으로 결합될 것이다. 그러나, 컴퓨터가 이러한 디바이스들을 가질 필요는 없다. 컴퓨터 프로그램 명령어들과 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예로서 반도체 메모리 디바이스들, 예를 들어, EPROM, EEPROM, 및 플래시 메모리 디바이스들을 포함한 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보완되거나 그에 통합될 수 있다.
도면과 함께 본 명세서는 단지 예시적인 것으로 간주되며, 예시적이라는 말은 한 예를 의미하는 것으로 의도된다. 본 명세서에서 사용되는 바와 같이, "또는"의 사용은, 문맥이 명확하게 달리 나타내지 않는 한, "및/또는"을 포함하는 것으로 의도된다.
본 특허 문서는 많은 세부사항들을 포함하지만, 이들은 임의의 발명의 또는 청구될 수 있는 것의 범위에 관한 제한들로서 해석되어서는 안 되고, 오히려 특정 발명들의 특정 실시예들에 특정할 수 있는 특징들의 설명들로서 해석되어야 한다. 별개의 실시예들의 맥락에서 본 특허 문서에 설명된 특정 특징들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예의 맥락에서 설명된 다양한 특징들이 또한 다수의 실시예들에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 또한, 위에서는 특징들이 특정 조합들로 동작하는 것으로서 설명되고 심지어 처음에 이와 같이 청구될 수 있지만, 일부 경우들에서는 청구된 조합으로부터의 하나 이상의 특징이 조합으로부터 삭제될 수 있으며, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 대한 것일 수 있다.
유사하게, 도면들에는 동작들이 특정 순서로 도시되지만, 이것은 바람직한 결과들을 달성하기 위해 그러한 동작들이 도시된 특정 순서로 또는 순차적 순서로 수행되어야 하거나, 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로 이해되어서는 안 된다. 또한, 본 특허 문서에 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다.
단지 몇 개의 구현들 및 예들만이 설명되며, 본 특허 문서에서 설명되고 예시된 것에 기초하여 다른 구현들, 개선들 및 변형들이 만들어질 수 있다.
Claims (60)
- 비디오 처리를 위한 방법으로서,
비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 사이의 전환(conversion)을 위해, 규칙에 기초하여 최고 확률 모드(most probable mode, MPM) 리스트를 생성하는 단계
- 상기 규칙은 상기 현재 비디오 블록의 이웃 비디오 블록이 행렬 기반 인트라 예측(matrix based intra prediction, MIP) 모드로 코딩되는지에 기초하며, 상기 MIP 모드에서는, 상기 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산(boundary downsampling operation), 이어서 행렬 벡터 곱셈 연산(matrix vector multiplication operation), 및 이어서 선택적으로 업샘플링 연산(upsampling operation)을 수행함으로써 상기 이웃 비디오 블록의 예측 블록이 결정됨 - ; 및
상기 MPM 리스트를 사용하여 상기 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 단계
를 포함하고,
상기 전환은 상기 현재 비디오 블록에 비-MIP 모드를 적용하고,
상기 비-MIP 모드는 상기 MIP 모드와 상이한, 방법. - 제1항에 있어서, 상기 규칙은 상기 MIP 모드로 코딩된 이웃 비디오 블록이 비-MIP 코딩된 현재 비디오 블록에 대한 MPM 리스트를 생성하기 위해 이용불가능한 것으로서 취급된다는 것을 지정하는, 방법.
- 제1항에 있어서, 상기 규칙은 상기 MIP 모드로 코딩된 이웃 비디오 블록이 미리 정의된 인트라 예측 모드로 코딩되는 것으로 결정된다는 것을 지정하는, 방법.
- 제3항에 있어서, 상기 규칙은 상기 미리 정의된 인트라 예측 모드가 평면(planar) 모드를 포함한다는 것을 지정하는, 방법.
- 비디오 처리를 위한 방법으로서,
비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 사이의 전환을 위해, 규칙에 기초한 제1 절차를 사용하여 제1 최고 확률 모드(MPM) 리스트를 생성하는 단계; 및
상기 제1 MPM 리스트를 사용하여 상기 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 사이의 전환을 수행하는 단계
를 포함하고,
상기 현재 비디오 블록의 전환은 행렬 기반 인트라 예측(MIP) 모드를 사용하며, 상기 MIP 모드에서는, 상기 비디오의 이전에 코딩된 샘플들에 대해, 경계 다운샘플링 연산, 이어서 행렬 벡터 곱셈 연산, 및 이어서 선택적으로 업샘플링 연산을 수행함으로써 상기 현재 비디오 블록의 예측 블록이 결정되고,
상기 규칙은 상기 제1 MPM 리스트의 생성을 위해 사용되는 상기 제1 절차가 상기 MIP 모드와 상이한 비-MIP 인트라 모드를 사용하여 코딩되는 상기 비디오의 다른 비디오 블록들의 전환을 위한 제2 MPM 리스트의 생성을 위해 사용되는 제2 절차와 동일하다는 것을 지정하고,
상기 제1 MPM 리스트의 적어도 일부는 상기 제2 MPM 리스트의 적어도 일부에 기초하여 생성되는, 방법. - 제5항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트의 크기는 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 크기와 동일한, 방법.
- 제6항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트 및 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 크기는 6인, 방법.
- 제5항에 있어서, 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 상기 MIP 모드에 대한 제1 MPM 리스트가 구성되기 전에 구성되는, 방법.
- 제8항에 있어서, 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 부분 또는 전부는 상기 MIP 모드에 대한 제1 MPM 리스트의 부분에 추가되는 MPM들로 전환되는, 방법.
- 제9항에 있어서, 상기 MPM들의 서브세트는 상기 MPM들을 프루닝(pruning)함으로써 상기 MIP 모드에 대한 제1 MPM 리스트의 부분에 추가되는, 방법.
- 제5항에 있어서,
상기 MIP 모드에 대한 제1 MPM 리스트에 디폴트 인트라 예측 모드들을 추가하는 단계를 추가로 포함하는, 방법. - 제11항에 있어서, 상기 디폴트 인트라 예측 모드들은 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 부분에 기초하는 상기 MIP 모드에 대한 제1 MPM 리스트의 부분 이전에 상기 MIP 모드에 대한 제1 MPM 리스트에 추가되는, 방법.
- 제11항에 있어서, 상기 디폴트 인트라 예측 모드들은 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 부분에 기초하는 상기 MIP 모드에 대한 제1 MPM 리스트의 부분 이후에 상기 MIP 모드에 대한 제1 MPM 리스트에 추가되는, 방법.
- 제11항에 있어서, 상기 디폴트 인트라 예측 모드들은 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트의 부분에 기초하는 상기 MIP 모드에 대한 제1 MPM 리스트의 부분과 인터리브 방식으로 상기 MIP 모드에 대한 제1 MPM 리스트에 추가되는, 방법.
- 제11항에 있어서, 상기 디폴트 인트라 예측 모드들은 복수의 타입들의 비디오 블록들에 대해 동일한, 방법.
- 제11항에 있어서, 상기 디폴트 인트라 예측 모드들은 상기 현재 비디오 블록의 코딩된 정보에 기초하여 결정되는, 방법.
- 제16항에 있어서, 상기 코딩된 정보는 이웃 비디오 블록들의 가용성, 상기 이웃 비디오 블록들의 모드 정보, 또는 상기 현재 비디오 블록의 블록 치수를 포함하는, 방법.
- 제5항에 있어서, 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 하나의 인트라 예측 모드는 상기 MIP 모드에 대한 제1 MPM 리스트에 추가되는 전환된 MIP 모드를 획득하기 위해 그의 대응하는 MIP 모드로 전환되는, 방법.
- 제5항에 있어서, 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 모든 인트라 예측 모드들은 상기 MIP 모드에 대한 제1 MPM 리스트에 추가되는 복수의 전환된 MIP 모드들을 획득하기 위해 그의 대응하는 MIP 모드로 전환되는, 방법.
- 제5항에 있어서, 모든 인트라 예측 모드들은 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트를 구성하는 데 사용되는 복수의 전환된 MIP 모드들을 획득하기 위해 그의 대응하는 MIP 모드로 전환되는, 방법.
- 제20항에 있어서, 모든 인트라 예측 모드들은 상기 현재 비디오 블록의 이웃 비디오 블록들로부터의 인트라 예측 모드들 및 디폴트 인트라 예측 모드들을 포함하는, 방법.
- 제21항에 있어서, 상기 디폴트 인트라 예측 모드들은 평면 모드 및 직류(direct current, DC) 모드를 포함하는, 방법.
- 제5항에 있어서,
상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 2개의 인트라 예측 모드는 2개의 전환된 MIP 모드를 획득하기 위해 그의 대응하는 MIP 모드들로 전환되고,
상기 2개의 전환된 MIP 모드가 동일한 것에 응답하여 2개의 전환된 MIP 모드 중 하나가 상기 MIP 모드에 대한 제1 MPM 리스트에 추가되는, 방법. - 제5항에 있어서,
상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트에서의 2개의 인트라 예측 모드는 2개의 전환된 MIP 모드를 획득하기 위해 그의 대응하는 MIP 모드들로 전환되고,
상기 2개의 전환된 MIP 모드가 동일한 것에 응답하여 2개의 전환된 MIP 모드 중 하나가 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트에 추가되는, 방법. - 제5항에 있어서, 비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트는 S개의 인트라 예측 모드를 포함하고, S개의 인트라 예측 모드 중 K개가 MIP 모드에 대한 상기 제1 MPM 리스트에 포함되도록 선택되는, 방법.
- 제25항에 있어서, K는 3이고 S는 6인, 방법.
- 제25항에 있어서, 비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트에서의 처음 K개의 인트라 예측 모드가 MIP 모드에 대한 상기 제1 MPM 리스트에 포함되도록 선택되는, 방법.
- 제5항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트 및 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 상기 현재 비디오 블록의 하나 이상의 이웃 비디오 블록에 기초하여 도출되거나 구성되는, 방법.
- 제28항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트 및 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 상기 현재 비디오 블록의 좌측에 위치한 동일한 이웃 비디오 블록에 기초하여 도출되거나 구성되는, 방법.
- 제29항에 있어서, 상기 좌측에 위치한 동일한 이웃 비디오 블록은 상기 현재 비디오 블록의 바로 좌측에 있고 상기 현재 비디오 블록과 정렬되는, 방법.
- 제29항에 있어서, 상기 동일한 이웃 비디오 블록은 상기 현재 비디오 블록의 좌측 및 하측에 위치하는, 방법.
- 제28항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트 및 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 동일한 이웃 비디오 블록에 기초하여 도출되거나 구성되고, 상기 동일한 이웃 비디오 블록은 최하단 위치에서 상기 현재 비디오 블록의 좌측에 위치하거나, 또는 상기 동일한 이웃 비디오 블록은 최우측 위치에서 상기 현재 비디오 블록의 상측에 위치하는, 방법.
- 제28항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트 및 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 상기 현재 비디오 블록의 상측에 위치한 동일한 이웃 비디오 블록에 기초하여 도출되거나 구성되는, 방법.
- 제33항에 있어서, 상기 상측에 위치한 동일한 이웃 비디오 블록은 상기 현재 비디오 블록의 바로 상측에 있고 상기 현재 비디오 블록과 정렬되는, 방법.
- 제33항에 있어서, 상기 동일한 이웃 비디오 블록은 상기 현재 비디오 블록의 좌측 및 상측에 위치하는, 방법.
- 제28항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트 및 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트는 동일한 이웃 비디오 블록에 기초하여 도출되거나 구성되고, 상기 동일한 이웃 비디오 블록은 최좌측 위치에서 상기 현재 비디오 블록의 상측에 위치하거나, 또는 상기 동일한 이웃 비디오 블록은 최상단 위치에서 상기 현재 비디오 블록의 좌측에 위치하는, 방법.
- 제1항 내지 제36항 중 어느 한 항에 있어서, 상기 비-MIP 인트라 모드는 인트라 예측 모드, 다중 참조 라인(multiple reference line, MRL) 인트라 예측 모드, 또는 인트라 서브-파티션(intra sub-partition, ISP) 툴에 기초하는, 방법.
- 제5항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트는 상기 현재 비디오 블록의 높이 또는 폭에 추가로 기초하는, 방법.
- 제8항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트는 상기 현재 비디오 블록의 이웃 비디오 블록의 높이 또는 폭에 추가로 기초하는, 방법.
- 제5항에 있어서, 상기 MIP 모드에 대한 제1 MPM 리스트는 상기 비-MIP 인트라 모드에 대한 제2 MPM 리스트를 구성하는 데 사용되는 제2 세트의 파라미터들과 상이한 제1 세트의 파라미터들에 기초하여 구성되는, 방법.
- 제40항에 있어서, 비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트는 S개의 인트라 예측 모드를 포함하고, S개의 인트라 예측 모드 중 K개가 MIP 모드에 대한 상기 제1 MPM 리스트에 포함되도록 도출되는, 방법.
- 제41항에 있어서, K는 3이고 S는 6인, 방법.
- 제41항에 있어서, 비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트에서의 처음 K개의 인트라 예측 모드가 MIP 모드에 대한 상기 제1 MPM 리스트에 포함되도록 도출되는, 방법.
- 제40항에 있어서, MIP 모드에 대한 상기 제1 MPM 리스트에 리스트된 제1 모드는 비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트에 리스트된 제1 모드와 상이한, 방법.
- 제44항에 있어서, MIP 모드에 대한 상기 제1 MPM 리스트에 리스트된 상기 제1 모드는 제1 모드이고, 비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트에 리스트된 상기 제1 모드는 평면 모드인, 방법.
- 제45항에 있어서, MIP 모드에 대한 상기 제1 MPM 리스트에서의 상기 제1 모드는 비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트에서의 상기 평면 모드로부터 전환되는, 방법.
- 제40항에 있어서, MIP 모드에 대한 상기 제1 MPM 리스트는 비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트에 포함된 제2 세트의 스터핑 모드들과 상이한 제1 세트의 스터핑 모드들을 포함하는, 방법.
- 제47항에 있어서, 상기 제1 세트의 스터핑 모드들은 제1 모드, 제2 모드, 및 제3 모드를 포함하고, 상기 제2 세트의 스터핑 모드들은 직류(DC) 모드, 수직 모드, 및 수평 모드를 포함하는, 방법.
- 제48항에 있어서, 상기 제1 모드, 상기 제2 모드, 및 상기 제3 모드는 상기 현재 비디오 블록의 크기에 기초하여 상기 제1 세트의 스터핑 모드들에 포함되는, 방법.
- 제40항에 있어서,
MIP 모드에 대한 상기 제1 MPM 리스트는 상기 현재 비디오 블록의 이웃 비디오 블록들의 제1 세트의 인트라 예측 모드들을 포함하고,
비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트는 상기 현재 비디오 블록의 이웃 비디오 블록들의 제2 세트의 인트라 예측 모드들을 포함하고,
상기 제1 세트의 인트라 예측 모드들은 상기 제2 세트의 인트라 예측 모드들과 상이한, 방법. - 제50항에 있어서,
상기 제2 세트의 인트라 예측 모드들은 상기 제1 세트의 인트라 예측 모드들에 포함되는 MIP 모드들로 전환되는 인트라 예측 모드들을 포함하는, 방법. - 제40항에 있어서,
MIP 모드에 대한 상기 제1 MPM 리스트는 제1 세트의 시프트된 인트라 예측 모드들을 포함하고,
비-MIP 인트라 모드에 대한 상기 제2 MPM 리스트는 제2 세트의 시프트된 인트라 예측 모드들을 포함하고,
상기 제1 세트의 시프트된 인트라 예측 모드들은 상기 제2 세트의 시프트된 인트라 예측 모드들과 상이한, 방법. - 제52항에 있어서,
상기 제1 세트의 시프트된 인트라 예측 모드들은 제1 수식 Y+K1에 따라 K1만큼 시프트된 MIP 모드(Y)를 포함하고,
상기 제2 세트의 시프트된 인트라 예측 모드들은 제2 수식 X+K0에 따라 K0만큼 시프트된 비-MIP 인트라 모드(X)를 포함하고,
K1은 K0과 상이한, 방법. - 제53항에 있어서, K1은 상기 현재 비디오 블록의 폭 및 높이에 의존하는, 방법.
- 제5항에 있어서,
상기 현재 비디오 블록의 이웃 비디오 블록이 비-MIP 인트라 모드로 코딩된다는 제1 결정을 수행하는 단계; 및
상기 제1 결정에 응답하여, 상기 이웃 비디오 블록이 상기 MIP 모드에 대한 상기 제1 MPM 리스트의 구성에 이용불가능하다는 제2 결정을 수행하는 단계를 추가로 포함하는, 방법. - 제5항에 있어서,
상기 현재 비디오 블록의 이웃 비디오 블록이 비-MIP 인트라 모드로 코딩된다는 제1 결정을 수행하는 단계; 및
상기 제1 결정에 응답하여, 상기 이웃 비디오 블록이 미리 정의된 MIP 인트라 예측 모드로 코딩된다는 제2 결정을 수행하는 단계를 추가로 포함하고, 상기 MIP 모드에 대한 상기 제1 MPM 리스트는 상기 미리 정의된 MIP 인트라 예측 모드를 사용하여 구성되는, 방법. - 제56항에 있어서, 상기 미리 정의된 MIP 인트라 예측 모드는 상기 현재 비디오 블록의 폭 및/또는 높이에 의존하는, 방법.
- 제1항 내지 제57항 중 어느 한 항에 기재된 방법을 구현하도록 구성되는 프로세서를 포함하는 비디오 인코더 또는 재-인코더.
- 제1항 내지 제57항 중 어느 한 항에 기재된 방법을 구현하도록 구성되는 프로세서를 포함하는 비디오 디코더.
- 제1항 내지 제57항 중 어느 한 항에 기재된 방법을 구현하기 위한 코드를 갖는 비일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019082424 | 2019-04-12 | ||
| CNPCT/CN2019/082424 | 2019-04-12 | ||
| PCT/CN2020/084505 WO2020207502A1 (en) | 2019-04-12 | 2020-04-13 | Most probable mode list construction for matrix-based intra prediction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210145752A true KR20210145752A (ko) | 2021-12-02 |
Family
ID=72750962
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217031428A KR20210145752A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측을 위한 최고 확률 모드 리스트 구성 |
| KR1020217031662A KR20210150391A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측에 기초한 변환 코딩 |
| KR1020217031712A KR20210145755A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측과 다른 코딩 툴들 사이의 상호작용 |
| KR1020217031445A KR20210150387A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측에 기초한 크로마 코딩 모드 결정 |
| KR1020217031705A KR20210145754A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측에서의 산출 |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217031662A KR20210150391A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측에 기초한 변환 코딩 |
| KR1020217031712A KR20210145755A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측과 다른 코딩 툴들 사이의 상호작용 |
| KR1020217031445A KR20210150387A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측에 기초한 크로마 코딩 모드 결정 |
| KR1020217031705A KR20210145754A (ko) | 2019-04-12 | 2020-04-13 | 행렬 기반 인트라 예측에서의 산출 |
Country Status (12)
| Country | Link |
|---|---|
| US (8) | US11451782B2 (ko) |
| EP (5) | EP3935854A4 (ko) |
| JP (6) | JP7303325B2 (ko) |
| KR (5) | KR20210145752A (ko) |
| CN (7) | CN113785588B (ko) |
| AU (2) | AU2020257009A1 (ko) |
| BR (2) | BR112021020026A2 (ko) |
| CA (2) | CA3135966A1 (ko) |
| MX (2) | MX2021012230A (ko) |
| SG (2) | SG11202110936PA (ko) |
| WO (7) | WO2020207498A1 (ko) |
| ZA (2) | ZA202107450B (ko) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG11202110936PA (en) | 2019-04-12 | 2021-11-29 | Beijing Bytedance Network Technology Co Ltd | Chroma coding mode determination based on matrix-based intra prediction |
| JP7214894B2 (ja) * | 2019-04-16 | 2023-01-30 | エルジー エレクトロニクス インコーポレイティド | イントラ予測ベースの映像コーディングにおける変換 |
| BR112021017420A2 (pt) * | 2019-04-16 | 2022-02-01 | Panasonic Ip Corp America | Codificador, decodificador, método de codificação, e método de decodificação |
| KR20220122783A (ko) * | 2019-04-16 | 2022-09-02 | 엘지전자 주식회사 | 변환 인덱스를 이용하는 영상 코딩 |
| CA3137181A1 (en) * | 2019-04-16 | 2020-10-22 | Lg Electronics Inc. | Transform for matrix-based intra-prediction in image coding |
| JP7403555B2 (ja) | 2019-04-16 | 2023-12-22 | 北京字節跳動網絡技術有限公司 | イントラコーディングモードにおけるマトリクスの導出 |
| NZ779326A (en) * | 2019-04-17 | 2024-03-22 | Huawei Tech Co Ltd | An encoder, a decoder and corresponding methods harmonizing matrix-based intra prediction and secondary transform core selection |
| US11381808B2 (en) * | 2019-04-25 | 2022-07-05 | Hfi Innovation Inc. | Method and apparatus of matrix based intra prediction in image and video processing |
| JP7271683B2 (ja) * | 2019-04-27 | 2023-05-11 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | エンコーダ、デコーダ、および対応するイントラ予測方法 |
| CN117097912A (zh) | 2019-05-01 | 2023-11-21 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的上下文编码 |
| CN113812150B (zh) | 2019-05-01 | 2023-11-28 | 北京字节跳动网络技术有限公司 | 使用滤波的基于矩阵的帧内预测 |
| WO2020226424A1 (ko) * | 2019-05-08 | 2020-11-12 | 엘지전자 주식회사 | Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
| CN113812146B (zh) | 2019-05-10 | 2022-11-11 | 北京字节跳动网络技术有限公司 | 用于视频处理的基于亮度的二次变换矩阵选择 |
| KR20220006055A (ko) * | 2019-05-11 | 2022-01-14 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 다중 인트라 코딩 방법 사이의 상호 작용 |
| BR112021022868A2 (pt) | 2019-05-22 | 2022-01-04 | Beijing Bytedance Network Tech Co Ltd | Método de processamento de vídeos, aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador |
| CN113924775B (zh) | 2019-05-31 | 2023-11-14 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测中的限制的上采样 |
| EP3958571A4 (en) * | 2019-06-03 | 2022-07-27 | LG Electronics Inc. | MATRIX-BASED INTRA PREDICTION DEVICE AND METHOD |
| WO2020246805A1 (ko) * | 2019-06-03 | 2020-12-10 | 엘지전자 주식회사 | 매트릭스 기반 인트라 예측 장치 및 방법 |
| WO2020244610A1 (en) | 2019-06-05 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Context determination for matrix-based intra prediction |
| CN117241014A (zh) * | 2019-06-05 | 2023-12-15 | 华为技术有限公司 | Mpm列表构建方法、色度块的帧内预测模式获取方法及装置 |
| WO2020244656A1 (en) | 2019-06-07 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Conditional signaling of reduced secondary transform in video bitstreams |
| KR20200141399A (ko) * | 2019-06-10 | 2020-12-18 | 주식회사 엑스리스 | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
| US11128868B2 (en) | 2019-06-11 | 2021-09-21 | Mediatek Inc. | Method and apparatus of matrix-based intra prediction for video coding |
| US11589065B2 (en) * | 2019-06-24 | 2023-02-21 | Hyundai Motor Company | Method and apparatus for intra-prediction coding of video data |
| KR20220023324A (ko) * | 2019-06-25 | 2022-03-02 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 이미지 인코딩 방법, 이미지 디코딩 방법, 인코더, 디코더 및 저장 매체 |
| KR20220029589A (ko) * | 2019-07-07 | 2022-03-08 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 픽처 예측 방법, 인코더, 디코더 및 저장 매체 |
| KR20210126771A (ko) * | 2019-07-24 | 2021-10-20 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 인트라 예측 모드에 관련된 인코더, 디코더 및 대응하는 방법들 |
| JP7422858B2 (ja) | 2019-08-03 | 2024-01-26 | 北京字節跳動網絡技術有限公司 | ビデオ処理方法、装置、記憶媒体及び記憶方法 |
| EP3997872A4 (en) | 2019-08-14 | 2022-10-26 | Beijing Bytedance Network Technology Co., Ltd. | WEIGHTING FACTORS FOR FILTERING PREDICTION SAMPLES IN INTRA MODE |
| WO2021027925A1 (en) | 2019-08-14 | 2021-02-18 | Beijing Bytedance Network Technology Co., Ltd. | Position-dependent intra prediction sample filtering |
| WO2021032045A1 (en) | 2019-08-17 | 2021-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Context modeling of side information for reduced secondary transforms in video |
| GB2588406B (en) * | 2019-10-22 | 2022-12-07 | British Broadcasting Corp | Video encoding and video decoding |
| EP4042689A4 (en) | 2019-10-28 | 2023-06-07 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING AND SYNTAX ANALYSIS BASED ON A COLOR COMPONENT |
| WO2021120122A1 (zh) * | 2019-12-19 | 2021-06-24 | Oppo广东移动通信有限公司 | 图像分量预测方法、编码器、解码器以及存储介质 |
| US20220337875A1 (en) * | 2021-04-16 | 2022-10-20 | Tencent America LLC | Low memory design for multiple reference line selection scheme |
| US20230069984A1 (en) * | 2021-08-24 | 2023-03-09 | Tencent America LLC | Hardware friendly design for intra mode coding |
| WO2023140547A1 (ko) * | 2022-01-19 | 2023-07-27 | 현대자동차주식회사 | 다중 참조라인들을 이용하는 크로마 채널 코딩을 위한 방법 및 장치 |
Family Cites Families (170)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100323676B1 (ko) | 2000-01-27 | 2002-02-07 | 구자홍 | 디지털 동영상 수신 장치 |
| US7142601B2 (en) | 2003-04-14 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc. | Transcoding compressed videos to reducing resolution videos |
| JP2007529184A (ja) | 2004-03-10 | 2007-10-18 | シンドハラ・スーパーメディア・インコーポレーテッド | 動き予測を使用してデジタル・イメージ・データを圧縮するための方法および装置 |
| US8340177B2 (en) * | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
| CN100461867C (zh) * | 2004-12-02 | 2009-02-11 | 中国科学院计算技术研究所 | 一种帧内图像预测编码方法 |
| JP5026092B2 (ja) | 2007-01-12 | 2012-09-12 | 三菱電機株式会社 | 動画像復号装置および動画像復号方法 |
| KR101365575B1 (ko) * | 2007-02-05 | 2014-02-25 | 삼성전자주식회사 | 인터 예측 부호화, 복호화 방법 및 장치 |
| CN101848383A (zh) * | 2009-03-24 | 2010-09-29 | 虹软（上海）科技有限公司 | 对mpeg2格式视频进行降采样解码的方法 |
| US20100246675A1 (en) | 2009-03-30 | 2010-09-30 | Sony Corporation | Method and apparatus for intra-prediction in a video encoder |
| BRPI1012928A2 (pt) | 2009-06-09 | 2018-01-30 | Sony Corp | aparelho e método de processamento de imagem. |
| CN101646081A (zh) * | 2009-06-18 | 2010-02-10 | 杭州高特信息技术有限公司 | 一种avs快速帧内预测方法及装置 |
| CN102045560B (zh) * | 2009-10-23 | 2013-08-07 | 华为技术有限公司 | 一种视频编解码方法及设备 |
| KR20110045949A (ko) * | 2009-10-28 | 2011-05-04 | 삼성전자주식회사 | 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치 |
| JP5544996B2 (ja) | 2010-04-09 | 2014-07-09 | ソニー株式会社 | 画像処理装置および方法 |
| KR101540899B1 (ko) | 2010-04-09 | 2015-07-30 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치 |
| CN102893606B (zh) | 2010-05-14 | 2018-02-02 | 汤姆森特许公司 | 帧内编码将像素指定给各组的块的方法和装置 |
| WO2012014461A1 (ja) * | 2010-07-28 | 2012-02-02 | パナソニック株式会社 | 符号化方法および復号化方法 |
| CN102377993B (zh) | 2010-08-05 | 2014-09-03 | 富士通株式会社 | 帧内预测模式选择方法和系统 |
| US8885701B2 (en) * | 2010-09-08 | 2014-11-11 | Samsung Electronics Co., Ltd. | Low complexity transform coding using adaptive DCT/DST for intra-prediction |
| US8923395B2 (en) * | 2010-10-01 | 2014-12-30 | Qualcomm Incorporated | Video coding using intra-prediction |
| CN101977316B (zh) | 2010-10-27 | 2012-07-25 | 无锡中星微电子有限公司 | 一种可伸缩编码方法 |
| US9167252B2 (en) | 2010-12-01 | 2015-10-20 | Texas Instruments Incorporated | Quantization matrix compression in video coding |
| KR102086145B1 (ko) | 2010-12-13 | 2020-03-09 | 한국전자통신연구원 | 인트라 예측 방법 및 그 장치 |
| BR112013014371B8 (pt) * | 2011-01-07 | 2022-05-24 | Hfi Innovation Inc | Método e aparelho de codificação aperfeiçoada de modo de predição intra crominância |
| US8861593B2 (en) * | 2011-03-15 | 2014-10-14 | Sony Corporation | Context adaptation within video coding modules |
| JP2012238927A (ja) | 2011-05-09 | 2012-12-06 | Sony Corp | 画像処理装置及び画像処理方法 |
| WO2012172779A1 (en) | 2011-06-13 | 2012-12-20 | Panasonic Corporation | Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix |
| US9392301B2 (en) | 2011-07-01 | 2016-07-12 | Qualcomm Incorporated | Context adaptive entropy coding for non-square blocks in video coding |
| CN102427530B (zh) | 2011-10-11 | 2013-10-23 | 北京工业大学 | 帧内预测方法 |
| CN105338348B (zh) * | 2011-10-24 | 2018-11-13 | 英孚布瑞智有限私人贸易公司 | 用于图像解码的方法和装置 |
| KR20130049526A (ko) * | 2011-11-04 | 2013-05-14 | 오수미 | 복원 블록 생성 방법 |
| US9088796B2 (en) * | 2011-11-07 | 2015-07-21 | Sharp Kabushiki Kaisha | Video decoder with enhanced CABAC decoding |
| US9451287B2 (en) | 2011-11-08 | 2016-09-20 | Qualcomm Incorporated | Context reduction for context adaptive binary arithmetic coding |
| EP3432582B1 (en) * | 2012-02-29 | 2020-04-01 | Sony Corporation | Image processing device and method |
| JPWO2013154028A1 (ja) | 2012-04-13 | 2015-12-17 | ソニー株式会社 | 画像処理装置および方法 |
| CN104919798B (zh) * | 2012-04-16 | 2018-12-14 | 华为技术有限公司 | 量化矩阵编码的方法和装置 |
| US9277211B2 (en) * | 2012-04-20 | 2016-03-01 | Futurewei Technologies, Inc. | Binarization scheme for intra prediction residuals and improved intra prediction in lossless coding in HEVC |
| GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| CN104350753B (zh) | 2012-06-01 | 2019-07-09 | 威勒斯媒体国际有限公司 | 算术解码装置、图像解码装置、算术编码装置以及图像编码装置 |
| FI2869557T3 (fi) * | 2012-06-29 | 2023-11-02 | Electronics & Telecommunications Res Inst | Menetelmä ja laite kuvien koodaamiseksi/dekoodaamiseksi |
| US9998727B2 (en) | 2012-09-19 | 2018-06-12 | Qualcomm Incorporated | Advanced inter-view residual prediction in multiview or 3-dimensional video coding |
| US10218971B2 (en) | 2012-09-28 | 2019-02-26 | Vid Scale, Inc. | Adaptive upsampling for multi-layer video coding |
| US20140098883A1 (en) | 2012-10-09 | 2014-04-10 | Nokia Corporation | Method and apparatus for video coding |
| US9521425B2 (en) | 2013-03-19 | 2016-12-13 | Qualcomm Incorporated | Disparity vector derivation in 3D video coding for skip and direct modes |
| US20140286412A1 (en) * | 2013-03-25 | 2014-09-25 | Qualcomm Incorporated | Intra dc prediction for lossless coding in video coding |
| WO2014171713A1 (ko) * | 2013-04-15 | 2014-10-23 | 인텔렉추얼 디스커버리 주식회사 | 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치 |
| US20150016533A1 (en) * | 2013-07-12 | 2015-01-15 | Qualcomm Incorporated | Intra motion compensation extensions |
| KR102136666B1 (ko) | 2013-09-24 | 2020-07-23 | 브이아이디 스케일, 인크. | 스케일가능한 비디오 코딩을 위한 계층간 예측 |
| MX2016004705A (es) | 2013-10-14 | 2016-07-18 | Microsoft Technology Licensing Llc | Caracteristicas del modo de prediccion copia de bloque interno para codificacion y decodificacion de imagen y video. |
| WO2015056955A1 (ko) | 2013-10-14 | 2015-04-23 | 삼성전자 주식회사 | 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치 |
| US10110910B2 (en) | 2013-10-21 | 2018-10-23 | Vid Scale, Inc. | Parallel decoding method for layered video coding |
| US10397607B2 (en) * | 2013-11-01 | 2019-08-27 | Qualcomm Incorporated | Color residual prediction for video coding |
| EP3080985B1 (en) | 2013-12-13 | 2023-08-02 | VID SCALE, Inc. | Video processing method and device for the alignment of luma and chroma using interpolation |
| EP3090540B1 (en) | 2014-01-02 | 2024-02-21 | InterDigital Madison Patent Holdings, SAS | Color space conversion |
| WO2015100726A1 (en) | 2014-01-03 | 2015-07-09 | Microsoft Corporation | Block vector prediction in video and image coding/decoding |
| CN105264888B (zh) | 2014-03-04 | 2018-09-14 | 微软技术许可有限责任公司 | 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略 |
| WO2015131388A1 (en) | 2014-03-07 | 2015-09-11 | Qualcomm Incorporated | Simplification of depth intra mode coding in 3d video coding |
| KR102298599B1 (ko) | 2014-04-29 | 2021-09-03 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 샘플 적응 오프셋 필터링에 대한 인코더측 결정 |
| AU2014202921B2 (en) * | 2014-05-29 | 2017-02-02 | Canon Kabushiki Kaisha | Method, apparatus and system for de-blocking a block of video samples |
| US10142642B2 (en) * | 2014-06-04 | 2018-11-27 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
| CN105493505B (zh) | 2014-06-19 | 2019-08-06 | 微软技术许可有限责任公司 | 统一的帧内块复制和帧间预测模式 |
| CN106664416B (zh) | 2014-07-06 | 2019-11-05 | Lg电子株式会社 | 处理视频信号的方法及其装置 |
| US9918105B2 (en) * | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
| WO2016074147A1 (en) | 2014-11-11 | 2016-05-19 | Mediatek Singapore Pte. Ltd. | Separated coding tree for luma and chroma |
| TWI511530B (zh) * | 2014-12-09 | 2015-12-01 | Univ Nat Kaohsiung 1St Univ Sc | Distributed video coding system and decoder for distributed video coding system |
| US10097839B2 (en) | 2014-12-19 | 2018-10-09 | Qualcomm Incorporated | Palette mode for subsampling format |
| US10200711B2 (en) | 2015-03-27 | 2019-02-05 | Qualcomm Incorporated | Motion vector derivation in video coding |
| US20180115787A1 (en) | 2015-04-12 | 2018-04-26 | Lg Electronics Inc. | Method for encoding and decoding video signal, and apparatus therefor |
| EP3304907B1 (en) | 2015-06-08 | 2022-03-23 | VID SCALE, Inc. | Intra block copy mode for screen content coding |
| CN115134610A (zh) | 2015-06-11 | 2022-09-30 | 杜比实验室特许公司 | 使用自适应去块滤波编码和解码图像的方法及其装置 |
| KR101809630B1 (ko) * | 2015-06-11 | 2017-12-15 | 인텔렉추얼디스커버리 주식회사 | 적응적인 디블록킹 필터링에 관한 부호화/복호화 방법 및 장치 |
| EP3310058B1 (en) | 2015-06-12 | 2023-02-22 | Panasonic Intellectual Property Management Co., Ltd. | Image coding method, image decoding method, image coding device and image decoding device |
| KR20180008797A (ko) * | 2015-06-15 | 2018-01-24 | 엘지전자 주식회사 | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| US20160373742A1 (en) | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US20160373770A1 (en) | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US11463689B2 (en) * | 2015-06-18 | 2022-10-04 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US10841593B2 (en) | 2015-06-18 | 2020-11-17 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US10142627B2 (en) | 2015-06-18 | 2018-11-27 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US20160373782A1 (en) | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Intra prediction and intra mode coding |
| US11477484B2 (en) * | 2015-06-22 | 2022-10-18 | Qualcomm Incorporated | Video intra prediction using hybrid recursive filters |
| CN113810691A (zh) | 2015-07-08 | 2021-12-17 | 交互数字麦迪逊专利控股公司 | 用于使用交叉平面滤波的增强色度编码的方法和装置 |
| WO2017019818A1 (en) | 2015-07-28 | 2017-02-02 | Vid Scale, Inc. | High dynamic range video coding architectures with multiple operating modes |
| WO2017041271A1 (en) | 2015-09-10 | 2017-03-16 | Mediatek Singapore Pte. Ltd. | Efficient context modeling for coding a block of data |
| CN108353175B (zh) * | 2015-09-21 | 2021-03-12 | Lg 电子株式会社 | 使用系数引起的预测处理视频信号的方法和装置 |
| US10491922B2 (en) | 2015-09-29 | 2019-11-26 | Qualcomm Incorporated | Non-separable secondary transform for video coding |
| WO2017069419A1 (ko) * | 2015-10-22 | 2017-04-27 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인트라 예측 방법 및 장치 |
| WO2017079132A1 (en) | 2015-11-02 | 2017-05-11 | Dolby Laboratories Licensing Corporation | Layered representation containing crc codes and delivery of high dynamic range video |
| BR112018010207A2 (pt) | 2015-11-18 | 2018-11-21 | Mediatek Inc | método e aparelho para o modo de predição intra usando filtro de predição intra em compressão de vídeo e imagem |
| US10200719B2 (en) | 2015-11-25 | 2019-02-05 | Qualcomm Incorporated | Modification of transform coefficients for non-square transform units in video coding |
| CN108605130B (zh) | 2015-11-27 | 2021-05-11 | 联发科技股份有限公司 | 一种用于对与区块相关的符号进行熵编解码的方法和装置 |
| US10448011B2 (en) * | 2016-03-18 | 2019-10-15 | Mediatek Inc. | Method and apparatus of intra prediction in image and video processing |
| US10455228B2 (en) * | 2016-03-21 | 2019-10-22 | Qualcomm Incorporated | Determining prediction parameters for non-square blocks in video coding |
| US11259047B2 (en) | 2016-04-06 | 2022-02-22 | Kt Corporation | Method and apparatus for processing video signal |
| CN114339228B (zh) * | 2016-05-04 | 2024-04-12 | 夏普株式会社 | 用于对变换数据进行编码的系统和方法 |
| KR20190015216A (ko) * | 2016-05-05 | 2019-02-13 | 브이아이디 스케일, 인크. | 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현 |
| EP3244614A1 (en) * | 2016-05-13 | 2017-11-15 | Thomson Licensing | A method and a device for decoding an intra predicted block of a picture and corresponding coding method and coding device |
| US10547854B2 (en) * | 2016-05-13 | 2020-01-28 | Qualcomm Incorporated | Neighbor based signaling of intra prediction modes |
| US11228770B2 (en) * | 2016-05-16 | 2022-01-18 | Qualcomm Incorporated | Loop sample processing for high dynamic range and wide color gamut video coding |
| WO2017204427A1 (ko) * | 2016-05-23 | 2017-11-30 | 가온미디어 주식회사 | 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법 |
| KR20180136555A (ko) * | 2016-06-03 | 2018-12-24 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 방법 및 장치 |
| US10484712B2 (en) * | 2016-06-08 | 2019-11-19 | Qualcomm Incorporated | Implicit coding of reference line index used in intra prediction |
| US20170374369A1 (en) * | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
| CN109479129B (zh) * | 2016-07-18 | 2023-07-11 | 韩国电子通信研究院 | 图像编码/解码方法和装置以及存储比特流的记录介质 |
| GB2552323B (en) * | 2016-07-18 | 2020-04-29 | Imagination Tech Ltd | Mip map compression |
| JP6768145B2 (ja) | 2016-08-15 | 2020-10-14 | ノキア テクノロジーズ オーユー | ビデオの符号化および復号 |
| US10326986B2 (en) * | 2016-08-15 | 2019-06-18 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
| US10368107B2 (en) | 2016-08-15 | 2019-07-30 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
| US10721489B2 (en) | 2016-09-06 | 2020-07-21 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
| CN117201777A (zh) | 2016-09-13 | 2023-12-08 | 韩国电子通信研究院 | 视频编码/解码方法和装置以及存储比特流的记录介质 |
| EP3301916A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for omnidirectional video coding with adaptive intra most probable modes |
| US10506228B2 (en) * | 2016-10-04 | 2019-12-10 | Qualcomm Incorporated | Variable number of intra modes for video coding |
| KR102410424B1 (ko) | 2016-10-04 | 2022-06-17 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| EP3516869B1 (en) * | 2016-10-04 | 2022-06-08 | HFI Innovation Inc. | Method and apparatus for intra chroma coding in image and video coding |
| US11095893B2 (en) * | 2016-10-12 | 2021-08-17 | Qualcomm Incorporated | Primary transform and secondary transform in video coding |
| CN116781899A (zh) * | 2016-10-28 | 2023-09-19 | 韩国电子通信研究院 | 视频编码/解码方法和设备以及存储比特流的记录介质 |
| US11051033B2 (en) | 2017-01-04 | 2021-06-29 | Samsung Electronics Co., Ltd. | Video decoding method and apparatus and video encoding method and apparatus |
| US11025903B2 (en) | 2017-01-13 | 2021-06-01 | Qualcomm Incorporated | Coding video data using derived chroma mode |
| CN117395403A (zh) * | 2017-04-28 | 2024-01-12 | 英迪股份有限公司 | 图像解码方法、图像编码方法和用于发送比特流的方法 |
| US10638126B2 (en) | 2017-05-05 | 2020-04-28 | Qualcomm Incorporated | Intra reference filter for video coding |
| US10560723B2 (en) | 2017-05-08 | 2020-02-11 | Qualcomm Incorporated | Context modeling for transform coefficient coding |
| WO2018208349A1 (en) * | 2017-05-09 | 2018-11-15 | Google Llc | Directional intra-prediction coding |
| US10951908B2 (en) | 2017-05-24 | 2021-03-16 | Lg Electronics Inc. | Method and device for decoding image according to intra prediction in image coding system |
| EP3627836A4 (en) * | 2017-06-21 | 2021-04-07 | LG Electronics Inc. | METHOD AND DEVICE FOR DECODING IMAGES ACCORDING TO INTRAPREDICTION IN AN IMAGE ENCODING SYSTEM |
| CN112601084A (zh) | 2017-06-28 | 2021-04-02 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
| CN117336510A (zh) * | 2017-07-06 | 2024-01-02 | Lx 半导体科技有限公司 | 图像编码/解码方法、发送方法和数字存储介质 |
| CN109302608B (zh) | 2017-07-25 | 2021-06-22 | 华为技术有限公司 | 图像处理方法、设备及系统 |
| CN116055721A (zh) | 2017-07-28 | 2023-05-02 | 松下电器（美国）知识产权公司 | 编码装置和编码方法 |
| US11172203B2 (en) * | 2017-08-08 | 2021-11-09 | Mediatek Inc. | Intra merge prediction |
| WO2019050385A2 (ko) * | 2017-09-07 | 2019-03-14 | 엘지전자 주식회사 | 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치 |
| CN107749987B (zh) | 2017-09-30 | 2020-09-18 | 河海大学 | 一种基于块运动估计的数字视频稳像方法 |
| JP2021010046A (ja) | 2017-10-06 | 2021-01-28 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| KR102625573B1 (ko) | 2018-02-14 | 2024-01-16 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 레이트 왜곡 최적화를 이용한 비디오 코딩에서의 이미지 재성형 |
| KR102618498B1 (ko) | 2018-03-08 | 2023-12-27 | 삼성전자주식회사 | 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치 |
| US10382772B1 (en) | 2018-07-02 | 2019-08-13 | Tencent America LLC | Method and apparatus for video coding |
| KR20200028856A (ko) * | 2018-09-07 | 2020-03-17 | 김기백 | 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치 |
| EP3850840A1 (en) | 2018-09-13 | 2021-07-21 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Affine linear weighted intra predictions |
| CN116320397A (zh) * | 2018-09-21 | 2023-06-23 | Oppo广东移动通信有限公司 | 视频信号编码/解码方法以及用于所述方法的设备 |
| KR102618079B1 (ko) * | 2018-10-07 | 2023-12-27 | 삼성전자주식회사 | 복수개의 참조 라인을 위한 mpm 구성 방법을 이용한 비디오 신호 처리 방법 및 장치 |
| WO2020096425A1 (ko) | 2018-11-08 | 2020-05-14 | 주식회사 엑스리스 | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
| CN113475071A (zh) | 2018-12-20 | 2021-10-01 | 弗劳恩霍夫应用研究促进协会 | 使用具有邻近样本缩减的线性或者仿射变换的内预测 |
| US11445203B2 (en) | 2019-01-04 | 2022-09-13 | Qualcomm Incorporated | Sub-partition intra prediction in video coding |
| CN116366840A (zh) * | 2019-02-26 | 2023-06-30 | 苹果公司 | 用于对视频信号进行编码/解码的方法及其设备 |
| US11711534B2 (en) | 2019-02-28 | 2023-07-25 | Apple Inc. | Method for encoding/decoding image signal, and device therefor |
| MX2021010562A (es) * | 2019-03-05 | 2021-10-13 | Fraunhofer Ges Forschung | Seleccion de modelo de contexto impulsada en caso de uso para herramientas de codificacion de video hibridas. |
| WO2020185022A1 (ko) * | 2019-03-12 | 2020-09-17 | 주식회사 엑스리스 | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
| US11134257B2 (en) * | 2019-04-04 | 2021-09-28 | Tencent America LLC | Simplified signaling method for affine linear weighted intra prediction mode |
| SG11202110936PA (en) | 2019-04-12 | 2021-11-29 | Beijing Bytedance Network Technology Co Ltd | Chroma coding mode determination based on matrix-based intra prediction |
| US11956469B2 (en) | 2019-04-16 | 2024-04-09 | Hfi Innovation Inc. | Methods and apparatuses for coding video data with adaptive secondary transform signaling depending on TB level syntax |
| JP7403555B2 (ja) | 2019-04-16 | 2023-12-22 | 北京字節跳動網絡技術有限公司 | イントラコーディングモードにおけるマトリクスの導出 |
| JP7260665B2 (ja) | 2019-04-20 | 2023-04-18 | エルジー エレクトロニクス インコーポレイティド | Ｂｄｐｃｍに基づく映像コーディング方法、及びその装置 |
| US11381808B2 (en) | 2019-04-25 | 2022-07-05 | Hfi Innovation Inc. | Method and apparatus of matrix based intra prediction in image and video processing |
| US20220217366A1 (en) | 2019-04-27 | 2022-07-07 | Wilus Institute Of Standards And Technology Inc. | Method and device for processiong video signal on basis of intra prediction |
| JP7271683B2 (ja) | 2019-04-27 | 2023-05-11 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | エンコーダ、デコーダ、および対応するイントラ予測方法 |
| CN117097912A (zh) | 2019-05-01 | 2023-11-21 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的上下文编码 |
| CN113812150B (zh) | 2019-05-01 | 2023-11-28 | 北京字节跳动网络技术有限公司 | 使用滤波的基于矩阵的帧内预测 |
| US11363284B2 (en) | 2019-05-09 | 2022-06-14 | Qualcomm Incorporated | Upsampling in affine linear weighted intra prediction |
| US11277637B2 (en) | 2019-05-09 | 2022-03-15 | Qualcomm Incorporated | Reference sampling for matrix intra prediction mode |
| US11284093B2 (en) | 2019-05-09 | 2022-03-22 | Qualcomm Incorporated | Affine linear weighted intra prediction in video coding |
| WO2020229394A1 (en) | 2019-05-10 | 2020-11-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Matrix-based intra prediction |
| BR112021022868A2 (pt) | 2019-05-22 | 2022-01-04 | Beijing Bytedance Network Tech Co Ltd | Método de processamento de vídeos, aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador |
| CN113924775B (zh) | 2019-05-31 | 2023-11-14 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测中的限制的上采样 |
| EP3958571A4 (en) | 2019-06-03 | 2022-07-27 | LG Electronics Inc. | MATRIX-BASED INTRA PREDICTION DEVICE AND METHOD |
| WO2020244610A1 (en) | 2019-06-05 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Context determination for matrix-based intra prediction |
| EP3984229A4 (en) | 2019-06-14 | 2022-07-06 | Telefonaktiebolaget Lm Ericsson (Publ) | SIMPLIFIED SUB-SAMPLING FOR MATRIX-BASED INTRA PREDICTION |
| US11197025B2 (en) | 2019-06-21 | 2021-12-07 | Qualcomm Incorporated | Signaling of matrix intra prediction parameters in video coding |
| WO2020258013A1 (zh) * | 2019-06-25 | 2020-12-30 | Oppo广东移动通信有限公司 | 映射方法、编码器、解码器以及计算机存储介质 |
| US11284073B2 (en) * | 2019-07-08 | 2022-03-22 | Hyundai Motor Company | Method and apparatus for intra prediction coding of video data involving matrix based intra-prediction |
| CN110708559B (zh) | 2019-09-03 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及存储介质 |
| US20210092405A1 (en) | 2019-09-19 | 2021-03-25 | Qualcomm Incorporated | Matrix combination for matrix-weighted intra prediction in video coding |
| EP4042689A4 (en) | 2019-10-28 | 2023-06-07 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING AND SYNTAX ANALYSIS BASED ON A COLOR COMPONENT |
-
2020
- 2020-04-13 SG SG11202110936PA patent/SG11202110936PA/en unknown
- 2020-04-13 EP EP20788326.5A patent/EP3935854A4/en active Pending
- 2020-04-13 CN CN202080028106.6A patent/CN113785588B/zh active Active
- 2020-04-13 EP EP20787123.7A patent/EP3939314A4/en active Pending
- 2020-04-13 WO PCT/CN2020/084488 patent/WO2020207498A1/en unknown
- 2020-04-13 WO PCT/CN2020/084472 patent/WO2020207493A1/en unknown
- 2020-04-13 WO PCT/CN2020/084462 patent/WO2020207492A1/en unknown
- 2020-04-13 KR KR1020217031428A patent/KR20210145752A/ko active Search and Examination
- 2020-04-13 CN CN202080028110.2A patent/CN113678439B/zh active Active
- 2020-04-13 SG SG11202110939TA patent/SG11202110939TA/en unknown
- 2020-04-13 EP EP20786940.5A patent/EP3935833A4/en active Pending
- 2020-04-13 KR KR1020217031662A patent/KR20210150391A/ko active Search and Examination
- 2020-04-13 MX MX2021012230A patent/MX2021012230A/es unknown
- 2020-04-13 JP JP2021559284A patent/JP7303325B2/ja active Active
- 2020-04-13 WO PCT/CN2020/084499 patent/WO2020207500A1/en active Application Filing
- 2020-04-13 MX MX2021012229A patent/MX2021012229A/es unknown
- 2020-04-13 JP JP2021559286A patent/JP7299342B2/ja active Active
- 2020-04-13 KR KR1020217031712A patent/KR20210145755A/ko active Search and Examination
- 2020-04-13 CN CN202080028112.1A patent/CN113661713B/zh active Active
- 2020-04-13 CN CN202080028084.3A patent/CN113678459B/zh active Active
- 2020-04-13 KR KR1020217031445A patent/KR20210150387A/ko active Search and Examination
- 2020-04-13 AU AU2020257009A patent/AU2020257009A1/en active Pending
- 2020-04-13 EP EP20788667.2A patent/EP3935838A4/en active Pending
- 2020-04-13 BR BR112021020026A patent/BR112021020026A2/pt unknown
- 2020-04-13 CN CN202311458812.6A patent/CN117336469A/zh active Pending
- 2020-04-13 JP JP2021559288A patent/JP7404387B2/ja active Active
- 2020-04-13 AU AU2020256658A patent/AU2020256658A1/en active Pending
- 2020-04-13 CA CA3135966A patent/CA3135966A1/en active Pending
- 2020-04-13 CA CA3135944A patent/CA3135944A1/en active Pending
- 2020-04-13 JP JP2021559287A patent/JP2022526990A/ja active Pending
- 2020-04-13 CN CN202080028043.4A patent/CN113678440B/zh active Active
- 2020-04-13 BR BR112021020065A patent/BR112021020065A2/pt unknown
- 2020-04-13 JP JP2021559285A patent/JP7299341B2/ja active Active
- 2020-04-13 KR KR1020217031705A patent/KR20210145754A/ko not_active Application Discontinuation
- 2020-04-13 WO PCT/CN2020/084505 patent/WO2020207502A1/en unknown
- 2020-04-13 EP EP20788567.4A patent/EP3935836A4/en active Pending
- 2020-04-13 WO PCT/CN2020/084455 patent/WO2020207491A1/en unknown
- 2020-04-13 WO PCT/CN2020/084486 patent/WO2020207497A1/en active Application Filing
- 2020-04-13 CN CN202080028113.6A patent/CN113678436B/zh active Active
-
2021
- 2021-06-09 US US17/342,996 patent/US11451782B2/en active Active
- 2021-06-09 US US17/343,041 patent/US11457220B2/en active Active
- 2021-06-09 US US17/343,086 patent/US20210297672A1/en active Granted
- 2021-06-09 US US17/342,951 patent/US11425389B2/en active Active
- 2021-06-10 US US17/343,980 patent/US11463702B2/en active Active
- 2021-10-04 ZA ZA2021/07450A patent/ZA202107450B/en unknown
- 2021-10-04 ZA ZA2021/07451A patent/ZA202107451B/en unknown
- 2021-12-29 US US17/646,412 patent/US11831877B2/en active Active
-
2023
- 2023-05-18 US US18/319,658 patent/US20230353744A1/en active Pending
- 2023-06-22 JP JP2023102125A patent/JP2023123639A/ja active Pending
- 2023-11-03 US US18/501,526 patent/US20240064307A1/en active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7303325B2 (ja) | ビデオ処理方法、装置、記憶媒体、及び記憶方法 | |
| WO2020211807A1 (en) | Matrix derivation in intra coding mode | |
| CN113875233B (zh) | 使用上采样的基于矩阵的帧内预测 | |
| CN113812150B (zh) | 使用滤波的基于矩阵的帧内预测 | |
| KR20220013939A (ko) | 행렬 기반 인트라 예측에서의 제한된 업샘플링 프로세스 | |
| CN113728647B (zh) | 基于矩阵的帧内预测的上下文编码 | |
| CN113748676B (zh) | 帧内编解码模式下的矩阵推导 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |