KR20220053567A - 비디오 코딩에서의 예측 가중치 정렬 - Google Patents
비디오 코딩에서의 예측 가중치 정렬 Download PDFInfo
- Publication number
- KR20220053567A KR20220053567A KR1020227005834A KR20227005834A KR20220053567A KR 20220053567 A KR20220053567 A KR 20220053567A KR 1020227005834 A KR1020227005834 A KR 1020227005834A KR 20227005834 A KR20227005834 A KR 20227005834A KR 20220053567 A KR20220053567 A KR 20220053567A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- chroma
- luma
- video
- weight
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 241
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 182
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 176
- 238000002156 mixing Methods 0.000 claims abstract description 54
- 238000003672 processing method Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 30
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 abstract description 21
- 230000033001 locomotion Effects 0.000 description 152
- 239000013598 vector Substances 0.000 description 109
- 230000008569 process Effects 0.000 description 89
- 238000009795 derivation Methods 0.000 description 25
- 238000005192 partition Methods 0.000 description 20
- 230000002123 temporal effect Effects 0.000 description 17
- 238000003491 array Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 101001036283 Xenopus laevis DNA-binding protein inhibitor ID-3-A Proteins 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000007792 addition Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000011664 signaling Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 5
- 238000013139 quantization Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 프로세싱 방법이 개시된다. 이 방법은 규칙에 따라 크로마 블록의 예측을 블렌딩함으로써 비디오의 현재 블록의 크로마 블록의 크로마 예측 블록을 결정하는데 사용되는 크로마 가중치를 결정하는 단계와 규칙에 따라 현재 블록과 비디오의 코딩된 표현 간의 변환을 수행하는 단계를 포함하되, 규칙은 크로마 가중치가 현재 블록의 동일위치 루마 블록의 루마 가중치로부터 결정되도록 지정하되, 현재 블록은 기하학적 분할 모드이다.
Description
관련 출원들에 대한 상호 참조
파리 조약을 준수하는 적용가능한 특허법 및/또는 규칙에 따라서, 본 출원은 2019년 9월 1일에 출원된 국제 특허 출원 번호 PCT/CN2019/103903, 2019년 10월 10일에 출원된 국제 특허 출원 번호 PCT/CN2019/110490에 대한 우선권 및 혜택을 시기적절하게 주장한다. 법 하에 따른 모든 목적을 위하여, 앞서 언급된 출원의 모든 개시내용은 본 출원의 개시 내용의 일부로서 본 명세서에서 원용에 의해 통합된다.
본 특허 문서는 비디오 코딩 및 디코딩에 연관된다.
비디오 압축 분야의 발전에도 불구하고, 디지털 비디오는 여전히 인터넷 및 다른 디지털 통신 네트워크에서 가장 넓은 대역폭을 사용한다. 비디오를 수신하고 디스플레이할 수 있는 접속된 사용자 장치의 개수가 증가함에 따라서, 디지털 비디오 사용을 위한 대역폭 수요는 계속하여 증가할 것으로 기대된다.
디지털 비디오 코딩과 연관된 장치, 시스템, 방법에 있어서, 인터 예측이 비디오 블록의 삼각 혹은 임의의 기하학적 분할과 함께 이용되는 비디오 및 이미지 코딩 및 디코딩과 연관된 장치, 시스템, 및 방법이 개시된다.
일 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 이 방법은 규칙에 따라 크로마 블록의 예측을 블렌딩함으로써 비디오의 현재 블록의 크로마 블록의 크로마 예측 블록을 결정하는 데 사용되는 크로마 가중치를 결정하는 단계, 결정에 따라 현재 블록과 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함한다. 여기서 규칙은 크로마 가중치가 현재 블록의 동일 위치(collocated) 루마 블록의 루마 가중치로부터 결정되는 것을 규정하고, 현재 블록은 기하학적 분할 모드로 코딩된다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은 규칙에 따라 크로마 블록의 예측을 블렌딩함으로써 비디오의 현재 블록의 크로마 블록의 크로마 예측 블록을 결정하는 데 사용되는 크로마 가중치를 결정하는 단계 및 결정에 따라 현재 블록과 비디오의 코딩된 표현 간의 변환을 수행하는 단계를 포함하되, 규칙은 동일 위치 루마 블록의 특징 및/혹은 현재 블록의 특징에 의존적이고, 현재 블록은 기하학적 분할 모드로 코딩된다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은 비디오의 현재 블록과 비디오의 코딩된 표현 간의 변환을 수행하는 단계를 포함하되, 변환 동안 현재 블록의 예측 블록은 블렌딩 가중치 마스크에 따라 현재 블록의 예측을 블렌딩함으로써 결정되고, 블렌딩 가중치 마스크는 규칙에 따라 결정되며, 현재 블록은 기하학적 분할 모드로 코딩된다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은 비디오의 현재 블록과 비디오의 코딩된 표현 간의 변환을 위해 현재 블록의 특징에 기초하여 현재 블록에 대한 기하학적 분할 모드의 적용 가능성을 결정하는 단계 및 결정에 기초하여 변환을 수행하는 단계를 포함한다.
다른 예시적인 양태에서, 다른 비디오 프로세싱 방법이 개시된다. 이 방법은 비디오의 현재 블록과 비디오의 코딩된 표현 간의 변환을 수행하는 단계를 포함하되, 코딩된 표현은 기하학적 분할 모드가 변환 동안 현재 블록에 대해 비활성화 되는 경우 기하학적 분할 모드를 설명하는 신택스 요소가 코딩된 표현에 포함되지 않도록 규정하는 포맷 규칙에 따른다.
또 다른 대표적인 양태에서, 상술한 방법은 프로세서 실행가능 코드의 형태로 구현되어 컴퓨터 판독가능한 프로그램 매체에 저장된다.
또 다른 대표적인 양태에서, 전술한 방법을 수행하도록 구성되거나 동작가능한 디바이스가 개시된다. 장치는 이 방법을 구현하도록 프로그래밍된 프로세서를 포함할 수 있다.
또 다른 대표적인 양태에서, 비디오 디코더 장치는 여기에 설명된 바와 같은 방법을 구현할 수도 있다.
개시된 기술의 상기 및 기타 양태 및 특징은 도면, 상세한 설명 및 청구범위에서 보다 상세하게 설명된다.
도 1은 공간적 머지 후보의 예시적인 위치를 나타낸다.
도 2는 공간적 머지 후보의 중복성 체크에 고려되는 예시적인 후보 쌍을 나타낸다.
도 3은 시간적 머지 후보에 대한 움직임 벡터 스케일링의 도시이다.
도 4는 시간적 머지 후보에 대한 예시적인 후보 위치 C0 및 C1를 나타낸다.
도 5는 예시적인 삼각 분할 기반 인터 예측을 나타낸다.
도 6은 예시적인 삼각 예측 모드에 대한 단일 예측 MV 선택을 나타낸다.
도 7은 블렌딩 프로세스에서 사용되는 예시적인 가중치를 나타낸다.
도 8은 8x16 TPM 블록에 대한 블렌딩 프로세스에서 사용되는 예시적인 가중치(WD6)를 나타낸다.
도 9는 8x16 TPM 예측 블록에 대한 예시적인 가중치 설정을 나타낸다.
도 10은 개시된 기술이 구현될 수 있는 예시적인 비디오 프로세싱 시스템의 블록도이다.
도 11은 비디오 프로세싱을 위한 예시적인 하드웨어 플랫폼의 블록도이다.
도 12는 예시적인 비디오 프로세싱 방법의 흐름도이다.
도 13a는 VTM6.0에서의 예시적인 TPM 설계를 나타낸다.
도 13b는 예시적인 TPM 설계 제안을 나타낸다.
도 14는 예시적인 GEO 분할 경계 설명을 나타낸다.
도 15a는 기하학적 머지 모드에서의 예시적인 각도 양자화의 32 개 각도 방식을 나타낸다.
도 15b는 기하학적 머지 모드에서의 예시적인 각도 양자화의 24개 각도 방식을 나타낸다.
도 16a 내지 16d는 예시적인 비디오 프로세싱 방법의 흐름도를 나타낸다.
도 2는 공간적 머지 후보의 중복성 체크에 고려되는 예시적인 후보 쌍을 나타낸다.
도 3은 시간적 머지 후보에 대한 움직임 벡터 스케일링의 도시이다.
도 4는 시간적 머지 후보에 대한 예시적인 후보 위치 C0 및 C1를 나타낸다.
도 5는 예시적인 삼각 분할 기반 인터 예측을 나타낸다.
도 6은 예시적인 삼각 예측 모드에 대한 단일 예측 MV 선택을 나타낸다.
도 7은 블렌딩 프로세스에서 사용되는 예시적인 가중치를 나타낸다.
도 8은 8x16 TPM 블록에 대한 블렌딩 프로세스에서 사용되는 예시적인 가중치(WD6)를 나타낸다.
도 9는 8x16 TPM 예측 블록에 대한 예시적인 가중치 설정을 나타낸다.
도 10은 개시된 기술이 구현될 수 있는 예시적인 비디오 프로세싱 시스템의 블록도이다.
도 11은 비디오 프로세싱을 위한 예시적인 하드웨어 플랫폼의 블록도이다.
도 12는 예시적인 비디오 프로세싱 방법의 흐름도이다.
도 13a는 VTM6.0에서의 예시적인 TPM 설계를 나타낸다.
도 13b는 예시적인 TPM 설계 제안을 나타낸다.
도 14는 예시적인 GEO 분할 경계 설명을 나타낸다.
도 15a는 기하학적 머지 모드에서의 예시적인 각도 양자화의 32 개 각도 방식을 나타낸다.
도 15b는 기하학적 머지 모드에서의 예시적인 각도 양자화의 24개 각도 방식을 나타낸다.
도 16a 내지 16d는 예시적인 비디오 프로세싱 방법의 흐름도를 나타낸다.
개시된 기술의 실시예는 압축 성능을 개선하기 위해 기존의 비디오 코딩 표준(예를 들어, HEVC, H.265) 및 미래의 표준에 적용될 수 있다. 섹션 표제는 설명의 가독성을 향상시키기 위해 본 문서에서 사용되며 논의 또는 실시예(및/또는 구현)를 개별 섹션으로만 제한하지는 않는다.
1.
요약
본 문서는 비디오 코딩 기술에 연관된다. 특히, 비디오 코딩의 인터 예측과 연관 기술에 대한 것이다. 이는 HEVC와 같은 기존 비디오 코딩 기준 혹은 마무리될 표준(Versatile Video Coding)에 적용될 수 있다. 또한, 미래 비디오 코딩 표준 혹은 비디오 코덱에도 적용 가능할 수 있다.
2.
초기 논의
비디오 코딩 표준은 주로 잘 알려져 있는 ITU-T 및 ISO/IEC 표준의 개발을 통해서 진화되어 왔다. ITU-T는 H.261 및 H.263을 생성했고, ISO/IEC는 MPEG-1 및 MPEG-4 비쥬얼(Visual)을 생성했으며, 이러한 두 조직들은 H.262/MPEG-2 비디오 및 H.264/MPEG-4 AVC(Advanced Video Coding) 및 H.265/HEVC 표준을 공동으로 생성했다. H.262 이후에, 비디오 코딩 표준은 시간적 예측에 추가하여 변환 코딩이 활용되는 하이브리드 비디오 코딩 구조에 기반하고 있다. HEVC를 넘어서는 장래의 비디오 코딩 기술을 탐색하기 위하여, JVET(Joint Video Exploration Team)이 VCEG 및 MPEG에 의해 공동으로 2015 년에 설립되었다. 그 이후에, 많은 새로운 방법들이 JVET에 의해 채용되고, JEM(Joint Exploration Model)이라고 불리는 레퍼런스 소프트웨어에 추가되어 왔다. JVET 회의는 분기마다 1회 동시 개최되며, 새로운 코딩 표준은 HEVC 대비 비트율 50% 감소를 목표로 하고 있다. 새로운 비디오 코딩 표준은 2018년 4월 JVET 회의에서 공식적으로 VVC(Versatile Video Coding)로 명명되었으며, 당시 VVC 테스트 모델(VTM)의 첫 번째 버전이 출시되었다. VVC 표준화에 기여하는 지속적인 노력으로 인해 모든 JVET 회의에서 새로운 코딩 기술이 VVC 표준에 채택되고 있다. VVC 작업 드래프트(working draft)와 테스트 모델 VTM은 모든 회의 후에 업데이트된다. VVC 프로젝트는 현재 2020년 7월 회의에서 기술 완료(FDIS)를 목표로 하고 있다.
2.1.
Extended merge prediction 확장된 머지 예측
VTM에서, 머지 후보 리스트는 하기의 다섯 개의 후보 유형을 순서대로 포함하여 구성된다:
1)
공간적 이웃 CU들로부터의 공간적 MVP
2)
동일 위치 CU들로부터의 시간적 MVP
3)
FIFO 테이블로부터의 히스토리 기반 MVP
4)
페어와이즈(Pairwise) 평균 MVP
5)
영(Zero) MV들.
머지 리스트의 크기는 슬라이스 헤더에서 시그널링되며, 머지 리스트의 최대 허용 크기는 VTM에서 6이다. 머지 모드의 각 CU 코드에 대해, 최적 머지 후보의 인덱스는 절단된 단항 이진화(truncated unary binarization, TU)를 이용하여 인코딩된다. 머지 인덱스의 제1 빈은 컨텍스트로 코딩되고 바이패스 코딩이 다른 빈들에 사용된다.
머지 후보의 각 카테고리의 생성 프로세스가 이 섹션에서 제공된다.
2.1.1.
공간적 후보 유도
VVC에서 공간적 머지 후보의 유도는 HEVC에서와 동일하다. 최대 네 개의 머지 후보가 도 1에 도시된 위치들에 위치한 후보 가운데 선택된다. 유도 순서는
A0, B0, B1, A1 및 B2이다. 위치 B2는 위치 A0, B0, B1, A1 의 어떤 CU도 허용되지 않거나(예를 들어, 다른 슬라이스 혹은 타일에 속하기 때문에) 인트라 코딩된 경우에만 고려된다. 위치 A1의 후보가 추가된 이후, 잔여 후보의 추가는 동일한 움직임 정보를 갖는 후보가 리스트에서 배제하는 중복성 검사(redundancy check)의 대상이 되어 코딩 효율이 향상된다. 계산 복잡도를 감소시키기 위해, 모든 가능한 후보 쌍들이 언급된 중복성 검사에서 고려되는 것은 아니다. 대신 도 2에 화살표로 연결된 쌍들만이 고려되고, 중복성 검사에 사용되는 대응되는 후보가 동일한 움직임 정보를 갖지 않는 경우에만 후보가 리스트에 추가된다.
2.1.2.
시간적 후보 유도
이 단계에서, 오직 한 후보가 리스트에 추가된다. 시간적 머지 후보 유도에서, 스케일링된 움직임 벡터는 동일 위치 참조 픽처에 속하는 동일 위치 CU에 기초하여 유도된다. 동일 위치 CU의 유도에 사용되는 참조 픽처 리스트는 슬라이스 헤더에서 명시적으로 시그널링된다. 시간적 머지 후보에 대한 스케일링된 움직임 벡터는 tb 및 td인 POC 거리를 이용하여 동일 위치 CU의 움직임 벡터로부터 스케일링되어 도 3에서 점선으로 도시된 바와 같이 획득된다. tb는 현재 픽처와 현재 픽처의 참조 픽처 간의 POC 거리로 정의되고, td는 동일 위치 픽처와 동일 위치 픽처의 참조 픽처 간의 POC 거리로 정의된다. 시간적 머지 후보의 참조 픽처 인덱스는 0으로 설정된다.
도 3은 시간적 머지 후보에 대한 움직임 벡터 스케일링의 도시이다.
시간적 후보 위치는 도 4에 도시된 바와 같이 후보 C0 및 C1 사이에서 선택된다. 위치 C0의 CU가 사용 가능하지 않거나, 인트라 코딩되거나, CTU들의 현재 행 외부에 있는 경우, 위치 C1이 사용된다. 그 외의 경우, 위치 C0이 시간적 머지 후보의 유도에 사용된다.
도 4는 시간적 머지 후보에 대한 예시적인 후보 위치 C0 및 C1를 나타낸다.
2.1.3.
히스토리 기반 머지 후보 유도
히스토리 기반 MVP(HMVP) 머지 후보는 공간적 MVP 및 TMVP 이후 머지 리스트에 추가된다. 이 방법에서, 이전에 코딩된 블록의 움직임 정보는 테이블에 저장되고 현재 CU에 대한 MVP로 사용된다. 다중 HMVP 후보를 갖는 테이블은 인코딩/디코딩 프로세스 동안 유지된다. 테이블은 새로운 CTU 행이 발견되면 재설정(비워짐)된다. 서브 블록이 아닌 인터 코딩된 CU가 있을 때 마다, 연관 움직임 정보는 새로운 HMVP 후보로서 테이블의 마지막 엔트리에 추가된다.
VTM에서 HMVP 테이블 크기 S가 6으로 설정되는데, 이는 최대 6 개의 HMVP(History-based MVP)가 테이블에 추가될 수 있음을 지시한다. 새로운 움직임 후보가 테이블에 삽입될 때, 테이블에 동일한 HMVP가 있는지 여부를 확인하기 위해 중복성 검사를 먼저 적용하는 제한된 FIFO(first-in-first-out) 규칙이 활용된다. 동일한 HMVP가 확인되면, 동일한 HMVP는 테이블에서 제거되고, 이후 모든 HMVP 후보들이 앞으로 이동한다.
HMVP 후보는 머지 후보 리스트 구성 프로세스에서 사용될 수 있다. 테이블에서 가장 최근의 HMVP 후보는 순서대로 검사되고 TMVP 후보 이후 후보 리스트에 삽입된다. 중복성 검사는 HMVP 후보에서 공간적 혹은 시간적 머지 후보로 적용된다.
중복성 검사 동작의 수를 감소시키기 위해, 하기와 같은 단순화 과정이 도입된다:
1. 머지 리스트 생성에 사용되는 HMVP 후보의 수는 
로 설정되는데, N은 머지 리스트의 기존 후보의 수를 지시하고, M은 테이블에서 사용 가능한 HMVP 후보의 수를 지시한다.
2.
사용 가능한 머지 후보의 총 수가 최대 허용 가능한 머지 후보 - 1에 도달하면, HMVP에서 머지 후보 리스트 구성 프로세스가 종료된다.
2.1.4.
페어와이즈(Pair-wise) 평균 머지 후보 유도
페어와이즈 평균 후보는 기존 머지 후보 리스트의 기 정의된 후보 쌍을 평균화하여 생성되고, 기 정의된 쌍은 {(0, 1), (0, 2), (1, 2), (0, 3), (1, 3), (2, 3)}로 정의되는데, 여기서 숫자는 머지 후보 리스트의 머지 인덱스를 나타낸다. 평균화된 움직임 벡터는 각 참조 리스트에 대해 개별적으로 계산된다. 두 움직임 벡터 모두가 한 리스트에서 사용 가능한 경우, 이 두 움직임 벡터가 서로 다른 참조 픽처를 가리키더라도 평균화되고, 오직 하나의 움직임 벡터만이 사용 가능한 경우, 그 하나가 직접 사용된다. 사용 가능한 움직임 벡터가 존재하지 않는 경우, 리스트는 사용 불가 한 것으로 유지된다.
머지 리스트가 페어와이즈 평균 머지 후보가 추가된 이후에도 가득 차지 않으면, 영(zero) MVP들이 최대 머지 후보 수에 도달할 때까지 삽입된다.
2.2.
인터 예측에 대한 삼각 분할
VTM에서, TPM(triangle partition mode)는 인터 예측을 위해 지원된다. 삼각 분할 모드는 64 개 샘플 이상이고, 스킵 혹은 머지 모드로 코딩되되 일반 머지 모드(regular merge mode), MMVD 모드, CIIP 모드 혹은 서브 블록 머지 모드로 코딩되지 않은 CU에만 적용된다. CU 레벨 플래그는 삼각 분할 모드가 적용되는지 혹은 아닌지 여부를 지시하는 데 사용된다.
이 모드가 사용될 때, CU는 대각선 분할 혹은 반 대각선 분할(도 5)을 사용하여 두 개의 삼각 형태로 균등하게 분할된다. CU에서 각 삼각 분할은 그 자체의 움직임을 이용하여 인터 예측된다. 각 분할에는 오직 단일 예측만이 허용된다. 즉, 각 분할은 하나의 움직임 벡터 및 하나의 참조 인덱스를 갖는다. 단일 예측 움직임 제한(uni-prediction motion constraint)은 기존 양 예측과 동일하게 각 CU에 대해 오직 두 개의 움직임 보상된 예측만 필요하다는 것을 보장하기 위해 적용된다. 각 분할에 대한 단일 예측 움직임은 2.1의 확장된 머지 예측에 대해 구성된 머지 후보 리스트로부터 직접 유도되고, 리스트의 주어진 머지 후보로부터 단일 예측 움직임의 선택은 2.2.1의 과정에 따른다.
도 5는 삼각 분할 기반 인터 예측의 예를 나타낸다.
삼각 분할 모드(triangle partition mode)가 현재 CU에 사용되는 경우, 삼각 분할(대각선 혹은 반 대각선)의 방향을 지시하는 플래그 및 두 개의 머지 인덱스(각 분할마다 하나씩)가 더 시그널링된다. 삼각 분할 각각의 예측 이후, 대각선 혹은 반 대각선 엣지를 따르는 샘플 값은 적응적 가중치를 통한 블렌딩 프로세싱을 이용하여 조정된다. 이는 전체 CU에 대한 예측 신호이며, 트랜스폼 및 양자화 프로세스는 다른 예측 모드에서와 같이 전체 CU에 적용될 것이다. 결과적으로, 삼각 분할 모드를 사용하여 예측한 CU의 움직임 필드는 2.2.3에서와 같이 4x4 유닛으로 저장된다.
2.2.1.
단일 예측 후보 리스트 구성
머지 후보 인덱스가 주어지면, 단일 예측 움직임 벡터는 도 6에 예시된 바와 같이 2.1의 프로세스를 이용하여 확장된 머지 예측에 대해 구성된 머지 후보 리스트로부터 유도된다. 리스트의 후보에 대해, 머지 후보 인덱스 값의 패리티(parity)와 동일한 X를 갖는 LX 움직임 벡터는 삼각 분할 모드에 대한 단일 예측 움직임 벡터로 사용된다. 이러한 움직임 벡터는 도 6에서 "x"로 표시된다. 대응 LX 움직임 벡터가 존재하지 않는 경우, 확장된 머지 예측 후보 리스트에서 동일한 후보의 L(1-X) 움직임 벡터는 삼각 분할 모드에 대한 단일 예측 움직임 벡터로 사용된다.
2.2.2.
삼각 분할 엣지를 따르는 블렌딩
자체 움직임을 이용하는 각 삼각 분할을 예측한 이후, 대각선 혹은 반 대각선 엣지 주변의 샘플을 유도하기 위해 두 개의 예측 신호에 블렌딩이 적용된다. 블렌딩 프로세스에서는 하기의 가중치가 사용된다:
·
도 7에 도시된 바와 같이, 루마의 경우 {7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8} 이고, 크로마의 경우 {6/8, 4/8, 2/8}.
도 7은 블렌딩 프로세스에서 사용되는 예시적인 가중치를 나타낸다.
2.2.3.
움직임 필드 저장(Motion field storage)
삼각 분할 모드로 코딩되는 CU의 움직임 벡터는 4x4 유닛으로 저장된다. 각 4x4 유닛의 위치에 기초하여, 단일 예측 혹은 양 예측 움직임 벡터가 저장된다. 파티션 1 및 파티션 2에 대한 단일 예측 움직임 벡터는 각각 Mv1 및 Mv2로 표현된다. 도 7의 예에 나타난 가중되지 않은 영역에 4x4 유닛이 위치하는 경우, Mv1 혹은 Mv2는 그 4x4 유닛에 대해 저장된다. 그 외의 경우, 4x4 유닛이 가중된 영역에 위치하는 경우, 양 예측 움직임 벡터가 저장된다. 양 예측 움직임 벡터는 하기 프로세스에 따라 Mv1 및 Mv2로부터 유도된다:
1)
Mv1 및 Mv2가 서로 다른 참조 픽처 리스트(하나는 L0, 하나는 L1)에 의하는 경우, Mv1 및 Mv2는 양 예측 움직임 벡터를 형성하기 위해 단순히 결합된다.
2)
그 외의 경우, Mv1 및 Mv2가 동일한 리스트에 의하고, 일반성(generality)을 잃지 않는 경우, 둘 다 L0에 의한다고 가정한다. 이 경우,
2.a)
Mv2(혹은 Mv1) 중 하나의 참조 픽처가 L1에 나타나면, Mv2(혹은 Mv1)는 L1의 참조 픽처를 이용하여 L1 움직임 벡터로 변환된다. 그런 다음, 두 개의 움직임 벡터는 양 예측 움직임 벡터를 형성하기 위해 결합된다.
그 외의 경우에는, 양 예측 움직임 대신, 단일 예측 움직임 Mv1만이 저장된다.
2.3.
VVC WD6에서 삼각 분할 사양
디블록킹 필터링 프로세스의 하기 사양은 가장 최근의 VVC 작업 드래프트 JVET-O2001-vE로부터 추출된다.
2.3.1.
머지 데이터 신택스
| merge_data( x0, y0, cbWidth, cbHeight, chType ) { | 서술자(Descriptor) |
| if ( CuPredMode[ chType ][ x0 ][ y0 ] = = MODE_IBC ) { | |
| if( MaxNumIbcMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
| if( MaxNumSubblockMergeCand > 0 && cbWidth >= 8 && cbHeight >= 8 ) | |
| merge_subblock_flag[ x0 ][ y0 ] | ae(v) |
| if( merge_subblock_flag[ x0 ][ y0 ] = = 1 ) { | |
| if( MaxNumSubblockMergeCand > 1 ) | |
| merge_subblock_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
|
if( ( cbWidth * cbHeight ) >= 64 && ( (sps_ciip_enabled_flag && cu_skip_flag[ x0 ][ y0 ] = = 0 && cbWidth < 128 && cbHeight < 128) | | ( sps_triangle_enabled_flag && MaxNumTriangleMergeCand > 1 && slice_type = = B ) ) ) |
|
| regular_merge_flag[ x0 ][ y0 ] | ae(v) |
| if ( regular_merge_flag[ x0 ][ y0 ] = = 1 ){ | |
| if( sps_mmvd_enabled_flag ) | |
| mmvd_merge_flag[ x0 ][ y0 ] | ae(v) |
| if( mmvd_merge_flag[ x0 ][ y0 ] = = 1 ) { | |
| if( MaxNumMergeCand > 1 ) | |
| mmvd_cand_flag[ x0 ][ y0 ] | ae(v) |
| mmvd_distance_idx[ x0 ][ y0 ] | ae(v) |
| mmvd_direction_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
| if( MaxNumMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| } | |
| } else { | |
|
if( sps_ciip_enabled_flag && sps_triangle_enabled_flag &&
MaxNumTriangleMergeCand > 1 && slice_type = = B && cu_skip_flag[ x0 ][ y0 ] = = 0 && ( cbWidth * cbHeight ) >= 64 && cbWidth < 128 && cbHeight < 128 ) { |
|
| ciip_flag[ x0 ][ y0 ] | ae(v) |
| if( ciip_flag[ x0 ][ y0 ] && MaxNumMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| if( !ciip_flag[ x0 ][ y0 ] && MaxNumTriangleMergeCand > 1 ) { | |
| merge_triangle_split_dir[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx0[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx1[ x0 ][ y0 ] | ae(v) |
| } | |
| } | |
| } | |
| } | |
| } |
2.3.2.
머지 데이터 시맨틱스(Merge data semantics)
ciip_flag[ x0 ][ y0 ]는 결합된 인터 픽처 머지 및 인트라 픽처 예측이 현재 코딩 유닛에 대해 적용되는지 여부를 지정한다. 배열 인덱스 x0, y0 는 픽처의 좌측 상단 루마 샘플에 대해 고려된 코딩 블록의 좌측 상단 루마 샘플의 위치 ( x0, y0 )를 지정한다.
ciip_flag[ x0 ][ y0 ]이 존재하지 않는 경우, 다음과 같이 추론된다:
- 다음 조건들이 모두 참이면, ciip_flag[ x0 ][ y0 ]는 1 로 추론된다.
- sps_ciip_enabled_flag은 1이다.
- general_merge_flag[ x0 ][ y0 ] 은 1이다.
- merge_subblock_flag[ x0 ][ y0 ]은 0이다.
- regular_merge_flag[ x0 ][ y0 ]은 0이다.
- cbWidth는 128 미만이다.
- cbHeight는 128 미만이다.
- cbWidth * cbHeight 는 64 이상이다.
- 그 외의 경우, ciip_flag[ x0 ][ y0 ] 는 0으로 추론된다.
ciip_flag[ x0 ][ y0 ]이 1이면, x = x0..x0 + cbWidth - 1 및 y = y0..y0 + cbHeight - 1 인 변수 IntraPredModeY[ x ][ y ] 는 INTRA_PLANAR와 동일하게 설정된다.
현재 코딩 유닛의 예측 샘플을 생성하기 위해 삼각 형태 기반 움직임 보상이 사용되는지 여부를 지시하는 변수 MergeTriangleFlag[ x0 ][ y0 ]는 B 슬라이스를 디코딩할 때 다음과 같이 유도된다:
- 하기 조건이 모두 참이면, MergeTriangleFlag[ x0 ][ y0 ]은 1로 설정된다:
- sps_triangle_enabled_flag 은 1이다.
- slice_type은 B이다.
- general_merge_flag[ x0 ][ y0 ]은 1이다.
- MaxNumTriangleMergeCand은 2 이상이다.
- cbWidth * cbHeight 은 64 이상이다.
- regular_merge_flag[ x0 ][ y0 ]은 0이다.
- merge_subblock_flag[ x0 ][ y0 ]은 0이다.
- ciip_flag[ x0 ][ y0 ]은 0이다.
- 그 외의 경우, MergeTriangleFlag[ x0 ][ y0 ]은 0으로 설정된다.
merge_triangle_split_dir[ x0 ][ y0 ] 는 머지 삼각 모드의 분할 방향을 지정한다. 배열 인덱스 x0, y0는 픽처의 좌측 루마 샘플에 대해 고려된 코딩 블록의 좌측 상단 루마 샘플의 위치 ( x0, y0 )를 지정한다.
merge_triangle_split_dir[ x0 ][ y0 ] 이 존재하지 않으면, 0으로 추론된다.
merge_triangle_idx0[ x0 ][ y0 ]는 삼각 형태 기반 움직임 보상 후보 리스트의 제1 머지 후보 인덱스를 지정하고, 여기서 x0, y0 는 픽처의 좌측 상단 루마 샘플에 대해 고려된 코딩 블록의 좌측 상단 루마 샘플의 위치 ( x0, y0 ) 를 지정한다.
merge_triangle_idx0[ x0 ][ y0 ] 가 존재하지 않는 경우, 이는 0으로 추론된다.
merge_triangle_idx1[ x0 ][ y0 ] 는 삼각 형태 기반 움직임 보상 후보 리스트의 제2 머지 후보 인덱스를 지정하고, 여기서 x0, y0 는 픽처의 좌측 상단 루마 샘플에 대해 고려된 코딩 블록의 좌측 상단 루마 샘플의 위치 ( x0, y0 ) 를 지정한다.
merge_triangle_idx1[ x0 ][ y0 ] 이 존재하지 않는 경우, 이는 0으로 추론된다.
2.3.3.
삼각 움직임 벡터 성분과 참조 인덱스 유도 프로세스
2.3.3.1.
일반론
이 프로세스의 입력은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플에 대한 현재 루마 코딩 블록의 좌측 상단 샘플의 루마 위치 ( xCb, yCb ),
- 루마 샘플에서 현재 코딩 블록의 너비를 지정하는 변수 cbWidth,
- 루마 샘플에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스의 출력은 다음과 같다:
- 1/16 분수 샘플 정확도에서 루마 움직임 벡터 mvA 및 mvB,
- 1/32 분수 샘플 정확도에서 크로마 움직임 벡터 mvCA 및 mvCB,
- 참조 인덱스 refIdxA 및 refIdxB,
- 예측 리스트 플래그 predListFlagA 및 predListFlagB.
2.3.3.2 절에 지정된 삼각 머지 모드에 대한 루마 움직임 벡터 유도 프로세스는 루마 위치 ( xCb, yCb ), 변수 cbWidth 및 cbHeight를 입력으로 하여 호출되고, 출력은 루마 움직임 벡터 mvA, mvB, 참조 인덱스 refIdxA, refIdxB 및 예측 리스트 플래그 predListFlagA 및 predListFlagB이다.
2.3.3.3 절의 크로마 움직임 벡터 유도 프로세스는 mvA 및 refIdxA을 입력으로 하여 호출되고, 출력은 mvCA이다.
2.3.3.3 절의 크로마 움직임 벡터 유도 프로세스는 mvB 및 refIdxB을 입력으로 하여 호출되고, 출력은 mvCB이다.
2.3.3.2.
머지 삼각 모드에 대한 루마 움직임 벡터 유도 프로세스
이 프로세스는 MergeTriangleFlag[ xCb ][ yCb ]이 1일 때에만 호출되며, 여기서 ( xCb, yCb )는 현재 픽처의 좌측 상단 루마 샘플에 대한 현재 루마 코딩 블록의 좌측 상단 샘플을 지정한다.
이 프로세스의 입력은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플에 대한 현재 루마 코딩 블록의 좌측 상단 샘플의 루마 위치 ( xCb, yCb ),
- 루마 샘플에서 현재 코딩 블록의 너비를 지정하는 변수 cbWidth,
- 루마 샘플에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight.
이 프로세스의 출력은 다음과 같다:
- 1/16 분수 샘플 정확도의 루마 움직임 벡터 mvA 및 mvB,
- 참조 인덱스 refIdxA 및 refIdxB,
- 예측 리스트 플래그 predListFlagA 및 predListFlagB.
움직임 벡터 mvA 및 mvB, 참조 인덱스 refIdxA 및 refIdxB, 그리고 예측 리스트 플래그 predListFlagA 및 predListFlagB는 다음 순서의 단계로 유도된다:
- 8.5.2.2 절에 지정된 머지 모드에 대한 루마 움직임 벡터 유도 프로세스는 루마 위치 ( xCb, yCb ), 변수 cbWidth 및 cbHeight를 입력으로 하여 호출되고, 출력은 루마 움직임 벡터 mvL0[ 0 ][ 0 ], mvL1[ 0 ][ 0 ], 참조 인덱스 refIdxL0, refIdxL1, 예측 리스트 활용 플래그 predFlagL0[ 0 ][ 0 ] 및 predFlagL1[ 0 ][ 0 ], 양 예측 가중치 인덱스 bcwIdx 및 머지 후보 리스트 mergeCandList이다.
- 삼각 분할 0 및 1에 대한 각각의 머지 인덱스가 되는 변수 m 및 n은 merge_triangle_idx0[ xCb ][ yCb ] 및 merge_triangle_idx1[ xCb ][ yCb ]를 이용하여 다음과 같이 유도된다:
m = merge_triangle_idx0[ xCb ][ yCb ]
(8-475)
n = merge_triangle_idx1[ xCb ][ yCb ] + ( merge_triangle_idx1[ xCb ][ yCb ] >= m ) ? 1 : 0
(8-476)
- refIdxL0M 및 refIdxL1M, predFlagL0M 및 predFlagL1M, 그리고 mvL0M 및 mvL1M을 참조 인덱스, 예측 리스트 활용 플래그, 머지 후보 리스트 mergeCandList에서 위치 m의 머지 후보 M의 움직임 벡터로 한다( M = mergeCandList[ m ] ).
- 변수 X는 ( m & 0x01 )와 동일하게 설정된다.
- predFlagLXM이 0이면, X는 ( 1 - X )과 동일하게 설정된다 .
- 다음이 적용된다:
mvA[ 0 ] = mvLXM[ 0 ]
(8-477)
mvA[ 1 ] = mvLXM[ 1 ]
(8-478)
refIdxA = refIdxLXM
(8-479)
predListFlagA = X
(8-480)
- refIdxL0N 및 refIdxL1N, predFlagL0N 및 predFlagL1N, 그리고 mvL0N 및 mvL1N을 참조 인덱스, 예측 리스트 활용 플래그, 및 머지 후보 리스트 mergeCandList 의 위치 m에서 머지 후보 N의 움직임 벡터로 한다( N = mergeCandList[ n ] ).
- 변수 X는 ( n & 0x01 )과 동일하게 설정된다.
- predFlagLXN이 0이면, X은 ( 1 - X )과 동일하게 설정된다.
- 다음이 적용된다:
mvB[ 0 ] = mvLXN[ 0 ]
(8-481)
mvB[ 1 ] = mvLXN[ 1 ]
(8-482)
refIdxB = refIdxLXN
(8-483)
predListFlagB = X
(8-484)
2.3.3.3. 크로마 움직임 벡터 유도 프로세스
이 프로세스의 입력은 다음과 같다:
- 1/16 분수 샘플 정확도의 루마 움직임 벡터 mvLX,
- 참조 인덱스 refIdxLX.
이 프로세스의 출력은 1/32 분수 샘플 정확도의 크로마 움직임 벡터 mvCLX 이다.
크로마 움직임 벡터는 대응 루마 움직임 벡터로부터 유도된다.
크로마 움직임 벡터 mvCLX는 다음과 같이 유도된다:
mvCLX[ 0 ] = mvLX[ 0 ] * 2 / SubWidthC
(8-435)
mvCLX[ 1 ] = mvLX[ 1 ] * 2 / SubHeightC
(8-436)
2.3.4.
삼각 인터 블록 디코딩 프로세스
2.3.4.1.
일반론
이 프로세스는 1인 MergeTriangleFlag[ xCb ][ yCb ]로 코딩 유닛을 디코딩할 때 호출된다.
이 프로세스의 입력은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플에 대한 현재 코딩 블록의 좌측 상단 샘플을 지시하는 루마 위치 ( xCb, yCb ),
- 루마 샘플에서 현재 코딩 블록의 너비를 지정하는 변수 cbWidth,
- 루마 샘플에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight,
- 1/16 분수 샘플 정확도의 루마 움직임 벡터 mvA 및 mvB,
- 크로마 움직임 벡터 mvCA 및 mvCB,
- 참조 인덱스 refIdxA 및 refIdxB,
- 예측 리스트 플래그 predListFlagA 및 predListFlagB.
이 프로세스의 출력은 다음과 같다:
- 루마 예측 샘플의 (cbWidth)x(cbHeight) 배열 predSamplesL,
- 성분 Cb 에 대한 크로마 예측 샘플의 (cbWidth / SubWidthC)x(cbHeight / SubHeightC) 배열 predSamplesCb,
- 성분 Cr에 대한 크로마 예측 샘플의 (cbWidth / SubWidthC)x(cbHeight / SubHeightC) 배열 predSamplesCr.
predSamplesLAL 및 predSamplesLBL 은 예측된 루마 샘플 값의 배열 (cbWidth)x(cbHeight)로, predSamplesLACb, predSamplesLBCb, predSamplesLACr 및 predSamplesLBCr 은 예측된 크로마 샘플 값의 배열 (cbWidth / SubWidthC)x(cbHeight / SubHeightC) 로 한다.
predSamplesL, predSamplesCb 및 predSamplesCr 는 하기 순서의 단계로 유도된다:
1.
N이 각각 A 및 B인 경우, 다음이 적용된다:
- 루마 샘플의 정렬된 2차원 배열 refPicLNL과 크로마 샘플의 정렬된 두 개의 2차원 배열 refPicLNCb 및 refPicLNCr 로 구성된 참조 픽처는 predListFlagN와 동일하게 설정된 X, refIdxN와 동일하게 설정된 refIdxX를 입력으로 하는 VVC WD6의 8.5.6.2 절에 지정된 프로세스를 호출함으로써 유도된다.
- 배열 predSamplesLNL 은 루마 위치 ( xCb, yCb ), cbWidth 와 동일하게 설정된 루마 코딩 블록 너비 sbWidth, cbHeight와 동일하게 설정된 루마 코딩 블록 높이 sbHeight, ( 0, 0 )와 동일하게 설정된 움직임 벡터 오프셋 mvOffset, mvN 와 동일하게 설정된 움직임 벡터 mvLX 및 refPicLNL 와 동일하게 설정된 참조 배열 refPicLXL, FALSE 와 동일하게 설정된 변수 bdofFlag, 0으로 설정된 변수 cIdx를 입력으로 하는 VVC WD6의 8.5.6.3 절에 지정된 분수 샘플 보간 프로세스를 호출함으로써 유도된다.
- 배열 predSamplesLNCb 은 루마 위치 ( xCb, yCb ), cbWidth / SubWidthC 와 동일하게 설정된 코딩 블록 너비 sbWidth, cbHeight / SubHeightC 와 동일하게 설정된 코딩 블록 높이 sbHeight, ( 0, 0 )와 동일하게 설정된 움직임 벡터 오프셋 mvOffset, mvCN 와 동일하게 설정된 움직임 벡터 mvLX, 그리고 refPicLNCb 와 동일하게 설정된 참조 배열 refPicLXCb, FALSE 와 동일하게 설정된 변수 bdofFlag, 그리고 1과 동일하게 설정된 변수 cIdx 를 입력으로 하는 VVC WD6의 8.5.6.3 절에 지정된 분수 샘플 보간 프로세스를 호출함으로써 유도된다.
- 배열 predSamplesLNCr 는 루마 위치 ( xCb, yCb ), cbWidth / SubWidthC와 동일하게 설정된 코딩 블록 너비 sbWidth, cbHeight / SubHeightC 와 동일하게 설정된 코딩 블록 높이 sbHeight, ( 0, 0 )과 동일하게 설정된 움직임 벡터 오프셋 mvOffset, mvCN와 동일하게 설정된 움직임 벡터 mvLX, refPicLNCr 와 동일하게 설정된 참조 배열 refPicLXCr, FALSE 와 동일하게 설정된 변수 bdofFlag, 2와 동일하게 설정된 변수 cIdx 를 입력으로 하는 VVC WD6의 8.5.6.3 절에 지정된 분수 샘플 보간 프로세스를 호출함으로써 유도된다.
2.
머지 삼각 모드 분할 방향 변수 triangleDir는 merge_triangle_split_dir[ xCb ][ yCb ]와 동일하게 설정된다.
3.
xL = 0..cbWidth - 1 및 yL = 0..cbHeight - 1인 현재 루마 코딩 블록 내 예측 샘플 predSamplesL[ xL ][ yL ]는 cbWidth와 동일하게 설정된 코딩 블록 너비 nCbW, cbHeight 와 동일하게 설정된 코딩 블록 높이 nCbH, 샘플 배열 predSamplesLAL 및 predSamplesLBL, 0과 동일한 변수 cIdx, 변수 triangleDir를 입력으로 하는 2.3.4.2 절에 지정된 삼각 머지 모드의 가중 샘플 예측 프로세스를 호출함으로써 유도된다.
4.
xC = 0..cbWidth / SubWidthC - 1 및 yC = 0..cbHeight / SubHeightC - 1인 현재 크로마 성분 Cb 코딩 블록 내의 예측 샘플 predSamplesCb[ xC ][ yC ] 은 cbWidth / SubWidthC 와 동일하게 설정된 코딩 블록 너비 nCbW, cbHeight / SubHeightC 와 동일하게 설정된 코딩 블록 높이 nCbH, 샘플 배열 predSamplesLACb 및 predSamplesLBCb, 및 1과 동일한 변수 cIdx, 변수 triangleDir를 입력으로 하는 2.3.4.2 절에 지정된 삼각 머지 모드의 가중 샘플 예측 프로세스를 호출함으로써 유도된다.
5.
xC = 0..cbWidth / SubWidthC - 1 및 yC = 0..cbHeight / SubHeightC - 1인 현재 크로마 성분 Cr 코딩 블록 내의 예측 샘플 predSamplesCr[ xC ][ yC ]은 cbWidth / SubWidthC 와 동일하게 설정된 코딩 블록 너비 nCbW, cbHeight / SubHeightC 와 동일하게 설정된 코딩 블록 높이 nCbH, 샘플 배열 predSamplesLACr 및 predSamplesLBCr, 및 2와 동일한 변수 cIdx, 변수 triangleDir를 입력으로 하는 2.3.4.2 절에 지정된 삼각 머지 모드의 가중 샘플 예측 프로세스를 호출함으로써 유도된다.
6.
2.3.4.3 절에 지정된 머지 삼각 모드에 대한 움직임 벡터 저장 프로세스는 루마 코딩 블록 위치 ( xCb, yCb ), 루마 코딩 블록 너비 cbWidth, 루마 코딩 블록 높이 cbHeight, 분할 방향 triangleDir, 루마 움직임 벡터 mvA 및 mvB, 참조 인덱스 refIdxA 및 refIdxB, 예측 리스트 플래그 predListFlagA 및 predListFlagB를 입력으로 하여 호출된다.
2.3.4.2.
삼각 머지 모드에 대한 가중 샘플 예측 프로세스(Weighted sample prediction process)
이 프로세스의 입력은 다음과 같다:
- 현재 코딩 블록의 너비 및 높이를 지정하는 두 개의 변수 nCbW 및 nCbH,
- 두 개의 (nCbW)x(nCbH) 배열 predSamplesLA 및 predSamplesLB,
- 분할 방향을 지정하는 변수 triangleDir,
- 색상 성분 인덱스를 지정하는 변수 cIdx.
이 프로세스의 출력은 예측 샘플 값의 (nCbW)x(nCbH) 배열 pbSamples이다.
변수 nCbR는 다음과 같이 유도된다:
nCbR = ( nCbW > nCbH ) ? ( nCbW / nCbH ) : ( nCbH / nCbW )
(8-841)
변수 bitDepth는 다음과 같이 유도된다:
- cIdx이 0이면, bitDepth은 BitDepthY과 동일하게 설정된다.
- 그 외의 경우, bitDepth는 BitDepthC과 동일하게 설정된다.
변수 shift1 및 offset1는 하기와 같이 유도된다:
- 변수 shift1는 Max( 5, 17 - bitDepth)와 동일하게 설정된다.
- 변수 offset1는 1 << ( shift1 - 1 )과 동일하게 설정된다.
triangleDir, wS 및 cIdx 값에 기초하여, x = 0..nCbW - 1 및 y = 0..nCbH - 1 인 예측 샘플pbSamples[ x ][ y ] 은 하기와 같이 유도된다:
- 변수 wIdx는 다음과 같이 유도된다:
- cIdx가 0이고, triangleDir이 0인 경우, 하기가 적용된다:
wIdx = ( nCbW > nCbH ) ? ( Clip3( 0, 8, ( x / nCbR - y ) + 4 ) )
(8-842)
: ( Clip3( 0, 8, ( x - y / nCbR ) + 4 ) )
- 그 외의 경우, cIdx가 0이고 triangleDir이 1인 경우, 하기가 적용된다:
wIdx = ( nCbW > nCbH ) ? ( Clip3( 0, 8, ( nCbH - 1 - x / nCbR - y ) + 4 ) ) (8-843)
( Clip3( 0, 8, ( nCbW - 1 - x - y / nCbR ) + 4 ) )
- 그 외의 경우, cIdx이 0보다 크고 triangleDir이 0인 경우, 하기가 적용된다:
wIdx = ( nCbW > nCbH ) ? ( Clip3( 0, 4, ( x / nCbR - y ) + 2 ) )
(8-844)
: ( Clip3( 0, 4, ( x - y / nCbR ) + 2 ) )
- 그 외의 경우 (cIdx가 0보다 크고 triangleDir이 1인 경우), 하기가 적용된다:
wIdx = ( nCbW > nCbH ) ? ( Clip3( 0, 4, ( nCbH - 1 - x / nCbR - y ) + 2 ) ) (8-845)
( Clip3( 0, 4, ( nCbW - 1 - x - y / nCbR ) + 2 ) )
- 예측 샘플의 가중치를 지정하는 변수 wValue는 wIdx 및 cIdx를 이용하여 하기와 같이 유도된다:
wValue = ( cIdx = = 0 ) ? Clip3( 0, 8, wIdx ) : Clip3( 0, 8, wIdx * 2 )
(8-846)
- 예측 샘플 값은 하기와 같이 유도된다:
pbSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesLA[ x ][ y ] * wValue +
(8-847)
predSamplesLB[ x ][ y ] * ( 8 - wValue ) + offset1 ) >> shift1 )
2.3.4.3.
삼각 머지 모드의 움직임 벡터 저장 프로세스
이 프로세스는 1과 동일한 MergeTriangleFlag[ xCb ][ yCb ]로 코딩 유닛을 디코딩할 때 호출된다.
이 프로세스의 입력은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플에 대한 현재 코딩 블록의 좌측 상단 샘플을 지정하는 루마 위치 ( xCb, yCb ),
- 루마 샘플에서의 현재 코딩 블록의 너비를 지정하는 변수 cbWidth,
- 루마 샘플에서의 현재 코딩 블록의 높이를 지정하는 변수 cbHeight,
- 분할 방향(partition direction)을 지정하는 변수 triangleDir,
- 1/16 분수 샘플 정확도의 루마 움직임 벡터 mvA 및 mvB,
- 참조 인덱스 refIdxA 및 refIdxB,
- 예측 리스트 플래그 predListFlagA 및 predListFlagB.
수평 및 수직 방향으로 현재 코딩 블록에서 4x4 블록의 수를 지정하는 변수 numSbX 및 numSbY은 numSbX = cbWidth >> 2 및 numSbY = cbHeight >> 2와 동일하게 설정된다.
변수 minSb는 Min( numSbX, numSbY ) - 1와 동일하게 설정된다.
변수 cbRatio는 다음과 같이 유도된다:
cbRatio = ( cbWidth > cbHeight ) ? ( cbWidth / cbHeight ) : ( cbHeight / cbWidth )
(8-848)
xSbIdx = 0..numSbX - 1, 및 ySbIdx = 0..numSbY - 1인 서브 블록 인덱스 ( xSbIdx, ySbIdx )의 각 4x4 서브 블록에 대해, 다음이 적용된다: :
- 변수 xIdx 및 yIdx는 다음과 같이 유도된다:
xIdx = ( cbWidth > cbHeight ) ? ( xSbIdx / cbRatio ) : xSbIdx
(8-849)
yIdx = ( cbWidth > cbHeight ) ? ySbIdx : ( ySbIdx / cbRatio )
(8-850)
- 변수 sType는 다음과 같이 유도된다:
- triangleDir이 0이면, 다음이 적용된다:
sType = ( xIdx = = yIdx ) ? 2 : ( ( xIdx > yIdx ) ? 0 : 1 )
(8-851)
- 그 외의 경우 (triangleDir이 1이면), 다음이 적용된다:
sType = ( xIdx + yIdx = = minSb ) ? 2 : ( ( xIdx + yIdx < minSb ) ? 0 : 1 )
(8-852)
- sType의 값에 따라, 다음의 할당이 이루어진다:
- sType이 0과 동일하면, 다음이 적용된다:
predFlagL0 = ( predListFlagA = = 0 ) ? 1 : 0
(8-853)
predFlagL1 = ( predListFlagA = = 0 ) ? 0 : 1
(8-854)
refIdxL0 = ( predListFlagA = = 0 ) ? refIdxA : -1
(8-855)
refIdxL1 = ( predListFlagA = = 0 ) ? -1 : refIdxA
(8-856)
mvL0[ 0 ] = ( predListFlagA = = 0 ) ? mvA[ 0 ] : 0
(8-857)
mvL0[ 1 ] = ( predListFlagA = = 0 ) ? mvA[ 1 ] : 0
(8-858)
mvL1[ 0 ] = ( predListFlagA = = 0 ) ? 0 : mvA[ 0 ]
(8-859)
mvL1[ 1 ] = ( predListFlagA = = 0 ) ? 0 : mvA[ 1 ]
(8-860)
- sType이 1과 동일하거나 그 외의 경우, ( sType이 2와 동일하고 predListFlagA + predListFlagB이 1과 동일하지 않음), 다음이 적용된다:
predFlagL0 = ( predListFlagB = = 0 ) ? 1 : 0
(8-861)
predFlagL1 = ( predListFlagB = = 0 ) ? 0 : 1
(8-862)
refIdxL0 = ( predListFlagB = = 0 ) ? refIdxB : -1
(8-863)
refIdxL1 = ( predListFlagB = = 0 ) ? -1 : refIdxB
(8-864)
mvL0[ 0 ] = ( predListFlagB = = 0 ) ? mvB[ 0 ] : 0
(8-865)
mvL0[ 1 ] = ( predListFlagB = = 0 ) ? mvB[ 1 ] : 0
(8-866)
mvL1[ 0 ] = ( predListFlagB = = 0 ) ? 0 : mvB[ 0 ]
(8-867)
mvL1[ 1 ] = ( predListFlagB = = 0 ) ? 0 : mvB[ 1 ]
(8-868)
- 그 외의 경우 (sType은 2이고 predListFlagA + predListFlagB이 1임), 다음이 적용된다:
predFlagL0 = 1
(8-869)
predFlagL1 = 1
(8-870)
refIdxL0 = ( predListFlagA = = 0 ) ? refIdxA : refIdxB
(8-871)
refIdxL1 = ( predListFlagA = = 0 ) ? refIdxB : refIdxA
(8-872)
mvL0[ 0 ] = ( predListFlagA = = 0 ) ? mvA[ 0 ] : mvB[ 0 ]
(8-873)
mvL0[ 1 ] = ( predListFlagA = = 0 ) ? mvA[ 1 ] : mvB[ 1 ]
(8-874)
mvL1[ 0 ] = ( predListFlagA = = 0 ) ? mvB[ 0 ] : mvA[ 0 ]
(8-875)
mvL1[ 1 ] = ( predListFlagA = = 0 ) ? mvB[ 1 ] : mvA[ 1 ]
(8-876)
- x = 0..3 및 y = 0..3에 대해 다음 할당이 이루어진다:
MvL0[ ( xSbIdx << 2 ) + x ][ ( ySbIdx << 2 ) + y] = mvL0
(8-877)
MvL1[ ( xSbIdx << 2 ) + x ][ ( ySbIdx << 2 ) + y] = mvL1
(8-878)
RefIdxL0[ ( xSbIdx << 2 ) + x ][ ( ySbIdx << 2 ) + y] = refIdxL0
(8-879)
RedIdxL1[ ( xSbIdx << 2 ) + x ][ ( ySbIdx << 2 ) + y] = refIdxL1
(8-880)
PredFlagL0[ ( xSbIdx << 2 ) + x ][ ( ySbIdx << 2 ) + y] = predFlagL0
(8-881)
PredFlagL1[ ( xSbIdx << 2 ) + x ][ ( ySbIdx << 2 ) + y] = predFlagL1
(8-882)
2.4.
기하하적 머지 모드(Geometric merge mode , GEO)
JVET-P0068에서, GEO 머지 모드는 VVC의 기존 TPM의 확장으로서 연구되고 있다. GEO는 TPM과 동일한 예측 블렌딩 컨셉을 이용하지만 블렌딩 마스크를 최대 32개의 각도와 5개의 거리 오프셋을 갖는 140개의 서로 다른 모드로 확장한다. GEO 모드의 블렌딩 마스크는 3 개의 룩업 테이블을 이용하여 샘플 위치와 분할 경계의 거리로부터 유도된다. 이 모드에서, 블록은 각도 파티션(angular partition)을 이용하여 분할되고, 적어도 하나의 파티션이 비 수평적 및 비 수직적 경계를 갖게 된다.
2.4.1.
개념 설명
도 13a 및 13b는 VTM-6.0의 TPM과 직사각형이 아닌 인터 블록들에 대해 제안되는 추가적인 형태들을 도시한다.
TPM과 유사하게, 제안된 인터 GEO 파티셔닝은 디코더 측에서 양 예측된 블록과 동일한 메모리 대역폭을 갖기 위해 8x8 보다 작지 않은 단일 예측된 블록에 대해서도 허용된다. GEO 파티셔닝의 움직임 벡터 예측은 TPM과 맞추어 조정된다. TPM에서 뿐 아니라 두 예측 사이의 블렌딩도 내부 경계에 적용된다.
기하학적 머지 모드의 분할 경계는 도 14에 나타난 각도 
및 거리 오프셋 
으로 설명된다. 각도 
는 0과 360도 사이의 양자화된 각도를 나타내고, 거리 오프셋 
은 최대 거리 
의 양자화된 오프셋을 나타낸다. 또한, 이진 트리 분할 및 TPM 분할과 중첩되는 분할 방향은 제외된다.
2.4.2.
각도 및 거리 양자화
각도 
는 고정된 순서로 0에서 360도 사이에서 양자화 된다.
CE4-1.1, 108개 모드의 CE4-1.2a 및 CE4-1.14에서, 각도 
는 도 15a에 도시된 바와 같이 0도와 360도 사이에서 11.25도씩 총 32개의 각도로 양자화된다.
80개 모드의 CE4-1.2b에서, 각도 
는 여전히 11.25도씩 양자화되되, 자연 값(natural value)에서 목표(objective) 및 움직임이 대부분 수평이기 때문에 수직 방향에 가까운 각도(수평 방향 경계 부근)는 제거된다. 도 15b는 24개의 각도로 축소된 방식을 도시했다.
거리 
는 고정된 순서로 최대 가능 거리 
에서 양자화된다. 
값은 w 혹은 h가 8일 때 식 (1)에 의해 기하학적으로 유도될 수 있으며, log2 스케일링된 짧은 엣지 길이(short edge length)로 스케일링될 수 있다. 
이 0도인 경우, 
는 w/2와 동일하고, 
가 90도인 경우, 
는 h/2와 동일하다. 후방으로 시프팅(shift)된 "1.0" 샘플은 분할 경계가 모서리에 너무 가까운 것을 방지하기 위한 것이다.
CE4-1.1 및 CE4-1.14에서, 거리 
는 이진 트리와 TPM 분할을 제외하고 총 140 개의 분할 모드가 있는 32 개의 각도를 고려하여 다섯 단계로 양자화된다.
108개 모드의 CE4-1.2a 에서, 거리 
는 이진 트리와 TPM 분할을 제외하고 총 108 개의 분할 모드가 있는 32개의 각도를 고려하여 네 단계로 양자화된다.
80개 모드의 CE4-1.2b에서, 거리 
는 이진 트리와 TPM 분할을 제외하고 총 80 개의 분할 모드가 있는 24개의 각도를 고려하여 네 단계로 양자화된다.
CE 테스트를 위한 각도, 거리, 및 모드의 수는 테이블 1로 요약된다:
테이블 1 각도의 수, 거리의 수, 분할 모드의 수
| CE4-1.1 | CE4-1.2a | CE4-1.2b | |
| 각도의 수 | 32 | 32 | 24 |
| 거리의 수 | 5 | 4 | 4 |
| 분할 모드의 수 | 140 | 108 | 80 |
2.4.3.
루마 블록에 대한 블렌딩 동작
TPM 모드에서와 같이, 기하학적 머지 모드에서, 3 비트 블렌딩 마스크 
및 
를 갖는 최종 예측자 
는 식 (2)와 같다.
기하학적 머지 모드의 블렌딩 마스크는 식 (3), (4), 및 (5)의 룩업 테이블을 이용하여 샘플 위치와 분할 경계의 거리로부터 유도된다.
distFromLine = ((x<<1) + 1)*Dis[displacementX] + ((y<<1) + 1))*Dis[displacementY] -rho (3)
distScaled = Clip3(0, 26, (abs(distFromLine) + 4) >> 3)
(4)
sampleWeightL[ x ][ y ] = distFromLine <= 0 GeoFilter[distScaled] : 8 - GeoFilter[distScaled] (5)
여기서 3 개의 룩업 테이블에는 32 개의 Dis[.] 엔트리, 36 개의 StepDis[.] 엔트리 및 26 개의 GeoFilter[.]가 포함된다.
현재 블록의 좌측 하단 샘플은 
로부터 예측될 것이 보장된다. 다시 말해, 좌측 하단 샘플의 distFromLine이 음수이면, 
는 sampleWeightL[ x ][ y ]와 동일하고 
8-
와 동일하다. 그 외의 경우 (좌측 하단 샘플의 distFromLine이 양수이면), 
는 sampleWeightL[ x ][ y ]와 동일하고, 
는 8-
와 동일하다.
모든 남은 동작들이 룩업 테이블을 이용하기 때문에, 기하학적 블렌딩 마스크 유도의 실제 계산 복잡도는 식 (3)에서 비롯된다.
VTM 소프트웨어 구현에서, 식 (3)은 샘플 당 1 덧셈과 샘플 행 당 1 덧셈을 필요로 하는데, 예를 들어, 8x8 CU에서는, 샘플 당 1.125 덧셈과 0.015625 곱셈을 필요로 한다.
4x4 유닛 각각의 병렬 프로세싱을 위해서는, 8x8 CU 를 예로 들면, 샘플 당 1.25 덧셈 및 0.0625 곱셈이 요구된다.
라인(예를 들어, 8x8 CU) 각각의 병렬 프로세싱을 위해서는, 샘플 당 1 덧셈 및 0.125 곱셈이 요구된다.
CU의 모든 샘플들의 병렬 프로세싱을 위해서는, 각 샘플에 대해 2 곱셈 및 1 덧셈이 요구된다.
샘플 계산 복잡도당 최악의 경우(8x8)는 테이블 2로 요약된다:
테이블 2 최악의 경우 복잡도 분석
블렌딩 동작에 대한 자세한 내용은 첨부된 드래프트 사양 수정 문서, "8.5.7.3 기하학적 머지 모드에 대한 가중 샘플 예측 프로세스" 섹션을 참조하십시오.
2.4.4.
크로마 블록에 대한 블렌딩 동작
루마 샘플을 위해 계산된 샘플 가중치는 서브 샘플링되고 계산 과정 없이 크로마 블렌딩에 사용된다. 좌표(x, y)에서의 크로마 샘플 가중치는 루마 블록의 좌측 상단 샘플에 대한 좌표 (2x, 2y)에서의 루마 샘플 가중치와 동일하게 설정된다.
2.4.5.
움직임 벡터 유도
TPM에 사용되는 동일한 머지 리스트 유도 프로세스는 GEO 블록의 각 파티션의 움직임 벡터를 유도하는데 사용된다. 각 파티션은 단일 예측(uni-prediction)으로만 예측된다.
2.4.6.
움직임 벡터 저장(Motion vector storage)
CE4-1.1 및 CE4-1.2에서, 4x4 움직임 스토리지 유닛(storage unit)의 네 개의 모서리에서의 루마 샘플 가중치가 합산된다. 이후, 합산 값은 두 개의 단일 예측 움직임 정보 혹은 양 예측 움직임 정보 중 하나가 저장되는지 여부를 결정하기 위해 2 개의 임계값과 비교된다. 양 예측 움직임 정보는 TPM과 동일한 프로세스를 이용하여 유도된다.
CE4-1.14에서, 움직임 정보 저장 프로세스(motion vector storage process)는 더욱 단순화된다. 4x4 움직임 스토리지 유닛의 중앙 위치와 분할 경계 간의 거리는 계산되고, 단일 혹은 양 예측 움직임 정보가 4x4 움직임 스토리지 유닛의 저장 여부를 결정하기 위해 고정된 임계값과 비교된다. 거리(distance)의 부호는 어떤 단일 예측 움직임 정보가 단일 예측 저장 케이스에 저장되어야 하는지를 지시한다. CE4-1.14에서, 움직임 저장 및 블렌딩 마스크의 종속성이 제거된다.
2.4.7.
모드 시그널링
제안된 방법에 따르면, GEO 모드는 TPM 모드와 함께 추가적인 머지 모드로 시그널링된다.
테이블 3 제안에 의해 도입되는 신택스 요소
| if( !ciip_flag[ x0 ][ y0 ] && MaxNumTriangleMergeCand > 1 ) { | |
| if (cbWidth > = 8 && cbHeight >= 8 ) | |
| merge_geo_flag[ x0 ][ y0 ] | ae(v) |
| if ( merge_geo_flag[ x0 ][ y0 ] ) | |
| merge_geo_idx[ x0 ][ y0 ] | ae(v) |
| else | |
| merge_triangle_split_dir[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx0[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx1[ x0 ][ y0 ] | ae(v) |
| } |
merge_geo_flag[][]는 4 개의 CABAC 컨텍스트 모델로 시그널링되는데, 처음 세 개는 상단 및 좌측 이웃 블록들의 모드에 기초하여 유도되고, 네 번째 값은 현재 블록의 종횡비에 기초하여 유도된다. "가장 가능성이 있는 모드(most probable mode)" 플래그와 유사하게, merge_geo_flag[][]는 현재 블록이 GEO 모드 혹은 TPM 모드를 이용하는지 여부를 지시한다.
geo_partition_idx[][]는 각도 
및 거리 
쌍을 저장하는 룩업 테이블에 대한 인덱스로 사용된다. geo_partition_idx이 절단된 이진(truncated binary)을 코딩하고 바이패스(bypass)를 이용하여 이진화 했다.
3.
여기에 설명된 기술적 솔루션에 의해 해결되는 기술적 문제의 예
가장 최근의 워킹 드래프트 WD6(JVET-O2001-v14)의 몇몇 문제들은 하기에서 설명된다.
(1)
WD6에서, 두 개의 삼각 파티션들의 블렌딩 프로세스에서, 크로마 가중치는 도 8에 나타난 바와 같이, 루마 가중치와 맞추어 조정되지 않아 시각적 아티팩트(visual artifact)를 야기할 수 있다.
(2)
WD6에서는, 삼각 예측에서의 가중치 설정은 도 8에 나타난 바와 같은 4:2:2 및 4:4:4와 같은 다중 크로마 포맷을 고려하지 않았다.
(3)
WD6에서는, 오직 짝수 가중치만이 크로마에 대해 허용되는데, 도 8에 나타난 바와 같이, 루마 성분에는 짝수 및 홀수 정수가 모두 허용되기 때문에 루마와 일치하지 않는다.
(4)
WD6에서는, TPM은 4xN 및 Nx4 블록에 허용되며, 여기서 모든 픽셀들에 대해 가중 블렌딩이 수행할 것이 요구되므로, 이는 바람직하지 않을 수 있다.
(5)
WD6에서, TPM은 너비 및 높이 비율이 2보다 큰 블록들에 대해 허용되는데, 이는 바람직하지 않을 수 있다.
(6)
GEO 및 TPM은 블렌딩 가중치 마스크와 움직임 스토리지 마스크의 독립적인 계산 및 독립적인 시그널링에 개별적으로 적용된다.
도 8은 8x16 TPM 블록(WD6)에 대한 블렌딩 프로세스에서 사용되는 가중치의 예를 보여준다.
4.
예시적인 구현 및 기술
하기에 나열되는 아이템은 일반적인 컨셉들을 설명하기 위한 예시로 간주되어야 한다. 이러한 아이템들은 좁은 방식으로 해석되어서는 안된다. 또한, 이러한 아이템들은 어떤 방식으로든 결합될 수 있다.
'TPM'이라는 용어는 하나의 블록을 둘 이상의 서브 영역들로 분할하는 코딩 방법을 나타낼 수 있으며, 트랜스폼은 전체 블록에 적용된다. 'TPM'이라는 용어는 삼각 예측 모드 및/혹은 삼각 예측 모드의 확장인 기하학적 머지 모드를 지시할 수 있다.
TPM 블렌딩 프로세스에서의 가중 샘플(weighted samples)
1.
TPM 크로마 예측 샘플의 가중치는 동일 위치 루마 예측 샘플의 가중치와 맞추어 조정될 수 있다.
a)
일 예로서, TPM 코딩된 크로마 블록(예를 들어, Cb 블록 및 혹은 Cr 블록)의 가중치는 동일 위치 루마 블록의 가중치에 따라 설정될 수 있다.
b)
일 예로서, TPM 코딩된 크로마 블록의 가중치는 동일 위치 루마 블록의 가중치의 서브셋일 수 있다.
c)
일 예로서, MxN 치수의 크로마 블록에는 블록 내 각 위치에 대해 MxN 치수의 루마 블록과 동일한 가중치가 할당될 수 있다.
2.
TPM 크로마 예측 샘플의 가중치는 크로마 서브샘플링 비율을 포함한 색상 포맷, 및/혹은 동일 위치 루마 블록 너비 및 높이에 종속될 수 있다.
a)
일 예로서, 4:4:4 크로마 포맷에 대해, TPM 크로마 예측 샘플의 가중치는 블록 내 각 위치에 대한 동일 위치 루마 예측 샘플의 가중치와 동일할 수 있다.
b)
일 예로서, 4:2:0 및 4:2:2 크로마 포맷에 대해, TPM 크로마 예측 샘플의 가중치는 TPM 루마 예측 샘플의 가중치로부터 서브샘플링될 수 있다.
i.
W는 블록 너비이고 H는 블록 너비인 WxH TPM 예측 블록에 대해, subWidthC 및 subHeightC는 각각 너비 및 높이 방향에서 크로마 서브샘플링 비율을 나타낸다. 루마 예측 블록의 가중치가 2차원 배열 x = 0... (W -1), y = 0...(H-1)인 WeightY[x][y]로 표현된다고 가정하면, x = 0...(W/subWidthC-1), y = 0...(H/subHeightC-1)인 동일 위치 크로마 예측 블록에 대한 가중치WeightC[x][y]는 WeightY[f(x)][g(y)]에 의해 계산될 수 있다.
1)
일 예로서, f(x) = x*subWidthC+offsetX, g(y)= y*subHeightC+OffsetY이고, 예를 들어, OffsetX=OffsetY=0이다.
ii.
WxH TPM 루마 블록에서 위치 (x, y)에 대한 가중치가 w(x,y)에 의해 계산된다고 가정한다. 여기서, 예를 들어, w(x,y)= a * x + b * y + c이다. 여기서 x = 0...W-1 및 y = 0...H-1은 루마 샘플의 좌표이며, a, b, c는 W 및/혹은 H에 종속되는 정수이다. 일 예로서, 동일 위치 TPM 크로마 블록에서 위치 (x', y')에 대한 가중치는 w(f(x'), g(y'))로 계산될 수 있는데, 예를 들어, w(f(x'), g(y')) = a * (subWidthC * x') + b * (subHeightC * y') + c이고, x' = 0...W/subWidthC-1 및 y' = 0...H/subHeightC-1은 크로마 샘플의 좌표이다.
c)
일 예로서, TPM에서 사용되는 가중치는 블록의 치수(너비 혹은/및 높이)에만 기초할 수 있으며, 다른 색상 성분에 대해 동일할 수 있다.
i.
예를 들어, 크기 W*H인 크로마 성분은 크기 W*H인 루마 성분과 동일한 가중치를 사용할 수 있다.
ii.
일 예로서, 가중치가 루마 블록 크기에 대해 정의되지 않는 경우, TPM은 이러한 크기의 크로마 블록에 대해 비활성화될 수 있다.
d)
일 예로서, TPM에서 사용되는 가중치는 블록의 치수(너비 혹은/및 높이) 및 블록의 색상 성분 모두에 기초할 수 있다.
i.
일 예로서, 가중치는 색상 성분에 따라 달라질 수 있다.
ii.
일 예로서, 가중치는 두 개의 크로마 성분에 대해 동일할 수 있다.
1)
또한, 대안적으로, 루마 성분 및 크로마 성분에 대해 사용되는 가중치는 상이할 수 있다.
3.
TPM 예측 샘플의 가중치는 정수 숫자 X와 동일할 수 있다.
a)
일 예로서, 홀수 정수 숫자 혹은 짝수 정수 숫자는 TPM 크로마 예측 샘플의 가중치 X(예를 들어, X=0...8)로서 할당될 수 있다.
b)
TPM 루마/크로마 예측 샘플에 대한 가중치는 범위 [M, N] (예를 들어, M=0, N=8)로 클리핑될 수 있다.
c)
일 예로서, TPM 가중치는 0보다 작을 수 있다.
4.
일 예로서, TPM/GEO 블록의 블렌딩 가중치 마스크는 N 테이블(예를 들어, N > 0)로서 기 정의될 수 있다.
5.
일 예로서, TPM/GEO 블록의 블렌딩 가중치 마스크는 계산 방정식으로 계산될 수 있다.
TPM의 일반적인 문제
블록 너비는 W로, 블록 높이는 H로 나타낸다.
6.
TPM을 활성화 혹은 비활성화할지 여부는 블록 너비 및 높이의 비율(예를 들어, max(H,W)/min(H, W))에 기초할 수 있다.
a)
대안적으로, TPM을 활성화 혹은 비활성화할지 여부는 블록 너비 및 높이 사이의 차이에 기초할 수 있다. 예를 들어, Abs( Log2( cbWidth ) - Log2( cbHeight ) )일 수 있는데, Abs(x)는 x의 절대값을 반환하고, Log2(x)는 숫자 x에 대해 2 기반의 로그 값을 반환한다.
b)
TPM은 X보다 큰(예를 들어, X =2)너비 대비 높이 비율 혹은 높이 대비 너비 비율을 갖는 블록에 대해 허용되지 않을 수 있다.
i.
예를 들어, WxH 예측 블록에 대해, TPM은 W/H >2 이면 비활성화될 수 있다.
ii.
예를 들어, WxH 예측 블록에 대해, TPM은 H/W >2이면 비활성화될 수 있다.
7.
TPM의 허용 여부는 최대 트랜스폼 크기에 의존할 수 있다.
a)
일 예로서, TPM은 너비 혹은/및 높이가 최대 트랜스폼 크기보다 큰 블록에 대해 허용되지 않을 수 있다.
8.
TPM 허용 여부는 최대 CU 크기에 의존할 수 있다.
a)
예를 들어, TPM은 너비 혹은/및 높이가 최대 CU 크기와 동일한 블록에 대해 허용되지 않을 수 있다.
9.
TPM은 N 보다 큰 블록 너비 혹은/및 M보다 큰 블록 높이를 갖는 블록에 대해 허용되지 않을 수 있다.
a)
일 예로서, N = M = 64이다.
10.
TPM은 N과 동일한 블록 너비 혹은/및 M과 동일한 블록 높이를 갖는 블록에 대해 허용되지 않을 수 있다.
a)
일 예로서, N = M = 4이다.
11.
TPM은 특정 크로마 포맷에 대해 허용되지 않을 수 있다.
a)
일 예로서, TPM 4:0:0 크로마 포맷에 대해 허용되지 않을 수 있다.
b)
일 예로서, TPM은 4:4:4 크로마 포맷에 대해 허용되지 않을 수 있다.
c)
일 예로서, TPM은 4:2:2 크로마 포맷에 대해 허용되지 않을 수 있다.
12.
TPM은 TPM에서 사용되는 두 개의 참조 픽처의 해상도가 서로 다른 경우 허용되지 않을 수 있다.
a)
대안적으로, TPM은 TPM에서 사용되는 한 참조 픽처의 해상도가 현재 픽처의 해상도와 상이한 경우 허용되지 않을 수 있다.
13.
TPM이 비활성화되거나 허용되지 않으면, TPM 신택스 요소(예를 들어, merge_triangle_split_dir, merge_triangle_idx0, 및 merge_triangle_idx1)는 시그널링되지 않을 수 있다.
a)
신택스 요소가 시그널링 되지 않으면, 0으로 추론될 수 있다.
b)
TPM이 비활성화되거나 허용되지 않으면, TPM 연관 시맨틱 변수(예를 들어, MergeTriangleFlag)는 0으로 추론될 수 있다.
14.
상기 글머리 기호는 TPM(triangle prediction mode) 및/혹은 GEO(geometric merge mode)에 적용될 수 있다. 다시 말해, TPM은 GEO를 참조할 수 있다.
TPM 및 GEO의 통합
15.
TPM 및 GEO는 통합될 수 있다.
a)
일 예로서, TPM은 GEO의 서브셋으로서 취급될 수 있다.
i.
대안적으로, GEO는 TPM의 서브셋으로 취급될 수 있다.
ii.
예를 들어, 코딩 도구 A (혹은 "모드 A", 짧게는 "A") (예를 들어, TPM)이 코딩 도구 B의 서브셋으로 취급되면 (혹은 "모드 B" , 짧게는 "B") (예를 들어 GEO), 하기에 개시된 방법이 적용될 수 있다.
1)
A 및 B는 하나의 모드로서 시그널링될 수 있다.
a)
예를 들어, 모드 A 및 모드 B는 SPS/VPS/APS/PPS/슬라이스/서브픽처/타일/브릭/VPDU/CTU/TU/CU/PU/픽처 헤더/슬라이스 헤더 레벨에서 동일한 제어 플래그(들)를 공유할 수 있다.
b)
예를 들어, 모드 A는 B의 서브셋으로서 시그널링될 수 있다.
i.
예를 들어, B는 {M0, M1, M2..., MN-1}로 지시되는 N 개의 서브 모드(예를 들어, N>1)를 포함하는 예측 모드로 정의되고, A는 {M0, Mk0, Mk1..., MkX-1}로 지시되는 X개의 서브 모드(예를 들어, X < N)를 포함하는 예측 모드로 정의될 수 있으며, {M0, Mk0, Mk1..., MkX-1}는 {M0, M1, M2..., MN-1}의 서브셋이다.
ii.
일 예로서, 제1 신택스 요소는 모드 B가 적용되는지 여부를 지시하기 위해 시그널링된다. 모드 B가 적용되는지 여부에 기초하여 모드 A가 적용되는지 여부를 지시하는 제2 신택스 요소가 시그널링된다.
1.
일 예로서, 제2 신택스 요소는 모드 B가 적용될 때에만 시그널링된다.
2)
A 및 B는 블렌딩 가중치 마스크를 생성하기 위해 적어도 하나의 계산 로직(computing logic)을 공유할 수 있다.
a)
일 예로서, A 및 B에 대한 블렌딩 가중치 마스크는 동일한 룩업 테이블로부터 유도될 수 있다.
3)
A 및 B는 움직임 저장 마스크(motion storage mask)를 생성하기 위해 적어도 하나의 계산 로직을 공유할 수 있다.
a)
일 예로서, A 및 B에 대한 움직임 저장 마스크는 동일한 룩업 테이블로부터 유도될 수 있다.
b)
일 예로서, 적어도 하나의 계산 로직은 TPM 모드 및 GEO 모드 모두에 대한 블렌딩 가중치를 계산하는데 사용될 수 있다.
i.
일 예로서, TPM에 대한 계산 로직은 GEO에 대해 사용될 수 있다.
1)
대안적으로, GEO에 대한 계산 로직은 TPM에 사용될 수 있다.
c)
일 예로서, TPM 모드 및 GEO 모드 모두에 대한 움직임 저장 마스크를 계산하는데 적어도 하나의 계산 로직이 사용될 수 있다.
i.
일 예로서, TPM에 대한 계산 로직은 GEO에 사용될 수 있다.
1)
대안적으로, GEO에 대한 계산 로직은 TPM에 사용될 수 있다.
TPM/GEO의 움직임 저장(motion storage) 마스크 생성
16.
TPM의 움직임 벡터 저장 마스크(motion vector storage mask)는 GEO와 동일한 방식으로 생성될 수 있다.
a)
대안적으로, GEO의 움직임 벡터 저장 마스크는 TPM과 동일한 방식으로 생성될 수 있다.
b)
일 예로서, 블록 너비 및 블록 높이의 특정 조합에 대한 인터 예측 방향(예를 들어, 단일 예측 혹은 양 예측)을 지시하는 움직임 벡터 저장 마스크가 생성 및/혹은 저장될 수 있다.
i.
일 예로서, 움직임 벡터 저장 마스크는 블록 너비 및 블록 높이의 허용 조합에 대해서만 생성될 수도 있다.
c)
일 예로서, 움직임 벡터 저장 마스크의 각 요소는 두 개의 서브 파티션 가운데 어떤 움직임 벡터가 저장되는지 여부 및/혹은 얼마나 많은 움직임 벡터(예를 들어, 하나의 움직임 벡터 혹은 두 개의 움직임 벡터) 및/혹은 인터 예측 방향(예를 들어, 단일 예측 혹은 양 예측)이 4x4 서브 블록에 대해 저장되는지를 지시한다.
d)
일 예로서, TPM/GEO 블록의 움직임 벡터 저장 마스크는 N 개(예를 들어, N > 0)의 테이블로서 기 정의될 수 있다.
e)
일 예로서, TPM/GEO 블록의 움직임 벡터 저장 마스크는 계산 방정식으로부터 계산될 수 있다.
17.
TPM/GEO의 움직임 벡터는 4x4 유닛으로 저장될 수 있다.
a)
일 예로서, TPM/GEO의 두 개의 서브파티션 각각은 움직임 보상을 위한 자체 움직임 벡터를 가지나, 공간적/시간적 움직임 벡터 후보에 대한 움직임 벡터는 4x4 유닛이다.
i.
일 예로서, TPM/GEO의 4x4 서브 블록 각각은 버퍼에 저장된 상이한 움직임 벡터를 가질 수 있다.
18.
L0 움직임 벡터 및 L1 움직임 벡터 모두는 TPM/GEO의 블렌딩 영역에 속하는 서브 블록에 대해 저장될 수 있다.
a)
일 예로서, 블렌딩 영역은 두 개의 서브파티션 모두에 의해 중첩되는 영역을 지시할 수 있다.
b)
일 예로서, TPM/GEO 블록의 블렌딩 영역 외부의 4x4 서브 블록에 대해, 서브 파티션의 단일 예측(예를 들어, L0 혹은 L1) 움직임 벡터가 저장될 수 있다.
c)
일 예로서, TPM/GEO 블록의 블렌딩 영역에 속하는 4x4 서브블록에 대해, 두 서브 파티션 모두의 양 예측 움직임 벡터가 저장될 수 있다.
d)
일 예로서, TPM/GEO 블록의 블렌딩 영역에 속하는 4x4 서브블록에 대해, 두 서브 파티션 모두가 동일한 방향의 움직임 벡터를 갖는 경우, 두 움직임 벡터 가운데 최소(Min)/최대(Max)/평균(Average)/가중(Weighted) 움직임 벡터가 저장될 수 있다.
TPM 및 GEO의 디블록킹
19.
코딩 블록에 디블록킹 프로세스 적용 여부 및/혹은 어떻게 적용할지는 코딩 블록이 TPM 혹은 GEO 모드로 코딩되는지 여부에 기초할 수 있다.
a)
일 예로서, 서로 다른 두 개의 파티션 내의 두 개의 서브 블록 간의 경계는 디블록킹 필터 단계에서 필터링될 수 있다.
i.
일 예로서, 경계 강도(boundary strength, BS)는 이 경우 1이다.
ii.
일 예로서, 경계 강도(BS)는 이 경우 2이다.
20.
디블록킹은 TPM/GEO 코딩된 블록의 두 개의 서브 블록 간의 경계에 대해 유발될 수 있다.
a)
일 예로서, TPM/GEO 모드의 내부 TU 엣지를 제외한 두 개의 서브 블록중 하나가 0이 아닌 계수를 갖는 경우, 두 개의 서브 블록 간의 움직임 차이가 있는지 여부에 관계없이 디블록킹이 유발(trigger)될 수 있다.
b)
두 서브 블록 모두에서 0이 아닌 계수가 존재하지 않을 수 있다.
i.
일 예로서, TPM/GEO 모드의 내부 TU 엣지를 제외한 두 개의 서브 블록이 모두 0인 계수를 가지나, 두 개의 서브 블록의 움직임 차이가 충분히 큰 경우, 디블록킹은 여전히 유발될 수 있다.
ii.
대안적으로, TPM/GEO 모드의 내부 TU 엣지 외의 두 개의 서브 블록이 모두 0인 계수를 갖지만 두 개의 서브 블록의 움직임 차이가 충분히 큰 경우, 디블록킹은 유발되지 않을 수 있다.
c)
TPM/GEO 모드로 코딩된 두 서브 블록의 에지에 대해 디블록킹을 유발할지 여부는 두 서브 블록의 MV 엣지인지 혹은 TU 엣지인지에 따라 달라질 수 있다.
i.
디블록킹은 움직임 차이가 TPM/GEO 모드의 MV 엣지에 대해 충분히 클 때 유발될 수 있다.
ii.
디블록킹은 TPM/GEO 모드의 TU 엣지 외에 서브 블록에 영이 아닌 계수가 존재하는 경우 유발될 수 있다.
iii.
필터링 엣지가 TU 엣지 혹은 MV 엣지인 경우, 하기 조건 중 하나가 만족될 때 디블록킹이 유발될 수 있다.
1)
움직임 차이가 충분히 큰 경우.
2)
두 개의 하위 블록 측면 중 하나에 0이 아닌 계수가 존재한다.
d)
상기에서 언급된 "TU 엣지"는 실제 트랜스폼 유닛 엣지를 나타내며, 상기에서 언급된 "MV 엣지"는 필터링 그리드와 맞추어 정렬되는 서브 블록 엣지 혹은 PU 엣지를 지시한다.
e)
상기에서 언급한 "움직임 차이" 는 하기 경우들을 지시할 수 있다.
i.
두 개의 서브 블록의 움직임 벡터 차이가 T보다 크다 (예를 들어 T = 1 픽셀, 혹은 1/2 픽셀, 혹은 1/16 루마 샘플 유닛으로 8개)
ii.
상이한 참조 프레임 인덱스
iii. 상이한 참조 POC
iv.
상이한 참조 프레임 수.
구성 가능한 CTU 크기 및 최대 트랜스폼 크기
21.
ISP 적용 여부는 최대 트랜스폼 크기 및/혹은 최소 트랜스폼 크기에 의존하지 않을 수 있다.
a)
일 예로서 ISP 플래그 시그널링은 (예를 들어, intra_subpartitions_mode_flag) 현재 블록의 너비가 최대 트랜스폼 크기 이하인지 여부 및/혹은 현재 블록의 높이가 최대 트랜스폼 크기 이하인지 여부에 의존하지 않을 수 있다.
b)
일 예로서, ISP 플래그(예를 들어, intra_subpartitions_mode_flag)의 시그널링은 너비에 현재 블록의 높이를 곱한 값이 최소 트랜스폼 크기의 제곱보다 큰지 여부에 의존하지 않을 수 있다.
c)
일 예로서, ISP 플래그(예를 들어, intra_subpartitions_mode_flag)의 시그널링은 너비에 현재 블록의 높이를 곱한 값이 16보다 큰지 여부에 의존할 수 있다.
d)
일 예로서, ISP 플래그(예를 들어, intra_subpartitions_mode_flag)의 시그널링은 현재 블록의 너비가 64 이하인지 여부 및/혹은 현재 블록의 높이가 64이하인지 여부에 의존할 수 있다.
22.
코딩 블록의 치수(dimension) 최대 트랜스폼 크기보다 큰 경우 ISP가 적용될 수 있다.
a)
일 예로서, ISP 코딩 블록이 최대 트랜스폼 크기보다 큰 경우, ISP 블록은 서브파티션(sub-partition)이 크기 64에 도달할 때까지 재귀적인 방식으로 묵시적으로 분할될 수 있다.
b)
일 예로서, ISP 코딩 블록이 최대 트랜스폼 크기보다 큰 경우, ISP 블록은 서브파티션이 최대 트랜스폼 크기에 도달할 때까지 재귀적인 방식으로 묵시적으로 분할될 수 있다.
23.
CIIP 및/혹은 TPM 및/혹은 GEO는 코딩 블록의 치수가 128 이상일 때 적용될 수 있다.
a)
일 예로서, 최대 CTU 크기는 128보다 크게 설정될 수 있다.
b)
일 예로서, CIIP는 블록 치수가 128이상인 블록에 사용될 수 있다.
c)
일 예로서, TPM 및/혹은 GEO는 블록 치수가 128보다 큰 블록에 적용될 수 있다.
24.
머지 데이터는 코딩 블록의 치수가 128 보다 큰 경우 시그널링 될 수 있다.
a)
일 예로서, 머지 플래그(예를 들어, regular_merge_flag, mmvd_merge_flag, mmvd_cand_flag, mmvd_distance_idx, mmvd_direction_idx, merge_idx, ciip_flag, merge_triangle_split_dir, merge_triangle_idx0, merge_triangle_idx1)는 코딩 블록의 치수가 최대 CTU 크기보다 작은지 여부에 의존할 수 있다.
25. pred_mode_ibc_flag 의 값은 블록 너비 및/혹은 블록 높이가 X 이상인 경우(예를 들어, X= 64 혹은 128) 0으로 추론될 수 있다.
a)
일 예로서, pred_mode_ibc_flag 의 값은 블록 너비 및 블록 높이가 64보다 큰 경우 0으로 추론될 수 있다.
b)
일 예로서, pred_mode_ibc_flag 의 값은 블록 너비 혹은 블록 높이가 64보다 큰 경우 0으로 추론될 수 있다.
26. cu_skip_flag 및/혹은 pred_mode_flag 은 코딩 블록의 치수가 128보다 큰 경우 시그널링될 수 있다.
일반적인 디블록킹
27.
및 tC 에 대한 픽처 레벨 디블록킹 파라미터 오프셋은 각 성분(component)에 대해 다를 수 있다.
a)
일 예로서, 루마, Cb, 및 Cr에 대한 픽처 레벨 디블록킹 파라미터 오프셋은 서로 다를 수 있으며 서로 다른 신택스 요소에 의해 지시될 수 있다.
b)
또한, 대안적으로, joint_cb_cr 코딩 모드에 대한 픽처 레벨 디블록킹 파라미터 오프셋은 서로 다를 수 있으며, 서로 다른 신택스 요소에 의해 지시될 수 있다.
28.
및 tC에 대한 슬라이스 레벨 디블록킹 파라미터 오프셋은 각 성분에 대해 다를 수 있다.
a)
일 예로서, 루마, Cb 및 Cr에 대한 슬라이스 레벨 디블록킹 파라미터 오프셋은 다를 수 있으며 다른 신택스 요소에 의해 지시될 수 있다.
b)
또한, 대안적으로, joint_cb_cr 코딩 모드에 대한 픽처 레벨 디블록킹 파라미터 오프셋은 다를 수 있으며 다른 신택스 요소에 의해 지시될 수 있다.
29.
크로마 디블록킹 파라미터를 유도하는 데 사용되는 크로마 QP는 픽처레벨 크로마 QP 오프셋 및 CU 레벨 크로마 QP 오프셋에 기초할 수 있으나, 슬라이스 레벨 크로마 QP 오프셋에는 독립적일 수 있다.
a)
일 예로서, 크로마 디블록킹 파라미터를 유도하는데 사용되는 크로마 QP는 pps_cb_qp_offset, pps_cr_qp_offset, pps_cbcr_qp_offset, CuQpOffsetCb, CuQpOffsetCr 및 CuQpOffsetCbCr에 의존할 수 있으나, slice_cb_qp_offset, slice_cr_qp_offset 및 slice_cbcr_qp_offset 에는 독립적일 수 있다.
5.
실시예
하기는 VVC 사양에 적용될 수 있는 예시적인 실시예이다. 수정 사항은 가장 최근의 VVC 작업 드래프트 (JVET-O2001-v14)에 기초한다. 새롭게 추가된 부분들은 굵은 기울임꼴로 강조표시 되며, VVC 작업 드래프트로부터 삭제된 부분들은 이중 괄호로 표시된다 (예를 들어, [[a]]는 문자 "a"의 삭제를 의미한다).
TPM 루마 및 크로마 가중치 묘사에 대한 실시예 #1
TPM 크로마 가중치는 블록 너비, 블록 높이, 및 크로마 서브샘플링 비율에 따라 루마 가중치와 맞추어 조정된다. 도 9는 8x16 TPM 예측 블록에 대한 예시적인 가중치 설정을 나타낸다.
5.1.
TPM 루마 가중치와 맞추어 조정되는 TPM 크로마 가중치에 대한 실시예 #2
8.5.7 삼각 인터 블록에 대한 디코딩 프로세스
8.5.7.1 일반론
이 프로세스는 1인 MergeTriangleFlag[ xCb ][ yCb ] 로 코딩 유닛을 디코딩 할 때 호출된다.
이 프로세스의 입력은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플에 대한 현재 코딩 블록의 좌측 상단 샘플을 지정하는 루마 위치 ( xCb, yCb ),
- 루마 샘플에서 현재 코딩 블록의 너비를 지정하는 변수 cbWidth,
- 루마 샘플에서 현재 코딩 블록의 높이를 지정하는 변수 cbHeight,
- 1/16 분수 샘플 정확도의 루마 움직임 벡터 mvA 및 mvB,
- 크로마 움직임 벡터 mvCA 및 mvCB,
- 참조 인덱스 refIdxA 및 refIdxB,
- 예측 리스트 플래그 predListFlagA 및 predListFlagB.
이 프로세스의 출력은 다음과 같다:
- 루마 예측 샘플의 (cbWidth)x(cbHeight) 배열 predSamplesL,
- 성분 Cb에 대한 크로마 예측 샘플의 (cbWidth / SubWidthC)x(cbHeight / SubHeightC) 배열 predSamplesCb,
- 성분 Cr에 대한 크로마 예측 샘플의 (cbWidth / SubWidthC)x(cbHeight / SubHeightC) 배열 predSamplesCr.
predSamplesLAL 및 predSamplesLBL 을 예측된 루마 샘플 값의 배열 (cbWidth)x(cbHeight) 이라 하고, predSamplesLACb, predSamplesLBCb, predSamplesLACr 및 predSamplesLBCr 를 예측된 크로마 샘플 값의 배열 (cbWidth / SubWidthC)x(cbHeight / SubHeightC)이라 한다.
predSamplesL, predSamplesCb 및 predSamplesCr 는 다음 순서의 단계에 의해 유도된다:
1.
A 및 B 각각인 N에 대해, 다음이 적용된다:
- 루마 샘플의 정렬된 2차원 배열 refPicLNL 과 두 개의 크로마 샘플의 정렬된 2차원 배열 refPicLNCb 로 구성된 참조 픽처는 predListFlagN와 동일하게 설정된 X 및 refIdxN 와 동일하게 설정된 refIdxX를 입력으로 하는 VVC WD6의 8.5.6.2 절에 지정된 프로세스를 호출함으로써 유도된다.
- 배열 predSamplesLNL 은 루마 위치 ( xCb, yCb ), cbWidth와 동일하게 설정된 루마 코딩 블록 너비 sbWidth, cbHeight 와 동일하게 설정된 루마 코딩 블록 높이 sbHeight, ( 0, 0 )와 동일하게 설정된 움직임 벡터 오프셋 mvOffset, mvN 과 동일하게 설정된 움직임 벡터 mvLX 그리고 refPicLNL 와 동일하게 설정된 참조 배열 refPicLXL, FALSE와 동일하게 설정된 변수 bdofFlag, 및 0과 동일하게 설정된 변수 cIdx를 입력으로 하는 8.5.6.3 절에 지정된 분수 샘플 보간 프로세스를 호출함으로써 유도된다.
- 배열 predSamplesLNCb 은 루마 위치 ( xCb, yCb ), cbWidth / SubWidthC 와 동일하게 설정된 코딩 블록 너비 sbWidth, cbHeight / SubHeightC 와 동일하게 설정된 코딩 블록 높이 sbHeight, ( 0, 0 )와 동일하게 설정된 움직임 벡터 오프셋 mvOffset, mvCN 와 동일하게 설정된 움직임 벡터 mvLX, refPicLNCb 와 동일하게 설정된 참조 배열 refPicLXCb, FALSE 와 동일하게 설정된 변수 bdofFlag, 및 1과 동일하게 설정된 변수 cIdx를 입력으로 하는 8.5.6.3 절에 지정된 분수 샘플 보간 프로세스를 호출함으로써 유도된다.
- 배열 predSamplesLNCr 은 루마 위치 ( xCb, yCb ), cbWidth / SubWidthC 와 동일하게 설정된 코딩 블록 너비 sbWidth, cbHeight / SubHeightC 와 동일하게 설정된 코딩 블록 높이 sbHeight, ( 0, 0 )와 동일하게 설정된 움직임 벡터 오프셋 mvOffset, mvCN 와 동일하게 설정된 움직임 벡터 mvLX, 및 refPicLNCr 와 동일하게 설정된 참조 배열 refPicLXCr, FALSE와 동일하게 설정된 변수 bdofFlag, 2와 동일하게 설정된 변수 cIdx 를 입력으로 하는 8.5.6.3 절에 지정된 분수 샘플 보간 프로세스를 호출함으로써 유도된다.
2.
머지 삼각 모드의 분할 방향 변수 triangleDir는 merge_triangle_split_dir[ xCb ][ yCb ]와 동일하게 설정된다.
3.
xL = 0..cbWidth - 1 및 yL = 0..cbHeight - 1인 현재 루마 코딩 블록 내 예측 샘플 predSamplesL[ xL ][ yL ]은 cbWidth 와 동일하게 설정된 코딩 블록 너비 nCbW, cbWidth 와 동일하게 설정된 코딩 블록 높이 nCbH, 샘플 배열 predSamplesLAL 및 predSamplesLBL, 및 0과 동일한 변수 cIdx , 변수 triangleDir를 입력으로 하는 8.5.7.2 절에 지정된 삼각 머지 모드에 대한 가중 샘플 예측 프로세스를 호출함으로써 유도된다.
4.
xC = 0..cbWidth / SubWidthC - 1 및 yC = 0..cbHeight / SubHeightC - 1인 현재 크로마 성분 Cb 코딩 블록 내의 예측 샘플 predSamplesCb[ xC ][ yC ]은 cbWidth [[/ SubWidthC]]와 동일하게 설정된 루마 코딩 블록 너비 nCbW, cbHeight [[/ SubHeightC]]와 동일하게 설정된 루마 코딩 블록 높이 nCbH, 샘플 배열 predSamplesLACb 및 predSamplesLBCb, 및 1과 동일한 변수 cIdx, 변수 triangleDir를 입력으로 하는 8.5.7.2 절에 지정된 삼각 머지 모드에 대한 가중 샘플 예측 프로세스를 호출함으로써 유도된다.
5.
xC = 0..cbWidth / SubWidthC - 1 및 yC = 0..cbHeight / SubHeightC - 1인 현재 크로마 성분 Cr 코딩 블록 내의 예측 샘플 predSamplesCr[ xC ][ yC ]은 cbWidth [[/ SubWidthC]]와 동일하게 설정된 루마 코딩 블록 너비 nCbW, cbHeight [[/ SubHeightC]]와 동일하게 설정된 루마 코딩 블록 높이 nCbH, 샘플 배열 predSamplesLACr 및 predSamplesLBCr, 및 2와 동일한 변수 cIdx, 변수 triangleDir, cIdx를 입력으로 하는 8.5.7.2 절에 지정된 삼각 머지 모드에 대한 가중 샘플 예측 프로세스를 호출함으로써 유도된다.
6.
8.5.7.3 절에 지정된 머지 삼각 모드에 대한 움직임 벡터 저장 프로세스는 루마 코딩 블록 위치 ( xCb, yCb ), 루마 코딩 블록 너비 cbWidth, 루마 코딩 블록 높이 cbHeight, 분할 방향 triangleDir, 루마 움직임 벡터 mvA 및 mvB, 참조 인덱스 refIdxA 및 refIdxB, 및 예측 리스트 플래그 predListFlagA 및 predListFlagB를 입력으로 하여 호출된다.
8.5.7.2
삼각 머지 모드에 대한 가중 샘플 예측 프로세스
이 프로세스의 입력은 다음과 같다:
- 현재 루마 코딩 블록의 너비 및 높이를 지정하는 두 변수 nCbW and nCbH,
- 두 (nCbW / SubWidthC )x(nCbH / SubHeightC ) 배열 predSamplesLA 및 predSamplesLB,
- 분할 방향을 지정하는 변수 triangleDir,
- 색상 성분 인덱스를 지정하는 변수 cIdx.
이 프로세스의 출력은 예측 샘플 값들의 (nCbW / SubWidthC )x(nCbH / SubHeightC ) 배열 pbSamples 이다.
변수 nCbR는 다음과 같이 유도된다:
nCbR = ( nCbW > nCbH ) ? ( nCbW / nCbH ) : ( nCbH / nCbW )
( 8-841 )
변수 bitDepth는 다음과 같이 유도된다:
- cIdx이 0인 경우, bitDepth는 BitDepthY와 동일하게 설정된다.
- 그 외의 경우, bitDepth는 BitDepthC와 동일하게 설정된다.
변수 shift1 및 offset1는 다음과 같이 유도된다:
- 변수 shift1는 Max( 5, 17 - bitDepth)와 동일하게 설정된다.
- 변수 offset1는 1 << ( shift1 - 1 )와 동일하게 설정된다.
triangleDir[[, wS and cIdx]]의 값에 기초하여, x = 0..nCbW / SubWidthC - 1 및 y = 0..nCbH / SubHeightC - 1인 예측 샘플 pbSamples[ x ][ y ] 은 다음과 같이 유도된다:
-
변수 xIdx 및 yIdx는 다음과 같이 유도된다:
xIdx = ( cIdx == 0 ) ? x : x * SubWidthC
yIdx = ( cIdx == 0 ) ? y : y * SubHeightC
-
예측 샘플의 가중치를 지정하는 변수 [[wIdx]] wValue 는 다음과 같이 유도된다:
[[cIdx 이 0이고 ]] triangleDir이 0인 경우, 다음이 적용된다:
[[wIdx]] wValue = ( nCbW > nCbH ) ? ( Clip3( 0, 8, ( xIdx / nCbR - y Idx ) + 4 ) )
(8-842)
: ( Clip3( 0, 8, ( x Idx - y Idx / nCbR ) + 4 ) )
그 외의 경우[[, cIdx이 0이고]] ( triangleDir이 1인 경우 ) , 다음이 적용된다:
[[wIdx]] wValue = ( nCbW > nCbH ) ? ( Clip3( 0, 8, ( nCbH - 1 - x Idx / nCbR - y Idx ) + 4 ) )
(8-843)
( Clip3( 0, 8, ( nCbW - 1 - x Idx - y Idx / nCbR ) + 4 ) )
- [[그 외의 경우, cIdx이 0보다 크고 triangleDir이 0인 경우, 다음이 적용된다:
wIdx = ( nCbW > nCbH ) ? ( Clip3( 0, 4, ( x / nCbR - y ) + 2 ) )
(8-844)
: ( Clip3( 0, 4, ( x - y / nCbR ) + 2 ) )
- 그 외의 경우 (cIdx 이 0보다 크고 triangleDir이 1인 경우), 다음이 적용된다:
wIdx = ( nCbW > nCbH ) ? ( Clip3( 0, 4, ( nCbH - 1 - x / nCbR - y ) + 2 ) )
(8-845)
( Clip3( 0, 4, ( nCbW - 1 - x - y / nCbR ) + 2 ) )
-
예측 샘플의 가중치를 지정하는 변수 wValue는 wIdx 및 cIdx를 이용하여 다음과 같이 유도된다:
wValue = ( cIdx = = 0 ) ? Clip3( 0, 8, wIdx ) : Clip3( 0, 8, wIdx * 2 )
(8-846)]]
-
예측 샘플 값은 다음과 같이 유도된다:
pbSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesLA[ x ][ y ] * wValue +
(8-847)
predSamplesLB[ x ][ y ] * ( 8 - wValue ) + offset1 ) >> shift1 )
5.2.
블록 너비 높이 비율을 조건으로 하는 TPM에 대한 실시예 #3
7.3.8.7 머지 데이터 신택스
| merge_data( x0, y0, cbWidth, cbHeight, chType ) { | 서술자(Descriptor) |
| if ( CuPredMode[ chType ][ x0 ][ y0 ] = = MODE_IBC ) { | |
| if( MaxNumIbcMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
| if( MaxNumSubblockMergeCand > 0 && cbWidth >= 8 && cbHeight >= 8 ) | |
| merge_subblock_flag[ x0 ][ y0 ] | ae(v) |
| if( merge_subblock_flag[ x0 ][ y0 ] = = 1 ) { | |
| if( MaxNumSubblockMergeCand > 1 ) | |
| merge_subblock_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
|
if( ( cbWidth * cbHeight ) >= 64 && ( (sps_ciip_enabled_flag && cu_skip_flag[ x0 ][ y0 ] = = 0 && cbWidth < 128 && cbHeight < 128) | | ( sps_triangle_enabled_flag && MaxNumTriangleMergeCand > 1 && slice_type = = B && Abs( Log2( cbWidth ) - Log2( cbHeight ) ) <= 2 ) ) ) |
|
| regular_merge_flag[ x0 ][ y0 ] | ae(v) |
| if ( regular_merge_flag[ x0 ][ y0 ] = = 1 ){ | |
| if( sps_mmvd_enabled_flag ) | |
| mmvd_merge_flag[ x0 ][ y0 ] | ae(v) |
| if( mmvd_merge_flag[ x0 ][ y0 ] = = 1 ) { | |
| if( MaxNumMergeCand > 1 ) | |
| mmvd_cand_flag[ x0 ][ y0 ] | ae(v) |
| mmvd_distance_idx[ x0 ][ y0 ] | ae(v) |
| mmvd_direction_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
| if( MaxNumMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| } | |
| } else { | |
|
if( sps_ciip_enabled_flag && sps_triangle_enabled_flag && MaxNumTriangleMergeCand > 1 && slice_type = = B && cu_skip_flag[ x0 ][ y0 ] = = 0 && ( cbWidth * cbHeight ) >= 64 && cbWidth < 128 && cbHeight < 128 && Abs( Log2( cbWidth ) - Log2( cbHeight ) ) <= 2 ) { |
|
| ciip_flag[ x0 ][ y0 ] | ae(v) |
| if( ciip_flag[ x0 ][ y0 ] && MaxNumMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| if( !ciip_flag[ x0 ][ y0 ] && MaxNumTriangleMergeCand > 1) { | |
| merge_triangle_split_dir[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx0[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx1[ x0 ][ y0 ] | ae(v) |
| } | |
| } | |
| } | |
| } |
7.4.9.7 머지 데이터 시맨틱스
삼각 형태 기반 움직임 보상이 현재 코딩 유닛의 예측 샘플을 생성 하는 데 사용되는지 여부를 지정하는 변수 MergeTriangleFlag[ x0 ][ y0 ]는 B 슬라이스를 디코딩 할 때 다음과 같이 유도된다:
하기의 모든 조건이 참인 경우, MergeTriangleFlag[ x0 ][ y0 ]은 1로 설정된다:
-
sps_triangle_enabled_flag이 1이다.
- slice_type이 B이다.
- general_merge_flag[ x0 ][ y0 ]이 1이다.
- MaxNumTriangleMergeCand 이 2 이상이다.
- cbWidth * cbHeight은 64 이상이다.
- regular_merge_flag[ x0 ][ y0 ]은 0이다.
- merge_subblock_flag[ x0 ][ y0 ]은 0이다.
- ciip_flag[ x0 ][ y0 ]은 0이다.
- Abs( Log2( cbWidth ) - Log2( cbHeight ) )은 2 이하이다.
- 그 외의 경우, MergeTriangleFlag[ x0 ][ y0 ]는 0으로 설정된다.
5.3.
블록 너비 <128 및 높이 <128을 조건으로 하는 TPM에 대한 실시예 #4
7.3.8.7 머지 데이터 신택스
| merge_data( x0, y0, cbWidth, cbHeight, chType ) { | 서술자(Descriptor) |
| if ( CuPredMode[ chType ][ x0 ][ y0 ] = = MODE_IBC ) { | |
| if( MaxNumIbcMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
| if( MaxNumSubblockMergeCand > 0 && cbWidth >= 8 && cbHeight >= 8 ) | |
| merge_subblock_flag[ x0 ][ y0 ] | ae(v) |
| if( merge_subblock_flag[ x0 ][ y0 ] = = 1 ) { | |
| if( MaxNumSubblockMergeCand > 1 ) | |
| merge_subblock_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
|
if( ( cbWidth * cbHeight ) >= 64 && cbWidth < 128 && cbHeight < 128 && ( (sps_ciip_enabled_flag && cu_skip_flag[ x0 ][ y0 ] = = 0 [[&& cbWidth < 128 && cbHeight < 128]]) | | ( sps_triangle_enabled_flag && MaxNumTriangleMergeCand > 1 && slice_type = = B ) ) ) |
|
| regular_merge_flag[ x0 ][ y0 ] | ae(v) |
| if ( regular_merge_flag[ x0 ][ y0 ] = = 1 ){ | |
| if( sps_mmvd_enabled_flag ) | |
| mmvd_merge_flag[ x0 ][ y0 ] | ae(v) |
| if( mmvd_merge_flag[ x0 ][ y0 ] = = 1 ) { | |
| if( MaxNumMergeCand > 1 ) | |
| mmvd_cand_flag[ x0 ][ y0 ] | ae(v) |
| mmvd_distance_idx[ x0 ][ y0 ] | ae(v) |
| mmvd_direction_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
| if( MaxNumMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| } | |
| } else { | |
|
if( sps_ciip_enabled_flag && sps_triangle_enabled_flag && MaxNumTriangleMergeCand > 1 && slice_type = = B && cu_skip_flag[ x0 ][ y0 ] = = 0 && ( cbWidth * cbHeight ) >= 64 && cbWidth < 128 && cbHeight < 128 ) { |
|
| ciip_flag[ x0 ][ y0 ] | ae(v) |
| if( ciip_flag[ x0 ][ y0 ] && MaxNumMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| if( !ciip_flag[ x0 ][ y0 ] && MaxNumTriangleMergeCand > 1) { | |
| merge_triangle_split_dir[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx0[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx1[ x0 ][ y0 ] | ae(v) |
| } | |
| } | |
| } | |
| } |
7.4.9.7 머지 데이터 시맨틱스
삼각 형태 기반 움직임 보상이 현재 코딩 유닛의 예측 샘플을 생성하는데 사용되는지 여부를 지정하는 변수 MergeTriangleFlag[ x0 ][ y0 ]는 B 슬라이스를 디코딩할 때 다음과 같이 유도된다:
- 하기의 모든 조건이 참이면, MergeTriangleFlag[ x0 ][ y0 ]는 1로 설정된다:
- sps_triangle_enabled_flag가 1이다.
- slice_type 가 B이다.
- general_merge_flag[ x0 ][ y0 ]가 1이다.
- MaxNumTriangleMergeCand가 2 이상이다.
- cbWidth * cbHeight가 64 이상이다.
- regular_merge_flag[ x0 ][ y0 ]가 0이다.
- merge_subblock_flag[ x0 ][ y0 ]가 0이다.
- ciip_flag[ x0 ][ y0 ]가 0이다.
- cbWidth가 128 미만이다.
- cbHeight가 128 미만이다.
- 그 외의 경우, MergeTriangleFlag[ x0 ][ y0 ]는 0으로 설정된다.
5.4.
블록 너비 > 4 및 높이 > 4를 조건으로 하는 TPM에 대한 실시예 #5
7.3.8.7 머지 데이터 신택스
| merge_data( x0, y0, cbWidth, cbHeight, chType ) { | 서술자(Descriptor) |
| if ( CuPredMode[ chType ][ x0 ][ y0 ] = = MODE_IBC ) { | |
| if( MaxNumIbcMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
| if( MaxNumSubblockMergeCand > 0 && cbWidth >= 8 && cbHeight >= 8 ) | |
| merge_subblock_flag[ x0 ][ y0 ] | ae(v) |
| if( merge_subblock_flag[ x0 ][ y0 ] = = 1 ) { | |
| if( MaxNumSubblockMergeCand > 1 ) | |
| merge_subblock_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
|
if( ( cbWidth * cbHeight ) >= 64 && ( (sps_ciip_enabled_flag && cu_skip_flag[ x0 ][ y0 ] = = 0 && cbWidth < 128 && cbHeight < 128) | | ( sps_triangle_enabled_flag && MaxNumTriangleMergeCand > 1 && slice_type = = B && cbWidth > 4 && cbHeight > 4 ) ) ) |
|
| regular_merge_flag[ x0 ][ y0 ] | ae(v) |
| if ( regular_merge_flag[ x0 ][ y0 ] = = 1 ){ | |
| if( sps_mmvd_enabled_flag ) | |
| mmvd_merge_flag[ x0 ][ y0 ] | ae(v) |
| if( mmvd_merge_flag[ x0 ][ y0 ] = = 1 ) { | |
| if( MaxNumMergeCand > 1 ) | |
| mmvd_cand_flag[ x0 ][ y0 ] | ae(v) |
| mmvd_distance_idx[ x0 ][ y0 ] | ae(v) |
| mmvd_direction_idx[ x0 ][ y0 ] | ae(v) |
| } else { | |
| if( MaxNumMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| } | |
| } else { | |
|
if( sps_ciip_enabled_flag && sps_triangle_enabled_flag && MaxNumTriangleMergeCand > 1 && slice_type = = B && cu_skip_flag[ x0 ][ y0 ] = = 0 && ( cbWidth * cbHeight ) >= 64 && cbWidth < 128 && cbHeight < 128 && cbWidth > 4 && cbHeight > 4 ) { |
|
| ciip_flag[ x0 ][ y0 ] | ae(v) |
| if( ciip_flag[ x0 ][ y0 ] && MaxNumMergeCand > 1 ) | |
| merge_idx[ x0 ][ y0 ] | ae(v) |
| if( !ciip_flag[ x0 ][ y0 ] && MaxNumTriangleMergeCand > 1) { | |
| merge_triangle_split_dir[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx0[ x0 ][ y0 ] | ae(v) |
| merge_triangle_idx1[ x0 ][ y0 ] | ae(v) |
| } | |
| } | |
| } | |
| } |
7.4.9.7 머지 데이터 시맨틱스
삼각 형태 기반 움직임 보상이 현재 코딩 유닛의 예측 샘플을 생성하는 데 사용되는지 여부를 지정하는 변수 MergeTriangleFlag[ x0 ][ y0 ]는 B 슬라이스를 디코딩할 때 다음과 같이 유도된다:
- 다음의 조건이 모두 참이면, MergeTriangleFlag[ x0 ][ y0 ]은 1로 설정된다:
- sps_triangle_enabled_flag가 1이다.
- slice_type가 B이다.
- general_merge_flag[ x0 ][ y0 ]가 1이다.
- MaxNumTriangleMergeCand가 2 이상이다.
- cbWidth * cbHeight가 64 이상이다.
- regular_merge_flag[ x0 ][ y0 ]가 0이다.
- merge_subblock_flag[ x0 ][ y0 ]가 0이다.
- ciip_flag[ x0 ][ y0 ]가 0이다.
- cbWidth가 4보다 크다.
- cbHeight가 4보다 크다.
- 그 외의 경우, MergeTriangleFlag[ x0 ][ y0 ]는 0으로 설정된다.
5.5.
최소 트랜스폼 크기 및 최대 트랜스폼 크기에 독립적인 ISP 시그널링에 대한 실시예 #6
7.3.8.5
코딩 유닛 신택스
| coding_unit( x0, y0, cbWidth, cbHeight, cqtDepth, treeType, modeType ) { | 서술자(Descriptor) |
| ... | |
| else { | |
| if( sps_mrl_enabled_flag && ( ( y0 % CtbSizeY ) > 0 ) ) | |
| intra_luma_ref_idx[ x0 ][ y0 ] | ae(v) |
|
if ( sps_isp_enabled_flag && intra_luma_ref_idx[ x0 ][ y0 ] = = 0 [[&& ( cbWidth <= MaxTbSizeY && cbHeight <= MaxTbSizeY )]] && ( cbWidth * cbHeight > MinTbSizeY * MinTbSizeY ) ) |
|
| intra_subpartitions_mode_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_subpartitions_mode_flag[ x0 ][ y0 ] = = 1 ) | |
| intra_subpartitions_split_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_ref_idx[ x0 ][ y0 ] = = 0 ) | |
| intra_luma_mpm_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_mpm_flag[ x0 ][ y0 ] ) { | |
| if( intra_luma_ref_idx[ x0 ][ y0 ] = = 0 ) | |
| intra_luma_not_planar_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_not_planar_flag[ x0 ][ y0 ] ) | |
| intra_luma_mpm_idx[ x0 ][ y0 ] | ae(v) |
| } else | |
| ... |
5.6.
최대 트랜스폼 크기보다 큰 블록에 적용되는 ISP에 대한 실시예 #7
7.3.8.6
코딩 유닛 신택스
| coding_unit( x0, y0, cbWidth, cbHeight, cqtDepth, treeType, modeType ) { | 서술자(Descriptor) |
| ... | |
| else { | |
| if( sps_mrl_enabled_flag && ( ( y0 % CtbSizeY ) > 0 ) ) | |
| intra_luma_ref_idx[ x0 ][ y0 ] | ae(v) |
|
if ( sps_isp_enabled_flag && intra_luma_ref_idx[ x0 ][ y0 ] = = 0 && ( cbWidth <= [[MaxTbSizeY]] 64 && cbHeight <= [[MaxTbSizeY]] 64 ) && ( cbWidth * cbHeight > MinTbSizeY * MinTbSizeY ) ) |
|
| intra_subpartitions_mode_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_subpartitions_mode_flag[ x0 ][ y0 ] = = 1 ) | |
| intra_subpartitions_split_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_ref_idx[ x0 ][ y0 ] = = 0 ) | |
| intra_luma_mpm_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_mpm_flag[ x0 ][ y0 ] ) { | |
| if( intra_luma_ref_idx[ x0 ][ y0 ] = = 0 ) | |
| intra_luma_not_planar_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_not_planar_flag[ x0 ][ y0 ] ) | |
| intra_luma_mpm_idx[ x0 ][ y0 ] | ae(v) |
| } else | |
| ... |
5.7.
16 픽셀보다 큰 블록 크기에 적용되는 ISP에 대한 실시예 #8
7.3.8.7
코딩 유닛 신택스
| coding_unit( x0, y0, cbWidth, cbHeight, cqtDepth, treeType, modeType ) { | 서술자(Descriptor) |
| ... | |
| else { | |
| if( sps_mrl_enabled_flag && ( ( y0 % CtbSizeY ) > 0 ) ) | |
| intra_luma_ref_idx[ x0 ][ y0 ] | ae(v) |
|
if ( sps_isp_enabled_flag && intra_luma_ref_idx[ x0 ][ y0 ] = = 0 && ( cbWidth <= MaxTbSizeY && cbHeight <= MaxTbSizeY) && ( cbWidth * cbHeight > [[MinTbSizeY * MinTbSizeY]] 16 ) ) |
|
| intra_subpartitions_mode_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_subpartitions_mode_flag[ x0 ][ y0 ] = = 1 ) | |
| intra_subpartitions_split_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_ref_idx[ x0 ][ y0 ] = = 0 ) | |
| intra_luma_mpm_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_mpm_flag[ x0 ][ y0 ] ) { | |
| if( intra_luma_ref_idx[ x0 ][ y0 ] = = 0 ) | |
| intra_luma_not_planar_flag[ x0 ][ y0 ] | ae(v) |
| if( intra_luma_not_planar_flag[ x0 ][ y0 ] ) | |
| intra_luma_mpm_idx[ x0 ][ y0 ] | ae(v) |
| } else | |
| ... |
5.8.
MV 라운딩의 예
작업 드래프트에서의 변경
JVET-O2001-v14에서 지정된 작업 드래프트는 하기와 같이 변경된다. 새롭게 추가된 부분들은 굵은 기울임꼴로 강조 표시된다. 삭제된 부분들은 이중 괄호로 표시된다.
8.5.5.3 서브블록 기반 시간적 머지 후보 유도 프로세스
이 프로세스의 입력은 다음과 같다:
...
이 프로세스의 출력은 다음과 같다:
...
...
- 8.5.2.14 절에 지정된 움직임 벡터 라운딩 프로세스는 tempMv[ 0 ]와 동일하게 설정된 mvX, 4와 동일하게 설정된 rightShift, 0과 동일하게 설정된 leftShift를 입력으로 하여 호출되고, 라운딩된 tempMv[ 0 ]를 출력으로 한다.
- 8.5.2.14절에 지정된 움직임 벡터 라운딩 프로세스는 tempMv[ 1 ]와 동일하게 설정된 mvX, 4와 동일하게 설정된 rightShift, 및 0과 동일하게 설정된 leftShift를 입력으로 하여 호출되고, 라운딩된 tempMv[ 1 ]를 출력으로 한다.
- xSbIdx = 0..numSbX - 1 및 ySbIdx = 0 .. numSbY - 1에 대해, 움직임 벡터 mvLXSbCol[ xSbIdx ][ ySbIdx ] 및 예측 리스트 활용 플래그 predFlagLXSbCol[ xSbIdx ][ ySbIdx ]는 하기와 같이 유도된다:
- 현재 픽처의 좌측 상단 루마 샘플에 대한 현재 코딩 서브블록의 좌측 상단 샘플을 지정하는 루마 위치 ( xSb, ySb )는 다음과 같이 유도된다:
xSb = xCb + xSbIdx * sbWidth + sbWidth / 2
( 8-551 )
ySb = yCb + ySbIdx * sbHeight + sbHeight / 2
( 8-552 )
- ColPic 내의 동일 위치 서브 블록의 위치 ( xColSb, yColSb ) 는 다음과 같이 유도된다.
- 다음이 적용된다:
yColSb = Clip3( yCtb,
Min( CurPicHeightInSamplesY - 1, yCtb + ( 1 << CtbLog2SizeY ) - 1 ),
ySb + [[(]] tempMv[1] [[ >> 4 )]] )
(8-553)
subpic_treated_as_pic_flag[ SubPicIdx ]이 1이면, 다음이 적용된다:
xColSb = Clip3( xCtb,
Min( SubPicRightBoundaryPos, xCtb + ( 1 << CtbLog2SizeY ) + 3 ),
xSb + [[(]]tempMv[0] [[>> 4 )]] )
(8-554)
- 그 외의 경우 (subpic_treated_as_pic_flag[ SubPicIdx ]이 0이면), 다음이 적용된다:
xColSb = Clip3( xCtb,
Min( CurPicWidthInSamplesY - 1, xCtb + ( 1 << CtbLog2SizeY ) + 3 ), xSb + [[(]]tempMv[0] [[>> 4 )]] )
(8-555)
...
8.5.5.4 서브블록 기반 시간적 머지 베이스 움직임 데이터 유도 프로세스
이 프로세스의 입력은 다음과 같다:
- ...
이 프로세스의 출력은 다음과 같다:
- ...
변수 tempMv는 다음과 같이 설정된다:
tempMv[ 0 ] = 0
(8-558)
tempMv[ 1 ] = 0
(8-559)
변수 currPic는 현재 픽처를 지정한다.
availableFlagA1 이 TRUE이면, 다음이 적용된다 :
- 다음의 모든 조건이 참이면, tempMv은 mvL0A1 와 동일하게 설정된다:
- predFlagL0A1 이 1이고,
- DiffPicOrderCnt(ColPic, RefPicList[ 0 ][refIdxL0A1])이 0이다.
- 그 외의 경우, 다음 모든 조건이 참이면, tempMv은 mvL1A1와 동일하게 설정된다:
- slice_type 이 B이고,
- predFlagL1A1 이 1이고,
- DiffPicOrderCnt(ColPic, RefPicList[ 1 ][refIdxL1A1])은 0이다.
- 8.5.2.14 절에 지정된 움직임 벡터 라운딩 프로세스는 tempMv[ 0 ]와 동일하게 설정된 mvX, 4와 동일하게 설정된 rightShift, 및 0과 동일하게 설정된 leftShift를 입력으로 하여 호출되고, 라운딩된 tempMv[ 0 ] 를 출력으로 한다.
- 8.5.2.14 절에 지정된 움직임 벡터 라운딩 프로세스는 tempMv[ 1 ]와 동일하게 설정된 mvX, 4와 동일하게 설정된 rightShift, 0과 동일하게 설정된 leftShift을 입력으로 하여 호출되고, 라운딩된 tempMv[ 1 ]를 출력으로 한다.
ColPic 내의 동일 위치 블록의 위치( xColCb, yColCb )는 다음과 같이 유도된다.
- 다음이 적용된다:
yColCb = Clip3( yCtb,
Min( CurPicHeightInSamplesY - 1, yCtb + ( 1 << CtbLog2SizeY ) - 1 ), yColCtrCb + [[(]] tempMv[1] [[>> 4 )]] )
(8-560)
- subpic_treated_as_pic_flag[ SubPicIdx ]이 1이면, 다음이 적용된다:
xColCb = Clip3( xCtb,
Min( SubPicRightBoundaryPos, xCtb + ( 1 << CtbLog2SizeY ) + 3 ), xColCtrCb + [[(]] tempMv[0] [[>> 4 )]] )
(8-561)
- 그 외의 경우 ( subpic_treated_as_pic_flag[ SubPicIdx ]이 0이면), 다음이 적용된다:
xColCb = Clip3( xCtb,
Min( CurPicWidthInSamplesY - 1, xCtb + ( 1 << CtbLog2SizeY ) + 3 ), xColCtrCb + [[(]] tempMv[0] [[>> 4 ) ]] )
(8-562)
5.9.
서브 TMVP의 예
8.5.5.2 서브블록 머지 모드의 움직임 벡터 및 참조 인덱스 유도 프로세스
이 프로세스의 입력은 다음과 같다:
- 현재 픽처의 좌측 상단 루마 샘플에 대한 현재 루마 코딩 블록의 좌측 상단 샘플의 루마 위치 ( xCb, yCb ),
- 루마 코딩 블록의 너비 및 높이를 지정하는 두 변수 cbWidth 및 cbHeight.
이 프로세스의 출력은 다음과 같다:
- 수평 방향의 루마 코딩 서브블록의 수 numSbX 및 수직 방향의 루마 코딩 서브블록의 수 numSbY,
- 참조 인덱스 refIdxL0 및 refIdxL1,
- 예측 리스트 활용 플래그 배열 predFlagL0[ xSbIdx ][ ySbIdx ] 및 predFlagL1[ xSbIdx ][ ySbIdx ],
- xSbIdx = 0..numSbX - 1, ySbIdx = 0..numSbY - 1인 1/16 분수 샘플 정확도의 루마 서브블록 움직임 벡터 배열 mvL0[ xSbIdx ][ ySbIdx ] 및 mvL1[ xSbIdx ][ ySbIdx ],
- xSbIdx = 0..numSbX - 1, ySbIdx = 0..numSbY - 1인 1/32 분수 샘플 정확도의 크로마 서브블록 움직임 벡터 배열 mvCL0[ xSbIdx ][ ySbIdx ] 및 mvCL1[ xSbIdx ][ ySbIdx ],
- 양 예측 가중치 인덱스 bcwIdx.
변수 numSbXAff 및 numSbYAff는 다음과 같이 설정된다.
numSbXAff = cbWidth >> 2
numSbYAff = cbHeight >> 2
변수 numSbX, numSbY 및 서브블록 머지 후보 리스트 subblockMergeCandList는 하기 순서의 단계들로 유도될 수 있다:
1.
sps_sbtmvp_enabled_flag이 1인 경우, 다음이 적용된다:
- availableFlagA1, refIdxLXA1, predFlagLXA1 및 mvLXA1 의 유도를 위해, 다음이 적용된다:
- 이웃 루마 코딩 블록 내 루마 위치 ( xNbA1, yNbA1 )는 ( xCb - 1, yCb + cbHeight - 1 )와 동일하게 설정된다.
- 6.4.4 절에 지정된 이웃 블록 가용성 유도 프로세스는 ( xCb, yCb )와 동일하게 설정된 현재 루마 위치 ( xCurr, yCurr ), 이웃 루마 위치 ( xNbA1, yNbA1 ), TRUE와 동일하게 설정된 checkPredModeY, 0과 동일하게 설정된 cIdx를 입력으로 하여 호출되고, 출력은 블록 가용성 플래그 availableA1에 할당된다.
- 변수 availableFlagA1, refIdxLXA1, predFlagLXA1 및 mvLXA1 는 다음과 같이 유도된다:
- availableA1 이 FALSE이면, availableFlagA1 는 0으로 설정되고, mvLXA1 의 두 성분이 모두 0으로 설정되고, refIdxLXA1 이 -1로 설정되며 predFlagLXA1 는 0으로 설정되는데, X는 0 혹은 1이고, bcwIdxA1 는 0으로 설정된다.
- 그 외의 경우, availableFlagA1 는 1로 설정되며 다음의 할당이 이루어진다:
mvLXA1 = MvLX[ xNbA1 ][ yNbA1 ]
(8-498)
refIdxLXA1 = RefIdxLX[ xNbA1 ][ yNbA1 ]
(8-499)
predFlagLXA1 = PredFlagLX[ xNbA1 ][ yNbA1 ]
(8-500)
- 8.5.5.3 절에 지정된 서브블록 기반 시간적 머지 후보 유도 프로세스는 루마 위치 ( xCb, yCb ), 루마 코딩 블록 너비 cbWidth, 루마 코딩 블록 높이 cbHeight, 가용성 플래그 availableFlagA1, 참조 인덱스 refIdxLXA1, 예측 리스트 활용 플래그 predFlagLXA1, 및 움직임 벡터 mvLXA1를 입력으로 하여 호출되고, 출력은 가용성 플래그 availableFlagSbCol, 수평 방향의 루마 코딩 서브블록의 수 numSbXCol 및 수직 방향의 루마 코딩 서브블록의 수 numSbYCol , 참조 인덱스 refIdxLXSbCol, xSbIdx = 0.. numSbXCol - 1, ySbIdx = 0 .. numSbYCol - 1 인 루마 움직임 벡터 mvLXSbCol[ xSbIdx ][ ySbIdx ] 및 예측 리스트 활용 플래그 predFlagLXSbCol[ xSbIdx ][ ySbIdx ] 이되, X는 0 혹은 1이다.
2.
sps_affine_enabled_flag이 1이면, 샘플 위치 ( xNbA0, yNbA0 ), ( xNbA1, yNbA1 ), ( xNbA2, yNbA2 ), ( xNbB0, yNbB0 ), ( xNbB1, yNbB1 ), ( xNbB2, yNbB2 ), ( xNbB3, yNbB3 ), 및 변수 numSbXAff 및 numSbYAff 는 다음과 같이 유도된다:
( xA0, yA0 ) = ( xCb - 1, yCb + cbHeight )
(8-501)
( xA1, yA1 ) = ( xCb - 1, yCb + cbHeight - 1 )
(8-502)
( xA2, yA2 ) = ( xCb - 1, yCb )
(8-503)
( xB0, yB0 ) = ( xCb + cbWidth , yCb - 1 )
(8-504)
( xB1, yB1 ) = ( xCb + cbWidth - 1, yCb - 1 )
(8-505)
( xB2, yB2 ) = ( xCb - 1, yCb - 1 )
(8-506)
( xB3, yB3 ) = ( xCb, yCb - 1 )
(8-507)
[[numSbXAff = cbWidth >> 2
(8-508)
numSbYAff = cbHeight >> 2
(8-509)]]
3.
sps_affine_enabled_flag이 1이면, 변수 availableFlagA 는 FALSE로 설정되고 다음이 ( xNbA0, yNbA0 )에서 ( xNbA1, yNbA1 )까지 ( xNbAk, yNbAk )에 적용된다:
...
8. numCurrMergeCand이 MaxNumSubblockMergeCand 보다 작으면, 다음이 numCurrMergeCand이 MaxNumSubblockMergeCand와 동일해질 때까지 반복되는데, mvZero[0] 및 mvZero[1]은 0이다:
- ( numCurrMergeCand - numOrigMergeCand ) 과 동일한 m에 대한 zeroCandm 의 참조 인덱스, 예측 리스트 활용 플래그, 움직임 벡터는 다음과 같이 유도된다:
refIdxL0ZeroCandm = 0
(8-515)
predFlagL0ZeroCandm = 1
(8-516)
cpMvL0ZeroCandm[ 0 ] = mvZero
(8-517)
cpMvL0ZeroCandm[ 1 ] = mvZero
(8-518)
cpMvL0ZeroCandm[ 2 ] = mvZero
(8-519)
refIdxL1ZeroCandm = ( slice_type = = B ) ? 0 : -1
(8-520)
predFlagL1ZeroCandm = ( slice_type = = B ) 1 : 0
(8-521)
cpMvL1ZeroCandm[ 0 ] = mvZero
(8-522)
cpMvL1ZeroCandm[ 1 ] = mvZero
(8-523)
cpMvL1ZeroCandm[ 2 ] = mvZero
(8-524)
motionModelIdcZeroCandm = 1
(8-525)
bcwIdxZeroCandm = 0
(8-526)
- 하기와 같이, ( numCurrMergeCand - numOrigMergeCand ) 와 동일한 m에 대한 후보 zeroCandm는 subblockMergeCandList 의 말단에 추가되고, numCurrMergeCand은 1만큼 증가된다:
subblockMergeCandList[ numCurrMergeCand++ ] = zeroCandm
(8-527)
xSbIdx = 0..numSbX - 1, ySbIdx = 0..numSbY - 1 인 변수 refIdxL0, refIdxL1, predFlagL0[ xSbIdx ][ ySbIdx ], predFlagL1[ xSbIdx ][ ySbIdx ], mvL0[ xSbIdx ][ ySbIdx ], mvL1[ xSbIdx ][ ySbIdx ], mvCL0[ xSbIdx ][ ySbIdx ], 및 mvCL1[ xSbIdx ][ ySbIdx ] 는 다음과 같이 유도된다:
- subblockMergeCandList[ merge_subblock_idx[ xCb ][ yCb ] ]이 SbCol와 동일한 경우, numSbX은 numSbXCol와 동일하게 설정되고, numSbY은 numSbYCol와 동일하게 설정되며 , 양 예측 가중치 인덱스 bcwIdx는 0과 동일하게 설정되고, 0 혹은 1인 X에 대해 다음이 적용된다:
refIdxLX = refIdxLXSbCol
(8-528)
- xSbIdx = 0..numSbX - 1, ySbIdx = 0..numSbY - 1이고, 다음이 적용된다:
predFlagLX[ xSbIdx ][ ySbIdx ] = predFlagLXSbCol[ xSbIdx ][ ySbIdx ]
(8-529)
mvLX[ xSbIdx ][ ySbIdx ][ 0 ] = mvLXSbCol[ xSbIdx ][ ySbIdx ][ 0 ]
(8-530)
mvLX[ xSbIdx ][
ySbIdx ][ 1 ] = mvLXSbCol[ xSbIdx ][ ySbIdx ][ 1 ]
(8-531)
- predFlagLX[ xSbIdx ][ ySbIdx ]이 1과 동일하면, 8.5.2.13 절의 크로마 움직임 벡터 유도 프로세스는 mvLX[ xSbIdx ][ ySbIdx ] 및 refIdxLX을 입력으로 하여 호출되고, 출력은 mvCLX[ xSbIdx ][ ySbIdx ]이다.
- 다음의 할당은 x = xCb ..xCb + cbWidth - 1 및 y = yCb..yCb + cbHeight - 1에 대해 이루어진다:
MotionModelIdc[ x ][ y ] = 0
(8-532)
- 그 외의 경우 (subblockMergeCandList[ merge_subblock_idx[ xCb ][ yCb ] ]이 SbCol와 동일하지 않으면), numSbX는 numSbXAff와 동일하게 설정되고, numSbY는 numSbYAff와 동일하게 설정되며 0 혹은 1인 X에 대해 다음이 적용된다:
- 서브블록 머지 후보 리스트 subblockMergeCandList에서 위치 merge_subblock_idx[ xCb ][ yCb ]의 후보인 N ( N = subblockMergeCandList[ merge_subblock_idx[ xCb ][ yCb ] ] )에 대해, 다음의 할당이 이루어진다:
도 10은 여기에 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 프로세싱 시스템(1900)을 보여주는 블록도이다. 다양한 실시예들은 시스템(1900)의 일부 혹은 전체 구성요소를 포함할 수 있다. 시스템(1900)은 비디오 콘텐츠를 수신하는 입력(1902)을 포함할 수 있다. 비디오 콘텐츠는 예를 들어, 8 혹은 10 비트 멀티 컴포넌트 픽셀 값들과 같은 원본 혹은 압축되지 않은 형태로 수신될 수 있거나 압축된 혹은 인코딩된 포맷으로 수신될 수 있다. 입력(1902)는 네트워크 인터페이스, 주변 버스 인터페이스, 혹은 스토리지 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예는 이더넷, PON(passive optical network), 등과 같은 유선 인터페이스와 Wi-Fi 혹은 셀룰러 인터페이스와 같은 무선 인터페이스를 포함한다.
시스템(1900)은 본 문서에 설명되는 다양한 코딩 혹은 인코딩 방법들을 구현하는 코딩 컴포넌트(1904)를 포함할 수 있다. 코딩 컴포넌트(1904)는 비디오의 코딩된 표현을 생성하기 위해 입력(1902)으로부터 코딩 컴포넌트(1904)의 출력으로의 비디오 평균 비트율을 감소시킬 수 있다. 그러므로 코딩 기술들은 비디오 압축 혹은 비디오 트랜스코딩(transcoding) 기술로도 불린다. 코딩 컴포넌트(1904)의 출력은 저장되거나 컴포넌트(1906)로 표현되는 연결된 통신을 통해 전송될 수 있다. 입력(1902)에서 수신된 비디오의 저장되거나 통신된 비트스트림(혹은 코딩된) 표현은 디스플레이 인터페이스(1910)에 전송되는 디스플레이 가능한 비디오나 픽셀 값들을 생성하기 위해 컴포넌트(1908)에 의해 사용될 수 있다. 비트스트림 표현으로부터 사용자가 볼 수 있는 비디오를 생성하는 프로세스는 비디오 압축 해제로 불리기도 한다. 또한, 특정 비디오 프로세싱 동작이 "코딩" 동작 혹은 도구로 지칭되나, 코딩 도구 혹은 동작은 인코더에서 사용되고 코딩의 결과를 역전시키는 대응 디코딩 도구 및 동작이 디코더에 의해 수행됨이 이해될 것이다.
주변 버스 인터페이스 혹은 디스플레이 인터페이스의 예에는 USB(universal serial bus), HDMI(high definition multimedia interface), 혹은 Displayport 등이 포함된다. 스토리지 인터페이스의 예에는 SATA(serial advanced technology attachment), PCI, IDE 인터페이스 등이 포함된다. 본 문서에 설명된 기술들은 모바일 폰(mobile phones), 랩탑, 스마트폰 혹은 디지털 데이터 프로세싱 및/혹은 비디오 디스플레이할 수 있는 다른 장치와 같은 다양한 전자 기기로 구현될 수 있다.
도 11은 비디오 프로세싱 장치(1100)의 블록도이다. 장치(1100)는 여기에 개시된 하나 이상의 방법을 실현하는 데 사용될 수 있다. 장치(1100)는 스마트폰, 랩탑, 컴퓨터, 사물인터넷(IoT) 수신기 등으로 구현될 수 있다. 장치(1100)는 하나 이상의 프로세서(1102), 하나 이상의 메모리(1104) 및 비디오 프로세싱 하드웨어(1106)를 포함할 수 있다. 프로세서(들) (1102)는 본 문서에 설명된 하나 이상의 방법을 실현하도록 구성될 수 있다. 메모리(들) (1104)는 여기에 개시된 방법, 기술을 실현하기 위한 코드 및 데이터를 저장하는 데 사용될 수 있다. 비디오 프로세싱 하드웨어(1106)는 하드웨어 회로에서 본 문서에 설명된 일부 기술을 구현하는 데 사용될 수 있다. 일부 실시예에서, 하드웨어(1106)는 적어도 부분적으로 프로세서(1102) (예를 들어, 그래픽스 코-프로세서(graphics co-processor)) 내에 있을 수 있다.
개시된 기술의 일부 실시예는 비디오 프로세싱 도구 혹은 모드를 활성화하는 결정 혹은 판단을 내리는 과정을 포함한다. 예를 들어, 비디오 프로세싱 도구 혹은 모드가 활성화되면, 인코더는 비디오 블록의 프로세싱에서 도구 혹은 모드를 사용하거나 구현하나, 도구 혹은 모드의 사용에 기초하여 반드시 결과 비트스트림을 변경하지는 않을 수 있다. 즉, 비디오 블록으로부터 비디오의 비트스트림 표현으로의 변환은 결정 혹은 판단에 기초하여 활성화될 때 비디오 프로세싱 도구 혹은 모드를 사용할 수 있다. 다른 예로서, 비디오 프로세싱 도구 혹은 모드가 활성화되면, 디코더는 비디오 프로세싱 도구 혹은 모드에 기초하여 비트스트림이 변경되었다는 지식으로 비트스트림을 프로세스할 것이다. 즉, 비디오의 비트스트림 표현에서 비디오 블록으로의 변환은 결정 혹은 판단에 기초하여 활성화된 비디오 프로세싱 도구 혹은 모드를 사용하여 수행될 것이다.
개시된 기술의 일부 실시예는 비디오 프로세싱 도구 혹은 모드를 비활성화하는 결정 혹은 판단을 내리는 과정을 포함한다. 예를 들어, 비디오 프로세싱 도구 혹은 모드가 비활성화되면, 인코더는 비디오 블록의 비디오 비트스트림으로의 변환에서 도구 혹은 모드를 사용할 수 없게 된다. 다른 예로서, 비디오 프로세싱 도구 혹은 모드가 비활성화되면, 디코더는 결정 혹은 판단에 기초하여 비활성화된 비디오 프로세싱 도구 혹은 모드를 이용하여 비트스트림이 변경되지 않았음에 따라 비트스트림을 프로세스하게 된다.
본 문서에서, "비디오 프로세싱" 이라는 용어는 비디오 인코딩, 비디오 디코딩, 비디오 압축 혹은 비디오 압축 해제를 지칭할 수 있다. 예를 들어, 비디오 압축 알고리즘은 비디오의 픽셀 표현으로부터 대응 비트스트림 표현으로의 변환 동안 적용될 수 있으며, 반대의 경우에도 적용될 수 있다. 현재 비디오 블록의 비트스트림 표현은, 예를 들어, 신택스에 의해 정의된 바와 같이 비트스트림 내의 동일 위치에 배치되거나 다른 위치에 확산되는 비트에 대응될 수 있다. 예를 들어, 매크로블록은 트랜스폼되고 코딩된 오류(error) 잔차 값들, 헤더의 비트들 및 비트스트림의 다른 필드들을 이용하는 관점에서 인코딩될 수 있다.
다음의 절(clause)들의 제1 세트가 일부 실시예에서 구현될 수 있다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 1)에 설명된 추가 기술과 함께 구현될 수 있다.
1. 비디오 프로세싱 방법(예를 들어, 도 12의 방법(1200))에 있어서, 루마 블록과 동일 위치의 크로마 블록과, 루마 블록을 포함하는 비디오 유닛과 비디오 유닛의 코딩된 표현 간의 변환을 위해, 루마 블록의 변환에 사용되는 루마 가중치와 크로마 가중치를 맞추어 조정함으로써 삼각 분할 모드(triangular partitioning mode, TPM)를 이용하여 크로마 블록의 변환에 사용되는 크로마 가중치를 결정(1202)하는 단계, 및 결정의 결과에 기초하여 변환을 수행(1204)하는 단계를 포함하는, 비디오 프로세싱 방법.
2. 1 절의 방법에 있어서, 크로마 가중치는 루마 가중치의 함수로 결정된다.
3.
1-2 절 중 어느 한 절의 방법에 있어서, 크로마 가중치는 루마 가중치의 서브셋이다.
4.
1-3 절 중 어느 한 절의 방법에 있어서, 크로마 가중치는 크로마 블록과 일치하는 루마 블록의 동일한 크기 부분에 대한 루마 가중치와 동일하다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 2)에 설명된 추가 기술과 함께 구현될 수 있다.
5. 비디오 프로세싱 방법에 있어서, 루마 블록과 동일 위치의 크로마 블록과, 루마 블록을 포함하는 비디오 유닛과 비디오 유닛의 코딩된 표현 간의 변환을 위해, 루마 블록의 특징 혹은 비디오 유닛의 특징에 기초하여 삼각 분할 모드(TPM)를 이용하여 크로마 블록의 변환에 사용되는 크로마 가중치를 결정하는 단계 및 결정의 결과에 기초하여 변환을 수행하는 단계를 포함하는, 비디오 프로세싱 방법.
6.
5 절의 방법에 있어서, 루마 블록의 특징은 루마 블록의 너비 혹은 높이를 포함한다.
7.
5-6 절 중 어느 한 절의 방법에 있어서, 비디오 유닛의 특징은 비디오 유닛의 색상 포맷 혹은 비디오 유닛의 크로마 서브샘플링 비율을 포함한다.
8.
5-7 절 중 어느 한 절의 방법에 있어서, 크로마 가중치는 크로마 블록의 색상 성분 아이덴티티(identity)에 의존한다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 3)에 설명된 추가 기술과 함께 구현될 수 있다.
9.
1-8 절 중 어느 한 절의 방법에 있어서, 크로마 가중치 및/혹은 루마 가중치는 정수이다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 4)에 설명된 추가 기술과 함께 구현될 수 있다.
10. 비디오 프로세싱 방법에 있어서, 루마 블록과 동일 위치의 크로마 블록과, 루마 블록을 포함하는 비디오의 비디오 유닛과 비디오 유닛의 코딩된 표현 간의 변환을 위해 비디오 유닛의 특징에 기초하여 삼각 분할 모드(TPM)가 변환을 위해 사용되는지 여부를 결정하는 단계 및 결정의 결과에 기초하여 변환을 수행하는 단계를 포함하는, 비디오 프로세싱 방법.
11.
10 절의 방법에 있어서, 특징은 max(H,W)/min(H, W)와 동일한 치수 비율이고, max 및 min은 최대 및 최소 함수이며, H 및 W는 비디오 유닛의 픽셀에서 높이 및 너비이다.
12.
10 절의 방법에 있어서, 특징은 Abs( Log2( cbWidth ) - Log2( cbHeight ) )와 동일한 치수 비율을 포함하고, Abs는 절대값 함수이며, cbWidth 및 cbHeight는 크로마 블록의 픽셀 너비 및 픽셀 높이이다.
13.
10 절의 방법에 있어서, 결정의 결과는 2 보다 큰 치수 비율로 인해 TPM이 비활성화 되는 것이다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 5)에 설명된 추가 기술과 함께 구현될 수 있다.
14.
10 절의 방법에 있어서, 비디오 유닛의 특징은 비디오 유닛의 변환에 사용되는 최대 트랜스폼 크기를 포함한다.
15.
14 절의 방법에 있어서, 결정하는 단계는 최대 트랜스폼 크기보다 큰 높이 혹은 너비를 갖는 비디오 유닛으로 인해 TPM의 사용을 비활성화한다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 6)에 설명된 추가 기술과 함께 구현될 수 있다.
16.
10 절의 방법에 있어서, 비디오 유닛의 특징은 비디오의 변환 동안 사용되는 최대 코딩 유닛 크기를 포함한다.
17.
16 절의 방법에 있어서, 결정하는 단계는 최대 코딩 유닛 크기와 동일한 유닛의 높이 혹은 너비로 인해 TPM의 사용을 비활성화한다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 7)에 설명된 추가 기술과 함께 구현될 수 있다.
18. 10 절의 방법에 있어서, 비디오 유닛의 특징은 비디오 유닛의 높이 혹은 너비를 포함하되, 결정하는 단계는 N 보다 큰 높이 혹은 M 보다 큰 너비로 인해 TPM의 사용을 비활성화한다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 8)에 설명된 추가 기술과 함께 구현될 수 있다.
19.
10 절의 방법에 있어서, 비디오 유닛의 특징은 비디오 유닛의 높이 혹은 너비를 포함하되, 결정하는 단계는 N 인 높이 혹은 M인 너비로 인해 TPM의 사용을 비활성화한다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 9)에 설명된 추가 기술과 함께 구현될 수 있다.
20.
10 절의 방법에 있어서, 비디오 유닛의 특징은 비디오 유닛의 크로마 포맷을 포함하고, 결정하는 단계는 특정 포맷인 크로마 포맷으로 인해 TPM의 사용을 비활성화한다.
21.
20 절의 방법에 있어서, 특정 포맷은 4:0:0이다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 10)에 설명된 추가 기술과 함께 구현될 수 있다.
22.
1 절의 방법에 있어서, 비디오 유닛의 특징은 비디오 유닛의 변환에 사용되는 참조 픽처 해상도를 포함하고, 결정하는 단계는 서로 다른 해상도로 인해 TMP의 사용을 비활성화한다.
다음 절은 이전 섹션에 나열된 항목(예를 들어, 항목 11)에 설명된 추가 기술과 함께 구현될 수 있다.
23.
상기 절 중 어느 한 절의 방법에 있어서, 코딩된 표현에서 TPM 모드가 비활성화되는 것으로 결정되는 경우 TMP 신택스 요소에 대한 신택스 요소가 제거된다.
24.
1 내지 23 절 중 어느 한 절의 방법에 있어서, 변환은 비디오를 코딩된 표현으로 인코딩하는 것을 포함한다.
25.
1 내지 23 절 중 어느 한 절의 방법에 있어서, 변환은 비디오의 픽셀 값을 생성하기 위해 코딩된 표현을 디코딩하는 것을 포함한다.
26.
1 내지 25 절 중 하나 이상의 절에 표현된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코딩 장치.
27.
1 내지 25 절 중 하나 이상의 절에 표현된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 인코딩 장치.
28.
프로세서에 의해 실행 시, 프로세서가 1 내지 25 절 중 어느 한 절에 표현된 방법을 구현하게 하는 컴퓨터 코드를 저장하는 컴퓨터 프로그램 제품.
29.
본 문서에 설명된 방법, 장치 혹은 시스템.
절(clause)들의 제2 세트는 이전 섹션(예를 들어, 항목 1 내지 5)에서 개시된 기술의 특정 기능 및 측면을 설명한다.
1. 비디오 프로세싱 방법(예를 들어, 도 16a의 방법(1610))에 있어서, 규칙에 따라 크로마 블록의 예측을 블렌딩함으로써 비디오의 현재 블록의 크로마 블록의 크로마 예측 블록을 결정하는 데 사용되는 크로마 가중치를 결정(1612)하는 단계 및 결정에 따라 현재 블록과 비디오의 코딩된 표현 간의 변환을 수행(1614)하는 단계를 포함하되, 규칙은 크로마 가중치가 현재 블록의 동일 위치 루마 블록의 루마 가중치로부터 결정되도록 지정하고, 현재 블록은 기하학적 분할 모드로 코딩되는, 비디오 프로세싱 방법.
2. 1 절의 방법에 있어서, 규칙은 크로마 가중치가 루마 가중치의 서브셋이도록 지정한다.
3. 1 혹은 2 절의 방법에 있어서, 현재 블록의 크로마 포맷은 4:2:0 혹은 4:2:2 혹은 4:4:4이다.
4. 1 절의 방법에 있어서, 규칙은 크기가 MxN인 크로마 블록에 적용되는 크로마 가중치가 크기가 MxN인 현재 블록의 루마 블록에 적용되는 루마 가중치와 동일하도록 지정하되, M 및 N은 0보다 큰 정수이다.
5. 4 절의 방법에 있어서, 현재 블록의 크로마 포맷은 4:4:4이다.
6. 비디오 프로세싱 방법(예를 들어, 도 16b의 방법(1620))에 있어서, 규칙에 따라 크로마 블록의 예측을 블렌딩 함으로써 비디오의 현재 블록의 크로마 블록의 크로마 예측 블록을 결정하는데 사용되는 크로마 가중치를 결정(1622)하는 단계 및 결정에 따라 현재 블록과 비디오의 코딩된 표현 간의 변환을 수행(1624)하는 단계를 포함하되, 규칙은 동일 위치 루마 블록의 특징 및/혹은 현재 블록의 특징에 의존하고, 현재 블록은 기하학적 분할 모드로 코딩되는, 비디오 프로세싱 방법.
7. 6 절의 방법에 있어서, 동일 위치 루마 블록의 특징은 동일 위치 루마 블록의 높이 및/혹은 너비를 포함하고, 현재 블록의 특징은 현재 블록의 색상 포맷 및/혹은 현재 블록의 크로마 서브샘플링 비율을 포함한다.
8. 6 절의 방법에 있어서, 규칙은 4:4:4 크로마 포맷을 갖는 크로마 블록의 경우, 크로마 가중치가 동일위치 루마 블록에 적용되는 루마 가중치와 동일하도록 지정한다.
9. 6 절의 방법에 있어서, 규칙은 4:2:0 혹은 4:2:2 크로마 포맷을 갖는 크로마 블록의 경우 크로마 가중치가 동일 위치 루마 블록에 적용되는 루마 가중치로부터 서브샘플링되도록 지정한다.
10. 9 절의 방법에 있어서, 크로마 가중치 WeightC[x][y]는 WeightY[f(x)][g(y)]에 의해 계산되되, x는 0과 W/subWidthC-1사이의 정수이고, y는 0과 H/subHeightC-1 사이의 정수이며, W 및 H는 크로마 블록의 너비와 높이이고, subWidthC 및 subHeightC는 각각 너비 및 높이 방향으로의 크로마 서브샘플링 비율을 나타내며, WeightY[a][b]는 루마 가중치이고, a는 0과 W-1 사이의 정수이며, b는 0과 H-1 사이의 정수이다.
11. 6 절의 방법에 있어서, 규칙은 크로마 가중치가 동일 위치 루마 블록의 크기에 의존하고 다른 색상 성분에 대해서도 동일하도록 지정한다.
12. 11 절의 방법에 있어서, WxH 크기의 크로마 성분은 WxH 크기의 루마 성분과 동일한 가중치를 사용하고, W 및 H는 각각 동일 위치 루마 블록의 너비 및 높이를 지시하는 정수이다.
13. 6 절의 방법에 있어서, 규칙은 크로마 가중치가 동일 위치 루마 블록의 크기와 비디오 유닛의 색상 성분에 의존하도록 지정한다.
14. 13 절의 방법에 있어서, 크로마 가중치는 비디오 유닛의 색상 성분 마다 다르다.
15. 13 절의 방법에 있어서, 크로마 가중치는 두 개의 크로마 성분에 대해 동일하다.
16. 6 내지 15 절 중 어느 한 절의 방법에 있어서, 크로마 가중치 및/혹은 루마 가중치는 정수이다.
17. 16 절의 방법에 있어서, 홀수인 정수 및 짝수인 정수 가중치가 모두 허용된다.
18. 6 내지 17 절 중 어느 한 절의 방법에 있어서, 크로마 가중치 및/혹은 루마 가중치는 범위 [M, N]로 클리핑되며, M 및 N은 정수이다.
19. 비디오 프로세싱 방법(예를 들어, 도 16c의 방법(1630))에 있어서, 비디오의 현재 블록과 비디오의 코딩된 표현 간의 변환(1632)을 수행하는 단계를 포함하되, 변환 동안, 현재 블록에 대한 예측 블록은 블렌딩 가중치 마스크에 따라 현재 블록의 예측을 블렌딩함으로써 결정되고, 현재 블록은 기하학적 분할 모드로 코딩되는, 비디오 프로세싱 방법.
20. 19 절의 방법에 있어서, 규칙은 블렌딩 가중치 마스크가 N 개의 요소를 포함하는 하나 이상의 기 정의된 테이블에 기초하여 유도되도록 지정하되, N은 0보다 큰 정수이다.
21. 19 절의 방법에 있어서, 규칙은 블렌딩 가중치 마스크가 계산 방정식으로부터 계산되도록 지정한다.
22. 1 내지 21 절 중 어느 한 절의 방법에 있어서, 현재 블록은 각도 분할, 수평 분할, 혹은 수직 분할을 따라 현재 블록을 분할함으로써 현재 블록의 두 개 이상의 서브 영역이 획득되는 기하학적 분할 모드로 코딩된다.
23. 1 내지 22 절 중 어느 한 절의 방법에 있어서, 변환은 비디오를 코딩된 표현으로 인코딩하는 것을 포함한다.
24. 1 내지 22 절 중 어느 한 절의 방법에 있어서, 비디오를 생성하기 위해 코딩된 표현을 디코딩하는 것을 포함한다.
25. 1 내지 24 절 중 하나 이상의 절에 표현된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 프로세싱 장치.
26. 실행 시 프로세서가 1 내지 24 절 중 하나 이상의 절에 표현된 방법을 구현하게 하는 프로그램 코드가 저장된 컴퓨터 판독 가능한 매체.
27. 상기에 설명된 방법들 중 어느 하나에 따라 생성된 비트스트림 표현 혹은 코딩된 표현을 저장하는 컴퓨터 판독 가능한 매체.
절(clause)들의 제3 세트는 이전 섹션(예를 들어, 항목 6 내지 14)에서 개시된 기술의 특정 기능 및 측면을 설명한다.
1.
비디오 프로세싱 방법(예를 들어, 도 16d의 방법(1640))에 있어서, 비디오의 현재 블록과 비디오의 코딩된 표현 간의 변환을 위해 현재 블록의 특징에 기초하여 현재 블록에 기하학적 분할 모드의 적용가능성을 결정(1642)하는 단계, 결정에 기초하여 변환을 수행(1644)하는 단계를 포함하는, 비디오 프로세싱 방법.
2.
1절의 방법에 있어서, 현재 블록의 특징은 max(H,W)/min(H, W)로 획득되는 치수 비율(dimension ratio)을 포함하되, max 및 min은 최대 및 최소 함수이고, H 및 W는 현재 블록의 높이 및 너비이다.
3.
1절의 방법에 있어서, 현재 블록의 특징은 현재 블록의 너비 및 높이 간의 차이를 포함한다.
4.
3 절의 방법에 있어서, 차이는 Abs( Log2( cbWidth ) - Log2( cbHeight ) )로 획득되고, Abs는 절댓값 함수이고, cbWidth 및 cbHeight는 현재 블록을 포함하는 코딩 블록의 너비 및 높이이다.
5.
1절의 방법에 있어서, 결정하는 단계는 X보다 큰 현재 블록의 너비(W) 및 높이(H) 간의 비율로 인해 기하학적 분할 모드를 비활성화하도록 결정하되, X는 정수이다.
6.
5 절의 방법에 있어서, 결정하는 단계는 T1보다 큰 W/H 비율로 인해 기하학적 분할 모드를 비활성화하도록 결정하되, T1은 정수이다.
7.
6 절의 방법에 있어서, T1은 2이다.
8.
5 절의 방법에 있어서, 결정하는 단계는 T2보다 큰 H/W 비율로 인해 기하학적 분할 모드를 비활성화하도록 결정하되, T2는 정수이다.
9. 8 절의 방법에 있어서, T2는 2이다.
10. 1 절의 방법에 있어서, 현재 블록의 특징은 비디오의 변환에 사용되는 최대 트랜스폼 크기를 포함한다.
11. 10 절의 방법에 있어서, 결정하는 단계는 최대 트랜스폼 크기보다 큰 높이 혹은 너비를 갖는 현재 블록으로 인해 기하학적 분할 모드를 비활성화하도록 결정한다.
12. 1 절의 방법에 있어서, 현재 블록의 특징은 비디오의 변환에 사용되는 최대 코딩 유닛 크기를 포함한다.
13. 12 절의 방법에 있어서, 결정하는 단계는 최대 코딩 유닛 크기와 동일한 현재 블록의 높이 혹은 너비로 인해 기하학적 분할 모드가 비활성화되도록 결정한다.
14. 1 절의 방법에 있어서, 현재 블록의 특징은 현재 블록의 높이 혹은 너비를 포함하고, 결정하는 단계는 N보다 큰 높이 및/혹은 M보다 큰 너비로 인해 기하학적 분할 모드가 비활성화되도록 결정하되, N 및 M은 정수이다.
15. 14절의 방법에 있어서, N=M=64이다.
16. 1 절의 방법에 있어서, 현재 블록의 특징은 현재 블록의 높이 혹은 너비를 포함하고, 결정하는 단계는 N인 높이 및/혹은 M인 너비로 인해 기하학적 분할 모드가 비활성화되도록 결정한다.
17. 16 절의 방법에 있어서, N=M=4이다.
18. 1 절의 방법에 있어서, 현재 블록의 특징은 현재 블록의 크로마 포맷을 포함하고, 결정하는 단계는 특정 포맷인 크로마 포맷으로 인해 기하학적 분할 모드가 비활성화되도록 결정한다.
19. 18 절의 방법에 있어서, 특정 포맷은 4:0:0, 4:4:4 혹은 4:2:2이다.
20. 1절의 방법에 있어서, 현재 블록의 특징은 현재 블록의 변환에 사용되는 참조 픽처의 해상도를 포함하고, 결정하는 단계는 서로 다른 해상도로 인해 기하학적 분할 모드가 비활성화되도록 결정한다.
21. 1절의 방법에 있어서, 현재 블록의 특징은 현재 블록의 변환에 사용되는 참조 픽처의 해상도를 포함하고, 결정하는 단계는 현재 블록을 포함하는 현재 픽처의 해상도와 상이한 참조 픽처 중 하나의 해상도로 인해 기하학적 분할 모드가 비활성화되도록 결정한다.
22. 상기 절 중 어느 한 절의 방법에 있어서, 변환은 현재 블록에 대한 예측 블록을 두 개 이상의 서브 영역의 예측의 가중 블렌딩으로 결정하는 것을 포함하고, 인코딩 동안 단일 트랜스폼이 현재 블록의 잔차에 적용되거나 단일 역 트랜스폼이 디코딩 동안 코딩된 표현으로부터 파싱된 현재 블록의 계수에 적용된다.
23. 비디오 프로세싱 방법(예를 들어, 도 16c의 방법 (1630))에 있어서, 비디오의 현재 블록과 비디오의 코딩된 표현 간의 변환을 수행(1632)하는 단계를 포함하되, 코딩된 표현은, 변환 동안 현재 블록에 대해 기하학적 분할 모드가 비활성화되는 경우 기하학적 분할 모드를 설명하는 신택스 요소가 코딩된 표현에 포함되지 않도록 지정하는 포맷 규칙에 따르는, 비디오 프로세싱 방법.
24. 23절의 방법에 있어서, 포맷 규칙은 신택스 요소가 코딩된 표현에 포함되지 않은 경우, 신택스 요소는 0으로 추론되도록 지정한다.
25. 23 절의 방법에 있어서, 포맷 규칙은 기하학적 분할 모드의 비가용성으로 인해 기하학적 분할 모드와 연관된 시맨틱 변수는 0으로 추론되도록 지정한다.
26. 25 절의 방법에 있어서, 시맨틱 변수는 기하학적 분할 모드의 비활성화를 지시하는 플래그를 포함한다.
27. 1 내지 26 절 중 어느 한 절의 방법에 있어서, 현재 블록은 현재 블록의 두 개 이상의 서브 영역이 각도 분할, 수평 분할 혹은 수직 분할에 따라 현재 블록을 분할함으로써 획득되는 기하학적 분할 모드로 코딩된다.
28. 1 내지 27 절 중 어느 한 절의 방법에 있어서, 변환을 수행하는 것은 현재 블록으로부터 코딩된 표현을 생성하는 것을 포함한다.
29. 1 내지 27절 중 어느 한 절의 방법에 있어서, 변환을 수행하는 것은 코딩된 표현으로부터 현재 블록을 생성하는 것을 포함한다.
30. 1 내지 29 절 중 하나 이상의 절에 표현된 방법을 구현하는 프로세서를 포함하는 비디오 프로세싱 장치.
31. 실행시 1 내지 29 절 중 하나 이상의 절에 표현된 방법을 프로세서가 구현하게 하는 프로그램 코드를 저장하는 컴퓨터 판독 가능한 매체.
32. 상기에 설명된 방법 중 어느 하나에 따라 생성된 비트스트림 표현 혹은 코딩된 표현을 저장하는 컴퓨터 판독가능한 매체.
위의 절(clause)에서, 변환을 수행하는 것은 변환 결과에 도달하기 위해 인코딩 또는 디코딩 동작 동안 이전 결정 단계의 결과를 사용하는 것을 포함한다.
본 명세서에서 설명되는, 개시된 솔루션, 예, 실시형태, 모듈 및 기능적 동작 및 그 이외의 솔루션, 예, 실시형태, 모듈 및 기능적 동작은, 디지털 전자 회로로, 또는 본 명세서에서 개시되는 구조체 및 그들의 구조적 균등물을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 이들 중 하나의 이상의 조합으로 구현될 수 있다. 개시된 실시형태 및 그 외의 실시형태들은, 하나 이상의 컴퓨터 프로그램 제품으로서, 예를 들어 데이터 처리 장치에 의해 실행되거나 그 동작을 제어하기 위한, 컴퓨터-판독가능 매체 상에 인코딩된 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터-판독가능 매체는 머신-판독가능 저장 디바이스, 머신-판독가능 저장 기재, 메모리 디바이스, 머신-판독가능 전파된 신호에 영향을 주는 물질의 조합, 또는 이들 중 하나 이상의 조합일 수 있다. 용어 "데이터 프로세싱 장치"는, 예를 들어 프로그래밍가능한 프로세서, 컴퓨터, 또는 다수의 프로세서 또는 컴퓨터를 포함하는, 데이터를 처리하기 위한 모든 장치, 디바이스, 및 머신을 망라한다. 이러한 장치는 하드웨어에 추가하여, 관심 대상인 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파된 신호는 인위적으로 생성된 신호, 예를 들어, 적절한 수신기 장치로 송신되기 위한 정보를 인코딩하기 위하여 생성되는, 머신에 의해 생성된 전기적, 광학적, 또는 전자기적 신호이다.
컴퓨터 프로그램 (프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 혹은 코드라고도 함)은 컴파일된 언어 또는 해석된 언어를 포함하여 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램 또는 컴퓨터 환경에서 사용되기에 적합한 모듈, 컴포넌트, 서브루틴 또는 다른 유닛으로서 임의의 형태로 배치(deploy)될 수 있다. 컴퓨터 시스템은 파일 시스템 내의 파일에 반드시 대응되는 것은 아니다. 프로그램은 다른 프로그램 또는 데이터를 보유하는 파일의 일부(예를 들어 마크업 언어 문서에 저장된 하나 이상의 스크립트) 또는 문제의 프로그램의 전용인 단일 파일 또는 다중 편성(coordinated) 파일(예를 들어, 하나 이상의 모듈, 서브 프로그램 또는 코드의 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은, 하나의 컴퓨터 또는 한 사이트에 위치하거나 다수의 사이트에 걸쳐 분배되고 통신 네트워크에 의해 상호 접속되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 문서에 설명된 프로세스 및 로직 흐름은 입력 데이터에 대해 작동하고 출력을 생성함으로써 기능을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍가능한 프로세서에 의해 수행될 수 있다. 프로세스 및 로직 흐름은 또한 FPGA (필드 프로그래밍 가능 게이트 어레이, field programmable gate array) 또는 ASIC (애플리케이션 특정 집적 회로, application specific integrated circuit)와 같은 특수 목적 로직 회로로 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 및 특수 목적의 마이크로 프로세서와 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다에서 명령과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령을 수행하기위한 프로세서와 명령과 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치와, 예를 들어 자기, 광 자기 디스크 또는 광 디스크로부터 데이터를 수신하거나 데이터를 전송하거나 둘 모두를 수행하도록 동작 가능하게 결합되거나 포함한다. 그러나 컴퓨터가 이러한 장치를 가질 필요는 없다. 컴퓨터 프로그램 명령 및 데이터를 저장하기에 적합한 비일시적 컴퓨터 판독 가능 매체는 예를 들어 EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치; 내부 하드 디스크 또는 제거가능 디스크 등의 자기 디스크; 광자기 디스크 및 CD ROM 및 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적 로직 회로에 의해 보완되거나 통합될 수 있다.
이 특허 문서에는 많은 세부 사항이 포함되어 있지만, 이는 임의의 발명의 범위 또는 청구 대상에 대한 제한으로 해석되어서는 안되며, 특정 발명의 특정 실시예에 특정될 수 있는 특징에 대한 설명으로 해석되어야 한다. 개별 실시예의 맥락에서 본 특허 문서에 설명된 특정 특징은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시 예의 맥락에서 설명된 다양한 특징은 또한 다중 실시 예에서 개별적으로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 더욱이, 특징이 특정 조합으로 작용하는 것으로 위에서 설명될 수 있고 심지어 처음에 그렇게 청구될 수도 있지만, 청구된 조합으로부터 하나 이상의 특징이 어떤 경우에는 조합으로부터 삭제될 수 있고, 청구된 조합은 하위 조합 또는 변형일 수 있다.
유사하게, 동작이 특정 순서로 도면에 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 그러한 동작이 도시된 특정 순서 또는 순차적인 순서로 수행되거나 모든 예시된 동작이 수행될 것을 요구하는 것으로 이해되어서는 안 된다. 더욱이, 이 특허 문서에 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안 된다.
단지 몇 가지 구현 예 및 예가 설명되며, 다른 구현 예, 향상 및 변형이 본 특허 문서에 설명되고 예시된 것에 기초하여 이루어질 수 있다.
Claims (27)
- 비디오 프로세싱 방법에 있어서,
규칙에 따라 크로마 블록의 예측을 블렌딩함으로써 비디오의 현재 블록의 상기 크로마 블록의 크로마 예측 블록을 결정하는데 사용되는 크로마 가중치를 결정하는 단계; 및
상기 결정에 따라 상기 현재 블록과 상기 비디오의 코딩된 표현 간의 변환을 수행하는 단계;를 포함하되,
상기 규칙은 상기 크로마 가중치가 상기 현재 블록의 동일 위치 루마 블록의 루마 가중치로부터 결정되도록 지정하고,
상기 현재 블록은 기하학적 분할 모드로 코딩되는, 비디오 프로세싱 방법.
- 제1 항에 있어서, 상기 규칙은 상기 크로마 가중치가 상기 루마 가중치의 서브셋임을 지정하는, 비디오 프로세싱 방법.
- 제1 항 혹은 제2 항에 있어서, 상기 현재 블록의 크로마 포맷은 4:2:0 혹은 4:2:2 혹은 4:4:4인, 비디오 프로세싱 방법.
- 제1 항에 있어서, 상기 규칙은 크기가 MxN인 상기 크로마 블록에 적용되는 상기 크로마 가중치는 크기가 MxN인 상기 현재 블록의 루마 블록에 적용되는 루마 가중치와 동일하도록 지정하되, M 및 N은 0보다 큰 정수인, 비디오 프로세싱 방법.
- 제4 항에 있어서, 상기 현재 블록의 크로마 포맷은 4:4:4인, 비디오 프로세싱 방법.
- 비디오 프로세싱 방법에 있어서,
규칙에 따라 크로마 블록의 예측을 블렌딩함으로써 비디오의 현재 블록의 상기 크로마 블록의 크로마 예측 블록을 결정하는데 사용되는 크로마 가중치를 결정하는 단계; 및
상기 결정에 따라 상기 현재 비디오 블록과 상기 비디오의 코딩된 표현 간의 변환을 수행하는 단계;를 포함하되,
상기 규칙은 동일 위치 루마 블록의 특징 및/혹은 상기 현재 블록의 특징에 기초하고,
상기 현재 블록은 기하학적 분할 모드로 코딩되는, 비디오 프로세싱 방법.
- 제6 항에 있어서, 상기 동일 위치 루마 블록의 특징은 상기 동일 위치 루마 블록의 높이 및/혹은 너비를 포함하고, 상기 현재 블록의 특징은 상기 현재 블록의 색상 포맷 및/혹은 상기 현재 블록의 크로마 서브샘플링 비율을 포함하는, 비디오 프로세싱 방법.
- 제6 항에 있어서, 상기 규칙은 상기 크로마 블록이 4:4:4 크로마 포맷을 갖는 경우, 상기 크로마 가중치는 상기 동일 위치 루마 블록에 적용되는 루마 가중치와 동일한, 비디오 프로세싱 방법.
- 제6 항에 있어서, 상기 규칙은 상기 크로마 블록이 4:2:0 혹은 4:2:2 크로마 포맷을 갖는 경우, 상기 크로마 가중치는 상기 동일 위치 루마 블록에 적용되는 루마 가중치로부터 서브샘플링되는, 비디오 프로세싱 방법.
- 제9 항에 있어서, 크로마 가중치 WeightC[x][y]는 WeightY[f(x)][g(y)]에 의해 계산되며, x는 0과 W/subWidthC-1사이의 정수이고, y는 0과 H/subHeightC-1 사이의 정수이며, W 및 H는 크로마 블록의 너비 및 높이이며, subWidthC 및 subHeightC는 각각 너비 및 높이 방향에서 크로마 서브샘플링 비율을 나타내고, WeightY[a][b]는 루마 가중치를 나타내고, a는 0과 W-1 사이의 정수이며, b는 0과 H-1 사이의 정수인, 비디오 프로세싱 방법.
- 제6 항에 있어서, 상기 규칙은 상기 크로마 가중치가 상기 동일 위치 루마 블록의 크기에 기초하고, 다른 색상 성분들에 대해 동일하도록 지정하는, 비디오 프로세싱 방법.
- 제11 항에 있어서, WxH 크기인 크로마 성분은 WxH 크기인 루마 성분과 동일한 가중치를 이용하고, W 및 H는 각각 동일 위치 루마 블록의 너비 혹은 높이를 지시하는 정수인, 비디오 프로세싱 방법.
- 제6 항에 있어서, 상기 규칙은 상기 크로마 가중치가 상기 동일 위치 루마 블록의 크기와 상기 비디오 유닛의 색상 성분에 기초하도록 지정하는, 비디오 프로세싱 방법.
- 제13 항에 있어서, 상기 크로마 가중치는 상기 비디오 유닛의 색상 성분마다 상이한, 비디오 프로세싱 방법.
- 제13 항에 있어서, 상기 크로마 가중치는 두 개의 크로마 성분들에 대해 동일한, 비디오 프로세싱 방법.
- 제6 항 내지 제15 항 중 어느 한 항에 있어서, 상기 크로마 가중치 및/혹은 상기 루마 가중치는 정수인, 비디오 프로세싱 방법.
- 제16 항에 있어서, 홀수인 정수 및 짝수인 정수 가중치 모두 허용되는, 비디오 프로세싱 방법.
- 제6 항 내지 제17 항 중 어느 한 항에 있어서, 상기 크로마 가중치 및/혹은 상기 루마 가중치는 [M, N] 범위로 클리핑되고, M 및 N은 정수인, 비디오 프로세싱 방법.
- 비디오 프로세싱 방법에 있어서,
비디오의 현재 블록과 상기 비디오의 코딩된 표현 간의 변환을 수행하는 단계;를 포함하되,
상기 변환 동안, 상기 현재 비디오 블록의 예측 블록은 블렌딩 가중치 마스크에 따라 상기 현재 블록의 예측을 블렌딩함으로써 결정되고,
상기 블렌딩 가중치 마스크는 규칙에 따라 결정되며,
상기 현재 블록은 기하학적 분할 모드로 코딩되는, 비디오 프로세싱 방법.
- 제19 항에 있어서, 상기 규칙은 상기 블렌딩 가중치 마스크가 N 개의 요소를 포함하는 하나 이상의 기 정의된 테이블에 기초하여 유도되도록 지정하되, N은 0보다 큰 정수인, 비디오 프로세싱 방법.
- 제19 항에 있어서, 상기 규칙은 상기 블렌딩 가중치 마스크는 계산 방정식에 의해 계산되도록 지정하는, 비디오 프로세싱 방법.
- 제1 항 내지 제21 항 중 어느 한 항에 있어서, 상기 현재 블록은 상기 현재 블록의 두 개 이상의 서브 영역이 각도(angular) 분할, 수평 분할 혹은 수직 분할을 따라 상기 현재 블록을 분할함으로써 획득되는 기하학적 분할 모드로 코딩되는, 비디오 프로세싱 방법.
- 제1 항 내지 제22 항 중 어느 한 항에 있어서, 상기 변환은 상기 비디오를 상기 코딩된 표현으로 인코딩하는 것을 포함하는, 비디오 프로세싱 방법.
- 제1 항 내지 제22 항 중 어느 한 항에 있어서, 상기 변환은 상기 비디오를 생성하기 위해 상기 코딩된 표현을 디코딩하는 것을 포함하는, 비디오 프로세싱 방법.
- 제1 항 내지 제24 항 중 하나 이상의 항에 표현된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 프로세싱 장치.
- 실행 시, 제1 항 내지 제24 항 중 하나 이상의 항에 표현된 방법을 프로세서가 구현하게 하는 프로그램 코드를 저장하는 컴퓨터 판독 가능한 매체.
- 상기에 설명된 방법 중 임의의 방법에 따라 생성된 비트스트림 표현 혹은 코딩된 표현을 저장하는 컴퓨터 판독 가능한 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019103903 | 2019-09-01 | ||
| CNPCT/CN2019/103903 | 2019-09-01 | ||
| CNPCT/CN2019/110490 | 2019-10-10 | ||
| CN2019110490 | 2019-10-10 | ||
| PCT/CN2020/112779 WO2021037276A1 (en) | 2019-09-01 | 2020-09-01 | Alignment of prediction weights in video coding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220053567A true KR20220053567A (ko) | 2022-04-29 |
Family
ID=74684273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227005834A KR20220053567A (ko) | 2019-09-01 | 2020-09-01 | 비디오 코딩에서의 예측 가중치 정렬 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11689735B2 (ko) |
| EP (1) | EP4008108A4 (ko) |
| JP (2) | JP7372450B2 (ko) |
| KR (1) | KR20220053567A (ko) |
| CN (3) | CN114303370B (ko) |
| BR (1) | BR112022003641A2 (ko) |
| WO (2) | WO2021037277A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023219288A1 (ko) * | 2022-05-12 | 2023-11-16 | 현대자동차주식회사 | 양방향 예측을 이용하는 크로마 성분의 인터 예측을 위한 방법 |
| WO2023249353A1 (ko) * | 2022-06-20 | 2023-12-28 | 현대자동차주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102129404B1 (ko) | 2010-04-13 | 2020-07-02 | 지이 비디오 컴프레션, 엘엘씨 | 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩 |
| PL2559240T3 (pl) * | 2010-04-13 | 2020-01-31 | Ge Video Compression, Llc | Predykcja międzypłaszczyznowa |
| KR102166519B1 (ko) | 2010-04-13 | 2020-10-16 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 영역 병합 |
| CN113055683B (zh) * | 2019-06-24 | 2022-11-01 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| WO2021068921A1 (en) | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector handling in geometry partition mode |
| KR20220113533A (ko) * | 2019-12-30 | 2022-08-12 | 에프쥐 이노베이션 컴퍼니 리미티드 | 비디오 데이터를 코딩하기 위한 디바이스 및 방법 |
| WO2024080832A1 (ko) * | 2022-10-13 | 2024-04-18 | 한국전자통신연구원 | 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
Family Cites Families (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI375470B (en) | 2007-08-03 | 2012-10-21 | Via Tech Inc | Method for determining boundary strength |
| CN102804782A (zh) | 2010-01-15 | 2012-11-28 | 三星电子株式会社 | 用于预测编码的使用可变分区的视频编码的方法和设备以及用于预测编码的使用可变分区的视频解码的方法和设备 |
| JP2011151683A (ja) * | 2010-01-22 | 2011-08-04 | Sony Corp | 画像処理装置および方法 |
| CN102845062B (zh) | 2010-04-12 | 2015-04-29 | 高通股份有限公司 | 用于几何运动分割的定点实施方案 |
| US20120147961A1 (en) * | 2010-12-09 | 2012-06-14 | Qualcomm Incorporated | Use of motion vectors in evaluating geometric partitioning modes |
| KR20120090740A (ko) * | 2011-02-07 | 2012-08-17 | (주)휴맥스 | 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법 |
| JP5857244B2 (ja) | 2011-03-07 | 2016-02-10 | パナソニックＩｐマネジメント株式会社 | 動き補償装置、動画像符号化装置、動画像復号装置、動き補償方法、プログラム、及び集積回路 |
| EP2777286B1 (en) | 2011-11-11 | 2017-01-04 | GE Video Compression, LLC | Effective wedgelet partition coding |
| US20130170562A1 (en) | 2011-12-28 | 2013-07-04 | Qualcomm Incorporated | Deblocking decision functions for video coding |
| CN102547290B (zh) * | 2012-01-20 | 2013-12-18 | 厦门大学 | 一种基于几何分割的视频图像解编码方法 |
| KR101842551B1 (ko) | 2012-01-26 | 2018-03-28 | 한국전자통신연구원 | 모션 파티션 모드 판정 방법 및 부호화기 |
| WO2014014276A1 (ko) | 2012-07-17 | 2014-01-23 | 한국전자통신연구원 | 인루프 필터링 방법 및 이를 이용하는 장치 |
| US20140307780A1 (en) * | 2013-04-11 | 2014-10-16 | Mitsubishi Electric Research Laboratories, Inc. | Method for Video Coding Using Blocks Partitioned According to Edge Orientations |
| US9762927B2 (en) | 2013-09-26 | 2017-09-12 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
| EP3080987B1 (en) | 2013-12-13 | 2021-04-07 | Qualcomm Incorporated | Signaling of simplified depth coding (sdc) for depth intra-and inter prediction modes in 3d video coding |
| US9609343B1 (en) * | 2013-12-20 | 2017-03-28 | Google Inc. | Video coding using compound prediction |
| US10368097B2 (en) * | 2014-01-07 | 2019-07-30 | Nokia Technologies Oy | Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures |
| KR102449511B1 (ko) | 2014-03-16 | 2022-09-30 | 브이아이디 스케일, 인크. | 무손실 비디오 코딩의 시그널링을 위한 방법 및 장치 |
| KR102216947B1 (ko) | 2015-06-08 | 2021-02-18 | 브이아이디 스케일, 인크. | 화면 내용 코딩을위한 인트라 블록 복사 모드 |
| US20170244966A1 (en) | 2016-02-20 | 2017-08-24 | Qualcomm Incorporated | Weighted prediction for screen content coding and multi-layer coding |
| CN109076241B (zh) | 2016-05-04 | 2023-06-23 | 微软技术许可有限责任公司 | 利用样本值的非相邻参考线进行帧内图片预测 |
| US10652575B2 (en) * | 2016-09-15 | 2020-05-12 | Qualcomm Incorporated | Linear model chroma intra prediction for video coding |
| CN110249628B (zh) | 2017-02-06 | 2021-08-20 | 华为技术有限公司 | 用于预测分区的视频编码器和解码器 |
| BR112020002205A2 (pt) | 2017-08-22 | 2020-07-28 | Panasonic Intellectual Property Corporation Of America | codificador de imagem, decodificador de imagem, método de codificação de imagem e método de decodificação de imagem |
| CN117478879A (zh) | 2017-10-16 | 2024-01-30 | 数字洞察力有限公司 | 用于将图像编码/解码的方法和存储比特流的记录介质 |
| MX2020007868A (es) * | 2018-01-26 | 2020-09-07 | Interdigital Vc Holdings Inc | Metodo y aparato para codificacion y decodificacion de video basado en un modelo lineal receptivo a muestras vecinas. |
| KR20230030054A (ko) | 2018-02-09 | 2023-03-03 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 파티션 기반 인트라 코딩 개념 |
| KR20240024300A (ko) | 2018-03-16 | 2024-02-23 | 엘지전자 주식회사 | 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치 |
| KR102657933B1 (ko) | 2018-03-30 | 2024-04-22 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치 |
| WO2020073896A1 (en) | 2018-10-08 | 2020-04-16 | Huawei Technologies Co., Ltd. | Apparatuses and methods for inter prediction of a triangle partition of a coding block |
| CN109327703A (zh) * | 2018-11-13 | 2019-02-12 | 长春理工大学 | 一种基于不同采样块的深度图编解码方法 |
| CN112468824B (zh) * | 2018-12-28 | 2022-05-31 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法及其设备 |
| WO2020147747A1 (en) | 2019-01-15 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Weighted prediction in video coding |
| WO2020180155A1 (ko) | 2019-03-07 | 2020-09-10 | 엘지전자 주식회사 | 비디오 신호를 처리하기 위한 방법 및 장치 |
| US20200296359A1 (en) * | 2019-03-15 | 2020-09-17 | Qualcomm Incorporated | Video coding with unfiltered reference samples using different chroma formats |
| KR20200144070A (ko) | 2019-06-17 | 2020-12-28 | 한국전자통신연구원 | 서브 블록 분할 기반 영상 부호화/복호화 방법 및 장치 |
| WO2020253830A1 (en) | 2019-06-21 | 2020-12-24 | Huawei Technologies Co., Ltd. | Chroma sample weight derivation for geometric partition mode |
| CN110312127B (zh) | 2019-06-25 | 2022-04-19 | 浙江大华技术股份有限公司 | 最可能预测模式列表的构建、图像编码方法和处理装置 |
| MX2022002086A (es) | 2019-08-22 | 2022-03-17 | Lg Electronics Inc | Metodo de decodificacion de imagenes y dispositivo para codificar informacion relacionada con desplazamiento de parametros de cuantificacion de croma. |
| WO2021061020A1 (en) | 2019-09-23 | 2021-04-01 | Huawei Technologies Co., Ltd. | Method and apparatus of weighted prediction for non-rectangular partitioning modes |
| US11405619B2 (en) | 2019-09-23 | 2022-08-02 | Qualcomm Incorporated | Geometric partition mode with simplified motion field storage and motion compensation in video coding |
| CN114450959A (zh) | 2019-09-28 | 2022-05-06 | 北京字节跳动网络技术有限公司 | 视频编解码中的几何分割模式 |
| WO2021068921A1 (en) | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector handling in geometry partition mode |
| US11212523B2 (en) | 2020-01-12 | 2021-12-28 | Mediatek Inc. | Video processing methods and apparatuses of merge number signaling in video coding systems |
-
2020
- 2020-09-01 CN CN202080061451.XA patent/CN114303370B/zh active Active
- 2020-09-01 JP JP2022513430A patent/JP7372450B2/ja active Active
- 2020-09-01 WO PCT/CN2020/112780 patent/WO2021037277A1/en active Application Filing
- 2020-09-01 CN CN202311359616.3A patent/CN117499625A/zh active Pending
- 2020-09-01 BR BR112022003641A patent/BR112022003641A2/pt unknown
- 2020-09-01 CN CN202080061396.4A patent/CN114303382A/zh active Pending
- 2020-09-01 EP EP20856664.6A patent/EP4008108A4/en active Pending
- 2020-09-01 KR KR1020227005834A patent/KR20220053567A/ko not_active Application Discontinuation
- 2020-09-01 WO PCT/CN2020/112779 patent/WO2021037276A1/en unknown
-
2022
- 2022-02-28 US US17/682,751 patent/US11689735B2/en active Active
-
2023
- 2023-02-24 US US18/174,131 patent/US20230232032A1/en active Pending
- 2023-10-19 JP JP2023180020A patent/JP2024001233A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023219288A1 (ko) * | 2022-05-12 | 2023-11-16 | 현대자동차주식회사 | 양방향 예측을 이용하는 크로마 성분의 인터 예측을 위한 방법 |
| WO2023249353A1 (ko) * | 2022-06-20 | 2023-12-28 | 현대자동차주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021037277A1 (en) | 2021-03-04 |
| CN114303382A (zh) | 2022-04-08 |
| JP7372450B2 (ja) | 2023-10-31 |
| EP4008108A4 (en) | 2022-09-21 |
| BR112022003641A2 (pt) | 2022-05-24 |
| US20220210460A1 (en) | 2022-06-30 |
| EP4008108A1 (en) | 2022-06-08 |
| WO2021037276A1 (en) | 2021-03-04 |
| US20230232032A1 (en) | 2023-07-20 |
| JP2024001233A (ja) | 2024-01-09 |
| CN114303370A (zh) | 2022-04-08 |
| CN114303370B (zh) | 2023-11-14 |
| CN117499625A (zh) | 2024-02-02 |
| JP2022545949A (ja) | 2022-11-01 |
| US11689735B2 (en) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113424525B (zh) | 解码器侧细化工具的尺寸选择性应用 | |
| KR20220053567A (ko) | 비디오 코딩에서의 예측 가중치 정렬 | |
| CN113994698B (zh) | 有条件地实施运动候选列表构建过程 | |
| CN114128258B (zh) | 视频编解码中的变换块尺寸的限制 | |
| CN114450959A (zh) | 视频编解码中的几何分割模式 | |
| CN114556915B (zh) | 几何分割模式中被编解码的块的去块 | |
| KR102627821B1 (ko) | 이웃 블록 정보를 사용한 모션 후보 리스트 구성 | |
| KR20220016840A (ko) | 비디오 코딩을 위한 움직임 후보 리스트 구성 | |
| CN114424530A (zh) | 跳过模式信令通知 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal |