KR20210027475A - 비디오 인코더, 비디오 디코더, 및 대응하는 방법 - Google Patents
비디오 인코더, 비디오 디코더, 및 대응하는 방법 Download PDFInfo
- Publication number
- KR20210027475A KR20210027475A KR1020217003769A KR20217003769A KR20210027475A KR 20210027475 A KR20210027475 A KR 20210027475A KR 1020217003769 A KR1020217003769 A KR 1020217003769A KR 20217003769 A KR20217003769 A KR 20217003769A KR 20210027475 A KR20210027475 A KR 20210027475A
- Authority
- KR
- South Korea
- Prior art keywords
- coding block
- motion vector
- group
- control point
- neighboring affine
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 433
- 230000033001 locomotion Effects 0.000 claims abstract description 2001
- 239000013598 vector Substances 0.000 claims abstract description 1693
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 1502
- 230000015654 memory Effects 0.000 claims abstract description 164
- 238000004364 calculation method Methods 0.000 claims description 35
- 239000000523 sample Substances 0.000 description 93
- 230000008569 process Effects 0.000 description 70
- 238000003860 storage Methods 0.000 description 40
- 238000009795 derivation Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 36
- 229910052709 silver Inorganic materials 0.000 description 32
- 239000004332 silver Substances 0.000 description 32
- 238000013139 quantization Methods 0.000 description 24
- 238000013500 data storage Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000000638 solvent extraction Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 238000011426 transformation method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명의 실시형태는 비디오 인코더, 비디오 디코더, 및 대응하는 방법을 제공한다. 본 방법은 비트스트림을 파싱해서 인덱스를 획득하는 단계 - 인덱스는 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하기 위해 사용됨 - ; 인덱스에 기초하여 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 단계 - 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 여기서, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치됨 - ; 및 목표 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 예측된 샘플 값을 예측하는 단계를 포함한다. 본 출원의 실시형태에 따르면, 메모리로부터 판독하는 횟수가 감소될 수 있어, 인코딩 및 디코딩 성능이 향상된다.
Description
본 출원은 비디오 인코딩 및 디코딩 기술의 분야, 특히, 인코딩 방법, 디코딩 방법, 대응하는 인코딩 디바이스, 및 대응하는 디코딩 디바이스에 관한 것이다.
디지털 비디오 능력은 디지털 텔레비전, 디지털 라이브 브로드캐스트 시스템, 무선 브로드캐스트 시스템, 개인 휴대정보 단말기(PDA), 랩탑 또는 데스크탑 컴퓨터, 태블릿 컴퓨터, e-북 리더, 디지털 카메라, 디지털 리코딩 장치, 디지털 미디어 플레이어, 비디오 게임 장치, 비디오 게임 콘솔, 셀룰러 또는 위성 라디오 폰(소위 "스마트폰"), 화상 회의 장치, 비디오 스트리밍 장치 등을 포함한, 매우 다양한 장치에 통합될 수 있다. 디지털 비디오 장치는 비디오 압축 기술, 예를 들어, MPEG-2, MPEG-4, ITU-T H.263, 및 ITU-T H.264/MPEG-4 부분 10: AVC(Advanced Video Coding), 비디오 코딩 표준 H.265/HEVC(High Efficiency Video Coding) 표준, 및 이러한 표준의 확장판에 의해 정의된 표준에서 설명된 비디오 압축 기술을 구현한다. 비디오 장치는 이런 비디오 압축 기술을 구현함으로써, 디지털 비디오 정보를 좀더 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.
비디오 압축 기술은 비디오 시퀀스에서 고유한 리던던시를 감소시키거나 또는 제거하기 위해 공간(인트라-픽처) 예측 및/또는 시간(인터-픽처) 예측을 수행하기 위해 사용된다. 블록-기반 비디오 코딩에서, 비디오 슬라이스(즉, 비디오 프레임 또는 비디오 프레임의 부분)는 픽처 블록으로 파티셔닝될 수도 있으며, 픽처 블록은 또한 트리 블록, 코딩 유닛(CU), 및/또는 코딩 노드로서 지칭될 수도 있다. 픽처의 인트라-코딩될 (I) 슬라이스의 픽처 블록은 동일한 픽처의 이웃하는 블록에서의 참조 샘플에 기초한 공간 예측을 통해서 코딩된다. 픽처의 인터-코딩될 (P 또는 B) 슬라이스에서의 픽처 블록에 대해서는, 동일한 픽처의 이웃하는 블록에서의 참조 샘플에 기초한 공간 예측 또는 다른 참조 픽처에서의 참조 샘플에 기초한 시간 예측이 사용될 수도 있다. 픽처는 프레임으로 지칭될 수 있으며, 참조 픽처는 참조 프레임으로서 지칭될 수도 있다.
HEVC(High Efficiency Video Coding) 표준을 포함한 다양한 비디오 코딩 표준은 픽처 블록에 사용되는 예측 코딩 모드를 제안한다. 구체적으로, 현재의 코딩될 블록은 코딩된 비디오 데이터 블록에 기초하여 예측된다. 인트라 예측 모드에서, 현재의 블록은 현재의 블록과 동일한 픽처에서의 하나 이상의 이전에 디코딩된 이웃하는 블록에 기초하여 예측된다. 인터 예측 모드에서, 현재의 블록은 상이한 픽처에서의 디코딩된 블록에 기초하여 예측된다.
모션 벡터 예측은 인코딩/디코딩 성능에 영향을 미치는 중요한 기술이다. 기존 모션 벡터 예측 프로세스에서는, 픽처에서의 병진 오브젝트에 대한 병진 모션 모델에 기초한 모션 벡터 예측 방법이 있으며, 모션 모델에 기초한 모션 벡터 예측 방법 및 비-병진 오브젝트에 대한 제어 지점 결합에 기초한 모션 벡터 예측 방법이 있다. 모션 모델에 기초한 모션 벡터 예측 방법에서, 대량의 정보가 메모리로부터 판독되어야 하므로, 상대적으로 낮은 인코딩/디코딩 속도를 초래한다. 모션 벡터 예측 프로세스에서 메모리로부터 판독하는 횟수를 감소시키는 방법은 당업자에 의해 연구되고 있는 기술적인 문제이다.
본 출원의 실시형태는 메모리로부터 판독하는 횟수를 어느 정도까지 감소시켜, 인코딩 및 디코딩 성능을 향상시키기 위해, 인코딩 방법, 디코딩 방법, 대응하는 인코딩 디바이스, 및 대응하는 디코딩 디바이스를 제공한다.
제 1 양태에 따르면, 본 출원의 일 실시형태는 인코딩 방법을 개시한다. 본 방법은 레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트(또한, 후보 모션 벡터 리스트로도 지칭됨)에서 목표 후보 모션 벡터 그룹을 결정하는 단계 - 목표 후보 모션 벡터 그룹은 현재의 코딩 블록 (예를 들어, 현재의 아핀 코딩 블록)의 제어 지점의 그룹의 모션 벡터 예측자를 나타내며, 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치되거나, 또는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 - ; 및 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계를 포함한다.
예를 들어, 목표 후보 모션 벡터 그룹이 목표 후보 모션 벡터 2-튜플이면, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 2개의 제어 지점의 모션 벡터 예측자를 나타낸다. 목표 후보 모션 벡터 그룹이 목표 후보 모션 벡터 트리플릿이면, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 3개의 제어 지점의 모션 벡터 예측자를 나타낸다.
선택적으로, 아핀 후보 모션 벡터 리스트를 구성하는 방식은 (도 7a에 나타낸 바와 같은) 이웃하는 블록 A, 이웃하는 블록 B, 이웃하는 블록 C, 이웃하는 블록 D, 및 이웃하는 블록 E의 순서로, 현재의 코딩 블록의 하나 이상의 이웃하는 아핀 코딩 블록을 결정하는 단계 - 하나 이상의 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록을 포함함 - ; 및 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹의 모션 벡터 및 제어 지점의 제 1 그룹의 위치 좌표에 기초하여 제 1 아핀 모델을 구성하고, 그후 제 1 아핀 모델을 이용하여 현재의 코딩 블록의 제어 지점의 제 1 그룹의 모션 벡터 예측자를 획득하는 단계 - 현재의 코딩 블록의 제어 지점의 제 1 그룹의 모션 벡터 예측자는 아핀 후보 모션 벡터 리스트에서의 제 1 후보 모션 벡터 그룹으로서 사용됨 - 일 수도 있다.
선택적으로, 아핀 후보 모션 벡터 리스트의 길이가 1일 때, 목표 모션 벡터 그룹은 인덱스를 이용하여 표시될 필요가 없을 수도 있다.
전술한 방법에서, 아핀 후보 모션 벡터 리스트는 오직 하나의 후보 모션 벡터 그룹을 포함할 수도 있거나, 또는 복수의 후보 모션 벡터 그룹을 포함할 수도 있다. 각각의 후보 모션 벡터 그룹은 모션 벡터 2-튜플 또는 모션 벡터 트리플릿일 수도 있다. 복수의 후보 모션 벡터 그룹이 있을 때, 제 1 후보 모션 벡터 그룹은 복수의 후보 모션 벡터 그룹 중 하나이다. 복수의 후보 모션 벡터 그룹에서의 다른 후보 모션 벡터 그룹의 유도(derivation) 프로세스는 제 1 후보 모션 벡터 그룹의 유도 프로세스와 동일할 수도 있거나, 또는 제 1 후보 모션 벡터 그룹의 유도 프로세스와 상이할 수도 있다. 또, 목표 후보 모션 벡터 그룹은 레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트로부터 선택된 최적의 후보 모션 벡터 그룹이다. 제 1 후보 모션 벡터 그룹이 최적이면 (예를 들어, 최저 레이트-왜곡 비용을 가지면), 선택된 목표 후보 모션 벡터 그룹은 제 1 후보 모션 벡터 그룹이다. 제 1 후보 모션 벡터 그룹이 최적이 아니면, 선택된 목표 후보 모션 벡터 그룹은 제 1 후보 모션 벡터 그룹이 아니다. 제 1 이웃하는 아핀 코딩 블록은 현재의 코딩 블록의 이웃하는 블록에서의 특정의 아핀 코딩 블록이며, 본원에서 구체적으로 한정되지 않는다. 도 7a는 설명을 위한 일 예로서 사용된다. 제 1 이웃하는 아핀 코딩 블록은 이웃하는 위치 A가 위치되는 코딩 블록, 이웃하는 위치 B가 위치되는 코딩 블록, 또는 다른 이웃하는 코딩 블록일 수도 있다. 도 7a에서의 A, B, C, D, 및 E는 단지 이웃하는 위치를 표시하기 위한 것일 뿐, 실제 코딩 블록이 아니라는 점에 유의해야 한다. 게다가, 본 출원의 실시형태에서의 다른 곳에 나타나는 "제 1", "제 2", "제 3" 등은 각각 특정의 오브젝트를 표시한다. "제 1"로 표시되는 특정의 오브젝트, "제 2"에 의해 표시되는 특정의 오브젝트, 및 "제 3"에 의해 표시되는 특정의 오브젝트는 상이한 오브젝트를 나타낸다. 예를 들어, 제어 지점의 제 1 그룹 및 제어 지점의 제 2 그룹이 존재하면, 제어 지점의 제 1 그룹 및 제어 지점의 제 2 그룹은 상이한 제어 지점을 나타낸다. 게다가, 본 출원의 실시형태에서의 "제 1", "제 2" 등은 순서를 의미하지 않는다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점(예를 들어, 좌하단 제어 지점 및 우하단 제어 지점)에 관한 정보(예를 들어, 위치 좌표 및 모션 벡터)가 메모리로부터 판독되는 것을 알 수 있다. 제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록의 좌측 상에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최우측 제어 지점(예를 들어, 우상단 제어 지점 및 우하단 제어 지점)에 관한 정보가 메모리로부터 판독된다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서는, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점(6-파라미터 아핀 모델)을 제어 지점의 제 1 그룹으로서 고정적으로 이용하거나 또는 제 1 이웃하는 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점(4-파라미터 아핀 모델)을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 대신, 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점이거나 - 제 1 이웃하는 아핀 코딩 블록은 코딩 트리 유닛(CTU) 에 위치됨 - , 또는 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보(예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있는 확률이 매우 높아져, 메모리로부터 판독하는 횟수를 감소시키고 인코딩 성능을 향상시킨다.
가능한 구현예에서, 제 1 후보 모션 벡터 그룹이 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되는 것은, 구체적으로, 제 1 후보 모션 벡터 그룹이 제 1 아핀 모델에 기초하여 (예를 들어, 제 1 아핀 모델 및 현재의 코딩 블록의 제어 지점의 그룹의 위치 좌표에 기초하여) 획득되고 제 1 아핀 모델이 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹의 모션 벡터 및 위치 좌표에 기초하여 획득되는 것일 수도 있다.
선택적인 해결책에서, 아핀 후보 모션 벡터 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득된다. 제 2 이웃하는 아핀 코딩 블록에 대한 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 제 1 이웃하는 아핀 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하거나 (예를 들어, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 포함된 제어 지점은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 좌상단 제어 지점이지만, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 포함된 제어 지점은 제 2 이웃하는 아핀 코딩 블록의 우상단 제어 지점, 우하단 제어 지점, 및 좌하단 제어 지점이다), 또는 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹은 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록 및 제 2 이웃하는 아핀 코딩 블록은 현재의 코딩 블록의 둘러싸는 공간적으로 이웃하는 블록에서의 상이한 아핀 코딩 블록이다.
다른 가능한 구현예에서, 진보된 모션 벡터 예측(advanced motion vector prediction, AMVP) 모드에서, 본 방법은 또한 목표 후보 모션 벡터 그룹을 시작 탐색 지점으로 이용하여 레이트-왜곡 비용 기준에 따라서 사전 설정된 탐색 범위 내에서, 제어 지점의 그룹에 속하고 최저 비용을 갖는 모션 벡터를 탐색하는 단계; 및 그후 목표 후보 모션 벡터 그룹과 제어 지점의 그룹의 모션 벡터 사이의 모션 벡터 차이 MVD를 결정하는 단계를 포함한다. 예를 들어, 제어 지점의 제 1 그룹이 제 1 제어 지점 및 제 2 제어 지점을 포함하면, 제 1 제어 지점의 모션 벡터와, 제어 지점의 그룹에서의 제 1 제어 지점의, 목표 후보 모션 벡터 그룹에 의해 표시되는 모션 벡터 예측자 사이의 모션 벡터 차이 MVD가 결정되어야 하며, 제 2 제어 지점의 모션 벡터와, 제어 지점의 그룹에서의 제 2 제어 지점의, 목표 후보 모션 벡터 그룹에 의해 표시되는 모션 벡터 예측자 사이의 모션 벡터 차이 MVD가 결정되어야 한다. 이 경우, 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계는 구체적으로, MVD 및 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계를 포함할 수도 있다.
다른 선택적인 해결책에서, 병합 모드에서, 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계는 구체적으로, 목표 후보 모션 벡터 그룹에 대응하는 인덱스, 참조 프레임 인덱스, 및 예측 방향에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계를 포함할 수도 있다. 병합 모드에서, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터를 나타내는 것으로 이해되어야 한다. 다시 말해서, 병합 모드에서, 모션 벡터 예측자는 모션 벡터와 동일하다.
가능한 구현예에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점인 것은, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함할 수도 있으며, 여기서, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치된다. 제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독된다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점(양자는 최하위 제어 지점에 속함)을 포함하며, 2개의 제어 지점에 관한 정보가 메모리로부터 추가적으로 판독될 필요가 없어, 메모리로부터 판독하는 횟수를 감소시키고 인코딩 성능을 향상시킨다는 점이 명백하다.
선택적으로, 제 1 이웃하는 아핀 코딩 블록이 현재의 블록 상부의 CTU에 위치될 때, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 우상단 제어 지점을 더 포함한다. 제어 지점의 제 1 그룹이 3개의 제어 지점을 포함할 때, 제어 지점의 제 1 그룹에 기초하여 계산된 제 1 후보 모션 벡터 그룹의 정밀도가 더 높음을 알 수 있다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산 및 유도된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 인코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
다른 선택적인 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점인 것은, 구체적으로, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함할 수도 있으며, 여기서, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치된다. 제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록의 좌측 상에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최우측 제어 지점에 관한 정보가 메모리로부터 판독된다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점(양자는 최우측 제어 지점에 속함)을 포함하며, 그리고 2개의 제어 지점에 관한 정보가 메모리로부터 추가적으로 판독될 필요가 없어, 메모리로부터 판독하는 횟수를 감소시키고 인코딩 성능을 향상시킨다는 것이 명백하다.
선택적으로, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 좌하단 제어 지점을 더 포함한다. 제어 지점의 제 1 그룹이 3개의 제어 지점을 포함할 때, 제어 지점의 제 1 그룹에 기초하여 계산된 제 1 후보 모션 벡터 그룹의 정밀도가 더 높음을 알 수 있다.
선택적으로, 우상단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산 및 유도된다. 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우상단 서브-블록의 모션 벡터이고, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 인코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 우상단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
다른 선택적인 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함할 때, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 우상단 제어 지점을 더 포함한다. 제어 지점의 제 1 그룹이 3개의 제어 지점을 포함할 때, 제어 지점의 제 1 그룹에 기초하여 계산된 제 1 후보 모션 벡터 그룹의 정밀도가 더 높음을 알 수 있다.
다른 선택적인 해결책에서, 레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 단계 이후, 본 방법은 또한 목표 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계; 및 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터에 기초하여 현재의 코딩 블록의 예측된 샘플 값을 예측하는 단계를 포함한다(예를 들어, 하나 이상의 서브-블록의 예측된 샘플 값은 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터에 기초하여 예측되고, 그후 현재의 코딩 블록의 예측된 샘플 값이 획득된다). 선택적으로, 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 아핀 모델 및 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 아핀 모델 및 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)에 기초한 계산을 통해서 획득된다. 예를 들어, 아핀 모델은 목표 후보 모션 벡터 그룹에 기초하여 구성된다. 현재의 코딩 블록의 아핀 모델의 모델 파라미터는 목표 후보 모션 벡터 그룹 및 현재의 코딩 블록의 제어 지점의 그룹에 속하며 목표 후보 모션 벡터 그룹에 의해 표현되는 위치 좌표에 기초하여 획득된다. 그 후, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)를 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)를 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 아핀 후보 모션 벡터 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
선택적으로, 임의의 코딩 블록(예컨대, 현재의 코딩 블록 또는 이웃하는 코딩 블록)에 대해, 코딩 블록의 좌상단 제어 지점의 위치 좌표가 (x, y)이면, 코딩 블록의 우상단 제어 지점의 좌표가 (x+w, y)이고, 코딩 블록의 좌하단 제어 지점의 좌표가 (x, y+h)이고, 그리고 코딩 블록의 우하단 제어 지점의 좌표가 (x+w, y+h)이다. w는 코딩 블록의 폭이며, h는 코딩 블록의 높이이다.
제 2 양태에 따르면, 본 출원의 일 실시형태는 제 1 양태에서의 임의의 방법을 구현하도록 구성된 여러 기능 유닛을 포함한, 비디오 인코더를 제공한다. 예를 들어, 비디오 인코더는,
레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하도록 구성된 인터 예측 유닛으로서, 여기서, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치되거나, 또는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하며, 인터 예측 유닛은 또한 인터 예측 모듈, 특히, 모션 추정 모듈로서 지칭될 수도 있는, 상기 인터 예측 유닛; 및
목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하도록 구성된 엔트로피 인코딩 유닛을 포함할 수도 있다.
제 3 양태에 따르면, 본 출원의 일 실시형태는 제 1 양태에서의 임의의 방법을 구현하도록 구성된 비디오 인코더를 포함한, 비디오 데이터 인코딩 디바이스를 제공한다. 예를 들어, 디바이스는,
비디오 데이터를 비트스트림의 형태로 저장하도록 구성된 메모리; 및
레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 것으로서, 여기서, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치되거나, 또는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는, 상기 결정하고; 그리고 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하도록 구성된 비디오 인코더를 포함할 수도 있다.
제 4 양태에 따르면, 본 출원의 일 실시형태는 비디오 데이터 인코딩 디바이스를 제공한다. 디바이스는 서로 커플링된 비휘발성 메모리 및 프로세서를 포함한다. 메모리는 프로그램 명령을 저장하도록 구성된다. 프로세서는 제 1 양태의 일부 또는 모든 단계 및 제 1 양태의 임의의 방법을 수행하는 프로그램 코드를 호출하도록 구성된다. 예를 들어, 프로세서는 다음 단계를 수행하는 프로그램 코드를 호출하도록 구성된다:
레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 단계; 및
목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계 - 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치되거나, 또는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 - .
제 5 양태에 따르면, 본 출원의 일 실시형태는 컴퓨터-판독가능 저장 매체를 제공한다. 컴퓨터-판독가능 저장 매체는 프로그램 코드를 저장하며, 프로그램 코드는 제 1 양태의 임의의 방법의 일부 또는 모든 단계를 수행하는데 사용되는 명령을 포함한다.
제 6 양태에 따르면, 본 출원의 일 실시형태는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 컴퓨터가 제 1 양태의 임의의 방법의 일부 또는 모든 단계를 수행가능하게 한다.
본 출원의 제 2 내지 제 6 양태에서의 기술적인 해결책이 본 출원의 제 1 양태에서의 기술적인 해결책과 일치하며, 양태 및 대응하는 실현가능한 구현예에 의해 달성되는 유익한 효과가 유사한 것으로 이해되어야 한다. 세부 사항은 다시 설명되지 않는다.
제 7 양태에 따르면, 본 출원의 일 실시형태는 디코딩 방법을 개시한다. 본 방법은,
비트스트림을 파싱해서 인덱스를 획득하는 단계 - 인덱스는 현재의 코딩 블록(예를 들어, 현재의 아핀 코딩 블록)의 목표 후보 모션 벡터 그룹을 표시하기 위해 사용됨 - ;
인덱스에 기초하여 아핀 후보 모션 벡터 리스트(또한, 후보 모션 벡터 리스트로도 지칭됨)에서 목표 후보 모션 벡터 그룹을 결정하는 단계(선택적으로, 아핀 후보 모션 벡터 리스트의 길이가 1일 때, 비트스트림은 인덱스를 획득하기 위해 파싱될 필요가 없지만, 목표 모션 벡터 그룹이 직접 결정될 수 있다) - 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치되거나, 또는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 - ;
목표 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계; 및
현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터에 기초하여 현재의 코딩 블록의 예측된 샘플 값을 예측하는 단계를 포함한다.
선택적으로, 예를 들어, 아핀 후보 모션 벡터 리스트를 구성하는 방식은,
(도 7a에 나타낸 바와 같은) 이웃하는 블록 A, 이웃하는 블록 B, 이웃하는 블록 C, 이웃하는 블록 D, 및 이웃하는 블록 E의 순서로, 현재의 코딩 블록의 하나 이상의 이웃하는 아핀 코딩 블록을 결정하는 단계 - 하나 이상의 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록을 포함함 - ; 및
제 1 아핀 모델을 이용하여 현재의 코딩 블록의 제어 지점의 제 1 그룹의 모션 벡터 예측자를 획득하는 단계 - 현재의 코딩 블록의 제어 지점의 제 1 그룹의 모션 벡터 예측자는 아핀 후보 모션 벡터 리스트에서의 제 1 후보 모션 벡터 그룹으로 사용되며 제 1 아핀 모델의 모델 파라미터는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹의 모션 벡터 및 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹의 위치 좌표에 기초하여 결정됨 - 일 수도 있다.
전술한 방법에서, 아핀 후보 모션 벡터 리스트는 오직 하나의 후보 모션 벡터 그룹을 포함할 수도 있거나, 또는 복수의 후보 모션 벡터 그룹을 포함할 수도 있다. 각각의 후보 모션 벡터 그룹은 모션 벡터 2-튜플 또는 모션 벡터 트리플릿일 수도 있다. 복수의 후보 모션 벡터 그룹이 있을 때, 제 1 후보 모션 벡터 그룹은 복수의 후보 모션 벡터 그룹 중 하나이다. 복수의 후보 모션 벡터 그룹에서의 다른 후보 모션 벡터 그룹의 유도 프로세스는 제 1 후보 모션 벡터 그룹의 유도 프로세스와 동일할 수도 있거나, 또는 제 1 후보 모션 벡터 그룹의 유도 프로세스와 상이할 수도 있다. 또, 목표 후보 모션 벡터 그룹은 파싱을 통해서 비트스트림으로부터 획득된 인덱스에 기초하여 아핀 후보 모션 벡터 리스트로부터 선택되는 후보 모션 벡터 그룹이다. 인덱스가 제 1 후보 모션 벡터 그룹을 가리키면, 목표 후보 모션 벡터 그룹은 제 1 후보 모션 벡터 그룹이다. 인덱스가 다른 후보 모션 벡터 그룹을 가리키면, 목표 후보 모션 벡터 그룹은 제 1 후보 모션 벡터 그룹이 아니다. 제 1 이웃하는 아핀 코딩 블록은 현재의 코딩 블록의 이웃하는 블록에서의 특정의 아핀 코딩 블록이며, 본원에서 구체적으로 한정되지 않는다. 도 7a는 설명을 위한 일 예로서 사용된다. 제 1 이웃하는 아핀 코딩 블록은 이웃하는 위치 A에서의 코딩 블록, 이웃하는 위치 B에서의 코딩 블록, 또는 다른 이웃하는 코딩 블록일 수도 있다. 게다가, 본 출원의 실시형태에서의 다른 곳에 나타나는 "제 1", "제 2", "제 3" 등은 각각 특정의 오브젝트를 표시한다. "제 1"로 표시되는 특정의 오브젝트, "제 2"에 의해 표시되는 특정의 오브젝트, 및 "제 3"에 의해 표시되는 특정의 오브젝트는 상이한 오브젝트를 나타낸다. 예를 들어, 제어 지점의 제 1 그룹 및 제어 지점의 제 2 그룹이 존재하면, 제어 지점의 제 1 그룹 및 제어 지점의 제 2 그룹은 상이한 제어 지점을 나타낸다. 게다가, 본 출원의 실시형태에서의 "제 1", "제 2" 등은 순서를 의미하지 않는다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독된다는 것을 알 수 있다. 제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록의 좌측 상에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최우측 제어 지점에 관한 정보가 메모리로부터 판독된다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 (또는, 제 1 이웃하는 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는) 대신에, 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점이거나 - 제 1 이웃하는 아핀 코딩 블록은 코딩 트리 유닛(CTU) 에 위치됨 - ,, 또는 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보(예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있는 확률이 매우 높아져, 메모리로부터 판독하는 횟수를 감소시키고 디코딩 성능을 향상시킨다.
가능한 구현예에서, 제 1 후보 모션 벡터 그룹이 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되는 것은, 구체적으로, 제 1 후보 모션 벡터 그룹은 제 1 아핀 모델에 기초하여 획득되며(예를 들어, 제 1 아핀 모델 및 현재의 코딩 블록의 제어 지점의 그룹의 위치 좌표에 기초하여 획득되며) 제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹의 모션 벡터 및 위치 좌표에 기초하여 결정되는 것이다. 이 경우, 목표 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계는, 구체적으로, 제 2 아핀 모델에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계(예를 들어, 제 2 아핀 모델 및 현재의 코딩 블록의 하나 이상의 서브-블록의 위치 좌표에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계)이며, 여기서, 제 2 아핀 모델은 목표 후보 모션 벡터 그룹 및 현재의 코딩 블록의 제어 지점의 그룹의 위치 좌표에 기초하여 결정된다.
다른 선택적인 해결책에서, 아핀 후보 모션 벡터 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득된다. 제 2 이웃하는 아핀 코딩 블록에 대한 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 제 1 이웃하는 아핀 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하거나(예를 들어, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 포함된 제어 지점은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 좌상단 제어 지점이지만, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 포함된 제어 지점은 제 2 이웃하는 아핀 코딩 블록의 우상단 제어 지점, 우하단 제어 지점, 및 좌하단 제어 지점이거나), 또는 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹은 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다.
선택적인 해결책에서, 진보된 모션 벡터 예측(AMVP) 모드에서, 목표 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계는, 구체적으로, 파싱을 통해서 비트스트림으로부터 획득된 모션 벡터 차이 MVD 및 인덱스에 의해 표시되는 목표 후보 모션 벡터 그룹에 기초하여 새로운 후보 모션 벡터 그룹을 획득하는 단계; 및 그후 새로운 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계를 포함할 수도 있다. 예를 들어, 제 2 아핀 모델은 새로운 후보 모션 벡터 그룹 및 현재의 코딩 블록의 제어 지점의 그룹의 위치 좌표에 기초하여 먼저 결정되며, 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터는 제 2 아핀 모델에 기초하여 획득된다. 예를 들어, 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터는 제 2 아핀 모델 및 현재의 코딩 블록의 하나 이상의 서브-블록의 위치 좌표에 기초하여 획득된다.
다른 가능한 구현예에서, 병합 모드에서, 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터에 기초하여 현재의 코딩 블록의 예측된 샘플 값을 예측하는 단계는, 구체적으로, 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터, 및 참조 프레임 인덱스 및 인덱스에 의해 표시되는 예측 방향에 기초하여 현재의 코딩 블록의 예측된 샘플 값을 예측하는 단계를 포함할 수도 있다.
다른 가능한 구현예에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점인 것은, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함할 수도 있으며, 여기서, 제 1 이웃하는 아핀 코딩 블록이 CTU에 위치된다. 제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독된다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점(양자는 최하위 제어 지점에 속함)을 포함하며, 그리고, 2개의 제어 지점에 관한 정보가 메모리로부터 추가적으로 판독될 필요가 없어, 메모리로부터 판독하는 횟수를 감소시키고 디코딩 성능을 향상시킨다는 점이 명백하다.
다른 선택적인 해결책에서, 제 1 이웃하는 아핀 코딩 블록이 현재의 블록 상부의 CTU에 위치될 때, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 우상단 제어 지점을 더 포함한다. 제어 지점의 제 1 그룹이 3개의 제어 지점을 포함할 때, 제어 지점의 제 1 그룹에 기초하여 계산된 제 1 후보 모션 벡터 그룹의 정밀도가 더 높음을 알 수 있다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산 및 유도된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 디코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
다른 가능한 구현예에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점인 것은, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함할 수도 있으며, 여기서, 제 1 이웃하는 아핀 코딩 블록이 CTU에 위치된다. 제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록의 좌측 상에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최우측 제어 지점에 관한 정보가 메모리로부터 판독된다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점(양자는 최우측 제어 지점에 속함)을 포함하며, 그리고, 2개의 제어 지점에 관한 정보가 메모리로부터 추가적으로 판독될 필요가 없어, 메모리로부터 판독하는 횟수를 감소시키고 디코딩 성능을 향상시킨다는 점이 명백하다.
다른 가능한 구현예에서, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 좌하단 제어 지점을 더 포함한다. 제어 지점의 제 1 그룹이 3개의 제어 지점을 포함할 때, 제어 지점의 제 1 그룹에 기초하여 계산된 제 1 후보 모션 벡터 그룹의 정밀도가 더 높음을 알 수 있다.
선택적으로, 우상단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우상단 서브-블록의 모션 벡터이고, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 디코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 우상단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
다른 가능한 구현예에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹이 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함할 때, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점을 더 포함한다. 제어 지점의 제 1 그룹이 3개의 제어 지점을 포함할 때, 제어 지점의 제 1 그룹에 기초하여 계산된 제 1 후보 모션 벡터 그룹의 정밀도가 더 높음을 알 수 있다.
다른 선택적인 해결책에서, 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 아핀 모델 및 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 아핀 모델 및 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)에 기초한 계산을 통해서 획득된다. 예를 들어, 아핀 모델은 목표 후보 모션 벡터 그룹 및 현재의 코딩 블록의 제어 지점의 그룹의 위치 좌표에 기초하여 구성된다. 아핀 모델의 모델 파라미터는 목표 후보 모션 벡터 및 현재의 코딩 블록의 제어 지점의 그룹의 위치 좌표에 기초하여 획득된다. 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)를 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)를 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 아핀 후보 모션 벡터 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
선택적으로, 임의의 코딩 블록(예컨대, 현재의 코딩 블록 또는 이웃하는 코딩 블록)에 대해, 코딩 블록의 좌상단 제어 지점의 위치 좌표가 (x, y)이면, 코딩 블록의 우상단 제어 지점의 좌표가 (x+w, y)이고, 코딩 블록의 좌하단 제어 지점의 좌표가 (x, y+h)이고, 그리고 코딩 블록의 우하단 제어 지점의 좌표가 (x+w, y+h)이다. w는 코딩 블록의 폭이며, h는 코딩 블록의 높이이다.
제 8 양태에 따르면, 본 출원의 일 실시형태는 제 7 양태의 임의의 방법을 구현하도록 구성된 여러 기능 유닛을 포함한, 비디오 디코더를 제공한다. 예를 들어, 비디오 디코더는,
비트스트림을 파싱해서 인덱스를 획득하도록 구성된 엔트로피 디코딩 유닛으로서, 여기서, 인덱스는 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하기 위해 사용되는, 상기 엔트로피 디코딩 유닛; 및
인덱스에 기초하여 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 것으로서, 여기서, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치되거나, 또는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는, 상기 결정하고; 목표 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하고; 그리고, 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터에 기초하여 현재의 코딩 블록의 예측된 샘플 값을 예측하도록 구성된 인터 예측 유닛을 포함할 수도 있다.
제 9 양태에 따르면, 본 출원의 일 실시형태는 제 7 양태의 임의의 방법을 구현하도록 구성된 비디오 디코더를 포함한, 비디오 데이터 디코딩 디바이스를 제공한다. 예를 들어, 디바이스는,
비디오 데이터를 비트스트림의 형태로 저장하도록 구성된 메모리; 및
비트스트림을 파싱해서 인덱스를 획득하는 것으로서, 여기서, 인덱스는 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하기 위해 사용되는, 상기 파싱하고; 인덱스에 기초하여 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 것으로서, 여기서, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치되거나, 또는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는, 상기 결정하고; 목표 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하고; 그리고, 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터에 기초하여 현재의 코딩 블록의 예측된 샘플 값을 예측하도록 구성된 비디오 디코더를 포함할 수도 있다.
제 10 양태에 따르면, 본 출원의 일 실시형태는 비디오 데이터 디코딩 디바이스를 제공한다. 디바이스는 서로 커플링된 비휘발성 메모리 및 프로세서를 포함한다. 메모리는 프로그램 명령을 저장하도록 구성된다. 프로세서는 제 7 양태의 일부 또는 모든 단계 및 제 7 양태의 임의의 방법을 수행하는 프로그램 코드를 호출하도록 구성된다. 예를 들어, 프로세서는 다음 단계를 수행하는 프로그램 코드를 호출하도록 구성된다:
비트스트림을 파싱해서 인덱스를 획득하는 단계 - 인덱스는 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하기 위해 사용됨 - ;
인덱스에 기초하여 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 단계 - 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치되거나, 또는 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 - ;
목표 후보 모션 벡터 그룹에 기초하여 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계; 및
현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터에 기초하여 현재의 코딩 블록의 예측된 샘플 값을 예측하는 단계.
제 8 양태에 따르면, 본 출원의 일 실시형태는 컴퓨터-판독가능 저장 매체를 제공한다. 컴퓨터-판독가능 저장 매체는 프로그램 코드를 저장하며, 프로그램 코드는 제 7 양태의 임의의 방법의 일부 또는 모든 단계를 수행하는데 사용되는 명령을 포함한다.
제 12 양태에 따르면, 본 출원의 일 실시형태는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 컴퓨터가 제 7 양태의 임의의 방법의 일부 또는 모든 단계를 수행가능하게 한다.
본 출원의 제 8 내지 제 12 양태에서의 기술적인 해결책이 본 출원의 제 7 양태에서의 기술적인 해결책과 일치하며, 양태 및 대응하는 실현가능한 구현예에 의해 달성되는 유익한 효과가 유사한 것으로 이해되어야 한다. 세부 사항은 다시 설명되지 않는다.
본 출원의 실시형태에서의 기술적인 해결책을 보다 명확하게 설명하기 위해, 다음은 본 출원의 실시형태를 설명하기 위한 첨부 도면을 설명한다.
도 1a는 본 출원의 일 실시형태에 따른 비디오 인코딩 및 디코딩 시스템의 개략 블록도이다.
도 1b는 본 출원의 일 실시형태에 따른, 비디오 데이터 프로세싱의 개략적인 플로우차트이다.
도 2a는 본 출원의 일 실시형태에 따른 비디오 인코더의 개략 블록도이다.
도 2b는 본 출원의 일 실시형태에 따른 비디오 디코더의 개략 블록도이다.
도 3은 본 출원의 일 실시형태에 따른 비디오 픽처 인코딩을 위한 인터 예측 방법의 플로우차트이다.
도 4는 본 출원의 일 실시형태에 따른 비디오 픽처 디코딩을 위한 인터 예측 방법의 플로우차트이다.
도 5a는 본 출원의 일 실시형태에 따른 현재의 픽처 블록 및 참조 블록의 모션 정보의 개략도이다.
도 5b는 본 출원의 일 실시형태에 따른 인터 예측 시나리오의 개략도이다.
도 5c는 본 출원의 일 실시형태에 따른 프레임간 이웃하는 블록의 시나리오의 개략도이다.
도 5d는 본 출원의 일 실시형태에 따른 이웃하는 아핀 코딩 블록의 모션 벡터의 개략도이다.
도 6은 본 출원의 일 실시형태에 따른 인코딩 방법의 개략적인 플로우차트이다.
도 7a는 본 출원의 일 실시형태에 따른 이웃하는 블록의 시나리오의 개략도이다.
도 7b는 본 출원의 일 실시형태에 따른 이웃하는 블록의 시나리오의 개략도이다.
도 8a는 본 출원의 일 실시형태에 따른 모션 보상 유닛의 개략적인 구조도이다.
도 8b는 본 출원의 일 실시형태에 따른 다른 모션 보상 유닛의 개략적인 구조도이다.
도 9는 본 출원의 일 실시형태에 따른 디코딩 방법의 개략적인 플로우차트이다.
도 9a는 본 출원의 일 실시형태에 따른 아핀 후보 모션 벡터 리스트를 구성하는 개략적인 플로우차트이다.
도 9b는 본 출원의 일 실시형태에 따른 아핀 후보 모션 벡터 리스트를 구성하는 개략적인 플로우차트이다.
도 9c는 본 출원의 일 실시형태에 따른 아핀 후보 모션 벡터 리스트를 구성하는 개략적인 플로우차트이다.
도 9d는 본 출원의 일 실시형태에 따른 아핀 후보 모션 벡터 리스트를 구성하는 개략적인 플로우차트이다.
도 10은 본 출원의 일 실시형태에 따른 인코딩 디바이스 또는 디코딩 디바이스의 개략적인 구조도이다.
도 11은 예시적인 실시형태에 따른, 도 2a의 인코더(100) 및/또는 도 2b의 디코더(200)를 포함하는 비디오 코딩 시스템(1100)이다.
도 1a는 본 출원의 일 실시형태에 따른 비디오 인코딩 및 디코딩 시스템의 개략 블록도이다.
도 1b는 본 출원의 일 실시형태에 따른, 비디오 데이터 프로세싱의 개략적인 플로우차트이다.
도 2a는 본 출원의 일 실시형태에 따른 비디오 인코더의 개략 블록도이다.
도 2b는 본 출원의 일 실시형태에 따른 비디오 디코더의 개략 블록도이다.
도 3은 본 출원의 일 실시형태에 따른 비디오 픽처 인코딩을 위한 인터 예측 방법의 플로우차트이다.
도 4는 본 출원의 일 실시형태에 따른 비디오 픽처 디코딩을 위한 인터 예측 방법의 플로우차트이다.
도 5a는 본 출원의 일 실시형태에 따른 현재의 픽처 블록 및 참조 블록의 모션 정보의 개략도이다.
도 5b는 본 출원의 일 실시형태에 따른 인터 예측 시나리오의 개략도이다.
도 5c는 본 출원의 일 실시형태에 따른 프레임간 이웃하는 블록의 시나리오의 개략도이다.
도 5d는 본 출원의 일 실시형태에 따른 이웃하는 아핀 코딩 블록의 모션 벡터의 개략도이다.
도 6은 본 출원의 일 실시형태에 따른 인코딩 방법의 개략적인 플로우차트이다.
도 7a는 본 출원의 일 실시형태에 따른 이웃하는 블록의 시나리오의 개략도이다.
도 7b는 본 출원의 일 실시형태에 따른 이웃하는 블록의 시나리오의 개략도이다.
도 8a는 본 출원의 일 실시형태에 따른 모션 보상 유닛의 개략적인 구조도이다.
도 8b는 본 출원의 일 실시형태에 따른 다른 모션 보상 유닛의 개략적인 구조도이다.
도 9는 본 출원의 일 실시형태에 따른 디코딩 방법의 개략적인 플로우차트이다.
도 9a는 본 출원의 일 실시형태에 따른 아핀 후보 모션 벡터 리스트를 구성하는 개략적인 플로우차트이다.
도 9b는 본 출원의 일 실시형태에 따른 아핀 후보 모션 벡터 리스트를 구성하는 개략적인 플로우차트이다.
도 9c는 본 출원의 일 실시형태에 따른 아핀 후보 모션 벡터 리스트를 구성하는 개략적인 플로우차트이다.
도 9d는 본 출원의 일 실시형태에 따른 아핀 후보 모션 벡터 리스트를 구성하는 개략적인 플로우차트이다.
도 10은 본 출원의 일 실시형태에 따른 인코딩 디바이스 또는 디코딩 디바이스의 개략적인 구조도이다.
도 11은 예시적인 실시형태에 따른, 도 2a의 인코더(100) 및/또는 도 2b의 디코더(200)를 포함하는 비디오 코딩 시스템(1100)이다.
다음은 본 출원의 실시형태에서 첨부 도면을 참조하여 본 출원의 실시형태를 설명한다.
비디오 스트림 또는 비디오 스트림의 부분, 예컨대 비디오 프레임 또는 픽처 블록의 인코딩을 위해, 비디오 스트림에서의 시간 및 공간 유사성이 인코딩 성능을 향상시키기 위해 사용될 수도 있다. 예를 들어, 비디오 스트림에서의 현재의 픽처 블록에 대해, 현재의 픽처 블록에 사용되는 모션 정보가 비디오 스트림에서의 이전 인코딩 블록에 기초하여 예측될 수도 있으며, 그리고 예측 블록과 현재의 픽처 블록(즉, 원래 블록) 사이의 차이(또한, 잔차로서 지칭됨)가 식별되어, 이전 인코딩 블록에 기초하여 현재의 픽처 블록을 인코딩한다. 이 방법에 따르면, 단지 전체 현재의 픽처 블록보다는, 현재의 픽처 블록 및 일부 파라미터를 발생시키는데 사용되는 잔차가, 디지털 비디오 출력 비트스트림에 포함된다. 이러한 기술은 인터 예측으로서 지칭될 수도 있다.
모션 벡터는 인터 예측 프로세스에서 중요한 파라미터이며, 현재의 코딩 블록에 대한 이전 인코딩 블록의 공간 변위를 나타낸다. 모션 탐색과 같은, 모션 추정 방법이 모션 벡터를 획득하기 위해 사용될 수도 있다. 초기 인터 예측 기술에서, 모션 벡터를 나타내는 비트가 인코딩된 비트스트림에 포함되어, 디코더로 하여금, 예측 블록을 재생하여, 복원된 블록을 획득가능하게 한다. 인코딩 효율을 더욱 향상시키기 위해, 참조 모션 벡터를 이용하여 모션 벡터를 차분적으로(differentially) 인코딩하는, 즉, 전체 모션 벡터를 인코딩하는 대신, 단지 모션 벡터와 참조 모션 벡터 사이의 차이만을 인코딩하는 것이 추가로 제안된다. 일부의 경우, 참조 모션 벡터는 비디오 스트림에서 이전에 사용된 모션 벡터로부터 선택될 수도 있다. 현재의 모션 벡터를 인코딩하기 위해 이전에 사용된 모션 벡터를 선택하는 것은 인코딩된 비디오 비트스트림에 포함된 비트의 수를 추가로 감소시킬 수 있다.
도 1은 본 출원의 일 실시형태에 따른, 예시적인 비디오 코딩 시스템(1)의 블록도이다. 본 명세서에서 사용될 때, 용어 "비디오 코덱"은 일반적으로 비디오 인코더 및 비디오 디코더를 지칭한다. 본 출원에서, 용어 "비디오 코딩" 또는 "코딩"은 비디오 인코딩 또는 비디오 디코딩을 일반적으로 지칭할 수도 있다. 비디오 코딩 시스템(1)에서의 비디오 인코더(100) 및 비디오 디코더(200)는 예측된 모션 벡터가 모션 추정 방법을 이용하여 획득되는 모션 벡터에 최대한 가깝도록, 본 출원에서 제공되는 복수의 새로운 인터 예측 모드 중 어느 하나에서 설명되는 다양한 방법 예에 따라 현재의 코딩된 픽처 블록 또는 현재의 코딩된 픽처 블록의 서브-블록의 모션 정보, 예를 들어, 모션 벡터를 예측하도록 구성된다. 이러한 방법으로, 모션 벡터 차이가 인코딩 동안 송신될 필요가 없으므로, 인코딩 및 디코딩 성능을 추가로 향상시킨다.
도 1a에 나타낸 바와 같이, 비디오 코딩 시스템(1)은 소스 장치(10) 및 목적지 장치(20)를 포함한다. 소스 장치(10)는 인코딩된 비디오 데이터를 발생시킨다. 따라서, 소스 장치(10)는 비디오 인코딩 장치로 지칭될 수도 있다. 목적지 장치(20)는 소스 장치(10)에 의해 발생된 인코딩된 비디오 데이터를 디코딩할 수도 있다. 따라서, 목적지 장치(20)는 비디오 디코딩 장치로 지칭될 수도 있다. 소스 장치(10), 목적지 장치(20), 또는 소스 장치(10) 및 목적지 장치(20) 양자의 다양한 구현 해결책은 하나 이상의 프로세서 및 하나 이상의 프로세서에 커플링된 메모리를 포함할 수도 있다. 메모리는, RAM, ROM, EEPROM, 플래시 메모리, 또는 본 명세서에서 설명된 바와 같은, 필요한 프로그램 코드를 명령 또는 컴퓨터에 의해 액세스될 수 있는 데이터 구조의 형태로 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수도 있지만 이에 한정되지 않는다. 이해의 용이성을 위해, 도 1b는 비디오 데이터가 소스 장치(10)에 의해 수집, 인코딩, 및 전송되고 목적지 장치(20)에 의해 수신, 디코딩, 및 렌더링되는 시나리오를 추가로 나타낸다.
소스 장치(10) 및 목적지 장치(20)는 데스크탑 컴퓨터, 모바일 컴퓨팅 장치, 노트북(예를 들어, 랩탑) 컴퓨터, 태블릿 컴퓨터, 셋 탑 박스, 핸드헬드 전화기 세트, 예컨대 "스마트" 폰, 텔레비전 세트, 카메라, 디스플레이 장치, 디지털 미디어 플레이어, 비디오 게임 콘솔, 차량 내 컴퓨터, 및 유사한 장치를 포함한, 다양한 장치를 포함할 수도 있다.
목적지 장치(20)는 소스 장치(10)로부터 링크(30)를 통해서 인코딩된 비디오 데이터를 수신할 수도 있다. 링크(30)는 인코딩된 비디오 데이터를 소스 장치(10)로부터 목적지 장치(20)로 전송할 수 있는 하나 이상의 매체 또는 장치를 포함할 수도 있다. 일 예에서, 링크(30)는 소스 장치(10)로 하여금 인코딩된 비디오 데이터를 목적지 장치(20)로 직접 실시간으로 송신가능하게 하는 하나 이상의 통신 매체를 포함할 수도 있다. 이 예에서, 소스 장치(10)는 인코딩된 비디오 데이터를 통신 표준(예를 들어, 무선 통신 프로토콜)에 따라서 변조할 수도 있으며, 변조된 비디오 데이터를 목적지 장치(20)로 송신할 수도 있다. 하나 이상의 통신 매체는 무선 통신 매체 및/또는 유선 통신 매체, 예를 들어, 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인을 포함할 수도 있다. 하나 이상의 통신 매체는 패킷-기반 네트워크의 부분일 수도 있으며, 패킷-기반 네트워크는 예를 들어, 근거리 네트워크, 광역 네트워크, 또는 글로벌 네트워크(예를 들어, 인터넷)이다. 하나 이상의 통신 매체는 라우터, 스위치, 기지국, 또는 소스 장치(10)로부터 목적지 장치(20)로의 통신을 용이하게 하는 다른 디바이스를 포함할 수도 있다.
다른 예에서, 인코딩된 데이터는 출력 인터페이스(140)를 통해서 저장 장치(40)로 출력될 수도 있다. 이와 유사하게, 인코딩된 데이터는 입력 인터페이스(240)를 통해서 저장 장치(40)로부터 액세스될 수도 있다. 저장 장치(40)는 복수의 분산 또는 로컬로 액세스된 데이터 저장 매체 중 임의의 하나, 예를 들어, 하드 디스크 드라이브, 블루-레이 디스크, DVD, CD-ROM, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하도록 구성된 임의의 다른 적합한 디지털 저장 매체를 포함할 수도 있다.
다른 예에서, 저장 장치(40)는 파일 서버, 또는 소스 장치(10)에 의해 발생된 인코딩된 비디오를 유지할 수 있는 다른 중간 저장 장치에 대응할 수도 있다. 목적지 장치(20)는 스트리밍 송신 또는 다운로딩을 통해서 저장 장치(40)로부터, 저장된 비디오 데이터에 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 인코딩된 비디오 데이터를 목적지 장치(20)로 송신하는 것이 가능한 임의 종류의 서버일 수도 있다. 예를 들어, 파일 서버는 (예를 들어, 웹사이트에 사용된) 네트워크 서버, FTP 서버, 네트워크-부착된 저장(NAS) 장치, 또는 로컬 디스크 드라이브일 수도 있다. 목적지 장치(20)는 (인터넷 접속을 포함한) 임의의 표준 데이터 접속을 통해서, 인코딩된 비디오 데이터에 액세스할 수도 있다. 표준 데이터 접속은 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하는데 적합한, 무선 채널(예를 들어, Wi-Fi 접속), 유선 접속(예를 들어, DSL 또는 케이블 모뎀), 또는 이들의 결합을 포함할 수도 있다. 저장 장치(40)로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로딩 송신, 또는 이들의 결합일 수도 있다.
본 출원에서의 모션 벡터 예측 기술은, 복수의 멀티미디어 애플리케이션, 예를 들어, 오버-디-에어 텔레비전 브로드캐스트, 케이블 텔레비전 송신, 위성 텔레비전 송신, (예를 들어, 인터넷을 통한) 스트리밍 비디오 송신, 데이터 저장 매체에 저장된 비디오 데이터의 인코딩, 데이터 저장 매체에 저장된 비디오 데이터의 디코딩, 또는 다른 애플리케이션을 지원하기 위해, 비디오 코딩 및 디코딩에 사용될 수도 있다. 일부 예에서, 비디오 코딩 시스템은 비디오 스트리밍 송신, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오전화와 같은, 애플리케이션을 지원하기 위해, 단방향 또는 양방향의 비디오 송신을 지원하도록 구성될 수도 있다.
도 1a에서 설명된 비디오 코딩 시스템(1)은 단지 일 예이며, 본 출원에서의 기술은 인코딩 장치와 디코딩 장치 사이의 임의의 데이터 통신을 반드시 포함하지는 않는 비디오 코딩 세팅(예를 들어, 비디오 코딩 또는 비디오 디코딩)에 적용가능하다. 다른 예에서, 데이터는 로컬 메모리로부터 취출되어, 네트워크 상에서 스트리밍 방법 등으로 송신된다. 비디오 인코딩 장치는 데이터를 인코딩하고 데이터를 메모리에 저장할 수도 있고/있거나, 비디오 디코딩 장치는 메모리로부터 데이터를 취출하고 데이터를 디코딩할 수도 있다. 다수의 예에서, 단지 데이터를 인코딩하여 데이터를 메모리에 저장하고/하거나 메모리로부터 데이터를 취출하여 데이터를 디코딩하며 서로 통신하지 않는 장치가 인코딩 및 디코딩을 수행한다.
도 1a의 예에서, 소스 장치(10)는 비디오 소스(120), 비디오 인코더(100), 및 출력 인터페이스(140)를 포함한다. 일부 예에서, 출력 인터페이스(140)는 변조기/복조기(모뎀) 및/또는 송신기를 포함할 수도 있다. 비디오 소스(120)는 비디오 캡쳐 장치(예를 들어, 카메라), 이전에 캡쳐된 비디오 데이터를 포함하는 비디오 아카이브, 비디오 데이터를 발생시키기 위한 컴퓨터 그래픽스 시스템, 및/또는 비디오 콘텐츠 제공자로부터 비디오 데이터를 수신하기 위한 비디오 피드-인 인터페이스, 또는 전술한 비디오 데이터 소스의 결합을 포함할 수도 있다.
비디오 인코더(100)는 비디오 소스(120)로부터 유래하는 비디오 데이터를 인코딩할 수도 있다. 일부 예에서, 소스 장치(10)는 인코딩된 비디오 데이터를 출력 인터페이스(140)를 통해서 목적지 장치(20)로 직접 송신한다. 다른 예에서, 인코딩된 비디오 데이터는 대안적으로, 목적지 장치(20)가 그후 디코딩 및/또는 플레잉을 위해, 인코딩된 비디오 데이터에 액세스하도록, 저장 장치(40)에 저장될 수도 있다.
도 1a의 예에서, 목적지 장치(20)는 입력 인터페이스(240), 비디오 디코더(200), 및 디스플레이 장치(220)를 포함한다. 일부 예에서, 입력 인터페이스(240)는 수신기 및/또는 모뎀을 포함한다. 입력 인터페이스(240)는 인코딩된 비디오 데이터를 링크(30)를 통해서 및/또는 저장 장치(40)로부터 수신할 수도 있다. 디스플레이 장치(220)는 목적지 장치(20)와 통합될 수도 있거나 또는 목적지 장치(20) 외부에 위치될 수도 있다. 대개, 디스플레이 장치(220)는 디코딩된 비디오 데이터를 디스플레이한다. 디스플레이 장치(220)는 복수의 유형의 디스플레이 장치, 예를 들어, 액정 디스플레이(LCD), 플라즈마 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 다른 유형의 디스플레이 장치를 포함할 수도 있다.
도 1a에 나타내지는 않지만, 일부 양태에서, 비디오 인코더(100) 및 비디오 디코더(200)는 오디오 인코더 및 오디오 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오를 결합된 데이터 스트림 또는 별개의 데이터 스트림으로 인코딩하기 위해, 적합한 멀티플렉서-디멀티플렉서 유닛 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 일부 예에서, 적용가능한 경우, MUX-DEMUX 유닛은 ITU H.223 멀티플렉서 프로토콜, 또는 다른 프로토콜, 예컨대 사용자 데이터그램 프로토콜 (UDP)을 준수할 수도 있다.
비디오 인코더(100) 및 비디오 디코더(200) 각각은 예를 들어, 다음 복수의 회로: 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA), 이산 로직, 하드웨어, 또는 이들의 임의의 결합 중 임의의 하나로서 구현될 수도 있다. 본 출원이 소프트웨어를 통해서 부분적으로 구현되면, 본 장치는 적합한 비휘발성 컴퓨터-판독가능 저장 매체에, 소프트웨어에 사용되는 명령을 저장할 수도 있으며, 본 출원에서의 기술을 구현하기 위해, 하나 이상의 프로세서를 이용하여 하드웨어에서 명령을 실행할 수도 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 결합 등을 포함한) 전술한 콘텐츠 중 임의의 하나는 하나 이상의 프로세서로서 간주될 수도 있다. 비디오 인코더(100) 및 비디오 디코더(200) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수도 있으며, 인코더 또는 디코더는 대응하는 장치에서, 결합된 인코더/디코더(CODEC)의 부분으로서 통합될 수도 있다.
본 출원에서, 비디오 인코더(100)는 일부 정보를 예를 들어, 비디오 디코더(200)로 "시그널링" 또는 "송신"하는 다른 장치로서 대략적으로 지칭될 수도 있다. 용어 "시그널링" 또는 "송신"은 대략적으로, 신택스 엘리먼트 및/또는 압축된 비디오 데이터를 디코딩하는데 사용되는 다른 데이터의 전송을 지칭할 수도 있다. 전송은 실시간으로 또는 거의 실시간으로 발생할 수도 있다. 대안적으로, 통신은 특정의 시간 기간 이후 발생할 수도 있다. 예를 들어, 통신은 인코딩된 비트스트림에서의 신택스 엘리먼트가 인코딩 동안 컴퓨터-판독가능 저장 매체에 저장될 때에 발생할 수도 있으며, 디코딩 장치는 그후 신택스 엘리먼트가 매체에 저장된 후 임의의 시간에 신택스 엘리먼트를 취출할 수도 있다.
비디오 인코더(100) 및 비디오 디코더(200)는 비디오 압축 표준, 예컨대 HEVC (High Efficiency Video Coding), 또는 그의 확장판에 따라서 동작할 수도 있으며, HEVC 테스트 모델(HM)을 따를 수도 있다. 대안적으로, 비디오 인코더(100) 및 비디오 디코더(200)는 다른 산업 표준, 예를 들어, ITU-T H.264 표준, H.265 표준, 또는 이러한 표준의 확장판에 따라서 동작할 수도 있다. 그러나, 본 출원에서의 기술은 임의의 특정의 인코딩 및 디코딩 표준에 한정되지 않는다.
일 예에서, 도 3을 함께 참조하면, 비디오 인코더(100)는 현재의 인코딩될 픽처 블록에 관련된 신택스 엘리먼트를 (비트스트림으로 간단히 지칭되는) 디지털 비디오 출력 비트스트림으로 인코딩하도록 구성된다. 본원에서, 현재의 픽처 블록에 대해 인터 예측을 수행하는데 사용되는 신택스 엘리먼트는 인터 예측 데이터로 간략하게 지칭된다. 현재의 픽처 블록을 인코딩하는데 사용될 인터 예측 모드를 결정하기 위해, 비디오 인코더(100)는 후보 인터 예측 모드 세트에서 현재의 픽처 블록에 대해 인터 예측을 수행하는데 사용될 인터 예측 모드를 결정 또는 선택하고(S301) (예를 들어, 복수의 새로운 인터 예측 모드에서 현재의 픽처 블록을 인코딩하는 타협된 또는 최저 레이트-왜곡 비용을 가진 인터 예측 모드를 선택하고); 그리고 결정된 인터 예측 모드에 기초하여 현재의 픽처 블록을 인코딩하도록(S303) 추가로 구성된다. 본원에서의 인코딩 프로세스는 결정된 인터 예측 모드에 기초하여 현재의 픽처 블록에서의 하나 이상의 서브-블록의 모션 정보를 예측하는 단계 (여기서, 모션 정보는 구체적으로 각각의 서브-블록의 모션 정보 또는 모든 서브-블록의 모션 정보일 수도 있음), 및 현재의 픽처 블록의 예측 블록을 획득하기 위해, 현재의 픽처 블록에서의 하나 이상의 서브-블록의 모션 정보를 이용하여 하나 이상의 서브-블록의 예측된 샘플 값을 예측하는 단계를 포함할 수도 있다.
인터 예측 모드에 기초하여 예측된 모션 정보를 이용하여 발생된 예측 블록과 현재의 인코딩될 픽처 블록(즉, 원래 블록) 사이의 차이(즉, 잔차)가 0이면, 비디오 인코더(100)는 단지 현재의 인코딩될 픽처 블록에 관련된 신택스 엘리먼트를 비트스트림(또한, 비트스트림으로 지칭됨)으로 인코딩하여야 하는 것으로 이해되어야 한다. 그렇지 않으면, 신택스 엘리먼트에 추가하여, 대응하는 잔차가 비트스트림으로 추가로 인코딩되어야 한다.
다른 예에서, 도 4를 함께 참조하면, 비디오 디코더(200)는 현재의 디코딩될 픽처 블록에 관련된 신택스 엘리먼트를 획득하기 위해 비트스트림을 디코딩하고(S401), 그리고, 인터 예측 데이터가 특정의 인터 예측 모드(예를 들어, 진보된 모션 벡터 예측(AMVP) 모드, 병합(Merge) 모드, 아핀 병합 아핀_병합 모드, 또는 아핀 모션 벡터 예측 아핀_인터 모드)를 사용하도록 표시할 때 현재의 픽처 블록을 예측하고(S403), 결정된 인터 예측 모드에 기초하여 현재의 픽처 블록을 디코딩하도록(S405) 구성된다. 본원에서의 디코딩 프로세스는 현재의 픽처 블록에서의 하나 이상의 서브-블록의 모션 정보를 예측하는 단계, 및 현재의 픽처 블록에서의 하나 이상의 서브-블록의 모션 정보를 이용하여 현재의 픽처 블록에 대한 인터 예측을 수행하는 단계를 포함할 수도 있다.
선택적으로, 인터 예측 데이터가 현재의 픽처 블록의 목표 후보 모션 벡터 그룹을 표시하는데 사용되는 인덱스를 더 포함하면, 비디오 디코더(200)는 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하도록 구성된다. 목표 후보 모션 벡터 그룹은 현재의 픽처 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타낸다. 비디오 디코더(200)가 병합 모드를 사용하면, 현재의 픽처 블록의 제어 지점의 그룹에 속하고 목표 후보 모션 벡터 그룹에 의해 표현되는 모션 벡터 예측자가 현재의 픽처 블록의 제어 지점의 그룹의 모션 벡터로서 사용되는 것으로 이해되어야 한다.
도 2a는 본 출원의 일 실시형태에 따른, 예시적인 비디오 인코더(100)의 블록도이다. 비디오 인코더(100)는 비디오를 사후-프로세싱 엔티티(41)로 출력하도록 구성된다. 사후-프로세싱 엔티티(41)는 비디오 인코더(100)로부터 유래하는 인코딩된 비디오 데이터를 프로세싱하는 것이 가능한 비디오 엔티티의 일 예를 나타낸다. 예를 들어, 비디오 엔티티는 미디어 인지 네트워크 엘리먼트(MANE) 또는 스티칭(stitching) 장치/편집 장치이다. 일부의 경우, 사후-프로세싱 엔티티(41)는 네트워크 엔티티의 일 예일 수도 있다. 일부 비디오 코딩 시스템에서, 사후-프로세싱 엔티티(41) 및 비디오 인코더(100)는 별개의 장치의 컴포넌트일 수도 있는 반면, 다른 경우에서, 사후-프로세싱 엔티티(41)에 대해 설명된 기능은 비디오 인코더(100)를 포함한 동일한 장치에 의해 구현될 수도 있다. 일 예에서, 사후-프로세싱 엔티티(41)는 도 1a의 저장 장치(40)의 일 예이다.
비디오 인코더(100)는 비디오 픽처 블록을 인코딩할 수도 있다, 예를 들어, 모드 0, 1, 2,..., 및 10을 포함하고 본 출원에서 제안되는 후보 인터 예측 모드 세트에서의 임의의 새로운 인터 예측 모드에 기초하여 비디오 픽처 블록에 대한 인터 예측을 수행할 수도 있다.
도 2a의 예에서, 비디오 인코더(100)는 예측 프로세싱 유닛(108), 필터 유닛(106), 디코딩된 픽처 버퍼(DPB) (107), 합산 유닛(114), 변환 유닛(101), 양자화 유닛(102), 및 엔트로피 인코딩 유닛(103)을 포함한다. 예측 프로세싱 유닛(108)은 인터 예측 유닛(110) 및 인트라 예측 유닛(109)을 포함한다. 픽처 블록 복원을 위해, 비디오 인코더(100)는 역양자화 유닛(104), 역변환 유닛(105), 및 합산 유닛(113)을 더 포함한다. 필터 유닛(106)은 하나 이상의 루프 필터 유닛, 예를 들어, 디블록킹 필터 유닛, 적응 루프 필터(ALF) 유닛, 및 샘플 적응 오프셋(SAO) 필터 유닛을 나타내도록 의도된다. 필터 유닛(106)이 도 2a에서 인-루프 필터로서 도시되지만, 다른 구현예에서, 필터 유닛(106)은 사후 필터로서 구현될 수도 있다. 일 예에서, 비디오 인코더(100)는 비디오 데이터 저장 유닛 및 파티셔닝 유닛(도면에 미도시)을 더 포함할 수도 있다.
비디오 데이터 저장 유닛은 비디오 인코더(100)의 컴포넌트에 의해 인코딩된 비디오 데이터를 저장할 수도 있다. 비디오 데이터 저장 유닛에 저장된 비디오 데이터는 비디오 소스(120)로부터 획득될 수도 있다. DPB(107)는 인트라 또는 인터 코딩 모드에서 비디오 데이터를 인코딩하기 위해 비디오 인코더(100)에 의해 사용되는 참조 비디오 데이터를 저장하는 참조 픽처 저장 유닛일 수도 있다. 비디오 데이터 저장 유닛 및 DPB(107) 각각은 복수의 저장 유닛 장치, 예를 들어, 동기식 DRAM(SDRAM)을 포함한 동적 랜덤 액세스 메모리(DRAM), 자기저항 RAM(MRAM), 저항 RAM(RRAM), 또는 다른 유형의 저장 유닛 장치 중 임의의 하나로 구성될 수도 있다. 비디오 데이터 저장 유닛 및 DPB(107)는 동일한 저장 유닛 장치 또는 별개의 저장 유닛 장치에 의해 제공될 수도 있다. 다양한 예에서, 비디오 데이터 저장 유닛은 비디오 인코더(100)의 다른 컴포넌트와 함께 칩 상에 통합될 수도 있거나, 또는 이들 컴포넌트에 대해 칩 외부에 배치될 수도 있다.
도 2a에 나타낸 바와 같이, 비디오 인코더(100)는 비디오 데이터를 수신하고 비디오 데이터를 비디오 데이터 저장 유닛에 저장한다. 파티셔닝 유닛은 비디오 데이터를 여러 픽처 블록으로 파티셔닝하며, 이들 픽처 블록은 더 작은 블록으로 추가로 파티셔닝될 수도 있다. 예를 들어, 쿼드트리 구조 또는 2진-트리 구조에 기초한 픽처 블록 파티셔닝이 수행된다. 파티셔닝은 슬라이스(slice), 타일 (tile), 또는 다른 더 큰 유닛으로 파티셔닝하는 것을 더 포함할 수도 있다. 비디오 인코더(100)는 일반적으로, 인코딩될 비디오 슬라이스에서의 픽처 블록을 인코딩하는 컴포넌트이다. 슬라이스는 복수의 픽처 블록으로 파티셔닝될 수도 있다 (그리고, 타일로서 지칭되는 픽처 블록 세트로 파티셔닝될 수도 있다). 예측 프로세싱 유닛(108)은 현재의 픽처 블록에 사용되는 복수의 가능한 코딩 모드 중 하나, 예를 들어, 복수의 인트라 코딩 모드 중 하나 또는 복수의 인터 코딩 모드 중 하나를 선택할 수도 있다. 복수의 인터 코딩 모드는 본 출원에서 제안되는 모드 0, 1, 2, 3,..., 및 10 중 하나 이상을 포함하지만 이에 한정되지 않는다. 예측 프로세싱 유닛(108)은 획득된 인트라-코딩된 및 인터-코딩된 블록을 합산 유닛(114)에 제공하여 잔차 블록을 발생시키고, 블록을 합산 유닛(113)에 제공하여 참조 픽처로서 사용되는 인코딩된 블록을 복원할 수도 있다.
예측 프로세싱 유닛(108)에서의 인트라 예측 유닛(109)은 공간 리던던시를 제거하기 위해, 현재의 인코딩될 블록과 동일한 프레임 또는 슬라이스에 있는 하나 이상의 이웃하는 블록에 대해, 현재의 픽처 블록에 대한 인트라 예측 인코딩을 수행할 수도 있다. 예측 프로세싱 유닛(108)에서의 인터 예측 유닛(110)은 시간 리던던시를 제거하기 위해, 하나 이상의 참조 픽처에서의 하나 이상의 예측 블록에 대해, 현재의 픽처 블록에 대한 인터 예측 인코딩을 수행할 수도 있다.
구체적으로 설명하면, 인터 예측 유닛(110)은 현재의 픽처 블록을 인코딩하는데 사용될 인터 예측 모드를 결정하도록 구성될 수도 있다. 예를 들어, 인터 예측 유닛(110)은 레이트-왜곡 분석을 통해서 후보 인터 예측 모드 세트에서 다양한 인터 예측 모드의 레이트-왜곡 값을 계산하고, 인터 예측 모드 중에서 최적의 레이트-왜곡 특징을 가진 인터 예측 모드를 선택할 수도 있다. 레이트-왜곡 분석은 일반적으로, 인코딩된 블록과 인코딩되어 있지 않지만 인코딩된 블록을 발생시키기 위해 인코딩되어야 하는 원래 블록 사이의 왜곡의 양(또는, 에러), 및 인코딩된 블록을 발생시키는데 사용되는 비트 레이트(즉, 비트의 양)를 결정하는데 사용된다. 예를 들어, 인터 예측 유닛(110)은 현재의 픽처 블록에 대해 인터 예측을 수행하는데 사용될 인터 예측 모드로서, 최저 레이트-왜곡 비용을 가지며 현재의 픽처 블록을 인코딩하는데 사용될 인터 예측 모드를 결정할 수도 있다. 다음은 인터 예측 인코딩 프로세스, 특히, 본 출원에서 아핀 모드(예를 들어, 아핀 변환-기반 진보된 모션 벡터 예측 모드 또는 아핀 변환-기반 병합 예측 모드)에서 현재의 픽처 블록에서의 (구체적으로 각각의 서브-블록 또는 모든 서브-블록일 수도 있는) 하나 이상의 서브-블록의 모션 정보를 예측하는 프로세스를 자세하게 설명한다. 다시 말해서, 다음은 모션 모델, 예를 들어, 4-파라미터 아핀 모델 또는 6-파라미터 아핀 모델에 기초한 모션 벡터 예측 프로세스를 자세하게 설명한다.
인터 예측 유닛(110)은 결정된 인터 예측 모드에 기초하여 현재의 픽처 블록에서의 하나 이상의 서브-블록의 모션 정보(예를 들어, 모션 벡터)를 예측하고, 현재의 픽처 블록에서의 하나 이상의 서브-블록의 모션 정보(예를 들어, 모션 벡터)를 이용하여 현재의 픽처 블록의 예측 블록을 획득 또는 발생시키도록 구성된다. 인터 예측 유닛(110)은 참조 픽처 리스트 내 하나의 참조 픽처에서, 모션 벡터가 가리키는 예측 블록을 위치지정할 수도 있다. 인터 예측 유닛(110)은 비디오 디코더(200)가 신택스 엘리먼트를 이용하여 비디오 슬라이스의 픽처 블록을 디코딩할 수 있도록, 픽처 블록 및 비디오 슬라이스와 연관된 신택스 엘리먼트를 추가로 발생시킬 수도 있다. 대안적으로, 일 예에서, 인터 예측 유닛(110)은 각각의 서브-블록의 예측 블록을 발생시킴으로써 현재의 픽처 블록의 예측 블록을 획득하기 위해, 각각의 서브-블록의 모션 정보를 이용하여 모션 보상 프로세스를 수행한다. 본원에서의 인터 예측 유닛(110)은 구체적으로 모션 추정 유닛(111) 및 모션 보상 유닛(112)을 포함하는 것으로 이해되어야 한다. 모션 추정 유닛(111)은 모션 추정(Motion estimation, ME) 프로세스를 수행하도록 구성되며, 모션 보상 유닛(112)은 모션 보상(Motion compensation, MC) 프로세스를 수행하도록 구성된다.
구체적으로 설명하면, 현재의 픽처 블록에 대한 인터 예측 모드를 선택한 후, 인터 예측 유닛(110)은 엔트로피 인코딩 유닛(103)이 선택된 인터 예측 모드를 표시하는 정보를 인코딩하도록, 엔트로피 인코딩 유닛(103)에, 현재의 픽처 블록의 선택된 인터 예측 모드를 표시하는 정보를 제공할 수도 있다. 인트라 예측 유닛(109)은 현재의 픽처 블록에 대한 인트라 예측을 수행할 수도 있다. 구체적으로 설명하면, 인트라 예측 유닛(109)은 현재의 블록을 인코딩하는데 사용될 인트라 예측 모드를 결정할 수도 있다. 예를 들어, 인트라 예측 유닛(109)은 레이트-왜곡 분석을 통해 다양한 테스트될 인트라 예측 모드의 레이트-왜곡 값을 계산하고, 테스트될 모드 중에서 최적의 레이트-왜곡 특징을 가진 인트라 예측 모드를 선택할 수도 있다. 어쨌든, 픽처 블록에 대한 인트라 예측 모드를 선택한 후, 인트라 예측 유닛(109)은 엔트로피 인코딩 유닛(103)이 선택된 인트라 예측 모드를 표시하는 정보를 인코딩하도록, 엔트로피 인코딩 유닛(103)으로, 현재의 픽처 블록의 선택된 인트라 예측 모드를 표시하는 정보를 제공할 수도 있다.
예측 프로세싱 유닛(108)이 인터 예측 및 인트라 예측을 통해서 현재의 픽처 블록의 예측 블록을 발생시킨 후, 비디오 인코더(100)는 현재의 인코딩될 픽처 블록으로부터 예측 블록을 감산하여 잔차 픽처 블록을 형성한다. 합산 유닛(114)은 감산 동작을 수행하는 하나 이상의 컴포넌트를 나타낸다. 잔차 블록에서의 잔차 비디오 데이터는 하나 이상의 TU에 포함되어, 변환 유닛(101)에 의해 사용될 수도 있다. 변환 유닛(101)은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은, 변환을 통해서 잔차 비디오 데이터를 잔차 변환 계수로 변환한다. 변환 유닛(101)은 잔차 비디오 데이터를 샘플 값 도메인으로부터 변환 도메인, 예를 들어, 주파수 도메인으로 변환할 수도 있다.
변환 유닛(101)은 획득된 변환 계수를 양자화 유닛(102)으로 전송할 수도 있다. 양자화 유닛(102)은 비트 레이트를 추가로 감소시키기 위해 변환 계수를 양자화한다. 일부 예에서, 양자화 유닛(102)은 양자화된 변환 계수를 포함하는 매트릭스를 추가로 스캐닝할 수도 있다. 대안적으로, 엔트로피 인코딩 유닛(103)이 스캐닝을 수행할 수도 있다.
양자화 이후, 엔트로피 인코딩 유닛(103)은 양자화된 변환 계수에 대한 엔트로피 인코딩을 수행한다. 예를 들어, 엔트로피 인코딩 유닛(103)은 컨텍스트-적응 가변-길이 코딩(CAVLC), 컨텍스트-적응 2진 산술 코딩(CABAC), 신택스-기반 컨텍스트-적응 2진 산술 코딩(SBAC), 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩, 또는 다른 엔트로피 코딩 방법 또는 기술을 수행할 수도 있다. 엔트로피 인코딩 유닛(103)이 엔트로피 인코딩을 수행한 후, 인코딩된 비트스트림은 비디오 디코더(200)로 송신되거나, 또는 후속 송신을 위해 아카이브되거나 또는 비디오 디코더(200)에 의해 취출될 수도 있다. 엔트로피 인코딩 유닛(103)은 현재의 인코딩될 픽처 블록의 신택스 엘리먼트에 대한 엔트로피 인코딩을 추가로 수행할 수도 있다.
역 양자화 유닛(104) 및 역변환 유닛(105)은 역양자화 및 역변환을 각각 적용하여, 예를 들어, 참조 픽처의 참조 블록으로서의 추후 사용을 위해, 샘플 도메인에서 잔차 블록을 복원한다. 합산 유닛(113)은 복원된 잔차 블록을 인터 예측 유닛(110) 또는 인트라 예측 유닛(109)에 의해 발생된 예측 블록에 가산하여, 복원된 픽처 블록을 발생시킨다. 필터 유닛(106)은 블록킹 아티팩트(block artifacts)과 같은 왜곡을 감소시키기 위해, 복원된 픽처 블록에 적용가능하다. 그 후, 복원된 픽처 블록은 디코딩된 픽처 버퍼(107)에 참조 블록으로서 저장되며, 후속 비디오 프레임 또는 픽처에서의 블록에 대해 인터 예측을 수행하기 위해 인터 예측 유닛(110)에 의해 참조 블록으로서 사용될 수도 있다.
비디오 인코더(100)의 다른 구조적 변형이 비디오 스트림을 디코딩하는데 사용될 수도 있는 것으로 이해되어야 한다. 예를 들어, 일부 픽처 블록 또는 픽처 프레임에 대해, 비디오 인코더(100)는 잔차 신호를 직접 양자화할 수도 있다. 이 경우, 변환 유닛(101) 및 역변환 유닛(105)에 의한 프로세싱이 요구되지 않는다. 대안적으로, 일부 픽처 블록 또는 픽처 프레임에 대해, 비디오 인코더(100)는 잔차 데이터를 발생시키지 않는다. 이 경우, 변환 유닛(101), 양자화 유닛(102), 역양자화 유닛(104), 및 역변환 유닛(105)에 의한 프로세싱이 요구되지 않는다. 대안적으로, 비디오 인코더(100)는 복원된 픽처 블록을, 참조 블록으로서 직접 저장할 수도 있으며, 필터 유닛(106)에 의한 프로세싱이 요구되지 않는다. 대안적으로, 비디오 인코더(100)에서의 양자화 유닛(102)과 역 양자화 유닛(104)은 결합될 수도 있다. 루프 필터 유닛은 선택적이다. 게다가, 무손실 압축 코딩에 대해, 변환 유닛(101), 양자화 유닛(102), 역양자화 유닛(104), 및 역변환 유닛(105)은 선택적이다. 상이한 애플리케이션 시나리오에서, 인터 예측 유닛 및 인트라 예측 유닛은 선택적으로 인에이블될 수도 있는 것으로 이해되어야 한다. 이 해결책에서, 인터 예측 유닛이 인에이블된다.
도 2b는 본 출원의 일 실시형태에 따른, 예시적인 비디오 디코더(200)의 블록도이다. 도 2b의 예에서, 비디오 디코더(200)는 엔트로피 디코딩 유닛(203), 예측 프로세싱 유닛(208), 역양자화 유닛(204), 역변환 유닛(205), 합산 유닛(211), 필터 유닛(206), 및 디코딩된 픽처 버퍼(207)를 포함한다. 예측 프로세싱 유닛(208)은 모션 보상 유닛(또한, 인터 예측 유닛으로 지칭됨)(210) 및 인트라 예측 유닛(209)을 포함할 수도 있다. 일부 예에서, 비디오 디코더(200)는 도 2a에서의 비디오 인코더(100)에 대해 설명된 인코딩 프로세스와는 실질적으로 반대인 디코딩 프로세스를 수행할 수도 있다.
디코딩 동안, 비디오 디코더(200)는 비디오 인코더(100)로부터, 인코딩된 비디오 슬라이스의 픽처 블록 및 연관된 신택스 엘리먼트를 나타내는 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더(200)는 네트워크 엔티티(42)로부터 비디오 데이터를 수신할 수도 있으며, 선택적으로, 비디오 데이터를 (도면에 도시되지 않은) 비디오 데이터 저장 유닛에 추가로 저장할 수도 있다. 비디오 데이터 저장 유닛은 비디오 디코더(200)의 컴포넌트에 의해 디코딩될, 인코딩된 비디오 비트스트림과 같은, 비디오 데이터를 저장할 수도 있다. 비디오 데이터 저장 유닛에 저장된 비디오 데이터는 비디오 데이터의 유선 또는 무선 네트워크 통신을 통해서, 또는 물리적인 데이터 저장 매체에 액세스함으로써, 예를 들어, 저장 장치(40) 또는 카메라와 같은, 로컬 비디오 소스로부터 획득될 수도 있다. 비디오 데이터 저장 유닛은 인코딩된 비디오 비트스트림으로부터 유래하는 인코딩된 비디오 데이터를 저장하도록 구성된 디코딩된 픽처 버퍼(DPB)로서 사용될 수도 있다. 따라서, 비디오 데이터 저장 유닛이 도 2b에 도시되지 않지만, 비디오 데이터 저장 유닛 및 DPB(207)는 동일한 저장 유닛일 수도 있거나, 또는 별개로 배치된 저장 유닛일 수도 있다. 비디오 데이터 저장 유닛 및 DPB(207) 각각은 복수의 저장 유닛 장치, 예를 들어, 동기식 DRAM(SDRAM)을 포함한 동적 랜덤 액세스 메모리(DRAM), 자기저항 RAM(MRAM), 저항 RAM(RRAM), 또는 다른 유형의 저장 유닛 장치 중 임의의 하나로 구성될 수도 있다. 다양한 예에서, 비디오 데이터 저장 유닛은 비디오 디코더(200)의 다른 컴포넌트와 함께 칩 상에 통합될 수도 있거나, 또는 이들 컴포넌트에 대해 칩 외부에 배치될 수도 있다.
네트워크 엔티티(42)는 예를 들어, 서버, MANE, 비디오 편집기/스플라이서(splicer), 또는 위에서 설명된 기술 중 하나 이상을 구현하도록 구성된 다른 장치일 수도 있다. 네트워크 엔티티(42)는 비디오 인코더, 예를 들어, 비디오 인코더(100)를 포함하거나 또는 포함하지 않을 수도 있다. 네트워크 엔티티(42)가 인코딩된 비디오 비트스트림을 비디오 디코더(200)로 전송하기 전에, 네트워크 엔티티(42)는 본 출원에서 설명된 기술의 부분을 구현할 수도 있다. 일부 비디오 디코딩 시스템에서, 네트워크 엔티티(42) 및 비디오 디코더(200)는 별개의 장치의 컴포넌트일 수도 있다. 다른 경우, 네트워크 엔티티(42)에 대해 설명된 기능은 비디오 디코더(200)를 포함하는 동일한 장치에 의해 구현될 수도 있다. 일부의 경우, 네트워크 엔티티(42)는 도 1a의 저장 장치(40)의 일 예일 수도 있다.
비디오 디코더(200)의 엔트로피 디코딩 유닛(203)은 비트스트림에 대해 엔트로피 디코딩을 수행하여 양자화된 계수 및 일부 신택스 엘리먼트를 발생시킨다. 엔트로피 디코딩 유닛(203)은 신택스 엘리먼트를 예측 프로세싱 유닛(208)으로 포워딩한다. 비디오 디코더(200)는 비디오 슬라이스 레벨 및/또는 픽처 블록 레벨에서 신택스 엘리먼트/신택스 엘리먼트를 수신할 수도 있다.
비디오 슬라이스가 인트라-디코딩된 (I) 슬라이스로 디코딩될 때, 예측 프로세싱 유닛(208)의 인트라 예측 유닛(209)은 현재의 프레임 또는 픽처의 이전에 디코딩된 블록의 시그널링된 인트라 예측 모드 및 데이터에 기초하여 현재의 비디오 슬라이스의 픽처 블록의 예측 블록을 발생시킬 수도 있다. 비디오 슬라이스가 인터-디코딩된 (즉, B 또는 P) 슬라이스로 디코딩될 때, 예측 프로세싱 유닛(208)의 인터 예측 유닛(210)은 엔트로피 디코딩 유닛(203)으로부터 수신된 신택스 엘리먼트에 기초하여, 현재의 비디오 슬라이스의 현재의 픽처 블록을 디코딩하는데 사용될 인터 예측 모드를 결정하고, 결정된 인터 예측 모드에 기초하여 현재의 픽처 블록을 디코딩할 (예를 들어, 인터 예측을 수행할) 수도 있다. 구체적으로 설명하면, 현재의 픽처 블록 또는 현재의 비디오 슬라이스의 현재의 픽처 블록의 서브-블록의 모션 정보는 인터 예측 모드(예를 들어, 신택스 엘리먼트에 의해 규정된 인터 예측 모드 또는 디폴트 인터 예측 모드)에 기초하여 예측된다. 이러한 방법으로, 현재의 픽처 블록의 서브-블록의 예측 블록 또는 현재의 픽처 블록의 예측 블록은 모션 보상 프로세스에서 현재의 픽처 블록 또는 현재의 픽처 블록의 서브-블록의 예측된 모션 정보를 이용하여 획득 또는 발생된다. 본원에서의 모션 정보는 참조 픽처 정보 및 모션 벡터를 포함할 수도 있다. 참조 픽처 정보는, 단방향/양방향의 예측 정보, 참조 픽처 리스트 넘버, 및 참조 픽처 리스트에 대응하는 참조 픽처 인덱스를 포함할 수도 있지만 이에 한정되지 않는다. 인터 예측을 위해, 예측 블록은 참조 픽처 리스트 중 하나에서의 참조 픽처 중 하나로부터 발생될 수도 있다. 비디오 디코더(200)는 DPB(207)에 저장된 참조 픽처에 기초하여, 참조 픽처 리스트, 즉, 리스트 0 및 리스트 1을 구성할 수도 있다. 현재의 픽처의 참조 프레임 인덱스는 참조 프레임 리스트 0 및 참조 프레임 리스트 1 중 하나 또는 양자에 포함될 수도 있다. 본원에서 인터 예측 유닛(210)이 모션 보상 프로세스를 수행하는 것으로 이해되어야 한다. 다음은 다양한 새로운 인터 예측 모드에서의 참조 블록의 모션 정보를 이용하여 현재의 픽처 블록 또는 현재의 픽처 블록의 서브-블록의 모션 정보를 예측하는 인터 예측 프로세스를 자세하게 설명한다. 다음은 본 출원에서 아핀 모드(예를 들어, 아핀 변환-기반 진보된 모션 벡터 예측 모드 또는 아핀 변환-기반 병합 예측 모드)에서 현재의 픽처 블록 내 (구체적으로 각각의 서브-블록 또는 모든 서브-블록일 수도 있는) 하나 이상의 서브-블록의 모션 정보를 예측하는 프로세스를 자세하게 설명한다. 다시 말해서, 다음은 모션 모델, 예를 들어, 4-파라미터 아핀 모델 또는 6-파라미터 아핀 모델에 기초하여 모션 벡터 예측 프로세스를 자세하게 설명한다.
역 양자화 유닛(204)은 비트스트림으로 제공되어 엔트로피 디코딩 유닛(203)에 의해 디코딩된 양자화된 변환 계수를 역양자화를 수행한다, 즉, 역양자화한다. 역양자화 프로세스는 비디오 슬라이스에서의 각각의 픽처 블록에 대해 비디오 인코더(100)에 의해 계산된 양자화 파라미터를 이용하여, 적용될 양자화 도를 결정하는 단계, 및 유사하게, 적용될 역양자화도를 결정하는 단계를 포함할 수도 있다. 역변환 유닛(205)은 역변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스를, 변환 계수에 적용하여, 샘플 도메인에서 잔차 블록을 발생시킨다.
인터 예측 유닛(210)이 현재의 픽처 블록 또는 현재의 픽처 블록의 서브-블록에 사용되는 예측 블록을 발생시킨 후, 비디오 디코더(200)는 역변환 유닛(205)으로부터의 잔차 블록과 인터 예측 유닛(210)에 의해 발생된 대응하는 예측 블록을 합산하여, 복원된 블록, 즉, 디코딩된 픽처 블록을 획득한다. 합산 유닛(211)은 합산 동작을 수행하는 컴포넌트를 나타낸다. 필요할 경우, (디코딩 루프 내 또는 이후에) 루프 필터 유닛이 샘플을 평활화하는데 추가로 사용될 수도 있거나, 또는 비디오 품질이 다른 방법으로 향상될 수도 있다. 필터 유닛(206)은 하나 이상의 루프 필터 유닛, 예를 들어, 디블록킹 필터 유닛, 적응 루프 필터(ALF) 유닛, 및 샘플 적응 오프셋(SAO) 필터 유닛을 나타낼 수도 있다. 필터 유닛(206)이 도 2b에서 인-루프 필터로서 도시되지만, 다른 구현예에서, 필터 유닛(206)은 사후-루프 필터 유닛으로서 구현될 수도 있다. 일 예에서, 필터 유닛(206)은 블록 왜곡을 감소시키기 위해, 블록 복원에 적용가능하며, 이 결과가 디코딩된 비디오 스트림으로서 출력된다. 게다가, 주어진 프레임 또는 픽처에서의 디코딩된 픽처 블록이 디코딩된 픽처 버퍼(207)에 추가로 저장될 수도 있으며, 디코딩된 픽처 버퍼(207)는 후속 모션 보상에 사용되는 참조 픽처를 저장한다. 디코딩된 픽처 버퍼(207)는 저장 유닛의 부분일 수도 있으며, 디스플레이 장치(예를 들어, 도 1의 디스플레이 장치(220)) 상의 후속 프리젠테이션을 위해, 디코딩된 비디오를 추가로 저장할 수도 있거나, 또는 이러한 저장 유닛으로부터 분리될 수도 있다.
비디오 디코더(200)의 다른 구조적 변형이 인코딩된 비디오 비트스트림을 디코딩하는데 사용될 수도 있는 것으로 이해되어야 한다. 예를 들어, 비디오 디코더(200)는 필터 유닛(206)에 의한 프로세싱 없이, 출력 비디오 스트림을 발생시킬 수도 있다. 대안적으로, 일부 픽처 블록 또는 픽처 프레임의 경우, 비디오 디코더(200)의 엔트로피 디코딩 유닛(203)은 디코딩을 통해서, 양자화된 계수를 획득하지 않는다. 이 경우, 역양자화 유닛(204) 및 역변환 유닛(205)에 의한 프로세싱이 요구되지 않는다. 루프 필터 유닛은 선택적이다. 게다가, 무손실 압축에 대해, 역양자화 유닛(204) 및 역변환 유닛(205)은 선택적이다. 상이한 애플리케이션 시나리오에서, 인터 예측 유닛 및 인트라 예측 유닛은 선택적으로 인에이블될 수도 있는 것으로 이해되어야 한다. 이 해결책에서, 인터 예측 유닛이 인에이블된다.
도 5a는 본 출원의 일 실시형태에 따른 현재의 픽처 블록(600) 및 참조 블록의 모션 정보의 예시적인 개략도이다. 도 5a에 나타낸 바와 같이, W 및 H는 현재의 픽처 블록(600)의 폭 및 병치된 블록(600')의 높이 및 현재의 픽처 블록(600)의 폭 및 높이이다. 현재의 픽처 블록(600)의 참조 블록은 현재의 픽처 블록(600) 상부의 공간적으로 이웃하는 블록 및 현재의 픽처 블록(600)의 좌측 상의 공간적으로 이웃하는 블록, 및 병치된 블록(600') 하부의 공간적으로 이웃하는 블록 및 병치된 블록(600')의 우측 상의 공간적으로 이웃하는 블록을 포함한다. 병치된 블록(600')은 참조 픽처에 있으며 현재의 픽처 블록(600)과 동일한 사이즈, 동일한 형상, 및 동일한 좌표를 갖는 픽처 블록이다. 현재의 픽처 블록 하부의 공간적으로 이웃하는 블록의 모션 정보 및 현재의 픽처 블록의 우측 상의 공간적으로 이웃하는 블록이 없으며, 이는 인코딩되지 않는다는 점에 유의해야 한다. 현재의 픽처 블록(600) 및 병치된 블록(600')은 임의의 블록 사이즈를 가질 수도 있는 것으로 이해되어야 한다. 예를 들어, 현재의 픽처 블록(600) 및 병치된 블록(600')은 16 x 16 샘플, 32 x 32 샘플, 32 x 16 샘플, 16 x 32 샘플, 또는 기타 등등을 포함하지만 이에 한정되지 않는다. 위에서 설명한 바와 같이, 각각의 픽처 프레임은 인코딩을 위해 픽처 블록으로 파티셔닝될 수도 있다. 이들 픽처 블록은 더 작은 블록으로 추가로 파티셔닝될 수도 있다. 예를 들어, 현재의 픽처 블록(600) 및 병치된 블록(600')은 복수의 M x N 서브-블록으로 파티셔닝될 수도 있다. 다시 말해서, 각각의 서브-블록의 사이즈는 M x N 샘플이다. 게다가, 각각의 참조 블록의 사이즈는 또한 M x N 샘플이다, 즉, 현재의 픽처 블록의 서브-블록의 사이즈와 동일하다. 도 5a에서의 좌표는 하나의 M x N 블록에서 측정된다. "M x N" 및 "M 곱하기 N"은 수평 치수 및 수직 치수에서의 픽처 블록의 샘플 사이즈를 지칭하기 위해 상호교환가능하게 사용될 수도 있다. 다시 말해서, 수평 방향에서 M개의 샘플 및 수직 방향에서 N개의 샘플이 있으며, 여기서, M 및 N은 음이 아닌 정수 값을 나타낸다. 게다가, 블록에서, 수평 방향에서의 샘플의 수 및 수직 방향에서의 샘플의 수는 반드시 동일할 필요는 없다. 예를 들어, 본원에서 M = N = 4이다. 확실히, 현재의 픽처 블록의 서브-블록의 사이즈 및 참조 블록의 사이즈는 대안적으로, 8 x 8 샘플, 8 x 4 샘플, 4 x 8 샘플, 또는 가장 작은 예측 블록 사이즈일 수도 있다. 게다가, 본 출원에서 설명되는 픽처 블록은 예측 유닛(prediction unit, PU), 코딩 유닛(coding unit, CU), 변환 유닛(transform unit, TU), 또는 기타 등등으로 이해될 수도 있으나 이에 한정되지 않는다. 상이한 비디오 압축 코딩 표준에서의 규정에 따르면, CU는 하나 이상의 예측 유닛 PU을 포함할 수도 있거나, 또는 PU의 사이즈는 CU의 사이즈와 동일하다. 픽처 블록은 고정 또는 가변 사이즈를 가질 수도 있으며, 사이즈는 상이한 비디오 압축 코딩 표준에 따라 변할 수도 있다. 게다가, 현재의 픽처 블록은 현재의 인코딩될 또는 디코딩될 픽처 블록, 예를 들어, 인코딩될 또는 디코딩될 예측 유닛이다.
일 예에서, 현재의 픽처 블록(600)의 좌측 상의 각각의 공간적으로 이웃하는 블록이 이용가능한지 여부는 방향 1을 따라서 순차적으로 결정될 수도 있으며, 현재의 픽처 블록(600) 상부의 각각의 공간적으로 이웃하는 블록이 이용가능하지 여부는 방향 2를 따라서 순차적으로 결정될 수도 있다. 예를 들어, 이웃하는 블록 (또한, 참조 블록으로 지칭되며, 여기서 "이웃하는 블록" 및 "참조 블록"은 상호교환가능하게 사용된다)이 인터-코딩되는지 여부가 결정되며, 이웃하는 블록은, 이웃하는 블록이 존재하고 인터-코딩되면, 이용가능하거나, 또는 이웃하는 블록은, 이웃하는 블록이 존재하지 않거나 또는 인트라-코딩되면, 이용불가능하다. 이웃하는 블록이 인트라-코딩되면, 다른 이웃하는 참조 블록의 모션 정보가 이웃하는 블록의 모션 정보로서 복사된다. 병치된 블록(600') 하부의 공간적으로 이웃하는 블록 및 병치된 블록(600')의 우측 상의 공간적으로 이웃하는 블록이 이용가능한지 여부가 유사한 방법을 이용하여 검출되며, 세부 사항은 본원에서 설명되지 않는다.
또, 이용가능한 참조 블록의 사이즈 및 현재의 픽처 블록의 서브-블록의 사이즈가 4 x 4이면, 이용가능한 참조 블록의 모션 정보는 직접 페치될 수도 있다. 이용가능한 참조 블록의 사이즈가 예를 들어, 8 x 4 또는 8 x 8이면, 이용가능한 참조 블록의 중심 4 x 4 블록의 모션 정보는 페치되어 이용가능한 참조 블록의 모션 정보로서 사용될 수도 있다. 참조 블록의 좌상단 정점에 대한 중심 4 x 4 블록의 좌상단 정점의 좌표는 ((W/4)/2 x 4, (H/4)/2 x 4)이다. 본원에서의 나눗셈 연산은 정확한 나눗셈 연산이다. M = 8, 및 N = 4이면, 참조 블록의 좌상단 정점에 대한 중심 4 x 4 블록의 좌상단 정점의 좌표는 (4, 0)이다. 선택적으로, 참조 블록의 좌상단 4 x 4 블록의 모션 정보는 대안적으로, 페치되어 이용가능한 참조 블록의 모션 정보로서 사용될 수도 있다. 그러나, 본 출원은 이에 한정되지 않는다.
설명의 용이성을 위해, 다음은 서브-블록을 이용하여 M x N 서브-블록을 나타내며, 이웃하는 블록을 이용하여 설명을 위해 이웃하는 M x N 블록을 나타낸다.
인터 예측은 본 출원의 실시형태에서 중요한 단계이다. 디코더 측의 관점에서, 인터 예측은 현재의 픽처에서 현재의 코딩 블록에 대해 매칭된 참조 블록에 대해 복원된 픽처를 탐색하는 것이다. 도 5b에 나타낸 바와 같이, 참조 블록 (예를 들어, 참조 블록 Fr1 또는 참조 블록 Fr2)에서의 샘플의 샘플 값이 현재의 코딩 블록 Fc에서의 샘플의 샘플 값의 예측된 정보 또는 예측된 값 ("정보" 및 "값"은 이하에서 구별되지 않음)으로서 사용된다. 이 프로세스는 모션 추정 ME로서 지칭된다. 게다가, 현재의 코딩 블록의 모션 정보가 송신된다. 디코더 측의 관점에서, 모션 정보가 인터 예측 동안 파싱을 통해서 획득되어야 하며, 참조 블록이 획득된 모션 정보에 기초하여, 복원된 픽처에서 결정되며, 블록 내 샘플의 샘플 값이 예측된 정보로서 사용된다. 이 프로세스는 모션 보상 MC로서 지칭된다. 예측된 정보와 잔차 정보를 결합하고 결합된 정보에 대해 필터링 동작을 수행함으로써 복원된 정보가 획득될 수 있다. 본 출원에서의 아이디어는 HEVC에서 사용될 수도 있거나, 또는 다른 비디오 코딩/디코딩 표준에서 사용될 수도 있다. 다음은 아이디어가 HEVC에서 사용되는 예를 이용하여 인코더 측 상에서 인터 예측 모드의 가능한 경우를 설명한다. 디코더 측 상에서의 인터 예측 모드의 가능한 경우가 유사하며, 따라서 추가적인 설명이 제공되지 않는다.
HEVC에서는, 진보된 모션 벡터 예측(AMVP) 모드 및 병합 모드가 있다. 다음은 2개의 모드를 별도로 설명한다.
AMVP 모드에서, 아핀 후보 모션 벡터 리스트가 현재의 코딩 블록에 공간적으로 또는 시간적으로 이웃하는 인코딩된 블록의 모션 정보를 이용하여 먼저 구성되며, 그후 최적의 모션 벡터가 현재의 코딩 블록의 모션 벡터 예측자(Motion vector predictor, MVP)로서 아핀 후보 모션 벡터 리스트로부터 결정된다. 레이트-왜곡 비용은 수식 (0-1)을 이용하여 계산되며, 여기서, J는 레이트-왜곡 비용 RD 비용이며, SAD는 후보 모션 벡터 예측자를 이용하여 수행되는 모션 추정을 통해서 획득되는 예측된 샘플 값과 원래 샘플 값 사이의 절대 차이의 합(Sum of absolute differences, SAD)이며, R은 비트 레이트이고, λ는 Lagrange 승수이다. 인코더 측은 아핀 후보 모션 벡터 리스트에서의 선택된 모션 벡터 예측자의 인덱스 값 및 참조 프레임 인덱스 값을 디코더 측으로 전송한다. 또, 모션 탐색이 현재의 코딩 블록의 실제 모션 벡터를 획득하기 위해, MVP 중심의 이웃하는 도메인에서 수행된다. 인코더 측은 MVP와 실제 모션 벡터 사이의 차이 (모션 벡터 차이)를 디코더 측으로 전송한다.
J = SAD + λR
(0-1)
병합 모드에서, 후보 모션 정보 리스트가 현재의 코딩 블록에 공간적으로 또는 시간적으로 이웃하는 인코딩된 블록의 모션 정보를 이용하여 먼저 구성되며, 그후 최적의 모션 정보가 레이트-왜곡 비용에 기초하여 후보 모션 정보 리스트로부터 결정되어 현재의 코딩 블록의 모션 정보로서 사용되며, 후보 모션 정보 리스트에서의 최적의 모션 정보의 위치의 인덱스 값(아래에서 동일하게, 병합 인덱스로 지칭됨)이 디코더 측으로 전송된다. 현재의 코딩 블록의 공간 및 시간 후보 모션 정보는 도 5c에 도시된다. 공간 후보 모션 정보는 5개의 공간적으로 이웃하는 블록(A0, A1, B0, B1, 및 B2)로부터 유래한다. 이웃하는 블록이 이용불가능하거나 또는 인트라 코딩 모드에 있으면, 이웃하는 블록이 후보 모션 정보 리스트에 추가되지 않는다. 현재의 코딩 블록의 시간 후보 모션 정보는, 참조 프레임 및 현재의 프레임의 픽처 순서 카운트(picture order count, POC)에 기초하여, 참조 프레임의 대응하는 위치에서의 블록의 MV가 스케일링된 후 획득된다. 참조 프레임의 위치 T에서의 블록이 이용가능한지 여부가 먼저 결정된다. 그 블록이 이용불가능하면, 위치 C에서의 블록이 선택된다.
HEVC의 인터 예측에서, 현재의 코딩 블록 내 모든 샘플은 동일한 모션 정보를 이용하며, 그후 코딩 블록의 샘플의 예측자를 획득하기 위해, 모션 정보에 기초하여 모션 보상이 수행된다. 그러나, 현재의 코딩 블록에서, 모든 샘플이 동일한 모션 특성을 갖지는 않는다. 동일한 모션 정보를 이용하는 것은 부정확한 모션 보상 예측 및 더 많은 잔차 정보를 발생시킬 수도 있다.
기존 비디오 코딩 표준에서는, 병진 모션 모델에 기초한 블록 매칭 모션 추정이 사용되며, 그리고, 블록 내 모든 샘플의 모션이 일치한다고 가정한다. 그러나, 현실 세계에서, 다양한 움직임이 있다. 다수의 물체, 예를 들어, 회전 물체, 상이한 방향으로 회전하는 롤러 코스터, 불꽃놀이, 및 영화에서의 일부 스턴트는 병진 모션이 아니다. 이들 움직이는 물체, 특히 UGC 시나리오에서의 물체에 대해, 기존 코딩 표준에서 병진 모션 모델에 기초한 블록 모션 보상 기술이 코딩에 사용되면, 코딩 효율이 크게 영향을 받는다. 따라서, 비-병진 모션 모델에 관한 연구가 업계에서 그리고 Huawei에 의해 수행되었다. 특히, 코딩 효율을 더욱 향상시키기 위해, 아핀 변환-기반 모션 모델에 대해 심층 연구가 수행되었다.
비-병진 모션 모델-기반 예측에서, 인코더 측 및 디코더 측 상에서 동일한 모션 모델을 사용하여 현재의 코딩 블록에서의 각각의 서브-모션 보상 유닛의 모션 정보를 추론하고, 서브-모션 보상 유닛의 모션 정보에 기초하여 모션 보상을 수행하여 예측 블록을 획득함으로써, 예측 효율을 향상시킨다. 일반적으로 사용된 모션 모델은 6-파라미터 아핀 모델 및 4-파라미터 아핀 변환 모델을 포함한다.
4-파라미터 아핀 변환 모델은 다음 수식 (0-2)에 나타낸다:
4-파라미터 아핀 변환 모델은 현재의 코딩 블록의 좌상단 샘플에 대한 2개의 샘플의 모션 벡터 및 샘플의 좌표에 의해 표현될 수도 있다. 모션 모델 파라미터를 나타내는데 사용되는 샘플은 제어 지점으로서 표시된다. 좌상단 정점 (0, 0)에서의 샘플 및 우상단 정점 (W, 0)에서의 샘플이 제어 지점으로서 사용되면, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 가 먼저 결정되고, 그후 현재의 코딩 블록에서의 각각의 서브-모션 보상 유닛의 모션 정보가 수식 (0-3)에 따라서 유도되며, 여기서, (x, y)는 현재의 코딩 블록의 좌상단 샘플에 대한 서브-모션 보상 유닛의 좌표이고, W는 현재의 코딩 블록의 폭이다.
6-파라미터 아핀 변환 모델은 다음 수식 (0-4)에 나타낸다:
6-파라미터 아핀 변환 모델은 현재의 코딩 블록의 좌상단 샘플에 대한 3개의 샘플의 모션 벡터 및 샘플의 좌표에 의해 표현될 수도 있다. 좌상단 정점 (0, 0)에서의 샘플, 우상단 정점 (W, 0)에서의 샘플, 및 좌하단 정점 (0, H)에서의 샘플이 제어 지점으로서 사용되면, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 가 먼저 결정되고, 그후 현재의 코딩 블록에서의 각각의 서브-모션 보상 유닛의 모션 정보가 수식 (0-5)에 따라서 유도되며, 여기서, (x, y)는 현재의 코딩 블록의 좌상단 샘플에 대한 서브-모션 보상 유닛의 좌표이며, W 및 H는 각각 현재의 코딩 블록의 폭 및 높이이다.
8-파라미터 이중선형 모델은 다음 수식 (0-6)에 나타낸다:
8-파라미터 이중선형 모델은 현재의 코딩 블록의 좌상단 샘플에 대한 4개의 샘플의 모션 벡터 및 샘플의 좌표에 의해 표현될 수도 있다. 좌상단 정점 (0, 0)에서의 샘플, 우상단 정점 (W, 0)에서의 샘플, 좌하단 정점 (0, H)에서의 샘플, 및 우하단 정점 (W, H)에서의 샘플이 제어 지점으로서 사용되면, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 현재의 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 가 먼저 결정되고, 그후 현재의 코딩 블록에서의 각각의 서브-모션 보상 유닛의 모션 정보가 수식 (0-7)에 따라서 유도되며, 여기서, (x, y)는 현재의 코딩 블록의 좌상단 샘플에 대한 서브-모션 보상 유닛의 좌표이며, W 및 H는 각각 현재의 코딩 블록의 폭 및 높이이다.
비-병진 모션 모델을 이용하여 예측된 코딩 블록은 비-병진 코딩 블록으로서 지칭된다.
대개, 비-병진 코딩 블록의 제어 지점의 모션 정보는 아핀 변환-기반 진보된 모션 벡터 예측(AMVP) 모드 또는 아핀 변환-기반 병합 모드를 이용하여 획득될 수도 있다.
다음은 인코더 측의 관점 및 디코더 측의 관점에서, 현재의 코딩 블록의 제어 지점의 모션 벡터를 획득하는 방법을 별도로 설명하기 위한 일 예로서 4-파라미터 아핀 변환 모델에서의 2개의 제어 지점의 모션 정보를 이용한다.
(1) 후보 모션 벡터 2-튜플을 구성한다.
현재의 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점의 모션 벡터는 현재의 코딩 블록의 이웃하는 인코딩된 블록의 모션 정보에 기초하여 결정된다. 도 7b에 나타낸 바와 같이, 좌상단 이웃하는 인코딩된 블록 A, B, 및 C의 모션 벡터는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터에 대한 후보 모션 벡터로서 사용되며, 우상단 이웃하는 인코딩된 블록 D 및 E의 모션 벡터는 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터에 대한 후보 모션 벡터로서 사용된다. 좌상단 제어 지점의 후보 모션 벡터 및 우상단 제어 지점의 후보 모션 벡터가 결합되어 2개의 제어 지점의 후보 모션 벡터 2-튜플 큐를 구성한다.
본원에서, 는 좌상단 제어 지점의 후보 모션 벡터를 나타내고, 은 우상단 제어 지점의 후보 모션 벡터를 나타낸다. 큐에서의 2-튜플의 위치가 인덱싱되며, 인덱스 값은 순차적으로 0, 1, 2, 3, 4, 및 5이다.
선택적으로, 후보 모션 벡터 2-튜플 큐는 특정의 규칙에 따라서 프루닝 및 분류되며, 특정의 양으로 트렁케이트되거나 또는 패딩될 수도 있다.
(2) 최적의 후보 모션 벡터 2-튜플을 결정한다.
인코더 측 상에서, 현재의 코딩 블록에서의 각각의 서브-모션 보상 유닛(특정의 방법에 따라 파티셔닝을 통해서 획득된 샘플 또는 N 1 x N 2 샘플 블록)의 모션 벡터가 수식 (3)에 따라서 각각의 후보 모션 벡터 2-튜플에 기초하여 획득되어, 각각의 서브-모션 보상 유닛의 모션 벡터가 가리키는 참조 프레임에서의 위치에서의 샘플 값이 획득된다. 이 샘플 값이 아핀 변환-기반 모션 보상을 수행하기 위한 예측자로서 사용된다. 현재의 코딩 블록 내 모든 샘플의, 원래 값과 예측자 사이의 차이의 평균이 계산되고, 최소 차이 평균에 대응하는 후보 모션 벡터 2-튜플에서의 모션 벡터가 현재의 코딩 블록에서의 2개의 제어 지점의 모션 벡터 예측자로서 선택된다. 후보 모션 벡터 2-튜플 큐에서 2-튜플의 위치를 나타내는 인덱스가 비트스트림으로 인코딩되어 디코더로 전송된다.
디코더 측 상에서, 인덱스가 파싱되어 2개의 제어 지점의 모션 벡터 예측자가 획득된다.
(3) 제어 지점의 모션 벡터를 결정한다.
인코더 측 상에서, 2개의 제어 지점의 모션 벡터 예측자가 특정의 탐색 범위 내에서 모션 탐색을 수행하기 위한 시작 탐색 지점으로 사용되어, 2개의 제어 지점의 모션 벡터가 획득된다. 2개의 제어 지점의 모션 벡터와 모션 벡터 예측자 사이의 차이가 디코더 측으로 송신된다.
디코더 측 상에서, 2개의 제어 지점의 모션 벡터 차이가 파싱되고 모션 벡터 예측자에 추가되어, 제어 지점의 모션 벡터가 획득된다.
현재의 주류 모션 모델-기반 모션 벡터 예측 방법은, 도 7a에서의 A, B, C, D, 및 E의 순서 (도 5d에 나타낸 바와 같이, 이웃하는 블록 A, B, C, D, 및 E가 현재의 코딩 블록이 위치되는 CTU (502) 주변에 분포됨)로 현재의 코딩 블록의 이웃하는 블록을 횡단하여 아핀 코딩 블록을 발견하고 아핀 코딩 블록의 제어 지점의 모션 벡터를 획득하는 단계, 아핀 코딩 블록의 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 모션 모델을 구성하는 단계, 및 그후 현재의 코딩 블록의 제어 지점의 위치 좌표를 모션 모델로 대체하여, 현재의 블록의 제어 지점의 모션 벡터 예측자를 추론하는 단계를 포함한다는 점에 유의해야 한다. 구체적으로 설명하면, 아핀 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점이 본원에서 모션 모델을 구성하는데 사용된다 (종종 좌하단 제어 지점에 관한 정보가 추가로 사용된다). 도 5d는 일 예로서 사용된다. 이웃하는 블록 E가 이웃하는 아핀 코딩 블록이면, 아핀 모델은 이웃하는 블록 E의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 이웃하는 블록 E의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 이웃하는 블록 E의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 를 이용하여 구성된다. 이웃하는 블록 B가 이웃하는 아핀 코딩 블록이면, 아핀 모델은 이웃하는 블록 B의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 이웃하는 블록 B의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 이웃하는 블록 B의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 를 이용하여 구성된다. 그러나, 모션 벡터 예측 프로세스에서 사용되는 이웃하는 아핀 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점의 위치 좌표 및 모션 벡터가 모두 메모리로부터 실시간으로 판독되어야 하며, 이는 메모리 판독 압력을 증가시킨다. 본 출원의 실시형태에서, 현재의 코딩 블록이 위치되는 CTU (502)의 상부 경계 (501) 상의 제어 지점에 관한 정보 (위치 좌표 및 모션 벡터)가 메모리로부터 판독된 특징을 참조하여, 메모리 판독 압력을 감소시키기 위해 이웃하는 아핀 코딩 블록의 제어 지점에 관한 정보를 선택하여 아핀 모델을 구성하는 방법이 설명된다. 다음은 인코더 측의 관점 및 디코더 측의 관점에서 설명을 별개로 제공한다.
도 6은 본 출원의 일 실시형태에 따른 인코딩 방법의 프로세스(700)의 플로우차트이다. 프로세스(700)는 비디오 인코더(100)에 의해 수행될 수도 있다, 특히, 비디오 인코더(100)의 인터 예측 유닛(또한, 인터 예측기로 지칭됨) (110) 및 엔트로피 인코딩 유닛(또한, 엔트로피 인코더로 지칭됨) (103)에 의해 수행될 수도 있다. 프로세스(700)은 일련의 단계 또는 동작으로서 설명된다. 프로세스(700)의 단계 또는 동작은 다양한 시퀀스로 및/또는 동시에 수행될 수도 있으며 도 6에 나타낸 실행 시퀀스에 한정되지 않는 것으로 이해되어야 한다. 복수의 비디오 프레임을 포함하는 비디오 데이터 스트림이 비디오 인코더를 이용하고 있다고 가정한다. 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(Coding Tree Unit, CTU)에 위치되면, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점에 기초하여 결정된다. 도 6에 나타낸 프로세스에 대응하여, 관련된 설명은 다음과 같다:
단계 S700: 비디오 인코더가 현재의 코딩 블록에 대한 인터 예측 모드를 결정한다.
구체적으로 설명하면, 인터 예측 모드는 진보된 모션 벡터 예측(AMVP) 모드일 수도 있거나, 또는 병합 모드일 수도 있다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 AMVP 모드이면, 단계 S711 내지 S713이 수행된다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 병합 모드이면, 단계 S721 내지 S723이 수행된다.
AMVP 모드:
단계 S711: 비디오 인코더가 후보 모션 벡터 예측자 MVP 리스트를 구성한다.
구체적으로 설명하면, 비디오 인코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 벡터 예측자 MVP 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 후보 모션 벡터 예측자 MVP 리스트 또는 2-튜플 후보 모션 벡터 예측자 MVP 리스트일 수도 있다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 벡터 예측자 MVP 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 따라서, 다음은 상이한 경우에 대한 설명을 제공한다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터 및 위치 좌표에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터가 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (1) 및 (2)에 나타낸다.
수식 (1) 및 (2)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 메모리로부터 판독되기 보다는, 유도를 통해서 획득됨을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 인코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표가 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (1) 및 (2)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (1), (2), 및 (3)에 나타낸다.
수식 (1) 및 (2)는 위에서 설명되었다. 수식 (1), (2), 및 (3)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
방식 2: 후보 모션 벡터 예측자 MVP 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
후보 모션 벡터 예측자 MVP 리스트를 구성하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 세부 사항은 아래에 설명된다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
현재의 코딩 블록의 좌상단 정점 및 우상단 정점의 모션 벡터는 현재의 코딩 블록의 이웃하는 인코딩된 블록의 모션 정보에 기초하여 추정된다. 도 7b에 나타낸 바와 같이, 먼저, 좌상단 정점의 이웃하는 인코딩된 블록 A 및/또는 B 및/또는 C의 모션 벡터가 현재의 코딩 블록의 좌상단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용되며, 우상단 정점의 이웃하는 인코딩된 블록 D 및/또는 E의 모션 벡터가 현재의 코딩 블록의 우상단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용된다. 좌상단 정점의 후보 모션 벡터 및 우상단 정점의 후보 모션 벡터는 후보 모션 벡터 예측자의 그룹을 획득하기 위해 결합될 수도 있다. 이와 같이 결합을 통하여 획득된 복수의 레코드는 후보 모션 벡터 예측자 MVP 리스트를 구성할 수도 있다.
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
현재의 코딩 블록의 좌상단 정점, 우상단 정점, 및 좌하단 정점의 모션 벡터는 현재의 코딩 블록의 이웃하는 인코딩된 블록의 모션 정보에 기초하여 추정된다. 도 7b에 나타낸 바와 같이, 먼저, 좌상단 정점의 이웃하는 인코딩된 블록 A 및/또는 B 및/또는 C의 모션 벡터가 현재의 코딩 블록의 좌상단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용되며, 우상단 정점의 이웃하는 인코딩된 블록 D 및/또는 E의 모션 벡터가 현재의 코딩 블록의 우상단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용되며, 좌하단 정점의 이웃하는 인코딩된 블록 F 및/또는 G의 모션 벡터가 현재의 코딩 블록의 좌하단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용된다. 좌상단 정점의 후보 모션 벡터, 우상단 정점의 후보 모션 벡터, 및 좌하단 정점의 후보 모션 벡터는 후보 모션 벡터 예측자의 그룹을 획득하기 위해 결합될 수도 있다. 이와 같이 결합을 통해서 획득된 후보 모션 벡터 예측자의 복수의 그룹은 후보 모션 벡터 예측자 MVP 리스트를 구성할 수도 있다.
후보 모션 벡터 예측자 MVP 리스트가 단지 방식 1에서 예측된 후보 모션 벡터 예측자를 이용하여 구성될 수도 있거나, 또는 후보 모션 벡터 예측자 MVP 리스트가 단지 방식 2에서 예측된 후보 모션 벡터 예측자를 이용하여 구성될 수도 있거나, 또는 후보 모션 벡터 예측자 MVP 리스트가 방식 1에서 예측된 후보 모션 벡터 예측자 및 방식 2에서 예측된 후보 모션 벡터 예측자 양자를 이용하여 구성될 수도 있다는 점에 유의해야 한다. 게다가, 후보 모션 벡터 예측자 MVP 리스트는 미리 구성된 규칙에 따라서 추가로 프루닝되고 분류되며, 그후 특정의 양으로 트렁케이트되거나 또는 패딩될 수도 있다. 후보 모션 벡터 예측자 MVP 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹이 3개의 제어 지점의 모션 벡터 예측자를 포함할 때, 이 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 리스트로서 지칭될 수도 있거나; 또는 후보 모션 벡터 예측자 MVP 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹이 2개의 제어 지점의 모션 벡터 예측자를 포함할 때, 이 후보 모션 벡터 예측자 MVP 리스트는 2-튜플 리스트로서 지칭될 수도 있다.
단계 S712: 비디오 인코더가 레이트-왜곡 비용 기준에 따라서 후보 모션 벡터 예측자 MVP 리스트에서 목표 후보 모션 벡터 그룹을 결정한다. 구체적으로 설명하면, 후보 모션 벡터 예측자 MVP 리스트에서의 각각의 후보 모션 벡터 그룹에 대해, 현재의 블록의 각각의 서브-블록의 모션 벡터가 계산을 통해서 획득되며, 현재의 블록의 예측자를 획득하기 위해, 모션 보상이 수행되어 각각의 서브-블록의 예측자가 획득된다. 예측자와 원래 값 사이에 최소 에러를 갖는 후보 모션 벡터 그룹이 최적의 모션 벡터 예측자의 그룹, 즉, 목표 후보 모션 벡터 그룹으로서 선택된다. 게다가, 결정된 목표 후보 모션 벡터 그룹은 제어 지점의 그룹의 최적의 후보 모션 벡터 예측자로서 사용되며, 목표 후보 모션 벡터 그룹은 후보 모션 벡터 예측자 MVP 리스트에서의 고유한 인덱스 번호에 대응한다.
단계 S713: 비디오 인코더가 모션 벡터 차이 MVD 및 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩한다.
구체적으로 설명하면, 비디오 인코더는 시작 탐색 지점으로서 목표 후보 모션 벡터 그룹을 이용하여 레이트-왜곡 비용 기준에 따라서 사전 설정된 탐색 범위 내에서, 제어 지점의 그룹에 속하고 최저 비용을 갖는 모션 벡터를 추가로 탐색하고, 그후 목표 후보 모션 벡터 그룹과 제어 지점의 그룹의 모션 벡터 사이의 모션 벡터 차이 MVD를 결정할 수도 있다. 예를 들어, 제어 지점의 제 1 그룹이 제 1 제어 지점 및 제 2 제어 지점을 포함하면, 제 1 제어 지점의 모션 벡터와, 제어 지점의 그룹에서의 제 1 제어 지점의, 목표 후보 모션 벡터 그룹에 의해 표시되는 및 모션 벡터 예측자 사이의 모션 벡터 차이 MVD가 결정되어야 하며, 제 2 제어 지점의 모션 벡터와, 제어 지점의 그룹에서의 제 2 제어 지점의, 목표 후보 모션 벡터 그룹에 의해 표시되는 모션 벡터 예측자 사이의 모션 벡터 차이 MVD가 결정되어야 한다.
선택적으로, 전술한 단계 S711 내지 S713에 추가하여, 단계 S714 및 S715이 AMVP 모드에서 추가로 수행될 수도 있다.
단계 S714: 비디오 인코더가 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
구체적으로 설명하면, 목표 후보 모션 벡터 그룹 및 MVD에 기초하여 획득된 새로운 후보 모션 벡터 그룹은 2개의 제어 지점 (좌상단 제어 지점 및 우상단 제어 지점) 또는 3개의 제어 지점 (예를 들어, 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점)의 모션 벡터를 포함한다. 현재의 코딩 블록의 각각의 서브-블록 (하나의 서브-블록은 하나의 모션 보상 유닛에 대응할 수도 있음)에 대해, 모션 보상 유닛에서 사전 설정된 위치에서의 샘플의 모션 정보가 모션 보상 유닛에서의 모든 샘플의 모션 정보를 나타내기 위해 사용될 수도 있다. 모션 보상 유닛의 사이즈가 M x N이면(M은 현재의 코딩 블록의 폭 W 이하이고, N은 현재의 코딩 블록의 높이 H 이하이고, M, N, W, 및 H는 각각 양의 정수이고 일반적으로 2의 거듭제곱, 예를 들어, 4, 8, 16, 32, 64, 또는 128임), 사전 설정된 위치에서의 샘플은 모션 보상 유닛의 중심 지점(M/2, N/2), 좌상단 샘플 (0, 0), 우상단 샘플(M - 1, 0), 또는 다른 위치에서의 샘플일 수도 있다. 도 8a는 4 x 4 모션 보상 유닛을 나타내며, 도 8b는 8 x 8 모션 보상 유닛을 나타낸다. 대응하는 모션 보상 유닛의 중심 지점은 삼각형으로 표시된다.
현재의 코딩 블록의 좌상단 정점에서의 샘플에 대한 모션 보상 유닛의 중심 지점의 좌표는 수식 (5)에 따라서 계산되며, 여기서 i는 수평 방향으로 (좌측으로부터 우측으로) i번째 모션 보상 유닛이며, j는 수직 방향으로 (상단으로부터 하단으로) j번째 모션 보상 유닛이고, 는 현재의 코딩 블록의 좌상단 제어 지점에서의 샘플에 대한 (i, j)번째 모션 보상 유닛의 중심 지점의 좌표를 나타낸다. 그 후, 현재의 코딩 블록의 아핀 모델 유형(6-파라미터 또는 4-파라미터)에 기초하여, 는 6-파라미터 아핀 모델 수식(6-1)로 대체되거나 또는 는 4-파라미터 아핀 모델 수식(6-2)로 대체되어, 각각의 모션 보상 유닛의 중심 지점의 모션 정보가 획득되며, 모션 정보가 모션 보상 유닛에서의 모든 샘플의 모션 벡터 로서 사용된다.
선택적으로, 현재의 코딩 블록이 6-파라미터 코딩 블록이고 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H) 및 3개의 제어 지점을 이용하여 구성된 6-파라미터 아핀 모델에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H) 및 3개의 제어 지점을 이용하여 구성된 6-파라미터 아핀 모델에 기초한 계산을 통해서 획득된다. 예를 들어, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)을 6-파라미터 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)을 6-파라미터 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 후보 모션 벡터 예측자 MVP 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
선택적으로, 현재의 코딩 블록이 4-파라미터 코딩 블록이고 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H) 및 2개의 제어 지점을 이용하여 구성된 4-파라미터 아핀 모델에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H) 및 2개의 제어 지점을 이용하여 구성된 4-파라미터 아핀 모델에 기초한 계산을 통해서 획득된다. 예를 들어, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)을 4-파라미터 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)을 4-파라미터 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 후보 모션 벡터 예측자 MVP 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
단계 S715: 비디오 인코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다. 예를 들어, 대응하는 서브-블록이 각각의 서브-블록의 모션 벡터 및 참조 프레임 인덱스에 기초하여 참조 프레임에서 발견되며, 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 내삽 필터링이 수행된다.
병합 모드:
단계 S721: 비디오 인코더가 후보 모션 정보 리스트를 구성한다.
구체적으로 설명하면, 비디오 인코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 정보 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 정보 리스트는 트리플릿 후보 모션 정보 리스트이다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 정보 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 세부 사항은 다음과 같다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (1), (2), 및 (3)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (1) 및 (2)에 나타낸다.
수식 (1), (2), 및 (3)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
방식 2: 후보 모션 정보 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
다음은 해결책 A 및 해결책 B로서 표시되는 2개의 해결책을 열거한다.
해결책 A: 4-파라미터 아핀 변환 모델을 구성하기 위해, 현재의 코딩 블록의 2개의 제어 지점의 모션 정보가 결합된다. 2개의 제어 지점은 {CP1, CP4}, {CP2, CP3}, {CP1, CP2}, {CP2, CP4}, {CP1, CP3}, 또는 {CP3, CP4}의 방식으로 결합된다. 예를 들어, 제어 지점 CP1 및 CP2를 이용하여 구성되는 4-파라미터 아핀 변환 모델은 아핀 (CP1, CP2)로 표시된다.
상이한 제어 지점의 결합이 동일한 위치에서의 제어 지점으로 변환될 수도 있다는 점에 유의해야 한다. 예를 들어, 결합 {CP1, CP4}, {CP2, CP3}, {CP2, CP4}, {CP1, CP3}, 또는 {CP3, CP4}에 기초하여 획득된 4-파라미터 아핀 변환 모델은 제어 지점 {CP1, CP2} 또는 {CP1, CP2, CP3}로 표현되도록 변환된다. 변환 방법은 다음과 같다: 모델 파라미터를 획득하기 위해, 제어 지점의 모션 벡터 및 좌표 정보가 수식 (7)로 대체된다. 그 후, {CP1, CP2}의 모션 벡터를 획득하기 위해, {CP1, CP2}의 좌표 정보가 그 수식으로 대체된다. 모션 벡터가 후보 모션 벡터 예측자의 그룹으로서 사용된다.
보다 직접적으로는, 좌상단 제어 지점 및 우상단 제어 지점에 의해 표현되는 모션 벡터 예측자의 그룹을 획득하기 위해, 변환이 다음 수식에 따라서 수행될 수도 있으며, 모션 벡터 예측자의 그룹이 후보 모션 정보 리스트에 추가된다.
{CP1, CP2}를 {CP1, CP2, CP3}으로 변환하는 수식 (8)은 다음과 같다:
{CP1, CP3}를 {CP1, CP2, CP3}으로 변환하는 수식 (9)는 다음과 같다:
{CP2, CP3}를 {CP1, CP2, CP3}으로 변환하는 수식 (10)은 다음과 같다:
{CP1, CP4}를 {CP1, CP2, CP3}으로 변환하는 수식 (11)은 다음과 같다:
{CP2, CP4}를 {CP1, CP2, CP3}으로 변환하는 수식 (12)는 다음과 같다:
{CP3, CP4}를 {CP1, CP2, CP3}으로 변환하는 수식 (13)은 다음과 같다:
해결책 B: 6-파라미터 아핀 변환 모델을 구성하기 위해, 현재의 코딩 블록의 3개의 제어 지점의 모션 정보가 결합된다. 3개의 제어 지점은 {CP1, CP2, CP4}, {CP1, CP2, CP3}, {CP2, CP3, CP4}, 또는 {CP1, CP3, CP4}의 방식으로 결합된다. 예를 들어, 제어 지점 CP1, CP2, 및 CP3를 이용하여 구성된 6-파라미터 아핀 변환 모델은 아핀 (CP1, CP2, CP3)로서 표시된다.
상이한 제어 지점의 결합이 동일한 위치에서의 제어 지점으로 변환될 수도 있다는 점에 유의해야 한다. 예를 들어, 결합 {CP1, CP2, CP4}, {CP2, CP3, CP4}, 또는 {CP1, CP3, CP4}에 기초하여 획득된 6-파라미터 아핀 변환 모델은 제어 지점 {CP1, CP2, CP3}에 의해 표시되도록 변환된다. 변환 방법은 다음과 같다: 모델 파라미터를 획득하기 위해, 제어 지점의 모션 벡터 및 좌표 정보가 수식 (14)로 대체된다. 그 후, {CP1, CP2, CP3}의 모션 벡터를 획득하기 위해, {CP1, CP2, CP3}의 좌표 정보가 수식으로 대체된다. 모션 벡터가 후보 모션 벡터 예측자의 그룹으로서 사용된다.
보다 직접적으로는, 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점에 의해 표현되는 모션 벡터 예측자의 그룹을 획득하기 위해, 변환이 다음 수식에 따라서 수행될 수도 있으며, 모션 벡터 예측자의 그룹이 후보 모션 정보 리스트에 추가된다.
{CP1, CP2, CP4}를 {CP1, CP2, CP3}로 변환하는 수식 (15)는 다음과 같다:
{CP2, CP3, CP4}를 {CP1, CP2, CP3}로 변환하는 수식 (16)은 다음과 같다:
{CP1, CP3, CP4}를 {CP1, CP2, CP3}로 변환하는 수식 (17)은 다음과 같다:
후보 모션 정보 리스트가 단지 방식 1에서 예측된 후보 모션 벡터 예측자를 이용하여 구성될 수도 있거나, 또는 후보 모션 정보 리스트가 단지 방식 2에서 예측된 후보 모션 벡터 예측자를 이용하여 구성될 수도 있거나, 또는 후보 모션 정보 리스트가 방식 1에서 예측된 후보 모션 벡터 예측자 및 방식 2에서 예측된 후보 모션 벡터 예측자 양자를 이용하여 구성될 수도 있다는 점에 유의해야 한다. 게다가, 후보 모션 정보 리스트는 미리 구성된 규칙에 따라서 추가로 프루닝되고 분류되며, 그후 특정의 양으로 트렁케이트되거나 또는 패딩될 수도 있다. 후보 모션 정보 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹이 3개의 제어 지점의 모션 벡터 예측자를 포함할 때, 이 후보 모션 정보 리스트는 트리플릿 리스트로서 지칭될 수도 있거나; 또는 후보 모션 정보 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹이 2개의 제어 지점의 모션 벡터 예측자를 포함할 때, 이 후보 모션 정보 리스트는 2-튜플 리스트로서 지칭될 수도 있다.
단계 S722: 비디오 인코더가 레이트-왜곡 비용 기준에 따라서 후보 모션 정보 리스트에서 목표 후보 모션 벡터 그룹을 결정한다. 구체적으로 설명하면, 후보 모션 정보 리스트에서의 각각의 후보 모션 벡터 그룹에 대해, 현재의 블록의 각각의 서브-블록의 모션 벡터가 계산을 통해서 획득되며, 현재의 블록의 예측자를 획득하기 위해, 모션 보상이 수행되어 각각의 서브-블록의 예측자가 획득된다. 예측자와 원래 값 사이에 최소 에러를 갖는 후보 모션 벡터 그룹이 최적의 모션 벡터 예측자의 그룹, 즉, 목표 후보 모션 벡터 그룹으로서 선택된다. 게다가, 결정된 목표 후보 모션 벡터 그룹이 제어 지점의 그룹의 최적의 후보 모션 벡터 예측자로서 사용되며, 목표 후보 모션 벡터 그룹은 후보 모션 정보 리스트에서의 고유한 인덱스 번호에 대응한다.
단계 S723: 비디오 인코더가 목표 후보 모션 벡터 그룹에 대응하는 인덱스, 참조 프레임 인덱스, 및 예측 방향에 대응하는 인덱스를 송신될 비트스트림으로 인코딩한다.
선택적으로, 전술한 단계 S721 내지 S723에 추가하여, 단계 S724 및 S725가 병합 모드에서 추가로 수행될 수도 있다.
단계 S724: 비디오 인코더가 파라미터-기반 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
구체적으로 설명하면, 목표 후보 모션 벡터 그룹은 2개의 제어 지점 (좌상단 제어 지점 및 우상단 제어 지점) 또는 3개의 제어 지점 (예를 들어, 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점)의 모션 벡터를 포함한다. 현재의 코딩 블록의 각각의 서브-블록 (하나의 서브-블록은 하나의 모션 보상 유닛에 대응할 수도 있음)에 대해, 모션 보상 유닛에서 사전 설정된 위치에서의 샘플의 모션 정보가 모션 보상 유닛에서의 모든 샘플의 모션 정보를 나타내기 위해 사용될 수도 있다. 모션 보상 유닛의 사이즈가 M x N이면(M은 현재의 코딩 블록의 폭 W 이하이고, N은 현재의 코딩 블록의 높이 H 이하이고, M, N, W, 및 H는 각각 양의 정수이고 일반적으로 2의 거듭제곱, 예를 들어, 4, 8, 16, 32, 64, 또는 128임), 사전 설정된 위치에서의 샘플은 모션 보상 유닛의 중심 지점(M/2, N/2), 좌상단 샘플 (0, 0), 우상단 샘플(M - 1, 0), 또는 다른 위치에서의 샘플일 수도 있다. 도 8a는 4 x 4 모션 보상 유닛을 나타내며, 도 8b는 8 x 8 모션 보상 유닛을 나타낸다.
현재의 코딩 블록의 좌상단 정점에서의 샘플에 대한 모션 보상 유닛의 중심 지점의 좌표는 수식 (5)에 따라서 계산되며, 여기서 i는 수평 방향으로 (좌측으로부터 우측으로) i번째 모션 보상 유닛이며, j는 수직 방향으로 (상단으로부터 하단으로) j번째 모션 보상 유닛이고, 는 현재의 코딩 블록의 좌상단 제어 지점에서의 샘플에 대한 (i, j)번째 모션 보상 유닛의 중심 지점의 좌표를 나타낸다. 그 후, 현재의 코딩 블록의 아핀 모델 유형(6-파라미터 또는 4-파라미터)에 기초하여, 는 6-파라미터 아핀 모델 수식(6-1)로 대체되거나 또는 는 4-파라미터 아핀 모델 수식(6-2)로 대체되어, 각각의 모션 보상 유닛의 중심 지점의 모션 정보가 획득되며, 모션 정보가 모션 보상 유닛에서의 모든 샘플의 모션 벡터 로서 사용된다.
선택적으로, 현재의 코딩 블록이 6-파라미터 코딩 블록이고 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H) 및 3개의 제어 지점을 이용하여 구성된 6-파라미터 아핀 모델에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H) 및 3개의 제어 지점을 이용하여 구성된 6-파라미터 아핀 모델에 기초한 계산을 통해서 획득된다. 예를 들어, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)을 6-파라미터 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)을 6-파라미터 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 후보 모션 정보 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
선택적으로, 현재의 코딩 블록이 4-파라미터 코딩 블록이고 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H) 및 2개의 제어 지점을 이용하여 구성된 4-파라미터 아핀 모델에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H) 및 2개의 제어 지점을 이용하여 구성된 4-파라미터 아핀 모델에 기초한 계산을 통해서 획득된다. 예를 들어, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)을 4-파라미터 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)을 4-파라미터 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 후보 모션 정보 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
단계 S725: 비디오 인코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다. 구체적으로 설명하면, 현재의 코딩 블록의 예측된 샘플 값은 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터, 및 참조 프레임 인덱스 및 인덱스에 의해 표시되는 예측 방향에 기초하여 예측된다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독되는 것을 알 수 있다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 대신에, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보 (예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있어, 메모리로부터 판독하는 횟수를 감소시키고 인코딩 성능을 향상시킨다.
인코더 측 상에서의 다른 선택적인 실시형태에서, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점에 기초하여 결정되거나; 또는 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점에 기초하여 결정된다. 세부 사항은 다음과 같다:
단계 S900: 비디오 인코더가 현재의 코딩 블록에 대한 인터 예측 모드를 결정한다.
구체적으로 설명하면, 인터 예측 모드는 진보된 모션 벡터 예측(AMVP) 모드일 수도 있거나, 또는 병합 모드일 수도 있다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 AMVP 모드이면, 단계 S911 내지 S913이 수행된다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 병합 모드이면, 단계 S921 내지 S923이 수행된다.
AMVP 모드:
단계 S911: 비디오 인코더가 후보 모션 벡터 예측자 MVP 리스트를 구성한다.
구체적으로 설명하면, 비디오 인코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 벡터 예측자 MVP 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 후보 모션 벡터 예측자 MVP 리스트 또는 2-튜플 후보 모션 벡터 예측자 MVP 리스트일 수도 있다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 벡터 예측자 MVP 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델이 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터가 제 1 아핀 모델에 기초하여 예측된다. 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 따라서, 다음은 상이한 경우에 대한 설명을 제공한다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터 및 위치 좌표에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (1) 및 (2)에 나타낸다.
수식 (1) 및 (2)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 인코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (1) 및 (2)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최우측 제어 지점의 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최우측 제어 지점의 모션 벡터 및 위치 좌표에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (18) 및 (19)에 나타낸다.
수식 (18) 및 (19)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않고 현재의 코딩 블록의 좌측 상의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 예를 들어, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다. 다른 예로, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
선택적으로, 후보 모션 벡터 예측자 MVP 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득된다. 제 2 이웃하는 아핀 코딩 블록에 대한 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 제 1 이웃하는 아핀 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하다 (예를 들어, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 포함된 제어 지점은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 좌상단 제어 지점이고, 그러나, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 포함된 제어 지점은 제 2 이웃하는 아핀 코딩 블록의 우상단 제어 지점, 우하단 제어 지점, 및 좌하단 제어 지점이다).
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (1), (2), 및 (3)에 나타낸다.
수식 (1), (2), 및 (5)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 인코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최우측 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (18), (19), 및 (20)에 나타낸다.
수식 (18), (19), 및 (20)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않고 현재의 코딩 블록의 좌측 상의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 예를 들어, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다. 다른 예로, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
선택적으로, 후보 모션 벡터 예측자 MVP 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득된다. 제 2 이웃하는 아핀 코딩 블록에 대한 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 제 1 이웃하는 아핀 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하다 (예를 들어, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 포함된 제어 지점은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 좌상단 제어 지점이고, 그러나, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 포함된 제어 지점은 제 2 이웃하는 아핀 코딩 블록의 우상단 제어 지점, 우하단 제어 지점, 및 좌하단 제어 지점이다).
방식 2: 후보 모션 벡터 예측자 MVP 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S711에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S912: 비디오 인코더가 레이트-왜곡 비용 기준에 따라서 후보 모션 벡터 예측자 MVP 리스트에서 목표 후보 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S712의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S913: 비디오 인코더가 모션 벡터 차이 MVD 및 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩한다.
세부 사항에 대해서는, 단계 S713의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
병합 모드:
단계 S921: 비디오 인코더가 후보 모션 정보 리스트를 구성한다.
구체적으로 설명하면, 비디오 인코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 정보 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 정보 리스트는 트리플릿 후보 모션 정보 리스트이다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 정보 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 세부 사항은 다음과 같다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터가 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (1), (2), 및 (3)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (1) 및 (2)에 나타낸다.
수식 (1), (2), 및 (3)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 인코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최우측 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (18), (19), 및 (20)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (18) 및 (19)에 나타낸다.
수식 (18), (19), 및 (20)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않고 현재의 코딩 블록의 좌측 상의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 예를 들어, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다. 다른 예로, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
선택적으로, 후보 모션 정보 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득된다. 제 2 이웃하는 아핀 코딩 블록에 대한 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 제 1 이웃하는 아핀 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하다 (예를 들어, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 포함된 제어 지점은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 좌상단 제어 지점이고, 그러나, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 포함된 제어 지점은 제 2 이웃하는 아핀 코딩 블록의 우상단 제어 지점, 우하단 제어 지점, 및 좌하단 제어 지점이다).
방식 2: 후보 모션 정보 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S721에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S922: 비디오 인코더가 레이트-왜곡 비용 기준에 따라서 후보 모션 정보 리스트에서 목표 후보 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S722의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S923: 비디오 인코더가 목표 후보 모션 벡터 그룹에 대응하는 인덱스, 참조 프레임 인덱스에 대응하는 인덱스, 및 예측 방향에 대응하는 인덱스를 송신될 비트스트림으로 인코딩한다.
세부 사항에 대해서는, 단계 S723의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S924: 비디오 인코더가 6-파라미터 아핀 변환 모델을 이용하여 현재의 코딩 블록의 3개의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
세부 사항에 대해서는, 단계 S724의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S925: 비디오 인코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다.
세부 사항에 대해서는, 단계 S725의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독되는 것을 알 수 있다. 제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록의 좌측 상에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최우측 제어 지점에 관한 정보가 메모리로부터 판독된다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 대신에, 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 여기서, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치된다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보 (예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있어, 메모리로부터 판독하는 횟수를 감소시키고 인코딩 성능을 향상시킨다.
인코더 측 상에서의 다른 선택적인 실시형태에서, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 우상단 제어 지점에 기초하여 결정된다. 세부 사항은 다음과 같다:
단계 S1000: 비디오 인코더가 현재의 코딩 블록에 대한 인터 예측 모드를 결정한다.
구체적으로 설명하면, 인터 예측 모드는 진보된 모션 벡터 예측(AMVP) 모드일 수도 있거나, 또는 병합 모드일 수도 있다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 AMVP 모드이면, 단계 S1011 내지 S1013이 수행된다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 병합 모드이면, 단계 S1021 내지 S1023이 수행된다.
AMVP 모드:
단계 S1011: 비디오 인코더가 후보 모션 벡터 예측자 MVP 리스트를 구성한다.
구체적으로 설명하면, 비디오 인코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 벡터 예측자 MVP 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 후보 모션 벡터 예측자 MVP 리스트 또는 2-튜플 후보 모션 벡터 예측자 MVP 리스트일 수도 있다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 벡터 예측자 MVP 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 따라서, 다음은 상이한 경우에 대한 설명을 제공한다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (21) 및 (22)에 나타낸다.
수식 (21) 및 (22)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 인코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (21) 및 (22)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (21), (22), 및 (23)에 나타낸다.
수식 (21), (22), 및 (23)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
방식 2: 후보 모션 벡터 예측자 MVP 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S711에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1012: 비디오 인코더가 레이트-왜곡 비용 기준에 따라서 후보 모션 벡터 예측자 MVP 리스트에서 목표 후보 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S712의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1013: 비디오 인코더가 모션 벡터 차이 MVD 및 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩한다.
세부 사항에 대해서는, 단계 S713의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
병합 모드:
단계 S1021: 비디오 인코더가 후보 모션 정보 리스트를 구성한다.
구체적으로 설명하면, 비디오 인코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 정보 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 정보 리스트는 트리플릿 후보 모션 정보 리스트이다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 정보 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹(후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 세부 사항은 다음과 같다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (21), (22), 및 (23)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (21) 및 (22)에 나타낸다.
수식 (21), (22), 및 (23)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
방식 2: 후보 모션 정보 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S721에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1022: 비디오 인코더가 레이트-왜곡 비용 기준에 따라서 후보 모션 정보 리스트에서 목표 후보 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S722의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1023: 비디오 인코더가 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩한다.
세부 사항에 대해서는, 단계 S723의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독되는 것을 알 수 있다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 대신에, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보 (예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있어, 메모리로부터 판독하는 횟수를 감소시키고 인코딩 성능을 향상시킨다.
인코더 측 상에서의 다른 선택적인 실시형태에서, 현재의 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 위치에 관계 없이, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점에 기초하여 직접 결정된다. 상세한 설명은 다음과 같다:
단계 S1100: 비디오 인코더가 현재의 코딩 블록에 대한 인터 예측 모드를 결정한다.
구체적으로 설명하면, 인터 예측 모드는 진보된 모션 벡터 예측(AMVP) 모드일 수도 있거나, 또는 병합 모드일 수도 있다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 AMVP 모드이면, 단계 S1111 내지 S1113이 수행된다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 병합 모드이면, 단계 S1121 내지 S1123이 수행된다.
AMVP 모드:
단계 S1111: 비디오 인코더가 후보 모션 벡터 예측자 MVP 리스트를 구성한다.
구체적으로 설명하면, 비디오 인코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 벡터 예측자 MVP 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 후보 모션 벡터 예측자 MVP 리스트 또는 2-튜플 후보 모션 벡터 예측자 MVP 리스트일 수도 있다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 벡터 예측자 MVP 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 따라서, 다음은 상이한 경우에 대한 설명을 제공한다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
현재의 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 위치에 관계 없이, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 모션 벡터가 직접 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (21) 및 (22)에 나타낸다.
수식 (21) 및 (22)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 인코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (21) 및 (22)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
선택적으로, 후보 모션 벡터 예측자 MVP 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹은 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다.
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
현재의 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 위치에 관계 없이, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 직접 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (21), (22), 및 (23)에 나타낸다.
수식 (21), (22), 및 (23)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 후보 모션 벡터 예측자 MVP 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹은 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다.
방식 2: 후보 모션 벡터 예측자 MVP 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S711에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1112: 비디오 인코더가 레이트-왜곡 비용 기준에 따라서 후보 모션 벡터 예측자 MVP 리스트에서 목표 후보 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S712의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1113: 비디오 인코더가 모션 벡터 차이 MVD 및 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩한다.
세부 사항에 대해서는, 단계 S713의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
병합 모드:
단계 S1121: 비디오 인코더가 아핀 후보 모션 벡터 리스트를 구성한다.
구체적으로 설명하면, 비디오 인코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 아핀 후보 모션 벡터 리스트(또한, 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 아핀 후보 모션 벡터 리스트는 트리플릿 아핀 후보 모션 벡터 리스트이다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 아핀 후보 모션 벡터 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 세부 사항은 다음과 같다:
현재의 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 위치에 관계 없이, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 직접 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되어 아핀 후보 모션 벡터 리스트에 추가된다. 세부 사항은 수식 (21), (22), 및 (23)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되어 아핀 후보 모션 벡터 리스트에 추가된다. 세부 사항은 수식 (21) 및 (22)에 나타낸다.
수식 (21), (22), 및 (23)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 아핀 후보 모션 벡터 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹은 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다.
방식 2: 아핀 후보 모션 벡터 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S721에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1122: 비디오 인코더가 레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S712의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1123: 비디오 인코더가 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩한다.
세부 사항에 대해서는, 단계 S713의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독되는 것을 알 수 있다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 대신에, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보 (예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있는 확률이 매우 높아져, 메모리로부터 판독하는 횟수를 감소시키고 인코딩 성능을 향상시킨다.
도 9는 본 출원의 일 실시형태에 따른 디코딩 방법의 프로세스(900)의 플로우차트이다. 프로세스(900)는 비디오 디코더(200)에 의해 수행될 수도 있다, 특히, 비디오 디코더(200)의 인터 예측 유닛(또한, 인터 예측기로 지칭됨) (210) 및 엔트로피 디코딩 유닛(또한, 엔트로피 디코더로서 지칭됨) (203)에 의해 수행될 수도 있다. 프로세스(900)은 일련의 단계 또는 동작으로서 설명된다. 프로세스(900)의 단계 또는 동작은 다양한 시퀀스로 및/또는 동시에 수행될 수도 있으며 도 9의 실행 시퀀스에 한정되지 않는 것으로 이해되어야 한다. 복수의 비디오 프레임을 포함하는 비디오 데이터 스트림이 비디오 디코더를 이용하고 있다고 가정한다. 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점에 기초하여 결정된다. 도 9에 나타낸 프로세스에 대응하여, 관련된 설명은 다음과 같다:
디코더 측 상에서의 선택적인 실시형태에서, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점에 기초하여 결정된다. 세부 사항은 다음과 같다:
단계 S1200: 비디오 디코더가 현재의 코딩 블록에 대한 인터 예측 모드를 결정한다.
구체적으로 설명하면, 인터 예측 모드는 진보된 모션 벡터 예측(AMVP) 모드일 수도 있거나, 또는 병합 모드일 수도 있다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 AMVP 모드이면, 단계 S1211 내지 S1216이 수행된다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 병합 모드이면, 단계 S1221 내지 S1225가 수행된다.
AMVP 모드:
단계 S1211: 비디오 디코더가 후보 모션 벡터 예측자 MVP 리스트를 구성한다.
구체적으로 설명하면, 비디오 디코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 벡터 예측자 MVP 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 후보 모션 벡터 예측자 MVP 리스트 또는 2-튜플 후보 모션 벡터 예측자 MVP 리스트일 수도 있다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 벡터 예측자 MVP 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 따라서, 다음은 상이한 경우에 대한 설명을 제공한다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 (도 9a에 나타낸 바와 같이) 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다(단계 S1201).
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터 및 위치 좌표에 기초하여 형성된다(단계 S1202).
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (1) 및 (2)에 나타낸다(단계 S1203).
수식 (1) 및 (2)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 디코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (1) 및 (2)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (1), (2), 및 (3)에 나타낸다.
수식 (1) 및 (2)는 위에서 설명되었다. 수식 (1), (2), 및 (3)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
방식 2: 후보 모션 벡터 예측자 MVP 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
후보 모션 벡터 예측자 MVP 리스트를 구성하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 세부 사항은 아래에 설명된다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
현재의 코딩 블록의 좌상단 정점 및 우상단 정점의 모션 벡터는 현재의 코딩 블록의 이웃하는 디코딩된 블록의 모션 정보에 기초하여 추정된다. 도 7b에 나타낸 바와 같이, 먼저, 좌상단 정점의 이웃하는 디코딩된 블록 A 및/또는 B 및/또는 C의 모션 벡터가 현재의 코딩 블록의 좌상단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용되며, 우상단 정점의 이웃하는 디코딩된 블록 D 및/또는 E의 모션 벡터가 현재의 코딩 블록의 우상단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용된다. 좌상단 정점의 후보 모션 벡터 및 우상단 정점의 후보 모션 벡터는 후보 모션 벡터 예측자의 그룹을 획득하기 위해 결합될 수도 있다. 이와 같이 결합을 통하여 획득된 복수의 레코드는 후보 모션 벡터 예측자 MVP 리스트를 구성할 수도 있다.
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
현재의 코딩 블록의 좌상단 정점, 우상단 정점, 및 좌하단 정점의 모션 벡터는 현재의 코딩 블록의 이웃하는 디코딩된 블록의 모션 정보에 기초하여 추정된다. 도 7b에 나타낸 바와 같이, 먼저, 좌상단 정점의 이웃하는 디코딩된 블록 A 및/또는 B 및/또는 C의 모션 벡터가 현재의 코딩 블록의 좌상단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용되며, 우상단 정점의 이웃하는 디코딩된 블록 D 및/또는 E의 모션 벡터가 현재의 코딩 블록의 우상단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용되며, 좌하단 정점의 이웃하는 디코딩된 블록 F 및/또는 G의 모션 벡터가 현재의 코딩 블록의 좌하단 정점의 모션 벡터에 대한 후보 모션 벡터로서 사용된다. 좌상단 정점의 후보 모션 벡터, 우상단 정점의 후보 모션 벡터, 및 좌하단 정점의 후보 모션 벡터는 후보 모션 벡터 예측자의 그룹을 획득하기 위해 결합될 수도 있다. 이와 같이 결합을 통해서 획득된 후보 모션 벡터 예측자의 복수의 그룹은 후보 모션 벡터 예측자 MVP 리스트를 구성할 수도 있다.
후보 모션 벡터 예측자 MVP 리스트가 단지 방식 1에서 예측된 후보 모션 벡터 예측자를 이용하여 구성될 수도 있거나, 또는 후보 모션 벡터 예측자 MVP 리스트가 단지 방식 2에서 예측된 후보 모션 벡터 예측자를 이용하여 구성될 수도 있거나, 또는 후보 모션 벡터 예측자 MVP 리스트가 방식 1에서 예측된 후보 모션 벡터 예측자 및 방식 2에서 예측된 후보 모션 벡터 예측자 양자를 이용하여 구성될 수도 있다는 점에 유의해야 한다. 게다가, 후보 모션 벡터 예측자 MVP 리스트는 미리 구성된 규칙에 따라서 추가로 프루닝되고 분류되며, 그후 특정의 양으로 트렁케이트되거나 또는 패딩될 수도 있다. 후보 모션 벡터 예측자 MVP 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹이 3개의 제어 지점의 모션 벡터 예측자를 포함할 때, 이 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 리스트로서 지칭될 수도 있거나; 또는 후보 모션 벡터 예측자 MVP 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹이 2개의 제어 지점의 모션 벡터 예측자를 포함할 때, 이 후보 모션 벡터 예측자 MVP 리스트는 2-튜플 리스트로서 지칭될 수도 있다.
단계 S1212: 비디오 디코더가 인덱스 및 모션 벡터 차이 MVD를 획득하기 위해, 비트스트림을 파싱한다.
구체적으로 설명하면, 비디오 디코더가 엔트로피 디코딩 유닛을 이용하여 비트스트림을 파싱할 수도 있다. 인덱스는 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하는데 사용되며, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타낸다.
단계 S1213: 비디오 디코더가 인덱스에 기초하여 후보 모션 벡터 예측자 MVP 리스트에서 목표 모션 벡터 그룹을 결정한다.
구체적으로 설명하면, 인덱스에 기초하여 후보 모션 벡터 예측자 MVP 리스트에서 비디오 디코더에 의해 결정된 목표 후보 모션 벡터 그룹이 최적의 후보 모션 벡터 예측자로서 사용된다 (선택적으로, 후보 모션 벡터 예측자 MVP 리스트의 길이가 1일 때, 비트스트림은 인덱스를 획득하기 위해 파싱될 필요가 없지만, 목표 모션 벡터 그룹이 직접 결정될 수 있다). 다음은 최적의 후보 모션 벡터 예측자를 간략하게 설명한다.
현재의 코딩 블록의 파라미터 모델이 4-파라미터 아핀 변환 모델이면, 2개의 제어 지점의 최적의 모션 벡터 예측자가 구성된 후보 모션 벡터 예측자 MVP 리스트로부터 선택된다. 예를 들어, 비디오 디코더는 비트스트림을 파싱하여 인덱스 번호를 획득하고, 그후 인덱스 번호에 기초하여 2-튜플 후보 모션 벡터 예측자 MVP 리스트에서 2개의 제어 지점의 최적의 모션 벡터 예측자를 결정한다. 후보 모션 벡터 예측자 MVP 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹은 개별 인덱스 번호에 대응한다.
현재의 코딩 블록의 파라미터 모델이 6-파라미터 아핀 변환 모델이면, 3개의 제어 지점의 최적의 모션 벡터 예측자가 구성된 후보 모션 벡터 예측자 MVP 리스트로부터 선택된다. 예를 들어, 비디오 디코더는 비트스트림을 파싱하여 인덱스 번호를 획득하고, 그후 인덱스 번호에 기초하여 트리플릿 후보 모션 벡터 예측자 MVP 리스트에서 3개의 제어 지점의 최적의 모션 벡터 예측자를 결정한다. 후보 모션 벡터 예측자 MVP 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹은 개별 인덱스 번호에 대응한다.
단계 S1214: 비디오 디코더가 목표 후보 모션 벡터 그룹 및 파싱을 통해서 비트스트림으로부터 획득되는 모션 벡터 차이 MVD에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 결정한다.
현재의 코딩 블록의 파라미터 모델이 4-파라미터 아핀 변환 모델이면, 현재의 코딩 블록의 2개의 제어 지점의 모션 벡터 차이가 디코딩을 통해서 비트스트림으로부터 획득되며, 새로운 후보 모션 벡터 그룹은 제어 지점의 모션 벡터 차이 및 인덱스에 의해 표시되는 목표 후보 모션 벡터 그룹에 기초하여 획득된다. 예를 들어, 좌상단 제어 지점의 모션 벡터 차이 MVD 및 우상단 제어 지점의 모션 벡터 차이 MVD가 디코딩을 통해서 비트스트림으로부터 획득되며, 새로운 후보 모션 벡터 그룹을 획득하기 위해, 목표 후보 모션 벡터 그룹에서 좌상단 제어 지점의 모션 벡터 및 우상단 제어 지점의 모션 벡터에 각각 추가된다. 따라서, 새로운 후보 모션 벡터 그룹은 현재의 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점의 새로운 모션 벡터를 포함한다.
선택적으로, 제 3 제어 지점의 모션 벡터는 4-파라미터 아핀 변환 모델을 이용하여 새로운 후보 모션 벡터 그룹에서 현재의 코딩 블록의 2개의 제어 지점의 모션 벡터에 기초하여 추가로 획득될 수도 있다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터 가 획득된다. 그 후, 현재의 코딩 블록의 좌하단 제어 지점 의 모션 벡터 가 수식 (4)에 따라서 계산을 통해 획득된다.
현재의 코딩 블록의 파라미터 모델이 6-파라미터 아핀 변환 모델이면, 현재의 코딩 블록의 3개의 제어 지점의 모션 벡터 차이가 디코딩을 통해서 비트스트림으로부터 획득되며, 새로운 후보 모션 벡터 그룹은 제어 지점의 모션 벡터 차이 MVD 및 인덱스에 의해 표시되는 목표 후보 모션 벡터 그룹에 기초하여 획득된다. 예를 들어, 좌상단 제어 지점의 모션 벡터 차이 MVD, 우상단 제어 지점의 모션 벡터 차이 MVD, 및 좌하단 제어 지점의 모션 벡터 차이가 디코딩을 통해서 비트스트림으로부터 획득되며, 새로운 후보 모션 벡터 그룹을 획득하기 위해, 목표 후보 모션 벡터 그룹에서 좌상단 제어 지점의 모션 벡터, 우상단 제어 지점의 모션 벡터, 및 좌하단 제어 지점의 모션 벡터에 각각 추가된다. 따라서, 새로운 후보 모션 벡터 그룹은 현재의 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점의 모션 벡터를 포함한다.
단계 S1215: 비디오 디코더가 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
구체적으로 설명하면, 목표 후보 모션 벡터 그룹 및 MVD에 기초하여 획득된 새로운 후보 모션 벡터 그룹은 2개의 제어 지점 (좌상단 제어 지점 및 우상단 제어 지점) 또는 3개의 제어 지점 (예를 들어, 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점)의 모션 벡터를 포함한다. 현재의 코딩 블록의 각각의 서브-블록 (하나의 서브-블록은 하나의 모션 보상 유닛에 대응할 수도 있음)에 대해, 모션 보상 유닛에서 사전 설정된 위치에서의 샘플의 모션 정보가 모션 보상 유닛에서의 모든 샘플의 모션 정보를 나타내기 위해 사용될 수도 있다. 모션 보상 유닛의 사이즈가 M x N이면(M은 현재의 코딩 블록의 폭 W 이하이고, N은 현재의 코딩 블록의 높이 H 이하이고, M, N, W, 및 H는 각각 양의 정수이고 일반적으로 2의 거듭제곱, 예를 들어, 4, 8, 16, 32, 64, 또는 128임), 사전 설정된 위치에서의 샘플은 모션 보상 유닛의 중심 지점(M/2, N/2), 좌상단 샘플 (0, 0), 우상단 샘플(M - 1, 0), 또는 다른 위치에서의 샘플일 수도 있다. 도 8a는 4 x 4 모션 보상 유닛을 나타내며, 도 8b는 8 x 8 모션 보상 유닛을 나타낸다.
현재의 코딩 블록의 좌상단 정점에서의 샘플에 대한 모션 보상 유닛의 중심 지점의 좌표가 수식 (5)에 따라서 계산되며, 여기서 i는 수평 방향으로 (좌측으로부터 우측으로) i번째 모션 보상 유닛이며, j는 수직 방향으로 (상단으로부터 하단으로) j번째 모션 보상 유닛이고, 는 현재의 코딩 블록의 좌상단 제어 지점에서의 샘플에 대한 (i, j)번째 모션 보상 유닛의 중심 지점의 좌표를 나타낸다. 그 후, 현재의 코딩 블록의 아핀 모델 유형(6-파라미터 또는 4-파라미터)에 기초하여, 는 6-파라미터 아핀 모델 수식(6-1)로 대체되거나 또는 는 4-파라미터 아핀 모델 수식(6-2)로 대체되어, 각각의 모션 보상 유닛의 중심 지점의 모션 정보가 획득되며, 모션 정보가 모션 보상 유닛에서의 모든 샘플의 모션 벡터 로서 사용된다.
선택적으로, 현재의 코딩 블록이 6-파라미터 코딩 블록이고 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H) 및 3개의 제어 지점을 이용하여 구성된 6-파라미터 아핀 모델에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H) 및 3개의 제어 지점을 이용하여 구성된 6-파라미터 아핀 모델에 기초한 계산을 통해서 획득된다. 예를 들어, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)을 6-파라미터 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)을 6-파라미터 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 후보 모션 벡터 예측자 MVP 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
선택적으로, 현재의 코딩 블록이 4-파라미터 코딩 블록이고 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H) 및 2개의 제어 지점을 이용하여 구성된 4-파라미터 아핀 모델에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터는 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H) 및 2개의 제어 지점을 이용하여 구성된 4-파라미터 아핀 모델에 기초한 계산을 통해서 획득된다. 예를 들어, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)을 4-파라미터 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)을 4-파라미터 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 후보 모션 벡터 예측자 MVP 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
단계 S1216: 비디오 디코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다. 예를 들어, 대응하는 서브-블록이 각각의 서브-블록의 모션 벡터에 기초하여 참조 프레임에서 발견되며, 참조 프레임 인덱스, 내삽 필터링이 수행되어, 각각의 서브-블록의 예측된 샘플 값이 획득된다.
병합 모드:
단계 S1221: 비디오 디코더가 후보 모션 정보 리스트를 구성한다.
구체적으로 설명하면, 비디오 디코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 정보 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 정보 리스트는 트리플릿 후보 모션 정보 리스트이다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 정보 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 세부 사항은 다음과 같다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (1), (2), 및 (3)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (1) 및 (2)에 나타낸다.
수식 (1), (2), 및 (3)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
방식 2: 후보 모션 정보 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
다음은 해결책 A 및 해결책 B로서 표시되는 2개의 해결책을 열거한다.
해결책 A: 4-파라미터 아핀 변환 모델을 구성하기 위해, 현재의 코딩 블록의 2개의 제어 지점의 모션 정보가 결합된다. 2개의 제어 지점은 {CP1, CP4}, {CP2, CP3}, {CP1, CP2}, {CP2, CP4}, {CP1, CP3}, 또는 {CP3, CP4}의 방식으로 결합된다. 예를 들어, 제어 지점 CP1 및 CP2를 이용하여 구성된 4-파라미터 아핀 변환 모델은 아핀 (CP1, CP2)로서 표시된다.
상이한 제어 지점의 결합이 동일한 위치에서의 제어 지점으로 변환될 수도 있다는 점에 유의해야 한다. 예를 들어, 결합 {CP1, CP4}, {CP2, CP3}, {CP2, CP4}, {CP1, CP3}, 또는 {CP3, CP4}에 기초하여 획득된 4-파라미터 아핀 변환 모델은 제어 지점 {CP1, CP2} 또는 {CP1, CP2, CP3}로 표현되도록 변환된다. 변환 방법은 다음과 같다: 모델 파라미터를 획득하기 위해, 제어 지점의 모션 벡터 및 좌표 정보가 수식 (7)로 대체된다. 그 후, {CP1, CP2}의 모션 벡터를 획득하기 위해, {CP1, CP2}의 좌표 정보가 그 수식으로 대체된다. 모션 벡터가 후보 모션 벡터 예측자의 그룹으로서 사용된다.
보다 직접적으로는, 좌상단 제어 지점 및 우상단 제어 지점에 의해 표현되는 모션 벡터 예측자의 그룹을 획득하기 위해, 변환이 다음 수식에 따라서 수행될 수도 있으며, 모션 벡터 예측자의 그룹이 후보 모션 정보 리스트에 추가된다.
{CP1, CP2}를 {CP1, CP2, CP3}으로 변환하는 수식 (8)은 다음과 같다:
{CP1, CP3}를 {CP1, CP2, CP3}으로 변환하는 수식 (9)는 다음과 같다:
{CP2, CP3}를 {CP1, CP2, CP3}으로 변환하는 수식 (10)은 다음과 같다:
{CP1, CP4}를 {CP1, CP2, CP3}으로 변환하는 수식 (11)은 다음과 같다:
{CP2, CP4}를 {CP1, CP2, CP3}으로 변환하는 수식 (12)는 다음과 같다:
{CP3, CP4}를 {CP1, CP2, CP3}으로 변환하는 수식 (13)은 다음과 같다:
해결책 B: 6-파라미터 아핀 변환 모델을 구성하기 위해, 현재의 코딩 블록의 3개의 제어 지점의 모션 정보가 결합된다. 3개의 제어 지점은 {CP1, CP2, CP4}, {CP1, CP2, CP3}, {CP2, CP3, CP4}, 또는 {CP1, CP3, CP4}의 방식으로 결합된다. 예를 들어, 제어 지점 CP1, CP2, 및 CP3를 이용하여 구성된 6-파라미터 아핀 변환 모델은 아핀 (CP1, CP2, CP3)로서 표시된다.
상이한 제어 지점의 결합이 동일한 위치에서의 제어 지점으로 변환될 수도 있다는 점에 유의해야 한다. 예를 들어, 결합 {CP1, CP2, CP4}, {CP2, CP3, CP4}, 또는 {CP1, CP3, CP4}에 기초하여 획득된 6-파라미터 아핀 변환 모델은 제어 지점 {CP1, CP2, CP3}에 의해 표시되도록 변환된다. 변환 방법은 다음과 같다: 모델 파라미터를 획득하기 위해, 제어 지점의 모션 벡터 및 좌표 정보가 수식 (14)로 대체된다. 그 후, {CP1, CP2, CP3}의 모션 벡터를 획득하기 위해, {CP1, CP2, CP3}의 좌표 정보가 수식으로 대체된다. 모션 벡터가 후보 모션 벡터 예측자의 그룹으로서 사용된다.
보다 직접적으로는, 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점에 의해 표현되는 모션 벡터 예측자의 그룹을 획득하기 위해, 변환이 다음 수식에 따라서 수행될 수도 있으며, 모션 벡터 예측자의 그룹이 후보 모션 정보 리스트에 추가된다.
{CP1, CP2, CP4}를 {CP1, CP2, CP3}로 변환하는 수식 (15)는 다음과 같다:
{CP2, CP3, CP4}를 {CP1, CP2, CP3}로 변환하는 수식 (16)은 다음과 같다:
{CP1, CP3, CP4}를 {CP1, CP2, CP3}로 변환하는 수식 (17)은 다음과 같다:
후보 모션 정보 리스트가 단지 방식 1에서 예측된 후보 모션 벡터 예측자를 이용하여 구성될 수도 있거나, 또는 후보 모션 정보 리스트가 단지 방식 2에서 예측된 후보 모션 벡터 예측자를 이용하여 구성될 수도 있거나, 또는 후보 모션 정보 리스트가 방식 1에서 예측된 후보 모션 벡터 예측자 및 방식 2에서 예측된 후보 모션 벡터 예측자 양자를 이용하여 구성될 수도 있다는 점에 유의해야 한다. 게다가, 후보 모션 정보 리스트는 미리 구성된 규칙에 따라서 추가로 프루닝되고 분류되며, 그후 특정의 양으로 트렁케이트되거나 또는 패딩될 수도 있다. 후보 모션 정보 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹이 3개의 제어 지점의 모션 벡터 예측자를 포함할 때, 이 후보 모션 정보 리스트는 트리플릿 리스트로서 지칭될 수도 있거나; 또는 후보 모션 정보 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹이 2개의 제어 지점의 모션 벡터 예측자를 포함할 때, 이 후보 모션 정보 리스트는 2-튜플 리스트로서 지칭될 수도 있다.
단계 S1222: 비디오 디코더가 비트스트림을 파싱하여, 인덱스를 획득한다.
구체적으로 설명하면, 비디오 디코더가 엔트로피 디코딩 유닛을 이용하여 비트스트림을 파싱할 수도 있다. 인덱스가 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하는데 사용되며, 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타낸다.
단계 S1223: 비디오 디코더가 인덱스에 기초하여 후보 모션 정보 리스트에서 목표 모션 벡터 그룹을 결정한다.
구체적으로 설명하면, 인덱스에 기초하여 후보 모션 벡터 예측자 MVP 리스트에서 비디오 디코더에 의해 결정된 목표 후보 모션 벡터 그룹이 최적의 후보 모션 벡터 예측자로서 사용된다 (선택적으로, 후보 모션 정보 리스트의 길이가 1일 때, 비트스트림은 인덱스를 획득하기 위해 파싱될 필요가 없지만, 목표 모션 벡터 그룹이 직접 결정될 수 있다). 구체적으로 설명하면, 최적의 후보 모션 벡터 예측자는 2개 또는 3개의 제어 지점의 최적의 모션 벡터 예측자이다. 예를 들어, 비디오 디코더는 파싱을 통해서 비트스트림으로부터 인덱스 번호를 획득하고, 그후 인덱스 번호에 기초하여 후보 모션 정보 리스트에서 2개 또는 3개의 제어 지점의 최적의 모션 벡터 예측자를 결정한다. 후보 모션 정보 리스트에서의 후보 모션 벡터 예측자의 각각의 그룹은 개별 인덱스 번호에 대응한다.
단계 S1224: 비디오 디코더가 파라미터-기반 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
구체적으로 설명하면, 목표 후보 모션 벡터 그룹은 2개의 제어 지점 (좌상단 제어 지점 및 우상단 제어 지점) 또는 3개의 제어 지점 (예를 들어, 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점)의 모션 벡터를 포함한다. 현재의 코딩 블록의 각각의 서브-블록 (하나의 서브-블록은 하나의 모션 보상 유닛에 대응할 수도 있음)에 대해, 모션 보상 유닛에서 사전 설정된 위치에서의 샘플의 모션 정보가 모션 보상 유닛에서의 모든 샘플의 모션 정보를 나타내기 위해 사용될 수도 있다. 모션 보상 유닛의 사이즈가 M x N이면(M은 현재의 코딩 블록의 폭 W 이하이고, N은 현재의 코딩 블록의 높이 H 이하이고, M, N, W, 및 H는 각각 양의 정수이고 일반적으로 2의 거듭제곱, 예를 들어, 4, 8, 16, 32, 64, 또는 128임), 사전 설정된 위치에서의 샘플은 모션 보상 유닛의 중심 지점(M/2, N/2), 좌상단 샘플 (0, 0), 우상단 샘플(M - 1, 0), 또는 다른 위치에서의 샘플일 수도 있다. 도 8a는 4 x 4 모션 보상 유닛을 나타내며, 도 8b는 8 x 8 모션 보상 유닛을 나타낸다.
현재의 코딩 블록의 좌상단 정점에서의 샘플에 대한 모션 보상 유닛의 중심 지점의 좌표가 수식 (5)에 따라서 계산되며, 여기서 i는 수평 방향으로 (좌측으로부터 우측으로) i번째 모션 보상 유닛이며, j는 수직 방향으로 (상단으로부터 하단으로) j번째 모션 보상 유닛이고, 는 현재의 코딩 블록의 좌상단 제어 지점에서의 샘플에 대한 (i, j)번째 모션 보상 유닛의 중심 지점의 좌표를 나타낸다. 그 후, 현재의 코딩 블록의 아핀 모델 유형(6-파라미터 또는 4-파라미터)에 기초하여, 는 6-파라미터 아핀 모델 수식(6-1)로 대체되거나 또는 는 4-파라미터 아핀 모델 수식(6-2)로 대체되어, 각각의 모션 보상 유닛의 중심 지점의 모션 정보가 획득되며, 모션 정보가 모션 보상 유닛에서의 모든 샘플의 모션 벡터 로서 사용된다.
선택적으로, 현재의 코딩 블록이 6-파라미터 코딩 블록이고 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H) 및 3개의 제어 지점을 이용하여 구성된 6-파라미터 아핀 모델에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H) 및 3개의 제어 지점을 이용하여 구성된 6-파라미터 아핀 모델에 기초한 계산을 통해서 획득된다. 예를 들어, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)을 6-파라미터 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)을 6-파라미터 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 후보 모션 정보 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
선택적으로, 현재의 코딩 블록이 4-파라미터 코딩 블록이고 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터가 목표 후보 모션 벡터 그룹에 기초하여 획득될 때, 현재의 코딩 블록의 하단 경계가 현재의 코딩 블록이 위치되는 CTU의 하단 경계와 중첩하면, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H) 및 2개의 제어 지점을 이용하여 구성된 4-파라미터 아핀 모델에 기초한 계산을 통해서 획득되며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H) 및 2개의 제어 지점을 이용하여 구성된 4-파라미터 아핀 모델에 기초한 계산을 통해서 획득된다. 예를 들어, 현재의 코딩 블록의 좌하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 좌하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 좌하단 모서리의 위치 좌표(0, H)을 4-파라미터 아핀 모델로 대체함으로써 획득될 수 있으며, 현재의 코딩 블록의 우하단 모서리에서의 서브-블록의 모션 벡터가 (계산을 위해 우하단 모서리에서의 서브-블록의 중앙 지점의 좌표를 아핀 모델로 대체하기 보다는) 현재의 코딩 블록의 우하단 모서리의 위치 좌표(W, H)을 4-파라미터 아핀 모델로 대체함으로써 획득될 수 있다. 이러한 방법으로, 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터 및 우하단 제어 지점의 모션 벡터가 사용될 (예를 들어, 다른 블록의 후보 모션 정보 리스트가 그후 현재의 블록의 좌하단 제어 지점 및 우하단 제어 지점의 모션 벡터에 기초하여 구성될) 때, 추정된 값보다는 정확한 값이 사용된다. W는 현재의 코딩 블록의 폭이고, H는 현재의 코딩 블록의 높이이다.
단계 S1225: 비디오 디코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다. 구체적으로 설명하면, 현재의 코딩 블록의 예측된 샘플 값은 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터, 및 참조 프레임 인덱스 및 인덱스에 의해 표시되는 예측 방향에 기초하여 예측된다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독되는 것을 알 수 있다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 (또는, 제 1 이웃하는 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는) 대신에, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보 (예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있어, 메모리로부터 판독하는 횟수를 감소시키고 디코딩 성능을 향상시킨다.
디코더 측 상에서의 다른 선택적인 실시형태에서, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 후보 모션 벡터 예측자의 그룹이 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점에 기초하여 결정되거나; 또는 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 후보 모션 벡터 예측자의 그룹이 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점에 기초하여 결정된다. 세부 사항은 다음과 같다:
단계 S1300: 비디오 디코더가 현재의 코딩 블록에 대한 인터 예측 모드를 결정한다.
구체적으로 설명하면, 인터 예측 모드는 진보된 모션 벡터 예측(AMVP) 모드일 수도 있거나, 또는 병합 모드일 수도 있다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 AMVP 모드이면, 단계 S1311 내지 S1316이 수행된다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 병합 모드이면, 단계 S1321 내지 S1325가 수행된다.
AMVP 모드:
단계 S1311: 비디오 디코더가 후보 모션 벡터 예측자 MVP 리스트를 구성한다.
구체적으로 설명하면, 비디오 디코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 벡터 예측자 MVP 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 후보 모션 벡터 예측자 MVP 리스트 또는 2-튜플 후보 모션 벡터 예측자 MVP 리스트일 수도 있다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 벡터 예측자 MVP 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹(후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 따라서, 다음은 상이한 경우에 대한 설명을 제공한다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 (도 9a에 나타낸 바와 같이) 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다(단계 S1301).
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터 및 위치 좌표에 기초하여 형성된다(단계 S1302).
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (1) 및 (2)에 나타낸다(단계 S1303).
수식 (1) 및 (2)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 디코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (1) 및 (2)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최우측 제어 지점의 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다(단계 S1304).
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최우측 제어 지점의 모션 벡터 및 위치 좌표에 기초하여 형성된다(단계 S1305).
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (18) 및 (19)에 나타낸다(단계 S1306).
수식 (18) 및 (19)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않고 현재의 코딩 블록의 좌측 상의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 예를 들어, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다. 다른 예로, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
선택적으로, 후보 모션 벡터 예측자 MVP 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득된다. 제 2 이웃하는 아핀 코딩 블록에 대한 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 제 1 이웃하는 아핀 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하다 (예를 들어, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 포함된 제어 지점은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 좌상단 제어 지점이고, 그러나, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 포함된 제어 지점은 제 2 이웃하는 아핀 코딩 블록의 우상단 제어 지점, 우하단 제어 지점, 및 좌하단 제어 지점이다).
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (1), (2), 및 (3)에 나타낸다.
수식 (1), (2), 및 (5)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 디코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최우측 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (18), (19), 및 (20)에 나타낸다.
수식 (18), (19), 및 (20)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않고 현재의 코딩 블록의 좌측 상의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 예를 들어, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다. 다른 예로, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
선택적으로, 후보 모션 벡터 예측자 MVP 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득된다. 제 2 이웃하는 아핀 코딩 블록에 대한 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 제 1 이웃하는 아핀 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하다 (예를 들어, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 포함된 제어 지점은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 좌상단 제어 지점이고, 그러나, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 포함된 제어 지점은 제 2 이웃하는 아핀 코딩 블록의 우상단 제어 지점, 우하단 제어 지점, 및 좌하단 제어 지점이다).
방식 2: 후보 모션 벡터 예측자 MVP 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S1211에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1312: 비디오 디코더가 인덱스 및 모션 벡터 차이 MVD를 획득하기 위해, 비트스트림을 파싱한다.
세부 사항에 대해서는, 단계 S1212의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1313: 비디오 디코더가 인덱스에 기초하여 후보 모션 벡터 예측자 MVP 리스트에서 목표 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S1213의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1314: 비디오 디코더가 목표 후보 모션 벡터 그룹 및 파싱을 통해서 비트스트림으로부터 획득되는 모션 벡터 차이 MVD에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 결정한다.
세부 사항에 대해서는, 단계 S1214의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1315: 비디오 디코더가 파라미터-기반 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
세부 사항에 대해서는, 단계 S1215의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1316: 비디오 디코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다.
세부 사항에 대해서는, 단계 S1216의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
병합 모드:
단계 S1321: 비디오 디코더가 후보 모션 정보 리스트를 구성한다.
구체적으로 설명하면, 비디오 디코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 정보 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 정보 리스트는 트리플릿 후보 모션 정보 리스트이다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 정보 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 세부 사항은 다음과 같다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (1), (2), 및 (3)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (1) 및 (2)에 나타낸다.
수식 (1), (2), 및 (3)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 디코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (1) 및 (2)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 2개의 최우측 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 4-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 2개의 최하위 제어 지점의 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (18), (19), 및 (20)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (18) 및 (19)에 나타낸다.
수식 (18), (19), 및 (20)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않고 현재의 코딩 블록의 좌측 상의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 예를 들어, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다. 다른 예로, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록의 좌측 상의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
선택적으로, 후보 모션 정보 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득된다. 제 2 이웃하는 아핀 코딩 블록에 대한 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 제 1 이웃하는 아핀 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하다 (예를 들어, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 포함된 제어 지점은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 좌상단 제어 지점이고, 그러나, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 포함된 제어 지점은 제 2 이웃하는 아핀 코딩 블록의 우상단 제어 지점, 우하단 제어 지점, 및 좌하단 제어 지점이다).
방식 2: 후보 모션 정보 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S1221에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1322: 비디오 디코더가 비트스트림을 파싱하여, 인덱스를 획득한다.
세부 사항에 대해서는, 단계 S1222의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1323: 비디오 디코더가 인덱스에 기초하여 후보 모션 정보 리스트에서 목표 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S1223의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1324: 비디오 디코더가 파라미터-기반 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
세부 사항에 대해서는, 단계 S1224의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1325: 비디오 디코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다.
세부 사항에 대해서는, 단계 S1225의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독되는 것을 알 수 있다. 제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록의 좌측 상에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최우측 제어 지점에 관한 정보가 메모리로부터 판독된다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 (또는, 제 1 이웃하는 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는) 대신에, 제어 지점의 제 1 그룹은 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정되는 제어 지점이며, 여기서, 제 1 이웃하는 아핀 코딩 블록은 CTU에 위치된다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보 (예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있어, 메모리로부터 판독하는 횟수를 감소시키고 디코딩 성능을 향상시킨다.
디코더 측 상에서의 다른 선택적인 실시형태에서, 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점, 우하단 제어 지점, 및 우상단 제어 지점에 기초하여 결정된다. 세부 사항은 다음과 같다:
단계 S1400: 비디오 디코더가 현재의 코딩 블록에 대한 인터 예측 모드를 결정한다.
구체적으로 설명하면, 인터 예측 모드는 진보된 모션 벡터 예측(AMVP) 모드일 수도 있거나, 또는 병합 모드일 수도 있다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 AMVP 모드이면, 단계 S1411 내지 S1416이 수행된다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 병합 모드이면, 단계 S1421 내지 S1425가 수행된다.
AMVP 모드:
단계 S1411: 비디오 디코더가 후보 모션 벡터 예측자 MVP 리스트를 구성한다.
구체적으로 설명하면, 비디오 디코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 벡터 예측자 MVP 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 후보 모션 벡터 예측자 MVP 리스트 또는 2-튜플 후보 모션 벡터 예측자 MVP 리스트일 수도 있다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 벡터 예측자 MVP 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 따라서, 다음은 상이한 경우에 대한 설명을 제공한다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 (도 9a에 나타낸 바와 같이) 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다(단계 S1401).
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다(단계 S1402).
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (21) 및 (22)에 나타낸다(단계 S1403).
수식 (21) 및 (22)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 디코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (21) 및 (22)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (21), (22), 및 (23)에 나타낸다.
수식 (21), (22), 및 (23)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
방식 2: 후보 모션 벡터 예측자 MVP 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S1211에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1412: 비디오 디코더가 비트스트림을 파싱하여 인덱스 및 모션 벡터 차이 MVD를 획득한다.
세부 사항에 대해서는, 단계 S1212의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1413: 비디오 디코더가 인덱스에 기초하여 후보 모션 벡터 예측자 MVP 리스트에서 목표 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S1213의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1414: 비디오 디코더가 목표 후보 모션 벡터 그룹 및 파싱을 통해서 비트스트림으로부터 획득되는 모션 벡터 차이 MVD에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 결정한다.
세부 사항에 대해서는, 단계 S1214의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1415: 비디오 디코더가 파라미터-기반 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
세부 사항에 대해서는, 단계 S1215의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1416: 비디오 디코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다.
세부 사항에 대해서는, 단계 S1216의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
병합 모드:
단계 S1421: 비디오 디코더가 후보 모션 정보 리스트를 구성한다.
구체적으로 설명하면, 비디오 디코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 정보 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 정보 리스트는 트리플릿 후보 모션 정보 리스트이다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 정보 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 세부 사항은 다음과 같다:
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되면, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (21), (22), 및 (23)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (21) 및 (22)에 나타낸다.
수식 (21), (22), 및 (23)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치되지 않으면, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 본원에서 한정되지 않는다. 구체적으로 설명하면, 이 경우, 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 제 1 이웃하는 아핀 코딩 블록이 현재의 코딩 블록 상부의 CTU에 위치될 때에 사용되는 예측 방식과 동일하거나 또는 상이할 수도 있다.
방식 2: 후보 모션 정보 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S1221에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1422: 비디오 디코더가 비트스트림을 파싱하여, 인덱스를 획득한다.
세부 사항에 대해서는, 단계 S1222의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1423: 비디오 디코더가 인덱스에 기초하여 후보 모션 정보 리스트에서 목표 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S1223의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1424: 비디오 디코더가 6-파라미터 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
세부 사항에 대해서는, 단계 S1224의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1425: 비디오 디코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다.
세부 사항에 대해서는, 단계 S1225의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독되는 것을 알 수 있다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는 (또는, 제 1 이웃하는 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는) 대신에, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보 (예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있어, 메모리로부터 판독하는 횟수를 감소시키고 디코딩 성능을 향상시킨다.
디코더 측 상에서의 다른 선택적인 실시형태에서, 현재의 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 위치에 관계 없이, 후보 모션 벡터 예측자의 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점에 기초하여 직접 결정된다. 상세한 설명은 다음과 같다:
단계 S1500: 비디오 디코더가 현재의 코딩 블록에 대한 인터 예측 모드를 결정한다.
구체적으로 설명하면, 인터 예측 모드는 진보된 모션 벡터 예측(AMVP) 모드일 수도 있거나, 또는 병합 모드일 수도 있다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 AMVP 모드이면, 단계 S1511 내지 S1516이 수행된다.
현재의 코딩 블록에 대한 결정된 인터 예측 모드가 병합 모드이면, 단계 S1521 내지 S1525가 수행된다.
AMVP 모드:
단계 S1511: 비디오 디코더가 후보 모션 벡터 예측자 MVP 리스트를 구성한다.
구체적으로 설명하면, 비디오 디코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 벡터 예측자 MVP 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 벡터 예측자 MVP 리스트는 트리플릿 후보 모션 벡터 예측자 MVP 리스트 또는 2-튜플 후보 모션 벡터 예측자 MVP 리스트일 수도 있다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 벡터 예측자 MVP 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 예측하는 방식은 현재의 코딩 블록의 파라미터 모델에 따라 변한다. 따라서, 다음은 상이한 경우에 대한 설명을 제공한다.
A: 현재의 코딩 블록의 파라미터 모델은 4-파라미터 아핀 변환 모델이다. 유도 방식은 (도 9a에 나타낸 바와 같이) 다음과 같을 수도 있다:
현재의 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 위치에 관계 없이, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 모션 벡터가 직접 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다(단계 S1501).
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다(단계 S1502).
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (21) 및 (22)에 나타낸다(단계 S1503).
수식 (21) 및 (22)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 은 현재의 코딩 블록의 우상단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 은 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자는 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 에 기초하여 계산된다. 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 은 이며, 그리고 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 은 이며, 여기서, cuW는 제 1 이웃하는 아핀 코딩 블록의 폭이고, 그리고 cuH는 제 1 이웃하는 아핀 코딩 블록의 높이이다. 게다가, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 좌하단 서브-블록의 모션 벡터이며, 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 모션 벡터는 제 1 이웃하는 아핀 코딩 블록의 우하단 서브-블록의 모션 벡터이다. 이 경우, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점과 우하단 제어 지점 사이의 수평 거리는 cuW이고 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점과 우상단 제어 지점 사이의 수평 거리는 cuW임을 알 수 있다. cuW가 일반적으로 2의 거듭제곱이기 때문에, 현재의 코딩 블록의 제어 지점의 모션 벡터를 유도하는 프로세스에서, 우측-시프팅 방식이 구현 복잡성을 감소시키기 위해, 나눗셈 연산 대신에 사용될 수도 있다. 좌하단 제어 지점의 위치 좌표 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 양자가 메모리로부터 판독되기 보다는, 유도를 통해서 획득된다는 것을 알 수 있다. 따라서, 이 방법에 따르면, 메모리로부터 판독하는 횟수가 더욱 감소될 수 있으며 디코딩 성능이 향상될 수 있다. 다른 선택적인 해결책에서, 좌하단 제어 지점의 위치 좌표 및 우하단 제어 지점의 위치 좌표는 대안적으로, 메모리에 사전 저장되어, 필요할 때에 사용을 위해 메모리로부터 판독될 수도 있다.
이 경우, 수식 (21) 및 (22)에서, 은 cuW와 동일하며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있으며, 은 픽처에서 위치 의 모션 벡터를 판독함으로써 획득될 수도 있다.
선택적으로, 후보 모션 벡터 예측자 MVP 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹은 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다.
B: 현재의 코딩 블록의 파라미터 모델은 6-파라미터 아핀 변환 모델이다. 유도 방식은 다음과 같을 수도 있다:
현재의 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 위치에 관계 없이, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 직접 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 세부 사항은 수식 (21), (22), 및 (23)에 나타낸다.
수식 (21), (22), 및 (23)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 후보 모션 벡터 예측자 MVP 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹은 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다.
방식 2: 후보 모션 벡터 예측자 MVP 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S1211에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1512: 비디오 디코더가 비트스트림을 파싱하여 인덱스 및 모션 벡터 차이 MVD를 획득한다.
세부 사항에 대해서는, 단계 S1212의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1513: 비디오 디코더가 인덱스에 기초하여 후보 모션 벡터 예측자 MVP 리스트에서 목표 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S1213의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1514: 비디오 디코더가 목표 후보 모션 벡터 그룹 및 파싱을 통해서 비트스트림으로부터 획득되는 모션 벡터 차이 MVD에 기초하여 현재의 코딩 블록의 제어 지점의 모션 벡터를 결정한다.
세부 사항에 대해서는, 단계 S1214의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1515: 비디오 디코더가 파라미터-기반 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
세부 사항에 대해서는, 단계 S1215의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1516: 비디오 디코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다.
세부 사항에 대해서는, 단계 S1216의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
병합 모드:
단계 S1521: 비디오 디코더가 후보 모션 정보 리스트를 구성한다.
구체적으로 설명하면, 비디오 디코더가 인터 예측 유닛(또한, 인터 예측 모듈로 지칭됨)을 이용하여 후보 모션 정보 리스트(또한, 아핀 후보 모션 벡터 리스트로 지칭됨)를 구성한다. 구성은 다음 2개의 방식 또는 2개의 방식의 결합 중 하나로 수행될 수도 있다. 구성된 후보 모션 정보 리스트는 트리플릿 후보 모션 정보 리스트이다. 2개의 방식은 구체적으로 다음과 같다:
방식 1: 후보 모션 정보 리스트가 모션 모델-기반 모션 벡터 예측 방법을 이용하여 구성된다.
먼저, 이웃하는 블록에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 현재의 코딩 블록의 모든 또는 일부 이웃하는 블록이 사전-규정된 순서로 횡단된다. 하나 이상의 결정된 이웃하는 아핀 코딩 블록이 있을 수도 있다. 예를 들어, 이웃하는 블록 A, B, C, D, 및 E에서 이웃하는 아핀 코딩 블록을 결정하기 위해, 도 7a에 나타낸 이웃하는 블록 A, B, C, D, 및 E가 순차적으로 횡단될 수도 있다. 인터 예측 유닛은 적어도 하나의 이웃하는 아핀 코딩 블록에 기초하여 후보 모션 벡터 예측자의 그룹 (후보 모션 벡터 예측자의 각각의 그룹은 2-튜플 또는 트리플릿임)을 결정한다. 다음은 하나의 이웃하는 아핀 코딩 블록을 설명하기 위한 일 예로서 이용한다. 설명의 용이성을 위해, 이웃하는 아핀 코딩 블록은 제 1 이웃하는 아핀 코딩 블록으로 지칭된다. 세부 사항은 다음과 같다:
제 1 아핀 모델은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 모션 벡터에 기초하여 결정된다. 또, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 세부 사항은 다음과 같다:
현재의 코딩 블록에 대한 제 1 이웃하는 아핀 코딩 블록의 위치에 관계 없이, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 및 2개의 최하위 제어 지점의 위치 좌표 및 모션 벡터가 직접 획득된다. 예를 들어, 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터 , 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터 , 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터 이 획득될 수도 있다.
제 1 아핀 모델(이 경우에 획득되는 제 1 아핀 모델은 6-파라미터 아핀 모델임)이 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 모션 벡터, 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점의 위치 좌표 및 모션 벡터, 및 제 1 이웃하는 아핀 코딩 블록의 우하단 제어 지점의 위치 좌표 및 모션 벡터에 기초하여 형성된다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표, 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표, 및 현재의 코딩 블록의 좌하단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터, 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터, 및 현재의 코딩 블록의 좌하단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 트리플릿이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (21), (22), 및 (23)에 나타낸다.
선택적으로, 현재의 코딩 블록의 제어 지점의 모션 벡터는 제 1 아핀 모델에 기초하여 예측된다. 예를 들어, 현재의 코딩 블록의 좌상단 제어 지점의 위치 좌표 및 현재의 코딩 블록의 우상단 제어 지점의 위치 좌표는 현재의 코딩 블록의 좌상단 제어 지점의 모션 벡터 및 현재의 코딩 블록의 우상단 제어 지점의 모션 벡터를 예측하기 위해, 제 1 아핀 모델로 대체될 수도 있다. 후보 모션 벡터 2-튜플이 형성되고 후보 모션 정보 리스트에 추가된다. 세부 사항은 수식 (21) 및 (22)에 나타낸다.
수식 (21), (22), 및 (23)에서, 는 현재의 코딩 블록의 좌상단 제어 지점의 좌표이고, 는 현재의 코딩 블록의 우상단 제어 지점의 좌표이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 좌표이다. 게다가, 는 현재의 코딩 블록의 좌상단 제어 지점의 예측된 모션 벡터이고, 는 현재의 코딩 블록의 우상단 제어 지점의 예측된 모션 벡터이며, 는 현재의 코딩 블록의 좌하단 제어 지점의 예측된 모션 벡터이다.
선택적으로, 후보 모션 정보 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며, 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹은 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다.
방식 2: 후보 모션 정보 리스트가 제어 지점 결합-기반 모션 벡터 예측 방법을 이용하여 구성된다.
구체적으로 설명하면, 방식 2의 원리는 단계 S1221에서의 방식 2의 원리와 동일하다. 따라서, 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1522: 비디오 디코더가 비트스트림을 파싱하여, 인덱스를 획득한다.
세부 사항에 대해서는, 단계 S1222의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1523: 비디오 디코더가 인덱스에 기초하여 후보 모션 정보 리스트에서 목표 모션 벡터 그룹을 결정한다.
세부 사항에 대해서는, 단계 S1223의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1524: 비디오 디코더가 파라미터-기반 아핀 변환 모델을 이용하여 현재의 코딩 블록의 제어 지점의 결정된 모션 벡터에 기초하여 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터를 획득한다.
세부 사항에 대해서는, 단계 S1224의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
단계 S1525: 비디오 디코더가 각각의 서브-블록의 예측된 샘플 값을 획득하기 위해, 현재의 코딩 블록의 각각의 서브-블록의 모션 벡터에 기초하여 모션 보상을 수행한다.
세부 사항에 대해서는, 단계 S1225의 설명을 참조한다. 세부 사항은 본원에서 다시 설명되지 않는다.
제 1 이웃하는 아핀 코딩 블록이 위치되는 코딩 트리 유닛(CTU)가 현재의 코딩 블록 상부에 있을 때, 제 1 이웃하는 아핀 코딩 블록의 최하위 제어 지점에 관한 정보가 메모리로부터 판독되는 것을 알 수 있다. 따라서, 전술한 해결책에서, 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 후보 모션 벡터를 구성하는 프로세스에서, 선행 기술에서 제 1 이웃하는 코딩 블록의 좌상단 제어 지점, 우상단 제어 지점, 및 좌하단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는(또는, 제 1 이웃하는 코딩 블록의 좌상단 제어 지점 및 우상단 제어 지점을 제어 지점의 제 1 그룹으로서 고정적으로 이용하는) 대신에, 제어 지점의 제 1 그룹은 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함한다. 따라서, 본 출원에서 제어 지점의 제 1 그룹을 결정하는 방법에 따르면, 메모리로부터 판독된 정보가 제어 지점의 제 1 그룹에 관한 정보 (예를 들어, 위치 좌표 및 모션 벡터)로서 직접 재사용될 수 있는 확률이 매우 높아져, 메모리로부터 판독하는 횟수를 감소시키고 디코딩 성능을 향상시킨다.
도 10은 본 출원의 일 실시형태에 따른 인코딩 디바이스 또는 디코딩 디바이스(간단히, 코딩 디바이스(1000)로 지칭됨)의 구현예의 개략 블록도이다. 코딩 디바이스(1000)는 프로세서(1010), 메모리(1030), 및 버스 시스템(1050)을 포함할 수도 있다. 프로세서와 메모리는 버스 시스템을 통해서 접속된다. 메모리는 명령을 저장하도록 구성된다. 프로세서는 메모리에 저장된 명령을 실행하도록 구성된다. 인코딩 디바이스의 메모리는 프로그램 코드를 저장한다. 프로세서는 본 출원에서 설명된 비디오 코딩 또는 디코딩 방법, 특히, 다양한 새로운 인터 예측 모드에서의 비디오 코딩 또는 디코딩 방법 및 다양한 새로운 인터 예측 모드에서의 모션 정보 예측 방법을 수행하기 위해, 메모리에 저장된 프로그램 코드를 호출할 수도 있다. 반복을 피하기 위해, 세부 사항은 본원에서 다시 설명되지 않는다.
본 출원의 이 실시형태에서, 프로세서(1010)는 중앙 처리 유닛(Central Processing Unit, 줄여서, "CPU")일 수도 있거나, 또는 프로세서(1010)는 다른 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA) 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직 디바이스, 별개의 하드웨어 컴포넌트, 또는 기타 등등일 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있거나, 또는 프로세서는 임의의 종래의 프로세서 또는 기타 등등일 수도 있다.
메모리(1030)는 판독-전용 메모리(ROM) 디바이스 또는 랜덤 액세스 메모리(RAM) 디바이스를 포함할 수도 있다. 적합한 유형의 임의의 다른 저장 디바이스가 또한 메모리(1030)로서 사용될 수도 있다. 메모리(1030)는 버스(1050)를 통해서 프로세서(1010)에 의해 액세스되는 코드 및 데이터(1031)를 포함할 수도 있다. 메모리(1030)는 동작 시스템(1033) 및 애플리케이션 프로그램 (1035)을 더 포함할 수도 있다. 애플리케이션 프로그램 (1035)은 프로세서(1010)로 하여금, 본 출원에서 설명된 비디오 코딩 또는 디코딩 방법 (특히, 본 출원에서 설명된 인터 예측 방법 또는 모션 정보 예측 방법)을 수행가능하게 하는 적어도 하나의 프로그램을 포함한다. 예를 들어, 애플리케이션 프로그램 (1035)은 애플리케이션 1 내지 N을 포함할 수도 있으며, 본 출원에서 설명된 비디오 코딩 또는 디코딩 방법을 수행하는 비디오 코딩 또는 디코딩 애플리케이션 (간단히, 비디오 코딩 애플리케이션으로 지칭됨)을 더 포함한다.
버스 시스템(1050)은 데이터 버스에 추가하여, 전력 버스, 제어 버스, 상태 신호 버스 등을 더 포함할 수도 있다. 그러나, 명확한 설명을 위해, 도면에서 다양한 유형의 버스는 모두 버스 시스템(1050)으로 표시된다.
선택적으로, 코딩 디바이스(1000)는 하나 이상의 출력 디바이스, 예를 들어, 디스플레이(1070)를 더 포함할 수도 있다. 일 예에서, 디스플레이(1070)는 터치 입력을 동작가능하게 감지할 수 있는 터치 유닛과 디스플레이를 통합하는 터치 디스플레이일 수도 있다. 디스플레이(1070)는 버스(1050)를 통해서 프로세서(1010)에 접속될 수도 있다.
도 11은 예시적인 실시형태에 따른, 도 2a의 인코더(100) 및/또는 도 2b의 디코더(200)를 포함하는 비디오 코딩 시스템(1100)의 일 예의 예시 다이어그램이다. 시스템(1100)은 본 출원의 다양한 기술의 결합을 구현할 수도 있다. 설명된 구현예에서, 비디오 코딩 시스템(1100)은 이미징 디바이스(1101), 비디오 인코더(100), 비디오 디코더(200) (및/또는 프로세싱 유닛(1106)의 로직 회로(1107)를 이용하여 구현된 비디오 인코더), 안테나 (1102), 하나 이상의 프로세서(1103), 하나 이상의 메모리(1104), 및/또는 디스플레이 디바이스(1105)를 포함할 수도 있다.
도면에 나타낸 바와 같이, 이미징 디바이스(1101), 안테나 (1102), 프로세싱 유닛(1106), 로직 회로(1107), 비디오 인코더(100), 비디오 디코더(200), 프로세서(1103), 메모리(1104), 및/또는 디스플레이 디바이스(1105)는 서로 통신할 수 있다. 설명하는 바와 같이, 비디오 코딩 시스템(1100)이 비디오 인코더(100) 및 비디오 디코더(200)를 이용하여 예시되지만, 상이한 예에서, 비디오 코딩 시스템(1100)은 비디오 인코더(100)만을 포함하거나 또는 비디오 디코더(200)만을 포함할 수도 있다.
일부 예에서, 도면에 나타낸 바와 같이, 비디오 코딩 시스템(1100)은 안테나 (1102)를 포함할 수도 있다. 예를 들어, 안테나 (1102)는 비디오 데이터의 인코딩된 비트스트림을 송신 또는 수신하도록 구성될 수도 있다. 게다가, 일부 예에서, 비디오 코딩 시스템(1100)은 디스플레이 디바이스(1105)를 포함할 수도 있다. 디스플레이 디바이스(1105)는 비디오 데이터를 제시하도록 구성될 수도 있다. 일부 예에서, 도면에 나타낸 바와 같이, 로직 회로(1107)는 프로세싱 유닛(1106)에 의해 구현될 수도 있다. 프로세싱 유닛(1106)은 주문형 집적 회로(application-specific integrated circuit, ASIC) 로직, 그래픽스 프로세서, 범용 프로세서, 또는 기타 등등을 포함할 수도 있다. 비디오 코딩 시스템(1100)은 선택적인 프로세서(1103)를 더 포함할 수도 있다. 선택적인 프로세서(1103)는 유사하게, 주문형 집적 회로(ASIC) 로직, 그래픽스 프로세서, 범용 프로세서, 또는 기타 등등을 포함할 수도 있다. 일부 예에서, 로직 회로(1107)는 하드웨어, 예를 들어, 비디오 코딩을 위한 전용 하드웨어를 이용하여 구현될 수도 있다. 프로세서(1103)는 범용 소프트웨어, 동작 시스템, 또는 기타 등등을 이용하여 구현될 수도 있다. 게다가, 메모리(1104)는 임의의 유형의 메모리, 예를 들어, 휘발성 메모리(예를 들어, 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM) 또는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM)) 또는 비휘발성 메모리(예를 들어, 플래시 메모리)일 수도 있다. 비-한정적인 예에서, 메모리(1104)는 캐시 메모리에 의해 구현될 수도 있다. 일부 예에서, 로직 회로(1107)는 (예를 들어, 픽처 버퍼를 구현하기 위해) 메모리(1104)에 액세스할 수도 있다. 다른 예에서, 로직 회로(1107) 및/또는 프로세싱 유닛(1106)은 픽처 버퍼를 구현하기 위해 메모리(예를 들어, 캐시)를 포함할 수도 있다.
일부 예에서, 로직 회로를 이용하여 구현되는 비디오 인코더(100)는 (예를 들어, 프로세싱 유닛(1106) 또는 메모리(1104)에 의해 구현되는) 픽처 버퍼 및 (예를 들어, 프로세싱 유닛(1106)에 의해 구현되는) 그래픽 프로세싱 유닛을 포함할 수도 있다. 그래픽 프로세싱 유닛은 픽처 버퍼에 통신가능하게 커플링될 수도 있다. 그래픽 프로세싱 유닛은 도 1a를 참조하여 설명된 다양한 모듈 및/또는 본 명세서에서 설명된 임의의 다른 인코더 시스템 또는 서브시스템을 구현하기 위해, 로직 회로(1107)를 이용하여 구현된 비디오 인코더(100)를 포함할 수도 있다. 로직 회로는 본 명세서에서 설명된 다양한 동작을 수행하도록 구성될 수도 있다.
비디오 디코더(200)는 도 1b에서의 디코더(200)를 참조하여 설명된 다양한 모듈 및/또는 본 명세서에서 설명된 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해, 로직 회로(1107)에 의해 유사한 방식으로 구현될 수도 있다. 일부 예에서, 로직 회로를 이용하여 구현되는 비디오 디코더(200)는 (프로세싱 유닛(1106) 또는 메모리(1104)에 의해 구현되는) 픽처 버퍼 및 (예를 들어, 프로세싱 유닛(1106)에 의해 구현되는) 그래픽 프로세싱 유닛을 포함할 수도 있다. 그래픽 프로세싱 유닛은 픽처 버퍼에 통신가능하게 커플링될 수도 있다. 그래픽 프로세싱 유닛은 도 1b를 참조하여 설명된 다양한 모듈 및/또는 본 명세서에서 설명된 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해, 로직 회로(1107)를 이용하여 구현된 비디오 디코더(200)를 포함할 수도 있다.
일부 예에서, 비디오 코딩 시스템(1100)의 안테나 (1102)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수도 있다. 설명하는 바와 같이, 인코딩된 비트스트림은 비디오 프레임 인코딩에 관련되고 본 명세서에서 설명되는 데이터, 표시자, 인덱스 값, 모드 선택 데이터, 또는 기타 등등, 예를 들어, 코딩을 위한 파티셔닝에 관련된 데이터(예를 들어, 변환 계수 또는 양자화된 변환 계수, (설명된 바와 같은) 선택적인 표시자, 및/또는 코딩을 위한 파티셔닝을 정의하는 데이터)를 포함할 수도 있다. 비디오 코딩 시스템(1100)은 안테나 (1102)에 커플링되고 인코딩된 비트스트림을 디코딩하도록 구성되는 비디오 디코더(200)를 더 포함할 수도 있다. 디스플레이 디바이스(1105)는 비디오 프레임을 제시하도록 구성된다.
전술한 방법 과정의 단계에서, 단계의 설명 순서는 단계의 실행 순서를 나타내지 않는다. 단계는 전술한 설명 순서에 따라서 수행될 수도 있거나 또는 수행되지 않을 수도 있다. 예를 들어, 단계 S1211은 단계 S1212 이후에 수행될 수도 있거나, 또는 단계 S1212 이전에 수행될 수도 있으며, 단계 S1221은 단계 S1222 이후에 수행될 수도 있거나, 또는 단계 S1222 이전에 수행될 수도 있다. 다른 단계는 본원에서 하나하나씩 열거되지 않는다.
당업자는 본 명세서에서 개시 및 설명된 다양한 예시적인 로직 블록, 모듈, 및 알고리즘 단계를 참조하여 설명된 기능이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 결합에 의해 구현될 수 있음을 알 수 있다. 소프트웨어에 의해 구현되는 경우, 예시적인 로직 블록, 모듈, 및 단계를 참조하여 설명된 기능은 하나 이상의 명령 또는 코드로서 컴퓨터-판독가능 매체에 저장되거나 또는 송신되어 하드웨어-기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터-판독가능 매체는 데이터 저장 매체와 같은, 유형의 매체에 대응하는 컴퓨터-판독가능 저장 매체를 포함할 수도 있거나, 또는 (예를 들어, 통신 프로토콜에 따라) 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 송신을 용이하게 하는 임의의 통신 매체를 포함할 수도 있다. 이와 같이, 컴퓨터-판독가능 매체는 일반적으로, (1) 비일시성 유형의 컴퓨터-판독가능 저장 매체, 또는 (2) 통신 매체 예컨대 신호 또는 캐리어에 대응할 수도 있다. 데이터 저장 매체는 본 출원에서 설명된 기술을 구현하기 위한 명령, 코드, 및/또는 데이터 구조를 취출하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 사용가능한 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다.
일 예로서 그러나 비한정적으로, 이러한 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 컴팩트 디스크 저장 장치, 자기디스크 스토리지 장치 또는 다른 자기 저장 장치, 플래시 메모리, 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스될 수 있는 명령 또는 데이터 구조의 형태로 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수도 있다. 게다가, 임의의 접속은 컴퓨터-판독가능 매체로서 적절히 지칭된다. 예를 들어, 명령이 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광 섬유, 연선, 디지털 가입자 회선 (DSL), 또는 무선 기술, 예컨대 적외선, 라디오, 또는 마이크로파를 통해서 송신되면, 동축 케이블, 광 섬유, 연선, DSL, 또는 무선 기술, 예컨대 적외선, 라디오, 또는 마이크로파가 매체의 정의에 포함된다. 그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체가 접속, 캐리어, 신호, 또는 다른 일시성 매체를 포함하지 않고 실제로 비일시성 유형의 저장 매체를 의미하는 것으로 이해되어야 한다. 본 명세서에서 사용되는 디스크(disks) 및 디스크(discs)은 컴팩트 디스크(CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크(DVD), 및 블루-레이 디스크를 포함한다. 디스크(disks)은 일반적으로 데이터를 자기적으로 재생하고, 반면 디스크(discs)은 데이터를 레이저로 광학적으로 재생한다. 전술한 항목의 결합도 또한 컴퓨터-판독가능 매체의 범위 내에 포함되어야 한다.
명령은 하나 이상의 프로세서, 예컨대 하나 이상의 디지털 신호 프로세서(DSP), 범용 마이크로프로세서, 주문형 집적 회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA), 또는 다른 등가의 통합된 또는 이산 로직 회로에 의해 실행될 수도 있다. 따라서, 본 명세서에서 사용되는 용어 "프로세서"는 전술한 구조 또는 본 명세서에서 설명된 기술을 구현하는데 적합한 임의의 다른 구조 중 어느 것일 수도 있다. 게다가, 일부 양태에서, 본 명세서에서 설명되는 예시적인 로직 블록, 모듈, 및 단계를 참조하여 설명된 기능은 전용 하드웨어 및/또는 인코딩 및 디코딩을 위해 구성되는 소프트웨어 모듈 내에 제공되거나, 또는 결합된 코덱에 통합될 수도 있다. 게다가, 기술은 하나 이상의 회로 또는 로직 엘리먼트에서 완전히 구현될 수도 있다.
본 출원에서의 기술은 무선 핸드셋, 집적 회로(IC), 또는 IC의 세트(예를 들어, 칩셋)를 포함한, 다양한 장치 또는 디바이스에서 구현될 수도 있다. 다양한 컴포넌트, 모듈, 또는 유닛이 개시된 기술을 수행하도록 구성된 장치의 기능적 양태를 강조하기 위해 본 출원에서 설명되지만, 반드시 상이한 하드웨어 유닛에 의해 구현되는 것은 아니다. 실제로, 위에서 설명한 바와 같이, 다양한 유닛이 적합한 소프트웨어 및/또는 펌웨어와 결합하여 코덱 하드웨어 유닛에 결합될 수도 있거나, 또는 (위에서 설명된 하나 이상의 프로세서를 포함하여) 상호 이용가능한 하드웨어 유닛에 의해 제공될 수도 있다.
전술한 설명은 본 출원의 특정의 구현의 예일 뿐이며, 본 출원의 보호 범위를 한정하려는 것이 아니다. 본 출원에서 개시된 기술적 범위 내에서 당업자에 의해 용이하게 파악되는 임의의 변형 또는 대체는 본 출원의 보호 범위 내에 속한다. 따라서, 본 출원의 보호 범위는 청구 범위의 보호 범위를 따른다.
Claims (46)
- 인코딩 방법으로서,
레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 단계 - 상기 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 상기 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 상기 제 1 후보 모션 벡터 그룹은 상기 현재의 코딩 블록의 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 그리고 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점이며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되거나, 또는 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 - ; 및
상기 목표 후보 모션 벡터에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계
를 포함하는 인코딩 방법.
- 제 1 항에 있어서,
상기 제 1 후보 모션 벡터 그룹이 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되는 것은, 구체적으로,
상기 제 1 후보 모션 벡터 그룹이 제 1 아핀 모델에 기초하여 획득되고, 상기 제 1 아핀 모델이 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹의 모션 벡터 및 위치 좌표에 기초하여 결정되는 것인,
인코딩 방법.
- 제 1 항 또는 제 2 항에 있어서,
상기 아핀 후보 모션 벡터 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 그리고 상기 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며; 상기 제 2 이웃하는 아핀 코딩 블록에 대한 상기 제 2 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 상기 제 1 이웃하는 아핀 코딩 블록에 대한 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하거나, 또는 상기 제 2 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 2 그룹은 상기 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는,
인코딩 방법.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 방법은,
상기 목표 후보 모션 벡터 그룹을 시작 탐색 지점으로서 이용하여 상기 레이트-왜곡 비용 기준에 따라서 사전 설정된 탐색 범위 내에서, 제어 지점의 그룹에 속하고 최저 비용을 갖는 모션 벡터를 탐색하는 단계; 및
상기 목표 후보 모션 벡터 그룹과 상기 제어 지점의 그룹의 상기 모션 벡터 사이의 모션 벡터 차이 MVD를 결정하는 단계를 더 포함하고;
상기 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계는,
상기 MVD 및 상기 목표 후보 모션 벡터 그룹에 대응하는 상기 인덱스를 상기 송신될 비트스트림으로 인코딩하는 단계를 포함하는,
인코딩 방법.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 목표 후보 모션 벡터 그룹에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 단계는,
상기 목표 후보 모션 벡터 그룹에 대응하는 상기 인덱스, 참조 프레임 인덱스, 및 예측 방향에 대응하는 인덱스를 상기 송신될 비트스트림으로 인코딩하는 단계를 포함하는,
인코딩 방법.
- 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
인코딩 방법.
- 제 6 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 블록 상부의 상기 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 우상단 제어 지점을 더 포함하는,
인코딩 방법.
- 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
인코딩 방법.
- 제 8 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 상기 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 좌하단 제어 지점을 더 포함하는,
인코딩 방법.
- 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 상기 좌하단 제어 지점 및 상기 우하단 제어 지점을 포함할 때, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점을 더 포함하는,
인코딩 방법.
- 디코딩 방법으로서,
비트스트림을 파싱해서 인덱스를 획득하는 단계 - 상기 인덱스는 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하는데 사용됨 - ;
상기 인덱스에 기초하여 아핀 후보 모션 벡터 리스트에서 상기 목표 후보 모션 벡터 그룹을 결정하는 단계 - 상기 목표 후보 모션 벡터 그룹은 상기 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 상기 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 상기 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 그리고 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점이며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되거나, 또는 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 - ;
상기 목표 후보 모션 벡터 그룹에 기초하여 상기 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계; 및
상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터에 기초하여 상기 현재의 코딩 블록의 예측된 샘플 값을 예측하는 단계
를 포함하는 디코딩 방법.
- 제 11 항에 있어서,
상기 제 1 후보 모션 벡터 그룹이 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되는 것은 구체적으로, 상기 제 1 후보 모션 벡터 그룹이 제 1 아핀 모델에 기초하여 획득되고, 상기 제 1 아핀 모델이 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹의 모션 벡터 및 위치 좌표에 기초하여 결정되는 것이며; 그리고
상기 목표 후보 모션 벡터 그룹에 기초하여 상기 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계는, 구체적으로, 제 2 아핀 모델에 기초하여 상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터를 획득하는 단계를 포함하며, 상기 제 2 아핀 모델은 상기 목표 후보 모션 벡터 그룹 및 상기 현재의 코딩 블록의 제어 지점의 그룹의 위치 좌표에 기초하여 결정되는,
디코딩 방법.
- 제 11 항 또는 제 12 항에 있어서,
상기 아핀 후보 모션 벡터 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 그리고 상기 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며; 상기 제 2 이웃하는 아핀 코딩 블록에 대한 상기 제 2 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 상기 제 1 이웃하는 아핀 코딩 블록에 대한 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하거나, 또는 상기 제 2 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 2 그룹은 상기 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는,
디코딩 방법.
- 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 목표 후보 모션 벡터 그룹에 기초하여 상기 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 단계는,
파싱을 통해서 상기 비트스트림으로부터 획득된 모션 벡터 차이 MVD 및 상기 인덱스에 의해 표시되는 상기 목표 후보 모션 벡터 그룹에 기초하여 새로운 후보 모션 벡터 그룹을 획득하는 단계; 및
상기 새로운 후보 모션 벡터 그룹에 기초하여 상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터를 획득하는 단계
를 포함하는, 디코딩 방법.
- 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터에 기초하여 상기 현재의 코딩 블록의 예측된 샘플 값을 예측하는 단계는,
상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터 및 참조 프레임 인덱스 및 상기 인덱스에 의해 표시되는 예측 방향에 기초하여 상기 현재의 코딩 블록의 상기 예측된 샘플 값을 예측하는 단계를 포함하는,
디코딩 방법.
- 제 11 항 내지 제 15 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
디코딩 방법.
- 제 16 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 블록 상부의 상기 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 우상단 제어 지점을 더 포함하는,
디코딩 방법.
- 제 11 항 내지 제 15 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
디코딩 방법.
- 제 18 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 상기 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 좌하단 제어 지점을 더 포함하는,
디코딩 방법.
- 제 11 항 내지 제 15 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 상기 좌하단 제어 지점 및 상기 우하단 제어 지점을 포함할 때, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점을 더 포함하는,
디코딩 방법.
- 비디오 데이터 인코딩 디바이스로서,
비디오 데이터를 비트스트림의 형태로 저장하도록 구성된 메모리; 및
비디오 인코더를 포함하되,
상기 비디오 인코더는, 레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하고; 그리고 상기 목표 후보 모션 벡터에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하도록 구성되며,
상기 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 상기 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 상기 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 그리고 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점이며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되거나, 또는 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는,
비디오 데이터 인코딩 디바이스.
- 제 21 항에 있어서,
상기 제 1 후보 모션 벡터 그룹이 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되는 것은, 구체적으로,
상기 제 1 후보 모션 벡터 그룹은 제 1 아핀 모델에 기초하여 획득되고, 상기 제 1 아핀 모델은 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹의 모션 벡터 및 위치 좌표에 기초하여 결정되는 것인,
비디오 데이터 인코딩 디바이스.
- 제 21 항 또는 제 22 항에 있어서,
상기 아핀 후보 모션 벡터 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 그리고 상기 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며; 상기 제 2 이웃하는 아핀 코딩 블록에 대한 상기 제 2 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 상기 제 1 이웃하는 아핀 코딩 블록에 대한 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하거나, 또는 상기 제 2 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 2 그룹은 상기 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는,
비디오 데이터 인코딩 디바이스.
- 제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
상기 비디오 인코더는 상기 목표 후보 모션 벡터 그룹을 시작 탐색 지점으로서 이용하여 상기 레이트-왜곡 비용 기준에 따라서 사전 설정된 탐색 범위 내에서, 제어 지점의 그룹에 속하고 최저 비용을 갖는 모션 벡터를 탐색하고; 그리고 상기 목표 후보 모션 벡터 그룹과 상기 제어 지점의 그룹의 상기 모션 벡터 사이의 모션 벡터 차이 MVD를 결정하도록 추가로 구성되며; 그리고
상기 목표 후보 모션 벡터에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 것은, 구체적으로,
상기 MVD 및 상기 목표 후보 모션 벡터 그룹에 대응하는 상기 인덱스를 상기 송신될 비트스트림으로 인코딩하는 것인,
비디오 데이터 인코딩 디바이스.
- 제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
상기 목표 후보 모션 벡터에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 것은, 구체적으로, 상기 목표 후보 모션 벡터 그룹에 대응하는 상기 인덱스, 참조 프레임 인덱스, 및 예측 방향에 대응하는 인덱스를 상기 송신될 비트스트림으로 인코딩하는 것인,
비디오 데이터 인코딩 디바이스.
- 제 21 항 내지 제 25 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
비디오 데이터 인코딩 디바이스.
- 제 26 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 블록 상부의 상기 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 우상단 제어 지점을 더 포함하는,
비디오 데이터 인코딩 디바이스.
- 제 21 항 내지 제 25 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
비디오 데이터 인코딩 디바이스.
- 제 28 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 상기 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 좌하단 제어 지점을 더 포함하는,
비디오 데이터 인코딩 디바이스.
- 제 21 항 내지 제 25 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 상기 좌하단 제어 지점 및 상기 우하단 제어 지점을 포함할 때, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점을 더 포함하는,
비디오 데이터 인코딩 디바이스.
- 비디오 데이터 디코딩 디바이스로서,
비디오 데이터를 비트스트림의 형태로 저장하도록 구성된 메모리; 및
비디오 디코더를 포함하되,
상기 비디오 디코더는,
비트스트림을 상기 파싱해서 인덱스를 획득하고 - 상기 인덱스는 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하는데 사용됨 - ; 상기 인덱스에 기초하여 아핀 후보 모션 벡터 리스트에서 상기 목표 후보 모션 벡터 그룹을 결정하고 - 상기 목표 후보 모션 벡터 그룹은 상기 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 상기 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 상기 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 그리고 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점이며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되거나, 또는 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 - ;
상기 목표 후보 모션 벡터 그룹에 기초하여 상기 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하고; 그리고
상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터에 기초하여 상기 현재의 코딩 블록의 예측된 샘플 값을 예측하도록 구성되는,
비디오 데이터 디코딩 디바이스.
- 제 31 항에 있어서,
상기 제 1 후보 모션 벡터 그룹이 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되는 것은, 구체적으로, 상기 제 1 후보 모션 벡터 그룹이 제 1 아핀 모델에 기초하여 획득되고, 상기 제 1 아핀 모델이 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹의 모션 벡터 및 위치 좌표에 기초하여 결정되는 것이며;
상기 목표 후보 모션 벡터 그룹에 기초하여 상기 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 것은, 구체적으로, 제 2 아핀 모델에 기초하여 상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터를 획득하는 것이며, 상기 제 2 아핀 모델은 상기 목표 후보 모션 벡터 그룹 및 상기 현재의 코딩 블록의 제어 지점의 그룹의 위치 좌표에 기초하여 결정되는,
비디오 데이터 디코딩 디바이스.
- 제 31 항 또는 제 32 항에 있어서,
상기 아핀 후보 모션 벡터 리스트는 제 2 후보 모션 벡터 그룹을 더 포함하며, 그리고 상기 제 2 후보 모션 벡터 그룹은 제 2 이웃하는 아핀 코딩 블록의 제어 지점의 제 2 그룹에 기초하여 획득되며; 상기 제 2 이웃하는 아핀 코딩 블록에 대한 상기 제 2 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 2 그룹에서의 하나 이상의 제어 지점의 위치는 상기 제 1 이웃하는 아핀 코딩 블록에 대한 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹에서의 하나 이상의 제어 지점의 위치와 상이하거나, 또는 상기 제 2 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 2 그룹은 상기 제 2 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는,
비디오 데이터 디코딩 디바이스.
- 제 31 항 내지 제 33 항 중 어느 한 항에 있어서,
상기 목표 후보 모션 벡터 그룹에 기초하여 상기 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 양태에서, 상기 비디오 디코더는,
파싱을 통해서 상기 비트스트림으로부터 획득된 모션 벡터 차이 MVD 및 상기 인덱스에 의해 표시되는 상기 목표 후보 모션 벡터 그룹에 기초하여 새로운 후보 모션 벡터 그룹을 획득하고; 그리고
상기 새로운 후보 모션 벡터 그룹에 기초한 계산을 통해서 상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터를 획득하도록 구성되는,
비디오 데이터 디코딩 디바이스.
- 제 31 항 내지 제 33 항 중 어느 한 항에 있어서,
상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터에 기초하여 상기 현재의 코딩 블록의 예측된 샘플 값을 예측하는 양태에서, 상기 비디오 디코더는,
상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터 및 참조 프레임 인덱스 및 상기 인덱스에 의해 표시되는 예측 방향에 기초하여 상기 현재의 코딩 블록의 상기 예측된 샘플 값을 예측하도록 구성되는,
비디오 데이터 디코딩 디바이스.
- 제 31 항 내지 제 35 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
비디오 데이터 디코딩 디바이스.
- 제 36 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 블록 상부의 상기 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 우상단 제어 지점을 더 포함하는,
비디오 데이터 디코딩 디바이스.
- 제 31 항 내지 제 35 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
비디오 데이터 디코딩 디바이스.
- 제 38 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 상기 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점 또는 좌하단 제어 지점을 더 포함하는,
비디오 데이터 디코딩 디바이스.
- 제 31 항 내지 제 35 항 중 어느 한 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 상기 좌하단 제어 지점 및 상기 우하단 제어 지점을 포함할 때, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌상단 제어 지점을 더 포함하는,
비디오 데이터 디코딩 디바이스.
- 비디오 데이터 인코딩 디바이스로서,
서로 커플링된 비휘발성 메모리 및 프로세서를 포함하되,
상기 메모리는 프로그램 명령을 저장하도록 구성되며, 그리고
상기 프로세서는 프로그램 코드를 호출해서 동작을 수행하도록 구성되고, 상기 동작은,
레이트-왜곡 비용 기준에 따라서 아핀 후보 모션 벡터 리스트에서 목표 후보 모션 벡터 그룹을 결정하는 동작; 및
상기 목표 후보 모션 벡터에 대응하는 인덱스를 송신될 비트스트림으로 인코딩하는 동작 - 상기 목표 후보 모션 벡터 그룹은 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 상기 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 상기 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 그리고 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점이며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되거나, 또는 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 -
을 포함하는,
비디오 데이터 인코딩 디바이스.
- 제 41 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
비디오 데이터 인코딩 디바이스.
- 제 41 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
비디오 데이터 인코딩 디바이스.
- 비디오 데이터 디코딩 디바이스로서,
서로 커플링된 비휘발성 메모리 및 프로세서를 포함하며,
상기 메모리는 프로그램 명령을 저장하도록 구성되며, 그리고
상기 프로세서는 프로그램 코드를 호출해서 동작을 수행하도록 구성되고,
상기 동작은,
비트스트림을 파싱해서 인덱스를 획득하는 동작 - 상기 인덱스는 현재의 코딩 블록의 목표 후보 모션 벡터 그룹을 표시하는데 사용됨 - ;
상기 인덱스에 기초하여 아핀 후보 모션 벡터 리스트에서 상기 목표 후보 모션 벡터 그룹을 결정하는 동작 - 상기 목표 후보 모션 벡터 그룹은 상기 현재의 코딩 블록의 제어 지점의 그룹의 모션 벡터 예측자를 나타내고, 상기 아핀 후보 모션 벡터 리스트는 적어도 제 1 후보 모션 벡터 그룹을 포함하며, 상기 제 1 후보 모션 벡터 그룹은 제 1 이웃하는 아핀 코딩 블록의 제어 지점의 제 1 그룹에 기초하여 획득되고, 그리고 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점이며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되거나, 또는 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹은 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함함 - ;
상기 목표 후보 모션 벡터 그룹에 기초하여 상기 현재의 코딩 블록의 하나 이상의 서브-블록의 모션 벡터를 획득하는 동작; 및
상기 현재의 코딩 블록의 상기 하나 이상의 서브-블록의 상기 모션 벡터에 기초하여 상기 현재의 코딩 블록의 예측된 샘플 값을 예측하는 동작
을 포함하는
비디오 데이터 인코딩 디바이스.
- 제 44 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록 상부의 코딩 트리 유닛(CTU)에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 좌하단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
비디오 데이터 인코딩 디바이스.
- 제 44 항에 있어서,
상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 현재의 코딩 블록에 대한 코딩 트리 유닛(CTU)의 상대적인 위치에 기초하여 결정된 제어 지점인 것은,
상기 제 1 이웃하는 아핀 코딩 블록이 상기 현재의 코딩 블록의 좌측 상의 CTU에 위치되면, 상기 제 1 이웃하는 아핀 코딩 블록의 상기 제어 지점의 제 1 그룹이 상기 제 1 이웃하는 아핀 코딩 블록의 우상단 제어 지점 및 우하단 제어 지점을 포함하는 것을 포함하며, 상기 제 1 이웃하는 아핀 코딩 블록이 상기 CTU에 위치되는,
비디오 데이터 인코딩 디바이스.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020247005516A KR20240027856A (ko) | 2018-07-11 | 2018-10-16 | 비디오 인코더, 비디오 디코더, 및 대응하는 방법 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862696832P | 2018-07-11 | 2018-07-11 | |
US62/696,832 | 2018-07-11 | ||
US201862737858P | 2018-09-27 | 2018-09-27 | |
US62/737,858 | 2018-09-27 | ||
PCT/CN2018/110436 WO2020010741A1 (zh) | 2018-07-11 | 2018-10-16 | 视频编码器、视频解码器及相应方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020247005516A Division KR20240027856A (ko) | 2018-07-11 | 2018-10-16 | 비디오 인코더, 비디오 디코더, 및 대응하는 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210027475A true KR20210027475A (ko) | 2021-03-10 |
KR102639425B1 KR102639425B1 (ko) | 2024-02-21 |
Family
ID=69142148
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020217003769A KR102639425B1 (ko) | 2018-07-11 | 2018-10-16 | 비디오 인코더, 비디오 디코더, 및 대응하는 방법 |
KR1020247005516A KR20240027856A (ko) | 2018-07-11 | 2018-10-16 | 비디오 인코더, 비디오 디코더, 및 대응하는 방법 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020247005516A KR20240027856A (ko) | 2018-07-11 | 2018-10-16 | 비디오 인코더, 비디오 디코더, 및 대응하는 방법 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11575928B2 (ko) |
EP (1) | EP3817382A4 (ko) |
JP (2) | JP7488249B2 (ko) |
KR (2) | KR102639425B1 (ko) |
CN (5) | CN118612421A (ko) |
BR (1) | BR112021000349A2 (ko) |
MX (1) | MX2021000351A (ko) |
SG (1) | SG11202100253XA (ko) |
WO (1) | WO2020010741A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023055138A1 (ko) * | 2021-09-29 | 2023-04-06 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020047132A1 (en) | 2018-08-29 | 2020-03-05 | Vid Scale, Inc. | Adaptive motion vector precision for affine motion model based video coding |
WO2024152254A1 (zh) * | 2023-01-18 | 2024-07-25 | Oppo广东移动通信有限公司 | 视频编解码方法、装置、设备、系统、及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170118161A (ko) * | 2015-02-16 | 2017-10-24 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 이미지 인코딩 방법, 비디오 이미지 디코딩 방법, 인코딩 장치, 및 디코딩 장치 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6258212B2 (ja) * | 2012-10-02 | 2018-01-10 | シャープ株式会社 | 画像復号装置 |
US10785501B2 (en) * | 2012-11-27 | 2020-09-22 | Squid Design Systems Pvt Ltd | System and method of performing motion estimation in multiple reference frame |
CN103338372A (zh) * | 2013-06-15 | 2013-10-02 | 浙江大学 | 一种视频处理方法及装置 |
CN112087630B (zh) * | 2014-09-30 | 2022-04-08 | 华为技术有限公司 | 图像预测方法、装置、解码器及存储介质 |
CN104363451B (zh) * | 2014-10-27 | 2019-01-25 | 华为技术有限公司 | 图像预测方法及相关装置 |
CN104935938B (zh) * | 2015-07-15 | 2018-03-30 | 哈尔滨工业大学 | 一种混合视频编码标准中帧间预测方法 |
CN108965869B (zh) * | 2015-08-29 | 2023-09-12 | 华为技术有限公司 | 图像预测的方法及设备 |
US10560712B2 (en) * | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
US10798394B2 (en) * | 2018-06-27 | 2020-10-06 | Avago Technologies International Sales Pte. Limited | Low complexity affine merge mode for versatile video coding |
US11057636B2 (en) * | 2018-09-17 | 2021-07-06 | Qualcomm Incorporated | Affine motion prediction |
PL3840376T3 (pl) * | 2018-09-21 | 2023-12-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Sposób i urządzenie do kodowania/dekodowania sygnału obrazu |
-
2018
- 2018-10-16 MX MX2021000351A patent/MX2021000351A/es unknown
- 2018-10-16 KR KR1020217003769A patent/KR102639425B1/ko active IP Right Grant
- 2018-10-16 CN CN202410385268.5A patent/CN118612421A/zh active Pending
- 2018-10-16 JP JP2021500728A patent/JP7488249B2/ja active Active
- 2018-10-16 SG SG11202100253XA patent/SG11202100253XA/en unknown
- 2018-10-16 KR KR1020247005516A patent/KR20240027856A/ko active Search and Examination
- 2018-10-16 CN CN202410390964.5A patent/CN118301334A/zh active Pending
- 2018-10-16 CN CN202410389126.6A patent/CN118301332A/zh active Pending
- 2018-10-16 CN CN202410390960.7A patent/CN118301333A/zh active Pending
- 2018-10-16 BR BR112021000349-5A patent/BR112021000349A2/pt unknown
- 2018-10-16 EP EP18926272.8A patent/EP3817382A4/en active Pending
- 2018-10-16 WO PCT/CN2018/110436 patent/WO2020010741A1/zh unknown
- 2018-10-16 CN CN201880095581.8A patent/CN112400318B/zh active Active
-
2021
- 2021-01-11 US US17/146,349 patent/US11575928B2/en active Active
-
2023
- 2023-01-17 US US18/155,641 patent/US20230239494A1/en active Pending
- 2023-03-28 JP JP2023051947A patent/JP7518235B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170118161A (ko) * | 2015-02-16 | 2017-10-24 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 이미지 인코딩 방법, 비디오 이미지 디코딩 방법, 인코딩 장치, 및 디코딩 장치 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023055138A1 (ko) * | 2021-09-29 | 2023-04-06 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
Also Published As
Publication number | Publication date |
---|---|
WO2020010741A1 (zh) | 2020-01-16 |
CN118612421A (zh) | 2024-09-06 |
JP2023089018A (ja) | 2023-06-27 |
US20210136404A1 (en) | 2021-05-06 |
US11575928B2 (en) | 2023-02-07 |
KR20240027856A (ko) | 2024-03-04 |
JP7518235B2 (ja) | 2024-07-17 |
CN118301333A (zh) | 2024-07-05 |
CN118301334A (zh) | 2024-07-05 |
MX2021000351A (es) | 2021-05-12 |
KR102639425B1 (ko) | 2024-02-21 |
EP3817382A1 (en) | 2021-05-05 |
JP2021524708A (ja) | 2021-09-13 |
EP3817382A4 (en) | 2021-07-28 |
US20230239494A1 (en) | 2023-07-27 |
SG11202100253XA (en) | 2021-02-25 |
CN112400318A (zh) | 2021-02-23 |
JP7488249B2 (ja) | 2024-05-21 |
CN118301332A (zh) | 2024-07-05 |
CN112400318B (zh) | 2024-04-12 |
BR112021000349A2 (pt) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11252436B2 (en) | Video picture inter prediction method and apparatus, and codec | |
KR102607443B1 (ko) | 비디오 데이터 인터 예측 방법 및 장치 | |
CN110868602B (zh) | 视频编码器、视频解码器及相应方法 | |
JP7518235B2 (ja) | ビデオ・エンコーダ、ビデオ・デコーダおよび対応する方法 | |
CN110876282B (zh) | 运动矢量预测方法以及相关装置 | |
KR102621958B1 (ko) | 후보 모션 벡터 리스트 획득 방법, 장치, 인코더 및 디코더 | |
KR20220003037A (ko) | 인터 예측 방법 및 장치 | |
KR102704836B1 (ko) | 비디오 인코더, 비디오 디코더 및 대응하는 방법 | |
KR20210047945A (ko) | 양방향 인터 예측에 적용되는 참조 프레임 획득 방법 및 장치 | |
CN110832859B (zh) | 一种基于模板匹配的解码方法及装置 | |
BR112021011307A2 (pt) | Método e aparelho de predição inter, fluxo de bits e mídia de armazenamento não transitória | |
KR20200078647A (ko) | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 | |
KR20210046767A (ko) | 후보 모션 정보 목록을 구성하기 위한 방법, 인터 예측 방법, 및 장치 | |
CN110677645B (zh) | 一种图像预测方法及装置 | |
KR102566569B1 (ko) | 인터 예측 방법 및 장치, 비디오 인코더 및 비디오 디코더 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |