KR102641872B1 - Lut와 amvp 사이의 상호작용 - Google Patents
Lut와 amvp 사이의 상호작용 Download PDFInfo
- Publication number
- KR102641872B1 KR102641872B1 KR1020207038026A KR20207038026A KR102641872B1 KR 102641872 B1 KR102641872 B1 KR 102641872B1 KR 1020207038026 A KR1020207038026 A KR 1020207038026A KR 20207038026 A KR20207038026 A KR 20207038026A KR 102641872 B1 KR102641872 B1 KR 102641872B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- candidates
- reference picture
- candidate
- candidate list
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 175
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 153
- 230000008569 process Effects 0.000 claims description 54
- 230000002123 temporal effect Effects 0.000 claims description 45
- 238000009795 derivation Methods 0.000 claims description 42
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 32
- 238000007689 inspection Methods 0.000 claims description 20
- 238000013138 pruning Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 54
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 54
- 238000000638 solvent extraction Methods 0.000 description 39
- 230000002457 bidirectional effect Effects 0.000 description 30
- 238000005192 partition Methods 0.000 description 22
- 238000004590 computer program Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000011664 signaling Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 101150114515 CTBS gene Proteins 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000000746 purification Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- IUVCFHHAEHNCFT-INIZCTEOSA-N 2-[(1s)-1-[4-amino-3-(3-fluoro-4-propan-2-yloxyphenyl)pyrazolo[3,4-d]pyrimidin-1-yl]ethyl]-6-fluoro-3-(3-fluorophenyl)chromen-4-one Chemical compound C1=C(F)C(OC(C)C)=CC=C1C(C1=C(N)N=CN=C11)=NN1[C@@H](C)C1=C(C=2C=C(F)C=CC=2)C(=O)C2=CC(F)=CC=C2O1 IUVCFHHAEHNCFT-INIZCTEOSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Abstract
테이블들을 유지하는 단계를 포함하는 비디오 디코딩 방법이 제공되고, 여기서, 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및 제1 비디오 블록과 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 변환을 수행하는 단계는 모션 후보들의 세트의 적어도 일부를 예측자로서 사용하여 제1 비디오 블록의 모션 정보를 처리하는 단계를 포함함 -를 포함한다.
Description
관련 출원들에 대한 상호 참조
파리 조약에 따른 적용가능한 특허법 및/또는 규칙들 하에서, 본 출원은 2018년 6월 29일자로 출원된 국제 특허 출원 제PCT/CN2018/093663호, 2018년 9월 12일자로 출원된 국제 특허 출원 제PCT/CN2018/105193호 및 2019년 1월 16일자로 출원된 국제 특허 출원 제PCT/CN2019/072058호에 대한 우선권 및 이익을 적시에 주장하도록 이루어진다. 미국 특허법 하에서 모든 목적을 위해, 국제 특허 출원 번호 PCT/CN2018/093663, 국제 특허 출원 번호 PCT/CN2018/105193 및 국제 특허 출원 번호 PCT/CN2019/072058의 전체 개시내용은 본 출원의 개시내용의 일부로서 참조로 포함된다.
기술 분야
본 특허 문서는 비디오 코딩 및 디코딩 기술, 디바이스 및 시스템에 관련한 것이다.
비디오 압축의 발전에도 불구하고, 디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크들에서 여전히 가장 큰 대역폭 사용을 차지한다. 비디오를 수신 및 디스플레이할 수 있는 연결된 사용자 디바이스들의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.
본 문서는 디지털 비디오를 인코딩 및 디코딩하기 위한 방법들, 시스템들 및 디바이스들을 개시한다.
하나의 예시적인 양태에서, 비디오 디코딩 방법이 제공되고, 이는 테이블들을 유지하는 단계- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및 제1 비디오 블록과 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 변환을 수행하는 단계는 모션 후보들의 세트의 적어도 일부를 예측자로서 사용하여 제1 비디오 블록의 모션 정보를 처리하는 단계를 포함함 -를 포함한다.
또 다른 대표적인 양태에서, 본 명세서에 설명된 다양한 기술들이 비일시적 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 프로그램 제품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 본 명세서에 설명된 방법들을 수행하기 위한 프로그램 코드를 포함한다.
하나 이상의 구현의 세부사항들이 이하의 첨부물들, 도면들 및 설명에서 기재되어 있다. 다른 특징들은 설명 및 도면들로부터 그리고 청구항들로부터 명백히 알 수 있을 것이다.
도 1은 비디오 인코더 구현의 예를 나타내는 블록도이다.
도 2는 H.264 비디오 코딩 표준의 매크로블록 파티셔닝을 도시한다.
도 3은 코딩 블록(CB)들을 예측 블록(PU)들로 분할하는 예를 도시한다.
도 4는 CTB를 CB들 및 변환 블록(TB)들로 세분화하기 위한 예시적인 구현을 도시한다. 실선들은 CB 경계들을 나타내고, 점선들은 그 파티셔닝을 갖는 예시적인 CTB, 및 대응하는 쿼드트리를 포함하는 TB 경계들을 나타낸다.
도 5는 비디오 데이터를 파티셔닝하기 위한 QTBT(Quad Tree Binary Tree) 구조의 예를 도시한다.
도 6은 비디오 블록 파티셔닝의 예를 도시한다.
도 7은 쿼드-트리 파티셔닝의 예를 도시한다.
도 8은 트리-타입 시그널링의 예를 도시한다.
도 9는 병합 후보 리스트 구성을 위한 도출 프로세스의 예를 도시한다.
도 10은 공간 병합 후보들의 예시적인 위치들을 도시한다.
도 11은 공간 병합 후보들의 중복 검사를 위해 고려되는 후보 쌍들의 예들을 도시한다.
도 12는 Nx2N 및 2NxN 파티션의 제2 PU에 대한 위치의 예를 도시한다.
도 13은 시간 병합 후보들에 대한 모션 벡터 스케일링을 예시한다.
도 14는 시간 병합 후보들 및 그들의 병치된 픽처에 대한 후보 위치들을 도시한다.
도 15는 조합된 양방향 예측 병합 후보의 예를 도시한다.
도 16은 모션 벡터 예측 후보에 대한 도출 프로세스의 예를 도시한다.
도 17은 공간 모션 벡터 후보에 대한 모션 벡터 스케일링의 예를 도시한다.
도 18은 CU의 모션 예측을 위한 예시적인 ATMVP(Alternative Temporal Motion Vector Prediction)를 도시한다.
도 19는 소스 블록 및 소스 픽처의 식별의 예를 도식적으로 도시한다.
도 20은 4개의 서브 블록 및 이웃 블록들을 갖는 하나의 CU의 예를 도시한다.
도 21은 양방향 매칭의 예를 도시한다.
도 22는 템플릿 매칭의 예를 도시한다.
도 23은 FRUC(Frame Rate Up Conversion)에서의 단방향 모션 추정(ME)의 예를 도시한다.
도 24는 양방향 템플릿 매칭에 기초한 DMVR의 예를 도시한다.
도 25는 공간 병합 후보들을 도출하는 데 사용되는 공간 이웃 블록들의 예를 도시하는 도면이다.
도 26은 룩업 테이블 업데이트들을 위한 대표적인 위치의 선택 방법의 예를 도시한다.
도 27a 및 도 27b는 새로운 모션 정보 세트로 룩업 테이블을 업데이트하는 예를 도시하는 도면이다.
도 28은 본 문서에 설명된 비주얼 미디어 디코딩 또는 비주얼 미디어 인코딩 기술을 구현하는 하드웨어 플랫폼의 예의 블록도이다.
도 29는 비디오 비트스트림 처리의 다른 예시적인 방법에 대한 흐름도이다.
도 30은 제안된 HMVP 방법을 갖는 디코딩 흐름도의 예를 도시한다.
도 31은 제안된 HMVP 방법을 사용하여 테이블들을 업데이트하는 예들을 도시한다.
도 32a 및 도 32b는 (하나의 중복 모션 후보가 제거된) 중복 제거 기반 LUT 업데이트 방법의 예들을 도시한다.
도 33a 및 도 33b는 (다수의 중복 모션 후보들이 제거된) 중복 제거 기반 LUT 업데이트 방법의 예들을 도시한다.
도 34는 타입 1 및 타입 2 블록들 사이의 차이들의 예를 도시하는 도면이다.
도 2는 H.264 비디오 코딩 표준의 매크로블록 파티셔닝을 도시한다.
도 3은 코딩 블록(CB)들을 예측 블록(PU)들로 분할하는 예를 도시한다.
도 4는 CTB를 CB들 및 변환 블록(TB)들로 세분화하기 위한 예시적인 구현을 도시한다. 실선들은 CB 경계들을 나타내고, 점선들은 그 파티셔닝을 갖는 예시적인 CTB, 및 대응하는 쿼드트리를 포함하는 TB 경계들을 나타낸다.
도 5는 비디오 데이터를 파티셔닝하기 위한 QTBT(Quad Tree Binary Tree) 구조의 예를 도시한다.
도 6은 비디오 블록 파티셔닝의 예를 도시한다.
도 7은 쿼드-트리 파티셔닝의 예를 도시한다.
도 8은 트리-타입 시그널링의 예를 도시한다.
도 9는 병합 후보 리스트 구성을 위한 도출 프로세스의 예를 도시한다.
도 10은 공간 병합 후보들의 예시적인 위치들을 도시한다.
도 11은 공간 병합 후보들의 중복 검사를 위해 고려되는 후보 쌍들의 예들을 도시한다.
도 12는 Nx2N 및 2NxN 파티션의 제2 PU에 대한 위치의 예를 도시한다.
도 13은 시간 병합 후보들에 대한 모션 벡터 스케일링을 예시한다.
도 14는 시간 병합 후보들 및 그들의 병치된 픽처에 대한 후보 위치들을 도시한다.
도 15는 조합된 양방향 예측 병합 후보의 예를 도시한다.
도 16은 모션 벡터 예측 후보에 대한 도출 프로세스의 예를 도시한다.
도 17은 공간 모션 벡터 후보에 대한 모션 벡터 스케일링의 예를 도시한다.
도 18은 CU의 모션 예측을 위한 예시적인 ATMVP(Alternative Temporal Motion Vector Prediction)를 도시한다.
도 19는 소스 블록 및 소스 픽처의 식별의 예를 도식적으로 도시한다.
도 20은 4개의 서브 블록 및 이웃 블록들을 갖는 하나의 CU의 예를 도시한다.
도 21은 양방향 매칭의 예를 도시한다.
도 22는 템플릿 매칭의 예를 도시한다.
도 23은 FRUC(Frame Rate Up Conversion)에서의 단방향 모션 추정(ME)의 예를 도시한다.
도 24는 양방향 템플릿 매칭에 기초한 DMVR의 예를 도시한다.
도 25는 공간 병합 후보들을 도출하는 데 사용되는 공간 이웃 블록들의 예를 도시하는 도면이다.
도 26은 룩업 테이블 업데이트들을 위한 대표적인 위치의 선택 방법의 예를 도시한다.
도 27a 및 도 27b는 새로운 모션 정보 세트로 룩업 테이블을 업데이트하는 예를 도시하는 도면이다.
도 28은 본 문서에 설명된 비주얼 미디어 디코딩 또는 비주얼 미디어 인코딩 기술을 구현하는 하드웨어 플랫폼의 예의 블록도이다.
도 29는 비디오 비트스트림 처리의 다른 예시적인 방법에 대한 흐름도이다.
도 30은 제안된 HMVP 방법을 갖는 디코딩 흐름도의 예를 도시한다.
도 31은 제안된 HMVP 방법을 사용하여 테이블들을 업데이트하는 예들을 도시한다.
도 32a 및 도 32b는 (하나의 중복 모션 후보가 제거된) 중복 제거 기반 LUT 업데이트 방법의 예들을 도시한다.
도 33a 및 도 33b는 (다수의 중복 모션 후보들이 제거된) 중복 제거 기반 LUT 업데이트 방법의 예들을 도시한다.
도 34는 타입 1 및 타입 2 블록들 사이의 차이들의 예를 도시하는 도면이다.
비디오의 압축비를 향상시키기 위해, 연구자들은 비디오를 인코딩하는 새로운 기술들을 계속 찾고 있다.
1. 도입
본 문서는 비디오 코딩 기술들에 관련한 것이다. 구체적으로, 이는 비디오 코딩에서의 모션 정보 코딩(예를 들어 병합 모드, AMVP 모드)에 관련된다. 이는 HEVC와 같은 기존의 비디오 코딩 표준, 또는 완성될 표준(다용도 비디오 코딩(Versatile Video Coding))에 적용될 수 있다. 이는 또한 장래의 비디오 코딩 표준들 또는 비디오 코덱에도 적용가능할 수 있다.
간략한 설명
비디오 코딩 표준들은 주로 알려진 ITU-T 및 ISO/IEC 표준들의 개발을 통해 발전했다. ITU-T는 H.261 및 H.263를 생성하고, ISO/IEC는 MPEG-1 및 MPEG-4 Visual을 생성하였으며, 두 기구가 공동으로 H.262/MPEG-2 비디오 및 H.264/MPEG-4 AVC(Advanced Video Coding) 및 H.265/HEVC 표준들을 생성하였다. H.262 이래로, 비디오 코딩 표준들은 시간 예측 + 변환 코딩이 이용되는 하이브리드 비디오 코딩 구조에 기초한다. 전형적인 HEVC 인코더 프레임워크의 예가 도 1에 도시된다.
2.1 파티션 구조
2.1.1 H.264/AVC에서의 파티션 트리 구조
이전 표준들에서의 코딩 층의 코어는 루마 샘플들의 16Х16 블록 및, 4:2:0 컬러 샘플링의 일반적인 경우에, 크로마 샘플들의 2개의 대응하는 8Х8 블록들을 포함하는 매크로블록이었다.
인트라-코딩된 블록은 픽셀들 간의 공간 상관을 활용하기 위해 공간 예측을 사용한다. 2개의 파티션, 즉 16x16 및 4x4가 정의된다.
인터-코딩된 블록은 픽처들 간의 모션을 추정함으로써 공간 예측 대신에 시간 예측을 사용한다. 모션은 16x16 매크로블록 또는 그의 서브-매크로블록 파티션들- 16x8, 8x16, 8x8, 8x4, 4x8, 4x4(도 2 참조) - 중 임의의 것 중 어느 쪽이든에 대해 독립적으로 추정될 수 있다: 서브-매크로블록 파티션당 단 하나의 모션 벡터(MV) 만이 허용된다.
2.1.2 HEVC에서의 파티션 트리 구조
HEVC에서, CTU는 다양한 로컬 특성들에 적응하기 위해 코딩 트리로서 표시된 쿼드트리 구조를 사용함으로써 CU들로 분할된다. 인터-픽처(시간) 또는 인트라-픽처(공간) 예측 중 어느쪽을 사용하여 픽처 영역을 코딩할지의 결정은 CU 레벨에서 이루어진다. 각각의 CU는 PU 분할 타입에 따라 1개, 2개 또는 4개의 PU로 추가로 분할될 수 있다. 하나의 PU 내부에서, 동일한 예측 프로세스가 적용되고 관련 정보가 PU 기준으로 디코더에 송신된다. PU 분할 타입에 기초하여 예측 프로세스를 적용함으로써 잔차 블록을 획득한 이후에, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드트리 구조에 따라 변환 유닛(TU)들로 파티셔닝될 수 있다. HEVC 구조의 주요 특징 중 하나는 그것이 CU, PU, 및 TU를 포함하는 다수의 파티션 개념들을 갖는다는 것이다.
이하에서, HEVC를 사용하는 하이브리드 비디오 코딩에 수반되는 다양한 특징들이 다음과 같이 강조된다.
1) 코딩 트리 유닛 및 코딩 트리 블록(CTB) 구조: HEVC에서의 유사한 구조는 인코더에 의해 선택된 크기를 가지며 전통적인 매크로블록보다 클 수 있는 코딩 트리 유닛(CTU)이다. CTU는 루마 CTB 및 대응하는 크로마 CTB들 및 신택스 엘리먼트들로 구성된다. 루마 CTB의 크기 LХL은 L= 16, 32 또는 64 샘플로서 선택될 수 있고, 더 큰 크기들은 전형적으로 더 양호한 압축을 가능하게 한다. HEVC는 이어서 트리 구조 및 쿼드트리형 시그널링을 사용하여 CTB들의 더 작은 블록들로의 파티셔닝을 지원한다.
2) 코딩 유닛(CU)들 및 코딩 블록(CB)들: CTU의 쿼드트리 신택스는 그 루마 및 크로마 CB들의 크기 및 위치들을 지정한다. 쿼드트리의 루트는 CTU와 연관된다. 따라서, 루마 CTB의 크기는 루마 CB에 대해 가장 큰 지원되는 크기이다. 루마 및 크로마 CB들로의 CTU의 분할은 공동으로 시그널링된다. 하나의 루마 CB 및 통상적으로 2개의 크로마 CB들은 연관된 신택스와 함께 코딩 유닛(CU)을 형성한다. CTB는 단 하나의 CU만을 포함할 수 있거나 다수의 CU들을 형성하도록 분할될 수 있고, 각각의 CU는 예측 유닛(PU)들 및 변환 유닛(TU)들의 트리로의 연관된 파티셔닝을 갖는다.
3) 예측 유닛들 및 예측 블록(PB)들: 인터 픽처 또는 인트라 픽처 예측 중 어느 쪽을 사용하여 픽처 영역을 코딩할지의 결정은 CU 레벨에서 이루어진다. PU 파티셔닝 구조는 CU 레벨에서 그의 루트를 갖는다. 기본 예측 타입 결정에 따라, 루마 및 크로마 CB들은 이어서 크기가 추가로 분할되고 루마 및 크로마 예측 블록(PB)들로부터 예측될 수 있다. HEVC는 64Х64에서 4Х4 샘플까지의 가변 PB 크기들을 지원한다. 도 3은 MxM CU에 대한 허용된 PB들의 예들을 도시한다.
4) TU들 및 변환 블록들: 예측 잔차는 블록 변환을 사용하여 코딩된다. TU 트리 구조는 CU 레벨에서 그의 루트를 갖는다. 루마 CB 잔차는 루마 변환 블록(TB)과 동일하거나 더 작은 루마 TB들로 추가로 분할될 수 있다. 이는 크로마 TB에도 적용된다. 이산 코사인 변환(DCT)의 것들과 유사한 정수 기저 함수들은 정사각형 TB 크기들 4Х4, 8Х8, 16Х16 및 32Х32에 대해 정의된다. 루마 인트라 픽처 예측 잔차들의 4Х4 변환의 경우, 이산 사인 변환(DST)의 형태로부터 도출된 정수 변환이 대안적으로 지정된다.
도 4는 CTB의 CB들[및 변환 블록(TB들)]로의 세분화의 예를 도시한다. 실선들은 CB 경계들을 나타내고 점선들은 TB 경계들을 나타낸다. (a) 자신의 파티셔닝을 갖는 CTB. (b) 대응하는 쿼드트리
2.1.2.1 변환 블록들 및 유닛들로의 트리-구조 파티셔닝
잔차 코딩의 경우, CB는 변환 블록(TB)들로 재귀적으로 파티셔닝될 수 있다. 파티셔닝은 잔차 쿼드트리에 의해 시그널링된다. 정사각형 CB 및 TB 파티셔닝만이 지정되며, 여기서 블록은 도 4에 도시된 바와 같이 사분면들로 재귀적으로 분할될 수 있다. 크기 MХM의 주어진 루마 CB에 대해, 플래그는 그것이 크기 M/2ХM/2의 4개의 블록들로 분할되는지 여부를 시그널링한다. SPS에 표시되는 잔차 쿼드트리의 최대 깊이에 의해 시그널링되는 바와 같이, 추가의 분할이 가능하면, 각각의 사분면에는 이것이 4개의 사분면으로 분할되는지 여부를 표시하는 플래그가 할당된다. 잔차 쿼드트리로부터 얻어지는 리프 노드 블록들은 변환 코딩에 의해 추가로 처리되는 변환 블록들이다. 인코더는 사용할 최대 및 최소 루마 TB 크기를 나타낸다. CB 크기가 최대 TB 크기보다 클 때 분할은 암시적이다. 분할이 표시된 최소값보다 작은 루마 TB 크기를 초래할 때는 분할은 암시적이지 않다. 크로마 TB 크기는, 루마 TB 크기가 4Х4인 경우를 제외하고, 각 차원에서 루마 TB 크기의 절반이며, 이 경우 단일 4Х4 크로마 TB가 4개의 4Х4 루마 TB들에 의해 커버되는 영역에 사용된다. 인트라-픽처-예측된 CU들의 경우, (CB 내 또는 외부의) 가장 가까운-이웃하는 TB들의 디코딩된 샘플들이 인트라 픽처 예측을 위한 기준 데이터로서 사용된다.
이전의 표준들과 대조적으로, HEVC 설계는 TB가 쿼드트리 구조 TB 파티셔닝의 잠재적 코딩 효율 이점들을 최대화하기 위해 인터-픽처 예측 CU들에 대해 다수의 PB들에 걸쳐질 수 있게 한다.
2.1.2.2 부모 및 자식 노드들
CTB는 그 노드들이 코딩 유닛들인 쿼드-트리 구조에 따라 분할된다. 쿼드-트리 구조 내의 복수의 노드들은 리프 노드들 및 비-리프 노드들을 포함한다. 리프 노드들은 트리 구조에서 자식 노드들을 갖지 않는다(즉, 리프 노드들은 추가로 분할되지 않는다). 비-리프 노드들은 트리 구조의 루트 노드를 포함한다. 루트 노드는 비디오 데이터(예를 들어, CTB)의 초기 비디오 블록에 대응한다. 복수의 노드들의 각각의 비루트 노드 각각에 대해, 각각의 비루트 노드는 각각의 비루트 노드의 트리 구조 내의 부모 노드에 대응하는 비디오 블록의 서브 블록인 비디오 블록에 대응한다. 복수의 비-리프 노드 중 각각의 비-리프 노드 각각은 트리 구조에서 하나 이상의 자식 노드를 갖는다.
2.1.3 JEM에서 더 큰 CTU들을 갖는 쿼드트리 + 이진 트리 블록 구조
HEVC를 넘어서는 장래의 비디오 코딩 기술들을 탐구하기 위해, JVET(Joint Video Exploration Team)가 2015년에 VCEG 및 MPEG에 의해 공동으로 설립되었다. 그 후, 많은 새로운 방법들이 JVET에 의해 채택되어 JEM(Joint Exploration Model)이라 명명된 참조 소프트웨어에 들어갔다.
2.1.3.1 QTBT 블록 파티셔닝 구조
HEVC와 달리, QTBT 구조는 다수의 파티션 타입들의 개념들을 제거하며, 즉, 이는 CU, PU 및 TU 개념들의 분리를 제거하고, CU 파티션 형상들에 대한 더 많은 유연성을 지원한다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상 어느 쪽이든 가질 수 있다. 도 5에 도시된 바와 같이, 코딩 트리 유닛(CTU)이 쿼드트리 구조에 의해 먼저 파티셔닝된다. 쿼드트리 리프 노드들은 이진 트리 구조에 의해 추가로 파티셔닝된다. 이진 트리 분할에는 대칭 수평 분할 및 대칭 수직 분할의 2가지 분할 타입이 있다. 이진 트리 리프 노드들은 코딩 유닛(CU)들이라고 불리며, 이러한 세그먼트화는 어떠한 추가적인 파티셔닝도 없이 예측 및 변환 처리를 위해 사용된다. 이는 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 것을 의미한다. JEM에서, CU는 때때로 상이한 컬러 성분들의 코딩 블록(CB)들로 구성되고, 예를 들어, 하나의 CU는 4:2:0 크로마 포맷의 P 및 B 슬라이스들의 경우에 하나의 루마 CB 및 2개의 크로마 CB를 포함하고, 때때로 단일 성분의 CB로 구성되며, 예를 들어, 하나의 CU는 I 슬라이스들의 경우에 단 하나의 루마 CB 또는 단지 2개의 크로마 CB를 포함한다.
QTBT 파티셔닝 방식에 대해 다음 파라미터들이 정의된다:
- CTU 크기: 쿼드트리의 루트 노드 크기, HEVC에서와 동일한 개념
- MinQTSize: 최소 허용 쿼드트리 리프 노드 크기
- MaxBTSize: 최대 허용 이진 트리 루트 노드 크기
- MaxBTDepth: 최대 허용 이진 트리 깊이
- MinBTSize: 최소 허용 이진 트리 리프 노드 크기
QTBT 파티셔닝 구조의 일 예에서, CTU 크기는 128Х128 루마 샘플들과 2개의 대응하는 64Х64 블록의 크로마 샘플들로서 설정되고, MinQTSize은 16Х16으로 설정되고, MaxBTSize는 64Х64로 설정되고, MinBTSize (폭과 높이 둘 다에 대해)는 4Х4로 설정되고, MaxBTDepth는 4로 설정된다. 쿼드트리 파티셔닝이 먼저 CTU에 적용되어 쿼드트리 리프 노드들을 생성한다. 쿼드트리 리프 노드들은 16Х16(즉, MinQTSize) 내지 128Х128(즉, CTU 크기)의 크기를 가질 수 있다. 리프 쿼드트리 노드가 128Х128이면, 크기는 MaxBTSize(즉, 64Х64)를 초과하기 때문에 이진 트리에 의해 추가로 분할되지 않을 것이다. 그렇지 않으면, 리프 쿼드트리 노드는 이진 트리에 의해 추가로 파티셔닝될 수 있다. 따라서, 쿼드트리 리프 노드는 또한 이진 트리에 대한 루트 노드이고 그것은 0으로서 이진 트리 깊이를 갖는다. 이진 트리 깊이가 MaxBTDepth(즉, 4)에 도달할 때, 더 이상의 분할이 고려되지 않는다. 이진 트리 노드가 MinBTSize(즉, 4)와 동일한 폭을 가질 때, 더 이상 수평 분할이 고려되지 않는다. 유사하게, 이진 트리 노드가 MinBTSize와 동일한 높이를 갖는 경우, 더 이상 수직 분할이 고려되지 않는다. 이진 트리의 리프 노드들은 임의의 추가적인 파티셔닝 없이 예측 및 변환 처리에 의해 추가로 처리된다. JEM에서, 최대 CTU 크기는 256Х256 루마 샘플들이다.
도 5는 QTBT를 사용한 블록 파티셔닝의 예를 예시하고(좌측), 도 5는 대응하는 트리 표현을 예시한다(우측). 실선들은 쿼드트리 분할을 나타내고 점선들은 이진 트리 분할을 나타낸다. 이진 트리의 각각의 분할(즉, 비-리프) 노드에서, 어느 분할 타입(즉, 수평 또는 수직)이 사용되는지를 나타내기 위해 하나의 플래그가 시그널링되며, 여기서 0은 수평 분할을 나타내고 1은 수직 분할을 나타낸다. 쿼드트리 분할의 경우, 분할 타입을 나타낼 필요가 없는데, 그 이유는 쿼드트리 분할이 항상 블록을 수평 및 수직 양자 모두로 분할하여 동일한 크기를 갖는 4개의 서브 블록을 생성하기 때문이다.
또한, QTBT 방식은 루마 및 크로마가 별개의 QTBT 구조를 갖는 능력을 지원한다. 현재, P 및 B 슬라이스들에 대해, 하나의 CTU 내의 루마 및 크로마 CTB들은 동일한 QTBT 구조를 공유한다. 그러나, I 슬라이스들에 대해, 루마 CTB는 QTBT 구조에 의해 CU들로 파티셔닝되고, 크로마 CTB들은 다른 QTBT 구조에 의해 크로마 CU들로 파티셔닝된다. 이것은 I 슬라이스 내의 CU가 루마 성분의 코딩 블록 또는 2개의 크로마 성분의 코딩 블록들로 구성되고, P 또는 B 슬라이스 내의 CU가 3개의 컬러 성분 모두의 코딩 블록들로 구성된다는 것을 의미한다.
HEVC에서, 작은 블록들에 대한 인터 예측이 제한되어 모션 보상의 메모리 액세스를 감소시키며, 그래서, 양방향 예측은 4Х8 및 8Х4 블록들에 대해 지원되지 않고, 인터 예측은 4Х4 블록들에 대해 지원되지 않는다. JEM의 QTBT에서, 이러한 제한들은 제거된다.
2.1.4 VVC를 위한 삼진-트리
일부 실시예들에서, 쿼드-트리 및 이진-트리 이외의 트리 타입들이 지원된다. 이 구현에서, 도 6의 (d) 및 (e)에 도시된 바와 같이, 2개의 더 많은 삼진 트리(TT) 파티션, 즉, 수평 및 수직 중심측 삼진-트리가 도입된다.
도 6은 다음을 도시한다: (a) 쿼드-트리 파티셔닝 (b) 수직 이진-트리 파티셔닝 (c) 수평 이진-트리 파티셔닝 (d) 수직 중심측 삼진-트리 파티셔닝 (e) 수평 중심측 삼진-트리 파티셔닝.
일부 구현들에서, 영역 트리(쿼드-트리) 및 예측 트리(이진-트리 또는 삼진-트리)의 2개의 레벨들의 트리들이 존재한다. CTU는 먼저 영역 트리(RT)에 의해 파티셔닝된다. RT 리프는 예측 트리(PT)로 추가로 분할될 수 있다. PT 리프는 또한 최대 PT 깊이에 도달할 때까지 PT로 추가로 분할될 수 있다. PT 리프는 기본 코딩 유닛이다. 이는 편의상 여전히 CU라고 불린다. CU는 추가로 분할될 수 없다. 예측 및 변환은 둘 다 JEM과 동일한 방식으로 CU에 적용된다. 전체 파티션 구조는 "다중 타입 트리"로 명명된다.
2.1.5 파티셔닝 구조
MTT(Multi-Tree Type)라고 불리는, 이 응답에 사용되는 트리 구조는 QTBT의 일반화이다. QTBT에서, 도 5에 도시된 바와 같이, 코딩 트리 유닛(CTU)은 먼저 쿼드-트리 구조에 의해 파티셔닝된다. 쿼드-트리 리프 노드들은 이진-트리 구조에 의해 추가로 파티셔닝된다.
MTT의 기본 구조는 2가지 타입의 트리 노드로 구성된다: 도 7에 도시된 바와 같이, 9개의 타입의 파티션을 지원하는 영역 트리(RT) 및 예측 트리(PT).
도 7은 다음을 도시한다: (a) 쿼드-트리 파티셔닝(b) 수직 이진-트리 파티셔닝(c) 수평 이진-트리 파티셔닝(d) 수직 삼진-트리 파티셔닝(e) 수평 삼진-트리 파티셔닝(f) 수평-상측 비대칭 이진-트리 파티셔닝(g) 수평-하측 비대칭 이진-트리 파티셔닝(h) 수직-좌측 비대칭 이진-트리 파티셔닝(i) 수직-우측 비대칭 이진-트리 파티셔닝.
영역 트리는 CTU를 4x4 크기 영역 트리 리프 노드로 정사각형 블록들로 재귀적으로 분할할 수 있다. 영역 트리 내의 각각의 노드에서, 예측 트리는 3개의 트리 타입 중 하나로부터 형성될 수 있다: 이진 트리(BT), 삼진-트리(TT) 및 비대칭 이진 트리(ABT). PT 분할에서, 예측 트리의 분기들에 쿼드트리 파티션을 갖는 것이 금지된다. JEM에서와 같이, 루마 트리 및 크로마 트리는 I 슬라이스들에서 분리된다. RT 및 PT에 대한 시그널링 방법이 도 8에 예시된다.
2.2 HEVC/H.265에서의 인터 예측
각각의 인터-예측된 PU는 하나 또는 2개의 참조 픽처 리스트에 대한 모션 파라미터를 갖는다. 모션 파라미터들은 모션 벡터 및 참조 픽처 인덱스를 포함한다. 2개의 참조 픽처 리스트 중 하나의 사용은 또한 inter_pred_idc을 사용하여 시그널링될 수 있다. 모션 벡터들은 예측자들에 대한 델타들로서 명시적으로 코딩될 수 있고, 이러한 코딩 모드는 AMVP 모드로 불린다.
CU가 스킵 모드로 코딩될 때, 하나의 PU가 CU와 연관되고, 유의한 잔차 계수들이 없고, 코딩된 모션 벡터 델타 또는 참조 픽처 인덱스가 없다. 병합 모드가 지정되고, 이에 의해, 공간 및 시간 후보들을 포함하는 이웃하는 PU들로부터 현재 PU에 대한 모션 파라미터들이 획득된다. 병합 모드는 스킵 모드에 대해서뿐만 아니라 임의의 인터-예측된 PU에 적용될 수 있다. 병합 모드에 대한 대안은 모션 파라미터들의 명시적 송신이며, 여기서 모션 벡터, 각각의 참조 픽처 리스트에 대한 대응하는 참조 픽처 인덱스 및 참조 픽처 리스트 사용은 각각의 PU마다 명시적으로 시그널링된다.
시그널링이 2개의 참조 픽처 리스트 중 하나가 사용될 것임을 나타낼 때, PU는 샘플들의 하나의 블록으로부터 생성된다. 이것은 "단방향 예측"이라고 지칭된다. P-슬라이스 및 B-슬라이스 둘 다에 대해 단방향 예측이 사용가능하다.
시그널링이 양자 모두의 참조 픽처 리스트가 사용될 것을 나타내는 경우, PU는 샘플들의 2개의 블록으로부터 생성된다. 이것은 "양방향 예측"이라고 지칭된다. 양방향 예측은 B-슬라이스들에 대해서만 사용가능하다.
다음 텍스트는 HEVC에서 지정된 인터 예측 모드들에 대한 세부사항들을 제공한다. 설명은 병합 모드에서 시작할 것이다.
2.2.1 병합 모드
2.2.1.1 병합 모드에 대한 후보들의 도출
PU가 병합 모드를 사용하여 예측될 때, 병합 후보 리스트 내의 엔트리를 가리키는 인덱스가 비트스트림으로부터 파싱되고 모션 정보를 검색하는 데 사용된다. 이 리스트의 구성은 HEVC 표준에서 지정되고 다음 단계들의 시퀀스에 따라 요약될 수 있다:
· 단계 1: 초기 후보 도출
- 단계 1.1: 공간 후보 도출
- 단계 1.2: 공간 후보에 대한 중복 검사
- 단계 1.3: 시간 후보 도출
· 단계 2: 추가 후보 삽입
- 단계 2.1: 양방향 예측 후보들의 생성
- 단계 2.2: 제로 모션 후보들의 삽입
이러한 단계들은 또한 도 9에 개략적으로 도시된다. 공간 병합 후보 도출의 경우, 5개의 상이한 위치에 위치하는 후보들 중에서 최대 4개의 병합 후보가 선택된다. 시간 병합 후보 도출의 경우, 2개의 후보 중에서 최대 하나의 병합 후보가 선택된다. 각각의 PU에 대한 일정한 수의 후보들이 디코더에서 가정되기 때문에, 후보들의 수가 슬라이스 헤더에서 시그널링되는 병합 후보의 최대 수(MaxNumMergeCand)에 도달하지 않을 때 추가 후보들이 생성된다. 후보들의 수가 일정하기 때문에, 최상의 병합 후보의 인덱스는 절단 단항 이진화(TU)를 사용하여 인코딩된다. CU의 크기가 8과 동일한 경우, 현재 CU의 모든 PU들은 2NХ2N 예측 유닛의 병합 후보 리스트와 동일한 단일 병합 후보 리스트를 공유한다.
이하에서는, 전술한 단계들과 연관된 동작들이 상세히 설명된다.
2.2.1.2 공간 후보 도출
공간 병합 후보들의 도출에서, 도 10에 도시된 위치들에 배치된 후보들 중에서 최대 4개의 병합 후보가 선택된다. 도출 순서는 A1, B1, B0, A0 및 B2이다. 위치 B2는 위치 A1, B1, B0, A0의 임의의 PU가 사용가능하지 않을 때(예를 들어, 그것이 다른 슬라이스 또는 타일에 속하기 때문에) 또는 인트라 코딩될 때에만 고려된다. 위치 A1에서의 후보가 추가된 이후에, 나머지 후보들의 추가는 동일한 모션 정보를 갖는 후보들이 리스트로부터 배제되어 코딩 효율이 향상되도록 보장하는 중복 검사를 받는다. 계산 복잡성을 감소시키기 위해, 모든 가능한 후보 쌍들이 언급된 중복 검사에서 고려되지는 않는다. 대신에, 도 11에서 화살표로 연결된 쌍들만이 고려되고, 중복 검사를 위해 사용되는 대응하는 후보가 동일한 모션 정보를 갖지 않는 경우에만 후보가 리스트에 추가된다. 이중 모션 정보의 다른 소스는 2Nx2N과는 상이한 파티션들과 연관된 "제2 PU"이다. 예로서, 도 12는 각각 NХ2N 및 2NХN의 경우에 대한 제2 PU를 도시한다. 현재 PU가 NХ2N으로 파티셔닝되면, 위치 A1에서의 후보는 리스트 구성을 위해 고려되지 않는다. 실제로, 이 후보를 추가하는 것은 동일한 모션 정보를 갖는 2개의 예측 유닛으로 이어질 것이고, 이는 코딩 유닛에서 단지 하나의 PU를 가지는 경우 중복된다. 유사하게, 현재 PU가 2NХN으로 파티셔닝될 때, 위치 B1은 고려되지 않는다.
2.2.1.3 시간 후보 도출
이 단계에서, 하나의 후보만이 리스트에 추가된다. 상세하게는, 이 시간 병합 후보의 도출에서, 주어진 참조 픽처 리스트 내의 현재 픽처와 가장 작은 POC 차이를 갖는 픽처에 속하는 병치된 PU에 기초하여 스케일링된 모션 벡터가 도출된다. 병치된 PU의 도출에 사용될 참조 픽처 리스트는 슬라이스 헤더에서 명시적으로 시그널링된다. 시간 병합 후보에 대한 스케일링된 모션 벡터는, POC 거리들 tb 및 td를 사용하여 병치된 PU의 모션 벡터로부터 스케일링되는, 도 13에서 점선으로 예시된 바와 같이 획득되고, 여기서 tb는 현재 픽처의 참조 픽처와 현재 픽처 사이의 POC 차이인 것으로 정의되고, td는 병치된 픽처의 참조 픽처와 병치된 픽처 사이의 POC 차이인 것으로 정의된다. 시간 병합 후보의 참조 픽처 인덱스는 제로와 동일하게 설정된다. 스케일링 프로세스의 실제적인 실현은 HEVC 사양에서 설명된다. B-슬라이스의 경우, 2개의 모션 벡터- 하나는 참조 픽처 리스트 0에 대한 것이고 다른 하나는 참조 픽처 리스트 1에 대한 것임 -가 획득되고 조합되어 양방향 예측 병합 후보를 구성한다. 시간 병합 후보에 대한 모션 벡터 스케일링의 예시.
참조 프레임에 속하는 병치된 PU(Y)에서, 시간 후보에 대한 위치는 도 14에 도시된 바와 같이 후보들 C0과 C1 사이에서 선택된다. 위치 C0에서의 PU가 사용가능하지 않거나, 인트라 코딩되거나, 또는 현재 CTU의 외부에 있으면, 위치 C1가 사용된다. 그렇지 않으면, 위치 C0가 시간 병합 후보의 도출에서 사용된다.
2.2.1.4 추가 후보 삽입
공간-시간 병합 후보들 이외에, 2개의 추가적인 타입의 병합 후보가 있다: 조합된 양방향 예측 병합 후보 및 제로 병합 후보. 조합된 양방향 예측 병합 후보들은 공간-시간 병합 후보들을 이용함으로써 생성된다. 조합된 양방향 예측 병합 후보는 B-슬라이스에 대해서만 사용된다. 조합된 양방향 예측 후보들은 초기 후보의 제1 참조 픽처 리스트 모션 파라미터들을 다른 후보의 제2 참조 픽처 리스트 모션 파라미터들과 조합함으로써 생성된다. 이들 2개의 튜플이 상이한 모션 가설을 제공하는 경우, 이들은 새로운 양방향 예측 후보를 형성할 것이다. 일 예로서, 도 15는 mvL0 및 refIdxL0 또는 mvL1 및 refIdxL1을 갖는, 원본 리스트(좌측) 내의 2개의 후보가 최종 리스트(우측)에 추가된 조합된 양방향 예측 병합 후보를 생성하는 데 사용되는 경우를 도시한다. 이러한 추가적인 병합 후보들을 생성하는 데 고려되는 조합들에 관련한 다수의 규칙들이 정의되어 있다.
병합 후보들 리스트 내의 나머지 엔트리들을 채우기 위해 제로 모션 후보들이 삽입되며, 따라서 MaxNumMergeCand 용량에 도달한다. 이러한 후보들은 제로 공간 변위 및 제로로부터 시작하고 새로운 제로 모션 후보가 리스트에 추가될 때마다 증가하는 참조 픽처 인덱스를 갖는다. 이러한 후보들에 의해 사용되는 참조 프레임들의 수는 단방향 및 양방향 예측을 위해 각각 1개 및 2개이다. 마지막으로, 이러한 후보들에 대해 중복 검사가 수행되지 않는다.
2.2.1.5 병렬 처리를 위한 모션 추정 영역
인코딩 프로세스의 속도를 높이기 위해, 모션 추정이 병렬로 수행될 수 있고, 그에 의해 주어진 영역 내의 모든 예측 유닛들에 대한 모션 벡터들이 동시에 도출된다. 공간적 이웃으로부터의 병합 후보들의 도출은 병렬 처리를 방해할 수 있는데, 그 이유는 하나의 예측 유닛이 그의 연관된 모션 추정이 완료될 때까지 인접한 PU로부터 모션 파라미터들을 도출할 수 없기 때문이다. 코딩 효율과 처리 레이턴시 사이의 트레이드-오프를 완화하기 위해, HEVC는 "log2_parallel_merge_level_minus2" 신택스 엘리먼트를 사용하여 픽처 파라미터 세트에서 그 크기가 시그널링되는 모션 추정 영역(MER)을 정의한다. MER이 정의될 때, 동일한 영역에 속하는 병합 후보들은 사용 불가능한 것으로 표시되고, 따라서 리스트 구성에서 고려되지 않는다.
7.3.2.3 픽처 파라미터 세트 RBSP 신택스
7.3.2.3.1 일반 픽처 파라미터 세트 RBSP 신택스
log2_parallel_merge_level_minus2 + 2는, 8.5.3.2.2 절에 명시된 병합 모드에 대한 루마 모션 벡터들에 대한 도출 프로세스 및 8.5.3.2.3 절에 명시된 공간 병합 후보들에 대한 도출 프로세스에서 사용되는, 변수 Log2ParMrgLevel의 값을 지정한다. log2_parallel_merge_level_minus2의 값은 0 내지 CtbLog2SizeY - 2(경계값 포함)의 범위에 있을 것이다.
변수 Log2ParMrgLevel은 다음과 같이 도출된다:
Log2ParMrgLevel = log2_parallel_merge_level_minus2 + 2 (7-37)
주 3 - Log2ParMrgLevel의 값은 병합 후보 리스트들의 병렬 도출의 내장 능력을 나타낸다는 점에 유의한다. 예를 들어, Log2ParMrgLevel이 6과 같을 때, 64x64 블록에 포함된 모든 예측 유닛(PU)들 및 코딩 유닛(CU)들에 대한 병합 후보 리스트들이 병렬로 도출될 수 있다.
2.2.2 AMVP 모드에서의 모션 벡터 예측
모션 벡터 예측은 모션 파라미터의 명시적 송신을 위해 사용되는 이웃 PU와의 모션 벡터의 공간-시간 상관을 이용한다. 이것은 먼저 좌측, 상위의 시간적으로 이웃하는 PU 위치들에서 가용성을 검사하고, 중복 후보들을 제거하고, 제로 벡터를 추가하여 후보 리스트가 일정한 길이가 되게 함으로써 모션 벡터 후보 리스트를 구성한다. 이어서, 인코더는 후보 리스트로부터 최상의 예측자를 선택하고 선택된 후보를 나타내는 대응하는 인덱스를 송신할 수 있다. 병합 인덱스 시그널링과 유사하게, 최상의 모션 벡터 후보의 인덱스는 절단 단항(truncated unary)을 사용하여 인코딩된다. 이 경우에 인코딩될 최대값은 2이다(예를 들어, 도 2 내지 도 8). 다음 섹션들에서, 모션 벡터 예측 후보의 도출 프로세스에 관련한 세부사항들이 제공된다.
2.2.2.1 모션 벡터 예측 후보들의 도출
도 16은 모션 벡터 예측 후보에 대한 도출 프로세스를 요약한다.
모션 벡터 예측에서, 2가지 타입의 모션 벡터 후보가 고려된다: 공간 모션 벡터 후보 및 시간 모션 벡터 후보. 공간 모션 벡터 후보 도출의 경우, 2개의 모션 벡터 후보가 결국 도 11에 도시된 바와 같이 5개의 상이한 위치에 위치하는 각각의 PU의 모션 벡터에 기초하여 도출된다.
시간 모션 벡터 후보 도출에 대해, 2개의 상이한 병치된 위치에 기초하여 도출되는 2개의 후보로부터 하나의 모션 벡터 후보가 선택된다. 공간-시간 후보들의 제1 리스트가 형성된 이후에, 리스트 내의 이중화된 모션 벡터 후보들이 제거된다. 잠재적 후보들의 수가 2보다 큰 경우, 연관된 참조 픽처 리스트 내의 참조 픽처 인덱스가 1보다 큰 모션 벡터 후보들이 리스트로부터 제거된다. 공간-시간 모션 벡터 후보들의 수가 2보다 작으면, 추가적인 제로 모션 벡터 후보들이 리스트에 추가된다.
2.2.2.2 공간 모션 벡터 후보들
공간 모션 벡터 후보들의 도출에서, 최대 2개의 후보들이 5개의 잠재적 후보들 중에서 고려되며, 이 후보들은 도 11에 도시된 바와 같은 위치들에 위치된 PU들로부터 도출되며, 그 위치들은 모션 병합의 위치들과 동일하다. 현재 PU의 좌측 측면에 대한 도출 순서는 A0, A1 및 스케일링된 A0, 스케일링된 A1로서 정의된다. 현재 PU의 상위 측면에 대한 도출 순서는 B0, B1, B2, 스케일링된 B0, 스케일링된 B1, 스케일링된 B2로서 정의된다. 따라서, 각각의 측면에 대해, 모션 벡터 후보로서 사용될 수 있는 4개의 경우가 있으며, 2개의 경우는 공간 스케일링을 사용할 필요가 없고, 2개의 경우는 공간 스케일링이 사용된다. 4개의 상이한 경우들이 다음과 같이 요약된다.
· 공간 스케일링 없음
- (1) 동일한 참조 픽처 리스트, 및 동일한 참조 픽처 인덱스(동일한 POC)
- (2) 상이한 참조 픽처 리스트, 그러나 동일한 참조 픽처(동일한 POC)
· 공간 스케일링
- (3) 동일한 참조 픽처 리스트, 그러나 상이한 참조 픽처(상이한 POC)
- (4) 상이한 참조 픽처 리스트, 및 상이한 참조 픽처(상이한 POC)
공간 스케일링이 없는 경우들이 먼저 검사되고 이어서 공간 스케일링이 후속된다. 참조 픽처 리스트에 관계없이 이웃 PU의 참조 픽처와 현재 PU의 참조 픽처 사이에 POC가 상이할 때 공간 스케일링이 고려된다. 좌측 후보들의 모든 PU들이 사용가능하지 않거나 인트라 코딩되는 경우, 좌측 및 상위 MV 후보들의 병렬 도출을 돕기 위해 상위 모션 벡터에 대한 스케일링이 허용된다. 그렇지 않으면, 상위 모션 벡터에 대해 공간 스케일링이 허용되지 않는다.
공간 스케일링 프로세스에서, 이웃 PU의 모션 벡터는 도 17에 도시된 바와 같이 시간 스케일링에 대한 것과 유사한 방식으로 스케일링된다. 주된 차이는 현재 PU의 참조 픽처 리스트 및 인덱스가 입력으로서 주어진다는 것이며; 실제 스케일링 프로세스는 시간 스케일링의 것과 동일하다.
2.2.2.3 시간 모션 벡터 후보들
참조 픽처 인덱스 도출 이외에, 시간 병합 후보들의 도출을 위한 모든 프로세스들은 공간 모션 벡터 후보들의 도출(예를 들어, 도 6 참조)과 동일하다. 참조 픽처 인덱스는 디코더에 시그널링된다.
2.2.2.4 AMVP 정보의 시그널링
AMVP 모드의 경우, 4개의 부분, 즉 예측 방향, 참조 인덱스, MVD 및 mv 예측자 후보 인덱스가 비트스트림에서 시그널링될 수 있다.
신택스 테이블
7.3.8.9 모션 벡터 차이 신택스
2.3 JEM(Joint Exploration Model)에서의 새로운 인터 예측 방법들
2.3.1 서브-CU 기반 모션 벡터 예측
QTBT를 갖는 JEM에서, 각각의 CU는 각각의 예측 방향에 대해 많아야 하나의 모션 파라미터 세트를 가질 수 있다. 큰 CU를 서브-CU들로 분할하고 큰 CU의 모든 서브-CU들에 대한 모션 정보를 도출함으로써 2개의 서브-CU 레벨 모션 벡터 예측 방법들이 인코더에서 고려된다. ATMVP(alternative temporal motion vector prediction) 방법은 각각의 CU가 병치된 참조 픽처에서 현재 CU보다 작은 다수의 블록들로부터 모션 정보의 다수의 세트들을 페치할 수 있게 한다. STMVP(spatial-temporal motion vector prediction) 방법에서, 서브-CU들의 모션 벡터들은 시간 모션 벡터 예측자 및 공간 이웃 모션 벡터를 사용함으로써 재귀적으로 도출된다.
서브-CU 모션 예측을 위한 더 정확한 모션 필드를 보존하기 위해, 참조 프레임들에 대한 모션 압축은 현재 디스에이블된다.
2.3.1.1 대체 시간 모션 벡터 예측
ATMVP(alternative temporal motion vector prediction) 방법에서, 모션 벡터들 TMVP(temporal motion vector prediction)은 현재 CU보다 작은 블록들로부터 (모션 벡터들 및 참조 인덱스들을 포함하는) 모션 정보의 다수의 세트를 페치함으로써 수정된다. 도 18에 도시된 바와 같이, 서브-CU들은 정사각형 NХN 블록들(N은 디폴트로 4로 설정됨) 이다.
ATMVP는 2개의 단계들에서 CU 내의 서브-CU들의 모션 벡터들을 예측한다. 제1 단계는 소위 시간 벡터로 참조 픽처에서 대응하는 블록을 식별하는 것이다. 참조 픽처는 모션 소스 픽처라고 불린다. 제2 단계는 도 18에 도시된 바와 같이 현재 CU를 서브-CU들로 분할하고, 각각의 서브-CU에 대응하는 블록으로부터 각각의 서브-CU의 참조 인덱스들뿐만 아니라 모션 벡터들을 획득하는 것이다.
제1 단계에서, 참조 픽처 및 대응하는 블록은 현재 CU의 공간 이웃 블록들의 모션 정보에 의해 결정된다. 이웃 블록들의 반복 스캐닝 프로세스를 피하기 위해, 현재 CU의 병합 후보 리스트 내의 제1 병합 후보가 사용된다. 제1 사용가능한 모션 벡터 및 그의 관련 참조 인덱스는 시간 벡터 및 모션 소스 픽처에 대한 인덱스가 되도록 설정된다. 이러한 방식으로, ATMVP에서, 대응하는 블록은 TMVP와 비교하여 더 정확하게 식별될 수 있고, 대응하는 블록(때때로 병치된 블록이라고 불림)은 항상 현재 CU에 대해 하단-우측 또는 중심 위치에 있다. 일 예에서, 제1 병합 후보가 좌측 이웃 블록으로부터 온 것인 경우(즉, 도 19에서 A1), 소스 블록 및 소스 픽처를 식별하기 위해 연관된 MV 및 참조 픽처가 이용된다.
도 19는 소스 블록 및 소스 픽처의 식별의 예를 도시한다.
제2 단계에서, 서브-CU의 대응하는 블록은 현재 CU의 좌표에 시간 벡터를 추가함으로써 모션 소스 픽처 내의 시간 벡터에 의해 식별된다. 각각의 서브-CU에 대하여, 그 대응하는 블록의 모션 정보(중심 샘플을 커버하는 최소 모션 그리드)는 서브-CU에 대한 모션 정보를 도출하기 위하여 사용된다. 대응하는 NХN 블록의 모션 정보가 식별된 이후에, 그것은 HEVC의 TMVP와 동일한 방식으로, 현재 서브-CU의 모션 벡터들 및 참조 인덱스들로 변환되고, 모션 스케일링 및 다른 절차들이 적용된다. 예를 들어, 디코더는 저지연 조건(즉, 현재 픽처의 모든 참조 픽처들의 POC들이 현재 픽처의 POC보다 작음)이 충족되는지를 검사하고, 가능하게는 모션 벡터 MVx(참조 픽처 리스트 X에 대응하는 모션 벡터)를 사용하여 각각의 서브-CU에 대한 모션 벡터 MVy(X는 0 또는 1과 같고 Y는 1과 같음)를 예측한다.
2.3.1.2 공간-시간 모션 벡터 예측
이 방법에서, 서브-CU들의 모션 벡터들은, 래스터 스캔 순서에 따라, 재귀적으로 도출된다. 도 20은 이 개념을 도시한다. 4개의 4Х4 서브-CU들 A, B, C, 및 D를 포함하는 8Х8 CU를 고려한다. 현재 프레임 내의 이웃 4Х4 블록들은 a, b, c 및 d로 표시된다.
서브-CU A에 대한 모션 도출은 그의 2개의 공간 이웃들을 식별함으로써 시작된다. 제1 이웃은 서브-CU A 위의 NХN 블록이다(블록 c). 이 블록 c가 사용가능하지 않거나 인트라 코딩된 경우, 서브-CU A 위의 다른 NХN 블록들이 검사된다(블록 c에서 시작하여 좌측으로부터 우측으로). 제2 이웃은 서브-CU A의 좌측의 블록(블록 b) 이다. 블록 b가 사용가능하지 않거나 인트라 코딩된 경우, 서브-CU A의 좌측에 있는 다른 블록들이 검사된다(상단에서 하단으로, 블록 b에서 시작). 각각의 리스트에 대해 이웃 블록들로부터 획득된 모션 정보는 주어진 리스트에 대해 제1 참조 프레임으로 스케일링된다. 다음으로, 서브 블록 A의 시간 모션 벡터 예측자(TMVP)는 HEVC에서 지정된 바와 같은 TMVP 도출의 동일한 절차를 따라 도출된다. 위치 D에서의 병치된 블록의 모션 정보가 그에 따라 페치되고 스케일링된다. 마지막으로, 모션 정보를 검색하고 스케일링한 이후에, 모든 사용가능한 모션 벡터(최대 3)는 각각의 참조 리스트에 대해 개별적으로 평균화된다. 평균 모션 벡터는 현재 서브-CU의 모션 벡터로서 할당된다.
도 20은 4개의 서브 블록(A-D) 및 그 이웃 블록(a-d)을 갖는 하나의 CU의 예를 도시한다.
2.3.1.3 서브-CU 모션 예측 모드 시그널링
서브-CU 모드들은 추가적인 병합 후보들로서 인에이블되고 모드들을 시그널링하는데 요구되는 추가적인 신택스 엘리먼트가 없다. 각각의 CU의 병합 후보 리스트에 2개의 추가적인 병합 후보가 추가되어 ATMVP 모드 및 STMVP 모드를 표현한다. 시퀀스 파라미터 세트가 ATMVP 및 STMVP가 인에이블되는 것을 나타내는 경우, 최대 7개의 병합 후보가 사용된다. 추가적인 병합 후보들의 인코딩 로직은 HM 내의 병합 후보들에 대한 것과 동일하며, 이는 P 또는 B 슬라이스 내의 각각의 CU에 대해, 2개의 추가적인 병합 후보에 대해 2회의 더 많은 RD 검사가 필요함을 의미한다.
JEM에서, 병합 인덱스의 모든 빈들은 CABAC에 의해 컨텍스트 코딩된다. HEVC에서는 제1 빈만이 컨텍스트 코딩되고, 나머지 빈들은 컨텍스트 바이패스 코딩된다.
2.3.2 적응 모션 벡터 차이 분해능
HEVC에서, (PU의 모션 벡터와 예측된 모션 벡터 사이의) 모션 벡터 차이(MVD)들은 use_integer_mv_flag가 슬라이스 헤더에서 0과 동일할 때 쿼터 루마 샘플들의 유닛들로 시그널링된다. JEM에서, LAMVR(locally adaptive motion vector resolution)이 도입된다. JEM에서, MVD는 쿼터 루마 샘플, 정수 루마 샘플 또는 4 루마 샘플의 유닛으로 코딩될 수 있다. MVD 분해능은 코딩 유닛(CU) 레벨에서 제어되고, MVD 분해능 플래그들은 적어도 하나의 비-제로 MVD 성분을 갖는 각각의 CU에 대해 조건부로 시그널링된다.
적어도 하나의 비-제로 MVD 성분을 갖는 CU에 대해, 제1 플래그는 CU에서 쿼터 루마 샘플 MV 정밀도가 사용되는지를 나타내기 위해 시그널링된다. 제1 플래그(1과 동일)가 쿼터 루마 샘플 MV 정밀도가 사용되지 않는다는 것을 나타낼 때, 정수 루마 샘플 MV 정밀도 또는 4 루마 샘플 MV 정밀도가 사용되는지를 나타내기 위해 다른 플래그가 시그널링된다.
CU의 제1 MVD 분해능 플래그가 0이거나 CU에 대해 코딩되지 않을 때(CU에서의 모든 MVD들이 0임을 의미함), 쿼터 루마 샘플 MV 분해능이 CU에 대해 사용된다. CU가 정수 루마 샘플 MV 정밀도 또는 4 루마 샘플 MV 정밀도를 사용할 때, CU에 대한 AMVP 후보 리스트 내의 MVP들은 대응하는 정밀도로 라운딩된다.
인코더에서, 어느 MVD 분해능이 CU에 대해 사용되어야 하는지를 결정하기 위해 CU-레벨 RD 검사들이 사용된다. 즉, CU-레벨 RD 검사는 각각의 MVD 분해능에 대해 3회 수행된다. 인코더 속도를 가속화하기 위해, 다음 인코딩 방식들이 JEM에서 적용된다:
정상 쿼터 루마 샘플 MVD 분해능을 갖는 CU의 RD 검사 동안, 현재 CU의 모션 정보(정수 루마 샘플 정확도)가 저장된다. (라운딩 이후의) 저장된 모션 정보는 정수 루마 샘플 및 4 루마 샘플 MVD 분해능을 갖는 동일한 CU에 대한 RD 검사 동안 추가의 작은 범위 모션 벡터 정제를 위한 시작점으로서 사용되어, 시간 소모적인 모션 추정 프로세스가 3회 이중화되지 않도록 한다.
4 루마 샘플 MVD 분해능을 갖는 CU에 대한 RD 검사가 조건부로 호출된다. CU의 경우, RD 비용 정수 루마 샘플 MVD 분해능이 쿼터 루마 샘플 MVD 분해능보다 훨씬 더 클 때, CU에 대한 4 루마 샘플 MVD 분해능의 RD 검사는 스킵된다.
2.3.3 패턴 매칭 모션 벡터 도출
PMMVD(pattern matched motion vector derivation) 모드는 FRUC(frame-rate up conversion) 기술들에 기초한 특별한 병합 모드이다. 이 모드에 의하면, 블록의 모션 정보가 시그널링되지 않고 디코더 측에서 도출된다.
FRUC 플래그는 그 병합 플래그가 참일 때 CU에 대해 시그널링된다. FRUC 플래그가 거짓일 때, 병합 인덱스가 시그널링되고 정규 병합 모드가 사용된다. FRUC 플래그가 참일 때, 블록에 대한 모션 정보를 도출하기 위해 어느 방법(양방향 매칭 또는 템플릿 매칭)이 사용되어야 하는지를 나타내기 위해 추가의 FRUC 모드 플래그가 시그널링된다.
인코더 측에서, CU에 대해 FRUC 병합 모드를 사용하는지에 대한 결정은 정상 병합 후보에 대해 행해진 RD 비용 선택에 기초한다. 즉, 2개의 매칭 모드들(양방향 매칭 및 템플릿 매칭) 양자 모두가 RD 비용 선택을 사용하여 CU에 대해 검사된다. 최소 비용으로 이어지는 것이 다른 CU 모드들과 추가로 비교된다. FRUC 매칭 모드가 가장 효율적인 모드이면, CU에 대해 FRUC 플래그가 참으로 설정되고 관련된 매칭 모드가 사용된다.
FRUC 병합 모드에서의 모션 도출 프로세스는 2개의 단계들을 가진다. CU-레벨 모션 검색이 먼저 수행되고, 이어서 서브-CU 레벨 모션 정제가 뒤따른다. CU 레벨에서, 양방향 매칭 또는 템플릿 매칭에 기초하여 전체 CU에 대해 초기 모션 벡터가 도출된다. 먼저, MV 후보들의 리스트가 생성되고, 최소 매칭 비용을 초래하는 후보가 추가의 CU 레벨 정제를 위한 시작점으로서 선택된다. 그 후, 시작점 주위의 양방향 매칭 또는 템플릿 매칭에 기초한 로컬 검색이 수행되고, 최소 매칭 비용을 초래하는 MV가 전체 CU에 대한 MV로서 취해진다. 후속하여, 모션 정보는 도출된 CU 모션 벡터들을 시작점들로 하여 서브-CU 레벨에서 추가로 정제된다.
예를 들어, 다음의 도출 프로세스가 CU 모션 정보 도출에 대해 수행된다. 제1 스테이지에서, 전체 CU에 대한 MV가 도출된다. 제2 스테이지에서, CU는 서브-CU들로 추가로 분할된다. 의 값은 (16)에서와 같이 계산되고, 는 JEM에서 디폴트로 3으로 설정되는 미리 정의된 분할 깊이이다. 이어서, 각각의 서브-CU에 대한 MV가 도출된다.
} (1)
도 21에 도시된 바와 같이, 양방향 매칭이 사용되어 2개의 상이한 참조 픽처에서 현재 CU의 모션 궤적을 따라 2개의 블록 사이의 가장 가까운 매칭을 발견함으로써 현재 CU의 모션 정보를 도출한다. 연속 모션 궤적의 가정 하에, 2개의 참조 블록들을 가리키는 모션 벡터들 MV0 및 MV1은 현재 픽처와 2개의 참조 픽처들 사이의 시간 거리들, 즉, TD0 및 TD1에 비례하여야 한다. 특별한 경우로서, 현재 픽처가 시간적으로 2개의 참조 픽처 사이에 있고 현재 픽처로부터 2개의 참조 픽처까지의 시간 거리가 동일할 때, 양방향 매칭은 미러 기반 양방향 MV가 된다.
도 22에 도시된 바와 같이, 템플릿 매칭은 현재 픽처 내의 템플릿(현재 CU의 상단 및/또는 좌측 이웃 블록들)과 참조 픽처 내의 블록(템플릿과 동일한 크기) 사이의 가장 가까운 매칭을 발견함으로써 현재 CU의 모션 정보를 도출하는데 사용될 수 있다. 전술한 FRUC 병합 모드를 제외하고, 템플릿 매칭은 AMVP 모드에도 적용된다. JEM에서, HEVC에서 행해진 바와 같이, AMVP는 2개의 후보를 갖는다. 템플릿 매칭 방법을 사용하여, 새로운 후보가 도출된다. 템플릿 매칭에 의해 새롭게 도출된 후보가 제1 기존의 AMVP 후보와 상이하면, 이는 AMVP 후보 리스트의 바로 시작점에 삽입되고, 그 다음으로, 리스트 크기는 2로 설정된다(제2 기존의 AMVP 후보를 제거함을 의미). AMVP 모드에 적용될 때, CU 레벨 검색만이 적용된다.
2.3.3.1 CU 레벨 MV 후보 세트
CU 레벨에서의 MV 후보 세트는 다음으로 구성된다:
(i) 현재 CU가 AMVP 모드에 있는 경우의 원래 AMVP 후보들
(ii) 모든 병합 후보들,
(iii) 보간된 MV 필드 내의 몇몇 MV들
(iv) 상단 및 좌측 이웃 모션 벡터
양방향 매칭을 사용할 때, 병합 후보의 각각의 유효 MV는 양방향 매칭을 가정하여 MV 쌍을 생성하기 위한 입력으로서 사용된다. 예를 들어, 병합 후보의 하나의 유효 MV는 참조 리스트 A에서 (MVa, refa)이다. 이어서, 그의 쌍을 이룬 양방향 MV의 참조 픽처 refb는, refa 및 refb가 현재 픽처의 시간적으로 상이한 측면들에 있도록, 다른 참조 리스트 B에서 발견된다. 이러한 refb가 참조 리스트 B에서 사용가능하지 않다면, refb는 refa과는 상이한 참조로서 결정되고, 현재 픽처까지의 그 시간 거리는 리스트 B에서의 최소 거리이다. refb가 결정된 이후, MVb는 현재 픽처와 refa, refb 사이의 시간 거리에 기초하여 MVa를 스케일링함으로써 도출된다.
보간된 MV 필드로부터의 4개의 MV가 또한 CU 레벨 후보 리스트에 추가된다. 보다 구체적으로, 현재 CU의 위치(0, 0), (W/2, 0), (0, H/2) 및 (W/2, H/2)에서의 보간된 MV들이 추가된다.
FRUC가 AMVP 모드에서 적용될 때, 원래의 AMVP 후보들이 또한 CU 레벨 MV 후보 세트에 추가된다.
CU 레벨에서, AMVP CU들에 대한 최대 15개의 MV들 및 병합 CU들에 대한 최대 13개의 MV들이 후보 리스트에 추가된다.
2.3.3.2 서브-CU 레벨 MV 후보 세트
서브-CU 레벨에서의 MV 후보 세트는 다음으로 구성된다:
(i) CU-레벨 검색으로부터 결정된 MV,
(ii) 상단, 좌측, 상단-좌측 및 상단-우측 이웃 MV들,
(iii) 참조 픽처들로부터의 병치된 MV들의 스케일링된 버전들,
(iv) 최대 4개의 ATMVP 후보,
(v) 최대 4개의 STMVP 후보
참조 픽처들로부터의 스케일링된 MV들은 다음과 같이 도출된다. 양자 모두의 리스트 내의 모든 참조 픽처는 순회된다. 참조 픽처에서의 서브-CU의 병치된 위치에서의 MV들은 시작 CU-레벨 MV의 참조에 대해 스케일링된다.
ATMVP 및 STMVP 후보들은 4개의 첫 번째 후보들로 제한된다.
서브-CU 레벨에서, 최대 17개의 MV들이 후보 리스트에 추가된다.
2.3.3.3 보간된 MV 필드의 생성
프레임을 코딩하기 전에, 단방향 ME에 기초하여 전체 픽처에 대해 보간된 모션 필드가 생성된다. 이어서, 모션 필드는 나중에 CU 레벨 또는 서브-CU 레벨 MV 후보로서 사용될 수 있다.
먼저, 양자 모두의 참조 리스트 내의 각 참조 픽처의 모션 필드는 4Х4 블록 레벨에서 순회된다. 각각의 4Х4 블록에 대해, 모션이 현재 픽처 내의 4Х4 블록을 통과하는 블록과 연관되고(도 23에 도시된 바와 같이), 블록이 어떠한 보간된 모션도 할당받지 않은 경우, 참조 블록의 모션은 시간 거리 TD0 및 TD1에 따라 현재 픽처에 대해 스케일링되고(HEVC에서 TMVP의 MV 스케일링의 방식과 동일한 방식), 스케일링된 모션은 현재 프레임 내의 블록에 할당된다. 스케일링된 MV가 4Х4 블록에 할당되지 않으면, 블록의 모션은 보간된 모션 필드에서 사용 불가능한 것으로 표시된다.
2.3.3.4 보간 및 매칭 비용
모션 벡터가 분수 샘플 위치를 가리킬 때, 모션 보상된 보간이 필요하다. 복잡도를 감소시키기 위해, 정규 8-탭 HEVC 보간 대신에 이중 선형 보간이 양방향 매칭 및 템플릿 매칭 둘 다를 위해 사용된다.
매칭 비용의 계산은 상이한 단계들에서 다소 상이하다. CU 레벨에서 후보 세트로부터 후보를 선택할 때, 매칭 비용은 양방향 매칭 또는 템플릿 매칭의 SAD(absolute sum difference)이다. 시작 MV가 결정된 이후에, 서브-CU 레벨 검색에서의 양방향 매칭의 매칭 비용 는 다음과 같이 계산된다:
(2)
여기서 은 경험적으로 4로 설정된 가중 인자이고, 및 는 각각 현재 MV 및 시작 MV를 나타낸다. SAD는 여전히 서브-CU 레벨 검색에서의 템플릿 매칭의 매칭 비용으로서 사용된다.
FRUC 모드에서, MV는 루마 샘플들만을 사용하여 도출된다. 도출된 모션은 MC 인터 예측을 위해 루마와 크로마 양자 모두에 사용될 것이다. MV가 결정된 이후에, 최종 MC는 루마에 대한 8-탭 보간 필터 및 크로마에 대한 4-탭 보간 필터를 사용하여 수행된다.
2.3.3.5 MV 정제
MV 정제는 양방향 매칭 비용 또는 템플릿 매칭 비용의 기준을 갖는 패턴 기반 MV 검색이다. JEM에서, 2개의 검색 패턴- UCBDS(unrestricted center-biased diamond search) 및 CU 레벨 및 서브-CU 레벨 각각에서의 MV 정제를 위한 적응적 교차 검색 -이 지원된다. CU 및 서브-CU 레벨 MV 정제 둘 다에 대해, MV는 쿼터 루마 샘플 MV 정확도에서 직접 검색되고, 이것에 이어서 1/8 루마 샘플 MV 정제가 뒤따른다. CU 및 서브-CU 단계에 대한 MV 정제의 검색 범위는 8 루마 샘플들과 동일하게 설정된다.
2.3.3.6 템플릿 매칭 FRUC 병합 모드에서의 예측 방향의 선택
양방향 매칭 병합 모드에서, CU의 모션 정보가 2개의 상이한 참조 픽처들에서의 현재 CU의 모션 궤적을 따라 2개의 블록들 사이의 가장 가까운 매칭에 기초하여 도출되기 때문에 양방향 예측이 항상 적용된다. 템플릿 매칭 병합 모드에 대한 이러한 제한은 없다. 템플릿 매칭 병합 모드에서, 인코더는 list0으로부터의 단방향 예측, list1로부터의 단방향 예측, 또는 CU에 대한 양방향 예측 중에서 선택할 수 있다. 선택은 다음과 같은 템플릿 매칭 비용에 기초한다:
만약, costBi <= factor * min (cost0, cost1)이면
양방향 예측 사용;
그렇지 않고, cost0 <= cost1이면
list0으로부터의 단방향 예측 사용;
그 이외의 경우,
list1로부터의 단방향 예측 사용;
여기서, cost0은 list0 템플릿 매칭의 SAD이고, cost1은 list1 템플릿 매칭의 SAD이고, costBi는 양방향 예측 템플릿 매칭의 SAD이다. 예를 들어, 인자의 값이 1.25와 같은 경우, 이는 선택 프로세스가 양방향 예측을 향해 바이어싱된다는 것을 의미한다.
인터 예측 방향 선택은 CU-레벨 템플릿 매칭 프로세스에만 적용된다.
2.3.4 디코더측 모션 벡터 정제
양방향 예측 동작에서, 하나의 블록 영역의 예측에 대해, 각각 list0의 모션 벡터(MV) 및 list1의 MV를 사용하여 형성된 2개의 예측 블록이 조합되어 단일 예측 신호를 형성한다. DMVR(decoder-side motion vector refinement) 방법에서, 양방향 예측의 2개의 모션 벡터는 양방향 템플릿 매칭 프로세스에 의해 추가로 정제된다. 양방향 템플릿 매칭은 추가적인 모션 정보의 송신 없이 정제된 MV를 획득하기 위해 참조 픽처들 내의 재구성 샘플들과 양방향 템플릿 사이의 왜곡 기반 검색을 수행하기 위해 디코더에 적용된다.
DMVR에서, 양방향 템플릿은 도 23에 도시된 바와 같이, list0의 초기 MV0 및 list1의 MV1로부터, 각각, 2개의 예측 블록의 가중된 조합(즉, 평균)으로서 생성된다. 템플릿 매칭 동작은 생성된 템플릿과 참조 픽처에서의 (초기 예측 블록 주위의) 샘플 영역 사이의 비용 측정치들을 계산하는 것으로 구성된다. 2개의 참조 픽처 각각에 대해, 최소 템플릿 비용을 산출하는 MV가 원래의 것을 대체하기 위해 그 리스트의 업데이트된 MV로서 고려된다. JEM에서, 9개의 MV 후보가 각각의 리스트에 대해 검색된다. 9개의 MV 후보는 원래의 MV 및 수평 또는 수직 방향 중 어느 하나 또는 양자 모두에서 원래의 MV에 대한 하나의 루마 샘플 오프셋을 갖는 8개의 주위의 MV를 포함한다. 마지막으로, 2개의 새로운 MV들, 즉, 도 24에 도시된 바와 같은 MV0' 및 MV1' 이 최종 양방향 예측 결과들을 생성하기 위해 사용된다. SAD(sum of absolute differences)가 비용 측정치로서 사용된다.
DMVR은, 추가적인 신택스 엘리먼트들의 송신 없이, 과거의 참조 픽처로부터의 하나의 MV와 장래의 참조 픽처로부터의 다른 MV에 의한 양방향 예측의 병합 모드에 적용된다. JEM에서, LIC, 아핀 모션, FRUC, 또는 서브-CU 병합 후보가 CU에 대해 인에이블될 때, DMVR은 적용되지 않는다.
2.3.5 양방향 매칭 정제를 사용한 병합/스킵 모드
사용가능한 후보들의 수가 19의 최대 후보 크기에 도달할 때까지 중복 검사와 함께 공간 이웃 및 시간 이웃 블록들의 모션 벡터들 및 참조 인덱스들을 후보 리스트에 삽입함으로써 병합 후보 리스트가 먼저 구성된다. 병합/스킵 모드에 대한 병합 후보 리스트는 미리 정의된 삽입 순서에 따라 HEVC(조합된 후보들 및 제로 후보들)에서 사용되는 바와 같이 공간 후보들, 시간 후보들, 아핀 후보들, ATMVP(advanced temporal MVP) 후보, STMVP(spatial temporal MVP) 후보 및 추가 후보들을 삽입함으로써 구성된다(도 11).
- 블록들 1-4에 대한 공간 후보들.
- 블록들 1-4에 대한 외삽된 아핀 후보들.
- ATMVP.
- STMVP.
- 가상 아핀 후보.
- 공간 후보(블록 5)(사용가능한 후보들의 수가 6보다 작을 때에만 사용됨).
- 외삽된 아핀 후보(블록 5)
- 시간 후보(HEVC에서와 같이 도출됨).
- 외삽된 아핀 후보가 뒤따르는 비인접 공간 후보들(도 25에 도시된 바와 같이, 블록들 6 내지 49).
- 조합된 후보들.
- 제로 후보들
IC 플래그들은 또한 STMVP 및 아핀을 제외한 병합 후보들로부터 상속된다는 점에 유의한다. 또한, 처음 4개의 공간 후보에 대해, 양방향 예측 후보들은 단방향 예측을 갖는 후보들 전에 삽입된다.
일부 구현들에서, 현재 블록과 연결되지 않은 블록들이 액세스될 수 있다. 비인접 블록이 비-인트라 모드로 코딩되면, 연관된 모션 정보가 추가적인 병합 후보로서 추가될 수 있다.
2.3.6 공유 병합 리스트 JVET-M0170
이는 작은 스킵/병합 코딩된 CU들의 병렬 처리를 가능하게 하기 위해 CU 분할 트리에서 하나의 조상 노드의 모든 리프 코딩 유닛(CU)들에 대해 동일한 병합 후보 리스트를 공유하는 것을 제안한다. 조상 노드는 병합 공유 노드라고 명명된다. 공유 병합 후보 리스트는 병합 공유 노드가 리프 CU를 가장하는 병합 공유 노드에서 생성된다.
타입-2 정의에 대해, 병합 공유 노드는 디코딩의 파싱 스테이지 동안 CTU 내부의 각각의 CU에 대해 결정될 것이며; 또한, 병합 공유 노드는 다음 2개의 기준을 충족시켜야 하는 리프 CU의 조상 노드이다:
병합 공유 노드 크기는 크기 임계값 이상이다.
병합 공유 노드에서, 자식 CU 크기 중 하나는 크기 임계값보다 작다.
또한, 픽처 경계 밖에 있는 병합 공유 노드의 어떠한 샘플들도 보장될 필요가 없다. 파싱 스테이지 동안, 조상 노드가 기준 (1) 및 (2)를 만족시키지만 픽처 경계 밖에 일부 샘플을 갖는 경우, 이 조상 노드는 병합 공유 노드가 아닐 것이고, 이는 그의 자식 CU에 대한 병합 공유 노드를 찾도록 진행한다.
도 35는 타입 1 및 타입 2 정의의 차이에 대한 예를 도시한다. 이 예에서, 부모 노드는 3개의 자식 CU로 삼진 분할된다. 부모 노드의 크기는 128이다. 타입-1 정의에 대해, 3개의 자식 CU가 공유 노드를 개별적으로 병합할 것이다. 그러나 타입-2 정의에 대해, 부모 노드가 병합 공유 노드이다.
제안된 공유 병합 후보 리스트 알고리즘은 병진 병합(병합 모드 및 삼각 병합 모드를 포함함, 이력-기반 후보 또한 지원됨) 및 서브 블록 기반 병합 모드를 지원한다. 모든 종류의 병합 모드에 대해, 공유 병합 후보 리스트 알고리즘의 거동은 기본적으로 동일하게 보이며, 단지 병합 공유 노드가 리프 CU를 가장하는 병합 공유 노드에서 후보들을 생성한다. 이는 2개의 주요 이점을 갖는다. 첫 번째 이점은 병합 모드에 대한 병렬 처리를 가능하게 하는 것이고, 두 번째 이점은 모든 리프 CU들의 모든 계산들을 병합 공유 노드에 공유하는 것이다. 따라서, 하드웨어 코덱에 대한 모든 병합 모드들의 하드웨어 비용을 상당히 감소시킨다. 제안된 공유 병합 후보 리스트 알고리즘에 의해, 인코더 및 디코더는 병합 모드에 대한 병렬 인코딩을 쉽게 지원할 수 있고, 이는 병합 모드의 사이클 예산 문제를 경감시킨다.
2.3.7 타일 그룹
슬라이스들이 타일 그룹들을 위해 제거되고 HEVC 신택스 엘리먼트 slice_address가 타일 그룹 내의 제1 타일의 어드레스로서 (픽처에 하나보다 많은 타일이 있는 경우) tile_group_header 내의 tile_group_address로 대체되는 JVET-L0686이 채택되었다.
3. 본 명세서에 개시된 실시예들에 의해 해결되는 문제점들의 예들
현재 HEVC 설계는 모션 정보를 더 양호하게 코딩하기 위해 (현재 블록 옆의) 그의 이웃 블록들의 현재 블록의 상관을 취할 수 있다. 그러나, 이웃 블록들은 상이한 모션 궤적들을 갖는 상이한 객체들에 대응하는 것이 가능하다. 이 경우, 그의 이웃 블록들로부터의 예측은 효율적이지 않다.
비인접 블록들의 모션 정보로부터의 예측은 모든 모션 정보(전형적으로 4x4 레벨)를 캐시에 저장하는 것을 댓가로 추가적인 코딩 이득을 발생시킬 수 있고, 이러한 저장은 하드웨어 구현에 대한 복잡도를 상당히 증가시킨다.
4. 일부 예들
기존 구현들의 단점들을 극복하기 위해, 블록의 모션 정보를 예측하기 위해 저장된 적어도 하나의 모션 후보를 갖는 하나 이상의 테이블(예를 들어, 룩업 테이블)을 사용하는 LUT-기반 모션 벡터 예측 기술들이 보다 높은 코딩 효율들을 갖는 비디오 코딩을 제공하기 위해 다양한 실시예들에서 구현될 수 있다. 룩업 테이블은 블록의 모션 정보를 예측하기 위한 모션 후보들을 포함하도록 사용될 수 있는 테이블의 예이고, 다른 구현들이 또한 가능하다. 각각의 LUT는 각각이 대응하는 모션 정보와 연관되어 있는 하나 이상의 모션 후보를 포함할 수 있다. 모션 후보의 모션 정보는 예측 방향, 참조 인덱스들/픽처들, 모션 벡터들, LIC 플래그들, 아핀 플래그들, 모션 벡터 도출(MVD) 정밀도들, 및/또는 MVD 값들 중 일부 또는 전부를 포함할 수 있다. 모션 정보는 모션 정보가 어느 것으로부터 오는지를 나타내기 위해 블록 위치 정보를 추가로 포함할 수 있다.
기존 및 장래의 비디오 코딩 표준 양자 모두를 향상시킬 수 있는, 개시된 기술에 기초한 LUT-기반 모션 벡터 예측이 다양한 구현들에 대해 설명된 이하의 예들에서 설명된다. LUT들은 인코딩/디코딩 프로세스가 이력 데이터(예를 들어, 처리된 블록들)에 기초하여 수행될 수 있게 하기 때문에, LUT-기반 모션 벡터 예측은 또한 HMVP(History-based Motion Vector Prediction) 방법이라고도 지칭될 수 있다. LUT-기반 모션 벡터 예측 방법에서, 이전에 코딩된 블록들로부터의 모션 정보를 갖는 하나 또는 다수의 테이블이 인코딩/디코딩 프로세스 동안 유지된다. LUT들에 저장된 이러한 모션 후보들은 HMVP 후보들로 명명된다. 하나의 블록의 인코딩/디코딩 동안, LUT들에서의 연관된 모션 정보가 모션 후보 리스트들(예를 들어, 병합/AMVP 후보 리스트들)에 추가될 수 있고, 하나의 블록을 인코딩/디코딩한 이후에, LUT들이 업데이트될 수 있다. 업데이트된 LUT는 이어서 후속 블록을 코딩하는 데 사용된다. 따라서, LUT들에서의 모션 후보들의 업데이트는 블록들의 인코딩/디코딩 순서에 기초한다. 아래의 예들은 일반적인 개념들을 설명하기 위한 예들로서 고려되어야 한다. 이러한 예들은 좁은 방식으로 해석되지 않아야 한다. 또한, 이러한 예들은 임의의 방식으로 조합될 수 있다.
일부 실시예들은 블록의 모션 정보를 예측하기 위해 적어도 하나의 모션 후보가 저장된 하나 이상의 룩업 테이블을 사용할 수 있다. 실시예들은 룩업 테이블에 저장된 모션 정보 세트를 나타내기 위해 모션 후보를 사용할 수 있다. 종래의 AMVP 또는 병합 모드들에 대하여, 실시예들은 모션 정보를 저장하기 위해 AMVP 또는 병합 후보들을 사용할 수도 있다.
아래의 예들은 일반적인 개념들을 설명한다.
룩업 테이블의 예들
예 A1: 각각의 룩업 테이블은 하나 이상의 모션 후보를 포함할 수 있고 여기서 각각의 후보는 그 모션 정보와 연관된다.
a. 여기서 모션 후보의 모션 정보는 예측 방향, 참조 인덱스들/픽처들, 모션 벡터들, LIC 플래그, 아핀 플래그, MVD 정밀도, MVD 값들의 일부 또는 전부를 포함할 수 있다.
b. 모션 정보는 모션 정보가 오는 곳을 나타내기 위해 블록 위치 정보 및/또는 블록 형상을 추가로 포함할 수 있다.
LUT들의 선택
예 B1: 블록을 코딩하기 위해, 하나의 룩업 테이블로부터의 모션 후보들의 일부 또는 전부가 순서대로 검사될 수 있다. 블록을 코딩하는 동안 하나의 모션 후보가 검사될 때, 이는 모션 후보 리스트(예를 들어, AMVP, 병합 후보 리스트들)에 추가될 수 있다. 예 B2: 룩업 테이블의 선택은 블록의 위치에 의존할 수 있다.
룩업 테이블의 사용
예 C1: 검사될 룩업 테이블 내의 모션 후보들의 총 수는 미리 정의될 수 있다.
예 C2: 룩업 테이블에 포함된 모션 후보(들)는 블록에 의해 직접 상속될 수 있다.
a. 이들은 병합 모드 코딩을 위해 사용될 수 있는데, 즉, 모션 후보들이 병합 후보 리스트 도출 프로세스에서 검사될 수 있다.
b. 이들은 아핀 병합 모드 코딩에 사용될 수 있다.
i. 룩업 테이블 내의 모션 후보는 그 아핀 플래그가 1인 경우에 아핀 병합 후보로서 추가될 수 있다.
c. 이들은 서브 블록 병합 모드, 아핀 병합 모드, 삼각 병합 모드, 인터-인트라 병합 모드, MMVD(merge with MVD) 모드와 같은 다른 종류의 병합 모드들에 사용될 수 있다.
d. 룩업 테이블 내의 모션 후보들의 검사는 다음과 같은 경우에 가능해질 수 있다:
i. TMVP 후보를 삽입한 이후에 병합 후보 리스트가 가득 차 있지 않은 경우;
ii. 공간 병합 후보 도출을 위해 특정 공간 이웃 블록을 검사한 이후에 병합 후보 리스트는 가득 차 있지 않은 경우;
iii. 모든 공간 병합 후보들 이후에 병합 후보 리스트가 가득 차 있지 않은 경우;
iv. 조합된 양방향 예측 병합 후보들 이후에 병합 후보 리스트가 가득 차 있지 않은 경우;
v. 다른 코딩 방법들(예를 들어, HEVC 설계, 또는 JEM 설계의 병합 도출 프로세스)로부터 병합 후보 리스트에 넣어진 공간 또는 시간(예를 들어, 인접 공간 및 비인접 공간, TMVP, STMVP, ATMVP 등을 포함함) 병합 후보들의 수가 최대 허용 병합 후보들에서 주어진 임계값을 뺀 값보다 더 작은 경우.
1. 일 예에서, 임계값은 1 또는 0으로 설정된다.
2. 대안적으로, 임계값은 SPS/PPS/시퀀스, 픽처, 슬라이스 헤더/타일에서 시그널링되거나 미리 정의될 수 있다.
3. 대안적으로, 임계값은 블록마다 적응적으로 변경될 수 있다. 예를 들어, 이는 블록 크기/블록 형상/슬라이스 타입과 같은 코딩된 블록 정보에 의존하거나 및/또는 사용가능한 공간 또는 시간 병합 후보들의 수에 의존할 수 있다.
4. 다른 예에서, 병합 후보 리스트에 넣어진 특정 종류의 병합 후보들의 수가 최대 허용 병합 후보들에서 주어진 임계값을 뺀 값보다 작은 경우. "특정 종류의 병합 후보들"은 HEVC 또는 비인접 병합 후보들에서와 같이 공간 후보들일 수 있다.
vi. 병합 후보 리스트에 모션 후보를 추가하기 전에 프루닝이 적용될 수 있다. 본 특허 문서에 개시된 이 예 및 다른 예들의 다양한 구현들에서, 프루닝은 a) 모션 정보를 고유성을 위해 기존의 엔트리들과 비교하는 것, 또는 b) 고유하면, 모션 정보를 리스트에 추가하는 것, 또는 c) 고유하지 않으면, 그 후, c1) 모션 정보를 추가하지 않거나, 또는 c2) 모션 정보를 추가하고 매칭된 기존의 엔트리를 삭제하는 것을 포함할 수 있다. 일부 구현들에서, 테이블로부터의 모션 후보를 후보 리스트에 추가할 때 프루닝 동작이 호출되지 않는다.
1. 일 예에서, 모션 후보는 병합 후보 리스트 내의 다른 코딩 방법들로부터의 사용가능한 공간 또는 시간(예를 들어, 인접 공간 및 비인접 공간, TMVP, STMVP, ATMVP 등을 포함함) 병합 후보들의 전부 또는 일부에 대해 프루닝될 수 있다.
2. 모션 후보는 서브 블록 기반 모션 후보들, 예를 들어, ATMVP, STMVP에 대해 프루닝되지 않을 수 있다.
3. 일 예에서, 현재 모션 후보가 병합 후보 리스트 내의 사용가능한 모션 후보들(현재 모션 후보 이전에 삽입됨)의 전부 또는 일부에 대해 프루닝될 수 있다.
4. 모션 후보들에 관련된 프루닝 동작들의 수(예를 들어, 모션 후보들이 병합 리스트 내의 다른 후보들과 비교될 필요가 있는 횟수)는 사용가능한 공간 또는 시간 병합 후보들의 수에 의존할 수 있다. 예를 들어, 새로운 모션 후보를 검사할 때, 병합 리스트에 사용가능한 M개의 후보가 있는 경우, 새로운 모션 후보는 처음 K(K<=M) 후보들과만 비교될 수 있다. 프루닝 함수가 거짓(예를 들어, 처음 K개의 후보 중 어느 것과도 동일하지 않음)을 반환하는 경우, 새로운 모션 후보는 모든 M개의 후보와 상이한 것으로 고려되고 이는 병합 후보 리스트에 추가될 수 있다. 일 예에서, K는 min(K, 2)로 설정된다.
5. 일 예에서, 새롭게 첨부된 모션 후보는 병합 후보 리스트 내의 처음 N 후보와만 비교된다. 예를 들어, N= 3, 4 또는 5이다. N은 인코더로부터 디코더로 시그널링될 수 있다.
6. 일 예에서, 검사될 새로운 모션 후보는 단지 병합 후보 리스트 내의 마지막 N 후보와 비교된다. 예를 들어, N= 3, 4 또는 5이다. N은 인코더로부터 디코더로 시그널링될 수 있다.
7. 일 예에서, 테이블로부터의 새로운 모션 후보와 비교될 리스트에 이전에 추가된 후보들을 선택하는 방법은 이전에 추가된 후보들이 어디로부터 도출되는지에 의존할 수 있다.
a. 일 예에서, 룩업 테이블 내의 모션 후보는 주어진 시간 및/또는 공간 이웃 블록으로부터 도출된 후보들과 비교될 수 있다.
b. 일 예에서, 룩업 테이블 내의 모션 후보들의 상이한 엔트리들은 상이한 이전에 추가된 후보들(즉, 상이한 위치들로부터 도출됨)과 비교될 수 있다.
e. 룩업 테이블 내의 모션 후보들의 검사는, 인접/비인접 공간 또는 시간 블록들로부터 도출된 것과 같은, 다른 병합(또는 아핀 병합 또는 다른 인터 코딩 방법들) 후보들을 검사하기 전에 인에이블될 수 있다.
f. 룩업 테이블 내의 모션 후보들의 검사는 룩업 테이블 내에 적어도 하나의 모션 후보가 존재할 때 인에이블될 수 있다.
예 C3: 룩업 테이블에 포함되는 모션 후보(들)는 블록의 모션 정보를 코딩하기 위한 예측자로서 사용될 수 있다.
a. 이들은 AMVP 모드 코딩을 위해 사용될 수 있는데, 즉, 모션 후보들이 AMVP 후보 리스트 도출 프로세스에서 검사될 수 있다.
b. 이들은 대칭 모션 벡터 차이(SMVD) 코딩을 위해 사용될 수 있고, 여기서, MVD들의 단지 일부만 그러하다(예컨대, 다른 참조 픽처 리스트로부터 도출되고, 하나의 참조 픽처 리스트에 대해서 시그널링된 MVD만).
c. 이들은 대칭 모션 벡터 차이(SMV) 코딩을 위해 사용될 수 있고, 여기서 MV들의 단지 일부만 그러하다(예컨대, 다른 참조 픽처 리스트로부터 도출되고, 하나의 참조 픽처 리스트에 대해서 시그널링된 것만).
d. 룩업 테이블 내의 모션 후보들의 검사는 다음과 같은 경우에 가능해질 수 있다:
i. TMVP 후보를 검사하거나 삽입한 이후에 AMVP 후보 리스트가 가득 차지 않은 경우;
ii. 공간 이웃들로부터의 선택 및 프루닝 이후 TMVP 후보를 삽입하기 직전에 AMVP 후보 리스트가 가득 차 있지 않은 경우;
iii. 스케일링 없이 상위 이웃 블록들로부터 AMVP 후보가 없을 때 및/또는 스케일링 없이 좌측 이웃 블록들로부터 AMVP 후보가 없을 때;
iv. 특정 AMVP 후보를 삽입한 이후에 AMVP 후보 리스트가 가득 차 있지 않은 경우;
v. 프루닝은 모션 후보를 AMVP 후보 리스트에 추가하기 전에 적용될 수 있다.
vi. 예 C2, vi항 3 및 4에 언급된 바와 유사한 규칙들이 AMVP 모드에 적용될 수 있다.
e. 모션 후보들의 검사는, 인접/비인접 공간 또는 시간 블록들로부터 도출된 것과 같은, 다른 AMVP(또는 SMVD/SMV/아핀 인터 또는 다른 인터 코딩 방법들) 후보들을 검사하기 전에 인에이블될 수 있다.
f. 룩업 테이블 내에 적어도 하나의 모션 후보가 있을 때 모션 후보의 검사가 인에이블 될 수 있다.
g. 현재 참조 픽처에 대해 동일한 참조 픽처를 갖는 모션 후보(즉, 픽처 순서 카운트(POC)가 동일함)가 검사된다. 즉, 모션 후보가 현재 참조 픽처와 동일한 참조 픽처를 포함할 때, 대응하는 모션 벡터가 AMVP 후보 리스트 구성 프로세스에서 고려될 수 있다.
i. 대안적으로, 또한, 현재 참조 픽처로와 상이한 참조 픽처들을 갖는 모션 후보들이 또한 검사된다(MV가 스케일링됨). 즉, 모션 후보가 현재 참조 픽처에 대해 상이한 참조 픽처를 가질 때, 대응하는 모션 벡터가 AMVP 후보 리스트 구성 프로세스에서 고려될 수 있다.
ii. 대안적으로, 현재 참조 픽처와 동일한 참조 픽처를 갖는 모든 모션 후보들이 먼저 검사되고, 그 후 현재 참조 픽처와 상이한 참조 픽처들을 갖는 모션 후보들이 검사된다. 즉, 동일한 참조 픽처를 갖는 모션 후보에 더 높은 우선순위가 할당된다.
iii. 대안적으로, 모션 후보들이 병합에서의 동일한 것에 후속하여 검사된다.
iv. 하나의 모션 후보가 양방향 예측 후보일 때, 참조 픽처 리스트 X의 참조 픽처(예컨대, 참조 픽처 인덱스 또는 참조 픽처의 픽처 순서 카운터)가 먼저 검사되고, 이어서 현재 타겟 참조 픽처 리스트가 X인 경우, 참조 픽처 리스트 Y(Y!=X, 예를 들어, Y=1-X)의 참조 픽처가 후속된다.
v. 대안적으로, 하나의 모션 후보가 양방향 예측 후보일 때, 참조 픽처 리스트 Y(Y!=X, 예를 들어, Y=1-X)의 참조 픽처(예컨대, 참조 픽처 인덱스 또는 참조 픽처의 픽처 순서 카운터)가 먼저 검사되고, 이어서 현재 타겟 참조 픽처 리스트가 X인 경우, 참조 픽처 리스트 X의 참조 픽처가 후속된다.
vi. 대안적으로, 검사될 모든 모션 후보들과 연관하여 X인 참조 픽처 리스트의 참조 픽처들은 검사될 모든 모션 후보들과 연관하여 Y(Y!=X, 예를 들어, Y=1-X)인 참조 픽처 리스트의 참조 픽처 전에 검사될 수 있다.
예 C4: 룩업 테이블 내의 모션 후보들의 검사 순서는 다음과 같이 정의된다(K(K>=1) 모션 후보들이 검사되도록 허용된다고 가정함):
a. 룩업 테이블 내의 마지막 K개의 모션 후보들.
b. 첫 번째 K%L 후보들- L은 K>=L일 때의 룩업 테이블 크기임 -
c. K>=L일 때 룩업 테이블 내의 모든 후보들(L개의 후보)
d. 대안적으로, 또한, 모션 후보 인덱스들의 내림차순에 기초함.
e. 대안적으로, 또한, 모션 후보 인덱스들의 오름차순에 기초함.
f. 대안적으로, 모션 후보들 및 현재 블록과 연관된 위치들의 거리와 같은, 후보 정보에 기초하여 K개의 모션 후보를 선택함.
i. 일 예에서, K개의 가장 가까운 모션 후보가 선택된다.
ii. 일 예에서, 후보 정보는 거리를 계산할 때 블록 형상을 추가로 고려할 수 있다.
g. 일 예에서, L개의 후보를 포함하는 테이블로부터의 모션 후보 중 K개의 검사 순서는 다음과 같이 정의될 수 있다: a0, a0+T0, a0+T0+T1, a0+ T0+ T1+T2, ... a0+T0+T1+T2+..+TK-1와 동일한 인덱스를 갖는 후보를 순서대로 선택하고, 여기서, a0 및 Ti(i는 0 ... K-1)은 정수 값임.
i. 일 예에서, a0은 0(즉, 테이블에서의 모션 후보의 첫 번째 엔트리)으로 설정된다. 대안적으로, a0는 (K-L/K)로 설정된다. 산술 연산 '/'는 0을 향한 결과를 절단한 정수 나눗셈으로 정의된다. 대안적으로, a0는 0과 L/K 사이의 임의의 정수로 설정된다.
1. 대안적으로, a0의 값은 현재 블록 및 이웃 블록들의 코딩 정보에 의존할 수 있다.
ii. 일 예에서, 모든 간격들 Ti(i는 0... K-1임)은 L/K와 같이 동일하다. 산술 연산 '/'는 0을 향한 결과를 절단한 정수 나눗셈으로 정의된다.
iii. 일 예에서, (K, L, a0, Ti)은 (4, 16, 0, 4), 또는 (4, 12, 0, 3) 또는 (4, 8, 0, 1) 또는 (4, 16, 3, 4) 또는 (4, 12, 2, 3), 또는 (4, 8, 1, 2)로 설정된다. Ti는 모든 i에 대해 동일하다.
iv. 이러한 방법은 K가 L보다 작을 때에만 적용될 수 있다.
v. 대안적으로, 또한, K가 임계값 이상일 때, 예 C4의 부분 c가 적용될 수 있다. 임계값은 L로서 정의될 수 있거나, K에 의존하거나 블록마다 적응적으로 변경될 수 있다. 일 예에서, 임계값은 룩업 테이블로부터 새로운 모션 후보를 추가하기 전에 리스트 내의 사용가능한 모션 후보의 수에 의존할 수 있다.
h. 일 예에서, L개의 후보를 포함하는 테이블로부터의 모션 후보 중 K개의 검사 순서는 다음과 같이 정의될 수 있다: a0, a0-T0, a0-T0-T1, a0-T0- T1-T2, ... a0-T0-T1-T2-..-TK-1와 동일한 인덱스를 갖는 후보를 순서대로 선택하고, 여기서, a0 및 Ti(i는 0 ... K-1)은 정수 값임.
i. 일 예에서, a0은 L-1(즉, 테이블에서의 모션 후보의 마지막 엔트리)로 설정된다. 대안적으로, a0는 L-1-L/K와 L-1 사이의 임의의 정수로 설정된다.
ii. 일 예에서, 모든 간격들 Ti(i는 0... K-1임)은 L/K와 같이 동일하다.
iii. 일 예에서, (K, L, a0, Ti)은 (4, 16, L-1, 4), 또는 (4, 12, L-1, 3) 또는 (4, 8, L-1, 1) 또는 (4, 16, L-4, 4) 또는 (4, 12, L-3, 3), 또는 (4, 8, L-2, 2)으로 설정된다. Ti는 모든 i에 대해 동일하다.
iv. 이러한 방법은 K가 L보다 작을 때에만 적용될 수 있다.
v. 대안적으로, 또한, K가 임계값 이상일 때, 예 C4의 부분 c가 적용될 수 있다. 임계값은 L로서 정의될 수 있거나, K에 의존하거나 블록마다 적응적으로 변경될 수 있다. 일 예에서, 임계값은 룩업 테이블로부터 새로운 모션 후보를 추가하기 전에 리스트 내의 사용가능한 모션 후보의 수에 의존할 수 있다.
i. 참조 테이블로부터 모션 후보들을 얼마나 많이 및/또는 어떻게 선택할지는 블록 크기/블록 형상과 같은 코딩된 정보에 의존할 수 있다.
i. 일 예에서, 더 작은 블록 크기에 대해, 마지막 K개의 모션 후보를 선택하는 대신에, (마지막 것으로부터 시작하지 않는) 다른 K개의 모션 후보가 선택될 수 있다.
ii. 일 예에서, 코딩된 정보는 AMVP 또는 병합 모드일 수도 있다.
iii. 일 예에서, 코딩된 정보는 아핀 모드 또는 비-아핀 AMVP 모드 또는 비-아핀 병합 모드일 수 있다.
iv. 일 예에서, 코딩된 정보는 아핀 AMVP(인터) 모드 아핀 병합 모드 또는 비-아핀 AMVP 모드 또는 비-아핀 병합 모드일 수 있다.
v. 일 예에서, 코딩된 정보는 현재 픽처 참조(CPR) 모드이거나 CPR 모드가 아닐 수 있다.
vi. 대안적으로, 룩업 테이블로부터 모션 후보들을 선택하는 방법은 룩업 테이블로부터 새로운 모션 후보를 추가하기 전에 룩업 테이블 내의 모션 후보들의 수 및/또는 리스트 내의 사용가능한 모션 후보들의 수에 추가로 의존할 수 있다.
j. 일 예에서, 검사될 룩업 테이블 내의 모션 후보들의 (즉, 병합/AMVP 후보 리스트에 추가될 수 있는) 최대 수는 룩업 테이블 내의 사용가능한 모션 후보들의 수(NavaiMCinLUT로 표시됨), 및/또는 (미리 정의되거나 시그널링될 수 있는) 추가될 최대 허용 모션 후보들의 수(NUMmaxMC로 표시됨), 및/또는 룩업 테이블로부터 후보들을 검사하기 전의 후보 리스트 내의 사용가능한 후보들의 수(NavaiC로 표시됨)에 의존할 수 있다.
i. 일 예에서, 검사될 룩업 테이블 내의 모션 후보들의 최대 수는 (NavaiMCinLUT , NUMmaxMC , NavaiC)의 최소 값으로 설정된다.
ii. 대안적으로, 검사될 룩업 테이블 내의 모션 후보들의 최대 수는 (NavaiMCinLUT , NUMmaxMC - NavaiC)의 최소 값으로 설정된다.
iii. 일 예에서, NavaiC은 공간 또는 시간(인접 및/또는 비인접) 이웃 블록들로부터 도출된 삽입된 후보들의 수를 나타낸다. 대안적으로, 또한, (AMTVP, STMVP와 유사하게) 서브 블록 후보들의 수는 NavaiC에서 카운트되지 않는다.
iv. NUMmaxMC은 코딩 모드에 의존할 수 있고, 예를 들어, 병합 모드 및 AMVP 모드에 대해, NUMmaxMC는 상이한 값들로 설정될 수 있다. 일 예에서, 병합 모드의 경우, NUMmaxMC는 4, 6, 8, 10 등으로 설정될 수 있다. AMVP 모드의 경우, NUMmaxMC는 1, 2, 4 등으로 설정될 수 있다.
v. 대안적으로, NUMmaxMC은 블록 크기, 블록 형상, 슬라이스 타입 등과 같은 다른 코딩된 정보에 의존할 수 있다.
k. 다음 서브섹션에서 룩업 테이블들의 사용시에 상이한 룩업 테이블들의 검사 순서가 정의된다.
l. 검사 프로세스는 병합/AMVP 후보 리스트가 최대 허용 후보 수들에 도달하고 나면 종료될 것이다.
m. 검사 프로세스는 병합/AMVP 후보 리스트가 최대 허용 후보 수에서 임계값(Th)을 뺀 값에 도달하면 종료될 것이다. 일 예에서, Th는 양의 정수 값, 예를 들어, 1, 또는 2, 또는 3으로서 미리 정의될 수 있다. 대안적으로, Th는 블록마다 적응적으로 변경될 수 있다. 대안적으로, Th는 SPS/PPS/슬라이스 헤더 등에서 시그널링될 수 있다. 대안적으로, Th는 블록 형상/블록 크기/코딩 모드들 등에 추가로 의존할 수 있다. 대안적으로, Th는 LUT들로부터 모션 후보들을 추가하기 전에 사용가능한 후보들이 얼마나 많은 지에 의존할 수 있다.
n. 대안적으로, 이는 추가된 모션 후보들의 수가 최대 허용 모션 후보 수들에 도달하면 종료될 것이다. 최대 허용 모션 후보 수들은 시그널링되거나 미리 정의될 수 있다. 대안적으로, 최대 허용 모션 후보 수들은 블록 형상/블록 크기/코딩 모드들 등에 추가로 의존할 수 있다.
o. 검사되도록 허용된 모션 후보들의 수(즉, K=L) 뿐만 아니라 테이블 크기를 나타내기 위한 하나의 신택스 엘리먼트가 SPS, PPS, 슬라이스 헤더, 타일 헤더에서 시그널링될 수 있다.
일부 구현들에서, 룩업 테이블 내의 모션 후보들은 다른 후보들을 도출하는데 이용될 수 있고 도출된 후보들은 블록을 코딩하는데 이용될 수 있다.
일부 구현들에서, 블록의 모션 정보 코딩을 위한 룩업 테이블들의 사용을 인에이블/디스에이블하는 것은 SPS, PPS, 슬라이스 헤더, 타일 헤더, CTU, CTB, CU 또는 PU, 다수의 CTU/CTB/CU/PU들을 커버하는 영역에서 시그널링될 수 있다.
일부 구현들에서, 룩업 테이블들로부터의 예측을 적용할지 여부는 코딩된 정보에 추가로 의존할 수 있다. 블록에 적용되지 않는 것으로 추론될 때, 예측의 지시들의 추가적인 시그널링이 스킵된다. 대안적으로, 블록에 적용되지 않는 것으로 추론될 때, 룩업 테이블들의 모션 후보들에 액세스할 필요가 없고, 관련 모션 후보들의 검사는 생략된다.
일부 구현들에서, 이전에 코딩된 프레임들/슬라이스들/타일들에서의 룩업 테이블의 모션 후보들은 상이한 프레임/슬라이스/타일에서의 블록의 모션 정보를 예측하는 데 사용될 수 있다.
a. 일 예에서, 현재 블록의 참조 픽처와 연관된 룩업 테이블만이 현재 블록을 코딩하는데 이용될 수 있다.
b. 일 예에서, 현재 블록의 동일한 슬라이스 타입 및/또는 동일한 양자화 파라미터들을 갖는 픽처들과 연관된 룩업 테이블들만이 현재 블록을 코딩하는데 이용될 수 있다.
룩업 테이블의 업데이트
모션 정보(즉, IntraBC 모드, 인터 코딩 모드)를 갖는 블록을 코딩한 이후에, 하나 또는 다수의 룩업 테이블이 업데이트될 수 있다.
상기 모든 예들 및 구현들에 대해, 룩업 테이블들은 코딩된 정보 또는 이전에 코딩된 블록들로부터의 코딩된 정보로부터 도출된 정보를 디코딩 순서로 나타낸다.
a. 룩업 테이블은 병진 모션 정보, 또는 아핀 모션 정보, 또는 아핀 모델 파라미터들, 또는 인트라 모드 정보, 또는 조도 보상 정보 등을 포함할 수 있다.
b. 대안적으로, 룩업 테이블은 병진 모션 정보, 또는 아핀 모션 정보, 또는 아핀 모델 파라미터들, 또는 인트라 모드 정보, 또는 조도 보상 정보 등과 같은 적어도 두 종류의 정보를 포함할 수 있다.
추가의 예시적인 실시예들
HMVP 후보가 이전에 코딩된 블록의 모션 정보로서 정의되는 이력-기반 MVP(HMVP) 방법이 제안된다. 인코딩/디코딩 프로세스 동안 다수의 HMVP 후보들을 갖는 테이블이 유지된다. 새로운 슬라이스를 만날 때 테이블이 비워진다. 인터-코딩된 블록이 있을 때마다, 연관된 모션 정보가 새로운 HMVP 후보로서 테이블의 마지막 엔트리에 추가된다. 전체 코딩 흐름이 도 30에 도시된다.
일 예에서, 테이블 크기는 L(예를 들어, L= 16 또는 6, 또는 44)로 설정되고, 이는 최대 L개의 HMVP 후보가 테이블에 추가될 수 있다는 것을 나타낸다.
일 실시예에서(예 11.g.i에 대응), 이전에 코딩된 블록들로부터 L개보다 많은 HMVP 후보들이 있는 경우, 테이블이 가장 최근의 이전에 코딩된 L 모션 후보들을 항상 포함하도록 FIFO(First-In-First-Out) 규칙이 적용된다. 도 31은 FIFO 규칙이 적용되어 HMVP 후보를 제거하고 제안된 방법에서 사용된 테이블에 새로운 것을 추가하는 예를 도시한다.
또 다른 실시예에서(발명 11.g.iii에 대응), (현재 블록이 인터-코딩되고 비-아핀 모드인 것과 같은) 새로운 모션 후보를 추가할 때마다, LUT들에 동일하거나 유사한 모션 후보들이 있는지를 식별하기 위해 중복 검사 프로세스가 먼저 적용된다.
일부 예들은 다음과 같이 도시된다:
도 32a는 새로운 모션 후보를 추가하기 전에 LUT가 가득 찬 경우의 예를 도시한다.
도 32b는 새로운 모션 후보를 추가하기 전에 LUT가 가득 차 있지 않을 때의 예를 도시한다.
도 32a 및 도 32b는 함께 (하나의 중복 모션 후보가 제거된) 중복 제거 기반 LUT 업데이트 방법의 일 예를 도시한다.
도 33a 및 도 33b는 중복 제거 기반 LUT 업데이트 방법의 2개의 경우에 대한 예시적인 구현을 도시한다(다수의 중복 모션 후보가 제거됨, 도면들에서 2개의 후보).
도 33a는 새로운 모션 후보를 추가하기 전에 LUT가 가득 찼을 때의 예시적인 경우를 도시한다.
도 33b는 새로운 모션 후보를 추가하기 전에 LUT가 가득 차지 않은 경우의 예시적인 경우를 도시한다.
병합 후보 리스트 구성 프로세스에서 HMVP 후보들이 사용될 수 있다. 테이블에서의 마지막 엔트리로부터 첫 번째 엔트리(또는 마지막 K0 HMVP, 예를 들어, K0는 16 또는 6과 같음)까지의 모든 HMVP 후보들은 TMVP 후보 이후에 삽입된다. 프루닝은 HMVP 후보들에 적용된다. 사용가능한 병합 후보들의 총 수가 시그널링된 최대 허용 병합 후보들에 도달하면, 병합 후보 리스트 구성 프로세스가 종료된다. 대안적으로, 추가된 모션 후보들의 총 수가 주어진 값에 도달하면, LUT들로부터의 모션 후보들의 페치가 종료된다.
유사하게, HMVP 후보들은 또한 AMVP 후보 리스트 구성 프로세스에서 사용될 수 있다. 테이블에서의 마지막 K1 HMVP 후보들의 모션 벡터들은 TMVP 후보 이후에 삽입된다. AMVP 타겟 참조 픽처와 동일한 참조 픽처를 갖는 HMVP 후보들만이 AMVP 후보 리스트를 구성하기 위해 사용된다. 프루닝은 HMVP 후보들에 적용된다. 일 예에서, K1는 4로 설정된다.
도 28은 비디오 처리 장치(2800)의 블록도이다. 장치(2800)는 본 명세서에 설명된 방법들 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(2800)는 스마트폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등에서 구현될 수 있다. 장치(2800)는 하나 이상의 프로세서(2802), 하나 이상의 메모리(2804) 및 비디오 처리 하드웨어(2806)를 포함할 수 있다. 프로세서(들)(2802)는 본 문서에서 설명된 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(메모리들)(2804)는 본 명세서에 설명된 방법들 및 기술들을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(2806)는 본 문서에 설명된 일부 기술들을 하드웨어 회로에서 구현하는 데 사용될 수 있다.
도 29는 비디오 디코딩 방법(2900)의 일 예에 대한 흐름도이다. 방법(2900)은 테이블들을 유지하는 단계 2902를 포함하며, 여기서 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관된다. 방법(2900)은 제1 비디오 블록과 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계 2904를 추가로 포함하며, 변환을 수행하는 단계는 모션 후보들의 세트 중 적어도 일부를 예측자로서 사용하여 제1 비디오 블록의 모션 정보를 처리하는 단계를 포함한다.
방법(2900)과 관련하여, 일부 실시예들에서, 모션 정보는 다음 중 적어도 하나를 포함한다: 예측 방향, 참조 픽처 인덱스, 모션 벡터 값, 강도 보상 플래그, 아핀 플래그, 모션 벡터 차이 정밀도, 및 모션 벡터 차이 값. 또한, 모션 정보는 모션 정보의 소스를 나타내는 블록 위치 정보를 추가로 포함할 수 있다. 일부 실시예들에서, 비디오 블록은 CU 또는 PU일 수 있고, 비디오의 부분은 하나 이상의 비디오 슬라이스 또는 하나 이상의 비디오 픽처에 대응할 수 있다.
일부 실시예들에서, 각각의 LUT는 연관된 카운터를 포함하고, 카운터는 비디오의 해당 부분의 시작부에서 0의 값으로 초기화되고 비디오의 해당 부분 내의 각각의 인코딩된 비디오 영역에 대해 증가된다. 비디오 영역은 코딩 트리 유닛, 코딩 트리 블록, 코딩 유닛, 코딩 블록 또는 예측 유닛 중 하나를 포함한다. 일부 실시예들에서, 카운터는, 대응하는 LUT에 대해, 대응하는 LUT로부터 제거된 모션 후보들의 수를 나타낸다. 일부 실시예들에서, 모션 후보들의 세트는 모든 LUT들에 대해 동일한 크기를 가질 수 있다. 일부 실시예에서, 비디오의 해당 부분은 비디오의 슬라이스에 대응하고, LUT의 수는 N*P와 동일하며, 여기서, N은 디코딩 스레드 마다의 LUT들을 나타내는 정수이고, P는 비디오의 슬라이스 내의 타일들의 수 또는 최대 코딩 유닛 행들의 수를 나타내는 정수이다. 방법(2900)의 추가적인 상세가 섹션 4에 제공된 예 및 이하에 열거된 예에서 설명된다.
전술한 방법들/기술들의 특징들 및 실시예들이 후술된다.
1. 비디오 처리 방법으로서, 테이블을 유지하는 단계- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관됨 -; 및 제1 비디오 블록과 제1 비디오 블록을 포함하는 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계- 변환을 수행하는 단계는 모션 후보들의 세트의 적어도 일부를 예측자로서 사용하여 제1 비디오 블록의 모션 정보를 처리하는 단계를 포함함 -를 포함하는, 방법.
2. 조항 1에 있어서, 테이블들은 제1 비디오 블록 이전에 디코딩된, 이전에 디코딩된 비디오 블록들로부터 도출된 모션 후보들을 포함하는, 방법.
3. 조항 1에 있어서, 변환을 수행하는 단계는 모션 후보들의 세트의 적어도 일부를 사용하여 AMVP(Advanced Motion Vector Prediction) 후보 리스트 도출 프로세스를 수행하는 단계를 포함하는, 방법.
4. 조항 3에 있어서, AMVP 후보 리스트 도출 프로세스는 하나 이상의 테이블로부터 모션 후보들을 검사하는 단계를 포함하는, 방법.
5. 조항 1 내지 4 중 어느 하나에 있어서, 변환을 수행하는 단계는 모션 후보를 검사하는 단계를 포함하고, 검사된 모션 후보와 연관된 모션 벡터는 제1 비디오 블록의 모션 벡터를 코딩하기 위한 모션 벡터 예측자로서 사용되는, 방법.
6. 조항 4에 있어서, 검사된 모션 후보와 연관된 모션 벡터가 AMVP 모션 후보 리스트에 추가되는, 방법.
7. 조항 1에 있어서, 변환을 수행하는 단계는 규칙에 기초하여 모션 후보들 중 적어도 일부를 검사하는 단계를 포함하는, 방법.
8. 조항 7에 있어서, 규칙은 시간 모션 벡터 예측(TMVP) 후보를 검사한 이후에 AMVP 후보 리스트가 가득 차 있지 않을 때, 검사를 인에이블하는, 방법.
9. 조항 7에 있어서, 규칙은 TMVP 후보를 삽입하기 전에, 공간 이웃들로부터의 선택 및 프루닝 이후에 AMVP 후보 리스트가 가득 차 있지 않을 때, 검사를 인에이블하는, 방법.
10. 조항 7에 있어서, 규칙은 i) 스케일링 없이 상위 이웃 블록들로부터의 AMVP 후보가 없을 때, 또는 ii) 스케일링 없이 좌측 이웃 블록들로부터의 AMVP 후보가 없을 때, 검사를 인에이블하는, 방법.
11. 조항 7에 있어서, 규칙은 모션 후보를 AMVP 후보 리스트에 추가하기 전에 프루닝이 적용될 때, 검사를 인에이블하는, 방법.
12. 조항 1에 있어서, 현재 참조 픽처와 동일한 참조 픽처를 갖는 모션 후보들이 검사되는, 방법.
13. 조항 12에 있어서, 현재 참조 픽처와는 상이한 참조 픽처를 갖는 모션 후보들이 추가로 검사되는, 방법.
14. 조항 13에 있어서, 동일한 참조 픽처를 갖는 모션 후보들의 검사는 상이한 참조 픽처를 갖는 모션 후보들의 검사 이전에 수행되는, 방법.
15. 조항 1에 있어서, 테이블 내의 모션 후보로부터 모션 벡터를 추가하기 전에 프루닝 동작을 포함하는 AMVP 후보 리스트 구성 프로세스를 더 포함하는, 방법.
16. 조항 15에 있어서, 프루닝 동작은 모션 후보를 AMVP 후보 리스트 내의 사용가능한 모션 후보들의 적어도 일부와 비교하는 단계를 포함하는, 방법.
17. 조항 15에 있어서, 프루닝 동작은 다수의 동작들을 포함하고, 그 수는 공간 또는 시간 AMVP 후보들의 수의 함수인, 방법.
18. 조항 17에 있어서, 동작들의 수는 M개의 후보가 AMVP 후보 리스트에서 사용가능한 경우에, 프루닝이 K개의 AMVP 후보에만 적용되도록 하고, 여기서 K<=M이고 K 및 M은 정수들인, 방법.
19. 조항 1에 있어서, 변환을 수행하는 단계는 모션 벡터 차이들의 일부를 사용하여 대칭 모션 벡터 차이(SMVD) 프로세스를 수행하는 단계를 포함하는, 방법.
20. 조항 1에 있어서, 변환을 수행하는 단계는 모션 벡터들 중 일부를 사용하여 대칭 모션 벡터(SMV) 프로세스를 수행하는 단계를 포함하는, 방법.
21. 조항 7에 있어서, 규칙은 특정 AMVP 후보를 삽입한 이후에 AMVP 후보 리스트가 가득 차 있지 않을 때, 검사를 인에이블하는, 방법.
22. 조항 1에 있어서, 테이블 내의 모션 후보들의 검사를 인에이블하는 단계를 추가로 포함하고, 검사는 공간 또는 시간 블록으로부터 도출된 다른 후보들을 검사하기 전에 인에이블되고, 다른 후보들은 AMVP 후보들, SMVD 후보들, SMV 후보들, 또는 아핀 인터 후보들을 포함하는, 방법.
23. 조항 1에 있어서, 테이블 내의 모션 후보들의 검사를 인에이블하는 단계를 추가로 포함하고, 검사는 테이블 내에 적어도 하나의 모션 후보가 있는 경우에 인에이블되는, 방법.
24. 조항 1에 있어서, 양방향 예측 후보인 모션 후보에 대해, 제1 참조 픽처 리스트의 참조 픽처는 제2 참조 픽처 리스트의 참조 픽처가 검사되기 전에 검사되고, 제1 참조 픽처 리스트는 현재 타겟 참조 픽처 리스트인, 방법.
25. 조항 1 또는 2에 있어서, 양방향 예측 후보인 모션 후보에 대해, 제1 참조 픽처 리스트의 참조 픽처는 제2 참조 픽처 리스트의 참조 픽처가 검사되기 전에 검사되고, 제2 참조 픽처 리스트는 현재 타겟 참조 픽처 리스트인, 방법.
26. 조항 1에 있어서, 제1 참조 픽처 리스트의 참조 픽처들은 제2 참조 픽처 리스트의 참조 픽처들 전에 검사되는, 방법.
27. 조항 1에 있어서, 변환을 수행하는 단계는 제1 비디오 블록으로부터 비트스트림 표현을 생성하는 단계를 포함하는, 방법.
28. 조항 1에 있어서, 변환을 수행하는 단계는 비트스트림 표현으로부터 제1 비디오 블록을 생성하는 단계를 포함하는, 방법.
29. 조항 1 내지 28 중 어느 하나에 있어서, 모션 후보는 모션 정보와 연관되고, 모션 정보는 예측 방향, 참조 픽처 인덱스, 모션 벡터 값, 강도 보상 플래그, 아핀 플래그, 모션 벡터 차이 정밀도, 또는 모션 벡터 차이 값 중 적어도 하나를 포함하는, 방법.
30. 조항 1 내지 29 중 어느 하나에 있어서, 모션 후보는 인트라-코딩된 블록들에 대해 사용되는 인트라 예측 모드들과 연관되는, 방법.
31. 조항 1 내지 29 중 어느 하나에 있어서, 모션 후보는 IC 코딩된 블록들에 대해 사용되는 다수의 조도 보상(IC) 파라미터들과 연관되는, 방법.
32. 조항 1 내지 29 중 어느 하나에 있어서, 모션 후보는 필터링 프로세스에서 사용되는 필터 파라미터들과 연관되는, 방법.
33. 조항 1 내지 29 중 어느 하나에 있어서, 변환에 기초하여, 하나 이상의 테이블을 업데이트하는 단계를 더 포함하는, 방법.
34. 조항 33에 있어서, 하나 이상의 테이블을 업데이트하는 단계는 변환을 수행한 이후에 제1 비디오 블록의 모션 정보에 기초하여 하나 이상의 테이블을 업데이트하는 단계를 포함하는, 방법.
35. 조항 34에 있어서, 업데이트된 테이블들에 기초하여 비디오의 후속 비디오 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 더 포함하는, 방법.
36. 프로세서 및 명령어들을 갖는 비일시적 메모리를 포함하는 장치로서, 명령어들은, 프로세서에 의한 실행 시에, 프로세서로 하여금, 조항 1 내지 35 중 어느 하나의 방법을 구현하게 하는, 장치.
37. 비일시적 컴퓨터 판독가능 매체 상에 저장되는 컴퓨터 프로그램 제품으로서, 컴퓨터 프로그램 제품은 조항 1 내지 35 중 어느 하나의 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 프로그램 제품.
전술한 설명으로부터, 현재 개시된 기술의 특정한 실시예들이 예시의 목적으로 본 명세서에 설명되었지만, 본 발명의 범위를 벗어나지 않고서 다양한 수정들이 이루어질 수 있다는 것을 알 것이다. 따라서, 현재 개시된 기술은 첨부된 청구항들에 의한 것을 제외하고는 제한되지 않는다.
본 문서에 설명된 개시된 및 다른 실시예들, 모듈들 및 기능 동작들은 본 문서에 개시된 구조들 및 그들의 구조적 등가물들을 포함하는 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 이들 중 하나 이상의 조합들로 구현될 수 있다. 개시된 및 다른 실시예들은 하나 이상의 컴퓨터 프로그램 제품들, 즉 데이터 처리 장치에 의한 실행을 위해 또는 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 판독가능 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들로서 구현될 수 있다. 컴퓨터 판독가능 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 메모리 디바이스, 머신 판독가능 전파 신호에 영향을 주는 물질의 조성, 또는 이들 중 하나 이상의 조합일 수 있다. 용어 "데이터 처리 장치"는 예로서 프로그램가능 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함하는, 데이터를 처리하기 위한 모든 장치, 디바이스들, 및 머신들을 포함한다. 장치는 하드웨어에 더하여, 해당 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파 신호는 적합한 수신기 장치로의 송신을 위해 정보를 인코딩하도록 생성되는 인위적으로 생성된 신호, 예를 들어 머신 생성 전기, 광 또는 전자기 신호이다.
컴퓨터 프로그램(또한, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드라고도 알려져 있음)은 컴파일된 또는 해석된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 이는 독립형 프로그램(stand-alone program)으로서, 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서를 포함하여 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 반드시 대응하지는 않는다. 프로그램은 다른 프로그램들 또는 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들)를 보유하는 파일의 일부 내에, 해당 프로그램에 전용된 단일 파일 내에, 또는 다수의 협력하는 파일들(예를 들어, 하나 이상의 모듈들, 서브 프로그램들, 또는 코드의 부분들을 저장하는 파일들) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서, 또는 한 장소에 위치하거나 다수의 위치에 걸쳐 분산되어 통신 네트워크에 의해 상호접속되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 문서에 설명된 프로세스들 및 로직 흐름들은 입력 데이터에 대해 동작하고 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 로직 흐름들은 또한 특수 목적 로직 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있고, 장치는 또한 그들로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서들은, 예로서, 범용 및 특수 목적 마이크로프로세서 양자 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 요소들은 명령어들을 수행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기, 광자기 디스크들, 또는 광 디스크들을 포함하거나, 또는 이들로부터 데이터를 수신하거나 데이터를 이에 전송하거나, 또는 양자 모두를 수행하도록 동작적으로 결합될 것이다. 그러나, 컴퓨터가 이러한 디바이스들을 가질 필요는 없다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예로서 반도체 메모리 디바이스들, 예를 들어 EPROM, EEPROM 및 플래시 메모리 디바이스들; 자기 디스크들, 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들; 광자기 디스크들; 및 CD ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 그에 통합될 수 있다.
본 특허 문서가 많은 세부사항을 포함하고 있지만, 이들은 임의의 발명 또는 청구될 수 있는 것의 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정의 발명의 특정 실시예에 특정될 수 있는 특징들에 대한 설명으로서 해석되어야 한다. 개별 실시예들에 관련하여 본 특허 문서에 설명되는 특정 특징들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예에 관련하여 설명되는 다양한 특징들은 또한 다수의 실시예들에서 개별적으로 또는 임의의 적절한 하위조합으로 구현될 수 있다. 또한, 특징들이 특정 조합들로 작용하는 것으로 앞서 설명되고 심지어 처음에 이와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우들에서 조합으로부터 삭제될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변형에 관련될 수 있다.
유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 이것은 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되거나, 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 또한, 본 특허 문서에 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 이러한 분리가 요구되는 것으로 이해하여서는 안 된다.
몇몇 구현들 및 예들만이 설명되고, 본 특허 문서에서 설명되고 예시된 것에 기초하여 다른 구현들, 향상들 및 변형들이 이루어질 수 있다.
Claims (37)
- 비디오 처리 방법으로서,
하나 이상의 테이블을 유지하는 단계- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관되고 이전 비디오 블록으로부터 도출되며, 상기 테이블 내의 상기 모션 후보들의 배치는 상기 모션 후보들을 상기 테이블에 추가하는 시퀀스에 기초함 -;
제1 비디오 블록에 대하여 모션 후보 리스트를 도출하기 위해 모션 후보 리스트 도출 프로세스를 수행하는 단계- 상기 모션 후보 리스트 도출 프로세스는 상기 하나 이상의 테이블 중의 하나의 테이블 내의 하나 이상의 모션 후보를 순서대로 선택적으로 검사하는 단계를 포함함 -;
상기 모션 후보 리스트에 기초하여, 모션 벡터 예측자로서 사용되는 모션 정보를 도출하는 단계;
상기 모션 정보 및 모션 벡터와 상기 모션 벡터 예측자 간의 모션 벡터 차이(motion vector difference; MVD)에 기초하여 상기 제1 비디오 블록과 상기 제1 비디오 블록을 포함하는 비디오의 비트스트림 사이의 변환을 수행하는 단계 - 상기 MVD는 상기 비트스트림으로 표시됨 -; 및
상기 제1 비디오 블록에 대해 도출된 모션 정보에 기초하여 상기 테이블을 업데이트하는 단계
를 포함하고,
상기 모션 후보 리스트를 업데이트하기 위해 사용되는 상기 검사된 모션 후보들 중 적어도 하나의 모션 후보는 상기 제1 비디오 블록의 참조 픽처와 동일한 참조 픽처를 갖고,
상기 모션 후보 리스트는 AMVP(Advanced Motion Vector Prediction) 후보 리스트이고,
상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 동안, 제1 참조 픽처 리스트의 참조 픽처가 검사된 다음, 제2 참조 픽처 리스트의 참조 픽처가 검사되는, 방법. - 제1항에 있어서, 상기 변환을 수행하는 단계는 상기 제1 비디오 블록을 상기 비트스트림으로 인코딩하는 단계를 포함하는, 방법.
- 제1항에 있어서, 상기 변환을 수행하는 단계는 상기 비트스트림으로부터 상기 제1 비디오 블록을 디코딩하는 단계를 포함하는, 방법.
- 제1항에 있어서,
상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 단계는 상기 테이블 내에 적어도 하나의 모션 후보가 있을 때 인에이블되는, 방법. - 제1항에 있어서, 상기 하나 이상의 검사된 모션 후보를 사용하여 상기 모션 후보 리스트를 업데이트할지 여부는 검사 결과에 기초하는, 방법.
- 제1항에 있어서, 상기 모션 후보 리스트를 업데이트하는 단계는:
상기 검사된 모션 후보와 연관된 모션 벡터를 상기 모션 후보 리스트에 추가하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 단계는, 시간 모션 벡터 예측(temporal motion vector prediction; TMVP) 모션 후보를 도출하기 위해 상기 제1 비디오 블록을 포함하는 픽처와 다른 픽처 내의 시간 블록을 검사한 이후에, 상기 모션 후보 리스트가 가득 차 있지 않을 때, 인에이블되는, 방법.
- 제1항에 있어서, 상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 단계는, 특정 모션 후보를 삽입한 후에 상기 모션 후보 리스트가 가득 차 있지 않을 때 인에이블되는, 방법.
- 제1항에 있어서, 상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 단계는, i) 스케일링 없이 상위 이웃 블록들로부터의 모션 후보가 없을 때 및/또는 ii) 스케일링 없이 좌측 이웃 블록들로부터의 모션 후보가 없을 때 인에이블되는, 방법.
- 제1항에 있어서, 상기 변환을 수행하는 단계는 상기 모션 벡터 차이들의 일부를 사용한 대칭 모션 벡터 차이(SMVD) 프로세스, 또는 모션 벡터들의 일부를 사용한 대칭 모션 벡터(SMV) 프로세스 중 적어도 하나를 수행하는 것을 포함하는, 방법.
- 제1항에 있어서, 검사될 상기 모션 후보는 양방향 예측된(bi-predicted) 모션 후보인, 방법.
- 제1항에 있어서, 상기 테이블 내에서 현재 참조 픽처와 동일한 참조 픽처를 갖는 모션 후보들이 검사되는, 방법.
- 제12항에 있어서, 상기 현재 참조 픽처와 상이한 참조 픽처를 갖는 모션 후보들이 추가로 검사되며, 상기 동일한 참조 픽처를 갖는 모션 후보들의 검사는 상기 상이한 참조 픽처를 갖는 모션 후보들의 검사 이전에 수행되는, 방법.
- 제1항에 있어서, 상기 모션 후보 리스트 구성 프로세스는 상기 테이블 내의 적어도 하나의 검사된 모션 후보에 기초하여 상기 모션 후보 리스트를 업데이트하기 전에 프루닝(pruning) 동작을 포함하는, 방법.
- 제14항에 있어서, 상기 프루닝 동작은 검사될 모션 후보를 상기 모션 후보 리스트 내의 사용가능한 모션 후보들의 일부 또는 전부와 비교하는 단계를 포함하는, 방법.
- 제14항에 있어서, 상기 프루닝 동작은 다수의 동작들을 포함하고, 그 수는 공간 또는 시간 모션 후보들의 수의 함수인, 방법.
- 제1항에 있어서, 상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 단계는 공간 또는 시간 블록, AMVP 모션 후보, SMVD 모션 후보, SMV 모션 후보 또는 아핀 인터 모션 후보로부터 도출된 모션 후보들 중 적어도 하나를 포함하는 다른 모션 후보들을 검사하기 전에 인에이블되는, 방법.
- 제1항에 있어서, 상기 테이블 내의 모션 후보는 예측 방향, 참조 픽처 인덱스, 모션 벡터 값, 강도 보상 플래그, 아핀 플래그, 모션 벡터 차이 정밀도, 인트라 모드 정보, 조도 보상(IC) 파라미터, 필터링 프로세스에 사용되는 필터 파라미터들 또는 모션 벡터 차이 값 중 적어도 하나를 포함하는 모션 정보와 연관되는, 방법.
- 제1항에 있어서, 상기 제1 비디오 블록의 상기 모션 정보에 대응하는 상기 테이블 내의 상기 모션 후보의 인덱스는 상기 테이블 내의 다른 모션 후보들보다 더 큰 인덱스를 갖는, 방법.
- 제1항에 있어서, 상기 테이블 내의 상기 하나 이상의 모션 후보들이 상기 하나 이상의 모션 후보들의 하나 이상의 인덱스 순서로 검사되는, 방법.
- 프로세서 및 명령어들을 갖는 비-일시적 메모리를 포함하는 비디오 데이터를 처리하기 위한 장치로서, 상기 명령어들은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
하나 이상의 테이블을 유지하고- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관되고 이전 비디오 블록으로부터 도출되며, 상기 테이블 내의 상기 모션 후보들의 배치는 상기 모션 후보들을 상기 테이블에 추가하는 시퀀스에 기초함 -;
제1 비디오 블록에 대하여 모션 후보 리스트를 도출하기 위해 모션 후보 리스트 도출 프로세스를 수행하고- 상기 모션 후보 리스트 도출 프로세스는 상기 하나 이상의 테이블 중의 하나의 테이블 내의 하나 이상의 모션 후보를 순서대로 선택적으로 검사하는 것을 포함함 -;
상기 모션 후보 리스트에 기초하여, 모션 벡터 예측자로서 사용되는 모션 정보를 도출하고;
상기 모션 정보 및 모션 벡터와 상기 모션 벡터 예측자 간의 모션 벡터 차이(motion vector difference; MVD)에 기초하여 상기 제1 비디오 블록과 상기 제1 비디오 블록을 포함하는 비디오의 비트스트림 사이의 변환을 수행하고 - 상기 MVD는 상기 비트스트림으로 표시됨 -; 그리고
상기 제1 비디오 블록에 대해 도출된 모션 정보에 기초하여 상기 테이블을 업데이트하도록 하고,
상기 모션 후보 리스트를 업데이트하기 위해 사용되는 상기 검사된 모션 후보들 중 적어도 하나의 모션 후보는 상기 제1 비디오 블록의 참조 픽처와 동일한 참조 픽처를 갖고,
상기 모션 후보 리스트는 AMVP(Advanced Motion Vector Prediction) 후보 리스트이고,
상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 동안, 제1 참조 픽처 리스트의 참조 픽처가 검사된 다음, 제2 참조 픽처 리스트의 참조 픽처가 검사되는, 비디오 데이터 처리 장치. - 명령어들이 저장되어 있는 비-일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령어들은, 프로세서로 하여금:
하나 이상의 테이블을 유지하고- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관되고 이전 비디오 블록으로부터 도출되며, 상기 테이블 내의 상기 모션 후보들의 배치는 상기 모션 후보들을 상기 테이블에 추가하는 시퀀스에 기초함 -;
제1 비디오 블록에 대하여 모션 후보 리스트를 도출하기 위해 모션 후보 리스트 도출 프로세스를 수행하고- 상기 모션 후보 리스트 도출 프로세스는 상기 하나 이상의 테이블 중의 하나의 테이블 내의 하나 이상의 모션 후보를 순서대로 선택적으로 검사하는 것을 포함함 -;
상기 모션 후보 리스트에 기초하여, 모션 벡터 예측자로서 사용되는 모션 정보를 도출하고;
상기 모션 정보 및 모션 벡터와 상기 모션 벡터 예측자 간의 모션 벡터 차이(motion vector difference; MVD)에 기초하여 상기 제1 비디오 블록과 상기 제1 비디오 블록을 포함하는 비디오의 비트스트림 사이의 변환을 수행하고 - 상기 MVD는 상기 비트스트림으로 표시됨 -; 그리고
상기 제1 비디오 블록에 대해 도출된 모션 정보에 기초하여 상기 테이블을 업데이트하도록 하고,
상기 모션 후보 리스트를 업데이트하기 위해 사용되는 상기 검사된 모션 후보들 중 적어도 하나의 모션 후보는 상기 제1 비디오 블록의 참조 픽처와 동일한 참조 픽처를 갖고,
상기 모션 후보 리스트는 AMVP(Advanced Motion Vector Prediction) 후보 리스트이고,
상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 동안, 제1 참조 픽처 리스트의 참조 픽처가 검사된 다음, 제2 참조 픽처 리스트의 참조 픽처가 검사되는, 비-일시적 컴퓨터 판독가능 저장 매체. - 비디오의 비트스트림을 저장하기 위한 방법으로서,
하나 이상의 테이블을 유지하는 단계- 각각의 테이블은 모션 후보들의 세트를 포함하고, 각각의 모션 후보는 대응하는 모션 정보와 연관되고 이전 비디오 블록으로부터 도출되며, 상기 테이블 내의 상기 모션 후보들의 배치는 상기 모션 후보들을 상기 테이블에 추가하는 시퀀스에 기초함 -;
제1 비디오 블록에 대하여 모션 후보 리스트를 도출하기 위해 모션 후보 리스트 도출 프로세스를 수행하는 단계- 상기 모션 후보 리스트 도출 프로세스는 상기 하나 이상의 테이블 중의 하나의 테이블 내의 하나 이상의 모션 후보를 순서대로 선택적으로 검사하는 단계를 포함함 -;
상기 모션 후보 리스트에 기초하여, 모션 벡터 예측자로서 사용되는 모션 정보를 도출하는 단계;
상기 모션 정보 및 모션 벡터와 상기 모션 벡터 예측자 간의 모션 벡터 차이(motion vector difference; MVD)에 기초하여 상기 제1 비디오 블록으로부터 상기 비트스트림을 생성하는 단계 - 상기 MVD는 상기 비트스트림으로 표시됨 -; 및
상기 제1 비디오 블록에 대해 도출된 모션 정보에 기초하여 상기 테이블을 업데이트하고, 상기 비트스트림을 비-일시적 컴퓨터 판독가능 기록 매체에 저장하는 단계
를 포함하고,
상기 모션 후보 리스트를 업데이트하기 위해 사용되는 상기 검사된 모션 후보들 중 적어도 하나의 모션 후보는 상기 제1 비디오 블록의 참조 픽처와 동일한 참조 픽처를 갖고,
상기 모션 후보 리스트는 AMVP(Advanced Motion Vector Prediction) 후보 리스트이고,
상기 테이블 내의 상기 하나 이상의 모션 후보를 검사하는 동안, 제1 참조 픽처 리스트의 참조 픽처가 검사된 다음, 제2 참조 픽처 리스트의 참조 픽처가 검사되는, 방법. - 제1항에 있어서, 상기 제1 참조 픽처 리스트는 현재 타겟 참조 픽처 리스트인, 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020237045251A KR20240005239A (ko) | 2018-06-29 | 2019-07-01 | Lut와 amvp 사이의 상호작용 |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018093663 | 2018-06-29 | ||
| CNPCT/CN2018/093663 | 2018-06-29 | ||
| CN2018105193 | 2018-09-12 | ||
| CNPCT/CN2018/105193 | 2018-09-12 | ||
| CNPCT/CN2019/072058 | 2019-01-16 | ||
| CN2019072058 | 2019-01-16 | ||
| PCT/IB2019/055595 WO2020003284A1 (en) | 2018-06-29 | 2019-07-01 | Interaction between lut and amvp |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237045251A Division KR20240005239A (ko) | 2018-06-29 | 2019-07-01 | Lut와 amvp 사이의 상호작용 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210024504A KR20210024504A (ko) | 2021-03-05 |
| KR102641872B1 true KR102641872B1 (ko) | 2024-02-29 |
Family
ID=67262803
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237045251A KR20240005239A (ko) | 2018-06-29 | 2019-07-01 | Lut와 amvp 사이의 상호작용 |
| KR1020207038026A KR102641872B1 (ko) | 2018-06-29 | 2019-07-01 | Lut와 amvp 사이의 상호작용 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237045251A KR20240005239A (ko) | 2018-06-29 | 2019-07-01 | Lut와 amvp 사이의 상호작용 |
Country Status (11)
| Country | Link |
|---|---|
| US (3) | US10873756B2 (ko) |
| EP (2) | EP3797516A1 (ko) |
| JP (2) | JP7295231B2 (ko) |
| KR (2) | KR20240005239A (ko) |
| CN (2) | CN110662043B (ko) |
| BR (1) | BR112020024162A2 (ko) |
| CA (1) | CA3105330C (ko) |
| MX (1) | MX2020013828A (ko) |
| SG (1) | SG11202013028PA (ko) |
| TW (1) | TWI719525B (ko) |
| WO (1) | WO2020003284A1 (ko) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI723445B (zh) | 2018-06-29 | 2021-04-01 | 大陸商北京字節跳動網絡技術有限公司 | 查找表的更新：fifo、約束的fifo |
| EP3791589A1 (en) | 2018-06-29 | 2021-03-17 | Beijing Bytedance Network Technology Co. Ltd. | Which lut to be updated or no updating |
| CA3105330C (en) | 2018-06-29 | 2023-12-05 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and amvp |
| CA3101730A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Partial/full pruning when adding a hmvp candidate to merge/amvp |
| KR20240005240A (ko) | 2018-06-29 | 2024-01-11 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut에서의 모션 후보들의 검사 순서 |
| TWI744662B (zh) | 2018-06-29 | 2021-11-01 | 大陸商北京字節跳動網絡技術有限公司 | 更新查閱資料表（lut）的條件 |
| CN110662059B (zh) | 2018-06-29 | 2021-04-20 | 北京字节跳动网络技术有限公司 | 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置 |
| CN110662053B (zh) | 2018-06-29 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 使用查找表的视频处理方法、装置和存储介质 |
| CN110677666B (zh) | 2018-07-02 | 2022-06-14 | 北京字节跳动网络技术有限公司 | Lamvr中取整和修剪的顺序 |
| GB2590310B (en) | 2018-09-12 | 2023-03-22 | Beijing Bytedance Network Tech Co Ltd | Conditions for starting checking HMVP candidates depend on total number minus K |
| WO2020060376A1 (ko) | 2018-09-22 | 2020-03-26 | 엘지전자 주식회사 | 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
| WO2020114405A1 (en) | 2018-12-03 | 2020-06-11 | Beijing Bytedance Network Technology Co., Ltd. | Indication method of maximum number of candidates |
| KR20230019266A (ko) * | 2018-12-21 | 2023-02-07 | 삼성전자주식회사 | 삼각 예측 모드를 이용하는 영상 부호화 장치 및 영상 복호화 장치, 및 이에 의한 영상 부호화 방법 및 영상 복호화 방법 |
| JP7407412B2 (ja) * | 2018-12-28 | 2024-01-04 | 合同会社ＩＰ Ｂｒｉｄｇｅ１号 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、格納方法、及び伝送方法 |
| KR20240000647A (ko) * | 2018-12-28 | 2024-01-02 | 고도 가이샤 아이피 브릿지 1 | 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법, 동화상 복호 프로그램, 기록 매체, 전송 방법 및 기록 방법 |
| KR20240010576A (ko) | 2019-01-10 | 2024-01-23 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut 업데이트의 호출 |
| WO2020143824A1 (en) | 2019-01-13 | 2020-07-16 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and shared merge list |
| CN113330739A (zh) | 2019-01-16 | 2021-08-31 | 北京字节跳动网络技术有限公司 | Lut中的运动候选的插入顺序 |
| CN112514380A (zh) | 2019-02-26 | 2021-03-16 | 株式会社 Xris | 用于对视频信号进行编码/解码的方法及其设备 |
| CN112369033A (zh) * | 2019-03-08 | 2021-02-12 | Jvc建伍株式会社 | 动图像编码装置、动图像编码方法以及动图像编码程序、动图像解码装置、动图像解码方法以及动图像解码程序 |
| WO2020192611A1 (en) | 2019-03-22 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between merge list construction and other tools |
| JP7342153B2 (ja) * | 2019-06-24 | 2023-09-11 | エルジー エレクトロニクス インコーポレイティド | 動きベクトルを用いた画像コーディング方法および装置 |
| US11895321B2 (en) * | 2021-03-29 | 2024-02-06 | Qualcomm Incorporated | Template matching based advanced motion vector predictor (AMVP) candidate list construction with non-adjacent candidates and AMVP index signaling |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110194609A1 (en) * | 2010-02-05 | 2011-08-11 | Thomas Rusert | Selecting Predicted Motion Vector Candidates |
| US20170332099A1 (en) * | 2016-05-13 | 2017-11-16 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
Family Cites Families (298)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7023922B1 (en) | 2000-06-21 | 2006-04-04 | Microsoft Corporation | Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information |
| US7623719B2 (en) | 2003-09-26 | 2009-11-24 | The Regents Of The University Of California | Video encoding methods and devices |
| CN100545892C (zh) | 2003-12-18 | 2009-09-30 | 汤姆森特许公司 | 生成视频图像场中的查找表的方法和装置 |
| US7801220B2 (en) | 2005-01-07 | 2010-09-21 | Microsoft Corporation | In-band wavelet video coding with spatial scalability |
| CN101223784A (zh) | 2005-04-13 | 2008-07-16 | 诺基亚公司 | 可分级视频编码中的fgs标识 |
| US20070025444A1 (en) | 2005-07-28 | 2007-02-01 | Shigeyuki Okada | Coding Method |
| CN100539693C (zh) | 2005-08-30 | 2009-09-09 | 深圳清华大学研究院 | 快速运动估计方法 |
| WO2008047319A1 (en) | 2006-10-20 | 2008-04-24 | Nokia Corporation | Generic indication of adaptation paths for scalable multimedia |
| KR100856411B1 (ko) | 2006-12-01 | 2008-09-04 | 삼성전자주식회사 | 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
| US8228990B2 (en) | 2008-01-16 | 2012-07-24 | Sony Corporation | Template matching scheme using multiple predictors as candidates for intra-prediction |
| CN101933328B (zh) | 2008-01-22 | 2014-11-19 | 杜比实验室特许公司 | 利用动态查询表更新的自适应运动信息成本估计 |
| US8724697B2 (en) | 2008-09-26 | 2014-05-13 | Qualcomm Incorporated | Locating motion vectors for video data units |
| LT3809703T (lt) | 2009-06-18 | 2023-12-11 | Kabushiki Kaisha Toshiba | Vaizdo kodavimas |
| US20110116546A1 (en) | 2009-07-06 | 2011-05-19 | Xun Guo | Single pass adaptive interpolation filter |
| KR20110008653A (ko) | 2009-07-20 | 2011-01-27 | 삼성전자주식회사 | 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법 |
| CN102907098B (zh) | 2009-10-01 | 2016-04-20 | Sk电信有限公司 | 使用可变尺寸宏块对图像进行编码/解码的方法和装置 |
| KR101600818B1 (ko) | 2009-11-06 | 2016-03-09 | 삼성디스플레이 주식회사 | 3차원 광학 모듈 및 이를 포함하는 디스플레이 장치 |
| JP5338684B2 (ja) | 2010-01-08 | 2013-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| WO2011146451A1 (en) | 2010-05-20 | 2011-11-24 | Thomson Licensing | Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding |
| US10104391B2 (en) | 2010-10-01 | 2018-10-16 | Dolby International Ab | System for nested entropy encoding |
| US8711940B2 (en) | 2010-11-29 | 2014-04-29 | Mediatek Inc. | Method and apparatus of motion vector prediction with extended motion vector predictor |
| WO2012074344A2 (ko) | 2010-12-03 | 2012-06-07 | 엘지전자 주식회사 | 움직임 정보 리스트 인덱싱 방법 및 이러한 방법을 사용하는 장치 |
| EP2654301A4 (en) | 2010-12-14 | 2016-02-17 | M&K Holdings Inc | METHOD FOR INTER-PREDICTIVE DECODING OF ENCODED FILMS |
| JP2014501091A (ja) | 2010-12-17 | 2014-01-16 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | インター予測方法及びその装置 |
| KR20120070479A (ko) | 2010-12-21 | 2012-06-29 | 한국전자통신연구원 | 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치 |
| US9049455B2 (en) | 2010-12-28 | 2015-06-02 | Panasonic Intellectual Property Corporation Of America | Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block |
| WO2012095467A1 (en) | 2011-01-12 | 2012-07-19 | Canon Kabushiki Kaisha | Video encoding and decoding with low complexity |
| GB2492778A (en) * | 2011-07-11 | 2013-01-16 | Canon Kk | Motion compensated image coding by combining motion information predictors |
| US9319716B2 (en) | 2011-01-27 | 2016-04-19 | Qualcomm Incorporated | Performing motion vector prediction for video coding |
| US20120195366A1 (en) | 2011-02-01 | 2012-08-02 | Mediatek Singapore Pte. Ltd. | Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes |
| KR20220070072A (ko) | 2011-02-09 | 2022-05-27 | 엘지전자 주식회사 | 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법 |
| EP2490448A1 (de) | 2011-02-18 | 2012-08-22 | Siemens Aktiengesellschaft | Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz |
| US10171813B2 (en) | 2011-02-24 | 2019-01-01 | Qualcomm Incorporated | Hierarchy of motion prediction video blocks |
| US9066110B2 (en) | 2011-03-08 | 2015-06-23 | Texas Instruments Incorporated | Parsing friendly and error resilient merge flag coding in video coding |
| GB2501835B (en) | 2011-03-09 | 2014-09-03 | Canon Kk | Video encoding and decoding |
| US9374598B2 (en) * | 2011-03-21 | 2016-06-21 | Lg Electronics Inc. | Method for selecting motion vector predictor and device using same |
| US9143795B2 (en) * | 2011-04-11 | 2015-09-22 | Texas Instruments Incorporated | Parallel motion estimation in video coding |
| US9247266B2 (en) * | 2011-04-18 | 2016-01-26 | Texas Instruments Incorporated | Temporal motion data candidate derivation in video coding |
| US20120287999A1 (en) | 2011-05-11 | 2012-11-15 | Microsoft Corporation | Syntax element prediction in error correction |
| PT2717573T (pt) | 2011-05-24 | 2018-06-05 | Velos Media Int Ltd | Método de codificação de imagem, aparelho de codificação de imagem, método de descodificação de imagem, aparelho de descodificação de imagem e aparelho de codificação/descodificação de imagem |
| US8989271B2 (en) | 2011-05-31 | 2015-03-24 | Panasonic Intellectual Property Corporation Of America | Decoding method and apparatus with candidate motion vectors |
| EP3879832A1 (en) | 2011-05-31 | 2021-09-15 | JVCKENWOOD Corporation | Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program |
| US9866859B2 (en) | 2011-06-14 | 2018-01-09 | Texas Instruments Incorporated | Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding |
| JP5786478B2 (ja) | 2011-06-15 | 2015-09-30 | 富士通株式会社 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム |
| WO2012172668A1 (ja) | 2011-06-15 | 2012-12-20 | 株式会社 東芝 | 動画像符号化方法及び装置並びに動画復号化方法及び装置 |
| US9762900B2 (en) | 2011-06-17 | 2017-09-12 | Lg Electronics Inc. | Method and apparatus for encoding/decoding video in intra prediction mode |
| US9131239B2 (en) | 2011-06-20 | 2015-09-08 | Qualcomm Incorporated | Unified merge mode and adaptive motion vector prediction mode candidates selection |
| RS56760B1 (sr) | 2011-06-28 | 2018-04-30 | Samsung Electronics Co Ltd | Ureðaj za dekodiranje videa korištenjem intra predikcije |
| EP2728878B1 (en) | 2011-06-30 | 2020-02-19 | Sun Patent Trust | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
| KR20140043242A (ko) | 2011-06-30 | 2014-04-08 | 가부시키가이샤 제이브이씨 켄우드 | 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램 |
| PL3422714T3 (pl) | 2011-06-30 | 2021-05-31 | JVC Kenwood Corporation | Urządzenie do kodowania obrazu, sposób kodowania obrazu, program do kodowania obrazu, urządzenie do dekodowania obrazu, sposób dekodowania obrazu i program do dekodowania obrazu |
| US20130188013A1 (en) | 2011-07-22 | 2013-07-25 | Qualcomm Incorporated | Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode |
| EP3487178A1 (en) | 2011-08-03 | 2019-05-22 | Sun Patent Trust | Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus |
| GB2493755B (en) | 2011-08-17 | 2016-10-19 | Canon Kk | Method and device for encoding a sequence of images and method and device for decoding a sequence of images |
| MX343471B (es) | 2011-08-29 | 2016-11-07 | Ibex Pt Holdings Co Ltd | Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp). |
| US8804816B2 (en) | 2011-08-30 | 2014-08-12 | Microsoft Corporation | Video encoding enhancements |
| ES2487993B1 (es) | 2011-09-09 | 2015-09-29 | Kt Corporation | Procedimiento de obtención de un vector temporal predictor de movimiento, y aparato que utiliza el procedimiento |
| DK2755389T3 (en) | 2011-09-09 | 2019-04-01 | Lg Electronics Inc | Method of inter prediction and arrangement thereof |
| US20130070855A1 (en) | 2011-09-17 | 2013-03-21 | Qualcomm Incorporated | Hybrid motion vector coding modes for video coding |
| JP5884697B2 (ja) | 2011-09-28 | 2016-03-15 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム |
| WO2013047811A1 (ja) | 2011-09-29 | 2013-04-04 | シャープ株式会社 | 画像復号装置、画像復号方法および画像符号化装置 |
| US20140241434A1 (en) | 2011-10-11 | 2014-08-28 | Mediatek Inc | Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc |
| GB2509670B (en) | 2011-10-18 | 2018-12-05 | Kt Corp | Method for encoding image, method for decoding image, image encoder, and image decoder |
| US9838692B2 (en) | 2011-10-18 | 2017-12-05 | Qualcomm Incorporated | Detecting availabilities of neighboring video units for video coding |
| AU2012325419B2 (en) * | 2011-10-19 | 2015-11-05 | Hfi Innovation Inc. | Method and apparatus for derivation of motion vector predictor candidate set |
| WO2013057877A1 (ja) | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置 |
| US9462298B2 (en) | 2011-10-21 | 2016-10-04 | Qualcomm Incorporated | Loop filtering around slice boundaries or tile boundaries in video coding |
| WO2013059504A1 (en) | 2011-10-21 | 2013-04-25 | Dolby Laboratories Licensing Corporation | Hierarchical motion estimation for video compression and motion analysis |
| CA2836244C (en) | 2011-10-28 | 2021-02-16 | Panasonic Corporation | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US9571833B2 (en) | 2011-11-04 | 2017-02-14 | Nokia Technologies Oy | Method for coding and an apparatus |
| KR20130050407A (ko) | 2011-11-07 | 2013-05-16 | 오수미 | 인터 모드에서의 움직임 정보 생성 방법 |
| US20130114717A1 (en) | 2011-11-07 | 2013-05-09 | Qualcomm Incorporated | Generating additional merge candidates |
| KR20130050406A (ko) | 2011-11-07 | 2013-05-16 | 오수미 | 머지 모드에서의 움직임 정보 생성 방법 |
| RU2566957C2 (ru) | 2011-11-08 | 2015-10-27 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для определения вектора движения в кодировании или декодировании видео |
| CN107493474B (zh) | 2011-11-08 | 2021-01-12 | 株式会社Kt | 利用解码装置对视频信号进行解码的方法 |
| EP4009640A1 (en) | 2011-11-08 | 2022-06-08 | Electronics and Telecommunications Research Institute | Method and device for sharing a candidate list |
| EP3657795A1 (en) | 2011-11-11 | 2020-05-27 | GE Video Compression, LLC | Efficient multi-view coding using depth-map estimate and update |
| US9485503B2 (en) | 2011-11-18 | 2016-11-01 | Qualcomm Incorporated | Inside view motion prediction among texture and depth view components |
| WO2013081365A1 (ko) | 2011-11-28 | 2013-06-06 | 에스케이텔레콤 주식회사 | 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치 |
| US9762904B2 (en) | 2011-12-22 | 2017-09-12 | Qualcomm Incorporated | Performing motion vector prediction for video coding |
| US9900615B2 (en) | 2011-12-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Representative motion information for temporal motion prediction in video encoding and decoding |
| RU2623796C9 (ru) | 2011-12-28 | 2017-11-15 | ДжейВиСи КЕНВУД КОРПОРЕЙШН | Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения |
| US20130188715A1 (en) | 2012-01-09 | 2013-07-25 | Qualcomm Incorporated | Device and methods for merge list reordering in video coding |
| RU2594985C2 (ru) | 2012-01-18 | 2016-08-20 | ДжейВиСи КЕНВУД КОРПОРЕЙШН | Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения |
| JP6005762B2 (ja) | 2012-01-19 | 2016-10-12 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 映像符号化／復号化方法及び装置 |
| CA2861951C (en) | 2012-01-20 | 2020-08-11 | Thomas Schierl | Coding concept allowing parallel processing, transport demultiplexer and video bitstream |
| ES2820297T3 (es) | 2012-01-20 | 2021-04-20 | Dolby Laboratories Licensing Corp | Método de correlación de modo de intra predicción |
| CN104205819B (zh) * | 2012-02-01 | 2017-06-30 | 诺基亚技术有限公司 | 用于视频编码的方法和装置 |
| US9544592B2 (en) | 2012-02-10 | 2017-01-10 | Texas Instruments Incorporated | Methods and systems for encoding pictures associated with video data |
| US9445076B2 (en) * | 2012-03-14 | 2016-09-13 | Qualcomm Incorporated | Disparity vector construction method for 3D-HEVC |
| US9503720B2 (en) * | 2012-03-16 | 2016-11-22 | Qualcomm Incorporated | Motion vector coding and bi-prediction in HEVC and its extensions |
| US10200709B2 (en) * | 2012-03-16 | 2019-02-05 | Qualcomm Incorporated | High-level syntax extensions for high efficiency video coding |
| WO2013140807A1 (ja) | 2012-03-23 | 2013-09-26 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム |
| US9264706B2 (en) | 2012-04-11 | 2016-02-16 | Qualcomm Incorporated | Bypass bins for reference index coding in video coding |
| US9325991B2 (en) | 2012-04-11 | 2016-04-26 | Qualcomm Incorporated | Motion vector rounding |
| SI3833023T1 (sl) | 2012-04-12 | 2022-06-30 | Jvckenwood Corporation | Konstruiranje seznama kandidatov za spajanje |
| US9338451B2 (en) | 2012-04-12 | 2016-05-10 | Qualcomm Incorporated | Common spatial candidate blocks for parallel motion estimation |
| US20130272412A1 (en) | 2012-04-12 | 2013-10-17 | Qualcomm Incorporated | Common motion information candidate list construction process |
| US9503702B2 (en) | 2012-04-13 | 2016-11-22 | Qualcomm Incorporated | View synthesis mode for three-dimensional video coding |
| WO2013157251A1 (ja) | 2012-04-16 | 2013-10-24 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム |
| WO2013169031A1 (ko) | 2012-05-10 | 2013-11-14 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
| US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
| US9258562B2 (en) | 2012-06-13 | 2016-02-09 | Qualcomm Incorporated | Derivation of depth map estimate |
| US20130336406A1 (en) | 2012-06-14 | 2013-12-19 | Qualcomm Incorporated | Redundancy removal for merge/skip mode motion information candidate list construction |
| US20130343459A1 (en) | 2012-06-22 | 2013-12-26 | Nokia Corporation | Method and apparatus for video coding |
| TWI574553B (zh) | 2012-07-02 | 2017-03-11 | 三星電子股份有限公司 | 畫面間預測的運動向量預測方法與裝置 |
| US20140071235A1 (en) | 2012-09-13 | 2014-03-13 | Qualcomm Incorporated | Inter-view motion prediction for 3d video |
| EP2898696B1 (en) * | 2012-09-19 | 2022-09-07 | Qualcomm Incorporated | Selection of pictures for disparity vector derivation |
| US9998727B2 (en) | 2012-09-19 | 2018-06-12 | Qualcomm Incorporated | Advanced inter-view residual prediction in multiview or 3-dimensional video coding |
| WO2014049196A1 (en) | 2012-09-27 | 2014-04-03 | Nokia Corporation | Method and techniqal equipment for scalable video coding |
| WO2014054267A1 (ja) | 2012-10-01 | 2014-04-10 | パナソニック株式会社 | 画像符号化装置及び画像符号化方法 |
| CN104704835B (zh) | 2012-10-03 | 2017-11-24 | 联发科技股份有限公司 | 视频编码中运动信息管理的装置与方法 |
| US9699450B2 (en) | 2012-10-04 | 2017-07-04 | Qualcomm Incorporated | Inter-view predicted motion vector for 3D video |
| CN102883163B (zh) | 2012-10-08 | 2014-05-28 | 华为技术有限公司 | 用于运动矢量预测的运动矢量列表建立的方法、装置 |
| US10506253B2 (en) | 2012-10-12 | 2019-12-10 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device using same |
| US9854234B2 (en) | 2012-10-25 | 2017-12-26 | Qualcomm Incorporated | Reference picture status for video coding |
| US9357214B2 (en) | 2012-12-07 | 2016-05-31 | Qualcomm Incorporated | Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video |
| US9544566B2 (en) * | 2012-12-14 | 2017-01-10 | Qualcomm Incorporated | Disparity vector derivation |
| WO2014089727A1 (en) | 2012-12-14 | 2014-06-19 | Qualcomm Incorporated | Inside view motion prediction among texture and depth view components with asymmetric spatial resolution |
| US10021414B2 (en) | 2013-01-04 | 2018-07-10 | Qualcomm Incorporated | Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures |
| US9584792B2 (en) | 2013-01-04 | 2017-02-28 | Qualcomm Incorporated | Indication of current view dependency on reference view in multiview coding file format |
| CN104904214A (zh) | 2013-01-07 | 2015-09-09 | Vid拓展公司 | 用于可扩展视频编码的运动信息信令 |
| EP2944080B1 (en) | 2013-01-11 | 2018-09-12 | HFI Innovation Inc. | Method and apparatus for efficient coding of depth lookup table |
| JP5692262B2 (ja) | 2013-03-06 | 2015-04-01 | 株式会社Ｊｖｃケンウッド | 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法、及び受信プログラム |
| US10057594B2 (en) | 2013-04-02 | 2018-08-21 | Vid Scale, Inc. | Enhanced temporal motion vector prediction for scalable video coding |
| US10158876B2 (en) | 2013-04-10 | 2018-12-18 | Qualcomm Incorporated | Backward view synthesis prediction |
| JP6389833B2 (ja) | 2013-04-10 | 2018-09-12 | 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． | 三次元ビデオ符号化の視点間候補導出の方法と装置 |
| CN104125463A (zh) | 2013-04-26 | 2014-10-29 | 华为技术有限公司 | 一种图像预测编码方法及图像编码器 |
| TW201507443A (zh) | 2013-05-15 | 2015-02-16 | Vid Scale Inc | 基於單迴路解碼之多層視訊編碼 |
| US9667990B2 (en) | 2013-05-31 | 2017-05-30 | Qualcomm Incorporated | Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation |
| WO2015000108A1 (en) | 2013-07-01 | 2015-01-08 | Mediatek Singapore Pte. Ltd. | An improved texture merging candidate in 3dvc |
| WO2015006920A1 (en) | 2013-07-16 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | An adaptive disparity vector derivation method |
| WO2015010226A1 (en) * | 2013-07-24 | 2015-01-29 | Qualcomm Incorporated | Simplified advanced motion prediction for 3d-hevc |
| CN110033494A (zh) | 2013-09-20 | 2019-07-19 | Vid拓展公司 | 视频解码器设备和方法 |
| US9667996B2 (en) | 2013-09-26 | 2017-05-30 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
| GB2519514A (en) | 2013-10-11 | 2015-04-29 | Canon Kk | Method and apparatus for displacement vector component prediction in video coding and decoding |
| ES2781561T3 (es) | 2013-10-18 | 2020-09-03 | Lg Electronics Inc | Método que predice síntesis de vistas en la codificación de vídeo multi-vista y método para constituir una lista de candidatos a la fusión mediante el uso del mismo |
| CN104717510B (zh) | 2013-12-13 | 2018-08-17 | 华为技术有限公司 | 用于图像处理的方法和装置 |
| RU2669005C2 (ru) * | 2014-01-03 | 2018-10-05 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Предсказание вектора блока в кодировании/декодировании видео и изображений |
| US9967592B2 (en) | 2014-01-11 | 2018-05-08 | Qualcomm Incorporated | Block-based advanced residual prediction for 3D video coding |
| US10212441B2 (en) | 2014-02-12 | 2019-02-19 | Chips & Media, Inc. | Method and apparatus for processing video |
| US10368092B2 (en) | 2014-03-04 | 2019-07-30 | Microsoft Technology Licensing, Llc | Encoder-side decisions for block flipping and skip mode in intra block copy prediction |
| WO2015131387A1 (en) | 2014-03-07 | 2015-09-11 | Qualcomm Incorporated | Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi) |
| KR102329126B1 (ko) | 2014-03-14 | 2021-11-19 | 삼성전자주식회사 | 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치 |
| WO2015139187A1 (en) | 2014-03-17 | 2015-09-24 | Mediatek Inc. | Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding |
| WO2015139203A1 (en) | 2014-03-18 | 2015-09-24 | Mediatek Singapore Pte. Ltd. | Dlt signaling in 3d video coding |
| CN108989815B9 (zh) | 2014-03-19 | 2021-06-04 | 株式会社Kt | 针对多视图视频信号生成合并候选列表的方法及解码装置 |
| US10554967B2 (en) | 2014-03-21 | 2020-02-04 | Futurewei Technologies, Inc. | Illumination compensation (IC) refinement based on positional pairings among pixels |
| CN110099281B (zh) | 2014-05-06 | 2021-06-25 | 寰发股份有限公司 | 用于块内复制模式编码的块向量预测方法 |
| US10382749B2 (en) | 2014-05-23 | 2019-08-13 | Qualcomm Incorporated | Coding run values based on palette index in palette-based video coding |
| WO2015180014A1 (en) | 2014-05-26 | 2015-12-03 | Mediatek Singapore Pte. Ltd. | An improved merge candidate list construction method for intra block copy |
| WO2015192286A1 (en) | 2014-06-16 | 2015-12-23 | Qualcomm Incorporated | Simplified shifting merge candidate and merge list derivation in 3d-hevc |
| US10154286B2 (en) | 2014-06-19 | 2018-12-11 | Vid Scale, Inc. | Systems and methods for model parameter optimization in three dimensional based color mapping |
| CN106664414B (zh) * | 2014-06-19 | 2019-07-05 | 寰发股份有限公司 | 视频编码中用于单个样本模式的候选生成的方法及装置 |
| EP3598758B1 (en) | 2014-06-23 | 2021-02-17 | Microsoft Technology Licensing, LLC | Encoder decisions based on results of hash-based block matching |
| CN104079944B (zh) | 2014-06-30 | 2017-12-01 | 华为技术有限公司 | 视频编码的运动矢量列表构建方法和系统 |
| WO2016008157A1 (en) | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
| WO2016008161A1 (en) | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Temporal derived bi-directional motion vector predictor |
| KR102276854B1 (ko) | 2014-07-31 | 2021-07-13 | 삼성전자주식회사 | 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
| EP3180917B1 (en) | 2014-09-01 | 2022-04-20 | HFI Innovation Inc. | Method of intra picture block copy for screen content and video coding |
| US10743034B2 (en) | 2014-09-15 | 2020-08-11 | Hfi Innovation Inc. | Method of deblocking for intra block copy in video coding |
| US9743110B2 (en) | 2014-10-09 | 2017-08-22 | Hfi Innovation Inc. | Method of 3D or multi-view video coding including view synthesis prediction |
| CN112188207B (zh) | 2014-10-31 | 2023-10-20 | 三星电子株式会社 | 使用高精度跳过编码的视频编码设备和视频解码设备及其方法 |
| KR20240038134A (ko) | 2014-10-31 | 2024-03-22 | 삼성전자주식회사 | 움직임 벡터 부복호화 방법 및 장치 |
| US10182240B2 (en) | 2014-11-18 | 2019-01-15 | Mediatek Inc. | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
| SG11201703551VA (en) | 2014-12-09 | 2017-05-30 | Mediatek Inc | Method of motion vector predictor or merge candidate derivation in video coding |
| WO2016090568A1 (en) | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Binary tree block partitioning structure |
| US11477477B2 (en) | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
| US10230980B2 (en) | 2015-01-26 | 2019-03-12 | Qualcomm Incorporated | Overlapped motion compensation for video coding |
| US10070130B2 (en) | 2015-01-30 | 2018-09-04 | Qualcomm Incorporated | Flexible partitioning of prediction units |
| CN106416254B (zh) | 2015-02-06 | 2019-08-02 | 微软技术许可有限责任公司 | 在媒体编码期间跳过评估阶段 |
| US10057574B2 (en) | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
| US10958927B2 (en) | 2015-03-27 | 2021-03-23 | Qualcomm Incorporated | Motion information derivation mode determination in video coding |
| CN111818344B (zh) | 2015-04-08 | 2022-05-24 | 寰发股份有限公司 | 视频编解码中调色板模式上下文编解码和二值化的方法 |
| CN104915966B (zh) | 2015-05-08 | 2018-02-09 | 上海交通大学 | 基于卡尔曼滤波的帧率上变换运动估计方法及系统 |
| US10200713B2 (en) | 2015-05-11 | 2019-02-05 | Qualcomm Incorporated | Search region determination for inter coding within a particular picture of video data |
| US10148961B2 (en) | 2015-05-29 | 2018-12-04 | Qualcomm Incorporated | Arithmetic coder with multiple window sizes |
| US10356416B2 (en) | 2015-06-09 | 2019-07-16 | Qualcomm Incorporated | Systems and methods of determining illumination compensation status for video coding |
| US10887597B2 (en) | 2015-06-09 | 2021-01-05 | Qualcomm Incorporated | Systems and methods of determining illumination compensation parameters for video coding |
| US10271064B2 (en) | 2015-06-11 | 2019-04-23 | Qualcomm Incorporated | Sub-prediction unit motion vector prediction using spatial and/or temporal motion information |
| US9918102B1 (en) * | 2015-06-22 | 2018-03-13 | Ambarella, Inc. | Inter-prediction candidate selection in a mode decision |
| WO2017043734A1 (ko) | 2015-09-07 | 2017-03-16 | 엘지전자(주) | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| WO2017045101A1 (en) | 2015-09-14 | 2017-03-23 | Mediatek Singapore Pte. Ltd. | Advanced deblocking filter in video coding |
| US20170094288A1 (en) | 2015-09-25 | 2017-03-30 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
| US10462439B2 (en) | 2015-10-02 | 2019-10-29 | Vid Scale, Inc. | Color correction with a lookup table |
| US10812822B2 (en) | 2015-10-02 | 2020-10-20 | Qualcomm Incorporated | Intra block copy merge mode and padding of unavailable IBC reference region |
| EP3357245A4 (en) * | 2015-11-05 | 2019-03-13 | MediaTek Inc. | METHOD AND DEVICE OF INTERPRESSATION USING AN AVERAGE MOTION VECTOR FOR VIDEO CODING |
| EP4192009A1 (en) | 2015-11-19 | 2023-06-07 | LX Semicon Co., Ltd. | Method and apparatus for encoding/decoding intra prediction mode |
| US10999595B2 (en) * | 2015-11-20 | 2021-05-04 | Mediatek Inc. | Method and apparatus of motion vector prediction or merge candidate derivation for video coding |
| CN105681807B (zh) | 2016-01-06 | 2018-11-02 | 福州瑞芯微电子股份有限公司 | 一种基于h264协议的分像素运动矢量计算方法和装置 |
| US10368083B2 (en) | 2016-02-15 | 2019-07-30 | Qualcomm Incorporated | Picture order count based motion vector pruning |
| EP3417617A4 (en) | 2016-02-17 | 2019-02-27 | Telefonaktiebolaget LM Ericsson (publ) | METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES |
| WO2017176030A1 (ko) | 2016-04-06 | 2017-10-12 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| CN109314785B (zh) | 2016-04-08 | 2023-06-30 | 韩国电子通信研究院 | 用于导出运动预测信息的方法和装置 |
| US11368682B2 (en) | 2016-04-26 | 2022-06-21 | Intellectual Discovery Co., Ltd. | Method and device for encoding/decoding image |
| US10142652B2 (en) | 2016-05-05 | 2018-11-27 | Google Llc | Entropy coding motion vector residuals obtained using reference motion vectors |
| US10694204B2 (en) | 2016-05-06 | 2020-06-23 | Vid Scale, Inc. | Systems and methods for motion compensated residual prediction |
| US10547854B2 (en) | 2016-05-13 | 2020-01-28 | Qualcomm Incorporated | Neighbor based signaling of intra prediction modes |
| US10560712B2 (en) | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
| US10419755B2 (en) | 2016-05-16 | 2019-09-17 | Qualcomm Incorporated | Confusion of multiple filters in adaptive loop filtering in video coding |
| CN109196864B (zh) | 2016-05-24 | 2023-07-11 | 韩国电子通信研究院 | 图像编码/解码方法和用于所述方法的记录介质 |
| WO2018012886A1 (ko) | 2016-07-12 | 2018-01-18 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 이를 위한 기록 매체 |
| KR102275420B1 (ko) | 2016-07-12 | 2021-07-09 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 이를 위한 기록 매체 |
| US11638027B2 (en) | 2016-08-08 | 2023-04-25 | Hfi Innovation, Inc. | Pattern-based motion vector derivation for video coding |
| CN109644271B (zh) | 2016-09-06 | 2021-04-13 | 联发科技股份有限公司 | 用于二叉树分割块的确定候选集的方法及装置 |
| US10721489B2 (en) | 2016-09-06 | 2020-07-21 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
| US10812791B2 (en) | 2016-09-16 | 2020-10-20 | Qualcomm Incorporated | Offset vector identification of temporal motion vector predictor |
| JP7048503B2 (ja) | 2016-09-27 | 2022-04-05 | シャープ株式会社 | 復号装置、符号化装置、復号方法、および、符号化方法 |
| EP3509297B1 (en) | 2016-09-30 | 2021-06-23 | Huawei Technologies Co., Ltd. | Video encoding method, decoding method and terminal |
| EP3509304B1 (en) | 2016-09-30 | 2023-11-01 | Huawei Technologies Co., Ltd. | Method for image decoding and device for image coding and decoding for inter-frame prediction |
| US10631002B2 (en) | 2016-09-30 | 2020-04-21 | Qualcomm Incorporated | Frame rate up-conversion coding mode |
| EP3301919A1 (en) | 2016-10-03 | 2018-04-04 | Thomson Licensing | Method and apparatus for encoding and decoding motion information |
| US10448010B2 (en) * | 2016-10-05 | 2019-10-15 | Qualcomm Incorporated | Motion vector prediction for affine motion models in video coding |
| JP2019216294A (ja) | 2016-10-14 | 2019-12-19 | シャープ株式会社 | エントロピー復号装置、エントロピー符号化装置、画像復号装置および画像符号化装置 |
| EP3547687A4 (en) | 2016-11-28 | 2020-07-15 | Electronics and Telecommunications Research Institute | IMAGE ENCODING / DECODING METHOD AND DEVICE AND RECORDING MEDIUM WITH STORED BIT CURRENT |
| CN110121883B (zh) | 2016-12-05 | 2023-07-04 | Lg电子株式会社 | 在图像编码系统中对图像进行解码的方法和装置 |
| KR20180073499A (ko) | 2016-12-22 | 2018-07-02 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| KR20180074000A (ko) | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더 |
| CN106851046A (zh) | 2016-12-28 | 2017-06-13 | 中国科学院自动化研究所 | 视频动态超分辨率处理方法及系统 |
| US10681370B2 (en) | 2016-12-29 | 2020-06-09 | Qualcomm Incorporated | Motion vector generation for affine motion model for video coding |
| US20180192071A1 (en) * | 2017-01-05 | 2018-07-05 | Mediatek Inc. | Decoder-side motion vector restoration for video coding |
| US10701366B2 (en) | 2017-02-21 | 2020-06-30 | Qualcomm Incorporated | Deriving motion vector information at a video decoder |
| US20180242024A1 (en) | 2017-02-21 | 2018-08-23 | Mediatek Inc. | Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks |
| US10595035B2 (en) * | 2017-03-22 | 2020-03-17 | Qualcomm Incorporated | Constraining motion vector information derived by decoder-side motion vector derivation |
| US10491917B2 (en) | 2017-03-22 | 2019-11-26 | Qualcomm Incorporated | Decoder-side motion vector derivation |
| US10805650B2 (en) | 2017-03-27 | 2020-10-13 | Qualcomm Incorporated | Signaling important video information in network video streaming using mime type parameters |
| WO2018199675A1 (ko) | 2017-04-28 | 2018-11-01 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| US10742975B2 (en) | 2017-05-09 | 2020-08-11 | Futurewei Technologies, Inc. | Intra-prediction with multiple reference lines |
| US20180332312A1 (en) | 2017-05-09 | 2018-11-15 | Futurewei Technologies, Inc. | Devices And Methods For Video Processing |
| US10523934B2 (en) | 2017-05-31 | 2019-12-31 | Mediatek Inc. | Split based motion vector operation reduction |
| EP3410717A1 (en) | 2017-05-31 | 2018-12-05 | Thomson Licensing | Methods and apparatus for candidate list pruning |
| JP2020522960A (ja) | 2017-06-09 | 2020-07-30 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 画像符号化／復号化方法、装置、及びビットストリームを保存した記録媒体 |
| US10602180B2 (en) | 2017-06-13 | 2020-03-24 | Qualcomm Incorporated | Motion vector prediction |
| CN109089119B (zh) | 2017-06-13 | 2021-08-13 | 浙江大学 | 一种运动矢量预测的方法及设备 |
| US20180376148A1 (en) | 2017-06-23 | 2018-12-27 | Qualcomm Incorporated | Combination of inter-prediction and intra-prediction in video coding |
| US10911769B2 (en) | 2017-06-23 | 2021-02-02 | Qualcomm Incorporated | Motion-based priority for the construction of candidate lists in video coding |
| US10687077B2 (en) | 2017-06-26 | 2020-06-16 | Qualcomm Incorporated | Motion information propagation in video coding |
| EP3422716A1 (en) | 2017-06-26 | 2019-01-02 | Thomson Licensing | Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding |
| CN107295348A (zh) | 2017-07-31 | 2017-10-24 | 南通海鑫信息科技有限公司 | 一种图像编码方法 |
| US10284869B2 (en) | 2017-09-28 | 2019-05-07 | Google Llc | Constrained motion field estimation for hardware efficiency |
| CN111345041B (zh) | 2017-09-28 | 2024-01-26 | Vid拓展公司 | 解码、编码视频数据的方法和设备 |
| KR102427789B1 (ko) | 2017-10-10 | 2022-08-02 | 한국전자통신연구원 | 인터 예측 정보를 사용하는 방법 및 장치 |
| KR20190046704A (ko) | 2017-10-26 | 2019-05-07 | 한국전자통신연구원 | 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치 |
| US11057640B2 (en) | 2017-11-30 | 2021-07-06 | Lg Electronics Inc. | Image decoding method and apparatus based on inter-prediction in image coding system |
| CN109963155B (zh) | 2017-12-23 | 2023-06-06 | 华为技术有限公司 | 图像块的运动信息的预测方法、装置及编解码器 |
| US11172229B2 (en) | 2018-01-12 | 2021-11-09 | Qualcomm Incorporated | Affine motion compensation with low bandwidth |
| US11265551B2 (en) | 2018-01-18 | 2022-03-01 | Qualcomm Incorporated | Decoder-side motion vector derivation |
| US10652571B2 (en) | 2018-01-25 | 2020-05-12 | Qualcomm Incorporated | Advanced motion vector prediction speedups for video coding |
| US11303929B2 (en) | 2018-04-02 | 2022-04-12 | Lg Electronics Inc. | Image coding method using lookup table for intra prediction mode and apparatus therefor |
| US10986343B2 (en) | 2018-04-15 | 2021-04-20 | Arris Enterprises Llc | Reducing overhead for multiple-hypothesis temporal prediction |
| TWI720492B (zh) | 2018-05-23 | 2021-03-01 | 聯發科技股份有限公司 | 使用雙向cu加權的視訊編解碼的方法和裝置 |
| GB2589222B (en) | 2018-06-07 | 2023-01-25 | Beijing Bytedance Network Tech Co Ltd | Sub-block DMVR |
| EP3791589A1 (en) | 2018-06-29 | 2021-03-17 | Beijing Bytedance Network Technology Co. Ltd. | Which lut to be updated or no updating |
| CN110662059B (zh) | 2018-06-29 | 2021-04-20 | 北京字节跳动网络技术有限公司 | 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置 |
| KR102648120B1 (ko) | 2018-06-29 | 2024-03-18 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋 |
| CN110662053B (zh) | 2018-06-29 | 2022-03-25 | 北京字节跳动网络技术有限公司 | 使用查找表的视频处理方法、装置和存储介质 |
| KR20240005240A (ko) | 2018-06-29 | 2024-01-11 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut에서의 모션 후보들의 검사 순서 |
| TWI744662B (zh) | 2018-06-29 | 2021-11-01 | 大陸商北京字節跳動網絡技術有限公司 | 更新查閱資料表（lut）的條件 |
| CA3105330C (en) * | 2018-06-29 | 2023-12-05 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and amvp |
| TWI750486B (zh) | 2018-06-29 | 2021-12-21 | 大陸商北京字節跳動網絡技術有限公司 | 運動資訊共用的限制 |
| TWI723445B (zh) | 2018-06-29 | 2021-04-01 | 大陸商北京字節跳動網絡技術有限公司 | 查找表的更新：fifo、約束的fifo |
| CA3101730A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Partial/full pruning when adding a hmvp candidate to merge/amvp |
| CN110677666B (zh) | 2018-07-02 | 2022-06-14 | 北京字节跳动网络技术有限公司 | Lamvr中取整和修剪的顺序 |
| WO2020007362A1 (en) | 2018-07-06 | 2020-01-09 | Mediatek Inc. | Inherited motion information for decoding a current coding unit in a video coding system |
| US10491902B1 (en) | 2018-07-16 | 2019-11-26 | Tencent America LLC | Method and apparatus for history-based motion vector prediction |
| US10440378B1 (en) | 2018-07-17 | 2019-10-08 | Tencent America LLC | Method and apparatus for history-based motion vector prediction with parallel processing |
| US11381833B2 (en) | 2018-07-19 | 2022-07-05 | Tencent America LLC | Method and apparatus for video coding |
| US10958934B2 (en) | 2018-07-27 | 2021-03-23 | Tencent America LLC | History-based affine merge and motion vector prediction |
| US10362330B1 (en) | 2018-07-30 | 2019-07-23 | Tencent America LLC | Combining history-based motion vector prediction and non-adjacent merge prediction |
| TWI752341B (zh) | 2018-08-04 | 2022-01-11 | 大陸商北京字節跳動網絡技術有限公司 | 不同解碼器側運動矢量推導模式之間的交互 |
| EP3821626A4 (en) | 2018-08-09 | 2021-08-04 | Huawei Technologies Co., Ltd. | HISTORY-BASED INTRA MODE CODING PROCESS AND APPARATUS |
| BR112021002604A2 (pt) | 2018-08-13 | 2021-05-04 | Lg Electronics Inc. | método de predição inter baseado no vetor de movimento baseado em histórico e dispositivo do mesmo |
| KR102585855B1 (ko) | 2018-08-28 | 2023-10-11 | 에프쥐 이노베이션 컴퍼니 리미티드 | 비디오 데이터를 코딩하기 위한 디바이스 및 방법 |
| WO2020050678A1 (ko) | 2018-09-06 | 2020-03-12 | 엘지전자 주식회사 | Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 그 장치 |
| GB2590310B (en) | 2018-09-12 | 2023-03-22 | Beijing Bytedance Network Tech Co Ltd | Conditions for starting checking HMVP candidates depend on total number minus K |
| US11212550B2 (en) | 2018-09-21 | 2021-12-28 | Qualcomm Incorporated | History-based motion vector prediction for affine mode |
| US20200112715A1 (en) | 2018-10-05 | 2020-04-09 | Qualcomm Incorporated | History-based motion vector prediction for inter prediction coding |
| US11051034B2 (en) | 2018-10-08 | 2021-06-29 | Qualcomm Incorporated | History-based motion vector predictor |
| US11284066B2 (en) | 2018-10-10 | 2022-03-22 | Tencent America LLC | Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode |
| CN114584788B (zh) | 2018-10-10 | 2022-09-23 | 华为技术有限公司 | 帧间预测方法及装置 |
| WO2020084464A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Decoder side motion vector derivation based on reference pictures |
| CN112956197A (zh) | 2018-10-22 | 2021-06-11 | 北京字节跳动网络技术有限公司 | 基于编解码信息的解码器侧运动矢量推导的限制 |
| WO2020084553A1 (en) | 2018-10-24 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Motion candidate derivation based on multiple information in sub-block motion vector prediction |
| CN111147855A (zh) | 2018-11-02 | 2020-05-12 | 北京字节跳动网络技术有限公司 | 几何分割预测模式与其他工具之间的协调 |
| KR20210084479A (ko) | 2018-11-06 | 2021-07-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 모션 정보의 위치 의존적 저장 |
| WO2020094051A1 (en) | 2018-11-06 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of side information for inter prediction with geometric partitioning |
| CN113170112A (zh) | 2018-11-22 | 2021-07-23 | 北京字节跳动网络技术有限公司 | 用于具有几何分割的帧间预测的构建方法 |
| BR112021009666A2 (pt) | 2018-11-22 | 2021-08-17 | Beijing Bytedance Network Technology Co., Ltd. | método para processar vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador |
| US11184633B2 (en) | 2018-11-27 | 2021-11-23 | Qualcomm Incorporated | Simplification of history-based motion vector prediction |
| US11146810B2 (en) | 2018-11-27 | 2021-10-12 | Qualcomm Incorporated | Decoder-side motion vector refinement |
| JP7073501B2 (ja) | 2018-12-12 | 2022-05-23 | エルジー エレクトロニクス インコーポレイティド | 履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置 |
| KR102601014B1 (ko) | 2018-12-28 | 2023-11-09 | 고도 가이샤 아이피 브릿지 1 | 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램 |
| EP3731522A4 (en) | 2019-01-01 | 2021-04-14 | LG Electronics Inc. | METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL BASED ON HISTORY-BASED MOTION VECTOR PREDICTION |
| US11234007B2 (en) | 2019-01-05 | 2022-01-25 | Tencent America LLC | Method and apparatus for video coding |
| KR20240010576A (ko) | 2019-01-10 | 2024-01-23 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut 업데이트의 호출 |
| WO2020143824A1 (en) | 2019-01-13 | 2020-07-16 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and shared merge list |
| CN113330739A (zh) | 2019-01-16 | 2021-08-31 | 北京字节跳动网络技术有限公司 | Lut中的运动候选的插入顺序 |
| WO2020192611A1 (en) | 2019-03-22 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between merge list construction and other tools |
-
2019
- 2019-07-01 CA CA3105330A patent/CA3105330C/en active Active
- 2019-07-01 BR BR112020024162-8A patent/BR112020024162A2/pt unknown
- 2019-07-01 EP EP19739718.5A patent/EP3797516A1/en active Pending
- 2019-07-01 TW TW108123186A patent/TWI719525B/zh active
- 2019-07-01 KR KR1020237045251A patent/KR20240005239A/ko active Application Filing
- 2019-07-01 EP EP23220549.2A patent/EP4325861A3/en active Pending
- 2019-07-01 CN CN201910591979.7A patent/CN110662043B/zh active Active
- 2019-07-01 CN CN202111404972.3A patent/CN114125450B/zh active Active
- 2019-07-01 KR KR1020207038026A patent/KR102641872B1/ko active IP Right Grant
- 2019-07-01 MX MX2020013828A patent/MX2020013828A/es unknown
- 2019-07-01 JP JP2021523115A patent/JP7295231B2/ja active Active
- 2019-07-01 WO PCT/IB2019/055595 patent/WO2020003284A1/en unknown
- 2019-07-01 SG SG11202013028PA patent/SG11202013028PA/en unknown
-
2020
- 2020-08-07 US US16/987,711 patent/US10873756B2/en active Active
- 2020-09-14 US US17/019,675 patent/US11528501B2/en active Active
-
2022
- 2022-10-27 US US17/975,323 patent/US20230064498A1/en active Pending
-
2023
- 2023-02-06 JP JP2023016139A patent/JP2023052926A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110194609A1 (en) * | 2010-02-05 | 2011-08-11 | Thomas Rusert | Selecting Predicted Motion Vector Candidates |
| US20170332099A1 (en) * | 2016-05-13 | 2017-11-16 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7295231B2 (ja) | 2023-06-20 |
| CN110662043A (zh) | 2020-01-07 |
| US20230064498A1 (en) | 2023-03-02 |
| CN114125450B (zh) | 2023-11-17 |
| US20200366923A1 (en) | 2020-11-19 |
| BR112020024162A2 (pt) | 2021-03-02 |
| CN110662043B (zh) | 2021-12-21 |
| US10873756B2 (en) | 2020-12-22 |
| US11528501B2 (en) | 2022-12-13 |
| JP2021530940A (ja) | 2021-11-11 |
| WO2020003284A1 (en) | 2020-01-02 |
| KR20210024504A (ko) | 2021-03-05 |
| CA3105330A1 (en) | 2020-01-02 |
| US20210014525A1 (en) | 2021-01-14 |
| MX2020013828A (es) | 2021-03-25 |
| CA3105330C (en) | 2023-12-05 |
| EP3797516A1 (en) | 2021-03-31 |
| JP2023052926A (ja) | 2023-04-12 |
| EP4325861A2 (en) | 2024-02-21 |
| SG11202013028PA (en) | 2021-01-28 |
| KR20240005239A (ko) | 2024-01-11 |
| TWI719525B (zh) | 2021-02-21 |
| CN114125450A (zh) | 2022-03-01 |
| EP4325861A3 (en) | 2024-03-06 |
| TW202015422A (zh) | 2020-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102641872B1 (ko) | Lut와 amvp 사이의 상호작용 | |
| KR102648120B1 (ko) | 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋 | |
| KR102646649B1 (ko) | Lut에서의 모션 후보들의 검사 순서 | |
| KR102627814B1 (ko) | 룩업 테이블의 업데이트: fifo, 제약된 fifo | |
| KR102611261B1 (ko) | 업데이트 대상 lut 또는 비업데이트 lut의 구별 | |
| TWI752331B (zh) | 當向Merge/AMVP添加HMVP候選時的部分/完全修剪 | |
| KR102648159B1 (ko) | Lut 업데이트의 호출 | |
| WO2020003271A1 (en) | Interaction between lut and merge: insert hmvp as a merge candidate, position of hmvp | |
| RU2807504C2 (ru) | Взаимодействие между таблицей поиска (lut) и усовершенствованным предсказанием вектора движения (amvp) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |