KR20210016581A - Ibc 및 atmvp 간의 상호 작용 - Google Patents
Ibc 및 atmvp 간의 상호 작용 Download PDFInfo
- Publication number
- KR20210016581A KR20210016581A KR1020207037940A KR20207037940A KR20210016581A KR 20210016581 A KR20210016581 A KR 20210016581A KR 1020207037940 A KR1020207037940 A KR 1020207037940A KR 20207037940 A KR20207037940 A KR 20207037940A KR 20210016581 A KR20210016581 A KR 20210016581A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- sub
- decoding
- encoded
- picture
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 237
- 239000013598 vector Substances 0.000 claims description 98
- 238000005516 engineering process Methods 0.000 claims description 54
- 230000000007 visual effect Effects 0.000 claims description 54
- 230000002123 temporal effect Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 18
- 230000011664 signaling Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 23
- 230000007774 longterm Effects 0.000 description 29
- 230000015654 memory Effects 0.000 description 20
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 239000000872 buffer Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000010751 BS 2869 Class A2 Substances 0.000 description 2
- 239000010754 BS 2869 Class F Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000012536 storage buffer Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/583—Motion compensation with overlapping blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 코딩에서 인트라 블록 카피(IBC)를 적용하는 장치, 시스템 및 방법이 기재된다. 일반적으로, IBC를 비디오 인코딩 및 디코딩을 위한 기존의 움직임 보상 알고리즘과 통합하는 방법이 기재된다. 대표적인 형태에 있어서, IBC를 이용하는 비디오 인코딩 방법은 현재 픽쳐의 현재 블록이 움직임 보상 알고리즘을 이용하여 인코딩되는지를 결정하는 단계 및 상기 결정에 기초하여 인트라 블록 카피를 현재 블록에 선택적으로 적용함으로써 현재 블록을 인코딩하는 단계를 포함한다. 대표적인 형태에 있어서, IBC를 이용한 다른 비디오 인코딩 방법은 현재 픽쳐의 현재 블록이 인트라 블록 카피를 이용하여 인코딩되는지를 결정하는 단계 및 상기 결정에 기초하여 움직임 보상 알고리즘을 현재 블록에 선택적으로 적용함으로써 현재 블록을 인코딩하는 단계를 포함한다.
Description
본 특허 문서는 일반적으로 비디오 코딩 기술에 관한 것이다.
움직임 보상은 비디오 내의 카메라 및/또는 오브젝트의 움직임을 처리함으로써 이전 및/또는 미래 프레임을 고려하여 비디오 내의 프레임을 예측하는 비디오 처리 기술이다. 움직임 보상은 비디오 압축을 위한 비디오 데이터의 인코딩 및 디코딩에 사용될 수 있다.
움직임 보상을 위한 인트라 블록 카피(intra-block copy)에 관련된 장치, 시스템 및 방법이 기술된다.
하나의 대표적인 형태에 있어서, 개시된 기술은 인트라 블록 카피를 이용하는 비디오 인코딩 방법을 제공하는데 사용될 수 있다. 이 방법은 현재 픽쳐의 현재 블록이 움직임 보상 알고리즘을 이용하여 인코딩되는지를 결정하는 단계 및 상기 결정에 기초하여 인트라 블록 카피를 현재 블록에 선택적으로 적용함으로써 현재 블록을 인코딩하는 단계를 포함한다.
다른 하나의 대표적인 형태에 있어서, 개시된 기술은 인트라 블록 카피를 이용하는 다른 비디오 인코딩 방법을 제공하는데 사용될 수 있다. 이 방법은 현재 픽쳐의 현재 블록이 인트라 블록 카피를 이용하여 인코딩되는지를 결정하는 단계 및 상기 결정에 기초하여 움직임 보상 알고리즘을 현재 블록에 선택적으로 적용함으로써 현재 블록을 인코딩하는 단계를 포함한다.
다른 하나의 대표적인 형태에 있어서, 개시된 기술은 인트라 블록 카피를 이용한 비디오 디코딩 방법을 제공하는데 사용될 수 있다. 이 방법은 현재 픽쳐의 현재 블록이 움직임 보상 알고리즘을 이용하여 디코딩되는지를 결정하는 단계 및 상기 결정에 기초하여 인트라 블록 카피를 현재 블록에 선택적으로 적용함으로써 현재 블록을 디코딩하는 단계를 포함한다.
다른 하나의 대표적인 형태에 있어서, 개시된 기술은 인트라 블록 카피를 이용하는 다른 비디오 디코딩 방법을 제공하는데 사용될 수 있다. 이 방법은 현재 픽쳐의 현재 블록이 인트라 블록 카피를 이용하여 디코딩되는지를 결정하는 단계 및 상기 결정에 기초하여 움직임 보상 알고리즘을 현재 블록에 선택적으로 적용함으로써 현재 블록을 디코딩하는 단계를 포함한다.
다른 하나의 대표적인 형태에 있어서, 시각 정보를 디코딩하는 방법이 개시된다. 방법은 코딩된 표현(coded representation)으로부터 상기 시각 정보의 일부를 나타내는 디코딩될 블록이 ATMVP(alternative temporal motion vector prediction) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계; 디코딩될 블록의 공간적으로 인접한 블록이 인트라 블록 카피(intra-block copy; IBC) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계; 상기 공간적으로 인접한 블록이 상기 디코딩될 블록에 대한 시간적 벡터를 유도하는 움직임 벡터를 제공할 수 없다고 결정하는 단계; 및 상기 디코딩될 블록에 대한 시간적 벡터를 유도하는 상기 움직임 벡터를 제공하도록 상기 공간적으로 이웃하는 블록의 사용을 배제하고, 상기 ATMVP 코딩 기술에 대응하는 ATMVP 디코딩 기술을 이용함으로써, 상기 코딩된 표현을 디코딩하는 단계를 포함한다.
다른 하나의 대표적인 형태에 있어서, 시각 정보를 디코딩하는 다른 방법이 개시된다. 방법은 코딩된 표현(coded representation)으로부터 상기 시각 정보의 일부를 나타내는 디코딩될 블록이 ATMVP(alternative temporal motion vector prediction) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계; 참조 픽쳐 내의 동일 위치의 블록(collocated block)이 인트라 블록 카피(intra-block copy; IBC) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계; 상기 참조 픽쳐 내의 동일 위치의 블록이 상기 디코딩될 블록의 서브 블록에 대한 움직임 벡터를 유도하는데 사용될 수 없다고 결정하는 단계; 및 상기 디코딩될 블록의 서브 블록에 대한 시간적 움직임 벡터 후보를 제공하도록 상기 참조 픽쳐 내의 동일 위치의 블록의 사용을 배제하고, 상기 ATMVP 코딩 기술에 대응하는 ATMVP 디코딩 기술을 이용함으로써, 상기 코딩된 표현을 디코딩하는 단계를 포함한다.
다른 하나의 대표적인 형태에 있어서, 다른 시각 정보 처리 방법이 개시된다. 이에 따른 시각 정보 처리 방법은 상기 시각 정보를 복수의 인코딩 픽쳐 및 그에 적용되는 하나 이상의 인코딩 기술을 시그널링하는 복수의 지시자로 인코딩하는 단계를 포함하고, 상기 복수의 지시자는 인트라 블록 카피(IBC) 기술(technique) 지시자 및 ATMVP 기술 지시자를 포함한다. 여기서, 상기 시각 정보와 연관된 제1 픽쳐의 제1 블록이 IBC 기술을 이용하여 인코딩되고, 상기 시각 정보와 연관된 제2 픽쳐의 제2 블록이 ATMVP 기술을 이용하여 인코딩된다. 여기서, 상기 IBC 기술은 상기 제1 픽쳐의 제1 블록을 인코딩하기 위하여 상기 제1 픽쳐의 상이한 블록을 이용하고, 상기 ATMVP 기술은 상기 제2 픽쳐를 인코딩하기 위하여 상기 시각 정보와 연관된 제3 픽쳐를 이용한다.
다른 대표적인 형태에 있어서, 상기 방법은 프로세서 실행가능 코드의 형태로 구현되어 컴퓨터 판독가능 프로그램 매체에 저장된다.
다른 대표적인 형태에 있어서, 상기 방법을 수행하도록 구성되거나 동작가능한 장치가 개시된다. 장치는 이 방법을 구현하도록 프로그래밍된 프로세서를 포함할 수 있다.
다른 대표적인 형태에 있어서, 비디오 디코더 장치는 여기 기재된 방법을 구현할 수 있다.
다른 대표적인 형태에 있어서, 개시된 기술의 상술한 형태 및 특징 및 다른 형태 및 특징은 도면, 설명 및 청구범위에서 더 상세히 기술된다.
본 발명에 따르면, 움직임 보상을 위한 인트라 블록 카피(intra-block copy)에 관련된 장치, 시스템 및 방법을 제공할 수 있다.
도 1은 인트라 블록 카피(intra-block copy) 기술의 예를 나타내는 도면이다.
도 2는 코딩 유닛(CU)에 대한 ATMVP(alternative temporal motion vector prediction) 알고리즘을 이용한 움직임 예측의 예를 나타내는 도면이다.
도 3은 개시된 기술에 따른 인트라 블록 카피를 이용하는 비디오 인코딩 방법의 일 예를 나타내는 플로우챠트이다.
도 4는 개시된 기술에 따른 인트라 블록 카피를 이용한 비디오 인코딩 방법의 다른 예를 나타내는 플로우챠트이다.
도 5은 개시된 기술에 따른 인트라 블록 카피를 이용하는 비디오 디코딩 방법의 일 예를 나타내는 플로우챠트이다.
도 6는 개시된 기술에 따른 인트라 블록 카피를 이용한 비디오 디코딩 방법의 다른 예를 나타내는 플로우챠트이다.
도 7은 현재 개시된 기술의 다양한 부분을 구현하는데 사용될 수 있는 컴퓨터 시스템 또는 다른 제어 장치에 대한 아키텍쳐의 예를 나타내는 블록도이다.
도 8은 현재 개시된 기술의 다양한 부분을 구현하는데 사용될 수 있는 모바일 장치의 실시예를 나타내는 블록도이다.
도 9는 시각 정보 처리 방법의 일 예를 나타내는 플로우챠트이다.
도 10은 시각 정보 처리 방법의 일 예를 나타내는 플로우챠트이다.
도 2는 코딩 유닛(CU)에 대한 ATMVP(alternative temporal motion vector prediction) 알고리즘을 이용한 움직임 예측의 예를 나타내는 도면이다.
도 3은 개시된 기술에 따른 인트라 블록 카피를 이용하는 비디오 인코딩 방법의 일 예를 나타내는 플로우챠트이다.
도 4는 개시된 기술에 따른 인트라 블록 카피를 이용한 비디오 인코딩 방법의 다른 예를 나타내는 플로우챠트이다.
도 5은 개시된 기술에 따른 인트라 블록 카피를 이용하는 비디오 디코딩 방법의 일 예를 나타내는 플로우챠트이다.
도 6는 개시된 기술에 따른 인트라 블록 카피를 이용한 비디오 디코딩 방법의 다른 예를 나타내는 플로우챠트이다.
도 7은 현재 개시된 기술의 다양한 부분을 구현하는데 사용될 수 있는 컴퓨터 시스템 또는 다른 제어 장치에 대한 아키텍쳐의 예를 나타내는 블록도이다.
도 8은 현재 개시된 기술의 다양한 부분을 구현하는데 사용될 수 있는 모바일 장치의 실시예를 나타내는 블록도이다.
도 9는 시각 정보 처리 방법의 일 예를 나타내는 플로우챠트이다.
도 10은 시각 정보 처리 방법의 일 예를 나타내는 플로우챠트이다.
파리 협약에 따른 적용가능한 특허법 및/또는 규칙에 따라, 본 출원은 2018년 6월 5일에 제출된 국제 특허 출원 번호 PCT/CN2018/089920에 대한 우선권과 혜택을 적시에 청구하기 위하여 만들어졌다. 미국 법 하의 모든 목적을 위해, 국제 특허 출원 번호 PCT/CN2018/089920의 전체 개시물은 본 출원의 개시의 일부로서 참고로 통합된다.
이해의 용이함을 위해 본 문서에 섹션 제목이 사용되지만, 각 섹션에 기재된 기술과 실시예의 범위를 그 섹션에만 제한하는 것은 아니다.
비디오, 이미지, 3차원 장면 등의 더 높은 해상도의 시각 정보에 대한 수요가 증가함에 따라, 비디오 코딩 방법 및 기술이 현대 기술에서 어디에나 존재한다. 본 출원에 기재된 기술은 비디오, 이미지, 3차원 장면(three-dimensional scenes) 등을 포함하는 다양한 시각 정보에 적용될 수 있다. 시각 정보의 픽쳐는 비디오 내의 프레임, 이미지의 일부, 3차원 장면의 오브젝트, 3차원 장면의 일부 등일 수 있다. 블록은, 본 출원에 기재된 바와 같이, 코딩 유닛(CU), 최대 코딩 유닛(largest coding unit; LCU), 샘플, 예측 유닛(PU) 등과 같은 시각 정보의 픽쳐의 일부일 수 있다. 시각 정보의 서브 블록은 서브 CU, 샘플 등과 같은 PU일 수 있다. PU는 픽셀, 복셀(voxel), 또는 시각 정보의 해상도의 가장 작은 퀀텀(quantum)일 수 있다. 비디오 코덱은 통상 디지탈 비디오를 압축하거나 압축을 해제하는 전자 회로 또는 소프트웨어를 포함하고, 보다 높은 압축 효율을 제공하기 위하여 지속적으로 개선되고 있다. 비디오 코덱은 압축되지 않은 비디오를 압축된 포맷으로 또는 그 반대로 변환한다. 비디오 품질, (비트 레이트에 의해 결정된) 비디오를 나타내는데 사용되는 데이터의 양, 인코딩 및 디코딩 알고리즘의 복잡성, 데이터 손실 및 오류에 대한 민감도, 편집의 용이성, 랜덤 액세스, 단 대 단(end-to-end) 지연(레이턴시) 사이에 복잡한 관계가 있다. 압축된 포맷은 통상 표준 비디오 압축 사양, 예를 들어, HEVC(High Efficiency Video Coding) 표준(H.265 또는 MPEG-H Part 2라고도 함), 앞으로 완결될 VVC(Versatile Video Coding) 표준 또는 다른 현재 및/또는 미래의 비디오 코딩 표준을 따른다.
개시된 기술의 실시예는 런타임(runtime) 성능을 개선하기 위하여 기존의 비디오 코딩 표준(예를 들어, HEVC, H.265) 및 미래의 표준에 적용될 수 있다. 설명의 가독성을 향상시키기 위하여 섹션 제목이 본 문서에서 사용되며, 어떤 식으로든 논의 또는 실시예 (및/또는 구현예)를 각각의 섹션으로만 제한하지 않는다.
1. 참조 픽쳐와 참조 픽쳐 리스트의 예
HEVC에서, 2 종류의 참조 픽쳐, 즉, 단기(short-term) 및 장기(long-term)가 존재한다. 참조 픽쳐는 예측 참조에 더 이상 필요하지 않게 될 때 “참조용으로 사용되지 않음”이라고 표시될 수 있다. 참조 픽쳐 세트(RPS) 또는 버퍼(buffer) 디스크립션(description)이라고도 불리는 참조 픽쳐 관리를 위한 완전히 새로운 어프로치가 HEVC에 의해 도입되었다.
픽쳐를 “단기 참조용으로 사용됨,” “장기 참조용으로 사용됨” 또는 “참조용으로 사용되지 않음”으로 표시하는 프로세스는 RPS 개념을 사용하여 수행된다. RPS는 각 슬라이스 헤더에서 시그널링되는 픽쳐 지시자의 세트이고, 한 세트의 단기 픽쳐 및 한 세트의 장기 픽쳐로 구성된다. 픽쳐의 제1 슬라이스 헤더가 디코딩된 후, DPB 내의 픽쳐들이 RPS에 의해 지정된 대로 표시된다. RPS의 단기 픽쳐 부분에 지시된 DPB 내의 픽쳐들은 단기 픽쳐들로서 유지된다. RPS 내의 장기 픽쳐 부분에 지시된 DPB 내의 단기 또는 장기 픽쳐들이 장기 픽쳐로 변환되거나 장기 픽쳐들로서 유지된다. 마지막으로, RPS에 지시자가 없는 DPB 내의 픽쳐들은 참조용으로 사용되지 않음으로서 표시된다. 따라서, 디코딩 순서로 임의의 후속 픽쳐들의 예측을 위한 참조로서 사용될 수 있는 디코딩된 모든 픽쳐들은 RPS에 포함되어야 한다.
RPS는 DPB 내의 픽쳐를 식별하는데 사용되는 POC(picture order count) 값의 세트로 구성된다. POC 정보의 시그널링 외에, RPS는 또한 각 픽쳐에 대하여 하나의 플래그를 시그널링한다. 각 플래그는 해당 픽쳐가 현재 픽쳐에 대한 참조용으로 이용가능한지 아닌지를 나타낸다. 참조 픽쳐가 현재 픽쳐에 대하여 이용가능하지 않은 것으로 시그널링되더라도, DPB에서 여전히 유지되며, 나중에 참조용으로 이용가능하고 미래 픽쳐를 디코딩하는데 사용될 수 있도록 한다.
POC 정보 및 이용가능성 플래그로부터, 표 1에 도시된 바와 같이 참조 픽쳐들의 5개의 리스트가 생성될 수 있다. 리스트 RefPicSetStCurrBefore는, 현재 픽쳐에 대한 참조용으로 이용가능하고, 현재 픽쳐의 POC 값보다 낮은 POC 값을 갖는 단기 픽쳐로 구성된다. RefPicSetStCurrAfter는 현재 픽쳐의 POC 값보다 높은 POC 값을 갖는 이용가능한 단기 픽쳐로 구성된다. RefPicSetStFoll는, 현재 픽쳐에 이용 불가능하게 되는 모든 단기 픽쳐를 포함하지만 디코딩 순서에 따른 후속 픽쳐를 디코딩하기 위한 참조 픽쳐로서 사용될 수 있는 모든 단기 픽쳐를 포함하는 리스트이다. 마지막으로, 리스트들 RefPicSetLtCurr 및 RefPicSetLtFoll은 현재 픽쳐에 대해 참조로서 이용가능한 장기 픽쳐와 이용 불가능한 장기 픽쳐를 각각 포함할 수 있다. 아래의 표 1은 참조 픽쳐 리스트의 리스트를 나타낸다.
리스트 이름 | 장기 또는 단기 | 이용가능성 플래그 | POC |
RefPicSetStCurrBefore | 단기 | 이용가능 | 낮음 |
RefPicSetStCurrAfter | 단기 | 이용가능 | 높음 |
RefPicSetStFoll | 단기 | 이용불가능 | - |
RefPicSetLtCurr | 장기 | 이용가능 | - |
RefPicSetLtFoll | 장기 | 이용불가능 | - |
1.1
단기 및 장기 참조 픽쳐들의 예
일반적인 시퀀스 파라미터 세트에 대한 구문(syntax)이 이하에 도시된다.
seq_parameter_set_rbsp( ) { | Descriptor |
sps_video_parameter_set_id | u(4) |
sps_max_sub_layers_minus1 | u(3) |
sps_temporal_id_nesting_flag | u(1) |
profile_tier_level( 1, sps_max_sub_layers_minus1 ) | |
sps_seq_parameter_set_id | ue(v) |
chroma_format_idc | ue(v) |
if( chroma_format_idc = = 3 ) | |
... | |
} | |
... | |
amp_enabled_flag | u(1) |
sample_adaptive_offset_enabled_flag | u(1) |
pcm_enabled_flag | u(1) |
if( pcm_enabled_flag ) { | |
... | |
} | |
num_short_term_ref_pic_sets | ue(v) |
for( i = 0; i < num_short_term_ref_pic_sets; i++) | |
st_ref_pic_set( i ) | |
long_term_ref_pics_present_flag | u(1) |
if( long_term_ref_pics_present_flag ) { | |
num_long_term_ref_pics_sps | ue(v) |
for( i = 0; i < num_long_term_ref_pics_sps; i++ ) { | |
lt_ref_pic_poc_lsb_sps[ i ] | u(v) |
used_by_curr_pic_lt_sps_flag[ i ] | u(1) |
} | |
} | |
sps_temporal_mvp_enabled_flag | u(1) |
... | |
} |
일반적인 슬라이스 세그먼트 헤더에 대한 구문이 이하에 도시된다.
slice_segment_header( ) { | Descriptor |
first_slice_segment_in_pic_flag | u(1) |
if( nal_unit_type >= BLA_W_LP && nal_unit_type <= RSV_IRAP_VCL23 ) | |
no_output_of_prior_pics_flag | u(1) |
slice_pic_parameter_set_id | ue(v) |
if( !first_slice_segment_in_pic_flag ) { | |
if( dependent_slice_segments_enabled_flag ) | |
dependent_slice_segment_flag | u(1) |
slice_segment_address | u(v) |
} | |
if( !dependent_slice_segment_flag ) { | |
for( i = 0; i < num_extra_slice_header_bits; i++ ) | |
slice_reserved_flag[ i ] | u(1) |
slice_type | ue(v) |
if( output_flag_present_flag ) | |
pic_output_flag | u(1) |
if( separate_colour_plane_flag = = 1 ) | |
colour_plane_id | u(2) |
if( nal_unit_type != IDR_W_RADL && nal_unit_type != IDR_N_LP ) { | |
slice_pic_order_cnt_lsb | u(v) |
short_term_ref_pic_set_sps_flag | u(1) |
if( !short_term_ref_pic_set_sps_flag ) | |
st_ref_pic_set( num_short_term_ref_pic_sets ) | |
else if( num_short_term_ref_pic_sets > 1 ) | |
short_term_ref_pic_set_idx | u(v) |
if( long_term_ref_pics_present_flag ) { | |
if( num_long_term_ref_pics_sps > 0 ) | |
num_long_term_sps | ue(v) |
num_long_term_pics | ue(v) |
for( i = 0; i < num_long_term_sps + num_long_term_pics; i++ ) { | |
if( i < num_long_term_sps ) { | |
if( num_long_term_ref_pics_sps > 1 ) | |
lt_idx_sps[ i ] | u(v) |
} else { | |
poc_lsb_lt[ i ] | u(v) |
used_by_curr_pic_lt_flag[ i ] | u(1) |
} | |
delta_poc_msb_present_flag[ i ] | u(1) |
if( delta_poc_msb_present_flag[ i ] ) | |
delta_poc_msb_cycle_lt[ i ] | ue(v) |
} | |
} | |
... |
상술한 구문 표에서 사용된 시맨틱스(semantics)는 다음과 같이 정의된다.
num_short_term_ref_pic_sets는 SPS에 포함된 st_ref_pic_set( ) 구문 구조의 수를 명시한다. num_short_term_ref_pic_sets의 값은 0에서 64(0과 64 포함)까지의 범위에 있어야 한다.
일부 실시예에서, 디코더는 현재 픽쳐의 슬라이스 헤더에서 직접 시그널링되는 st_ref_pic_set() 구문 구조가 존재하기 때문에 총 num_short_term_ref_pic_sets + 1개의 st_ref_pic_set() 구문 구조에 대한 메모리를 할당할 수 있다. 현재 픽쳐의 슬라이스 헤드에서 직접 시그널링되는 st_ref_pic_set() 구문 구조는 num_short_term_ref_pic_sets와 동일한 인덱스를 갖는다.
long_term_ref_pics_present_flag의 값 0은 CVS 내의 임의의 코딩된 픽쳐의 인터 예측에 장기 참조 픽쳐가 사용되지 않음을 명시한다. long_term_ref_pics_present_flag의 값 1은 CVS 내의 하나 이상의 코딩된 픽쳐들의 인터 예측에 장기 참조 픽쳐들이 사용될 수 있다는 것을 명시한다.
num_long_term_ref_pics_sps는 SPS에 명시된 후보 장기 참조 픽쳐의 수를 명시한다. num_long_term_ref_pics_sps의 값은 0 내지 32(0, 32 포함)의 범위 내에 있어야 한다.
lt_ref_pic_poc_lsb_sps[ i ]는 SPS에 명시된 i번째 후보 장기 참조 픽쳐의 픽쳐 오더 카운트 모듈로(modulo) MaxPicOrderCntLsb를 명시한다(e.g. POC % MaxPicOrderCntLsb). lt_ref_pic_poc_lsb_sps[ i ]를 나타내는데 사용되는 비트의 수는 log2_max_pic_order_cnt_lsb_minus4 + 4와 동일하다.
used_by_curr_pic_lt_sps_flag[ i ]의 값 0은 SPS에서 명시된 i번째 후보 장기 참조 픽쳐가 그의 장기 참조 픽쳐 세트(RPS)에 포함된 픽쳐에 의해 참조를 위하여 사용되지 않는다는 것을 명시한다. 여기서, i번째 후보 장기 후보 픽쳐는 SPS에서 명시된다.
short_term_ref_pic_set_sps_flag의 값 1은 슬라이스 헤더 내의 구문 요소 short_term_ref_pic_set_idx에 의해 식별되는 액티브 SPS 내의 st_ref_pic_set( ) 구문 구조들 중의 하나에 기반하여 현재 픽쳐의 단기 RPS가 유도된다는 것을 명시한다. short_term_ref_pic_set_sps_flag의 값 0은 현재 픽쳐의 슬라이스 헤더에 직접 포함되는 st_ref_pic_set( ) 구문 구조에 기반하여 현재 픽쳐의 단기 RPS가 유도된다는 것을 명시한다. num_short_term_ref_pic_sets의 값이 0과 동일하면, short_term_ref_pic_set_sps_flag의 값은 0과 동일해야 한다.
short_term_ref_pic_set_idx는 액티브 SPS에 포함되는 st_ref_pic_set( ) 구문 구조들의 리스트에 대한 인덱스를 명시하며, 현재 픽쳐의 단기 RPS의 유도에 이용되는 st_ref_pic_set( ) 구문 구조의 인덱스를 명시한다. 구문 요소 short_term_ref_pic_set_idx는 Ceil( Log2( num_short_term_ref_pic_sets ) ) 비트들로 표시된다. 존재하지 않으면, short_term_ref_pic_set_idx의 값은 0으로 추론된다. short_term_ref_pic_set_idx의 값은 0 내지 num_short_term_ref_pic_sets - 1 (0과 num_short_term_ref_pic_sets - 1를 포함) 내에 있어야 한다.
일부 실시예에서, 변수 CurrRpsIdx는 다음과 같이 유도된다:
-- short_term_ref_pic_set_sps_flag가 1과 동일하면, CurrRpsIdx는 short_term_ref_pic_set_idx와 동일하게 설정된다.
-- 그렇지 않으면, CurrRpsIdx는 num_short_term_ref_pic_sets와 동일하게 설정된다.
num_long_term_sps는 액티브 SPS에서 명시된 후보 장기 참조 픽쳐에 기반하여 유도된 현재 픽쳐의 장기 RPS 내의 엔트리의 수를 명시한다. num_long_term_sps의 값은 0 내지 num_long_term_ref_pics_sps(0, num_long_term_ref_pics_sps 포함)의 범위 내에 있어야 한다. 존재하지 않으면, num_long_term_sps의 값은 0으로 추론된다.
num_long_term_pics는 슬라이스 헤더에서 직접 시그널링된 현재 픽쳐의 장기 RPS 내의 엔트리의 수를 명시한다. 존재하지 않으면, num_long_term_pics의 값은 0으로 추론된다.
일부 실시예에서, nuh_layer_id가 0과 동일하면, num_long_term_pics의 값은 sps_max_dec_pic_buffering_minus1[ TemporalId ] NumNegativePics[ CurrRpsIdx ] NumPositivePics[ CurrRpsIdx ] num_long_term_sps - TwoVersionsOfCurrDecPicFlag보다 작거나 같아야 한다.
lt_idx_sps[ i ]는 액티브 SPS에 명시된 후보 장기 참조 픽쳐의 리스트로의 인덱스를 명시하며, 현재 픽쳐의 장기 RPS 내의 i번째 엔트리의 인덱스를 명시한다. lt_idx_sps[ i ]를 나타내는데 사용되는 비트의 수는 Ceil( Log2( num_long_term_ref_pics_sps ) )와 동일하다. 존재하지 않으면, lt_idx_sps[ i ]의 값은 0으로 추론된다. lt_idx_sps[ i ]의 값은 0 내지 num_long_term_ref_pics_sps - 1(0, num_long_term_ref_pics_sps - 1 포함)의 범위 내에 있어야 한다.
poc_lsb_lt[ i ]는 현재 픽쳐의 장기 RPS 내의 i번째 엔트리의 픽쳐 오더 카운트 모듈로(modulo) MaxPicOrderCntLsb의 값을 명시한다(e.g. POC % MaxPicOrderCntLsb). poc_lsb_lt[ i ] 구문 요소의 길이는 log2_max_pic_order_cnt_lsb_minus4 + 4 비트들이다.
used_by_curr_pic_lt_flag[ i ]의 값 0은 현재 픽쳐의 장기 RPS 내의 i번째 엔트리가 현재 픽쳐에 의해 참조를 위하여 사용되지 않는다는 것을 명시한다.
일부 실시예에서, 변수 PocLsbLt[ i ] 및 UsedByCurrPicLt[ i ]는 다음과 같이 유도된다:
-- i가 num_long_term_sps보다 작으면, PocLsbLt[ i ]는 lt_ref_pic_poc_lsb_sps[ lt_idx_sps[ i ] ]와 동일하게 설정되고 UsedByCurrPicLt[ i ]는 used_by_curr_pic_lt_sps_flag[ lt_idx_sps[ i ] ]와 동일하게 설정된다.
-- 그렇지 않으면, PocLsbLt[ i ]는 poc_lsb_lt[ i ]와 동일하게 설정되고, UsedByCurrPicLt[ i ]는 used_by_curr_pic_lt_flag[ i ]와 동일하게 설정된다.
delta_poc_msb_present_flag[ i ]의 값 1은 delta_poc_msb_cycle_lt[ i ]가 존재하는 것을 명시한다. delta_poc_msb_present_flag[ i ]의 값 0은 delta_poc_msb_cycle_lt[ i ]가 존재하지 않는다는 것을 명시한다.
일부 실시예에서, TemporalId의 값으로 0을 갖고 RASL, RADL 또는 SLNR 픽쳐가 아닌 디코딩 순서상 이전 픽쳐를 prevTid0Pic으로 지칭할 수 있다. 다음으로 구성된 세트는 setOfPrevPocVals로 지칭할 수 있다:
-- prevTid0Pic의 PicOrderCntVal,
-- prevTid0Pic의 RPS 내의 각각의 픽쳐의 PicOrderCntVal,
-- 디코딩 순서상 prevTid0Pic에 후속되고. 디코딩 순서상 현재 픽처를 선행하는 각각의 픽쳐의 PicOrderCntVal.
일부 실시예에서, setOfPrevPocVals에 있어서, 값에 대한 모듈로(modulo) MaxPicOrderCntLsb 연산 결과(e.g. 값 % MaxPicOrderCntLsb)가 PocLsbLt[ i ]와 동일한 값이 1개보다 많으면, delta_poc_msb_present_flag[ i ]는 1과 동일해야 한다.
delta_poc_msb_cycle_lt[ i ]는 현재 픽쳐의 장기 RPS 내의 i번째 엔트리의 픽쳐 오더 카운트 값의 최상위 비트들의 값을 결정하는데 사용된다. delta_poc_msb_cycle_lt[ i ]이 존재하지 않으면, 이는 0으로 추론된다.
일부 실시예에서, 변수 DeltaPocMsbCycleLt[ i ]는 다음과 같이 유도된다:
if( i = = 0 | | i = = num_long_term_sps ) DeltaPocMsbCycleLt[ i ] = delta_poc_msb_cycle_lt[ i ] else DeltaPocMsbCycleLt[ i ] = delta_poc_msb_cycle_lt[ i ] + DeltaPocMsbCycleLt[ i 1 ]
1.2
단기 및 장기 참조 픽쳐들 간의 움직임 벡터 예측(MVP)의 예
일부 실시예에서, 타겟 참조 픽쳐 타입 및 예측된 참조 픽쳐 타입이 동일한 경우에만 움직임 벡터 예측이 허용된다. 즉, 타입이 다르면, 움직임 벡터 예측이 허용되지 않는다.
AMVP(Advanced Motion Vector Prediction)는 기존 구현을 포함하는 움직임 벡터 예측의 예이다. 기존 AMVP 구현의 관련 부분은 이하에서 상세히 기재된다.
움직임 벡터 mvLXA 및 이용가능성 플래그 availableFlagLXA가 다음의 단계로 유도된다:
(1) 샘플 위치( xNbA0, yNbA0 )는 ( xPb - 1, yPb + nPbH )와 동일하게 설정되고 샘플 위치( xNbA1, yNbA1 )는 ( xNbA0, yNbA0 - 1 )와 동일하게 설정된다.
(7) availableFlagLXA의 값이 0과 동일하면, ( xNbA0, yNbA0 )로부터 ( xNbA1, yNbA1 )까지 또는 availableFlagLXA 가 1과 동일할 때까지 ( xNbAk, yNbAk )에 대하여 다음이 적용된다:
- availableAk의 값이 TRUE와 동일하고 availableFlagLXA의 값이 0과 동일하면, 다음이 적용된다:
PredFlagLX[ xNbAk ][ yNbAk ]가 1과 동일하고 LongTermRefPic( currPic, currPb, refIdxLX, RefPicListX )이 LongTermRefPic( currPic, currPb, RefIdxLX[ xNbAk ][ yNbAk ], RefPicListX )와 동일하면, availableFlagLXA는 1과 동일하게 설정되고 다음의 할당이 이루어진다:
mvLXA = MvLX[ xNbAk ][ yNbAk ]
refIdxA = RefIdxLX[ xNbAk ][ yNbAk ]
refPicListA = RefPicListX
그렇지 않으면, PredFlagLY[ xNbAk ][ yNbAk ] (with Y = !X)가 1과 동일하고 LongTermRefPic( currPic, currPb, refIdxLX, RefPicListX )가 LongTermRefPic( currPic, currPb, RefIdxLY[ xNbAk ][ yNbAk ], RefPicListY )와 동일하면, availableFlagLXA는 1로 설정된다.
움직임 벡터 mvLXB 및 이용가능 플래그 availableFlagLXB가 다음의 단계로 유도된다:
(1) 샘플 위치들( xNbB0, yNbB0 ), ( xNbB1, yNbB1 ) 및 ( xNbB2, yNbB2 )는 각각 ( xPb + nPbW, yPb - 1 ), ( xPb + nPbW - 1, yPb - 1 ) 및 ( xPb - 1, yPb - 1 )와 동일하게 설정된다.
(5) isScaledFlagLX가 0과 동일하면, availableFlagLXB는 0과 동일하게 설정되고 ( xNbB0, yNbB0 )로부터 ( xNbB2, yNbB2 )까지 또는 availableFlagLXB가 1과 동일할 때까지 ( xNbBk, yNbBk )에 대하여 다음이 적용된다:
-- 6.4.2 절에 명시된 바와 같이 예측 블록에 대한 이용가능성 유도 프로세스는, 휘도 위치( xCb, yCb ), 현재의 루마 코딩 블록 사이즈(nCbS), 루마 위치( xPb, yPb ), 루마 예측 블록 너비(nPbW), 루마 예측 블록 높이(nPbH), ( xNbBk, yNbBk )와 동일하게 설정된 루마 위치( xNbY, yNbY ) 및 및 분할 인덱스(partIdx)를 입력으로서 작동(invoke)되고, 출력은 예측 블록 이용가능성 플래그 availableBk에 할당된다.
-- availableBk가 TRUE와 동일하고 availableFlagLXB가 0과 동일하면, 다음이 적용된다:
PredFlagLX[ xNbBk ][ yNbBk ]가 1과 동일하고 LongTermRefPic( currPic, currPb, refIdxLX, RefPicListX )가 LongTermRefPic( currPic, currPb, RefIdxLX[ xNbBk ][ yNbBk ], RefPicListX )와 동일하면, availableFlagLXB는 1로 설정되고 다음의 할당이 이루어진다:
mvLXB = MvLX[ xNbBk ][ yNbBk ]
refIdxB = RefIdxLX[ xNbBk ][ yNbBk ]
refPicListB = RefPicListX
그렇지 않으면, PredFlagLY[ xNbBk ][ yNbBk ] (with Y = !X)가 1과 동일하고 LongTermRefPic( currPic, currPb, refIdxLX, RefPicListX )가 LongTermRefPic( currPic, currPb, RefIdxLY[ xNbBk ][ yNbBk ], RefPicListY )와 동일하면, availableFlagLXB는 1과 동일하게 설정되고 다음의 할당이 이루어진다:
mvLXB = MvLY[ xNbBk ][ yNbBk ].
TMVP(Temporal Motion Vector Prediction)는 기존 구현을 포함하는 음직임 벡터 예측의 다른 예이다. 기존 TMVP 구현의 관련 부분은 이하에서 상세히 설명한다.
변수 mvLXCol 및 availableFlagLXCol은 다음과 같이 유도된다:
LongTermRefPic( currPic, currPb, refIdxLX, LX )가 LongTermRefPic( ColPic, colPb, refIdxCol, listCol )와 동일하지 않으면, mvLXCol의 양 컴포넌트는 0과 동일하게 설정되고 availableFlagLXCol는 0과 동일하게 설정된다.
그렇지 않으면, 변수 availableFlagLXCol이 1과 동일하게 설정되고, refPicListCol[ refIdxCol ]는 ColPic에 의해 명시된 동일 위치(collocated)의 픽쳐 내의 예측 블록(colPb)을 포함하는 슬라이스의 참조 픽쳐 리스트 listCol 내의 참조 인덱스 refIdxCol를 갖는 픽쳐로 설정된다.
2.
인트라 블록 카피(IBC)의 실시예
인트라 블록 카피(IBC)는 인터 프레임 코딩으로부터 인트라 프레임 코딩으로의 움직임 보상의 개념을 확장시켰다. 도 1에 도시된 바와 같이, 현재 블록은 IBC가 적용될 때 동일 픽쳐 내의 참조 블록에 의해 예측된다. 참조 블록 내의 샘플은 현재 블록이 코딩되거나 디코딩되기 전에 이미 재구성되어야 한다. IBC가 대부분의 카메라 캡쳐 시퀀스에 대하여 그다지 효율적이지 않더라도, 화면 콘텐츠에 대해 상당한 코딩 이득을 보여준다. 그 이유는, 화면 콘텐츠 픽쳐에 아이콘 및 텍스트 문자 등의 다수의 중복 패턴이 존재하기 때문이다. IBC는 이들 중복 패턴 간의 리던던시(redundancy)를 효율적으로 제거할 수 있다.
HEVC-SCC에서, 인터 코딩된 코딩 유닛(CU)은 그 참조 픽쳐로서 현재 픽쳐를 선택하면 IBC를 적용할 수 있다. MV는 이 경우 블록 벡터(BV)로 재명명되고, BV는 항상 정수 픽셀 정밀도를 갖는다. 메인 프로파일 HEVC와 호환되도록, 현재 픽쳐는 DPB(Decoded Picture Buffer) 내의 "장기" 참조 픽쳐로서 표시된다. 유사하게, 멀티플 뷰/3D 비디오 코딩 표준에서, 인터-뷰(inter-view) 참조 픽쳐가 또한 "장기" 참조 픽쳐로서 표시된다는 점에 유의해야 한다.
2.1
IBC가 인에이블링될 때의 픽쳐 표시의 실시예
PPS에서의 IBC에 관련된 시맨틱스.
pps_curr_pic_ref_enabled_flag의 값 1은 PPS를 참조하는 픽쳐가 그 픽쳐 자체의 슬라이스의 참조 픽쳐 리스트에 포함될 수 있다는 것을 명시한다. pps_curr_pic_ref_enabled_flag의 값 0은 PPS를 참조하는 픽쳐가 그 픽쳐 자체의 슬라이스의 참조 픽쳐 리스트에 포함되지 않는다는 것을 명시한다. 존재하지 않으면, pps_curr_pic_ref_enabled_flag의 값은 0으로 추론된다.
sps_curr_pic_ref_enabled_flag이 0일 때 pps_curr_pic_ref_enabled_flag의 값은 0이 되어야 한다는 것이 비트스트림 적합성 요구사항이다.
변수 TwoVersionsOfCurrDecPicFlag는 다음과 같이 유도된다:
TwoVersionsOfCurrDecPicFlag = pps_curr_pic_ref_enabled_flag && ( sample_adaptive_offset_enabled_flag || !pps_deblocking_filter_disabled_flag || deblocking_filter_override_enabled_flag )
sps_max_dec_pic_buffering_minus1[ TemporalId ]가 0이면, TwoVersionsOfCurrDecPicFlag의 값은 0이어야 한다.
디코딩 프로세스.
루프내(in-loop) 필터 프로세스의 호출(invocation) 후의 현재의 디코딩된 픽쳐가 빈 픽쳐 저장 버퍼의 DPB에 저장되고, DPB 충만도(fullness)는 1씩 증가하고 이 픽쳐는 "단기 참조용으로 사용됨"으로 표시된다.
TwoVersionsOfCurrDecPicFlag가 1이면, F.8.7 [1] 절에 명시된 루프내 필터 프로세스의 호출 전의 현재의 디코딩된 픽쳐는 빈 픽쳐 저장 버퍼의 DPB에 저장되고, DPB 충만도(fullness)는 1씩 증가하고 이 픽쳐는 "장기 참조용으로 사용됨"으로 표시된다.
3.
JEM(Joint Exploration Model)의 예
일부 실시예에서, 미래 비디오 코딩 기술은 JEM(joint Exploration Model)으로서 알려진 참조 소프트웨어를 이용하여 탐색된다. JEM에서, 서브 블록 기반 예측은 어파인 예측, ATMVP(alternative temporal motion vector prediction), STMVP(spatial-temporal motion vector prediction), BIO(bi-directional optical flow), FRUC(Frame-Rate Up Conversion), LAMVR(Locally Adaptive Motion Vector Resolution), OBMC(Overlapped Block Motion Compensation), LIC(Local Illumination Compensation) 및 DMVR(Decoder-side Motion Vector Refinement) 등의 여러 코딩 툴에서 채택된다.
3.1
ATMVP(alternative temporal motion vector prediction)의 예
ATMVP 방법에서, TMVP(temporal motion vector prediction) 방법은 현재의 CU보다 작은 블록들로부터 (움직임 벡터들 및 참조 인덱스들을 포함하는) 다수 세트의 움직임 정보를 페치(fetch)함으로써 변경된다.
도 2는 CU(600)에 대한 ATMVP 움직임 예측 프로세스의 예를 나타낸다. ATMVP 방법은 두 단계로 CU(600) 내의 서브 CU(601)의 움직임 벡터를 예측한다. 제1 단계는 시간적 벡터로 참조 픽쳐(650) 내의 해당(대응) 블록(651)을 식별하는 것이다. 참조 픽쳐(650)는 움직임 소스 픽쳐라고도 한다. 제2 단계는 현재 CU(600)를 서브 CU(601)로 분할하고 각 서브 CU에 대응하는 블록에서 각 서브 CU의 참조 인덱스 뿐만 아니라 움직임 벡터를 얻는 것이다.
제1 단계에서, 참조 픽쳐(650)와 해당 블록은 현재 CU(600)의 공간적으로 이웃하는 블록들의 움직임 정보에 의해 결정된다. 이웃 블록의 반복적인 스캐닝 프로세스를 피하기 위하여, 현재의 CU(600)의 머지 후보 리스트 내의 제1 머지 후보가 사용된다. 제1 이용가능 움직임 벡터 및 그 연관된 참조 인덱스가 시간적 벡터 및 움직임 소스 픽쳐에 대한 인덱스로 설정된다. 이러한 방식으로, TMVP와 비교하여 해당 블록이 더 정확하게 식별될 수 있고, 해당 블록(때때로 동일 위치의 블록(collocated block)이라 불리움)은 현재의 CU에 대해 항상 오른쪽 하단 또는 중앙 위치에 있다.
제2 단계에서, 시간적 벡터를 현재 CU의 좌표에 더함으로써, 서브 CU (651)의 해당 블록은 움직임 소스 픽쳐(650)의 시간 벡터에 의해 식별된다. 각 서브 CU에 대해 그 해당 블록의 움직임 정보(예를 들어, 중앙 샘플을 덮는 가장 작은 움직임 그리드)가 서브 CU에 대한 움직임 정보를 유도하는데 사용된다. 해당 NxN 블록의 움직임 정보가 식별된 후 HEVC의 TMVP와 동일한 방식으로 현재 서브 CU의 움직임 벡터 및 참조 인덱스로 변환되며, 움직임 스케일링 및 다른 절차가 적용된다. 예를 들어, 디코더는 저-지연 조건(예를 들어, 현재 픽쳐의 모든 참조 픽쳐의 POC들이 현재 픽쳐의 POC보다 작음)이 충족되는지를 확인하고 움직임 벡터(MVx)(예를 들어, 참조 픽쳐 리스트(X)에 대응하는 움직임 벡터)를 이용하여 움직임 벡터(MVy)(예를 들어 X는 0 또는 1이고 Y는 1-X임)를 각각의 서브 CU에 대하여 예측한다.
4.
비디오 코딩에서의 IBC에 대한 예시적인 방법
도 3은 인트라 블록 카피를 이용한 비디오 인코딩 방법의 일 예를 나타내는 플로우챠트이다. 방법 300은, 단계 310에서, 현재 픽쳐의 현재 블록이 움직임 보상 알고리즘을 이용하여 인코딩되는지를 결정하는 단계를 포함한다. 방법300은, 단계 320에서, 상기 결정에 기초하여 인트라 블록 카피를 현재 블록에 선택적으로 적용함으로써 현재 블록을 인코딩하는 단계를 포함한다. 더 일반적으로, 현재 블록에 인트라 블록 카피를 적용할지는 현재 블록이 특정 움직임 보상 알고리즘을 이용하여 인코딩되는 지에 기초한다.
도 4는 인트라 블록 카피를 이용한 비디오 인코딩 방법의 다른 예를 나타내는 플로우챠트이다. 방법 400은, 단계 410에서, 현재 픽쳐의 현재 블록이 인트라 블록 카피를 이용하여 인코딩되는지를 결정하는 단계를 포함한다. 방법 400은, 단계 420에서, 상기 결정에 기초하여 움직임 보상 알고리즘을 현재 블록에 선택적으로 적용함으로써 현재 블록을 인코딩하는 단계를 포함한다. 더 일반적으로, 움직임 보상 알고리즘을 이용하여 현재 블록을 인코딩할지는 현재 블록이 인트라 블록 카피를 이용하여 인코딩되는지에 기초한다.
도 5는 인트라 블록 카피를 이용한 비디오 디코딩 방법의 일예를 나타내는 플로우챠트이다. 방법 500은, 단계 510에서, 현재 픽쳐의 현재 블록이 움직임 보상 알고리즘을 이용하여 디코딩되는지를 결정하는 단계를 포함한다. 방법 500은, 단계 520에서, 상기 결정에 기초하여 인트라 블록 카피를 현재 블록에 선택적으로 적용함으로써 현재 블록을 디코딩하는 단계를 포함한다. 더 일반적으로, 현재 블록에 인트라 블록 카피를 적용할지는 현재 블록이 특정 움직임 보상 알고리즘을 이용하여 디코딩되는 지에 기초한다.
도 6은 인트라 블록 카피를 이용한 비디오 디코딩 방법의 다른 예를 나타내는 플로우챠트이다. 방법 605는, 단계 610에서, 현재 픽쳐의 현재 블록이 인트라 블록 카피를 이용하여 디코딩되는지를 결정하는 단계를 포함한다. 방법 605는, 단계 620에서, 상기 결정에 기초하여 움직임 보상 알고리즘을 현재 블록에 선택적으로 적용함으로써 현재 블록을 디코딩하는 단계를 포함한다. 더 일반적으로, 움직임 보상 알고리즘을 이용하여 현재 블록을 디코딩할지는 현재 블록이 인트라 블록 카피를 이용하여 디코딩되는지에 기초한다.
도 3 내지 6 및 9 내지 10의 문맥에서 설명한 방법 300, 400, 500, 605, 900 및 1000은 움직임 보상 알고리즘이 인트라 블록 카피와 호환가능한지를 결정하는 단계를 더 포함한다. 인트라 블록 카피 및 움직임 보상 알고리즘의 호환성은 상이한 특정 움직임 보상 알고리즘에 대해 설명한 다음 예에서 설명된다.
예 1. ATMVP의 제1 단계에서 사용되는 시간적 벡터가 IBC로 코딩된 이웃 블록으로부터 유도될 수 없다는 것이 제안된다. 일 예에서, 참조 픽쳐로서 현재 픽쳐를 갖는 이웃 블록은 "이용불가능"으로 표시되거나 ATMVP의 제1 단계에서 인트라 코딩된다.
예 2. 해당 블록이 ATMVP의 제2 단계에서 IBC로 코딩되면 서브 CU의 해당 블록이 "이용불가능" 또는 "인트라 코딩"으로 표시되는 것이 제안된다.
예 3. 대안으로, 해당 블록이 ATMVP의 제2 단계에서 IBC로 코딩되면 스케일링없이 서브 CU의 해당 블록의 움직임 정보가 서브 CU로 카피되는 것이 제안된다. 서브 CU는 해당 블록과 동일한 MV로 IBC를 적용하지만, 참조 픽쳐는 현재 픽쳐로 변경된다.
예 4. 하나 이상의 ATMVP 후보가 추가될 수 있으며, 그 중 하나는 상기 방법을 이용하여 시간적 이웃 블록으로부터 유도될 수 있고, 다른 하나는 동일 위치의 서브 CU가 IBC로 코딩되면 서브 CU 움직임 정보를 유도하는 상이한 방식으로 적어도 하나의 서브 CU를 갖는 시간적 이웃 블록으로부터 유도된다.
본 출원에 기재된 기술의 일부 예가 절(clause)의 형태로 이하에서 열거된다. 본 출원에 사용되는 블록은 픽셀, 복셀, 서브 픽셀 및/또는 서브 복셀의 연속 또는 비연속 모음(collection)일 수 있다. 예를 들어, 블록은 4 x 4 정사각형, 6 x 4 직사각형 등의 직선 또는 타원 등의 곡선일 수 있다.
본 출원에서 사용되는 시각 정보의 일부는 시각 정보의 서브세트일 수 있다. 본 출원에서 사용되는 코딩된 표현(coded representation)은 본 출원에 기재된 기술 중의 하나를 이용하여 인코딩된 시각 정보를 나타내는 비트스트림일 수 있다. 본 출원에 사용되는 지시자는 코딩된 표현 내의 플래그 또는 필드이거나 다수의 개별 플래그들 또는 필드들일 수 있다.
본 출원에 사용되는 디코딩은 디코더에 의해 적용될 수 있고 하드웨어 또는 소프트웨어로 구현될 수 있다. 디코딩 기술은 코더가 수행한 모든 것을 역순으로 되돌릴 수 있다. 적절한 디코딩 기술이 인코딩된 표현에 적용되면, 시각 정보가 결과로서 얻어질 수 있다. 본 출원에 사용되는 복수의 블록 내의 초기 블록은 코딩된 표현 내의 제1 블록 전에 발생한 블록이다. 동일 위치의 참조 픽쳐는 인코딩/디코딩되는 블록을 인코딩/디코딩하는데 사용되는 참조 픽쳐일 수 있다.
1. 시각 정보를 디코딩하는 방법(예를 들어, 도 9에 도시된 방법(900))으로서, 코딩된 표현(coded representation)으로부터 상기 시각 정보의 일부를 나타내는 디코딩될 블록이 ATMVP(alternative temporal motion vector prediction) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계(902); 디코딩될 블록의 공간적으로 인접한 블록이 인트라 블록 카피(intra-block copy; IBC) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계(904); 상기 공간적으로 인접한 블록이 상기 디코딩될 블록에 대한 시간적 벡터를 유도하는 움직임 벡터를 제공할 수 없다고 결정하는 단계(906); 및 상기 디코딩될 블록에 대한 시간적 벡터를 유도하는 상기 움직임 벡터를 제공하도록 상기 공간적으로 이웃하는 블록의 사용을 배제하고, 상기 ATMVP 코딩 기술에 대응하는 ATMVP 디코딩 기술을 이용함으로써, 상기 코딩된 표현을 디코딩하는 단계(908)를 포함하는 방법.
2. 시각 정보를 디코딩하는 방법(예를 들어, 도 10에 도시된 방법(1000))으로서, 코딩된 표현(coded representation)으로부터 상기 시각 정보의 일부를 나타내는 디코딩될 블록이 ATMVP(alternative temporal motion vector prediction) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계(1002); 참조 픽쳐 내의 동일 위치의 블록이 인트라 블록 카피(intra-block copy; IBC) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계(1004); 상기 참조 픽쳐 내의 동일 위치의 블록이 상기 디코딩될 블록의 서브 블록에 대한 움직임 벡터를 유도하는데 사용될 수 없다고 결정하는 단계(1006); 및 상기 디코딩될 블록의 서브 블록에 대한 시간적 움직임 벡터 후보를 제공하도록 상기 참조 픽쳐 내의 동일 위치의 블록의 사용을 배제하고, 상기 ATMVP 코딩 기술에 대응하는 ATMVP 디코딩 기술을 이용함으로써, 상기 코딩된 표현을 디코딩하는 단계(1008)를 포함하는 방법.
3. 상기 1 내지 2 절의 방법에 있어서, 상기 인코딩된 시각 정보로부터 제1 픽쳐의 인코딩을 나타내는 복수의 블록을 얻는 단계; 상기 복수의 블록의 초기 블록을 디코딩하는 단계; 및 상기 초기 블록의 디코딩 후에, 디코딩의 결과에 기초하여 상기 복수의 블록의 나머지의 제1 블록을 디코딩하는 단계를 포함하는 방법.
4. 상기 1 내지 3 절의 방법에 있어서, 상기 인코딩된 시각 정보로부터 제2 픽쳐의 인코딩을 나타내는 복수의 블록을 얻는 단계; 상기 제2 픽쳐의 인코딩을 나타내는 복수의 블록의 디코딩될 블록에 대한 2단계 프로세스를 수행함으로써 ATMVP 디코딩 기술을 이용하여 상기 시각 정보와 연관된 상기 제2 픽쳐의 인코딩을 디코딩하는 단계를 포함하고, 상기 2단계 프로세스는 상기 2단계 프로세스의 제1 단계에서, 상기 인코딩된 시각 정보의 디코딩된 참조 픽쳐, 상기 디코딩될 블록에 대응하는 상기 참조 픽쳐의 디코딩된 대응 블록, 및 상기 공간적으로 이웃한 블록의 움직임 벡터를 포함하는 시간적 벡터를 얻는 단계 - 여기서, 상기 공간적으로 이웃하는 블록은 상기 디코딩될 블록의 공간적 이웃임 -; 상기 2단계 프로세스의 제2 단계에서, 상기 디코딩될 블록을 나타내는 복수의 서브 블록을 얻고, 상기 복수의 서브 블록의 각각의 서브 블록에 대하여 상기 시각 정보의 참조 픽쳐에서 대응되는 서브 블록을 식별하고, 상기 대응 서브 블록의 움직임 벡터를 얻고, 상기 대응 서브 블록의 상기 움직임 벡터에 기반하여 상기 복수의 서브 블록의 각각의 서브 블록에 대한 움직임 벡터를 유도하는 단계; 및 상기 서브 블록의 움직임 벡터 및 상기 시각 정보의 참조 픽쳐의 대응 서브 블록에 기반하여 상기 복수의 서브 블록을 디코딩하는 단계를 포함하는 디코딩 방법.
5. 상기 4 절의 방법에 있어서, 상기 공간적으로 이웃하는 블록이 상기 IBC 코딩 기술을 이용하여 인코딩되지 않는 것으로 간주하는 단계를 포함하는 방법.
6. 상기 4 내지 5 절의 방법에 있어서, 상기 ATMVP 디코딩 기술의 제1 단계에서 사용하기 위해 상기 공간적으로 이웃하는 블록이 이용불가능하거나 인트라 코딩된 것임을 지정하는 지시자를 디코딩하는 단계를 포함하는 방법.
7. 상기 4 내지 6 절의 방법에 있어서, 상기 ATMVP 디코딩 기술의 제2 단계에서 사용하기 위해 상기 대응 서브 블록이 이용불가능하거나 인트라 코딩된 것임을 지정하는 지시자를 디코딩하는 단계를 포함하는 방법.
8. 상기 4 내지 5 절의 방법에 있어서, 상기 ATMVP 디코딩 기술의 제1 단계에서 상기 공간적으로 이웃하는 블록이 인트라 코딩 기술을 이용함을 지정하는 지시자를 디코딩하는 단계를 포함하는 방법.
9. 상기 4 내지 5 절의 방법에 있어서, 상기 ATMVP 디코딩 기술의 제2 단계에서 상기 대응 서브 블록이 인트라 코딩 기술을 이용함을 지정하는 지시자를 디코딩하는 단계를 포함하는 방법.
10. 상기 1 내지 9 절의 방법에 있어서, 상기 디코딩될 블록의 대응 블록이 IBC 코딩 기술을 이용하여 인코딩된 경우, 상기 대응 서브 블록의 움직임 벡터를 스케일링하지 않고 상기 대응 서브 블록의 움직임 벡터를 상기 디코딩될 블록의 서브 블록으로 카피하는 단계를 포함하는 방법.
11. 상기 4 절의 방법에 있어서, 상기 대응 블록이 상기 IBC 코딩 기술을 이용하여 인코딩되었음을 나타내는 상기 대응 블록과 연관된 지시자를 디코딩하는 단계; 및 상기 제2 픽쳐를 상기 참조 픽쳐로서 이용하여 상기 디코딩될 블록을 디코딩하는 단계를 포함하는 방법.
12. 상기 4 내지 11 절의 방법에 있어서, 상기 대응 서브 블록이 상기 IBC 코딩 기술을 이용하여 인코딩되었음을 나타내는 상기 대응 서브 블록과 연관된 지시자를 디코딩하는 단계; 및 상기 IBC 코딩 기술을 이용하여 인코딩된 상기 대응 서브 블록을 이용하여 상기 서브 블록을 디코딩하는 단계를 포함하는 방법.
13. 상기 4 절의 방법에 있어서, 상기 디코딩될 블록의 대응 블록이 IBC 코딩 기술을 이용하여 인코딩된 경우, 상기 대응 서브 블록의 움직임 벡터를 스케일링하지 않고 상기 대응 서브 블록의 움직임 벡터를 상기 디코딩될 블록의 서브 블록으로 카피하는 단계를 포함하는 방법.
14. 상기 13 절의 방법에 있어서, 상기 참조 픽쳐를 상기 디코딩될 블록을 포함하는 상기 제2 픽쳐로 변경하는 단계를 포함하는 방법.
15. 상기 4 절의 방법에 있어서, 상기 IBC 인코딩 기술을 이용하여 인코딩된 적어도 하나의 대응 서브 블록의 움직임 벡터에 기초하여 디코딩될 블록의 서브 블록의 움직임 벡터를 유도하는 단계를 포함하는 방법.
상기 1 내지 15 절에 기재된 방법의 추가의 형태 및 변형이 이전 섹션에 기재된다. 디코딩 방법은 도 7 및 8을 참조하여 설명하는 것과 같은 하드웨어 플랫폼을 포함할 수 있는 비디오 디코더에 의해 구현될 수 있다.
16. 시각 정보를 인코딩하는 방법으로서,
상기 시각 정보를 복수의 인코딩 픽쳐 및 적용된 하나 이상의 인코딩 기술을 시그널링하는 복수의 지시자로 인코딩하는 단계를 포함하고, 상기 복수의 지시자는 인트라 블록 카피(IBC) 기술(technique) 지시자 및 ATMVP 기술 지시자를 포함하며, 상기 시각 정보와 연관된 제1 픽쳐의 제1 블록은 IBC 기술을 이용하여 인코딩되고, 상기 시각 정보와 연관된 제2 픽쳐의 제2 블록은 ATMVP 기술을 이용하여 인코딩되고, 상기 IBC 기술은 상기 제1 픽쳐의 제1 블록을 인코딩하기 위하여 상기 제1 픽쳐의 다른 블록을 이용하고, , 상기 ATMVP 기술은 상기 제2 픽쳐를 인코딩 하기 위하여 상기 시각 정보와 연관된 제3 픽쳐를 이용하는 방법.
17. 상기 16 절의 방법에 있어서, 상기 제1 픽쳐를 복수의 블록으로 분할하는 단계; 상기 복수의 블록의 초기 블록을 인코딩하는 단계; 및 상기 초기 블록의 인코딩시, 상기 초기 블록에 기초하여 상기 복수의 블록의 제1 블록을 인코딩하는 단계를 포함하는 방법.
18. 16 내지 17 절의 방법에 있어서, 상기 제2 픽쳐를 인코딩될 블록을 포함하는 복수의 블록으로 분할하고 2단계 프로세스를 수행함으로써 상기 ATMVP 기술을 이용하여 상기 시각 정보와 연관된 제2 픽쳐를 인코딩하는 단계를 포함하고, 상기 2단계 프로세스는 상기 2단계 프로세스의 제1 단계에서, 상기 시각 정보의 참조 픽쳐, 상기 인코딩될 블록에 대응하는 상기 참조 픽쳐의 대응 블록 및 공간적으로 이웃한 블록의 움직임 벡터를 포함하는 시간적 벡터를 식별하는 단계 - 여기서, 상기 공간적으로 인접한 블록은 인코딩될 블록의 공간적 이웃임 -; 상기 2단계 프로세스의 제2 단계에서, 상기 인코딩될 블록을 복수의 서브 블록으로 분할(split)하고, 상기 복수의 서브 블록의 각각의 서브 블록에 대하여 상기 시각 정보의 참조 픽쳐의 대응 서브 블록을 식별하고, 상기 대응 서브 블록의 움직임 벡터를 얻고, 상기 대응 서브 블록의 상기 움직임 벡터에 기초하여, 상기 복수의 서브 블록의 각각의 서브 블록에 대한 움직임 벡터를 유도하는 단계; 및 상기 서브 블록의 움직임 벡터 및 상기 시각 정보의 참조 픽쳐의 대응 서브 블록에 기초하여 상기 복수의 서브 블록의 서브 블록을 인코딩하는 단계를 포함하는 방법.
19. 상기 18 절의 방법에 있어서, 상기 공간적으로 이웃하는 블록은 IBC 기술을 이용하여 인코딩되지 않는 것을 요구하는 단계를 포함하는 방법.
20. 상기 18 내지 19 절의 방법에 있어서, 상기 인코딩될 블록의 공간적으로 이웃하는 블록이 IBC 기술을 이용하여 인코딩되는 경우, ATMVP 기술의 제1 단계에서 사용하기 위하여 상기 공간적으로 이웃하는 블록을 이용불가능하거나 인트라 코딩된 것으로 지정하는 지시자를 인코딩하는 단계를 포함하는 방법.
21. 상기 18 내지 20 절의 방법에 있어서, 상기 시각 정보의 참조 픽쳐가 IBC 기술을 이용하여 인코딩되는 경우, 상기 ATMVP 기술의 제2 단계에서 사용하기 위해 상기 대응 서브 블록을 이용불가능하거나 인트라 코딩된 것으로 지정하는 지시자를 인코딩하는 단계를 포함하는 방법.
22. 상기 18 내지 19 절의 방법에 있어서, 상기 인코딩될 블록의 공간적으로 이웃하는 블록이 IBC 기술을 이용하여 인코딩되는 경우, 상기 ATMVP 디코딩 기술의 제1 단계에서 사용하기 위하여 상기 공간적으로 이웃하는 블록을 인트라 코딩된 것으로 지정하는 지시자를 인코딩하는 단계를 포함하는 방법.
23. 상기 18 내지 22 절의 방법에 있어서, 상기 시각 정보의 참조 픽쳐가 IBC 기술을 이용하여 인코딩되는 경우, 상기 ATMVP 디코딩 기술의 제2 단계에서 사용하기 위하여 상기 대응 서브 블록이 인트라 코딩된 것으로 지정하는 지시자를 인코딩하는 단계를 포함하는 방법.
24. 상기 18 절의 방법에 있어서, 상기 인코딩될 블록의 대응 블록이 IBC 코딩 기술을 이용하여 인코딩되는 경우, 상기 대응 서브 블록의 움직임 벡터를 스케일링하지 않고 상기 대응 서브 블록의 움직임 벡터를 상기 인코딩될 블록의 서브 블록으로 카피하는 단계를 포함하는 방법.
25. 상기 24 절의 방법에 있어서, 상기 참조 픽쳐를 상기 인코딩될 블록을 포함하는 제2 픽쳐로 변경하는 단계를 포함하는 방법.
26. 상기 18 내지 25 절의 방법에 있어서, 상기 IBC 인코딩 기술을 이용하여 인코딩된 적어도 하나의 대응 서브 블록의 움직임 벡터에 기초하여 인코딩될 블록의 서브 블록의 움직임 벡터를 유도하는 단계를 포함하는 방법.
상기 16 내지 26 절에 기재된 방법의 추가의 형태 및 변형이 이전 섹션에 기재된다. 디코딩 방법은 도 7 및 8을 참조하여 설명하는 것과 같은 하드웨어 플랫폼을 포함할 수 있는 비디오 디코더에 의해 구현될 수 있다.
27. 상기 1 내지 26 절 중 적어도 하나 이상에 기재된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 프로세싱 장치.
28. 상기 1 내지 26 절 중 적어도 하나 이상에 기재된 방법을 프로세서에 의한 실행에 의하여 구현하도록 하는 코드가 저장된 컴퓨터 판독가능 기록매체.
5.
개시된 기술의 구현예
도 7은 현재 개시된 기술의 다양한 부분을 구현하는데 사용될 수 있는 컴퓨터 시스템 또는 다른 제어 장치(700)에 대한 아키텍쳐의 예를 나타내는 블록도이고, (제한되지 않지만) 300, 400, 500 및 605의 방법을 포함한다. 도 7에서, 컴퓨터 시스템(700)은 상호접속부(725)를 통해 접속된 하나 이상의 프로세서(705) 및 메모리(710)를 포함한다. 상호접속부(725)는 적절한 브리지, 어댑터 또는 컨트롤러에 의해 접속된 임의의 하나 이상의 개별 물리적 버스, 점대점 접속(point to point connections) 또는 그 둘다를 나타낼 수 있다. 그러므로, 상호접속부(725)는 예를 들어 시스템 버스, PCI(Peripheral Component Interconnect) 버스, 하이퍼트랜스포트(HyperTransport) 또는 ISA(industry standard architecture) 버스, USB(universal serial bus), IIC (I2C) 버스, 또는 때때로 "파이어와이어"라 불리우는 IEEE(Institute of Electrical and Electronics Engineers) 표준 674 버스를 포함할 수 있다.
프로세서(들)(705)는 예를 들어 호스트 컴퓨터의 전체 동작을 제어하는 중앙 처리 장치(CPU)를 포함할 수 있다. 특정 실시예에서, 프로세서(들)(705)는 메모리(710)에 저장된 소프트웨어 또는 펌웨어를 실행함으로써 이를 달성한다. 프로세서(들)(705)는 하나 이상의 프로그래머블 범용 또는 특수 목적 마이크로프로세서, 디지털 신호 처리기(DSP), 프로그래머블 컨트롤러, ASIC(application specific integrated circuit), PLD(programmable logic device), 또는 이러한 장치의 조합이거나 이들을 포함할 수 있다.
메모리(710)는 컴퓨터 시스템의 메인 메모리이거나 이를 포함할 수 있다. 메모리(710)는 임의의 형태의 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 플래시 메모리 또는 이들 장치의 조합을 나타낸다. 사용에 있어서, 메모리(710)는 다른 것들 중에서 프로세서(705)에 의해 실행될 때 프로세서(705)가 현재 개시된 기술의 실시예를 구현하는 동작을 수행하도록 하는 머신 명령 세트를 포함할 수 있다.
또한 (선택적인) 네트워크 어댑터(715)가 상호접속부(725)를 통해 프로세서(들)(705)에 접속된다. 네트워크 어댑터(715)는 스토리지 클라이언트 및/또는 다른 스토리지 서버 등의 원격 장치와 통신하는 기능을 컴퓨터 시스템(700)에 제공하고, 예를 들어, 이더넷 어댑터 또는 파이버 채널 어댑터(Fiber Channel adapter)일 수 있다.
도 8은 현재 개시된 기술의 다양한 부분을 구현하는데 사용될 수 있는 모바일 장치(800)의 예시적인 실시예의 블록도이며, (제한되지 않지만) 방법(300, 400, 500 및 605)을 포함한다. 모바일 장치(800)는 노트북, 스마트폰, 태블릿, 캠코더, 비디오를 처리할 수 있는 다른 타입의 장치일 수 있다. 모바일 장치(800)는 데이터를 처리하는 프로세서 또는 컨트롤러(1801) 및 프로세서(801)와 통신하여 데이터를 저장 및/또는 버퍼링하는 메모리(802)를 포함한다. 예를 들어, 프로세서(801)는 중앙 처리 장치(CPU) 또는 마이크로컨트롤러 유닛(MCU)을 포함할 수 있다. 일부 구현예에서, 프로세서(801)는 필드 프로그래머블 게이트 어레이(FPGA)를 포함할 수 있다. 일부 구현예에서, 모바일 장치(1800)는 스마트폰 장치의 다양한 시각 및/또는 통신 데이터 처리 기능을 위해 그래픽 처리 유닛(GPU), 비디오 처리 유닛(VPU) 및/또는 무선 통신 장치를 포함하거나 그와 통신할 수 있다. 예를 들어, 메모리(802)는, 프로세서(801)에 의해 실행될 때 정보, 명령 및/또는 데이터의 수신, 정보 및 데이터의 처리 및 처리된 정보/데이터를 액츄에이터 또는 외부 디스플레이 등의 다른 장치로의 전송 또는 제공 등의 다양한 동작을 수행하도록 모바일 장치(800)를 구성하는 프로세서 실행 코드를 포함하고 저장할 수 있다.
모바일 장치(800)의 다양한 기능을 지원하기 위하여, 메모리(802)는, 명령, 소프트웨어, 값, 이미지 및 프로세서(802)에 의해 처리되거나 참조되는 다른 데이터 등의 정보 및 데이터를 저장할 수 있다. 예를 들어, 다양한 타입의 랜덤 액세스 메모리(RAM) 장치, 리드 온리 메모리(ROM) 장치, 플래시 메모리 장치 및 다른 적절한 저장 매체가 메모리(802)의 저장 기능을 구현하는데 사용될 수 있다. 일부 구현예에서, 모바일 장치(800)는 프로세서(801) 및/또는 메모리(802)를 다른 모듈, 유닛 또는 장치로 인터페이싱하는 입출력(I/O)유닛(803)을 포함한다. 예를 들어, I/O 유닛(1803)은 예를 들어 클라우드의 하나 이상의 컴퓨터와 사용자 장치 간의 일반적인 데이터 통신 표준에 호환되는 다양한 타입의 무선 인터페이스를 이용하기 위하여 프로세서(801) 및 메모리(802)와 인터페이싱할 수 있다. 일부 구현예에서, 모바일 장치(800)는 I/O 유닛(803)을 통한 유선 접속을 이용하여 다른 장치와 인터페이싱할 수 있다. 모바일 장치(800)는, 또한 데이터 저장 등의 다른 외부 인터페이스 및/또는 시각 또는 오디오 디스플레이 장치(804)와 인터페이싱하여, 프로세서에 의해 처리되고 메모리에 저장되고 디스플레이 장치(804) 또는 외부 장치의 출력 유닛 상에 표시될 수 있는 데이터 및 정보를 검색하고 전달할 수 있다. 예를 들어, 디스플레이 장치(804)는 블록이 움직임 보상 알고리즘을 이용하여 인코딩되는지에 기초하여 및 개시된 기술에 따라 인트라 블록 블록을 적용하는 블록(CU, PU 또는 TU)을 포함하는 비디오 프레임을 디스플레이할 수 있다.
일부 실시예에서, 비디오 디코더 장치는 여기에 기재된 인트라 블록 카피가 비디오 디코딩에 사용되는 비디오 디코딩 방법을 구현할 수 있다. 방법은 상술한 방법(300, 400, 500 및 605)을 포함한다.
일부 실시예에서, 디코더측 비디오 디코딩 방법은 움직임 보상 알고리즘을 이용하여 현재 픽쳐의 현재 블록이 디코딩되는지를 결정하고 결정에 기초하여 인트라 블록 카피를 현재 블록에 선택적으로 적용함으로써 현재 블록을 디코딩함으로써 비디오 품질을 개선하는 인트라 블록 카피를 이용할 수 있다.
다른 실시예에서, 디코더측 비디오 디코딩 방법은 인트라 블록 카피를 이용하여 현재 픽쳐의 현재 블록이 디코딩되는지를 결정하고 결정에 기초하여 움직임 보상 알고리즘을 현재 블록에 선택적으로 적용함으로써 현재 블록을 디코딩함으로써 비디오 품질을 개선하는 인트라 블록 카피를 이용할 수 있다.
일부 실시예에서, 비디오 디코딩 방법은 도 7 및 8를 참조하여 설명한 하드웨어 플랫폼 상에서 구현되는 디코딩 장치를 이용하여 구현될 수 있다.
다음은 IBC를 VVC(Versatile Video Coding)라 불리우는 비디오 코딩 표준에 대한 참조 소프트웨어인 VTM-1.0에 통합하여 측정된 개선사항이다. VTM은 VVC 테스트 모델을 나타낸다.
Over VTM-1.0 | |||||
Y | U | V | EncT | DecT | |
클래스 A1 | -0.33% | -0.50% | -0.49% | 162% | 100% |
클래스 A2 | -0.96% | -1.17% | -0.77% | 159% | 98% |
클래스 B | -0.94% | -1.14% | -1.34% | 162% | 102% |
클래스 C | -1.03% | -1.58% | -1.92% | 160% | 101% |
클래스 E | -1.48% | -1.46% | -1.80% | 160% | 104% |
전체 | -0.95% | -1.19% | -1.31% | 161% | 101% |
클래스 D | -0.57% | -0.73% | -0.91% | 161% | 100% |
클래스 F (선택적) |
-20.25% | -20.15% | -20.93% | 194% | 95% |
클래스 SCC 1080p | -52.94% | -53.26% | -53.37% | 217% | 74% |
상기 표에서, “Y”, “U”, “V”는 인간의 지각을 고려하여 칼라 이미지 또는 비디오를 인코딩하는 YUV 칼라 인코딩 시스템의 칼라를 나타낸다. EncT 및 DecT는 각각 IBC 없는 인코딩 및 디코딩 시간과 비교하여 IBC를 이용한 인코딩 및 디코딩 시간의 비율을 나타낸다. 특히
EncT = TestEncodingTime/anchorEncodingTime
DecT = TestEncodingTime/anchorEncodingTime.
클래스 A1, 클래스 A2 등의 다양한 클래스는 다양한 비디오 코딩 기술의 성능을 테스트하는데 사용되는 표준 비디오 시퀀스의 그룹을 나타낸다. “Y”, “U”, “V” 열 아래의 네가티브 백분율은 IBC가 VTM-1.0에 추가될 때의 비트 레이트 절감(bit-rate savings)을 나타낸다. 100%를 넘는 EncT 및 DecT 아래의 백분율은 IBC를 갖는 인코딩/디코딩이 IBC가 없는 인코딩/디코딩보다 얼마나 많이 느린지를 나타낸다. 예를 들어, 150%의 백분율은 IBC를 갖는 인코딩/디코딩이 IBC가 없는 인코딩/디코딩보다 50% 느리다는 것을 의미한다. 100% 미만의 백분율은 IBC를 갖는 인코딩/디코딩이 IBC가 없는 인코딩/디코딩보다 얼마나 빠른지를 의미한다. 상기 표에서 녹색으로 강조된 2개의 클래스, 즉, 클래스 F 및 클래스 SCC는 비트 레이트 절감이 3%를 초과하는 것을 나타낸다.
전술한 것으로부터, 현재 개시된 기술의 특정 실시예가 예시의 목적으로 여기에 설명되었지만, 본 발명의 범위를 벗어나지 않고 다양한 수정이 이루어질 수 있다는 것을 이해할 것이다. 따라서, 현재 개시된 기술은 첨부된 청구 범위를 제외하고는 제한되지 않는다.
이 특허 문서에 설명된 주제 및 기능적 동작의 구현은, 본 명세서에 개시된 구조 및 그들의 구조적 등가물 또는 이들 중의 하나 이상의 조합을 포함하는 다양한 시스템, 디지털 전자 회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다. 본 명세서에 설명된 주제의 구현은 하나 이상의 컴퓨터 프로그램 제품, 즉, 데이터 처리 장치에 의한 실행 또는 그의 동작의 제어를 위해 유형(tangible) 또는 비일시적(non-transitory) 컴퓨터 판독가능 매체 상에 인코딩되는 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독가능 매체는 머신-판독가능 저장 장치, 머신-판독가능 저장 기판, 메모리 장치, 머신-판독가능 전파 신호에 영향을 주는 물질의 구성 또는 그들 중의 하나 이상의 조합일 수 있다. 용어 "데이터 처리 유닛"또는 "데이터 처리 장치"는 데이터 처리를 위한 모든 장치, 디바이스 및 머신을 포함하며, 예를 들어 프로그램 가능한 프로세서, 컴퓨터 또는 다중 프로세서 또는 컴퓨터를 포함한다. 장치는 하드웨어에 더하여 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나의 조합을 구성하는 코드를 포함할 수 있다.
컴퓨터 프로그램 (프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 함)은 컴파일된 언어 또는 해석된 언어를 포함하여 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램 또는 컴퓨터 환경에서 사용되기에 적합한 모듈, 컴포넌트, 서브루틴 또는 다른 유닛으로서 임의의 형태로 배치(deploy)될 수 있다. 컴퓨터 시스템은 파일 시스템 내의 파일에 반드시 대응되는 것은 아니다. 프로그램은 다른 프로그램 또는 데이터를 보유하는 파일의 일부(예를 들어 마크업 언어 문서에 저장된 하나 이상의 스크립트) 또는 문제의 프로그램의 전용인 단일 파일 또는 다중 편성(coordinated) 파일(예를 들어, 하나 이상의 모듈, 서브 프로그램 또는 코드의 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은, 하나의 컴퓨터 또는 한 사이트에 위치하거나 다수의 사이트에 걸쳐 분배되고 통신 네트워크에 의해 상호 접속되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 명세서에 설명된 프로세스 및 로직 흐름은 입력 데이터에 대해 작동하고 출력을 생성함으로써 기능을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍가능한 프로세서에 의해 수행될 수 있다. 프로세스 및 로직 흐름은 또한 FPGA (필드 프로그래밍 가능 게이트 어레이) 또는 ASIC (애플리케이션 특정 집적 회로)와 같은 특수 목적 로직 회로로 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 및 특수 목적의 마이크로 프로세서와 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로 프로세서는 리드 온리 메모리 또는 랜덤 액세스 메모리 또는 둘 다에서 명령과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령을 수행하기위한 프로세서와 명령과 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어 자기, 광 자기 디스크 또는 광 디스크로부터 데이터를 수신하거나 데이터를 전송하거나 둘 모두를 수행하도록 동작 가능하게 결합된다. 그러나 컴퓨터가 이러한 장치를 가질 필요는 없다. 컴퓨터 프로그램 명령 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는 예를 들어 EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적 로직 회로에 의해 보완되거나 통합될 수 있다.
도면과 함께 명세서는 단지 예시적인 것으로 간주되는 것으로 의도되며, 여기서 예시는 예를 의미한다. 본 명세서에서 사용된 바와 같이, 단수 형태 "a", "an"및 "the"는 문맥이 달리 명백하게 나타내지 않는 한 복수 형태도 포함하도록 의도된다. 추가로, "또는"의 사용은 문맥이 달리 명시하지 않는 한 "및/또는"을 포함하도록 의도된다.
이 특허 문서에는 많은 세부 사항이 포함되어 있지만, 이는 임의의 발명의 범위 또는 청구 대상에 대한 제한으로 해석되어서는 안되며, 특정 발명의 특정 실시예에 특정될 수 있는 특징에 대한 설명으로 해석되어야 한다. 개별 실시예의 맥락에서 본 특허 문서에 설명된 특정 특징은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시 예의 맥락에서 설명된 다양한 특징은 또한 다중 실시 예에서 개별적으로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 더욱이, 특징이 특정 조합으로 작용하는 것으로 위에서 설명될 수 있고 심지어 처음에 그렇게 주장될 수도 있지만, 청구된 조합으로부터 하나 이상의 특징이 어떤 경우에는 조합으로부터 삭제될 수 있고, 청구된 조합은 하위 조합 또는 변형일 수 있다.
유사하게, 동작이 특정 순서로 도면에 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 그러한 동작이 도시된 특정 순서 또는 순차적인 순서로 수행되거나 모든 예시된 동작이 수행될 것을 요구하는 것으로 이해되어서는 안된다. 더욱이,이 특허 문헌에 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안된다.
단지 몇 가지 구현예 및 예가 설명되었고, 본 특허 문서에 설명되고 예시된 것에 기초하여 다른 구현예, 향상 및 변형이 이루어질 수 있다.
Claims (28)
- 시각 정보를 디코딩하는 방법으로서,
코딩된 표현(coded representation)으로부터 상기 시각 정보의 일부를 나타내는 디코딩될 블록이 ATMVP(alternative temporal motion vector prediction) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계;
디코딩될 블록의 공간적으로 인접한 블록이 인트라 블록 카피(intra-block copy; IBC) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계;
상기 공간적으로 인접한 블록이 상기 디코딩될 블록에 대한 시간적 벡터를 유도하는 움직임 벡터를 제공할 수 없다고 결정하는 단계; 및
상기 디코딩될 블록에 대한 시간적 벡터를 유도하는 상기 움직임 벡터를 제공하도록 상기 공간적으로 이웃하는 블록의 사용을 배제하고, 상기 ATMVP 코딩 기술에 대응하는 ATMVP 디코딩 기술을 이용함으로써, 상기 코딩된 표현을 디코딩하는 단계를 포함하는 디코딩 방법. - 시각 정보를 디코딩하는 방법으로서,
코딩된 표현(coded representation)으로부터 상기 시각 정보의 일부를 나타내는 디코딩될 블록이 ATMVP(alternative temporal motion vector prediction) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계;
참조 픽쳐 내의 동일 위치의 블록(collocated block)이 인트라 블록 카피(intra-block copy; IBC) 코딩 기술을 이용하여 코딩된 것으로 결정하는 단계;
상기 참조 픽쳐 내의 동일 위치의 블록이 상기 디코딩될 블록의 서브 블록에 대한 움직임 벡터를 유도하는데 사용될 수 없다고 결정하는 단계; 및
상기 디코딩될 블록의 서브 블록에 대한 시간적 움직임 벡터 후보를 제공하도록 상기 참조 픽쳐 내의 동일 위치의 블록의 사용을 배제하고, 상기 ATMVP 코딩 기술에 대응하는 ATMVP 디코딩 기술을 이용함으로써, 상기 코딩된 표현을 디코딩하는 단계를 포함하는 디코딩 방법. - 제1항 내지 제2항에 있어서,
상기 인코딩된 시각 정보로부터 제1 픽쳐의 인코딩을 나타내는 복수의 블록을 얻는 단계;
상기 복수의 블록의 초기 블록을 디코딩하는 단계; 및
상기 초기 블록의 디코딩 시에, 디코딩의 결과에 기초하여 상기 복수의 블록의 나머지의 제1 블록을 디코딩하는 단계를 포함하는 디코딩 방법. - 제1항 내지 제3항에 있어서,
상기 인코딩된 시각 정보로부터 제2 픽쳐의 인코딩을 나타내는 복수의 블록을 얻는 단계;
상기 제2 픽쳐의 인코딩을 나타내는 복수의 블록의 디코딩될 블록에 대한 2단계 프로세스를 수행함으로써, ATMVP 디코딩 기술을 이용하여 상기 시각 정보와 연관된 상기 제2 픽쳐의 인코딩을 디코딩하는 단계를 포함하고,
상기 2단계 프로세스는,
상기 2단계 프로세스의 제1 단계에서, 상기 인코딩된 시각 정보의 디코딩된 참조 픽쳐, 상기 디코딩될 블록에 대응하는 상기 참조 픽쳐의 디코딩된 대응 블록, 상기 공간적으로 이웃한 블록의 움직임 벡터를 포함하는 시간적 벡터를 얻는 단계- 여기서, 상기 공간적으로 이웃하는 블록은 상기 디코딩될 블록의 공간적 이웃임 -;
상기 2단계 프로세스의 제2 단계에서, 상기 디코딩될 블록을 나타내는 복수의 서브 블록을 얻고, 상기 복수의 서브 블록의 각각의 서브 블록에 대하여 상기 시각 정보의 참조 픽쳐에서 대응되는 서브 블록을 식별하고, 상기 대응 서브 블록의 움직임 벡터를 얻고, 상기 대응 서브 블록의 상기 움직임 벡터에 기반하여 상기 복수의 서브 블록의 각각의 서브 블록에 대한 움직임 벡터를 유도하는 단계; 및
상기 서브 블록의 움직임 벡터 및 상기 시각 정보의 참조 픽쳐의 대응 서브 블록에 기반하여 상기 복수의 서브 블록을 디코딩하는 단계를 포함하는 디코딩 방법. - 제4항에 있어서,
상기 공간적으로 이웃하는 블록이 상기 IBC 코딩 기술을 이용하여 인코딩되지 않는 것으로 간주하는 단계를 포함하는 디코딩 방법. - 제4항 내지 제5항에 있어서,
상기 ATMVP 디코딩 기술의 제1 단계에서 사용하기 위해 상기 공간적으로 이웃하는 블록이 이용불가능하거나 인트라 코딩된 것임을 지정하는 지시자를 디코딩하는 단계를 포함하는 디코딩 방법. - 제4항 내지 제6항에 있어서,
상기 ATMVP 디코딩 기술의 제2 단계에서 사용하기 위해 상기 대응 서브 블록이 이용불가능하거나 인트라 코딩된 것임을 지정하는 지시자를 디코딩하는 단계를 포함하는 디코딩 방법. - 제4항 내지 제5항에 있어서,
상기 ATMVP 디코딩 기술의 제1 단계에서 상기 공간적으로 이웃하는 블록이 인트라 코딩 기술을 이용함을 지정하는 지시자를 디코딩하는 단계를 포함하는 디코딩 방법. - 제4항 내지 제5항에 있어서,
상기 ATMVP 디코딩 기술의 제2 단계에서 상기 대응 서브 블록이 인트라 코딩 기술을 이용함을 지정하는 지시자를 디코딩하는 단계를 포함하는 디코딩 방법. - 제1항 내지 제9항에 있어서,
상기 디코딩될 블록의 대응 블록이 IBC 코딩 기술을 이용하여 인코딩된 경우, 상기 대응 서브 블록의 움직임 벡터를 스케일링하지 않고 상기 대응 서브 블록의 움직임 벡터를 상기 디코딩될 블록의 서브 블록으로 카피하는 단계를 포함하는 디코딩 방법. - 제4항에 있어서,
상기 대응 블록이 상기 IBC 코딩 기술을 이용하여 인코딩되었음을 나타내는 상기 대응 블록과 연관된 지시자를 디코딩하는 단계; 및
상기 제2 픽쳐를 상기 참조 픽쳐로서 이용하여 상기 디코딩될 블록을 디코딩하는 단계를 포함하는 디코딩 방법. - 제4항 내지 제11항에 있어서,
상기 대응 서브 블록이 상기 IBC 코딩 기술을 이용하여 인코딩되었음을 나타내는 상기 대응 서브 블록과 연관된 지시자를 디코딩하는 단계; 및
상기 IBC 코딩 기술을 이용하여 인코딩된 상기 대응 서브 블록을 이용하여 상기 서브 블록을 디코딩하는 단계를 포함하는 디코딩 방법. - 제4항에 있어서,
상기 디코딩될 블록의 대응 블록이 IBC 코딩 기술을 이용하여 인코딩된 경우, 상기 대응 서브 블록의 움직임 벡터를 스케일링하지 않고 상기 대응 서브 블록의 움직임 벡터를 상기 디코딩될 블록의 서브 블록으로 카피하는 단계를 포함하는 디코딩 방법. - 제13항에 있어서,
상기 참조 픽쳐를 상기 디코딩될 블록을 포함하는 상기 제2 픽쳐로 변경하는 단계를 포함하는 디코딩 방법. - 제4항에 있어서,
상기 IBC 인코딩 기술을 이용하여 인코딩된 적어도 하나의 대응 서브 블록의 움직임 벡터에 기반하여 디코딩될 블록의 서브 블록의 움직임 벡터를 유도하는 단계를 포함하는 디코딩 방법. - 시각 정보를 인코딩하는 방법으로서,
상기 시각 정보를 복수의 인코딩 픽쳐 및 적용된 하나 이상의 인코딩 기술을 시그널링하는 복수의 지시자로 인코딩하는 단계를 포함하고,
상기 복수의 지시자는 인트라 블록 카피(IBC) 기술(technique) 지시자 및 ATMVP 기술 지시자를 포함하며,
상기 시각 정보와 연관된 제1 픽쳐의 제1 블록은 상기 IBC 기술을 이용하여 인코딩되고,
상기 시각 정보와 연관된 제2 픽쳐의 제2 블록은 ATMVP 기술을 이용하여 인코딩되고,
상기 IBC 기술은 상기 제1 픽쳐의 제1 블록을 인코딩하기 위하여 상기 제1 픽쳐의 다른 블록을 이용하고,
상기 ATMVP 기술은 상기 제 2 픽쳐를 인코딩 하기 위하여 상기 시각 정보와 연관된 제3 픽쳐를 이용하는 인코딩 방법. - 제16항에 있어서,
상기 제1 픽쳐를 복수의 블록으로 분할하는 단계;
상기 복수의 블록의 초기 블록을 인코딩하는 단계; 및
상기 초기 블록의 인코딩시, 상기 초기 블록에 기반하여 상기 복수의 블록의 제1 블록을 인코딩하는 단계를 포함하는 인코딩 방법. - 제16항 내지 제17항에 있어서,
상기 제2 픽쳐를 인코딩될 블록을 포함하는 복수의 블록으로 분할하고 2단계 프로세스를 수행함으로써 상기 ATMVP 기술을 이용하여 상기 시각 정보와 연관된 제2 픽쳐를 인코딩하는 단계를 포함하고,
상기 2단계 프로세스는
상기 2단계 프로세스의 제1 단계에서, 상기 시각 정보의 참조 픽쳐, 상기 인코딩될 블록에 대응하는 상기 참조 픽쳐의 대응 블록 및 공간적으로 이웃한 블록의 움직임 벡터를 포함하는 시간적 벡터를 식별하는 단계 -여기서, 상기 공간적으로 인접한 블록은 인코딩될 블록의 공간적 이웃임 -;
상기 2단계 프로세스의 제2 단계에서, 상기 인코딩될 블록을 복수의 서브 블록으로 분할(split)하고, 상기 복수의 서브 블록의 각각의 서브 블록에 대하여 상기 시각 정보의 참조 픽쳐의 대응 서브 블록을 식별하고, 상기 대응 서브 블록의 움직임 벡터를 얻고, 상기 대응 서브 블록의 상기 움직임 벡터에 기반하여 상기 복수의 서브 블록의 각각의 서브 블록에 대한 움직임 벡터를 유도하는 단계; 및
상기 서브 블록의 움직임 벡터 및 상기 시각 정보의 참조 픽쳐의 대응 서브 블록에 기초하여 상기 복수의 서브 블록의 서브 블록을 인코딩하는 단계를 포함하는 인코딩 방법. - 제18항에 있어서,
상기 공간적으로 이웃하는 블록은 IBC 기술을 이용하여 인코딩되지 않는 것을 요구하는 단계를 포함하는 인코딩 방법. - 제18항 내지 제19항에 있어서,
상기 인코딩될 블록의 공간적으로 이웃하는 블록이 IBC 기술을 이용하여 인코딩되는 경우, ATMVP 기술의 제1 단계에서 사용하기 위하여 상기 공간적으로 이웃하는 블록을 이용불가능하거나 인트라 코딩된 것으로 지정하는 지시자를 인코딩하는 단계를 포함하는 인코딩 방법. - 제18항 내지 제20항에 있어서,
상기 시각 정보의 참조 픽쳐가 IBC 기술을 이용하여 인코딩되는 경우, 상기 ATMVP 기술의 제2 단계에서 사용하기 위해 상기 대응 서브 블록을 이용불가능하거나 인트라 코딩된 것으로 지정하는 지시자를 인코딩하는 단계를 포함하는 인코딩 방법. - 제18항 내지 제19항에 있어서,
상기 인코딩될 블록의 공간적으로 이웃하는 블록이 IBC 기술을 이용하여 인코딩되는 경우, 상기 ATMVP 디코딩 기술의 제1 단계에서 사용하기 위하여 상기 공간적으로 이웃하는 블록을 인트라 코딩된 것으로 지정하는 지시자를 인코딩하는 단계를 포함하는 인코딩 방법. - 제18항 내지 제22항에 있어서,
상기 시각 정보의 참조 픽쳐가 IBC 기술을 이용하여 인코딩되는 경우, 상기 ATMVP 디코딩 기술의 제2 단계에서 사용하기 위하여 상기 대응 서브 블록이 인트라 코딩된 것으로 지정하는 지시자를 인코딩하는 단계를 포함하는 인코딩 방법. - 제18항에 있어서,
상기 인코딩될 블록의 대응 블록이 IBC 코딩 기술을 이용하여 인코딩되는 경우, 상기 대응 서브 블록의 움직임 벡터를 스케일링하지 않고 상기 대응 서브 블록의 움직임 벡터를 상기 인코딩될 블록의 서브 블록으로 카피하는 단계를 포함하는 인코딩 방법. - 제24항에 있어서,
상기 참조 픽쳐를 상기 인코딩될 블록을 포함하는 제2 픽쳐로 변경하는 단계를 포함하는 인코딩 방법. - 제18항 내지 제25항에 있어서,
상기 IBC 인코딩 기술을 이용하여 인코딩된 적어도 하나의 대응 서브 블록의 움직임 벡터에 기반하여 인코딩될 블록의 서브 블록의 움직임 벡터를 유도하는 단계를 포함하는 인코딩 방법. - 제1항 내지 제26항 중 적어도 하나 이상의 항에 기재된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 프로세싱 장치.
- 제1항 내지 제26항 중 적어도 하나 이상의 항에 기재된 방법을 프로세서에 의한 실행에 의하여 상기 프로세서가 구현하도록 하는 코드가 저장된 컴퓨터 판독가능 기록매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018089920 | 2018-06-05 | ||
CNPCT/CN2018/089920 | 2018-06-05 | ||
PCT/IB2019/054611 WO2019234606A1 (en) | 2018-06-05 | 2019-06-04 | Interaction between ibc and atmvp |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210016581A true KR20210016581A (ko) | 2021-02-16 |
Family
ID=67185524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020207037940A KR20210016581A (ko) | 2018-06-05 | 2019-06-04 | Ibc 및 atmvp 간의 상호 작용 |
Country Status (8)
Country | Link |
---|---|
US (10) | US20200396465A1 (ko) |
EP (1) | EP3788787A1 (ko) |
JP (3) | JP7104186B2 (ko) |
KR (1) | KR20210016581A (ko) |
CN (11) | CN115442612A (ko) |
GB (4) | GB2588004B (ko) |
TW (8) | TWI708504B (ko) |
WO (8) | WO2019234598A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022169292A1 (ko) | 2021-02-05 | 2022-08-11 | 주식회사 엘지에너지솔루션 | 이차전지용 테이프의 부착 장치 및 이를 이용한 부착 방법 |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019234598A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between ibc and stmvp |
WO2019244051A1 (en) | 2018-06-19 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Selected mvd precision without mvp truncation |
TWI729422B (zh) | 2018-06-21 | 2021-06-01 | 大陸商北京字節跳動網絡技術有限公司 | 色彩分量間的子區塊移動向量繼承 |
WO2019244117A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Unified constrains for the merge affine mode and the non-merge affine mode |
SG11202100434TA (en) * | 2018-07-17 | 2021-02-25 | Huawei Tech Co Ltd | Motion model signaling |
TW202017377A (zh) | 2018-09-08 | 2020-05-01 | 大陸商北京字節跳動網絡技術有限公司 | 視頻編碼和解碼中的仿射模式 |
KR20210052464A (ko) * | 2018-09-14 | 2021-05-10 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 부호화 장치, 복호 장치, 부호화 방법, 및 복호 방법 |
WO2020058888A1 (en) | 2018-09-19 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Mode dependent adaptive motion vector resolution for affine mode coding |
WO2020058958A1 (en) | 2018-09-23 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Construction for motion candidates list |
TWI835864B (zh) | 2018-09-23 | 2024-03-21 | 大陸商北京字節跳動網絡技術有限公司 | 簡化的空時運動矢量預測 |
CN110944181B (zh) | 2018-09-23 | 2023-03-10 | 北京字节跳动网络技术有限公司 | 仿射模型的多个假设 |
TWI834727B (zh) | 2018-09-23 | 2024-03-11 | 大陸商北京字節跳動網絡技術有限公司 | 從仿射運動預測的非仿射塊 |
GB2591906B (en) | 2018-09-24 | 2023-03-08 | Beijing Bytedance Network Tech Co Ltd | Bi-prediction with weights in video coding and decoding |
US11317099B2 (en) | 2018-10-05 | 2022-04-26 | Tencent America LLC | Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction |
CN111083485B (zh) | 2018-10-22 | 2024-08-02 | 北京字节跳动网络技术有限公司 | 仿射模式的运动信息的利用 |
EP3788779A4 (en) * | 2018-10-23 | 2022-03-02 | Tencent America LLC | VIDEO CODING METHOD AND APPARATUS |
WO2020094150A1 (en) | 2018-11-10 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Rounding in current picture referencing |
CN113228635B (zh) | 2018-11-13 | 2024-01-05 | 北京字节跳动网络技术有限公司 | 用于帧内块复制的运动候选列表构建方法 |
CN112997487B (zh) | 2018-11-15 | 2024-07-09 | 北京字节跳动网络技术有限公司 | 仿射模式与其他帧间编解码工具之间的协调 |
CN113039802B (zh) | 2018-11-16 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 基于历史的仿射参数的使用 |
CN113039796B (zh) | 2018-11-17 | 2023-09-19 | 北京字节跳动网络技术有限公司 | 视频处理中的广义双向预测模式 |
JP7212161B2 (ja) | 2018-11-29 | 2023-01-24 | 北京字節跳動網絡技術有限公司 | イントラブロックコピーモードとインター予測ツールとの間の相互作用 |
WO2020112620A2 (en) * | 2018-11-29 | 2020-06-04 | Interdigital Vc Holdings, Inc. | Motion vector predictor candidates ordering in merge list |
CN113170110B (zh) | 2018-12-03 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 候选的最大数量的指示方法 |
WO2020125750A1 (en) | 2018-12-21 | 2020-06-25 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector precision in merge with motion vector difference mode |
CN113170195B (zh) | 2018-12-22 | 2024-09-03 | 北京字节跳动网络技术有限公司 | 具有双树分割的帧内块复制模式 |
WO2020143774A1 (en) | 2019-01-10 | 2020-07-16 | Beijing Bytedance Network Technology Co., Ltd. | Merge with mvd based on geometry partition |
CN118118659A (zh) | 2019-01-31 | 2024-05-31 | 北京字节跳动网络技术有限公司 | 记录仿射模式自适应运动矢量分辨率的上下文 |
WO2020156548A1 (en) | 2019-02-02 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Buffer updating for intra block copy in video coding |
KR20240117647A (ko) | 2019-02-02 | 2024-08-01 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리 |
CN117714694A (zh) | 2019-02-17 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 处理视频数据的方法、装置和计算机可读记录介质 |
CN113491125A (zh) | 2019-02-22 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 基于历史的仿射模式子表 |
CN113519158B (zh) | 2019-03-01 | 2024-06-18 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的块矢量表示 |
CN117395439A (zh) | 2019-03-01 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的基于方向的预测 |
CN117640927A (zh) | 2019-03-04 | 2024-03-01 | 北京字节跳动网络技术有限公司 | 视频编解码中的帧内块复制中的实施方式方面 |
KR20230165888A (ko) | 2019-04-02 | 2023-12-05 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 양방향 광학 흐름 기반 비디오 코딩 및 디코딩 |
CN113711609B (zh) | 2019-04-19 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程中的增量运动矢量 |
CN113711608B (zh) | 2019-04-19 | 2023-09-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程的适用性 |
EP3922015A4 (en) | 2019-04-19 | 2022-07-20 | Beijing Bytedance Network Technology Co., Ltd. | GRADIENT CALCULATION IN VARIOUS MOTION VECTOR REFINEMENTS |
KR20230170800A (ko) | 2019-07-06 | 2023-12-19 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼 |
BR112022000358A2 (pt) | 2019-07-10 | 2022-05-10 | Beijing Bytedance Network Tech Co Ltd | Método e aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador |
EP3981146A4 (en) | 2019-07-11 | 2022-08-03 | Beijing Bytedance Network Technology Co., Ltd. | BITSTREAM CONFORMITY RESTRICTIONS FOR INTRA-BLOCK COPY IN VIDEO ENCODING |
KR20220036936A (ko) | 2019-07-25 | 2022-03-23 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 인트라 블록 복사 가상 버퍼에 대한 크기 제한 |
AU2020316548A1 (en) | 2019-07-25 | 2022-02-24 | Beijing Bytedance Network Technology Co., Ltd. | Mapping restriction for intra-block copy virtual buffer |
CN117579825A (zh) | 2019-09-05 | 2024-02-20 | 北京字节跳动网络技术有限公司 | 帧内块复制模式下块矢量的范围约束 |
CN114365488A (zh) | 2019-09-09 | 2022-04-15 | 北京字节跳动网络技术有限公司 | 视频编解码块的递归划分 |
CN117459723A (zh) | 2019-09-23 | 2024-01-26 | 北京字节跳动网络技术有限公司 | 基于虚拟管线数据单元设置帧内块复制虚拟缓冲区 |
CN115362674A (zh) | 2020-03-18 | 2022-11-18 | 抖音视界有限公司 | 帧内块复制缓冲区和调色板预测值更新 |
KR20240027894A (ko) * | 2020-04-08 | 2024-03-04 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 비디오 코딩에서의 신택스 요소들의 시그널링을 위한 방법 및 장치 |
CN113709458B (zh) * | 2020-05-22 | 2023-08-29 | 腾讯科技(深圳)有限公司 | 视频编解码中的位移矢量预测方法、装置及设备 |
US20220201315A1 (en) * | 2020-12-22 | 2022-06-23 | Qualcomm Incorporated | Multi-pass decoder-side motion vector refinement |
CN113038131B (zh) * | 2021-03-15 | 2023-04-07 | 北京奇艺世纪科技有限公司 | 视频编码方法、装置、计算机设备和存储介质 |
CN117597923A (zh) * | 2021-04-09 | 2024-02-23 | 交互数字Ce专利控股有限公司 | 用于视频编码和解码的利用模板匹配的帧内块复制 |
CN118355659A (zh) * | 2021-09-25 | 2024-07-16 | 抖音视界有限公司 | 用于视频处理的方法、装置和介质 |
WO2023132615A1 (ko) * | 2022-01-04 | 2023-07-13 | 현대자동차주식회사 | 쌍 머지 후보들을 생성하여 머지 후보 리스트를 구성하는 비디오 부호화/복호화 방법 및 장치 |
US12095984B2 (en) * | 2022-02-07 | 2024-09-17 | Tencent America LLC | Sub-block based constraint on bi-prediction for out-of-boundary conditions |
US20240137552A1 (en) * | 2022-10-10 | 2024-04-25 | Tencent America LLC | Method and apparatus for extended decoder side motion vector refinement |
US20240179301A1 (en) * | 2022-11-18 | 2024-05-30 | Comcast Cable Communications, Llc | Improved Prediction with Local Illumination Compensation |
WO2024140965A1 (en) * | 2022-12-29 | 2024-07-04 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
Family Cites Families (236)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08186825A (ja) | 1994-12-28 | 1996-07-16 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出方法 |
KR100624355B1 (ko) | 1999-04-26 | 2006-09-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간 |
JP2005535028A (ja) | 2002-07-31 | 2005-11-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメント化のためのシステムおよびセグメント化方法 |
KR100985366B1 (ko) | 2002-11-25 | 2010-10-04 | 파나소닉 주식회사 | 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법 |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
CN100344163C (zh) | 2004-06-16 | 2007-10-17 | 华为技术有限公司 | 视频编解码处理方法 |
CN1777283A (zh) | 2004-12-31 | 2006-05-24 | 上海广电(集团)有限公司 | 一种基于微块的视频信号编/解码方法 |
US8954943B2 (en) | 2006-01-26 | 2015-02-10 | International Business Machines Corporation | Analyze and reduce number of data reordering operations in SIMD code |
JP4826315B2 (ja) | 2006-03-31 | 2011-11-30 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US8184715B1 (en) | 2007-08-09 | 2012-05-22 | Elemental Technologies, Inc. | Method for efficiently executing video encoding operations on stream processor architectures |
EP2223527A1 (en) * | 2007-12-21 | 2010-09-01 | Telefonaktiebolaget LM Ericsson (publ) | Adaptive intra mode selection |
CN101605255B (zh) * | 2008-06-12 | 2011-05-04 | 华为技术有限公司 | 一种视频编解码的方法及装置 |
US20110002386A1 (en) | 2009-07-06 | 2011-01-06 | Mediatek Singapore Pte. Ltd. | Video encoder and method for performing intra-prediction and video data compression |
JP5234368B2 (ja) | 2009-09-30 | 2013-07-10 | ソニー株式会社 | 画像処理装置および方法 |
JP2011147049A (ja) | 2010-01-18 | 2011-07-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
EP2532159A1 (en) | 2010-02-05 | 2012-12-12 | Telefonaktiebolaget L M Ericsson (PUBL) | Selecting predicted motion vector candidates |
KR101630688B1 (ko) | 2010-02-17 | 2016-06-16 | 삼성전자주식회사 | 움직임 예측 장치 및 방법과 영상 처리 장치 |
CN101895751B (zh) * | 2010-07-06 | 2012-02-08 | 北京大学 | 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统 |
WO2012045225A1 (en) | 2010-10-06 | 2012-04-12 | Intel Corporation | System and method for low complexity motion vector derivation |
CN102685479A (zh) | 2011-03-11 | 2012-09-19 | 华为技术有限公司 | 视频编解码处理方法和装置 |
EP3627839B1 (en) | 2011-03-21 | 2021-10-20 | LG Electronics Inc. | Method for selecting motion vector predictor |
US20120287999A1 (en) | 2011-05-11 | 2012-11-15 | Microsoft Corporation | Syntax element prediction in error correction |
KR101539312B1 (ko) | 2011-05-27 | 2015-07-24 | 미디어텍 인크. | 비디오 프로세싱에 대한 라인 버퍼 감소를 위한 방법 및 장치 |
US9866859B2 (en) | 2011-06-14 | 2018-01-09 | Texas Instruments Incorporated | Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding |
GB201113527D0 (en) | 2011-08-04 | 2011-09-21 | Imagination Tech Ltd | External vectors in a motion estimation system |
WO2013032073A1 (ko) | 2011-08-29 | 2013-03-07 | 주식회사 아이벡스피티홀딩스 | Amvp 모드에서의 예측 블록 생성 방법 |
EP2752001A4 (en) | 2011-08-30 | 2015-04-15 | Nokia Corp | APPARATUS, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING |
EP3754982B1 (en) * | 2011-09-29 | 2024-05-01 | SHARP Kabushiki Kaisha | Image decoding device, image decoding method, image encoding method and image encoding device for performing bi-prediction to uni-prediction conversion |
JP5768662B2 (ja) | 2011-10-31 | 2015-08-26 | 富士通株式会社 | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム |
JP2013098933A (ja) | 2011-11-04 | 2013-05-20 | Sony Corp | 画像処理装置および方法 |
CN107071435A (zh) | 2011-11-08 | 2017-08-18 | 株式会社Kt | 对视频信号进行解码的方法 |
KR20230175325A (ko) * | 2011-11-11 | 2023-12-29 | 엘지전자 주식회사 | 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치 |
JP5895469B2 (ja) | 2011-11-18 | 2016-03-30 | 富士通株式会社 | 動画像符号化装置、および動画像復号装置 |
US9350992B2 (en) * | 2011-11-18 | 2016-05-24 | Google Technology Holdings LLC | Explicit way for signaling a collocated picture for high efficiency video coding |
KR20130058524A (ko) | 2011-11-25 | 2013-06-04 | 오수미 | 색차 인트라 예측 블록 생성 방법 |
US9451252B2 (en) | 2012-01-14 | 2016-09-20 | Qualcomm Incorporated | Coding parameter sets and NAL unit headers for video coding |
EP2806635A4 (en) | 2012-01-18 | 2015-12-02 | Korea Electronics Telecomm | METHOD AND DEVICE FOR ENCODING AND DECODING AN IMAGE |
US9503720B2 (en) * | 2012-03-16 | 2016-11-22 | Qualcomm Incorporated | Motion vector coding and bi-prediction in HEVC and its extensions |
US9325991B2 (en) | 2012-04-11 | 2016-04-26 | Qualcomm Incorporated | Motion vector rounding |
WO2013152736A1 (en) | 2012-04-12 | 2013-10-17 | Mediatek Singapore Pte. Ltd. | Method and apparatus for block partition of chroma subsampling formats |
EP2847996B1 (en) * | 2012-05-09 | 2020-10-07 | Sun Patent Trust | Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof |
US20130329007A1 (en) | 2012-06-06 | 2013-12-12 | Qualcomm Incorporated | Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding |
CN104396242B (zh) * | 2012-06-29 | 2017-12-19 | 瑞典爱立信有限公司 | 对包括参考图片集的视频序列进行编码和解码 |
US10200710B2 (en) | 2012-07-02 | 2019-02-05 | Samsung Electronics Co., Ltd. | Motion vector prediction method and apparatus for encoding or decoding video |
US9900593B2 (en) | 2012-08-29 | 2018-02-20 | Vid Scale, Inc. | Method and apparatus of motion vector prediction for scalable video coding |
US9491461B2 (en) | 2012-09-27 | 2016-11-08 | Qualcomm Incorporated | Scalable extensions to HEVC and temporal motion vector prediction |
EP2901692A4 (en) | 2012-09-28 | 2016-04-13 | Intel Corp | PREDICTING SAMPLES OF INTERLAYER PIXELS |
AU2012232992A1 (en) | 2012-09-28 | 2014-04-17 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the transform units of a coding unit |
KR102257542B1 (ko) * | 2012-10-01 | 2021-05-31 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
US9615089B2 (en) * | 2012-12-26 | 2017-04-04 | Samsung Electronics Co., Ltd. | Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction |
US9294777B2 (en) | 2012-12-30 | 2016-03-22 | Qualcomm Incorporated | Progressive refinement with temporal scalability support in video coding |
US9674542B2 (en) | 2013-01-02 | 2017-06-06 | Qualcomm Incorporated | Motion vector prediction for video coding |
US20140254678A1 (en) | 2013-03-11 | 2014-09-11 | Aleksandar Beric | Motion estimation using hierarchical phase plane correlation and block matching |
US9521425B2 (en) | 2013-03-19 | 2016-12-13 | Qualcomm Incorporated | Disparity vector derivation in 3D video coding for skip and direct modes |
US9491460B2 (en) | 2013-03-29 | 2016-11-08 | Qualcomm Incorporated | Bandwidth reduction for video coding prediction |
WO2014166116A1 (en) | 2013-04-12 | 2014-10-16 | Mediatek Inc. | Direct simplified depth coding |
CA2909550C (en) | 2013-07-15 | 2018-04-24 | Mediatek Singapore Pte. Ltd. | Method of disparity derived depth coding in 3d video coding |
US9628795B2 (en) | 2013-07-17 | 2017-04-18 | Qualcomm Incorporated | Block identification using disparity vector in video coding |
WO2015006967A1 (en) | 2013-07-19 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Simplified view synthesis prediction for 3d video coding |
WO2015010317A1 (zh) | 2013-07-26 | 2015-01-29 | 北京大学深圳研究生院 | 一种基于p帧的多假设运动补偿方法 |
WO2015010319A1 (zh) | 2013-07-26 | 2015-01-29 | 北京大学深圳研究生院 | 一种基于p帧的多假设运动补偿编码方法 |
AU2013228045A1 (en) * | 2013-09-13 | 2015-04-02 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
US9667996B2 (en) | 2013-09-26 | 2017-05-30 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
US9762927B2 (en) | 2013-09-26 | 2017-09-12 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
CN103561263B (zh) * | 2013-11-06 | 2016-08-24 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于运动矢量约束和加权运动矢量的运动补偿预测方法 |
WO2015093449A1 (ja) | 2013-12-19 | 2015-06-25 | シャープ株式会社 | マージ候補導出装置、画像復号装置及び画像符号化装置 |
TWI536811B (zh) * | 2013-12-27 | 2016-06-01 | 財團法人工業技術研究院 | 影像處理方法與系統、解碼方法、編碼器與解碼器 |
WO2015100726A1 (en) * | 2014-01-03 | 2015-07-09 | Microsoft Corporation | Block vector prediction in video and image coding/decoding |
WO2015109598A1 (en) | 2014-01-27 | 2015-07-30 | Mediatek Singapore Pte. Ltd. | Methods for motion parameter hole filling |
US10257531B2 (en) | 2014-03-19 | 2019-04-09 | Kt Corporation | Method and apparatus for processing multiview video signals based on illumination compensation and inter-view motion candidate |
CN106464905B (zh) | 2014-05-06 | 2019-06-07 | 寰发股份有限公司 | 用于块内复制模式编码的块向量预测方法 |
US20150373362A1 (en) * | 2014-06-19 | 2015-12-24 | Qualcomm Incorporated | Deblocking filter design for intra block copy |
US10327002B2 (en) * | 2014-06-19 | 2019-06-18 | Qualcomm Incorporated | Systems and methods for intra-block copy |
CN105493505B (zh) | 2014-06-19 | 2019-08-06 | 微软技术许可有限责任公司 | 统一的帧内块复制和帧间预测模式 |
US20150373343A1 (en) | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Representation format update in multi-layer codecs |
WO2016008157A1 (en) | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
CN105282558B (zh) * | 2014-07-18 | 2018-06-15 | 清华大学 | 帧内像素预测方法、编码方法、解码方法及其装置 |
US10412387B2 (en) * | 2014-08-22 | 2019-09-10 | Qualcomm Incorporated | Unified intra-block copy and inter-prediction |
CN107079161B (zh) * | 2014-09-01 | 2020-11-20 | 寰发股份有限公司 | 用于屏幕内容以及视频编码的帧内图片块复制的方法 |
WO2016040116A1 (en) | 2014-09-11 | 2016-03-17 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
JP2017532885A (ja) * | 2014-09-26 | 2017-11-02 | ヴィド スケール インコーポレイテッド | 時間ブロックベクトル予測を用いたイントラブロックコピー符号化 |
US9918105B2 (en) | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
US10212445B2 (en) * | 2014-10-09 | 2019-02-19 | Qualcomm Incorporated | Intra block copy prediction restrictions for parallel processing |
CN111741311B (zh) * | 2014-10-31 | 2024-04-02 | 三星电子株式会社 | 用于对运动矢量进行编码/解码的方法和装置 |
EP3202143B8 (en) | 2014-11-18 | 2019-09-25 | MediaTek Inc. | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
WO2016090568A1 (en) | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Binary tree block partitioning structure |
US11477477B2 (en) * | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
EP3251353A1 (en) | 2015-01-29 | 2017-12-06 | VID SCALE, Inc. | Palette coding modes and palette flipping |
JP2018050091A (ja) | 2015-02-02 | 2018-03-29 | シャープ株式会社 | 画像復号装置、画像符号化装置および予測ベクトル導出装置 |
WO2016138513A1 (en) * | 2015-02-27 | 2016-09-01 | Arris Enterprises, Inc. | Modification of unification of intra block copy and inter signaling related syntax and semantics |
US10958927B2 (en) * | 2015-03-27 | 2021-03-23 | Qualcomm Incorporated | Motion information derivation mode determination in video coding |
WO2016165069A1 (en) * | 2015-04-14 | 2016-10-20 | Mediatek Singapore Pte. Ltd. | Advanced temporal motion vector prediction in video coding |
CN107534773B (zh) | 2015-04-29 | 2020-07-03 | 寰发股份有限公司 | 一种编解码视频数据的方法及装置 |
US20160337662A1 (en) * | 2015-05-11 | 2016-11-17 | Qualcomm Incorporated | Storage and signaling resolutions of motion vectors |
CN109005407B (zh) | 2015-05-15 | 2023-09-01 | 华为技术有限公司 | 视频图像编码和解码的方法、编码设备和解码设备 |
CN107637057A (zh) * | 2015-06-03 | 2018-01-26 | 联发科技股份有限公司 | 图像和视频数据的调色板编解码方法 |
TWI694714B (zh) * | 2015-06-08 | 2020-05-21 | 美商Vid衡器股份有限公司 | 螢幕內容編碼區塊內複製模式 |
GB2539213A (en) * | 2015-06-08 | 2016-12-14 | Canon Kk | Schemes for handling an AMVP flag when implementing intra block copy coding mode |
US10148977B2 (en) * | 2015-06-16 | 2018-12-04 | Futurewei Technologies, Inc. | Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions |
WO2017016468A1 (en) | 2015-07-27 | 2017-02-02 | Mediatek Inc. | Method of system for video coding using intra block copy mode |
JP6320440B2 (ja) | 2015-08-04 | 2018-05-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ信号のための信号再構成 |
CN107925758B (zh) * | 2015-08-04 | 2022-01-25 | Lg 电子株式会社 | 视频编译系统中的帧间预测方法和设备 |
EP3334158A4 (en) | 2015-08-07 | 2019-03-20 | LG Electronics Inc. | METHOD AND DEVICE FOR INTERPRETING IN A VIDEO CODING SYSTEM |
US10467735B2 (en) | 2015-08-25 | 2019-11-05 | Interdigital Vc Holdings, Inc. | Inverse tone mapping based on luminance zones |
CN107925775A (zh) * | 2015-09-02 | 2018-04-17 | 联发科技股份有限公司 | 基于双向预测光流技术的视频编解码的运动补偿方法及装置 |
WO2017041271A1 (en) | 2015-09-10 | 2017-03-16 | Mediatek Singapore Pte. Ltd. | Efficient context modeling for coding a block of data |
US10375413B2 (en) * | 2015-09-28 | 2019-08-06 | Qualcomm Incorporated | Bi-directional optical flow for video coding |
CN106559669B (zh) | 2015-09-29 | 2018-10-09 | 华为技术有限公司 | 预测图像编解码方法及装置 |
CN108353184B (zh) | 2015-11-05 | 2022-02-01 | 联发科技股份有限公司 | 一种视频编解码的方法及装置 |
CN105306944B (zh) | 2015-11-30 | 2018-07-06 | 哈尔滨工业大学 | 混合视频编码标准中色度分量预测方法 |
CN108432250A (zh) | 2016-01-07 | 2018-08-21 | 联发科技股份有限公司 | 用于视频编解码的仿射帧间预测的方法及装置 |
CN105678808A (zh) | 2016-01-08 | 2016-06-15 | 浙江宇视科技有限公司 | 运动目标跟踪方法及装置 |
US9955186B2 (en) | 2016-01-11 | 2018-04-24 | Qualcomm Incorporated | Block size decision for video coding |
WO2017130696A1 (ja) | 2016-01-29 | 2017-08-03 | シャープ株式会社 | 予測画像生成装置、動画像復号装置、および動画像符号化装置 |
EP3398331A4 (en) * | 2016-02-05 | 2019-04-10 | Mediatek Inc. | METHOD AND APPARATUS FOR MOTION COMPENSATION BASED ON BIDIRECTIONAL OPTICAL FLUSH TECHNOLOGIES FOR VIDEO CODING |
US10368083B2 (en) | 2016-02-15 | 2019-07-30 | Qualcomm Incorporated | Picture order count based motion vector pruning |
US10390038B2 (en) | 2016-02-17 | 2019-08-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and devices for encoding and decoding video pictures using a denoised reference picture |
EP3417617A4 (en) | 2016-02-17 | 2019-02-27 | Telefonaktiebolaget LM Ericsson (publ) | METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES |
WO2017143467A1 (en) | 2016-02-22 | 2017-08-31 | Mediatek Singapore Pte. Ltd. | Localized luma mode prediction inheritance for chroma coding |
WO2017156669A1 (en) | 2016-03-14 | 2017-09-21 | Mediatek Singapore Pte. Ltd. | Methods for motion vector storage in video coding |
WO2017157281A1 (en) | 2016-03-16 | 2017-09-21 | Mediatek Inc. | Method and apparatus of pattern-based motion vector derivation for video coding |
US11223852B2 (en) | 2016-03-21 | 2022-01-11 | Qualcomm Incorporated | Coding video data using a two-level multi-type-tree framework |
US10455228B2 (en) | 2016-03-21 | 2019-10-22 | Qualcomm Incorporated | Determining prediction parameters for non-square blocks in video coding |
WO2017164297A1 (ja) | 2016-03-25 | 2017-09-28 | パナソニックIpマネジメント株式会社 | 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置 |
US11095898B2 (en) | 2016-03-28 | 2021-08-17 | Lg Electronics Inc. | Inter-prediction mode based image processing method, and apparatus therefor |
US20200169726A1 (en) | 2016-04-08 | 2020-05-28 | Electronics And Telecommunications Research Institute | Method and device for inducing motion prediction information |
US10462459B2 (en) | 2016-04-14 | 2019-10-29 | Mediatek Inc. | Non-local adaptive loop filter |
KR20180132756A (ko) | 2016-04-28 | 2018-12-12 | 엘지전자 주식회사 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
CN109417625B (zh) | 2016-05-05 | 2023-02-28 | 交互数字麦迪逊专利控股公司 | 编码或解码视频的装置及方法 |
US20170332000A1 (en) | 2016-05-10 | 2017-11-16 | Lytro, Inc. | High dynamic range light-field imaging |
WO2017194756A1 (en) | 2016-05-12 | 2017-11-16 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and arrangements for coding and decoding motion vectors |
CN115118971A (zh) | 2016-05-13 | 2022-09-27 | Vid拓展公司 | 用于视频编码的通用式多假设预测的系统及方法 |
US10560718B2 (en) * | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
EP3457696A4 (en) * | 2016-05-13 | 2019-12-18 | Sharp Kabushiki Kaisha | DEVICE FOR PREDICTIVE IMAGE GENERATION, VIDEO DECODING DEVICE AND VIDEO CODING DEVICE |
US10560712B2 (en) | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
WO2017201141A1 (en) * | 2016-05-17 | 2017-11-23 | Arris Enterprises Llc | Template matching for jvet intra prediction |
US20170339405A1 (en) * | 2016-05-20 | 2017-11-23 | Arris Enterprises Llc | System and method for intra coding |
MX2018014487A (es) * | 2016-05-25 | 2019-08-12 | Arris Entpr Llc | Prediccion angular ponderada para intra codificacion. |
WO2017206803A1 (en) * | 2016-05-28 | 2017-12-07 | Mediatek Inc. | Method and apparatus of current picture referencing for video coding |
US11503314B2 (en) | 2016-07-08 | 2022-11-15 | Interdigital Madison Patent Holdings, Sas | Systems and methods for region-of-interest tone remapping |
US10326986B2 (en) | 2016-08-15 | 2019-06-18 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
KR102191846B1 (ko) | 2016-08-15 | 2020-12-17 | 노키아 테크놀로지스 오와이 | 비디오 인코딩 및 디코딩 |
US10368107B2 (en) | 2016-08-15 | 2019-07-30 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
CN109691107A (zh) * | 2016-09-12 | 2019-04-26 | 索尼公司 | 图像处理装置和图像处理方法 |
WO2018049594A1 (en) | 2016-09-14 | 2018-03-22 | Mediatek Inc. | Methods of encoder decision for quad-tree plus binary tree structure |
KR102471208B1 (ko) | 2016-09-20 | 2022-11-25 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
US10778999B2 (en) | 2016-09-30 | 2020-09-15 | Qualcomm Incorporated | Frame rate up-conversion coding mode with affine motion model |
EP3520402A4 (en) | 2016-10-03 | 2019-09-18 | Sharp Kabushiki Kaisha | SYSTEMS AND METHOD FOR APPLYING DEFLECTION FILTERS IN RECONSTRUCTED VIDEO DATA |
EP3301919A1 (en) | 2016-10-03 | 2018-04-04 | Thomson Licensing | Method and apparatus for encoding and decoding motion information |
US10448010B2 (en) | 2016-10-05 | 2019-10-15 | Qualcomm Incorporated | Motion vector prediction for affine motion models in video coding |
JP2019535202A (ja) | 2016-10-06 | 2019-12-05 | エルジー エレクトロニクス インコーポレイティド | インター予測モードベースの画像処理方法及びそのための装置 |
WO2018070152A1 (en) | 2016-10-10 | 2018-04-19 | Sharp Kabushiki Kaisha | Systems and methods for performing motion compensation for coding of video data |
WO2018070713A1 (ko) | 2016-10-11 | 2018-04-19 | 엘지전자(주) | 크로마 성분에 대한 인트라 예측 모드를 유도하는 방법 및 장치 |
US10750190B2 (en) | 2016-10-11 | 2020-08-18 | Lg Electronics Inc. | Video decoding method and device in video coding system |
US20180109810A1 (en) * | 2016-10-17 | 2018-04-19 | Mediatek Inc. | Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression |
CN117528108A (zh) | 2016-11-28 | 2024-02-06 | 英迪股份有限公司 | 图像编码方法、图像解码方法及用于传送比特流的方法 |
CN110024394B (zh) * | 2016-11-28 | 2023-09-01 | 韩国电子通信研究院 | 对图像编码/解码的方法和设备及存储比特流的记录介质 |
WO2018110203A1 (ja) | 2016-12-16 | 2018-06-21 | シャープ株式会社 | 動画像復号装置、および動画像符号化装置 |
US10750203B2 (en) | 2016-12-22 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive bi-prediction for video coding |
EP3560202A4 (en) | 2016-12-27 | 2020-07-29 | MediaTek Inc. | METHOD AND DEVICE FOR BILATERAL TEMPLATE MV REFINING FOR VIDEO CODING |
US10681370B2 (en) | 2016-12-29 | 2020-06-09 | Qualcomm Incorporated | Motion vector generation for affine motion model for video coding |
US20190335170A1 (en) | 2017-01-03 | 2019-10-31 | Lg Electronics Inc. | Method and apparatus for processing video signal by means of affine prediction |
US10873744B2 (en) | 2017-01-03 | 2020-12-22 | Lg Electronics Inc. | Method and device for processing video signal by means of affine prediction |
US10931969B2 (en) | 2017-01-04 | 2021-02-23 | Qualcomm Incorporated | Motion vector reconstructions for bi-directional optical flow (BIO) |
US20180199057A1 (en) | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
US10701366B2 (en) | 2017-02-21 | 2020-06-30 | Qualcomm Incorporated | Deriving motion vector information at a video decoder |
US10523964B2 (en) | 2017-03-13 | 2019-12-31 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (BIO) |
US10701390B2 (en) | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
CN117425006A (zh) | 2017-03-22 | 2024-01-19 | 韩国电子通信研究院 | 使用参考块的预测方法和装置 |
US10701391B2 (en) | 2017-03-23 | 2020-06-30 | Qualcomm Incorporated | Motion vector difference (MVD) prediction |
US10440396B2 (en) | 2017-03-28 | 2019-10-08 | Qualcomm Incorporated | Filter information sharing among color components |
US10542264B2 (en) | 2017-04-04 | 2020-01-21 | Arris Enterprises Llc | Memory reduction implementation for weighted angular prediction |
US10873760B2 (en) | 2017-04-07 | 2020-12-22 | Futurewei Technologies, Inc. | Motion vector (MV) constraints and transformation constraints in video coding |
US20180310017A1 (en) | 2017-04-21 | 2018-10-25 | Mediatek Inc. | Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding |
US10805630B2 (en) | 2017-04-28 | 2020-10-13 | Qualcomm Incorporated | Gradient based matching for motion search and derivation |
US20180332298A1 (en) | 2017-05-10 | 2018-11-15 | Futurewei Technologies, Inc. | Bidirectional Prediction In Video Compression |
CN116866581A (zh) | 2017-05-17 | 2023-10-10 | 株式会社Kt | 对视频解码和编码的方法以及存储压缩视频数据的装置 |
CN110771169A (zh) | 2017-06-09 | 2020-02-07 | 韩国电子通信研究院 | 视频编码/解码方法和装置以及存储比特流的记录介质 |
US10904565B2 (en) | 2017-06-23 | 2021-01-26 | Qualcomm Incorporated | Memory-bandwidth-efficient design for bi-directional optical flow (BIO) |
JP7261750B2 (ja) | 2017-06-26 | 2023-04-20 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 動き補償のための複数の予測子候補 |
WO2019004283A1 (ja) | 2017-06-28 | 2019-01-03 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
US10477237B2 (en) | 2017-06-28 | 2019-11-12 | Futurewei Technologies, Inc. | Decoder side motion vector refinement in video coding |
US11172203B2 (en) | 2017-08-08 | 2021-11-09 | Mediatek Inc. | Intra merge prediction |
US10880573B2 (en) | 2017-08-15 | 2020-12-29 | Google Llc | Dynamic motion vector referencing for video coding |
WO2019050115A1 (ko) | 2017-09-05 | 2019-03-14 | 엘지전자(주) | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
JP2021005741A (ja) | 2017-09-14 | 2021-01-14 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
KR101984687B1 (ko) | 2017-09-21 | 2019-05-31 | 한국해양과학기술원 | 선박 충돌 회피용 부유식 해양구조물의 계류삭 장치 및 이의 운용방법과 설치방법 |
US10785494B2 (en) | 2017-10-11 | 2020-09-22 | Qualcomm Incorporated | Low-complexity design for FRUC |
CN109963155B (zh) | 2017-12-23 | 2023-06-06 | 华为技术有限公司 | 图像块的运动信息的预测方法、装置及编解码器 |
MX2020007355A (es) | 2018-01-16 | 2020-10-12 | Vid Scale Inc | Bipredicción compensada en movimiento basada en compensación de iluminación local. |
US10757417B2 (en) | 2018-01-20 | 2020-08-25 | Qualcomm Incorporated | Affine motion compensation in video coding |
US10687071B2 (en) | 2018-02-05 | 2020-06-16 | Tencent America LLC | Method and apparatus for video coding |
US11012715B2 (en) * | 2018-02-08 | 2021-05-18 | Qualcomm Incorporated | Intra block copy for video coding |
EP3741121B1 (en) * | 2018-02-14 | 2024-09-25 | Huawei Technologies Co., Ltd. | Adaptive interpolation filter |
US20190306502A1 (en) | 2018-04-02 | 2019-10-03 | Qualcomm Incorporated | System and method for improved adaptive loop filtering |
US10708592B2 (en) | 2018-04-02 | 2020-07-07 | Qualcomm Incorporated | Deblocking filter for video coding and processing |
US20190320181A1 (en) | 2018-04-17 | 2019-10-17 | Qualcomm Incorporated | Generation of motion vector predictors from multiple neighboring blocks in video coding |
US10779002B2 (en) | 2018-04-17 | 2020-09-15 | Qualcomm Incorporated | Limitation of the MVP derivation based on decoder-side motion vector derivation |
US20190364295A1 (en) | 2018-05-25 | 2019-11-28 | Tencent America LLC | Method and apparatus for video coding |
US10986340B2 (en) * | 2018-06-01 | 2021-04-20 | Qualcomm Incorporated | Coding adaptive multiple transform information for video coding |
US11109025B2 (en) | 2018-06-04 | 2021-08-31 | Tencent America LLC | Method and apparatus for sub-block based temporal motion vector prediction |
WO2019234598A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between ibc and stmvp |
JP7096373B2 (ja) | 2018-06-07 | 2022-07-05 | 北京字節跳動網絡技術有限公司 | 部分的コスト計算 |
US11303923B2 (en) | 2018-06-15 | 2022-04-12 | Intel Corporation | Affine motion compensation for current picture referencing |
WO2019244051A1 (en) | 2018-06-19 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Selected mvd precision without mvp truncation |
TWI729422B (zh) | 2018-06-21 | 2021-06-01 | 大陸商北京字節跳動網絡技術有限公司 | 色彩分量間的子區塊移動向量繼承 |
WO2019244117A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Unified constrains for the merge affine mode and the non-merge affine mode |
CN116320489A (zh) | 2018-06-29 | 2023-06-23 | 北京字节跳动网络技术有限公司 | 视频处理方法、编码装置和解码装置 |
TWI719519B (zh) | 2018-07-02 | 2021-02-21 | 大陸商北京字節跳動網絡技術有限公司 | 對於dmvr的塊尺寸限制 |
US11606575B2 (en) | 2018-07-10 | 2023-03-14 | Qualcomm Incorporated | Multiple history based non-adjacent MVPs for wavefront processing of video coding |
US10491902B1 (en) | 2018-07-16 | 2019-11-26 | Tencent America LLC | Method and apparatus for history-based motion vector prediction |
US10440378B1 (en) | 2018-07-17 | 2019-10-08 | Tencent America LLC | Method and apparatus for history-based motion vector prediction with parallel processing |
US10362330B1 (en) | 2018-07-30 | 2019-07-23 | Tencent America LLC | Combining history-based motion vector prediction and non-adjacent merge prediction |
CN110809155B (zh) | 2018-08-04 | 2023-01-31 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置和计算机可读介质 |
US11336914B2 (en) | 2018-08-16 | 2022-05-17 | Qualcomm Incorporated | History-based candidate list with classification |
WO2020058888A1 (en) | 2018-09-19 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Mode dependent adaptive motion vector resolution for affine mode coding |
US11212550B2 (en) | 2018-09-21 | 2021-12-28 | Qualcomm Incorporated | History-based motion vector prediction for affine mode |
KR102616766B1 (ko) | 2018-09-22 | 2023-12-27 | 엘지전자 주식회사 | 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
WO2020058962A1 (en) | 2018-09-23 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of motion vector precision indication with adaptive motion vector resolution |
GB2591906B (en) | 2018-09-24 | 2023-03-08 | Beijing Bytedance Network Tech Co Ltd | Bi-prediction with weights in video coding and decoding |
US11146800B2 (en) | 2018-09-24 | 2021-10-12 | Tencent America LLC | Low latency local illumination compensation |
US11051034B2 (en) | 2018-10-08 | 2021-06-29 | Qualcomm Incorporated | History-based motion vector predictor |
US11284066B2 (en) | 2018-10-10 | 2022-03-22 | Tencent America LLC | Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode |
US11032541B2 (en) | 2018-10-22 | 2021-06-08 | Tencent America LLC | Method and apparatus for video coding |
WO2020084461A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on decoder side motion vector derivation based on coding information |
CN112889284A (zh) | 2018-10-22 | 2021-06-01 | 北京字节跳动网络技术有限公司 | 基于子块的解码器侧运动矢量推导 |
WO2020084512A1 (en) | 2018-10-23 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Affine motion information derivation from neighboring block |
SG11202104022XA (en) | 2018-11-02 | 2021-05-28 | Beijing Bytedance Network Technology Co Ltd | Table maintenance for hmvp candidate storage |
EP3861731A4 (en) | 2018-11-05 | 2021-11-24 | Beijing Bytedance Network Technology Co. Ltd. | INTERPOLATION TO INTERPRDICTION WITH REFINEMENT |
WO2020094150A1 (en) | 2018-11-10 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Rounding in current picture referencing |
WO2020103933A1 (en) | 2018-11-22 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Configuration method for default motion candidate |
US11394989B2 (en) | 2018-12-10 | 2022-07-19 | Tencent America LLC | Method and apparatus for video coding |
US11032574B2 (en) | 2018-12-31 | 2021-06-08 | Tencent America LLC | Method and apparatus for video coding |
US11115653B2 (en) | 2019-02-22 | 2021-09-07 | Mediatek Inc. | Intra block copy merge list simplification |
US11394999B2 (en) | 2019-03-11 | 2022-07-19 | Alibaba Group Holding Limited | Method, device, and system for determining prediction weight for merge mode |
AU2020237079B2 (en) | 2019-03-12 | 2023-05-11 | Tencent America LLC | Method and apparatus for video encoding or decoding |
-
2019
- 2019-06-04 WO PCT/IB2019/054602 patent/WO2019234598A1/en active Application Filing
- 2019-06-04 GB GB2018255.6A patent/GB2588004B/en active Active
- 2019-06-04 GB GB2018254.9A patent/GB2588003B/en active Active
- 2019-06-04 JP JP2020568474A patent/JP7104186B2/ja active Active
- 2019-06-04 KR KR1020207037940A patent/KR20210016581A/ko active IP Right Grant
- 2019-06-04 WO PCT/IB2019/054612 patent/WO2019234607A1/en active Application Filing
- 2019-06-04 WO PCT/IB2019/054604 patent/WO2019234600A1/en active Application Filing
- 2019-06-04 WO PCT/IB2019/054614 patent/WO2019234609A1/en active Application Filing
- 2019-06-04 EP EP19736806.1A patent/EP3788787A1/en active Pending
- 2019-06-04 WO PCT/IB2019/054611 patent/WO2019234606A1/en unknown
- 2019-06-04 GB GB2018447.9A patent/GB2588023B/en active Active
- 2019-06-05 TW TW108119603A patent/TWI708504B/zh active
- 2019-06-05 TW TW108119586A patent/TWI715993B/zh active
- 2019-06-05 CN CN202210869850.XA patent/CN115442612A/zh active Pending
- 2019-06-05 TW TW108119573A patent/TWI736902B/zh active
- 2019-06-05 CN CN201910487913.3A patent/CN110572669B/zh active Active
- 2019-06-05 CN CN201910487921.8A patent/CN110572658B/zh active Active
- 2019-06-05 CN CN201910488491.1A patent/CN110572648B/zh active Active
- 2019-06-05 GB GB2018465.1A patent/GB2588317B/en active Active
- 2019-06-05 CN CN201910488488.XA patent/CN110572647B/zh active Active
- 2019-06-05 WO PCT/IB2019/054654 patent/WO2019234639A1/en active Application Filing
- 2019-06-05 TW TW108119572A patent/TWI704802B/zh active
- 2019-06-05 CN CN201910487910.XA patent/CN110572646B/zh active Active
- 2019-06-05 TW TW108119607A patent/TWI740155B/zh active
- 2019-06-05 TW TW108119598A patent/TWI708503B/zh active
- 2019-06-05 TW TW108119583A patent/TWI750477B/zh active
- 2019-06-05 CN CN201910487907.8A patent/CN110572668A/zh active Pending
- 2019-06-05 CN CN201910488487.5A patent/CN110572671B/zh active Active
- 2019-06-05 CN CN202210923862.6A patent/CN115529458A/zh active Pending
- 2019-06-05 CN CN201910487926.0A patent/CN110572670B/zh active Active
- 2019-06-05 WO PCT/IB2019/054652 patent/WO2019234638A1/en active Application Filing
- 2019-06-05 WO PCT/IB2019/054650 patent/WO2019234636A1/en active Application Filing
- 2019-06-05 TW TW108119601A patent/TWI725445B/zh active
- 2019-06-05 CN CN202210483116.XA patent/CN114666605A/zh active Pending
-
2020
- 2020-08-28 US US17/005,521 patent/US20200396465A1/en not_active Abandoned
- 2020-09-03 US US17/011,131 patent/US11523123B2/en active Active
- 2020-09-03 US US17/011,157 patent/US11202081B2/en active Active
- 2020-09-14 US US17/019,629 patent/US20200413048A1/en not_active Abandoned
- 2020-09-24 US US17/031,451 patent/US20210006780A1/en not_active Abandoned
-
2021
- 2021-03-15 US US17/201,896 patent/US11509915B2/en active Active
- 2021-08-26 US US17/412,771 patent/US11973962B2/en active Active
- 2021-11-18 US US17/529,607 patent/US11831884B2/en active Active
-
2022
- 2022-03-21 US US17/700,086 patent/US20220217363A1/en active Pending
- 2022-07-07 JP JP2022109540A patent/JP7361845B2/ja active Active
-
2023
- 2023-10-03 JP JP2023171770A patent/JP2023175898A/ja active Pending
- 2023-12-04 US US18/528,070 patent/US20240121410A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022169292A1 (ko) | 2021-02-05 | 2022-08-11 | 주식회사 엘지에너지솔루션 | 이차전지용 테이프의 부착 장치 및 이를 이용한 부착 방법 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11523123B2 (en) | Interaction between IBC and ATMVP |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |