KR20220083862A - 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 - Google Patents
비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20220083862A KR20220083862A KR1020227019687A KR20227019687A KR20220083862A KR 20220083862 A KR20220083862 A KR 20220083862A KR 1020227019687 A KR1020227019687 A KR 1020227019687A KR 20227019687 A KR20227019687 A KR 20227019687A KR 20220083862 A KR20220083862 A KR 20220083862A
- Authority
- KR
- South Korea
- Prior art keywords
- current block
- dmvr
- prediction
- application
- list
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000033001 locomotion Effects 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 title claims abstract description 18
- 230000003287 optical effect Effects 0.000 title abstract description 7
- 238000012935 Averaging Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 20
- 230000002457 bidirectional effect Effects 0.000 abstract description 7
- 238000012937 correction Methods 0.000 abstract description 4
- 230000002123 temporal effect Effects 0.000 description 16
- 239000000523 sample Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000000638 solvent extraction Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
현재 VVC(Versatile Video Coding) 설계와 같은 비디오 코딩 표준에 사용되는 인터 모드 코딩 블록에 양방향 광학 흐름(BDOF) 및 디코더측 움직임 벡터 보정(DMVR)을 선택적으로 적용하는 방법이 컴퓨팅 디바이스에서 수행된다. 하나의 방법에서, 현재 블록이 복수의 사전 정의된 조건에 기초하여 DMVR 및 BDOF 모두의 적용에 적격일 때, 컴퓨팅 디바이스는 사전 정의된 기준을 사용하여 현재 블록을 분류한 다음 그 분류를 이용하여 해당 블록에 대해 모두 아닌 BDOF 또는 DMVR 하나만을 적용한다.
Description
본 출원은 2019년 2월 8일자로 출원된 미국 가출원 제62/803,417호에 대한 우선권을 주장한다. 전술한 출원의 전체 개시 내용은 그 전체가 참조로 여기에 포함된다.
본 개시는 일반적으로 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 개시는 인터 모드 코딩된 블록(inter mode coded blocks)에 대한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정의 선택적 적용을 사용하여 비디오 코딩을 수행하기 위한 시스템 및 방법에 관한 것이다.
이 섹션은 본 개시와 관련된 배경 정보를 제공한다. 이 섹션에 포함된 정보는 반드시 선행 기술로 해석되어서는 안 된다.
다양한 비디오 코딩 기술 중 임의의 것이 비디오 데이터를 압축하기 위해 사용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행될 수 있다. 일부 예시적인 비디오 코딩 표준에는 다목적 비디오 코딩(versatile video coding, VVC), JEM(Joint Explosion Test Model) 코딩, 고효율 비디오 코딩(H.265/HEVC), 고급 비디오 코딩(H.264/AVC) 및 동영상 전문가 그룹(MPEG) 코딩이 포함된다.
비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 고유한 중복성을 이용하는 예측 방법(예: 인터 예측, 인트라 예측 등)을 활용한다. 비디오 코딩 기술의 한 가지 목표는 비디오 품질의 저하를 피하거나 최소화하면서 더 낮은 비트 레이트를 사용하는 포맷으로 비디오 데이터를 압축하는 것이다.
비디오 코딩에 사용되는 예측 방법은 일반적으로 비디오 데이터에 내재된 중복성을 감소 또는 제거하기 위해 공간적(프레임 내) 예측 및/또는 시간적(프레임 간) 예측을 수행하는 것을 포함하며, 일반적으로 블록 기반 비디오 코딩과 연관된다.
블록 기반 비디오 코딩에서 입력 비디오 신호는 블록 단위로 처리된다. 각각의 블록(코딩 단위(CU)으로도 알려짐)에 대해, 공간적 예측 및/또는 시간적 예측이 수행될 수 있다.
공간적 예측("인트라 예측"이라고도 함)은 동일한 비디오 픽처/슬라이스에서 이미 코딩된 이웃 블록(참조 샘플이라고 함)의 샘플로부터의 픽셀들을 사용하여 현재 블록을 예측한다. 공간적 예측은 비디오 신호에 내재된 공간 중복성을 줄이다.
디코딩 프로세스 동안, 비디오 비트스트림은 엔트로피 디코딩 유닛에서 먼저 엔트로피 디코딩된다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 공간적 예측 유닛(인트라 코딩된 경우) 또는 시간적 예측 유닛(인터 코딩된 경우)에 전송된다. 잔차 변환 계수는 역양자화 유닛 및 역변환 유닛으로 보내져 잔차 블록을 재구성한다. 그런 다음 예측 블록과 잔차 블록이 함께 더해진다. 재구성된 블록은 참조 픽처 저장소에 저장되기 전에 인-루프 필터링을 더 거칠 수 있다. 참조 픽처 저장소의 재구성된 비디오는 디스플레이 장치를 구동하기 위해 전송될 뿐만 아니라 미래의 비디오 블록을 예측하는 데 사용된다.
현재의 VVC 설계와 같은 새로운 비디오 코딩 표준에서 BDOF(Bi-Directional Optical Flow, 양방향 광학 흐름) 및 DMVR(Decoder-side Motion Vector Refinement, 디코더측 움직임 벡터 보정과 같은 새로운 인터 모드 코딩 도구(inter mode coding tool)가 도입되었다. 이러한 새로운 인터 모드 코딩 도구는 일반적으로 움직임 보상 예측(motion compensated prediction)의 효율성을 증가시키고 따라서 코딩 이득을 개선하는 데 도움이 된다. 그러나 이러한 개선에는 복잡성과 지연이 증가하는 비용이 수반될 수 있다.
개선과 새로운 인터 모드 도구와 관련된 비용 사이의 적절한 균형을 달성하기 위해 현재의 VVC 설계는 인터 모드 코딩 블록에서 DMVR 및 BDOF와 같은 새로운 인터 모드 코딩 도구를 활성화할 시기에 대한 제약을 두었다.
그러나 현재의 VVC 설계에 존재하는 제약이 개선과 비용 간의 최상의 균형을 반드시 달성하는 것은 아니다. 한편으로, 현재의 VVC 설계에 존재하는 제약으로 인해 DMVR과 BDOF가 모두 동일한 인터 모드 코딩 블록에 적용될 수 있으며, 이는 두 도구의 작업 간의 종속성으로 인해 대기 시간을 증가시킨다. 반면에 현재 VVC 설계에 존재하는 제약 조건은 DMVR과 관련한 어떤 경우에는 지나치게 허용되어 복잡성과 지연이 불필요하게 증가하는 반면 BDOF와 관련한 어떤 경우에는 허용되지 않아 추가 코딩 이득의 기회를 놓치게 되는 결과를 낳는다.
이 섹션은 본 개시에 대한 전체적인 요약을 제공하며 전체 범위 또는 모든 기능에 대한 포괄적인 개시는 아니다.
본 개시의 제1 측면에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리를 갖는 컴퓨팅 디바이스에서 수행된다. 상기 방법은, 복수의 미리 정의된 조건에 기초하여, DMVR 및 BDOF 모두의 적용에 적격인 현재 블록을, 현재 블록의 모드 정보에 기초한 미리 정의된 기준을 사용하여 2개의 미리 정의된 클래스, 즉 DMVR 클래스 및 BDOF 클래스 중 하나로 분류하는 단계를 포함한다. 이 방법은 현재 블록에 DMVR 또는 BDOF 중 하나를 적용할 때 현재 블록의 분류를 사용하는 단계를 더 포함한다.
본 개시의 제2 측면에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리를 갖는 컴퓨팅 디바이스에서 수행된다. 이 방법은 복수의 미리 정의된 조건에 기초하여 DMVR 코딩에 적격인 현재 블록에 대해 가중 예측(weighted prediction)이 활성화되는지 여부를 결정하는 단계를 포함한다. 이 방법은 현재 블록에 대한 리스트 0 예측자 샘플 및 리스트 1 예측자 샘플을 평균화할 때 상이한 가중치가 사용되는지 여부를 결정하는 단계를 더 포함한다. 이 방법은 상기 두 결정에 기초하여 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 단계를 더 포함한다.
본 개시의 제3 측면에 따르면, 비디오 코딩 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리를 갖는 컴퓨팅 디바이스에서 수행된다. 이 법은 현재 블록이 서브-블록 병합 모드(sub-block merge mode)로서 코딩될 때 현재 블록에 대한 BDOF의 적용을 활성화하는 단계를 포함한다.
본 출원의 제4 측면에 따르면, 컴퓨팅 디바이스는 하나 이상의 프로세서, 메모리, 및 메모리에 저장된 복수의 프로그램을 포함한다. 이 프로그램은, 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 디바이스가 본 출원의 앞선 3가지 측면에서 전술한 바와 같은 동작을 수행하게 한다.
본 출원의 제5 측면에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에 의해 실행되기 위한 복수의 프로그램을 저장한다. 이 프로그램은, 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 디바이스가 본 출원의 처음 3가지 측면에서 전술한 바와 같은 동작을 수행하게 한다.
이하, 본 개시의 예시적이고 비제한적인 실시예의 세트가 첨부 도면과 함께 설명될 것이다. 구조, 방법 또는 기능의 변형은 여기에 제시된 예에 기초하여 관련 기술 분야의 통상의 지식을 가진 자에 의해 구현될 수 있으며, 이러한 변형은 모두 본 개시의 범위 내에 포함된다. 충돌이 존재하지 않는 경우, 상이한 실시예의 교시가 서로 결합될 수 있지만 반드시 그럴 필요는 없다.
도 1은 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 블록 기반 하이브리드 비디오 인코더를 설명하는 블록도이다.
도 2는 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 비디오 디코더를 설명하는 블록도이다.
도 3은 많은 비디오 코딩 표준과 함께 사용될 수 있는 다중 유형 트리 구조의 블록 파티션의 예시이다.
도 4는 BDOF(Bi-Directional Optical Flow) 프로세스의 예시이다.
도 5는 DMVR(Decoder-side Motion Vector Refinement)에서 사용되는 양방향 매칭의 예시이다.
도 6은 본 개시의 제1 측면의 동작을 예시하는 흐름도이다.
도 7은 본 개시의 제2 측면의 동작을 예시하는 흐름도이다.
도 8은 본 개시의 제3 측면의 동작을 예시하는 흐름도이다.
도 1은 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 블록 기반 하이브리드 비디오 인코더를 설명하는 블록도이다.
도 2는 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 비디오 디코더를 설명하는 블록도이다.
도 3은 많은 비디오 코딩 표준과 함께 사용될 수 있는 다중 유형 트리 구조의 블록 파티션의 예시이다.
도 4는 BDOF(Bi-Directional Optical Flow) 프로세스의 예시이다.
도 5는 DMVR(Decoder-side Motion Vector Refinement)에서 사용되는 양방향 매칭의 예시이다.
도 6은 본 개시의 제1 측면의 동작을 예시하는 흐름도이다.
도 7은 본 개시의 제2 측면의 동작을 예시하는 흐름도이다.
도 8은 본 개시의 제3 측면의 동작을 예시하는 흐름도이다.
본 개시에서 사용된 용어는 본 발명을 한정하려는 것이 아니라 특정한 예를 설명하기 위해 사용된 것이다. 본 명세서 및 첨부된 특허청구범위에서 사용된 "들"의 접미어를 포함하지 않는 단어들이라도 문맥상 다른 의미가 명확히 포함되지 않는 한 복수를 포함한다. 본 명세서에 사용된 "및/또는"이라는 용어는 하나 이상의 연관된 나열된 항목의 임의의 또는 모든 가능한 조합을 지칭하는 것으로 이해되어야 한다.
"제1", "제2", "제3" 등의 용어가 다양한 정보를 설명하기 위해 여기에서 사용될 수 있지만, 그 정보는 이러한 용어에 의해 제한되어서는 안 된다는 것을 이해해야 한다. 이 용어는 정보의 한 범주를 다른 범주와 구별하는 데만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 정보는 제2 정보로 명명될 수 있고; 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, "~(이)면"이라는 용어는 문맥에 따라 "~(인) 때" 또는 "~시에" 또는 "~에 응답하여"를 의미하는 것으로 이해될 수 있다.
본 명세서 전반에 걸쳐 단수 또는 복수로 "실시예", "일 실시예", "또 다른 실시예" 등에 대한 언급은 실시예와 관련하여 설명된 하나 이상의 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 곳에서 "실시예에서" 또는 "일 실시예에서", "다른 실시예에서" 등의 표현이 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 하나 이상의 실시예에서 특정 특징, 구조, 또는 특성은 임의의 적절한 방식으로 조합될 수 있다.
개념적으로 배경 섹션에서 이전에 언급한 것을 포함하여 많은 비디오 코딩 표준들은 서로 유사한다. 예를 들어, 거의 모든 비디오 코딩 표준은 블록 기반 처리를 사용하고 유사한 비디오 코딩 블록 다이어그램을 공유하여 비디오 압축을 달성한다.
도 1은 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 블록 기반 하이브리드 비디오 인코더(100)의 블록도를 도시한다. 인코더(100)에서, 비디오 프레임은 처리를 위해 복수의 비디오 블록으로 파티셔닝된다. 각각의 주어진 비디오 블록에 대해, 인터 예측 기법 또는 인트라 예측 기법에 기초하여 예측이 형성된다. 인터 예측에서는 이전에 재구성된 프레임의 픽셀을 기반으로 움직임 추정 및 움직임 보상을 통해 하나 이상의 예측자(predictor)가 형성된다. 인트라 예측에서는 현재 프레임에서 복원된 픽셀을 기반으로 예측자가 형성된다. 모드 결정을 통해 현재 블록을 예측하기 위한 최상의 예측자가 선택될 수 있다.
현재 비디오 블록과 그 예측자 간의 차이를 나타내는 예측 잔차는 변환 회로(102)로 전송된다. 변환 계수는 엔트로피 감소를 위해 변환 회로(102)에서 양자화 회로(104)로 전송된다. 양자화된 계수는 압축된 비디오 비트스트림을 생성하기 위해 엔트로피 코딩 회로(106)에 공급된다. 도 1에 도시된 바와 같이, 비디오 블록 파티션 정보, 움직임 벡터, 참조 픽처 인덱스 및 인트라 예측 모드와 같은, 인터 예측 회로 및/또는 인트라 예측 회로(112)로부터의 예측 관련 정보(110)도 엔트로피 코딩 회로(106)를 통해 공급되고 압축된 비디오 비트스트림(114)에 저장된다.
인코더(100)에서, 예측을 목적으로 픽셀을 재구성하기 위해 디코더 관련 회로들도 또한 필요하다. 먼저, 역양자화(Inverse Quantization) 회로(116) 및 역변환(Inverse Transform) 회로(118)를 통해 예측 잔차를 복원한다. 이 재구성된 예측 잔차는 현재 비디오 블록에 대한 필터링되지 않은 재구성된 픽셀을 생성하기 위해 블록 예측자(120)와 결합된다.
시간적 예측("인터 예측" 또는 "움직임 보상 예측"이라고도 함)은 이미 코딩된 비디오 픽처로부터 재구성된 픽셀을 사용하여 현재 비디오 블록을 예측한다. 시간적 예측은 비디오 신호에 내재된 시간적 중복성을 줄이다. 주어진 CU에 대한 시간적 예측 신호는 일반적으로 현재 CU와 그의 시간적 참조 사이의 움직임의 양과 방향을 나타내는 하나 이상의 움직임 벡터(MV)에 의해 시그널링된다. 또한, 여러 참조 픽처가 지원되는 경우 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 참조 픽처 저장소 내의 어느 참조 픽처로부터 시간적 예측 신호가 오는지를 식별하는 데 사용된다.
공간적 및/또는 시간적 예측이 수행된 후, 인코더(100)의 인트라/인터 모드 결정 회로(121)는 예를 들어 레이트-왜곡 최적화 방법에 기초하여 최상의 예측 모드를 선택한다. 그 다음, 현재 비디오 블록으로부터 블록 예측자(120)를 빼고; 결과적인 예측 잔차는 변환 회로(102) 및 양자화 회로(104)를 사용하여 무상관화(de-correlated)된다. 결과로서 얻어진 양자화된 잔차 계수는 역양자화 회로(116)에 의해 역양자화되고 역변환 회로(118)에 의해 역변환되어 재구성된 잔차를 형성한 다음, 예측 블록에 다시 추가되어 CU의 재구성된 신호를 형성한다. 추가로, 디블록킹 필터, 샘플 적응 오프셋(SAO) 및/또는 적응형 인-루프 필터(ALF)와 같은 인-루프 필터링(115)이 재구성된 CU가 픽처 버퍼(117)의 참조 픽처 저장소에 들어가기 전에 재구성된 CU에 적용되고, 미래의 비디오 블록을 코딩하는 데 사용될 수 있다. 출력 비디오 비트스트림(114)을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 움직임 정보 및 양자화된 잔차 계수가 모두 엔트로피 코딩 유닛(106)으로 전송되어 비트스트림을 형성하기 위해 더 압축되고 패킹된다.
예를 들어, 디블로킹 필터는 AVC, HEVC 및 현재 버전의 VVC에서 사용할 수 있다. HEVC에서는 코딩 효율성을 더욱 향상시키기 위해 SAO(샘플 적응 오프셋)라는 추가적인 인-루프 필터가 정의된다. 현재 버전의 VVC 표준에서는 ALF(적응 루프 필터)라는 또 다른 인-루프 필터가 활발히 연구되고 있으며 최종 표준에 포함될 가능성이 크다.
이러한 인-루프 필터 작업은 선택 사항이다. 이러한 작업을 수행하면 코딩 효율성과 시각적 품질을 개선하는 데 도움이 된다. 그것들은 또한 계산 복잡성을 줄이기 위해 인코더(100)에 의해 내려진 결정으로 꺼질 수도 있다.
인트라 예측은 일반적으로 필터링되지 않은 재구성된 픽셀을 기반으로 하는 반면 인터 예측은 이러한 필터 옵션이 인코더(100)에 의해 켜진 경우 필터링된 재구성된 픽셀을 기반으로 한다는 점에 유의해야 한다.
도 2는 많은 비디오 코딩 표준과 함께 사용될 수 있는 예시적인 비디오 디코더(200)를 설명하는 블록도이다. 이 디코더(200)는 도 1의 인코더(100)에 있는 재구성 관련 섹션과 유사하다. 디코더(200)(도 2)에서, 입력 비디오 비트스트림(201)은 양자화된 계수 레벨 및 예측 관련 정보를 도출하기 위해 엔트로피 디코딩(202)을 통해 먼저 디코딩된다. 그 다음 양자화된 계수 레벨은 역양자화(204) 및 역변환(206)을 통해 처리되어 재구성된 예측 잔차를 획득한다. 인트라/인터 모드 선택기(212)에서 구현되는 블록 예측자 메커니즘은 디코딩된 예측 정보에 기초하여 인트라 예측(208) 또는 움직임 보상(210)을 수행하도록 구성된다. 합산기(214)를 사용하여 역변환(206)으로부터의 재구성된 예측 잔차와 블록 예측자 메커니즘에 의해 생성된 예측 출력을 합산함으로써 필터링되지 않은 재구성된 픽셀 세트가 획득된다.
재구성된 블록은 참조 픽처 저장소로서 기능하는 픽처 버퍼(213)에 저장되기 전에 인-루프 필터(209)를 더 거칠 수 있다. 픽처 버퍼(213)의 재구성된 비디오는 디스플레이 장치를 구동하기 위해 전송될 수 있을 뿐만 아니라 미래의 비디오 블록을 예측하는 데 사용될 수 있다. 인-루프 필터(209)가 켜진 상황에서, 최종 재구성된 비디오 출력(222)을 유도하기 위해 이러한 재구성된 픽셀에 필터링 작업이 수행된다.
HEVC와 같은 비디오 코딩 표준에서 블록은 쿼드 트리를 기반으로 파티셔닝될 수 있다. 현재의 VVC와 같은 새로운 비디오 코딩 표준에서는 더 많은 파티션 방법이 사용되며 하나의 CTU(코딩 트리 단위)는 쿼드-트리, 바이너리-트리 또는 터너리-트리에 기반한 다양한 로컬 특성에 적응하기 위해 CU로 분할될 수 있다. 현재 VVC의 대부분의 코딩 모드에는 CU, 예측 단위(PU) 및 변환 단위(TU)의 분리가 존재하지 않으며, 각 CU는 항상 추가 파티션없이 예측 및 변환 모두에 대한 기본 단위로 사용된다. 그러나, 인트라 서브-파티션 코딩 모드와 같은 일부 특정 코딩 모드에서, 각각의 CU는 여전히 다수의 TU를 포함할 수 있다. 다중 유형 트리 구조에서 하나의 CTU는 먼저 쿼드-트리 구조로 파티셔닝된다. 그런 다음 각 쿼드-트리 리프 노드는 바이너리 및 터너리 트리 구조로 더 파티셔닝될 수 있다.
도 3은 현재 VVC에서 사용되는 5가지 분할 유형, 즉 쿼터너리(quaternary) 파티셔닝(301), 수평 바이너리 파티셔닝(302), 수직 바이너리 파티셔닝(303), 수평 터너리 파티셔닝(304) 및 수직 터너리 파티셔닝(305)을 보여준다. 다중 유형 트리 구조가 활용되는 상황에서는 먼저 하나의 CTU가 쿼드-트리 구조로 분할된다. 그런 다음 각 쿼드-트리 리프 노드는 바이너리 및 터너리 트리 구조로 더 파티셔닝될 수 있다.
도 3의 예시적인 블록 파티셔닝(301, 302, 303, 304, 또는 305) 중 하나 이상을 사용하여, 도 1에 도시된 구성을 이용하여 공간적 예측 및/또는 시간적 예측이 수행될 수 있다. 공간적 예측(또는 "인트라 예측")은 현재 비디오 블록을 예측하기 위해 동일한 비디오 픽처/슬라이스에서 이미 코딩된 이웃 블록(참조 샘플이라고 함)의 샘플로부터의 픽셀을 사용한다. 공간적 예측은 비디오 신호에 내재된 공간 중복성을 줄이다.
현재 사용 중인 VVC와 같은 새로운 비디오 코딩 표준에서 새로운 인터 모드 코딩 도구가 도입되었으며 새로운 인터 모드 코딩 도구의 두 가지 예는 BDOF(Bi-Directional Optical Flow) 및 DMVR(Decoder-side Motion Vector Refinement)이다.
비디오 코딩에서 기존의 양-예측(bi-prediction)은 이미 재구성된 참조 픽처에서 얻은 두 개의 시간적 예측 블록의 간단한 조합이다. 그러나 블록 기반 움직임 보상의 한계로 인해 두 예측 블록의 샘플 사이에 관찰될 수 있는 작은 움직임이 남아 움직임 보상 예측의 효율성을 떨어뜨릴 수 있다. 이 문제를 해결하기 위해 현재의 VVC 설계에 BDOF를 적용하여 한 블록 내의 모든 샘플에 대해 이러한 움직임의 영향을 낮춘다.
도 4는 BDOF 프로세스의 예시이다. BDOF는 양-예측이 사용될 때 블록 기반 움직임 보상 예측 위에 수행되는 샘플별 움직임 보정(sample-wise motion refinement)이다. 각 4×4 서브-블록(401)의 움직임 보정은 그 서브-블록을 둘러싼 6×6 윈도우 내에서 BDOF를 적용한 후 참조 픽처 리스트 0(L0)과 참조 픽처 리스트 1(L1) 예측 샘플들(402, 403) 간의 차이를 최소화하도록 계산된다. 그렇게 유도된 움직임 보정에 기초하여, CU의 최종 양-예측 샘플은 광학 흐름 모델에 기초한 움직임 궤적을 따라 L0/L1 예측 샘플을 보간함으로써 계산된다.
DMVR은 양방향 매칭 예측을 사용하여 더 보정될 수 있는 2개의 초기에 시그널링된 MV를 가진 병합 블록(merge blocks)에 대한 양-예측 기술이다.
도 5는 DMVR에서 사용되는 양방향 매칭의 예시이다. 양방향 매칭은 2개의 상이한 참조 픽처(505 및 506)에서 현재 CU(501)의 움직임 궤적(502)을 따라 2개의 블록(503 및 504) 사이에서 가장 가까운 매칭을 찾음으로써 현재 CU(501)의 움직임 정보를 도출하는 데 사용된다. 매칭 프로세스에 사용되는 비용 함수는 행 서브 샘플링된(row-subsampled) SAD(sum of absolute difference, 절대 차이 합)이다. 매칭 프로세스가 완료된 후, 보정된 MV들(507 및 508)은 예측 단계의 움직임 보상, 디블록 필터에서의 경계 강도 계산, 후속 픽처에 대한 시간적 움직임 벡터 예측 및 후속 CU들에 대한 교차 CTU 공간 움직임 벡터 예측에 사용된다. 연속적인 움직임 궤적을 가정하면, 두 개의 참조 블록(503, 504)을 가리키는 움직임 벡터 MV0(507)와 MV1(508)은 현재 픽처(511)와 두 참조 블록(505, 506) 사이의 시간적 거리, 즉 TD0(509)와 TD1(510)에 비례한다. 특별한 경우로, 현재 픽처(511)가 두 개의 참조 픽처(505, 506) 사이에 시간적으로 있고 현재 픽처(511)에서 두 개의 참조 픽처(505, 506)까지의 시간적 거리가 동일한 경우, 양방향 매칭은 미러 기반 양방향 MV가 된다.
한편으로는 BDOF 및 DMVR과 같은 새로운 인터 모드 코딩 도구가 가져올 수 있는 증가된 코딩 효율성과, 다른 한편으로는 새로운 인터 모드 도구와 관련된 증가된 복잡성 및 지연 사이에서 적절하게 절충하기 위해, 현재 VVC 설계는 현재 블록에 대해 BDOF 또는 DMVR이 활성화될 수 있는 시기에 대한 제약을 적용했다.
현재의 VVC 설계에서 BDOF는 이 단락 바로 다음의 상자에 나열된 사전 정의된 BDOF 조건이 모두 유지되는 경우에만 활성화된다.
| 1. 현재 블록은 양방향 예측을 사용하며, 하나의 MV는 표시 순서에서 현재 픽처보다 앞선 참조 픽처를 가리키고 다른 MV는 표시 순서에서 현재 픽처 이후의 참조 픽처를 가리킨다. 2. 가중 예측이 활성화되지 않는다. 3. 현재 블록의 높이가 4가 아니다. 4. 현재 블록의 크기가 4x8(즉, 너비가 4이고 높이가 8)이 아니다. 5. 현재 블록은 VVC의 특별 MVD 코딩 모드인 대칭(symmetric) MVD(Motion Vector Differences) 모드로서 코딩되지 않는다. 6. 현재 블록은 아핀 모드(affine mode)로서 코딩되지 않는다. 7. 현재 블록은 서브-블록 병합 모드로서 코딩되지 않는다. 8. 현재 블록은 리스트 0과 리스트 1의 예측자 샘플을 평균화할 때 다른 가중치를 사용하지 않는다(예: 가중치가 같지 않은 BWA(Weighted Averaging)를 사용한 양-예측). |
현재의 VVC 설계에서 DMVR은 이 단락 바로 다음에 나오는 상자에 나열된 사전 정의된 DMVR 조건이 모두 유지되는 경우에만 활성화된다.
| 1. 현재 블록은 양방향 예측을 사용하며, 하나의 MV는 표시 순서에서 현재 픽처보다 앞에 있는 참조 픽처를 가리키고 다른 MV는 표시 순서에서 현재 픽처 뒤에 있는 참조 픽처를 가리킨다. 또한, 현재 픽처와 전방 참조 픽처 사이의 거리와 현재 픽처와 후방 참조 픽처 사이의 거리는 동일해야 한다. 2. 현재 블록이 병합 모드로 코딩되고, 선택된 병합 후보는 일반(regular) 병합 후보(예: 정상 비-서브블록 공간 병합 후보(normal non-subblock spatial merge candidate) 또는 시간 병합 후보(temporal merge candidate) 등)이다. 3. 현재 블록의 높이가 8 이상이다. 4. 현재 블록의 면적이 64 이상이다. 5. 현재 블록은 아핀 모드로 코딩되지 않는다. 6. 현재 블록은 서브-블록 병합 모드로 코딩되지 않는다. 7. 현재 블록은 MMVD(Merge mode with Motion Vector Differences) 모드로 코딩되지 않는다. |
현재의 VVC 설계에 존재하는 위의 제약 조건은 한편으로는 코딩 효율성과, 다른 한편으로는 복잡성 및 지연 간의 요구되는 균형을 달성하기 위해 오랫동안 계속되고 있지만, 문제를 완전히 해결하지 못한다.현재 VVC 설계에 남아 있는 한 가지 문제는 BDOF 및 DMVR을 활성화하는 데 이미 여러 제약 조건이 적용되었지만 일부 경우에는 블록을 코딩할 때 2개의 디코더측 인터 예측 보정 도구인 BDOF 및 DMVR을 모두 활성화할 수 있다는 것이다. 현재의 VVC 설계에서 디코더측 인터 예측 보정 도구(decoder-side prediction refinement tool)가 모두 활성화되면 BDOF는 DMVR의 최종 움직임 보상 샘플에 대해 종속성을 가지며, 이것은 하드웨어 설계에 대한 지연 문제를 일으킨다.현재의 VVC 설계에 남아 있는 두 번째 문제는, DMVR을 활성화하는 데 이미 몇 가지 제약 조건이 적용되었지만, DMVR을 비활성화와 복잡성 및 지연에서의 후속하는 감소가 한편으로의 코딩 효율과 다른 한편으로의 복잡성 및 지연 간에 더 나은 균형을 달성할 수 있는 시나리오가 있지만 현재 VVC 설계가 이러한 시나리오에서 DMVR을 활성화할 것이기 때문에, DMVR의 활성화에 관해 그 제약들은 전체적으로 여전히 과도하게 허용적이라는 것이다.
현재 VVC 설계에 남아 있는 세 번째 문제는, BDOF의 활성화 및 코딩 이득의 후속하는 증가가 한편에서의 코딩 효율과 다른 한편에서의 복잡성 및 지연 간에 더 나은 균형을 달성할 수도 있는 시나리오가 있지만 현재의 VVC 설계가 그러한 시나리오에서 BDOF를 활성화하지 않기 때문에, 기존에 BDOF의 활성화에 적용되는 제약들이 전체적으로 너무 허용적이지 않다는 것이다.
본 개시의 제1 측면에 따르면, 현재 블록이 복수의 사전 정의된 조건에 기초하여 DMVR 및 BDOF 모두의 적용에 적격인 때, 현재 블록은 현재 블록의 모드 정보를 기반으로 미리 정의된 기준을 사용하여, 두 개의 사전 정의된 클래스, 즉 DMVR 클래스 및 BDOF 클래스 중 하나로 분류될 것이다. 결과적으로 현재 블록의 분류는 현재 블록에 DMVR 또는 BDOF를 적용할 때 사용되지만 둘 다 적용할 수는 없다. 이 방법은 위의 미리 정의된 조건 위에 현재 VVC와 결합되거나 독립적으로 구현될 수 있다.
도 6은 본 개시의 제1 측면의 동작을 예시하는 흐름도이다. 현재 블록을 처리하는 동안(601), 본 개시의 본 측면의 동작은 현재 블록에 대해 복수의 미리 정의된 조건을 적용할 수 있고(602), 현재 블록이 DMVR 및 BDOF 모두의 적용에 적격인지를 복수의 미리 정의된 조건에 기초하여 결정할 수 있다(603). 현재 블록이 복수의 사전 정의된 조건에 기초하여 DMVR 및 BDOF 모두의 적용에 적격이 아니라고 결정되는 경우, 본 개시의 이 측면의 이 동작은 현재의 VVC 설계에 존재하는 프로세스로 계속될 수 있다(604). 한편, 현재 블록이 미리 정의된 복수의 조건에 기초하여 DMVR 및 BDOF 모두의 적용에 적격이라고 결정되는 경우, 본 개시의 이 측면의 이 동작은 현재 블록의 모드 정보에 기초하여 미리 정의된 기준을 사용하여 현재 블록을 두 개의 클래스 즉, DMVR 클래스 및 BDOF 클래스 중 하나로 분류할 수 있다(605). 이어서, 본 개시의 이 측면의 이 동작은 현재 블록의 분류 결과를 사용하여 현재 블록에 대해 DMVR 또는 BDOF 중 어느 하나를 적용할 수 있지만 둘 다 적용할 수는 없다(606). 현재 블록(606)의 분류 결과를 사용하여 현재 블록에 DMVR와 BDOF 모두가 아닌 그 중 하나를 적용하는 것은 현재 블록이 DMVR 클래스로 분류되는 경우 DMVR 클래스에서 계속하는 것(DMVR은 적용하지만 BDOF는 적용하지 않음)(607), 그리고 현재 블록이 BDOF 클래스로 분류되는 경우 BDOF 클래스에서 계속하는 것(BDOF를 적용하지만 DMVR은 적용하지 않음)(608)을 포함할 수 있다.
현재 블록이 DMVR 및 BDOF 모두의 적용에 적격이라고 결정하는 기초가 되는 복수의 미리 정의된 조건은, 위 상자에 열거된 복수의 사전 정의된 BDOF 조건 및 사전 정의된 DMVR 조건일 수 있지만 반드시 그럴 필요는 없다.
미리 정의된 기준에 대한 기초로 사용되는 모드 정보는 병합 모드 사용 여부와 같은 예측 모드, 병합 모드 인덱스, 움직임 벡터, 블록 모양, 블록 크기, 예측자 샘플 값을 포함하지만 이에 국한되지 않는다.
본 개시의 하나 이상의 실시예에 따르면, 현재 블록에 DMVR 및 BDOF 모두 아닌 그 중 어느 하나를 적용할 때 현재 블록의 분류를 사용하는 것은, 선택적으로, 현재 블록의 분류를 표시하기 위해 플래그를 시그널링하는 것을 포함하는데, 즉, 이 실시예의 일부 예들에서, BDOF 또는 DMVR이 블록에 적용되는지 여부를 지정하기 위해 하나의 플래그가 시그널링되는 반면, 이 실시예의 일부 다른 예들에서는 그러한 플래그가 시그널링되지 않는다.
본 개시의 하나 이상의 실시예에 따르면, 현재 블록에 DMVR 및 BDOF 모두 아닌 그 중 어느 하나를 적용할 때 현재 블록의 분류를 사용하는 것은 또한, 현재 블록이 DMVR 클래스로 분류되는 경우, 기존 병합 후보 리스트를 가지고 또는 개별로 생성된 병합 후보 리스트를 가지고, 현재 블록에 대해 BDOF가 아닌 DMVR을 적용하는 것을 더 포함한다. 즉, 본 실시예의 일부 예에서, 현재 블록이 DMVR 클래스로 분류되고 현재 블록에 DMVR이 적용되는 경우에만 별도의 병합 후보 리스트가 생성되어 사용된다. 이 DMVR 병합 모드를 나타내기 위해 신택스가 시그널링되고 DMVR 병합 후보 리스트 크기가 1보다 큰 경우 병합 인덱스도 시그널링된다. 이 실시예의 일부 다른 예에서, 현재 블록이 DMVR 클래스로 분류되고 현재 블록에 DMVR이 적용되고 현재 블록에 대한 DMVR의 적용이 기존 병합 후보 리스트를 사용하는 경우, 이러한 별도의 병합 후보가 생성되지 않고, 추가적인 신택스나 시그널링이 필요하지 않다.
본 개시의 하나 이상의 실시예에 따르면, 현재 블록에 DMVR 및 BDOF 중 어느 하나를 적용할 때 현재 블록의 분류를 사용하는 것은, 현재 블록이 BDOF 클래스로 분류되는 경우, 기존 병합 후보 리스트를 가지고 또는 별도로 생성된 병합 후보 리스트를 가지고 DMVR이 아닌 BDOF를 적용하는 것을 더 포함한다. 즉, 본 실시예의 일부 예에서, 현재 블록이 BDOF 클래스로 분류되고 현재 블록에 BDOF가 적용되는 경우에만 별도의 병합 후보 리스트가 생성되어 사용된다. 이 BDOF 병합 모드를 나타내기 위해 신택스가 시그널링되고, BDOF 병합 후보 리스트 크기가 1보다 크면 병합 인덱스도 시그널링된다. 이 실시예의 일부 다른 예에서, 현재 블록이 BDOF 클래스로 분류되고 현재 블록에 BDOF가 적용되고 현재 블록에 대한 BDOF의 적용이 기존 병합 후보 리스트를 사용하는 경우, 이러한 별도의 병합 후보가 생성되지 않고, 추가적인 신택스나 시그널링이 필요하지 않다.
본 개시의 제1 측면의 다른 실시예에 따르면, 현재 블록의 모드 정보에 기초하여 미리 정의된 기준을 이용하여 현재 블록을 두 개의 미리 정의된 클래스, 즉 DMVR 클래스 및 BDOF 클래스 중 하나로 분류하는 것은, 미리 정의된 기준이 만족되면 현재 블록을 DMVR 클래스로 분류하고, 미리 정의된 기준을 만족하지 않으면 현재 블록을 BDOF 클래스로 분류하는 것을 포함한다.
본 개시의 제1 측면의 다른 실시예에 따르면, 현재 블록의 모드 정보에 기초하여 미리 정의된 기준을 이용하여 현재 블록을 두 개의 미리 정의된 클래스, 즉 DMVR 클래스 및 BDOF 클래스 중 하나로 분류하는 것은, 미리 정의된 기준을 만족하는 경우 현재 블록을 BDOF 클래스로 분류하고, 미리 정의된 기준을 만족하지 않는 경우 현재 블록을 DMVR 클래스로 분류하는 것을 포함한다.
본 개시의 제1 측면의 다른 실시예에 따르면, 미리 정의된 기준은 현재 블록에 대해 레귤러 모드(regular mode)가 선택되는지 여부를 포함한다.
본 개시의 제1 측면의 다른 실시예에 따르면, 미리 정의된 기준은 현재 블록의 코딩된 병합 인덱스가 미리 정의된 수학적 속성을 소유하는지 여부를 포함한다.
다른 예에서, 미리 정의된 수학적 속성은 미리 정의된 임계값보다 크거나 같다는 속성을 포함한다.
본 개시의 제1 측면의 다른 실시예에 따르면, 미리 정의된 기준은 현재 블록의 움직임 벡터들이 미리 정의된 테스트를 충족하는지 여부를 포함한다.
일례에서, 미리 정의된 테스트는 모든 움직임 벡터 성분의 크기의 합이 미리 정의된 임계값보다 큰지 여부를 포함한다.
본 개시의 제1 측면의 다른 실시예에 따르면, 미리 정의된 기준은 현재 블록이 미리 정의된 형상인지 여부를 포함한다.
일례에서 미리 정의된 형상은 정사각형 형상이다.
본 개시의 제1 측면의 다른 실시예에 따르면, 미리 정의된 기준은 현재 블록의 블록 크기가 미리 정의된 수학적 속성을 소유하는지 여부를 포함한다.
일례에서, 미리 정의된 수학적 속성은 미리 정의된 임계값보다 크거나 같다는 속성을 포함한다.
본 개시의 제1 측면의 다른 실시예에 따르면, 미리 정의된 기준은 현재 블록의 리스트 0 예측자 샘플과 리스트 1 예측자 샘플 간의 절대 차의 합(SAD, sum of absolute differences) 또는 차의 제곱의 합(SSD, sum of squared differences)이 미리 정의된 수학적 속성을 가지고 있는지 여부를 포함한다.
일례에서, 미리 정의된 수학적 속성은 미리 정의된 임계값보다 크다는 속성을 포함한다.
본 개시의 제2 측면에 따르면, 현재 블록이 복수의 미리 정의된 조건에 기초하여 DMVR 코딩에 적격인 경우, 현재 블록에 대해 가중 예측이 활성화되는지 여부에 관한 제1 결정이 이루어지고, 현재 블록에 대한 리스트 0 예측자 샘플 및 리스트 1 예측자 샘플을 평균화할 때 서로 다른 가중치가 사용되는지 여부에 관해 제2 결정이 이루어지며, 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부는 제1 및 제2 결정에 기초하여 결정될 수 있다. 이 방법은 위의 미리 정의된 조건 위에 현재 VVC와 결합되거나 독립적으로 구현될 수 있다.
도 7은 본 개시의 제2 측면의 예시적인 방법을 예시하는 흐름도이다. 현재 블록(701)을 처리하는 동안(701), 본 개시의 이 측면의 이 동작은 현재 블록에 대해 복수의 미리 정의된 조건을 적용하고(702), 복수의 사전 정의된 조건에 기초하여 현재 블록이 DMVR 코딩에 적격인지 여부를 결정할 수 있다(703). 현재 블록이 복수의 사전 정의된 조건에 기초하여 DMVR 코딩에 적격이 아닌 것으로 결정되면, 본 개시의 이 측면의 이 동작은 현재의 VVC 설계에 존재하는 프로세스로 계속될 수 있다(704). 한편, 현재 블록이 복수의 사전 정의된 조건에 기초하여 DMVR 코딩에 적격인 것으로 결정되면, 본 개시의 이 측면의 이 동작은 현재 블록에 대해 가중 예측이 활성화되는지 여부를 결정할 수 있고(705 ), 또 현재 블록에 대한 리스트 0 예측자 샘플 및 리스트 1 예측자 샘플을 평균화할 때 상이한 가중치가 사용되는지 여부를 결정하며(706), 후속적으로 이 2개의 결정에 기초하여 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정한다(707).
현재 블록이 DMVR 코딩에 적격인 것의 기초가 되는 복수의 사전 정의된 조건은 위 상자에 열거된 복수의 사전 정의된 DMVR 조건일 수 있지만 반드시 그럴 필요는 없다.
본 개시의 제2 측면의 일 실시예에 따르면, 2개의 결정에 기초하여 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 것은 가중 예측이 활성화되는 것으로 결정될 때 현재 블록에 대한 DMVR의 적용을 비활성화하는 것을 포함한다.
본 개시의 제2 측면의 다른 실시예에 따르면, 2개의 결정에 기초하여 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 것은, 현재 블록에 대한 리스트 0 예측자 샘플 및 리스트 1 예측자 샘플을 평균화할 때 상이한 가중치가 사용되는 것으로 결정될 때 현재 블록에 대한 DMVR의 적용을 비활성화하는 것을 포함한다.
본 개시의 제2 측면의 다른 실시예에 따르면, 2개의 결정에 기초하여 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 것은, 가중 예측이 활성화되는 것으로 결정될 때 그리고 동시에 현재 블록에 대한 리스트 0 예측자 샘플과 리스트 1 예측자 샘플을 평균화할 때 서로 다른 가중치가 사용되는 것으로 결정된 때 현재 블록에 대한 DMVR의 적용을 비활성화하는 것을 포함한다.
본 개시의 제3 측면에 따르면, 현재 블록에 대한 BDOF의 적용은 현재 블록이 서브-블록 병합 모드로 코딩될 때 활성화될 수 있다. 이 방법은 위의 미리 정의된 조건 위에 현재 VVC와 결합되거나 독립적으로 구현될 수 있다.
도 8은 본 개시의 제3 측면의 동작을 예시하는 흐름도이다. 현재 블록을 처리하는 동안(801), 본 개시의 이 측면의 이 동작은 현재 블록이 서브-블록 병합 모드로서 코딩되는지 여부를 결정할 수 있다(802). 현재 블록이 서브-블록 병합 모드로서 코딩되지 않는 것으로 결정되면, 본 개시의 이 측면의 이 동작은 현재 VVC 설계에 존재하는 프로세스로 계속될 수 있다(803). 반면에, 현재 블록이 서브-블록 병합 모드로 코딩되는 것으로 결정되면, 본 개시의 이 측면의 이 동작은 현재 블록에 대한 BDOF의 적용을 활성화할 수 있다(804).
하나 이상의 예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 컴퓨터 판독 가능 매체에 하나 이상의 명령 또는 코드로서 저장되거나 이를 통해 전송될 수 있고 하드웨어 기반 처리 장치에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독 가능 저장 매체, 또는 예를 들어, 통신 프로토콜에 따라 컴퓨터 프로그램을 한 장소에서 다른 장소로 전송하는 것을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독 가능 매체는 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독 가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 출원에서 설명된 구현예의 구현을 위한 명령어, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 매체를 포함할 수 있다.
또한, 상기 방법들은 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(DSPD), 프로그램 가능 논리 장치(PLD), FPGA(field programmable gate arrays), 컨트롤러, 마이크로 컨트롤러, 마이크로프로세서 또는 기타 전자 부품을 포함하는 하나 이상의 회로들을 포함하는 장치를 사용하여 구현될 수 있다. 이 장치는 위에서 설명된 방법을 수행하기 위해 다른 하드웨어 또는 소프트웨어 구성요소와 조합하여 회로를 사용할 수 있다. 위에 개시된 각각의 모듈, 서브-모듈, 유닛, 또는 서브-유닛은 하나 이상의 회로를 사용하여 적어도 부분적으로 구현될 수 있다.
본 발명의 다른 실시예는 여기에 개시된 본 발명의 명세서 및 실시를 고려하여 통상의 기술자에게 명백할 것이다. 본 출원은 본 발명의 일반적인 원리에 따라 본 발명의 임의의 변형, 사용 또는 개조를 포함하도록 의도되며, 당해 기술 분야에서 공지된 또는 통상적인 관행 내에 있는 본 개시로부터의 그러한 이탈을 포함한다. 명세서 및 실시예는 단지 예시적인 것으로 간주되어야 하며, 본 발명의 진정한 범위 및 사상은 다음의 청구범위에 의해 지시된다.
본 발명은 상기 설명과 첨부된 도면에 예시된 정확한 실시예에 제한되지 않으며, 본 발명의 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 청구범위에 의해서만 제한되는 것으로 의도된다.
Claims (10)
- 비디오 인코딩을 위한 방법으로서,
현재 블록이 복수의 미리 정의된 조건을 충족시키는 것에 응답하여, 상기 현재 블록에 대해 가중 예측이 활성화되는지 여부를 결정하고, 상기 현재 블록에 대한 리스트 0 예측 샘플 및 리스트 1 예측 샘플을 평균화할 때 서로 다른 가중치가 사용되는지 여부를 결정하는 단계; 및
상기 2개의 결정에 기초하여 상기 현재 블록에 대한 DMVR(Decoder-side Motion Vector Refinement)의 적용을 비활성화할지 여부를 결정하는 단계
를 포함하고,
상기 복수의 미리 정의된 조건은:
상기 현재 블록이 아핀 모드로 코딩되지 않을 것임; 및
상기 현재 블록이 서브-블록 병합 모드로 코딩되지 않을 것임
을 포함하는, 방법. - 제1항에 있어서,
상기 2개의 결정에 기초하여 상기 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 단계는, 상기 가중 예측이 상기 현재 블록에 대해 활성화되는 것으로 결정된 경우 상기 현재 블록에 대한 DMVR의 적용을 비활성화하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 2개의 결정에 기초하여 상기 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 단계는, 현재 블록에 대한 리스트 0 예측 샘플 및 리스트 1 예측 샘플을 평균화할 때 상이한 가중치가 사용되는 것으로 결정된 경우 상기 현재 블록에 대한 DMVR의 적용을 비활성화하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 2개의 결정에 기초하여 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 단계는, 상기 가중 예측이 상기 현재 블록에 대해 활성화되는 것으로 결정되고, 동시에 상기 현재 블록에 대한 리스트 0 예측 샘플과 리스트 1 예측 샘플을 평균화할 때 서로 다른 가중치가 사용되는 것으로 결정된 경우, 상기 현재 블록에 대한 DMVR의 적용을 비활성화하는 단계를 포함하는, 방법. - 컴퓨팅 디바이스로서,
하나 이상의 프로세서;
상기 하나 이상의 프로세서에 연결된 비일시적 스토리지; 및
상기 하나 이상의 프로세서에 의해 실행될 때 상기 컴퓨팅 디바이스가 다음:
현재 블록이 복수의 미리 정의된 조건을 충족하는 것에 응답하여, 상기 현재 블록에 대해 가중 예측이 활성화되는지 여부를 결정하고, 상기 현재 블록에 대한 리스트 0 예측 샘플 및 리스트 1 예측 샘플을 평균화할 때 서로 다른 가중치가 사용되는지 여부를 결정하는 단계; 및
상기 2개의 결정에 기초하여 상기 현재 블록에 대한 DMVR(Decoder-side Motion Vector Refinement)의 적용을 비활성화할지 여부를 결정하는 단계
를 포함하는 동작을 수행하게 하는 비일시적 저장소에 저장된 복수의 프로그램
을 포함하고,
상기 복수의 미리 정의된 조건은:
상기 현재 블록이 아핀 모드로 코딩되지 않을 것임; 및
상기 현재 블록이 서브-블록 병합 모드로 코딩되지 않을 것임
을 포함하는, 컴퓨팅 디바이스. - 제5항에 있어서,
상기 2개의 결정에 기초하여 상기 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 단계는, 상기 가중 예측이 상기 현재 블록에 대해 활성화되는 것으로 결정된 경우 상기 현재 블록에 대한 DMVR의 적용을 비활성화하는 단계를 포함하는, 컴퓨팅 디바이스. - 제5항에 있어서,
상기 2개의 결정에 기초하여 상기 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 단계는, 현재 블록에 대한 리스트 0 예측 샘플 및 리스트 1 예측 샘플을 평균화할 때 상이한 가중치가 사용되는 것으로 결정된 경우 상기 현재 블록에 대한 DMVR의 적용을 비활성화하는 단계를 포함하는, 컴퓨팅 디바이스. - 제5항에 있어서,
상기 2개의 결정에 기초하여 현재 블록에 대한 DMVR의 적용을 비활성화할지 여부를 결정하는 단계는, 상기 가중 예측이 상기 현재 블록에 대해 활성화되는 것으로 결정되고, 동시에 상기 현재 블록에 대한 리스트 0 예측 샘플과 리스트 1 예측 샘플을 평균화할 때 서로 다른 가중치가 사용되는 것으로 결정된 경우, 상기 현재 블록에 대한 DMVR의 적용을 비활성화하는 단계를 포함하는, 컴퓨팅 디바이스. - 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에 의한 처리를 위한 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체로서,
상기 비트스트림은 제1항 내지 제4항 중 어느 한 항에 따른 방법에 의해 생성되는 것인, 비일시적 컴퓨터 판독 가능 저장 매체. - 비일시적인 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 컴퓨팅 디바이스에 의해 실행된 때, 상기 컴퓨팅 디바이스로 하여금 제1항 내지 제4항 중 어느 한 항에 따른 방법을 수행하게 하는 명령을 포함하는, 컴퓨터 프로그램.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962803417P | 2019-02-08 | 2019-02-08 | |
| US62/803,417 | 2019-02-08 | ||
| KR1020217035265A KR102409275B1 (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
| PCT/US2020/017382 WO2020163837A1 (en) | 2019-02-08 | 2020-02-08 | Methods and devices for selectively applying bi-directional optical flow and decoder-side motion vector refinement for video coding |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217035265A Division KR102409275B1 (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220083862A true KR20220083862A (ko) | 2022-06-20 |
Family
ID=71029974
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217025204A KR102384240B1 (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
| KR1020227019687A KR20220083862A (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
| KR1020227011121A KR20220046005A (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
| KR1020217035265A KR102409275B1 (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217025204A KR102384240B1 (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227011121A KR20220046005A (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
| KR1020217035265A KR102409275B1 (ko) | 2019-02-08 | 2020-02-08 | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US20210368200A1 (ko) |
| EP (3) | EP4333436A3 (ko) |
| JP (4) | JP7232345B2 (ko) |
| KR (4) | KR102384240B1 (ko) |
| CN (7) | CN115209159B (ko) |
| DK (1) | DK3909247T3 (ko) |
| MX (1) | MX2021009529A (ko) |
| WO (1) | WO2020163837A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115209159B (zh) * | 2019-02-08 | 2023-08-29 | 北京达佳互联信息技术有限公司 | 用于视频编码的方法、设备和介质 |
| EP3907998A4 (en) * | 2019-02-14 | 2022-03-16 | LG Electronics Inc. | METHOD AND DEVICE FOR INTER-PREDICTION BASED ON A DMVR |
| EP3913921A4 (en) * | 2019-02-24 | 2022-03-30 | LG Electronics Inc. | INTER-PREDICTION METHOD AND DEVICE BASED ON A DMVR |
| CN112004091B (zh) * | 2020-07-31 | 2021-08-03 | 浙江大华技术股份有限公司 | 帧间预测方法及其相关装置 |
| CN112132915B (zh) * | 2020-08-10 | 2022-04-26 | 浙江大学 | 一种基于生成对抗机制的多样化动态延时视频生成方法 |
| CN112055222B (zh) * | 2020-08-21 | 2024-05-07 | 浙江大华技术股份有限公司 | 视频编解码方法、电子设备及计算机可读存储介质 |
| CN112218075B (zh) * | 2020-10-17 | 2022-10-28 | 浙江大华技术股份有限公司 | 候选列表的填充方法、电子设备、计算机可读存储介质 |
| WO2023044247A1 (en) * | 2021-09-16 | 2023-03-23 | Qualcomm Incorporated | Multiple inter predictors with decoder side motion vector derivation for video coding |
| WO2023132723A1 (ko) * | 2022-01-09 | 2023-07-13 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011129672A2 (ko) * | 2010-04-16 | 2011-10-20 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 장치 및 방법 |
| GB2512829B (en) * | 2013-04-05 | 2015-05-27 | Canon Kk | Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme |
| CN103561263B (zh) * | 2013-11-06 | 2016-08-24 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 基于运动矢量约束和加权运动矢量的运动补偿预测方法 |
| WO2017084512A1 (en) * | 2015-11-20 | 2017-05-26 | Mediatek Inc. | Method and apparatus of motion vector prediction or merge candidate derivation for video coding |
| CN114615493A (zh) * | 2016-03-24 | 2022-06-10 | 英迪股份有限公司 | 视频解码方法、视频编码方法和可读记录介质 |
| US10645395B2 (en) * | 2016-05-25 | 2020-05-05 | Arris Enterprises Llc | Weighted angular prediction coding for intra coding |
| CN116320497A (zh) * | 2016-11-28 | 2023-06-23 | 韩国电子通信研究院 | 用于滤波的方法和装置 |
| WO2018113658A1 (en) * | 2016-12-22 | 2018-06-28 | Mediatek Inc. | Method and apparatus of motion refinement for video coding |
| US10750203B2 (en) * | 2016-12-22 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive bi-prediction for video coding |
| US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
| US10523964B2 (en) * | 2017-03-13 | 2019-12-31 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (BIO) |
| US10595035B2 (en) * | 2017-03-22 | 2020-03-17 | Qualcomm Incorporated | Constraining motion vector information derived by decoder-side motion vector derivation |
| US10477237B2 (en) * | 2017-06-28 | 2019-11-12 | Futurewei Technologies, Inc. | Decoder side motion vector refinement in video coding |
| KR102430225B1 (ko) * | 2017-06-30 | 2022-08-09 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 모션 벡터 정제를 위한 검색 영역 |
| US11750832B2 (en) * | 2017-11-02 | 2023-09-05 | Hfi Innovation Inc. | Method and apparatus for video coding |
| JP7311589B2 (ja) * | 2018-09-21 | 2023-07-19 | ヴィド スケール インコーポレイテッド | 双方向オプティカルフローのための複雑性低減およびビット幅制御 |
| US11146810B2 (en) * | 2018-11-27 | 2021-10-12 | Qualcomm Incorporated | Decoder-side motion vector refinement |
| US11153590B2 (en) * | 2019-01-11 | 2021-10-19 | Tencent America LLC | Method and apparatus for video coding |
| CN115209159B (zh) * | 2019-02-08 | 2023-08-29 | 北京达佳互联信息技术有限公司 | 用于视频编码的方法、设备和介质 |
-
2020
- 2020-02-08 CN CN202210827077.0A patent/CN115209159B/zh active Active
- 2020-02-08 EP EP24152590.6A patent/EP4333436A3/en active Pending
- 2020-02-08 KR KR1020217025204A patent/KR102384240B1/ko active IP Right Grant
- 2020-02-08 DK DK20752247.5T patent/DK3909247T3/da active
- 2020-02-08 JP JP2021546307A patent/JP7232345B2/ja active Active
- 2020-02-08 CN CN202310894965.9A patent/CN116828185A/zh active Pending
- 2020-02-08 CN CN202111233781.5A patent/CN113965746B/zh active Active
- 2020-02-08 EP EP24152518.7A patent/EP4333435A3/en active Pending
- 2020-02-08 MX MX2021009529A patent/MX2021009529A/es unknown
- 2020-02-08 KR KR1020227019687A patent/KR20220083862A/ko active Application Filing
- 2020-02-08 KR KR1020227011121A patent/KR20220046005A/ko active Search and Examination
- 2020-02-08 KR KR1020217035265A patent/KR102409275B1/ko active IP Right Grant
- 2020-02-08 CN CN202080013232.4A patent/CN113424537A/zh active Pending
- 2020-02-08 CN CN202310971968.8A patent/CN116886925A/zh active Pending
- 2020-02-08 EP EP20752247.5A patent/EP3909247B1/en active Active
- 2020-02-08 WO PCT/US2020/017382 patent/WO2020163837A1/en unknown
- 2020-02-10 CN CN202010085186.0A patent/CN111294598B/zh active Active
- 2020-02-10 CN CN202111667192.8A patent/CN114286101B/zh active Active
-
2021
- 2021-08-06 US US17/396,641 patent/US20210368200A1/en active Pending
- 2021-08-06 US US17/396,648 patent/US20210368166A1/en active Pending
-
2022
- 2022-05-23 JP JP2022084108A patent/JP7339395B2/ja active Active
-
2023
- 2023-05-01 JP JP2023075405A patent/JP2023099145A/ja active Pending
- 2023-11-16 JP JP2023194974A patent/JP2024012627A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102409275B1 (ko) | 비디오 코딩을 위한 양방향 광학 흐름 및 디코더측 움직임 벡터 보정을 선택적으로 적용하기 위한 방법 및 장치 | |
| US20210377520A1 (en) | Constrained motion vector derivation for long-term reference pictures in video coding | |
| KR102501210B1 (ko) | 결합된 인터 및 인트라-예측 모드의 제한되고 조정된 적용 | |
| KR20210095964A (ko) | 조합된 인터 및 인트라 예측을 개선하는 시스템 및 방법 | |
| KR20210099215A (ko) | 조합된 인터 및 인트라 예측을 개선하는 시스템 및 방법 | |
| KR20140068741A (ko) | 영상 부호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent |