KR102429449B1 - 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 - Google Patents
양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR102429449B1 KR102429449B1 KR1020217029914A KR20217029914A KR102429449B1 KR 102429449 B1 KR102429449 B1 KR 102429449B1 KR 1020217029914 A KR1020217029914 A KR 1020217029914A KR 20217029914 A KR20217029914 A KR 20217029914A KR 102429449 B1 KR102429449 B1 KR 102429449B1
- Authority
- KR
- South Korea
- Prior art keywords
- sample
- bit
- video
- obtaining
- prediction sample
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명의 개시내용은 비디오 신호를 코딩하기 위한 양방향 광 흐름(bi-directional optical flow, BDOF)의 비트-폭 제어 방법에 관한 것이다. 상기 방법은: 비디오 블록과 연관된 제1 참조 픽처 
및 제2 참조 픽처 
를 획득하는 단계; 상기 제1 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제1 예측 샘플 
를 획득하는 단계; 상기 제2 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제2 예측 샘플 
를 획득하는 단계; 중간 파라미터의 내부 비트-폭을 유도함으로써 BDOF의 내부 비트-폭을 제어하는 단계; 상기 제1 예측 샘플 
및 상기 제2 예측 샘플 
에 기초해서 상기 비디오 블록에 적용되는 BDOF에 기초해서 상기 비디오 블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 획득하는 단계; 및 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 이중 예측 샘플을 획득하는 단계를 포함한다.
Description
본 출원은 2019년 3월 15일에 출원된 가출원 번호 62/819,408에 기초하고 우선권을 주장하며, 그 전체 내용은 그 전체가 참고로 여기에 포함된다.
이 출원은 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 개시내용 내용은 비디오 코딩을 위한 양방향 광학 흐름(bi-directional optical flow, BDOF) 방법을 위한 방법 및 장치에 관한 것이다.
다양한 비디오 코딩 기술이 비디오 데이터를 압축하는 데 사용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행된다. 예를 들어, 비디오 코딩 표준에는 다목적 비디오 코딩(versatile video coding, VVC), 공동 탐색 테스트 모델(joint exploration search model, JEM), 고효율 비디오 코딩(H.265/HEVC), 고급 비디오 코딩(H.264/AVC), 동영상 전문가 그룹(moving picture experts group, MPEG) 코딩 등이 포함된다. 비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 존재하는 중복성을 이용하는 예측 방법(예를 들어, 인터 예측, 인트라 예측 등)을 사용한다. 비디오 코딩 기술의 중요한 목표는 비디오 품질 저하를 피하거나 최소화하면서 더 낮은 비트 전송률을 사용하는 형식으로 비디오 데이터를 압축하는 것이다.
본 개시내용의 예는 양방향 광학 흐름(BDOF)을 위한 비트-폭 제어를 위한 방법 및 장치를 제공한다. 본 개시내용의 제1 관점에 따라, 비디오 신호를 코딩하기 위한 양방향 광 흐름(bi-directional optical flow, BDOF)의 비트-폭 제어 방법이 제공된다. 방법은 비디오 블록과 연관된 제1 참조 픽처 
및 제2 참조 픽처 
를 획득하는 단계를 포함할 수 있다. 디스플레이 순서에서 상기 제1 참조 픽처 
는 현재 픽처 이전일 수 있고 상기 제2 참조 픽처 
는 현재 픽처 이후일 수 있다. 상기 방법은 상기 제1 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제1 예측 샘플 
를 획득하는 단계를 더 포함할 수 있다. 변수 i 및 j는 현재 픽처와 하나의 샘플의 좌표를 나타낼 수 있다. 상기 방법은 상기 제2 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제2 예측 샘플 
를 획득하는 단계를 더 포함할 수 있다. 상기 방법은 중간 파라미터의 내부 비트-폭을 유도함으로써 BDOF의 내부 비트-폭을 제어하는 단계를 더 포함할 수 있다. 상기 중간 파라미터는 수평 기울기 값, 수직 기울기 값, 및 제1 예측 샘플 
와 제2 예측 샘플 
간의 샘플 차이를 포함할 수 있다. 상기 방법은 상기 제1 예측 샘플 
및 상기 제2 예측 샘플 
에 기초해서 상기 비디오 블록에 적용되는 BDOF에 기초해서 상기 비디오 블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 획득하는 단계를 더 포함할 수 있다. 상기 방법은 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 이중 예측 샘플을 획득하는 단계를 더 포함할 수 있다.
본 개시내용의 제2 관점에 따라, 비디오 신호를 코딩하기 위한 양방향 광 흐름(bi-directional optical flow, BDOF)의 비트-폭 제어 방법이 제공된다. 상기 방법은 비디오 블록과 연관된 제1 참조 픽처 
및 제2 참조 픽처 
를 획득하는 단계를 포함할 수 있다. 디스플레이 순서에서 상기 제1 참조 픽처 
는 현재 픽처 이전일 수 있고 상기 제2 참조 픽처 
는 현재 픽처 이후일 수 있다. 상기 방법은 상기 제1 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제1 예측 샘플 
를 획득하는 단계를 포함할 수 있다. 변수 i 및 j는 현재 픽처와 하나의 샘플의 좌표를 나타낸다. 상기 방법은 상기 제2 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제2 예측 샘플 
를 획득하는 단계를 포함할 수 있다. 상기 방법은 중간 파라미터의 내부 비트-폭을 유도함으로써 BDOF의 내부 비트-폭을 제어하는 단계를 포함할 수 있다. 상기 중간 파라미터는 수평 기울기 값, 수직 기울기 값, 및 제1 예측 샘플 
와 제2 예측 샘플 
간의 샘플 차이를 포함할 수 있다. 상기 방법은 상기 제1 예측 샘플 
및 상기 제2 예측 샘플 
을 사용해서 상기 비디오 블록에 적용되는 로컬 윈도우 및 BDOF에 기초해서 상기 비디오 블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 획득하는 단계를 포함할 수 있다. 상기 로컬 윈도우는 상기 비디오 블록을 덮고 상기 로컬 윈도우는 6×6 픽셀의 윈도우 크기를 가진다. 상기 방법은 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 이중 예측 샘플을 획득하는 단계를 포함할 수 있다.
본 개시내용의 제3 관점에 따라, 컴퓨팅 디바이스가 제공된다. 컴퓨팅 디바이스는 하나 이상의 프로세서; 상기 하나 이상의 프로세서에 의해 실행 가능한 명령을 저장하는 비 일시적 컴퓨터 판독 가능형 저장 매체를 포함한다. 상기 하나 이상의 프로세서는 비디오 블록과 연관된 제1 참조 픽처 
및 제2 참조 픽처 
를 획득하도록 구성될 수 있다. 디스플레이 순서에서 상기 제1 참조 픽처 
는 현재 픽처 이전일 수 있고 상기 제2 참조 픽처 
는 현재 픽처 이후일 수 있다. 상기 하나 이상의 프로세서는 상기 제1 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제1 예측 샘플 
를 획득하도록 구성될 수 있다. 변수 i 및 j는 현재 픽처와 하나의 샘플의 좌표를 나타낼 수 있다. 상기 하나 이상의 프로세서는 상기 제2 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제2 예측 샘플 
를 획득하도록 구성될 수 있다. 상기 하나 이상의 프로세서는 중간 파라미터의 내부 비트-폭을 유도함으로써 BDOF의 내부 비트-폭을 제어하도록 구성될 수 있다. 상기 중간 파라미터는 수평 기울기 값, 수직 기울기 값, 및 제1 예측 샘플 
와 제2 예측 샘플 
간의 샘플 차이를 포함한다. 상기 하나 이상의 프로세서는 상기 제1 예측 샘플 
및 상기 제2 예측 샘플 
에 기초해서 상기 비디오 블록에 적용되는 BDOF에 기초해서 상기 비디오 블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 획득하도록 구성될 수 있다. 상기 하나 이상의 프로세서는 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 이중 예측 샘플을 획득하도록 구성될 수 있다.
본 개시내용의 제4 관점에 따라, 컴퓨팅 디바이스가 제공된다. 컴퓨팅 디바이스는 하나 이상의 프로세서; 상기 하나 이상의 프로세서에 의해 실행 가능한 명령을 저장하는 비 일시적 컴퓨터 판독 가능형 저장 매체를 포함한다. 상기 하나 이상의 프로세서는 비디오 블록과 연관된 제1 참조 픽처 
및 제2 참조 픽처 
를 획득하도록 구성될 수 있다. 디스플레이 순서에서 상기 제1 참조 픽처 
는 현재 픽처 이전일 수 있고 상기 제2 참조 픽처 
는 현재 픽처 이후일 수 있다. 상기 하나 이상의 프로세서는 상기 제1 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제1 예측 샘플 
를 획득하도록 구성될 수 있다. 변수 i 및 j는 현재 픽처와 하나의 샘플의 좌표를 나타낼 수 있다. 상기 하나 이상의 프로세서는 상기 제2 참조 픽처 
의 참조 블록으로부터 상기 비디오 블록의 제2 예측 샘플 
를 획득하도록 구성될 수 있다. 상기 하나 이상의 프로세서는 중간 파라미터의 내부 비트-폭을 유도함으로써 BDOF의 내부 비트-폭을 제어하도록 구성될 수 있다. 상기 중간 파라미터는 수평 기울기 값, 수직 기울기 값, 및 제1 예측 샘플 
와 제2 예측 샘플 
간의 샘플 차이를 포함할 수 있다. 상기 하나 이상의 프로세서는 상기 제1 예측 샘플 
및 상기 제2 예측 샘플 
을 사용해서 상기 비디오 블록에 적용되는 로컬 윈도우 및 BDOF에 기초해서 상기 비디오 블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 획득하도록 구성될 수 있다. 상기 로컬 윈도우는 상기 비디오 블록을 덮고 상기 로컬 윈도우는 6×6 픽셀의 윈도우 크기를 가진다. 상기 하나 이상의 프로세서는 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 이중 예측 샘플을 획득하도록 구성될 수 있다.
전술한 일반적인 설명 및 다음의 상세한 설명은 모두 예시일 뿐이고 본 개시내용을 제한하지 않는 것으로 이해되어야 한다.
본 명세서에 통합되고 본 명세서의 일부를 구성하는 첨부 도면은 본 개시내용과 일치하는 예를 예시하고, 상세한 설명과 함께 본 개시내용의 원리를 설명하는 역할을 한다.
도 1은 본 개시내용의 일 예에 따른 인코더의 블록도이다.
도 2는 본 개시내용의 일 예에 따른 디코더의 블록도이다.
도 3a는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3b는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3c는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3d는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3e는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 4는 본 개시내용의 예에 따른 양방향 광 흐름(BDOF) 모델의 다이어그램 예시이다.
도 5는 본 개시내용물의 예에 따른 비디오 신호를 코딩하는 비트-폭 제어 방법을 예시하는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 BDOF 비트-폭 제어 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 사용자 인터페이스와 결합된 컴퓨팅 환경을 나타내는 도면이다.
도 1은 본 개시내용의 일 예에 따른 인코더의 블록도이다.
도 2는 본 개시내용의 일 예에 따른 디코더의 블록도이다.
도 3a는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3b는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3c는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3d는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3e는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 4는 본 개시내용의 예에 따른 양방향 광 흐름(BDOF) 모델의 다이어그램 예시이다.
도 5는 본 개시내용물의 예에 따른 비디오 신호를 코딩하는 비트-폭 제어 방법을 예시하는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 BDOF 비트-폭 제어 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 사용자 인터페이스와 결합된 컴퓨팅 환경을 나타내는 도면이다.
이제 예시적인 실시예를 상세히 참조할 것이며, 그 예시는 첨부 도면에 예시되어 있다. 다음 설명은 다른 도면에서 동일한 번호가 달리 표시되지 않는 한 동일하거나 유사한 요소를 나타내는 첨부 도면을 참조한다. 실시예의 다음 설명에서 설명된 구현은 본 개시내용 내용과 일치하는 모든 구현을 나타내는 것은 아니다. 대신, 그것들은 첨부된 청구범위에 인용된 바와 같이 본 개시내용과 관련된 양태와 일치하는 장치 및 방법의 예일 뿐이다.
본 발명에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 개시내용 및 첨부된 특허청구범위에서 사용된 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 형태도 포함하는 것으로 의도된다. 또한 본 명세서에서 사용된 "및/또는"이라는 용어는 하나 이상의 연관된 나열된 항목의 임의의 또는 모든 가능한 조합을 의미하고 포함하도록 의도된 것으로 이해되어야 한다.
"제1", "제2", "제3" 등의 용어가 다양한 정보를 설명하기 위해 본 명세서에서 사용될 수 있지만, 정보는 이러한 용어에 의해 제한되어서는 안 된다는 것을 이해해야 한다. 이러한 용어는 정보의 한 범주를 다른 범주와 구별하는 데만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 정보는 제2 정보로 명명될 수 있고; 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, "만약"이라는 용어는 문맥에 따라 "때" 또는 "시" 또는 "판단에 응답하여"를 의미하는 것으로 이해될 수 있다.
HEVC 표준의 첫 번째 버전은 2013년 10월에 완성되었으며, 이는 이전 세대의 비디오 코딩 표준 H.264/MPEG AVC와 비교하여 대략 50%의 비트율 절약 또는 동등한 지각 품질을 제공한다. HEVC 표준이 이전 표준보다 상당한 코딩 개선 사항을 제공하지만 HEVC에 대한 추가 코딩 도구를 사용하여 우수한 코딩 효율성을 달성할 수 있다는 증거가 있다. 이를 기반으로 VCEG와 MPEG 모두 미래의 비디오 코딩 표준화를 위한 새로운 코딩 기술의 탐색 작업을 시작했다. 2015년 10월 ITU-T VECG와 ISO/IEC MPEG에 의해 하나의 공동 비디오 탐색 팀(Joint Video Exploration Team, JVET)이 구성되어 코딩 효율성을 크게 향상시킬 수 있는 첨단 기술에 대한 중요한 연구를 시작했다. 공동 탐색 모델(joint exploration model, JEM)이라고 하는 하나의 참조 소프트웨어는 HEVC 테스트 모델(HM) 위에 여러 추가 코딩 도구를 통합하여 JVET에서 유지 관리했다.
2017년 10월, ITU-T 및 ISO/IEC[9]에서 HEVC 이상의 기능을 갖춘 비디오 압축에 대한 공동 제안 요청(CfP)을 발표하였다. 2018년 4월 제10차 JVET 회의에서 23개의 CfP 응답이 접수 및 평가되었으며, 이는 HEVC에 비해 약 40%의 압축 효율 향상을 보여주었다. 이러한 평가 결과를 바탕으로 JVET는 VVC(Versatile Video Coding)[10]라는 차세대 비디오 코딩 표준을 개발하기 위한 새로운 프로젝트를 시작하였다. 같은 달에 VVC 테스트 모델(VTM)[11]이라고 하는 하나의 참조 소프트웨어 코드베이스가 VVC 표준의 참조 구현을 시연하기 위해 설정되었다.
HEVC와 마찬가지로, VVC는 블록 기반 하이브리드 비디오 코딩 프레임워크를 기반으로 구축된다. 도 1은 일반적인 블록 기반 하이브리드 비디오 인코딩 시스템의 블록도를 제공한다. 입력 비디오 신호는 블록 단위(코딩 단위(coding unit, CU)라고 함)로 처리된다. 구체적으로, 도 1은 본 개시내용에 따른 전형적인 인코더(100)를 도시한다. 인코더(100)는 비디오 입력(110), 모션 보상(112), 모션 추정(114), 인트라/인터 모드 결정(116), 블록 예측기(140), 가산기(128), 변환(130), 양자화(132), 예측 관련 정보(142), 인트라 예측(118), 픽처 버퍼(120), 역 양자화(134), 역변환(136), 가산기(126), 메모리(124), 인-루프 필터(122), 엔트로피 코딩(138), 및 비트스트림(144)를 포함한다.
VTM-1.0에서 CU는 최대 128x128 픽셀일 수 있다. 그러나 쿼드 트리만으로 블록을 분할하는 HEVC와 달리, VVC에서는 하나의 코딩 트리 단위(Coding Tree Unit, CTU)를 CU로 분할하여 쿼드/바이너리/터너리 트리를 기반으로 하는 다양한 로컬 특성에 적응한다. 또한 HEVC에서 다중 파티션 단위 유형의 개념이 제거되며, 즉 CU, 예측 단위(prediction unit, PU) 및 변환 단위(transform unit, TU)의 분리가 더 이상 VVC에 존재하지 않으며; 대신, 각 CU는 항상 추가 파티션 없이 예측 및 변환을 위한 기본 단위로 사용된다. 다중 유형 트리 구조에서 하나의 CTU는 먼저 쿼드 트리 구조로 분할된다. 그런 다음 각 쿼드 트리 리프 노드는 이진 및 삼진 트리 구조로 더 분할될 수 있다.
도 3a, 3b, 3c, 3d 및 3e(아래 설명됨)에 도시된 바와 같이, 5가지 분할 유형이 있다: 쿼터너리 파티셔닝, 수평 바이너리 파티셔닝, 수직 바이너리 파티셔닝, 수평 터너리 파티셔닝, 및 수직 터너리 파티셔닝.
도 3a는 본 개시내용에 따른, 다중 유형 트리 구조에서 블록 4차 파티션을 예시하는 도면을 도시한다.
도 3b는 본 개시내용에 따른, 다중 유형 트리 구조에서 블록 수직 이진 분할을 예시하는 도면을 도시한다.
도 3c는 본 개시내용에 따른, 다중 유형 트리 구조에서 블록 수평 이진 분할을 예시하는 도면을 도시한다.
도 3d는 본 개시내용에 따른, 다중 유형 트리 구조에서 블록 수직 터너리 분할을 예시하는 도면을 도시한다.
도 3e는 본 개시내용에 따른, 다중 유형 트리 구조에서 블록 수평 터너리 분할을 예시하는 도면을 도시한다.
도 1에서, 공간적 예측 및/또는 시간적 예측이 수행될 수 있다. 공간적 예측(또는 "인트라 예측")은 동일한 비디오 픽처/슬라이스에서 이미 코딩된 이웃 블록(참조 샘플이라고 함)의 샘플에서 픽셀을 사용하여 현재 비디오 블록을 예측한다. 공간적 예측은 비디오 신호에 내재된 공간 중복성을 줄인다. 시간적 예측("인터 예측" 또는 "모션 보상된 예측"이라고도 함)은 현재 비디오 블록을 예측하기 위해 이미 코딩된 비디오 픽처로부터 재구성된 픽셀을 사용한다. 시간적 예측은 비디오 신호에 내재된 시간적 중복성을 줄인다. 주어진 CU에 대한 시간적 예측 신호는 일반적으로 현재 CU와 그 시간적 참조 사이의 모션의 양과 방향을 나타내는 하나 이상의 모션 벡터(motion vector, MV)에 의해 시그널링된다.
또한, 복수의 참조 픽처가 지원되는 경우, 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 시간적 예측 신호가 참조 픽처 저장소의 어느 참조 픽처로부터 오는지를 식별하는 데 사용된다. 공간적 예측 및/또는 시간적 예측 후에, 인코더의 모드 결정 블록은 예를 들어 레이트 왜곡 최적화 방법에 기초하여 최상의 예측 모드를 선택한다. 그런 다음 예측 블록은 현재 비디오 블록에서 차감되고 예측 잔여는 변환을 사용하여 역상관되고 양자화된다.
양자화된 잔여 계수는 역양자화되고 역변환되어 재구성된 잔여를 형성하고, 그런 다음 예측 블록에 다시 추가되어 CU의 재구성된 신호를 형성한다. 또한, 디블록킹 필터, 샘플 적응 오프셋(sample adaptive offset, SAO) 및 적응 인-루프 필터(adaptive in-loop filter, ALF)와 같은 인-루프 필터링은 참조 픽처 스토리지에 저장되고 재구성된 CU에 적용된 후에 미래 비디오 블록을 코딩할 수 있다. 출력 비디오 비트스트림을 형성하기 위해 코딩 모드(인터 또는 인트라), 예측 모드 정보, 모션 정보 및 양자화된 잔여 계수가 모두 엔트로피 코딩 단위로 전송되어 비트스트림을 형성하기 위해 추가로 압축되고 패킹된다.
도 2는 블록 기반 비디오 디코더의 일반적인 블록도를 제공한다. 구체적으로, 도 2는 본 개시내용에 따른 전형적인 디코더(200) 블록도를 도시한다. 디코더(200)는 비트스트림(210), 엔트로피 디코딩(212), 역양자화(214), 역변환(216), 가산기(218), 인트라/인터 모드 선택(220), 인트라 예측(222), 메모리(230), 인-루프 필터(228), 모션 보상(224), 픽처 버퍼(226), 예측 관련 정보(234) 및 비디오 출력(232)를 포함한다.
도에서, 비디오 비트스트림은 엔트로피 디코딩 유닛에서 먼저 엔트로피 디코딩된다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 공간적 예측 유닛(인트라 코딩된 경우) 또는 시간적 예측 유닛(인터 코딩된 경우)으로 전송된다. 잔여 변환 계수는 잔여 블록을 재구성하기 위해 역양자화 유닛 및 역변환 유닛으로 전송된다. 그런 다음 예측 블록과 잔여 블록이 함께 추가된다. 재구성된 블록은 참조 픽처 저장소에 저장되기 전에 인-루프 필터링을 더 거칠 수 있다. 참조 픽처 저장소의 재구성된 비디오는 디스플레이 장치를 구동하기 위해 전송될 뿐만 아니라 미래의 비디오 블록을 예측하는 데 사용된다.
양방향 광학 흐름(Bi-directional optical flow)
비디오 코딩에서 기존의 이중 예측은 이미 재구성된 참조 픽처에서 얻은 두 개의 시간적 예측 블록의 간단한 조합이다. 그러나 블록 기반 모션 보상의 한계로 인해 두 예측 블록의 샘플 사이에 관찰될 수 있는 작은 모션이 남아 모션 보상 예측의 효율성을 떨어뜨릴 수 있다. 양방향 광학 흐름(bi-directional optical flow, BDOF)이 VVC에 적용되어 한 블록 내의 모든 샘플에 대해 이러한 모션의 영향을 낮춘다.
도 4는 본 개시내용에 따른, 양방향 광학 흐름(BDOF) 모델의 예시를 도시한다. BDOF는 이중 예측이 사용될 때 블록 기반 모션 보상 예측 위에 수행되는 샘플별 모션 리파인먼트이다. 각 4×4 서브 블록의 모션 리파인먼트 
는 BDOF가 서브 블록 주변의 하나의 6×6 윈도우 Ω 내에서 적용된 후 L0 예측 샘플과 L1 예측 샘플 간의 차이를 최소화함으로써 계산된다. 구체적으로, 
의 값은 다음과 같이 유도된다.
(1)
여기서 
는 바닥 함수이다. clip3(min, max, x)는 [min, max] 범위 내에서 주어진 값 x를 클리핑하는 함수이다. >> 기호는 비트 우측 시프트 연산을 나타내고; << 기호는 좌측 비트 연산을 나타내고; 
는 불규칙한 로컬 모션으로 인한 전파 오류를 방지하기 위한 모션 리파인먼트 임계값으로 213-BD와 같고, 여기서 BD는 입력 비디오의 비트-깊이이다. (1)에서, 
이고, 
이다.
S1, S2, S3, S5 및 S6의 값이 다음과 같이 계산된다.
(2)
여기서
(3)
여기서 
는 중간 고정밀도(즉, 16비트)로 생성된 리스트 k(단, k=0,1)의 예측 신호 좌표 
에서의 샘플 값이고; 
및 
는 그 두 개의 인접한 샘플 간의 차이를 직접 계산하여 획득되는 샘플의 수평 기울기 및 수직 기울기이며, 즉
(4)
(1)에서 유도된 모션 리파인먼트에 기초하여, CU의 최종 양방향 예측 샘플은 아래 표시된 바와 같이 광 흐름 모델에 기초한 모션 궤적을 따라 L0/L1 예측 샘플을 보간함으로써 계산된다.
(5)
여기서 
및 
은 양방향 예측을 위한 L0 예측 신호 및 L1 예측 신호를 결합하기 위해 적용되는 우측 시프트 값 및 오프셋 값이고, 이것은 각각 
와 
과 동일하다. 표 1은 BDOF 프로세스에 관련된 중간 파라미터의 특정 비트-폭을 보여준다. 예를 들어 비트-폭은 값을 나타내는 데 필요한 비트 수이다. 표에 나타난 바와 같이, 전체 BDOF 프로세스의 내부 비트-폭은 32비트를 넘지 않는다. 또한, 최악의 입력을 갖는 곱셈은 15비트 입력 및 4비트 입력과 (1)에서의 
의 곱에서 발생한다. 따라서 BDOF에는 15비트 승수(multiplier)면 충분한다.
표 1. VVC에서 BDOF의 중간 파라미터의 비트-폭
| 연산 | 파라미터 | 비트-폭 |
| L0/L1 예측 |
 |
16 |
| 기울기 유도 |
 |
13 |
 |
13 | |
| 상관 파라미터 계산 |
 |
11 |
 |
11 | |
 |
11 | |
 |
21 | |
 |
21 | |
 |
21 | |
 |
21 | |
 |
21 | |
| 합산 |
 |
27 |
 |
27 | |
 |
27 | |
 |
27 | |
 |
27 | |
| 모션 리파인먼트 유도 |
 |
4 |
 |
15 | |
 |
12 | |
 |
30 | |
 |
31 | |
 |
4 | |
| 최종 이중 예측 생성 |
 |
17 |
 |
17 |
양방향 예측의 효율성(Efficiency of bi-predictive prediction)
BDOF는 양방향 예측의 효율성을 향상시킬 수 있지만 설계는 여전히 더 향상될 수 있다. 구체적으로, VVC의 기존 BDOF 설계에서 중간 파라미터의 비트-폭을 제어하는 것이 본 개시내용에서 식별된다.,
표 1과 같이 파라미터 
(즉, L0 예측 샘플과 L1 예측 샘플의 차이), 파라미터 
와 
(즉, 수평/수직 L0 기울기 값 및 L1 기울기 값의 합)은 11비트의 동일한 비트-폭로 표현된다. 이러한 방법이 BDOF에 대한 내부 비트-폭의 전체 제어를 용이하게 할 수 있지만 유도된 모션 리파인먼트의 정밀도와 관련하여 최적이 아니다. 이것은 (4)와 나타난 바와 같이 기울기 값이 인접한 예측 샘플 간의 차이로 계산되기 때문이다. 이러한 프로세스의 고역 통과 특성으로 인해 유도된 기울기 노이즈(예를 들어, 원본 비디오에서 캡처된 노이즈 및 코딩 프로세스 중에 생성된 코딩 노이즈)가 있는 경우 덜 신뢰할 수 있다. 이것은 높은 비트-폭으로 기울기 값을 표현하는 것이 항상 유익한 것은 아니라는 것을 의미한다.
표 1에서 볼 수 있듯이, 전체 BDOF 프로세스의 최대 비트-폭 사용은 수직 모션 리파인먼트 
의 계산으로 발생한다. 여기서 S6(27비트)은 먼저 3비트만큼 좌측 시프트되고 그런 다음 
(30비트)에 감산된다. 따라서 현재 디자인의 최대 비트-폭은 31비트와 같다. 실제 하드웨어 구현에서 최대 내부 비트-폭이 16비트 이상인 코딩 프로세스는 일반적으로 32비트 구현으로 구현된다. 따라서 기존 설계는 32비트 구현의 유효한 동적 범위를 완전히 활용하지 않는다. 이것은 BDOF에 의해 유도된 모션 미세화의 불필요한 정밀도 손실로 이어질 수 있다.
BDOF를 이용한 양방향 예측의 효율성 향상(Improving the efficiency of bi-predictive prediction using BDOF)
본 개시내용에서는 기존 BDOF 설계에 대한 "양방향 예측의 효율성" 섹션에서 지적한 바와 같이 비트-폭 제어 방법의 두 가지 문제를 해결하기 위해 하나의 개선된 비트-폭 제어 방법을 제안한다.
도 5는 본 개시내용에 따른 비디오 신호를 코딩하는 비트-폭 제어 방법을 도시한다.
단계 510에서, 서브-블록과 연관된 제1 참조 픽처 
및 제2 참조 픽처 
을 획득한다. 디스플레이 순서에서 제1 참조 픽처 
는 현재 픽처 이전이고 제2 참조 픽처 
은 현재 픽처 이후이다. 예를 들어, 참조 픽처는 현재 인코딩되는 픽처에 인접한 비디오 픽처일 수 있다.
단계 512에서, 서브 블록으로부터 제1 참조 픽처 
의 참조 블록까지의 제1 예측 샘플 
를 획득한다. 예를 들어, 제1 예측 샘플
은 디스플레이 순서에서 이전 참조 픽처의 L0 리스트의 모션 벡터를 이용한 예측 샘플일 수 있다.
단계 514에서, 서브 블록으로부터 제2 참조 픽처 
의 참조 블록까지의 제2 예측 샘플 
를 획득한다. 예를 들어, 제2 예측 샘플 
는 디스플레이 순서에서 다음 참조 픽처의 L1 리스트에서 모션 벡터를 이용한 예측 샘플일 수 있다.
단계 516에서, 중간 파라미터의 내부 비트-폭을 변경하여 양방향 광 흐름(BDOF)의 내부 비트-폭을 제어한다. 중간 파라미터는 제1 예측 샘플 
및 제2 예측 샘플 
에 기초하여 유도된 수평 기울기 값 및 수직 기울기 값을 포함한다. 예를 들어 기울기 값은 그 두 개의 인접 예측 샘플(제1 예측 샘플 
및 제2 예측 샘플 
) 간의 차이이다.
단계 518에서, 제1 예측 샘플 
및 제2 예측 샘플 
을 사용해서 서브-블록에 적용되는 BDOF에 기초해서 모션 리파인먼트 값을 획득한다.
단계 520에서, 모션 리파인먼트 값에 기초하여 서브 블록의 이중 예측 샘플을 획득한다.
본 발명의 일 실시예에서는 기울기 추정 오류의 부정적인 영향을 극복하기 위해, (4)에서의 기울기 값 
및 
을 계산할 때 제안된 방법에 추가의 우측 시프트 
가 도입되며, 즉 기울기 값의 내부 비트-폭을 낮춘다. 구체적으로, 각 샘플 위치의 수평 및 수직 기울기는 다음과 같이 계산된다.
(6)
또한 전체 BDOF 프로세스를 제어하기 위해 변수 
, 
및 
의 계산에 추가의 비트-시프트 
가 도입되어 다음과 같이 적절한 내부 비트-폭에서 연산되도록 한다:
(7)
표 2에서 (6)과 (7)에서 적용된 우측-시프트 비트의 수의 수정으로 인해 파라미터 
, 
및 
는 3개의 파라미터가 동일한 동적 범위(즉, 21비트)로 표현되는 표 1의 기존 BDOF 설계와 비교하여 다를 것이다. 이러한 변경은 내부 파라미터 S1, S2, S3, S5, 및 S6의 비트-폭을 증가시킬 수 있으며, 이는 잠재적으로 내부 BDOF 프로세스의 최대 비트-폭을 32비트 이상으로 증가시킬 수 있다. 따라서 32비트 구현을 보장하기 위해 S2 및 S6 값을 계산할 때 두 가지 추가 클리핑 연산이 도입된다. 구체적으로 제안하는 방법에서 두 파라미터의 값은 다음과 같이 계산된다.
(8)
여기서 B2 및 B6은 각각 S2 및 S6의 출력 동적 범위를 제어하기 위한 파라미터이다. 예를 들어, 비트 심도는 각 픽셀을 정의하는 데 사용되는 비트 수를 나타낸다. 기울기 계산과 달리 (8)에서의 클리핑 연산은 하나의 BDOF CU 내부의 각 4x4 서브 블록의 모션 리파인먼트를 계산하기 위해 한 번만 적용되며, 즉, 4x4 단위를 기반으로 호출된다는 점에 유의해야 한다. 따라서 제안된 방법에서 도입된 클리핑 연산으로 인한 복잡성 증가는 매우 무시할 수 있다.
실제로, 
, 
, B2 및 B6의 다른 값은 중간 비트-폭과 내부 BDOF 유도의 정밀도 사이의 다른 절충을 달성하기 위해 적용될 수 있다. 본 개시내용의 일 실시예로서 
, 
를 2로, B2를 25로, B6을 27로 설정하는 것을 제안한다. 본 개시내용의 일 실시예로서 B2를 26으로, B6을 28로 설정하는 것을 제안한다. 본 개시내용의 일 실시예로서, 
, 
를 6, 1 또는 4로 설정하는 것이 제안된다.
표 2는 제안하는 비트-폭 제어 방법을 BDOF에 적용할 때 각 중간 파라미터의 대응하는 비트-폭을 나타낸다. 표 2에서, 회색은 (표 1에 나타난 바와 같이) 기존 VVC의 BDOF 설계와 비교하여 제안된 비트-폭 제어 방법에 적용된 변경 사항을 강조 표시한다. 표 2에서 보는 바와 같이, 제안하는 비트-폭 제어 방식은 전체 BDOF 프로세스의 내부 비트-폭이 32비트를 넘지 않는다. 또한 제안된 설계에 따르면 최대 비트-폭은 32비트에 불과하므로 32비트 하드웨어 구현의 사용 가능한 동적 범위를 충분히 활용할 수 있다. 한편, 표에 나타난 바와 같이, 입력 
이 14비트이고 입력 
가 6비트인 
의 곱에서 최악의 입력과의 곱셈이 발생한다. 따라서 기존 BDOF 설계와 마찬가지로 하나의 16비트 승수도 제안하는 방법을 적용할 때 충분히 크다.
표 2. 제안 방법의 중간 파라미터의 비트-폭
| 연산 | 파라미터 | 비트-폭 |
| L0/L1 예측 |
 |
16 |
| 기울기 유도 |
 |
11 |
 |
11 | |
| 상관 파라미터 계산 |
 |
13 |
 |
11 | |
 |
11 | |
 |
21 | |
 |
21 | |
 |
23 | |
 |
21 | |
 |
23 | |
| 합산 |
 |
27 |
 |
26 | |
 |
29 | |
 |
27 | |
 |
28 | |
| 모션 리파인먼트 유도 |
 |
6 |
 |
14 | |
 |
12 | |
 |
31 | |
 |
32 | |
 |
6 | |
| 최종 이중 예측 생성 |
 |
17 |
 |
17 |
위의 방법에서는 
및 
를 유도할 때 중간 파라미터의 오버플로를 피하기 위해 식 (8)에 나타난 바와 같이 클리핑 연산이 추가된다. 그러나 이러한 클리핑은 상관 파라미터가 큰 로컬 윈도우에 누적될 때만 필요하다. 하나의 작은 윈도우를 적용하면 오버플로가 불가능할 수 있다. 따라서, 본 발명의 다른 실시예에서는 클리핑이 없는 BDOF 방식에 대해 다음과 같이 비트 심도 제어 방식을 제안한다.
먼저, 각 샘플 위치에서 (4)의 기울기 값 
및 
각각은 다음과 같이 계산된다.
(9)
둘째, BDOF 프로세스에 사용된 상관 파라미터 
, 
및 
는 다음과 같이 계산된다.
(10)
셋째, S1, S2, S3, S5 및 S6의 값은 다음과 같이 계산된다.
(11)
넷째, 각 4×4 서브블록의 모션 리파인먼트 
는 다음과 같이 유도된다.
(12)
다섯째, CU의 최종 양방향 예측 샘플은 다음과 같이 표시되는 광학 흐름 모델을 기반으로 모션 궤적을 따라 L0/L1 예측 샘플을 보간하여 계산된다.
(13)
도 6은 본 개시내용에 따른 예시적인 BDOF 비트-폭 제어 방법을 도시한다.
단계 610에서, 서브블록과 연관된 제1 참조 픽처 
및 제2 참조 픽처 
를 획득한다. 디스플레이 순서에서 제1 참조 픽처 
는 현재 픽처 이전이고 제2 참조 픽처 
은 현재 픽처 이후이다.
단계 612에서, 서브 블록으로부터 제1 참조 픽처 
의 참조 블록까지의 제1 예측 샘플 
를 획득한다.
단계 614에서, 서브 블록으로부터 제2 참조 픽처 
의 참조 블록까지의 제2 예측 샘플 
를 획득한다.
단계 616에서, 유도된 기울기 값의 내부 비트-폭을 변경함으로써 양방향 광 흐름(BDOF)의 내부 비트-폭을 제어한다. 중간 파라미터는 제1 예측 샘플 
및 제2 예측 샘플 
에 기초하여 유도된 수평 기울기 값 및 수직 기울기 값을 포함한다.
단계 618에서, 제1 예측 샘플 
및 제2 예측 샘플 
을 사용하여 서브 블록에 적용되는 BDOF 및 로컬 윈도우에 기초하여 모션 리파인먼트 값을 획득한다. 로컬 윈도우는 서브 블록을 덮고 로컬 윈도우는 6×6 픽셀보다 작은 윈도우 크기를 갖는다.
단계 620에서, 모션 리파인먼트 값에 기초하여 서브 블록의 이중 예측 샘플을 획득한다.
도 7은 사용자 인터페이스(760)와 결합된 컴퓨팅 환경(710)을 도시한다. 컴퓨팅 환경(710)은 데이터 처리 서버의 일부일 수 있다. 컴퓨팅 환경(710)은 프로세서(720), 메모리(740), 및 I/O 인터페이스(750)를 포함한다.
프로세서(720)는 일반적으로 디스플레이, 데이터 획득, 데이터 통신 및 이미지 처리와 관련된 동작과 같은 컴퓨팅 환경(710)의 전체 동작을 제어한다. 프로세서(720)는 전술한 방법의 단계의 전부 또는 일부를 수행하기 위한 명령을 실행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 더욱이, 프로세서(720)는 프로세서(720)와 다른 구성요소 사이의 상호작용을 용이하게 하는 하나 이상의 모듈을 포함할 수 있다. 프로세서는 중앙처리장치(Central Processing Unit, CPU), 마이크로프로세서, 단일 칩 머신, GPU 등일 수 있다.
메모리(740)는 컴퓨팅 환경(710)의 동작을 지원하기 위해 다양한 유형의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 컴퓨팅 환경(710)에서 작동되는 임의의 애플리케이션 또는 방법에 대한 명령, 비디오 데이터세트, 이미지 데이터 등을 포함한다. 메모리(740)는 동적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적으로 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read-Only Memory, EPROM), 프로그램 가능한 읽기 전용 메모리(PROM), 읽기 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 또는 광 디스크와 같은 모든 유형의 휘발성 또는 비휘발성 메모리 장치 또는 이들의 조합을 사용하여 구현될 수 있다.
I/O 인터페이스(750)는 프로세서(720)와 키보드, 클릭 휠, 버튼 등과 같은 주변 인터페이스 모듈 사이의 인터페이스를 제공한다. 버튼은 홈 버튼, 스캔 시작 버튼 및 스캔 중지 버튼을 포함할 수 있지만 이에 국한되지 않는다. I/O 인터페이스(750)는 인코더 및 디코더와 연결될 수 있다.
일 실시예에서, 전술한 방법을 수행하기 위해 컴퓨팅 환경(710)에서 프로세서(720)에 의해 실행 가능한 메모리(740)에 포함된 것과 같은 복수의 프로그램을 포함하는 비일시적 컴퓨터 판독가능 저장 매체가 또한 제공된다. 예를 들어, 컴퓨터 판독 가능형 비일시적 저장 매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등일 수 있다.
비일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서를 갖는 컴퓨팅 장치에 의해 실행되는 복수의 프로그램을 그 안에 저장하고, 여기서 복수의 프로그램은 하나 이상의 프로세서에 의해 실행될 때 컴퓨팅 장치로 하여금 BDOF를 위한 비트-폭 제어를 위한 전술한 방법을 수행하게 한다.
일 실시예에서, 컴퓨팅 환경(710)은 위의 방법을 수행하기 위한 하나 이상의 주문형 집적 회로(application-specific integrated circuit, ASIC), 디지털 신호 프로세서(digital signal processor, DSP), 디지털 신호 처리 장치(digital signal processing device, DSPD), 프로그램 가능 논리 장치(programmable logic device, PLD), 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA), 그래픽 처리 장치(graphical processing units, GPU), 컨트롤러, 마이크로 컨트롤러, 마이크로프로세서 또는 기타 전자 컴포넌트로 구현될 수 있다.
Claims (22)
- 비디오 신호를 디코딩하기 위한 양방향 광 흐름(bi-directional optical flow, BDOF)의 비트-폭 제어 방법으로서,
비디오 서브블록과 연관된 제1 참조 픽처 및 제2 참조 픽처를 획득하는 단계 - 디스플레이 순서에서 상기 제1 참조 픽처는 현재 픽처 이전이고 상기 제2 참조 픽처는 현재 픽처 이후임 - ;
상기 제1 참조 픽처로부터 상기 비디오 서브블록의 샘플에 대한 제1 예측 샘플를 획득하는 단계;
상기 제2 참조 픽처로부터 상기 비디오 서브블록의 샘플에 대한 제2 예측 샘플를 획득하는 단계;
중간 파라미터의 비트-폭을 제어함으로써 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트(motion refinement)를 획득하는 단계 - 상기 중간 파라미터는 상기 제1 예측 샘플및 상기 제2 예측 샘플
에 기초한 수평 기울기, 수직 기울기, 및 샘플 차이를 포함함 - ;
상기 모션 리파인먼트에 기초하여 상기 비디오 서브블록의 샘플에 대한 이중 예측 샘플을 획득하는 단계
를 포함하고,
상기 중간 파라미터의 비트-폭을 제어하는 것이, 제1 비트-시프트 값만큼 상기 수평 기울기 및 상기 수직 기울기의 비트-폭을 감소시키는 것을 포함하고, 상기 제1 비트-시프트 값은 4보다 큰, 비트-폭 제어 방법. - 제1항에 있어서,
중간 파라미터의 비트-폭을 제어함으로써 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득하는 단계는, 상기 비디오 서브블록의 하나의 샘플에 대해:
제1 예측 샘플와 제1 예측 샘플
에 기초하여 상기 하나의 샘플에 대한 제1 수평 기울기를 획득하는 단계 - 여기서 i 및 j는 상기 하나의 샘플의 좌표에 대응함 - ;
제2 예측 샘플와 제2 예측 샘플
에 기초하여 상기 하나의 샘플에 대한 제2 수평 기울기를 획득하는 단계;
제1 예측 샘플과 제1 예측 샘플
에 기초하여 상기 하나의 샘플에 대한 제1 수직 기울기를 획득하는 단계; 및
제2 예측 샘플과 제2 예측 샘플
에 기초하여 상기 하나의 샘플에 대한 제2 수직 기울기를 획득하는 단계
를 포함하는, 비트-폭 제어 방법. - 제1항에 있어서,
중간 파라미터의 비트-폭을 제어함으로써 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득하는 단계는, 상기 비디오 서브블록의 하나의 샘플에 대해:
제1 상관 값을 획득하는 단계 - 상기 제1 상관 값은 상기 하나의 샘플과 관련해서 상기 제1 예측 샘플과 상기 제2 예측 샘플
의 수평 기울기의 합임 - ;
제2 상관 값을 획득하는 단계 - 상기 제2 상관 값은 상기 하나의 샘플과 관련해서 상기 제1 예측 샘플과 상기 제2 예측 샘플
의 수직 기울기의 합임 - ;
제2 비트-시프트 값을 사용하여 상기 제1 상관 값을 우측 시프트함으로써 수정된 제1 상관 값을 획득하는 단계; 및
제2 비트-시프트 값을 사용하여 상기 제2 상관 값을 우측 시프트함으로써 수정된 제2 상관 값을 획득하는 단계
를 더 포함하는, 비트-폭 제어 방법. - 제3항에 있어서,
중간 파라미터의 비트-폭을 제어함으로써 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득하는 단계는, 상기 비디오 서브블록의 하나의 샘플에 대해:
제3 비트-시프트 값을 사용하여 상기 하나의 샘플에 대해 제1 예측 샘플값을 우측 시프트하여 제1 수정된 예측 샘플을 획득하는 단계;
상기 제3 비트-시프트 값을 사용하여 상기 하나의 샘플에 대해 제2 예측 샘플값을 우측 시프트하여 제2 수정 예측 샘플을 획득하는 단계; 및
상기 하나의 샘플에 대한 샘플 차이를 획득하는 단계 - 상기 샘플 차이는 상기 제1 수정된 예측 샘플과 상기 제2 수정된 예측 샘플 간의 차이임 -
를 더 포함하는, 비트-폭 제어 방법. - 제4항에 있어서,
상기 제2 비트-시프트 값 및 상기 제3 비트-시프트 값은 각각 1 및 4와 동일한, 비트-폭 제어 방법. - 제4항에 있어서,
비디오 블록의 각각의 4x4 서브 블록 내에서 상기 제1 상관 값과 상기 제2 상관 값의 합에 기초하여 제1 내부 합산 값을 획득하는 단계;
제1 파라미터에 기초하여 상기 제1 내부 합산 값을 클리핑하는 단계 - 상기 제1 파라미터는 상기 제1 내부 합산 값의 출력 비트-깊이를 제어함 - ;
상기 비디오 블록의 각 4x4 서브블록 내에서 상기 제2 상관 값과 상기 샘플 차이의 합에 기초하여 제2 내부 합산 값을 획득하는 단계; 및
제2 파라미터에 기초하여 상기 제2 내부 합산 값을 클리핑하는 단계 - 상기 제2 파라미터는 상기 제2 내부 합산 값의 출력 비트-깊이를 제어함 -
를 더 포함하는 비트-폭 제어 방법. - 제6항에 있어서,
상기 제1 파라미터는 26과 같고 상기 제2 파라미터는 28과 같은, 비트-폭 제어 방법. - 비디오 신호를 디코딩하기 위한 양방향 광 흐름(bi-directional optical flow, BDOF)의 비트-폭 제어 방법으로서,
비디오 서브블록과 연관된 제1 참조 픽처 및 제2 참조 픽처를 획득하는 단계 - 디스플레이 순서에서 상기 제1 참조 픽처는 현재 픽처 이전이고 상기 제2 참조 픽처는 현재 픽처 이후임 - ;
상기 제1 참조 픽처로부터 상기 비디오 서브블록의 샘플에 대한 제1 예측 샘플를 획득하는 단계;
상기 제2 참조 픽처로부터 상기 비디오 서브블록의 상기 샘플에 대한 제2 예측 샘플를 획득하는 단계;
중간 파라미터의 비트-폭을 제어함으로써 상기 비디오 서브블록에 적용되는 로컬 윈도우에 기초해서 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트(motion refinement)를 획득하는 단계 - 상기 중간 파라미터는 상기 제1 예측 샘플및 상기 제2 예측 샘플
에 기초한 수평 기울기, 수직 기울기, 및 샘플 차이를 포함함 - ; 및
상기 모션 리파인먼트에 기초하여 상기 비디오 서브블록의 샘플에 대한 이중 예측 샘플을 획득하는 단계
를 포함하고,
상기 중간 파라미터의 비트-폭을 제어하는 것이, 제1 비트-시프트 값만큼 상기 수평 기울기 및 상기 수직 기울기의 비트-폭을 감소시키는 것을 포함하고, 상기 제1 비트-시프트 값은 4보다 큰, 비트-폭 제어 방법. - 제8항에 있어서,
중간 파라미터의 비트-폭을 제어함으로써 상기 비디오 서브블록에 적용되는 로컬 윈도우에 기초해서 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득하는 단계는, 상기 비디오 서브블록의 하나의 샘플에 대해:
제1 예측 샘플와 제1 예측 샘플
에 기초하여 상기 하나의 샘플과 관련해서 상기 제1 예측 샘플
의 제1 수평 기울기를 획득하는 단계 - 여기서 i 및 j는 상기 하나의 샘플의 좌표에 대응함 - ;
제2 예측 샘플와 제2 예측 샘플
에 기초하여 상기 하나의 샘플과 관련해서 상기 제2 예측 샘플
의 제2 수평 기울기를 획득하는 단계;
제1 예측 샘플과 제1 예측 샘플
에 기초하여 상기 하나의 샘플에 대한 제1 수직 기울기를 획득하는 단계; 및
제2 예측 샘플과 제2 예측 샘플
에 기초하여 상기 하나의 샘플에 대한 제2 수직 기울기를 획득하는 단계
를 포함하는, 비트-폭 제어 방법. - 제8항에 있어서,
중간 파라미터의 비트-폭을 제어함으로써 상기 비디오 서브블록에 적용되는 로컬 윈도우에 기초해서 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득하는 단계는, 상기 비디오 서브블록의 하나의 샘플에 대해:
제1 상관 값을 획득하는 단계 - 상기 제1 상관 값은 상기 하나의 샘플과 관련해서 상기 제1 예측 샘플의 수평 기울기와 상기 제2 예측 샘플
의 수평 기울기의 합임 - ;
제2 상관 값을 획득하는 단계 - 상기 제2 상관 값은 상기 하나의 샘플과 관련해서 상기 제1 예측 샘플의 수직 기울기와 상기 제2 예측 샘플
의 수직 기울기의 합임 - ;
상기 제1 상관 값을 1만큼 우측 시프트함으로써 수정된 제1 상관 값을 획득하는 단계; 및
상기 제2 상관 값을 1만큼 우측 시프트함으로써 수정된 제2 상관 값을 획득하는 단계
를 더 포함하는, 비트-폭 제어 방법. - 제10항에 있어서,
중간 파라미터의 비트-폭을 제어함으로써 상기 비디오 서브블록에 적용되는 로컬 윈도우에 기초해서 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득하는 단계는, 상기 비디오 서브블록의 하나의 샘플에 대해:
상기 하나의 샘플에 대해 제1 예측 샘플값을 4만큼 우측 시프트하여 제1 수정된 예측 샘플을 획득하는 단계;
상기 하나의 샘플에 대해 제2 예측 샘플값을 4만큼 우측 시프트하여 제2 수정된 예측 샘플을 획득하는 단계; 및
상기 하나의 샘플에 대한 샘플 차이를 획득하는 단계 - 상기 샘플 차이는 상기 제1 수정된 예측 샘플과 상기 제2 수정된 예측 샘플 간의 차이임 -
를 더 포함하는, 비트-폭 제어 방법. - 컴퓨팅 디바이스로서,
하나 이상의 프로세서; 및
비디오 신호를 디코딩하기 위한 명령이 저장되어 있는 메모리
를 포함하며,
상기 명령은 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨팅 디바이스로 하여금 제1항 내지 제7항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨팅 디바이스. - 컴퓨팅 디바이스로서,
하나 이상의 프로세서; 및
비디오 신호를 디코딩하기 위한 명령이 저장되어 있는 메모리
를 포함하며,
상기 명령은 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨팅 디바이스로 하여금 제8항 내지 제11항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨팅 디바이스. - 비 일시적 컴퓨터 판독 가능형 저장 매체로서,
비디오 신호를 디코딩하기 위한 명령을 저장하며, 상기 명령은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제7항 중 어느 한 항의 방법을 수행하게 하는, 비 일시적 컴퓨터 판독 가능형 저장 매체. - 비 일시적 컴퓨터 판독 가능형 저장 매체로서,
비디오 신호를 디코딩하기 위한 명령을 저장하며, 상기 명령은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제8항 내지 제11항 중 어느 한 항의 방법을 수행하게 하는, 비 일시적 컴퓨터 판독 가능형 저장 매체. - 컴퓨터 프로그램 제품으로서,
비디오 신호를 디코딩하기 위한 컴퓨터 실행 가능형 명령을 포함하며,
상기 명령은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제7항 또는 제8항 내지 제11항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 프로그램 제품. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020227026603A KR20220112864A (ko) | 2019-03-15 | 2020-03-16 | 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962819408P | 2019-03-15 | 2019-03-15 | |
| US62/819,408 | 2019-03-15 | ||
| PCT/US2020/023027 WO2020190896A1 (en) | 2019-03-15 | 2020-03-16 | Methods and devices for bit-width control for bi-directional optical flow |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227026603A Division KR20220112864A (ko) | 2019-03-15 | 2020-03-16 | 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210119549A KR20210119549A (ko) | 2021-10-05 |
| KR102429449B1 true KR102429449B1 (ko) | 2022-08-03 |
Family
ID=72521267
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227026603A KR20220112864A (ko) | 2019-03-15 | 2020-03-16 | 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 |
| KR1020217029914A KR102429449B1 (ko) | 2019-03-15 | 2020-03-16 | 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227026603A KR20220112864A (ko) | 2019-03-15 | 2020-03-16 | 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11843785B2 (ko) |
| EP (1) | EP3925224A4 (ko) |
| JP (3) | JP7100772B2 (ko) |
| KR (2) | KR20220112864A (ko) |
| CN (2) | CN114363612B (ko) |
| MX (1) | MX2021011197A (ko) |
| WO (1) | WO2020190896A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10855632B2 (en) | 2016-07-19 | 2020-12-01 | Snap Inc. | Displaying customized electronic messaging graphics |
| CN111083484A (zh) | 2018-10-22 | 2020-04-28 | 北京字节跳动网络技术有限公司 | 基于子块的预测 |
| WO2020084474A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Gradient computation in bi-directional optical flow |
| EP3857879A4 (en) | 2018-11-12 | 2022-03-16 | Beijing Bytedance Network Technology Co., Ltd. | SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION |
| JP7241870B2 (ja) | 2018-11-20 | 2023-03-17 | 北京字節跳動網絡技術有限公司 | 部分的な位置に基づく差分計算 |
| WO2020103872A1 (en) | 2018-11-20 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Prediction refinement for combined inter intra prediction mode |
| EP3915259A4 (en) | 2019-03-06 | 2022-03-30 | Beijing Bytedance Network Technology Co., Ltd. | USE OF A CONVERTED UNIVERSITY PREDICTION CANDIDATE |
| WO2020200277A1 (en) * | 2019-04-02 | 2020-10-08 | Beijing Bytedance Network Technology Co., Ltd. | Adaptive loop filtering in video processing |
| KR20230169434A (ko) | 2019-04-02 | 2023-12-15 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 디코더 측 움직임 벡터 유도 |
| CN113728626B (zh) | 2019-04-19 | 2023-05-30 | 北京字节跳动网络技术有限公司 | 不同运动矢量细化中的基于区域的梯度计算 |
| WO2020211867A1 (en) | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Delta motion vector in prediction refinement with optical flow process |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018169989A1 (en) * | 2017-03-13 | 2018-09-20 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2565363C2 (ru) * | 2011-01-07 | 2015-10-20 | Нокиа Корпорейшн | Предсказание движения при видеокодировании |
| CN106664416B (zh) * | 2014-07-06 | 2019-11-05 | Lg电子株式会社 | 处理视频信号的方法及其装置 |
| CA2952793C (en) * | 2014-10-08 | 2019-03-12 | Lg Electronics Inc. | Depth picture coding method and device in video coding |
| CN107925775A (zh) * | 2015-09-02 | 2018-04-17 | 联发科技股份有限公司 | 基于双向预测光流技术的视频编解码的运动补偿方法及装置 |
| US10375413B2 (en) * | 2015-09-28 | 2019-08-06 | Qualcomm Incorporated | Bi-directional optical flow for video coding |
| WO2017134957A1 (ja) | 2016-02-03 | 2017-08-10 | シャープ株式会社 | 動画像復号装置、動画像符号化装置、および予測画像生成装置 |
| CN108781294B (zh) * | 2016-02-05 | 2021-08-31 | 联发科技股份有限公司 | 视频数据的运动补偿方法及装置 |
| CN108781295B (zh) * | 2016-03-16 | 2022-02-18 | 联发科技股份有限公司 | 视频编码的样式基础的运动向量推导之方法及装置 |
| US10931969B2 (en) * | 2017-01-04 | 2021-02-23 | Qualcomm Incorporated | Motion vector reconstructions for bi-directional optical flow (BIO) |
| US10701390B2 (en) * | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
| DE102017105706A1 (de) | 2017-03-16 | 2018-09-20 | Aesculap Ag | Additiv hergestelltes medizintechnisches Instrument sowie Verfahren zur Herstellung eines solchen Instruments |
| US10805630B2 (en) * | 2017-04-28 | 2020-10-13 | Qualcomm Incorporated | Gradient based matching for motion search and derivation |
| US10904565B2 (en) * | 2017-06-23 | 2021-01-26 | Qualcomm Incorporated | Memory-bandwidth-efficient design for bi-directional optical flow (BIO) |
| KR20240044549A (ko) * | 2017-07-03 | 2024-04-04 | 브이아이디 스케일, 인크. | 양방향 광학 흐름에 기반한 모션 보상 예측 |
| US10757442B2 (en) * | 2017-07-05 | 2020-08-25 | Qualcomm Incorporated | Partial reconstruction based template matching for motion vector derivation |
| US11470308B2 (en) * | 2018-09-21 | 2022-10-11 | Vid Scale, Inc. | Complexity reduction and bit-width control for bi-directional optical flow |
| CN113261296A (zh) * | 2019-01-06 | 2021-08-13 | 北京达佳互联信息技术有限公司 | 双向光流的比特宽度控制 |
-
2020
- 2020-03-16 KR KR1020227026603A patent/KR20220112864A/ko active Application Filing
- 2020-03-16 JP JP2021555567A patent/JP7100772B2/ja active Active
- 2020-03-16 CN CN202210037179.2A patent/CN114363612B/zh active Active
- 2020-03-16 WO PCT/US2020/023027 patent/WO2020190896A1/en unknown
- 2020-03-16 CN CN202080021231.4A patent/CN113632484A/zh active Pending
- 2020-03-16 KR KR1020217029914A patent/KR102429449B1/ko active IP Right Grant
- 2020-03-16 EP EP20772609.2A patent/EP3925224A4/en active Pending
- 2020-03-16 MX MX2021011197A patent/MX2021011197A/es unknown
-
2021
- 2021-09-15 US US17/476,361 patent/US11843785B2/en active Active
- 2021-09-15 US US17/476,252 patent/US11979583B2/en active Active
-
2022
- 2022-06-30 JP JP2022106654A patent/JP7355894B2/ja active Active
-
2023
- 2023-09-21 JP JP2023156482A patent/JP2023169341A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018169989A1 (en) * | 2017-03-13 | 2018-09-20 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
Non-Patent Citations (1)
| Title |
|---|
| XIAOYU XIU, et. al., "CE9-related: Complexity reduction and bit-width control for bi-directional optical flow (BIO)", JVET-L0256, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/S* |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3925224A4 (en) | 2022-11-30 |
| CN114363612A (zh) | 2022-04-15 |
| CN114363612B (zh) | 2024-05-03 |
| JP7100772B2 (ja) | 2022-07-13 |
| US20220007030A1 (en) | 2022-01-06 |
| US11843785B2 (en) | 2023-12-12 |
| WO2020190896A1 (en) | 2020-09-24 |
| CN113632484A (zh) | 2021-11-09 |
| KR20210119549A (ko) | 2021-10-05 |
| US20220030270A1 (en) | 2022-01-27 |
| MX2021011197A (es) | 2021-10-22 |
| JP7355894B2 (ja) | 2023-10-03 |
| JP2022130647A (ja) | 2022-09-06 |
| KR20220112864A (ko) | 2022-08-11 |
| JP2022522217A (ja) | 2022-04-14 |
| EP3925224A1 (en) | 2021-12-22 |
| US11979583B2 (en) | 2024-05-07 |
| JP2023169341A (ja) | 2023-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102429449B1 (ko) | 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 | |
| US11102515B2 (en) | In loop chroma deblocking filter | |
| CN116708772B (zh) | 视频解码方法、计算设备和介质 | |
| EP4032298A1 (en) | Methods and apparatus for prediction refinement with optical flow | |
| KR102399229B1 (ko) | 광학 흐름에 의한 예측 미세화 방법 및 장치 | |
| WO2020257629A1 (en) | Methods and apparatus for prediction refinement with optical flow | |
| WO2020223552A1 (en) | Methods and apparatus of prediction refinement with optical flow | |
| KR102533731B1 (ko) | 광 흐름에 의한 예측 개선, 양방향 광 흐름 및 디코더 측 움직임 벡터 개선을 위한 방법들 및 장치들 | |
| JP2023063506A (ja) | 構築されたアフィンマージ候補を導出する方法 | |
| CN114175659A (zh) | 用于双向光流的比特宽度控制的装置和方法 | |
| CN113615197B (zh) | 用于双向光流的比特深度控制的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |