KR20230026550A - 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치 - Google Patents

광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20230026550A
KR20230026550A KR1020237005607A KR20237005607A KR20230026550A KR 20230026550 A KR20230026550 A KR 20230026550A KR 1020237005607 A KR1020237005607 A KR 1020237005607A KR 20237005607 A KR20237005607 A KR 20237005607A KR 20230026550 A KR20230026550 A KR 20230026550A
Authority
KR
South Korea
Prior art keywords
level control
prof
control flag
bdof
prediction
Prior art date
Application number
KR1020237005607A
Other languages
English (en)
Inventor
시아오유 시우
위엔 첸
시앙린 왕
빙 유
Original Assignee
베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Publication of KR20230026550A publication Critical patent/KR20230026550A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROF를 위한 방법, 디바이스 및 비일시적 컴퓨터 판독가능 저장 매체가 제공된다. 디코더는 비디오 신호 내에서 아핀 모드로 코딩된 비디오 블록과 연관된 제 1 참조 픽처 및 제 2 참조 픽처를 획득한다. 디코더는 제 1 참조 픽처 및 제 2 참조 픽처와 관련된 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 제 1 및 제 2 수평 및 수직 그래디언트 값들을 획득한다. 디코더는 제 1 참조 픽처 및 제 2 참조 픽처와 관련된 제어 포인트 모션 벡터들(CPMVs)에 기초하여 제 1 및 제 2 수평 및 수직 모션 미세조정들을 획득한다. 디코더는 제 1 및 제 2 수평 및 수직 그래디언트 값들과 제 1 및 제 2 수평 및 수직 모션 미세조정들에 기초하여 제 1 예측 미세조정 △I(0)(i,j) 및 제 2 예측 미세조정 △I(1)(i,j)를 획득한다. 디코더는 비디오 블록의 최종 예측 샘플들을 획득한다.

Description

광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치{METHODS AND APPARATUS FOR PREDICTION REFINEMENT WITH OPTICAL FLOW}
본 발명은 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 발명은 다목적 비디오 코딩(VVC) 표준에서 연구되는 2개의 인터 예측 툴들 즉, 광학 흐름을 이용한 예측 미세조정(Prediction Refinement with Optical Flow: PROF) 및 양방향 광학 흐름(Bi-Directional Optical Flow: BDOF)에 대한 방법들 및 장치들에 관한 발명이다.
여러 비디오 코딩 기술들이 비디오 데이터를 압축하는데 사용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행된다. 예를 들어, 비디오 코딩 표준은, 다목적 비디오 코딩(VVC), 공동 탐색 테스트 모델(JEM), 고효율 비디오 코딩(H.265/HEVC), 고급 비디오 코딩(H.264/AVC), 동영상 전문가 그룹(MPEG) 코딩, 기타 등등을 포함한다. 비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 존재하는 리던던시를 이용하는 예측 방법(예를 들어, 인터 예측, 인트라 예측 등)을 활용한다. 비디오 코딩 기술의 중요한 목표는 비디오 품질에 대한 저하를 회피하거나 최소화하면서도, 더 낮은 비트 레이트를 이용하는 형태로 비디오 데이터를 압축하는 것이다.
본 발명은 비디오 코딩에서 광학 흐름을 이용한 예측 미세조정(PROF: prediction refinement with optical flow) 및 양방향 광학 흐름(BDOF: bi-directional optical flow))을 위한 방법 및 장치를 제공한다.
본 발명의 제 1 양상에 따르면, PROF의 방법이 제공된다. 상기 방법은 디코더에서, 비디오 신호 내에서 아핀 모드로 코딩된 비디오 블록과 연관된 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 를 획득하는 단계를 포함할 수 있다. 디코더는 또한, 비디오 블록의 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 와 관련된 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 제 1 및 제 2 수평 및 수직 그래디언트 값들을 획득할 수 있다. 디코더는 또한, 비디오 블록의 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 와 관련된 제어 포인트 모션 벡터들(CPMVs: control point motion vectors)에 기초하여 제 1 및 제 2 수평 및 수직 모션 미세조정들(refinements)을 획득할 수 있다. 디코더는 또한, 제 1 및 제 2 수평 및 수직 그래디언트 값들과 제 1 및 제 2 수평 및 수직 모션 미세조정들에 기초하여 제 1 예측 미세조정 △I(0)(i,j) 및 제 2 예측 미세조정 △I(1)(i,j)를 획득할 수 있다. 디코더는 또한, 제 1 예측 샘플들 I(0)(i,j), 제 2 예측 샘플들 I(1)(i,j), 제 1 예측 미세조정 △I(0)(i,j), 제 2 예측 미세조정 △I(1)(i,j), 및 예측 파라미터들에 기초하여 비디오 블록의 최종 예측 샘플들을 획득할 수 있다. 예측 파라미터들은 가중 예측(WP: weighted prediction)을 위한 가중 및 오프셋 파라미터들과 코딩 유닛(CU) 레벨 가중치를 사용한 양방향 예측(BCW: bi-prediction with coding unit-level weight)의 파라미터들을 포함할 수 있다.
본 발명의 제 2 양상에 따르면, PROF의 방법이 제공된다. 상기 방법은 인코더가 2개의 일반 제한 정보(GCI) 레벨 제어 플래그들을 시그널링하는 단계를 포함할 수 있다. 2개의 GCI 레벨 제어 플래그들은 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함할 수 있다. 제 1 GCI 레벨 제어 플래그는 BDOF가 현재 비디오 시퀀스에 대해 허용되는지 여부를 표시한다. 제 2 GCI 레벨 제어 플래그는 PROF가 현재 비디오 시퀀스에 대해 허용되는지 여부를 표시한다. 인코더는 2개의 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그들을 시그널링할 수 있다. 2개의 SPS 레벨 제어 플래그들은 현재 비디오 시퀀스의 현재 비디오 블록에 대해 BDOF 및 PROF가 활성화되는지의 여부를 시그널링한다. 제 1 SPS 레벨 제어 플래그는 아핀 모드로 인코딩되지 않은 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 BDOF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 BDOF가 활성화됨을 시그널링한다. 제 2 SPS 레벨 제어 플래그는 아핀 모드로 인코딩된 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 PROF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 PROF가 활성화됨을 시그널링한다.
본 발명의 제 3 양상에 따르면, 컴퓨팅 디바이스가 제공된다. 상기 컴퓨팅 디바이스는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행가능한 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 상기 하나 이상의 프로세서들은, 비디오 신호 내에서 아핀 모드로 코딩된 비디오 블록과 연관된 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 를 획득하도록 구성될 수 있다. 상기 하나 이상의 프로세서들은 또한, 비디오 블록의 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 와 관련된 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 제 1 및 제 2 수평 및 수직 그래디언트 값들을 획득하도록 구성될 수 있다. 상기 하나 이상의 프로세서들은 또한, 비디오 블록의 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 와 관련된 제어 포인트 모션 벡터들(CPMVs)에 기초하여 제 1 및 제 2 수평 및 수직 모션 미세조정들(refinements)을 획득하도록 구성될 수 있다. 상기 하나 이상의 프로세서들은 또한, 제 1 및 제 2 수평 및 수직 그래디언트 값들과 제 1 및 제 2 수평 및 수직 모션 미세조정들에 기초하여 제 1 예측 미세조정 △I(0)(i,j) 및 제 2 예측 미세조정 △I(1)(i,j)를 획득하도록 구성될 수 있다. 상기 하나 이상의 프로세서들은 또한, 제 1 예측 샘플들 I(0)(i,j), 제 2 예측 샘플들 I(1)(i,j), 제 1 예측 미세조정 △I(0)(i,j), 제 2 예측 미세조정 △I(1)(i,j), 및 예측 파라미터들에 기초하여 비디오 블록의 최종 예측 샘플들을 획득하도록 구성될 수 있다. 상기 예측 파라미터들은 가중 예측(WP)을 위한 가중 및 오프셋 파라미터들과 BCW를 위한 파라미터들을 포함할 수 있다.
본 발명의 제 4 양상에 따르면, 명령들이 저장된 비일시적 컴퓨터 판독가능 저장 매체가 제공된다. 장치의 하나 이상의 프로세서들에 의해 실행될 때 상기 명령들은 장치로 하여금, 2개의 일반 제한 정보(GCI) 레벨 제어 플래그들을 시그널링하게 할 수 있다. 2개의 GCI 레벨 제어 플래그들은 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함할 수 있다. 제 1 GCI 레벨 제어 플래그는 BDOF가 현재 비디오 시퀀스에 대해 허용되는지 여부를 표시한다. 제 2 GCI 레벨 제어 플래그는 PROF가 현재 비디오 시퀀스에 대해 허용되는지 여부를 표시한다. 상기 명령들은 또한 상기 장치로 하여금, 2개의 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그들을 시그널링하게할 수 있다. 2개의 SPS 레벨 제어 플래그들은 현재 비디오 시퀀스의 현재 비디오 블록에 대해 BDOF 및 PROF가 활성화되는지의 여부를 시그널링한다. 제 1 SPS 레벨 제어 플래그는 아핀 모드로 인코딩되지 않은 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 BDOF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 BDOF가 활성화됨을 시그널링한다. 제 2 SPS 레벨 제어 플래그는 아핀 모드로 인코딩된 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 PROF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 PROF가 활성화됨을 시그널링한다.
다음을 유의해야 하는바, 일반적인 설명 및 아래의 상세한 설명은 단지 예시 및 설명일 뿐이며, 본 발명을 제한하도록 의도되는 것이 아니다.
본 명세서에 통합되어 본 명세서의 일부를 구성하는 첨부된 도면들은 본 개시와 일치하는 실시예들을 예시하며, 상세한 설명과 함께 본 발명의 원리를 설명하는 역할을 수행한다.
도 1은 본 개시의 일 실시예에 따른 인코더의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 디코더의 블록도이다.
도 3a는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다.
도 3b는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다.
도 3c는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다.
도 3d는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3e는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 양방향 광학 흐름(BDOF) 모델을 나타낸 도면이다.
도 5a는 본 발명의 일 실시예에 따른, 아핀 모델의 예시이다.
도 5b는 본 발명의 일 실시예에 따른, 아핀 모델의 예시이다.
도 6은 본 발명의 일 실시예에 따른, 아핀 모델의 예시이다.
도 7은 본 발명의 일 실시예에 따른, 광학 흐름(PROF)에 의한 예측 미세조정의 일례이다.
도 8은 본 발명의 일 실시예에 따른 BDOF의 워크플로우이다.
도 9는 본 발명의 일 실시예에 따른 PROF의 워크플로우이다.
도 10은 본 발명의 일 실시예에 따른 BDOF의 방법이다.
도 11은 본 발명의 일 실시예에 따른 BDOF 및 PROF의 방법이다 .
도 12는 본 발명의 일 실시예에 따른 양방향 예측을 위한 PROF의 워크플로우를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 BDOF 및 PROF 프로세스의 파이프라인 스테이지의 예시이다.
도 14는 본 발명의 일 실시예에 따른 BDOF의 그래디언트 유도 방법의 예시이다.
도 15는 본 발명의 일 실시예에 따른 PROF의 그래디언트 유도 방법의 예시이다.
도 16a는 본 발명의 일 실시예에 따른 아핀 모드에 대한 템플릿 샘플을 유도하는 예시이다.
도 16b는 본 발명의 일 실시예에 따른 아핀 모드에 대한 템플릿 샘플을 유도하는 예시이다.
도 17a는 본 발명의 일 실시예에 따른 아핀 모드에 대해 PROF 및 LIC를 배타적으로 인에이블하는 예시이다.
도 17b는 본 발명의 일 실시예에 따른 아핀 모드를 위해 PROF 및 LIC를 공동으로 인에이블하는 예시이다.
도 18a는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 적용되는 제안된 패딩 방법을 나타낸 도면이다.
도 18b는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 적용되는 제안된 패딩 방법을 나타낸 도면이다.
도 18c는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 제안된 패딩 방법을 나타낸 도면이다.
도 18d는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 제안된 패딩 방법을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 사용자 인터페이스와 결합된 컴퓨팅 환경을 나타내는 도면이다.
이제 첨부된 도면들을 참조하여 예시적인 실시예들을 상세하게 설명한다. 다음의 설명은 첨부 도면들을 참조하며, 다른 도면들에 있는 동일한 번호들은 달리 표시되지 않는한 동일하거나 유사한 요소들을 나타낸다. 예시적인 실시예들의 다음의 설명에서 설명된 구현예들은 본 개시 내용과 일치하는 모든 구현예들을 나타내지는 않는다. 대신, 이들은 첨부된 청구범위에 기재된 바와 같이 본 개시와 관련된 측면과 일치하는 디바이스 및 방법의 예일 뿐이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위한 것이며, 본 발명을 제한하려는 것이 아니다. 본 개시내용 및 첨부된 청구범위에서 사용되는 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥에서 명백하게 달리 지시하지 않는 한, 복수 형태도 포함하는 것으로 의도된다. 또한, 여기에서 사용된 "및/또는"이라는 용어는 하나 이상의 연관된 나열된 항목들의 임의의 또는 모든 가능한 조합을 의미 및 포함하도록 의도된 것으로 이해되어야 한다.
다음을 유의해야 하는바, 비록 "제 1", "제 2", "제 3" 등의 용어가 다양한 정보를 설명하는데 이용될 수 있지만, 상기 정보는 이러한 용어들에 의해 제한되지 않는다. 이러한 용어들은 하나의 카테고리의 정보를 다른 카테고리와 구별하기 위해서만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서, 제 1 정보는 제 2 정보로 지칭될 수 있고; 유사하게, 제 2 정보는 또한 제 1 정보로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, "if" 라는 용어는 문맥에 따라 "언제" 또는 "~하면" 또는 "판단에 응답하여"를 의미하는 것으로 이해될 수 있다.
HEVC 표준의 제 1 버전은 2013년 10월에 완료되었으며, 이는 이전 세대의 비디오 코딩 표준 H.264/MPEG AVC와 비교하여, 약 50%의 비트-레이트 절감 또는 동등한 지각 품질을 제공한다. 비록, HEVC 표준이 이전 표준보다 상당한 코딩 개선 사항을 제공하지만, HEVC에 대한 추가 코딩 툴을를 사용하여 더욱 우수한 코딩 효율성을 달성할 수 있다는 증거가 존재한다. 이를 기반으로 VCEG와 MPEG 둘다는, 미래의 비디오 코딩 표준화를 위한 새로운 코딩 기술의 탐색 작업을 시작했다. ITU-T VECG와 ISO/IEC MPEG는 2015년 10월에 공동 비디오 탐색 팀(JVET: Joint Video Exploration Team)을 구성하여 코딩 효율성을 크게 향상시킬 수 있는 첨단 기술에 대한 중요한 연구를 시작했다. 공동 탐색 테스트 모델(JEM)이라 지칭되는 하나의 참조 소프트웨어는 HEVC 테스트 모델(HM) 위에 여러 개의 추가 코딩 툴들을 통합하여 JVET에 의해 유지되었다.
2017년 10월에, HEVC를 넘어서는 능력을 갖는 비디오 압축에 대한 제안 조인트 호출(joint call for proposals: CfP)가 ITU-T와 ISO/IEC에 의해 발행되었다. 2018년 4월에, 10차 JVET 회의에서 23개의 CfP 응답들이 접수 및 평가되었으며, 이는 HEVC에 비해 약 40%의 압축 효율성 향상을 보여주었다. 이러한 평가 결과를 바탕으로, JVET는 다목적 비디오 코딩(VVC: Versatile Video Coding)이라는 차세대 비디오 코딩 표준을 개발하기 위한 새로운 프로젝트를 시작했다. 같은 달에, VVC 테스트 모델(VTM)이라고 하는 하나의 참조 소프트웨어 코드베이스가 VVC 표준의 참조 구현을 시연하기 위해 확립되었다.
HEVC와 유사하게, VVC는 블록 기반 하이브리드 비디오 코딩 프레임 워크 위에 형성된다.
도 1은 VVC를 위한 블록 기반 비디오 인코더의 일반적인 도면을 보여준다. 구체적으로, 도 1은 전형적인 인코더(100)를 도시한다. 인코더(100)는 비디오 입력(110), 모션 보상(112), 모션 추정(114), 인트라/인터 모드 결정(116), 블록 예측(140), 가산기(128), 변환기(130), 양자화기(132), 예측 관련 정보(142), 인트라 예측(118), 픽처 버퍼(120), 역양자화기(134), 역변환기(136), 가산기(126), 메모리(12), 인루프 필터(122), 엔트로피 코딩(138), 및 비트스트림(144)을 갖는다.
인코더(100)에서, 비디오 프레임은 비디오 프로세싱을 위해 복수의 블록들로 분할된다. 각각의 주어진 비디오 블록에 대해, 인터 예측 접근법 또는 인트라 예측 접근법에 기초하여 예측이 형성된다.
비디오 입력(110)의 일부인 현재 비디오 블록과 블록 예측기(140)의 일부인 그것의 예측치 사이의 차이값을 나타내는 예측 잔차는 가산기(128)로부터 변환기(130)로 전송된다. 다음으로, 엔트로피 감소를 위해 변환 계수가 변환기(130)로부터 양자화기(132)로 전송된다. 양자화된 계수는 엔트로피 코딩(138)으로 공급되어, 압축된 비디오 비트스트림을 생성한다. 도 1에 도시된 바와 같이, 비디오 블록 파티션 정보, 모션 벡터(MV), 참조 픽처 인덱스, 및 인트라 예측 모드와 같은 인트라/인터 모드 결정(116)으로부터의 예측 관련 정보(142)도 엔트로피 코딩(138)을 통해 공급되고 그리고 압축된 비트스트림(144)에 저장된다. 압축된 비트스트림(144)은 비디오 비트스트림을 포함한다.
인코더(100)에서는, 예측 목적을 위해 픽셀들을 재구성하도록 디코더 관련 회로들이 또한 필요하다. 먼저, 역양자화기(134)와 역변환기(136)를 통해 예측 잔차가 재구성된다. 재구성된 예측 잔차는 블록 예측기(140)와 결합되어 현재 비디오 블록에 대한 필터링되지 않은 재구성된 픽셀을 생성한다.
공간적 예측(또는 "인트라 예측")은 현재 비디오 블록을 예측하기 위해 현재 비디오 블록과 동일한 비디오 프레임 내의 이미 코딩된 이웃 블록들의 샘플들(참조 샘플들이라 한다)로부터의 픽셀들을 사용한다.
시간적 예측(또한, "인터 예측"이라고 함)은 현재의 비디오 블록을 예측하기 위해 이미 코딩된 비디오 픽처들로부터 재구성된 픽셀들을 사용한다. 시간적 예측은 비디오 신호에 내재된 시간적 리던던시를 감소시킨다. 소정의 코딩 유닛(CU) 또는 코딩 블록에 대한 시간적 예측 신호는 일반적으로 현재 CU와 그것의 시간적 참조 사이의 모션의 양 및 방향을 나타내는 하나 이상의 MV에 의해 시그널링된다. 또한, 다수의 참조 픽처들이 지원되는 경우, 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 참조 픽처 저장소의 어느 참조 픽처로부터 시간적 예측 신호가 왔는지를 식별하는데 사용된다.
모션 추정(114)은 비디오 입력(110) 및 픽처 버퍼(120)로부터의 신호를 받아들이며 그리고 모션 추정 신호를 모션 보상(112)으로 출력한다. 모션 보상(112)은 비디오 입력(110), 픽처 버퍼(120)로부터의 신호, 및 모션 추정(114)으로부터의 모션 추정 신호를 입력받고, 인트라/인터 모드 결정(116)으로 모션 보상 신호를 출력한다.
공간적 및/또는 시간적 예측이 수행된 이후에, 인코더(100)의 인트라/인터 모드 결정(116)은 예를 들어, 레이트-왜곡 최적화 방법에 기초하여 최상의 예측 모드를 선택한다. 그런 다음, 현재 비디오 블록으로부터 블록 예측(140)이 감산되며, 그리고 결과적인 예측 잔차(prediction residual)는 변환기(130) 및 양자화기(132)를 이용하여 상관해제된다(decorrelated). 결과적인 양자화된 잔차 계수는 역양자화기(134)에 의해 역양자화되고 역변환기(136)에 의해 역변환되어 재구성된 잔차를 형성하며, 재구성된 잔차는 예측 블록에 다시 추가되어 CU의 재구성된 신호를 형성한다. 또한, 공간적 및/또는 시간적 예측 후에, 디블록킹 필터, 샘플 적응형 오프셋(SAO) 및 적응형 인-루프 필터(ALF)와 같은 추가적인 인-루프 필터링(122)이 재구성된 CU에 적용될 수 있다(상기 재구성된 CU가 픽처 버퍼(120)의 참조 픽처 스토어에 투입되어 미래의 비디오 블록을 코딩하는데 사용되기 전에). 출력 비디오 비트스트림(144)을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 모션 정보 및 양자화된 잔차 계수들 모두가 엔트로피 코딩 유닛(138)으로 전송되어, 비트스트림을 형성하기 위해 추가로 압축되고 패킹된다.
도 1은 일반적인 블록 기반 하이브리드 비디오 인코딩 시스템의 블록도를 제공한다. 입력 비디오 신호는 블록 단위로 프로세싱된다(CU라고 함). VTM-1.0에서, CU는 최대 128 x 128 픽셀일 수 있다. 그러나 오직 쿼드 트리에만 기초하여 블록들을 분할하는 HEVC와 달리, VVC에서는 하나의 코딩 트리 유닛(CTU: Coding Tree Unit)이 CU들로 분할되어, 쿼드/바이너리/터너리 트리를 기반으로 하는 다양한 로컬 특성에 적응한다. 또한, HEVC에서 다중 파티션 유닛 타입의 개념이 제거되었는바, 즉, CU, 예측 유닛(PU) 및 변환 유닛(TU)의 분리가 VVC에는 더 이상 존재하지 않는다. 대신에, 각 CU는 추가적인 파티션 없이 예측 및 변환 모두에 대한 기본 유닛으로 항상 사용된다. 다중 유형 트리 구조에서 하나의 CTU는 먼저 쿼드 트리 구조에 의해 분할된다. 다음으로, 각각의 쿼드 트리 리프 노드(quad-tree leaf node)는 이진 및 삼진 트리 구조로 더 분할될 수 있다. 도 3a, 3b, 3c, 3d 및 3e에 도시된 바와 같이, 4 분할(quaternary partitioning), 수평 2진 분할(horizontal binary partitioning), 수직 2진 분할, 수평 3진 분할(horizontal ternary partitioning)) 및 수직 3진 분할과 같은 5개의 분할 유형들이 존재한다.
도 3a는 본 개시에 따른, 다중 유형 트리 구조에서 블록 4 분할(block quaternary partition)을 예시하는 도면이다.
도 3b는 본 개시에 따른, 다중 유형 트리 구조에서 블록 수직 이진 분할을 예시하는 도면이다.
도 3c는 본 개시에 따른, 다중 유형 트리 구조에서 블록 수평 이진 분할을 예시하는 도면이다.
도 3d는 본 개시에 따른, 다중 유형 트리 구조에서 블록 수직 삼진 분할을 예시하는 도면이다.
도 3e는 본 개시에 따른, 다중 유형 트리 구조에서 블록 수평 삼진 분할을 예시하는 도면이다.
도 1에서, 공간적 예측 및/또는 시간적 예측이 수행될 수 있다. 공간적 예측(또는 "인트라 예측")은 현재 비디오 블록을 예측하기 위해 동일한 비디오 픽처/슬라이스 내의 이미 코딩된 이웃 블록들(참조 샘플이라고 함)의 샘플들로부터의 픽셀들을 사용한다. 공간적 예측은 비디오 신호에 내재된 공간적 리던던시를 감소시킨다. 시간적 예측("인터 예측" 또는 "모션 보상 예측"이라고도 함)은 현재 비디오 블록을 예측하기 위해 이미 코딩된 비디오 픽처들로부터의 재구성된 픽셀들을 사용한다. 시간적 예측은 비디오 신호에 내재된 시간적 리던던시를 감소시킨다. 소정의 CU에 대한 시간적 예측 신호는 하나 이상의 모션 벡터(MV)에 의해 시그널링되는 것이 일반적이며, 모션 벡터는 현재 CU와 그것의 시간적 참조 사이의 모션의 분량과 방향을 나타낸다. 또한, 다수의 참조 픽처들이 지원되는 경우, 하나의 참조 픽처 인덱스가 추가로 전송되며, 이것은 참조 픽처 저장소의 어느 참조 픽처로부터 시간적 예측 신호가 오는지를 식별하는데 사용된다. 공간적 및/또는 시간적 예측 후에, 인코더의 모드 결정 블록은 예를 들어, 비율-왜곡 최적화 방법에 기초하여 최상의 예측 모드를 선택한다. 그런 다음 예측 블록은 현재 비디오 블록에서 감산된다. 예측 잔차는 변환 및 양자화를 사용하여 상관해제된다. 양자화된 잔차 계수는 역양자화되고 역변환되어 재구성된 잔차를 형성한 다음, 예측 블록에 다시 추가되어 CU의 재구성된 신호를 형성한다. 또한, 디블로킹 필터, 샘플 적응형 오프셋(SAO) 및 적응형 인루프 필터(ALF)와 같은 인루프 필터링이 재구성된 CU에 적용될 수 있다(상기 재구성된 CU가 픽처 버퍼(120)의 참조 픽처 스토어에 투입되어 미래의 비디오 블록을 코딩하는데 사용되기 전에). 출력 비디오 비트스트림을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 모션 정보 및 양자화된 잔차 계수들 모두가 엔트로피 코딩 유닛으로 전송되어, 비트스트림을 형성하기 위해 추가로 압축되고 패킹된다.
도 2는 VVC에 대한 비디오 디코더의 일반적인 블록도를 도시한다. 구체적으로, 도 2는 전형적인 디코더(200) 블록도를 도시한다. 디코더(200)는 비트스트림(210), 엔트로피 디코딩(212), 역양자화(214), 역변환(216), 가산기(218), 인트라/인터 모드 선택(220), 인트라 예측(222), 메모리(230), 인루프 필터(228), 모션 보상(224), 픽처 버퍼(226), 예측 관련 정보(234) 및 비디오 출력(232)을 포함한다.
디코더(200)는 도 1의 인코더(100)에 상주하는 재구성 관련 섹션과 유사하다. 디코더(200)에서, 들어오는 비디오 비트스트림(210)은 엔트로피 디코딩(212)을 통해 먼저 디코딩되어 양자화된 계수 레벨들 및 예측 관련 정보를 도출한다. 다음으로, 양자화된 계수 레벨들은 재구성된 예측 잔차를 획득하기 위해 역양자화(214) 및 역변환(216)을 통해 처리된다. 인트라/인터 모드 선택기(220)에서 구현되는 블록 예측기 메커니즘은 디코딩된 예측 정보에 기초하여 인트라 예측(222) 또는 모션 보상(224)을 수행하도록 구성된다. 역변환(216)으로부터의 재구성된 예측 잔차와 블록 예측기 메커니즘에 의해 생성된 예측 출력을 가산기(218)를 이용하여 합산함으로써 필터링되지 않은 재구성된 픽셀 세트가 획득된다.
재구성된 블록은 참조 픽처 저장소로 기능하는 픽처 버퍼(226)에 저장되기 전에 인루프 필터(228)를 더 거칠 수 있다. 픽처 버퍼(226)의 재구성된 비디오는 디스플레이 디바이스를 구동하기 위해 전송될 수 있을 뿐만 아니라 미래의 비디오 블록을 예측하기 위해 사용될 수 있다. 인루프 필터(228)가 턴 온된 상황에서, 이러한 재구성된 픽셀에 필터링 동작이 수행되어, 최종 재구성된 비디오 출력(232)을 유도한다.
도 2는 블록 기반 비디오 디코더의 일반적인 블록도를 제공한다. 비디오 비트스트림은 엔트로피 디코딩 유닛에서 먼저 엔트로피 디코딩된다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 공간적 예측 유닛(인트라 코딩의 경우) 또는 시간적 예측 유닛(인터 코딩의 경우)으로 전송된다. 잔차 변환 계수는 잔차 블록을 재구성하기 위해 역양자화 유닛 및 역변환 유닛으로 전송된다. 그런 다음 예측 블록과 잔차 블록이 함께 합산된다. 재구성된 블록은 참조 픽처 저장소에 저장되기 전에 인루프 필터링을 더 거칠 수 있다. 참조 픽처 저장소의 재구성된 비디오는 디스플레이 디바이스를 구동하기 위해 전송될 뿐만 아니라 미래 비디오 블록을 예측하는 데 사용된다.
일반적으로, VVC에 적용되는 기본적인 인터 예측 기술들은, 여러 모듈들이 더 확장되거나 및/또는 향상된다는 점을 제외하고는 HEVC와 동일하게 유지된다. 특히, 모든 선행 비디오 표준에 대해, 코딩 블록이 단일 예측(uni-predicted)인 경우, 하나의 코딩 블록이 하나의 단일 MV와 연관될 수 있으며 또는 코딩 블록이 양방향 예측(bi-predicted)인 경우 2개의 MV와 연관될 수 있다. 통상적인 블록 기반 모션 보상의 이러한 제한 때문에, 모션 보상 이후에도 예측 샘플들 내에 작은 모션들이 여전히 남아 있을 수 있으므로, 전반적인 모션 보상 효율에 부정적인 영향을 미칠 수 있다. MV의 세분성(granularuty)과 정확도를 모두 개선하기 위해 광학 흐름을 기반으로 하는 2개의 샘플별(sample-wise) 미세조정(refinement) 방법, 즉 BDOF(양방향 광학 흐름) 및 아핀 모드용 PROF(광학 흐름을 사용한 예측 미세조정)이, 현재 VVC 표준에 대해 연구 중이다. 이하에서는, 2개의 인터 코딩 툴들의 주요한 기술적 양상들이 간략하게 검토된다.
양방향 광학 흐름(Bi-directional optical flow: BDOF)
VVC에서, BDOF은 양방향 예측된 코딩 블록의 예측 샘플을 미세조정(refine)하기 위해 적용된다. 구체적으로, 도 4에 도시된 바와 같이, BDOF는 양방향 예측이 사용될 때 블록 기반 모션 보상 예측들의 탑(top)에서 수행되는 샘플별 모션 미세조정(sample-wise motion refinement)이다.
도 4는 본 개시에 따른 BDOF 모델의 일례를 도시한다.
각각의 4 x 4 서브블록의 모션 미세조정(motion refinement)(Vx, Vy)은, 서브블록 주위의 하나의 6 x 6 윈도우 Ω 내부에 BDOF를 적용한 이후에 L0 및 L1 예측 샘플들 사이의 차이값을 최소화함으로써 계산된다. 구체적으로, (Vx, Vy)의 값은 다음과 같이 유도된다:
Figure pat00001
Figure pat00002
(1)
여기서, [·]는 플로어 함수이고, clip3(min, max, x)는 [min, max] 범위 내의 소정 값 x를 클리핑하는 함수이고, >> 기호는 우측 비트방향 시프트 연산을 나타내고, << 기호는 좌측 비트방향 연산을 나타내며, thBDOF 는 1 << max(5, bit-depth -7)과 같은 불규칙한 로컬 모션으로 인해 전파되는 에러들을 방지하기 위한 모션 미세조정 임계값이다.(여기서, 비트 깊이는 내부 비트 깊이이다).
식 (1)에서,
Figure pat00003
이고,
Figure pat00004
이다.
S1, S2, S3, S5, S6의 값은 다음과 같이 계산된다.
Figure pat00005
Figure pat00006
Figure pat00007
(2)
Figure pat00008
Figure pat00009
여기서,
Figure pat00010
Figure pat00011
(3)
Figure pat00012
여기서, I(k)(i, j)는 리스트 k의 예측 신호의 좌표 (i, j)에서의 샘플 값이며, k=0,1 이고, 이는 중간 정도의 높은 정밀도(즉, 16 비트)에서 생성된다.
Figure pat00013
및
Figure pat00014
는 2 개의 인접 샘플 간의 차이를 직접 계산하여 획득된 샘플의 수평 및 수직 그래디언트이다. 즉,
Figure pat00015
Figure pat00016
(4)
식 (1)에서 유도된 모션 미세조정에 기초하여, CU의 최종 양방향 예측 샘플은 하기에 표시된 바와 같이 광학 흐름 모델에 기초한 모션 궤적을 따라 L0/L1 예측 샘플들을 보간함으로써 계산된다.
Figure pat00017
Figure pat00018
(5)
여기서, shift 및 Ooffset 은 양방향 예측에 대해 L0 및 L1 예측 신호들을 결합하기 위해 적용되는 우측 시프트 값 및 오프셋 값이며, 이는 각각 15 - 비트-깊이 및 1 << (14 - 비트-깊이) + 2·(1 << 13) 이다. 전술한 비트-깊이 제어 방법에 기초하여, 전체 BDOF 프로세스의 중간 파라미터들의 최대 비트 깊이가 32 비트를 초과하지 않음이 보장되며 그리고 곱셈에 대한 가장 큰 입력이 15 비트 이내인 것이 보장된다. 즉, BDOF 구현을 위해서는 하나의 15-비트 곱셈기만으로 충분하다.
아핀 모드
HEVC 에서, 오직 병진(translation) 모션 모델이 모션 보상 예측에 적용된다. 반면에, 현실 세계에서는 줌인/줌아웃, 회전, 원근감 모션 및 기타 불규칙한 모션들과 같은 다양한 종류의 모션들이 존재한다. VVC에서, 병진 모션 또는 아핀 모션 모델이 인터 예측에 적용되는지 여부를 나타내기 위해 각각의 인터 코딩 블록에 대해 하나의 플래그를 시그널링함으로써 아핀 모션 보상된 예측이 적용된다. 현재 VVC 설계에서는 4-파라미터 아핀 모드와 6-파라미터 아핀 모드를 포함하는 2개의 아핀 모드들이 하나의 아핀 코딩 블록에 대해 지원된다.
4-파라미터 아핀 모델은 다음의 파라미터들을 갖는다: 각각 수평 및 수직 방향으로의 병진 운동에 대한 2개의 파라미터들, 줌 모션에 대한 하나의 파라미터, 양 방향의 회전 모션에 대한 하나 파라미터. 수평 줌 파라미터는 수직 줌 파라미터와 동일하다. 수평 회전 파라미터는 수직 회전 파라미터와 동일하다. 모션 벡터와 아핀 파라미터의 더 나은 조정을 달성하기 위해, VVC에서, 이들 아핀 파라미터들은 현재 블록의 좌측 상단 모서리와 우측 상단 모서리에 위치한 두 개의 MV들(콘트롤 포인트 모션 벡터(CPMV)라고도 함)로 변환된다. 도 5a 및 5b에 도시된 바와 같이, 블록의 아핀 모션 필드는 2개의 제어 포인트 MV(V0 , V1)에 의해 기술된다.
도 5a는 본 개시에 따른 4-파라미터 아핀 모델의 예시를 도시한다.
도 5b는 본 개시에 따른, 4-파라미터 아핀 모델의 예시를 도시한다.
제어 포인트 모션에 기초하여, 하나의 아핀 코딩된 블록의 모션 필드(Vx, Vy)는 다음과 같이 서술된다:
Figure pat00019
(6)
6-파라미터 아핀 모드는 다음의 파라미터들을 갖는다: 각각 수평 및 수직 방향으로의 병진 운동에 대한 2개의 파라미터들, 수평 방향으로의 줌 모션에 대한 하나의 파라미터 및 회전 모션에 대한 하나의 파라미터, 수직 방향으로의 줌 모션에 대한 하나의 파라미터 및 회전 모션에 대한 하나의 파라미터. 6-파라미터 아핀 모션 모델은 3개의 CPMV에서 3개의 MV로 코딩된다.
도 6은 본 개시에 따른, 6-파라미터 아핀 모델의 예시를 도시한다.
도 6에 도시된 바와 같이, 하나의 6-파라미터 아핀 블록의 3개의 제어 포인트들은 블록의 좌측 상단, 우측 상단, 좌측 하단 코너에 위치한다. 좌측 상단 제어포인트에서의 모션은 병진 모션에 관한 것이며, 우측 상단 제어 포인트에서의 모션은 수평 방향의 회전 및 줌 모션에 관한 것이며, 좌측 하단 제어 포인트에서의 모션은 수직 방향의 회전 및 줌 모션에 관한 것이다. 4-파라미터 아핀 모션 모델과 비교하면, 6-파라미터의 수평 방향의 회전 및 줌 모션은 수직 방향의 모션과 동일하지 않을 수 있다. (V0, V1, V2)가 도 6의 현재 블록의 좌측 상단, 우측 상단, 좌측 하단 코너의 MV 라고 가정하면, 각각의 서브 블록(vx, vy)의 모션 벡터는 제어 포인트에서 3개의 MV를 사용하여 다음과 같이 유도된다:
Figure pat00020
Figure pat00021
(7)
아핀 모드에 대한 광학 흐름을 이용한 예측 미세조정(Prediction refinement with optical flow for affine mode)
아핀 모션 보상의 정확도를 향상시키기 위해, 현재 VVC에서 PROF가 연구되고 있으며, 이는 광학 흐름 모델에 기초하여 서브-블록 기반의 아핀 모션 보상을 미세조정한다. 구체적으로, 서브-블록 기반의 아핀 모션 보상을 수행한 후, 하나의 아핀 블록의 루마 예측 샘플은 광학 흐름 방정식에 기초하여 도출된 하나의 샘플 미세조정 값(one sample refinement value)만큼 수정된다. 구체적으로 PROF의 동작은 다음의 4 단계로 요약할 수 있다:
단계 1: 4-파라미터 아핀 모델에 대한 (6) 및 6-파라미터 아핀 모델에 대한 (7)에서 도출된 바와 같은 서브-블록 MV를 이용하여 서브-블록 예측 I(i,j)을 생성하도록 서브-블록 기반의 아핀 모션 보상이 수행된다.
단계 2: 각각의 예측 샘플들의 공간적 그래디언트 gx(i,j) 및 gy(i,j)는 다음과 같이 계산된다:
Figure pat00022
Figure pat00023
(8)
그래디언트를 계산하기 위해, 예측 샘플들의 하나의 추가적인 로우/컬럼이 하나의 서브 블록의 각각의 측면 상에 생성될 필요가 있다. 메모리 대역폭과 복잡성을 줄이기 위해, 확장된 경계들 상의 샘플들은 추가 보간 프로세스를 회피하기 위해 참조 픽처의 가장 가까운 정수 픽셀 위치로부터 복사된다.
단계 3: 루마 예측 미세조정 값이 다음과 같이 계산된다:
Figure pat00024
(9)
여기서, △v(i,j)는 v(i,j)로 표시되는 샘플 위치(i,j)에 대해 계산된 픽셀 MV와 픽셀(i,j)이 위치한 서브-블록의 서브-블록 MV 사이의 차이값이다. 또한, 현재의 PROF 설계에서, 오리지널 예측 샘플에 예측 미세조정을 추가한 이후, 하나의 클리핑 작업이 수행되어, 미세조정된 예측 샘플의 값을 15 비트 이내가 되도록 클리핑한다. 즉,
Figure pat00025
Figure pat00026
여기서, I(i,j) 및 Ir(i,j)는 각각 위치 (i,j)에서의 오리지널 및 미세조정된 예측 샘플이다.
도 7은 본 개시에 따른, 아핀 모드에 대한 PROF 프로세스를 예시한다.
아핀 모델 파라미터들과 서브-블록 중심에 대한 픽셀 위치가 서브-블록 별로 변경되지 않기 때문에, △v(i,j)는 제 1 서브-블록에 대해 계산될 수 있으며 그리고 동일한 CU의 다른 서브-블록들에 대해 재사용될 수 있다. △x 및 △y 가 샘플 위치(i,j)로부터 샘플이 속한 서브-블록의 중심쪽으로의 수평 및 수직 오프셋이라 가정하면, △v(i,j)는 다음과 같이 유도될 수 있다:
Figure pat00027
(10)
아핀 서브-블록 MV 유도 방정식들 (6) 및(7)에 기초하여, MV 차이값 △v(i,j)가 유도될 수 있다. 구체적으로, 4-파라미터 아핀 모델의 경우,
Figure pat00028
6-파라미터 아핀 모델의 경우,
Figure pat00029
여기서, (v0x, v0y), (v1x, v1y), (v2x, v2y)는 현재 코딩 블록의 좌측 상단, 우측 상단 및 좌측 하단 제어 포인트 MV이며, w 와 h 는 블록의 너비와 높이이다. 기존 PROF 디자인에서, MV 차이값 △vx 및 △vy 는 항상 1/32-pel의 정밀도로 도출된다.
로컬 조명 보상(Local illumination compensation)
로컬 조명 보상(LIC)은 시간적 인접 픽처들 사이에 존재하는 로컬 조명 변화의 문제점을 해결하는데 사용되는 코딩 툴이다. 한 쌍의 가중치 및 오프셋 파라미터가 참조 샘플들에 적용되어, 하나의 현재 블록의 예측 샘플들을 획득한다. 일반적인 수학적 모델은 다음과 같이 주어진다.
P[x] = α * Pr[x + v] + β ( 11 )
여기서 Pr[x + v]는 모션 벡터 v에 의해 표시되는 참조 블록이고, [α,β]는 참조 블록에 대한 가중치 및 오프셋 파라미터의 해당 쌍이며, P[x]는 최종 예측 블록이다. 가중치 및 오프셋 파라미터의 쌍은 현재 블록의 템플릿(즉, 이웃하는 재구성된 샘플들)과 템플릿의 참조 블록(현재 블록의 모션 벡터를 이용하여 유도됨)에 기초한 최소 선형 평균 제곱 에러(least linear mean square error: LLMSE) 알고리즘을 이용하여 추정된다. 템플릿 샘플들과 템플릿의 참조 샘플들 간의 평균 제곱 차이를 최소화함으로써, α 및 β 의 수학적 표현은 다음과 같이 유도될 수 있다:
Figure pat00030
Figure pat00031
(12)
여기서, I 는 템플릿의 샘플들의 개수를 나타낸다. Pc[xi] 는 현재 블록의 템플릿의 i-번째 샘플이며, Pr[xi] 는 모션 벡터 v를 기반으로 하는 i-번째 템플릿 샘플의 참조 샘플이다.
대부분 각각의 예측 방향 (L0 또는 L1)에 대한 하나의 모션 벡터를 포함하는 일반적인 인터 블록들에 적용되는 이외에도, LIC는 또한 아핀 모드 코딩 블록들에 적용되는데, 아핀 모드 코딩 블록에서 하나의 코딩 블록은 여러 개의 더 작은 서브블록들로 더 분할되며, 각각의 서브블록은 상이한 모션 정보와 연관될 수 있다. 아핀 모드 코딩된 블록의 LIC에 대한 참조 샘플을 유도하기 위해, 도 16a 및 도 16b(후술됨)에 도시된 바와 같이, 하나의 아핀 코딩 블록의 상단 템플릿의 참조 샘플들은 상단 서브블록 로우(row)의 각각의 서브블록의 모션 벡터를 사용하여 페치(fetch)되는 반면에, 좌측 템플릿의 참조 샘플들은 좌측 서브블록 컬럼에 있는 서브블록들의 모션 벡터를 사용하여 페치된다. 그 이후에, (12)에 도시된 바와 같은, 동일한 LLMSE 유도 방법이 복합 템플릿을 기반으로 LIC 파라미터를 도출하기 위해 적용된다.
도 16a는 본 개시에 따른, 아핀 모드에 대한 템플릿 샘플을 유도하기 위한 일례를 도시한다. 상기 일례는 Cur Frame(1620) 및 Cur CU(1622)를 포함한다. Cur Frame(1620)은 현재 프레임이다. Cur CU(1622)는 현재 코딩 유닛이다.
도 16b는 아핀 모드에 대한 템플릿 샘플들을 도출하기 위한 일례를 도시한다. 상기 일례는 Ref Frame(1640), Col CU(1642), A Ref(1643), B Ref(1644), C Ref(1645), D Ref(1646), E Ref(1647), F Ref(1648) 및 G Ref(1649)를 포함한다. Ref Frame(1640)은 참조 프레임이다. Col CU(1642)는 배치된 코딩 유닛이다. A Ref(1643), B Ref(1644), C Ref(1645), D Ref(1646), E Ref(1647), F Ref(1648) 및 G Ref(1649)는 참조 샘플이다.
아핀 모드에 대한 광학 흐름을 이용한 예측 미세조정의 비효율성
비록, PROF가 아핀 모드의 코딩 효율을 향상시킬 수 있지만, 그 설계는 여전히 더욱 향상될 수 있다. 특히, PROF와 BDOF가 모두 광학 흐름 개념을 기반으로 하고 있다는 점을 감안할 때, 하드웨어 구현을 용이하게 하기 위하여 BDOF의 기존 로직을 PROF가 최대한 활용할 수 있도록 PROF와 BDOF의 설계를 가능한한 많이 조화시키는 것이 매우 바람직하다. 이러한 고려 사항을 기반으로, 현재 PROF 및 BDOF 설계 간의 상호 작용에 대한 다음과 같은 비효율성이 본 개시에서 식별된다.
먼저, "아핀 모드에 대한 광학 흐름을 이용한 예측 미세조정"이라는 섹션에서 언급된 바와 같이, 방정식 (8)에서, 그래디언트의 정밀도는 내부 비트-깊이에 기초하여 결정된다. 다른 한편으로, MV 차이값, 즉, △vx 및 △vy 는 항상 1/32-pel의 정밀도에서 도출된다. 이에 따라, 방정식(9)에서, 도출된 PROF 미세조정의 정밀도는 내부 비트 깊이에 따라 다르다. 하지만, BDOF와 유사하게, PROF는 더 높은 PROF 도출 정밀도를 유지하기 위해, 중간 높이의 비트 깊이(즉, 16 비트)에서 예측 샘플 값들의 탑(top)에 적용된다. 따라서, 내부 코딩 비트-깊이에 관계없이 PROF에 의해 도출된 예측 미세조정의 정밀도는 중간 예측 샘플들의 정밀도, 즉 16비트와 매칭되어야 한다. 달리 말하면, 기존 PROF 설계에서 MV 차이값 및 그래디언트들의 표현 비트 깊이(representation bit-depths)는, 예측 샘플 정밀도(즉, 16 비트)에 대한 정확한 예측 미세조정을 도출하기 위해 완벽하게 매칭되지 않는다. 한편, 방정식 (1), (4), 및 (8)의 비교에 기반하여, 기존의 PROF와 BDOF는 서로 다른 정밀도를 사용하여 샘플 그래디언트와 MV 차이값을 나타낸다. 앞서 지적한 바와 같이, 이러한 통일되지 않은(non-unified) 설계는, 기존의 BDOF 로직이 재사용될 수 없기 때문에 하드웨어 측면에서 바람직하지 않다.
두번째로, "아핀 모드에 대한 광학 흐름을 이용한 예측 미세조정"이라는 섹션에서 언급된 바와 같이, 하나의 현재 아핀 블록이 양방향 예측(bi-predicted)되는 경우, PROF는 목록 L0 및 L1의 예측 샘플들에 개별적으로 적용되며, 그 다음, 강화된 L0 및 L1 예측 신호가 평균화되어 최종 양방향 예측 신호를 생성한다. 이와 반대로, 각각의 예측 방향에 대하여 PROF 미세조정을 별도로 도출하는 대신에, BDOF는 예측 미세조정을 한번 도출한 다음, 결합된 L0 및 L1 예측 신호를 향상시키기 위해 적용된다. 도 8 및 9(아래에 설명됨)는 양방향 예측을 위해 현재 BDOF와 PROF의 워크플로우를 비교한다. 실제 코덱 하드웨어 파이프라인 설계에서는, 일반적으로 더 많은 코딩 블록을 병렬로 프로세싱할 수 있도록, 각 파이프라인 단계에 서로 다른 주요 인코딩/디코딩 모듈이 할당된다. 하지만, BDOF와 PROF 워크플로우의 차이로 인해, BDOF와 PROF가 공유할 수 있는 하나의 동일한 파이프라인 설계를 갖는데 어려움이 있을 수 있으며, 이는 실용적인 코덱 구현에 비우호적이다.
도 8은 본 개시에 따른 BDOF의 워크플로우를 도시한다. 워크플로우(800)는 L0 모션 보상(810), L1 모션 보상(820), 및 BDOF(830)를 포함한다. 예를 들어, L0 모션 보상(810)은 이전 참조 픽처로부터의 모션 보상 샘플들의 리스트일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전의 참조 픽처이다. 예를 들어, L1 모션 보상(820)은 다음 참조 픽처로부터의 모션 보상 샘플들의 리스트일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 이후의 참조 픽처이다. BDOF(830)는 도 4와 관련하여 설명된 바와 같이 L1 모션 보상(810) 및 L1 모션 보상(820)으로부터 모션 보상 샘플을 취하고 그리고 예측 샘플을 출력한다.
도 9는 본 개시에 따른 기존의 PROF의 워크플로우를 도시한다. 워크플로우(900)는 L0 모션 보상(910), L1 모션 보상(920), L0 PROF(930), L1 PROF(940), 및 평균(960)을 포함한다. 예를 들어, L0 모션 보상(910)은 이전 참조 픽처로부터의 모션 보상 샘플들의 리스트일 수 있다. 이전 참조 픽처는 비디오 블록에서 현재 픽처보다 이전의 참조 픽처이다. 예를 들어, L1 모션 보상(920)은 다음 참조 픽처로부터의 모션 보상 샘플들의 리스트일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 이후의 참조 픽처이다. L0 PROF(930)는 도 7과 관련하여 설명된 바와 같이, L0 모션 보상(910)으로부터 L0 모션 보상 샘플들을 취하고 그리고 모션 미세조정 값을 출력한다. L1 PROF(940)는 도 7과 관련하여 설명된 바와 같이, L1 모션 보상(920)으로부터 L1 모션 보상 샘플들을 취하고 그리고 모션 미세조정 값을 출력한다. 평균(960)은 L0 PROF(930) 및 L1 PROF(940)의 모션 미세조정 값 출력들을 평균화한다.
세번째로, BDOF 및 PROF 모두에 대해, 현재 코딩 블록 내부의 각 샘플에 대해 그래디언트들이 계산되어야 하며, 이를 위해서는 블록의 각 측면에서 예측 샘플들의 하나의 추가 로우/컬럼을 생성해야만 한다. 샘플 보간의 추가적인 계산 복잡성을 회피하기 위해, 블록 주변의 확장된 영역의 예측 샘플들은 정수 위치의 참조 샘플들로부터 직접 복사된다(즉, 보간 없이). 하지만, 기존 설계에 따르면, 서로 다른 위치에 있는 정수 샘플들이 선택되어, BDOF와 PROF의 그래디언트 값들을 생성한다. 구체적으로, BDOF의 경우, 예측 샘플의 좌측(수평 그래디언트의 경우) 및 예측 샘플의 위쪽(수직 그래디언트의 경우)에 위치한 정수 참조 샘플이 사용된다. PROF의 경우, 예측 샘플에 가장 가까운 정수 참조 샘플이 그래디언트 계산에 사용된다. 비트 깊이 표현 문제와 유사하게, 이러한 통일되지 않은 그래디언트 계산 방법도 하드웨어 코덱 구현에 바람직하지 않다.
네번째로, 앞서 지적된 바와 같이, PROF의 목적은, 각각의 샘플의 MV와 샘플이 속한 서브블록의 중심에서 유도된 각 서브블록 MV 사이의 작은 MV 차이값을 보상하기 위한 것이다. 현재 PROF 설계에 따르면, PROF는 하나의 코딩 블록이 아핀 모드에 의해 예측될 때 항상 호출된다. 하지만, 방정식 (6) 및 (7)에서와 같이, 하나의 아핀 블록의 서브블록 MV들은 제어 포인트 MV들로부터 유도된다. 따라서, 제어 포인트 MV들 간의 차이가 상대적으로 작은 경우, 각 샘플 위치에서의 MV들은 일관되어야 한다(consistent). 이러한 경우, PROF를 적용하는 장점이 매우 제한적일 수 있으므로, 성능/복잡성 트레이드오프를 고려할 때 PROF를 수행할 가치가 없을 수도 있다.
아핀 모드에 대한 광학 흐름을 이용한 예측 미세조정의 향상(Improvements to Prediction refinement with optical flow for affine mode)
본 발명에서는, 하드웨어 코덱 구현을 용이하게 하기 위해 기존의 PROF 설계를 향상 및 단순화하기 위한 방법이 제공된다. 특히, 기존의 BDOF 로직을 PROF와 최대한 공유하기 위해 BDOF와 PROF의 설계를 조화시키는데 각별한 주의를 기울였다. 일반적으로 본 개시에서 제안하는 기술의 주요 측면은 다음과 같이 요약된다.
첫번째로, 하나 이상의 통일된 설계를 달성하면서 PROF의 코딩 효율을 향상시키기 위하여, BDOF과 PROF에 의해 사용되는 샘플 그래디언트 및 MV 차이값의 표현 비트 깊이를 통합하는 하나의 방법이 제안된다.
두번째로, 하드웨어 파이프 라인 설계를 용이하게 하기 위해, 양방향 예측을 위한 BDOF의 워크플로우와 PROF의 워크플로우를 조정하는 것이 제안된다. 구체적으로, L0와 L1에 대해 개별적으로 예측 미세조정을 유도하는 기존의 PROF와 달리, 제안된 방법은 예측 미세조정을 한 번 유도하며, 이는 결합된 L0 및 L1 예측 신호에 적용된다.
세번째로, BDOF과 PROF에 의해 사용되는 그래디언트 값들을 계산하기 위해 정수 참조 샘플의 도출을 조정하는 2개의 방법이 제안된다.
네번째로, 계산 복잡도를 감소시키기 위해, 특정 조건들이 충족될 때 아핀 코딩 블록들에 대해 PROF 프로세스를 적응적으로 비활성화시키는 조기 종료 방법(early termination methods)이 제안된다.
PROF 그래디언트 및 MV 차이값의 향상된 비트 깊이 표현 설계(Improved bit-depth representation design of PROF gradients and MV difference)
"문제점 설명" 섹션에서 분석된 바와 같이, 현재 PROF의 MV 차이값 및 샘플 그래디언트들의 표현 비트 깊이는 정확한 예측 미세조정을 도출하도록 정렬되지 않는다. 또한, 샘플 그래디언트 및 MV 차이값의 표현 비트 깊이는 BDOF와 PROF 사이에서 일치하지 않으며, 이는 하드웨어에 비우호적이다. 본 섹션에서는 BDOF의 비트 깊이 표현 방법을 PROF로 확장함으로써, 하나의 향상된 비트 깊이 표현 방법이 제안된다. 구체적으로, 제안된 방법에서, 각 샘플 위치에서의 수평 및 수직 그래디언트들은 다음과 같이 계산된다:
Figure pat00032
Figure pat00033
(13)
또한, △x 및 △y 가 샘플 위치로부터 샘플이 속한 서브블록의 중심까지의 1/4-pel 정밀도로 표현되는 수평 및 수직 오프셋이라고 가정하면, 샘플 위치에서 해당 PROF MV 차이값 △v(x,y)는 다음과 같이 유도된다:
Figure pat00034
(14)
여기서, dMvBits 는 BDOF 프로세스에서 사용되는 그래디언트 값들의 비트 깊이이다. 즉, dMvBits = max(5, (bit-depth - 7)) + 1 이다. 방정식 (13) 및 (14)에서, c, d, e, 및 f는 아핀 제어 포인트 MV들에 기초하여 유도되는 아핀 파라미터들이다. 구체적으로, 4-파라미터 아핀 모델인 경우는 다음과 같다:
Figure pat00035
6-파라미터 아핀 모델인 경우는 다음과 같다:
Figure pat00036
여기서, (v0x, v0y), (v1x, v1y), (v2x, v2y)는 현재 코딩 블록의 좌측 상단, 우측 상단 및 좌측 하단 제어 포인트 MV이며, 이들은 1/16-pel의 정밀도로 표현된다. w 와 h 는 블록의 너비와 높이이다.
전술한 논의에서, 방정식 (13) 및 (14)에 도시된 바와 같이, 한 쌍의 고정 우측 시프트들이 적용되어 그래디언트들 및 MV 차이들의 값들을 계산한다. 실제로, 상이한 비트별(bit-wise) 우측 시프트들이 (13) 및 (14)에 적용되어, 중간 계산 정밀도 및 내부 PROF 유도 프로세스의 비트-폭 간의 상이한 트레이드오프에 대한, 그래디언트들 및 MV 차이의 다양한 표현 정밀도들을 성취할 수 있다. 예를 들어, 입력 비디오가 많은 노이즈를 포함하는 경우, 유도된 그래디언트들은 각각의 샘플에서 실제(true) 로컬 수평/수직 그래디언트 값들을 나타내는데 신뢰할 수 없을 수 있다. 이러한 경우, MV 차이들을 나타내기 위해 그래디언트들 보다 더 많은 비트를 사용하는 것이 더 합리적이다. 반면에, 입력 비디오가 안정된 모션을 보이는 경우, 아핀 모델에 의해 도출된 MV 차이들은 매우 작아야 한다. 만일 그렇다면, 고정밀 MV 차이를 사용한다고 해서, 유도된 PROF 미세조정의 정밀도를 증가시키는 추가적인 장점을 제공할 수는 없을 것이다. 다시 말해서, 이러한 경우에는, 그래디언트 값들을 나타내기 위해 더 많은 비트를 사용하는 것이 더 유리하다. 전술한 고려 사항에 기초하여, 본 발명의 하나 이상의 실시예에서, PROF에 대한 그래디언트들 및 MV 차이값을 계산하기 위한 하나의 일반적인 방법이 아래에 제안된다. 구체적으로, 각 샘플 위치에서의 수평 및 수직 그래디언트들이 인접 예측 샘플들의 차이값에 na 우측 시프트를 적용하여 계산된다고 가정하자. 즉,
Figure pat00037
Figure pat00038
(15)
샘플 위치에서의 대응하는 PROF MV 차이 △v(x,y)는 다음과 같이 계산되어야 한다:
Figure pat00039
(16)
여기서, △x 및 △y 는 샘플 위치로부터 샘플이 속한 서브블록의 중심까지의 1/4-pel 정밀도로 표현되는 수평 및 수직 오프셋이고, c, d, e, 및 f는 1/16-pel 아핀 제어 포인트 MV들에 기초하여 유도되는 아핀 파라미터들이다. 마지막으로, 샘플의 최종 PROF 미세조정은 다음과 같이 계산된다.
Figure pat00040
(17)
본 발명의 일부 실시예에서, 다른 PROF 비트 깊이 제어 방법이 다음과 같이 제안된다. 본 방법에서, 각 샘플 위치의 수평 및 수직 그래디언트들은 우측 시프트의 na 비트를 인접 예측 샘플들의 차이값에 적용함으로써 여전히 (15)와 같이 계산된다. 샘플 위치에서의 해당 PROF MV 차이 △v(x,y)는 다음과 같이 계산되어야 한다:
Figure pat00041
추가적으로, 적절한 내부 비트 깊이에서 전체 PROF 유도를 유지하기 위해, 유도된 MV 차이값에 클리핑이 다음과 같이 적용된다:
Figure pat00042
여기서, limit 은, 2nb 와 같은 임계값이며 그리고 clip3(min, max, x)는 [min, max] 범위 내에서 소정 값 x를 클리핑하는 함수이다. 일례에서, nb 의 값은
Figure pat00043
로 설정된다. 마지막으로, 샘플의 PROF 미세조정은 다음과 같이 계산된다:
Figure pat00044
추가적으로, 본 발명의 하나 이상의 실시예들에서, 하나의 PROF 비트-깊이 제어 솔루션이 제안된다. 이 방법에서 각 샘플 위치(i, j)에서의 수평 및 수직 PROF 모션 미세조정은 다음과 같이 유도된다:
Figure pat00045
또한, 유도된 수평 및 수직 모션 미세조정은 다음과 같이 클리핑된다:
Figure pat00046
여기서, 소정의 모션 미세조정은 위와 같이 유도되면, 위치(i,j)에서의 최종 PROF 샘플 미세조정은 다음과 같이 계산된다:
Figure pat00047
다른 실시예에서, 다른 PROF 비트 깊이 제어 솔루션이 제안된다. 제 2 방법에서 샘플 위치(i,j)에서의 수평 및 수직 PROF 모션 미세조정은 다음과 같이 유도된다:
Figure pat00048
다음으로, 유도된 모션 미세조정은 다음과 같이 클리핑된다:
Figure pat00049
따라서, 소정의 모션 미세조정이 위와 같이 유도되면, 위치(i,j)에서의 최종 PROF 샘플 미세조정은 다음과 같이 계산된다:
Figure pat00050
본 발명의 하나 이상의 실시예에서, 상기 솔루션의 모션 미세조정 정밀도 제어 방법과 상기 제 2 솔루션의 PROF 샘플 미세조정 유도 방법을 결합하는 것이 제안된다. 구체적으로, 본 방법에 의해서, 각각의 샘플 위치(i,j)에서 수평 및 수직 PROF 모션 미세조정은 다음과 같이 유도된다.
Figure pat00051
또한, 유도된 모션 미세조정은 다음과 같이 클리핑된다:
Figure pat00052
마지막으로, 모션 미세조정이 위와 같이 유도되면, 위치(i,j)에서의 최종 PROF 샘플 미세조정은 다음과 같이 계산된다:
Figure pat00053
양방향 예측을 위한 BDOF 및 PROF의 조정된 워크플로우들
앞서 논의된 바와 같이, 하나의 아핀 코딩 블록이 양방향 예측되는 경우, 현재 PROF가 일방적인 방식(unilateral manner)으로 적용된다. 보다 구체적으로, PROF 샘플 미세조정은 별도로 유도되며 그리고 리스트 L0 및 L1의 예측 샘플들에 적용된다. 그 후, 리스트 L0 및 L1 각각으로부터 미세조정된 예측 신호들이 평균화되어, 블록의 최종 양방향 예측 신호를 생성한다. 이것은, 샘플 미세조정들이 유도되고 그리고 양방향 예측 신호에 적용되는 BDOF 설계와 대조된다. BDOF와 PROF의 양방향 예측 워크플로우들의 이러한 차이는 실용적인 코덱 파이프라인 설계에 비우호적일 수 있다.
하드웨어 파이프라인 설계를 단순화하기 위한, 본 발명에 따른 하나의 간단한 방법은, 2개의 예측 미세조정 방법들의 워크플로우들이 조화되도록 PROF의 양방향 예측 방법을 수정하는 것이다. 구체적으로, 각각의 예측 방향에 대해 미세조정을 개별적으로 적용하는 대신에, 제안된 PROF 방법은 리스트 L0 및 L1의 제어 포인트 MV를 기반으로 예측 미세조정을 한번만 유도한다. 이후, 유도된 예측 미세조정은 결합된 L0 및 L1 예측 신호에 적용되어 품질을 향상시킨다. 특히, 방정식 (14)에서 유도된 MV의 차이에 기초하여, 하나의 아핀 코딩 블록의 최종 양방향 예측 샘플들은 제안된 방법에 의해 다음과 같이 계산된다:
Figure pat00054
Figure pat00055
Figure pat00056
(18)
여기서, shift 및 Ooffset 은 양방향 예측에 대해 L0 및 L1 예측 신호들을 결합하기 위해 적용되는 우측 시프트 값 및 오프셋 값이며, 이는 각각 (15 - 비트 깊이) 및 1 << (14 - 비트 깊이) + (2 << 13) 이다. 또한, 방정식 (18)에 도시된 바와 같이, 제안된 방법에서는 기존의 PROF 설계의 클리핑 연산(방정식 (9)에 도시됨)이 제거되었다.
도 12는 제안된 양방향 예측 PROF 방법을 적용한 경우의 해당 PROF 프로세스를 예시한다. PROF 프로세스(1200)는 L0 모션 보상(1210), L1 모션 보상(1220), 및 양방향 예측 PROF(1230)를 포함한다. 예를 들어, L0 모션 보상(1210)은 이전 참조 픽처로부터의 모션 보상 샘플들의 리스트일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전의 참조 픽처이다. 예를 들어, L1 모션 보상(1220)은 다음 참조 픽처로부터의 모션 보상 샘플들의 리스트일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 이후의 참조 픽처이다. 양방향 예측 PROF(1230)는 전술한 바와 같이, L0 모션 보상(1210) 및 L1 모션 보상(1220)으로부터 모션 보상 샘플을 취하고 그리고 양방향 예측 샘플을 출력한다.
하드웨어 파이프 라인 설계에 대한 제안된 방법의 잠재적인 장점을 설명하기 위하여, 도 13은 BDOF와 제안된 PROF가 모두 적용된 경우의 파이프라인 스테이지를 설명하기 위한 일 예를 보여준다. 도 13에서, 하나의 인터 블록의 디코딩 프로세스는 주로 3개의 단계를 포함한다:
첫번째, 코딩 블록의 MVs를 파싱/디코딩하고 그리고 참조 샘플들을 페치한다.
두번째, 코딩 블록의 L0 및/또는 L1 예측 신호를 생성한다.
세번째, 코딩 블록이 하나의 비-아핀 모드(non-affine mode)에 의해 예측되는 경우에는 BDOF에 기초하고 그리고 코딩 블록이 아핀 모드에 의해 예측되는 경우에는 PROF에 기초하여, 생성된 양방향 예측 샘플들의 샘플별 미세조정을 수행한다.
도 13은 본 발명에 따라 BDOF와 제안된 PROF가 모두 적용된 경우의 예시적인 파이프라인 스테이지의 일 예를 도시한다. 도 13은 하드웨어 파이프 라인 설계에 대한 제안된 방법의 잠재적인 장점을 설명한다. 파이프라인 스테이지(1300)는 MV의 파싱/디코딩 및 참조 샘플의 페치(1310), 모션 보상(1320), BDOF/PROF(1330)를 포함한다. 파이프라인 스테이지(1300)는 비디오 블록 BLK0, BKL1, BKL2, BKL3 및 BLK4를 인코딩할 것이다. 각각의 비디오 블록은 MV의 파싱/디코딩 및 참조 샘플의 페치(1310)에서 시작하여, 모션 보상(1320)으로 이동한 다음, BDOF/PROF(1330)로 순차적으로 이동할 것이다. 이것은 다음을 의미하는바, BLK0이 모션 보상(1320)으로 이동할 때까지, BLK0이 파이프라인 스테이지(1300) 프로세스에서 시작되지 않음을 의미한다. 시간이 T0에서 T1, T2, T3 및 T4로 이동함에 따라 모든 스테이지들 및 비디오 블록들에 대해 동일하다.
도 13에서, 하나의 인터 블록의 디코딩 프로세스는 주로 3개의 단계를 포함한다:
첫번째, 코딩 블록의 MVs를 파싱/디코딩하고 그리고 참조 샘플들을 페치한다.
두번째, 코딩 블록의 L0 및/또는 L1 예측 신호를 생성한다.
세번째, 코딩 블록이 하나의 비-아핀 모드(non-affine mode)에 의해 예측되는 경우에는 BDOF에 기초하고 그리고 코딩 블록이 아핀 모드에 의해 예측되는 경우에는 PROF에 기초하여, 생성된 양방향 예측 샘플들의 샘플별 미세조정을 수행한다.
도 13에 도시된 바와 같이, 제안된 조정 방법이 적용된 이후, BDOF와 PROF 모두는 양방향 예측 샘플에 직접 적용된다. BDOF와 PROF가 서로 다른 유형의 코딩 블록에 적용되는 경우(즉, BDOF는 비-아핀 블록에 적용되고 PROF는 아핀 블록에 적용됨), 2개의 코딩 툴들은 동시에 호출될 수 없다. 따라서, 이들의 대응하는 디코딩 프로세스들은 동일한 파이프라인 스테이지를 공유함에 의해서 수행될 수 있다. 이것은, 양방향 예측의 서로 다른 워크플로우들로 인해 BDOF와 PROF 모두에 대해 동일한 파이프라인 단계를 할당하기 어려운 기존의 PROF 설계보다 효율적이다.
전술한 설명에서, 제안된 방법은 BDOF과 PROF의 워크플로우들의 조정만을 단지 고려한다. 하지만, 기존 설계에 따르면, 2개의 코딩 툴들의 기본 연산 단위도 서로 다른 사이즈들에서 수행된다. 예를 들어, BDOF의 경우, 하나의 코딩 블록은 Ws × Hs 사이즈를 갖는 여러 개의 서브블록들로 분할된다. 여기서, Ws = min(W, 16) 및 Hs= min(H, 16)이며, W 및 H는 코딩 블록의 너비와 높이이다. 그래디언트 계산 및 샘플 미세조정 유도와 같은 BODF 연산은, 각각의 서브블록에 대해 독립적으로 수행된다. 다른 한편으로, 앞서 설명된 바와 같이, 아핀 코딩 블록은 4×4 서브블록들로 분할되며, 각 서브블록에는 4-파라미터 아핀 모델 또는 6-파라미터 아핀 모델에 기초하여 유도된 하나의 개별 MV가 할당된다. PROF가 아핀 블록에만 적용되기 때문에, 그것의 기본 연산 단위는 4×4 서브블록이다. 양방향 예측 워크플로우 문제와 유사하게, BDOF와 PROF에 대해서 서로 다른 기본 연산 단위 사이즈를 사용하는 것도 하드웨어 구현에 비우호적이며, BDOF와 PROF가 전체 디코딩 프로세스의 동일한 파이프라인 스테이지를 공유하기 어렵게 만든다. 이러한 문제를 해결하기 위해, 하나 이상의 실시예에서, 아핀 모드의 서브블록 사이즈를 BDOF의 사이즈와 동일하게 정렬하는 것이 제안된다.
제안된 방법에 따르면, 하나의 코딩 블록이 아핀 모드에 의해 코딩되는 경우, 코딩 블록은 Ws × Hs 사이즈를 갖는 서브블록들로 분할될 것이며, 여기서, Ws = min(W, 16) 및 Hs= min(H, 16)이며, W 및 H는 코딩 블록의 너비와 높이이다. 각 서브블록에는 하나의 개별 MV가 할당되고 하나의 독립적인 PROF 연산 단위로 간주된다. 독립적인 PROF 연산 단위가 인접한 PROF 연산 단위들의 정보를 참조하지 않고 상위 PROF 연산이 수행되도록 보장한다는 점은 언급할 가치가 있다. 구체적으로, 하나의 샘플 위치에서의 PROF MV 차이는 샘플 위치에서의 MV와 샘플이 위치한 PROF 연산 단위의 중앙에서의 MV 사이의 차이로서 계산되고; PROF 유도에 사용되는 그래디언트는 각각의 PROF 연산 단위를 따라 샘플들을 패딩(padding)함으로써 계산된다. 제안된 방법의 주장된 장점은 주로 다음과 같은 양상들을 포함한다. 1) 모션 보상 및 BDOF/PROF 미세조정을 위한 통합된 기본 연산 단위 사이즈로 단순화된 파이프라인 아키텍처; 2) 아핀 모션 보상을 위한 확장된 서브블록 크기로 인한 메모리 대역폭 사용량 감소; 3) 분수 샘플 보간(fractional sample interpolation)의 샘플당 계산 복잡성 감소.
또한, 다음을 유의해야 하는바, 제안된 방법의 감소된 계산 복잡도(즉, 3번 항목) 때문에, 아핀 코딩 블록에 대한 기존의 6-탭 보간 필터 제약이 제거될 수 있다. 대신에, 비-아핀 코딩 블록에 대한 디폴트 8-탭 보간이 아핀 코딩 블록에도 사용된다. 이 경우, 전체적인 계산 복잡도는 기존의 PROF 설계(6-탭 보간 필터가 있는 4x4 서브블록 기반)에 비하여 여전히 우호적으로 비교될 수 있다.
BDOF과 PROF에 대한 그래디언트 유도의 조화
전술한 바와 같이, BDOF와 PROF 둘다는 현재 코딩 블록 내의 각 샘플의 그래디언트를 계산하며, 이는 블록의 각 측면 상의 예측 샘플들의 하나의 추가 로우/컬럼에 액세스한다. 추가적인 보간 복잡도를 회피하기 위하여, 블록 경계 주변의 확장된 영역에서 필요한 예측 샘플들은 정수 참조 샘플들로부터 직접 복사된다. 하지만, "문제점 설명" 섹션에서 지적한 바와 같이, 서로 다른 위치에 있는 정수 샘플들을 사용하여 BDOF 및 PROF의 그래디언트 값들을 계산한다.
하나 이상의 통합된 설계를 달성하기 위해, BDOF과 PROF에 의해 이용되는 그래디언트 유도 방법들을 통일하는 2개의 제안된 방법들이 아래에 제공된다. 제 1 방법에서는, PROF의 그래디언트 유도 방법을 BDOF와 동일하게 정렬하는 것을 제안한다. 구체적으로, 제 1 방법에서는, 확장된 영역에서 예측 샘플들을 생성하는데 사용되는 정수 위치는 분수 샘플 위치를 아래로 내림(flooring down)으로써 결정된다. 즉, 선택된 정수 샘플 위치는 분수 샘플 위치의 좌측에 위치하고(수평 그래디언트의 경우) 그리고 분수 샘플 위치의 위쪽에 위치한다(수직 그래디언트의 경우). 제 2 방법에서는 BDOF의 그래디언트 유도 방법을 PROF와 동일하게 정렬하는 것을 제안한다. 구체적으로, 제 2 방법을 적용하는 경우, 예측 샘플에 가장 가까운 정수 참조 샘플이 그래디언트 계산에 사용된다.
도 14는 본 발명에 따른 BDOF의 그래디언트 유도 방법을 사용하는 일 예를 도시한다. 도 14에서, 비어있는 원은 정수 위치의 참조 샘플을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플을 나타내고, 검은색 원은 현재 블록의 확장된 영역을 채우는데 사용된 정수 참조 샘플을 나타낸다.
도 15는 본 발명에 따른 PROF의 그래디언트 유도 방법을 사용하는 일 예를 도시한다. 도 15에서 비어있는 원은 정수 위치의 참조 샘플을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플을 나타내며, 검은색 원은 현재 블록의 확장된 영역을 채우는데 사용된 정수 참조 샘플을 나타낸다.
도 14 및 도 15는 제 1 방법(도 14) 및 제 2 방법(도 15)이 각각 적용될 때, BDOF 및 PROF에 대한 그래디언트의 유도에 사용되는 대응하는 정수 샘플 위치들을 도시한다. 도 14 도 15에서, 빈 원은 정수 위치의 참조 샘플을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플을 나타내고, 패턴화된 원은 그래디언트 유도를 위해 현재 블록의 확장된 영역을 채우는데 사용되는 정수 참조 샘플을 나타낸다.
또한, 기존의 BDOF 및 PROF 설계에 따르면, 예측 샘플 패딩은 서로 다른 코딩 레벨에서 수행된다. 특히, BDOF의 경우 패딩은 sbWidth x sbHeight 서브블록들 각각의 경계를 따라 적용되며, 여기서 sbWidth = min(CUWidth, 16)이고, sbHeight = min(CUHeight, 16)이며, CUWidth 및 CUHeight는 하나의 CU의 너비와 높이이다. 다른 한편으로, PROF의 패딩은 항상 4x4 서브블록 레벨에 적용된다. 위의 논의에서, 패딩 방식만 BDOF와 PROF 사이에 통일된 반면, 패딩 서브블록 크기는 여전히 다르다. 이것은 또한 BDOF와 PROF의 패딩 프로세스에 대해 서로 다른 모듈들이 구현되야 하므로 실제 하드웨어 구현에 적합하지 않다. 하나 이상의 통일된 설계를 달성하기 위해, BDOF와 PROF의 서브블록 패딩 사이즈를 통일하는 것이 제안된다. 본 발명의 하나 이상의 실시예에서, 4x4 레벨에서 BDOF의 예측 샘플 패딩을 적용하는 것이 제안된다. 구체적으로, 이 방법에 의해, CU는 먼저 여러 개의 4x4 서브블록들로 분할된다. 각 4x4 서브블록의 모션 보상 이후, 상/하 및 좌/우 경계를 따라 확장된 샘플들은 대응 정수 샘플 위치를 복사함으로써 패딩된다. 도 18a, 18b, 18c, 18d는 하나의 16x16 BDOF CU에 제안된 패딩 방법을 적용한 일 예를 나타내며, 여기서 점선은 4x4 서브블록 경계를 나타내고 검은색 띠는 각 4x4 서브블록의 패딩된 샘플을 나타낸다.
도 18a는 본 개시에 따른 16X16 BDOF CU에 적용된 제안된 패딩 방법을 도시하며, 여기서 점선은 좌측 상단 4X4 서브블록 경계(1820)를 나타낸다.
도 18b는 본 개시에 따른 16X16 BDOF CU에 적용된 제안된 패딩 방법을 도시하며, 여기서 점선은 우측 상단 4X4 서브블록 경계(1840)를 나타낸다.
도 18c는 본 개시에 따른 16X16 BDOF CU에 적용된 제안된 패딩 방법을 도시하며, 여기서 점선은 좌측 하단 4X4 서브블록 경계(1860)를 나타낸다.
도 18d는 본 개시에 따른 16X16 BDOF CU에 적용된 제안된 패딩 방법을 도시하며, 여기서 점선은 우측 하단 4X4 서브블록 경계(1880)를 나타낸다.
BDOF, PROF, 및 DMVR을 활성화/비활성화하기 위한 하이 레벨 시그널링 신택스
기존의 BDOF 및 PROF 설계에서는, 2개의 상이한 플래그들이 시퀀스 파라미터 세트(SPS)에서 시그널링되어, 2개의 코딩 툴들의 활성화/비활성화를 개별적으로 제어한다. 그러나, BDOF와 PROF 사이의 유사성으로 인해, 하나의 동일한 제어 플래그에 의해 상위 레벨에서 BDOF 및 PROF를 활성화 및/또는 비활성화하는 것이 더 바람직하다. 이러한 고려를 바탕으로, sps_bdof_prof_enabled_flag라고 하는 하나의 새로운 플래그가 SPS에 도입되었다(테이블 1에 도시된 바와 같이). 테이블 1에 도시된 바와 같이, BDOF의 활성화 및 비활성화는 sps_bdof_prof_enabled_flag에만 의존한다. 상기 플래그가 1일 때, BDOF는 시퀀스의 비디오 콘텐츠를 코딩하기 위해 활성화된다. 그렇지 않고 sps_bdof_prof_enabled_flag가 0이면 BDOF가 적용되지 않을 것이다. 다른 한편으로, sps_bdof_prof_enabled_flag 이외에도 SPS 레벨 아핀 제어 플래그, 즉 sps_affine_enabled_flag도 PROF를 조건부로 활성화 및 비활성화하는데 사용된다. sps_bdof_prof_enabled_flag 및 sps_affine_enabled_flag 플래그가 모두 1이면, PROF는 아핀 모드로 코딩되는 모든 코딩 블록에 대해 활성화된다. 플래그 sps_bdof_prof_enabled_flag가 1이고 sps_affine_enabled_flag가 0이면 PROF가 비활성화된다.
Figure pat00057
테이블 1. 제안된 BDOF/PROF 활성화/비활성화 플래그로 수정된 SPS 신택스 테이블
sps_bdof_prof_enabled_flag 는 양방향 광학 흐름 및 광학 흐름을 이용한 예측 미세조정이 활성화될지 아닐지를 지정한다. sps_bdof_prof_enabled_flag가 0이면, 양방향 광학 흐름 및 광학 흐름을 이용한 예측 미세조정 모두가 비활성화된다. sps_bdof_prof_enabled_flag가 1이고 sps_affine_enabled_flag가 1이면, 양방향 광학 흐름 및 광학 흐름을 사용한 예측 미세조정 모두가 활성화된다. 그렇지 않으면(sps_bdof_prof_enabled_flag가 1이고 sps_affine_enabled_flag가 0임), 양방향 광학 흐름이 활성화되고 광학 흐름을 사용한 예측 미세조정은 비활성화된다.
sps_bdof_prof_dmvr_slice_preset_flag 는, 슬라이스 레벨에서 플래그 slice_disable_bdof_prof_dmvr_flag가 언제 시그널링되는지를 지정한다. 상기 플래그가 1이면, 현재 시퀀스 파라미터 세트를 참조하는 각각의 슬라이스에 대해 slice_disable_bdof_prof_dmvr_flag 신택스가 시그널링된다. 그렇지 않으면(sps_bdof_prof_dmvr_slice_present_flag가 0이면), 슬라이스 레벨에서 slice_disabled_bdof_prof_dmvr_flag 신택스가 시그널링되지 않는다. 플래그가 시그널링되지 않으면 0으로 유추된다. 또한, 제안된 SPS 레벨 BDOF PROF와 제어 플래그가 사용되는 경우, 일반적인 제한 정보 신택스에 있는 대응하는 제어 플래그인 no_bdof_constraint_flag 역시도 다음과 같이 약간 변형되어야만 한다.
Figure pat00058
no_bdof_prof_constraint_flag의 값이 1인 경우, 이것은 sps_bdof_prof_enabled_flag가 0이 되어야 한다고 지정하며, 0인 no_bdof_constraint_flag 는 제약 조건을 부과하지 않는다.
전술한 SPS BDOF/PROF 신택스에 추가하여, 슬라이스 레벨에서 또 다른 제어 플래그를 도입하는 것이 제안된다. 즉, BDOF, PROF 및 DMVR을 비활성화하기 위해 slice_disable_bdof_prof_dmvr_flag가 도입된다. DMVR 또는 BDOF/PROF SPS 레벨 제어 플래그들 중 어느 하나가 참(true)일 때 SPS에서 시그널링되는 SPS 플래그인 sps_bdof_prof_dmvr_slice_present_flag는 slice_disable_bdof_prof_dmvr_flag 의 존재를 나타내기 위해 사용된다. 만일,존재한다면, slice_disable_bdof_dmvr_flag가 시그널링된다. 테이블 2는 제안된 신택스가 적용된 이후의, 수정된 슬라이스 헤더 신택스 테이블을 나타낸다. 다른 실시예에서, BDOF 및 DMVR의 활성화/비활성화 및 PROF의 활성화/비활성화를 개별적으로 제어하기 위해 슬라이스 헤더에서 여전히 2개의 제어 플래그들을 사용하는 것이 제안된다. 구체적으로, 본 방법에 의해 2개의 플래그들이 슬라이스 헤더에서 사용된다. 하나의 플래그는 slice_disable_bdof_dmvr_slice_flag 이고, 이는 BDOF 및 DMVR의 온/오프를 제어하는데 이용된다. 다른 하나의 플래그는 disable_prof_slice_flag 이고, 이는 PROF 만의 온/오프를 제어하는데 이용된다.
Figure pat00059
테이블 2. 제안된 BDOF/PROF 활성화/비활성화 플래그로 수정된 SPS 신택스 테이블
다른 실시예에서는, 2개의 상이한 SPS 플래그들에 의해서 BDOF과 PROF를 개별적으로 제어하는 것이 제안된다. 구체적으로, 2개의 툴들을 개별적으로 활성화/비활성화시키기 위하여, 2개의 개별 SPS 플래그들 즉, sps_bdof_enable_flag 및 sps_prof_enable_flag 가 도입된다. 또한, 하나의 상위 레벨 제어 플래그 no_prof_constraint_flag 가 PROF 툴을 강제로 비활성화시키기 위하여, general_constrain_info() 신택스 테이블에 추가될 필요가 있다.
Figure pat00060
sps_bdof_enabled_flag 는 양방향 광학 흐름을 활성화될 것인지의 여부를 지정한다. sps_bdof_enabled_flag 가 0이면 양방향 광확 흐름이 비활성화된다. sps_bdof_enabled_flag 가 1이면 양방향 광학 흐름이 활성화된다.
sps_prof_enabled_flag 는 광학 흐름을 이용한 예측 미세조정이 활성화될 것인지의 여부를 지정한다. sps_prof_enabled_flag가 0이면 광학 흐름을 사용한 예측 미세조정이 비활성화된다. sps_prof_enabled_flag가 1이면 광학 흐름을 사용한 예측 미세조정이 활성화된다.
Figure pat00061
no_prof_constraint_flag 가 1 인 경우, 이는 sps_prof_enabled_flag 가 0이 되어야 함을 지정한다. 0인 no_prof_constraint_flag 는 제약을 부과하지 않는다.
슬라이드 레벨에서, 본 발명의 일 실시예에서는, 또 다른 제어 플래그를 슬라이스 레벨에서 도입하는 것이 제안된다. 즉, BDOF, PROF 및 DMVR을 함께 비활성화하기 위해 slice_disable_bdof_prof_dmvr_flag 가 도입된다. 본 발명의 다른 실시예에서, slice_disable_bdof_dmvr_flag 및 slice_disable_prof_flag 라는 2개의 개별 플래그들을 슬라이스 레벨에서 추가하는 것이 제안된다. 제 1 플래그(즉, slice_disable_bdof_dmvr_flag)는 하나의 슬라이스에 대해 BDOF 및 DMVR을 적응적으로 스위치 온/오프하는데 사용되는 반면에, 제 2 플래그(즉, slice_disable_prof_flag)는 슬라이스 레벨에서 PROF 툴의 활성화 및 비활성화를 제어하는데 사용된다. 또한, 제 2 방법이 적용되면, SPS BDOF 또는 SPS DMVR 플래그가 활성화될 때 slice_disable_bdof_dmvr_flag 만이 시그널링될 필요가 있으며, 상기 플래그는 SPS PROF 플래그가 활성화될 때 시그널링될 필요가 있다.
도 11은 BDOF 및 PROF의 방법을 나타낸다. 상기 방법은 예를 들어, 디코더에 적용될 수 있다.
단계 1110에서, 디코더는 2개의 일반적인 제한 정보(GCI) 레벨 제어 플래그들을 수신할 수 있다. 이들 2개의 GCI 레벨 제어 플래그들은 인코더에 의해 시그널링될 수 있으며 그리고 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함할 수 있다. 제 1 GCI 레벨 제어 플래그는 현재 비디오 시퀀스를 디코딩하는데 BDOF가 허용되는지 여부를 나타낸다. 제 2 GCI 레벨 제어 플래그는 현재 비디오 시퀀스를 디코딩하는데 PROF가 허용되는지 여부를 나타낸다.
단계 1112에서, 디코더는 2개의 SPS 레벨 제어 플래그들을 수신할 수 있다. 2개의 SPS 레벨 제어 플래그들은 인코더에 의해 SPS에서 시그널링되고 현재 비디오 블록에 대해 BDOF 및 PROF가 활성화되었는지 여부를 알려준다.
단계 1114에서, 제 1 SPS 레벨 제어 플래그가 활성화될 때, 디코더는 비디오 블록이 아핀 모드로 코딩되지 않은 경우 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하기 위해 BDOF를 적용할 수 있다.
단계 1116에서, 제 2 SPS 레벨 제어 플래그가 활성화될 때, 디코더는 비디오 블록이 아핀 모드로 코딩된 경우 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하기 위해 PROF를 적용할 수 있다.
단계 1118에서, 디코더는 모션 미세조정에 기초하여 비디오 블록의 예측 샘플들을 획득할 수 있다.
제어 포인트 MV 차이에 기초한 PROF의 조기 종료
현재 PROF 설계에 따르면, PROF는 하나의 코딩 블록이 아핀 모드에 의해 예측될 때 항상 호출된다. 하지만, 방정식 (6) 및 (7)에서와 같이, 하나의 아핀 블록의 서브블록 MV들은 제어 포인트 MV들로부터 유도된다. 따라서, 제어 포인트 MV들 간의 차이가 상대적으로 작은 경우, 각 샘플 위치에서의 MV들은 일관되어야 한다(consistent). 이러한 경우, PROF를 적용하는 장점이 매우 제한적일 수 있다. 따라서, PROF의 평균적인 계산 복잡도를 더욱 감소시키기 위하여, 하나의 4x4 서브블록 내의 샘플별 MV와 서브블록별 MV 간의 최대 MV 차이에 기초하여 PROF 기반 샘플 미세조정을 적응적으로 건너뛰는 것이 제안된다. 하나의 4x4 서브블록 내의 샘플들의 PROF MV 차이값들은 서브블록 중심을 기준으로 대칭이기 때문에, 최대 수평 및 수직 PROF MV 차이값은 방정식 (10)에 기초하여 다음과 같이 계산될 수 있다:
Figure pat00062
(19)
본 발명에 따르면, PROF 프로세스를 건너뛸 만큼 MV 차이값이 충분히 작은지를 결정하는데 상이한 메트릭들이 사용될 수 있다.
일례에서, 방정식 (19)에 기초하여, 절대 최대 수평 MV 차이값 및 절대 최대 수직 MV 차이값의 합계가 미리정의된 임계값 보다 작은 경우, PROF 프로세스가 생략될 수 있다.
Figure pat00063
(20)
다른 일 예에서, ｜△vxmax｜및｜△vymax｜의 최대값이 임계값보다 작거나 같다면, PROF 프로세스가 생략될 수 있다.
Figure pat00064
(21)
여기서, MAX(a,b)는 입력값들 a 와 b 중에서 더 큰 값을 반환하는 함수이다.
위의 2개의 일례 이외에도, PROF 프로세스를 건너뛸 만큼 MV 차이값이 충분히 작은지를 결정하는데 다른 메트릭들이 사용되는 경우에도, 본 발명의 사상이 적용될 수 있다. 위의 방법에서는, MV 차이값의 크기에 따라 PROF 프로세스가 생략된다. 다른 한편으로, MV 차이값 외에, 하나의 모션 보상된 블록 내의 각 샘플 위치의 로컬 그래디언트 정보에 기초하여 PROF 샘플 미세조정이 또한 계산된다. 더 적은 고주파수 디테일(예컨대, 평평한 영역)을 포함하는 예측 블록의 경우, 그래디언트 값들은 작은 경향이 있으므로, 도출된 샘플 미세조정도 작아야 한다. 이러한 점을 고려하여, 다른 실시예에 따르면, 충분한 고주파수 정보를 포함하는 블록들의 예측 샘플에만 PROF를 적용하는 것이 제안된다.
블록이 충분한 고주파수 정보를 포함하고 있으므로 그 블록에 대해 PROF 프로세스를 호출할 가치가 있는지를 결정하기 위해, 상이한 메트릭들이 이용될 수 있다. 일 실시예에서, 예측 블록 내의 샘플들의 그래디언트들의 평균 크기(즉, 절대값)에 기초하여 결정이 이루어진다. 평균 크기가 임계값보다 작은 경우, 예측 블록은 평평한 영역으로 분류되며, 따라서 PROF가 적용되지 않아야 한다. 그렇지 않으면, 예측 블록은 PROF가 여전히 적용될 수 있는 충분한 고주파수 디테일들을 포함하는 것으로 간주된다. 다른 예에서, 예측 블록 내 샘플들의 그래디언트들의 최대 크기가 사용될 수도 있다. 최대 크기가 임계값보다 작으면, 블록에 대해 PROF를 생략한다. 또 다른 예에서는, 블록에 대해 PROF를 적용할지를 결정하기 위해, 예측 블록의 최대 샘플값과 최소 샘플값 사이의 차이값(즉, Imax - Imin)이 사용될 수 있다. 이러한 차이값이 임계값보다 작으면, 해당 블록에 대해 PROF를 생략한다. 다음을 유의해야 하는바, 본 발명의 사상은, 소정 블록이 충분한 고주파수 정보를 포함하고 있는지의 여부를 결정하는데 일부 다른 메트릭이 사용되는 경우에도 적용될 수 있다.
아핀 모드에 대한 PROF 와 LIC 사이의 상호작용을 핸들링
선형 모델 파라미터를 유도하기 위해 현재 블록의 인접한 재구성된 샘플들(즉, 템플릿)이 LIC에 의해 사용되기 때문에, 하나의 LIC 코딩 블록의 디코딩은 이웃하는 샘플들의 전체 재구성에 의존한다. 이러한 상호의존성으로 인해, 실제 하드웨어 구현의 경우, 인접한 재구성된 샘플들이 LIC 파라미터 유도를 위해 이용가능해지는 재구성 스테이지에서 LIC가 수행될 필요가 있다. 블록 재구성은 반드시 순차적으로(즉, 하나씩) 수행되어야 하기 때문에, 처리량(throughput)(즉, 단위 시간당 병렬로 수행될 수 있는 작업량)은 LIC 코딩 블록에 다른 코딩 방법을 공동으로 적용할 때 고려해야 할 중요한 문제 중 하나이다. 본 섹션에서는, PROF와 LIC 모두가 아핀 모드에 대해 활성화된 경우, 상호작용을 핸들링하기 위한 2개의 방법을 제안한다.
본 발명의 제 1 실시예에서, 하나의 아핀 코딩 블록에 대해 PROF 모드와 LIC 모드를 독점적으로(exclusively) 적용하는 것이 제안된다. 앞서 논의된 바와 같이, 기존 설계에서, PROF는 시그널링 없이 모든 아핀 블록에 대해 묵시적으로 적용되는 반면에, 하나의 LIC 플래그는 LIC 모드가 하나의 아핀 블록에 적용되는지 여부를 나타내기 위해 코딩 블록 레벨에서 시그널링되거나 상속된다(inherited). 본 개시의 방법에 따르면, 하나의 아핀 블록의 LIC 플래그 값에 기초하여 PROF를 조건부로 적용하는 것을 제안한다. 플래그가 1인 경우, LIC 가중치 및 오프셋에 기초하여 전체 코딩 블록의 예측 샘플들을 조정함으로써 오직 LIC 만이 적용된다. 그렇지 않은 경우(즉, LIC 플래그가 0임), PROF가 아핀 코딩 블록에 적용되어, 광학 흐름 모델에 기반하여 각 서브블록의 예측 샘플들을 미세조정한다.
도 17a는 PROF 및 LIC가 동시에 적용되는 것을 허용하지 않는 제안된 방법에 기초한 디코딩 프로세스의 예시적인 흐름도를 도시한다.
도 17a는 본 개시에 따라, PROF 및 LIC가 허용되지 않는 제안된 방법에 기초한 디코딩 프로세스의 일 예를 도시한다. 디코딩 프로세스(1720)는 "LIC 플래그가 온입니까?"(1722), LIC(1724) 및 PROF(1726)를 포함한다. "LIC 플래그가 온입니까?"(1722)는 LIC 플래그가 설정되어 있는지 여부를 판단하는 단계로서, 해당 판단에 따라 다음 단계로 진행된다. LIC(1724)는 LIC 플래그가 설정된 경우 LIC를 적용하는 것이다. PROF(1726)은 LIC 플래그가 설정되지 않은 경우 PROF를 적용하는 것이다.
본 발명의 제 2 실시예에서, 하나의 아핀 블록의 예측 샘플들을 생성하기 위해 PROF 이후에 LIC를 적용하는 것이 제안된다. 특히, 서브블록 기반의 아핀 모션 보상이 수행된 이후, PROF 샘플 미세조정에 기초하여 예측 샘플들이 정제된다. 다음으로, 가중치 및 오프셋(템플릿 및 해당 참조 샘플로부터 도출된) 쌍을 PROF-조정된 예측 샘플들에 적용함으로써 LIC가 수행되어, 블록의 최종 예측 샘플들이 다음과 같이 획득된다:
P[x] = α*(Pr[x + v] + ΔI[x]) + β (22)
여기서, Pr[x + v]는 모션 멕터 v가 나타내는 현재 블록의 참조 블록이다. α 및 β 는 LIC 가중치 및 오프셋이다. P[x]는 최종 예측 블록이다. ΔI[x]는 방정식 (15)에서 도출된 PROF 미세조정이다.
도 17b는 본 개시에 따른, PROF 및 LIC가 적용되는 디코딩 프로세스의 일 예를 도시한다. 디코딩 프로세스(1760)는 아핀 모션 보상(1762), LIC 파라미터 유도(1764), PROF(1766), 및 LIC 샘플 조정(1768)을 포함한다. 아핀 모션 보상(1762)은 아핀 모션을 적용하는 것이고, 이는 LIC 파라미터 유도(1764) 및 PROF(17646)에 대한 입력이다. LIC 파라미터 유도(1764)는 LIC 파라미터를 유도하기 위해 적용된다. PROF(1766)은 PROF를 적용하는 것이다. LIC 샘플 조정(1768)은 PROF와 결합되는 LIC 가중치 및 오프셋 파라미터이다.
도 17b는 제 2 방법이 적용된 경우의 예시적인 디코딩 워크플로우를 예시한다. 도 17b에 도시된 바와 같이, LIC는 템플릿(즉, 인접한 재구성된 샘플들)을 사용하여 LIC 선형 모델을 계산하기 때문에, 인접한 재구성된 샘플들을 사용할 수 있게 되는 즉시 LIC 파라미터를 도출할 수 있다. 이는 PROF 미세조정과 LIC 파라미터 도출이 동시에 수행될 수 있음을 의미한다.
LIC 가중치 및 오프셋(즉, α 및 β)과 PROF 미세조정(즉, ΔI[x])는 일반적인으로 부동소수점 숫자이다(floating numbers). 친숙한 하드웨어 구현의 경우, 이러한 부동소수점 연산은 일반적으로 하나의 정수 값을 곱한 다음 다수의 비트 수만큼 오른쪽 시프트 연산을 수행하여 구현된다. 기존의 LIC 및 PROF 설계에서는, 2개의 툴들이 별도로 설계되었기 때문에, 각각 NLIC 비트와 NPROF 비트 만큼의 2개의 서로 다른 오른쪽 시프트들이 2개의 스테이지들에 적용된다.
제 3 실시예에 따르면, PROF와 LIC가 아핀 코딩 블록에 공동으로 적용되는 경우에 코딩 이득을 개선하기 위하여, 높은 정밀도로 LIC-기반 및 PROF-기반 샘플 조정을 적용하는 것이 제안된다. 이것은 현재 블록의 최종 예측 샘플((12) 참조)을 도출하도록 2개의 오른쪽 시프트 연산들을 하나로 결합하고 마지막에 적용함으로써 수행된다.
가중화된 예측을 이용한 PROF와 CU-레벨 가중치를 이용한 양방향 예측(BCW)을 결합할 경우 곱셈 오버플로우 문제의 해결(Addressing the multiplication overflow problem when combing the PROF with the weighted prediction and bi-prediction with CU-level weight (BCW))
VVC 작업 초안의 현재 PROF 설계에 따르면, PROF는 가중화된 예측(weighted prediction: WP)과 함께 공동으로 적용될 수 있다. 특히, 이들이 결합되는 경우, 하나의 아핀 CU의 예측 신호는 다음의 절차에 의해 생성될 것이다:
첫번째로, 위치(x,y)에 있는 각각의 샘플에 대하여, PROF에 기초하여 L0 예측 미세조정 △I0(x,y)을 계산하고 그리고 오리지널 L0 예측 샘플 I0(x,y)에 미세조정을 합산한다. 즉,
Figure pat00065
Figure pat00066
(23)
여기서, I'0(x,y)는 미세조정된 샘플이고, gh0(x,y) , gv0(x,y) , △vx0(x,y) , △vy0(x,y)는 위치 (x,y)에서의 L0 수평/수직 그래디언트들 및 L0 수평/수직 모션 미세조정들이다.
두번째로, 위치(x,y)에 있는 각각의 샘플에 대하여, PROF에 기초하여 L1 예측 미세조정 △I1(x,y)을 계산하고 그리고 오리지널 L1 예측 샘플 I1(x,y)에 미세조정을 합산한다. 즉,
Figure pat00067
Figure pat00068
(24)
여기서, I'1(x,y)는 미세조정된 샘플이고, gh1(x,y) , gv1(x,y) , △vx1(x,y) , △vy1(x,y)는 위치 (x,y)에서의 L1 수평/수직 그래디언트들 및 L1 수평/수직 모션 미세조정들이다.
세번째로, 미세조정된 L0 및 L1 예측 샘플들을 결합한다. 즉,
Figure pat00069
(25)
여기서, W0 및 W1 은 WP 및 BCW 가중치이고, shift 와 Offset 은 양방향 예측을 위한 WP 및 BCW에 대해 L0 및 L1 예측 신호들의 가중 평균에 적용되는 오프셋 및 오른쪽 시프트이다. 여기서, WP에 대한 파라미터들은 W0 및 W1 및 Offset 을 포함하고, BCW에 대한 파라미터들은 W0 및 W1 및 shift 를 포함한다.
위의 방정식들로부터 알 수 있는 바와 같이, 샘플별 미세조정(즉, △I0(x,y) 및 △I1(x,y))으로 인하여, PROF 이후의 예측 샘플들(즉, △I'0(x,y) 및 △I'1(x,y))은 오리지널 예측 샘플들(즉, △I0(x,y) 및 △I1(x,y))에 비하여 증가된 동적 범위를 갖게될 것이다. 미세조정된 예측 샘플들이 WP 및 BCW 가중 인자들로 곱해진다면, 이것은 요구되는 멀티플라이어(multiplier)의 길이를 증가시킬 것이다. 예를 들어, 현재의 설계에 기초하여, 내부 코딩 비트-깊이가 8 내지 12 비트의 범위를 갖는 경우, 예측 신호 I0(x,y) 및 I1(x,y)의 동적 범위는 16 비트이다. 하지만, PROF 이후에 예측 신호 I'0(x,y) 및 I'1(x,y)의 동적 범위는 17 비트이다. 따라서, PROF가 적용되면, 이것은 잠재적으로 16비트 곱셈 오버플로우 문제를 야기할 수 있다. 이러한 오버플로우 문제를 해결하기 위해 다음과 같은 여러 가지 방법들이 제안된다.
첫번째로, 제 1 방법에서, PROF가 하나의 아핀 CU에 적용되는 경우, WP와 BCW를 비활성화시키는 것이 제안된다.
두번째로, 제 2 방법에서는, 오리지널 예측 샘플들에 합산하기 전에, 하나의 클리핑 동작을 도출된 샘플 미세조정에 적용하는 것이 제안된다. 따라서, 미세조정된 예측 샘플들 I'0(x,y) 및 I'1(x,y)의 동적 범위는 오리저널 예측 샘플들 I0(x,y) 및 I1(x,y)의 동적 범위와 동일한 동적 비트 깊이를 가질 것이다. 구체적으로, 본 방법에 의하면, 식 (23) 및 (24)에서의 샘플 미세조정 △I0(x,y) 및 △I1(x,y)는 하나의 클리핑 동작을 도입함에 의해서 다음과 같이 수정된다:
Figure pat00070
Figure pat00071
여기서, dI = dIbase + max(0, BD - 12)이고, BD는 내부 코딩 비트 깊이이며. dIbase 는 베이스 비트 깊이 값이다. 하나 이상의 실시예에서, dIbase 의 값을 14로 설정하는 것이 제안된다. 다른 실시예에서, 상기 값을 13으로 설정하는 것이 제안된다. 하나 이상의 실시예에서, 고정되도록 dI 값을 직접 설정하는 것이 제안된다. 일 예에서, dI 값을 13으로 설정하는 것이 제안되는바 즉, 샘플 미세조정은 [-4096, 4095] 범위로 클리핑될 것이다. 다른 일례에서, dI 값을 14로 설정하는 것이 제안되는바 즉, 샘플 미세조정은 [-8192, 8191] 범위로 클리핑될 것이다.
도 10은 PROF의 방법을 나타낸다. 상기 방법은 예를 들어, 디코더에 적용될 수 있다.
단계 1010에서, 디코더는 비디오 신호 내에서 아핀 모드로 코딩된 비디오 블록과 연관된 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 를 획득할 수 있다.
단계 1012에서, 디코더는 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 와 관련된 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 제 1 및 제 2 수평 및 수직 그래디언트 값들을 획득할 수 있다.
단계 1014에서, 디코더는 제 1 참조 픽처 I(0) 및 제 2 참조 픽처 I(1) 와 관련된 CPMVs 에 기초하여 제 1 및 제 2 수평 및 수직 모션 미세조정들(refinements)을 획득할 수 있다.
단계 1016에서, 디코더는 제 1 및 제 2 수평 및 수직 그래디언트 값들 및 제 1 및 제 2 수평 및 수직 모션 미세조정들에 기초하여 제 1 예측 미세조정 △I(0)(i,j) 및 제 2 예측 미세조정 △I(1)(i,j)를 획득할 수 있다.
단계 1018에서, 디코더는 제 1 예측 샘플들 I(0)(i,j), 제 2 예측 샘플들 I(1)(i,j), 제 1 예측 미세조정 △I(0)(i,j), 제 2 예측 미세조정 △I(1)(i,j), 및 예측 파라미터들에 기초하여 비디오 블록의 최종 예측 샘플들을 획득할 수 있다. 예측 파라미터들은 WP 및 BCW에 대한 가중치 및 오프셋 파라미터를 포함할 수 있다.
먼저, 제 3 방법에서, 미세조정된 샘플들이 오리지널 예측 샘플의 그것과 동일한 동적 범위를 갖도록, 샘플 미세조정들을 클리핑하는 대신에, 미세조정된 예측 샘플들을 직접 클리핑하는 것이 제안된다. 구체적으로, 제 3 방법에 의하면, 미세조정된 L0 및 L1 샘플들은 다음과 같을 것이다:
Figure pat00072
Figure pat00073
여기서, dR = 16 + max(0, BD-12)(또는 동등하게는 max(16, BD+4))이고, BD는 내부 코딩 비트 깊이이다. 하나 이상의 실시예에서, 미세조정된 PROF 예측 샘플들을 16비트로 하드 클리핑하는 것, 즉 dR의 값을 15로 설정하는 것이 제안된다. 다른 실시예에서, PROF 이전의 초기 예측 샘플들 I0 및 I1의 동일한 동적 범위 [na, nb]로 PROF 미세조정된 샘플 값들을 클리핑하는 것이 제안된다. 여기서, na 및 nb는 초기 예측 샘플이 도달할 수 있는 최소 및 최대 극단 값들이다.
두번째로, 제 4 방법에서는, WP와 BCW 이전에, 미세조정된 L0과 L1 예측 샘플들에 소정의 오른쪽 시프트를 적용하는 것이 제안된다; 그런 다음 최종 예측 샘플은 추가 왼쪽 시프트에 의해 원래 정밀도로 조정된다. 구체적으로, 최종 예측 샘플은 다음과 같이 유도된다:
Figure pat00074
여기서, nb는 적용되는 추가 비트 시프트의 수이며, 이는 PROF 샘플 미세조정의 해당 동적 범위에 따라 결정될 수 있다.
세번째로, 제 5 방법에서, 식 (25)의 대응하는 WP/BCW 가중치와 L0/L1 예측 샘플의 각각의 곱셈을 2개의 곱셈들로 분할하는 것이 제안되며, 이러한 2개의 곱셈들 모두는 아래에 서술된 바와 같이, 16-비트를 넘지 않는다:
Figure pat00075
전술한 방법들은 하나 이상의 회로들을 포함하는 장치를 이용하여 구현될 수 있으며, 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 프로세싱 디바이스(DSPD), 프로그래밍가능 논리 디바이스(PLDs), FPGA(Field Programmable Gate Array), 컨트롤러, 마이크로-컨트롤러, 마이크로프로세서 또는 기타 전자 부품을 포함하는 하나 이상의 회로를 포함하는 장치를 사용하여 구현될 수 있다. 장치는 전술한 방법을 수행하기 위해 다른 하드웨어 또는 소프트웨어 컴포넌트와 조합하여 회로들을 사용할 수 있다. 위에 개시된 각 모듈, 서브-모듈, 유닛 또는 서브-유닛은 하나 이상의 회로를 사용하여 적어도 부분적으로 구현될 수 있다.
도 19는 사용자 인터페이스(1960)와 결합된 컴퓨팅 환경(1910)을 도시한다. 컴퓨팅 환경(1910)은 데이터 프로세싱 서버의 일부일 수 있다. 컴퓨팅 환경(1910)은 프로세서(1920), 메모리(1940), 및 I/O 인터페이스(1950)를 포함한다.
프로세서(1920)는 전형적으로 디스플레이, 데이터 수집, 데이터 통신, 이미지 프로세싱과 연관된 동작들과 같은 컴퓨팅 환경(1910)의 전반적인 동작을 제어한다. 프로세서(1920)는 전술한 방법의 단계들의 전부 또는 일부를 수행하기 위한 명령을 실행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 또한, 프로세서(1920)는 프로세서(1920)와 다른 구성요소 사이의 상호작용을 용이하게 하는 하나 이상의 모듈을 포함할 수 있다. 프로세서는 중앙 처리 유닛(CPU: Central Processing Unit), 마이크로프로세서, 단일 칩 머신, GPU 등일 수 있다.
메모리(1940)는 컴퓨팅 환경(1910)의 동작을 지원하는 다양한 유형의 데이터를 저장하도록 구성될 수 있다. 메모리(1940)는 소정의 소프트웨어(1942)를 포함할 수 있다. 이러한 데이터의 일례들은, 컴퓨팅 환경(1910)에서 동작되는 임의의 어플리케이션 또는 방법을 위한 명령들, 비디오 데이터세트, 이미지 데이터 등을 포함한다. 메모리(1940)는 정적 랜덤 액세스 메모리(SRAM), 전기적으로 소거가능한 프로그래밍가능한 판독-전용 메모리(EEPROM), 소거가능한 프로그래밍가능한 판독-전용 메모리(EPROM), 프로그램가능한 판독-전용 메모리(PROM), 판독-전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 또는 광 디스크 등과 같은, .임의 유형의 휘발성 또는 비휘발성 메모리 디바이스들, 또는 이들의 조합을 사용하여 구현될 수 있다.
I/O 인터페이스(1950)는 프로세서(1920)와 키보드, 클릭 휠, 버튼 등과 같은 주변 인터페이스 모듈 간의 인터페이스를 제공한다. 버튼은 홈 버튼, 스캔 시작 버튼 및 스캔 중지 버튼을 포함할 수 있지만 이에 국한되지 않는다. I/O 인터페이스(1950)는 인코더 및 디코더와 결합될 수 있다.
또한, 일부 실시예에서, 전술한 방법들을 수행하기 위한, 메모리(1940)에 포함된 프로그램, 컴퓨팅 환경(1910)의 프로세서(1920)에 의해 실행가능한 프로그램 등과 같은, 복수의 프로그램들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체가 제공된다. 예를 들어, 비일시적 컴퓨터 판독가능 저장 매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 디바이스 등을 포함할 수 있다.
비일시적 컴퓨터 판독가능 저장 매체는 하나 이상의 프로세서를 갖는 컴퓨팅 디바이스에 의해 실행하기 위한 복수의 프로그램을 저장할 수 있으며, 여기서 복수의 프로그램은 하나 이상의 프로세서에 의해 실행될 때 컴퓨팅 디바이스로 하여금 모션 예측을 위한 전술한 방법들을 수행하게 한다.
일부 실시예에서, 컴퓨팅 환경(1910)은 전술한 방법들을 수행하기 위해 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA), 그래픽 프로세싱 유닛(GPU), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자 부품 중 하나 이상으로 구현될 수 있다.
본 발명에 대한 설명이 예시를 목적으로 제공되었으며, 이러한 설명은 본 개시내용을 속속들이 규명하도록 의도되는 것이 아니며 본 발명을 제한하도록 의도되는 것도 아니다. 전술한 상세한 설명 및 관련 도면들에 제공된 가르침의 장점을 획득한 당업자에게는 많은 수정들, 변형들 및 대안적인 구현들이 명백할 것이다.
실시예들은 본 발명의 원리들, 실제 적용을 가장 잘 설명하고, 당업자가 다양한 구현예들을 위해 본 발명을 이해할 수 있게하고 그리고 고려되는 특정 용도에 적합한 다양한 수정들과 함께 본 발명의 기본 원리들 및 다양한 구현예들을 가장 잘 활용할 수 있도록 선택 및 설명되었다. 따라서, 청구항들의 범위는 개시된 구현예들의 특정 일례에 제한되지 않으며, 수정들 및 다른 구현예들이 첨부된 청구항의 범위 내에 포함되도록 의도된다는 것을 이해해야 한다.

Claims (10)

  1. 인코더에서 구현되는, 양방향 광학 흐름(BDOF: bi-directional optical flow) 및 광학 흐름을 이용한 예측 미세조정(PROF)의 방법으로서,
    2개의 일반 제한 정보(GCI) 레벨 제어 플래그들을 시그널링하는 단계, 상기 2개의 GCI 레벨 제어 플래그들은 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함하며, 상기 제 1 GCI 레벨 제어 플래그는 BDOF가 현재 비디오 시퀀스에 대하여 활성화되는지의 여부를 표시하고, 제 2 GCI 레벨 제어 플래그는 PROF가 현재 비디오 시퀀스에 대하여 활성화되는지의 여부를 표시하며; 및
    2개의 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그들을 시그널링하는 단계를 포함하고,
    상기 2개의 SPS 레벨 제어 플래그들은 제 1 SPS 레벨 제어 플래그 및 제 2 SPS 레벨 제어 플래그를 포함하며, 상기 제 1 SPS 레벨 제어 플래그는 BDOF가 현재 비디오 블록에 대해 활성화되는지의 여부를 시그널링하고, 상기 제 2 SPS 레벨 제어 플래그는 PROF가 현재 비디오 블록에 대해 활성화되는지의 여부를 시그널링하며,
    상기 제 1 SPS 레벨 제어 플래그는 아핀 모드로 인코딩되지 않은 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 BDOF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 BDOF가 활성화됨을 시그널링하고,
    상기 제 2 SPS 레벨 제어 플래그는 아핀 모드로 인코딩된 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 PROF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 PROF가 활성화됨을 시그널링하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    비트스트림에서, 제 1 GCI 레벨 제어 플래그가 BDOF를 비활성화할 때, 제 1 SPS 레벨 제어 플래그가 0이 되도록 요구하는 제 1 적합성(conformance) 제한을 적용하는 단계; 및
    상기 비트스트림에서, 제 2 GCI 레벨 제어 플래그가 PROF를 비활성화할 때, 제 2 SPS 레벨 제어 플래그가 0이 되도록 요구하는 제 2 적합성 제한을 적용하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    제 1 SPS 레벨 제어 플래그가 활성화될 때, 슬라이스 헤더의 제 1 제어 플래그를 시그널링하는 단계, 상기 제 1 제어 플래그는 슬라이스 헤더의 비디오 블록들에 대해 BDOF가 비활성화되는지 여부를 시그널링하며; 그리고
    제 2 SPS 레벨 제어 플래그가 활성화될 때, 슬라이스 헤더의 제 2 제어 플래그를 시그널링하는 단계를 더 포함하며,
    상기 제 2 제어 플래그는 슬라이스 헤더의 비디오 블록들에 대해 PROF가 활성화되는지 여부를 시그널링하는 것을 특징으로 하는 방법.
  4. 컴퓨팅 디바이스로서,
    하나 이상의 프로세서들;
    상기 하나 이상의 프로세서들에 연결된 메모리; 및
    상기 메모리에 저장된 복수의 프로그램들을 포함하고,
    상기 복수의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금:
    2개의 일반 제한 정보(GCI) 레벨 제어 플래그들을 시그널링하는 동작, 상기 2개의 GCI 레벨 제어 플래그들은 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함하며, 상기 제 1 GCI 레벨 제어 플래그는 BDOF가 현재 비디오 시퀀스에 대하여 활성화되는지의 여부를 표시하고, 제 2 GCI 레벨 제어 플래그는 PROF가 현재 비디오 시퀀스에 대하여 활성화되는지의 여부를 표시하며; 및
    2개의 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그들을 시그널링하는 동작을 포함하는 동작들을 수행하게 하며,
    상기 2개의 SPS 레벨 제어 플래그들은 제 1 SPS 레벨 제어 플래그 및 제 2 SPS 레벨 제어 플래그를 포함하며, 상기 제 1 SPS 레벨 제어 플래그는 BDOF가 현재 비디오 블록에 대해 활성화되는지의 여부를 시그널링하고, 상기 제 2 SPS 레벨 제어 플래그는 PROF가 현재 비디오 블록에 대해 활성화되는지의 여부를 시그널링하며,
    상기 제 1 SPS 레벨 제어 플래그는 아핀 모드로 인코딩되지 않은 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 BDOF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 BDOF가 활성화됨을 시그널링하고,
    상기 제 2 SPS 레벨 제어 플래그는 아핀 모드로 인코딩된 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 PROF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 PROF가 활성화됨을 시그널링하는 것을 특징으로 하는 컴퓨팅 디바이스.
  5. 제4항에 있어서,
    상기 하나 이상의 프로세서들은 또한 상기 컴퓨팅 디바이스로 하여금:
    비트스트림에서, 제 1 GCI 레벨 제어 플래그가 BDOF를 비활성화할 때, 제 1 SPS 레벨 제어 플래그가 0이 되도록 요구하는 제 1 비트스트림 적합성(conformance) 제한을 적용하는 동작; 및
    상기 비트스트림에서, 제 2 GCI 레벨 제어 플래그가 PROF를 비활성화할 때, 제 2 SPS 레벨 제어 플래그가 0이 되도록 요구하는 제 2 비트스트림 적합성 제한을 적용하는 동작
    을 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 컴퓨팅 디바이스.
  6. 제4항에 있어서,
    상기 하나 이상의 프로세서들은 또한 상기 컴퓨팅 디바이스로 하여금:
    제 1 SPS 레벨 제어 플래그가 활성화될 때, 슬라이스 헤더의 제 1 제어 플래그를 시그널링하는 동작, 상기 제 1 제어 플래그는 슬라이스 헤더의 비디오 블록들에 대해 BDOF가 비활성화되는지 여부를 시그널링하며; 그리고
    제 2 SPS 레벨 제어 플래그가 활성화될 때, 슬라이스 헤더의 제 2 제어 플래그를 시그널링하는 동작을 포함하는 동작들을 수행하게 하며,
    상기 제 2 제어 플래그는 슬라이스 헤더의 비디오 블록들에 대해 PROF가 활성화되는지 여부를 시그널링하는 것을 특징으로 하는 컴퓨팅 디바이스.
  7. 비디오 데이터를 포함하는 비트스트림을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 인코딩 장치로 하여금 동작들을 수행하게 하며, 상기 동작들은,
    2개의 일반 제한 정보(GCI) 레벨 제어 플래그들을 시그널링하는 동작, 상기 2개의 GCI 레벨 제어 플래그들은 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함하며, 상기 제 1 GCI 레벨 제어 플래그는 BDOF가 현재 비디오 시퀀스에 대하여 활성화되는지의 여부를 표시하고, 제 2 GCI 레벨 제어 플래그는 PROF가 현재 비디오 시퀀스에 대하여 활성화되는지의 여부를 표시하며; 및
    2개의 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그들을 시그널링하는 동작을 포함하며,
    상기 2개의 SPS 레벨 제어 플래그들은 제 1 SPS 레벨 제어 플래그 및 제 2 SPS 레벨 제어 플래그를 포함하며, 상기 제 1 SPS 레벨 제어 플래그는 BDOF가 현재 비디오 블록에 대해 활성화되는지의 여부를 시그널링하고, 상기 제 2 SPS 레벨 제어 플래그는 PROF가 현재 비디오 블록에 대해 활성화되는지의 여부를 시그널링하며,
    상기 제 1 SPS 레벨 제어 플래그는 아핀 모드로 인코딩되지 않은 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 BDOF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 BDOF가 활성화됨을 시그널링하고,
    상기 제 2 SPS 레벨 제어 플래그는 아핀 모드로 인코딩된 현재 비디오 블록에 대한 제 1 예측 샘플들 I(0)(i,j) 및 제 2 예측 샘플들 I(1)(i,j)에 기초하여 비디오 블록의 모션 미세조정을 유도하도록 PROF가 적용된다고 결정함에 기반하여 현재 비디오 블록에 대하여 PROF가 활성화됨을 시그널링하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
  8. 제7항에 있어서,
    상기 비일시적 컴퓨터 판독가능 저장 매체는 또한 상기 인코딩 장치로 하여금:
    비트스트림에서, 제 1 GCI 레벨 제어 플래그가 BDOF를 비활성화할 때, 제 1 SPS 레벨 제어 플래그가 0이 되도록 요구하는 제 1 비트스트림 적합성(conformance) 제한을 적용하는 동작; 및
    상기 비트스트림에서, 제 2 GCI 레벨 제어 플래그가 PROF를 비활성화할 때, 제 2 SPS 레벨 제어 플래그가 0이 되도록 요구하는 제 2 비트스트림 적합성 제한을 적용하는 동작
    을 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
  9. 제7항에 있어서,
    상기 비일시적 컴퓨터 판독가능 저장 매체는 또한 상기 인코딩 장치로 하여금:
    제 1 SPS 레벨 제어 플래그가 활성화될 때, 슬라이스 헤더의 제 1 제어 플래그를 시그널링하는 동작, 상기 제 1 제어 플래그는 슬라이스 헤더의 비디오 블록들에 대해 BDOF가 비활성화되는지 여부를 시그널링하며; 그리고
    제 2 SPS 레벨 제어 플래그가 활성화될 때, 슬라이스 헤더의 제 2 제어 플래그를 시그널링하는 동작을 포함하는 동작들을 수행하게 하며,
    상기 제 2 제어 플래그는 슬라이스 헤더의 비디오 블록들에 대해 PROF가 활성화되는지 여부를 시그널링하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
  10. 매체 상에 저장된 컴퓨터 판독가능한 프로그램으로서, 상기 컴퓨터 판독가능한 프로그램은 하나 이상의 프로세서들을 갖는 컴퓨터 디바이스에 의해 실행가능한 하나 이상의 프로그램들을 포함하고, 상기 프로그램들이 상기 하나 이상의 프로서세들에 의해 실행될 때, 상기 프로그램들은 상기 컴퓨터 디바이스로 하여금 제1항 내지 제3항 중 어느 한 항의 방법을 수행하게 하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020237005607A 2019-09-17 2020-09-17 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치 KR20230026550A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962901774P 2019-09-17 2019-09-17
US62/901,774 2019-09-17
US201962904330P 2019-09-23 2019-09-23
US62/904,330 2019-09-23
PCT/US2020/051330 WO2021055643A1 (en) 2019-09-17 2020-09-17 Methods and apparatus for prediction refinement with optical flow
KR1020227011310A KR102502614B1 (ko) 2019-09-17 2020-09-17 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227011310A Division KR102502614B1 (ko) 2019-09-17 2020-09-17 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230026550A true KR20230026550A (ko) 2023-02-24

Family

ID=74883515

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237005607A KR20230026550A (ko) 2019-09-17 2020-09-17 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치
KR1020227011310A KR102502614B1 (ko) 2019-09-17 2020-09-17 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227011310A KR102502614B1 (ko) 2019-09-17 2020-09-17 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US20220210431A1 (ko)
EP (1) EP4032298A4 (ko)
JP (2) JP7305883B2 (ko)
KR (2) KR20230026550A (ko)
CN (2) CN114402619A (ko)
MX (1) MX2022003220A (ko)
WO (1) WO2021055643A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022547599A (ja) * 2019-09-12 2022-11-14 アリババ グループ ホウルディング リミテッド 映像符号化情報をシグナリングするための方法及び装置
US11641475B2 (en) * 2019-09-12 2023-05-02 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
WO2021060834A1 (ko) * 2019-09-24 2021-04-01 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11949863B2 (en) * 2021-08-02 2024-04-02 Tencent America LLC Geometric partition mode with intra block copy
US20230291908A1 (en) * 2022-02-04 2023-09-14 Tencent America LLC Affine estimation in pre-analysis of encoder

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9325992B2 (en) * 2013-01-07 2016-04-26 Qualcomm Incorporated Signaling of clock tick derivation information for video timing in video coding
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
EP4002848A4 (en) * 2019-07-19 2022-08-31 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND DEVICE
KR102679376B1 (ko) * 2019-08-22 2024-06-27 엘지전자 주식회사 가중 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11641475B2 (en) * 2019-09-12 2023-05-02 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video

Also Published As

Publication number Publication date
CN116233466A (zh) 2023-06-06
EP4032298A4 (en) 2023-08-16
JP7305883B2 (ja) 2023-07-10
US20220210431A1 (en) 2022-06-30
CN114402619A (zh) 2022-04-26
KR20220063199A (ko) 2022-05-17
JP2023118810A (ja) 2023-08-25
JP2022537604A (ja) 2022-08-26
WO2021055643A1 (en) 2021-03-25
KR102502614B1 (ko) 2023-02-23
MX2022003220A (es) 2022-04-25
EP4032298A1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
KR102486982B1 (ko) 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치
KR102502614B1 (ko) 광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치
KR102453806B1 (ko) 광 흐름을 이용한 예측 개선 방법 및 장치
JP7559136B2 (ja) オプティカルフローによる予測洗練化、双方向オプティカルフローおよびデコーダ側の動きベクトル洗練化のための方法および装置
EP3970374A1 (en) Methods and apparatus for prediction refinement with optical flow
WO2020220048A1 (en) Methods and apparatuses for prediction refinement with optical flow
EP3963887A1 (en) Methods and apparatus of prediction refinement with optical flow

Legal Events

Date Code Title Description
A107 Divisional application of patent