TWI822838B - 使用空間鄰居的重疊塊運動補償 - Google Patents

使用空間鄰居的重疊塊運動補償 Download PDF

Info

Publication number
TWI822838B
TWI822838B TW108130501A TW108130501A TWI822838B TW I822838 B TWI822838 B TW I822838B TW 108130501 A TW108130501 A TW 108130501A TW 108130501 A TW108130501 A TW 108130501A TW I822838 B TWI822838 B TW I822838B
Authority
TW
Taiwan
Prior art keywords
block
prediction
current
blocks
prediction sample
Prior art date
Application number
TW108130501A
Other languages
English (en)
Other versions
TW202110188A (zh
Inventor
劉鴻彬
張莉
張凱
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202110188A publication Critical patent/TW202110188A/zh
Application granted granted Critical
Publication of TWI822838B publication Critical patent/TWI822838B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用於數位影片編碼的設備、系統和方法，數位影片編碼包括基於空間相鄰塊的重疊塊運動補償（OBMC）處理。用於影片處理的示例方法包括：生成與當前影片塊相關聯的運動資訊；基於至少兩個臨時預測塊的加權和，生成當前影片塊的預測塊，至少兩個臨時預測塊中的第一個基於運動資訊，至少兩個臨時預測塊中的第二個基於相鄰塊的幀內預測模式；以及基於預測塊，執行當前影片塊與當前影片塊的位元流表示之間的轉換。

Description

使用空間鄰居的重疊塊運動補償
本申請文件涉及影片編碼和解碼技術、設備和系統。
[相關申請的交叉引用]
根據適用的《專利法》和/或《巴黎公約》的規定，本申請及時要求於2018年8月24日提交的國際專利申請號PCT/CN2018/102163的優先權和利益。根據美國法律，將國際專利申請號PCT/CN2018/102163的全部公開以引用方式並入本文，作為本申請公開的一部分。
儘管影片壓縮有所進步，數位影片在網際網路和其它數位通訊網路上使用的頻寬仍然最大。隨著能夠接收和顯示影片的連接用戶設備數量的增加，預計數位影片使用的頻寬需求將繼續增長。
描述了涉及數位影片編解碼、並且特別地涉及基於空間 相鄰塊的重疊塊運動補償(OBMC)處理的設備，系統和方法。所描述的方法可以應用於現有影片編解碼標準(例如，高效影片編解碼(HEVC))和未來影片編解碼標準或影片編解碼器。
在一個典型的方面，所公開的技術可用於提供用於影片處理的方法。該方法包括：生成與當前影片塊相關聯的運動資訊；基於至少兩個臨時預測塊的加權和，生成當前影片塊的預測塊，至少兩個臨時預測塊中的第一個基於運動資訊，並且至少兩個臨時預測塊中的第二個基於相鄰塊的幀內預測模式；以及基於預測塊，執行當前影片塊與當前影片塊的位元流表示之間的轉換。
在另一典型的方面，所公開的技術可用於提供用於影片處理的方法。該方法包括：基於至少兩個臨時預測塊的加權和，生成當前影片塊的預測塊，所述至少兩個臨時預測塊中的第一個基於當前影片塊的幀內預測模式，所述至少兩個臨時預測塊中的第二個基於與至少一個相鄰塊相關聯的運動資訊；以及基於預測塊，執行當前影片塊與當前影片塊的位元流表示之間的轉換。
在又一典型的方面，所公開的技術可用於提供用於影片處理的方法。該方法包括：基於第一預測樣本和第二預測樣本的加權和生成預測塊，第一預測樣本基於與當前影片塊相關聯的第一運動資訊，第二預測樣本基於與當前影片塊的至少一個相鄰塊相關聯的第二運動資訊，並且第二預測樣本的加權因子基於第一預測樣本和第二預測樣本之間的差；以及基於預測塊，執行當前影片塊與當前影片塊的位元流表示之間的轉換。
在一些實施例中，該方法優選地包括：包括當前影片塊的當前預測單元(PU)或編解碼單元(CU)用幀間預測模式編解碼，並且至少一個相鄰塊用幀內預測模式編解碼。
在一些實施例中，該方法優選地包括：包括當前影片塊的當前預測單元(PU)或編解碼單元(CU)用幀內預測模式編解碼，並且至少一個相鄰塊用幀間預測模式編解碼。
在一些實施例中，該方法優選地包括：包括當前影片塊的當前預測單元(PU)或編解碼單元(CU)用幀內預測模式編解碼，並且至少一個相鄰塊用另一個幀內預測模式編解碼。
在一些實施例中，該方法優選地包括：第一預測樣本的加權因子或第二預測樣本的加權因子是從預定義的加權因子集中選擇的。
在一些實施例中，該方法優選地包括：預定義的加權因子集為{1/32,1/16,1/8,1/4,1/2}。
在一些實施例中，該方法優選地包括：在確定第一預測樣本和第二預測樣本之間的差減小到零時將第二預測樣本的加權因子增加到1/2。
在一些實施例中，該方法優選地包括：將相同加權因子分配給當前影片塊中的像素組。
在一些實施例中，該方法優選地包括：像素組包括當前影片塊的一列或多列中的像素或當前影片塊的一行或多行中的像素。
在一些實施例中，該方法優選地包括：像素組是當前影片 塊的子塊，子塊的尺寸是M×N，並且M和N是正整數。
在一些實施例中，該方法優選地包括：像素組包括值在[Vmax，Vmin]範圍內的像素，並且其中Vmax和Vmin是正整數。
在一些實施例中，該方法優選地包括：像素組中的每一個與對應的第一預測樣本和對應的第二預測樣本相關聯，並且像素組包括對應的第一預測樣本與對應的第二預測樣本之間的差在[Vmax，Vmin]範圍內的像素，並且Vmax和Vmin是正整數。
在一些實施例中，該方法優選地包括：像素組中的每一個與對應的第一預測樣本和對應的第二預測樣本相關聯，相同的加權因子基於像素組中的所有像素的對應的第一預測樣本和對應的第二預測樣本之間的差的平均值。
在一些實施例中，該方法優選地包括：第一預測樣本和第二預測樣本之間的差的絕對值小於或等於大於零的閾值。
在一些實施例中，該方法優選地包括：第一預測樣本的加權因子或第二預測樣本的加權因子基於像素位置和第一預測樣本和第二預測樣本之間的差的值。
在一些實施例中，該方法優選地包括：第二預測樣本的加權因子還基於第一運動資訊和第二運動資訊之間的差。
在一些實施例中，該方法優選地包括：基於當前影片塊的編解碼模式、當前影片塊的尺寸或形狀、或當前影片塊的子塊的尺寸來執行轉換。
在一些實施例中，該方法優選地包括：當前影片塊的編解 碼模式包括禁用仿射模式的傳統平移運動。
在一些實施例中，該方法優選地包括：當前影片塊的高度和當前影片塊的寬度的乘積大於或等於閾值。
在一些實施例中，該方法優選地包括：當前影片塊的高度大於或等於第一閾值，並且當前影片塊的寬度大於或等於第二閾值。
在一些實施例中，該方法優選地包括：還基於包括當前影片塊的條帶的條帶類型、低延遲校驗標誌或時域層來執行轉換。
在一些實施例中，該方法優選地包括：執行轉換包括將運動補償處理應用於當前影片塊的亮度分量。
在一些實施例中，該方法優選地包括：執行轉換包括將運動補償處理應用於當前影片塊的多個彩度分量中的一個或多個。
在一些實施例中，該方法優選地包括：還基於序列參數集(SPS)中、圖片參數集(PPS)、影片參數集(VPS)、條帶標頭、編解碼樹單元(CTU)，編解碼單元(CU)、CTU組或CU組中的信令通知來執行轉換。
在一些實施例中，該方法優選地包括：至少一個相鄰塊包括四個相鄰塊。
在一些實施例中，該方法優選地包括：生成預測塊是重疊塊運動補償(OBMC)處理的一部分。
在一些實施例中，該方法優選地包括：執行轉換包括從當前影片塊生成位元流表示。
在一些實施例中，該方法優選地包括：執行轉換包括從位元流表示生成當前影片塊。
在又一典型的方面，上述方法以處理器可執行代碼的形式實施，並且儲存在電腦可讀的程式介質中。
在又一典型的方面，公開了一種設備，其被配置為或可操作以執行上述方法。該設備可以包括被編程以實現該方法的處理器。
在又一典型的方面，一種影片解碼器裝置，其可以實現如本文所述的方法。
在附圖、說明書和申請專利範圍中更詳細地描述了所公開技術的上述方面、以及其他方面和特徵。
1000、1700:當前CU
1001、1101、1102、1103、1104:子CU
1050:參考圖片
1051:對應塊
1100:CU
1111、1112、1113、1114、1300、1400、1500、1701、1702、1703、1704、1705:塊
2000、2030、2060:方法
2002~2006、2032~2034、2062~2064:步驟
2100:影片處理設備
2102:處理器
2104:記憶體
2106:影片處理電路
2200:系統
2202:輸入
2204:編解碼組件
2206、2208:組件
2210:顯示介面
710:原始列表
720:最終列表
A0、A1、B0、B1、B2、C0、C1、A、B、C、D、F、G:位置
tb、td:距離
Figure 108130501-A0305-02-0042-13
、
Figure 108130501-A0305-02-0042-14
、v0、v1、v2、v3、v4:運動向量
圖1示出了建構Merge候選列表的示例。
圖2示出了空間候選的位置的示例。
圖3示出了接受空間Merge候選的冗餘檢查的候選對的示例。
圖4A和圖4B示出了基於當前塊的尺寸和形狀的第二預測單元(PU)的位置示例。
圖5示出了時域Merge候選的運動向量縮放示例。
圖6示出了時域Merge候選的候選位置示例。
圖7示出了生成組合的雙向預測Merge候選的示例。
圖8示出了建構運動向量預測候選的示例。
圖9示出了空間運動向量候選的運動向量縮放示例。
圖10示出了使用編解碼單元(CU)的可選時域運動向量預測(ATMVP)算法的運動預測示例。
圖11示出了空時運動向量預測(STMVP)算法使用的帶有子塊和相鄰塊的編解碼單元(CU)的示例。
圖12A和12B示出了當使用重疊塊運動補償(OBMC)算法時子塊的示例快照。
圖13示出了簡化的仿射運動模型的示例。
圖14示出了每個子塊的仿射運動向量場(MVF)的示例。
圖15示出了AF_INTER仿射運動模式的運動向量預測(MVP)的示例。
圖16A和16B分別示出了4參數和6參數的仿射模型的示例。
圖17A和17B示出了AF_Merge仿射運動模式的示例候選。
圖18示出了當前塊的時域相鄰塊的示例。
圖19A和19B是來自用於預測單元(PU)或編解碼單元(CU)的OBMC的空間和時域相鄰塊的運動資訊的示例。
圖20A至圖20C示出了影片編碼的示例方法的流程圖。
圖21是用於實現本文所述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺的示例的方塊圖。
圖22是可以實現所公開的技術的示例影片處理系統的方塊 圖。
由於對更高解析度影片的需求的增加，影片編解碼方法和技術在現代技術中無處不在。影片編解碼器通常包括壓縮或解壓縮數位影片的電子電路或軟體，並且不斷被改進以提供更高的編解碼效率。影片編解碼器將未壓縮影片轉換為壓縮格式，反之亦然。影片質量、用於表示影片的數據量(由位元率確定)、編碼和解碼算法的複雜度、對數據丟失和錯誤的敏感性、編輯的簡易性、隨機存取、以及端到端延遲(時延)之間存在複雜的關係。壓縮格式通常符合標準影片壓縮規範，例如，高效影片編解碼(HEVC)標準(也稱為H.265或MPEG-H第2部分)、待定案的多功能影片編解碼標準、或其他當前和/或未來的影片編解碼標準。
所公開的技術的實施例可以應用於現有影片編解碼標準(例如，HEVC，H.265)和未來標準以提高壓縮性能。在本文中使用章節標題以提高描述的可讀性，並且不以任何方式將討論或實施例(和/或實現)僅限制於相應的章節。
1. HEVC/H.265中的幀間預測的示例
多年來，影片編解碼標準有了顯著的改進，並且現在在某種程度上提供了高編解碼效率和對更高解析度的支持。最新標準諸如HEVC和H.265等是基於混合影片編解碼結構，其中採用了時域預測加變換編解碼。
1.1 預測模式的示例
每個幀間預測的PU(預測單元)都有一個或兩個參考圖片列表的運動參數。在一些實施例中，運動參數包括運動向量和參考圖片索引。在其他實施例中，兩個參考圖片列表之一的使用也可以使用inter_pred_idc發信令。在又一實施例中，運動向量可顯式地編解碼為相對於預測器的增量。
當CU採用跳躍模式(skip mode)編解碼時，PU與CU相關聯，並且沒有顯著的殘差係數，沒有編解碼運動向量增量或參考圖片索引。指定了一種Merge模式，通過該模式，可以從相鄰的PU(包括空間和時域候選)中獲取當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸，其中每個參考圖片列表的運動向量、對應的參考圖片索引以及參考圖片列表的使用都會根據每個PU顯式地發信令。
當信令指示要使用兩個參考圖片列表中的一個時，從一個樣本塊中生成PU。這被稱為“單向預測”。單向預測對P條帶(slice)和B條帶都可用。
當信令指示要使用兩個參考圖片列表時，從兩個樣本塊中生成PU。這被稱為“雙向預測”。雙向預測僅對B條帶可用。
1.1.1 建構Merge模式的候選的實施例
當使用Merge模式預測PU時，從位元流中解析指向Merge候選列表中條目的索引，並且使用該索引檢索運動資訊。此 列表的建構可按以下步驟順序進行概括：
步驟1：初始候選推導
步驟1.1：空間候選推導
步驟1.2：空間候選冗餘檢查
步驟1.3：時域候選推導
步驟2：附加候選插入
步驟2.1：創建雙向預測候選
步驟2.2：插入零運動候選
圖1示出了基於上面概括的步驟序列建構Merge候選列表的示例。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時域Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量，因此當候選數未達到片標頭中發信令的最大Merge候選數(maxNumMergeCand)時，生成附加的候選。由於候選數是恆定的，所以最佳Merge候選的索引使用截斷的一元二值化(TU)進行編碼。如果CU的尺寸等於8，則當前CU的所有PU都共享一個Merge候選列表，這與2N×2N預測單元的Merge候選列表相同。
1.1.2 建構空間Merge候選
在空間Merge候選的推導中，在位於圖2所示位置的候選中最多選擇四個Merge候選。推導順序為A1，B1，B0，A0和B2。只有當位置A1，B1，B0，A0的任何PU不可用(例如，因為 它屬另一個條帶或片(tile))或是內部編解碼時，才考慮位置B2。在增加A1位置的候選後，對剩餘候選的增加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在列表之外，從而提高編解碼效率。
為了降低計算的複雜度，在所提到的冗餘檢查中並不考慮所有可能的候選對。相反，只有與圖3中的箭頭鏈接的對才會被考慮，並且只有當用於冗餘檢查的對應候選沒有相同的運動資訊時，才將候選添加到列表中。複製運動資訊的另一個來源是與2Nx2N不同的分區相關的“第二PU”。例如，圖4A和4B分別描述了N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時，對於列表建構不考慮A1位置的候選。在一些實施例中，添加此候選可能導致兩個具有相同運動資訊的預測單元，這對於在編解碼單元中僅具有一個PU是冗餘的。同樣地，當當前PU被劃分為2N×N時，不考慮位置B1。
1.1.3 建構時域Merge候選
在此步驟中，只有一個候選添加到列表中。特別地，在這個時域Merge候選的推導中，基於與給定參考圖片列表中當前圖片具有最小POC差異的共位PU導出了縮放運動向量。用於推導共位PU的參考圖片列表在條帶標頭中顯式地發信令。
圖5示出了時域Merge候選(如虛線所示)的縮放運動向量的推導示例，其使用POC距離tb和td從共位PU的運動向量進行縮放，其中tb定義為當前圖片的參考圖片和當前圖片之間 的POC差異，並且td定義為共位圖片的參考圖片與共位圖片之間的POC差異。時域Merge候選的參考圖片索引設置為零。對於B條帶，得到兩個運動向量(一個是對於參考圖片列表0，另一個是對於參考圖片列表1)並將其組合使其成為雙向預測Merge候選。
在屬於參考幀的共位PU(Y)中，在候選C0和C1之間選擇時域候選的位置，如圖6所示。如果位置C0處的PU不可用、內部編解碼或在當前CTU之外，則使用位置C1。否則，位置C0被用於時域Merge候選的推導。
1.1.4 建構附加類型的Merge候選
除了空時Merge候選，還有兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選生成的。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考圖片列表運動參數相結合，生成組合雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。
圖7示出了此過程的一個示例，其中原始列表(710，在左側)中具有MVL0和refIdxL0或MVL1和refIdxL1的兩個候選被用於創建添加到最終列表(720，在右側)中的組合雙向預測Merge候選。
插入零運動候選以填充Merge候選列表中的其餘條目，從而達到MaxNumMergeCand的容量。這些候選具有零空間位移 和從零開始並且每次將新的零運動候選添加到列表中時都會增加的參考圖片索引。這些候選使用的參考幀的數目對於單向預測和雙向預測分別是1幀和2幀。在一些實施例中，對這些候選不執行冗餘檢查。
1.1.5 並行處理的運動估計區域的示例
為了加快編碼處理，可以並行執行運動估計，從而同時推導給定區域內所有預測單元的運動向量。從空間鄰域推導Merge候選可能會幹擾並行處理，因為一個預測單元在完成相關運動估計之前無法從相鄰的PU推導運動參數。為了緩和編解碼效率和處理延遲之間的平衡，可以定義運動估計區域(MER)。可使用語法元素“log2_parallel_merge_level_minus2”在圖片參數集(PPS)中對MER的尺寸中發信令。當定義MER時，落入同一區域的Merge候選標記為不可用，並且因此在列表建構中不考慮。
1.2 高級運動向量預測(AMVP)的實施例
AMVP利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。首先通過檢查左上方的時域相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零向量以使候選列表長度恆定來建構運動向量候選列表。然後，編碼器可以從候選列表中選擇最佳的預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，最佳運動向量候選的索引使用截斷的一元進行編碼。在這種情況下要編碼的最大值是2(參見圖8)。在下面的章節中，將詳細介紹運動向量預測候選的推導過程。
1.2.1 建構運動向量預測候選的示例
圖8概括了運動向量預測候選的推導過程，並且以refidx為輸入對每個參考圖片列表進行實現。
在運動向量預測中，考慮了兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選的推導，基於位於如先前在圖2中所示的五個不同位置的每個PU的運動向量最終推推導兩個運動向量候選。
對於時域運動向量候選的推導，從兩個候選中選擇一個運動向量候選，這兩個候選是基於兩個不同的共位位置推推導的。在作出第一個空時候選列表後，移除列表中重複的運動向量候選。如果潛在候選的數量大於二，則從列表中移除相關聯的參考圖片列表中參考圖片索引大於1的運動向量候選。如果空時運動向量候選數小於二，則會在列表中添加附加的零運動向量候選。
1.2.2 建構空間運動向量候選
在推導空間運動向量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選是從先前在圖2中所示的位置上的PU推導出的，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A0、A1、以及縮放的A0、縮放的A1。當前PU上面的推導順序定義為B0、B1,B2、縮放的B0、縮放的B1、縮放的B2。因此，每側有四種情況可以用作運動向量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下：
--無空間縮放
(1)相同的參考圖片列表，並且相同的參考圖片索引(相同的POC)
(2)不同的參考圖片列表，但是相同的參考圖片(相同的POC)
--空間縮放
(3)相同的參考圖片列表，但是不同的參考圖片(不同的POC)
(4)不同的參考圖片列表，並且不同的參考圖片(不同的POC)
首先檢查無空間縮放的情況，然後檢查允許空間縮放的情況。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，都會考慮空間縮放，而不考慮參考圖片列表。如果左側候選的所有PU都不可用或是內部編解碼，則允許對上述運動向量進行縮放，以幫助左側和上方MV候選的平行推導。否則，不允許對上述運動向量進行空間縮放。
如圖9中的示例所示，對於空間縮放情況，相鄰PU的運動向量以與時域縮放相似的方式縮放。一個區別在於，給出了當前PU的參考圖片列表和索引作為輸入，實際縮放處理與時域縮放處理相同。
1.2.3 建構時域運動向量候選
除了參考圖片索引的推導外，時域Merge候選的所有推 導過程與空間運動向量候選的推導過程相同(如圖6中的示例所示)。在一些實施例中，向解碼器信令通知參考圖片索引。
2 聯合探索模型(JEM)中幀間預測方法的示例
在一些實施例中，使用名為聯合探索模型(JEM)的參考軟體探索未來的影片編解碼技術。在JEM中，基於子塊的預測被用於多種編解碼工具中，如仿射預測、可選時域運動向量預測(ATMVP)、空時運動向量預測(STMVP)、雙向光流(BIO)、幀速率上轉換(FRUC)、局部自適應運動向量解析度(LAMVR)、重疊塊運動補償(OBMC)、局部照明補償(LIC)和解碼器側運動向量細化(DMVR)。
2.1 基於子CU的運動向量預測的示例
在具有四叉樹加二叉樹(QTBT)的JEM中，每個CU對於每個預測方向最多可以具有一組運動參數。在一些實施例中，通過將大的CU分割成子CU並推導該大CU的所有子CU的運動資訊，編碼器中考慮了兩種子CU級的運動向量預測方法。可選時域運動向量預測(ATMVP)方法允許每個CU從多個小於共位參考圖片中當前CU的塊中獲取多組運動資訊。在空時運動向量預測(STMVP)方法中，通過利用時域運動向量預測器和空間鄰接運動向量遞迴地推導子CU的運動向量。在一些實施例中，為了為子CU運動預測的保持更精確的運動場，可能禁用參考幀的運動壓縮。
2.1.1 可選時域運動向量預測(ATMVP)的示例
在ATMVP方法中，時域運動向量預測(TMVP)方法是 通過從小於當前CU的塊中提取多組運動資訊(包括運動向量和參考索引)來修改的。
圖10示出了CU 1000的ATMVP運動預測處理的示例。ATMVP方法分兩步預測CU 1000內的子CU 1001的運動向量。第一步是用時域向量識別參考圖片1050中的對應塊1051。參考圖片1050也被稱為運動源圖片。第二步是將當前CU 1000劃分成子CU 1001，並從每個子CU對應的塊中獲取運動向量以及每個子CU的參考索引。
在第一步中，參考圖片1050和對應的塊由當前CU 1000的空間相鄰塊的運動資訊確定。為了避免相鄰塊的重複掃描處理，使用當前CU 1000的Merge候選列表中的第一個Merge候選。第一個可用的運動向量及其相關聯的參考索引被設置為時域向量和運動源圖片的索引。這樣，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊(有時稱為共位塊)始終位於相對於當前CU的右下角或中心位置。
在第二步中，通過將時域向量添加到當前CU的坐標中，通過運動源圖片1050中的時域向量識別子CU 1051的對應塊。對於每個子CU，使用其對應塊的運動資訊(例如，覆蓋中心樣本的最小運動網格)來推導子CU的運動資訊。在識別出對應N×N塊的運動資訊後，將其轉換為當前子CU的運動向量和參考索引，與HEVC的TMVP方法相同，其中應用運動縮放和其它處理。例如，解碼器檢查是否滿足低延遲條件(例如，當前圖片的所有參考圖片 的POC都小於當前圖片的POC)，並可能使用運動向量MVx(例如，與參考圖片列表X對應的運動向量)來為每個子CU預測運動向量MVy(例如，X等於0或1且Y等於1-X)。
2.1.2 空時運動向量預測(STMVP)的示例
在STMVP方法中，子CU的運動向量是按照光柵掃描順序遞迴推導的。圖11示出了一個具有四個子塊及相鄰塊的CU的示例。考慮一個8×8的CU 1100，它包含四個4×4的子CU A(1101)、B(1102)、C(1103)和D(1104)。當前幀中相鄰的4×4的塊標記為a(1111)、b(1112)、c(1113)和d(1114)。
子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A 1101上方的N×N塊(塊c 1113)。如果該塊c(1113)不可用或幀內編解碼，則檢查子CU A(1101)上方的其它N×N塊(從左到右，從塊c 1113處開始)。第二個鄰居是子CU A 1101左側的一個塊(塊b 1112)。如果塊b(1112)不可用或是幀間編解碼，則檢查子CU A 1101左側的其它塊(從上到下，從塊b 1112處開始)。每個列表從相鄰塊獲得的運動資訊被縮放到給定列表的第一個參考幀。接下來，按照HEVC中規定的與TMVP相同的程式，推導子塊A 1101的時域運動向量預測(TMVP)。提取塊D 1104處的共位塊的運動資訊並進行相應的縮放。最後，在檢索和縮放運動資訊後，對每個參考列表分別平均所有可用的運動向量。將平均運動向量指定為當前子CU的運動向量。
2.1.3 子CU運動預測模式信令通知的示例
在一些實施例中，子CU模式作為附加的Merge候選模式啟用，並且不需要附加的語法元素來對該模式發信令通知。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和STMVP模式。在其他實施例中，如果序列參數集指示啟用了ATMVP和STMVP，則可能最多使用七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P條帶或B條帶中的每個CU，可能需要對兩個附加Merge候選進行兩次額外的RD檢查。在一些實施例中，例如JEM，Merge索引的所有bin都由CABAC(基於上下文的自適應二進制算術編解碼)進行上下文編解碼。在其他實施例中，例如HEVC，只有第一個bin是上下文編解碼的，其餘的bin是上下文旁路編解碼的。
2.2 自適應運動向量差解析度的示例
在一些實施例中，當在條帶標頭中use_integer_mv_flag等於0時，運動向量差(MVD)(在PU的運動向量和預測運動向量之間)以四分之一亮度樣本為單位發信令。在JEM中，引入了局部自適應運動向量解析度(LAMVR)。在JEM中，MVD可以用四分之一亮度樣本、整數亮度樣本或四亮度樣本的單位進行編解碼。MVD解析度控制在編解碼單元(CU)級別，並且MVD解析度標誌有條件地為每個至少有一個非零MVD分量的CU發信令。
對於具有至少一個非零MVD分量的CU，第一個標誌將發信令以指示CU中是否使用四分之一亮度樣本MV精度。當第 一個標誌(等於1)指示不使用四分之一亮度樣本MV精度時，另一個標誌發信令以指示是使用整數亮度樣本MV精度還是使用四亮度樣本MV精度。
當CU的第一個MVD解析度標誌為零或沒有為CU編解碼(意味著CU中的所有MVD都為零)時，CU使用四分之一亮度樣本MV解析度。當一個CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，該CU的AMVP候選列表中的MVP將取整到對應的精度。
在編碼器中，CU級別的RD檢查用於確定哪個MVD解析度將用於CU。也就是說，對每個MVD解析度執行三次CU級別的RD檢查。為了加快編碼器速度，在JEM中應用以下編碼方案。
--在對具有正常四分之一亮度採樣MVD解析度的CU進行RD檢查期間，儲存當前CU(整數亮度採樣精度)的運動資訊。在對具有整數亮度樣本和4亮度樣本MVD解析度的同一個CU進行RD檢查時，將儲存的運動資訊(取整後)用作進一步小範圍運動向量細化的起始點，從而使耗時的運動估計處理不會重複三次。
--有條件地調用具有4亮度樣本MVD解析度的CU的RD檢查。對於CU，當整數亮度樣本MVD解析度的RD檢查成本遠大於四分之一亮度樣本MVD解析度的RD檢查成本時，將跳過對CU的4亮度樣本MVD解析度的RD檢查。
2.3 更高運動向量儲存精度的示例
在HEVC中，運動向量精度是四分之一像素(4：2：0影片的四分之一亮度樣本和八分之一彩度樣本)。在JEM中，內部運動向量儲存和Merge候選的精度增加到1/16像素。較高運動向量精度(1/16像素)用於以跳躍/Merge模式編解碼的CU的運動補償幀間預測。對於正常AMVP模式編解碼的CU，使用整數像素或四分之一像素運動。
具有與HEVC運動補償內插濾波器相同的濾波器長度和歸一化因子的SHVC上採樣內插濾波器被用作附加分數像素位置的運動補償內插濾波器。在JEM中彩度分量運動向量精度是1/32樣本，通過使用兩個相鄰1/16像素分數位置的濾波器的平均推導出1/32像素分數位置的附加插值濾波器。
2.4 重疊塊運動補償(OBMC)的示例
在JEM中，可以使用CU級別的語法打開和關閉OBMC。當OBMC用於JEM時，OBMC用於所有運動補償(MC)塊邊界，但CU的右邊界和底邊界除外。此外，它還適用於亮度和彩度分量。在JEM中，MC塊對應於編解碼塊。當CU用子CU模式(包括子CU MERGE、仿射和FRUC模式)編解碼時，CU的每個子塊都是MC塊。為了用統一的方式處理CU邊界，在所有MC塊邊界的子塊級別執行OBMC，其中子塊尺寸設置為等於4×4，如圖12A和12B所示。
圖12A示出了在CU/PU邊界處的子塊，並且陰影線的子 塊是應用OBMC的地方，同樣地，圖12B示出了在ATMVP模式下的子PU。
當OBMC應用於當前子塊時，除了當前運動向量外，四個相連的相鄰子塊的運動向量(如果可用且與當前運動向量不同)也可用於推導當前子塊的預測塊。將這些基於多個運動向量的多個預測塊組合起來，以生成當前子塊的最終預測信號。
基於相鄰子塊運動向量的預測塊表示為PN，其中N表示相鄰上、下、左右子塊的索引，並且基於當前子塊運動向量的預測塊表示為PC。當PN基於包含與當前子塊相同的運動資訊的相鄰子塊的運動資訊時，OBMC不從PN處執行的。否則，每個PN的樣本都添加到PC中的相同樣本中，即將PN的四行/列添加到PC。PN使用權重因子{1/4,1/8,1/16,1/32}，PC使用權重因子{3/4,7/8,15/16,31/32}。例外情況是小MC塊(即編解碼塊的高度或寬度等於4或CU是用子CU模式編解碼的)，對此在PC中只添加PN的兩行/列。在這種情況下，PN使用權重因子{1/4,1/8}，PC使用權重因子{3/4,7/8}。對於基於垂直(水平)相鄰子塊的運動向量生成的PN，將PN的同一行(列)中的樣本以相同的權重因子添加到PC中。
在JEM中，對於尺寸小於或等於256亮度樣本的CU，會對CU級別標誌發信令，以指示當前CU是否應用OBMC。對於尺寸大於256亮度樣本或未使用AMVP模式編解碼的CU，默認情況下應用OBMC。在編碼器處，當OBMC應用於CU時，在運 動估計階段會考慮其影響。使用上鄰塊和左鄰塊的運動資訊通過OBMC形成的預測信號被用來補償當前CU的原始信號的上邊界和左邊界，並且然後應用正常的運動估計處理。
2.5 仿射運動補償預測的示例
在HEVC中，運動補償預測(MCP)僅應用平移運動模型。然而，相機和對象可能具有多種運動，例如放大/縮小、旋轉、透視運動和/或其他不規則運動。另一方面，JEM應用了簡化的仿射變換運動補償預測。圖13示出了由兩個控制點運動向量V0和V1描述的塊1300的仿射運動場的例子。塊1300的運動向量場(MVF)可以由以下等式描述：
Figure 108130501-A0305-02-0025-1
如圖13所示，(v 0x ,v 0y )是左上角控制點的運動向量，並且(v 1x ,v 1y )是右上角控制點的運動向量。為了簡化運動補償預測，可以應用基於子塊的仿射變換預測。子塊尺寸M×N推導如下：
Figure 108130501-A0305-02-0025-2
這裏，MVPre是運動向量分數精度(例如，JEM中的1/16)。(v 2x ,v 2y )是左下控制點的運動向量，其根據等式(1)計算。如果需要，M和N可以被向下調節使其分別作為w和h的除數。
圖14示出了塊1400的每個子塊的仿射運動向量場(MVF)的例子。為了推導出每個M×N子塊的運動向量，可以根據等式(1) 計算每個子塊的中心樣本的運動向量，並且四捨五入到運動向量分數精度(例如，JEM中的1/16)。然後可以應用運動補償插值濾波器，利用推導出的運動向量生成各子塊的預測。在MCP之後，對每個子塊的高精度運動向量進行取整，並將其保存為與正常運動向量相同的精度。
在JEM中，有兩個仿射運動模式：AF_INTER模式和AF_Merge模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位流中，CU級別的仿射標誌被發信令，以指示是否使用AF_INTER模式。在AF_INTER模式中，使用相鄰的塊建構具有運動向量對{(v0,v1)｜v0={vA,vB,vc},v1={vD,vE}}的候選列表。
圖15示出了在AF_INTER模式中塊1500的運動向量預測(MVP)的例子。如圖15所示，v0從子塊A、B或C的運動向量中選擇。可以根據參考列表對相鄰塊的運動向量進行縮放。也可以根據相鄰塊參考的圖片順序計數(POC)、當前CU參考的POC和當前CU的POC之間的關係對運動向量進行縮放。從相鄰的子塊D和E中選擇v1的方法類似。當候選列表的數目小於2時，該列表由複製每個AMVP候選組成的運動向量對來填充。當候選列表大於2時，可以首先根據相鄰的運動向量對候選進行排序(例如，基於一對候選中兩個運動向量的相似性)。在一些實現中，保留前兩個候選。在一些實施例中，使用速率失真(RD)成本檢查來確定選擇哪個運動向量對候選作為當前CU的控制點運動向量 預測(CPMVP)。可以在位流中發出指示CPMVP在候選列表中的位置的索引。在確定了當前仿射CU的CPMVP後，應用仿射運動估計，並且找到控制點運動向量(CPMV)。然後，在位元流中對CPMV和CPMVP的差異發信令。
在AF_INTER模式中，當使用4/6參數仿射模式時，需要2/3個控制點，因此需要為這些控制點編解碼2/3個MVD，分別如圖16A和16B所示。在現有實現中，MV可以如下導出，例如，它從mvd0預測mvd1和mvd2。
Figure 108130501-A0305-02-0027-3
在一些實施例中，並且在編碼器處，迭代地導出AF_INTER的MVD。如果假設MVD推導過程被迭代n次，那麼最終的MVD如下計算，其中ai和bi是估計的仿射參數，並且mvd[k]h和mvd[k]v是在第i次迭代中導出的mvdk(k=0,1)的水平和垂直分量。
Figure 108130501-A0305-02-0027-4
Figure 108130501-A0305-02-0027-5
因此，在該實現中，從mvd0預測mvd1，對於mvd1僅編碼w *
Figure 108130501-A0305-02-0027-6
a i -w *
Figure 108130501-A0305-02-0027-7
b i )。
當在AF_Merge模式下應用CU時，它從有效的相鄰重構塊中獲取用仿射模式編解碼的第一個塊。圖17A示出了當前編解碼單元CU 1700的候選塊的選擇順序的例子。如圖17A所示，選擇順序可以是從當前CU 1700的左(1701)、上(1702)、右上(1703)、左下(1704)到左上(17017)。圖17B示出了在AF_Merge模式中當前CU 1700候選塊的另一個例子。如果相鄰的左下塊1701以仿射模式編解碼，如圖17B所示，則導出包含子塊1701的CU左上角、右上角和左下角的運動向量v2、v3和v4。當前CU 1700左上角的運動向量v0是基於v2、v3和v4計算的。可以相應地計算當前CU右上方的運動向量v1。
根據等式(1)中的仿射運動模型計算當前CU的CPMV v0和v1後，可以生成當前CU的MVF。為了確定當前CU是否使用AF_Merge模式編解碼，當至少有一個相鄰的塊以仿射模式編解碼時，可以在位元流中發出仿射標誌。
3.現有實現的缺點
在OBMC的一個現有實現中，在生成最終預測時，固定加權因子用於生成預測樣本PN(通過使用相鄰MV生成的預測)和PC(通過使用當前MV生成的預測)。如果PN和PC不相似(例如，在屏幕內容編解碼中)，這可能是有問題的，因為大的差異可能導致偽影像。
在另一現有實現中，並且對於未用子塊模式編解碼的PU/CU，例如，PU/CU內的所有子塊具有相同的運動資訊，則不能 對不在PU/CU邊界的左側或上方的子塊執行OBMC。當以幀內模式編解碼相鄰塊時，即使在PU/CU邊界的左側或上方的子塊也不能執行OBMC。
4.基於空間鄰居的OBMC的示例方法
當前公開的技術的實施例克服了現有實現的缺點，從而提供具有更高編解碼效率的影片編解碼。基於所公開的技術，基於時域相鄰塊的OBMC處理可以增強現有和未來的影片編解碼標準，在以下針對各種實現所描述的示例中闡明。以下提供的所公開技術的示例解釋了一般概念，並不意圖被解釋為限制。在示例中，除非明確地相反指示，否則可以組合這些示例中描述的各種特徵。
示例1. 在一個示例中，除了與當前塊相關聯的運動資訊之外，一個塊的預測塊的生成還取決於時域相鄰塊的運動資訊。
提出的方法的示例使用
(a)在一個示例中，在OBMC處理中使用時域相鄰塊的運動資訊(簡稱為時域運動資訊)來生成PN。
(b)在一個示例中，對於利用基於子塊的編解碼工具(例如，ATMVP)編解碼的塊，除了取決於其自身的運動資訊、來自其周圍子塊的運動資訊之外，子塊的最終預測塊的生成還可以取決於時域相鄰塊的運動資訊。
(c)可替代地，時域運動資訊的使用僅可以應用於不使用子塊編解碼工具編解碼的塊，例如，PU/CU內的所有子塊具有相同的運動資訊。
(d)在一個示例中，時域相鄰塊的運動資訊(如圖18中所示)可用於生成當前塊的部分的最終預測塊。在另一個示例中，對於如圖19A和圖19B中所示的PU/CU的右下區域，可以使用時域運動資訊。
(e)在一個示例中，OBMC處理中的時域運動資訊的使用還可以取決於空間相鄰塊的運動資訊的可用性。在一個示例中，如果PU/CU的左和/或上方相鄰塊/子塊是幀內編解碼的，則可使用時域相鄰塊的運動資訊來生成PU的左/上邊界的PN。
(f)在一個示例中，如果當前塊的運動資訊是從相同的時域相鄰塊導出的，則可以自動禁用所提出的方法，例如，當前塊用Merge模式編解碼、其運動資訊來自TMVP處理、並且在所提出的方法中定義的時域相鄰塊是用於TMVP處理的共位圖片中的共位時域相鄰塊。
時域相鄰塊的示例實施例
(g)在一個示例中，時域相鄰塊位於在SPS/PPS/VPS或條帶標頭中信令通知的共位圖片中。
(i)可替代地，時域相鄰塊位於預定義的參考圖片中。例如，列表0或列表1中的第一個參考圖片。
(ii)可替代地，時域相鄰塊位於一個或多個參考圖片中，並且在SPS/PPS/VPS或條帶標頭中信令通知這些圖片的指示。
(h)在一個示例中，時域相鄰塊是所選參考圖片中的共位塊。可替代地，時域相鄰塊由當前PU/CU的MV或縮放的MV 識別。
(i)在一個示例中，如果用於識別時域相鄰塊的所選參考圖片在當前圖片的參考圖片列表X中，則列表X的MV(如果需要，則縮放)被用於識別時域相鄰塊。如果列表X的MV不可用，則列表1-X的MV(如果需要，則縮放)被用於識別時域相鄰塊。
(ii)在一個示例中，如果用於識別時域相鄰塊的所選參考圖片在當前圖片的參考圖片列表0和列表1中，則首先檢查列表0(1)的MV，然後檢查列表1(0)的MV。第一個可用的MV(如果需要，則縮放)被用於識別時域相鄰塊。
(iii)在一個示例中，如果用於識別時域相鄰塊的所選參考圖片與當前PU的參考圖片相同，則指向該參考圖片的MV被用於識別時域相鄰塊。
(i)在一個示例中，時域相鄰塊的運動向量被縮放到當前PU/CU的相同參考圖片，並隨後被用於OBMC。
(i)可替代地，時域相鄰塊的運動向量被縮放到一些預定義的參考圖片，例如列表0或列表1中的第一參考圖片。
(ii)可替代地，時域相鄰塊的運動向量被縮放到在SPS/PPS/VPS或條帶標頭中信令通知的一個或多個參考圖片。
示例2.在一個示例中，一個塊的預測塊的生成可以依賴於當前塊的運動資訊和相鄰塊的幀內預測模式。
(a)在一個示例中，在OBMC處理中，如果當前PU/ CU用幀間模式編解碼，並且其相鄰塊/子塊用幀內模式編解碼，則相鄰塊/子塊的幀內模式和重構樣本被用於為對應的上/左PU邊界塊/子塊(或整個PU)生成PN。然後，執行OBMC。
示例3.在一個示例中，一個塊的預測塊的生成可以依賴於相鄰塊的運動資訊和當前塊的幀內預測模式。
(a)可替代地，如果當前PU/CU用幀內模式編解碼，並且其相鄰塊/子塊用幀間模式編解碼，則相鄰塊/子塊的運動資訊被用於為對應的上/左PU/CU邊界塊/子塊(或整個PU)生成PN。
(i)可替代地，另外，空間相鄰塊/子塊的運動資訊被用於為上/左PU/CU邊界子塊生成PN，而時域相鄰塊/子塊的運動資訊被用於為其他子塊生成PN。
(b)可替代地，如果當前PU/CU用幀內模式編解碼，並且其相鄰塊/子塊也用幀內模式編解碼，則相鄰塊/子塊的幀內模式和重構樣本被用於為對應的上/左PU/CU邊界塊/子塊(或整個PU)生成PN。
(i)可替代地，另外，時域相鄰塊/子塊的運動資訊被用於為不在上/左PU/CU邊界的所有子塊生成PN。
(ii)可替代地，時域相鄰塊的運動資訊被用於為整個PU/CU生成PN。
示例4.當由空間相鄰塊的MV(加權因子由W1表示)、或如第一示例所請求的時域MV(加權因子由W2表示)、或如第2/3示例中所請求的幀內預測(加權因子由W3表示)生成PN時， 建議OBMC中的PN的加權因子不相同。
(a)在一個示例中，W1>W2>W3。
(b)可替代地，W2=W3。
(c)可替代地，權重還可以取決於其他資訊，例如行/列到塊邊界的距離、塊尺寸/塊形狀/編碼模式等。
(d)用於由時域運動資訊或幀內模式生成的預測塊的權重可以在VPS/SPS/PPS/條帶標頭中信令通知或預定義。
示例5.建議OBMC中PN的加權因子取決於PN和PC之間的差異(由Pdiff表示)。
(a)在一個示例中，可以從預定義的加權因子集(例如{1/32,1/16,1/8,1/4，1/2})中自適應地選擇加權因子。
(b)在一個示例中，將單獨的權重分配給每個像素，將較大的權重(即，更接近1/2)WN分配給更小的｜Pdiff｜的PN，反之亦然(由WC表示的PC的權重等於1-WN)。
(c)在一個示例中，將一個相同的權重分配給一組像素。
(i)在一個示例中，一列/排是一組。
(ii)在一個實例中，若干列/排是一組。
(iii)在一個示例中，尺寸為M×N的子塊是一組，其中M和N是正整數。
(iv)在一個示例中，具有相似值的像素被分組在一起。例如，具有[Vmax i Vmin i]範圍內的PC(或PN)值的像素形成第i組。
(v)在一個示例中，具有相似Pdiff的像素被分組在一起。 例如，具有[Vmaxi Vmin i]範圍內的｜Pdiff｜值的像素形成第i組。
(vi)在一個示例中，權重取決於組內所有像素的平均｜Pdiff｜，並且將較大的權重分配給較小平均｜Pdiff｜的PN。
(vii)在一個示例中，當PN與PC完全不同時，例如，｜Pdiff｜的平均值大於閾值T，其中T>0，OBMC被禁用。
(viii)可替代地，加權因子不是從預定義的集合中選擇的，而是根據像素位置和｜Pdiff｜的函數來計算。
(d)在一個示例中，對於從一個相同的相鄰運動資訊預測的所有PN，權重是相同的，並且它取決於相鄰運動資訊和當前運動資訊之間的差異。
(i)在一個示例中，如果相鄰運動和當前運動使用不同的參考圖片，則將較大/較小的權重分配給PN。
(ii)在一個示例中，如果相鄰運動和當前運動使用相同的參考圖片，但運動向量完全不同，則將較大/較小的權重分配給PN。
示例6.所提出的方法可以應用於某些模式、塊尺寸/形狀和/或某些子塊尺寸。
(a)所提出的方法可以應用於某些模式，例如傳統的平移運動(例如，禁用仿射模式)。
(b)所提出的方法可以應用於某些塊尺寸。
(i)在一個示例中，其僅應用於具有w×h
Figure 108130501-A0305-02-0034-8
T的塊，其中w和h是當前塊的寬度和高度。
(ii)在另一個示例中，它僅應用於w
Figure 108130501-A0305-02-0035-9
T且h
Figure 108130501-A0305-02-0035-10
T的塊。
(c)可以在進一步的條件下調用所提出的方法的使用，例如，基於塊尺寸/塊形狀/編碼模式/條帶類型/低延遲校驗標記/時域層等。
示例7.在一個示例中，所提出的方法可以應用於所有顏色(或彩度)分量。可替代地，它們可以僅應用於某些顏色分量。例如，它們可能僅應用於亮度分量。
示例8.在一個示例中，可以在VPS/SPS/PPS/條帶標頭/CTU/CU/CTU組/CU組中從編碼器向解碼器信令通知是否以及如何應用所提出的方法。
以上描述的示例可以並入下面描述的方法的上下文中，例如方法2000，其可以在影片解碼器或影片編碼器處實現。
圖20A示出了用於影片處理的示例性方法2000的流程圖。方法2000包括：在步驟2002中，生成與當前影片塊相關聯的運動資訊。
方法2000包括：在步驟2004中，基於至少兩個臨時預測塊(temporary prediction block)的加權和，生成當前影片塊的預測塊，至少兩個臨時預測塊中的第一個基於運動資訊，並且至少兩個臨時預測塊中的第二個基於相鄰塊的幀內預測模式。
方法2000包括：在步驟2006中，基於預測塊執行當前影片塊與當前影片塊的位元流表示之間的轉換。
圖20B示出了用於影片處理的示例性方法2030的流程 圖。方法2030包括：在步驟2032中，基於至少兩個臨時預測塊的加權和，生成當前影片塊的預測塊，至少兩個臨時預測塊中的第一個基於當前影片塊的幀內預測模式，並且至少兩個臨時預測塊中的第二個基於與至少一個相鄰塊相關聯的運動資訊。
方法2030包括：在步驟2034中，基於預測塊執行當前影片塊與當前影片塊的位元流表示之間的轉換。
圖20C示出了用於影片處理的示例性方法2060的流程圖。方法2060包括：在步驟2062中，基於第一預測樣本和第二預測樣本的加權和，生成預測塊，第一預測樣本基於與當前影片塊相關聯的第一運動資訊，第二預測樣本基於與當前影片塊的至少一個相鄰塊相關聯的第二運動資訊，並且第二預測樣本的加權因子基於第一預測樣本和第二預測樣本之間的差。
方法2060包括：在步驟2064中，基於預測塊，執行當前影片塊與當前影片塊的位元流表示之間的轉換。
在本文描述的方法中，在一些實施例中，轉換可以包括對影片塊和影片進行編碼以生成編解碼表示或位元流。在一些實施例中，轉換可以包括解碼編解碼表示或位元流以生成影片塊的像素值。在一些實施例中，轉換可以是代碼轉換操作，其中影片表示的位元率或格式被改變。
5.所公開技術的示例實現
圖21是影片處理設備2100的方塊圖。設備2100可用於實現本文描述的一個或多個方法。設備2100可以實施在智能手機、 平板電腦、電腦、物聯網(IoT)接收器等中。設備2100可以包括一個或多個處理器2102、一個或多個記憶體2104和影片處理電路2106。處理器2102可以被配置為實現本文中描述的一個或多個方法(包括但不限於，方法2000)。記憶體2104可以用於儲存用於實現本文所述方法和技術的數據和代碼。影片處理電路2106可用於在硬體電路中實現本文所述的一些技術。
圖22是示出示例影片處理系統2200的方塊圖，其中可以實施本文公開的各種技術。各種實現可能包括系統2200的部分或全部組件。系統2200可包括用於接收影片內容的輸入2202。影片內容可以原始或未壓縮格式接收，例如8位或10位多分量像素值，或者可以壓縮或編碼格式接收。輸入2202可以表示網路介面、外圍總線介面或儲存介面。網路介面的示例包括諸如以太網、無源光網路(PON)等的有線介面，以及諸如Wi-Fi或蜂窩介面的無線介面。
系統2200可包括編解碼組件2204，其可實現本文中所描述的各種編解碼或編碼方法。編解碼組件2204可以降低從輸入2202到編解碼組件2204的輸出的影片的平均位元率，以產生影片的編解碼表示。因此，編解碼技術有時被稱為影片壓縮或影片轉碼技術。編解碼組件2204的輸出可以被儲存，也可以通過連接的通訊進行傳輸，如組件2206所示。輸入2202處接收的影片的儲存或通訊位元流(或編解碼)表示可由組件2208用於生成像素值或發送到顯示介面2210的可顯示影片。從位元流表示生成用戶可觀 看影片的處理有時稱為影片解壓縮。此外，儘管某些影片處理操作被稱為“編解碼”操作或工具，但應當理解的是，編碼工具或操作被用於編碼器處，並且逆向編碼結果的相應的解碼工具或操作將由解碼器執行。
外圍總線介面或顯示介面的示例可以包括通用序列匯流排(USB)或高畫質多媒體介面(HDMI)或顯示端口等。儲存介面的示例包括SATA(串列進階技術附接)、PCI、IDE介面等。本文中所述的技術可實施在各種電子設備中，例如移動電話、筆記本電腦、智能手機或其他能夠執行數位數據處理和/或影片顯示的設備。
在一些實施例中，可以使用如關於圖21所描述的在硬體平臺上實現的裝置來實現該影片編解碼方法。
從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於請求項的限定。
本專利文件中描述的主題的實現和功能操作可以在各種系統、數位電子電路、或電腦軟體、韌體或硬體中實現，包括本說明書中所公開的結構及其結構等效體，或其中一個或多個的組合。本說明說中描述的主題的實現可以實現為一個或多個電腦程式產品，即一個或多個編碼在有形的且非揮發的電腦可讀介質上的電腦程式指令的模組，以供數據處理裝置執行或控制數據處理裝置 的操作。電腦可讀介質可以是機器可讀儲存設備、機器可讀儲存基板、儲存設備、影響機器可讀傳播信號的物質組成或其中一個或其中多個的組合。術語“數據處理單元”或“數據處理裝置”包括用於處理數據的所有裝置、設備和機器，包括例如可編程處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器韌體的代碼、協議棧、數據庫管理系統、操作系統或其中一個或多個的組合。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的編程語言(包括編譯語言或解釋語言)編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、組件、子程式或其他適合在計算環境中使用的單元。電腦程式不一定與文件系統中的文件對應。程式可以儲存在保存其他程式或數據的文件的部分中(例如，儲存在標記語言文件中的一個或多個腳本)、專用於該程式的單個文件中、或多個協調文件(例如，儲存一個或多個模組、子程式或部分代碼的文件)中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個站點上或分布在多個站點上，並通過通訊網路互連。
本說明書中描述的處理和邏輯流可以通過一個或多個可編程處理器執行，該處理器執行一個或多個電腦程式，通過在輸入數據上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA(現場可程式閘陣列)或ASIC(應用特定積 體電路)。
例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從只讀記憶體或隨機存取記憶體或兩者接收指令和數據。電腦的基本元件是執行指令的處理器和儲存指令和數據的一個或多個儲存設備。通常，電腦還將包括一個或多個用於儲存數據的大容量儲存設備，例如，磁碟、磁光碟或光碟，或通過操作耦合到一個或多個大容量儲存設備來從其接收數據或將數據傳輸到一個或多個大容量儲存設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於儲存電腦程式指令和數據的電腦可讀介質包括所有形式的非揮發性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體。處理器和記憶體可以由專用邏輯電路來補充，或合並到專用邏輯電路中。
意圖在於本說明書和附圖僅被視為示例性的，其中示例性意味著示例。如本文所用，“或”的使用旨在包括“和/或”，除非上下文另有明確說明。
雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或請求項範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合 中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中移除請求項組合中的一個或多個特徵，並且請求項的組合可以指向子組合或子組合的變體。
同樣，儘管附圖中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或順序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中各種系統組件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。
2002~2006:步驟

Claims (32)

  1. 一種用於影片處理的方法，包括：生成與當前影片塊相關聯的運動資訊；基於至少兩個臨時預測塊的加權和，生成所述當前影片塊的預測塊，其中所述至少兩個臨時預測塊中的第一個基於所述運動資訊，並且其中所述至少兩個臨時預測塊中的第二個基於相鄰塊的幀內預測模式，並且其中所述至少兩個臨時預測塊中的第二個的加權因子基於所述至少兩個臨時預測塊中的第一個和第二個之間的差；以及基於所述預測塊，執行所述當前影片塊與所述當前影片塊的位元流表示之間的轉換。
  2. 如申請專利範圍第1項所述的方法，其中包括所述當前影片塊的當前預測單元(PU)或編解碼單元(CU)用幀間預測模式編解碼，並且其中至少一個相鄰塊用所述幀內預測模式編解碼。
  3. 一種用於影片處理的方法，包括：基於至少兩個臨時預測塊的加權和，生成當前影片塊的預測塊，其中所述至少兩個臨時預測塊中的第一個基於所述當前影片塊的幀內預測模式，並且其中所述至少兩個臨時預測塊中的第二個基於與至少一個相鄰塊相關聯的運動資訊，並且其中所述至少兩個臨時預測塊中的第二個的加權因子基於所述至少兩個臨時預測塊中的第一個和第二個之間的差；以及基於所述預測塊，執行所述當前影片塊與所述當前影片塊的 位元流表示之間的轉換。
  4. 如申請專利範圍第3項所述的方法，其中包括所述當前影片塊的當前預測單元(PU)或編解碼單元(CU)用所述幀內預測模式編解碼，並且其中所述至少一個相鄰塊用幀間預測模式編解碼。
  5. 如申請專利範圍第3項所述的方法，其中包括所述當前影片塊的當前預測單元(PU)或編解碼單元(CU)用所述幀內預測模式編解碼，並且其中所述至少一個相鄰塊用另一個幀內預測模式編解碼。
  6. 一種用於影片處理的方法，包括：基於第一預測樣本和第二預測樣本的加權和生成預測塊，其中所述第一預測樣本基於與當前影片塊相關聯的第一運動資訊，其中所述第二預測樣本基於與所述當前影片塊的至少一個相鄰塊相關聯的第二運動資訊，並且其中所述第二預測樣本的加權因子基於所述第一預測樣本和所述第二預測樣本之間的差；以及基於所述預測塊，執行所述當前影片塊與所述當前影片塊的位元流表示之間的轉換。
  7. 如申請專利範圍第6項所述的方法，其中，所述第一預測樣本的加權因子或所述第二預測樣本的加權因子是從預定義的加權因子集中選擇的。
  8. 如申請專利範圍第7項所述的方法，其中，所述預定義的加權因子集為{1/32,1/16,1/8,1/4,1/2}。
  9. 如申請專利範圍第6項所述的方法，其中，在確定所述第一預測樣本和所述第二預測樣本之間的所述差減小到零時，將所述第二預測樣本的所述加權因子增加到1/2。
  10. 如申請專利範圍第6項所述的方法，其中，將相同加權因子分配給所述當前影片塊中的像素組。
  11. 如申請專利範圍第10項所述的方法，其中，所述像素組包括所述當前影片塊的一列或多列中的像素或所述當前影片塊的一行或多行中的像素。
  12. 如申請專利範圍第10項所述的方法，其中，所述像素組是所述當前影片塊的子塊，其中所述子塊的尺寸是M×N，並且其中M和N是正整數。
  13. 如申請專利範圍第10項所述的方法，其中，所述像素組包括值在[Vmax，Vmin]範圍內的像素，並且其中Vmax和Vmin是正整數。
  14. 如申請專利範圍第10項所述的方法，其中，所述像素組中的每一個與對應的第一預測樣本和對應的第二預測樣本相關聯，並且其中所述像素組包括所述對應的第一預測樣本與所述對應的第二預測樣本之間的差在[Vmax，Vmin]範圍內的像素，並且其中Vmax和Vmin是正整數。
  15. 如申請專利範圍第10項所述的方法，其中，所述像素組中的每一個與對應的第一預測樣本和對應的第二預測樣本相關聯，並且其中相同的加權因子基於所述像素組中的所有像素的所 述對應的第一預測樣本和所述對應的第二預測樣本之間的差的平均值。
  16. 如申請專利範圍第6項所述的方法，其中，所述第一預測樣本和所述第二預測樣本之間的差的絕對值小於或等於大於零的閾值。
  17. 如申請專利範圍第6項所述的方法，其中，所述第一預測樣本的加權因子或所述第二預測樣本的所述加權因子基於像素位置和所述第一預測樣本和所述第二預測樣本之間的差的值。
  18. 如申請專利範圍第6項所述的方法，其中，所述第二預測樣本的所述加權因子還基於所述第一運動資訊和所述第二運動資訊之間的差。
  19. 如申請專利範圍第1至18項中任一項所述的方法，其中，基於所述當前影片塊的編解碼模式、所述當前影片塊的尺寸或形狀、或所述當前影片塊的子塊的尺寸來執行所述轉換。
  20. 如申請專利範圍第19項所述的方法，其中，所述當前影片塊的所述編解碼模式包括禁用仿射模式的傳統平移運動。
  21. 如申請專利範圍第19項所述的方法，其中，所述當前影片塊的高度和所述當前影片塊的寬度的乘積大於或等於閾值。
  22. 如申請專利範圍第19項所述的方法，其中，所述當前影片塊的高度大於或等於第一閾值，並且所述當前影片塊的寬度大於或等於第二閾值。
  23. 如申請專利範圍第19項所述的方法，其中，還基於包括所述當前影片塊的條帶的條帶類型、低延遲校驗標誌或時域層來執行所述轉換。
  24. 如申請專利範圍第1至18項中任一項所述的方法，其中，執行所述轉換包括將運動補償處理應用於所述當前影片塊的亮度分量。
  25. 如申請專利範圍第1至18項中任一項所述的方法，其中，執行所述轉換包括將運動補償處理應用於所述當前影片塊的多個彩度分量中的一個或多個。
  26. 如申請專利範圍第1至18項中任一項所述的方法，其中，還基於序列參數集(SPS)中、圖片參數集(PPS)、影片參數集(VPS)、條帶標頭、編解碼樹單元(CTU)，編解碼單元(CU)、CTU組或CU組中的信令通知來執行所述轉換。
  27. 如申請專利範圍第2或3或6項中任一項所述的方法，其中，所述至少一個相鄰塊包括四個相鄰塊。
  28. 如申請專利範圍第1或3或6中任一項所述的方法，其中，所述生成所述預測塊是重疊塊運動補償(OBMC)處理的一部分。
  29. 如申請專利範圍第1或3或6項中任一項所述的方法，其中，執行所述轉換包括從所述當前影片塊生成所述位元流表示。
  30. 如申請專利範圍第1或3或6項中任一項所述的方法，其中，執行所述轉換包括從所述位元流表示生成所述當前影片塊。
  31. 一種影片系統中的裝置，包括處理器和其上儲存了指令的非揮發性記憶體，其中當所述處理器執行所述指令時，使所述處理器實現請求項1至30中的一項或多項中所述的方法。
  32. 一種非揮發性電腦可讀介質，其上儲存有電腦程式代碼，所述電腦程式代碼用於實現請求項1至30中的一項或多項中所述的方法。
TW108130501A 2018-08-24 2019-08-26 使用空間鄰居的重疊塊運動補償 TWI822838B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/102163 2018-08-24
CN2018102163 2018-08-24

Publications (2)

Publication Number Publication Date
TW202110188A TW202110188A (zh) 2021-03-01
TWI822838B true TWI822838B (zh) 2023-11-21

Family

ID=68104713

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108130501A TWI822838B (zh) 2018-08-24 2019-08-26 使用空間鄰居的重疊塊運動補償
TW108130510A TWI815956B (zh) 2018-08-24 2019-08-26 使用時域鄰居的重疊塊運動補償

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108130510A TWI815956B (zh) 2018-08-24 2019-08-26 使用時域鄰居的重疊塊運動補償

Country Status (4)

Country Link
US (2) US11758145B2 (zh)
CN (2) CN110858901B (zh)
TW (2) TWI822838B (zh)
WO (2) WO2020039407A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858901B (zh) 2018-08-24 2023-01-20 北京字节跳动网络技术有限公司 使用时域邻居的重叠块运动补偿
CN114125467A (zh) * 2018-09-13 2022-03-01 华为技术有限公司 一种预测运动信息的解码方法及装置
US11272203B2 (en) * 2019-07-23 2022-03-08 Tencent America LLC Method and apparatus for video coding
US11477450B2 (en) * 2019-12-20 2022-10-18 Zte (Uk) Limited Indication of video slice height in video subpictures
CN112218076B (zh) * 2020-10-17 2022-09-06 浙江大华技术股份有限公司 一种视频编码方法、装置、系统及计算机可读存储介质
EP4349017A1 (en) * 2021-05-24 2024-04-10 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for overlapped block motion compensation for inter prediction
WO2023207511A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Method and apparatus of adaptive weighting for overlapped block motion compensation in video coding system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110142132A1 (en) * 2008-08-04 2011-06-16 Dolby Laboratories Licensing Corporation Overlapped Block Disparity Estimation and Compensation Architecture
US20120099652A1 (en) * 2003-06-10 2012-04-26 Samsung Electronics Co., Ltd. Method and apparatus for scalable motion vector coding
US20160219302A1 (en) * 2015-01-26 2016-07-28 Qualcomm Incorporated Overlapped motion compensation for video coding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708782A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
WO2018070632A1 (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN116896630A (zh) * 2016-11-29 2023-10-17 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
CN110858901B (zh) 2018-08-24 2023-01-20 北京字节跳动网络技术有限公司 使用时域邻居的重叠块运动补偿

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120099652A1 (en) * 2003-06-10 2012-04-26 Samsung Electronics Co., Ltd. Method and apparatus for scalable motion vector coding
US20110142132A1 (en) * 2008-08-04 2011-06-16 Dolby Laboratories Licensing Corporation Overlapped Block Disparity Estimation and Compensation Architecture
US20160219302A1 (en) * 2015-01-26 2016-07-28 Qualcomm Incorporated Overlapped motion compensation for video coding

Also Published As

Publication number Publication date
US20210195205A1 (en) 2021-06-24
US11700381B2 (en) 2023-07-11
CN110858901B (zh) 2023-01-20
CN110858901A (zh) 2020-03-03
TW202025779A (zh) 2020-07-01
US11758145B2 (en) 2023-09-12
WO2020039408A1 (en) 2020-02-27
CN110858908A (zh) 2020-03-03
TW202110188A (zh) 2021-03-01
US20210176472A1 (en) 2021-06-10
TWI815956B (zh) 2023-09-21
WO2020039407A1 (en) 2020-02-27
CN110858908B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
TWI815974B (zh) 具有自適應運動矢量分辨率的運動矢量的修改
TWI815967B (zh) 仿射模式編解碼的模式相關自適應調整運動矢量分辨率
TWI822838B (zh) 使用空間鄰居的重疊塊運動補償
US11558612B2 (en) Coefficient dependent coding of transform matrix selection
CN113170112A (zh) 用于具有几何分割的帧间预测的构建方法
TW201904299A (zh) 運動向量預測
WO2020098694A1 (en) Construction method for a spatial motion candidate list
TW202008787A (zh) 基於更新的運動向量的運動預測
TW202017375A (zh) 用於視頻編碼的對稱性雙向預測模式
WO2020070730A2 (en) Size restriction based on affine motion information