TWI815956B - 使用時域鄰居的重疊塊運動補償 - Google Patents

使用時域鄰居的重疊塊運動補償 Download PDF

Info

Publication number
TWI815956B
TWI815956B TW108130510A TW108130510A TWI815956B TW I815956 B TWI815956 B TW I815956B TW 108130510 A TW108130510 A TW 108130510A TW 108130510 A TW108130510 A TW 108130510A TW I815956 B TWI815956 B TW I815956B
Authority
TW
Taiwan
Prior art keywords
block
current video
prediction
video block
current
Prior art date
Application number
TW108130510A
Other languages
English (en)
Other versions
TW202025779A (zh
Inventor
劉鴻彬
張莉
張凱
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202025779A publication Critical patent/TW202025779A/zh
Application granted granted Critical
Publication of TWI815956B publication Critical patent/TWI815956B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用於數位視訊編碼的設備、系統和方法，數位視訊編碼包括基於時域鄰居的重疊塊運動補償（OBMC）處理。用於視頻處理的示例方法包括：基於至少兩個臨時預測塊的加權和，生成當前視頻塊的預測塊，至少兩個臨時預測塊中的第一個基於與當前視頻塊相關聯的第一運動資訊，至少兩個臨時預測塊中的第二個基於與當前視頻塊的至少一個相鄰塊相關聯的第二運動資訊，並且至少一個相鄰塊包括時域相鄰塊；以及基於預測塊，執行當前視頻塊與當前視頻塊的位元流表示之間的轉換。

Description

使用時域鄰居的重疊塊運動補償
本發明是有關於一種視頻編碼和解碼技術、設備和系統。 [相關申請的交叉引用] 根據適用的《專利法》和/或《巴黎公約》的規定，本申請及時要求於2018年8月24日提交的國際專利申請號PCT/CN2018/102163的優先權和利益。根據美國法律，將國際專利申請號PCT/CN2018/102163的全部公開以引用方式併入本文，作為本申請公開的一部分。
儘管視訊壓縮有所進步，數位視訊在互聯網和其它數位通信網路上使用的頻寬仍然最大。隨著能夠接收和顯示視頻的連接使用者設備數量的增加，預計數位視訊使用的頻寬需求將繼續增長。
描述了涉及數位視訊編碼、並且特別地涉及基於時域鄰居的重疊塊運動補償（OBMC）處理的設備、系統和方法。所描述的方法可以應用於現有視頻編碼標準（例如，高效視頻編碼（HEVC））和未來視頻編碼標準或視頻轉碼器。
在一個典型的方面，所公開的技術可用於提供用於視頻處理的方法。該方法包括：基於至少兩個臨時預測塊的加權和，生成當前視頻塊的預測塊，至少兩個臨時預測塊中的第一個基於與當前視頻塊相關聯的第一運動資訊，並且至少兩個臨時預測塊中的第二個基於與當前視頻塊的至少一個相鄰塊相關聯的第二運動資訊；以及基於預測塊，執行當前視頻塊與當前視頻塊的位元流表示之間的轉換。
在一些實施例中，該方法優選地包括：至少一個相鄰塊包括時域相鄰塊。
在一些實施例中，該方法優選地包括：第二臨時預測塊的加權因數基於至少一個相鄰塊的位置或編碼模式。
在一些實施例中，該方法優選地包括：當前視頻塊是用基於子塊的編碼工具編碼的，並且當前視頻塊的當前子塊的最終預測基於至少當前子塊的時域相鄰塊的運動資訊。
在一些實施例中，該方法優選地包括：編碼當前視頻塊而不使用基於子塊的編碼工具編碼。
在一些實施例中，該方法優選地包括：當前視頻塊的子塊的子集的每個子塊最終預測基於第二運動資訊，並且該子集不包括當前視頻的至少一個子塊。
在一些實施例中，該方法優選地包括：執行轉換還基於與當前視頻塊的至少一個空間相鄰塊相關聯的運動資訊的可用性的確定、與至少一個空間相鄰塊相關聯的第三運動資訊。
在一些實施例中，該方法優選地包括：第一運動資訊和第二運動資訊不是從相同的預測處理中推導出的。
在一些實施例中，該方法優選地包括：時域相鄰塊位於在序列參數集（SPS）、圖片參數集（PPS）、視頻參數集（VPS）或條帶標頭中信令通知的共位元圖片（collocated picture）中。
在一些實施例中，該方法優選地包括：時域相鄰塊位於預定的參考圖片中。
在一些實施例中，該方法優選地包括：預定的參考圖片在列表0或列表1中。
在一些實施例中，該方法優選地包括：時域相鄰塊位於在序列參數集（SPS）、圖片參數集（PPS）、視頻參數集（VPS）、條帶標頭或片標頭中信令通知的多個參考圖片中的一個中。
在一些實施例中，該方法優選地包括：時域相鄰塊是所選擇的參考圖片中的共位元塊。
在一些實施例中，該方法優選地包括：當前預測單元（PU）或編碼單元（CU）包括當前視頻塊，並且當前PU或CU的運動向量包括時域相鄰塊的標識。
在一些實施例中，該方法優選地包括：運動向量是縮放運動向量。
在一些實施例中，該方法優選地包括：當前預測單元（PU）或編碼單元（CU）包括當前視頻塊，當前PU或CU的運動向量被縮放到當前PU或CU的第一參考圖片，並且時域相鄰塊的運動向量被縮放到第一參考圖片。
在一些實施例中，該方法優選地包括：至少相鄰塊的運動向量被縮放到預定的參考圖片。
在一些實施例中，該方法優選地包括：預定的參考圖片是列表0或列表1中的第一個參考圖片。
在一些實施例中，該方法優選地包括：時域相鄰塊的運動向量被縮放到在序列參數集（SPS）、圖片參數集（PPS）、視頻參數集（VPS）、或條帶標頭中信令通知的多個參考圖片中的一個。
在一些實施例中，該方法優選地包括：加權因數是基於至少一個相鄰塊包含當前視頻塊的空間相鄰塊的確定的第一加權因數。
在一些實施例中，該方法優選地包括：加權因數是基於至少一個相鄰塊包含當前視頻塊的時域相鄰塊的確定的第二加權因數。
在一些實施例中，該方法優選地包括：加權因數是基於當前視頻塊是使用幀內預測模式編碼的確定的第三加權因數。
在一些實施例中，該方法優選地包括：在序列參數集（SPS），圖片參數集（PPS）、視頻參數集（VPS）或條帶標頭中信令通知第二和第三加權因數。
在一些實施例中，該方法優選地包括：第一加權因數大於第二加權因數，並且第二加權因數大於第三加權因數。
在一些實施例中，該方法優選地包括：第二加權因數等於第三加權因數。
在一些實施例中，該方法優選地包括：第一、第二或第三加權因數還基於當前視頻塊的維度（dimension）。
在一些實施例中，該方法優選地包括：基於當前視頻塊的編碼模式、當前視頻塊的尺寸或形狀、或當前視頻塊的子塊的尺寸來執行轉換。
在一些實施例中，該方法優選地包括：當前視頻塊的編碼模式包括禁用仿射模式的傳統平移運動。
在一些實施例中，該方法優選地包括：當前視頻塊的高度和當前視頻塊的寬度的乘積大於或等於閾值。
在一些實施例中，該方法優選地包括：當前視頻塊的高度大於或等於第一閾值，並且當前視頻塊的寬度大於或等於第二閾值。
在一些實施例中，該方法優選地包括：還基於包括當前視頻塊的條帶的條帶類型、低延遲校驗標誌或時域層來執行轉換。
在一些實施例中，該方法優選地包括：執行轉換包括將運動補償處理應用於當前視頻塊的亮度分量。
在一些實施例中，該方法優選地包括：執行轉換包括將運動補償處理應用於當前視頻塊的多個色度分量中的一個或多個。
在一些實施例中，該方法優選地包括：還基於序列參數集（SPS）、圖片參數集（PPS）、視頻參數集（VPS）、條帶標頭、編碼樹單元（CTU）、編碼單元（CU）、CTU組或CU組中的信令通知來執行轉換。
在一些實施例中，該方法優選地包括：加權和中的一個或多個權重基於當前視頻塊內的樣本的座標。
在一些實施例中，該方法優選地包括：加權和中的一個或多個權重基於當前視頻塊內的樣本到當前視頻塊的邊界的距離。
在一些實施例中，該方法優選地包括：生成預測塊是重疊塊運動補償（OBMC）處理的一部分。
在一些實施例中，該方法優選地包括：執行轉換包括從當前視頻塊生成位元流表示。
在一些實施例中，該方法優選地包括：執行轉換包括從位元流表示生成當前視頻塊。
在另一典型的方面，上述方法以處理器可執行代碼的形式實施，並且儲存在電腦可讀的程式介質中。
在又一典型的方面，公開了一種設備，其被配置為或可操作以執行上述方法。該設備可以包括被程式設計以實現該方法的處理器。
在又一典型的方面，一種視頻解碼器裝置，其可以實現如本文所述的方法。
在附圖、說明書和申請專利範圍書中更詳細地描述了所公開技術的上述方面、以及其他方面和特徵。
由於對更高解析度視訊的需求的增加，在現代技術中普遍存在視訊編碼方法和技術。視訊轉碼器通常包括壓縮或解壓縮數位視訊的電子電路或軟體，並且不斷改進以提供更高的編碼效率。視訊轉碼器將未壓縮視訊轉換為壓縮格式，反之亦然。視訊品質、用於表示視訊的資料量（由位元速率確定）、編碼和解碼演算法的複雜度、對資料丟失和錯誤的敏感性、編輯的簡易性、隨機訪問和端到端延遲（遲延）之間存在複雜的關係。壓縮格式通常符合標準視訊壓縮規範，例如，高效視訊編碼（HEVC）標準（也稱為H.265或MPEG-H第2部分）、要完成的通用視訊編碼標準、或其他當前和/或未來的視訊編碼標準。
由於對更高解析度視頻的需求的增加，視頻編碼方法和技術在現代技術中無處不在。視頻轉碼器通常包括壓縮或解壓縮數位視訊的電子電路或軟體，並且不斷被改進以提供更高的編碼效率。視頻轉碼器將未壓縮視訊轉換為壓縮格式，反之亦然。視頻品質、用於表示視頻的資料量（由位元速率確定）、編碼和解碼演算法的複雜度、對資料丟失和錯誤的敏感性、編輯的簡易性、隨機訪問、以及端到端延遲（時延）之間存在複雜的關係。壓縮格式通常符合標準視訊壓縮規範，例如，高效視頻編碼（HEVC）標準（也稱為H.265或MPEG-H第2部分）、待定案的多功能視頻編碼標準、或其他當前和/或未來的視頻編碼標準。
所公開的技術的實施例可以應用於現有視頻編碼標準（例如，HEVC，H.265）和未來標準以提高壓縮性能。在本文中使用章節標題以提高描述的可讀性，並且不以任何方式將討論或實施例（和/或實現）僅限制於相應的章節。
1. HEVC/H.265中的幀間預測的示例
多年來，視頻編碼標準有了顯著的改進，並且現在在某種程度上提供了高編碼效率和對更高解析度的支援。最新標準諸如HEVC和H.265等是基於混合視頻編碼結構，其中採用了時域預測加變換編碼。
1.1預測模式的示例
每個幀間預測的PU（預測單元）都有一個或兩個參考圖片列表的運動參數。在一些實施例中，運動參數包括運動向量和參考圖片索引。在其他實施例中，兩個參考圖片列表之一的使用也可以使用inter_pred_idc 發信令。在又一實施例中，運動向量可顯式地編碼為相對於預測器的增量。
當CU採用跳躍模式（skip mode）編碼時，PU與CU相關聯，並且沒有顯著的殘差係數，沒有編碼運動向量增量或參考圖片索引。指定了一種Merge模式，通過該模式，可以從相鄰的PU（包括空間和時域候選）中獲取當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸，其中每個參考圖片列表的運動向量、對應的參考圖片索引以及參考圖片列表的使用都會根據每個PU顯式地發信令。
當信令指示要使用兩個參考圖片列表中的一個時，從一個樣本塊中生成PU。這被稱為「單向預測」。單向預測對P條帶（slice）和B條帶都可用。
當信令指示要使用兩個參考圖片列表時，從兩個樣本塊中生成PU。這被稱為「雙向預測」。雙向預測僅對B條帶可用。
1.1.1構建Merge模式的候選的實施例
當使用Merge模式預測PU時，從位元流中解析指向Merge候選列表中條目的索引，並且使用該索引檢索運動資訊。此列表的構建可按以下步驟順序進行概括：
步驟1：初始候選推導
步驟1.1：空間候選推導
步驟1.2：空間候選冗餘檢查
步驟1.3：時域候選推導
步驟2：附加候選插入
步驟2.1：創建雙向預測候選
步驟2.2：插入零運動候選
圖1示出了基於上面概括的步驟序列構建Merge候選列表的示例。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時域Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量，因此當候選數未達到片標頭中發信令的最大Merge候選數（maxNumMergeCand）時，生成附加的候選。由於候選數是恒定的，所以最佳Merge候選的索引使用截斷的一元二值化（TU）進行編碼。如果CU的尺寸等於8，則當前CU的所有PU都共用一個Merge候選列表，這與2N×2N預測單元的Merge候選列表相同。
1.1.2構建空間Merge候選
在空間Merge候選的推導中，在位於圖2所示位置的候選中最多選擇四個Merge候選。推導順序為A1 、B1 、B0 、A0 和B2 。只有當位置A1 、B1 、B0 、A0 的任何PU不可用（例如，因為它屬於另一個條帶或片（tile））或是內部編碼時，才考慮位置B2 。在增加A1 位置的候選後，對剩餘候選的增加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在列表之外，從而提高編碼效率。
為了降低計算的複雜度，在所提到的冗餘檢查中並不考慮所有可能的候選對。相反，只有與圖3中的箭頭連結的對才會被考慮，並且只有當用於冗餘檢查的對應候選沒有相同的運動資訊時，才將候選添加到列表中。複製運動資訊的另一個來源是與2Nx2N不同的分區相關的「第二PU」。例如，圖4A和4B分別描述了N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時，對於列表構建不考慮A1位置的候選。在一些實施例中，添加此候選可能導致兩個具有相同運動資訊的預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。同樣地，當當前PU被劃分為2N×N時，不考慮位置B1 。
1.1.3構建時域Merge候選
在此步驟中，只有一個候選添加到列表中。特別地，在這個時域Merge候選的推導中，基於與給定參考圖片列表中當前圖片具有最小POC差異的共位PU導出了縮放運動向量。用於推導共位元PU的參考圖片列表在條帶標頭中顯式地發信令。
圖5示出了時域Merge候選（如虛線所示）的縮放運動向量的推導示例，其使用POC距離tb和td從共位PU的運動向量進行縮放，其中tb定義為當前圖片的參考圖片和當前圖片之間的POC差異，並且td定義為共位元圖片的參考圖片與共位元圖片之間的POC差異。時域Merge候選的參考圖片索引設置為零。對於B條帶，得到兩個運動向量（一個是對於參考圖片列表0，另一個是對於參考圖片列表1）並將其組合使其成為雙向預測Merge候選。
在屬於參考幀的共位PU（Y）中，在候選C0 和 C1 之間選擇時域候選的位置，如圖6所示。如果位置C0 處的PU不可用、內部編碼或在當前CTU之外，則使用位置C1 。否則，位置C0 被用於時域Merge候選的推導。
1.1.4構建附加類型的Merge候選
除了空時Merge候選，還有兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選生成的。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考圖片列表運動參數相結合，生成組合雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。
圖7示出了此過程的一個示例，其中原始列表（710，在左側）中具有MVL0和refIdxL0或MVL1和refIdxL1的兩個候選被用於創建添加到最終列表（720，在右側）中的組合雙向預測Merge候選。
插入零運動候選以填充Merge候選列表中的其餘條目，從而達到MaxNumMergeCand的容量。這些候選具有零空間位移和從零開始並且每次將新的零運動候選添加到列表中時都會增加的參考圖片索引。這些候選使用的參考幀的數目對於單向預測和雙向預測分別是1幀和2幀。在一些實施例中，對這些候選不執行冗餘檢查。
1.1.5並行處理的運動估計區域的示例
為了加快編碼處理，可以並存執行運動估計，從而同時推導給定區域內所有預測單元的運動向量。從空間鄰域推導Merge候選可能會干擾並行處理，因為一個預測單元在完成相關運動估計之前無法從相鄰的PU推導運動參數。為了緩和編碼效率和處理延遲之間的平衡，可以定義運動估計區域（MER）。可使用語法元素「log2_parallel_merge_level_minus2」 在圖片參數集（PPS）中對MER的尺寸中發信令。當定義MER時，落入同一區域的Merge候選標記為不可用，並且因此在列表構建中不考慮。
1.2 高級運動向量預測（AMVP）的實施例
AMVP利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。首先通過檢查左上方的時域相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零向量以使候選列表長度恒定來構建運動向量候選列表。然後，編碼器可以從候選列表中選擇最佳的預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，最佳運動向量候選的索引使用截斷的一元進行編碼。在這種情況下要編碼的最大值是2（參見圖8）。在下面的章節中，將詳細介紹運動向量預測候選的推導過程。
1.2.1構建運動向量預測候選的示例
圖8概括了運動向量預測候選的推導過程，並且以refidx為輸入對每個參考圖片列表進行實現。
在運動向量預測中，考慮了兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選的推導，基於位於如先前在圖2中所示的五個不同位置的每個PU的運動向量最終推推導兩個運動向量候選。
對於時域運動向量候選的推導，從兩個候選中選擇一個運動向量候選，這兩個候選是基於兩個不同的共位位置推推導的。在作出第一個空時候選列表後，移除列表中重複的運動向量候選。如果潛在候選的數量大於二，則從列表中移除相關聯的參考圖片列表中參考圖片索引大於1的運動向量候選。如果空時運動向量候選數小於二，則會在列表中添加附加的零運動向量候選。
1.2.2構建空間運動向量候選
在推導空間運動向量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選是從先前在圖2中所示的位置上的PU推導出的，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A0 、A1 、以及縮放的A0 、縮放的A1 。當前PU上面的推導順序定義為B0 、B1 、B2 、縮放的 B0 、縮放的B1 、縮放的B2 。因此，每側有四種情況可以用作運動向量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下：
--無空間縮放
（1）相同的參考圖片列表，並且相同的參考圖片索引（相同的POC）
（2）不同的參考圖片列表，但是相同的參考圖片（相同的POC）
--空間縮放
（3）相同的參考圖片列表，但是不同的參考圖片（不同的POC）
（4）不同的參考圖片列表，並且不同的參考圖片（不同的POC）
首先檢查無空間縮放的情況，然後檢查允許空間縮放的情況。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，都會考慮空間縮放，而不考慮參考圖片列表。如果左側候選的所有PU都不可用或是內部編碼，則允許對上述運動向量進行縮放，以幫助左側和上方MV候選的平行推導。否則，不允許對上述運動向量進行空間縮放。
如圖9中的示例所示，對於空間縮放情況，相鄰PU的運動向量以與時域縮放相似的方式縮放。一個區別在於，給出了當前PU的參考圖片列表和索引作為輸入，實際縮放處理與時域縮放處理相同。
1.2.3構建時域運動向量候選
除了參考圖片索引的推導外，時域Merge候選的所有推導過程與空間運動向量候選的推導過程相同（如圖6中的示例所示）。在一些實施例中，向解碼器信令通知參考圖片索引。
2聯合探索模型（JEM）中幀間預測方法的示例
在一些實施例中，使用名為聯合探索模型（JEM）的參考軟體探索未來的視頻編碼技術。在JEM中，基於子塊的預測被用於多種編碼工具中，如仿射預測、可選時域運動向量預測（ATMVP）、空時運動向量預測（STMVP）、雙向光流（BIO）、畫面播放速率上轉換（FRUC）、局部自我調整運動向量解析度（LAMVR）、重疊塊運動補償（OBMC）、局部照明補償（LIC）和解碼器側運動向量細化（DMVR）。
2.1基於子CU的運動向量預測的示例
在具有四叉樹加二叉樹（QTBT）的JEM中，每個CU對於每個預測方向最多可以具有一組運動參數。在一些實施例中，通過將大的CU分割成子CU並推導該大CU的所有子CU的運動資訊，編碼器中考慮了兩種子CU級的運動向量預測方法。可選時域運動向量預測（ATMVP）方法允許每個CU從多個小於共位元參考圖片中當前CU的塊中獲取多組運動資訊。在空時運動向量預測（STMVP）方法中，通過利用時域運動向量預測器和空間鄰接運動向量遞迴地推導子CU的運動向量。在一些實施例中，為了為子CU運動預測的保持更精確的運動場，可能禁用參考幀的運動壓縮。
2.1.1可選時域運動向量預測（ATMVP）的示例
在ATMVP方法中，時域運動向量預測（TMVP）方法是通過從小於當前CU的塊中提取多組運動資訊（包括運動向量和參考索引）來修改的。
圖10示出了CU 1000的ATMVP運動預測處理的示例。ATMVP方法分兩步預測CU 1000內的子CU 1001的運動向量。第一步是用時域向量識別參考圖片1050中的對應塊1051。參考圖片1050也被稱為運動源圖片。第二步是將當前CU 1000劃分成子CU 1001，並從每個子CU對應的塊中獲取運動向量以及每個子CU的參考索引。
在第一步中，參考圖片1050和對應的塊由當前CU 1000的空間相鄰塊的運動資訊確定。為了避免相鄰塊的重複掃描處理，使用當前CU 1000的Merge候選列表中的第一個Merge候選。第一個可用的運動向量及其相關聯的參考索引被設置為時域向量和運動源圖片的索引。這樣，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊（有時稱為共位塊）始終位於相對於當前CU的右下角或中心位置。
在第二步中，通過將時域向量添加到當前CU 的座標中，通過運動源圖片1050中的時域向量識別子CU 1051的對應塊。對於每個子CU，使用其對應塊的運動資訊（例如，覆蓋中心樣本的最小運動網格）來推導子CU的運動資訊。在識別出對應N×N塊的運動資訊後，將其轉換為當前子CU的運動向量和參考索引，與HEVC的TMVP方法相同，其中應用運動縮放和其它處理。例如，解碼器檢查是否滿足低延遲條件（例如，當前圖片的所有參考圖片的POC都小於當前圖片的POC），並可能使用運動向量MVx（例如，與參考圖片列表X對應的運動向量）來為每個子CU預測運動向量MVy（例如，X等於0或1且Y等於1−X）。
2.1.2空時運動向量預測（STMVP）的示例
在STMVP方法中，子CU的運動向量是按照光柵掃描順序遞迴推導的。圖11示出了一個具有四個子塊及相鄰塊的CU的示例。考慮一個8×8的 CU 1100，它包含四個4×4的子CU A（1101）、B（1102）、C（1103）和D（1104）。當前幀中相鄰的4×4的相鄰塊標記為a（1111）、b（1112）、c（1113）和d（1114）。
子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A 1101上方的N×N塊（塊c 1113）。如果該塊c（1113）不可用或幀內編碼，則檢查子CU A（1101）上方的其它N×N塊（從左到右，從塊c 1113處開始）。第二個鄰居是子CU A 1101左側的一個塊（塊b 1112）。如果塊b （1112）不可用或是幀間編碼，則檢查子CU A 1101左側的其它塊（從上到下，從塊b 1112處開始）。每個列表從相鄰塊獲得的運動資訊被縮放到給定列表的第一個參考幀。接下來，按照HEVC中規定的與TMVP相同的程式，推導子塊A 1101的時域運動向量預測（TMVP）。提取塊D 1104處的共位元塊的運動資訊並進行相應的縮放。最後，在檢索和縮放運動資訊後，對每個參考列表分別平均所有可用的運動向量。將平均運動向量指定為當前子CU的運動向量。
2.1.3子CU運動預測模式信令通知的示例
在一些實施例中，子CU模式作為附加的Merge候選模式啟用，並且不需要附加的語法元素來對該模式發信令通知。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和STMVP模式。在其他實施例中，如果序列參數集指示啟用了ATMVP和STMVP，則可能最多使用七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P條帶或B條帶中的每個CU，可能需要對兩個附加Merge候選進行兩次額外的RD檢查。在一些實施例中，例如JEM，Merge索引的所有bin都由CABAC（基於上下文的自我調整二進位算術編碼）進行上下文編碼。在其他實施例中，例如HEVC，只有第一個bin是上下文編碼的，其餘的bin是上下文旁路編碼的。
2.2自我調整運動向量差解析度的示例
在一些實施例中，當在條帶標頭中use_integer_mv_flag等於0時，運動向量差（MVD）（在PU的運動向量和預測運動向量之間）以四分之一亮度樣本為單位發信令。在JEM中，引入了局部自我調整運動向量解析度（LAMVR）。在JEM中，MVD可以用四分之一亮度樣本、整數亮度樣本或四亮度樣本的單位進行編碼。MVD解析度控制在編碼單元（CU）級別，並且MVD解析度標誌有條件地為每個至少有一個非零MVD分量的CU發信令。
對於具有至少一個非零MVD分量的CU，第一個標誌將發信令以指示CU中是否使用四分之一亮度樣本MV精度。當第一個標誌（等於1）指示不使用四分之一亮度樣本MV精度時，另一個標誌發信令以指示是使用整數亮度樣本MV精度還是使用四亮度樣本MV精度。
當CU的第一個MVD解析度標誌為零或沒有為CU編碼（意味著CU中的所有MVD都為零）時，CU使用四分之一亮度樣本MV解析度。當一個CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，該CU的AMVP候選列表中的MVP將取整到對應的精度。
在編碼器中，CU級別的RD檢查用於確定哪個MVD解析度將用於CU。也就是說，對每個MVD解析度執行三次CU級別的RD檢查。為了加快編碼器速度，在JEM中應用以下編碼方案。
--在對具有正常四分之一亮度採樣MVD解析度的CU進行RD檢查期間，儲存當前CU（整數亮度採樣精度）的運動資訊。在對具有整數亮度樣本和4 亮度樣本MVD解析度的同一個CU進行RD檢查時，將儲存的運動資訊（取整後）用作進一步小範圍運動向量細化的起始點，從而使耗時的運動估計處理不會重複三次。
--有條件地調用具有4 亮度樣本MVD解析度的CU的RD檢查。對於CU，當整數亮度樣本MVD解析度的RD檢查成本遠大於四分之一亮度樣本MVD解析度的RD檢查成本時，將跳過對CU的4 亮度樣本MVD解析度的RD檢查。
2.3更高運動向量儲存精度的示例
在HEVC中，運動向量精度是四分之一像素（4:2:0視頻的四分之一亮度樣本和八分之一色度樣本）。在JEM中，內部運動向量儲存和Merge候選的精度增加到1/16像素。較高運動向量精度（1/16像素）用於以跳躍/Merge模式編碼的CU的運動補償幀間預測。對於正常AMVP模式編碼的CU，使用整數像素或四分之一像素運動。
具有與HEVC運動補償內插濾波器相同的濾波器長度和歸一化因數的SHVC上採樣內插濾波器被用作附加分數像素位置的運動補償內插濾波器。在JEM中色度分量運動向量精度是1/32樣本，通過使用兩個相鄰1/16像素分數位置的濾波器的平均推導出1/32像素分數位置的附加內插濾波器。
2.4 重疊塊運動補償（OBMC）的示例
在JEM中，可以使用CU級別的語法打開和關閉OBMC。當OBMC用於JEM時，OBMC用於所有運動補償（MC）塊邊界，但CU的右邊界和底邊界除外。此外，它還適用於亮度和色度分量。在JEM中，MC塊對應於編碼塊。當CU用子CU模式（包括子CU MERGE、仿射和FRUC模式）編碼時，CU的每個子塊都是MC塊。為了用統一的方式處理CU邊界，在所有MC塊邊界的子塊級別執行OBMC，其中子塊尺寸設置為等於4×4，如圖12A和12B所示。
圖12A示出了在CU/PU邊界處的子塊，並且陰影線的子塊是應用OBMC的地方，同樣地，圖12B示出了在ATMVP模式下的子PU。
當OBMC應用於當前子塊時，除了當前運動向量外，四個相連的相鄰子塊的運動向量（如果可用且與當前運動向量不同）也可用於推導當前子塊的預測塊。將這些基於多個運動向量的多個預測塊組合起來，以生成當前子塊的最終預測信號。
基於相鄰子塊運動向量的預測塊表示為PN，其中N表示相鄰上、下、左右子塊的索引，並且基於當前子塊運動向量的預測塊表示為PC。當PN基於包含與當前子塊相同的運動資訊的相鄰子塊的運動資訊時，OBMC不從PN處執行的。否則，每個PN的樣本都添加到PC中的相同樣本中，即將PN的四行/列添加到PC。PN使用權重因數{1/4, 1/8, 1/16, 1/32}，PC使用權重因數{3/4, 7/8, 15/16, 31/32}。例外情況是小MC塊（即編碼塊的高度或寬度等於4或CU是用子CU模式編碼的），對此在PC中只添加PN的兩行/列。在這種情況下，PN使用權重因數{1/4, 1/8}，PC使用權重因數{3/4, 7/8}。對於基於垂直（水平）相鄰子塊的運動向量生成的PN，將PN的同一行（列）中的樣本以相同的權重因數添加到PC中。
在JEM中，對於尺寸小於或等於256 亮度樣本的CU，會對CU級別標誌發信令，以指示當前CU是否應用OBMC。對於尺寸大於256 亮度樣本或未使用AMVP模式編碼的CU，預設情況下應用OBMC。在編碼器處，當OBMC應用於CU時，在運動估計階段會考慮其影響。使用上鄰塊和左鄰塊的運動資訊通過OBMC形成的預測信號被用來補償當前CU的原始信號的上邊界和左邊界，並且然後應用正常的運動估計處理。
2.5仿射運動補償預測的示例
在HEVC中，運動補償預測（MCP）僅應用平移運動模型。然而，相機和物件可能具有多種運動，例如放大/縮小、旋轉、透視運動和/或其他不規則運動。另一方面，JEM應用了簡化的仿射變換運動補償預測。圖13示出了由兩個控制點運動向量V0 和 V1描述的塊1300的仿射運動場的例子。塊1300的運動向量場（MVF）可以由以下等式描述：
等式（1）
如圖13所示，（）是左上角控制點的運動向量，並且（）是右上角控制點的運動向量。為了簡化運動補償預測，可以應用基於子塊的仿射變換預測。子塊尺寸M×N推導如下：
等式（2）
這裡，MVPre是運動向量分數精度（例如，JEM中的1/16）。（）是左下控制點的運動向量，其根據等式（1）計算。如果需要，M和N可以被向下調節使其分別作為w和h的除數。
圖14示出了塊1400的每個子塊的仿射運動向量場（MVF）的例子。為了推導出每個M×N子塊的運動向量，可以根據等式（1）計算每個子塊的中心樣本的運動向量，並且四捨五入到運動向量分數精度（例如，JEM中的1/16）。然後可以應用運動補償內插濾波器，利用推導出的運動向量生成各子塊的預測。在MCP之後，對每個子塊的高精度運動向量進行取整，並將其保存為與正常運動向量相同的精度。
在JEM中，有兩個仿射運動模式：AF_INTER模式和AF_Merge模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位流中，CU級別的仿射標誌被發信令，以指示是否使用AF_INTER模式。在AF_INTER模式中，使用相鄰的塊構建具有運動向量對的候選列表。
圖15示出了在AF_INTER模式中塊1500的運動向量預測（MVP）的例子。如圖15所示，v0從子塊A、B或C的運動向量中選擇。可以根據參考列表對相鄰塊的運動向量進行縮放。也可以根據相鄰塊參考的圖片順序計數（POC）、當前CU參考的POC和當前CU的POC之間的關係對運動向量進行縮放。從相鄰的子塊D和E中選擇v1的方法類似。當候選列表的數目小於2時，該列表由複製每個AMVP候選組成的運動向量對來填充。當候選列表大於2時，可以首先根據相鄰的運動向量對候選進行排序（例如，基於一對候選中兩個運動向量的相似性）。在一些實現中，保留前兩個候選。在一些實施例中，使用速率失真（RD）成本檢查來確定選擇哪個運動向量對候選作為當前CU的控制點運動向量預測（CPMVP）。可以在位流中發出指示CPMVP在候選列表中的位置的索引。在確定了當前仿射CU的CPMVP後，應用仿射運動估計，並且找到控制點運動向量（CPMV）。然後，在位元流中對CPMV和CPMVP的差異發信令。
在AF_INTER模式中，當使用4/6參數仿射模式時，需要2/3個控制點，因此需要為這些控制點編碼2/3 個MVD，分別如圖16A和16B所示。在現有實現中，MV可以如下導出，例如，它從mvd0 預測mvd1 和mvd2 。
在一些實施例中，並且在編碼器處，反覆運算地導出AF_INTER的MVD。 如果假設MVD推導過程被反覆運算n次，那麼最終的MVD如下計算，其中ai 和bi 是估計的仿射參數，並且mvd[k]h 和mvd[k]v 是在第i次反覆運算中導出的mvdk (k = 0, 1)的水平和垂直分量。
等式（3）
等式（4）
因此，在該實現中，從mvd0 預測mvd1 ，對於mvd1 僅編碼(,)。
當在AF_Merge模式下應用CU時，它從有效的相鄰重構塊中獲取用仿射模式編碼的第一個塊。圖17A示出了當前編碼單元CU 1700的候選塊的選擇順序的例子。如圖17A所示，選擇順序可以是從當前CU 1700的左（1701）、上（1702）、右上（1703）、左下（1704）到左上（1701）。圖17B示出了在AF_Merge模式中當前CU 1700候選塊的另一個例子。如果相鄰的左下塊1701以仿射模式編碼，如圖17B所示，則導出包含子塊1701的CU左上角、右上角和左下角的運動向量v2、v3和v4。當前CU 1700左上角的運動向量v0是基於v2、v3和v4計算的。可以相應地計算當前CU右上方的運動向量v1。
根據等式（1）中的仿射運動模型計算當前CU 的CPMV v0和v1後，可以生成當前CU的MVF。為了確定當前CU是否使用AF_Merge模式編碼，當至少有一個相鄰的塊以仿射模式編碼時，可以在位元流中發出仿射標誌。
3. 現有實現的缺點
在OBMC的一個現有實現中，在生成最終預測時，固定加權因數用於生成預測樣本PN （通過使用相鄰MV生成的預測）和PC （通過使用當前MV生成的預測）。如果PN 和PC 不相似（例如，在螢幕內容編碼中），這可能是有問題的，因為大的差異可能導致偽影像。
在另一現有實現中，並且對於未用子塊模式編碼的PU / CU，例如，PU / CU內的所有子塊具有相同的運動資訊，則不能對不在PU / CU邊界的左側或上方的子塊執行OBMC。當以幀內模式編碼相鄰塊時，即使在PU / CU邊界的左側或上方的子塊也不能執行OBMC。
4. 基於時域鄰居的OBMC的示例方法
當前公開的技術的實施例克服了現有實現的缺點，從而提供具有更高編碼效率的視頻編碼。基於所公開的技術，基於時域相鄰塊的OBMC處理可以增強現有和未來的視頻編碼標準，在以下針對各種實現所描述的示例中闡明。 以下提供的所公開技術的示例解釋了一般概念，並不意圖被解釋為限制。在示例中，除非明確地相反指示，否則可以組合這些示例中描述的各種特徵。
示例1. 在一個示例中，除了與當前塊相關聯的運動資訊之外，一個塊的預測塊的生成還取決於時域相鄰塊的運動資訊。
提出的方法的示例使用
（a）在一個示例中，在OBMC處理中使用時域相鄰塊的運動資訊（簡稱為時域運動資訊）來生成PN。
（b）在一個示例中，對於利用基於子塊的編碼工具（例如，ATMVP）編碼的塊，除了取決於其自身的運動資訊、來自其周圍子塊的運動資訊之外，子塊的最終預測塊的生成還可以取決於時域相鄰塊的運動資訊。
（c）可替代地，時域運動資訊的使用僅可以應用於不使用子塊編碼工具編碼的塊，例如， PU / CU內的所有子塊具有相同的運動資訊。
（d）在一個示例中，時域相鄰塊的運動資訊（如圖18中所示）可用於生成當前塊的部分的最終預測塊。在另一個示例中，對於如圖19A和圖19B中所示的PU / CU的右下區域，可以使用時域運動資訊。
（e）在一個示例中，OBMC處理中的時域運動資訊的使用還可以取決於空間相鄰塊的運動資訊的可用性。在一個示例中，如果PU / CU的左和/或上方相鄰塊/子塊是幀內編碼的，則可使用時域相鄰塊的運動資訊來生成PU的左/上邊界的PN。
（f）在一個示例中，如果當前塊的運動資訊是從相同的時域相鄰塊導出的，則可以自動禁用所提出的方法，例如，當前塊用Merge模式編碼、其運動資訊來自TMVP處理、並且在所提出的方法中定義的時域相鄰塊是用於TMVP處理的共位元圖片中的共位元時域相鄰塊。
時域相鄰塊的示例實施例
（g）在一個示例中，時域相鄰塊位於在SPS / PPS / VPS或條帶標頭中信令通知的共位元圖片中。
（i）可替代地，時域相鄰塊位於預定義的參考圖片中。例如，列表0或列表1中的第一個參考圖片。
（ii）可替代地，時域相鄰塊位於一個或多個參考圖片中，並且在SPS / PPS / VPS或條帶標頭中信令通知這些圖片的指示。
（h）在一個示例中，時域相鄰塊是所選參考圖片中的共位元塊。可替代地，時域相鄰塊由當前PU / CU的MV或縮放的MV識別。
（i）在一個示例中，如果用於識別時域相鄰塊的所選參考圖片在當前圖片的參考圖片列表X中，則列表X的MV（如果需要，則縮放）被用於識別時域相鄰塊。如果列表X的MV不可用，則列表1-X的MV（如果需要，則縮放）被用於識別時域相鄰塊。
（ii）在一個示例中，如果用於識別時域相鄰塊的所選參考圖片在當前圖片的參考圖片列表0和列表1中，則首先檢查列表0（1）的MV，然後檢查列表1（0）的MV。第一個可用的MV（如果需要，則縮放）被用於識別時域相鄰塊。
（iii）在一個示例中，如果用於識別時域相鄰塊的所選參考圖片與當前PU的參考圖片相同，則指向該參考圖片的MV被用於識別時域相鄰塊。
（i）在一個示例中，時域相鄰塊的運動向量被縮放到當前PU / CU的相同參考圖片，並隨後被用於OBMC。
（i）可替代地，時域相鄰塊的運動向量被縮放到一些預定義的參考圖片，例如列表0或列表1中的第一參考圖片。
（ii）可替代地，時域相鄰塊的運動向量被縮放到在SPS / PPS / VPS或條帶標頭中信令通知的一個或多個參考圖片。
示例2.在一個示例中，一個塊的預測塊的生成可以依賴於當前塊的運動資訊和相鄰塊的幀內預測模式。
（a）在一個示例中，在OBMC處理中，如果當前PU / CU用幀間模式編碼，並且其相鄰塊/子塊用幀內模式編碼，則相鄰塊/子塊的幀內模式和重構樣本被用於為對應的上/左PU邊界塊/子塊（或整個PU）生成PN。然後，執行OBMC。
示例3.在一個示例中，一個塊的預測塊的生成可以依賴於相鄰塊的運動資訊和當前塊的幀內預測模式。
（a）可替代地，如果當前PU / CU用幀內模式編碼，並且其相鄰塊/子塊用幀間模式編碼，則相鄰塊/子塊的運動資訊被用於為對應的上/左PU/CU邊界塊/子塊（或整個PU）生成PN。
（i）可替代地，另外，空間相鄰塊/子塊的運動資訊被用於為上/左PU / CU邊界子塊生成PN，而時域相鄰塊/子塊的運動資訊被用於為其他子塊生成PN。
（b）可替代地，如果當前PU / CU用幀內模式編碼，並且其相鄰塊/子塊也用幀內模式編碼，則相鄰塊/子塊的幀內模式和重構樣本被用於為對應的上/左PU / CU邊界塊/子塊（或整個PU）生成PN。
（i）可替代地，另外，時域相鄰塊/子塊的運動資訊被用於為不在上/左PU / CU邊界的所有子塊生成PN。
（ii）可替代地，時域相鄰塊的運動資訊被用於為整個PU / CU生成PN。
示例4.當由空間相鄰塊的MV（加權因數由W1表示）、或如第一示例所請求的時域MV（加權因數由W2表示）、或如第2/3示例中所請求的幀內預測（加權因數由W3表示）生成PN 時，建議OBMC中的PN 的加權因數不相同。
（a）在一個示例中，W1> W2> W3。
（b）可替代地，W2 = W3。
（c）可替代地，權重還可以取決於其他資訊，例如行/列到塊邊界的距離、塊尺寸/塊形狀/編碼模式等。
（d）用於由時域運動資訊或幀內模式生成的預測塊的權重可以在VPS / SPS / PPS /條帶標頭中信令通知或預定義。
示例5.建議OBMC中PN的加權因數取決於PN 和PC 之間的差異（由Pdiff 表示）。
（a）在一個示例中，可以從預定義的加權因子集（例如{1/32, 1/16, 1/8, 1/4，1/2}）中自我調整地選擇加權因數。
（b）在一個示例中，將單獨的權重分配給每個像素，將較大的權重（即，更接近1/2）WN 分配給更小的|Pdiff |的PN ，反之亦然（由WC 表示的PC 的權重等於1-WN ）。
（c）在一個示例中，將一個相同的權重分配給一組像素。
（i）在一個示例中，一列/排是一組。
（ii）在一個實例中，若干列/排是一組。
（iii）在一個示例中，尺寸為M×N的子塊是一組，其中M和N是正整數。
（iv）在一個示例中，具有相似值的像素被分組在一起。例如，具有 [Vmax i Vmin i ]範圍內的PC （或PN ）值的像素形成第i組。
（v）在一個示例中，具有相似Pdiff 的像素被分組在一起。例如，具有[Vmax i Vmin i ]範圍內的|Pdiff |值的像素形成第i組。
（vi）在一個示例中，權重取決於組內所有像素的平均| Pdiff |，並且將較大的權重分配給較小平均|Pdiff |的PN 。
（vii）在一個示例中，當PN 與PC 完全不同時，例如，|Pdiff |的平均值大於閾值T，其中T> 0，OBMC被禁用。
（viii）可替代地，加權因數不是從預定義的集合中選擇的，而是根據像素位置和|Pdiff |的函數來計算。
（d）在一個示例中，對於從一個相同的相鄰運動資訊預測的所有PN ，權重是相同的，並且它取決於相鄰運動資訊和當前運動資訊之間的差異。
（i）在一個示例中，如果相鄰運動和當前運動使用不同的參考圖片，則將較大/較小的權重分配給PN 。
（ii）在一個示例中，如果相鄰運動和當前運動使用相同的參考圖片，但運動向量完全不同，則將較大/較小的權重分配給PN。
示例6.所提出的方法可以應用於某些模式、塊尺寸/形狀和/或某些子塊尺寸。
（a）所提出的方法可以應用於某些模式，例如傳統的平移運動（例如，禁用仿射模式）。
（b）所提出的方法可以應用於某些塊尺寸。
（i）在一個示例中，其僅應用於具有w×h≥T的塊，其中w和h是當前塊的寬度和高度。
（ii）在另一個示例中，它僅應用於w≥T且h≥T的塊。
（c）可以在進一步的條件下調用所提出的方法的使用，例如，基於塊尺寸/塊形狀/編碼模式/條帶類型/低延遲校驗標記/時域層等。
示例7.在一個示例中，所提出的方法可以應用於所有顏色（或色度）分量。可替代地，它們可以僅應用於某些顏色分量。例如，它們可能僅應用於亮度分量。
示例8.在一個示例中，可以在VPS / SPS / PPS /條帶標頭/ CTU / CU / CTU組/ CU組中從編碼器向解碼器信令通知是否以及如何應用所提出的方法。
以上描述的示例可以併入下面描述的方法的上下文中，例如方法2000，其可以在視頻解碼器或視訊轉碼器處實現。
圖20示出了用於視頻解碼的示例性方法的流程圖。方法2000包括：在步驟2010中，基於至少兩個臨時預測塊（temporary prediction block）的加權和，生成當前視頻塊的預測塊。在一些實施例中，至少兩個臨時預測塊中的第一個基於與當前視頻塊相關聯的第一運動資訊，並且至少兩個臨時預測塊中的第二個基於與當前視頻塊的至少一個相鄰塊相關聯的第二運動資訊。
方法2000包括：在步驟2020中，基於預測塊執行當前視頻塊與當前視頻塊的位元流表示之間的轉換。
在一些實施例中，至少一個相鄰塊包括時域相鄰塊。
在一些實施例中，第二臨時預測塊的加權因數基於至少一個相鄰塊的位置或編碼模式。
在本文描述的方法中，在一些實施例中，轉換可以包括對視頻塊和視頻進行編碼以生成編碼表示或位元流。在一些實施例中，轉換可以包括對編碼表示或位元流進行解碼以生成視頻塊的像素值。在一些實施例中，轉換可以是轉碼操作，其中視頻表示的位元速率或格式被改變。
5. 所公開技術的示例實現
圖21是視頻處理設備2100的方塊圖。設備2100可用於實現本文描述的一個或多個方法。裝置2100可以實施在智慧手機，平板電腦，電腦，物聯網（IoT）接收器等中。 裝置2100可以包括一個或多個處理器2102，一個或多個記憶體2104和視頻處理電路2106.處理器2102可以被配置為實現在以下描述的一個或多個方法（包括但不限於，方法2000）。記憶體2104可以用於儲存用於實現這裡描述的方法和技術的資料和代碼。視頻處理電路2106可用於在硬體電路中實現本文件中描述的一些技術。
圖22是示出示例視頻處理系統2200的方塊圖，其中可以實施本文公開的各種技術。各種實現可能包括系統2200的部分或全部元件。系統2200可包括用於接收視頻內容的輸入2202。視頻內容可以原始或未壓縮格式接收，例如8位或10位元多分量像素值，或者可以壓縮或編碼格式接收。輸入2202可以表示網路介面、週邊匯流排界面或儲存介面。網路介面的示例包括諸如乙太網、無源光網路（PON）等的有線介面，以及諸如Wi-Fi或蜂窩介面的無線介面。
系統2200可包括編碼元件2204，其可實現本文中所描述的各種編碼或編碼方法。編碼元件2204可以降低從輸入2202到編碼元件2204的輸出的視頻的平均位元速率，以產生視頻的編碼表示。因此，編碼技術有時被稱為視訊壓縮或視頻轉碼技術。編碼元件2204的輸出可以被儲存，也可以通過連接的通信進行傳輸，如元件2206所示。輸入2202處接收的視頻的儲存或通信位元流（或編碼）表示可由元件2208用於生成像素值或發送到顯示介面2210的可顯示視頻。從位元流表示生成使用者可觀看視頻的處理有時稱為視頻解壓縮。此外，儘管某些視頻處理操作被稱為「編碼」操作或工具，但應當理解的是，編碼工具或操作被用於編碼器處，並且逆向編碼結果的相應的解碼工具或操作將由解碼器執行。
週邊匯流排界面或顯示介面的示例可以包括通用序列匯流排（USB）或高清晰度多媒體介面（HDMI）或顯示埠等。儲存介面的示例包括SATA（串列高級技術附件）、PCI、IDE介面等。本文中所述的技術可實施在各種電子設備中，例如行動電話、筆記型電腦、智慧手機或其他能夠執行數位資料處理和/或視頻顯示的設備。
在一些實施例中，可以使用如關於圖21所描述的在硬體平臺上實現的裝置來實現該視頻編碼方法。
從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於申請專利範圍的限定。
本專利文件中描述的主題的實現和功能操作可以在各種系統、數位電子電路、或電腦軟體、韌體或硬體中實現，包括本說明書中所公開的結構及其結構等效體，或其中一個或多個的組合。本說明說中描述的主題的實現可以實現為一個或多個電腦程式產品，即一個或多個編碼在有形的且非揮發的電腦可讀介質上的電腦程式指令的模組，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀儲存基板、存放裝置、影響機器可讀傳播信號的物質組成或其中一個或其中多個的組合。術語「資料處理單元」或「資料處理裝置」包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器韌體的代碼、協定疊、資料庫管理系統、作業系統或其中一個或多個的組合。
電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的檔對應。程式可以儲存在保存其他程式或資料的檔的部分中（例如，儲存在標記語言文件中的一個或多個腳本）、專用於該程式的單個檔中、或多個協調檔（例如，儲存一個或多個模組、副程式或部分代碼的檔）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站上或分佈在多個網站上，並通過通信網路互連。
本說明書中描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行，該處理器執行一個或多個電腦程式，通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。
例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和儲存指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於儲存資料的大型存放區設備，例如，磁片、磁光碟或光碟，或通過操作耦合到一個或多個大型存放區設備來從其接收資料或將資料傳輸到一個或多個大型存放區設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非揮發性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。
意圖在於本說明書和附圖僅被視為示例性的，其中示例性意味著示例。如本文所用，「或」的使用旨在包括「和/或」，除非上下文另有明確說明。
雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或申請專利範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中移除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以指向子組合或子組合的變體。
同樣，儘管附圖中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或循序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。
710、720:列表 1000、1001、1100、1700:CU 1050:圖片 1051:對應塊 1300、1400、1500、a、b、c、d:塊 1701、1702、1703、1704、1705、A、B、C、D:子CU 2000:方法 2010、2020:步驟 2100:硬體設備 2102:處理器 2104:記憶體 2106:視訊處理電路 2200:系統 2202:輸入 2204:編碼元件 2206、2208:元件 2210:顯示介面
圖1示出了構建Merge候選列表的示例。 圖2示出了空間候選的位置的示例。 圖3示出了接受空間Merge候選的冗餘檢查的候選對的示例。 圖4A和圖4B示出了基於當前塊的尺寸和形狀的第二預測單元（PU）的位置示例。 圖5示出了時域Merge候選的運動向量縮放示例。 圖6示出了時域Merge候選的候選位置示例。 圖7示出了生成組合的雙向預測Merge候選的示例。 圖8示出了構建運動向量預測候選的示例。 圖9示出了空間運動向量候選的運動向量縮放示例。 圖10示出了使用編碼單元（CU）的可選時域運動向量預測（ATMVP）演算法的運動預測示例。 圖11示出了空時運動向量預測（STMVP）演算法使用的帶有子塊和相鄰塊的編碼單元（CU）的示例。 圖12A和12B示出了當使用重疊塊運動補償（OBMC）演算法時子塊的示例快照。 圖13示出了簡化的仿射運動模型的示例。 圖14示出了每個子塊的仿射運動向量場（MVF）的示例。 圖15示出了AF_INTER仿射運動模式的運動向量預測（MVP）的示例。 圖16A和16B分別示出了4參數和6參數的仿射模型的示例。 圖17A和17B示出了AF_Merge仿射運動模式的示例候選。 圖18示出了當前塊的時域相鄰塊的示例。 圖19A和19B是來自用於預測單元（PU）或編碼單元（CU）的OBMC的空間和時域相鄰塊的運動資訊的示例。 圖20示出了視頻編碼的示例方法的流程圖。 圖21是用於實現本文所述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺的示例的方塊圖。 圖22是可以實現所公開的技術的示例視頻處理系統的方塊圖。
2000:方法
2010、2020:步驟

Claims (39)

  1. 一種用於視頻處理的方法，包括：基於至少兩個臨時預測塊的加權和，生成當前視頻塊的預測塊，其中所述至少兩個臨時預測塊中的第一個臨時預測塊基於與所述當前視頻塊相關聯的第一運動資訊，其中所述至少兩個臨時預測塊中的第二個臨時預測塊基於與所述當前視頻塊的至少一個相鄰塊相關聯的第二運動資訊，並且其中所述至少一個相鄰塊包括時域相鄰塊；以及基於所述預測塊，執行所述當前視頻塊與所述當前視頻塊的位元流表示之間的轉換，其中，所述至少一個相鄰塊是用幀內模式編碼的，並且所述至少一個相鄰塊的幀內模式和重構樣本被用於生成所述第二個臨時預測塊；以及其中，所述第二個臨時預測塊的加權因數是基於所述至少一個相鄰塊是使用幀內預測模式編碼的確定的加權因數。
  2. 根據申請專利範圍第1項所述的方法，其中，所述當前視頻塊是用基於子塊的編碼工具編碼的，並且其中所述當前視頻塊的當前子塊的最終預測基於至少所述當前子塊的時域相鄰塊的運動資訊。
  3. 根據申請專利範圍第1項所述的方法，其中，編碼所述當前視頻塊而不使用基於子塊的編碼工具。
  4. 根據申請專利範圍第1項所述的方法，其中，所述當前視頻塊的子塊的子集中的每個子塊的最終預測基於所述第二運動資訊，並且其中所述子集不包括所述當前視頻塊的至少一個子塊。
  5. 根據申請專利範圍第1項所述的方法，其中，執行所述轉換還基於與所述當前視頻塊的至少一個空間相鄰塊相關聯的運動資訊的可用性的確定、與所述至少一個空間相鄰塊相關聯的第三運動資訊。
  6. 根據申請專利範圍第1項所述的方法，其中，所述第一運動資訊和所述第二運動資訊不是從相同的預測處理中推導出的。
  7. 根據申請專利範圍第1項所述的方法，其中，所述時域相鄰塊位於在序列參數集(SPS)、圖片參數集(PPS)、視頻參數集(VPS)或條帶標頭中信令通知的共位元圖片中。
  8. 根據申請專利範圍第1項所述的方法，其中，所述時域相鄰塊位於預定的參考圖片中。
  9. 根據申請專利範圍第8項所述的方法，其中，所述預定的參考圖片在列表0或列表1中。
  10. 根據申請專利範圍第1項所述的方法，其中，所述時域相鄰塊位於在序列參數集(SPS)、圖片參數集(PPS)、視頻參數集(VPS)、條帶標頭或片標頭中信令通知的多個參考圖片中的一個中。
  11. 根據申請專利範圍第1項所述的方法，其中，所述時域相鄰塊是所選擇的參考圖片中的共位元塊。
  12. 根據申請專利範圍第1項所述的方法，其中，當前預測單元(PU)或編碼單元(CU)包括所述當前視頻塊，並且其中所述當前PU或CU的運動向量包括所述時域相鄰塊的標識。
  13. 根據申請專利範圍第12項所述的方法，其中所述運動向量是縮放運動向量。
  14. 根據申請專利範圍第1項所述的方法，其中，當前預測單元(PU)或編碼單元(CU)包括所述當前視頻塊，其中所述當前PU或CU的運動向量被縮放到所述當前PU或CU的第一參考圖片，並且其中所述時域相鄰塊的運動向量被縮放到所述第一參考圖片。
  15. 根據申請專利範圍第1項所述的方法，其中，所述至少一個相鄰塊的運動向量被縮放到預定的參考圖片。
  16. 根據申請專利範圍第15項所述的方法，其中所述預定的參考圖片是列表0或列表1中的第一個參考圖片。
  17. 根據申請專利範圍第12項所述的方法，其中，所述時域相鄰塊的運動向量被縮放到在序列參數集(SPS)、圖片參數集(PPS)、視頻參數集(VPS)、或條帶標頭中信令通知的多個參考圖片中的一個。
  18. 一種用於視頻處理的方法，包括：基於至少兩個臨時預測塊的加權和，生成當前視頻塊的預測 塊，其中所述至少兩個臨時預測塊中的第一個臨時預測塊基於與所述當前視頻塊相關聯的第一運動資訊，並且其中所述至少兩個臨時預測塊中的第二個臨時預測塊基於與所述當前視頻塊的至少一個相鄰塊相關聯的第二運動資訊；以及基於所述預測塊，執行所述當前視頻塊與所述當前視頻塊的位元流表示之間的轉換，其中，所述第二個臨時預測塊的加權因數基於所述至少一個相鄰塊的位置或編碼模式；其中，所述至少一個相鄰塊是用幀內模式編碼的，並且所述至少一個相鄰塊的幀內模式和重構樣本被用於生成所述第二個臨時預測塊；以及其中，所述加權因數是基於所述至少一個相鄰塊是使用幀內預測模式編碼的確定的加權因數。
  19. 根據申請專利範圍第18項所述的方法，其中，所述加權因數是基於所述至少一個相鄰塊包含所述當前視頻塊的空間相鄰塊的確定的第一加權因數。
  20. 根據申請專利範圍第19項所述的方法，其中，所述加權因數是基於所述至少一個相鄰塊包含所述當前視頻塊的時域相鄰塊的確定的第二加權因數。
  21. 根據申請專利範圍第20項所述的方法，其中，在序列參數集(SPS)、圖片參數集(PPS)、視頻參數集(VPS)或條帶標頭中信令通知所述第二和所述第三加權因數。
  22. 根據申請專利範圍第20項所述的方法，其中，所述第一加權因數大於所述第二加權因數，並且其中所述第二加權因數大於所述第三加權因數。
  23. 根據申請專利範圍第20項所述的方法，其中，所述第二加權因數等於所述第三加權因數。
  24. 根據申請專利範圍第20項所述的方法，其中，所述第一、所述第二或所述第三加權因數還基於所述當前視頻塊的維度。
  25. 根據申請專利範圍第1至24項中任一項所述的方法，其中，基於所述當前視頻塊的編碼模式、所述當前視頻塊的尺寸或形狀、或所述當前視頻塊的子塊的尺寸來執行所述轉換。
  26. 根據申請專利範圍第25項所述的方法，其中，所述當前視頻塊的所述編碼模式包括禁用仿射模式的傳統平移運動。
  27. 根據申請專利範圍第25項所述的方法，其中，所述當前視頻塊的高度和所述當前視頻塊的寬度的乘積大於或等於閾值。
  28. 根據申請專利範圍第25項所述的方法，其中，所述當前視頻塊的高度大於或等於第一閾值，並且所述當前視頻塊的寬度大於或等於第二閾值。
  29. 根據申請專利範圍第25項所述的方法，其中，還基於包括所述當前視頻塊的條帶的條帶類型、低延遲校驗標誌或時域層來執行所述轉換。
  30. 根據申請專利範圍第1至24項中任一項所述的方法，其中，執行所述轉換包括將運動補償處理應用於所述當前視頻塊的亮度分量。
  31. 根據申請專利範圍第1至24項中任一項所述的方法，其中，執行所述轉換包括將運動補償處理應用於所述當前視頻塊的多個色度分量中的一個或多個。
  32. 根據申請專利範圍第1至24項中任一項所述的方法，其中，還基於序列參數集(SPS)、圖片參數集(PPS)、視頻參數集(VPS)、條帶標頭、編碼樹單元(CTU)、編碼單元(CU)、CTU組或CU組中的信令通知來執行所述轉換。
  33. 根據申請專利範圍第1至24項中任一項所述的方法，其中，所述加權和中的一個或多個權重基於所述當前視頻塊內的樣本的座標。
  34. 根據申請專利範圍第1至24項中任一項所述的方法，其中，所述加權和中的一個或多個權重基於所述當前視頻塊內的樣本到所述當前視頻塊的邊界的距離。
  35. 根據申請專利範圍第1至24項中任一項所述的方法，其中，生成所述預測塊是重疊塊運動補償(OBMC)處理的一部分。
  36. 根據申請專利範圍第1至24項中任一項所述的方法，其中，執行所述轉換包括從所述當前視頻塊生成所述位元流表示。
  37. 根據申請專利範圍第1至24項中任一項所述的方法，其中，執行所述轉換包括從所述位元流表示生成所述當前視頻塊。
  38. 一種視頻系統中的裝置，包括處理器和其上儲存了指令的非揮發性記憶體，其中當所述處理器執行所述指令時，使所述處理器實現申請專利範圍第1至37項中的一項或多項中所述的方法。
  39. 一種儲存在非揮發性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於實現申請專利範圍第1至37項中的一項或多項中所述的方法的程式碼。
TW108130510A 2018-08-24 2019-08-26 使用時域鄰居的重疊塊運動補償 TWI815956B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018102163 2018-08-24
WOPCT/CN2018/102163 2018-08-24

Publications (2)

Publication Number Publication Date
TW202025779A TW202025779A (zh) 2020-07-01
TWI815956B true TWI815956B (zh) 2023-09-21

Family

ID=68104713

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108130501A TWI822838B (zh) 2018-08-24 2019-08-26 使用空間鄰居的重疊塊運動補償
TW108130510A TWI815956B (zh) 2018-08-24 2019-08-26 使用時域鄰居的重疊塊運動補償

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108130501A TWI822838B (zh) 2018-08-24 2019-08-26 使用空間鄰居的重疊塊運動補償

Country Status (4)

Country Link
US (2) US11700381B2 (zh)
CN (2) CN110858908B (zh)
TW (2) TWI822838B (zh)
WO (2) WO2020039408A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039408A1 (en) 2018-08-24 2020-02-27 Beijing Bytedance Network Technology Co., Ltd. Overlapped block motion compensation using temporal neighbors
CN114125467A (zh) * 2018-09-13 2022-03-01 华为技术有限公司 一种预测运动信息的解码方法及装置
US11272203B2 (en) 2019-07-23 2022-03-08 Tencent America LLC Method and apparatus for video coding
US11477450B2 (en) * 2019-12-20 2022-10-18 Zte (Uk) Limited Indication of video slice height in video subpictures
CN112218076B (zh) * 2020-10-17 2022-09-06 浙江大华技术股份有限公司 一种视频编码方法、装置、系统及计算机可读存储介质
WO2022251211A1 (en) * 2021-05-24 2022-12-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for overlapped block motion compensation for inter prediction
WO2023207511A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Method and apparatus of adaptive weighting for overlapped block motion compensation in video coding system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101700A1 (ko) * 2016-11-29 2018-06-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
CN102113326A (zh) * 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
CN116708783A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US10750190B2 (en) * 2016-10-11 2020-08-18 Lg Electronics Inc. Video decoding method and device in video coding system
WO2020039408A1 (en) 2018-08-24 2020-02-27 Beijing Bytedance Network Technology Co., Ltd. Overlapped block motion compensation using temporal neighbors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101700A1 (ko) * 2016-11-29 2018-06-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Chun-Chi Chen et.al CE2: Report of OBMC with Motion Merging Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG1 16th Meeting: Torino, IT 14-22 July, 2011 http://phenix.it-sudparis.eu/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F049-v3.zip *

Also Published As

Publication number Publication date
CN110858908A (zh) 2020-03-03
US20210176472A1 (en) 2021-06-10
US20210195205A1 (en) 2021-06-24
WO2020039407A1 (en) 2020-02-27
TWI822838B (zh) 2023-11-21
CN110858901A (zh) 2020-03-03
TW202025779A (zh) 2020-07-01
CN110858908B (zh) 2023-06-27
US11758145B2 (en) 2023-09-12
CN110858901B (zh) 2023-01-20
TW202110188A (zh) 2021-03-01
WO2020039408A1 (en) 2020-02-27
US11700381B2 (en) 2023-07-11

Similar Documents

Publication Publication Date Title
TWI815973B (zh) 具有自我調整運動向量解析度的運動向量精度指示的信令通知
TWI752341B (zh) 不同解碼器側運動矢量推導模式之間的交互
JP7212150B2 (ja) 適応動きベクトル解像度によるアフィンモードへの構文の使用
TWI818086B (zh) 擴展Merge預測
US11778170B2 (en) Temporal gradient calculations in bio
TWI815956B (zh) 使用時域鄰居的重疊塊運動補償
CN110121883B (zh) 在图像编码系统中对图像进行解码的方法和装置
CN113016183B (zh) 用于空域运动候选列表的构建方法
TW201904299A (zh) 運動向量預測
TW202008787A (zh) 基於更新的運動向量的運動預測
TW202017375A (zh) 用於視頻編碼的對稱性雙向預測模式
TWI753280B (zh) Bio中的mv精度
WO2020070729A1 (en) Size restriction based on motion information