TWI750475B - 基於交織預測的視頻處理方法、裝置及記錄媒體 - Google Patents

基於交織預測的視頻處理方法、裝置及記錄媒體 Download PDF

Info

Publication number
TWI750475B
TWI750475B TW108118968A TW108118968A TWI750475B TW I750475 B TWI750475 B TW I750475B TW 108118968 A TW108118968 A TW 108118968A TW 108118968 A TW108118968 A TW 108118968A TW I750475 B TWI750475 B TW I750475B
Authority
TW
Taiwan
Prior art keywords
sub
block
blocks
prediction
video
Prior art date
Application number
TW108118968A
Other languages
English (en)
Other versions
TW202005384A (zh
Inventor
張凱
張莉
劉鴻彬
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202005384A publication Critical patent/TW202005384A/zh
Application granted granted Critical
Publication of TWI750475B publication Critical patent/TWI750475B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Abstract

描述了視頻編碼中與基於子塊的運動預測相關的方法、系統和設備。在一個典型方面，視頻處理方法包括：根據第一模式將視頻塊分割成第一組子塊，根據第二模式將視頻塊分割成第二組子塊，其中第二組子塊中至少一個子塊具有與第一組子塊中的子塊不同的尺寸；並且決定預測塊，該預測塊對應於從第一組子塊預測生成的第一中間預測塊和從第二組子塊預測生成的第二中間預測塊的組合。

Description

基於交織預測的視頻處理方法、裝置及記錄媒體
本申請文件涉及視頻編碼技術、設備和系統。
運動補償（Motion Compensation，MC）是一種視頻處理中的技術，給出先前的和/或將來的幀，通過考慮相機和/或視頻中的對象的運動來預測視頻中的幀。運動補償可以用於視頻資料的編碼以實現視頻壓縮。
本文件公開了與視頻運動補償中基於子塊的運動預測相關的方法、系統和設備。
在一個典型的方面，公開了一種視頻處理方法。該方法包括：根據第一模式將視頻塊分割成第一組子塊，並且根據第二模式將視頻塊分割成第二組子塊。第二組中的至少有一個子塊具有與第一組中的一個子塊不同的尺寸。該方法還包括決定預測塊，該預測塊是從第一組子塊生成的第一中間預測塊和從第二組子塊生成的第二中間預測塊的組合。
在另一個典型的方面，公開了一種視頻處理方法。該方法包括：基於視頻塊的尺寸或與視頻塊相關聯的編碼算法的類型將視頻塊劃分成多個子塊。多個子塊中的一個子塊具有與多個子塊中其他子塊不同的尺寸。該方法還包括通過將編碼算法應用到多個子塊生成運動向量預測，並且使用運動向量預測執行視頻塊的進一步處理。
在另一個典型的方面，公開了一種視頻處理裝置，其包括：處理器，該處理器被配置爲實現本文中所述的方法。
在又一個典型的方面，本文所述的各種技術可以實現爲一種電腦可讀取記錄媒體，其儲存在非暫時性電腦可讀取介質上，該電腦可讀取記錄媒體包括用於實現本文所述方法的程式指令。
在又一個典型的方面，一種視頻解碼裝置，其可以實現本文所述的方法。
在下面的附件、附圖、以及說明書中闡述一個或多個實施例的細節。其他特徵將從說明書和附圖以及權利要求書中顯而易見。
全域運動補償是運動補償技術的變體之一，並且可以用來預測相機的運動。然而，在幀（Frame）內的移動對象並沒有通過全域運動補償的各種實現充分地表示出來。局部運動估計，諸如塊運動補償可以用於解釋幀內的移動對象，其中幀被劃分成像素塊以用於執行運動預測。
基於塊運動補償開發出的基於子塊的預測通過高效視頻編碼（HEVC）附錄I（3D-HEVC）首次引入視頻編碼標準。
圖1繪示基於預測的子塊的示例的示意圖。使用基於子塊（Block）的預測，將塊100諸如編碼單元（CU）或預測單元（PU）劃分爲幾個不重疊的子塊101。不同的子塊可以被分配不同的運動訊息，諸如參考索引或運動向量（MV）。然後對每個子塊分別執行運動補償。
爲了探索HEVC之外的未來視頻編碼技術，視頻編碼專家組（VCEG）和運動圖像專家組（MPEG）于2015年聯合成立了聯合視頻探索小組（JVET）。JVET採用了許多方法，並且將其添加到了名爲聯合探索模型（JEM）的參考軟體中。在JEM中，基於子塊的預測在多種編碼技術中被採用，例如仿射預測、可選時域運動向量預測（ATMVP）、空時運動向量預測（STMVP）、雙向光流（BIO），以及幀速率上轉換（FRUC），其詳細討論如下。
仿射預測（Affine Prediction）
在HEVC中，僅平移運動模型應用於運動補償預測（MCP）。然而，相機和對象可能具有多種運動，例如放大/縮小、旋轉、透視運動和/或其他不規則運動。另一方面，JEM應用了簡化的仿射變換運動補償預測。
圖2繪示由兩個控制點運動向量V0 和V1 描述的塊200的仿射運動場的示例。塊200的運動向量場（Motion Vector Field，MVF）可以由以下等式描述：
Figure 02_image001
… 等式（1）
如圖2所示，（
Figure 02_image003
）是左上角控制點的運動向量，並且（
Figure 02_image005
）是右上角控制點的運動向量。爲了簡化運動補償預測，可以應用基於子塊的仿射變換預測。子塊大小M×N推導如下：
Figure 02_image007
…等式（2）
這裡，MvPre 是運動向量分數精度（例如，JEM中的1/16）。（
Figure 02_image009
）是左下控制點的運動向量，其根據等式（1）計算。如果需要，M和N可以被向下調節使其分別作爲w和h的除數。
圖3繪示塊300的每個子塊的仿射MVF的示例。爲了推導出每個M×N子塊的運動向量，可以根據等式（1）計算每個子塊的中心樣本的運動向量，並且四捨五入到運動向量分數精度（例如，JEM中的1/16）。然後可以應用運動補償插值濾波器，利用推導出的運動向量生成各子塊的預測。在MCP之後，對每個子塊的高精度運動向量進行取整，並將其保存爲與正常運動向量相同的精度。
在JEM中，有兩個仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位流中，CU級別的仿射標識被發信令（signal），以指示是否使用AF_INTER模式。在AF_INTER模式中，使用相鄰的塊構造具有運動向量對
Figure 02_image011
的候選列表。
圖4繪示在AF_INTER模式中塊400的運動向量預測（MVP）的示例。如圖4所示，v0從子塊A、B或C的運動向量中選擇。可以根據參考列表對相鄰塊的運動向量進行縮放。也可以根據相鄰塊參考的圖片順序計數（Picture Order Count，POC）、當前CU參考的POC和當前CU的POC之間的關係對運動向量進行縮放。從相鄰的子塊D和E中選擇v1 的方法類似。如果候選列表的數目小於2，則該列表由複製每個AMVP候選組成的運動向量對來填充。當候選列表大於2時，可以首先根據相鄰的運動向量對候選進行排序（例如，基於一對候選中兩個運動向量的相似性）。在一些實現中，保留前兩個候選。在一些實施例中，使用速率失真（RD）成本檢查來決定選擇哪個運動向量對候選作爲當前CU的控制點運動向量預測（CPMVP）。可以在位流中發信令指示CPMVP在候選列表中的位置的索引。在決定了當前仿射CU的CPMVP後，應用仿射運動估計，並且找到控制點運動向量（CPMV）。然後，在位元流中對CPMV和CPMVP的差異發信令。
當在AF_MERGE模式下應用CU時，它從有效的相鄰重構塊中獲取用仿射模式編碼的第一個塊。圖5A繪示當前CU 500的候選塊的選擇順序的示例。如圖5A所示，選擇順序可以是從當前CU 500的左（501）、上（502）、右上（503）、左下（504）到左上（505）。圖5B繪示在AF_MERGE模式中當前CU 500的候選塊的另一個示例。如果相鄰的左下塊501以仿射模式編碼，如圖5B所示，則導出包含子塊501的CU左上角、右上角和左下角的運動向量v2 、v3 和v4 。當前CU 500左上角的運動向量v0 是基於v2 、v3 和v4 計算的。可以相應地計算當前CU右上方的運動向量v1 。
根據等式（1）中的仿射運動模型計算當前CU的CPMV v0 和v1 後，可以生成當前CU的MVF。爲了識別當前CU是否使用AF_MERGE模式編碼，當至少有一個相鄰的塊以仿射模式編碼時，可以在位元流中發信令仿射標識。
可選時域運動向量預測（ATMVP）
在ATMVP方法中，通過從小於當前CU的塊中提取多組運動訊息（包括運動向量和參考指數），修改時間運動向量預測（TMVP）方法。
圖6繪示CU 600的ATMVP運動預測過程的示例。ATMVP方法分兩步預測CU 600內子CU 601的運動向量。第一步是用時間向量識別參考圖片650中的相應塊651。參考圖片650也稱爲運動源圖片。第二步是將當前的CU 600劃分成子CU 601，並從每個子CU對應的塊中獲取每個子CU的運動向量和參考指數。
在第一步中，參考圖片650和對應的塊由當前CU 600的空間相鄰塊的運動訊息決定。爲了避免相鄰塊的重複掃描處理，使用當前CU 600的MERGE候選列表中的第一MERGE候選。第一可用的運動向量及其相關聯的參考索引被設置爲時間向量和運動源圖片的索引。這樣，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊（有時稱爲並置塊）始終位於相對於當前CU的右下角或中心位置。
在第二步中，通過將時間向量添加到當前CU的坐標中，通過運動源圖片650中的時間向量識別子CU 651的對應塊。對於每個子CU，使用其對應塊的運動訊息（例如，覆蓋中心樣本的最小運動網格）來導出子CU的運動訊息。在識別出對應的N×N塊的運動訊息後，用與HEVC的TMVP同樣方式，將其轉換爲當前子CU的運動向量和參考指數，其中應用運動縮放和其他程序。例如，解碼器檢查是否滿足低延遲條件（例如，當前圖片的所有參考圖片的POC都小于當前圖片的POC），並且可能使用運動向量MVx（例如，與參考圖片列表X對應的運動向量）來預測每個子CU的運動向量MVy（例如，X等於0或1並且Y等於1−X）。
空時運動向量預測（STMVP）
在STMVP方法中，子CU的運動向量按照光柵掃描順序遞歸導出。圖7繪示具有四個子塊的一個CU和相鄰塊的示例。考慮8×8 的CU 700，其包括四個4×4子CU A（701）、B（702）、C（703）和D（704）。當前幀中相鄰的4×4塊標記爲a（711）、b（712）、c（713）和d（714）。
子CU A的運動推導由識別其兩個空間鄰居開始。第一鄰居是子CU A 701上方的N×N塊（塊c 713）。如果該塊c（713）不可用或內部編碼，則檢查子CU A（701）上方的其他N×N塊（從左到右，從塊c 713處開始）。第二個鄰居是子CU A 701左側的一個塊（塊b 712）。如果塊b（712）不可用或是內部編碼，則檢查子CU A 701左側的其他塊（從上到下，從塊b 712處開始）。每個列表從相鄰塊獲得的運動訊息被縮放到給定列表的第一參考幀。接下來，按照HEVC中規定的與TMVP相同的程序，推導出子塊A 701的時間運動向量預測（TMVP）。提取塊D 704處的並置塊的運動訊息並進行相應的縮放。最後，在檢索和縮放運動訊息後，對每個參考列表分別平均所有可用的運動向量。將平均運動向量指定爲當前子CU的運動向量。
雙向光流（BIO）
雙向光流（BIO）法是在分塊運動補償之上對雙向預測進行的樣本方向運動細化。在一些實現中，樣本級的運動細化不使用信令。
設
Figure 02_image013
爲塊運動補償後到參考k（k=0，1）的亮度值，並且
Figure 02_image015
,
Figure 02_image017
分別爲
Figure 02_image013
梯度的水平分量和垂直分量。假設光流是有效的，則運動向量場
Figure 02_image019
由下式給出：
Figure 02_image021
…等式（3）
將此光流等式與每個樣品運動軌跡的埃爾米特插值（Hermite）相結合，得到唯一的三階多項式，該多項式在末端同時匹配函數值
Figure 02_image013
和其導數
Figure 02_image015
，
Figure 02_image017
。該多項式在t=0時的值是BIO預測：
Figure 02_image023
…等式（4）
圖8繪示雙向光流（BIO）方法中的示例光流軌跡。這裡，
Figure 02_image025
和
Figure 02_image027
表示到參考幀的距離。基於Ref0 和Ref1 的POC計算距離
Figure 02_image025
和
Figure 02_image027
：t0=POC(current) − POC(Ref0), t1= POC(Ref1) − POC(current)。如果兩個預測都來自同一個時間方向（都來自過去或都來自未來），則符號是不同的（例如，
Figure 02_image029
）。在這種情況下，如果預測不是來自同一時間點（例如,
Figure 02_image031
），則應用BIO。兩個參考區域都具有非零運動（例如,
Figure 02_image033
），並且塊運動向量與時間距離成比例（例如，
Figure 02_image035
）。
通過最小化A點和B點之間的值的差∆來決定運動向量場
Figure 02_image019
。圖9A-9B繪示運動軌跡與參考幀平面相交的示例。對∆，模型僅使用局部泰勒展開的第一個線性項：
Figure 02_image037
…等式 (5)
上述等式中的所有值取決於樣本位置，表示爲
Figure 02_image039
。假設在局部周圍區域的運動是一致的，那麽Δ可以在以當前預測點（i，j）爲中心的（2M+1）x（2M+1）方形窗口Ω內最小化，其中M等於2：
Figure 02_image041
…等式(6)
對於這個優化問題，JEM使用簡化方法，首先在垂直方向上最小化，然後在水平方向最小化。結果如下：
Figure 02_image043
…等式(7)
Figure 02_image045
…等式(8) 其中，
Figure 02_image047
…等式(9)
爲了避免被零除或很小的值除，可在等式（7）和等式（8）中引入正則化參數r和m：
Figure 02_image049
…等式 (10)
Figure 02_image051
…等式 (11) 這裡，d是視頻樣本的位深度。
爲了使BIO的內存訪問與常規雙向預測運動補償相同，計算當前塊內位置的所有預測和梯度值
Figure 02_image053
，圖9A繪示塊900外部的訪問位置的示例。如圖9A所示，在等式（9）中，以預測區塊邊界上當前預測點爲中心的（2M+1）x（2M+1）的方形窗口Ω需要訪問區塊外的位置。在JEM中，塊外的值
Figure 02_image053
設置爲等於塊內最近的可用值。例如，這可以實現爲填充區域901，如圖9B所示。
使用BIO，可以對每個樣本的運動場進行細化。爲了降低計算複雜度，在JEM中採用了基於塊設計的BIO。運動細化可以基於4x4塊計算。在基於塊的BIO中，可以對4x4塊中所有樣本的等式（9）中的sn值進行聚合，然後將sn的聚合值用於4x4塊的推導的BIO運動向量偏移。更具體地說，下面的等式可以用於基於塊的BIO推導：
Figure 02_image055
…等式（12）
這裡，bk 表示屬於預測塊的第k個4x4塊的樣本組。等式（7）和等式（8）中的sn 替換爲((sn ,bk )＞＞4)以推導相關聯的運動向量偏移。
在某些情況下，由於雜訊或不規則運動，BIO的MV團（regiment）可能不可靠。因此，在BIO中，MV團的大小被固定到一個閾值。該閾值是基於當前圖片的參考圖片是否全部來自一個方向決定的。例如，如果當前圖片的所有參考圖片都來自一個方向，則該閾值的值被設置爲
Figure 02_image057
，否則其被設置爲
Figure 02_image059
。
可以使用與HEVC運動補償處理一致的操作（例如，2D可分離有限脈衝響應（FIR））通過運動補償插值同時計算BIO的梯度。在一些實施例中，2D可分離FIR的輸入是與運動補償處理相同的參考幀，以及根據塊運動向量的分數部分的分數位置（fracX，fracY）。對於水平梯度
Figure 02_image061
，首先使用BIOfilterS對信號進行垂直內插，該BIOfilterS對應於具有去縮放標度位移d-8的分數位置fracY。然後在水平方向上應用梯度濾波器BIOfilterG，該BIOfilterG對應於具有去縮放標度位移18-d的分數位置fracX。對於垂直梯度
Figure 02_image061
，使用BIOfilterG垂直地應用梯度濾波器，該BIOfilterG對應於具有去縮放標度位移d-8的分數位置fracY。然後，然後在水平方向上使用BIOfilterS執行信號替換，該BIOfilterS對應於具有去縮放標度位移18-d的分數位置fracX。用於梯度計算BIOfilterG和信號替換BIOfilterS的插值濾波器的長度可以更短（例如，6-tap），以保持合理的複雜度。表1示出了可用在BIO中塊運動向量的不同分數位置的梯度計算的示例濾波器。表2示出了可用在BIO中預測信號生成的插值示例濾波器。 表1：BIO中用於梯度計算的示例濾波器
Figure 108118968-A0304-0001
 表2：BIO中用於預測信號生成的示例插值濾波器
Figure 108118968-A0304-0002
在JEM中，當兩個預測來自不同的參考圖片時，BIO可應用於所有的雙向預測塊。當爲CU啓用局部照明補償（LIC）時，可以禁用BIO。
在一些實施例中，在正常MC處理之後將OBMC應用於塊。爲了降低計算複雜度，在OBMC處理期間可能不應用BIO。這意味著在OBMC處理期間，當使用自己的MV時，將BIO應用於塊的MC處理，而當使用相鄰塊的MV時，BIO不應用於塊的MC處理。
幀速率上轉換（FRUC）
對於CU，當其MERGE標識爲真時，可以對FRUC標識發信令。當FRUC標識爲假時，可以對MERGE索引發信令並且使用常規MERGE模式。當FRUC標識爲真時，可以對另一個FRUC模式標識發信令來指示將使用哪種方法（例如，雙向匹配或模板匹配）來導出該塊的運動訊息。
在編碼器端，基於對正常MERGE候選所做的RD成本選擇決定是否對CU使用FRUC MERGE模式。例如，通過使用RD成本選擇來檢查CU的多個匹配模式（例如，雙向匹配和模板匹配）。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麽對于CU，FRUC標志設置爲真，並且使用相關的匹配模式。
通常，FRUC MERGE模式中的運動推導處理有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動細化。在CU級，基於雙向匹配或模板匹配，導出整個CU的初始運動向量。首先，生成MV候選列表，並且選擇導致最低匹配成本的候選作爲進一步CU級細化的起點。然後在起始點附近執行基於雙向匹配或模板匹配的局部搜索。將最小匹配成本的MV結果作爲整個CU的MV值。隨後，以導出的CU運動向量爲起點，進一步在子CU級細化運動訊息。
例如，對於W×H CU運動訊息推導執行以下推導過程。在第一階段，推導出了整個W×H CU的MV。在第二階段，該CU進一步被分成M×M子CU。M的值按照（16）計算，D是預先定義的劃分深度，在JEM中默認設置爲3。然後導出每個子CU的MV值。
Figure 02_image063
…等式（13）
圖10繪示在幀速率上轉換（FRUC）方法中使用的雙向匹配的示例。通過在兩張不同的參考圖片（1010，1011）中沿當前CU（1000）的運動軌跡找到兩個塊之間最接近的匹配，使用雙向匹配來獲得當前CU的運動訊息。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0（1001）和MV1（1002）與當前圖片和兩個參考圖片之間的時間距離（例如，TD0（1003）和TD1（1004））成正比。在一些實施例中，當當前圖片1000暫時位於兩個參考圖片（1010，1011）之間並且當前圖片到兩個參考圖片的時間距離相同時，雙向匹配成爲基於鏡像的雙向MV。
圖11繪示在FRUC方法中使用的模板匹配的示例。模板匹配可以用於通過找到當前圖片中的模板（例如，當前CU的頂部和/或左側相鄰塊）與參考圖片1110中的塊（例如，與模板大小相同）之間的最接近匹配來獲取當前CU 1100的運動訊息。除了上述的FRUC MERGE模式外，模板匹配也可以應用於AMVP模式。在JEM和HEVC中，AMVP都具有兩個候選。通過模板匹配方法，可以導出新的候選。如果通過模板匹配新導出的候選與第一個現有的AMVP候選不同，則將其插入AMVP候選列表的最開始處，並且然後將列表大小設置爲2（例如，通過刪除第二個現有AMVP候選）。當應用於AMVP模式時，僅應用CU級搜索。
CU級設置的MV候選可以包括以下：（1）原始AMVP候選，如果當前CU處於AMVP模式，（2）所有MERGE候選，（3）插值MV場（稍後描述）中的數個MV，以及頂部和左側相鄰運動向量。
當使用雙向匹配時，MERGE候選的每個有效MV可以用作輸入，以生成假設爲雙向匹配的MV對。例如，MERGE候選在參考列表A處的一個有效MV爲（MVa，refa）。然後在另一個參考列表B中找到其配對的雙向MV的參考圖片refb ，使得refa 和refb 在時間上位於當前圖片的不同側。如果參考列表B中的參考refb 不可用，則將參考refb 決定爲與參考refa 不同的參考，並且其到當前圖片的時間距離是列表B中的最小距離。決定參考refb 後，通過基於當前圖片和參考refa 、參考refb 之間的時間距離縮放MVa導出MVb。
在一些實現中，還可以將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置（0，0），（W/2，0），（0，H/2）和（W/2，H/2）處插值的MV。當在AMVP模式下應用FRUC時，原始的AMVP候選也添加到CU級的MV候選集。在一些實現中，在CU級，可以將AMVP CU的15個MV和MERGE CU的13個MV添加到候選列表中。
在子CU級設置的MV候選包括從CU級搜索決定的MV，（2）頂部、左側、左上方和右上方相鄰的MV，（3）參考圖片中並置的MV的縮放版本，（4）一個或多個ATMVP候選（例如，最多四個）和（5）一個或多個STMVP候選（例如，最多四個）。來自參考圖片的縮放MV如下導出。兩個列表中的參考圖片都被遍歷。參考圖片中子CU的並置位置處的MV被縮放爲起始CU級MV的參考。ATMVP和STMVP候選可以是前四個。在子CU級，一個或多個MV（例如，最多17個）被添加到候選列表中。
插值MV場的生成
在對幀進行編碼之前，基於單向ME生成整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。
在一些實施例中，兩個參考列表中每個參考圖片的運動場在4×4的塊級別上被遍歷。圖12繪示在FRUC方法中的單向運動估計（ME）1200的示例。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊，並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片（與HEVC中TMVP的MV縮放相同方式），並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記爲不可用。
插值和匹配成本
當運動向量指向分數採樣位置時，需要運動補償插值。爲了降低複雜度，對雙向匹配和模板匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。
匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本可以是雙向匹配或模板匹配的絕對和差（SAD）。在決定起始MV後，雙向匹配在子CU級搜索的匹配成本C如下計算：
Figure 02_image065
…等式（14） 這裡，w是權重係數。在一些實施例中，w可以被經驗地設置爲4。MV和MVs分別指示當前MV和起始MV。仍然可以將SAD用作模式匹配在子CU級搜索的匹配成本。
在FRUC模式下，MV通過僅使用亮度（luma）樣本導出。導出的運動將用於亮度（luma）和色度（chroma），用於MC幀間預測。決定MV後，對亮度使用8抽頭（8-taps）插值濾波器並且對色度使用4抽頭（4-taps）插值濾波器執行最終MC。
MV細化是基於模式的MV搜索，以雙向匹配成本或模板匹配成本爲標準。在JEM中，支持兩種搜索模式，包括無限制中心偏置菱形搜索（UCBDS）和自適應交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣本MV精度下直接搜索MV，接著是八分之一亮度樣本MV細化。將CU和子CU步驟的MV細化的搜索範圍設置爲8個亮度樣本。
在雙向匹配MERGE模式下，應用雙向預測，因爲CU的運動訊息是基於在兩個不同的參考圖片中沿著當前CU運動軌跡的兩個塊之間的最近匹配得出的。在模板匹配MERGE模式下，編碼器可以從列表0的單向預測、列表1的單向預測或者雙向預測中爲CU做出選擇。該選擇可以基於如下的模板匹配成本： 如果costBi＜=factor*min（cost0,cost1）則使用雙向預測； 否則，如果 cost0＜=cost1則使用列表0中的單向預測； 否則，使用列表1中的單向預測； 這裡，cost0是列表0模板匹配的SAD，cost1是列表2模板匹配的SAD，並且costBi是雙向模板匹配的SAD。例如，當factor的值等於1.25時，意味著選擇過程朝雙向預測偏移。幀間預測方向選擇可應用於CU級模板匹配處理。
以上討論的基於子塊的預測技術可用於在子塊大小較小時獲得每個子塊更精確的運動訊息。然而，較小的子塊在運動補償中施加了更高的頻寬要求。另一方面，對於較小的子塊，推導的運動訊息可能不準確，尤其是當塊中存在一些雜訊時。因此，在一個塊內具有固定的子塊大小可能是次優的。
本文描述了可以在各種實施例中使用的技術，以使用非均勻和/或可變子塊大小來解決固定子塊大小引入的頻寬和精度問題。這些技術（也被稱爲交織預測）使用不同的劃分塊的方法，以便在不增加頻寬消耗的情況下更可靠地獲取運動訊息。
使用交織預測技術，將塊劃分爲具有一個或多個劃分模式的子塊。劃分模式表示將塊劃分爲子塊的方法，包括子塊的大小和子塊的位置。對於每個劃分模式，可以通過基於劃分模式推導出每個子塊的運動訊息來生成相應的預測塊。因此，在一些實施例中，即使對於一個預測方向，也可以通過多個劃分模式生成多個預測塊。在一些實施例中，對於每個預測方向，可能只應用一個劃分模式。
圖13繪示根據所公開的技術的具有兩個劃分模式的交織預測的示例。當前塊1300可以劃分成多個模式。例如，如圖13所示，當前塊被劃分成模式0（1301）和模式1（1302）。生成兩個預測塊P0 （1303）和P1 （1304）。通過計算P0 （1303）和P1 （1304）的加權和，可以生成當前塊1300的最終預測塊P（1305）。
一般來說，給定X個劃分模式，當前塊的X個預測塊（表示爲P0 ， P1 , ， …, PX-1 ）可以以X個劃分模式由基於子塊的預測生成。當前塊的最終預測（表示爲P）可生成爲：
Figure 02_image067
…等式（15） 這裡，
Figure 02_image069
是塊中像素的坐標，並且
Figure 02_image071
是Pi 的權重係數。通過示例而不是限制，權重可以表示爲：
Figure 02_image073
…等式（16） N是非負值。可選地，等式（8）中的位移操作也可以表示爲：
Figure 02_image075
…等式（17） 權重之和是2的冪，通過執行移位操作而不是浮點除法，可以更有效地計算加權和P。
劃分模式可以具有不同的子塊形狀、尺寸或位置。在一些實施例中，劃分模式可以包括不規則的子塊大小。圖14A-圖14G繪示16×16塊的幾個劃分模式的示例。在圖14A中繪示根據所公開的技術將塊劃分爲4×4個子塊的示例劃分模式的示例。這種模式也用於JEM。圖14B繪示根據所公開的技術將塊劃分爲8×8個子塊的劃分模式的示例。圖14C繪示根據所公開的技術將塊劃分爲4×8個子塊的劃分模式的示例。圖14D繪示根據所公開的技術將塊劃分爲8×4個子塊的劃分模式的示例。在圖14E繪示根據所公開的技術其中將塊劃分爲不一致的子塊的示例劃分模式。根據所公開的技術將塊的一部分劃分爲4x4子塊的示例。塊邊界上的像素被劃分成更小的子塊，其大小如2×4, 4×2或2×2。一些子塊可以合併以形成更大的子塊。圖14F繪示相鄰子塊（如4x4子塊和2x4子塊）的示例，這些子塊合併後形成尺寸爲6×4、4×6或6×6的較大子塊。在圖14G中，塊的一部分被劃分爲8×8子塊。而塊邊界處的像素被劃分爲較小的子塊如8×4、4×8或4×4。
基於子塊的預測中，子塊的形狀和大小可以基於編碼塊的形狀和/或大小和/或編碼塊訊息來決定。編碼塊訊息可以包括塊和/或子塊上使用的一種編碼算法，諸如運動補償預測是否是（1）仿射預測方法，（2）可選時域運動向量預測方法，（3）空時運動向量預測方法，（4）雙向光流方法，或（5）幀速率上轉換方法。例如，在一些實施例中，當當前塊的大小爲M×N時，子塊的大小爲4×N（或8×N等），即子塊與當前塊具有相同的高度。在一些實施例中，當當前塊的大小爲M×N時，子塊的大小爲M×4（或M×8等），即子塊與當前塊具有相同的寬度。在一些實施例中，當當前塊的大小爲M×N（其中M＞N）時，子塊的大小爲A×B，其中A＞B（例如，8×4）。或者，子塊的大小爲B×A（例如，4×8）。
在一些實施例中，當前塊的大小爲M×N。當M×N＜=T（或min（M，N）＜=T，或max（M，N）＜=T等）時，子塊的大小爲A×B；當M×N＞T（或min（M，N）＞T，或max（M，N）＞T等）時，子塊的大小爲C×D，其中A＜=C，B＜=D。例如，如果M×N＜=256，子塊的大小可以是4×4。在一些實現中，子塊的大小爲8×8。
應當注意的是，本文公開的交織預測技術可以應用於基於子塊預測的一種、部分或全部編碼技術。例如，交織預測技術可以應用於仿射預測，而其他基於子塊預測的編碼技術（例如，ATMVP、STMVP、FRUC或BIO）不使用交織預測。作爲另一個示例，所有仿射、ATMVP和STMVP應用本文公開的交織預測技術。
圖15A繪示根據所公開的技術提高視頻系統中運動預測的方法1500的示例流程圖。方法1500包括在1502從視頻幀中選擇一組像素以形成塊。方法1500包括在1504根據第一模式將塊分割成第一組子塊。方法1500包括在1506基於第一組子塊生成第一中間預測塊。方法1500包括在1508根據第二模式將塊劃分成第二組子塊。第二組中至少一個子塊具有與第一組中的一個子塊的尺寸不同的尺寸。方法1500包括在1510基於第二組子塊生成第二中間預測塊。方法1500還包括在1512基於第一中間預測塊和第二中間預測塊決定預測塊。
在一些實施例中，可以在不明確地生成中間預測塊的情況下實現方法1500。例如，可以對預測塊的生成執行以下操作：根據第一模式將視頻塊分割成第一組子塊，根據第二模式將視頻塊分割成第二組子塊，其中第二組中至少有一個子塊與第一組中的子塊具有不同的大小；以及決定預測塊，該預測塊是從第一組子塊預測地生成的第一中間預測塊和從第二組子塊預測地生成的第二中間預測塊的組合。
在一些實施例中，使用（1）仿射預測方法、（2）可選時域運動向量預測法、（3）空時運動向量預測法、（4）雙向光流法、或（5）幀速率上轉換法中的至少一種生成第一中間預測塊或第二中間預測塊。本文公開了這些視頻編碼方法的一些示例實施例。
在一些實施例中，第一組或第二組中的子塊具有矩形形狀。例如，矩形形狀可以指寬度和高度不相等的非方形形狀。在一些實施例中，第一組子塊中的子塊具有不均勻的形狀。在一些實施例中，第二組子塊中的子塊具有不均勻的形狀。例如，不均勻的形狀可能包括在第一組（或第二組）中具有不同大小的子塊。
在一些實施例中，所述方法包括基於視頻塊的大小決定第一模式或第二模式。例如，高矩形塊可以拆分爲多個水平子塊。在某些情況下，矩形塊可以拆分爲多個方形子塊。在一些實施例中，所述方法包括基於來自與該視頻塊在時間上或空間上相鄰的第二個塊的訊息決定第一模式或第二模式。例如，在某些情況下，用於視頻塊的第一或第二模式可能與至少一個時間或空間鄰居的模式完全相同。
在一些實施例中，對於在第一方向中的塊的運動補償，執行將塊分割成第一組子塊。在一些實施例中，對於在第二方向中的塊的運動補償，執行將塊分割成第二組子塊。例如，第一方向和/或第二方向可以是預測編碼的反向（“B預測”）或預測編碼的正向（“P預測”）。
在一些實施例中，對於在第一方向中的塊的運動補償，執行將塊分割成第一組子塊，並將塊分割成第二組子塊。在一些實施例中，該方法還包括：通過根據第三模式將塊劃分爲第三組子塊，在第二方向上對塊進行運動補償；基於第三組子塊生成第三中間預測塊；根據第四模式將塊劃分爲第四組子塊，其中第四組中的至少一個子塊與第三組中的子塊大小不同；基於第四組子塊生成第四中間預測塊；基於第三中間預測塊和第四中間預測塊決定第二預測塊；以及基於預測塊和第二預測塊決定第三預測塊。
在一些實施例中，該方法包括在基於塊的運動補償視頻系統中向編碼設備發送用於對塊進行分割的第一模式和第二模式的訊息。在一些實施例中，傳輸第一模式和第二模式的訊息在以下之一執行：（1）序列級、（2）圖片級、（3）視圖級、（4）切片級、（5）編碼樹單元、（6）最大編碼單元級、（7）編碼單元級、（8）預測單元級、（10）樹單元級、或（11）區域級。
在一些實施例中，決定預測結果包括：將第一組權重應用於第一中間預測塊以獲得第一加權預測塊；將第二組權重應用於第二中間預測塊以獲得第二加權預測塊；以及計算第一加權預測塊和第二加權預測塊的加權和以得到預測塊。
在一些實施例中，第一組權重或第二組權重包括固定權重值。在一些實施例中，第一組權重或第二組權重是基於來自與該塊在時間上或空間上相鄰的另一塊的訊息決定的。在一些實施例中，使用用於生成第一預測塊或第二預測塊的編碼算法決定第一組權重或第二組權重。在一些實現中，第一組權重中的至少一個值與第一組權重中的另一個值不同。在一些實現中，第二組權重中的至少一個值與第二組權重中的另一個值不同。在一些實現中，權重之和等於二的冪。
在一些實施例中，該方法包括將權重傳輸到基於塊的運動補償視頻系統中的編碼設備。在一些實施例中，傳輸權重在以下之一執行：（1）序列級、（2）圖片級、（3）視圖級、（4）切片級、（5）編碼樹單元、（6）最大編碼單元級、（7）編碼單元級、（8）預測單元級、（10）樹單元級、或（11）區域級。
圖15B是根據所公開的技術提高視頻系統中基於塊的運動補償的方法1550的示例流程圖。方法1550包括在1552處從視頻幀中選擇一組像素以形成塊。方法1550包括在1554處基於塊的大小或者與該塊空間或時間相鄰的另一個塊的訊息將塊劃分爲多個子塊。多個子塊中的至少一個子塊的大小與其他子塊不同。方法1550還包括在1556處通過對多個子塊應用編碼算法生成運動向量預測。在一些實施例中，編碼算法包括（1）仿射預測方法、（2）可選時域運動向量預測方法、（3）空時運動向量預測方法、（4）雙向光流法、或（5）幀速率上轉換法中的至少一種。
可替代方法包括基於視頻塊的大小或與視頻塊相關聯的編碼算法類型將視頻塊劃分爲多個子塊，其中多個子塊的一個子塊的大小與多個子塊的其他子塊的大小不同，通過將編碼算法應用到多個子塊生成運動向量預測，並且使用運動向量預測執行視頻塊的進一步處理。
在方法1500和1550中，可以實施部分交織。使用該方案，將預測樣本的第一個子集中的樣本計算爲第一中間預測塊的加權組合，並且預測樣本的第二個子集中的樣本是從基於子塊的預測中複製出來，其中第一個子集和第二個子集基於分割模式。第一個子集和第二個子集可以一起構成整個預測塊，例如，當前正在處理的塊。如圖18A到18C所示，在各種示例中，排除在交織之外的第二個子集可以由（a）角子塊或（b）子塊的最上面和最下面一行或（c）子塊的最左邊或最右邊的列組成。當前正在處理的塊的大小可以作爲決定是否從交織預測中排除某些子塊的條件。例如，在隨後描述了一些條件。
如本文進一步所述，編碼處理可以避免檢查從父塊拆分的塊的仿射模式，其中父塊本身使用不同於仿射模式的模式編碼。
圖16繪示圖示可以用於實現本公開技術的各個部分的電腦系統或其他控制設備1600的結構的示例的示意圖。在圖16中，電腦系統1600包括通過互連1625連接的一個或多個處理器1605和儲存器1610。互連1625可以表示由適當的橋接器、適配器或控制器連接的任何一條或多條單獨的物理匯流排、點對點連接或兩者。因此，互連1625可以包括例如系統匯流排、快捷外設護聯標準（PCI）匯流排、超傳輸或工業標準結構（ISA）匯流排、小型電腦系統接口（SCSI）匯流排、通用串行匯流排（USB）、IIC（I2 C）匯流排或電氣與電子工程師協會（IEEE）標準674匯流排（有時被稱爲“火線”）。
處理器1605可以包括中央處理器（CPU），來控制例如主機的整體操作。在一些實施例中，處理器1605通過執行儲存在儲存器1610中的軟體或硬體來實現這一點。處理器1605可以是或可以包括一個或多個可程式化通用或專用微處理器、數位信號處理器（DSP）、可程式化控制器、特殊應用積體電路（ASIC）、可程式化邏輯裝置（PLD）等，或這些裝置的組合。
儲存器1610可以是或包括電腦系統的主儲存器。儲存器1610表示任何適當形式的隨機存取記憶體（RAM）、唯讀記憶體（ROM）、快閃記憶體等，或這些設備的組合。在使用中，儲存器1610除其他外可包含一組機器指令，當處理器1605執行該指令時，使處理器1605執行操作以實現本公開技術的實施例。
通過串連1625連接到處理器1605的還有（可選的）網路適配器1615。網路適配器（Network Interface Card）1615爲電腦系統1600提供與遠程設備（諸如儲存客戶機和/或其他儲存服務器）通信的能力，並且可以是例如乙太網適配器或光纖通道適配器。
圖17繪示可以用於實施本公開技術的各個部分的移動設備1700的示例實施例的架構圖。移動設備1700可以是筆記型電腦、智慧型手機、平板電腦、攝像機或其他能夠處理視頻的設備。移動設備1700包括處理器或控制器1701來處理數據，以及與處理器1701通信的儲存器1702來儲存和/或緩衝數據。例如，處理器1701可以包括中央處理器（CPU）或微控制器單元（MCU）。在一些實現中，處理器1701可以包括電場可程式化邏輯閘陣列（FPGA）。在一些實現中，移動設備1700包括或與圖形處理單元（GPU）、視頻處理單元（VPU）和/或無線通信單元通信，以實現智慧型手機設備的各種視覺和/或通信數據處理功能。例如，儲存器1702可以包括並儲存處理器可執行代碼，當處理器1701執行該代碼時，將移動設備1700配置爲執行各種操作，例如接收訊息、命令和/或數據、處理訊息和數據，以及將處理過的訊息/數據發送或提供給另一個數據設備，諸如執行器或外部顯示器。爲了支持移動設備1700的各種功能，儲存器1702可以儲存訊息和數據，諸如指令、軟體、值、圖像以及處理器1701處理或引用的其他數據。例如，可以使用各種類型的隨機存取記憶體（RAM）設備、唯讀記憶體（ROM）設備、快閃記憶體設備和其他合適的儲存媒介來實現儲存器1702的儲存功能。在一些實現中，移動設備1700包括輸入/輸出（I/O）單元1703，來將處理器1701和/或內部儲存器1702與其他模塊、單元或設備進行連接。例如，I/O單元1703可以與處理器1701和內部儲存器1702進行連接，以利用與典型資料通訊標準兼容的各種無線接口，例如，在雲端中的一台或多台電腦和用戶設備之間。在一些實現中，移動設備1700可以通過I/O單元1703使用有線連接與其他設備進行接口。I/O單元1703可以包括無線傳感器，諸如用於檢測遠程控制訊號的紅外探測器，或其他合適的無線人機介面技術。移動設備1700還可以與其他外部接口（例如數據儲存器）和/或可視或音頻顯示設備1704連接，以檢索和傳輸可由處理器處理、由儲存器儲存或由顯示設備1704或外部設備的輸出單元上顯示的資料和訊息。例如，顯示設備1704可以根據所公開的技術顯示基於MVP修改的視頻幀（例如，包括如圖13所示的預測塊1305的視頻幀）。
在一些實施例中，視頻解碼器裝置可以實施視頻解碼方法，其中使用本文所述的改進的基於塊的運動預測進行視頻解碼。該方法可以包括使用來自視頻幀的一組像素形成視頻塊。塊可以根據第一模式分割成第一組子塊。第一中間預測塊可以對應於第一組子塊。塊可以包括根據第二模式的第二組子塊。第二組子塊中至少有一個子塊的大小與第一組子塊中的一個子塊的大小不同。該方法還可以基於第一中間預測塊和從第二組子塊生成的第二中間預測塊來決定預測塊。該方法的其他特徵可能與上述方法1500相似。
在一些實施例中，視頻解碼的解碼器端的方法可以通過使用視頻幀的塊，利用基於塊的運動預測來提高預測的視頻品質，其中塊對應一組像素塊。基於塊的大小或來自與該塊在空間或時間上相鄰的另一塊的訊息，可以將塊劃分爲多個子塊，其中多個子塊的至少一個子塊的大小與其他子塊的大小不同。解碼器可以使用通過對多個子塊應用編碼算法生成的運動向量預測。該方法的其他特徵參考圖15B和相應的說明做出了描述。
在一些實施例中，可以使用實現在如圖16和圖17所述的硬體平臺上的解碼裝置來實現視頻解碼方法。
部分交織
在一些實施例中，部分交織預測可實現如下。
在一些實施例中，交織預測應用於當前塊的一部分。某些位置的預測樣本計算作兩個或多個基於子塊預測的加權和。其他位置的預測樣本不用於加權和。例如，這些預測樣本是從具有特定劃分模式的基於子塊的預測中複製的。
在一些實施例中，通過基於子塊的預測P1和P2預測當前塊，P1和P2分別具有劃分模式D0和劃分模式D2。最終預測值按P=w0×P0+w1×P1計算。在某些位置，w0≠0且w1≠0。但在其他一些位置，w0=1且w1=0，也就是說，這些位置不應用交織預測。
在一些實施例中，交織預測不適用於圖18A所示的四角子塊。
在一些實施例中，交織預測不適用於圖18B所示的子塊最左列和子塊最右列。
在一些實施例中，交織預測不適用於圖18C所示的子塊最上行和子塊最下行。
包含在編碼器實施例中的技術示例
在一些實施例中，交織預測不應用於運動估計（ME）處理。
例如，6參數仿射預測的ME處理中不應用交織預測。
例如，如果當前塊的大小滿足以下某些條件，則ME處理中不應用交織預測。這裡，假定當前塊的寬度和高度分別爲W和H，並且T、T1和T2爲整數值： W＞=T1 且 H ＞=T2; W＜=T1 且 H＜=T2; W＞=T1 或 H ＞=T2; W＜=T1 或 H＜=T2; W+H＞=T W+H＜=T W×H＞=T W×H＜=T
例如，如果當前塊與父塊分離，並且父塊在編碼器處不選擇仿射模式，則在ME過程中省略交織預測。
或者，如果當前塊與父塊分離，並且父塊在編碼器處不選擇仿射模式，則編碼器處不檢查仿射模式。
表A說明了對隨機訪問（RA）配置使用常規2x2仿射預測的示例性能結果。 表A：2x2仿射預測的示例測試結果
Figure 108118968-A0304-0003
表B說明了根據本技術的實施例，將交織預測應用於單向預測得到的示例性能結果。表C說明了根據本技術的實施例，將交織預測應用於雙向預測得到的示例性能結果。 表B 單向預測中交織預測的示例測試結果
Figure 108118968-A0304-0004
 表C：雙向預測中交織預測的示例測試結果
Figure 108118968-A0304-0005
如表B和表C所示，與傳統的基於2x2仿射預測的編碼相比，交織預測以更低的複雜度實現了主要的編碼增益。特別地，與2x2仿射方法（0.47%）相比，應用於雙向預測的交織預測獲得0.38%的編碼增益。與2 x 2仿射方法中的136%和114%相比，2x2仿射方法的編碼時間和解碼時間分別爲103%和102%。
圖19繪示可以實施本文公開的各種技術的示例視頻處理系統1900的架構圖。各種實現可能包括系統1900的部分或全部組件。系統1900可包括用於接收視頻內容的輸入1902。視頻內容可以以原始或未壓縮格式接收（例如，8位或10位多分量像素值），或者可以以壓縮或編碼格式接收。輸入1902可以表示網路介面、外圍匯流排介面或儲存介面。網絡介面的示例包括有線通訊介面（諸如乙太網、無源光纖網路（PON）等）以及無線通訊介面（諸如Wi-Fi或蜂巢式通訊介面）。外圍匯流排介面的示例可以包括通用串行匯流排（USB）或高畫質多媒體介面（HDMI）或顯示端口等。儲存介面的示例包括SATA（串行高級技術附件）、PCI、IDE介面等。
系統1900可以包括編碼組件1904，其可以實現本文中所述的各種編碼方法。編碼組件1904可以降低視頻從輸入介面1902到編碼組件1904輸出的平均位元率。因此，該編碼技術有時被稱爲視頻壓縮或視頻轉碼技術。編碼組件1904的輸出可以通過連接的通信（如由組件1906表示）進行儲存或傳輸。組件1906可以使用在輸入1902處接收到的視頻的儲存或通訊位元流表示來生成發送到顯示介面1908的可顯示視頻。從位元流表示生成用戶可觀看視頻的過程有時被稱爲視頻解壓。
本文所述技術可以實施在各種電子設備中，例如移動電話、筆記型電腦、智能手機或其他能夠執行數位資料處理和/或視頻顯示的設備。
在一個示例方面，視頻處理方法包括根據第一模式將視頻塊分割成第一組子塊，並根據第二模式將視頻塊分割成第二組子塊。第二組中的至少一個子塊與第一組中的子塊具有不同的尺寸。該方法還包括決定預測塊，該預測塊是從第一組子塊生成的第一中間預測塊和從第二組子塊生成的第二中間預測塊的組合。
在一些實施例中，使用（1）仿射預測方法、（2）可選時域運動向量預測方法、（3）空時運動向量預測方法、（4）雙向光流方法或（5）幀速率上轉換方法中的至少一種生成第一中間預測塊或第二中間預測塊。
在一些實施例中，第一組或第二組中的子塊具有矩形形狀。在一些實施例中，第一組子塊中的子塊具有不均勻的形狀。在一些實施例中，第二組子塊中的子塊具有不均勻的形狀。
在一些實施例中，該方法包括基於視頻塊的尺寸決定第一模式或第二模式。在一些實施例中，爲了基於第一參考圖片列表中的參考圖片對視頻塊進行運動補償，將視頻塊分割成第一組子塊。在一些實施例中，爲了基於與第一參考圖片列表不同的第二參考圖片列表中的參考圖片對視頻塊進行運動補償，將塊分割成第二組子塊。在一些實施例中，爲了從與第一參考圖片列表相同的第二參考圖片列表中的參考圖片對視頻塊進行運動補償，將視頻塊分割成第二組子塊。在一些實施例中，從第二參考圖片列表中的參考圖片對視頻塊進行運動補償，方法通過根據第三模式將視頻塊分割成第三組子塊，基於第三組子塊生成第三中間預測塊，根據第四模式將視頻塊分割成第四組子塊，其中第四組中的至少一個子塊與第三組中的子塊具有不同的尺寸，基於第四組子塊生成第四中間預測塊，基於第三中間預測塊和第四中間預測塊決定第二預測塊，並且根據預測塊和第二預測塊決定第三預測塊。
在一些實施例中，預測塊被決定爲使用第一組權重加權的第一中間預測塊和使用第二組權重加權的第二中間預測塊的加權組合。在一些實施例中，第一組權重或第二組權重包括固定的權重值。在一些實施例中，第一組權重中的至少一個值不同于第一組權重中的另一個值。在一些實施例中，第二組權重中的至少一個值不同於第二組權重中的另一個值。
在另一個示例方面，視頻處理方法包括根據視頻塊的尺寸或與視頻塊關聯的編碼算法類型將視頻塊劃分爲多個子塊。多個子塊的一個子塊的具有與多個子塊的其他子塊的尺寸不同的尺寸。該方法還包括通過將編碼算法應用於多個子塊生成運動向量預測，並使用運動向量預測對視頻塊進行進一步的處理。
在一些實施例中，編碼算法包括（1）仿射預測方法、（2）可選時域運動向量預測方法、（3）空時運動向量預測方法、（4）雙向光流方法或（5）幀速率上轉換法中的至少一種。在一些實施例中，視頻塊的尺寸爲M×N，其中M＞N，視頻塊的特定子塊具有A×B的大小，其中A＞B，其中M、N、A和B是整數。在一些實施例中，塊的尺寸爲M×N，其中M＜=N，視頻塊的特定子塊具有尺寸A×B，其中A＜=B。在一些實施例中，該方法包括對第一組子塊中的每個子塊進行預測，以決定第一中間預測塊。在一些實施例中，該方法包括對第二組子塊中的每個子塊進行預測，以決定第二中間預測塊。
從上述來看，應當理解的是，爲了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於申請專利範圍的限定。
本文中公開的和其他描述的實施例、模塊和功能操作可以在數位電子電路、或電腦軟體、韌體或硬體中實現，包括本文中所公開的結構及其結構等效體，或其中一個或多個的組合。公開的實施例和其他實施例可以實現爲一個或多個電腦程式産品，即一個或多個編碼在電腦可讀取媒介上的電腦程式指令的模塊，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀取媒介可以是機器可讀取儲存設備、機器可讀取儲存基板、儲存設備、影響機器可讀取傳播信號的物質組成或其中一個或多個的組合。術語「資料處理裝置」包括用於處理數據的所有裝置、設備和機器，包括例如可程式化處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括爲電腦程式創建執行環境的程式碼，例如，構成處理器韌體的程式碼、協定疊（Protocol stack）、資料庫管理系統、作業系統或其中一個或多個的組合。傳播信號是人爲産生的信號，例如機器産生的電信號、光學信號或電磁信號，生成這些信號以對訊息進行編碼，以便傳輸到適當的接收裝置。
電腦程式（也稱爲程序、軟體、軟體應用、脚本（Script）或程式碼）可以用任何形式的程式化語言（包括編譯語言或直譯語言）編寫，並且可以以任何形式部署，包括作爲獨立程式或作爲模塊、組件、子程式或其他適合在運算環境中使用的單元。電腦程式不一定與檔案系統中的檔案對應。程式可以儲存在保存其他程式或資料的檔案的部分中（例如，儲存在標記語言檔案中的一個或多個脚本）、專用於該程式的單個檔案中、或多個協調檔案（例如，儲存一個或多個模塊、子程式或部分程式碼的檔案）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個站點上或分布在多個站點上，並通過通訊網路互連。
本文中描述的處理和邏輯流可以通過一個或多個可程式化處理器執行，該處理器執行一個或多個電腦程式，通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現爲特殊用途的邏輯電路，例如，FPGA（電場可編程邏輯閘陣列）或ASIC（特殊應用積體電路）。
例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和儲存指令和資料的一個或多個儲存設備。通常，電腦還將包括一個或多個用於儲存資料的大容量儲存設備，例如，磁碟、磁光碟或光碟，或通過操作耦合到一個或多個大容量儲存設備來從其接收數據或將數據傳輸到一個或多個大容量儲存設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀取媒體包括所有形式的非揮發性記憶體、媒體和儲存器設備，包括例如半導體儲存器設備，例如EPROM、EEPROM和快閃記憶體設備；磁碟，例如內部硬碟或可移動磁碟；磁光磁碟；以及CDROM和DVD-ROM光碟。處理器和儲存器可以由專用邏輯電路來補充，或合併到專用邏輯電路中。
雖然本專利文件包含許多細節，但不應將其解釋爲對任何發明或申請專利範圍的限制，而應解釋爲對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述爲在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中刪除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以指向子組合或子組合的變體。
同樣，儘管圖式中以特定順序描述了操作，但這不應理解爲要獲得想要的結果必須按照所示的特定順序或順序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中各種系統組件的分離不應理解爲在所有實施例中都需要這樣的分離。僅描述了一些實現和示例，其他實現、增强和變體可以基於本專利文件中描述和說明的內容做出。
100、101、200、300、400、651‧‧‧塊 500、501、502、503、504、600、601、651、700、701、702、703、704、711、712、713、714、1100‧‧‧編碼單元 650、1010、1011‧‧‧參考圖片 1000‧‧‧當前圖片 1001、1002‧‧‧運動向量 1003、1004‧‧‧時間距離 1110‧‧‧參考圖片 1200‧‧‧單向運動估計 1300‧‧‧當前塊 1301、1302‧‧‧模式 1303、1304、1305‧‧‧預測塊 1500、1550‧‧‧方法 1502-1512、1552-1556‧‧‧步驟 1600‧‧‧電腦系統或其他控制設備 1605‧‧‧處理器 1610、1702‧‧‧儲存器 1615‧‧‧網路適配器 1625‧‧‧互連 1700‧‧‧移動設備 1701‧‧‧處理器或控制器 1703‧‧‧輸入/輸出（I/O）單元 1704‧‧‧顯示設備 1900‧‧‧視頻處理系統 1902‧‧‧輸入介面 1904‧‧‧編碼組件 1906‧‧‧組件 1908‧‧‧顯示介面
圖1繪示基於子塊的預測的示例的示意圖。 圖2繪示由兩個控制點運動向量描述的塊的仿射運動場的示例。 圖3繪示塊的每個子塊的仿射運動向量場的示例。 圖4繪示在AF_INTER模式中塊400的運動向量預測的示例。 圖5A繪示當前編碼單元（CU）的候選塊的選擇順序的示例。 圖5B繪示在AF_MERGE模式中當前CU的候選塊的另一個示例。 圖6繪示CU的可選時域運動向量預測（ATMVP）運動預測過程的示例。 圖7繪示具有四個子塊的一個CU和相鄰塊的示例。 圖8繪示雙向光流（BIO）方法中的示例光流軌跡。 圖9A繪示塊外部的訪問位置的示例。 圖9B繪示填充區域可用於避免額外的儲存器訪問和計算。 圖10繪示在幀速率上轉換（FRUC）方法中使用的雙向匹配的示例。 圖11繪示在FRUC方法中使用的模板匹配的示例。 圖12繪示FRUC方法中的單向運動估計（ME）的示例。 圖13繪示根據所公開的技術的具有兩個劃分模式的交織預測的示例。 圖14A繪示根據所公開的技術其中將塊劃分爲4×4個子塊的示例劃分模式。 圖14B繪示根據所公開的技術其中將塊劃分爲8×8個子塊的示例劃分模式。 圖14C繪示根據所公開的技術其中將塊劃分爲4×8個子塊的示例劃分模式。 圖14D繪示根據所公開的技術其中將塊劃分爲8×4個子塊的示例劃分模式。 圖14E繪示根據所公開的技術其中將塊劃分爲不一致的子塊的示例劃分模式。 圖14F繪示根據所公開的技術其中將塊劃分爲不一致的子塊的另一個示例劃分模式。 圖14G繪示根據所公開的技術其中將塊劃分爲不一致的子塊的又一個示例劃分模式。 圖15A繪示視頻處理的方法的示例流程圖。 圖15B繪示視頻處理的方法的另一個示例流程圖。 圖16繪示圖示可以用於實現本公開技術的各個部分的電腦系統或其他控制設備的架構的示例的示意圖。 圖17繪示可以用於實現本公開技術的各個部分的移動設備的示例實施例的架構圖。 圖18A、圖18B和圖18C繪示部分交織預測技術的示例實施例。 圖19繪示可以實施所公開技術的示例視頻處理系統的架構圖。
1500‧‧‧方法
1502-1512‧‧‧步驟

Claims (22)

  1. 一種視頻處理方法，包括：根據第一模式將視頻塊分割成第一組子塊；根據第二模式將所述視頻塊分割成第二組子塊，其中所述第二組子塊中的至少一個子塊具有與所述第一組子塊中的子塊不同的尺寸；以及決定預測塊，所述預測塊是從所述第一組子塊生成的第一中間預測塊和從所述第二組子塊生成的第二中間預測塊的組合。
  2. 如申請專利範圍第1項所述的方法，更包括：使用(1)仿射預測方法、(2)可選時域運動向量預測方法、(3)空時運動向量預測方法、(4)雙向光流方法以及(5)幀速率上轉換方法中的至少一種，生成所述第一中間預測塊或所述第二中間預測塊。
  3. 如申請專利範圍第1或2項所述的方法，其中所述第一組子塊中的子塊或所述第二組子塊中的子塊具有矩形形狀。
  4. 如申請專利範圍第1或2項所述的方法，其中所述第一組子塊中的子塊具有不均勻形狀。
  5. 如申請專利範圍第1或2項所述的方法，其中所述第二組子塊中的子塊具有不均勻形狀。
  6. 如申請專利範圍第1或2項所述的方法，更包括：基於所述視頻塊的尺寸決定所述第一模式或所述第二模式。
  7. 如申請專利範圍第1或2項所述的方法，其中，為了基 於第一參考圖片列表中的參考圖片對所述視頻塊進行運動補償，執行將所述視頻塊分割成所述第一組子塊。
  8. 如申請專利範圍第7項所述的方法，其中，為了基於與所述第一參考圖片列表不同的第二參考圖片列表中的參考圖片對所述視頻塊進行運動補償，執行將所述視頻塊分割成所述第二組子塊。
  9. 如申請專利範圍第1或2項所述的方法，其中，為了從與所述第一參考圖片列表相同的所述第二參考圖片列表中的參考圖片對所述視頻塊進行運動補償，執行將所述視頻塊分割成所述第二組子塊。
  10. 如申請專利範圍第9項所述的方法，其中從所述第二參考圖片列表中的參考圖片對所述視頻塊進行運動補償通過如下執行：根據第三模式將所述視頻塊分割成第三組子塊；基於所述第三組子塊生成第三中間預測塊；根據第四模式將所述視頻塊分割成第四組子塊，其中所述第四組子塊中的至少一個子塊具有與所述第三組子塊中的子塊不同的尺寸；基於所述第四組子塊生成第四中間預測塊；基於所述第三中間預測塊和所述第四中間預測塊決定第二預測塊；以及基於所述預測塊和所述第二預測塊決定第三預測塊。
  11. 如申請專利範圍第1或2項所述的方法，其中所述預測塊被決定為使用第一組權重加權的所述第一中間預測塊和使用第二組權重加權的所述第二中間預測塊的加權組合。
  12. 如申請專利範圍第11項所述的方法，其中所述第一組權重或所述第二組權重包括固定權重值。
  13. 如申請專利範圍第12項所述的方法，其中所述第一組權重中的至少一個值不同於所述第一組權重中的另一個值。
  14. 如申請專利範圍第12項所述的方法，其中所述第二組權重中的至少一個值不同於所述第二組權重中的另一個值。
  15. 一種視頻處理方法，包括：基於視頻塊的尺寸或與所述視頻塊關聯的編碼算法類型將所述視頻塊劃分為多個子塊，其中所述多個子塊的一個子塊具有與所述多個子塊的其他子塊不同的尺寸；通過將所述編碼算法應用於所述多個子塊生成運動向量預測；以及使用所述運動向量預測對所述視頻塊進行進一步的處理。
  16. 如申請專利範圍第15項所述的方法，其中所述編碼算法包括(1)仿射預測方法、(2)可選時域運動向量預測方法、(3)空時運動向量預測方法、(4)雙向光流方法及(5)幀速率上轉換方法中的至少一種。
  17. 如申請專利範圍第15或16項所述的方法，其中所述視頻塊的尺寸為M×N，其中M>N，所述視頻塊的特定子塊具有 A×B的大小，其中A>B，並並且其中M、N、A和B是整數。
  18. 如申請專利範圍第15或16項所述的方法，其中所述視頻塊的尺寸為M×N，其中M<=N，所述視頻塊的特定子塊具有A×B的大小，其中A<=B。
  19. 如申請專利範圍第15或16項中任一項所述的方法，包括：對所述第一組子塊中的每個子塊執行預測，以決定所述第一中間預測塊。
  20. 如申請專利範圍第15或16項中任一項所述的方法，包括：對所述第二組子塊中的每個子塊執行預測，以決定所述第二中間預測塊。
  21. 一種視頻處理裝置，其包括處理器，被配置為實現申請專利範圍第1至20項中任一項所述的方法。
  22. 一種電腦可讀取記錄媒體，其儲存程式指令來實現如如申請專利範圍第1至20項中任一項所述的方法。
TW108118968A 2018-05-31 2019-05-31 基於交織預測的視頻處理方法、裝置及記錄媒體 TWI750475B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/089242 2018-05-31
CN2018089242 2018-05-31

Publications (2)

Publication Number Publication Date
TW202005384A TW202005384A (zh) 2020-01-16
TWI750475B true TWI750475B (zh) 2021-12-21

Family

ID=67145839

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108118968A TWI750475B (zh) 2018-05-31 2019-05-31 基於交織預測的視頻處理方法、裝置及記錄媒體
TW108118903A TWI729402B (zh) 2018-05-31 2019-05-31 加權交織預測

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108118903A TWI729402B (zh) 2018-05-31 2019-05-31 加權交織預測

Country Status (4)

Country Link
US (2) US11871022B2 (zh)
CN (3) CN110557640B (zh)
TW (2) TWI750475B (zh)
WO (2) WO2019229683A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
CN110602493B (zh) * 2018-09-19 2022-06-10 北京达佳互联信息技术有限公司 一种仿射运动补偿的交织预测的方法及设备
CN111083484A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
CN111093073B (zh) 2018-10-24 2024-04-19 北京字节跳动网络技术有限公司 用于子块运动矢量预测的基于搜索的运动候选推导
WO2020098655A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Motion vector storage for inter prediction
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
EP3857896A4 (en) 2018-11-22 2021-12-01 Beijing Bytedance Network Technology Co. Ltd. COORDINATION PROCEDURE FOR SUBBLOCK BASED INTERPREDICTION
WO2020140951A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between color components
US11025951B2 (en) * 2019-01-13 2021-06-01 Tencent America LLC Method and apparatus for video coding
WO2020143826A1 (en) * 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between interweaved prediction and other coding tools
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11323731B2 (en) * 2019-03-08 2022-05-03 Tencent America LLC Method and apparatus for video coding
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
EP3997877A4 (en) 2019-08-13 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. MOTION ACCURACY IN SUBBLOCK-BASED INTERPREDICTION
WO2021052506A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Transform unit based combined inter intra prediction
US11622122B2 (en) 2020-03-19 2023-04-04 FG Innovation Company Limited Video coding device and method for determining an MVP candidate list

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
TW201433153A (zh) * 2012-09-07 2014-08-16 Vid Scale Inc 參考圖像列表修正
TW201902214A (zh) * 2017-03-30 2019-01-01 聯發科技股份有限公司 用於視訊編解碼的子預測單元時間運動向量預測

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6489995B1 (en) 1998-10-22 2002-12-03 Sony Corporation Method and apparatus for motion vector concealment
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
AU2004223358B2 (en) 2003-03-28 2010-04-01 Etiip Holdings Inc Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression
US8107535B2 (en) 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US20060120461A1 (en) 2004-12-06 2006-06-08 Roy Knight Two processor architecture supporting decoupling of outer loop and inner loop in video decoder
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
ZA200900032B (en) 2006-07-07 2010-03-31 Ericsson Telefon Ab L M Video data management
JPWO2008084817A1 (ja) 2007-01-09 2010-05-06 株式会社東芝 画像符号化と復号化の方法及び装置
CN101350920A (zh) 2007-07-17 2009-01-21 北京华辰广正科技发展有限公司 一种面向全景视频的全局运动估计方法
KR101408698B1 (ko) 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
KR20090097688A (ko) * 2008-03-12 2009-09-16 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 장치
CN101252686B (zh) 2008-03-20 2010-04-14 上海交通大学 基于交织预测的视频帧内无损编解码方法及系统
CN101626505B (zh) 2008-07-11 2012-06-20 浙江大学 二重预测的模式处理方法和装置
JP5029543B2 (ja) 2008-09-09 2012-09-19 富士通株式会社 符号化装置および符号化プログラム
CN101833768A (zh) 2009-03-12 2010-09-15 索尼株式会社 对视频中的运动矢量进行可靠性分类的方法和系统
CN101621693B (zh) 2009-07-31 2011-01-05 重庆大学 一种结合目标分割和不规则块补偿的帧频提升方法
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8817884B2 (en) 2009-11-20 2014-08-26 Texas Instruments Incorporated Techniques for perceptual encoding of video frames
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
GB2509705B (en) 2013-01-04 2016-07-13 Canon Kk Encoding and decoding methods and devices, and corresponding computer programs and computer readable media
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
ES2698515T3 (es) 2013-03-15 2019-02-05 Qualcomm Inc Predictor para la intra-codificación de mapas de profundidad
WO2014158049A1 (en) 2013-03-28 2014-10-02 Huawei Technologies Co., Ltd Method for protecting a video frame sequence against packet loss
US10277909B2 (en) 2013-05-15 2019-04-30 Vid Scale, Inc. Single loop decoding based interlayer prediction
US9497439B2 (en) 2013-07-15 2016-11-15 Ati Technologies Ulc Apparatus and method for fast multiview video coding
WO2015010317A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
US9544601B2 (en) 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding
CN105830440B (zh) 2013-12-13 2018-06-12 Vid拓展公司 使用插值进行亮度和色度的相位对准的色域可伸缩视频编码设备及方法
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US9948933B2 (en) 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
US9860559B2 (en) 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
WO2015169207A1 (en) 2014-05-05 2015-11-12 Mediatek Singapore Pte. Ltd. Method and apparatus for determining residue transform tree representation
US20150373343A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Representation format update in multi-layer codecs
CN104168483A (zh) 2014-07-08 2014-11-26 大连民族学院 一种视频压缩方法及系统
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
US10620826B2 (en) 2014-08-28 2020-04-14 Qualcomm Incorporated Object selection based on region of interest fusion
KR102051193B1 (ko) 2014-09-12 2019-12-02 브이아이디 스케일, 인크. 비디오 코딩을 위한 성분간 탈상관
AU2015327521B2 (en) 2014-09-30 2018-07-26 Hfi Innovation Inc. Method of lookup table size reduction for depth modelling mode in depth coding
JP6352141B2 (ja) 2014-09-30 2018-07-04 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム
US10057578B2 (en) 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US9998742B2 (en) 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
CN107211134B (zh) 2015-01-29 2020-05-29 Vid拓展公司 用于调色编码模式的逃逸色彩编码
CN106416254B (zh) 2015-02-06 2019-08-02 微软技术许可有限责任公司 在媒体编码期间跳过评估阶段
CN106303544B (zh) 2015-05-26 2019-06-11 华为技术有限公司 一种视频编解码方法、编码器和解码器
US20180199058A1 (en) 2015-09-10 2018-07-12 Samsung Electronics Co., Ltd. Video encoding and decoding method and device
WO2017059415A1 (en) 2015-10-02 2017-04-06 Vid Scale, Inc. Color correction with a lookup table
JP2017538381A (ja) 2015-10-09 2017-12-21 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオ符号化における成分間予測
US10306258B2 (en) 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
CN117354536A (zh) 2016-02-25 2024-01-05 株式会社Kt 用于处理视频信号的方法和设备
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US10390026B2 (en) * 2016-03-25 2019-08-20 Google Llc Smart reordering in recursive block partitioning for advanced intra prediction in video coding
KR102480191B1 (ko) * 2016-05-13 2022-12-21 브이아이디 스케일, 인크. 비디오 코딩을 위한 일반화된 다중-가설 예측 시스템 및 방법
CN107566848B (zh) 2016-06-30 2020-04-14 华为技术有限公司 编解码的方法及装置
WO2018070152A1 (en) 2016-10-10 2018-04-19 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
CN108109629A (zh) 2016-11-18 2018-06-01 南京大学 一种基于线性预测残差分类量化的多描述语音编解码方法和系统
US20210136400A1 (en) 2016-11-29 2021-05-06 Mediatek Inc. Method and apparatus of merge mode derivation for video coding
CN108271023B (zh) 2017-01-04 2021-11-19 华为技术有限公司 图像预测方法和相关设备
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US11245921B2 (en) 2017-06-26 2022-02-08 Interdigital Vc Holdings, Inc. Multiple predictor candidates for motion compensation
US20190246122A1 (en) 2018-02-08 2019-08-08 Qualcomm Incorporated Palette coding for video coding
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
US11070813B2 (en) 2018-06-29 2021-07-20 Intel Corporation Global motion estimation and modeling for accurate global motion compensation for efficient video processing or coding
TWI705696B (zh) 2018-07-01 2020-09-21 大陸商北京字節跳動網絡技術有限公司 交織預測的改善
US11477476B2 (en) 2018-10-04 2022-10-18 Qualcomm Incorporated Affine restrictions for the worst-case bandwidth reduction in video coding
WO2020140951A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between color components
US11153590B2 (en) 2019-01-11 2021-10-19 Tencent America LLC Method and apparatus for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
TW201433153A (zh) * 2012-09-07 2014-08-16 Vid Scale Inc 參考圖像列表修正
TW201902214A (zh) * 2017-03-30 2019-01-01 聯發科技股份有限公司 用於視訊編解碼的子預測單元時間運動向量預測

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Markus Flierl, Thomas Wiegand and Bernd Girod, "MULTIHYPOTHESIS PICTURES FOR H.26L", THE PROCEEDINGS OF 2001 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP 2001, THESSALONIKI, GREECE, OCT. 7~10, 2001 *

Also Published As

Publication number Publication date
CN110557643B (zh) 2022-08-30
CN110557643A (zh) 2019-12-10
TW202005384A (zh) 2020-01-16
WO2019229683A1 (en) 2019-12-05
TWI729402B (zh) 2021-06-01
US20210092431A1 (en) 2021-03-25
WO2019229705A1 (en) 2019-12-05
US11871022B2 (en) 2024-01-09
CN110557640B (zh) 2022-09-02
CN110557640A (zh) 2019-12-10
US20240107053A1 (en) 2024-03-28
CN115334318A (zh) 2022-11-11
TW202005389A (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
TWI750475B (zh) 基於交織預測的視頻處理方法、裝置及記錄媒體
CN112868240B (zh) 并置的局部照明补偿和修改的帧间预测编解码
CN111083492B (zh) 双向光流中的梯度计算
CN110572645B (zh) 非对称加权双向预测Merge
CN113056914B (zh) 基于部分位置的差计算
CN112868239B (zh) 并置的局部照明补偿和帧内块复制编解码
TW202013966A (zh) 色度解碼器側運動向量細化
CN110740321B (zh) 基于更新的运动矢量的运动预测
TW202017377A (zh) 視頻編碼和解碼中的仿射模式
TWI722465B (zh) 子塊的邊界增強
TWI826486B (zh) 用時間資訊擴展基於查找表的運動向量預測
CN115086675A (zh) 运动候选推导
TWI819030B (zh) 用時間信息擴展基於查找表的運動向量預測
CN110876063B (zh) 交织预测的快速编码方法
CN110557639B (zh) 交织预测的应用
CN110876064B (zh) 部分交织的预测
TWI833795B (zh) 交織預測的快速編碼方法
TW202021358A (zh) 用時間信息擴展基於查找表的運動向量預測