TW202019172A - 在視訊編解碼系統中視訊處理的方法以及裝置 - Google Patents

在視訊編解碼系統中視訊處理的方法以及裝置 Download PDF

Info

Publication number
TW202019172A
TW202019172A TW108123729A TW108123729A TW202019172A TW 202019172 A TW202019172 A TW 202019172A TW 108123729 A TW108123729 A TW 108123729A TW 108123729 A TW108123729 A TW 108123729A TW 202019172 A TW202019172 A TW 202019172A
Authority
TW
Taiwan
Prior art keywords
candidate
block
current
average
motion
Prior art date
Application number
TW108123729A
Other languages
English (en)
Other versions
TWI720532B (zh
Inventor
蕭裕霖
莊子德
徐志瑋
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202019172A publication Critical patent/TW202019172A/zh
Application granted granted Critical
Publication of TWI720532B publication Critical patent/TWI720532B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊處理方法以及裝置藉由構造包括至少一個運動候選以及至少一個平均候選的候選集用於對當前塊進行編解碼。從相鄰塊的運動資訊推導該平均候選，以及用於推導該平均候選的至少一個相鄰塊是時間並列圖像中的時間塊。每一該相鄰塊是當前圖像中的空間相鄰塊或者時間並列圖像中的時間塊。從該候選集確定所選擇的候選作為運動向量預測子用於對該當前塊的運動向量進行編碼或解碼。

Description

在視訊編解碼系統中視訊處理的方法以及裝置
本發明涉及視訊編碼以及解碼系統中視訊處理方法以及裝置。具體地，本發明涉及從相鄰塊的運動資訊生成平均候選用於幀間圖像預測。
高效視訊編解碼(HEVC)標準是來自ITU研究小組的視訊編解碼專家的聯合視訊編碼小組(JCT-VC)開發的最新的視訊編解碼標準。HEVC標準改善了它延續的標準H.264/AVC的壓縮性能來滿足更高圖像解析度、更高幀率以及更好視訊品質的需求。HEVC標準依賴於基於塊的編解碼結構，將每一視訊切片(slice)拆分成複數個正方形編解碼樹單元(CTU)，其中CTU是HEVC中視訊壓縮的基本單元。在HEVC的主規格中，藉由在序列參數集(Sequence Parameter Set，SPS)中發信的語法元素指定CTU的最小以及最大尺寸。光柵掃描次序用於編碼或解碼每一切片中的CTU。每一CTU可以包含一個編碼單元(CU)或根據四叉樹分割結構遞迴地被拆分成四個更小的CU直到達到預定的最小CU尺寸。在四叉樹分割結構的每一深度，NxN塊是單個葉CU或者被拆分成四個尺寸為N/2xN/2的塊，其是編碼樹節點。如果編碼樹節點不被進一步拆分，它是葉CU。葉CU尺寸被限制為大於或等於預定最小CU尺寸，其也在SPS中指定。
預測決定在CU級做出，其中每一CU使用幀間圖像預測(inter picture prediction)或幀內圖像預測(intra picture prediction)進行編碼。一旦完成了CU分層樹的拆分，每一CU根據用於預測的PU分割類型，進一步被拆分成一或複數個預測單元(prediction unit，PU)。因為對PU中的所有像素應用相同的預測進程，PU作為用於共用預測資訊的基礎代表塊。預測資訊在PU的基礎上被傳達到解碼器。幀間圖像預測中的運動估計識別一個或兩個參考圖像中用於當前塊的一個(單向預測)或兩個(雙向預測)最佳參考塊，以及幀間圖像預測中的運動補償根據一個或兩個運動向量(MV)定位一或複數個兩個最佳參考塊。當前塊與對應的預測子之間的差異稱為預測殘差。當使用單向預測時，對應的預測子是最佳參考塊。當使用雙向預測時，兩個參考塊被組合來形成預測子。根據另一個四叉樹塊分割結構，預測殘差屬於被拆分成一或複數個轉換單元的CU，用於將殘差數據轉換成轉換係數用於緊湊的資料表示。TU是用於對殘差數據應用轉換以及量化的基礎代表塊。對於每一CU，具有與TU相同尺寸的轉換矩陣被應用於殘差數據來生成轉換係數，以及這些轉換係數在TU的基礎上被量化並傳達到解碼器。
術語編碼樹塊(CTB)、編碼塊(CB)、預測塊(PB)以及轉換塊(TB)分別被定義來指定與CTU、CU、PU以及TU有關的一個色彩分量的二維樣本陣列。例如，一個CTU包括一個亮度CTB、兩個對應的色度CTB以及它相關的語法元素。
幀間圖像預測模式 在HEVC中有三個幀間圖像預測模式，包括幀間、跳過以及合併模式。在這些幀間圖像預測模式中使用運動向量預測來減少運動資訊編解碼所需要的位元。運動向量預測進程包括生成包含複數個空間以及時間運動候選的候選集，以及修剪候選集來移除冗餘。應用運動向量競爭(Motion Vector Competition，MVC)方案來在候選集中選擇最終運動候選。幀間模式也稱為高級運動向量預測(AMVP)，其中當在幀間模式中編碼PU時，幀間預測指示符、參考圖像索引、運動向量差(MVD)以及預測殘差被傳輸。PU的幀間預測指示符描述預測方向，如list 0預測、list 1預測或者雙向預測。索引也被傳輸用於每一預測方向以從候選集選擇一個運動候選。用於幀間模式的預設候選集包括兩個空間運動候選以及一個時間運動候選。第1圖示出了用於為在幀間模式、跳過模式或合併模式中編碼的PB 10推導候選集的複數個運動候選的位置。用於幀間模式的候選集中兩個空間運動候選包括左邊候選以及上方候選。從左下方到左邊，從塊A0 111到塊A1 112搜索用於當前PB 10的左邊候選，以及第一可用塊的MV被選為左邊候選，而從右上方到左邊，從塊B0 113到塊B1 114然後塊B2 115搜索上方候選，以及第一可用塊的MV被選為上方候選。具有運動資訊的塊，或換言之，在幀間圖像預測中編碼的塊，被定義為可用塊。時間運動候選是第一可用塊的MV，第一可用塊是從鄰近於並列塊12的右下角的塊TBR 121以及參考圖像中並列塊12內部的塊TCTR 122選擇的。藉由在切片資料頭中發信旗標以及參考索引來指定使用哪一參考圖像列表以及參考圖像列表中的哪一參考圖像，參考圖像被指示。
為了增加在幀間模式中運動資訊編解碼的編解碼效率，跳過以及合併模式被提出並在HEVC標準中被採用，藉由從空間相鄰塊或時間並列塊繼承運動資訊來進一步減少發信運動資訊所需要的資料位元。對於在跳過或合併模式中編碼的PU，因為PU再使用所選擇最終候選的運動資訊，僅所選擇的最終候選的索引被編碼而不是運動資訊。由PU再使用的運動資訊包括運動向量、幀間預測指示符以及所選擇最終候選的參考圖像索引。注意到，如果所選擇最終候選是時間運動候選，參考圖像索引總是被設置為0。當PU在合併模式中編碼時，預測殘差被編碼，然而，因為跳過模式中編碼的PU的殘差數據被強制為0，跳過模式進一步跳過預測殘差的信令。
合併候選集由至多四個空間運動候選以及一個時間運動候選組成。如第1圖所示，第一合併候選是左邊塊A1 112的運動資訊，第二合併候選是上方塊B1 114的運動資訊，第三合併候選是右上方塊B0 113的運動資訊以及第四合併候選是左下塊A0 111的運動資訊。左上方塊B2 115的運動資訊被包括於合併候選集中來替代不可用空間塊的候選。第五合併候選是第一可用時間塊TBR 121以及TCTR 122的時間塊的運動資訊。編碼器基於MVC(如藉由率失真優化(rate-distortion optimization，RDO)決定)從用於在跳過或合併模式中編碼的每一PU選擇一個最終候選，以及表示所選擇最終候選的索引被發信到解碼器。解碼器根據在視訊位元流中傳輸的索引從候選集中選擇相同的最終候選。
在推導用於幀間、合併或跳過模式的候選集後執行修剪進程來檢查候選集中候選之間的冗餘。在移除一或複數個冗餘或不可用候選後，可以在編碼器或解碼器側兩者動態地調整候選集的尺寸，以及用於指示所選擇最終候選的索引可以使用截斷一元二進位(truncated unary binarization)進行編碼來減少所需要的資料位元。然而，雖然候選集的動態尺寸帶來了編碼增益，它也引入了潛在的剖析(parsing)問題。當先前圖像的MV未被正確地解碼並且這一MV被選擇為時間運動候選時，可能會發生編碼器側與解碼器側之間推導的候選集的不匹配。因此在候選集中存在剖析錯誤並且它會嚴重地傳播。剖析錯誤可能傳播到其餘的當前圖像以及甚至到後續允許時間運動候選的幀間編碼的圖像。為了阻止這種剖析錯誤傳播，使用用於幀間模式、跳過模式或者合併模式的固定候選集尺寸來分離在編碼器以及解碼器側的候選集構造與索引剖析。為了補償由固定候選集尺寸造成的編解碼損失，在修剪進程後，額外的候選被分配到候選集中的空白位置。用於指示所選擇最終候選的索引被用最大長度的截斷一元碼進行編碼，例如，最大長度在切片資料頭(slice header)中被發信用於跳過以及合併模式，以及對於HEVC中的AMVP模式，固定為2。
對於為在幀間模式中編碼的塊構造的候選集，在根據當前HEVC標準推導以及修剪兩個空間運動候選以及一個時間運動候選後，0運動向量候選被添加來填充候選集中的空白位置。對於HEVC中的跳過以及合併模式，在推導以及修剪四個空間運動候選以及一個時間運動候選後，如果可用候選的數目小於固定候選集尺寸，兩種類型的額外候選被推導以及添加來填充候選集中的空白位置。用於填充候選集的兩種類型的額外候選包括組合的雙向預測運動候選以及0運動向量候選。藉由根據預定次序組合已包括在候選集中的兩個原始運動候選創造組合的雙向預測運動候選。第2圖示出了推導組合的雙向預測運動候選用於合併候選集的示例。第2圖中的合併候選集22在修剪進程後，僅包含list 0中具有ref0的mvL0_A以及list 1中具有ref0的mvL1_B兩個運動候選，以及這兩個運動候選都是單向預測運動候選，第一運動候選mvL0_A從過去圖像L0R0 264(list 0中的參考圖像0)預測當前圖像262中的當前塊以及第二運動候選mvL1_B從未來圖像L1R0 266(list 1中的參考圖像0)預測當前圖像262中的當前塊。組合的雙向預測運動候選組合第一以及第二運動候選來形成雙向預測運動向量，其運動向量指向每一列表的參考塊。藉由對由兩個運動向量指出的兩個參考塊求平均推導這一組合的雙向預測運動候選的預測子。第2圖中更新的候選集24包括這一組合的雙向預測運動候選作為第三運動候選(MergeIdx=2)。在候選集中添加組合的雙向預測運動候選用於跳過或合併模式後，當仍有一或複數個空白位置時，一或複數個0運動候選可以被添加到候選集。
非 鄰近合併候選 非鄰近合併候選推導方法被提出來將來自當前塊的相鄰4x4塊的空間運動候選的位置擴展到左邊96像素以及上方96像素範圍內的非鄰近4x4塊。第3圖示出了推導空間運動候選用於合併候選集的構造的各種可能位置，其中位置包括鄰近以及非鄰近空間相鄰塊。用於當前塊30的合併候選集中的空間運動候選可以從鄰近空間4x4塊A、B、C、D以及E的運動資訊，以及左邊96像素以及上方96像素範圍內的非鄰近4x4塊(如A’、B’、C’、D’以及E’)的運動資訊中推導。相比於傳統的合併候選推導方法，非鄰近合併候選推導方法需要更多的記憶體來存儲運動資訊，例如，左邊96像素以及上方96像素範圍內的非鄰近空間4x4塊的運動資訊被存儲用於推導非鄰近合併候選。
子塊時間 運動向量預測 在許多最近開發的編解碼工具中採用了子塊運動補償來增加預測進程的精確性。由子塊運動補償編碼的CU或PU被拆分成複數個子塊，以及CU或PU內的這些子塊可能具有不同的參考圖像以及不同的MV。子塊時間運動向量預測(子塊TMVP，SbTMVP)是藉由包括至少一個SbTMVP候選作為合併候選集中的候選，應用到合併模式的子塊運動補償。當前PU被分割成較小的複數個子PU，以及搜索複數個子PU的對應的時間並列運動向量。第4圖中示出了SbTMVP的示例，其中尺寸為MxN的當前PU 41被拆分成(M/P)x(N/Q)個子PU，每一子PU的尺寸是PxQ，其中M被P整除以及N被Q整除。SbTMVP模式的具體演算法可以以三個步驟描述如下：
步驟1：初始運動向量被分配給當前PU 41，標記為vec_init。初始運動向量通常是複數個空間相鄰塊中的第一可用候選。例如，List X是用於搜索並列資訊的第一列表，以及vec_init被設置為第一可用空間相鄰塊的List X MV，其中X是0或1。X的值(0或1)取決於哪一列表更適合繼承運動資訊，例如，當參考圖像與當前圖像之間的圖像次序計算(Picture Order Count，POC)比Lsit 1中的POC距離更近時，List 0是用於搜索的第一列表。List X分配可以在切片級或圖像級執行。在獲得初始運動向量後，“並列圖像搜索進程”開始為當前PU中的所有子PU尋找主並列圖像，標記為main_colpic。由第一可用空間相鄰塊選擇的參考圖像被首先搜索，之後，當前圖像的所有參考圖像被順序地搜索。對於B切片，在搜索由第一可用空間相鄰塊選擇的參考圖像後，搜索從第一列表(List 0或List 1)參考索引0開始，然後索引1，然後索引2，直到第一列表中的最後一個參考圖像，當第一列表中參考圖像都被搜索後，第二列表中的參考圖像被逐一地搜索。對於P切片，由第一可用空間相鄰塊選擇的參考圖像被首先搜索，緊接著從參考索引0，然後索引1，然後索引2以及等等的列表中所有參考圖像。在並列圖像搜索進程期間，“可用性檢查”檢查藉由由vec_init_scaled指出的當前塊的中心位置周圍的並列子PU是由幀間或幀內模式編碼用於每一已搜索的圖像。vec_init_scaled是具有來自vec_init適當MV縮放的MV。確定“中心位置周圍”的一些示例是尺寸為MxN的PU的中心像素(M/2，N/2)，當前子PU的中心像素，或者取決於當前PU的形狀的中心像素或中心子PU的中心像素的混合。當由vec_init_scaled定位的中心位置周圍的並列子PU是由幀間模式編碼時，可用性檢查結果為真。當用於當前已搜索圖像的可用性檢查結果為真時，當前已搜索圖像被記錄為主並列圖像main_colpic以及完成並列圖像搜索進程。如果可用性檢查結果為真，中心位置周圍的MV被使用以及被縮放用於當前塊來推導默認MV。如果可用性檢查結果為假，即當由vec_init_scaled定位的中心位置周圍的並列子PU由幀內模式編碼時，其繼續搜索下一個參考圖像。當vec_init的參考圖像不等於原始參考圖像時，在並列圖像搜索進程期間需要MV縮放。取決於當前圖像與vec_init的參考圖像以及已搜索參考圖像之間的時間距離分別對MV進行縮放。在MV縮放後，已縮放的MV被標記為vec_init_scaled。
在步驟2中：為每一子PU定位main_colpic中的並列位置。例如，在時間並列圖像42(main_colpic)中首先定位用於子PU 411以及子PU 412的對應的位置421以及位置422。用於當前子PU i的並列位置計算如下：
並列位置x = Sub-PU_i_x + vec_init_scaled_i_x(整數部分) + shift_x,
並列位置y = Sub-PU_i_y + vec_init_scaled_i_y(整數部分) + shift_y,
其中Sub_PU_i_x表示當前圖像中子PU i的水平的左上方位置，Sub_PU_i_y表示當前圖像中子PU i的垂直的左上方位置，vec_init_scaled_i_x表示用於子PU i的已縮放的初始運動向量(vec_init_scaled_i)的水平分量，vec_init_scaled_i_y表示vec_init_scaled_i的垂直分量，以及shift_x以及shift_y分別表示水平移位(shift)值以及垂直移位值。為了減少計算複雜度，僅Sub_PU_i_x與Sub_PU_i_y的整數位置，以及vec_init_scaled_i_x與vec_init_scaled_i_y的整數部分被用於計算。在第4圖中，並列位置425是由來自子PU 411的位置421的vec_init_sub_0 423定位以及並列位置426是由來自子PU 412的位置422的vec_init_sub_1 424定位。
在SbTMVP模式的步驟3中，從並列位置x以及並列位置y上的collocated_picture_i_L0以及collocated_picture_i_L1獲得每一子PU的運動資訊(MI)，標記為SubPU_MI_i。MI被定義為一組{MV_x、MV_y、參考列表、參考索引以及其他合併模式敏感資訊(如局部亮度補償旗標)}。此外，MV_x以及MV_y可以根據並列圖像、當前圖像以及並列MV的參考圖像之間的距離關係進行縮放。如果MI對於一些sub_PU不可用，中心位置周圍的sub_PU的MI將被使用，或者換言之，默認MV將被使用。如第4圖所示，從並列位置425獲得的subPU0_MV 427以及從並列位置426獲得的subPU1_MV 428分別用於推導子PU 411以及子PU 412的預測子。當前PU 41中的每一子PU根據在對應的並列位置上獲得的MI推導它自己的預測子。
空間 - 時間運動向量預測 在JEM-3.0中，空間-時間運動向量預測(STMVP)技術被用於推導將被包含在跳過或合併模式的候選集中的新的候選。使用時間以及空間運動向量預測子遵循光柵掃描次序遞迴地推導子塊的運動向量。第5圖示出了具有四個子塊的CU以及其相鄰塊用於推導STMVP候選的示例。第5圖中的CU是包含四個4x4子塊A、B、C以及D的8x8塊，以及當前圖像中相鄰NxN塊被標記為a、b、c以及d。藉由識別子塊A的兩個空間相鄰塊開始子塊A的STMVP候選推導。第一相鄰塊c是子塊A上方的NxN塊，以及第二相鄰塊b是子塊A的左邊的NxN塊。如果塊c不可用或者塊c是幀內編碼，從塊c開始，子塊A上方的其他NxN塊從左到右被檢查。如果塊b不可用或者塊b是幀內編碼，從塊b開始，子塊A左邊的其他NxN塊從上到下被檢查。針對每一列表從兩個相鄰塊獲得的運動資訊被縮放為給定列表的第一參考圖像。藉由遵循與HEVC標準中指定的相同的時間運動向量預測子(TMVP)推導進程，然後推導子塊A的TMVP。在位置D的並列塊的運動資訊被提取以及被相應地縮放。最後，針對每一參考列表分別對所有可用運動向量求平均。平均的運動向量被分配作為當前子塊的運動向量。
仿射 MCP 仿射運動補償預測(仿射MCP)是為預測除平移運動(translation motion)之外的各種類型運動開發的技術。例如，旋轉、放大、縮小，透視運動以及其他不規則運動。如第6A圖所示，示例性簡化的仿射轉換MCP被應用於聯合勘探測試模型(JEM-3.0)來改善編解碼效率。由兩個控制點611以及612的運動向量613以及614描述當前塊61的仿射運動場。塊的運動向量場(Motion Vector Field，MVF)由如下等式進行描述：
Figure 02_image001
其中(v0x ,v0y )表示左上角控制點611的運動向量613，以及(v1x ,v1y )表示右上角控制點612的運動向量614。
應用基於塊的仿射轉換預測而不是基於像素仿射轉換預測來進一步簡化仿射運動補償預測。第6B圖示出了將當前塊62分成複數個子塊以及將仿射MCP應用於每一子塊。如第6B圖所示，根據上述等式計算每一4x4子塊的中心樣本的運動向量，以及然後被捨入到1/16分數精度，其中(v0x ,v0y )表示左上角控制點621的運動向量623，(v1x ,v1y )表示右上角控制點622的運動向量624。根據推導的運動向量應用運動補償插值(interpolation)來為每一子塊生成預測子。在執行運動補償預測後，每一子塊的高精度運動向量被捨入以及用相同的精度存儲為正常的運動向量。
藉由從對應於仿射編碼的相鄰塊的候選集中選擇候選或者從候選集中選擇仿射候選，仿射MCP被應用於在合併模式或AMVP模式中編碼的塊。然後藉由繼承所選擇仿射編碼的相鄰塊或仿射候選的仿射參數，在仿射MCP中對塊進行編碼。例如，當前塊上方的塊由仿射MCP進行編碼以及當前塊由合併模式進行編碼。如第1圖所示，在這一示例中，當前塊的空間相鄰塊B1 以及B0 是仿射編碼的塊而其他空間相鄰塊A1 、A0 以及時間塊TBR 是傳統的幀間預測編碼的塊。仿射編碼的塊可以由仿射合併模式或仿射AMVP模式進行編碼，以及傳統的幀間預測編碼的塊可以由常規的合併模式或常規的AMVP模式進行編碼。一或複數個先前已編碼塊的仿射參數可以被存儲以及用於生成一或複數個仿射候選。
視訊編解碼系統中視訊處理的方法利用運動向量預測子(MVP)用於編解碼在幀間圖像預測(如幀間、合併、跳過模式)中編碼的當前塊的當前MV，包括接收與當前圖像中該當前塊有關的輸入資料，將一或複數個運動候選包括在用於該當前塊的當前候選集中，從該當前塊的兩個或複數個相鄰塊的MV推導平均候選，將該平均候選包括在該當前候選集中，從該當前候選集確定一個所選擇的候選作為MVP用於當前MV，以及利用該MVP在幀間圖像預測中對該當前塊進行編碼或解碼。用於推導該平均候選的至少一個相鄰塊是時間並列圖像中的時間塊。該當前候選集中的每一運動候選或平均候選包括指向與list 0或list 1有關的參考圖像的一個MV用於單向預測，或者包括指向與list 0有關的參考圖像以及與list 1有關的參考圖像的兩個MV用於雙向預測。
在一些實施例中，每一該相鄰塊是該當前圖像中該當前塊的空間相鄰塊或該時間並列圖像中的時間塊。該空間相鄰塊是該當前塊的鄰近相鄰塊或非鄰近相鄰塊。根據一個實施例從一個時間塊以及兩個空間相鄰塊的運動資訊推導該平均候選。在其他實施例中，從一個時間塊以及一個空間相鄰塊的運動資訊、從兩個時間塊以及一個空間相鄰塊的運動資訊、從三個時間塊以及一個空間相鄰塊的運動資訊、從兩個時間塊以及兩個空間塊的運動資訊、一個時間塊以及三個空間相鄰塊的運動資訊或者三個時間塊以及一個空間相鄰塊的運動資訊推導該平均候選。
視訊處理方法可以進一步檢查用於推導平均候選的該相鄰塊的任一該運動資訊是否是不可用的。在一些實施例中，當該相鄰塊的任一該運動資訊不可用時，確定替換塊來替換具有不可用運動資訊的該相鄰塊。使用該替換塊以及其他具有可用運動資訊的該相鄰塊推導修正的平均候選來替換該平均候選。如果具有不可用運動資訊的該相鄰塊是空間相鄰塊，該替換塊是預定時間塊、與具有不可用運動資訊的相鄰塊並列的時間塊、預定的鄰近空間相鄰塊或者預定的非鄰近空間相鄰塊。在另一個實施例中，當該相鄰塊的任一該運動資訊不可用時，該平均候選被設置為不可用並且從該當前候選集中排除。在又一實施例中，當任一該運動資訊不可用時，僅使用該相鄰塊的剩餘可用運動資訊推導修正的平均候選，以及該修正的平均候選替換將被包含在該當前候選集中的該平均候選。因為該修正的平均候選可能是不可靠的，相比用於該平均候選的預定位置，該當前候選集中該修正的平均候選的位置向後移動。
在一些實施例中，用於推導該平均候選的至少一個相鄰塊的運動信息不是已包含在該當前候選集中的運動候選的一個，例如，用於推導該平均候選的所有運動資訊不與已在該當前候選集中的任一運動候選相同。在一些實施例中，已存在於該當前候選集的一或複數個運動候選用於推導該平均候選。根據一個實施例，已包含在該當前候選集中的該運動候選被限制為空間運動候選。
根據一些示例性實施例，兩個或複數個運動候選可以被包含在該當前候選集，以及該平均候選被插入到該當前候選集中的鄰近位置或非鄰近位置。
在一個實施例中，因為所有相鄰塊的複數個MV指向給定參考圖像，用於推導該平均候選的所有該相鄰塊的參考圖像索引等於給定參考圖像索引。該給定參考圖像的該給定參考圖像索引是預定的、在視訊位元流中明確地傳輸的或者從用於生成該平均候選的相鄰塊的該運動資訊隱含推導的。在另一個實施例中，從一或複數個已縮放的MV推導該平均候選，以及藉由縮放該相鄰塊的一個MV到該給定參考圖像計算每一已縮放的MV。由總縮放計數約束用於推導該平均候選的已縮放MV的數目。在另一個實施例中，不管該相鄰塊的參考圖像索引是相同或不同，在沒有縮放的情況下，藉由直接對該相鄰塊的MV求平均推導該平均候選。在又一實施例中，如果該相鄰塊的參考圖像索引或圖像次序計算是不同的，使用該相鄰塊的一個直接推導該平均候選。
視訊處理方法可以被簡化來減少計算複雜度。在一個實施例中，藉由對相鄰塊的該運動資訊的僅一個水平分量或垂直分量求平均簡化該視訊處理方法，以及該平均候選的另一個分量被直接設置為該相鄰塊的該運動資訊的一個的另一個分量。在另一個實施例中，藉由對相鄰塊的僅一個列表MV求平均簡化該視訊處理方法，以及直接將該平均候選的另一個列表MV設置為另一個列表中一個相鄰塊的MV。
在一些實施例中，執行修剪進程來將該平均候選與已存在於該當前候選集中的一或複數個運動候選進行比較，以及如果該平均候選等於一個運動候選，從該當前候選集移除該平均候選或者該當前候選集不包括該平均候選。該修剪進程可以是完整的修剪進程或部分修剪進程。在一個實施例中，該平均候選僅與用於推導該平均候選的該當前候選集中的部分或所有運動候選進行比較，以及在另一個實施例中，該平均候選僅與不用於推導該平均候選的該當前候選集中的部分或所有運動候選進行比較。
視訊處理方法的一個實施例藉由對該相鄰塊的複數個MV求加權平均推導平均候選。如果該當前塊在子塊模式中編碼，該當前候選集可以由該當前塊的複數個子塊共用。
本發明的一方面進一步提供了視訊編解碼系統中的視訊處理裝置，利用MVP用於在幀間圖像預測中編碼的當前塊的當前MV。該裝置包括一或複數個電子電路，用於接收當前圖像中該當前塊的輸入資料，推導運動候選並且將該運動候選包括在用於該當前塊的當前候選集中，從該當前塊的相鄰塊的預定集合的運動資訊推導平均候選，將該平均候選包括在該當前候選集中，以及利用該MVP在幀間圖像預測中對該當前塊進行編碼或解碼。用於推導該平均候選的至少一個相鄰塊是時間並列圖像中的時間塊。
本發明的另一方面進一步提供了存儲程式指令的非暫態電腦可讀媒介，使得裝置的處理電路執行視訊處理方法來利用從當前候選集中選擇的MVP對當前塊進行編碼或解碼，其中該當前候選集包括一或複數個平均候選。該平均候選是從相鄰塊的預定集合的運動資訊推導的，以及至少一個該相鄰塊是時間並列圖像中的時間塊。在閱讀以下具體實施例的描述後，本發明的其他方面以及特徵對本領域技術人員將是顯而易見的。
本發明的視訊處理方法藉由推導平均候選，從包含已推導的平均候選的當前候選集中確定一運動向量預測子，利用運動向量預測子對當前塊進行編碼或解碼，可以有效改善編解碼效率。
將容易理解，本發明的元件，如通常在本文的圖示中描述以及示出的，可以以各種不同的配置來排列以及設計。因此，如在圖示中示出的，生成一或複數個平均候選用於在幀間圖像預測的當前塊的系統以及方法的實施例的後續更詳細的描述不旨在限制本發明的範圍，如所要求的，只是本發明所選擇實施例的表示。
本發明的實施例提供了生成將被添加到候選集的一或複數個平均候選的新方法用於對在幀間圖像預測中編碼的當前塊進行編碼或解碼。當前塊是各種不同實施例中的PU、葉CU或子塊。在後文中，候選集用於表示AMVP候選集或合併候選集，其被構造用於對在幀間圖像預測(如AMVP(即幀間模式)模式、合併模式、跳過模式或直接模式)中編碼的塊進行編碼或解碼。本發明的一或複數個平均候選可以根據預定次序被包括於候選集中。在候選集中可能有一或複數個重複的候選，以及在一些實施例中可以執行修剪進程來移除候選集中一或複數個冗餘的候選。在修剪進程之前或之後，使用本發明的實施例推導的平均候選可以被插入候選集中。例如，在修剪四個空間運動候選以及一個時間運動候選後，平均候選被添加到合併候選集的空白位置中。如果在添加第一平均候選後合併候選集還未滿，另一個平均候選或0運動向量候選可以被添加到合併候選集中。藉由運動向量競爭(MVC)(如在編碼器側或在解碼器側藉由在視訊位元流中的索引傳輸的率失真優化(RDO)決定)，從候選集中選擇一個最終候選作為運動向量預測子(MVP)，以及藉由根據MVP的運動資訊推導預測子對當前塊進行編碼或解碼。MVP與當前MV之間的MV差(MVD)分別與指示MVP的索引以及當前塊的預測殘差一起被發信用於在幀間模式編碼的當前塊。指示MVP的索引與當前塊的預測殘差一起被發信用於在合併模式中編碼的當前塊，以及僅指示MVP的索引被發信用於在跳過模式中編碼的當前塊。
平均候選推導方法 在本發明的一些示例性實施例中，用於編解碼當前塊的當前候選集包括平均候選，以及平均候選藉由對相鄰塊的預定集合的MV求平均生成。用於推導平均候選的每一相鄰塊是空間相鄰塊或時間相鄰塊，其中至少一個相鄰塊是時間並列圖像中的時間塊。第7A圖示出了根據本發明一些實施例中可以用於推導平均候選的當前圖像70中當前塊702的空間相鄰塊的一些示例。在這一實施例中，藉由如第7A圖示出的一或複數個空間相鄰塊的運動資訊生成用於當前塊702的平均候選。空間相鄰塊包括在當前塊702左側的相鄰塊A0 、A1 、ML以及C2 ，當前塊702上方的相鄰塊B0 、B1 、MT以及C1 ，以及鄰近當前塊702的左上角的相鄰塊C0 。為當前塊構造合併候選集的實施例包括相鄰塊A1 、B1 、B0 以及A0 的空間運動候選，以及TBR 的時間候選，以及合併候選集中的平均候選。藉由對相鄰塊的預定集合的MV求平均推導平均候選，以及相鄰塊的預定集合的實施例包含時間並列圖像中的至少一個時間塊。
在一個實施例中，當合併候選集已包含相鄰塊A1 、B1 、B0 以及A0 的運動候選時，用於推導平均候選的至少一個相鄰塊不是相鄰塊A1 、B1 、B0 與A0 以及TBR 的任何一個。一個示例性平均候選從相鄰塊A0 、B0 以及C0 的運動資訊來推導，以及另一個示例性平均候選從相鄰塊ML、MT、C0 以及TCTR 的運動資訊來推導。
第7B圖示出了根據本發明一些實施例的可以被用於為當前塊生成平均候選的當前塊702的時間相鄰塊的一些示例。如第7B圖示出的時間相鄰塊包括在當前塊702的並列塊722的中心的四個時間塊Col-CTL、Col-CTR、Col-CBL以及Col-CBR，在並列塊722的四個角落的四個時間塊CoL-TL、CoL-TR、CoL-BL以及Col-BR以及鄰近並列塊722的邊界或鄰近並列塊722的角落的十二個時間塊Col-A0 、Col-A1 、Col-ML、Col-C2 、Col-C0 、Col-C1 、Col-MT、Col-B1 、Col-B0 、Col-MR、Col-H以及、Col-MB。第7B圖中示出的時間相鄰塊位於時間並列圖像72。一個示例性平均候選是藉由對兩個時間塊Col-TL以及Col-H的MV求平均來推導，以及另一個示例性平均候選是藉由對兩個時間塊Col-CBL與Col-A1 以及一個空間相鄰塊A1 求平均來推導。
在一些實施例中，用於生成平均候選的相鄰塊也包括一或複數個非鄰近空間相鄰塊。第8圖示出了根據本發明一些實施例的可以用於推導平均候選的當前塊80的非鄰近空間相鄰塊的一些示例。非鄰近空間相鄰塊可以包括ML’、A0 ’、MT’以及B0 ’，其中非鄰近空間相鄰塊ML’與對應的空間相鄰塊ML之間的垂直位移以及非鄰近空間相鄰塊A0 ’與對應的空間相鄰塊A0 之間的垂直位移等於當前塊80的CU高度。非鄰近空間相鄰塊MT’與對應的空間相鄰塊MT之間的水平位移以及非鄰近空間相鄰塊B0 ’與對應的空間相鄰塊B0 之間的水平位移等於當前塊80的CU寬度。從非鄰近空間相鄰塊ML’以及MT’的平均MV推導示例性平均候選，以及從鄰近空間相鄰塊A0 與B0 以及非鄰空間相鄰塊A0 ’與B0 ’的平均MV推導另一個示例性平均候選。
在一個實施例中，一個時間塊以及三個空間相鄰塊的運動資訊被平均來生成平均候選用於對當前塊進行編解碼。空間相鄰塊可以是如第7A圖示出的任何相鄰塊或者如第3圖或者第8圖示出的任何非鄰近空間相鄰塊。例如，相鄰塊{A0 、B0 、C0 、Col-X}、{A1 、B1 、C0 、Col-X}或者{C0 、MT、ML、Col-X}的MV被平均。Col-X是並列參考圖像中的時間塊，以及時間塊可以鄰近或者在並列塊的邊界或角落內，第7B圖中示出了時間塊Col-X的一些示例。在一些實施例中，如果時間塊的運動資訊是不可用的，替代地使用另一個時間塊的運動資訊來生成平均候選，或者如果預定序列中的優先時間塊的運動資訊不可用，可能有由預定序列的時間塊，使用預定序列中的時間塊的運動資訊來替代不可用運動資訊。例如，使用Col-CBR、Col-CTL、Col-TR、Col-BR、Col-BL或者Col-TL的運動資訊來替代預定時間塊的不可用運動資訊。在另一個示例中，預定序列包含Col-CBR、Col-CTL以及Col-BR，其中如果預定時間塊不在幀間圖像預測中編碼，使用Col-CBR，如果Col-CBR不在幀間圖像預測中編碼，使用Col-CTL，以及如果Col-CTL不在幀間圖像預測中編碼，使用Col-BR。在合併候選集或者AMVP MVP候選集構造中利用平均候選用於編碼或解碼當前塊。
在一些實施例中，當前塊的一個時間塊或兩個空間相鄰塊的運動資訊被平均來生成平均候選用於構造當前塊的候選集。例如，相鄰塊{MT, ML, Col-X}、{MT’, ML’, Col-X}、{B1 , A1 , Col-X}、{B0 , A0 , Col-X}或者{B0 ’,A0 ’Col-X}的MV被平均來生成平均候選。當從三個MV生成平均候選時，除以4而不是除以3更容易實現，為了簡化計算，一個實施例在求平均之前調整權重因數來避免複雜計算。例如，用於時間塊的MV的權重因數是2而用於空間相鄰塊的MV的權重因數是1，在這種情況下，藉由將時間塊的加權MV與空間塊的加權MV的和移位兩個位元計算平均候選。在這一示例中，其等同於從相鄰塊{MT, ML, Col-X, Col-X}、{MT’, ML’, Col-X, Col-X}、{B1 , A1 , Col-X, Col-X}、{B0 , A0 , Col-X, Col-X}或者{B0 ’, A0 ’, Col-X, Col-X}的MV計算平均候選。
在又一實施例中，當前塊的一個時間塊以及一個空間相鄰塊的運動資訊被求平均來生成平均候選用於構造當前塊的候選集。時間塊以及空間相鄰塊對的一些示例是{Col-X, B0 }, {Col-X, B1 }, {Col-X, MT}, {Col-X, C0 }, {Col-X, C1 }, {Col-X, C2 }, {Col-X, ML}, {Col-X, A1 }以及{Col-X, A0 }。由示例性對的運動資訊生成的一或複數個平均候選用於合併候選集或AMVP MVP候選集生成。例如，從{Col-H,MT}的運動資訊生成的第一平均候選以及從{Col-H,ML}的運動資訊生成的第二平均候選都包括於合併候選集或者AMVP MVP候選集中用於編碼或解碼當前塊。
通常，預定數目的時間塊以及預定數目的空間相鄰塊用於推導一或複數個平均候選用於候選集構造。例如，從兩個時間塊的運動資訊以及一個空間相鄰塊的運動資訊推導平均候選，從三個時間塊的運動資訊以及一個空間相鄰塊的運動資訊推導平均候選，或者從兩個時間塊的運動資訊以及兩個空間相鄰塊的運動資訊推導平均候選。或者，當前塊的一個時間塊以及三個空間相鄰塊可以用於生成平均候選用於當前塊，或者當前塊的三個時間塊以及一個空間相鄰塊可以用於生成平均候選用於當前塊。
修正的平均候選 用於生成平均候選的相鄰塊的預定集合可以包含具有不可用運動資訊的一或複數個相鄰塊，例如，預定集合中的一個相鄰塊以幀內模式中編碼因此沒有與這一相鄰塊有關的運動資訊。在一些實施例中，視訊編碼器或解碼器在生成平均候選之前檢查用於生成平均候選的任一MV是否是不可用的，以及如果用於推導平均候選的相鄰塊的MV是不可用的，使用替換塊來替換這一相鄰塊來推導修正的平均候選。如果用於推導平均候選的空間相鄰塊的運動資訊是不可用的，根據一些實施例，預定的時間塊或與空間相鄰塊並列的時間塊被選擇為替換塊來替換空間相鄰塊來生成修正的平均候選。例如，平均候選意味著藉由兩個空間相鄰塊以及一個時間塊的MV生成，以及如果第一空間相鄰塊的MV是不可用的，相同時間塊的MV或另一個時間塊的MV用於替換與第一空間相鄰塊有關的不可用MV。與第一空間相鄰塊並列的時間塊的MV可以用於替換不可用MV，例如，當空間相鄰塊ML的MV不可用時，Col-ML的MV用於替換不可用MV以便生成修正的平均候選。根據一些其他實施例，如第8圖示出的預定空間相鄰塊(如空間相鄰塊B0 ，B1 ，MT’,B0 ’,A0 ’,A1 ’,ML’或A0 ’)或者預定非鄰近空間塊的MV用於替換具有不可用MV的相鄰塊。
在一些其他實施例中，當檢查結果顯示存在用於生成平均候選的至少一個MV是不可用的，沒有額外的MV用於替換不可用MV，在一個實施例中，平均候選設置為不可用以致它不被生成或者不包含在候選集中，在另一個實施例中，藉由對剩餘的可用MV求平均生成修正的平均候選。
生成修正的平均候選來替換平均候選的實施例進一步改變候選集中修正的平均候選的位置。在當用於生成平均候選的至少一個MV不可用以及由剩餘可用MV或者藉由用替換塊的MV替換每一不可用MV推導修正的平均候選的情況下，相比於普通的平均候選，修正的平均候選被插入候選集中的不並列置。因為相比於普通的平均候選，修正的平均候選是較不可靠的，相比於用於平均候選的預定位置，修正的平均候選的位置可以在候選集中向後移動。例如，如果用於生成平均候選的所有MV是可用的，平均候選被插入在時間並列候選之前的位置，如果用於生成平均候選的至少一個MV是不可用的，修正的平均候選被插入在時間並列候選之後的位置。
已在候選集中的 MV 根據本發明的各種實施例，從當前塊的相鄰塊的預定集合的運動資訊推導將包含在當前候選集中的平均候選，以及至少一個相鄰塊是時間並列圖像中時間塊。在一些實施例中，已在用於編解碼當前塊的當前候選集中的一或複數個運動候選用於生成平均候選。已在候選集中的一或複數個運動候選包括一或複數個空間候選與/或一或複數個時間候選。例如，藉由不在候選集中的一個時間MV以及已在候選集中的一或複數個運動候選生成在預定位置的平均候選，如在ATMVP候選之前、在ATMVP候選之後或者在時間MV候選之前。在一個實施例中，被用於生成平均候選的已在候選集中的一或複數個運動候選可以被限制為候選集中的空間候選。例如，藉由對不在候選集中的時間MV以及已在候選集中的前兩個空間運動候選的求平均來推導在預定位置的平均候選。
在一個實施例中，從已在候選集中的兩個或複數個運動候選生成平均候選，如果候選集中僅有一個可用運動候選，平均候選不被添加到候選集中。在另一個實施例中，如果在候選集中僅有一個可用運動候選以及該可用運動候選是空間候選，本應從兩個或複數個運動候選推導的平均候選不被添加到候選集中。在又一實施例中，如果候選集中僅一個可用運動候選以及該運動候選是時間候選，本應從已在候選集中的兩個或複數個運動候選推導的平均候選不被添加到候選集中。
候選集中平均候選的位置 根據本發明各種實施例之一推導的每一平均候選被插入合併候選集或AMVP候選集中的預定位置。例如，預定位置可以是第一候選位置、在時間並列候選之前的位置、在空間運動候選C0 之前的位置、在空間運動候選A1 之後的位置、在空間運動候選B1 之後的位置、在候選B0 之後的位置、在空間運動候選A0 之後的位置、在ATMVP候選之前的位置、在ATMVP候選之後的位置、在空間運動候選C0 之後的位置。在一個實施例中，從相鄰塊的不同集合的運動資訊推導的兩個或複數個平均候選被插入候選集以及這些平均候選被放到一起，例如，兩個平均候選被插入候選集中的第N個位置以及第N+1個位置，在另一個實施例中，這些平均候選被放入非鄰近位置。
指向目標參考圖像的約束 MV 在一個實施例中，僅指向給定目標參考圖像的MV用於推導平均候選。平均候選被推導為指向給定目標參考圖像的複數個MV的平均MV，以及給定目標參考圖像索引是預定的、在視訊位元流中明確發信的或者從用於生成平均候選的複數個MV隱含推導的。隱含地推導目標參考圖像索引的一個示例首先識別相鄰塊的參考圖像索引以及然後計算這些相鄰塊的參考圖像索引的眾數、最小值或最大值作為目標參考圖像索引。預定目標參考圖像索引的示例是給定參考列表中參考圖像索引0。
在推導平均候選的一個實施例中，用於list 0或list 1的平均候選被推導為有限的list 0或list 1複數個MV的平均MV，其中有限的list 0或list 1複數個MV是指向給定目標參考圖像的複數個MV。換言之，僅具有與給定目標參考圖像相同的參考圖像索引的MV被平均用於推導平均候選。根據從指向給定目標參考圖像的有限個MV推導平均候選的實施例，僅當相鄰塊的預定集合的的任一MV指向在至少一個列表或兩個列表中給定目標參考圖像時，推導平均候選，否則不推導平均候選。
從指向不同參考圖像的複數個 MV 推導平均候選 在後續實施例中，當相鄰塊的預定集合的複數個MV指向不同參考圖像時，可以推導平均候選。在從相鄰塊的預定集合的複數個MV推導平均候選的一個實施例中，指向給定目標參考圖像的任一MV被縮放到給定目標參考圖像，以及平均候選被推導為指向給定目標參考圖像的所有縮放或未縮放MV的平均MV。例如，藉由首先將相鄰塊的預定集合的所有MV縮放到list 0中的目標參考圖像以及然後對已縮放的list 0 MV求平均，推導平均候選的list 0 MV。用於參考列表的目標參考圖像的目標參考圖像索引是預定的、在視訊位元流中明確發信的或從相鄰塊的預定集合的MV隱含推導的。例如，參考列表的目標參考圖像索引被推導為與參考列表有關的相鄰塊的預定集合的參考圖像索引的眾數、最小值或最大值。在這一實施例中，指向參考列表中目標參考圖像的所有MV被縮放到目標參考圖像以及然後與原始指向目標參考圖像的MV一起被平均來推導平均候選。在推導平均候選的list 0 MV的一個實施例中，如果相鄰塊的預定集合中的任何相鄰塊不具有在list 0中的MV，list 1的MV被縮放到list 0的目標參考圖像，以及已縮放的MV用於生成平均候選的list 0 MV。或者，如果相鄰塊的預定集合中任何相鄰塊的list 1 MV是不可用的，list 0 MV被縮放到list 1的目標參考圖像用於推導平均候選的list 1 MV。
在一個實施例中，使用總縮放計數來約束用於推導平均候選的已縮放MV的數目，例如，相鄰塊的預定集合的至少0個MV、一個MV或者兩個MV可以被縮放用於生成平均候選。在應用總縮放計數的這一實施例中，從部分縮放的輸入MV或未縮放的輸入MV推導平均候選。在約束總縮放計數為0的情況下，在沒有縮放的情況下藉由直接對相鄰塊的預定集合的所有輸入MV求平均來推導平均候選，即使相鄰塊的預定集合的複數個MV指向不同的參考圖像。平均候選的參考圖像索引可以被設置為相鄰塊的預定集合的參考索引之一。在約束總縮放計數為1的情況下，如果存在超過1個輸入MV指向不同於給定目標參考圖像的參考圖像，藉由已縮放MV以及至少一個未縮放MV推導平均候選。
在另一個實施例中，為了從當前塊的相鄰塊的預定集合生成用於當前塊的平均候選的MV，如果相鄰塊的預定集合的參考索引或PoC是不同的，參考索引之一以及相關的MV被直接用作平均候選而沒有平均。例如，選擇具有最小參考索引的相鄰塊的預定集合中相鄰塊的參考索引以及MV，以及在另一示例中，選擇具有最大參考索引的相鄰塊的預定集合中相鄰塊的參考索引以及MV。用於參考列表0以及參考列表1的MV平均進程可以被分別執行，以及不同的參考列表可以採用不同的選擇行為，例如，對於平均候選的list 0，選擇相鄰塊的預定集合中具有最小參考索引的相鄰塊的MV以及參考索引。對於平均候選的list 1，選擇相鄰塊的預定集合中具有最大參考索引的相鄰塊的MV以及參考索引。在另一個示例中，選擇相鄰塊的預定集合中具有最大參考索引的相鄰塊的MV以及參考索引用於平均候選的list 0，而選擇具有最小參考索引的相鄰塊的MV以及參考索引用於平均候選的list 1。如果相鄰塊的預定集合中的一個相鄰塊是僅用第一列表中一個MV單向預測的，根據一個實施例，第二列表中平均候選的MV可以被設置為0運動向量，或者根據另一個實施例，藉由對0運動向量與相鄰塊的預定集合的其他相鄰塊的第二列表MV求平均推導第二列表中的平均候選的MV。例如，單向預測相鄰塊不具有list 1 MV，0向量可被直接用作平均候選的list 1 MV，或者0向量可與相鄰塊的預定集合的其他相鄰塊的list 1 MV求平均來推導平均候選的list 1 MV。
適應性推導平均候選 在一些實施例中，根據當前塊的相鄰塊的預定集合的運動資訊適應性地推導用於當前塊的平均候選。例如，如果預定集合中相鄰塊的任一MV指向至少一個列表或者兩個列表中的給定目標參考圖像，藉由相鄰塊的預定集合的運動資訊推導平均候選，否則，不從相鄰塊的預定集合的運動資訊推導平均候選。在另一個實施例中，僅當相鄰塊的預定集合的所有MV指向相同的參考圖像時，推導平均候選。
減少複雜度 MV描述從一個二維視訊圖像到另一個二維視訊圖像的轉換，其在兩個方向進行測量。當前塊的MV包括水平分量以及垂直分量，表示當前塊與其對應的參考塊之間的二維位移。為了簡化平均候選的推導進程，一些實施例僅在一個維度對MV求平均。例如，藉由對與當前塊的相鄰塊的預定集合有關的MV的水平分量求平均計算用於當前塊的平均候選的水平分量，而平均候選的垂直分量被直接地設置為與相鄰塊的預定集合有關的複數個MV之一的垂直分量。在用於平均候選推導進程的複雜度減少的另一個實施例中，僅藉由對與相鄰塊的預定集合有關的複數個第一列表MV求平均計算第一列表(即，list 0或list 1)中的MV，而第二列表(即list 1或list 0)中的MV直接被設置為預定集合中一個相鄰塊的第二列表MV。藉由在一個先前段落提到的將總縮放計數設定為0或1，也減少平均候選推導進程的複雜度。
舍入機制 用於從與相鄰塊的預定集合有關的MV推導平均候選的平均進程可以使用常規的舍入機制之一來實施，例如，“向上舍入一半(rounding half up)”、“向下舍去一半(rounding half down)”、“向0舍入(rounding toward zero)”、“遠離0舍入(rounding away from zero)”以及以另一個表示替代平均值的任何其他方式來適合有限的位元深度表示。
冗余檢查 根據本發明的實施例生成的一或複數個平均候選可以與已存在於候選集中的一或複數個運動候選進行比較用於冗餘檢查。在冗餘檢查後，如果平均候選與複數個運動候選之一相同，平均候選將不被添加到候選集中。藉由從候選集中移除一或複數個冗餘候選，這一修剪進程可以提升編解碼效率。藉由藉由比較候選集中每一對候選，可以執行完整的修剪進程來從候選集移除每一單個冗餘候選。為了減少候選集構造複雜度，可以執行部分修剪進程。在部分修剪進程的一些實施例中，將藉由已存在於候選集中的一或複數個運動候選推導的平均候選僅與用於生成平均候選的部分或所有平均候選進行比較來用於冗餘檢查，或者，平均候選僅與未用於生成這一運動候選的部分或所有運動候選進行比較。例如，已存在於候選集中的候選-A、候選-B以及候選-C用於生成平均候選以及一或複數個MV不在候選集中，以及這一新生成的平均候選僅與候選-A、候選-B或候選-C進行比較，或者與候選-A以及候選-B兩者、或者與候選-B以及候選-C兩者、或者與候選-A以及候選-C兩者進行比較，或者與所有三個輸入候選候選-A、候選-B以及候選-C進行比較。在另一個示例中，在生成平均候選之前，候選集包括候選-A、候選-B、候選-C、候選-D以及候選-E，以及這一新生成的平均候選僅與候選-C或候選-D，或候選-C與候選-D兩者進行比較用於冗餘檢查。
在一些實施例中，平均候選與候選集中的部分候選進行比較用於冗餘檢查。例如，平均候選與已存在於候選集中的前一個、兩個或三個候選進行比較，以及如果平均候選與已存在於候選集中的候選相同，這一平均候選不被插入候選集中。
在一個實施例中，如果有不只一個平均候選被插入候選集中，僅頭一個、兩個或三個平均候選與已在候選集中的候選進行比較，因為剩餘的平均候選被直接添加到候選集而沒有修剪，不對剩餘的平均候選執行修剪進程。在另一個實施例中，對平均候選彼此進行修剪以及不對已存在於候選集中的候選進行修剪。例如，第三平均候選與第一平均候選以及第二平均候選進行比較。在一些實施例中，前N個平均候選與已存在於候選集中的前M個候選進行比較，以及剩餘的平均候選僅與候選集中的第一或最後一個候選進行比較，或者剩餘的平均候選僅與生成的平均候選進行比較。
在又一個實施例中，在沒有執行任何完整或部分修剪進程的情況下將平均候選直接添加到候選集中。
加權平均 可以藉由偶數的加權平均計算或者不同的加權平均計算來計算根據本發明實施例生成的一或複數個平均候選。在不同加權平均計算的示例中，當用於計算平均候選的MV的數目是3時，MV的一個可以乘以2以及MV的總數被4整除。在偶數加權平均計算的示例中，當用於計算平均候選的MV的數目是2時，用於這兩個MV的權重都是1，以及MV的總數被2整除。在另一個示例中，用於兩個MV的權重可以是2以及-1或者-1以及2，以及兩個加權MV的和是沒有除法的平均候選。更普遍地，用於複數個MV的權重是N1 、N2 ……Nn 以及加權MV的和被(N1 +N2 +……+Nn )整除。在另一個實施例中，用於與相鄰塊有關的每一MV的權重因數取決於當前塊與相鄰塊之間的距離，例如，較大的權重因數被分配給與當前塊更近的相鄰塊的MV。
子塊候選集 包括ATMVP、SbTMVP以及仿射MCP的各種子塊模式在最新的視訊編解碼標準會議中被提出來改善編解碼效率，以及對於在子塊模式中編碼的當前塊，根據一些實施例，可以收集當前塊中的子塊來共用候選集。由當前塊的複數個子塊共用的候選集被稱為子塊模式候選集。對於在跳過模式、合併模式或者AMVP模式中編碼的每一塊，旗標可以被發信來指示是否使用了子塊模式。如果旗標指示使用了子塊模式，候選索引被發信或者被推斷選擇子塊模式候選集中的子塊候選之一。子塊模式候選集可以包括子塊時間合併候選、仿射候選與/或平面MV模式候選。子塊時間合併候選可以放在仿射候選或者仿射集成候選之後，以及平面MV模式候選可以被放在仿射候選之後或者仿射候選之前。根據本發明一個實施例推導的一或複數個平均候選可以被包含於子塊模式候選集中。
根據當前塊的CU尺寸、面積、寬度、高度、形狀、深度或CU模式，可以對當前塊使能或禁用子塊模式。根據一個實施例取決於當前塊的CU尺寸、面積、寬度、高度、形狀、深度或者CU模式，具體的子塊候選可以適應性地包含於用於編解碼當前塊的候選集中。例如，當CU寬度或高度小於(或小於或等於)閾值(如8或16)時，子塊模式被禁用，或者當CU寬度或高度大於(或大於或等於)閾值(如16)時，子塊模式被使能。在另一個示例中，如果當前塊的CU寬度或高度小於(或小於或等於)閾值(如8或16)，仿射模式不包含在用於編解碼當前塊的候選集中。在另一個示例中，當當前CU模式是跳過模式時，仿射模式不被添加到用於編解碼當前塊的候選集。在一個具體的實施例中，當仿射候選不被添加到候選集並且列表僅包含一個候選(例如，子塊時間合併候選)時，候選索引的信令被跳過。在另一個實施例中，根據當前塊的CU尺寸、面積、寬度、高度、深度或CU模式，或者當子塊候選可用時，子塊候選被適應性地插入用於合併模式或AMVP模式的普通候選集中。例如，當當前塊在跳過模式中進行編碼或者當當前塊的CU寬度或高度小於或等於8時，子塊候選(如，子塊時間合併候選)被添加到用於當前塊的普通合併候選集中。
在一個實施例中，對於相同候選集中所有子塊候選，子塊尺寸是相同的。子塊尺寸的一些示例是4x4、8x8或者任何非正方形尺寸MxN。使用固定的子塊尺寸而不管從候選集中選擇哪一候選。子塊尺寸可以根據CU模式、CU尺寸、面積、寬度、高度、深度或預測方向適應性地確定。
在另一個實施例中，對於ATMVP候選推導，僅將由仿射候選推導的MV被用於推導ATMVP候選，因此可以減少MV參考複雜度。
示例性流程圖 第9圖示出了用於處理由幀間圖像預測編碼的當前塊的視訊編碼或解碼系統的示例性流程圖。藉由從當前候選集中選擇的運動向量預測子(MVP)對與當前塊以及給定參考列表中給定參考圖像中對應的參考塊有關的當前MV進行編碼。在步驟S910中，視訊編碼或解碼系統接收當前圖像中當前塊的輸入資料，以及在步驟S920中，推導將包含在用於AMVP、合併、跳過或者直接模式的當前候選集的一或複數個運動候選。當前候選集中每一運動候選包括用於單向預測的一個MV或者用於雙向預測的兩個MV。在步驟S930中，從當前塊的相鄰塊的預定集合的複數個MV中推導平均候選，其中用於推導平均候選的至少一個相鄰塊是時間並列圖像中的時間塊。平均候選包括指向與list 0或list 1有關的參考圖像的一個MV用於單向預測，或者平均候選包括指向與list 0有關的參考圖像的一個MV以及指向與list 1有關的參考圖像的另一個MV用於雙向預測。在步驟S940中，藉由檢查平均候選是否與存在於當前候選集中的一或複數個運動候選的一個相同，視訊編碼或解碼系統對平均候選執行完整的或部分修剪進程。在一個實施例中，將平均候選與存在於當前候選集中的所有運動候選進行比較，以及在另一個實施例中，將平均候選僅與存在於當前候選集中的一個或一些運動候選進行比較，以及在又一實施例中，因為平均候選不與存在於當前候選集中的任何運動候選進行比較，步驟S940的修剪進程被跳過。如果平均候選與存在於當前候選集中的運動候選相同，平均候選不被添加到當前候選集中，否則，在步驟S950中，平均候選被包含於當前候選集中。在步驟S960中，視訊編碼系統或解碼系統從當前候選集中確定一個已選擇候選作為MVP用於當前塊的當前MV，以及在步驟S970中，利用該MVP在幀間圖像預測中對當前塊進行編碼或解碼。
示例性視訊編碼器以及視訊解碼器 用於生成將被添加到候選集中的一或複數個平均候選的前述提出的視訊處理方法可以在視訊編碼器或解碼器中實施。例如，提出的視訊處理方法在編碼器的幀間預測模組，與/或解碼器的幀間預測模組中實施。或者，任何提出的方法被實施為與編碼器的幀間預測模組與/或解碼器的幀間預測模組耦合的電路，以致提供幀間預測模組所需要的資訊。第10圖示出了能夠實施本發明各種實施例的視訊編碼器1000的示例性系統框圖。幀內預測1010基於當前圖像的重構視訊資料提供幀內預測子。幀間預測1012基於來自一或複數個參考圖像的視訊資料執行運動估計(motion estimation，ME)以及運動補償(motion compensation，MC)來提供幀間預測子。根據本發明一些實施例，為了在幀間圖像預測(如幀間、合併、跳過或直接模式)中編碼當前塊，藉由包括平均候選來構造用於編碼當前塊的當前候選集。在推導平均候選之前，當前候選集包括一或複數個運動候選，其中每一運動候選具有用於單向預測的一個MV或用於雙向預測的兩個MV。從當前塊的至少兩個相鄰塊的MV推導平均候選，以及至少一個相鄰塊是時間並列圖像中的時間塊。每一相鄰塊可以是當前圖像中的空間相鄰塊或時間並列圖像中的時間塊，以及空間相鄰塊可以是當前塊的鄰近空間相鄰塊或者非鄰近空間相鄰塊。幀間預測1012從候選集確定所選擇候選作為MVP用於預測當前塊的當前MV。當前塊的當前MV定位給定參考圖像中的預測子。幀內預測1010或幀間預測1012提供預測子到加法器1016來形成預測誤差，預測誤差也稱為預測殘差。如果當前塊在跳過模式中進行編碼，預測殘差被設置為0。當當前塊不以跳過模式進行編碼時，當前塊的預測殘差進一步由轉換(T)1018緊接著量化(Q)1020處理。已轉換以及已量化的殘差信號然後由熵編碼器1032進行編碼來形成視訊位元流。視訊位元流然後與邊資訊(side information)一起打包。當前塊的已轉換以及已量化的殘差信號由逆量化(IQ)1022以及逆轉換(IT)1024處理來恢復預測殘差。如第10圖所示，藉由在重構(REC)1026添加回所選擇的預測子恢復預測殘差來生成重構的視訊資料。重構的視訊資料可以被存儲在參考圖像緩衝器(Ref.Pict.Buffer)1030並且用於其他圖像的預測。由於編碼處理，從REC 1026恢復的重構的視訊資料可能受到各種損害；因此，在存儲到參考圖像緩衝器1030之前，將環路處理濾波器(濾波器)1028應用於重構的視訊資料來進一步增強圖像品質。
在第11圖中示出了用於解碼來自第10圖的視訊編碼器1000的視訊位元流的對應的視訊解碼器1100。視訊位元流是到視訊解碼器1100的輸入並且由熵解碼器1110進行解碼來剖析以及恢復已轉換以及已量化的殘差信號以及其他系統資訊。解碼器1100的解碼進程類似於在編碼器1000的重構環路，除了解碼器1100僅需要幀間預測1114中的運動補償預測子。每一塊由幀內預測1112或幀間預測1114進行解碼。開關1116根據已解碼模式資訊選擇來自幀內預測1112的幀內預測子或者來自幀間預測1114的幀間預測子。一些實施例的幀間預測1114構造用於當前塊的當前候選集，包括一或複數個運動候選以及平均候選。從當前塊的複數個相鄰塊的兩個或複數個MV推導平均候選，以及用於推導平均候選至少一個相鄰塊是時間並列圖像中的時間塊。可以應用修剪進程來檢查與存在於當前候選集中的一或複數個運動候選相比，平均候選是否是冗餘的。藉由從當前候選集選擇一個最終候選，幀間預測1114推導用於當前塊的預測子。藉由逆量化(IQ)1120以及逆轉換(IT)1122恢復與當前塊有關的已轉換以及已量化的殘差信號。藉由在REC 1118添加回預測子來重構已恢復的殘差信號來生成重構的視訊。重構的視訊進一步由環路處理濾波器(濾波器)1124處理來生成最終的已解碼視訊。如果當前已解碼圖像是解碼次序中後續圖像的參考圖像，當前已解碼圖像的重構視訊也存儲在參考圖像緩衝器1126中。
第10圖以及第11圖中視訊編碼器1000以及視訊解碼器1100的各種元件可以由硬體元件、用於執行存儲在記憶體中程式指令的一或複數個處理器，或硬體與處理器的組合來實施。例如，處理器執行程式指令來控制與當前圖像有關的是輸入資料的接收。處理器配備有單個或複數個處理核心。在一些示例中，處理器執行程式指令來執行編碼器1000以及解碼器1100中一些元件的功能，以及電性地與處理器耦合的記憶體用於存儲程式指令、對應於塊的重構圖像的資訊與/或在編碼或解碼期間的中間資料。一些實施例中的記憶體包括非暫態電腦可讀媒介，例如半導體或固態記憶體、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、光碟或其他合適的存儲媒介。記憶體也可以是以上列出的兩個或複數個非暫態電腦可讀媒介的組合。如丟10圖以及第11圖所示，編碼器1000以及解碼器1100可以在相同的電子裝置中實施，如果在相同的電子裝置中實施，可以共用或者重用編碼器1000以及解碼器1100的各種功能元件。
用於編碼或解碼的視訊處理方法的實施例可以在集成到視訊壓縮晶片的電路或者集成到視訊壓縮軟體的程式碼中實施來執行以上描述的處理。例如，包括用於編碼當前塊的平均候選的候選集的確定可以於將在電腦處理器、數位訊號處理器(DSP)、微處理器或現場可程式設計閘陣列(FPGA)上執行的程式碼中實現。這些處理器可以用於執行根據本發明的具體任務，藉由執行定義由本發明實施特定方法的機器可讀軟體代碼或固件代碼。
貫穿本說明書對“一個實施例”、“一些實施例”或類似的語言的引用意味著結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。因此，貫穿本說明書在各個位置中的短語“一個實施例中”或“一些實施例中”的出現並非都指相同的實施例，這些實施例可以單獨地或結合一或複數個其他實施例來實施。此外，在一或複數個實施例中，所描述的特徵、結構或特性可以以任何合適的方式進行組合。然而，相關領域的技術人員將認識到，可以在沒有一或複數個具體細節的情況下，或者利用其他方法、元件等來實踐本發明。在其它實例中，公知的結構或操作未被詳細示出或描述以避免模糊本發明的各方面。
在不背離本發明精神或基本特徵的情況下，可以以其他特定的形式實施本發明。所描述的示例在所有方面僅被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而非前述的描述來指示。在申請專利範圍的等同含義以及範圍內的所有變化都包括在其範圍內。
10:當前PB 111、112、113、114、115、121、122:塊 12:並列塊 262:當前圖像 264:過去圖像L0R0 266:從未來圖像L1R0 22、24:候選集 30、61、62、702、80:當前塊 41:當前PU 411、412:子PU 42:時間並列圖像 421、422:子PU對應的位置 423:vec_init_sub_0 424:vec_init_sub_1 425、426:並列位置 427:subPU0_MV 428:subPU1_MV 611、612、621、622:控制點 613、614、623、624:運動向量 70:當前圖像 72:時間並列圖像 722:並列塊 S910~S970:步驟 1000:視訊編碼器 1010、1112:幀內預測 1012、1114:幀間預測 1014、1116:開關 1016:加法器 1018:轉換 1020:量化 1022、1120:逆量化 1024、1122:逆轉換 1026、1118:重構 1028、1124:環路處理濾波器 1030、1126:參考圖像緩衝器 1032:熵編碼器 1100:視訊解碼器 1110:熵解碼器
作為示例提出的本發明的各種實施例將參考後續附圖詳細描述，以及其中： 第1圖示出了用於為在HEVC標準中定義的幀間模式、跳過模式或合併模式構造合併候選的空間候選以及時間候選的位置。 第2圖示出了從已存在於候選集中的兩個現有單向預測運動候選推導組合的雙向預測運動候選的示例。 第3圖示出了用於當前塊的合併候選集的構造的一些鄰近以及非鄰近合併候選的位置。 第4圖示出了根據SbTMVP編解碼工具的為當前PU的子塊確定子塊運動向量的示例。 第5圖示出了根據STMVP編解碼工具為拆分成四個子塊的CU確定合併候選的示例。 第6A圖示出了應用於JEM-3.0中的示例性簡化的仿射轉換運動補償預測。 第6B圖示出了示例性子塊仿射轉換運動補償預測。 第7A圖示出了根據本發明一些實施例的用於為當前塊推導平均候選的當前塊的示例性鄰近空間相鄰塊。 第7B圖示出了根據本發明一些實施例的用於為當前塊推導平均候選的時間並列參考圖像中的示例性時間塊。 第8圖示出了根據本發明一些實施例的用於為當前塊推導平均候選的當前塊的示例性鄰近以及非鄰近空間相鄰塊。 第9圖是藉由從相鄰塊的運動資訊推導平均候選用於處理在AMVP、合併、跳過或直接(Direct)模式中編碼的當前塊的視訊編解碼系統的實施例的流程圖。 第10圖示出了根據本發明實施例的合併視訊處理方法的視訊編碼系統的示例性系統框圖。 第11圖示出了根據本發明實施例的合併視訊處理方法的視訊編解碼系統的示例性系統框圖。
70:當前圖像
702:當前塊

Claims (23)

  1. 一種視訊編解碼系統中的視訊處理方法，利用一運動向量預測子用於編解碼由幀間圖像預測編碼的一當前塊的一當前運動向量，其中該當前運動向量與該當前塊以及一給定參考列表中一給定參考圖像中一個對應的參考塊有關，該方法包括： 接收與一當前圖像中該當前塊有關的輸入資料； 將一或複數個運動候選包括在用於該當前塊的一當前候選集中，其中該當前候選集中每一運動候選包括用於單向預測的一個運動向量或者用於雙向預測的兩個運動向量； 藉由對該當前塊的相鄰塊的一預定集合的運動資訊求平均推導一平均候選，其中該平均候選包括指向與list 0或list 1有關的一參考圖像的一個運動向量用於單向預測，或者該平均候選包括指向與list 0有關的一參考圖像的一個運動向量以及指向與list 1有關的一參考圖像的另一個運動向量用於雙向預測，其中用於推導該平均候選的至少一個相鄰塊是一時間並列圖像中的一時間塊； 將該平均候選包括在該當前候選集中； 從該當前候選集確定一個所選擇的候選作為一運動向量預測子用於該當前塊的該當前運動向量；以及 利用該運動向量預測子在幀間圖像預測中對該當前塊進行編碼或解碼。
  2. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，每一該相鄰塊是該當前圖像中該當前塊的一空間相鄰塊或者該時間並列圖像中的一時間塊，以及其中該空間相鄰塊是該當前塊的一鄰近空間相鄰塊或一非鄰近空間相鄰塊。
  3. 如申請專利範圍第2項所述之視訊編解碼系統中的視訊處理方法，該平均候選是藉由對一個時間塊以及兩個空間相鄰塊的運動向量、一個時間塊以及一個空間相鄰塊的運動向量、兩個時間塊以及一個空間相鄰塊的運動向量、三個時間塊以及一個空間相鄰塊的運動向量、兩個時間塊以及兩個空間相鄰塊塊的運動向量、一個時間塊以及三個空間相鄰塊的運動向量或者三個時間塊以及一個時間相鄰塊的MV求平均來推導。
  4. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，藉由對該相鄰塊的運動資訊求平均推導該平均候選進一步包括檢查該相鄰塊的任一該運動資訊是否是不可用的，確定一替換塊來替換具有不可用運動資訊的該相鄰塊，以及使用該替換塊推導一修正的平均候選來替換該平均候選。
  5. 如申請專利範圍第4項所述之視訊編解碼系統中的視訊處理方法，如果具有不可用運動資訊的該相鄰塊是一空間相鄰塊，該替換塊是一預定時間塊、與該空間相鄰塊並列的一時間塊、一預定的鄰近空間相鄰塊或一預定的非鄰近空間相鄰塊。
  6. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，藉由對該相鄰塊的運動資訊求平均推導該平均候選進一步包括檢查該相鄰塊的任一該運動資訊是否是不可用的，以及如果任一該運動資訊是不可用的，設置該平均候選為不可用的，或者僅用剩餘可用的運動資訊推導一修正的平均候選，以及用該修正的平均候選替換該平均候選。
  7. 如申請專利範圍第6項所述之視訊編解碼系統中的視訊處理方法，相比於用於該平均候選的預定位置，在該當前候選集中該修正的平均候選的一位置向後移動。
  8. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，當該當前塊的該相鄰塊的該預定集合的該運動資訊已包括在該當前候選集的一或複數個運動候選中時，藉由已包括在該當前候選集中的該一或複數個運動候選推導該平均候選。
  9. 如申請專利範圍第8項所述之視訊編解碼系統中的視訊處理方法，用於推導該平均候選的已在該當前候選集中的每一該一或複數個運動候選被限制為一空間運動候選。
  10. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，進一步包括推導另一個平均候選以及將該另一個平均候選包括在該當前候選集中，以及兩個平均候選被插入該當前候選集中的相鄰位置或非相鄰位置。
  11. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，用於推導該平均候選的所有該相鄰塊的參考圖像索引等於該給定參考圖像的一給定參考圖像索引，以及該給定參考圖像的該給定參考圖像索引是預定的、在一視訊位元流中明確傳輸的或者從用於生成該平均候選的該相鄰塊的該運動資訊隱含推導的。
  12. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，該平均候選是藉由對一或複數個已縮放的運動向量求平均來推導，每一已縮放的運動向量是藉由將該相鄰塊的一個運動向量縮放到該給定參考圖像來計算，以及該給定參考圖像的一給定參考圖像索引是預定的、在一視訊位元流中明確傳輸的或者從用於生成該平均候選的該運動向量隱含推導的。
  13. 如申請專利範圍第12項所述之視訊編解碼系統中的視訊處理方法，用於推導該平均候選的已縮放的運動向量的一數目由一總縮放計數約束。
  14. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，藉由對該相鄰塊的運動資訊求平均推導該平均候選進一步包括檢查參考圖像索引或者該相鄰塊的圖像次序計數是否是不同的，以及如果該參考圖像索引或該圖像次序計數是不同的，在沒有求平均的情況下直接使用該相鄰塊的一個來推導該平均候選。
  15. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，該平均候選的僅一個水平或垂直分量是藉由對該相鄰塊的該運動資訊的對應的水平或垂直分量求平均來計算，以及該平均候選的另一個水平或垂直分量被直接地設置為該相鄰塊的該運動資訊的另一個水平或垂直分量。
  16. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，僅該平均候選的一第一列表運動向量是藉由對兩個或複數個相鄰塊的第一列表運動向量求平均來計算，以及該平均候選的一第二列表運動向量被直接地設置為一個相鄰塊的一第二列表運動向量，其中該第一列表以及該第二列表是list 0以及list 1或者list 1以及list 0。
  17. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，進一步包括將該平均候選與已存在於該當前候選集中的一或複數個運動候選進行比較，以及如果該平均候選與一個運動候選相同，從該當前候選集移除該平均候選或者該當前候選集不包括該平均候選。
  18. 如申請專利範圍第17項所述之視訊編解碼系統中的視訊處理方法，已存在於該當前候選集的一或複數個運動候選被用來推導該平均候選，以及該平均候選僅與用於推導該平均候選的部分或全部運動候選進行比較，或者該平均候選僅與不用於推導該平均候選的部分或全部運動候選進行比較。
  19. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，該平均候選是藉由對該等相鄰塊的運動向量進行加權平均來推導，以及用於該相鄰塊的該運動向量的權重因數是預定的或隱含推導的。
  20. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，該當前塊在一子塊模式中進行編碼，以及該當前候選集由該當前塊中的複數個子塊共用。
  21. 如申請專利範圍第1項所述之視訊編解碼系統中的視訊處理方法，用於推導該平均候選的至少一個相鄰塊的該運動資訊不是已包含於該當前候選集中的該一或複數個運動候選的一個。
  22. 一種視訊編解碼系統中視訊處理的裝置，利用一運動向量預測子用於編解碼由幀間圖像預測編碼的一當前塊的一當前運動向量，其中該當前運動向量與該當前塊以及一給定參考列表中一給定參考圖像中的一個對應參考塊有關，該裝置包括一或複數個電子電路用於： 接收與一當前圖像中該當前塊有關的輸入資料； 將一或複數個運動候選包括在用於該當前塊的一當前候選集中，其中該當前候選集中每一運動候選包括用於單向預測的一個運動向量或者用於雙向預測的兩個運動向量； 藉由對該當前塊的相鄰塊的一預定集合的運動資訊求平均推導一平均候選，其中該平均候選包括指向與list 0或list 1有關的一參考圖像的一個運動向量用於單向預測，或者該平均候選包括指向與list 0有關的一參考圖像的一個運動向量以及指向與list 1有關的一參考圖像的另一個運動向量用於雙向預測，其中用於推導該平均候選的至少一個相鄰塊是一時間並列圖像中的一時間塊； 將該平均候選包括在該當前候選集中； 從該當前候選集確定一個所選擇的候選作為一運動向量預測子用於該當前塊的該當前運動向量；以及 利用該運動向量預測子在幀間圖像預測中對該當前塊進行編碼或解碼。
  23. 一種存儲程式指令的非暫態電腦可讀媒介，使得一裝置的一處理電路在一視訊編解碼系統中執行視訊處理方法，利用一運動向量預測子用於編解碼由幀間圖像預測編碼的一當前塊的一當前運動向量，其中該當前運動向量與該當前塊以及一給定參考列表中一給定參考圖像中一個對應的參考塊有關，以及該方法包括： 接收與一當前圖像中該當前塊有關的輸入資料； 將一或複數個運動候選包括在用於該當前塊的一當前候選集中，其中該當前候選集中每一運動候選包括用於單向預測的一個運動向量或者用於雙向預測的兩個運動向量； 藉由對該當前塊的相鄰塊的一預定集合的運動資訊求平均推導一平均候選，其中該平均候選包括指向與list 0或list 1有關的一參考圖像的一個運動向量用於單向預測，或者該平均候選包括指向與list 0有關的一參考圖像的一個運動向量以及指向與list 1有關的一參考圖像的另一個運動向量用於雙向預測，其中用於推導該平均候選的至少一個相鄰塊是一時間並列圖像中的一時間塊； 將該平均候選包括在該當前候選集中； 從該當前候選集確定一個所選擇的候選作為一運動向量預測子用於該當前塊的該當前運動向量；以及 利用該運動向量預測子在幀間圖像預測中對該當前塊進行編碼或解碼。
TW108123729A 2018-07-06 2019-07-05 在視訊編解碼系統中視訊處理的方法以及裝置 TWI720532B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862694557P 2018-07-06 2018-07-06
US62/694,557 2018-07-06
US201862740568P 2018-10-03 2018-10-03
US62/740,568 2018-10-03
US201862741246P 2018-10-04 2018-10-04
US62/741,246 2018-10-04
US16/503,575 US20200014931A1 (en) 2018-07-06 2019-07-04 Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
US16/503,575 2019-07-04

Publications (2)

Publication Number Publication Date
TW202019172A true TW202019172A (zh) 2020-05-16
TWI720532B TWI720532B (zh) 2021-03-01

Family

ID=69102428

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108123729A TWI720532B (zh) 2018-07-06 2019-07-05 在視訊編解碼系統中視訊處理的方法以及裝置

Country Status (3)

Country Link
US (1) US20200014931A1 (zh)
CN (1) CN110691248A (zh)
TW (1) TWI720532B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472053B1 (ko) * 2017-08-03 2022-11-28 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
EP3769528A4 (en) * 2018-03-19 2021-11-10 QUALCOMM Incorporated IMPROVEMENTS TO ADVANCED MOVEMENT VECTOR PREDICTION
US11368702B2 (en) * 2018-06-04 2022-06-21 Lg Electronics, Inc. Method and device for processing video signal by using affine motion prediction
US11539958B2 (en) 2018-07-17 2022-12-27 Lg Electronics Inc. Method for predicting subblock-based temporal motion vector and apparatus therefor
BR112020026686A2 (pt) * 2018-07-17 2021-03-30 Panasonic Intellectual Property Corporation Of America Sistema e método para codificação de vídeo
WO2020061395A1 (en) * 2018-09-21 2020-03-26 Interdigital Vc Holdings, Inc. Motion vector prediction in video encoding and decoding
US11032541B2 (en) * 2018-10-22 2021-06-08 Tencent America LLC Method and apparatus for video coding
WO2020098803A1 (en) * 2018-11-15 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Harmonization between affine mode and other inter coding tools
US10958900B2 (en) * 2018-12-06 2021-03-23 Qualcomm Incorporated Derivation of spatial-temporal motion vectors prediction in video coding
WO2020139184A1 (en) * 2018-12-28 2020-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Generating a motion vector predictor list
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
US11582474B2 (en) * 2020-08-03 2023-02-14 Alibaba Group Holding Limited Systems and methods for bi-directional gradient correction
WO2023052489A1 (en) * 2021-09-29 2023-04-06 Canon Kabushiki Kaisha Video coding and decoding
WO2023185824A1 (en) * 2022-03-28 2023-10-05 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20240089487A1 (en) * 2022-09-09 2024-03-14 Tencent America LLC Systems and methods for subblock motion vector coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105289B (zh) * 2010-12-13 2020-12-22 韩国电子通信研究院 基于帧间预测对视频信号进行解码的方法
CN106231339B (zh) * 2011-01-07 2019-07-09 Lg电子株式会社 视频编码和解码的装置
WO2013001818A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、および、画像符号化復号装置
JP5768662B2 (ja) * 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
JP6000463B2 (ja) * 2012-09-21 2016-09-28 聯發科技股▲ふん▼有限公司Ｍｅｄｉａｔｅｋ Ｉｎｃ． ３ｄ映像符号化の仮想深度値の方法および装置

Also Published As

Publication number Publication date
CN110691248A (zh) 2020-01-14
TWI720532B (zh) 2021-03-01
US20200014931A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
TWI720532B (zh) 在視訊編解碼系統中視訊處理的方法以及裝置
US11956462B2 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
US11122285B2 (en) Sub-prediction unit temporal motion vector prediction (sub-PU TMVP) for video coding
US20220060736A1 (en) Method and an apparatus for processing a video signal
TWI690194B (zh) 用於視訊編解碼的子預測單元時間運動向量預測
KR102344430B1 (ko) 다중 참조 예측을 위한 움직임 벡터 개선
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
US20170310990A1 (en) Method of Bi-prediction Video Coding Based on Motion Vectors from Uni-Prediction and Merge Candidate
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
US11985324B2 (en) Methods and apparatuses of video processing with motion refinement and sub-partition base padding
JP2020526066A (ja) 動き補償のための複数の予測子候補
TW202002628A (zh) 視訊編解碼系統中具有obmc的視訊處理方法及裝置
CN110326296B (zh) 用于对运动信息进行编码和解码的方法和装置
TWI702828B (zh) 在視訊編碼系統中生成平均候選的方法和裝置
TWI729497B (zh) 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
JP2014143650A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
KR20180134975A (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees