TWI700922B - 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置 - Google Patents

用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置 Download PDF

Info

Publication number
TWI700922B
TWI700922B TW108111649A TW108111649A TWI700922B TW I700922 B TWI700922 B TW I700922B TW 108111649 A TW108111649 A TW 108111649A TW 108111649 A TW108111649 A TW 108111649A TW I700922 B TWI700922 B TW I700922B
Authority
TW
Taiwan
Prior art keywords
block
sub
current
current block
motion compensation
Prior art date
Application number
TW108111649A
Other languages
English (en)
Other versions
TW202005392A (zh
Inventor
莊子德
陳慶曄
賴貞延
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202005392A publication Critical patent/TW202005392A/zh
Application granted granted Critical
Publication of TWI700922B publication Critical patent/TWI700922B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

一種用於編解碼一當前塊的視訊處理方法和裝置，包括接收一當前塊的輸入資料，將該當前塊劃分為多個子塊，根據一子塊運動補償編解碼工具導出該當前塊的多個子塊運動向量，約束該多個子塊運動向量用於形成多個受約束的子塊運動向量，並使用該多個受約束的子塊運動向量對該當前塊進行編碼或解碼。該多個子塊的運動向量可以根據該當前塊或一子塊的大小，寬度或高度，該當前塊的控制點運動向量之一、該當前塊或該當前子塊的一幀間預測方向，該控制點運動向量，或者以上的結合來被約束。

Description

用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
本發明涉及視訊編碼和視訊解碼系統的視訊處理方法和裝置，更具體地說，涉及自適應地確定用於子塊運動補償的子塊大小。
高效率視訊編解碼(High-Efficiency Video Coding，HEVC)是由國際電訊聯盟電訊標準分局(International Telecommunication Union-Telecommunication Sector，簡稱ITU-T)研究組的視訊編解碼專家組成的視訊編解碼聯合協作小組(Joint Collaborative Team on Video Coding，JCT-VC)開發的最新視訊編解碼標準。HEVC標準提高了其接續之標準H.264/AVC的視訊壓縮性能，以滿足更高圖像解析率、更高畫面播放速率和更好視訊品質的需求。HEVC標準依賴於基於塊的編碼結構，其將每個視訊片段劃分為多個正方形編碼樹單元(Coding Tree Unit，簡稱CTU)，其中CTU是HEVC中的視訊壓縮的基本單元。光柵掃描順序(raster scan order)用於對每個片段中的CTU進行編碼或解碼。每個CTU可包含一個編碼單元(Coding Unit，簡稱CU)或者根據四叉樹分區結構遞迴地分成四個較小的CU，直到達到預定義的最小CU大小。預測決策在CU級進行，其中使用幀間圖像預測或幀內圖像預測對每個CU進行編碼。一旦CU分層樹的分割完成，根據用於預測的PU分區類型每個CU進一步被分成一個或多個預測單元 (Prediction Unit，簡稱PU)。PU用作用於共用預測資訊的基本代表塊，因為相同的預測過程被應用於PU中的所有像素。預測資訊以PU為基礎傳送給解碼器。幀間圖像預測中的運動估計識別一個或兩個參考圖像中的當前塊的一個(單預測)或兩個(雙向預測)最佳參考塊，並且幀間圖像預測中的運動補償根據一個或兩個運動向量(motion vector，簡稱MV)來定位該一個或兩個最佳參考塊。當前塊與相應預測子之間的差值被稱為預測殘差。當使用單預測時，相應的預測子是最佳參考塊。當使用雙向預測時，兩個參考塊被結合以形成預測子。
跳躍和合併 跳躍模式和合併模式在HEVC標準中被提出和採用，以藉由從空間相鄰塊或時間同位塊之一中繼承運動資訊來提高MV的編解碼效率。為了在跳躍模式或合併模式中對PU進行編解碼，不發信運動資訊，而是僅發信表示從候選者集合中選擇的最終候選者的索引。在跳躍模式或合併模式編碼的PU重複使用的運動資訊包括MV，幀間預測指示符和選擇的最終候選者的參考圖像索引。注意，如果選擇的最終候選者是時間運動候選者，則參考圖像索引總是被設置為零。當在合併模式對PU進行編解碼時，預測殘差被編解碼，然而，由於在跳躍模式中編碼的PU的殘差資料被強制設為零時，跳躍模式進一步跳過發信預測殘差。
合併候選者集合由四個空間運動候選者和一個時間運動候選者組成。如第1圖所示，第一合併候選者是左預測子A1 112，第二合併候選者是頂部預測子B1 114，第三合併候選者是右上預測子B0 113，第四合併候選者是左下預測子A0 111。左上預測子B2 115被包括在合併候選者集合中以替換不可用的空間預測子。第五合併候選者是從TBR 121和TCTR 122中選擇的第一可用時間預測子。編碼器基於運動向量補償(例如通過速率-失真優化(Rate-Distortion Optimization，簡稱RDO))從候選者集合中選擇一個最終候選者用於在跳躍或合併模式中被編解碼的每個PU，並且代表選擇的最終候選者的索引將被發信給解碼 器。解碼器根據在視訊位元流中發送的索引從候選者集合中選擇相同的最終候選者。由於跳躍和合併候選者的推導是相似的，因此為了方便起見，下文中提到的“合併”模式可以對應於合併模式以及跳躍模式。
子塊時間運動向量預測(Temporal Motion Vector Prediction，簡稱TMVP)藉由在候選者結合中包括至少一個子塊TMVP候選者作為合併候選者，子塊TMVP模式被應用於合併模式。子塊TMVP也被稱為替代時間運動向量預測(Alternative Temporal Motion Vector，簡稱ATMVP)。當前PU被劃分為較小的子PU，並且子PU的對應的時間同位運動向量被搜索。第2圖中示出了子塊TMVP技術的示例，其中大小為MxN的當前PU 21被劃分為(M/P) x (N/Q)個子PU，每個子PU的大小為PxQ，其中M可以被P整除，N可以被Q整除。子塊TMVP模式的具體演算法可以用如下三個步驟來描述。
在步驟1中，初始運動向量被分配給當前PU 21，表示為vec_init。初始運動向量通常是空間相鄰塊中的第一個可用候選者。例如，列表X是用於搜索同位元資訊的第一個列表，並且vec_init被設置為第一個可用空間相鄰塊的列表X MV，其中X是0或1。X(0或1)的值取決於哪個列表更好地繼承運動資訊，例如，當列表0中參考圖像和當前圖像之間的圖像順序計數(Picture Order Count，簡稱POC)距離比列表1中的POC距離更近時，列表0是第一個搜索列表。列表X分配可在片段級別或圖像級別執行。在獲得初始運動向量之後，“同位圖像搜索處理”開始找到表示為main_colpic的主同位圖像用於當前PU中的所有子PU。由第一可用空間相鄰塊選擇的參考圖像首先被搜索，之後，當前圖像的所有參考圖像被依序搜索。對於B片段，在由第一可用空間相鄰塊選擇的參考圖像被搜索之後，從第一列表(列表0或列表1)參考索引0開始搜索，接著是索引1，索引2，直到在第一列表中的最後參考圖像，當第一列表中的參考圖像被全部搜索到時，第二列表中的參考圖像被一個接一個地搜索。對於P片段，由第一可用 空間相鄰塊選擇的參考圖像被首先搜索；接著是列表中的所有參考圖像，從參考索引0開始，然後是索引1，索引2，依此類推。在同位圖像搜索處理期間，針對每個被搜索的圖像，“可用性檢查”檢查由vec_init_scaled指向的當前PU的中心位置周圍的同位子PU，其中該當前PU的中心位置周圍的同位子PU是藉由幀間圖像預測模式或幀內圖像預測模式被編解碼。Vec_init_scaled是vec_init的MV進行適當縮放得到的MV。在一些實施例中，確定“中心位置周圍”比如說：大小為MxN的PU的中心像素(M/2，N/2)，中心子PU的中心像素，或中心像素或中心子PU的中心像素的混合，取決於當前PU的形狀。當vec_init_scaled指向的中心位置周圍的同位子PU藉由幀間圖像預測模式被編解碼時，可用性檢查結果為真。當前搜索到的圖像被記錄為主同位圖像main_colpic，並且當當前搜索到的圖像的可用性檢查結果為真時，同位圖像搜索處理結束。如果可用性檢查結果為真，則中心位置周圍的MV被使用並縮放以導出當前塊的默認MV。如果可用性檢查結果為假，即當vec_init_scaled指向的中心位置周圍的同位子PU是藉由幀內圖像預測模式進行編解碼時，則搜索下一參考圖像。當vec_init的參考圖像不等於原始參考圖像時，在同位圖像搜索過程期間需要MV縮放。根據當前圖像與vec_init的參考圖像和搜索的參考圖像之間的時間距離MV分別被縮放。在MV縮放之後，縮放的MV被表示為vec_init_scaled。
在步驟2中，針對每個子PU定位main_colpic中的同位位置。例如，第2圖中的子PU 211和子PU 212的對應位置221和位置222首先定位在時間同位圖像22(main_colpic)中。當前子PUi的同位位置計算如下：collocated location x=Sub-PU_i_x+vec_init_scaled_i_x(integer part)+shift_x,collocated location y=Sub-PU_i_y+vec_init_scaled_i_y(integer part)+shift_y，其中Sub-PU_i_x表示當前圖像內的子PU i的水平左上位置，Sub-PU_i_y表示當前圖像內的子PU i的垂直左上位置，vec_init_scaled_i_x表示子PU i(vec_init_scaled_i)的縮放後的初始運動向量的水平分量，vec_init_scaled_i_y 表示vec_init_scaled_i的垂直分量，shift_x和shift_y分別表示水平位移值和垂直位移值。為了降低計算複雜度，在計算中僅使用Sub-PU_i_x和Sub-PU_i_y的整數位置，以及vec_init_scaled_i_x和vec_init_scaled_i_y的整數部分。在第2圖中，vec_init_sub_0 223從子PU 211的位置221指向同位位置225，並且vec_init_sub_1 224從子PU 212的位置222指向同位位置226。
在子塊TMVP的步驟3中，每個子PU的運動資訊(Motion Informatio n，簡稱MI)，表示為SubPU_MI_i，從同位位置x和同位位置y上的collocated_picture_i_L0和collocated_picture_i_L1獲得。MI被定義為一集合{MV_x，MV_y，參考列表，參考索引和其他合併模式敏感資訊，例如本地照明補償標誌}。此外，MV_x和MV_y可根據同位圖像，當前圖像和同位MV的參考圖像之間的時間距離關係來縮放。如果MI不可用於某些子PU，則將使用中心位置周圍的子PU的MI，或者更具體地，將使用默認MV。如第2圖所示，從同位位置225獲得的subPU0_MV 227，從同位位置226獲得的subPU1_MV 228分別用於導出子PU 211和子PU 212的預測子。當前PU 21中的每個子PU根據在對應的同位位置上獲得的MI來導出其自己的預測子。
空間-時間運動向量預測(Spatial-Temporal Motion Vector Prediction，簡稱STMVP)在JEM-3.0中，STMVP用於導出要包括在用於合併模式的候選者集合中的新候選者。使用時間和空間運動向量預測子，子塊的運動向量遵循光柵掃描順序被遞迴地導出。第3圖示出了用於導出STMVP候選者的具有四個子塊的一個CU及其相鄰塊的示例。第3圖中的CU是8×8，包含四個4×4子塊A，B，C和D，並且當前圖像中的相鄰N×N塊標記為a，b，c和d。子塊A的STMVP候選者的推導是藉由識別其兩個空間相鄰塊開始。第一相鄰塊c是子塊A上方的NxN塊，第二相鄰塊b是子塊A左側的NxN塊。如果塊c是不可用或塊c是幀內編解碼，則檢查從塊c開始從左到右的在子塊A上方的其他NxN塊。如果塊b不可用或塊b 是幀內編解碼，則檢查從塊b開始的從上到下的子塊A左側的其他N×N塊。針對每個列表從兩個相鄰塊獲得的運動資訊被縮放到給定列表的第一參考圖像。然後藉由遵循HEVC標準中規定的相同的TMVP推導過程，子塊A的時間運動向量預測子(Temporal Motion Vector Predictor，簡稱TMVP)被導出。例如，位置D處的同位塊的運動資訊被獲取並被相應地縮放。最後，針對每個參考列表當前子塊的所有可用運動向量被單獨平均。平均運動向量被指定為當前子塊的運動向量。
基於模式的運動向量推導(Pattern-based MV derivation，簡稱PMVD)一種PMVD方法，也被稱為幀率提升轉換(Frame Rate Up Conversion，簡稱FRUC)或解碼器側MV細化(Decoder-side MV Refinement，簡稱DMVR)，包括用於雙預測塊的雙邊匹配和用於單預測塊的範本匹配。當合併或跳躍標誌為真時FRUC_mrg_flag被發信，並且如果FRUC_mrg_flag為真，則FRUC_merge_mode被發信以指示是否選擇如第4圖所示的雙邊匹配合併模式或如第5圖所示的範本匹配合併模式。雙邊匹配合併模式和範本匹配合併模式都包括兩階段匹配：第一階段是PU級匹配，第二階段是子PU級匹配。在PU級匹配中，LIST_0和LIST_1中的多個初始MV被分別選擇。這些MV包括來自合併候選者的MV(即，諸如HEVC標準中指定的常規合併候選者)和來自時間導出的MVP的MV。針對兩個列表產生兩個不同的起始MV集合。對於一個列表中的每個MV，MV對是藉由組合此MV和藉由將MV縮放到另一列表而導出的鏡像MV來生成的。對於每個MV對，兩個參考塊是藉由該MV對來補償的。這兩個塊的絕對差值和(Sum of Absolutely Differences，簡稱SAD)被計算。具有最小SAD的MV對被選擇作為最佳MV對。然後菱形搜索(diamond search)被執行以細化MV對。細化精度為1/8像素。細化搜索範圍被限制在±8像素內。最後的MV對是PU級導出的MV對。
第二階段中的子PU級搜索針對每個子PU搜索最佳MV對。當前PU被劃分為子PU，其中子PU的深度在序列參數集(Sequence Parameter Set，簡稱SPS)中被發信，其中最小子PU大小為4×4。針對每個子PU選擇列表0和列表1中的幾個起始MV，其包括當前子PU和右下塊的PU級導出的MV對，零MV，HEVC同位TMVP，當前子PU的時間導出的MVP，以及左側和上方PU或子PU的MV。藉由在PU級搜索中使用類似機制，每個子PU的最佳MV對被選擇。然後菱形搜索被執行以細化最佳MV對。然後每個子PU的運動補償被執行以生成每個子PU的預測子。
對於如第4圖所示的雙邊匹配合併模式，當前圖像中的當前塊410的運動資訊基於兩個參考圖像Ref 0和Ref 1被導出。當從合併模式導出的運動向量是指向與當前圖像具有相等距離的兩個參考圖像(即，時間距離TD0=TD1)的雙預測時，雙邊匹配被應用。當前塊410的運動資訊是藉由在兩個不同的參考圖像Ref 0和Ref 1中沿著當前塊的運動軌跡440搜索兩個塊420和430之間的最佳匹配來導出的。在連續運動軌跡的假設下，指向兩個參考塊的與Ref 0相關聯的運動向量MV0和與Ref 1相關聯的運動向量MV1應當與當前圖像和兩個參考圖像Ref 0和Ref 1之間的時間距離TD0和TD1成比例。
第5圖示出了範本匹配合併模式的示例。當前塊的上四行和左四列的已重建像素用於形成範本，例如，當前圖像中當前塊510的兩個相鄰區域520a和520b被用作範本。範本匹配被執行以找到具有其對應MV的最佳匹配範本，例如，參考圖像Ref 0中的最佳匹配範本530a和530b及其對應的運動向量540被找到。在兩階段匹配的PU級匹配中，列表0和列表1中的若干起始MV被選擇，諸如來自合併候選者的MV和來自時間導出的MVP的MV。針對兩個列表兩個不同的起始MV集合被生成。對於一個列表中的每個MV，具有MV的範本的SAD成本被計算。具有最小SAD成本的MV是最佳MV。菱形搜索被執行以細化精度為1/8像 素的最佳MV，並且細化搜索範圍被限制在±8像素內。最終的MV是PU級導出MV。列表0和列表1中的MV是獨立生成的。對於子PU級搜索，當前PU被劃分為子PU。對於左側或頂部PU邊界處的每個子PU，列表0和列表1中的若干起始MV被選擇，並且藉由使用PU級搜索中的類似機制，針對左側或頂部PU邊界處的每個子PU的最佳MV對被選擇。菱形搜索被執行以細化MV對。運動補償被執行以根據細化MV對生成每個子PU的預測子。對於那些不在左邊或頂部PU邊界的PU，不應用子PU級搜索，並且相應的MV被設置為第一階段中的MV。雖然列表0參考圖像(Ref 0)如第5圖所示，但列表1參考圖像(Ref 1)也可以被用作範本匹配搜索的參考圖像。
仿射運動補償預測(Affine Motion Compensation Prediction，簡稱仿射MCP)仿射MCP是開發用於預測除平移運動之外的各種類型的運動的技術。例如，仿射MCP更準確地預測旋轉，放大，縮小，透視運動和其他不規則運動。在JEM-3.0中應用如第6A圖所示的示例性簡化的四參數仿射MCP以提高編碼效率。塊的四參數仿射運動向量場是藉由兩個控制點611和612的運動向量613和614描述的。兩個MV613和614被稱為控制點MV。塊的四參數仿射運動向量場(Motion Vector Field,簡稱MVF)由以下等式描述：
Figure 108111649-A0305-02-0011-1
 其中(v0x,v0y)表示左上角控制點611的運動向量613，(v1x,v1y)表示右上角控制點612的運動向量614，並且w表示塊寬度。示例性簡化的六參數仿射MCP如第6C圖所示。塊的六參數仿射運動向量場是藉由三個控制點631，632和633的運動向量634，635和636描述的。三個MV 634，635和636被稱為控制點MV。塊的六參數仿射MVF由以下等式描述：
Figure 108111649-A0305-02-0012-2
 其中(v0x,v0y)表示左上角控制點631的運動向量634，(v1x,v1y)表示右上角控制點632的運動向量635，(v2x,v2y)表示左下角控制點633的運動向量636，w表示塊寬度，h表示塊高度。一般仿射運動模型可以通過以下等式定義：
Figure 108111649-A0305-02-0012-3
基於塊的仿射運動補償預測而不是基於像素的仿射運動補償預測被應用以進一步簡化計算。第6B圖示出了將塊分割成子塊並且將仿射MCP應用於每個子塊。如第6B圖所示，每個4×4子塊的中心樣本的運動向量根據上述等式被計算，然後被舍入到1/16分數精度。運動補償內插被應用以根據導出的運動向量針對每個子塊生成預測子。在執行運動補償預測之後，每個子塊的高精度運動向量被舍入並以與正常運動向量相同的精度存儲。
子塊運動補償被應用在許多最近開發的編碼工具中，例如子塊TMVP，STMVP，PMVD和仿射MCP。CU或PU被劃分為多個子塊，並且這些子塊可具有不同的參考圖像和不同的MV。特別是當每個子塊的MV非常多樣化時，需要高頻寬用於子塊運動補償。
在由視訊編碼器或視訊解碼器執行的運動補償過程期間，一個或多個參考塊必須根據運動資訊被恢復以用於每個塊。由於在諸如HEVC的較新編碼標準中可支援分數像素運動向量，因此參考塊周圍的額外參考像素必須被恢復以用於插值計算。對於所有塊大小，在小數像素位置處插值所需的行數或列數是相同的。因此，較小塊大小的頻寬增加比率大於較大塊大小。當子塊運動補償編解碼工具被使用時，與子塊相關聯的運動向量可以是不同的，並且由子塊MV指向的子塊的參考像素可以被展開。這將進一步增加所需的系統頻寬。因此，開發用於減少子塊運動補償所需的頻寬和計算複雜度的方法是衆望所歸。
在用於子塊運動補償的視訊處理方法的示例性實施例中，視訊編解碼系統接收與當前圖像中的當前塊相關聯的輸入視訊資料，將當前塊劃分為多個子塊，根據子塊運動補償工具導出與當前塊中的子塊相關聯的子塊MV，藉由限制主MV和每個子塊MV之間的差值於一個或多個閾值之間來約束子塊MV以形成受約束子塊MV，並且使用受約束的子塊MV將運動補償應用於當前塊以對當前塊進行編碼或解碼。根據當前塊或子塊的大小，寬度或高度，控制點MV、當前塊或當前子塊的幀間預測方向，當前塊的一個或多個控制點MV，或者上述組合，閾值可被自適應地確定。在一個實施例中，如果第一列表中的對應子塊MV在該範圍之外，則從第二列表中的範圍內的子塊MV中選擇受約束的子塊MV。第一和第二列表分別對應於列表0和列表1或列表1和列表0。根據一個實施例，每個子塊MV被限制在從(主MV-閾值)到(主MV+閾值)的範圍內，其中閾值對應於一個值，並且如果一個子塊MV在該範圍之外，則子塊MV被剪切到該範圍。閾值可針對由子塊運動補償工具編解碼的每個塊或針對每個子塊被自適應地確定。在一個示例性實施例中，閾值被自適應地確定為零或無限。如果閾值為零，則所有子塊MV被剪切到主MV，並且如果閾值是無限的，則約束子塊MV不應用於當前塊。根據一實施例，閾值取決於控制點MV的多樣性。根據控制點MV，控制點MV的幀間預測方向，以及當前塊的寬度和高度導出控制點MV的多樣性。如果控制點MV的多樣性相對多樣則閾值為零，或者如果控制點MV的多樣性不太多樣則閾值是無限的。在一些實施例中，主MV是當前塊的控制點MV之一，當前塊中的子塊MV之一，當前塊的一中心MV，使用當前塊的中心位置樣本的一導出MV，或一導出MV。藉由具有自適應閾值的子塊運動補償編解碼工具對塊進行編解碼的視訊處理方法可以在視訊編碼和解碼系統中實 現，或者僅在視訊編碼系統中實現。當視訊處理方法僅應用於視訊編碼系統時，受約束的子塊MV有關的資訊在視訊位元流中被發信。編碼或解碼系統導出主MV並且在主MV周圍載入所需的參考資料以用於運動補償。
在用於子塊運動補償的視訊處理方法的變型中，該方法包括接收與當前圖像中的當前塊相關聯的輸入視訊資料，將當前塊劃分為多個子塊，導出主參考塊，根據子塊運動補償編解碼工具導出與子塊相關聯的子塊MV，並使用主參考塊內的參考子塊的一個或多個參考像素將運動補償應用於當前塊，並排除主參考塊外部的參考子塊的任一參考像素。參考子塊由導出的子塊MV指向。根據當前塊或子塊中的子塊的大小、面積、形狀、寬度或高度，子塊MV、主MV或當前塊的控制點MV之一的幀間預測方向，當前塊的控制點MV，或其組合，自適應地確定主參考塊的大小或形狀。主參考塊的大小或形狀可以通過當前塊的大小，面積，形狀，寬度或高度來歸一化。當子塊運動補償工具是仿射運動補償預測時，主參考塊或歸一化主參考塊的大小或形狀可根據當前塊的控制點MV或仿射參數自我調整地確定。在一些實施例中，主參考塊覆蓋由主MV指向的參考塊。主參考塊外部的參考子塊的任一參考像素被替換為偽參考像素或仿射模型被設置為不可用，並且偽參考像素的示例包括主參考塊的預定義像素值或填充像素，以及將仿射模型設置為不可用的示例包括將所有子塊MV設置為相同的值。在一個實施例中，內插濾波器係數被修改以排除主參考塊外部的參考子塊的任一參考像素。根據另一實施例，如果參考子塊的任一參考像素在主參考塊之外，則子塊運動補償編解碼工具不被應用並且子塊MV全部被設置為相同值。
在一些示例性實施例中，當子塊運動補償編解碼工具是仿射MCP時，主參考塊或歸一化主參考塊的大小或形狀可根據當前塊的控制點MV或仿射參數自適應確定。主參考塊或歸一化主參考塊的大小或形狀可根據控制點MV與 當前塊的寬度和高度之間的MV差值導出，並且大小或形狀將與預定義值比較。如果主參考塊或歸一化主參考塊的大小或形狀大於該預定義值，則仿射MCP不應用於當前塊。在一個實施例中，預定義值是根據幀間預測方向選擇的。
視訊編解碼系統中的視訊處理方法的一些實施例接收與當前塊相關聯的輸入視訊資料，檢查子塊運動補償編解碼工具是否應用於當前塊，以及根據檢查結果藉由子塊運動補償編解碼工具或其他編解碼工具對當前塊進行編碼或解碼。應用子塊運動補償編解碼工具的有效性可根據當前塊的寬度或高度，從當前塊劃分的子塊的大小、面積、形狀、寬度或高度，當前塊的控制點MV、子塊MV或主MV的幀間預測方向，諸如主MV或控制點MV的運動資訊，仿射參數，或以上的組合來確定。在一個實施例中，如果檢查結果為假，則MV裁剪處理被應用於當前塊中的每個子塊，指示有效性無效。
在藉由子塊運動補償編解碼工具對塊進行編碼或解碼的視訊編解碼系統中實現的視訊處理方法的一些其他實施例包括接收當前圖像中的當前塊的輸入視訊資料，確定子塊大小用於分割當前塊，根據子塊大小將當前塊劃分為多個子塊，根據子塊運動補償編解碼工具導出子塊的子塊MV，並藉由子塊MV將運動補償應用於當前塊。子塊大小可自適應地確定，即，用於劃分當前塊的子塊大小可以與由相同子塊運動補償編解碼工具編解碼的用於劃分另一塊的子塊大小不同。子塊運動補償編解碼工具選自子塊TMVP，STMVP，仿射運動補償預測和子塊細化PMVD模式。用於劃分當前塊的子塊大小可以由編碼器和解碼器隱式地確定，或者由編碼器明確地以發信與視訊位元流中的子塊大小有關的資訊。
在自適應地確定子塊大小的實施例中，子塊大小是根據當前塊的導出MV或導出的子塊MV確定，例如，如果導出的MV或導出的子塊MV是雙預測或多假設預測時，則第一子塊大小被用來劃分當前塊，並且如果導出的MV或導 出的子塊MV是單一預測，則第二子塊大小被用來劃分當前塊。在該實施例中，第一子塊大小被設置為大於第二子塊大小。在另一示例中，如果導出的MV或子塊MV是雙預測的或多個假設預測，則子塊大小被限制為大於或等於最小子塊大小。在又一示例中，用於雙預測或多假設預測子塊的第一最小子塊大小被設置為大於用於單預測子塊的第二最小子塊大小。
當當前塊在仿射運動補償預測中被編解碼時，視訊編解碼系統的一些實施例根據控制點MV確定或限制當前塊的子塊大小。例如，控制點MV的多樣性用於確定子塊大小。多樣性可藉由控制點MV與當前塊的寬度和高度之間的MV差來測量。在一個示例中，當控制點MV差值相對較大時選擇大的子塊大小，而當控制點MV差值相對較小時選擇小的子塊大小。
本公開的各方面還提供了一種用於視訊編解碼系統中的視訊處理的裝置，該裝置藉由子塊運動補償編解碼工具對塊進行編碼或解碼。該裝置包括一個或多個電子電路，用於接收當前圖像中當前塊的輸入視訊資料，將當前塊劃分為多個子塊，根據子塊運動補償編解碼工具導出當前塊中與子塊相關聯的子塊MV，藉由限制主MV和每個子塊MV之間的差值於一個或多個閾值內來約束子塊MV以形成受約束子塊MV，並且藉由應用使用受約束的子塊MV的運動補償對當前塊進行編碼或解碼。根據當前塊或子塊的大小、寬度或高度，當前塊的控制點MV、當前塊或當前子塊的幀間預測方向，運動資訊例如控制點MV，或以上的組合，閾值可被自適應地確定。
本公開的各方面還提供了一種存儲程式指令的非暫時性電腦可讀介質，該程式指令用於使裝置的處理電路執行視訊處理方法，以通過子塊運動補償編解碼工具對當前塊進行編碼或解碼。與當前圖像中的當前塊相關聯的輸入視訊資料被接收，當前塊被劃分為多個子塊，並且與子塊相關聯的子塊MV根據子塊運動補償編碼工具被導出。根據當前塊或子塊的大小，寬度或高度，幀間 預測方向，控制點MV，或上述的組合子塊MV被約束。藉由應用使用受約束的子塊MV的運動補償當前塊被編碼或解碼。
通過閱讀以下具體實施例的描述，本發明的其他方面和特徵對於所屬技術領域中具有通常知識者將變得顯而易見。
111:左下預測子
112:左預測子
113:右上預測子
114:頂部預測子
115:左上預測子
121、122:時間預測子
21:PU
22:時間同位圖像
211、212:子PU
221、222:位置
223:vec_init_sub_0
224:vec_init_sub_1
225、226:同位位置
227:subPU0_MV
228:subPU1_MV
410:當前塊
420、430:塊
440:運動軌跡
510:當前塊
520a、520b:區域
530a、530b:最佳匹配範本
540:運動向量
61、62、63:當前塊
611、612、621、622、631、632、633:控制點
613、614、623、624、634、635、636:MV
S710、S720、S730、S740、S750:環路濾波器
82、83:塊
820、822、824、826:單獨塊
810、812、814、816、830、832、834、836:參考子塊
92:參考圖像
910:CU
912:主MV
920:主參考塊
1000:視訊編碼器
1010:幀內預測
1012:幀間預測
1014:開關
1016:加法器
1018:變換
1020:量化
1022:逆量化
1024:逆變換
1026:重建
1028:濾波器
1030:Ref.Pict.緩衝器
1032:熵編碼器
1100:視訊解碼器
1110:熵解碼器
1112:幀內預測
1114:幀間預測
1116:開關
1118:重建
1120:逆量化
1122:逆變換
1124:濾波器
1126:Ref.Pict.緩衝器
作為示例提出的本公開的各種實施例將參考以下附圖詳細描述，並且其中：第1圖是示出用於構建HEVC標準中定義的跳躍或合併模式的候選者集合的空間預測子和時間預測子的圖。
第2圖是示出根據子塊TMVP技術確定當前PU中的子塊的運動向量的示例的圖。
第3圖是示出根根據STMVP技術確定合并候選者的示例的圖。
第4圖是示出對當前圖像中的當前塊應用雙邊匹配以搜索兩個等距參考圖像中的參考塊的示例的圖。
第5圖是示出對當前圖像中的當前塊應用範本匹配以搜索指向具有最佳匹配範本的參考塊的MV的示例的圖。
第6A圖是示出對具有兩個控制點的當前塊應用仿射運動補償預測的示例的圖。
第6B圖是示出應用具有兩個控制點的基於塊的仿射運動補償預測的示例的圖。
第6C圖是示出對具有三個控制點的當前塊應用仿射運動補償預測的示例的圖。
第7圖是示出跟本發明實施例的自適應子塊尺寸用於將當前塊劃分為多個子 塊的示例的流程圖。
第8圖是示出根據本發明實施例的藉由限制主MV周圍的子塊MV來減少用於加載參考子塊的帶寬的MV約束概念的圖。
第9圖是示出根據本發明實施例的限制主參考塊內的所有子塊的運動補償的參考塊約束的示例的圖。
第10圖是示出結合根據本發明實施例的視訊處理方法的視訊編碼系統的示例性系統框圖。
第11圖是示出結合根據本發明實施例的視訊處理方法的視訊解碼系統的示例性系統框圖。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而是僅代表本發明的所選實施例。
在HEVC標準中，為了減少幀間預測的頻寬需求，4×4幀間塊被禁止，並且最小幀間塊8x4和4x8被限制為僅單預測。由於不允許對大小等於4×8或8×4的塊進行雙預測，因此在處理8×8雙預測塊時，頻寬方面的情況更糟。用L-tap插值濾波器來對8×8雙預測塊進行運動補償的每個像素的最壞情況頻寬由(8+L-1)(8+L-1)*2/64+算，在8抽頭插值濾波器的示例中，每個像素的最壞情況頻寬是(8+7)(8+7)*2/64=7.03。然而，在下一代視訊編解碼標準中提出若干子塊運動補償編解碼工具，如果尺寸小於8×8的子塊是藉由雙預測編解碼，則這些子塊運動補償編解碼工具的最壞情況頻寬要求將超過HEVC標準。例如，仿射編碼子塊的最小尺寸是4×4，並且用8抽頭插值濾波器來對4×4雙預測塊進行運動 補償的每個像素的最懷情況頻寬是(4+7)(4+7)*2/16=15.13，這是HEVC中每個像素的最懷情況頻寬的兩倍多。在子塊TMVP，STMVP，仿射運動補償預測或子塊細化PMVD模式中處理4×4子塊的頻寬要求甚至大於運動補償4×4雙預測塊所需的頻寬。本發明的實施例提供各種新方法以降低子塊運動補償的頻寬要求或系統複雜度。本發明可以應用於一個或多個子塊運動補償編解碼工具，例如子塊TMVP，STMVP，仿射運動補償預測和子塊細化PMVD模式。
自適應子塊大小 當當前塊藉由子塊運動補償編解碼工具來被編解碼時，用於劃分當前塊的子塊大小可被自適應地確定。當前塊是當前CU或當前PU。在一些實施例中，子塊大小是根據當前塊的導出MV或子塊MV確定的。例如，如果當前塊在雙預測或多假設預測中被編解碼，則更大的子塊大小被分配給要在子塊運動補償中編解碼的當前塊。如果預測方向是單預測，則較小的子塊大小被分配給當前塊。子塊大小可以由編碼器和解碼器隱式地導出，或者子塊大小由編碼器確定，並且與子塊大小有關的資訊在視訊位元流中被明確地發信給解碼器。在一個實施例中，在子塊運動補償中要編解碼的當前塊的子塊大小受最小子塊大小的限制，因為當前塊的子塊大小必須大於或等於最小子塊大小。每個塊的最小子塊大小可被自適應地確定，例如，用於雙預測子塊或多假設預測子塊的最小子塊大小被設置為大於用於單預測子塊的最小子塊大小。在另一示例中，僅用於雙預測子塊或多假設預測子塊的子塊大小受最小子塊大小的限制，而單預測子塊的子塊大小不受限制。最小子塊大小可由編碼器和解碼器針對每個塊隱式地導出，或者可以由編碼器在視訊位元流中顯式地發信與最小子塊大小相關的資訊。
在仿射運動補償預測中的自適應子塊大小的一些實施例中，當前塊的子塊大小是根據當前塊的控制點MV確定的。例如，視訊編解碼系統首先檢查當前塊的控制點MV是否是多樣的。當控制點MV不太多樣時，控制點MV指向的 參考塊或從控制點MV導出的子塊MV相對接近。在檢查控制點MV是否多樣的示例中，控制點MV與當前塊寬度和/或高度之間的一個或多個MV差值被計算，並且將與一個或多個閾值進行比較，並且如果一個或多個MV差值小於一個或多個閾值，這些控制點MV被認為是不太多樣的，否則因為對應的參考塊彼此相對較遠則控制點MV是多樣的。閾值可根據當前塊是單預測塊，雙預測塊還是多假設預測塊來選擇。MV差值和閾值可通過分離水平分量和垂直分量來計算和比較。在檢查控制點MV是否多樣的另一示例中，一個或多個變數是根據包括控制點MV與當前塊寬度和/或高度之間的MV差的資訊來計算的，並且如果一個或多個變數小於一個或多個閾值，則這些控制點MV被認為是不太多樣的，否則因為相應的參考塊彼此相對較遠則控制點MV被認為是多樣的，其中閾值可以取決於當前塊是否是單預測塊，雙預測塊或多假設預測塊。對於不太多樣的控制點MV，由子塊MV指向的參考塊通常接近或甚至重疊，因此相對小的參考塊範圍被載入以處理當前塊。因為子塊MV指向的參考塊通常彼此遠離，則具有多樣控制點MV的當前塊需要相對大的參考塊範圍。在一個實施例中，因此對具有多樣控制點MV的塊選擇大的子塊大小，否則對塊選擇小的子塊大小。在另一實施例中，在仿射運動補償預測中被編解碼的當前塊的子塊大小可受最小子塊大小的限制，其中最小子塊大小是根據當前塊的控制點MV導出的。例如，最小子塊大小設置用於具有多樣控制點MV的塊。在另一示例中，具有大控制點MV差的塊的第一最小子塊大小被設置為大於具有小控制點MV差的塊的第二最小子塊大小。每個塊的子塊大小或最小子塊大小可以由編碼器和解碼器隱式地導出，或者可以由編碼器在視訊位元流中顯式地發信與子塊大小有關的資訊。
在自我適應子塊大小的一些其他實施例中，子塊大小由當前圖像與參考圖像之間的距離確定。針對子塊運動補償編解碼工具中被編解碼的每個塊，子塊大小可根據其參考圖像自適應地被選擇。測量兩個圖像之間的距離的 示例是通過從當前圖像的圖像順序計數(Picture Order Count，簡稱POC)中減去參考圖像的POC。POC差值或所謂的△POC被接著與閾值比較，並且小的子塊大小可用於具有較小的△POC的塊，而較大的子塊大小可用於具有較大的△POC的塊。在另一實施例中，大的子塊大小被選擇用於具有小於或等於閾值的△POC的塊，而小的子塊大小被選擇用於具有大於閾值的△POC的塊。子塊大小可以由編碼器和解碼器隱式地導出，或者子塊大小由編碼器確定並且在視訊位元流中明確地發信給解碼器。或者，當前塊的子塊大小可根據當前圖像和參考圖像之間的△POC被限制。例如，具有大△POC的塊的子塊大小受第一最小子塊大小的限制，具有小△POC的塊的子塊大小受第二最小子塊大小的限制。第一最小子塊大小和第二最小子塊大小是不同的，並且由編碼器和解碼器隱式地確定或者顯式地發信給解碼器。在另一示例中，最小子塊大小僅用於限制具有大△POC的塊或具有小△POC的塊。
自適應子塊大小的另一實施例根據列表0和列表1中的MV之間的MV差來確定或限制子塊大小。例如，列表1的MV首先被縮放到列表0參考圖像，並且運動向量差(Motion Vector Difference，簡稱MVD)在縮放的列表1的MV和列表0的MV之間被計算。然後MVD將與閾值進行比較。在一個示例中，大的子塊大小被選擇用於具有大MVD的塊，而小的子塊大小被選擇具有小MVD的塊。在另一示例中，大的子塊大小被選擇用於具有小MVD的塊，而小的子塊大小被選擇用於具有大MVD的塊。如果當前塊的兩個MV之間的MVD大於閾值，則最小子塊大小可被設置以限制子塊大小。或者，第一最小子塊大小用於限制具有大MVD的塊的子塊大小，而第二最小子塊大小用於限制具有小MVD的塊的子塊大小。第一最小子塊大小和第二最小子塊大小是不同的。子塊大小或最小子塊大小可以由編碼器和解碼器隱式地導出或者顯式地發信給解碼器。
在又一實施例中，當前塊的子塊大小可根據當前塊的寬度、高度、 大小、面積或形狀來確定或限制。例如，如果寬度或高度大於預定義值，則大的子塊大小被選擇用於當前塊；如果寬度或高度小於或等於預定義值，則小的子塊大小被選擇。在另一示例中，如果當前塊的大小小於閾值，則當前塊的子塊大小被限制為小於最小子塊大小。或者，兩個或更多個最小子塊大小被設置以限制不同大小的當前塊的子塊大小。子塊大小或最小子塊大小可由編碼器和解碼器隱式地導出或者顯式地發信給解碼器。
自適應子塊大小的示例性流程圖 第7圖示出了根據本發明實施例的用於處理由子塊運動補償編解碼工具編碼或解碼的塊的視訊編碼或解碼系統的示例性流程圖。在步驟S710中，視訊編碼或解碼系統接收當前圖像中的與當前塊相關聯的輸入資料，當前塊是藉由子塊運動補償編解碼工具被編解碼。子塊運動補償編解碼工具的一些示例是子塊TMVP，STMVP，仿射運動補償預測和子塊細化PMVD模式。在編碼器側，輸入資料對應於要編碼的像素資料；在解碼器側，輸入資料對應於要解碼的已編解碼資料或預測殘差。在步驟S720中，子塊大小被自適應地確定以便劃分當前塊。由相同的子塊運動補償編解碼工具編解碼的兩個塊可以具有不同的子塊大小。在一些實施例中，子塊大小可根據當前塊的導出MV，導出的子塊MV，預測方向，控制點MV，當前圖像與參考圖像之間的距離，列表0的MV和列表1的MV之間的MVD，或當前塊的大小、寬度或高度來確定。在一些其他實施例中，子塊大小受最小子塊大小限制，並且最小子塊大小與當前塊的導出MV，導出子塊MV，預測方向，控制點MV，當前圖像與參考圖像之間的距離，列表0的MV和列表1的MV之間的MVD，或當前塊的大小、寬度或高度有關。在步驟S730中，視訊編碼或解碼系統根據確定的子塊大小將當前塊劃分為多個子塊。在步驟S740中，子塊運動補償編解碼工具導出當前塊中的子塊的子塊MV。在步驟750中，視訊編碼或解碼系統藉由子塊MV將運動補償應用於當前塊來對當前塊進行編碼或解碼。
用於MV約束的自適應閾值 在本發明的一些實施例中，MV約束被應用於限制主MV和當前塊的每一個子塊MV之間的差值於一個或多個閾值之間。限制範圍可由設置該主MV的範圍來定義。比如說，參考列表中的主MV可首先被導出，然後根據當前塊的控制點MV、當前塊或當前子塊的幀間預測方向，當前塊的控制點MV，當前塊或當前子塊的大小、寬度或高度，以上的一個或多個閾值被自適應地確定。參考列表中的所有子塊MV都限制在主MV±閾值的限制範圍內(即，從主MV-閾值到主MV+閾值或從主MV-閾值1到主MV+閾值2)，其中閾值，閾值1和閾值2對應於一個閾值。在一個示例中，閾值是0或不受限制，當閾值是0時，當前塊中的所有子塊MV被剪切到主MV，並且當閾值不受限制時，所有子塊MV都在當前塊保持不變。主MV的一些示例包括控制點MV之一，當前塊中的子塊MV之一，當前塊的中心MV或導出MV。當前塊的中心MV可以藉由仿射方程使用當前塊的中心像素導出。在一些實施例中，如果子塊MV在限制範圍之外，則子塊MV被剪切到限制範圍內或者由默認MV替換。默認MV的一個示例是主MV。例如，主MV是控制點MV之一或子塊MV之一。在另一示例中，對於仿射運動補償預測，主MV是控制點MV之一，當前塊中的子塊MV之一，當前塊的中心MV，使用當前塊的中心位置樣本的導出MV，或導出MV。在另一示例中，如果列表0或列表1之一的MV在限制範圍之外而另一列表的MV在限制範圍內，則僅另一列表的MV被使用。超出限制範圍的列表的MV被修改為無效。第8圖示出了應用MV約束的概念，該MV約束限制主MV周圍的子塊MV以限制由子塊MV指向的所有參考子塊在一定範圍內。傳統上，解碼器載入包含用於補償子塊的運動的由原始子塊MV指向的原始參考子塊810、812、814和816的單獨塊820、822、824和826，或者解碼器載入包括所有塊820、822、824和826的大塊82。在解碼器將閾值MV限制在由閾值限定的限制範圍內之後，解碼器僅需要載入包含由約束子塊MV指向的參考子塊830、832、834和836的塊83用於這些子 塊。
用於定義限制範圍的閾值是由當前塊的大小，當前塊的寬度或高度，當前子塊的大小，面積，形狀，寬度或高度，當前塊的控制點MV，當前塊、當前子塊、主MV或當前塊的控制點MV的幀間預測方向，或者上述的組合確定的自適應值。閾值可以設置為無限制，這意味著子塊MV約束不應用於當前塊。在一個示例中，閾值取決於控制點MV的多樣性，並且控制點MV的多樣性是根據控制點MV，控制點MV的幀間預測方向以及當前塊的寬度和高度導出的。一個或多個變數可根據包括控制點MV之間的MV差值和當前塊的寬度和高度的資訊計算。然後一個或多個變數與預定值比較以檢查多樣性程度。如果一個或多個變數小於預定義值，則認為這些控制點MV不太多樣，否則控制點MV相對多樣，因為當前塊中的子塊的對應參考子塊相對較遠遠離彼此。用於評估這些變數的預定義值可根據當前塊是單預測塊，雙預測塊還是多假設預測塊來選擇。例如，如果當前塊是單預測塊，則較大的預定義值被選擇，而如果當前塊是雙預測塊或多假設預測塊，則較小的預定義值被選擇。在另一示例中，如果當前塊是單預測塊，則較小的預定義值被選擇，而如果當前塊是雙預測塊或多假設預測塊，則較大的預定義值被選擇。當當前塊是單預測塊時用於比較一個或多個閾值的變數可以與當當前塊是雙預測塊或多假設預測塊時用於比較一個或多個閾值的變數不同。在一個實施例中，如果控制點MV被認為不太多樣，則用於定義限制範圍的閾值被設置為不受限制。否則，如果控制點MV被認為更加多樣，則用於定義限制範圍的閾值被設置為0。
在一些實施例中，閾值與子塊大小和/或幀間預測方向有關。例如，當子塊MV是單預測MV時，用於限制子塊MV的閾值被設置為大值或被設置為不受限制；當子塊MV是雙預測MV時，閾值被設置為小值。在另一示例中，用於限制與當前塊相關聯的所有子塊MV的閾值被設置為大值，或者當當前塊的主M V是單預測MV時被設置為不受限制。當主MV是雙預測MV時，小閾值被分配用於限制子塊MV。閾值可根據當前塊中的子塊的大小，寬度，高度或形狀中的一個或組合自適應地確定。在一個實施例中，如果子塊大小小於預定義大小(例如，8×8)，則小閾值被應用來限制子塊MV。在本實施例中，閾值可以根據子塊大小而不同，例如，第一閾值被選擇用於較大的子塊大小，而第二閾值被選擇用於較小的子塊大小，其中第一閾值比第二個閾值大。比如，較大子塊大小包括大於或等於8×8的大小(即8×8、16×8、8×16)，並且較小的子塊大小包括小於8×8的大小(即4×8、8×4、4×4)。不同的閾值或MV限制範圍可被設置用於不同的子塊設置。在另一示例中，當子塊寬度或高度大於預定值並且藉由單向預測來預測時更大的閾值被應用，並且對於具有更小子塊寬度或高度的子塊或者藉由雙預測預測的子塊更小的閾值被應用。
多個閾值可被使用來在各種子塊運動補償編解碼工具中定義MV限制範圍。例如，一個閾值用於MV的水平分量，另一個閾值用於MV的垂直分量。MV的水平分量可根據當前塊的大小或寬度來確定，並且MV的垂直分量可根據當前塊的大小或高度來確定。在一些實施例中，垂直或水平MV的閾值對於正方向和負方向可以是不同的。例如，當前塊的水平分量MV被限制在(primary_MVx-thresholdX1，primary_MVx+thresholdX2)的範圍內。兩個閾值thresholdX1和thresholdX2可根據當前塊的大小，當前塊的寬度和/或高度或主MV來設置。
對於子塊TMVP，主MV可以是默認MV，初始MV(即vec_init)，縮放初始MV(即vec_init_scaled)，當前塊中的子塊MV之一或導出MV。可以用作主MV的子塊MV的一些示例是角落子塊的MV和中心子塊的MV。導出MV的一些示例是使用當前塊的中心像素或中心塊導出的MV，或者使用圍繞中心位置的子PU導出的MV。
對於STMVP，主MV可以是第一導出子塊MV，諸如第3圖中的子塊 A的MV，相鄰塊的MV，時間同位MV或導出MV。在一個示例中，導出MV是通過使用當前塊的中心像素或中心子塊導出的MV。
對於仿射運動補償預測，主MV可以是控制點MV之一，當前塊中的子塊MV之一，由當前塊的中心像素或中心子塊導出的當前塊的中心MV，或導出MV。用作主MV的子塊MV的一些示例是角落子塊的MV和中心子塊的MV。用作主MV的導出MV的示例是使用當前塊的中心像素或中心塊導出的MV。在一個實施例中，如果在仿射運動補償預測中被編解碼的當前塊的控制點的MV位於限制範圍之外，則控制點的MV被剪切在限制範圍內或由主MV替換。在MV剪切或替換之後，當前塊中的子塊的MV藉由新控制點MV被導出。
對於子塊細化的PMVD合併模式，主MV可以是PU初始MV或CU/PU細化的MV。子塊細化MV在主MV周圍受到限制。
在一個實施例中，對於不同的子塊，MV閾值可以是不同的。例如，子塊1的水平MV被限制在(primary_MVx-thresholdX1，primary_MVx+thresholdX2)的範圍內，並且子塊2的水平MV被限制在(Primary_MVx-thresholdX3，primary_MVx+thresholdX4)的範圍內。閾值X1可以與閾值X3不同，並且閾值X2可以與閾值X4不同。例如，如果子塊1的位置在子塊2的位置的左邊，則閾值X1可以小於閾值X3。
所提出的MV約束方法可被規範地應用，或者被應用為編碼器側約束。如果它是規範性的，則使用如上所述的規則生成所有子塊的MV，即，所有MV將在主MV周圍的限制範圍內。對於編碼器約束，位元流一致性的要求為所有子塊的MV應遵循之前描述的規則。子塊的所有MV都應在主MV的限制範圍內。如果不是，則該模式或該合併候選者不應在編碼器側被選擇。
在解碼器側，當當前塊在子塊運動補償模式被編解碼時，首先主MV被導出。解碼器可以在主MV周圍載入參考資料。例如，大小為(thresholdX1+b lockWidth+interpolationFilterTapLength-1+thresholdX2)*(thresholdX1+blockHeight+interpolationFilterTapLength-1+thresholdX2)的參考塊被載入用於當前塊中的所有子塊的運動補償。
參考塊約束 在一些實施例中，每個子塊的MV是在限制範圍之內還是之外是根據參考塊範圍確定的，其中參考塊範圍是根據MV或任何其他MV相關資訊確定的。如果由子塊MV指向的參考塊被主參考塊覆蓋，則子塊MV被認為在限制範圍內。例如，覆蓋由主MV指向的塊的主參考塊被用於所有子塊的運動補償。在子塊運動補償中，如果由子塊MV指向的子塊的所有所需參考像素都在主參考塊內，則主參考塊中的原始參考像素被使用。如果任一所需的參考像素不在主參考塊內，則偽參考像素被使用。偽參考像素可具有預定義的像素值，例如128,512或(1<<(bit_depth-1))，或者可以是主參考塊的填充像素。在另一示例中，如果任一所需參考像素不在主參考塊內，則子塊模式是當前塊的不可用模式。主參考塊的大小或形狀可以自適應地取決於當前塊的大小或形狀，當前塊的寬度或高度，子塊的大小，面積，形狀，寬度或高度，子塊MV、當前塊的控制點MV之一或主MV的幀間預測方向，當前塊的控制點MV，或者上述的組合。例如，用於單預測CU或子塊的主參考塊的大小或形狀大於用於雙預測或多預測CU或子塊的主參考塊的大小或形狀。在一個實施例中，主參考塊的大小或形狀是根據當前塊的子塊MV或主MV確定的。當當前塊藉由仿射運動補償預測被編解碼時，子塊MV從當前塊的控制點MV被導出，因此主參考塊的大小或形狀可基於當前塊控制點MV來確定。由於仿射參數由控制點MV導出，因此主參考塊的大小或形狀可基於當前塊的仿射參數來確定。在一個示例中，主參考塊大小或當前塊的形狀取決於控制點MV的多樣性，並且控制點MV的多樣性是根據控制點MV，控制點MV的幀間預測方向，以及當前塊的寬度和高度導出的。一個以上的變數包括控制點MV以及當前塊的寬度和高度的MV差值的資訊來計 算的。兩個變數的相乘結果表示主參考塊的大小或形狀。主參考塊大小或形狀可藉由當前塊的寬度或高度來歸一化導出。主參考塊大小或形狀或歸一化的主參考塊大小或形狀與預定義值比較以檢查多樣性程度。如果主參考塊的大小或形狀或歸一化的主參考塊大小或形狀小於預定義值，則控制點MV被認為是不太多樣，否則因為相應的參考子塊距離彼此較遠，控制點MV相對多樣。用於評估主參考塊大小或形狀或歸一化主參考塊大小或形狀的預定義值可根據當前塊是單預測塊，雙預測塊還是多假設預測塊來選擇。例如，如果當前塊是單預測塊，則較大的預定義值被選擇，而如果當前塊是雙預測塊，則較小的預定義值被選擇。又例如，如果當前塊是單預測塊，則較小的預定義值被選擇，而如果當前塊是雙預測塊，則較大的預定義值被選擇。在一個實施例中，如果主參考塊大小或歸一化主參考塊大小大於預定義值，則子塊模式是當前塊的不可用模式，例如，仿射MCP不應用於當前塊。因此，子塊MV被設置為相同的值，並且平移運動模型應用於當前塊。
第9圖示出了在由子塊運動補償編解碼工具編解碼的當前塊中應用參考塊約束的示例。主MV912首先被導出用於8x8大小的CU910。在參考圖像92中的由主MV912指向的主參考塊920用於8x8大小的CU910中的子塊的運動補償。如果子塊的所有參考像素在主參考塊920內(例如，塊A，其所有參考像素在主參考塊920內)，參考塊中的原始像素被使用。如果子塊的參考像素不在主參考塊920內(例如，塊C，其參考像素不在主參考塊920內)，則根據主參考塊920的填充像素被使用。如果子塊的參考像素的一部分在主參考塊內並且參考像素的一部分不在(例如，塊B，其具有部分參考像素在主參考塊920內並且具有一部分參考像素不在主參考塊920內)，主參考塊920中的部分原始像素和部分填充像素被使用。在另一實施例中，內插濾波器係數被修改以排除主參考塊外部的參考子塊的任一參考像素。在另一示例中，如果子塊的參考像素的一部分不 在主參考塊內，則子塊模式是當前塊的不可用模式，例如，如果子塊模式設置為不可用模式，則子塊MV都被設置為相同的值。
所提出的參考塊約束方法可被規範地應用，或者可被應用為編碼器側約束。如果是規範性的，則所有子塊的參考像素可利用如上所述的規則生成，即，使用主參考塊內的參考子塊的像素，而不使用主參考塊外的像素。在參考塊約束方法的規範實現的另一示例中，如果子塊的參考像素的一部分不在主參考塊內，則子塊模式是當前塊的不可用模式，例如，如果使用仿射模式，則子塊MV都被設置為相同的值。對於編碼器約束，位元流一致性的要求是所有子塊的參考像素應遵循如前所述的規則。編碼器通過子塊運動補償編解碼工具使用主參考塊內的參考子塊的參考像素對當前塊進行編解碼。如果由子塊MV指向的任何參考子塊不在主參考塊內，則在編碼器側該子塊運動補償編解碼工具不被選擇。例如，如果子塊運動補償編解碼工具是仿射運動補償預測，則仿射運動補償預測技術不應用於具有主參考塊之外的一個或多個參考子塊的塊。在另一示例中，如果子塊運動補償編解碼工具是子塊TMVP或STMVP，則如果當前塊的任一參考子塊在對應的主參考塊之外，則由子塊TMVP或STMVP生成的相關候選者不被選擇。
檢查子塊運動補償編解碼工具的有效性 如前面一些段落中所述，一些實施例實現MV約束或參考塊約束以限制子塊MV或限制參考圖像。如果子塊MV是在MV限制範圍之外或參考子塊在主參考塊之外，則視訊編碼或解碼系統可以決定不使用子塊運動補償編解碼工具來處理當前塊，而不是剪切或替換子塊MV或替換參考子塊的參考圖像。在一個示例中，視訊編碼器或解碼器根據當前塊的寬度或高度，從當前塊劃分出的子塊的大小、面積、形狀、寬度或高度，子塊MV、一個或多個控制點MV或主MV的幀間預測方向，控制點MV，仿射參數或以上的組合，來檢查將子塊運動補償編解碼工具應用於當前塊的有效性。 如果檢查結果顯示子塊運動補償編解碼工具有效，則子塊運動補償編解碼工具僅可用於編碼或解碼當前塊，否則當前塊藉由另一編碼工具進行編碼。在一個實施例中，當檢查結果顯示子塊運動補償編解碼工具無效時，MV剪切處理被應用於當前塊中的每個子塊。例如，當前塊中的所有子塊MV被剪切為相同的值。
在一個實施例中，當前塊的寬度或高度，子塊的大小，面積，形狀，寬度或高度，子塊MV、主MV或控制點MV的幀間預測方向，控制點MV，仿射參數或以上的組合可用於判斷當前塊的一個或多個子塊MV是否在MV限制範圍之外。如果一個或多個子塊MV在MV限制範圍之外，模式(例如，仿射運動補償預測或子塊細化PMVD模式)或與子塊運動補償編解碼工具相關聯的合併候選者(例如，仿射候選者，子塊TMVP候選者或STMVP候選者)不被編碼器選擇來對當前塊進行編碼。編碼器使用另一種編碼工具對當前塊進行編碼。
PMVD的子塊候選者 本發明的一個實施例藉由發信起始MV候選者來減少PMVD過程的需求頻寬以及提高編碼效率。PMVD的第二階段(PU級匹配)首先確定多個起始MV，例如來自合併候選者的MV和來自時間導出MVP的MV，然後從每個起始MV生成MV對以導出兩個參考塊。這兩個參考塊的SAD被計算，以及具有最小SAD的MV對被選擇。菱形搜索被執行以細化所選擇的MV對。在PU級匹配之後，子PU級匹配被執行。在該實施例中，視訊解碼器僅需要解析起始MV並細化從解析的起始MV導出的MV對。因此評估PU級匹配中的所有起始MV的整個過程被避免了。於是頻寬要求可顯著降低。在一個實施例中，為了降低PU級匹配中的搜索複雜度，子塊MV候選者諸如仿射候選者，ATMVP和STMVP候選者不包括在候選者列表中。在另一實施例中，子塊MV候選者包括在候選者列表中。如果非子塊MV候選被選擇，則包括PU級匹配和子PU級匹配的原始兩階段處理被應用。如果子塊MV候選者被選擇，則PU級匹配被跳過，僅子PU級匹配被執行。在一個實施例中，對於子塊MV候選者，如果子塊M V候選者被選中用於當前塊，則針對當前塊中的每個子塊一個MV候選者被導出。在子PU級匹配中，解碼器僅細化發信的每個子塊的MV。為了進一步降低頻寬要求，上面提到的MV約束或參考塊約束可進一步被應用。主MV可被設置為當前CU中的子塊之一的MV，例如，左上子塊的MV，或者當前CU的中心子塊的MV。
視訊編碼器和解碼器實施方式 前述提出的用於子塊運動補償的視訊處理方法可以在視訊編碼器或解碼器中實現。例如，所提出的視訊處理方法在編碼器的幀間預測模組和/或解碼器的幀間預測模組中實現。在另一示例中，所提出的視訊處理方法在編碼器的子塊分區模組或MV推導模組，和/或解碼器的子塊分區模組或MV推導模組中實現。或者，任何所提出的方法被實現為耦合到編碼器的幀間預測模組，子塊分區模組或MV推導模組，和/或解碼器的幀間預測模組，子塊分區模組或MV推導模組的電路，以提供幀間預測模組，子塊分區模組或MV推導模組所需的資訊。第10圖示出了用於實現本發明的各種實施例的視訊編碼器1000的示例性系統框圖。幀內預測1010基於當前圖像的重建視訊資料提供幀內預測子。幀間預測1012執行運動估計(motion estimation，簡稱ME)和運動補償(motion compensation，簡稱MC)以基於來自其他圖像的視訊資料提供幀間預測子。為了藉由根據本發明的一些實施例的子塊運動補償編解碼工具對當前塊進行編碼，用於定義MV限制範圍，子塊大小或主參考塊的大小或形狀的閾值是自適應確定的。主參考塊的閾值，子塊大小，或主參考塊的大小或形狀可由當前塊或子塊的大小、高度或寬度，幀間預測方向，當前塊的控制點MV，或上述的組合來確定或限制。然後當前塊被劃分為多個子塊，並且子塊MV根據用於運動補償的子塊運動補償編解碼工具被導出。幀間預測1012根據對應的子塊MV確定每個子塊的預測子。根據一些實施例，每個子塊MV受閾值限制。根據一些其他實施例，每個子塊的預測子被限制在主參考塊內。幀內預測1010或 幀間預測1012將所選擇的預測子提供給加法器1016以形成預測誤差，也稱為預測殘差。當前塊的預測殘差藉由變換(Transformation，簡稱T)1018進一步被處理，然後是量化(Quantization，簡稱Q)1020。然後，變換和量化后的殘差信號由熵編碼器1032編碼以形成視訊位元流。然後，視訊位元流被打包有輔助資訊。然後，當前塊的變換和量化后的殘差信號藉由逆量化(Inverse Quantization，簡稱IQ)1022和逆變換(Inverse Transformation，簡稱IT)1024處理，以恢復預測殘差。如第10圖所示，預測殘差是藉由在重建(Reconstruction，簡稱REC)1026處加回到所選擇的預測子來恢復，以產生重建的視訊資料。重建的視訊資料可存儲在參考圖像緩衝器(Reference Picture Buffer，簡稱Ref.Pict.緩衝器)1030中並用於預測其他圖像。從REC1026恢復的重建視訊資料可能由於編碼處理而受到各種損害；因此，在重建視訊資料被存儲在參考圖像緩衝器1030中之前，環路處理濾波器1028被應用於重建視訊資料，以進一步提高圖像品質。
用於解碼從第10圖的視訊編碼器1000生成的視訊位元流的對應視訊解碼器1100在第11圖中示出。視訊位元流是視訊解碼器1100的輸入，並且由熵解碼器1110解碼以解析和恢復變換和量化后的殘差信號和其他系統資訊。解碼器1100的解碼過程類似於編碼器1000處的重建環路，除了解碼器1100僅需要幀間預測1114中的運動補償預測。每個塊由幀內預測1112或幀間預測1114解碼。開關1116根據解碼后的模式資訊從幀內預測1112選擇幀內預測子，或從幀間預測器1114選擇幀間預測子。幀間預測1114基於子塊MV在當前塊上執行子塊運動補償編解碼工具。根據一些實施例，用於限制子塊MV，子塊大小或主參考塊的大小或形狀的閾值由幀間預測1114自適應地確定。根據另一實施例，幀間預測1114藉由解析所接收的視訊位元流來確定用於由子塊運動補償編解碼工具進行編解碼的塊來限制子塊MV，子塊大小或主參考塊的大小或形狀的閾值。與每個塊相關聯的變換和量化后的殘差信號藉由逆量化(IQ)1120和逆變換(IT)1122恢復。 通過在REC1118中加回預測子來重建恢復的殘差信號以產生重構視訊。環路處理濾波器(In-loop Processing Filter)1124進一步處理重構的視訊以生成最終的解碼視訊。如果當前解碼的圖像是用於解碼順序的後續圖像的參考圖像，則當前解碼的圖像的重建視訊也存儲在Ref.Pict.緩衝器1126。
第10圖和第11圖中的視訊編碼器1000和視訊解碼器1100的各種組件件可以由硬體組件，被配置為執行存儲在記憶體中的程式指令的一個或多個處理器，或硬體和處理器的組合來實現。例如，處理器執行程式指令以控制與當前圖片相關聯的輸入資料的接收。處理器配備單個或多個處理核心。在一些示例中，處理器執行程式指令以在編碼器1000和解碼器1100中的一些組件中執行功能，並且與處理器電耦合的記憶體用於存儲程式指令，對應於塊的重建圖像的資訊，和/或編碼或解碼過程中的中間資料。在一些實施例中，記憶體包括非暫時性電腦可讀介質，諸如半導體或固態記憶體，隨機存取記憶體(RAM)，唯讀記憶體(ROM)，硬碟，光碟或其他合適的存儲介質。記憶體還可以是上面列出的兩個或更多個非暫時性電腦可讀介質的組合。如第10圖和第11圖所示，編碼器1000和解碼器1100可以在同一電子設備中實現，因此如果在同一電子設備中實現，則編碼器1000和解碼器1100的各種功能組件可被共享或重複使用。
AMVR自適應運動向量差分解析度(Adaptive Motion Vector difference Resolution，簡稱AMVR)支援三種運動向量解析度，包括四分之一亮度樣本，整數亮度樣本和四亮度樣本，以減少運動向量差值(Motion Vector Difference，簡稱MVD)的輔助資訊。在序列參數集合(Sequence Parameter Set，簡稱SPS)級別和CU級別中發信的標誌用於指示是否啟用AMVR以及選擇哪個運動向量解析度用於當前CU。對於以高級運動向量預測(Advanced Motion Vector Prediction，簡稱AMVP)模式編解碼的塊，一個或兩個運動向量藉由單預測或雙預測生成，然後一個或一組運動向量預測子(Motion Vector Predictor，簡稱MV P)同時生成。與相應的MV相比具有最小MVD的最佳MVP被選擇用於有效編解碼。通過AMVR使能，MV和MVP都根據所選擇的運動向量解析度進行調整，並且MVD將對齊到相同的解析度。
有條件地擴展AMVR 更大的AMVR解析度，例如八亮度樣本，16個亮度樣本等，可以使用視訊位元流中的額外的AMVR標誌信令進一步被測試。編解碼效率可藉由允許更大的MVD解析度提高。為了進一步提高編解碼效率，更大的解析度可被測試而不發信任何額外的AMVR標誌。例如，當滿足特殊條件時，用於指示四亮度樣本的解析度的AMVR標誌可以表示更大的解析度，例如八亮度樣本或十六亮度樣本。特殊條件的一個實施例是當前幀和參考幀之間的POC差值大於閾值時。在該實施例中，當前幀和參考幀之間的POC差值大於預設閾值時，如果AMVR被使能並且被推斷為第一解析度，例如四亮度樣本，則MVD的解析度變為第二解析度，例如八亮度樣本。用於生成MV和MVP的以下AMVP過程將使用八亮度樣本解析度來計算。此外，MVD將同時被與解析度對齊。此處的閾值可以明確地發信或隱式預定義。閾值可以在序列級別，圖像級別，片段級別，CTU級別，或CU級別，或塊級別來發信。
特殊條件的另一實施例與當前片段的時間層相關聯。在一個示例中，對於AMVR被使能並且MVD解析度被推斷為四亮度樣本的當前片段，如果當前片段在小於閾值(例如1或2)的時間層上，則意味著該片段的可用的參考幀在時間線上彼此遠離，最初指示四亮度樣本的AMVR標誌現在將指示為八亮度樣本。用於生成MV和MVP的以下AMVP過程將使用八亮度樣本解析度而不是四亮度樣本來計算。閾值可以是發信的值或預定義的值，並且該發信的值可在序列級別，圖像級別，片段級別，CTU級別，CU級別或塊級別中定義。
AMVR標誌和MVP索引 AMVP模式的組合使用一個MVP索引來根據HEVC標準在MVP候選列表中選擇MVP。如果AMVR被使能，則AMVR標誌 和MVP索引需要被發信。在一些實施例中，多個解析度可以進一步被測試而不用發信另外的AMVR標誌以便進一步提高編解碼效率。在一個實施例中，具有不同MVP索引的MVP可以在相同AMVR標誌下被生成為不同解析度，而MV的產生不變。MV以基於AMVR標誌的精度產生。表1和表2中示出了具有針對MV，MVP和MVD的不同解析度的實施例。表1顯示了MV和MVD的不同運動向量解析度，而表2顯示了MVP的不同運動向量解析度。例如，具有MVP索引0和MVP索引1的兩個MVP在AMVP模式中生成。如果AMVR被使能並被推斷為四分之一亮度樣本，則具有MVP索引0的MVP將被生成為四分之一亮度樣本，並且具有MVP索引1的MVP將被生成為半亮度樣本。這兩個MVP候選者可以分別在相同的過程或不同的過程中生成。相應的MV基於AMVR標誌生成作為四分之一亮度樣本。由於MV和MVP解析度未對齊，因此關於MVD計算不同解析度可被應用。在一個示例中，具有不同索引的MVP在相同AMVR標誌下被生成為不同解析度，並且MVD被舍入到與MVP精度相同的相應解析度。在另一示例中，具有不同索引的MVP在相同AMVR標誌下被生成為不同解析度，並且MVD將舍入到與基於AMVR標誌的MV精度相同的相應解析度。
Figure 108111649-A0305-02-0035-4
Figure 108111649-A0305-02-0035-5
Figure 108111649-A0305-02-0036-6
在另一實施例中，MVP和MV以基於AMVR標誌的精度產生。基於不同的MVP指數對應的MVD被指示為不同的解析度。表3和表4中示出了一個示例，其具有針對MV，MVP和MVD的不同解析度。表3示出了MV和MVP的不同運動向量解析度，而表4示出了MVD的不同運動向量解析度。例如，如果AMVR被使能並且推斷為四分之一亮度樣本，則在AMVP模式中MV和具有MVP索引0和MVP索引1的兩個MVP被生成具有四分之一亮度樣本。如果具有索引為0的MVP被選擇作為最佳MVP，則相應的MVD將被指示為四分之一亮度樣本。否則，如果具有索引1的MVP作為最佳MVP被選擇，則相應的MVD將被指示為半亮度樣本。
Figure 108111649-A0305-02-0036-7
Figure 108111649-A0305-02-0036-8
AMVR的自適應語法設計 表5顯示了傳統AMVR語法設計中不同運動向量解析度的二進位化。在一些實施例中，基於某些條件MV解析度被自適應地發信。根據一個實施例，不同的二進位化表被應用於具有不同大小的CU，用於多個MV解析度編解碼。例如，如果CU大小小於閾值，則1二進制符號(bin)用於整數亮度樣本，並且2bin用於剩餘解析度；否則，1bin用於四分之一亮度樣本，而2bin用於剩餘解析度。這裡的閾值可以被明確地發信或隱式地被預定義，並且閾值可以在序列級別，圖像級別，片段級別，CTU級別，CU級別或塊級別中發信。表6中示出了針對不同運動向量解析度的編碼二進位化。
Figure 108111649-A0305-02-0037-9
Figure 108111649-A0305-02-0037-10
用於編碼或解碼的視訊處理方法的實施例可在集成到視訊壓縮晶片中的電路或集成到視訊壓縮軟體中的程式碼中實現，以執行上述處理。例如，確定包括用於編解碼當前塊的平均候選者的候選者集合可在電腦處理器執行的程式碼中實現，比如，數位訊號處理器(Digital Signal Processor，簡稱DSP)，微處理器或現場可程式設計閘陣列(field programmable gate array，簡稱FPG A)。這些處理器可被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。
本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的特定特徵，結構或特性可包括在本發明的至少一個實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例，這些實施例可以單獨實現或與一個或多個其他實施例結合實現。此外，所描述的特徵，結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域的技術人員將認識到，可以在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實現本發明。在其他情況下，公知的結構或操作沒有被示出或被詳細描述以避免模糊本發明的各方面。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他具體形式實施。所描述的例子僅在所有方面被認為是說明性的而不是限制性的。因此，本發明的範圍由申請專利範圍而不是前面的描述來指示。屬於申請專利範圍的等同物的含義和範圍的所有變化將被包括在其範圍內。
S710、S720、S730、S740、S750‧‧‧步驟

Claims (27)

  1. 一種在視訊編解碼系統中用於子塊運動補償的視訊處理方法，包括：接收與一當前圖像中一當前塊相關聯的一輸入視訊資料；將該當前塊劃分為多個子塊；根據一子塊運動補償編解碼工具導出與在該當前塊中的該多個子塊相關聯的多個子塊運動向量；藉由限制一主運動向量和該多個子塊運動向量中的每個子塊運動向量之間的一差值於一個或多個閾值之中，約束該多個子塊運動向量以形成多個受約束的子塊運動向量，其中該一個或多個閾值可依據該當前塊或一子塊的一大小、一寬度和一高度，該當前塊的多個控制點運動向量之一、該當前塊或一當前子塊的一幀間預測方向，該當前塊的該多個控制點運動向量，或以上的一組合來被自適應地確定；以及使用該多個受約束子塊運動向量來將運動補償應用於該當前塊以編碼或解碼該當前塊。
  2. 如申請專利範圍第1項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，該多個子塊運動向量的每個子塊運動向量被限制到從(主運動向量-Threshold)到(主運動向量+Threshold)的一範圍，其中Threshold對應於一閾值，并且如果一子塊運動向量在該範圍之外，該子塊運動向量被剪切到該範圍。
  3. 如申請專利範圍第1項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，該閾值被自適應地確定為零或者無限制，其中如果該閾值是零，所有的該子塊運動向量都被剪切到該主運動向量，并且如果該閾值是無限制，該約束該多個子塊運動向量的操作不被應用於該當前 塊。
  4. 如申請專利範圍第3項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，該閾值取決於該多個控制點運動向量的一多樣性，該多個控制點運動向量的多樣性是根據該多個控制點運動向量、該多個控制點運動向量的該幀間預測方向以及該當前塊的該寬度和該高度導出的，其中如果該多個控制點運動向量的該多樣性是相對多樣的，該閾值是零，或者如果該多個控制點運動向量的該多樣性是相對不多樣的，該閾值是無限制。
  5. 如申請專利範圍第1項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，該主運動向量是該當前塊的該多個控制點運動向量之一，該當前塊的該多個子塊運動向量之一，該當前塊的一中心運動向量，使用該當前塊的一中心位置樣本的一導出運動向量，或一導出運動向量。
  6. 如申請專利範圍第1項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，該主運動向量被導出，并且該主運動向量周圍的所需參考資料被載入用於運動補償。
  7. 一種在視訊編解碼系統中用於子塊運動補償的視訊處理方法，包括：接收在一當前圖像中與一當前塊相關聯的一輸入視訊資料；將該當前塊劃分為多個子塊；根據一子塊運動補償編解碼工具導出與在該當前塊中的該多個子塊相關聯的多個子塊運動向量；導出一主參考塊，其中該主參考塊的一大小或一形狀是根據該當前塊或該當前塊中的該多個子塊的一大小，一面積，一形狀，一寬度或一高度，該當前塊的多個控制點運動向量之一、一子塊運動向量或一主運動向量的一幀間預 測方向，該當前塊的該多個控制點運動向量，或以上的一組合來被自適應地確定；以及使用在該主參考塊中的多個參考子塊的一個或多個參考像素將運動補償應用於該當前塊，排除在該主參考塊之外的該多個參考子塊的任一參考像素，其中該多個參考子塊由導出的該多個子塊運動向量指向。
  8. 根據申請專利範圍第7項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，該主參考塊覆蓋由該主運動向量指向的一參考塊。
  9. 根據申請專利範圍第7項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，在該主參考塊之外的該多個參考子塊的任一參考像素被一偽參考像素替代，或者一仿射模型被設置為不可用，并且該偽參考像素對應於一預定義像素值或該主參考塊的一填充像素。
  10. 根據申請專利範圍第7項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，如果該多個參考子塊的任一參考像素在該主參考塊之外，該子塊運動補償編解碼工具不被應用，并且該多個子塊運動向量全部被設置為相同值。
  11. 根據申請專利範圍第7項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，該主參考塊的該大小或該形狀被該當前塊的該大小，該面積，該形狀，該寬度或該高度歸一化。
  12. 根據申請專利範圍第11項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，當該子塊運動補償編解碼工具是仿射運動補償預測時，該主參考塊或該歸一化主參考塊的該大小或該形狀是根據該當前塊的該多個控制點運動向量或仿射參數來自適應確定的。
  13. 根據申請專利範圍第11項所述之在視訊編解碼系統中用於子塊 運動補償的視訊處理方法，其中，該主參考塊或該歸一化主參考塊的該大小或該形狀是根據該多個控制點運動向量和該當前塊的該寬度和該高度之間的一運動向量差值來導出的，并且該主參考塊或該歸一化主參考塊的該大小或該形狀與一預定義值相比較，如果該主參考塊或該歸一化主參考塊的該大小或該形狀比該預定義值大，該仿射運動補償預測不應用於該當前塊。
  14. 根據申請專利範圍第13項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中，該預定義值是根據該幀間預測方向選擇的。
  15. 一種在視訊編解碼系統中用於子塊運動補償的視訊處理方法，包括：接收與將被編碼的一當前圖像中的一當前塊相關聯的輸入資料；根據該當前塊的一大小，一寬度或一高度，從該當前塊劃分出的多個子塊的一大小，一面積，一形狀，一寬度或一高度，一子塊運動向量、一主運動向量或該當前塊的多個控制點運動向量之一的一幀間預測方向，該主運動向量，該多個控制點運動向量，多個仿射參數，或以上的一組合來檢查一子塊運動補償編解碼工具是否應用於該當前塊；以及根據該檢查結果使用該子塊運動補償編解碼工具或另一編解碼工具來對該當前塊進行編碼或解碼。
  16. 根據申請專利範圍第15項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中該子塊運動補償編解碼工具選自一組包括子塊時間運動向量預測，空間-時間運動向量預測，仿射運動補償預測以及子塊細化基於模式運動向量預測模式。
  17. 根據申請專利範圍第15項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中當該檢查結果是假，一運動向量剪切過程應用於該當前塊的每個子塊。
  18. 一種在視訊編解碼系統中用於子塊運動補償的視訊處理方法，包括：接收與一當前圖像中一當前塊相關聯的輸入視訊資料；自適應地決定一子塊大小用於劃分該當前塊，其中用於劃分該當前塊的該子塊大小與用於劃分使用同一子塊運動補償編解碼工具進行編解碼的另一塊的一子塊大小不同；根據該子塊大小將該當前塊劃分為多個子塊；根據該子塊運動補償編解碼工具導出在該當前塊中與該多個子塊相關聯的多個子塊運動向量；以及使用該多個子塊運動向量將運動補償應用於該當前塊以對該當前塊進行編碼或解碼；其中該子塊運動補償編解碼工具選自一組包括子塊時間運動向量預測，空間-時間運動向量預測，仿射運動補償預測，以及子塊細化基於模式運動向量導出模式。
  19. 根據申請專利範圍第18項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中該子塊大小是根據該當前塊的一導出運動向量，該當前塊的一個或多個控制點運動向量，或一導出子塊運動向量來確定。
  20. 根據申請專利範圍第19項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中如果該導出運動向量，該當前塊的該一個或多個控制點的運動向量，或該導出子塊運動向量是雙預測或多假設預測則一第一子塊大小被使用，如果該導出運動向量，該當前塊的該一個或多個控制點運動向量或該導出子塊運動向量是單預測，則一第二子塊大小被使用，并且該第一子塊大小比該第二子塊大小大。
  21. 根據申請專利範圍第19項所述之在視訊編解碼系統中用於子塊 運動補償的視訊處理方法，其中該子塊大小被限制在大於或等於一最小子塊大小，并且用於使用雙預測或多假設預測的多個子塊的一第一最小子塊大小大於用於使用單預測的多個子塊的一第二最小子塊大小。
  22. 根據申請專利範圍第18項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中當該子塊運動補償編解碼工具是仿射運動補償預測時，該子塊大小是根據該當前塊的多個控制點運動向量來被確定或限制的。
  23. 根據申請專利範圍第18項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中該子塊大小是根據該當前塊中該當前圖像和一參考圖像之間的一距離來被確定或限制的。
  24. 根據申請專利範圍第18項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，其中該子塊大小是根據該當前塊的一大小，一寬度或一高度，該當前塊劃分的多個子塊的一大小，一面積，一形狀，一寬度或一高度，一子塊運動向量、一控制點運動向量或一當前運動向量的一幀間預測方向，多個控制點運動向量，仿射參數，或以上的組合來被確定或限制的。
  25. 根據申請專利範圍第18項所述之在視訊編解碼系統中用於子塊運動補償的視訊處理方法，還包括：發信與該子塊大小相關的資訊，用於藉由一視訊編碼器在一視訊位元流中劃分該當前塊。
  26. 一種在視訊編解碼系統中用於處理視訊資料的裝置，該裝置包括一個或多個電子電路被設置用於：接收與一當前圖像中一當前塊相關聯的輸入視訊資料；將該當前塊劃分為多個子塊；根據一子塊運動補償編解碼工具導出與該當前塊的多個子塊相關聯的多個 子塊運動向量；藉由將一主運動向量和該多個子塊運動向量的每個子塊運動向量之間的一差值限制於一個或多個閾值之間，約束該多個子塊運動向量以形成多個受約束的子塊運動向量，其中該一個或多個閾值是根據該當前塊或一子塊的一大小，一寬度或一高度，該當前塊的多個控制點運動向量之一、該當前塊或當前子塊的一幀間預測方向，該當前塊的多個控制點運動向量，或以上的組合來自適應地確定的；以及使用該受約束的子塊運動向量來將運動補償應用於該當前塊以對該當前塊進行編碼或解碼。
  27. 一種存儲程式指令的非暫時性電腦可讀介質，所述程式指令使得一裝置的一處理電路執行視訊處理方法，並且所述方法包括：接收與一當前圖像中一當前塊相關聯的輸入視訊資料；將該當前塊劃分為多個子塊；根據一子塊運動補償編解碼工具導出與該當前塊的多個子塊相關聯的多個子塊運動向量；藉由將一主運動向量和該多個子塊運動向量的每個子塊運動向量之間的一差值限制於一個或多個閾值之間，約束該多個子塊運動向量以形成多個受約束的子塊運動向量，其中該一個或多個閾值是根據該當前塊或一子塊的一大小，一寬度或一高度，該當前塊的多個控制點運動向量之一、該當前塊或當前子塊的一幀間預測方向，該當前塊的多個控制點運動向量，或以上的組合來自適應地確定的；以及使用該受約束的子塊運動向量來將運動補償應用於該當前塊以對該當前塊進行編碼或解碼。
TW108111649A 2018-04-02 2019-04-02 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置 TWI700922B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862651333P 2018-04-02 2018-04-02
US62/651,333 2018-04-02
US201862655870P 2018-04-11 2018-04-11
US62/655,870 2018-04-11
US201862665581P 2018-05-02 2018-05-02
US62/665,581 2018-05-02
WOPCT/CN2019/081061 2019-04-02
PCT/CN2019/081061 WO2019192491A1 (en) 2018-04-02 2019-04-02 Video processing methods and apparatuses for sub-block motion compensation in video coding systems

Publications (2)

Publication Number Publication Date
TW202005392A TW202005392A (zh) 2020-01-16
TWI700922B true TWI700922B (zh) 2020-08-01

Family

ID=68101090

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108111649A TWI700922B (zh) 2018-04-02 2019-04-02 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置

Country Status (5)

Country Link
US (2) US11381834B2 (zh)
EP (1) EP3766247A4 (zh)
CN (1) CN111937391B (zh)
TW (1) TWI700922B (zh)
WO (1) WO2019192491A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11700391B2 (en) * 2017-05-18 2023-07-11 Hfi Innovation Inc. Method and apparatus of motion vector constraint for video coding
WO2019066574A1 (ko) * 2017-09-28 2019-04-04 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN115550664B (zh) 2018-06-04 2023-08-22 华为技术有限公司 获取运动矢量的方法和装置
WO2020006304A1 (en) * 2018-06-29 2020-01-02 Vid Scale, Inc. Adaptive control point selection for affine motion model based video coding
CN110719481B (zh) 2018-07-15 2023-04-14 北京字节跳动网络技术有限公司 跨分量编码信息导出
US11516490B2 (en) * 2018-07-16 2022-11-29 Lg Electronics Inc. Method and device for inter predicting on basis of DMVR
US11539958B2 (en) * 2018-07-17 2022-12-27 Lg Electronics Inc. Method for predicting subblock-based temporal motion vector and apparatus therefor
WO2020050281A1 (ja) * 2018-09-06 2020-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
SI3681161T1 (sl) * 2018-09-12 2024-03-29 Lg Electronics Inc., Postopek za dekodiranje in kodiranje slik z napravo na podlagi napovedovanja gibanja v enoti podbloka v sistemu za kodiranje slik
CN111083484A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
WO2020084473A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Multi- iteration motion vector refinement
CN111131822B (zh) * 2018-10-31 2023-08-01 北京字节跳动网络技术有限公司 具有从邻域导出的运动信息的重叠块运动补偿
JP7146086B2 (ja) 2018-11-12 2022-10-03 北京字節跳動網絡技術有限公司 インター予測のためのバンド幅制御方法
CN112970253A (zh) * 2018-11-13 2021-06-15 北京字节跳动网络技术有限公司 用于预测的运动候选列表构建
CN113170097B (zh) * 2018-11-20 2024-04-09 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020141591A1 (ja) * 2018-12-31 2020-07-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、及び復号方法
EP3915259A4 (en) 2019-03-06 2022-03-30 Beijing Bytedance Network Technology Co., Ltd. USE OF A CONVERTED UNIVERSITY PREDICTION CANDIDATE
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
WO2020207475A1 (en) * 2019-04-12 2020-10-15 Mediatek Inc. Method and apparatus of simplified affine subblock process for video coding system
WO2020244659A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Interactions between sub-block based intra block copy and different coding tools
CN114080812A (zh) * 2019-06-13 2022-02-22 Lg 电子株式会社 使用sbtmvp的基于帧间预测的图像或视频编译
KR102630798B1 (ko) * 2019-06-13 2024-01-29 엘지전자 주식회사 Sbtmvp 기반 영상 또는 비디오 코딩
US11582475B2 (en) * 2019-09-24 2023-02-14 Qualcomm Incorporated History-based motion vector prediction
KR20220065880A (ko) * 2019-09-30 2022-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용
US20220385910A1 (en) * 2019-11-11 2022-12-01 Hfi Innovation Inc. Method and Apparatus of Signaling Adaptive Motion Vector Difference Resolution in Video Coding
US20230073342A1 (en) * 2020-12-29 2023-03-09 Vid Scale, Inc. Adaptive control point selection for affine motion model based video coding
WO2023141177A1 (en) * 2022-01-18 2023-07-27 Beijing Dajia Internet Information Technology Co., Ltd. Motion compensation considering out-of-boundary conditions in video coding
WO2023171912A1 (ko) * 2022-03-07 2023-09-14 현대자동차주식회사 비디오 프레임 경계에서의 예측블록 생성
WO2023220444A1 (en) * 2022-05-13 2023-11-16 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2024010831A1 (en) * 2022-07-05 2024-01-11 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
US20240098299A1 (en) * 2022-09-21 2024-03-21 Tencent America LLC Method and apparatus for motion vector prediction based on subblock motion vector

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140205013A1 (en) * 2013-01-23 2014-07-24 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus
CN104885458A (zh) * 2013-01-04 2015-09-02 高通股份有限公司 用于视图间或层间参考图片的位流约束和运动向量限制
US20160227218A1 (en) * 2015-01-29 2016-08-04 Ecole De Technologie Superieure Methods and systems for determining motion vectors in a motion estimation process of a video encoder

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841476A (en) * 1995-03-03 1998-11-24 Kokusai Denshin Denwa Co. Ltd. Coding apparatus for encoding motion picture
FR2742902B1 (fr) * 1995-12-22 1998-01-23 Thomson Multimedia Sa Procede d'estimation de mouvement
US5990955A (en) * 1997-10-03 1999-11-23 Innovacom Inc. Dual encoding/compression method and system for picture quality/data density enhancement
US7039221B1 (en) * 1999-04-09 2006-05-02 Tumey David M Facial image verification utilizing smart-card with integrated video camera
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US7164800B2 (en) 2003-02-19 2007-01-16 Eastman Kodak Company Method and system for constraint-consistent motion estimation
US9743078B2 (en) * 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
EP1809041A1 (en) * 2006-01-11 2007-07-18 Mitsubishi Electric Information Technology Centre Europe B.V. Error concealement for scalable video coding
KR20090004661A (ko) * 2007-07-04 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8345763B2 (en) * 2007-11-27 2013-01-01 Mediatek Inc. Motion compensation method and integrated circuit utilizing the same
US8837592B2 (en) 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
KR101479130B1 (ko) * 2010-10-18 2015-01-07 에스케이 텔레콤주식회사 차분 움직임벡터 부호화/복호화 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
US8891831B2 (en) * 2010-12-14 2014-11-18 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus for conservative motion estimation from multi-image sequences
CN106028030B (zh) 2011-03-08 2017-12-19 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
JP2013165485A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置およびコンピュータブログラム
CN104704827B (zh) * 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
JP5761162B2 (ja) * 2012-11-30 2015-08-12 トヨタ自動車株式会社 車両位置推定装置
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
EP2981089B1 (en) * 2013-03-29 2019-07-10 Fujitsu Limited Encoding device, computer system, encoding method, encoding program, and recording medium
JP2015019204A (ja) * 2013-07-10 2015-01-29 ソニー株式会社 画像処理装置および画像処理方法
CN104539962B (zh) * 2015-01-20 2017-12-01 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
US9232118B1 (en) * 2015-01-23 2016-01-05 Interra Systems, Inc Methods and systems for detecting video artifacts
EP3264762A4 (en) * 2015-03-10 2018-05-02 Huawei Technologies Co., Ltd. Image prediction method and related device
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US10194436B2 (en) * 2015-04-07 2019-01-29 Qualcomm Incorporated Wi-Fi frames including frame extensions
US10542294B2 (en) 2016-03-16 2020-01-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
JP6895645B2 (ja) * 2016-03-25 2021-06-30 パナソニックＩｐマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
WO2017192898A1 (en) * 2016-05-05 2017-11-09 Vid Scale, Inc. Control-point based intra direction representation for intra coding
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
WO2018009912A1 (en) * 2016-07-07 2018-01-11 The Regents Of The University Of California Implants using ultrasonic waves for stimulating tissue
US10631002B2 (en) * 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
EP3523980A4 (en) * 2016-10-10 2019-08-14 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR IMPLEMENTING A MOTION COMPENSATION FOR CODING VIDEO DATA
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
US20200158517A1 (en) * 2017-01-19 2020-05-21 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
US10701391B2 (en) * 2017-03-23 2020-06-30 Qualcomm Incorporated Motion vector difference (MVD) prediction
US11212521B2 (en) * 2018-11-07 2021-12-28 Avago Technologies International Sales Pte. Limited Control of memory bandwidth consumption of affine mode in versatile video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104885458A (zh) * 2013-01-04 2015-09-02 高通股份有限公司 用于视图间或层间参考图片的位流约束和运动向量限制
US20140205013A1 (en) * 2013-01-23 2014-07-24 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus
US20160227218A1 (en) * 2015-01-29 2016-08-04 Ecole De Technologie Superieure Methods and systems for determining motion vectors in a motion estimation process of a video encoder

Also Published As

Publication number Publication date
US20210160527A1 (en) 2021-05-27
WO2019192491A1 (en) 2019-10-10
EP3766247A4 (en) 2022-01-19
US11956462B2 (en) 2024-04-09
CN111937391B (zh) 2024-03-29
CN111937391A (zh) 2020-11-13
US20220094966A1 (en) 2022-03-24
EP3766247A1 (en) 2021-01-20
US11381834B2 (en) 2022-07-05
TW202005392A (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
TWI700922B (zh) 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
KR102344430B1 (ko) 다중 참조 예측을 위한 움직임 벡터 개선
TWI720532B (zh) 在視訊編解碼系統中視訊處理的方法以及裝置
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
WO2017148345A1 (en) Method and apparatus of video coding with affine motion compensation
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
WO2018127188A1 (en) Multi-hypotheses merge mode
US8824558B2 (en) Method and apparatus of spatial motion vector prediction
TW201902222A (zh) 用於視訊編解碼之運動向量限制方法和裝置
KR20210107897A (ko) 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
TWI702828B (zh) 在視訊編碼系統中生成平均候選的方法和裝置
CN108696754B (zh) 运动向量预测的方法和装置
CN112840645A (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
TW202029773A (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
US11785242B2 (en) Video processing methods and apparatuses of determining motion vectors for storage in video coding systems
TW202329694A (zh) 視訊編解碼方法及裝置
WO2024016844A1 (en) Method and apparatus using affine motion estimation with control-point motion vector refinement
TWI830334B (zh) 視頻編解碼系統中低延遲模板匹配的方法和裝置
WO2024027784A1 (en) Method and apparatus of subblock-based temporal motion vector prediction with reordering and refinement in video coding
WO2024078331A1 (en) Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding
CN112400319B (zh) 一种视频编码/解码方法及装置
TW202349962A (zh) 使用具有運動向量差的合併模式的視訊編解碼方法和裝置