TWI737055B - 視訊編碼系統中用於決定儲存用運動向量的視訊處理方法和裝置 - Google Patents

視訊編碼系統中用於決定儲存用運動向量的視訊處理方法和裝置 Download PDF

Info

Publication number
TWI737055B
TWI737055B TW108143594A TW108143594A TWI737055B TW I737055 B TWI737055 B TW I737055B TW 108143594 A TW108143594 A TW 108143594A TW 108143594 A TW108143594 A TW 108143594A TW I737055 B TWI737055 B TW I737055B
Authority
TW
Taiwan
Prior art keywords
motion vector
block
sub
grid
current block
Prior art date
Application number
TW108143594A
Other languages
English (en)
Other versions
TW202038625A (zh
Inventor
蕭裕霖
陳慶曄
莊子德
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202038625A publication Critical patent/TW202038625A/zh
Application granted granted Critical
Publication of TWI737055B publication Critical patent/TWI737055B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用於決定編解碼一當前塊的視訊處理方法和裝置，包括：接收一當前塊的輸入資料；分割當前塊為數個子塊；推導用於數個子塊的運動信息；使用運動信息對於數個子塊進行運動補償來推導出一最終預測子；對於當前塊的每一格柵推導與儲存一代表性運動向量；使用最終預測子來編碼或解碼當前塊。如果數個子塊的運動向量是來自於不同列表時，一權重區域中的格柵的代表性運動向量是藉由結合數個子塊的運動向量來決定。如果數個子塊的運動向量是來自於一相同列表時，權重區域中的格柵的代表性運動向量是決定為數個子塊的運動向量中之一。

Description

視訊編碼系統中用於決定儲存用運動向量的視訊處理方法和裝置
本發明關於在視訊編碼與解碼系統中的視訊處理方法和裝置。尤其，本發明關於儲存以運動補償編解碼塊的運動向量推導。
高效率視訊編碼（High Efficiency Video Coding，HEVC）的標準，是由來自國際電信聯盟電信標準化部門研究組（ITU-T Study Group）的視訊編碼專家的視訊編碼聯合協作小組（Joint Collaborative Team on Video Coding，JCT-VC）所開發的最新視訊編解碼標準。HEVC標準改進其之前標準H.264/AVC的視訊壓縮效果，以達到更高畫面解析度、更高幀速率、與更好視訊品質的要求。HEVC標準依賴一基於塊的編解碼結構，其將每一視訊切片（slice）分割為複數個方型的編解碼樹單元（Coding Tree Unit，CTU），其中一CTU是HEVC中用於視訊壓縮的基本單元。一光柵掃描順序（raster scanning order）被用來編碼或解碼每一切片中的CTU。每一CTU可以包含一編解碼單元（Coding Unit，CU），或依據一四叉樹分割結構來遞迴式地分割為四個較小CU，直到達到一事先定義的最小CU尺寸。預測的決定是在CU層作出的，其中每一CU是使用幀間預測或是幀內預測來加以編解碼。一旦CU層級化樹的分割完成時，依據用於預測的一PU分割類型來將每一CU作進一步分割成一或多個預測單元（Prediction Unit，PU）。PU作為用於共用預測信息的一基本代表塊，相同的預測流程被應用於PU中的所有像素。預測信息以PU為基礎傳送給解碼器。在幀間畫面預測的運動估計會於一或二個參考畫面中識別出一個（單向預測）或二個（雙向預測）用於一當前塊的最佳參考塊，並且在幀間畫面預測的運動補償會依據一或二個運動向量（MV）來定位出此一或二個最佳參考塊。在當前塊與一相對應預測子之間的差異被稱為預測殘差。當使用單向預測時，相對應預測子是最佳參考塊。當使用雙向預測時，二個參考塊會被結合以形成該預測子。
跳過與合併模式  跳過與合併模式被提出並採用於HEVC標準中，以藉由從數個空間相鄰塊之一或從一時間並位塊來繼承運動信息來增進運動信息的編解碼效率。為了以跳過或合併模式編解碼一PU，不是發信運動信息，而僅發信代表自一候選組所選擇的一最終候選的一索引。由以跳過或合併模式所編解碼的PU所再使用的運動信息包括一MV、一幀間預測指示子（indicator）、以及所選擇最終候選的一參考畫面索引。要注意的是，如果所選擇最終候選是一時間運動候選，則參考畫面索引總是被設定為零。當PU是以合併模式來編解碼時，預測殘差會被編解碼；然而，跳過模式進一步跳過預測殘差的發信，這是由於以跳過模式編解碼的一PU的殘差資料被強制為零。
一合併候選組是由空間相鄰塊與一並位塊所推導的四個空間運動候選與一時間運動候選所組成。如第1圖所示，第一合併候選是一左方預測子A1 112，第二合併候選是一上方預測子B1 114，第三合併候選是一右上方預測子B0 113，以及第四合併候選是一左下方預測子A0 111。一左上方預測子B2 115被納入合併候選組中以取代一不可用的空間預測子。一第五合併候選是從TBR 121與TCTR 122中所選擇的一第一可用的時間預測子。基於例如通過一率失真最佳化（Rate-Distortion Optimization，又稱RDO）決策的運動向量補償，編碼器從候選組中選擇一最終候選來用於以跳過或合併模式所編解碼的每一個PU，而且代表所選擇最終候選的一索引會被發信到解碼器。依據視訊位元流中所傳輸的索引，解碼器從候選組中選擇相同的最終候選。
子塊運動補償被應用在許多最新發展的編解碼工具，例如子塊時間運動向量預測（Subblock Temporal Motion Vector Prediction，又稱Subblock TMVP或SbTMVP）、空間-時間運動向量預測（STMVP）、基於形態的MV推導（PMVD）、與仿射運動補償預測。一CU或一PU被分割為二或多個子塊，而且這些子塊可以有不同參考畫面與不同MV。在藉由一視訊編碼器或視訊解碼器所進行的運動補償流程中，對於每一塊而言，一或多個參考塊必須依據運動信息被取得。被編解碼塊的運動信息被儲存於一緩衝器中，因此運動信息可以被空間或時間相鄰塊所參考。當一子塊運動預測編解碼工具被使用時，在一當前塊中與每一子塊相關聯的運動向量可以是不同的，而且並非所有運動向量都被儲存作為後續參考。因此，當一當前塊被分割為二或多個子塊時，有需要發展方法來推導代表性的運動向量以儲存作為後續參考。
在視訊處理方法的一示例性實施例中，一視訊編解碼系統：接收一當前畫面中與一當前塊相關聯的輸入視訊資料；分割當前塊為一第一子塊與一第二子塊；推導用於第一子塊的一第一運動向量與用於第二子塊的一第二運動向量；使用第一與第二運動向量於當前塊中對於第一與第二子塊進行運動補償，來推導用於當前塊的一最終預測子；對於當前塊的每一格柵推導與儲存一代表性運動向量以用於後續參考；以及依據當前塊的最終預測子來編碼或解碼當前塊。當前塊中的每一格柵是在一非-權重區域或是一權重區域。在一例子中，每一格柵的一尺寸大小等於4x4亮度樣本。權重區域包括位於當前塊中的第一子塊與第二子塊之間的格柵，而且非-權重區域包括當前塊中的剩餘格柵。例如，權重區域中每一格柵包括在第一子塊之中的一或多個樣本以及在第二子塊之中的一或多個樣本，而非-權重區域中每一格柵僅包括在第一與第二子塊其中之一的樣本。
推導用於當前塊中每一格柵的一代表性MV以用來儲存的一流程包括：對於第一子塊之內非-權重區域中的格柵設定第一MV為代表性MV，以及對於第二子塊之內非-權重區域中的格柵設定第二MV為代表性MV。對於權重區域中的格柵，本視訊編碼或解碼系統決定第一MV與第二MV是否來自於不同列表或是來自於一相同列表。如果第一MV與第二MV是來自於不同列表時，結合第一MV與第二MV以設定一MV，來作為權重區域中的格柵的代表性MV。如果第一MV與第二MV是來自於一相同列表時，設定第一MV與第二MV其中之一，來作為權重區域中的格柵的代表性MV。而且依據一實施例，代表性MV可以是一事先定義的MV；或是依據另一實施例，代表性MV可以適應性地加以選擇。
第一MV與第二MV可以是推導自一個相同的候選列表或是二個不同的候選列表。在一些實施例中，第一MV與第二MV是單向預測MV，而結合第一MV與第二MV的MV是結合不同列表中二個單向預測MV的一雙向預測MV。在一實施例中，第一子塊與第二子塊是在當前塊中的三角預測單元，而且當前塊是由一對角線方向或一逆對角線方向分割的一CU。在一些實施例中，塊是藉由一種事先定義的分割類型來分割為第一與第二子塊。在另一實施例中，當前塊被分割為多於二個子塊。
在一實施例中，當第一與第二MV二者皆來自列表0或是二者皆來自列表1時，第二MV直接被設定為權重區域中的格柵的代表性MV。在一些其他實施例中，當第一與第二MV二者皆來自列表0或是列表1時，在權重區域中的格柵的代表性MV是依據下列之一或其中一組合，從第一MV與第二MV中來適應性地加以選擇：第一與該第二MV的參考索引，第一與該第二MV的參考畫面，當前塊的一分割方向，當前塊的一塊高度，當前塊的一塊寬度，以及當前塊的一面積區域。在一實施例中，具有一較小參考索引的MV被選擇作為代表性MV；而在另一實施例中，具有一較小畫面順序計數差異的的MV被選擇作為代表性MV。
依據一些實施例，當前塊是以跳過或合併模式加以編碼或解碼，而且當前塊的一尺寸大小大於或等於8x8亮度樣本。
在一些實施例中，推導用於當前塊中每一格柵的一代表性MV以用來儲存的流程包括：對於第一子塊之內非-權重區域中的格柵設定第一MV為代表性MV，並且對於第二子塊之內非-權重區域中的格柵設定第二MV為代表性MV；以及當第一MV與第二MV是來自於不同列表時，設定一雙向預測MV以作為權重區域中的格柵的代表性MV，或是當第一MV與第二MV是來自於一相同列表時，設定一單向預測MV以作為權重區域中的格柵的代表性MV。在一實施例中，設定為權重區域中的代表性運動向量的雙向預測MV，是從結合第一MV與第二MV所推導出來；而且設定為權重區域中的代表性MV的單向預測MV是第一MV或是第二MV。例如，當二個MV皆來自列表0或是列表1時，單向預測直接被設定為第二MV。
本揭示的一些部分進一步提供在一視訊編解碼系統中進行視訊處理的一裝置。此裝置包括一或多個電子電路配置用來：接收一當前畫面中一當前塊的輸入視訊資料；分割當前塊為一第一子塊與一第二子塊；推導用於第一子塊的一第一MV與用於該第二子塊的一第二MV；使用第一與第二MV於當前塊中對於第一與第二子塊進行運動補償，來推導用於當前塊的一最終預測子；對於當前塊的每一格柵推導與儲存一代表性MV以用於後續參考；以及依據當前塊的最終預測子來編碼或解碼當前塊。對於第一子塊之內一非-權重區域中的格柵設定第一MV為代表性MV，以及對於第二子塊之內一非-權重區域中的格柵設定第二MV為代表性MV。本裝置進一步決定第一MV與第二MV是否來自於不同列表或是一相同列表；以及當第一MV與第二MV是來自於不同列表時，將結合第一與第二MV的一MV設定作為權重區域中的格柵的代表性MV。當第一MV與第二MV是來自於一相同列表時，將第一MV與第二MV其中之一設定為權重區域中的格柵的代表性MV。
本揭示的一些部分進一步提供一種用來儲存程式指令的非暫時性電腦可讀取媒介，所述程式指令使得一裝置的一處理電路進行一視訊處理的方法來編碼或解碼一當前塊。一當前畫面中與一當前塊相關聯的輸入視訊資料被接收以進行編碼或解碼；當前塊被分割為複數個子塊；依據來源MV對於子塊進行運動補償，來推導出一最終預測子；對於當前塊的每一格柵推導與儲存一代表性MV；以及使用最終預測子來編碼或解碼當前塊。用於一非-權重區域中的格柵的代表性MV是基於格柵位置而被設定為數個來源MV中之一。如果這些來源MV是來自於不同列表時，用於一權重區域中的格柵的代表性MV被設定為結合這些來源MV的一MV；如果來源MV是來自於一相同列表時，用於該權重區域中的格柵的代表性MV被設定為這些來源MV中之一。通過閱讀以下具體實施例的描述，本發明的其他方面和特徵對於本領域通常知識者將變得明顯易懂。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。
三角預測單元模式  一三角預測單元模式是一種藉由一三角分割，將一當前塊分割為二個子塊的子塊運動補償編解碼工具。第2A與2B圖繪示三角預測單元模式的二個例子，沿著一對角線或逆對角線方向將每一當前編解碼單元（CU）分割為二個三角預測單元。藉由從一左上角落到一右下角落的分割，第2A圖中的當前CU被分割為一第一三角預測單元PU1 與一第二三角預測單元PU2 ；而且藉由從一右上角落到一左下角落的分割，第2B圖中的當前CU被分割為一第一三角預測單元PU1 與一第二三角預測單元PU2 。如果CU是從一左上角落到一右下角落被分割，第一三角預測單元包含一右上角落；而且如果CU是從一右上角落到一左下角落被分割，第一三角預測單元包含一左上角落。在當前CU中的每一三角預測單元是使用其自己的單向預測運動向量以及從一單向預測候選列表所推導出的參考幀索引來被幀間預測。在預測當前CU中的二個三角預測單元之後，會進行一適應性權重處理流程來產生一最終預測子以用於在對角線邊緣處的邊界樣本。在預測流程之後，在視訊編碼器中會應用轉換與量化流程於當前CU。依據一些實施例，三角預測單元模式只被應用於跳過與合併模式。
每一三角預測單元從由五個單向預測運動向量候選所組成的一單向預測候選列表中來推導運動信息。用於一當前CU的一三角預測單元的單向預測候選列表是從第3圖所示的當前CU的七個相鄰塊而推導出來。七個相鄰塊包括第3圖中標示1到5的五個空間相鄰塊，以及第3圖中標示6到7的二個時間並位塊。七個相鄰塊的運動向量被依據下列順序收集與放入單向預測候選列表中：單向預測運動向量、雙向預測運動向量的列表0運動向量、雙向預測運動向量的列表1運動向量、以及雙向預測運動向量的列表0與列表1運動向量的平均運動向量。如果候選的數目小於5，一零運動向量會被加入於單向預測候選列表中。
用於三角預測單元模式的適應性權重流程  在依據運動信息取得當前CU中每一三角預測單元的一預測子之後，一適應性權重流程被應用在二個三角預測單元之間對角線邊緣處的邊界樣本，以推導出用於整個CU的一最終預測子。以下列出二群權重因子。在一第一權重因子群中，權重因子{7/8, 6/8, 4/8, 2/8, 1/8} 與 {7/8, 4/8, 1/8} 分別被用於亮度（luma）樣本與色度（chroma）樣本。在一第二權重因子群中，權重因子{7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8}與{6/8, 4/8, 2/8}分別被用於亮度樣本與色度樣本。基於二個三角預測單元的運動信息的一比較結果，其中一個權重因子群會被選擇。例如，當二個三角預測單元的參考畫面不同或一運動向量差異大於16個像素時，第二權重因子群會被使用；否則，第一權重因子群會被使用。第4A圖繪示一例子將一適應性權重流程應用在用於亮度樣本的二個三角預測單元之間對角線邊緣處的邊界樣本。第4B圖繪示一例子將一適應性權重流程應用在用於色度樣本的二個三角預測單元之間對角線邊緣處的邊界樣本。第4A與4B圖所顯示的樣本展示在適應性權重流程中使用第一權重因子群。用於每一邊界樣本的最終預測子是推導自第一三角預測單元的一第一預測子P1 以及第二三角預測單元的一第二預測子P2 的一權重加總。用於標示為1的樣本的第一與第二預測子P1 與P2 的相對應權重因子分別為1/8 與 7/8，用於標示為2的樣本的P1 與P2 的相對應權重因子分別為2/8 與 6/8。用於標示為1的每一樣本的最終預測子是1/8* P1 + 7/8* P2 ，而且用於標示為2的每一樣本的最終預測子是2/8* P1 + 6/8* P2 。標示為4的樣本位於對角線邊緣的中間，因此用於P1 與P2 的權重因子二者皆為4/8，相當於將相同權重應用於二個預測子P1 與P2 。因此標示為4的每一樣本的最終預測子是4/8* P1 + 4/8* P2 。相似地，標示為6的樣本的權重因子為6/8 與 2/8而且標示為7的樣本的權重因子為7/8 與 1/8，因此標示為6的每一樣本的最終預測子是6/8* P1 + 2/8* P2 而且標示為7的每一樣本的最終預測子是7/8* P1 + 1/8* P2 。
於三角預測單元模式的權重區域的代表性運動信息推導  在視訊編碼器或解碼器對於當前CU進行三角預測單元模式的預測流程之後，對於每一4x4格柵，當前CU中三角預測單元的代表性運動信息被儲存以被其他塊來參考。在以下描述中，代表性運動信息可以被代表性運動向量所取代，然而「代表性運動向量」一詞：當代表性運動向量是一單向預測運動向量時，包括一組的一運動向量、一參考幀索引、與一參考方向；當代表性運動向量是一雙向預測運動向量時，包括二組的運動向量、參考幀索引、與參考方向。第5A與5B圖繪示用於以三角預測單元模式所編解碼的二個16x16當前塊的運動向量儲存的例子；第5A圖中的16x16當前塊被一對角線方向所分割，而第5B圖中的16x16當前塊被一逆對角線方向所分割。用於每一16x16當前CU中一第一三角預測單元的一第一預測子P1 是從一單向預測運動向量MV1所推導出來，而且用於每一16x16當前CU中一第二三角預測單元的一第二預測子P2 是從一單向預測運動向量MV2所推導出來。第一預測子P1 與第二預測子P2 也是當前塊中非-權重區域的最終預測子，而且藉由適應性權重平均，這二個預測子產生當前塊中權重區域的最終預測子。運動向量MV1被儲存以作為第一三角預測單元中非-權重區域的代表性運動向量，而且運動向量MV2被儲存以作為第二三角預測單元中非-權重區域的代表性運動向量。一雙向預測運動向量被儲存以作為二個三角預測單元之間權重區域的代表性運動向量。換言之，取決於當前CU中4x4格柵所在位置，一單向預測運動向量或雙向預測運動向量被儲存以作為4x4格柵的一代表性運動向量。如第5A與5B圖所示，一單向預測運動向量（MV1或MV2）被儲存以用於位於非-權重區域的每一個4x4格柵，而且一雙向預測運動向量被儲存以用於位於權重區域的每一個4x4格柵。雙向預測運動向量是藉由結合運動向量MV1與MV2所推導出。
當運動向量MV1與MV2是來自於不同參考畫面列表的情況時（即不同參考方向），例如，一個MV是來自於列表0（即指向列表0的一參考畫面）而且另一個MV是來自於列表1（即指向列表1的一參考畫面），這二個運動向量MV1與MV2則逕為結合以形成儲存用的一雙向預測運動向量。當MV1與MV2二者都是來自於一相同列表的情況時，例如，MV1與MV2二者都是來自於列表0方向，MV2的一參考畫面首先被列表1參考畫面列表來檢查，以及如果MV2的該參考畫面與列表1參考畫面列表中的一畫面相同時，MV2被縮放到列表1的該畫面，而且藉由結合列表0中的MV1與被縮放到列表1的MV2來形成一雙向預測運動向量。相似地，如果MV1與MV2二者都是來自於列表1方向時，MV2的參考畫面被列表0參考畫面列表來檢查，以及如果MV2的該參考畫面與列表0參考畫面列表中的一畫面相同時，MV2被縮放到列表0的該畫面，而且藉由結合列表1中的MV1與被縮放到列表0的MV2來形成一雙向預測運動向量。如果MV2的參考畫面與其他參考畫面列表中的任何畫面都不匹配，MV1的一參考畫面會被檢查。例如，如果MV1與MV2二者都是來自於列表0方向而且MV1的參考畫面被列表1參考畫面列表來檢查，以及如果MV1的該參考畫面與列表1參考畫面列表中的一畫面相同時，MV1被縮放到列表1參考畫面列表中的該畫面。被縮放的MV1與MV2被結合以形成儲存用的一雙向預測運動向量。如果MV1與MV2二者的參考畫面在其他參考畫面列表中無法找到一匹配的參考畫面，僅將第一單向預測運動向量MV1儲存以用於權重區域，而不是儲存一雙向預測運動向量。
第6A、6B、6C、與6D圖繪示四個不同狀況下推導一代表性運動向量來用於以三角預測單元模式所編解碼的一當前塊的權重區域中每一個4x4格柵。用於每一個4x4格柵的代表性運動向量被儲存以用於後續參考。在第6A到6D圖中，一當前畫面中的一當前塊是以三角預測單元模式所編解碼，其中該當前畫面具有一畫面順序計數（Picture Order Count，或稱POC）等於4。一列表0參考畫面列表包含二個參考畫面：POC 0與POC 8，以及一列表1參考畫面列表包含二個參考畫面：POC 8與POC 16。在第6A圖中，一第一三角預測單元的非-權重區域是藉由指向在列表0中具有一索引0（POC 0）的一參考畫面的一第一來源運動向量MV1來加以預測，而且一第二三角預測單元的非-權重區域是藉由指向在列表1中具有一索引0（POC 8）的一參考畫面的一第二來源運動向量MV2來加以預測。由於MV1與MV2是在不同列表，用於權重區域中每一個4x4格柵的一代表性MV是從MV1與MV2所結合的一雙向預測MV。在第6B圖中，一第一三角預測單元的非-權重區域是藉由指向在列表0中具有一索引0（POC 0）的一參考畫面的MV1來加以預測，而且一第二三角預測單元的非-權重區域是藉由指向在列表0中具有一索引1（POC 8）的一參考畫面的MV2來加以預測。在此案例中，雖然二個MV是來自列表0，被MV2所指向的參考畫面POC 8也是包含於列表1參考畫面列表中，因此MV2被縮放到列表1中具有索引0的參考畫面。因此用於權重區域的一代表性MV是從列表0的MV1與列表1縮放後的MV2所結合的一雙向預測MV。在第6C圖中，一第一三角預測單元的非-權重區域是藉由指向在列表1中具有一索引0（POC 8）的一參考畫面的MV1來加以預測，而且一第二三角預測單元的非-權重區域是藉由指向在列表1中具有一索引1（POC 16）的一參考畫面的MV2來加以預測。在此案例中，二個MV都是來自列表1，但是MV1的參考畫面也是包含於列表0參考畫面列表中，因此MV1被縮放到列表0中具有索引1的參考畫面。用於權重區域的一代表性MV是從列表0縮放後的MV1與列表1的MV2所結合的一雙向預測MV。在第6D圖中，一第一三角預測單元的非-權重區域是藉由指向在列表1中具有一索引1（POC 16）的一參考畫面的MV1來加以預測，而且一第二三角預測單元的非-權重區域是藉由指向在列表1中具有索引1的一相同參考畫面的MV2來加以預測。這二個MV是來自一相同列表，而且它們的參考畫面沒有一個是包含於列表0參考畫面列表中，因此用於權重區域的一代表性MV是一單向預測運動向量MV1。
用於三角預測單元模式的約束與語法  三角預測單元模式只應用於以跳過或合併模式加以編解碼的CU。應用三角預測單元模式的塊尺寸大小不能小於8x8。對於以跳過或合併模式所編解碼的一當前CU而言，一CU水平旗標（CU level flag）被發信來指示出三角預測單元模式是否被應用於當前CU。當應用三角預測單元模式於當前CU時，指示分割當前CU為二個三角預測單元的一方向的一索引以及二個三角預測單元的運動向量會被發信。索引範圍從0到39。一對照表（look-up table）被用來從視訊位元流中所發信的索引來推導分割方向與運動向量。
具有降低複雜度的代表性運動向量推導  對於以子塊運動補償編解碼工具（例如三角預測單元模式或幾何分割）所編解碼的一當前塊中的一權重區域所進行的代表性運動向量推導，可以被簡化來降低編碼器與解碼器的複雜度。權重區域包括位於當前塊中的數個子塊之間的格柵，而剩餘格柵是包括於非-權重區域，例如每一格柵的一尺寸大小為4x4亮度樣本。三角預測單元模式將一當前塊分割為二個三角預測單元，而幾何分割藉由在塊邊界上的二個座標點來分割一當前塊以便更貼近地跟隨著物件的邊界。在以下實施例中，依據三角預測單元模式、幾何分割、或子塊運動補償編解碼工具中的其他分割方法，來將一當前塊分割為一第一子塊與一第二子塊。第一子塊與第二子塊是藉由一第一運動向量MV1與一第二運動向量MV2來加以預測。在一些實施例中，第一與第二運動向量是從一或二個候選列表中所推導出的單向預測運動向量。例如，第一運動向量是從建構來用於第一子塊的一第一候選列表中所推導出來，而且第二運動向量是從建構來用於第二子塊的一第二候選列表中所推導出來。在另一例子中，第一運動向量與第二運動向量都是從一單一候選列表中所推導出來。在二個子塊之間的邊界樣本可以依據該運動向量二個來加以預測。例如，用於邊界樣本的一最終預測子是由推導自第一運動向量的一第一預測子以及推導自第二運動向量的一第二預測子的一權重平均。
在預測當前塊之後，用於當前塊中每一格柵的一代表性運動向量被決定與儲存以用於後續參考。當前塊中的格柵被分為二區域：一權重區域與一非-權重區域。權重區域包括位於當前塊中的二個子塊之間的格柵，而且非-權重區域包括當前塊中的剩餘格柵。例如，權重區域中每一格柵包括在第一子塊以及在第二子塊之中的樣本，而非-權重區域中每一格柵僅包括在第一與第二子塊其中之一的樣本。取決於格柵所在位置，被儲存用於非-權重區域中的格柵的一代表性運動向量是第一運動向量MV1或是第二運動向量MV2。例如，被儲存用於僅包含第一子塊之中樣本的一格柵的代表性運動向量是第一運動向量MV1，而被儲存用於僅包含第二子塊之中樣本的一格柵的代表性運動向量是第二運動向量MV2。在一實施例中，當來源運動向量MV1與MV2二者都是來自於一相同列表或相同方向時，被儲存用於一權重區域的一代表性運動向量被直接設定為來源運動向量MV1與MV2其中之一。在一實施例中，當運動向量MV1與MV2二者都是列表0的單向預測MV或二者都是列表1的單向預測MV時，第二運動向量MV2總是被儲存用於權重區域中的格柵。在另一實施例中，當MV1與MV2都是來自於一相同列表時，第一運動向量MV1總是被儲存用於權重區域中的格柵。第7A、7B、與7C圖依據本發明的一實施例繪示當二個來源運動向量是來自於一相同列表時，用於分割為二個子塊的當前塊的代表性運動向量推導的一些例子。第7A圖中的當前塊是由一對角線方向所分割，並且第7B圖中的當前塊是由一逆對角線方向所分割，而第7C圖中的當前塊是從最左下方格柵的一中間點到當前塊右方邊界的一中間點所分割。在此一實施例中，第二運動向量MV2被指定為代表性運動向量以用於包含該二個子塊的權重區域中的任何格柵。
在先前所描述的實施例中，當前塊被分割為二個子塊；然而，推導用於儲存的代表性運動信息的方法也是適用於分割為多於二子塊的塊中。權重區域可以被定義為包括包含屬於二或多個子塊的樣本的任何格柵。來源MV被推導來預測當前塊中的子塊，依據一實施例，權重區域中格柵的代表性運動信息被事先定義為數個來源MV中之一，而且依據另一實施例，權重區域中格柵的代表性運動信息被適應性地選擇自數個來源MV中。
在本發明的一些實施例中，在一當前塊的非-權重區域中的每一格柵的代表性運動向量總是一單向預測運動向量，並且在一子塊之內的非-權重區域中的格柵的代表性運動向量是用來作為子塊運動補償的運動向量。對於在當前塊的權重區域而言，如果二個來源MV是來自於不同列表時，用於權重區域中的格柵的代表性MV是一雙向預測運動向量，例如，一個來源MV指向在列表0的一參考畫面而且另一個來源MV指向在列表1的一參考畫面。如果所有來源MV都是來自於一相同列表時，用於權重區域中的格柵的代表性運動向量是一單向預測運動向量，例如，所有來源MV都是來自於列表0或來自於列表1。依據一實施例，被儲存用於權重區域的單向預測運動向量是事先定義為來源MV其中之一，例如，此事先定義的單向預測運動向量是用來預測第二子塊的來源MV。在另一實施例中，被儲存用於權重區域的單向預測運動向量是由來源MV中加以適應性決定。
對於分割為二個子塊的一塊而言，來源運動向量MV1與MV2其中之一被選擇用於權重區域中的格柵的一代表性運動向量。依據一些實施例，代表性運動向量是由MV1與MV2中加以適應性地選擇；在一實施例中，具有一較小參考索引的MV被選擇作為代表性MV；在另一實施例中，具有一較小畫面順序計數差異的一參考索引的MV被選擇作為代表性MV。一般而言，當所有來源MV都是來自於相同列表時，被儲存用於一權重區域的代表性運動向量可以依據下列之一或其中一組合由來源MV中加以適應性選擇：當前塊的一分割方向，來源MV的參考索引，來源MV的參考畫面，一CU高度，一CU寬度，以及一CU面積區域。例如，當分割方向是從左上到右下時，第一運動向量MV1被儲存用為權重區域的代表性運動向量；而且當分割方向是從右上到左下時，第二運動向量MV2被儲存用為權重區域的代表性運動向量。在另一例子中，當分割方向是從左上到右下時，MV2被儲存用為權重區域的代表性運動向量；而且當分割方向是從右上到左下時，MV1被儲存用為權重區域的代表性運動向量。
在一實施例中，當二個來源MV都是來自於一相同列表時，儲存在權重區域的代表性運動向量被設定為二個來源MV的一平均MV。例如，此平均MV是藉由將MV1以及縮放到被MV1所指向的一參考畫面的MV2加以平均所計算出，並且此平均MV的一參考索引被設為MV1的參考索引。在另一例子中，此平均MV是藉由將MV2以及縮放到被MV2所指向的一參考畫面的MV1加以平均所計算出，並且此平均MV的一參考索引被設為MV2的參考索引。在又一例子中，此平均MV是藉由將MV1以及MV2直接加以平均而不進行縮放所計算出，並且此平均MV的一參考索引被設為MV1或MV2的參考索引。例如，此平均MV的參考索引被選擇為一較小參考畫面索引或是被選擇為具有一較小畫面順序計數差異的一參考畫面。
包括代表性運動信息推導的編碼或解碼流程的示例性流程圖第8A圖為依據本發明的一實施例，繪示一視訊編碼或解碼系統來處理將藉由一運動補償編解碼工具所編碼或解碼的塊的一流程圖。在步驟S810，視訊編碼或解碼系統接收一當前畫面中與一當前塊相關聯的輸入資料。在編碼器側，此輸入資料相對應於將被編碼入一視訊位元流的像素資料；在解碼器側，此輸入資料相對應於被編碼的資料或將被解碼的預測殘差。在步驟S820，當前塊被分割為一第一子塊與一第二子塊。在步驟S830，視訊編碼或解碼系統推導用於第一子塊的一第一MV與推導用於第二子塊的一第二MV。在一實施例中，第一MV是從建構來用於第一子塊的一候選列表所推導出來，而且第二MV是從建構來用於第二子塊的另一候選列表所推導出來。在另一實施例中，第一與第二MV二者都是從一單一候選列表所推導出來。在步驟S840，藉由使用第一MV與第二MV對於第一與第二子塊進行運動補償，而推導出用於當前塊的一最終預測子。在步驟S850，對於當前塊的每一格柵推導與儲存一代表性MV以用於後續參考。一格柵尺寸大小的一例子是4x4亮度樣本，例如，在32x32亮度塊中有64個4x4格柵。在步驟S860，視訊編碼或解碼系統依據當前塊的最終預測子來編碼或解碼當前塊。
推導一代表性MV以用於第8A圖步驟S850的當前塊的每一當前格柵的詳細流程則繪示於第8B圖的流程圖。在步驟S851，視訊編碼或解碼系統檢查當前塊中的一當前格柵是否位於一權重區域之內。權重區域包括位於當前塊中的第一子塊與第二子塊之間的格柵，而且一非-權重區域包括當前塊中的剩餘格柵。例如，權重區域中每一格柵包括在第一子塊之中的一或多個樣本以及在第二子塊之中的一或多個樣本，而非-權重區域中每一格柵僅包括在第一與第二子塊其中之一的樣本。在步驟S852，如果當前格柵是位於權重區域之內，視訊編碼或解碼系統檢查第一與第二MV是否來自於不同列表；而且在步驟S853，如果這二MV是來自於不同列表時，將結合第一MV與第二MV的一MV設定為當前格柵的代表性MV。在步驟S854，如果第一MV與第二MV是來自於一相同列表時，將第一MV與第二MV其中之一設定為當前格柵的代表性MV。在步驟S855，如果當前格柵是位於一非-權重區域之內，編碼或解碼系統檢查當前格柵是否位於第一子塊之內；而且在步驟S856，如果當前格柵是在第一子塊之內，將第一MV設定為當前格柵的代表性MV。在步驟S857，如果當前格柵是在第二子塊之內，將第二MV設定為當前格柵的代表性MV。
視訊編碼器與解碼器的實作  前述所提出的視訊處理方法可以在視訊編碼器或解碼器上來實施實作，例如： 所提出的視訊處理方法可以在編碼器的幀間預測模組與/或解碼器的幀間預測模組上來實施實作。備選地，任何所提出的方法可以在編碼器的幀間預測模組與/或解碼器的幀間預測模組上所耦合的一電路來實施實作，以提供幀間預測模組所需的信息。第9圖示出了實作本發明多種實施例的視訊編碼器900的一示例性系統方塊圖。幀內預測模組910基於一當前畫面的重構後視訊資料來提供幀內預測子。幀間預測模組912實施運動估計（motion estimation, ME）和運動補償（motion compensation, MC），以基於來自其他一或多個畫面的視訊資料而提供幀間預測子。一當前塊被分割為二或多數個子塊，而且幀間預測模組912決定用於每一子塊的運動信息以及使用決定後的運動信息來推導用於當前塊的一最終預測子。對於當前塊的每一格柵推導出代表性的運動信息並且儲存起來作為後續參考。每一格柵是在一非-權重區域或是一權重區域，而且在非-權重區域中的格柵的代表性運動信息會依據其位置加以設定。例如，將一第一子塊的一第一MV設定為該第一子塊之內的非-權重區域中的格柵的代表性MV，而且將一第二子塊的一第二MV設定為該第二子塊之內的非-權重區域中的格柵的代表性MV。對於權重區域中的格柵而言，如果子塊的運動信息是來自於不同列表時，將結合的運動信息設定為該代表性運動信息；或是如果運動信息是來自於一相同列表時，將子塊的運動信息中的一個直接設定為該代表性MV。例如，如果子塊的來源MV是來自於不同列表時，一雙向預測MV被設定為用於該權重區域的一代表性MV；而且如果子塊的來源MV是來自於一相同列表時，一單向預測MV被設定為用於該權重區域的一代表性MV。幀內預測模組910或幀間預測模組912將所選擇的預測子提供給加法模組916以形成預測誤差，也稱為預測殘差。當前塊的預測殘差藉由轉換模組(T)918進一步處理，接著是量化模組(Q)920處理。然後，轉換後和量化後的殘差訊號由熵編碼器932編碼以形成一視訊位元流。視訊位元流然後與邊信息(side information)一起打包。然後，當前塊的轉換後和量化後的殘差訊號由逆量化模組(IQ)922和逆轉換模組(IT)924處理以還原預測殘差。如第9圖所示，藉由在重構模組(REC)926處加回所選擇的預測子來還原預測殘差，以產生重構後的視訊資料。重構後的視訊資料可以被儲存在參考畫面緩衝器(Ref.Pict.Buffer)930中，並用於其它畫面的預測。從REC 926還原的重構後的視訊資料可能由於編碼處理而受到各種損害，因此，在儲存於參考畫面緩衝器930之前，內環路處理濾波器(In-Loop Processing Filter)928被應用於重構後的視頻資料，以進一步提高畫面品質。
用於解碼第9圖的視訊編碼器900所產生視訊位元流的一相應視訊解碼器1000如第10圖所示。視訊位元流是視訊解碼器1000的輸入，並由熵解碼器1010加以解碼以剖析與還原變換後和量化後的殘差訊號和其他系統信息。除了解碼器1000僅需要幀間預測模組1014中的運動補償預測之外，解碼器1000的解碼處理流程類似於編碼器900處的重構環路。每個塊由幀內預測模組1012或幀間預測模組1014來加以解碼。開關模組1016依據解碼後的模式信息，自幀內預測模組1012選擇一幀內預測子或自幀間預測模組1014選擇一幀間預測子。幀間預測模組1014基於子塊MV對於一當前塊進行一運動補償編解碼工具。依據一些實施例，在當前塊的一權重區域中的每一格柵的一代表性MV，是依據數個子塊的MV是在不同列表還是在相同列表中來決定。例如，如果數個子塊的MV是在不同列表時，在權重區域中的每一格柵的代表性MV是結合這數個子塊MV的一MV；如果數個子塊的MV是在一相同列表時，在權重區域中的每一格柵的代表性MV是這數個子塊MV中之一。與每個塊相關聯的已轉換和已量化的殘差訊號，可藉由逆量化（Inverse Quantization, IQ）模組1020和逆轉換（Inverse Transformation, IT）模組1022來加以還原。藉由在重構模組REC1018中加回預測子來重構還原後的殘差訊號，以產生重構後的視訊。重構後的視訊由環內處理濾波器（濾波器）1024進一步處理以產生最終解碼後的視訊。如果當前解碼後的畫面是用於解碼順序中後續畫面的一參考畫面，則當前解碼後畫面的重構後視訊也被儲存在參考畫面緩衝器1026中。
第9圖和第10圖中的視訊編碼器900和視訊解碼器1000的各種組件可以由硬體組件，一個或複數個處理器被配置為執行存儲在存儲器中的程式指令，或硬體和處理器的組合來實現。例如，處理器執行程式指令以控制與一當前畫面中的一當前塊相關聯的輸入資料的接收。處理器配備有單個或複數個處理核心。在一些示例中，處理器執行程式指令以在編碼器900和解碼器1000中的一些組件中執行功能，並且與處理器電耦合的存儲器用於存儲程式指令，對應於塊的已重構影像的信息和/或編碼或解碼過程中的中間資料。在一些實施例中的存儲器包括非暫時性計算機可讀介質，諸如半導體或固態存儲器，隨機存取存儲器（RAM），只讀存儲器（ROM），硬碟，光碟或其他合適的存儲介質。存儲器還可以是上面列出的兩個或更複數個非暫時性計算機可讀介質的組合。如第9圖和第10圖所示，編碼器900和解碼器1000可以在相同的電子設備中實現，因此如果在相同的電子設備中實現，則編碼器900和解碼器1000的各種功能組件可以被共用或重用。
用於編碼或解碼的視訊處理方法的實施例，可以在集成於視訊壓縮晶片的電路來實作，或集成於視訊壓縮軟體中執行以上描述的處理的程式代碼來實作。例如，決定用於一當前塊中每一格柵的一代表性運動向量，可以實現於一計算機處理器上執行的程式代碼、數位訊號處理器（DSP）、微處理器、或現場可程式閘陣列（field programmable gate array, FPGA）上。可以透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼，來將這些處理器配置成執行依據本發明的特定任務。
在本說明書通篇所提及的「實施例」、「一些實施例」或類似語言，意味著結合實施例描述的特定特性、結構或特徵可以包括在本發明的至少一個實施例中。因此，貫穿本說明書的各個地方的用語「在一個實施例中」或「在一些實施例中」的出現不一定全部指相同的實施例，這些實施例可以單獨地或結合一個或複數個其他實施例來實現。此外，所描述的特性、結構或特徵可以以任何合適的方式組合在一個或複數個實施例中。然而，本領域通常知識者將認識到，在沒有一個或複數個具體細節，或其他方法、組件等的情況下，仍可以實施本發明。在其他情況下，對於已知的結構或操作則並未示出或詳細描述，以避免模糊本發明的各個重點。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他具體形式實施。所描述的例子僅在所有方面被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是前面的描述來指示。屬於申請專利範圍的等同物的含義和範圍內的所有變化將被包括在其範圍內。
111:左下方預測子A0 112:左方預測子A1 114:上方預測子B1 113:右上方預測子B0 115:左上方預測子B2 121:TBR 122:TCTR S810-S860:步驟 S851-S857:步驟 900:視訊編碼器 910:幀內預測模組 912:幀間預測模組 916:加法模組 918:轉換模組（T） 920:量化模組（Q） 922:逆量化模組（IQ） 924:逆轉換模組（IT） 926:重構模組（REC） 928:濾波器 930:參考畫面緩衝器 932:熵編碼器 1000:視訊解碼器 1010:熵解碼器 1012:幀內預測模組 1014:幀間預測模組 1016:開關模組 1018:重構模組（REC） 1020:逆量化模組（IQ） 1022:逆轉換模組（IT） 1024:濾波器 1026:參考畫面緩衝器
在本揭示被提出當例子的各種實施例將會參照下列圖式被更詳細地解說，其中相似的數字用來參照相似的元件，而且其中： 第1圖繪示空間預測子與時間預測子的位置，以用於建構HEVC標準中所定義的跳過或合併模式的一候選組。 第2A與2B圖依據一三角預測單元模式繪示分割一塊為二子塊的二個例子。 第3圖繪示用於建構一單向預測候選列表的相鄰塊位置的一例子。 第4A圖繪示一例子將一第一權重因子群應用在以一三角預測單元模式所編解碼的一亮度塊的二個子塊之間的對角線邊緣。 第4B圖繪示一例子將一第一權重因子群應用在以一三角預測單元模式所編解碼的一色度塊的二個子塊之間的對角線邊緣。 第5A與5B圖繪示運動向量儲存的一例子，用於分別由一對角線方向與一逆對角線方向所分割的三角預測單元所編解碼的一塊。 第6A到6D圖顯示在四個不同狀況下推導一代表性運動向量的例子。 第7A到7C圖依據本發明的一實施例繪示當二個來源運動向量是來自於一相同列表時，藉由三種不同分割類型所分割的塊的運動向量儲存的例子。 第8A圖為依據本發明的一實施例的一流程圖，其繪示藉由一視訊編碼或解碼系統來處理一當前塊的一例子。 第8B圖為依據本發明的一實施例的一流程圖，其繪示推導一代表性運動向量以用於一當前塊的一當前格柵的例子。 第9圖為根據本發明的實施例繪示一示例性的系統方塊圖，以用於體現視訊處理方法的一視訊編碼系統。 第10圖為根據本發明實施例繪示一示例性的系統方塊圖，以用於體現視訊處理方法的一視訊解碼系統。
S810~S860:步驟

Claims (17)

  1. 一種在一視訊編解碼系統中處理視訊資料的方法，包括： 接收一當前畫面中與一當前塊相關聯的輸入資料； 分割該當前塊為一第一子塊與一第二子塊； 推導用於該第一子塊的一第一運動向量與用於該第二子塊的一第二運動向量； 使用該第一與該第二運動向量於該當前塊中對該第一與該第二子塊進行運動補償，來推導用於該當前塊的一最終預測子； 對於該當前塊的每一格柵推導與儲存一代表性運動向量以用於後續參考，其中每一格柵是在一非-權重區域或是一權重區域，其中推導該代表性運動向量包括： 對於該第一子塊之內該非-權重區域中的格柵，設定該第一運動向量為該代表性運動向量，以及對於該第二子塊之內該非-權重區域中的格柵，設定該第二運動向量為該代表性運動向量； 決定該第一運動向量與該第二運動向量是否來自於不同列表；以及 當該第一運動向量與該第二運動向量是來自於不同列表時，將結合該第一運動向量與該第二運動向量的一運動向量設定為該權重區域中的格柵的該代表性運動向量；或是當該第一運動向量與該第二運動向量是來自於一相同列表時，設定該第一運動向量與該第二運動向量中之一，以作為該權重區域中的格柵的該代表性運動向量；以及 依據該當前塊的該最終預測子來編碼或解碼該當前塊。
  2. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中該第一運動向量與該第二運動向量是單向預測運動向量，而且結合該第一運動向量與該第二運動向量的該運動向量是結合不同列表中該二個單向預測運動向量的一雙向預測運動向量。
  3. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中每一格柵的一尺寸大小等於4x4亮度樣本。
  4. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中該第一子塊與該第二子塊是在該當前塊中的三角預測單元，而且該當前塊是由一對角線方向或一逆對角線方向分割的一編解碼單元。
  5. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中該權重區域包括位於該當前塊中的該第一子塊與該第二子塊之間的格柵，而且該非-權重區域包括該當前塊中的剩餘格柵。
  6. 如申請專利範圍第5項所述在一視訊編解碼系統中處理視訊資料的方法，其中該權重區域中每一格柵包括在該第一子塊之中的一或多個樣本以及在該第二子塊之中的一或多個樣本，而且該非-權重區域中每一格柵僅包括在該第一與該第二子塊中之一的樣本。
  7. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中該第一運動向量與該第二運動向量是推導自一個相同的候選列表或是二個不同的候選列表。
  8. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中當該第一與該第二運動向量二者皆來自列表0或是二者皆來自列表1時，該第二運動向量直接被設定為該權重區域中的格柵的該代表性運動向量。
  9. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中設定該第一運動向量與該第二運動向量中之一以作為該權重區域中的格柵的該代表性運動向量包括：選擇具有一較小參考索引的運動向量，或是選擇具有一較小畫面順序計數差異的一參考畫面的運動向量。
  10. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中設定該第一運動向量與該第二運動向量中之一以作為一權重區域中的格柵的該代表性運動向量包括依據下列之一或其中一組合來選擇該運動向量：該當前塊的一分割方向，該第一與該第二運動向量的參考索引，該當前塊的一塊高度，該當前塊的一塊寬度，以及該當前塊的一面積區域。
  11. 如申請專利範圍第1項所述在一視訊編解碼系統中處理視訊資料的方法，其中該當前塊是以跳過或合併模式加以編碼或解碼。
  12. 如申請專利範圍第11項所述在一視訊編解碼系統中處理視訊資料的方法，其中該當前塊的一尺寸大小大於或等於8x8亮度樣本。
  13. 一種在一視訊編解碼系統中處理視訊資料的方法，包括： 接收一當前畫面中與一當前塊相關聯的輸入資料； 分割該當前塊為一第一子塊與一第二子塊； 推導用於該第一子塊的一第一運動向量與用於該第二子塊的一第二運動向量； 使用該第一與該第二運動向量於該當前塊中對於該第一與該第二子塊進行運動補償，來推導用於該當前塊的一最終預測子； 對於該當前塊的每一格柵推導與儲存一代表性運動向量以用於後續參考，其中每一格柵是在一非-權重區域或是一權重區域，其中推導該代表性運動向量包括： 對於該第一子塊之內該非-權重區域中的格柵設定該第一運動向量為該代表性運動向量，以及對於該第二子塊之內該非-權重區域中的格柵設定該第二運動向量為該代表性運動向量； 決定該第一運動向量與該第二運動向量是否來自於不同列表；以及 當該第一運動向量與該第二運動向量是來自於不同列表時，設定一雙向預測運動向量以作為該權重區域中的格柵的該代表性運動向量；或是當該第一運動向量與該第二運動向量是來自於一相同列表時，設定一單向預測運動向量以作為該權重區域中的格柵的該代表性運動向量；以及 依據該當前塊的該最終預測子來編碼或解碼該當前塊。
  14. 如申請專利範圍第13項所述在一視訊編解碼系統中處理視訊資料的方法，其中設定為該代表性運動向量的該雙向預測運動向量是從結合該第一運動向量與該第二運動向量所推導出來，而且設定為該代表性運動向量的該單向預測運動向量是該第一運動向量與該第二運動向量中之一。
  15. 如申請專利範圍第14項所述在一視訊編解碼系統中處理視訊資料的方法，其中當該第一與該第二運動向量二者皆來自列表0或是二者皆來自列表1時，該單向預測運動向量直接被設定為該第二運動向量。
  16. 一個在一視訊解碼系統中處理視訊資料的裝置，該裝置包括一或多個電子電路配置用來： 接收一當前畫面中與一當前塊相關聯的輸入資料； 分割該當前塊為一第一子塊與一第二子塊； 推導用於該第一子塊的一第一運動向量與用於該第二子塊的一第二運動向量； 使用該第一與該第二運動向量於該當前塊中對於該第一與該第二子塊進行運動補償，來推導用於該當前塊的一最終預測子； 對於該當前塊的每一格柵推導與儲存一代表性運動向量以用於後續參考，其中每一格柵是在一非-權重區域或是一權重區域，其中推導該代表性運動向量包括： 對於該第一子塊之內該非-權重區域中的格柵設定該第一運動向量為該代表性運動向量，以及對於該第二子塊之內該非-權重區域中的格柵設定該第二運動向量為該代表性運動向量； 決定該第一運動向量與該第二運動向量是否來自於不同列表；以及 當該第一運動向量與該第二運動向量是來自於不同列表時，將結合該第一運動向量與該第二運動向量的一運動向量設定為該權重區域中的格柵的該代表性運動向量；或是當該第一運動向量與該第二運動向量是來自於一相同列表時，設定該第一運動向量與該第二運動向量中之一，以作為該權重區域中的格柵的該代表性運動向量；以及 依據該當前塊的該最終預測子來編碼或解碼該當前塊。
  17. 一種用來儲存程式指令的非暫時性電腦可讀取媒介，該程式指令使得一裝置的一處理電路對於視訊資料進行一視訊處理的方法，而該方法包括： 接收一當前畫面中與一當前塊相關聯的輸入資料； 分割該當前塊為一第一子塊與一第二子塊； 推導用於該第一子塊的一第一運動向量與用於該第二子塊的一第二運動向量； 使用該第一與該第二運動向量於該當前塊中對於該第一與該第二子塊進行運動補償，來推導用於該當前塊的一最終預測子； 對於該當前塊的每一格柵推導與儲存一代表性運動向量以用於後續參考，其中每一格柵是在一非-權重區域或是一權重區域，其中推導該代表性運動向量包括： 對於該第一子塊之內該非-權重區域中的格柵設定該第一運動向量為該代表性運動向量，以及對於該第二子塊之內該非-權重區域中的格柵設定該第二運動向量為該代表性運動向量； 決定該第一運動向量與該第二運動向量是否來自於不同列表；以及 當該第一運動向量與該第二運動向量是來自於不同列表時，將結合該第一運動向量與該第二運動向量的一運動向量設定為該權重區域中的格柵的該代表性運動向量；或是當該第一運動向量與該第二運動向量是來自於一相同列表時，設定該第一運動向量與該第二運動向量中之一，以作為該權重區域中的格柵的該代表性運動向量；以及 依據該當前塊的該最終預測子來編碼或解碼該當前塊。
TW108143594A 2018-11-30 2019-11-29 視訊編碼系統中用於決定儲存用運動向量的視訊處理方法和裝置 TWI737055B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862773223P 2018-11-30 2018-11-30
US62/773,223 2018-11-30
WOPCT/CN2019/121581 2019-11-28
PCT/CN2019/121581 WO2020108560A1 (en) 2018-11-30 2019-11-28 Video processing methods and apparatuses of determining motion vectors for storage in video coding systems

Publications (2)

Publication Number Publication Date
TW202038625A TW202038625A (zh) 2020-10-16
TWI737055B true TWI737055B (zh) 2021-08-21

Family

ID=70854328

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108143594A TWI737055B (zh) 2018-11-30 2019-11-29 視訊編碼系統中用於決定儲存用運動向量的視訊處理方法和裝置

Country Status (6)

Country Link
US (2) US11290739B2 (zh)
EP (1) EP3878180A4 (zh)
CN (1) CN113170174B (zh)
MX (1) MX2021006087A (zh)
TW (1) TWI737055B (zh)
WO (1) WO2020108560A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3878180A4 (en) * 2018-11-30 2022-08-10 HFI Innovation Inc. VIDEO PROCESSING METHODS AND APPARATUS FOR DETERMINING MOTION VECTORS FOR STORAGE IN VIDEO CODING SYSTEMS

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
WO2015010317A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
CN107534778A (zh) * 2015-04-14 2018-01-02 联发科技（新加坡）私人有限公司 获取时间运动矢量预测的方法及装置
CN107787582A (zh) * 2015-06-10 2018-03-09 三星电子株式会社 使用用于自适应加权预测的语法信令对图像进行编码或解码的方法和设备
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US9667996B2 (en) * 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US10477238B2 (en) * 2016-09-07 2019-11-12 Qualcomm Incorporated Sub-PU based bi-directional motion compensation in video coding
KR20230028586A (ko) * 2018-04-01 2023-02-28 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
EP3878180A4 (en) * 2018-11-30 2022-08-10 HFI Innovation Inc. VIDEO PROCESSING METHODS AND APPARATUS FOR DETERMINING MOTION VECTORS FOR STORAGE IN VIDEO CODING SYSTEMS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
WO2015010317A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
CN107534778A (zh) * 2015-04-14 2018-01-02 联发科技（新加坡）私人有限公司 获取时间运动矢量预测的方法及装置
CN107787582A (zh) * 2015-06-10 2018-03-09 三星电子株式会社 使用用于自适应加权预测的语法信令对图像进行编码或解码的方法和设备
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Also Published As

Publication number Publication date
TW202038625A (zh) 2020-10-16
US20210360274A1 (en) 2021-11-18
US20220217397A1 (en) 2022-07-07
US11290739B2 (en) 2022-03-29
CN113170174B (zh) 2024-04-12
MX2021006087A (es) 2021-07-06
EP3878180A4 (en) 2022-08-10
WO2020108560A1 (en) 2020-06-04
EP3878180A1 (en) 2021-09-15
CN113170174A (zh) 2021-07-23
US11785242B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
TWI717779B (zh) 視訊編解碼中受約束的重疊塊運動補償的方法及裝置
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
KR102044250B1 (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP6545838B2 (ja) マージ候補ブロック誘導方法及びこのような方法を用いる装置
CN109804627B (zh) 图像编码/解码方法和设备
JP2020526109A (ja) マルチリファレンス予測のための動きベクトルの精密化
KR20180061060A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180037583A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20190038405A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
JP2023118926A (ja) 復号化方法、復号化デバイス、復号化側機器、電子機器及び不揮発性記憶媒体
TWI737055B (zh) 視訊編碼系統中用於決定儲存用運動向量的視訊處理方法和裝置