TWI514855B - 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置 - Google Patents

用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置 Download PDF

Info

Publication number
TWI514855B
TWI514855B TW103141274A TW103141274A TWI514855B TW I514855 B TWI514855 B TW I514855B TW 103141274 A TW103141274 A TW 103141274A TW 103141274 A TW103141274 A TW 103141274A TW I514855 B TWI514855 B TW I514855B
Authority
TW
Taiwan
Prior art keywords
coding unit
sub
coding
motion vector
unit
Prior art date
Application number
TW103141274A
Other languages
English (en)
Other versions
TW201511524A (zh
Inventor
Jian Liang Lin
Yu Pao Tsai
Shaw Min Lei
Original Assignee
Mediatek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mediatek Inc filed Critical Mediatek Inc
Publication of TW201511524A publication Critical patent/TW201511524A/zh
Application granted granted Critical
Publication of TWI514855B publication Critical patent/TWI514855B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Description

用於編碼單元的視訊編碼的局部多重假設預測的執行方法及 裝置
本發明係關於運動補償(motion compensation)之視訊處理，尤指在編碼單元(coding unit)進行視訊編碼(video coding)時執行局部多重假設預測(localized multihypothesis prediction)的方法以及相關裝置。
運動補償係為一種將視訊資料編碼(coding)與解碼(decoding)以進行視訊壓縮(video compression)與解壓縮(decompression)時所使用的技術，藉由運動補償的幫助，一目前畫面(current picture)可由一個或複數個參考畫面(reference picture)的部分視訊資料來呈現，其中參考畫面可能是之前已出現的畫面，甚至是接下來會出現的畫面。一般來說，當運用運動補償時，影像可透過之前已傳送/儲存的影像來加以準確地合成產生，進而提升壓縮效率(compression efficiency)。此外，隨著編碼技術的進步，因應新的標準的相關設計也已被應用，以更進一步提升壓縮效率。傳統的運動補償機制無法一直保持最佳效果，舉例來說，某些情況下可能會存在低編碼效率(coding efficiency)的問題，因此，需要有一種提昇視訊編碼之編碼效率的創新方法。
因此，本發明的目的之一在於提供一種局部多重假設預測技術的執行方法及裝置，用於編碼單元的視訊編碼，以解決上述問題。
依據本發明之實施例，其揭示一種局部多重假設預測的執行方法，用於編碼單元的視訊編碼。該方法包含有：將該編碼單元分割成複數個次編碼單元；以及對該複數個次編碼單元進行處理，其中對該複數個次編碼單元進行處理的步驟包含：取得一第一已編碼單元集合之一運動資訊，其中該第一已編碼單元集合中之已編碼單元已進行過運動補償，以及該運動資訊包含一第一運動向量與一第二運動向量，該第一運動向量與該第二運動向量對應於該編碼單元所在的一目前圖框中之其他編碼單元之複數個次編碼單元；於該第一已編碼單元集合之該運動資訊中取得複數個像素值；利用該複數個像素值的一線性組合來做為該複數個次編碼單元之一特定次編碼單元的一預測像素值；以及利用一第二已編碼單元集合之一運動資訊來得到該編碼單元中另一次編碼單元的一預測像素值，其中該第二已編碼單元集合具有不包含於該第一已編碼單元集合中的至少一已編碼單元。
依據本發明之實施例，其另揭示一種局部多重假設預測的執行裝置，用於編碼單元的視訊編碼。該裝置包含一處理電路，用以對該編碼單元進行視訊編碼，其中該處理電路包含一預處理模組以及至少一編碼模組。該預處理模組係用以將該編碼單元分割成複數個次編碼單元並處理該複數個次編碼單元，其中該預處理模組會取得一第一已編碼單元集合的一運動資訊，其中該第一已編碼單元集合中之已編碼單元已進行過運動補償，該運動資訊包含一第一運動向量與一第二運動向量，該第一運動向量與該第二運動向量對應於該編碼單元所在的一目前圖框中之其他編碼單元之複數個次編碼單元，並依據該運動資訊對該複數個次編碼單元中之一特定次編碼單元執行多重假設運動補償，以及該預處理模組利用由該第一已編碼單元集合之該運動資訊中所取得的複數個像素值的一線性組合來做為該特定次編碼單元的一預測像素值；以及該至少一編碼模組用以依據由該預處理模組執行之多重假設運動補償來對該編碼單元進行視訊編碼；其中該預處理模組利用一第二已編碼單元集合之一運動資訊來得到該編碼單元中的另一次編碼單元的一預測像素值， 其中該第二已編碼單元集合具有不包含於該第一已編碼單元集合中的至少一已編碼單元，該第二已編碼單元集合中之已編碼單元為過運動補償後之編碼單元。
依據本發明之實施例，其另揭示一種局部多重假設預測的執行方法，用於編碼單元的視訊編碼。該方法包含有：將該編碼單元分割成複數個次編碼單元；以及對該複數個次編碼單元進行處理，其中對該複數個次編碼單元進行處理的步驟包含：取得複數個已編碼單元的一運動資訊以供該複數個次編碼單元中的一特定次編碼單元執行多重假設運動補償之用，其中該複數個已編碼單元為複數個運動補償後之編碼單元，以及該運動資訊包含一第一運動向量與一第二運動向量，該第一運動向量與該第二運動向量對應於該編碼單元所在的一目前圖框中之其他編碼單元之複數個次編碼單元；利用由該複數個已編碼單元的該運動資訊中所取得的複數個像素值的一加權總和來做為該特定次編碼單元的一預測像素值；以及利用由該複數個已編碼單元的該運動資訊所得到的該複數個像素值的另一不同的加權總和來得到該編碼單元中另一次編碼單元的一預測像素值。
100‧‧‧視訊編碼器
110‧‧‧畫面間/畫面內預測模組
112‧‧‧多重假設畫面間預測電路
114‧‧‧畫面間預測電路
116‧‧‧畫面內預測電路
118‧‧‧切換電路
120‧‧‧運算單元
130‧‧‧轉換與量化模組
140‧‧‧熵編碼電路
150‧‧‧反轉換與反量化模組
160‧‧‧重建電路
170‧‧‧去區塊濾波器
180‧‧‧圖框緩衝器
910‧‧‧方法
912、914‧‧‧步驟
F(t0)、F(t0-1)、F(t0-2)、F(t0-3)‧‧‧圖框
CU(t0)、CU(t0-1)‧‧‧編碼單元
SubCU(t0)‧‧‧次編碼單元
SB、bi‧‧‧次區塊
第1A圖為本發明在編碼單元進行視訊編碼時執行局部多重假設預測之裝置的第一實施例的示意圖。
第1B圖為第1A圖所示之畫面間/畫面內預測模組之一實施例的示意圖。
第1C圖為第1A圖所示之畫面間/畫面內預測模組進行多重假設運動補償操作的一實施例的示意圖。
第2圖為本發明在編碼單元進行視訊編碼時執行局部多重假設預測之方法的一實施例的流程圖。
第3圖為與第2圖所示之方法相關之已編碼區塊的一實施例的示意圖。
第4圖為與第2圖所示之方法相關之實施細節的一實施例的示意圖。
第5A圖至第5D圖為與第2圖所示之方法相關的多重假設預測之實施細節的複數個實施例的示意圖。
第6A圖至第6B圖為用以取得與第2圖所示之方法相關的運動資訊之來源的複數個實施例的示意圖。
第7A圖至第7B圖分別為與第2圖所示之方法相關的時間與空間運動向量的複數個實施例的示意圖。
第8A圖至第8C圖為用以取得與第2圖所示之方法相關的運動資訊之來源的複數個實施例的示意圖。
第9圖為與第2圖所示之方法相關之實施細節的一實施例的示意圖。
第10圖為與第2圖所示之方法相關之實施細節的一實施例的示意圖。
第11圖為與第2圖所示之方法相關之實施細節的一實施例的示意圖。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區別元件的方式，而是以元件在功能上的差異來作為區別的基準。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。此外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置電性連接於一第二裝置，則代表該第一裝置可直接連接於該第二裝置，或透過其他裝置或連接手段間接地連接至該第二裝置。
請參閱第1A圖，第1A圖為依據本發明在編碼單元進行視訊編碼時執行局部多重假設預測的裝置100的第一實施例的示意圖。裝置100包含 畫面間/畫面內預測模組(inter/intra prediction module)110(於第1A圖中，標示為「畫面間/畫面內預測」)、運算單元(arithmetic unit)120、轉換與量化模組(transform and quantization module)130(於第1A圖中，標示為「轉換與量化」)、熵編碼電路(entropy coding circuit)140(於第1A圖中，標示為「熵編碼」)、反轉換與反量化模組(inverse transform and inverse quantization module)150(於第1A圖中，標示為「反轉換與反量化」)、重建電路(reconstruction circuit)160(於第1A圖中，標示為「重建」)、去區塊濾波器(deblocking filter)170，以及圖框緩衝器(frame buffer)180。請參考第1B圖，上述之畫面間/畫面內預測模組110可包含：多重假設畫面間預測電路(multihypothesis inter prediction circuit)112(於第1B圖中，標示為「多重假設畫面間預測」)、畫面間預測電路(inter prediction circuit)114(於第1B圖中，標示為「畫面間預測」)、畫面內預測電路(intra prediction circuit)116(於第1B圖中，標示為「畫面內預測」)，以及切換電路(switching circuit)118。
依據第1A圖所示之實施例，裝置100可對一原始信號(original signal)109進行視訊編碼以產生一個挾帶編碼結果之輸出信號(例如熵編碼電路140的輸出)，舉例來說，原始信號109可以是代表挾帶編碼單元之資料的視訊輸入，而熵編碼電路140的輸出可以是一輸出位元流。此外，畫面間/畫面內預測模組110係用以進行畫面間/畫面內預測，更具體地說，畫面間/畫面內預測模組110利用第1B圖所示的多重假設畫面間預測電路112、畫面間預測電路114以及畫面內預測電路116來分別進行多重假設畫面間預測、畫面間預測及畫面內預測。
如第1A圖所示，運算單元120係用以進行一運算操作，例如對原始信號109(舉例而言，原始信號109可以是代表挾帶該編碼單元資料的視訊輸入)與由畫面間/畫面內預測模組110所產生的預測信號119來進行相減(subtraction)操作。另外，轉換與量化模組130、熵編碼電路140、反轉換與反量化模組150以及重建電路160則分別用以進行轉換與量化、熵編碼、反 轉換與反量化以及重建等操作，因此，重建電路160便會產生挾帶重建操作之複數個重建結果的暫時性重建信號(temporarily reconstructed signal)169。另外，去區塊濾波器170則用來對暫時性重建信號169進行去區塊濾波處理，以產生用來暫存於圖框緩衝器180的挾帶去區塊資料的去區塊信號179(deblocked signal)，而供連續編碼畫面的畫面間預測之用，以及畫面間/畫面內預測模組110可存取暫時性重建信號169以及由已解壓縮信號(restored signal)189所挾帶的複數個先前已解碼畫面(previous decoded picture)之去區塊視訊資料。以上所述僅供說明之需，並不用來作為本發明的限制。依據本實施例中複數個變形，在去區塊濾波器170與其相關濾波處理操作得以省略的情形下，由暫時性重建信號169所挾帶的複數個重建結果可暫存於圖框緩衝器180，以及畫面間/畫面內預測模組110可存取目前編碼畫面的暫時性重建信號169以及透過已解壓縮信號189所得到之先前複數個已解碼畫面的重建結果。
請參考第1B圖，多重假設畫面間預測電路112係用以依據原始信號109及透過已解壓縮信號189所得之先前複數個已解碼畫面的重建結果來進行多重假設畫面間預測，以產生多重假設畫面間預測輸出113；畫面間預測電路114係用以依據原始信號109與透過已解壓縮信號189所得之先前複數個已解碼畫面的重建結果來進行畫面間預測以產生畫面間預測輸出115；以及畫面內預測電路116係用以依據原始信號109與暫時性重建信號169來進行畫面內預測，以產生畫面內預測輸出117，其中切換電路118則用以動態地選擇多重假設畫面間預測輸出113、畫面間預測輸出115以及畫面內預測輸出117的其中之一來做為上述之預測信號119。
實際上，裝置100中至少有一部分的元件(例如部分或是全部的元件)可利用硬體電路(hardware circuit)來加以實現，例如，裝置100可由一種用以對編碼單元進行視訊編碼的處理電路(processing circuit)來實現，其中該處理電路可包含一個具有畫面間/畫面內預測模組110的預處理模組 (preprocessing module)，以及另可包含至少一個具有運算單元120、轉換與量化模組130、熵編碼電路140、反轉換與反量化模組150、重建電路160以及去區塊濾波器170的編碼模組(coding module)，更具體地說，裝置100中的一個或複數個元件可由數位信號處理技術(digital signal processing technique)來實現。以上所述僅供說明之需，並不用來作為本發明的限制。此外，依據本實施例的複數個變形，裝置100中至少有一部分元件可至少利用軟體(software)及/或韌體(firmware)來實現，舉例來說，該處理電路可能是一種執行複數個程式碼(program code)的處理器(processor)，其中執行該複數個程式碼中的第一部分程式碼的處理器能夠進行與上述預處理模組之相同或相似的操作，以及執行該複數個程式碼中的第二部分程式碼的處理器能夠進行與上述編碼模組之相同或相似的操作。
無論裝置100中至少有一部分的元件(例如，部分或是全部的元件)是利用硬體電路還是利用軟體來實現，裝置100皆能夠對複數個編碼單元中的每一編碼單元來進行視訊編碼，舉例來說，複數個編碼單元可為複數個巨集區塊(macroblock，MB)，而在另一個例子中，複數個編碼單元可為具有介於一預定最大編碼單元(largest coding unit，LCU)與一預定最小編碼單元(smallest coding unit，SCU)的尺寸之間的複數個編碼單元。畫面首先會被分割成複數個最大編碼單元，以及該複數個最大編碼單元中的每一個編碼單元係被適應性地分割為較小的複數個編碼單元，直到得到複數個末端編碼單元(leaf coding unit)為止。依據本實施例，上述預處理模組能夠將上述之編碼單元分割成複數個次編碼單元(sub-coding unit)，例如，以複數種分割區(partition)(例如採用正方形或非正方形的分割區)來進行分割，以及上述預處理模組能夠對該複數個次編碼單元中的每一個次編碼單元進行預測，更具體地，預處理模組能夠對每一個次編碼單元進行畫面間預測、畫面內預測或多重假設運動補償。當多重假設運動補償為一特定次編碼單元所選用時，預處理模組會計算依據複數個其他已編碼單元所取得的複數個像素值的一線性組合，並 利用所計算的結果來做為該特定次編碼單元的一預測像素值。該複數個其他已編碼單元可為已編碼之次編碼單元、已編碼之編碼單元或是以上兩者的組合。此外，上述之至少一編碼模組係用以依據預處理模組所執行之多重假設運動補償來對編碼單元進行視訊編碼。
依據本發明的一實施例，第1C圖說明了第1A圖所示之畫面間/畫面內預測模組110之多重假設運動補償的範例操作。在本實施例中，複數個符號F(t0-3)、F(t0-2)、F(t0-1)以及F(t0)代表複數個連續圖框(subsequent frames){F(t)}中的一部份，其中F(t0)為一目前圖框(current frame)。目前圖框F(t0)可包含複數個編碼單元{CU(t0)}，以及一編碼單元CU(t0)可包含複數個次編碼單元{SubCU(t0)}，而上述之預處理模組會由複數個其他次編碼/編碼單元分別得到運動資訊(motion information)，例如複數個運動向量(motion vector){vk}，這表示預處理模組利用該複數個其他次編碼/編碼單元的複數個運動向量來做為該特定次編碼單元進行多重假設運動補償所需的複數個運動向量{vk}。依據本實施例，預處理模組能夠依據複數個運動向量{vk}來對該特定次編碼單元(如第1C圖所示之次編碼單元SubCU(t0))進行多重假設運動補償。
一般來說，預處理模組會計算由該複數個次編碼/編碼單元之運動資訊所得的複數個參考像素值(reference pixel value){Ψr}的線性組合，而該線性組合係為該特定次編碼單元的一預測像素值(predicted pixel value)Ψp。舉例來說，第一已編碼單元集合(first set of coded unit)之運動資訊包含一運動向量或是一運動向量組合、一或多個參考圖框索引(reference frame index)，以及一或多個預測方向(prediction direction)，更具體地說，該運動資訊包含由單一個次編碼單元所得到的複數個運動向量。在另一個例子中，該運動資訊可為一或多個運動向量、一或多個參考圖框索引、一或多個預測方向或是上述三者的任意組合，而在以下的實施例中，則是以複數個運動向量來做為該運動資訊的範例說明。請注意，該線性組合可以是複數個像素值的一加權總和，其表示預處理模組利用複數個像素值的加權總和來做為該特定次編碼單元的預 測像素值。舉例來說，在具有預測像素值Ψp的該特定預測像素係屬於第i個次編碼單元(如第1C圖所示之次編碼單元SubCU(t0))且處在位置x(例如一個指向此一位置的向量，比方說在目前圖框F(t0)影像平面上的一個二維向量)的情形下，預測像素值Ψp可改寫為Ψp(i,x)，以及預測像素值Ψp(i,x)可表示如下： 其中索引值k可於數值集合K中變動，而符號hk(i,x)則代表一個與索引值k相關的加權參數，舉例來說，當可能的索引值k的個數超過1時，複數個加權參數{hk(i,x)}的總和可簡化為1。
如第1C圖所示，複數個運動向量{vk}可包含目前圖框F(t0)中複數個其他已編碼單元的次編碼單元A與B之運動向量vA與vB，以及另包含另一個圖框(例如先前圖框(previous frame)F(t0-1))中編碼單元CU(t0-1)的次編碼單元T之運動向量vT。舉例來說，在該複數個編碼單元係為複數個區塊(block)的情形下，編碼單元CU(t0-1)相對於編碼單元CU(t0)來說可以是一共位區塊(collocated block)，因此，藉由將複數個加權參數{hk(i,x)}應用至由複數個運動向量{vk}所得的複數個參考像素值{Ψr}，則預處理模組得以針對該複數個運動向量{vk}(例如vA、vB以及vT)所指向的複數個部分影像(partial image)進行混成(blend/mix)，以產生一加權總和影像(weighted summation image)，並且利用該加權總和影像做為該特定次編碼單元(如第1C圖所示之次編碼單元SubCU(t0))的預測部分影像(predicted partial image)。關於上述所揭露之操作的進一步說明，請參閱第2圖。
第2圖為依據本發明之一實施例而在一編碼單元進行視訊編碼時執行局部多重假設預測之方法910的流程圖。方法910可被應用於第1A圖的裝置100，更具體地說，可被應用於上述的處理電路。該方法說明如下。
於步驟912中，上述之預處理模組會將編碼單元CU(t0)(例如，即將處理的編碼單元)分割為複數個次編碼單元(例如，複數個次編碼單元 {SubCU(t0)})，以及會對複數個次編碼單元{SubCU(t0)}之中的每一個次編碼單元執行預測。具體地說，預處理模組會由上述之複數個其他已編碼單元得到運動資訊(例如，上文所揭露之複數個運動向量{vk})以供複數個次編碼單元{SubCU(t0)}的特定次編碼單元SubCU(t0)進行多重假設運動補償。依據本發明的一實施(例如第3圖所示)，編碼單元CU(t0)可以是一個正在處理的區塊(在第3圖中，標示為「處理中的區塊」(Processed block))，以及特定次編碼單元SubCU(t0)可以是一個次區塊(sub-block，SB)，其中第3圖中複數個陰影部份可代表複數個已編碼單元/已編碼區塊{CB}(coded block，CB)中的至少一部分。請參閱第3圖，已編碼區塊{CB}可能包含一個左半部已編碼區塊CBL、一個左上部已編碼區塊CBUL、一個上半部已編碼區塊CBU，以及一個右上部已編碼區塊CBUR，舉例來說，複數個運動向量{vk}可包含至少一部份(例如，部分或是全部)的已編碼區塊{CB}(例如，已編碼區塊CBL、CBUL、CBU以及CBUR中的一個或更多個已編碼區塊)的複數個運動向量。
在步驟914中，上述之預處理模組依據複數個運動向量{vk}來對特定次編碼單元SubCU(t0)進行多重假設運動補償，具體地說，預處理模組利用於步驟912提及的複數個其他已編碼單元(例如，複數個其他次編碼/編碼單元)之複數個像素值的一線性組合(例如，上述之複數個其他已編碼單元中複數個參考像素之參考像素值{Ψr}的線性組合)來做為該特定次編碼單元的預測像素值Ψp。舉例來說，每一個編碼單元(例如編碼單元CU(t0))可以是一個區塊，尤指一個包含一像素陣列的區塊(例如一擴展巨集區塊(extended macroblock)、一巨集區塊(macroblock)或是一巨集區塊的一部分)，因此，一個次編碼單元可被稱為一個次區塊。依據本發明的一實施例(如第3圖所示)，前述之預處理模組可依據上述之複數個運動向量{vk}來對正在處理的區塊(在第3圖中，標示為「處理中的區塊」)進行多重假設運動補償，其中預處理模組得以對由至少一部分(例如部分或全部)的已編碼區塊{CB}(例如，已編碼區塊CBL、CBUL、CBU以及CBUR中的一個或更多個已編碼區塊)中 複數個參考像素的複數個參考像素值{Ψr}來進行混成，在此實施例中，已編碼區塊{CB}可以是已運動補償的區塊(motion-compensated block)。
依據本實施例，預處理模組係用以處理於步驟912所提及之該複數個次編碼單元的每一個次編碼單元，舉例來說，預處理模組會得到一第一已編碼單元集合的運動資訊以供步驟912提及之該複數個次編碼單元中的一第一次編碼單元(例如，特定次編碼單元SubCU(t0))進行多重假設運動補償，以及依據該運動資訊對該第一次編碼單元(例如，該特定次編碼單元)進行多重假設運動補償。更具體地說，預處理模組利用由該第一已編碼單元集合之運動資訊所得之複數個像素值的一線性組合來做為該第一次編碼單元(例如，該特定次編碼單元)的預測像素值。此外，上述之至少一編碼模組係依據由預處理模組所執行之多重假設運動補償，來對該編碼單元進行視訊編碼。另外，預處理模組利用一第二已編碼單元集合之運動資訊來得到該編碼單元中的另一次編碼單元(例如，步驟912所提及的該複數個次編碼單元中的一第二次編碼單元)的預測像素值，其中該第二已編碼單元集合係不同於該第一已編碼單元集合。
有關該第一次編碼單元的部份，該第一已編碼單元集合可包含：編碼單元CU(t0)中的一個或複數個其他次編碼單元(亦即編碼單元CU(t0)中除了該第一次編碼單元的一個或複數個其他次編碼單元)、至少一其他編碼單元中的一個或複數個其他次編碼單元(亦即與編碼單元CU(t0)相異的至少一其他編碼單元中的一個或複數個其他次編碼單元)及/或一個或複數個其他編碼單元(例如，一個或複數個與編碼單元CU(t0)相異的編碼單元)。此外，有關該第二次編碼單元的部份，該第二已編碼單元集合可包含：編碼單元CU(t0)中的一個或複數個其他次編碼單元(亦即編碼單元CU(t0)中除了該第二次編碼單元以外的一個或複數個其他次編碼單元)、至少一其他編碼單元中的一個或複數個其他次編碼單元(亦即與編碼單元CU(t0)相異的至少一其他編碼單元中的一個或複數個其他次編碼單元)及/或一個或複數個其他編碼單元(例 如，一個或複數個與編碼單元CU(t0)相異的編碼單元)。請注意，該第二已編碼單元集合中至少有一已編碼單元沒有包含在該第一已編碼單元集合之中，然而，此僅供說明之需，並非用來做為本發明限制，依據本實施例的複數個變形，該第二已編碼單元集合與該第一已編碼單元集合亦可為同一個已編碼集合，然而，預處理模組係利用由該同一個已編碼集合之運動資訊所得到的複數個像素值之不同的線性組合，來分別做為該第一已編碼單元集合與該第二已編碼單元集合各自的預測像素值，舉例來說，預處理模組係利用該複數個像素值的一第一加權參數集合(first set of weighted parameters)所對應之一第一線性組合來做為該第一次編碼單元之預測像素值，以及利用該複數個像素值的一第二加權參數集合所對應之一第二線性組合來做為該第二次編碼單元之預測像素值。在另一個例子中，預處理模組利用由該第一已編碼單元集合之運動資訊所得到的複數個像素值的一第一加權總和(weighted summation)來做為該第一次編碼單元(例如，該特定次編碼單元)之預測像素值，以及利用由該同一個已編碼單元集合(亦即該第一已編碼單元集合)之運動資訊所得到的複數個像素值的一第二加權總和來得到該第二次編碼單元之預測像素值，其中該第一加權總和係與該第二加權總和相異。
在第3圖所示之實施例的複數個變形中，步驟912中提及的該複數個其他已編碼單元中的每一個編碼單元係為一已編碼之次編碼/編碼單元，舉例來說，在這些變形的一部分變形中，步驟912中提及的該複數個其他已編碼單元包含至少一個空間上已編碼(spatially coded)的次編碼/編碼單元(例如目前圖框F(t0)中的一個或複數個已編碼區塊{CB}，或是正在處理的區塊/已編碼區塊中的一個或複數個已編碼次區塊)及/或至少一個時間上已編碼(temporally coded)的次編碼/編碼單元(例如與目前圖框F(t0)相異的另一個圖框中一個或複數個已編碼的次區塊/區塊)。於另一實施例，在這些變形的一部分變形中，步驟912中提及的該複數個其他已編碼單元係為一已運動補償的次編碼/編碼單元。此外，依據一部分的變形，複數個運動向量{vk}可以藉 由運動估計(motion estimation)來得知。
依據本發明的一實施例，第4圖說明了第2圖所示之方法910相關的實施細節。於本實施例中，預處理模組可利用步驟914中提及之該複數個預測像素值的加權總和(例如，本實施例中的(hk(i,x)Ψr(x+vk)))來做為該特定次編碼單元(例如第4圖所示之第i個次區塊bi)的預測像素值Ψp。另外，為使更易於理解，複數個已編碼區塊CBL、CBUL、CBU以及CBUR可視為分別等同於第3圖中所示之複數個已編碼區塊。舉例來說，用於計算預測像素值Ψp之複數個參考像素的複數個參考像素值{Ψr}可由已編碼區塊CBL、CBUL、CBU以及CBUR中一個或複數個已編碼區塊來得到，以及複數個運動向量{vk}可包含已編碼區塊CBL、CBUL、CBU以及CBUR所分別對應之運動向量vL、vUL、vU以及vUR之中的一個或複數個運動向量。
更具體地說，針對每一個次區塊(例如，第4圖所示之第i個次區塊bi)來說，一預測像素值(例如，預測像素值Ψp(i,x))可藉由對複數個已編碼區塊{CB}中的一些參考像素之參考像素值{Ψr}進行混成而得到，其仍可表示如下： 其中索引值k可於數值集合K中變動，而符號vk與hk(i,x)可用來分別表示第k個參考運動向量以及其相關的加權參數。舉例來說，bi Bm，而符號Bm表示正在處理的區塊(在第4圖中，標示為「處理中的區塊」)中複數個次區塊的集合。如第4圖所示，複數個運動向量{vk}的運動向量vk係圖示於已編碼區塊CBU中，其表示在此情形下，複數個運動向量{vk}包含已編碼區塊CBU的運動向量vU。
在一實施例中(例如第4圖所示之實施例的一個變形)，預處理模組可對該複數個像素值(例如，複數個參考像素值{Ψr})進行對於正在處理之目前像素(current pixel)的實際像素值(real pixel value)ΨREAL(i,x)而言的最佳化維納濾波處理(optimum Wiener filtering)，以調整該複數個像素值(例如， 複數個參考像素值{Ψr})各自的加權參數{hk(i,x)}以及產生該加權總和(亦即於此實施例中的(hk(i,x)Ψr(x+vk)))。舉例來說，複數個加權參數{hk(i,x)}可利用於如下所示的預處理模組中一最佳化維納濾波器(optimum Wiener filter)來得到： 其表示在預處理模組執行最佳化維納濾波處理的期間，複數個加權參數{hk(i,x)}可藉由搜尋|ΨREAL(i,x)-(hk(i,x)Ψr(x+vk))|的最小值所對應之一組(h0 *,...,hK *)來得到，然而，以上僅供說明之需，並非用來做為本發明之限制。依據第4圖所示之實施例的一個變形，預處理模組可依據至少一鄰近(neighboring)編碼單元的內容(例如，已編碼區塊CBL、CBUL、CBU以及CBUR之中的一個或複數個已編碼區塊的內容)，來決定該複數個像素值各自的加權參數{hk(i,x)}，以產生該加權總和(亦即於此變形中的(hk(i,x)Ψr(x+vk)))。依據第4圖所示之實施例的另一個變形，預處理模組可依據步驟912提及之複數個其他已編碼單元(例如，該第一已編碼單元集合)的內容來決定該複數個像素值各自的加權參數{hk(i,x)}，用以產生該加權總和(亦即於此變形中的(hk(i,x)Ψr(x+vk)))。
在其他複數個實施例中(例如第4圖所示之實施例的複數個變形)，預處理模組可利用離線訓練(offline training)或是在線訓練(online training)的方式來決定該複數個像素值各自的加權參數{hk(i,x)}，用以產生該加權總和(亦即於這些變形中的(hk(i,x)Ψr(x+vk)))。依據第4圖所示之實施例的另一變形，預處理模組可利用該複數個像素值的一平均值來做為該特定次編碼單元之預測像素值，其表示複數個加權參數{hk(i,x)}中的任兩個加權參數會彼此相等，更具體地說，於此變形中，複數個加權參數{hk(i,x)}中的每一個加權參數會等於1/n(K)，其中n(K)代表數值集合K中可能的索引值k的個數。
依據本發明的複數個實施例，第5A圖至第5D圖說明了與第2 圖所示之方法910相關之多重假設預測的一些實施細節，其中於步驟914所提及之線性組合可視為加權總和(亦即於這些實施例中的(hk(i,x)Ψr(x+vk)))。為使更易於理解，複數個已編碼區塊CBL、CBUL、CBU以及CBUR可視為分別等同於第3圖所示之複數個已編碼區塊，此外，第i個次區塊bi係圖示於其中，以做為特定次編碼單元SubCU(t0)的一個範例。
請參閱第5A圖，複數個次編碼單元A、B、C及D係屬於正在處理的區塊(在第5A圖中，標示為「處理中的區塊」)或其他複數個已編碼單元(例如，CBUL、CBU、CBUR以及CBL)，更具體地說，關於第5A圖所示之第i個次區塊bi，次編碼單元A係為左方相鄰的次編碼單元、次編碼單元B係為上方相鄰的次編碼單元、次編碼單元C係為右上方相鄰的次編碼單元，以及次編碼單元D係為左上方相鄰的次編碼單元。於此實施例中，複數個運動向量{vk}可由第5A圖所示之複數個次編碼單元A、B、C及D來求得，因此，複數個運動向量{vk}可包含各自對應的運動向量vA、vB、vC及/或vD於其中，舉例來說，複數個運動向量{vk}可包含複數個次編碼單元A、B、C及D所對應之運動向量vA、vB、vC及vD中所有的運動向量。在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元C存在的話，則複數個運動向量{vk}則可包含運動向量vA、vB及vC；而在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元C不存在的話，則複數個運動向量{vk}則可包含運動向量vA、vB及vD。
因此，步驟914所提及的線性組合可為上文所揭露的加權總和(hk(i,x)Ψr(x+vk))與包含運動向量vA、vB、vC及/或vD的複數個運動向量{vk}的組合，簡言之，預測像素值Ψp可表示如下：Ψp=Weighted_Sum(Ψr(vA),Ψr(vB),Ψr(vC),and/or Ψr(vD))；其中符號Weighted_Sum代表上述所揭示的情形中的加權總和。
依據第5A圖所示之實施例的一個變形，預處理模組利用該複數個像素值的一平均值來做為該特定次編碼單元之預測像素值，其表示步驟914 所提及之線性組合可視為該平均值，在此情形下，複數個加權參數{hk(i,x)}中的任兩個係為彼此相等，簡言之，預測像素值Ψp可表示如下：Ψp=Average(Ψr(vA),Ψr(vB),Ψr(vC),and/or Ψr(vD))；其中符號Average代表於此情形下的平均值。相似的描述在此不再贅述。
請參閱第5B圖，複數個次編碼單元α1、α2、α3、α4、α5、α6、α7及α8係屬於左半部已編碼區塊CBL，複數個次編碼單元β1、β2、β3、β4、β5、β6、β7及β8係屬於上半部已編碼的區塊CBU，以及複數個次編碼單元β9與δ則分別屬於右上部已編碼區塊CBUR與左上部已編碼區塊CBUL。更具體地說，關於第5B圖所示之第i個次區塊bi(例如，於此實施例中，位於正在處理的區塊中右下四分之一處的一個次區塊)，複數個運動向量{vk}可由本實施例中的複數個次編碼單元A、B、C及/或D來取得，其中次編碼單元A可定義為位於左半部已編碼區塊CBL中的最靠近的次編碼單元(closest sub-coding unit)、次編碼單元B可定義為位於上半部已編碼區塊CBU中的最靠近的次編碼單元、次編碼單元C可定義為與次編碼單元B右側相鄰的次編碼單元，以及次編碼單元D可定義與次編碼單元B左側相鄰的次編碼單元。在第5B圖所示的情形下，複數個次編碼單元A、B、C及D係分別為複數個次編碼單元α5、β6、β7及β5。
於此實施例中，複數個運動向量{vk}可由此實施例之複數個次編碼單元A、B、C及D來求得，因此，複數個運動向量{vk}可包含各自對應的運動向量vA、vB、vC及/或vD於其中。舉例來說，複數個運動向量{vk}可包含複數個次編碼單元A、B、C及D所對應之運動向量vA、vB、vC及vD中所有的運動向量。在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元C存在的話，複數個運動向量{vk}可包含運動向量vA、vB及vC；而在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元C不存在的話，複數個運動向量{vk}則可包含運 動向量vA、vB及vD。
因此，步驟914所提及的線性組合可為上文所揭露的加權總和(hk(i,x)Ψr(x+vk))與包含運動向量vA、vB、vC及/或vD的複數個運動向量{vk}的組合，簡言之，預測像素值Ψp可表示如下：Ψp=Weighted_Sum(Ψr(vA),Ψr(vB),Ψr(vC),and/or Ψr(vD))；其中符號Weighted_Sum代表上述所揭示的情形中的加權總和。舉例來說，預處理模組可決定該特定次編碼單元的大小等為該編碼單元進行視訊編碼的一轉換尺寸(transform size)，以及該複數個次編碼單元(例如，第5B圖所示之複數個次區塊)的大小可為同一個轉換尺寸(例如，4x4、8x8、16x16等)。
依據第5B圖所示之實施例的一個變形，預處理模組利用該複數個像素值的一平均值來做為該特定次編碼單元之預測像素值，其表示步驟914所提及之取得線性組合的操作可視為一平均值操作，在此情形下，複數個加權參數{hk(i,x)}中的任兩個係為彼此相等，簡言之，預測像素值Ψp可表示如下：Ψp=Average(Ψr(vA),Ψr(vB),Ψr(vC),and/or Ψr(vD))；其中符號Average代表於此情形下的平均值。相似的描述在此不再贅述。
請參閱第5C圖，複數個次編碼單元{α1、α2、α3、α4、α5、α6、α7、α8、β1、β2、β3、β4、β5、β6、β7、β8、β9、δ}的定義係與第5B圖所示之實施例中的定義相同，此外，關於第5C圖所示之第i個次區塊bi(例如，於此實施例中，位於正在處理的區塊中右下四分之一處的一個次區塊)，複數個運動向量{vk}可由本實施例中的複數個次編碼單元A、B、C、D、E、F及/或Z來取得，其中複數個次編碼單元A、B、C及D的定義係與第5B圖所示之實施例中的定義相同，次編碼單元E可定義為與次編碼單元A上側相鄰的次編碼單元，次編碼單元F可定義為與次編碼單元A下側相鄰的次編碼單元，以及 次編碼單元Z可定義為位於左上部已編碼區塊CBUL中最靠近的次編碼單元。在第5C圖所示的情形下，複數個次編碼單元A、B、C、D、E、F及Z分別為複數個次編碼單元α4、β6、β7、β5、α3、α5及δ。
於此實施例中，複數個運動向量{vk}可由此實施例之複數個次編碼單元A、B、C、D、E、F及/或Z來求得，因此，複數個運動向量{vk}可包含各自對應的運動向量vA、vB、vC、vD、vE、vF及/或vZ於其中。舉例來說，複數個運動向量{vk}可包含複數個次編碼單元A、B、C、D、E、F及Z所對應之運動向量vA、vB、vC、vD、vE、vF及vZ中所有的運動向量。在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元E存在的話，複數個運動向量{vk}可包含運動向量vA、vB、vC、vD、vE及vF；而在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元E不存在的話，複數個運動向量{vk}可包含運動向量vA、vB、vC、vD、vE及vZ。此外，在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元C及E都不存在的話，複數個運動向量{vk}可包含運動向量vA、vB、vD、vF及vZ。
因此，步驟914所提及的線性組合可為上述所揭示的加權總和(hk(i,x)Ψr(x+vk))與包含運動向量vA、vB、vC、vD、vE、vF及/或vZ的複數個運動向量{vk}的組合，簡言之，預測像素值Ψp可表示如下：Ψp=Weighted_Sum(Ψr(vA),Ψr(vB),Ψr(vC),Ψr(vD),Ψr(vE),Ψr(vF),and/or Ψr(vZ))；其中符號Weighted_Sum代表上述所揭示的情形中的加權總和。舉例來說，預處理模組可決定該特定次編碼單元的大小等於該編碼單元進行視訊編碼的轉換尺寸，以及該複數個次編碼單元(例如，第5C圖所示之複數個次區塊)的大小可為同一個轉換尺寸(例如，4x4、8x8、16x16等)。
依據第5C圖所示之實施例的一個變形，預處理模組利用該複數個像素值的一平均值來做為該特定次編碼單元之預測像素值，其表示步驟914 所提及之取得線性組合的操作可視為一平均值操作，在此情形下，複數個加權參數{hk(i,x)}中的任兩個係為彼此相等，簡言之，預測像素值Ψp可表示如下：Ψp=Average(Ψr(vA),Ψr(vB),Ψr(vC),Ψr(vD),Ψr(vE),Ψr(vF),and/or Ψr(vZ))；其中符號Average代表於此情形下的平均值。相似的描述在此不再贅述。
請參閱第5D圖，複數個次編碼單元{α1、α2、α3、α4、α5、α6、α7、α8、β1、β2、β3、β4、β5、β6、β7、β8、β9、δ}的定義係與第5B圖所示之實施例中的定義相同，此外，關於第5D圖所示之第i個次區塊bi(例如，於此實施例中，位於正在處理的區塊中右下四分之一處的一個次區塊)，複數個運動向量{vk}可由本實施例中的複數個次編碼單元A、B、C及/或D來取得，其中複數個次編碼單元A、B、C及D的定義係與第5B圖所示之實施例中的定義相同。在第5D圖所示的的情形下，複數個次編碼單元A、B、C及D係分別為次編碼單元α5、β6、β7及β5。
於此實施例中，複數個運動向量{vk}可由此實施例之複數個次編碼單元A、B、C及/或D來求得，因此，複數個運動向量{vk}可包含各自對應的運動向量vA、vB、vC及/或vD於其中。舉例來說，複數個運動向量{vk}可包含複數個次編碼單元A、B、C及D所對應之運動向量vA、vB、vC及vD中所有的運動向量。在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元C存在的話，複數個運動向量{vk}可包含運動向量vA、vB及vC；而在另一個例子中，如果該特定次編碼單元(例如第i個次區塊bi)所對應的次編碼單元C不存在的話，則複數個運動向量{vk}可包含運動向量vA、vB及vD。
此外，於此實施例中的加權參數hk(i,x)可反比於(inversely proportional)該特定次編碼單元與其相關的其他已編碼單元(於步驟912所提 及之該複數個其他已編碼單元之中的一個)之間的距離，舉例來說，加權參數hk(i,x)可改寫為與位置x無關的wk(i)，以及加權參數wk(i)係反比於dk(i)的m次方(亦即wk(i)1/(dk(i))m)，其中符號dk(i)代表該特定次編碼單元(例如，第i個次區塊bi)與其相關而具有第k個參考運動向量vk之其他次編碼/編碼單元(例如，位於複數個次編碼單元A、B、C及D內的第k個次編碼單元)之間的距離，以及符號m代表一個大於零的常數(constant)。因此，預測像素值Ψp可表示如下： ；或 其中複數個運動向量{vk}可包含運動向量vA、vB、vC及/或vD。此外，在第5D圖所示的情形下，複數個運動向量{vk}可包含運動向量vA、vB及vC，以及符號dist_w、dist_h及dist_h’分別代表複數個距離dA(i)、dB(i)及dC(i)。因此，預測像素值Ψp可表示如下：Ψp=wA Ψr(vA)+wB Ψr(vB)+wC Ψr(vC)；其中WA 1/(dist_w)m、wB 1/(dist_h)m，以及wC 1/(dist_h’)m。
在第5A圖至第5D圖所示之實施例的複數個變形中，預處理模組可利用捨棄複數個已編碼單元之運動資訊中的至少一極端運動向量(extreme motion vector)，來對一運動向量集合進行篩選(screen)，更具體地說，利用捨棄該運動向量集合的至少一極端運動向量以選擇該運動向量集合的一剩餘部份來做為用以得出該預測像素值的運動資訊(例如，該第一已編碼單元集合的運動資訊)。舉例來說，在考量運動向量的長度(length)及/或方向(direction)之下，前述之至少一極端向量可包含與其他運動向量集合相差很多的一個或複數個運動向量。
依據第5A圖至第5D圖所示之實施例的複數個變形，預處理模組可適應性地操作於包含模式1(Mode 1)、模式2(Mode 2)、模式3(Mode 3)及模式4(Mode 4)的複數個模式，其中模式1、2、3及4個別的操作可分別與第 5A圖至第5D圖之實施例所揭示的操作相同或相似。舉例來說，在模式1時，預處理模組可依據與第5A圖所示之實施例相同的方法來操作，而在另一模式下，例如模式2、3或4之中的任一個，預處理模組可依據與相關實施例(例如，第5B圖至第5D圖所對應之實施例)相同的方法來操作。此外，相對於其他的模式，上述之模式1、2及3允許裝置100輕易地進行處理以及對於提昇裝置100整體處理速度有所助益，因此，上述之模式1、2及3亦可視為簡化模式(simplified mode)。
依據第5A圖至第5D圖所示之任一個實施例中的一個變形，在步驟912中，預處理模組可依據至少一鄰近編碼單元的至少一模式(例如，已編碼區塊CBL、CBU、CBUR以及CBUL中一個或更多個已編碼區塊的模式1、2、3及/或4)來將該編碼單元分割為該複數個次編碼單元。此外，依據第5A圖至第5D圖所示之任一個實施例中的另一個變形，在步驟912中，預處理模組可依據至少一鄰近編碼單元(例如，已編碼區塊CBL、CBU、CBUR以及CBUL中一個或更多個已編碼區塊)的內容來將該編碼單元分割為該複數個次編碼單元。
依據本發明之複數個不同實施例，第6A圖與第6B圖說明了用以取得與第2圖所示之方法910相關的運動資訊的複數個範例來源。為使更易於理解，複數個已編碼區塊CBL、CBU、CBUR以及CBUL可視為分別等同於第3圖所示之複數個已編碼區塊。
於此實施例中，在當特定次編碼單元SubCU(t0)的大小係擴充至編碼單元CU(t0)的大小時，則無需於步驟912中對編碼單元CU(t0)進行分割，因此，在步驟912中，上述之預處理模組可執行編碼單元CU(t0)之運動向量預測，更具體地說，由複數個其他已編碼單元(例如，複數個已編碼區塊{CB}中的至少一部份，比方說，已編碼區塊CBL、CBU、CBUR及CBUL中的一個或更多個已編碼區塊)來取得複數個運動向量(例如上文所揭露之複數個運動向量{vk})，以供執行編碼單元CU(t0)之多重假設運動補償。此外，於步驟 914中，預處理模組可依據運動資訊(例如，複數個運動向量{vk})來對編碼單元CU(t0)執行多重假設運動補償，更具體地說，利用複數個其他編碼單元之複數個像素值的一線性組合來做為該編碼單元的預測像素值(例如無需使用索引值i的預測像素值Ψp)。類似地，預測像素值Ψp可表示如下：
實際上，複數個模式另可包含分別對應於複數個運動區塊尺寸(motion block size)(例如，16x16、32x32等)的一些略過模式(skip mode)。依據此實施例，符號A可用來代表包含至少一部份(例如，部份或是全部)的已編碼區塊CBL的一次編碼/編碼單元，符號D可用來代表包含至少一部份(例如，部份或是全部)的已編碼區塊CBUL的一次編碼/編碼單元，符號B可用來代表包含至少一部份(例如，部份或是全部)的已編碼區塊CBU的一次編碼/編碼單元，以及符號CSIZE(例如C16、C32等)可用來代表包含至少一部份(例如，部份或是全部)的已編碼區塊CBUR的一次編碼/編碼單元，其中符號CSIZE的下標值(suffis)SIZE代表編碼單元CU(t0)(例如，正在處理的區塊，而在第6A圖至第6B圖中，標示為「處理中的區塊」)的尺寸。舉例來說，在正在處理的區塊包含32x32像素的情形下，次編碼/編碼單元CSIZE可為第6A圖所示之次編碼/編碼單元C32。另一個例子中，在正在處理的區塊包含16x16像素的情形下，次編碼/編碼單元CSIZE可為第6B圖所示之次編碼/編碼單元C16。因此，次編碼/編碼單元CSIZE的位置係由運動區塊尺寸而定。
依據此實施例，複數個運動向量{vk}可包含複數個次編碼/編碼單元A、B、CSIZE及D所對應之運動向量vA、vB、vC及vD中所有的運動向量，因此，此實施例的線性組合可為加權總和(hk(i,x)Ψr(x+vk))與包含運動向量vA、vB、vC及vD的複數個運動向量{vk}的組合，簡言之，預測像素值Ψp可表示如下：Ψp=Weighted_Sum(Ψr(vA),Ψr(vB),Ψr(vC),Ψr(vD))；其中符號Weighted_Sum代表上述所揭示的情形中的加權總和。
依據第6A圖至第6B圖所示之實施例的一個變形，預處理模組利用該複數個像素值的一平均值來做為該特定次編碼單元之預測像素值，其表示上述之線性組合可視為該平均值，在此情形下，複數個加權參數{hk(i,x)}中的任兩個係為彼此相等，簡言之，預測像素值Ψp可表示如下：Ψp=Average(Ψr(vA),Ψr(vB),Ψr(vC),Ψr(vD))；其中符號Average代表於此情形下的平均值。相似的描述在此不再贅述。
依據本發明之複數個不同實施例，第7A圖至第7B圖分別說明了與第2圖所示之方法910相關的複數個時間(temporal)與空間(spatial)運動向量。為使更易於理解，複數個已編碼區塊CBL、CBUL、CBU以及CBUR可視為分別等同於第3圖所示之複數個已編碼區塊，此外，第i個次區塊bi係圖示為特定次編碼單元SubCU(t0)的一個範例。
於第7A圖所示之實施例中，步驟912所提及之複數個運動向量{vk}可包含相對於包圍特定次編碼單元SubCU(t0)(例如第i個次區塊bi)的一視窗(window)中一個或複數個時間運動向量{vT,k}，其中該視窗可具有一預定尺寸。於第7B圖所示之實施例中，步驟912所提及之複數個運動向量{vk}可包含一個或複數個空間運動向量{vS,k}(例如，第7B圖所示之已編碼區塊CBU的空間運動向量)。此外，依據第7A圖至第7B圖所示之實施例中的複數個變形，步驟912所提及之複數個運動向量{vk}可包含複數個時間運動向量{vT,k}以及複數個空間運動向量{vS,k}。另外，相似的敘述在此不再贅述。
依據本發明之複數個實施例，第8A圖至第8C圖說明了用以取得與第2圖所示之方法910相關的運動資訊的複數個範例來源。為使更易於理解，複數個已編碼區塊CBL、CBU、CBUR以及CBUL可視為分別等同於第3圖所示之複數個已編碼區塊，此外，第i個次區塊bi係圖示為特定次編碼單元SubCU(t0)的一個範例。
請參閱第8A圖，上文所揭露之複數個時間運動向量{vT,k}可包含 有一般由另一圖框的一共位(co-located)次編碼單元而得的時間運動向量，例如第8A圖所示之相對於第i個次區塊bi的共位次區塊T，因此，時間運動向量可視為一共位運動向量。請參閱第8B圖，上文所揭露之複數個空間運動向量{vS,k}可包含複數個次編碼單元A、B、C、D、E、F及Z之運動向量vA、vB、vC、vD、vE、vF及vZ中至少一部份(例如，部份或全部)的運動向量。
因此，步驟914所提及之線性組合可為上述所揭示的加權總和(hk(i,x)Ψr(x+vk))與同時包含時間運動向量及運動向量vA、vB、vC、vD、vE、vF及/或vZ的複數個運動向量{vk}的組合。舉例來說，在複數個運動向量{vk}包含時間運動向量以及複數個運動向量vA、vB、vC、vD、vE、vF及vZ的情形下，預測像素值Ψp可表示如下： 其中符號Weighted_Sum代表上述所揭示的情形中的加權總和。此外，針對此一實施例，相似的描述在此不再贅述。
依據第8A圖至第8B圖所示之實施例的一個變形，預處理模組利用該複數個像素值的一平均值來做為該特定次編碼單元之預測像素值，其表示步驟914所提及之線性組合可視為該平均值，在此情形下，複數個加權參數{hk(i,x)}中的任兩個係為彼此相等，簡言之，預測像素值Ψp可表示如下： 其中符號Average代表於此情形下的平均值。相似的敘述在此不再贅述。
請參閱第8C圖，上文所揭露之複數個時間運動向量{vT,k}可包含上文所揭露之時間運動向量以及由附近另一圖框的複數個共位次編碼單元(例如，相鄰於具有時間運動向量的次區塊T的複數個次編碼單元， 亦即第8C圖所示之次編碼區塊TUL、TU、TUR、TU、TR、TDL、TD及TDR)所分別取得的複數個其他時間運動向量、、、、、、及。此外，上文所揭露之複數個空間運動向量{vS,k}可包含如第8B圖所示之複數個次編碼單元A、B、C、D、E、F及Z之運動向量vA、vB、vC、vD、vE、vF及vZ中至少一部份(例如，部份或全部)的運動向量。
因此，步驟914所提及之線性組合可為上述所揭示的加權總和(hk(i,x)Ψr(x+vK))與同時包含時間運動向量、、、、、、、及以及運動向量vA、vB、vC、vD、vE、vF及/或vZ的複數個運動向量{vk}的組合。舉例來說，在複數個運動向量{vk}包含複數個時間運動向量、、、、、、、及以及複數個運動向量vA、vB、vC、vD、vE、vF及vZ的情形下，預測像素值Ψp可表示如下： 其中符號Weighted_Sum代表上述所揭示的情形中的加權總和。此外，相似的敘述在此不再贅述。
依據第8C圖所示之實施例的一個變形，預處理模組利用該複數個像素值的一平均值來做為該特定次編碼單元之預測像素值，其表示步驟914所提及之線性組合可視為該平均值，在此情形下，複數個加權參數{hk(i,x)}中的任兩個係為彼此相等，簡言之，預測像素值Ψp可表示如下： 其中符號Average代表於此情形下的平均值。相似的敘述在此不再贅述。
依據本發明之一實施例(例如上文所揭示之任一實施例/變形)，預 處理模組可由複數個運動向量集合(其中，運動向量集合中的運動向量可視為候選運動向量(candidate motion vector))中動態地選擇一運動向量集合，以及利用所選擇之運動向量集合來做為複數個運動向量{vk}，更具體地說，預處理模組由複數個運動向量集合中動態地選擇上述之運動向量集合，以及依據一顯旗標(explicit flag)以利用所選擇之運動向量集合來做為步驟912所提及之該複數個其他已編碼單元的運動資訊，並利用所選擇之運動向量集合得到該特定次編碼單元的預測像素值。舉例來說，該複數個運動向量集合可包含一第一運動向量集合(例如，上文所揭露之複數個時間運動向量{vT,k})，以及另可包含一第二運動向量集合(例如，上文所揭露之複數個空間運動向量{vS,k})。實際上，預處理模組可依據一旗標(例如，一顯旗標)所動態指出之被選擇的運動向量集合來執行多重假設預測。相似的敘述在此不再贅述。
依據本發明之另一實施例(例如上文所揭示之任一實施例/變形)，預處理模組可利用執行運動估計來取得編碼單元CU(t0)的至少一運動向量，用以進行率失真最佳化(rate-distortion optimization)，舉例來說，在步驟912中，預處理模組利用執行運動估計來取得複數個運動向量{vk}中的至少一部份以供特定次編碼單元SubCU(t0)進行多重假設運動補償。此外，於步驟914中，預處理模組另可利用與複數個運動向量{vk}相關的複數個次編碼/編碼單元之複數個像素值{Ψr}的一線性組合來做為特定次編碼單元SubCU(t0)的預測像素值Ψp。舉例來說，在具有預測像素值Ψp的特定預測像素處於位置x(例如一個指向此一位置的向量，比方說在目前圖框F(t0)影像平面中的一個二維向量)的情形下，預測像素值Ψp可改寫為Ψp(x)，以及預測像素值Ψp(x)可表示為： 其中索引值k可於數值集合K中變動，而符號hk(x)則代表一個與索引值k相關的加權參數，以及估測運動向量(estimated motion vector)v0係為 在運動估計中所估測出來的運動向量，此外，符號hk(x)則代表一個與估測運動向量v0之下標值0相關的加權參數。
在上述之率失真最佳化的期間，預處理模組可計算出失真指標(distortion indicator)IDIST，其中該失真指標一般而言係代表在相對於估測運動向量v0的一可能狀態(例如，長度與角度)進行多重假設預測之後，特定次編碼單元SubCU(t0)的原始部份影像(original parital image)與特定次編碼單元SubCU(t0)的重建部份影像(reconstructed parital image)之間的差異。舉例來說，失真指標IDIST與其相關的運動向量差量(motion vector difference，MVD)可表示為： ；以及 其中符號ΨREAL(x)代表正在處理之目前像素的實際像素值，以及符號MVP代表預測的運動向量(motion vector predictor，MVP)。更具體地說，於上述兩個方程式中，用來表示失真指標IDIST之第一個方程式可重新整理為： 其中ΓREAL(x)=(ΨREAL(x)-(hk(x)Ψr(x+vk)))/h0(x)。在上述方程式中，ΓREAL(x)項與(ΨREAL(x)-(hk(x)Ψr(x+vk)))項係獨立於估測運動向量v0，因此，依據本實施例，上述幾項之中的至少一項(例如，ΓREAL(x)項及/或(ΨREAL(x)-(hk(x)Ψr(x+vk)))項)可事先被計算出並暫存之以供存取，用以增加裝置100的處理速度。
依據此實施例，預處理模組可從估測運動向量v0的其他可能的狀態中，找出最小拉格朗日函數(Lagrange function)之失真指標所對應的最佳狀 態以及找出用以編碼運動向量差量的複數個位元，來將估測運動向量v0最佳化。因此，此實施例之線性組合可為加權總和(hk(x)Ψr(x+vk))+h0(x)Ψr(x+v0)與已取得的估測運動向量v0，以及預處理模組可利用加權總和(hk(x)Ψr(x+vk))+h0(x)Ψr(x+v0)來做為特定次編碼單元SubCU(t0)的預測像素值Ψp。相似的敘述在此不再贅述。
依據本發明的一實施例，第9圖說明了與第2圖所示之方法910相關的實施細節，其中預處理模組可執行一可變分割(variable partition)多重假設預測，更具體地說，預處理模組可適應性地因應至少一鄰近編碼單元之分割來決定編碼單元CU(t0)之分割。另外，為使更易於理解，複數個已編碼區塊CBL、CBUL、CBU以及CBUR可視為分別等同於第3圖所示之複數個已編碼區塊。
依據此實施例，於步驟912中，預處理模組可依據至少一鄰近編碼單元(例如，已編碼區塊CBL、CBUL、CBU及CBUR中的一個或更多個已編碼區塊)來將編碼單元CU(t0)(例如，正在處理中的區塊，其在第9圖中係標示為「處理中的區塊」)分割為複數個次編碼單元{SubCU(t0)}。舉例來說，複數個次編碼單元{SubCU(t0)}可包含複數個次區塊b11、b12、b13、b21、b22、b23、b31、b32、b33、b41、b42以及b43，其大小係對應於複數個鄰近已編碼區塊(例如，已編碼區塊CBL與CBU)之分割，更具體地說，其大小係對應於該複數個鄰近已編碼區塊中一些次區塊的相關尺寸。在第9圖所示的情形下，該複數個鄰近已編碼區塊的該複數個次區塊係與正在處理的區塊相鄰，其中該複數個次區塊係分別以不同的陰影型式來表示。相似的敘述在此不再贅述。
依據本發明的另一實施例，第10圖說明了與第2圖所示之方法910相關的實施細節，其中預處理模組可適應性地依據至少一鄰近編碼單元之內容來決定複數個混合權重(blending weight)(例如，上文所揭露之複數個加權參數{hk(i,x)})。為使更易於理解，複數個已編碼區塊CBL、CBUL、CBU 以及CBUR可視為分別等同於第3圖所示之複數個已編碼區塊，此外，次區塊SB係圖示為特定次編碼單元SubCU(t0)的一個範例。
舉例來說，複數個運動向量{vk}可包含複數個次編碼單元A、B及C的運動向量vA、vB及vC，其中次編碼單元A係屬於左半部已編碼區塊CBL，以及複數個次編碼單元B與C係屬於上半部已編碼的區塊CBU。在產生加權總和(hk(x)Ψr(x+vk))(例如，在第10圖所示之情形下，則為加權總和Weighted_Sum(Ψr(vA),Ψr(vB),Ψr(vC)))的處理過程中，當次編碼單元B與C為複數個紋理(texture)次編碼單元(例如，複數個紋理次區塊)以及次編碼單元A為非紋理(non-texture)次編碼單元(例如，非紋理次區塊)時，預處理模組可適應性地決定使與次編碼單元B與C之複數個運動向量vB及vC相關的複數個加權參數hB(i,x)及hB(i,x)，分別大於與次編碼單元A之運動向量vA相關的加權參數hA(i,x)。相似的敘述在此不再贅述。
依據本發明的一實施例，第11圖說明了與第2圖所示之方法910相關的實施細節。依據此實施例，預處理模組仍將編碼單元CU(t0)(例如，正在處理的編碼單元)分割為複數個次編碼單元(例如複數個次編碼單元{SubCU(t0)})以及對步驟912之複數個次編碼單元{SubCU(t0)}中的每一個次編碼單元執行預測。然而，在取得上述複數個運動向量{vk}的運動資訊時/前，預處理模組可指定(designate)一運動向量給每一次編碼單元，使其之後可被一個或複數個其他次編碼/編碼單元所參考。只要編碼器與解碼器雙方同意並遵從，指定運動向量之規則可任意設定。此外，用以指定運動向量的一些預定規則包含：H.264所定義的預測運動向量(motion vector predictor)、H.264所定義但具有運動向量縮放(motion vector scaling)的預測運動向量、由左方區塊來填補(padding)、由上方區塊來填補，以及由左方或上方區塊來填補。依據由左方或上方區塊來填補的一實施例，預處理模組利用另一編碼單元(除了正在處理的編碼單元CU(t0)之外)的一次編碼單元之運動向量(例如，相鄰於編碼單元CU(t0)的一相鄰編碼單元CUADJ(t0)的一已編碼次編碼單元)來指定 一運動向量，更具體地說，對於特定次編碼單元SubCU(to)而言，該其他編碼單元(例如，編碼單元CUADJ(to))之該次編碼單元係為在該其他編碼單元內最靠近的次編碼單元，以及預處理模組可利用於該其他編碼單元(例如，編碼單元CUADJ(to))內最靠近的次編碼單元之運動向量來做為指定給特定次編碼單元SubCU(to)的運動向量。所指定給一編碼單元或一次編碼單元的運動向量係主要用來做為複數個其他編碼單元或次編碼單元的一參考運動向量，而無需應用於運動預測。
如第11圖所示，對於編碼單元CU(t0)(例如正在處理的區塊(在第11圖中，標示為「處理中的區塊」))而言，與此實施例相關的複數個相鄰編碼單元{CUADJ(to)}可包含左半部已編碼區塊CBL、上半部已編碼區塊CBU、右上部已編碼區塊CBUR以及左上部已編碼區塊CBUL的至少一部分，其中於複數個已編碼區塊CBL、CBU、CBUR以及CBUL中的複數個次編碼單元可視為複數個次區塊。為使更易於理解，位於左半部已編碼區塊CBL中複數個次編碼單元的最右一欄的複數個運動向量y1、y2、y3、y4、y5、y6、y7及y8係分別被標示於複數個次編碼單元的最右一欄之上；同樣地，位於上半部已編碼區塊CBU中複數個次編碼單元的最下一列的複數個運動向量x1、x2、x3、x4、x5、x6、x7及x8係分別被標示於複數個次編碼單元的最下一列之上。此外，位於左上部已編碼區塊CBUL中右下方的次編碼單元之運動向量d以及位於右上部已編碼區塊CBUR中左下方的次編碼單元之運動向量x9係皆分別被標示於其上。
依據此實施例，預處理模組接收包含複數個次編碼單元{SubCU(t0)}的編碼單元CU(t0)以及分析(parse)編碼單元CU(t0)的資料，並依據一預定規則來指定一參考運動向量予複數個次編碼單元{SubCU(t0)}中的次編碼單元SubCU(t0)，其中該參考運動向量係用以做為至少一其他次編碼單元的參考，而並不用於做為特定次編碼單元SubCU(t0)的運動向量預測之用。當複數個參考運動向量做為參考之用時，預處理模組可迅速地操作，而無需等 待任何關於特定次編碼單元SubCU(t0)之實際運動向量的複雜計算的完成。實際上，預處理模組可指定此運動向量(亦即上述的參考運動向量)做為一鄰近編碼單元中至少一部份的運動向量，更具體地說，該鄰近編碼單元中的該至少一部份可為該鄰近編碼單元中最靠近該特定次編碼單元的那一部份。
舉例來說，假設特定次編碼單元SubCU(t0)代表正在處理的區塊(在第11圖中，標示為「處理中的區塊」)中複數個次區塊的某一列內的第j個次區塊，其中j可在1到8之間變動。在一第一指定規則(例如，「垂直指定」(vertical designation))中，預處理模組可利用在上半部已編碼區塊CBU內最靠近的次編碼單元之運動向量xj來做為特定次編碼單元SubCU(t0)的該參考運動向量。
在另一個例子，假設特定次編碼單元SubCU(t0)代表正在處理的區塊(在第11圖中，標示為「處理中的區塊」)中複數個次區塊的某一欄內的第j個次區塊，其中j可在1到8之間變動。在一第二指定規則(例如，「水平指定」(horizontal designation))中，預處理模組可利用在左半部已編碼區塊CBL內最靠近的次編碼單元之運動向量yj來做為特定次編碼單元SubCU(t0)的該參考運動向量。
在另一個例子，一第三指定規則(例如，「混合指定」(hybrid designation))可被選取以決定該參考運動向量。假設特定次編碼單元SubCU(t0)代表正在處理的區塊(在第11圖中，標示為「處理中的區塊」)中複數個次區塊的第4列/第8列內的第j個次區塊，其中j可在1到8之間變動。請參閱第11圖，如圖中指向複數個次區塊的第4列/第8列內的第j個次區塊之箭頭所示，預處理模組可利用在上半部已編碼區塊CBU內最靠近的次編碼單元之運動向量xj來做為特定次編碼單元SubCU(t0)的該參考運動向量。此外，假設特定次編碼單元SubCU(t0)代表正在處理的區塊(在第11圖中，標示為「處理中的區塊」)中複數個次區塊的第4欄/第8欄內的第j個次區塊，其中j可在1到7(除了4以外)之間變動。請參閱第11圖，如圖中指向複數個次區 塊的第4欄/第8欄內的第j個次區塊之箭頭所示，預處理模組可利用在左半部已編碼區塊CBL內最靠近的次編碼單元之運動向量yj來做為特定次編碼單元SubCU(t0)的該參考運動向量。於此實施例中，位於編碼單元CU(t0)內的複數個剩餘次編碼單元的複數個參考運動向量可利用上文所揭示之任一實施例/變形中相同或相似的方法來得到。相似的敘述在此不再贅述。
請注意，在一些實施例中(例如，上述實施例之複數個變形)，預處理模組可利用一旗標來控制上述之操作，更具體地說，利用明確地傳送一旗標來控制上述之操作。舉例來說，依據複數個實施例之一所實作出的一編碼器可傳送一旗標來指出「垂直指定」還是「水平指定」(甚至是「混合指定」)之指定規則需被採用，因此，藉由接收挾帶該旗標的位元流(bitstream)，相關的解碼器便可被通知需採用哪一個指定規則。
此外，在一些實施例中，上述之不同的運動向量指定方法(例如，「垂直指定」與「水平指定」，甚至是「混合指定」)可用於執行局部(local)運動向量之推導。舉例來說，在應用「垂直指定」的情形下，複數個次編碼單元中每一列的複數個運動向量可分別由位於上半部已編碼區塊CBU內相對應的複數個位置來推導出(例如，位於上半部已編碼區塊CBU內最靠近的次編碼單元)。
本發明的優點之一在於本發明之方法與裝置可適當地執行局部多重假設預測，更具體地說，可有效率地對正在處理中的編碼單元之次編碼單元執行多重假設運動補償，因此，利用本發明之方法與裝置來執行運動向量預測操作與多重假設運動補償操作，可避免產生如低編碼效率等習知問題。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
F(t0)、F(t0-1)、F(t0-2)、F(t0-3)‧‧‧圖框
CU(t0)、CU(t0-1)‧‧‧編碼單元

Claims (39)

  1. 一種局部多重假設預測的執行方法，用於一編碼單元的視訊編碼，該局部多重假設預測的執行方法包含有：將該編碼單元分割成複數個次編碼單元；以及對該複數個次編碼單元進行處理，其中對該複數個次編碼單元進行處理的步驟包含：取得一第一已編碼單元集合之一運動資訊，其中該第一已編碼單元集合中之已編碼單元已進行過運動補償，以及該運動資訊包含一第一運動向量與一第二運動向量，該第一運動向量與該第二運動向量對應於該編碼單元所在的一目前圖框中之其他編碼單元之複數個次編碼單元；於該第一已編碼單元集合之該運動資訊中取得複數個像素值；利用該複數個像素值的一線性組合來做為該複數個次編碼單元之一特定次編碼單元的一預測像素值；以及利用一第二已編碼單元集合之一運動資訊來得到該編碼單元中另一次編碼單元的一預測像素值，其中該第二已編碼單元集合具有不包含於該第一已編碼單元集合中的至少一已編碼單元。
  2. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中利用該複數個像素值的該線性組合來做為該特定次編碼單元的該預測像素值的步驟包含：利用該複數個像素值的一加權總和來做為該特定次編碼單元的該預測像素值。
  3. 如申請專利範圍第2項所述之局部多重假設預測的執行方法，其中利用該 複數個像素值的該線性組合來做為該特定次編碼單元的該預測像素值的步驟另包含：對該複數個像素值進行對一目前像素的一實際像素值而言的最佳化維納濾波處理，用以調整該複數個像素值各自的加權參數並產生該加權總和。
  4. 如申請專利範圍第2項所述之局部多重假設預測的執行方法，其中利用該複數個像素值的該線性組合來做為該特定次編碼單元的該預測像素值的步驟另包含：依據至少一鄰近編碼單元的內容來決定該複數個像素值各自的加權參數，以產生該加權總和。
  5. 如申請專利範圍第2項所述之局部多重假設預測的執行方法，其中利用該複數個像素值的該線性組合來做為該特定次編碼單元的該預測像素值的步驟另包含：依據該第一已編碼單元集合的內容來決定該複數個像素值各自的加權參數，以產生該加權總和。
  6. 如申請專利範圍第2項所述之局部多重假設預測的執行方法，其中利用該複數個像素值的該線性組合來做為該特定次編碼單元的該預測像素值的步驟另包含：利用離線訓練來決定該複數個像素值各自的加權參數，以產生該加權總和。
  7. 如申請專利範圍第2項所述之局部多重假設預測的執行方法，其中利用該複數個像素值的該線性組合來做為該特定次編碼單元的該預測像素值的 步驟另包含：利用線上訓練來決定該複數個像素值各自的加權參數，以產生該加權總和。
  8. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中該第一已編碼單元集合之該運動資訊包含一運動向量、一參考圖框索引以及一預測方向之一或其組合。
  9. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中該第一已編碼單元集合之該運動資訊更包含一第三運動向量，該第三運動向量對應於位於該編碼單元所在的該目前圖框之外的另一圖框內之另一編碼單元之一次編碼單元。
  10. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中對該複數個次編碼單元進行處理的步驟另包含：捨棄至少一極端運動向量來對一運動向量集合進行篩選，用以選擇該運動向量集合的一剩餘部份來做為該第一已編碼單元集合之該運動資訊。
  11. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中對該複數個次編碼單元進行處理的步驟另包含：由複數個運動向量集合中動態地選擇一運動向量集合來做為該第一已編碼單元集合之該運動資訊；以及利用所選擇之該運動向量集合來得到該特定次編碼單元的該預測像素值。
  12. 如申請專利範圍第11項所述之局部多重假設預測的執行方法，其中該複 數個運動向量集合包含由時間運動向量所構成的一第一運動向量集合，以及另包含由空間運動向量所構成的一第二運動向量集合。
  13. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中對該複數個次編碼單元進行處理的步驟另包含：由複數個運動向量集合中動態地選擇一運動向量集合；以及依據一顯旗標，利用所選擇之該運動向量集合來做為該第一已編碼單元集合之該運動資訊。
  14. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中將該編碼單元分割成該複數個次編碼單元的步驟包含：決定該特定次編碼單元的大小等於該編碼單元進行視訊編碼的一轉換尺寸。
  15. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中將該編碼單元分割成該複數個次編碼單元的步驟包含：依據至少一鄰近編碼單元的至少一模式，來將該編碼單元分割成該複數個次編碼單元。
  16. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中將該編碼單元分割成該複數個次編碼單元的步驟包含：依據至少一鄰近編碼單元的內容/分割，來將該編碼單元分割成該複數個次編碼單元。
  17. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中該複數個已編碼單元包含至少一空間上已編碼的次編碼單元/編碼單元及/或至 少一時間上已編碼的次編碼單元/編碼單元。
  18. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中對該複數個次編碼單元進行處理的步驟另包含：執行運動估計來取得該編碼單元的至少一運動向量以供進行率失真最佳化，用以得到該特定次編碼單元的該預測像素值。
  19. 如申請專利範圍第1項所述之局部多重假設預測的執行方法，其中對該複數個次編碼單元進行處理的步驟另包含：當取得該運動資訊時，指定一參考運動向量給該次編碼單元。
  20. 如申請專利範圍第19項所述之局部多重假設預測的執行方法，其中指定該參考運動向量的步驟包含：利用另一編碼單元中一次編碼單元之一運動向量來指定該參考運動向量。
  21. 如申請專利範圍第20項所述之局部多重假設預測的執行方法，其中該另一編碼單元係為與該編碼單元相鄰的一相鄰編碼單元。
  22. 如申請專利範圍第20項所述之局部多重假設預測的執行方法，另包含：利用在該另一編碼單元中一最靠近的次編碼單元的一運動向量，來做為指定給該特定次編碼單元的該參考運動向量。
  23. 一種局部多重假設預測的執行裝置，用於一編碼單元的視訊編碼，該局部多重假設預測的執行裝置包含有：一處理電路，用以對該編碼單元進行視訊編碼，其中該處理電路包含：一預處理模組，用以將該編碼單元分割成複數個次編碼單元並處理該 複數個次編碼單元，其中該預處理模組會取得一第一已編碼單元集合的一運動資訊，其中該第一已編碼單元集合中之已編碼單元已進行過運動補償，該運動資訊包含一第一運動向量與一第二運動向量，該第一運動向量與該第二運動向量對應於該編碼單元所在的一目前圖框中之其他編碼單元之複數個次編碼單元，並依據該運動資訊對該複數個次編碼單元中之一特定次編碼單元執行多重假設運動補償，以及該預處理模組利用由該第一已編碼單元集合之該運動資訊中所取得的複數個像素值的一線性組合來做為該特定次編碼單元的一預測像素值；以及至少一編碼模組，用以依據由該預處理模組執行之多重假設運動補償來對該編碼單元進行視訊編碼；其中該預處理模組利用一第二已編碼單元集合之一運動資訊來得到該編碼單元中的另一次編碼單元的一預測像素值，其中該第二已編碼單元集合具有不包含於該第一已編碼單元集合中的至少一已編碼單元，該第二已編碼單元集合中之已編碼單元為過運動補償後之編碼單元。
  24. 如申請專利範圍第23項所述之局部多重假設預測的執行裝置，其中該預處理模組利用該複數個像素值的一加權總和來做為該特定次編碼單元的該預測像素值。
  25. 如申請專利範圍第24項所述之局部多重假設預測的執行裝置，其中該預處理模組對該複數個像素值進行對一目前像素的一實際像素值而言的最佳化維納濾波處理，用以調整該複數個像素值各自的加權參數並產生該加權總和。
  26. 如申請專利範圍第24項所述之局部多重假設預測的執行裝置，其中該預 處理模組依據至少一鄰近編碼單元的內容來決定該複數個像素值各自的加權參數，以產生該加權總和。
  27. 如申請專利範圍第24項所述之局部多重假設預測的執行裝置，其中該預處理模組依據該第一已編碼單元集合的內容來決定該複數個像素值各自的加權參數，以產生該加權總和。
  28. 如申請專利範圍第24項所述之局部多重假設預測的執行裝置，其中該預處理模組利用離線訓練來決定該複數個像素值各自的加權參數，以產生該加權總和。
  29. 如申請專利範圍第24項所述之局部多重假設預測的執行裝置，其中該預處理模組利用線上訓練來決定該複數個像素值各自的加權參數，以產生該加權總和。
  30. 如申請專利範圍第23項所述之局部多重假設預測的執行裝置，其中該預處理模組捨棄至少一極端運動向量來對一運動向量集合進行篩選，用以選擇該運動向量集合的一剩餘部份來做為該第一已編碼單元集合之該運動資訊。
  31. 如申請專利範圍第23項所述之局部多重假設預測的執行裝置，其中該預處理模組由複數個運動向量集合中動態地選擇一運動向量集合來做為該第一已編碼單元集合之該運動資訊，以及利用所選擇之該運動向量集合來得到該特定次編碼單元的該預測像素值。
  32. 如申請專利範圍第31項所述之局部多重假設預測的執行裝置，其中該複數個運動向量集合包含由時間運動向量所構成的一第一運動向量集合，以 及另包含由空間運動向量所構成的一第二運動向量集合。
  33. 如申請專利範圍第23項所述之局部多重假設預測的執行裝置，其中該預處理模組由複數個運動向量集合中動態地選擇一運動向量集合，以及依據一顯旗標而利用所選擇之該運動向量集合來做為該第一已編碼單元集合之該運動資訊。
  34. 如申請專利範圍第23項所述之局部多重假設預測的執行裝置，其中該運動資訊包含由單一次編碼單元/編碼單元所得到的複數個運動向量。
  35. 如申請專利範圍第23項所述之局部多重假設預測的執行裝置，其中該預處理模組決定該特定次編碼單元的大小等於該編碼單元進行視訊編碼的一轉換尺寸。
  36. 如申請專利範圍第23項所述之局部多重假設預測的執行裝置，其中該預處理模組依據至少一鄰近編碼單元的至少一模式、內容或分割，來將該編碼單元分割成該複數個次編碼單元。
  37. 如申請專利範圍第23項所述之局部多重假設預測的執行裝置，其中該第一已編碼單元集合之該運動資訊更包含一第三運動向量，該第三運動向量對應於位於該編碼單元所在的該目前圖框之外的另一圖框內之另一編碼單元之一次編碼單元。
  38. 一種局部多重假設預測的執行方法，用於編碼單元的視訊編碼，該局部多重假設預測的執行方法包含有：將該編碼單元分割成複數個次編碼單元；以及對該複數個次編碼單元進行處理，其中對該複數個次編碼單元進行處理的 步驟包含：取得複數個已編碼單元的一運動資訊以供該複數個次編碼單元中的一特定次編碼單元執行多重假設運動補償之用，其中該複數個已編碼單元為複數個運動補償後之編碼單元，以及該運動資訊包含一第一運動向量與一第二運動向量，該第一運動向量與該第二運動向量對應於該編碼單元所在的一目前圖框中之其他編碼單元之複數個次編碼單元；利用由該複數個已編碼單元的該運動資訊中所取得的複數個像素值的一加權總和來做為該特定次編碼單元的一預測像素值；以及利用由該複數個已編碼單元的該運動資訊所得到的該複數個像素值的另一不同的加權總和來得到該編碼單元中另一次編碼單元的一預測像素值。
  39. 如申請專利範圍第38項所述之局部多重假設預測的執行方法，其中該複數個已編碼單元之該運動資訊更包含一第三運動向量，該第三運動向量對應於位於該編碼單元所在的該目前圖框之外的另一圖框內之另一編碼單元之一次編碼單元。
TW103141274A 2010-04-14 2011-04-06 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置 TWI514855B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US32394810P 2010-04-14 2010-04-14
US13/080,668 US8879620B2 (en) 2010-04-14 2011-04-06 Method for performing localized multihypothesis prediction during video coding of a coding unit, and associated apparatus

Publications (2)

Publication Number Publication Date
TW201511524A TW201511524A (zh) 2015-03-16
TWI514855B true TWI514855B (zh) 2015-12-21

Family

ID=44788180

Family Applications (4)

Application Number Title Priority Date Filing Date
TW103141276A TWI520586B (zh) 2010-04-14 2011-04-06 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
TW100111824A TWI469645B (zh) 2010-04-14 2011-04-06 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
TW103141274A TWI514855B (zh) 2010-04-14 2011-04-06 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
TW100112709A TWI445411B (zh) 2010-04-14 2011-04-12 在譯碼單元之視頻譯碼中執行局部運動向量推導之方法與相應裝置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW103141276A TWI520586B (zh) 2010-04-14 2011-04-06 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
TW100111824A TWI469645B (zh) 2010-04-14 2011-04-06 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW100112709A TWI445411B (zh) 2010-04-14 2011-04-12 在譯碼單元之視頻譯碼中執行局部運動向量推導之方法與相應裝置

Country Status (11)

Country Link
US (3) US8837592B2 (zh)
EP (2) EP2559250B1 (zh)
JP (1) JP5211263B2 (zh)
KR (1) KR101452921B1 (zh)
CN (5) CN102223542A (zh)
AU (1) AU2011240486B2 (zh)
BR (1) BR112012025275B8 (zh)
IL (2) IL222337A (zh)
RU (1) RU2530318C2 (zh)
TW (4) TWI520586B (zh)
WO (1) WO2011127828A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971400B2 (en) * 2010-04-14 2015-03-03 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US9118929B2 (en) 2010-04-14 2015-08-25 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
KR102086145B1 (ko) * 2010-12-13 2020-03-09 한국전자통신연구원 인트라 예측 방법 및 그 장치
WO2012081895A1 (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
US9955155B2 (en) * 2010-12-31 2018-04-24 Electronics And Telecommunications Research Institute Method for encoding video information and method for decoding video information, and apparatus using same
JP5478740B2 (ja) 2011-01-12 2014-04-23 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9769472B2 (en) * 2011-08-17 2017-09-19 Mediatek Singapore Pte. Ltd. Method and apparatus for Intra prediction using non-square blocks
US9736489B2 (en) 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9386305B2 (en) * 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
US20130332701A1 (en) * 2011-12-23 2013-12-12 Jayashankar Bharadwaj Apparatus and method for selecting elements of a vector computation
WO2013107028A1 (en) * 2012-01-19 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of amvp simplification
PL2805511T3 (pl) 2012-01-20 2019-09-30 Sun Patent Trust Sposoby i urządzenie do kodowania i dekodowania wideo przy użyciu predykcji wektora ruchu w czasie
ES2865101T3 (es) * 2012-02-03 2021-10-15 Sun Patent Trust Procedimiento de codificación de imágenes, procedimiento de decodificación de imágenes, dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes y dispositivo de codificación/decodificación de imágenes
WO2013132792A1 (ja) 2012-03-06 2013-09-12 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
US9544612B2 (en) 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
CA2924501C (en) * 2013-11-27 2021-06-22 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
CN111193929B (zh) * 2013-12-16 2022-04-12 浙江大学 一种前向双假设编码图像块的编解码方法和装置
KR101789954B1 (ko) * 2013-12-27 2017-10-25 인텔 코포레이션 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
JP6482191B2 (ja) * 2014-06-12 2019-03-13 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
GB2531001B (en) * 2014-10-06 2019-06-05 Canon Kk Method and apparatus for vector encoding in video coding and decoding
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
TWI610558B (zh) * 2016-05-26 2018-01-01 晨星半導體股份有限公司 位元分配方法及視訊編碼裝置
CN116866593A (zh) * 2016-11-28 2023-10-10 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
WO2018128345A2 (ko) * 2017-01-04 2018-07-12 삼성전자 주식회사 복호화 방법 및 그 장치
US20190246114A1 (en) 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
US11924440B2 (en) 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
TWI700922B (zh) * 2018-04-02 2020-08-01 聯發科技股份有限公司 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
US10986343B2 (en) * 2018-04-15 2021-04-20 Arris Enterprises Llc Reducing overhead for multiple-hypothesis temporal prediction
CN112042189B (zh) * 2018-04-30 2023-07-21 寰发股份有限公司 照度补偿方法及相应的电子装置
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
TWI723430B (zh) 2018-06-19 2021-04-01 大陸商北京字節跳動網絡技術有限公司 不同精度的多個候選
KR20240008952A (ko) * 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
CN110602493B (zh) * 2018-09-19 2022-06-10 北京达佳互联信息技术有限公司 一种仿射运动补偿的交织预测的方法及设备
EP3827586A1 (en) 2018-09-19 2021-06-02 Beijing Bytedance Network Technology Co. Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
CN116527889A (zh) * 2018-09-25 2023-08-01 华为技术有限公司 一种图像预测方法和设备
CN111050164B (zh) * 2018-10-15 2022-05-17 华为技术有限公司 一种编解码的方法和装置
US11240497B2 (en) * 2018-11-15 2022-02-01 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking in a video encoder and/or video decoder
WO2020140948A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between dividing patterns
KR20210121021A (ko) 2019-01-31 2021-10-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥
CN110852500B (zh) * 2019-11-01 2023-04-07 聊城大学 一种资源受限混合流水车间优化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US20050053143A1 (en) * 2003-09-07 2005-03-10 Microsoft Corporation Motion vector block pattern coding and decoding
CN101048799A (zh) * 2004-10-25 2007-10-03 惠普开发有限公司 通过实时视频动作分析理解视频内容
US20080043843A1 (en) * 2006-08-18 2008-02-21 Fujitsu Limited Interframe prediction processor with mechanism for providing locations of reference motion vectors used in macroblock adaptive field/frame mode
TW201008289A (en) * 2008-06-25 2010-02-16 Qualcomm Inc Fragmented reference in temporal compression for video coding

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231751B (en) 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
DE69027966T2 (de) 1989-10-06 1997-02-06 Philips Electronics Nv Adaptive Schaltung zur Geisterbildauslöschung
US5134475A (en) 1990-12-11 1992-07-28 At&T Bell Laboratories Adaptive leak hdtv encoder
KR970002964B1 (ko) 1993-12-24 1997-03-13 대우전자 주식회사 영상신호의 시간축 내삽필터
EP1274252A3 (en) * 1995-08-29 2005-10-05 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JP2000512091A (ja) 1996-05-24 2000-09-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動作ベクトル処理
JP3633159B2 (ja) * 1996-12-18 2005-03-30 ソニー株式会社 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
US6532265B1 (en) 1999-03-25 2003-03-11 Imec Vzw Method and system for video compression
JP2000299864A (ja) * 1999-04-12 2000-10-24 Canon Inc 動画像処理方法
US6633677B1 (en) 1999-12-30 2003-10-14 Stmicroelectronics, Inc. Method and apparatus for processing an image in an image compression/decompression system that uses hierachical coding
US6438168B2 (en) 2000-06-27 2002-08-20 Bamboo Media Casting, Inc. Bandwidth scaling of a compressed video stream
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US20040141555A1 (en) * 2003-01-16 2004-07-22 Rault Patrick M. Method of motion vector prediction and system thereof
US7184602B2 (en) 2003-05-02 2007-02-27 Microsoft Corp. System and method for low bandwidth video streaming for face-to-face teleconferencing
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
MXPA05014211A (es) 2003-06-25 2006-05-31 Thomson Licensing Codificacion de decision en modo rapido para inter-estructuras.
KR101089738B1 (ko) 2003-08-26 2011-12-07 톰슨 라이센싱 하이브리드 인트라-인터 코딩된 블록을 인코딩하기 위한 방법 및 장치
JP3880985B2 (ja) * 2004-08-05 2007-02-14 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
JP2007142521A (ja) 2005-11-15 2007-06-07 Sharp Corp 動きベクトル算出装置および動きベクトル算出方法
CN101222627A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 一种多视点视频编解码系统以及预测向量的方法和装置
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
JP4325708B2 (ja) * 2007-07-05 2009-09-02 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
JP4786612B2 (ja) * 2007-08-14 2011-10-05 Ｋｄｄｉ株式会社 動画像符号化装置の予測動きベクトル生成装置
US8000411B2 (en) * 2008-01-04 2011-08-16 Qualcomm Incorporated Decoding scheme using multiple hypotheses about transmitted messages
JP4990927B2 (ja) 2008-03-28 2012-08-01 三星電子株式会社 動きベクトル情報の符号化／復号化方法及び装置
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US20110261882A1 (en) 2008-04-11 2011-10-27 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
CN102160384A (zh) 2008-09-24 2011-08-17 索尼公司 图像处理设备和方法
US8724697B2 (en) * 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
US8660176B2 (en) * 2008-09-26 2014-02-25 Qualcomm Incorporated Resolving geometric relationships among video data units
US8634457B2 (en) * 2008-09-26 2014-01-21 Qualcomm Incorporated Determining availability of video data units
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP4957780B2 (ja) 2009-11-20 2012-06-20 カシオ計算機株式会社 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US20050053143A1 (en) * 2003-09-07 2005-03-10 Microsoft Corporation Motion vector block pattern coding and decoding
CN101048799A (zh) * 2004-10-25 2007-10-03 惠普开发有限公司 通过实时视频动作分析理解视频内容
US20080043843A1 (en) * 2006-08-18 2008-02-21 Fujitsu Limited Interframe prediction processor with mechanism for providing locations of reference motion vectors used in macroblock adaptive field/frame mode
TW201008289A (en) * 2008-06-25 2010-02-16 Qualcomm Inc Fragmented reference in temporal compression for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Markus Flierl , Thomas Wieg and Bernd Girod, "Rate-constrained multi-hypothesis prediction for motion-compensated video compression," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 12, No. 11, pp.957-969, November 2002. *

Also Published As

Publication number Publication date
IL245480B (en) 2018-01-31
BR112012025275B8 (pt) 2021-08-24
TW201511525A (zh) 2015-03-16
TWI520586B (zh) 2016-02-01
TWI469645B (zh) 2015-01-11
BR112012025275B1 (pt) 2021-08-03
US20120027097A1 (en) 2012-02-02
BR112012025275A2 (pt) 2016-06-21
IL222337A0 (en) 2012-12-31
TW201218776A (en) 2012-05-01
AU2011240486B2 (en) 2014-02-13
RU2012141233A (ru) 2014-06-10
KR101452921B1 (ko) 2014-10-23
TW201511524A (zh) 2015-03-16
CN105791858B (zh) 2019-11-15
TW201143462A (en) 2011-12-01
EP2559250A1 (en) 2013-02-20
EP3220646A1 (en) 2017-09-20
JP5211263B2 (ja) 2013-06-12
CN102907095A (zh) 2013-01-30
CN107071472A (zh) 2017-08-18
IL222337A (en) 2016-05-31
US8879620B2 (en) 2014-11-04
CN105791858A (zh) 2016-07-20
EP2559250B1 (en) 2020-07-08
US20110255600A1 (en) 2011-10-20
TWI445411B (zh) 2014-07-11
US8891608B2 (en) 2014-11-18
CN102223542A (zh) 2011-10-19
IL245480A0 (en) 2016-06-30
EP2559250A4 (en) 2016-01-06
JP2012513179A (ja) 2012-06-07
US8837592B2 (en) 2014-09-16
WO2011127828A1 (en) 2011-10-20
KR20120126115A (ko) 2012-11-20
CN105872558A (zh) 2016-08-17
RU2530318C2 (ru) 2014-10-10
US20110255598A1 (en) 2011-10-20
AU2011240486A1 (en) 2012-10-11
CN105872558B (zh) 2019-06-07
CN102907095B (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
TWI514855B (zh) 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
JP5490823B2 (ja) 画像の系列を表すストリームを復号化する方法、画像の系列を符号化する方法及び符号化データ構造
US9118929B2 (en) Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
JP6359101B2 (ja) ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴
KR101972030B1 (ko) 오류 내성을 향상시킨 비디오 인코딩 및 디코딩
TWI492637B (zh) 在編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法以及裝置
RU2566334C2 (ru) Устройство кодирования видео, устройство декодирования видео, способ кодирования видео и способ декодирования видео
WO2010004939A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN106034235B (zh) 计算编码失真度和编码模式控制的方法及其系统
WO2015102975A2 (en) Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
KR102006443B1 (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
KR20130136525A (ko) 복잡도가 감소된 변환 단위 파티션의 방법 및 장치
KR20160106348A (ko) 비디오 부호화 방법 및 그 장치
WO2012044118A2 (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
CN105812819A (zh) 在编码单元进行视讯编码时执行混成多重假设移动补偿预测的方法以及装置
KR102183366B1 (ko) 부호화 모드 결정 방법 및 그 장치
CN117397238A (zh) 编解码方法和装置
KR20200076807A (ko) 서브블록 단위로 분할된 블록의 처리 방법 및 장치
KR20170058854A (ko) 병렬처리 부호화 환경에서 적응적 움직임 탐색영역 설정 방법 및 장치
KR20200075040A (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치