TWI492637B - 在編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法以及裝置 - Google Patents

在編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法以及裝置 Download PDF

Info

Publication number
TWI492637B
TWI492637B TW100112781A TW100112781A TWI492637B TW I492637 B TWI492637 B TW I492637B TW 100112781 A TW100112781 A TW 100112781A TW 100112781 A TW100112781 A TW 100112781A TW I492637 B TWI492637 B TW I492637B
Authority
TW
Taiwan
Prior art keywords
coding
sub
coding unit
unit
motion
Prior art date
Application number
TW100112781A
Other languages
English (en)
Other versions
TW201143465A (en
Inventor
Jian Liang Lin
Yu Pao Tsai
Shaw Min Lei
Original Assignee
Mediatek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mediatek Inc filed Critical Mediatek Inc
Publication of TW201143465A publication Critical patent/TW201143465A/zh
Application granted granted Critical
Publication of TWI492637B publication Critical patent/TWI492637B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

在編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法以 及裝置
本發明係關於移動補償之視訊處理，尤指在編碼單元(coding unit)進行視訊編碼時執行混成多重假設移動補償預測(hybrid multihypothesis motion-compensated prediction)的方法以及其相關裝置。
移動估測/補償(motion estimation/compensation)係為一種將視訊資料編碼(coding)與解碼(decoding)以進行視訊壓縮(video compression)時所使用的技術，藉由移動估測/補償的幫助，一目前畫面(current picture)可由一個或複數個參考畫面(reference picture)的部分視訊資料來加以表示，其中參考畫面可能是之前已出現的畫面，甚至是接下來會出現的畫面。一般來說，透過移動補償，目前的影像可透過之前已傳送/儲存的影像來加以合成產生，進而提升壓縮效率。此外，隨著編碼技術的進步，因應新的標準的相關設計也已被應用以更進一步提升壓縮效率。
因此，本發明的目的之一在於提供一種在編碼單元進行視訊編碼時執行混成多重假設移動補償預測技術的方法及相關裝置，用以提升視訊處理的壓縮效率。
依據本發明之實施例，其揭示一種在一編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法，包含有：處理該編碼單元中的複數個次編碼單元；以及對該複數個次編碼單元之中一部分的次編碼單元進行移動向量的推導。更具體地說，對該複數個次編碼單元之中該一部分的次編碼單元進行移動向量的推導之步驟包含有：從至少一個其他次編碼/編碼單元中推導出複數個移動向量以供該部分次編碼單元中的一特定次編碼單元進行多重假設移動補償預測之用。此外，該方法另包含：依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測，其中該依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測的步驟包含有：利用由該複數個移動向量所得的複數個像素值的一線性組合來做為該特定次編碼單元的一預測像素值。
依據本發明之實施例，其另揭示一種在一編碼單元進行視訊編碼時執行混成多重假設移動補償預測的裝置，包含有一處理電路，係用來對該編碼單元進行視訊編碼，其中該處理電路包含一預處理模組以及至少一編碼模組。該預處理模組用來處理該編碼單元中複數個次編碼單元以及對該複數個次編碼單元之中一部分的次編碼單元進行移動向量的推導。更具體地說，該預處理模組藉由至少一個其他次編碼/編碼單元來推導出複數個移動向量以供該一部分的次編碼單元中的一特定次編碼單元進行多重假設移動補償預測之用，並依據該複數個移動向量以對該特定次編碼單元進行多重假設移動 補償預測。該預處理模組利用由該複數個移動向量所得之複數個像素值的一線性組合來做為該特定次編碼單元之一預測像素值。此外，該至少一編碼模組係用以依據由該預處理模組所進行之多重移動補償預測來對該編碼單元進行視訊編碼。
依據本發明之實施例，其另揭示一種在一編碼單元進行視訊編碼時執行混成多重假設預測的方法，包含有：處理該編碼單元中的複數個次編碼單元，以及對該複數個次編碼單元之中一部分的次編碼單元進行移動向量的推導。更具體地說，對該複數個次編碼單元之中該一部分的次編碼單元進行移動向量的推導之步驟包含：藉由進行移動估測來推導出複數個移動向量以供該部分次編碼單元中的一特定次編碼單元進行多重假設移動補償預測之用。此外，該方法另包含：依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測，其中依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測的步驟包含：利用由該複數個移動向量所得的複數個像素值的一線性組合來做為該特定次編碼單元的一預測像素值。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區別元件的方式，而是以元件在功能上的差 異來作為區別的基準。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。此外，「電性連接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置電性連接於一第二裝置，則代表該第一裝置可直接連接於該第二裝置，或透過其他裝置或連接手段間接地連接至該第二裝置。
請參閱第1A圖，第1A圖為依據本發明第一實施例的一種在一編碼單元進行視訊編碼時執行混成多重假設移動補償預測的裝置100的示意圖。裝置100包含：一畫面間/畫面內預測模組(inter/intra prediction module)110(於第1A圖中，標示為「畫面間/畫面內預測」)、一運算單元(arithmetic unit)120、一變換與量化模組(transform and quantization module)130(於第1A圖中，標示為「變換與量化」)、一熵編碼電路(entropy coding circuit)140(於第1A圖中，標示為「熵編碼」)、一反變換與反量化模組(inverse transform and inverse quantization module)150(於第1A圖中，標示為「反變換與反量化」)、一重建電路(reconstruction circuit)160(於第1A圖中，標示為「重建」)、一去區塊濾波器(deblocking filter)170，以及一圖框緩衝器(frame buffer)180。請參考第1B圖，上述之畫面間/畫面內預測模組110可包含：一多重假設畫面間預測電路(multihypothesis inter prediction circuit)112(於第1B圖中，標示為「多重假設畫面間預測」)、一畫面間預測電路(inter prediction circuit)114(於第1B圖中，標示為「畫面間預測」)、一畫面內預 測電路(intra prediction circuit)116(於第1B圖中，標示為「畫面內預測」)，以及一切換電路(switching circuit)118。
依據第1A圖所示之實施例，裝置100可對一原始信號(original signal)109進行視訊編碼以產生一個挾帶編碼結果之輸出信號，例如熵編碼電路140的輸出。舉例來說，原始信號109可能是代表挾帶編碼單元之資料的視訊輸入，而熵編碼電路140的輸出可能是一輸出位元流。此外，畫面間/畫面內預測模組110係用以進行畫面間/畫面內預測，更具體地說，畫面間/畫面內預測模組110分別利用第1B圖所示的多重假設畫面間預測電路112、畫面間預測電路114，以及畫面內預測電路116來進行多重假設畫面間預測、畫面間預測及畫面內預測。
如第1A圖所示，運算單元120係用以進行一運算操作，例如對原始信號109(可能是代表挾帶該編碼單元資料的視訊輸入)與由畫面間/畫面內預測模組110所產生的預測信號119來進行相減(subtraction)操作。另外，變換與量化模組130、熵編碼電路140、反變換與反量化模組150以及重建電路160則分別用以進行變換與量化、熵編碼、反變換與反量化以及重建等操作，因此，重建電路160便會產生挾帶重建操作之結果的重建信號169，另外，去區塊濾波器170則用來對重建信號169進行去區塊濾波處理以產生挾帶去區塊視訊資料且會暫存於圖框緩衝器180的去區塊信號179，因此，畫面間/畫面內預測模組110得以從畫面緩衝器180存取一已回復信 號(restored signal)189所挾帶的去區塊視訊資料。以上所述僅供說明之需，並不侷限本發明之複數個變化形，而依據本實施例中複數個變化形，在去區塊濾波器170與其相關濾波處理操作得以省略的情形下，由重建信號169所挾帶的重建結果可暫存於圖框緩衝器180，以及畫面間/畫面內預測模組110可透過已回復信號189來存取重建結果。
請參考第1B圖，多重假設畫面間預測電路112係用以依據原始信號109與已回復信號189來進行多重假設畫面間預測以產生多重假設畫面間預測輸出113，畫面間預測電路114係用以依據原始信號109與已回復信號189來進行畫面間預測以產生畫面間預測輸出115，以及畫面內預測電路116係用以依據原始信號109與重建信號169來進行畫面內預測以產生畫面內預測輸出117，其中切換電路118則用以動態選擇多重假設畫面間預測輸出113、畫面間預測輸出115以及畫面內預測輸出117的其中之一來做為上述之預測信號119。
實際上，裝置100中至少有一部分的元件(比方說一部分或是全部的元件)可利用複數個硬體電路來實現。例如，裝置100可由一種用以對編碼單元進行視訊編碼的處理電路(processing circuit)來實現，其中該處理電路可包含一個具有畫面間/畫面內預測模組110的預處理模組(preprocessing module)，以及另可包含至少一個具有運算單元120、變換與量化模組130、熵編碼電路140、反變 換與反量化模組150、重建電路160以及去區塊濾波器170的編碼模組(coding module)。更具體地說，裝置100中至少有一個或複數個元件可由數位信號處理技術(digital signal processing technique)來實現。以上所述僅供說明之需，並不侷限本發明之複數個變化形。此外，依據本實施例的複數個變化形，裝置100中至少有一部分元件可利用至少一個程式模組(program module)來實現。舉例來說，該處理電路可能是一種執行複數個程式模組的處理器(processor)，其中執行該複數個程式模組中第一部分的程式模組的處理器能夠進行與上述預處理模組之相同或相似的操作，以及執行該複數個程式模組中第二部分的程式模組的處理器能夠進行與上述編碼模組之相同或相似的操作。
無論裝置100中至少有一部分的元件(比方說一部分或是全部的元件)是利用硬體電路還是利用至少一個程式模組來實現，裝置100皆能夠對複數個編碼單元中的每一編碼單元來進行視訊編碼，舉例來說，該複數個編碼單元可為複數個16x16巨集區塊(macroblocks，MBs)，而在另一個例子中，該複數個編碼單元可為具有一特定尺寸的複數個編碼單元，其中該特定尺寸可被預先決定並且不必等同於該複數個巨集區塊的大小。在處理至少一個影像中複數個編碼單元的一個編碼單元時，比方說如上文提及的編碼單元，也許會需要預測一個或複數個移動向量以供該編碼單元之用。此外，在編碼格式較為複雜的情形下，為了達到良好的編碼效能(如編碼或解碼效能)，建議不要耗費過多時間在主要編碼程序之前的預 處理階段中進行移動向量的計算。依據本實施例，上述預處理模組能夠將上述之編碼單元分割成複數個次編碼單元(比方說，在該編碼單元中進行複數種分割(partition)，例如正方形或非正方形分割)，以及能夠對該複數個次編碼單元之中一部分的次編碼單元進行移動向量的推導，更具體地說，預處理模組能夠從至少一個其他次編碼/編碼單元(尤指至少一個已編碼的次編碼/編碼單元)中推導出複數個移動向量以供該一部分的次編碼單元中的一特定次編碼單元進行多重假設移動補償預測之用，以及依據上述之複數個移動向量來對該特定次編碼單元進行多重假設移動補償預測，其中預處理模組會利用由上述之複數個移動向量所得的複數個像素值的一線性組合來做為該特定次編碼單元的一預測像素值。此外，上述之至少一編碼模組係用以依據預處理模組所進行之多重假設移動補償預測來對該編碼單元進行視訊編碼。
依據本發明的一實施例，第1C圖說明了第1A圖中畫面間/畫面內預測模組110之多重假設移動補償預測的範例操作。在本實施例中，一符號組F(t0-3)、F(t0-2)、F(t0-1)以及F(t0)代表複數個連續圖框(subsequent frames){F(t0)}中的一部份，其中F(t0)為一目前圖框(current frame)，目前圖框F(t0)包含複數個編碼單元{CU(t0)}，以及一編碼單元CU(t0)可包含複數個次編碼單元{SCU(t0)}，其中符號Vk可代表供該特定次編碼單元(例如第1C圖中的SCU(t0))進行多重假設移動補償預測所需之上述複數個移動向量之一。因此，上述的預處理模組會由至少一個其他次編碼/編碼單元(例如一個或 複數個次編碼/編碼單元)分別得到複數個移動向量{Vk}，其表示預處理模組利用至少一個其他次編碼/編碼單元的複數個移動向量來做為該特定次編碼單元進行多重假設移動補償預測所需的複數個移動向量{Vk}。依據本實施例，預處理模組能夠依據複數個移動向量{Vk}來對該特定次編碼單元(如第1C圖所示之次編碼單元SCU(t0))進行多重假設移動補償預測。
一般來說，預處理模組能夠利用由上述之該複數個移動向量所得的複數個像素值(例如複數個參考像素(reference pixel)中複數個參考像素值{Ψr})的一個線性組合來做為該特定次編碼單元的一預測像素值Ψp，尤指該特定次編碼單元中一特定預測像素的預測像素值Ψp。請注意，該線性組合可以是該複數個像素值的一加權總和，其表示預處理模組計算出該複數個像素值的該加權總和以得到該特定次編碼單元的該預測像素值。舉例來說，在具有預測像素值Ψp的該特定預測像素係屬於第i個次編碼單元(如第1C圖中的次編碼單元SCU(t0))且處在位置x(例如一個指向此一位置的向量，比方說在目前圖框F(t0)影像平面中的一個二維向量)的情形下，預測像素值Ψp可改寫為Ψp(i,x)，以及預測像素值Ψp(i,x)可以表示如下： 其中索引值k可於數值集合K中變動，而符號hk(i,x)則代表一個與索引值k相關的加權參數，舉例來說，當可能的索引值k的個數超過1時，複數個加權參數{hk(i,x)}的總和可簡化為1。
如第1C圖所示，當複數個像素值之個別加權參數中任兩個皆彼此相等時，複數個移動向量{Vk}可包含目前圖框F(t0)中至少一個其他編碼單元的次編碼單元A與B之移動向量VA與VB，以及另一個圖框(例如先前圖框(previous frame)F(t0-1))中一編碼單元CU(t0-1)的一個次編碼單元T之移動向量VT，更具體地說，上述位於目前圖框F(t0)中的該其他編碼單元(或次編碼單元)係為一已編碼的編碼單元(或次編碼單元)或是一已移動補償(motion-compensated)的編碼單元/次編碼單元。舉例來說，當該複數個編碼單元為複數個區塊時，編碼單元CU(t0-1)相對於編碼單元CU(t0)來說可以是一共位區塊(collocated block)，因此，藉由應用複數個加權參數{hk(i,x)}至複數個參考像素值{Ψr}，預處理模組得以針對該複數個移動向量{Vk}(例如VA、VB以及VT)所指向的複數個部分影像(partial image)進行混成(blend/mix)以產生一加權總和影像，並且利用該加權總和影像做為該特定次編碼單元(如第1C圖中次編碼單元SCU(t0))的一預測部分影像(predicted partial image)。以上所述僅供說明之需，並不侷限本發明之複數個變化形。依據本實施例的一變化形，預處理模組可以計算出該複數個像素值的一平均值以得到該特定次編碼單元的預測像素Ψp，這代表了複數個加權參數{hk(i,x)}中任兩個加權參數係為彼此相等。關於上述所揭露之操作的進一步說明，請參閱第2圖。
第2圖為依據本發明之一實施例而在一編碼單元進行視訊編碼時執行混成多重假設移動補償預測之方法910的流程圖。方法910 可被應用於第1圖的裝置100，更具體地說，可被應用於上述的處理電路。該方法說明如下。
於步驟912中，上述之預處理模組會對複數個次編碼單元(像是編碼單元中CU(t0)(即將進行的編碼單元)的複數個次編碼單元{SCU(t0)})進行處理，以及會對複數個次編碼單元{SCU(t0)}((前文提及的該部份次編碼單元))之中一部分的次編碼單元進行移動向量的推導。具體地說，預處理模組會從至少一個其他次編碼/編碼單元中推導出複數個移動向量，如上述所揭露之複數個移動向量{Vk}，以供複數個次編碼單元{SCU(t0)}的該部份次編碼單元中的特定次編碼單元SCU(t0)進行多重假設移動補償預測。依據本發明的一實施例，如第3圖所示，編碼單元CU(t0)可以是一個正在處理的區塊(在第3圖中，標示為「處理中的區塊」(Processed block))，以及特定次編碼單元SCU(t0)可以是一個次區塊(sub-block，SB)，其中第3圖中複數個陰影部份可代表至少一部分的複數個已編碼區塊{CB}(coded block，CB)。請參閱第3圖，已編碼區塊{CB}可能包含一個左半部已編碼區塊CBL、一個左上部已編碼區塊CBUL、一個上半部已編碼區塊CBU，以及一個右上部已編碼區塊CBUR。舉例來說，複數個移動向量{Vk}可包含至少一部份(比方說一部分或是全部)的已編碼區塊{CB}的複數個移動向量。在其他例子中，預處理單元會對複數個次編碼單元(如該編碼單元中的一個左半部與一個右半部次編碼單元，或是該編碼單元中的一個上半部與一個下半部次編碼單元)進行處理，此外，預處理單元從至少一個其他次編碼/ 編碼單元中推導出複數個移動向量以供該左半部次編碼單元/右半部次編碼單元/上半部次編碼單元/下半部次編碼單元來進行多重假設移動補償預測，其中該至少一個其他次編碼/編碼單元可以是一個空間(spatial)次編碼/編碼單元(例如一個鄰近(neighboring)編碼單元的一個次編碼單元)或是一個時間(temporal)次編碼/編碼單元(例如一個共位次編碼/編碼單元)。上述之複數個移動向量可由單一個次編碼/編碼單元推導出，舉例來說，該複數個移動向量係為一鄰近編碼單元中相同次編碼單元的“list 0”移動向量與“list 1”移動向量。此外，預處理模組也可依據一顯旗標(explicit flag)來對該部份次編碼單元進行移動向量的推導，舉例來說，一特定空間次編碼單元的至少一個移動向量可依據該顯旗標而被選為供該特定次編碼單元進行多重假設移動補償預測之用。
在步驟914中，上述之預處理模組依據複數個移動向量{Vk}來對特定次編碼單元SCU(t0)進行多重假設移動補償預測，尤指預處理模組利用由上述複數個移動向量{Vk}所得之複數個像素值(例如複數個參考像素中複數個參考像素值{Ψr})的一個線性組合來做為該特定次編碼單元的預測像素值Ψp，舉例來說，每一個編碼單元(例如編碼單元CU(t0))可以是一個區塊，尤指一個包含一像素陣列的區塊，例如一延伸巨集區塊(extended macroblock)、一巨集區塊(macroblock)，或是一巨集區塊的一部分，因此，一個次編碼單元可被稱為為一個次區塊(sub-block)。依據本發明的一實施例，如第3圖所示，前述之預處理模組可依據上述之複數個移動向量{Vk}來 對正在處理的區塊(在第3圖中，標示為「處理中的區塊」)進行多重假設移動補償預測，其中預處理模組得以對由至少一部分(例如一部分或全部)的已編碼區塊{CB}(例如至少一個已編碼區塊CBL、CBUL、CBU，以及CBUR)中的複數個移動向量{Vk}所得出的複數個參考像素值{Ψr}來進行混成。在此實施例中，該複數個已編碼區塊{CB}可以是複數個已移動補償的區塊。
請注意，依據本發明之一實施例，如第2圖所示實施例的一變化形，步驟912與步驟914的操作順序可以交換。舉例來說，為了進行視訊編碼時能符合新式編碼技術的規範，可先進行步驟914的操作，然後再進行步驟912的操作。
依據第2圖所示實施例的一變化形，在步驟912中，預處理模組利用移動估測(motion compensation)來取得該複數個移動向量{Vk}以供上文所述之特定次編碼單元SCU(t0)進行多重假設移動補償預測之用。此外，在步驟914中，預處理模組另可利用與該複數個移動向量{Vk}相關的複數個像素值{Ψr}的一個線性組合來做為特定次編碼單元SCU(t0)的預測像素值Ψp，舉例來說，在具有預測像素值Ψp的該特定預測像素處於位置x(例如一個指向此一位置的向量，比方說在目前圖框F(t0)影像平面中的二維向量)的情形下，預測像素值Ψp可改寫為Ψp(x)，以及預測像素值Ψp(x)可以表示為： 其中索引值k可於數值集合K中變動，而符號hk(x)則代表一個與索 引值k相關的加權參數，以及估測移動向量(estimated motion vector)v0為係為在移動估測中所估測出來的移動向量，此外，符號hk(x)則代表一個與估測移動向量v0之下標值(suffix)0相關的加權參數。
舉例來說，本變化形中的預處理模組可藉由從估測移動向量v0的其他複數個可能狀態(status)中找出最佳狀態，以充分運用估測移動向量v0，因此，本變化形的線性組合可以是加權總和(hk(x)Ψr(x+vk))+h0(x)Ψr(x+v0)，而其中估測移動向量v0已先求得，故預處理模組可利用加權總和(hk(x)Ψr(x+vk))+h0(x)Ψr(x+v0)來做為特定次編碼單元SCU(t0)的參考像素值Ψp。在此不再贅述本變化形與其他實施例中相似的細節描述。
在第3圖所示實施例的複數個變化形中，步驟912中提及的另一個次編碼/編碼單元係為一個已編碼的次編碼/編碼單元，舉例來說，在這些變化形的一部分變化形中，步驟912中提及的另一個次編碼/編碼單元包含至少一個空間上已編碼(spatially coded)的次編碼/編碼單元(例如目前圖框F(t0)中的一個或複數個已編碼區塊{CB}，或是正在處理的區塊中一個或複數個已編碼次區塊)及/或至少一個時間上已編碼(temporally coded)的次編碼/編碼單元(例如與目前圖框F(t0)相異的另一個圖框中一個或複數個已編碼的次區塊/區塊)。於另一實施例中，在這些變化形的一部分變化形中，步驟912中提及的另一個次編碼/編碼單元係為一已移動補償的次編碼/編碼單元。此外，依據一部分的變化形，複數個移動向量{Vk}可以藉由移 動估測得知。
依據本發明的一實施例，第4圖說明了與第2圖所示之方法910相關的實施細節。另外，為使更易於理解，複數個已編碼區塊CBL、CBUL、CBU以及CBUR可視為分別等同於第3圖所示之複數個已編碼區塊。請參閱第4圖，複數個次編碼單元α1、α2、α3、α4、α5、α6、α7及α8係屬於左半部已編碼區塊CBL，複數個次編碼單元β1、β2、β3、β4、β5、β6、β7及β8係屬於上半部已編碼的區塊CBU，以及複數個次編碼單元β9與δ則分別屬於右上部已編碼區塊CBUR與左上部已編碼區塊CBUL。
在此實施例中，步驟912中提及的另一個次編碼/編碼單元可能包含一個或複數個次編碼單元或一個或複數個其他編碼單元，例如至少一個或複數個次編碼單元{α1、α2、α3、α4、α5、α6、α7、α8、β1、β2、β3、β4、β5、β6、β7、β8、β9、δ}，以及可能另包含複數個次編碼單元{SCU(t0)}的一剩餘部份，例如於正在處理的區塊(在第4圖中，標示為「處理中的區塊」)中複數個暗陰影(darkly shaded)次區塊，其中步驟912中提及的該部份的複數個次編碼單元{SCU(t0)}可以是正在處理的區塊中複數個亮陰影(lightly shaded)次區塊。更具體地說，步驟912中提及的該複數個移動向量{Vk}可能包含複數個次編碼單元{SCU(t0)}之該剩餘部份之中的至少一移動向量(例如一個或複數個移動向量)，其中上述之至少一移動向量通常在推導出複數個移動向量{Vk}之前求得，尤指上述之至少一移動向量(例 如一個或複數個移動向量)可以先被估測出。
簡言之，位於複數個次編碼單元{SCU(t0)}之該剩餘部份中的複數個次編碼單元可稱為複數個剩餘次編碼單元(remaining sub-coding unit)(或是當每一個編碼單元為一個區塊時，可稱為複數個剩餘次區塊(remaining sub-block))，以及步驟912中提及的該部份的複數個次編碼單元{SCU(t0)}中的複數個次編碼單元可稱為複數個多重假設預測直接次編碼單元(multihypothesis prediction direct sub-coding unit，MHP direct sub-coding unit)(或是當每一個編碼單元為一個區塊時，可稱為複數個多重假設預測直接次區塊(MHP direct sub-block))，主要是因為用以提供每一個多重假設預測直接次編碼單元來進行多重假設移動補償的複數個移動向量係為直接由其他複數個編碼單元(例如上述之其他次編碼/編碼單元)而得。此外，上述之包含複數個多重假設預測直接次編碼單元(或是複數個多重假設預測直接次區塊(當每一個編碼單元為一個區塊時))的部分，可稱為多重假設預測直接部份(MHP direct portion)。
依據本發明的複數個實施例，第5A圖與第5B圖分別說明了與第2圖所示之方法910相關的混成多重假設移動補償預測的複數個範例型式。在這些實施例中，預處理模組得以動態決定關於在步驟912中提及的複數個次編碼單元{SCU(t0)}中一部份(亦即多重假設預測直接部份)的內部/外部排列(internal/external arrangement)。更具體地說，預處理模組得以依據一預先決定的型樣(predetermined pattern)、一隱旗標(implicit flag)或是一顯旗標，來決定出複數個次編碼單元{SCU(t0)}中的一部份在複數個次編碼單元{SCU(t0)}中的其他部份之間的分布(distribution)。換言之，預處理模組可決定該多重假設預測直接部份與編碼單元CU(t0)中的一剩餘部份的分布/排列。舉例來說，假設上述之混成多重假設移動補償預測型式是包含一上半部型式(top type)、一下半部型式(bottom type)、一左半部型式(left type)以及一右半部型式(right type)，則第5A圖的左半部與右半部所示之分布/排列可分別對應到該左半部型式與該右半部型式，其中該多重假設預測直接部份與編碼單元CU(t0)中的該剩餘部份分別於個別實施例中標示為「MHP」及「REM」以便易於理解。
預處理模組也可由挾帶該編碼單元的一位元流、複數個已編碼的次編碼/編碼單元的複數個移動向量、該複數個已編碼的次編碼/編碼單元之一移動向量變異數(motion vector variance)、一量化參數(Quantization Parameter，QP)、一位元率(bit-rate)、該複數個已編碼的次編碼/編碼單元的一重建殘值信號(reconstructed residual signal)、一已傳送的離散餘弦變換係數(transmitted discrete cosine transform，transmitted DCT)、一移動分割型式(motion partition type)、一區塊尺寸(block size)、統計數據或上述各項的任何組合，來推導出一隱旗標以決定該多重假設預測直接部份的分布。
在如第5圖所示的複數個實施例中，一編碼單元可以僅被分割 為兩部份，例如第5C圖所示之該編碼單元中的上半部與下半部，亦即分別是本實施例中標示為「MHP」的該多重假設預測直接部份與標示為「REM」的編碼單元CU(t0)中的該剩餘部份。關於該上半部的移動向量推導，預處理模組可由至少一個其他次編碼/編碼單元，比方說由至少一個其他編碼單元中的一個或複數個次編碼單元(例如第5C圖所示的複數個陰影次編碼單元，其複數個移動向量形成一個空間移動向量集合(spatial motion vector set)，該集合標示為「空間移動向量集合」(Spatial Motion Vector set，Spatial MV set))以及該上半部所對應的一個或複數個共位次編碼單元，推導出至少一移動向量，或者由至少一個顯旗標所指明的一個或複數個其他次編碼/編碼單元來推導出至少一移動向量。舉例來說，在預處理模組由至少一個顯旗標所指明的一個或複數個其他次編碼/編碼單元來推導出至少一移動向量的情形下，當該顯旗標指明在左上半部已編碼區塊CBUL的該次編碼單元是需要被推導出的至少一移動向量的來源時，預處理模組會由左上半部已編碼區塊CBUL推導出一個或兩個移動向量。在本實施例中，如果該次編碼單元具有雙向預測性(bi-predictive)，則會有兩個移動向量可供利用(更具體地說，“list 0”的移動向量以及“list 1”的移動向量)；反之(亦即該次編碼單元並未具雙向預測性)，則僅有一個移動向量可供利用。無論是兩個移動向量或是一個移動向量可供利用，預處理模組皆可運用上述之該次編碼單元的一個或兩個移動向量做為該上半部的移動向量。以上所述僅供說明之需，並不侷限本發明之複數個變化形。依據這些實施例的複數個變化形，預處理模組得以利用上述之兩個移動向量的一 線性組合來計算出該上半部的一個移動向量。
依據本發明的一實施例，第6圖係為與第2圖所示之方法910相關的解碼程序的流程圖。該解碼流程說明如下。
在步驟922中，上述之預處理模組會讀取一參數inter_partitioning_idc，其中該參數inter_partitioning_idc代表一分割型式。
在步驟923中，預處理模組會確認在步驟922中所提及的該分割型式的複數個分割單元(partition unit)的數量是否等於2。當該分割型式的複數個分割單元的數量等於2時，該流程會進行至步驟924；反之，該流程將會進行至未顯示於圖中(為了簡化流程圖)的某一步驟。
在步驟924中，預處理模組會讀取一旗標MHP_flag，其中旗標MHP_flag係用以指明是否要進行多重假設預測的處理。
在步驟925中，預處理模組會確認旗標MHP_Flag是否等於1。當旗標MHP_Flag等於1時，該流程會進行至步驟925；反之，該流程將會進行至未顯示於圖中(為了簡化流程圖)的某一步驟。
在步驟926中，預處理模組會讀取一旗標Partition_Flag，其中 旗標Partition_Flag係用以指明一分割型式，例如第5A圖與第5B圖中複數個實施例所揭露的複數個分割型式的其中之一。
在步驟928中，預處理模組會讀取一旗標MV_Set_Flag，其中旗標MV_Set_Flag係用以指明要由複數個移動向量集合(或是複數個移動向量的複數個集合)中選取出來的一特定移動向量集合(或是複數個移動向量的一特定集合)。
在步驟930中，預處理模組會讀取至少一個移動向量差異(motion vector difference，MVD)以供至少一個非多重假設預測分割(non-MHP partition)(例如上述之該剩餘部份)所用。舉例來說，移動向量差異可以是原始移動向量(original motion vector)與所預測的移動向量(motion vector predictor)之間的差異，用以減少傳輸頻寬(transmission bandwidth)。在另一個例子，移動向量差異可以是目前移動向量(current motion vector)與先前移動向量(previous motion vector)之間的差異。
在步驟940中，預處理模組會進行包含為了完成該解碼程序所需之複數個操作的後續處理(post process)。
依據本發明之不同實施例，第7A圖說明了以一變換尺寸(transform size)為基底的複數個範例分割。如上文所述，預處理模組得以動態決定關於在步驟912中提及的複數個次編碼單元 {SCU(t0)}之一部分(亦即多重假設預測直接部份)的內部/外部排列。更具體地說，在本實施例中，預處理模組得以決定特定次編碼單元SCU(to)的尺寸，使該尺寸成為編碼單元CU(t0)進行視訊編碼的一轉換尺寸，也就是說，預處理模組得以決定複數個次編碼單元{SCU(t0)}之一部分中每一個次編碼單元的尺寸(亦即每一個多重假設預測直接次編碼單元的尺寸)，使該尺寸成為編碼單元CU(t0)進行視訊編碼的轉換尺寸(例如4x4或8x8等等)。
依據本發明之複數個實施例，第7B圖到第7D圖說明了用以取得與第2圖所示之方法910相關的複數個移動向量的複數個範例來源。在這些實施例中，預處理模組得以依據於步驟928所提及的旗標MV_Set_Flag來由複數個移動向量集合之中選擇出該特定移動向量集合，其中該複數個移動向量集合可能包含至少一個空間移動向量集合(例如一個或複數個空間移動向量集合)及/或至少一個時間移動向量集合(例如一個或複數個時間移動向量集合)。
請參閱第7B圖，上述之至少一個空間移動向量集合可包含空間移動向量集合{VS,k}(標示為「空間移動向量集合{VS,k}」(Spatial MV Set{VS,k}))，其中空間移動向量集合{VS,k}可包含該特定次編碼單元SCU(t0)內左半部已編碼區塊CBL中複數個距離最近的次編碼單元所分別對應的複數個移動向量，以及另可包含該特定次編碼單元SCU(t0)內剩餘部份(標示為「REM」)中複數個距離最近的次編碼單元所分別對應的複數個移動向量。
請參閱第7C圖，上述之至少一個時間移動向量集合可包含時間移動向量集合{VT,k}(標示為「時間移動向量集合{VT,k}」(Temporal MV Set{VT,k}))，其中時間移動向量集合{VT,k}可包含該特定次編碼單元SCU(t0)內一個共位次編碼單元(例如第7C圖所示的共位次區塊)中至少一個移動向量，以及另可包含該共位次編碼單元內複數個相鄰/鄰近(adjacent/neighboring)的次編碼單元，舉例來說，該時間移動向量集合可包含一個共位次編碼單元中“list 0”的移動向量與“list 1”的移動向量。
請參閱第7D圖，上述之至少一個空間移動向量可包含空間移動向量集合{VS1,k}(標示為「空間移動向量集合{VS1,k}」(Spatial MV Set{VS1,k}))與空間移動向量集合{VS2,k}(標示為「空間移動向量集合{VS2,k}」(Spatial MV Set{VS2,k}))。在本實施例中，空間移動向量{VS1,k}可包含特定次編碼單元SCU(t0)內左半部已編碼區塊CBL中複數個距離最近的次編碼單元所分別對應的複數個移動向量；此外，空間移動向量{VS2,k}可包含該特定次編碼單元SCU(t0)內一個或複數個剩餘部份(標示為「REM」)中的一個或複數個距離最近的次編碼單元。
依據本發明之複數個實施例，第8A圖與第8B圖說明了取得該剩餘部分(標示為「REM」)之至少一移動向量的複數個範例來源。舉例來說，可依據第8A圖中所示之複數個次編碼單元A、B及C 的複數個移動向量vA、vB及vC來利用複數個習知方法(例如複數個與H.264規範相容的方法)以推導出該剩餘部份的移動向量。在其他的實施例中，可依據第8B圖左半部與右半部中任一處所示之複數個次編碼單元A、B及C的複數個移動向量vA、vB及vC來利用複數個習知方法(例如複數個與H.264規範相容的方法)以推導出該剩餘部份的移動向量。
依據本發明之不同實施例，第9A圖到第9C圖分別說明了與第2圖所示之方法910相關的複數個解碼程序的流程圖。在這些實施例中，步驟922、923、924、925以及926係與第6圖所示實施例中的複數個步驟相同，此外，步驟940-1、940-2以及940-3可與第6圖所示實施例中的步驟940相同或相似。該複數個解碼程序的其餘步驟則說明如下。
請參閱第9A圖，在步驟928-1中，預處理模組會讀取一旗標Spatiotemporal_Flag，其中該旗標Spatiotemporal_Flag指明了複數個空間/時間移動向量集合的組態(configuration)，例如用以從上述之至少一個空間移動向量集合(比方說複數個空間移動向量的一個或複數個集合)以及上述之至少一個時間移動向量集合(比方說複數個時間移動向量的一個或複數個集合)之中選擇一個或複數個移動向量集合的複數個組態。
在步驟932-1中，預處理模組會讀取至少一個移動向量差異以 供至少一個非多重假設預測分割(例如上述之該剩餘部份)所用。舉例來說，移動向量差異可以是原始移動向量與所預測的移動向量之間的差異，用以減少傳輸頻寬。在另一個例子中，移動向量差異可以是目前移動向量與先前移動向量之間的差異。
在步驟934-1中，預處理模組會決定上述之變換尺寸。
在步驟936-1中，預處理模組會計算出至少一個所預測的移動向量(motion vector predictor，MVP)以供上述之該剩餘部份的至少一個非多重假設預測分割所用。
請參閱第9B圖，在步驟928-2中，預處理模組會讀取一旗標Spatiotemporal_Flag，其中旗標Spatiotemporal_Flag指明了複數個空間/時間移動向量集合的組態，例如用以從上述之至少一個空間移動向量集合(比方說複數個空間移動向量的一個或複數個集合)以及上述之至少一個時間移動向量集合(比方說複數個時間移動向量的一個或複數個集合)之中選擇一個或複數個移動向量集合的複數個組態。
在步驟932-1中，預處理模組會決定上述之變換尺寸。
在步驟934-2中，預處理模組會讀取至少一個移動向量差異以供至少一個非多重假設預測分割(例如上述之該剩餘部份)所用。 舉例來說，移動向量差異可以是原始移動向量與移動向量偏移(motion vector offset)之間的差異，用以減少傳輸頻寬。
請參閱第9C圖，在步驟928-3中，預處理模組會讀取一旗標Spatiotemporal_Flag，其中旗標Spatiotemporal_Flag指明了複數個空間/時間移動向量集合的組態，例如用以從上述之至少一個空間移動向量集合(比方說複數個空間移動向量的一個或複數個集合)以及上述之至少一個時間移動向量集合(比方說複數個時間移動向量的一個或複數個集合)之中選擇一個或複數個移動向量集合的複數個組態。
在步驟932-3中，預處理模組會利用一預定方法來計算出B.mv，其中符號B.mv可代表次編瑪單元B的移動向量，用以計算出第8A圖所示實施例之中的該剩餘部份。
在步驟934-3中，預處理模組會讀取至少一個移動向量差異以供至少一個非多重假設預測分割(例如上述之該剩餘部份)所用。
在步驟936-3中，預處理模組會決定上述之變換尺寸。
綜上所述，本發明的優點之一在於編碼器與解碼器可正確地執行多重假設預測，更具體地說，編碼器與解碼器得以輕易地對正在編碼的編碼單元之中的多重假設預測直接部份之至少一個次編碼單 元進行多重假設移動補償，而該剩餘部份可藉由複數個習知方法(例如複數個與H.264規範相容的方法)來進行處理，因此，藉由利用本發明的方法及裝置，移動向量預測的操作以及多重假設移動補償的操作皆可順利執行且不會產生任何習知技術所面臨的問題(例如低編碼效率)。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100‧‧‧視訊編碼器
109‧‧‧原始信號
110‧‧‧畫面間/畫面內預測模組
112‧‧‧多重假設畫面間預測電路
113‧‧‧多重假設畫面間預測輸出
114‧‧‧畫面間預測電路
115‧‧‧畫面間預測輸出
116‧‧‧畫面內預測電路
117‧‧‧畫面內預測輸出
118‧‧‧切換電路
119‧‧‧預測信號
120‧‧‧運算單元
130‧‧‧變換與量化模組
140‧‧‧熵編碼電路
150‧‧‧反變換與反量化模組
160‧‧‧重建電路
169‧‧‧重建信號
170‧‧‧去區塊濾波器
179‧‧‧去區塊信號
180‧‧‧圖框緩衝器
189‧‧‧已回復信號
第1A圖為本發明在編碼單元進行視訊編碼時執行混成多重假設移動補償預測之裝置的一實施例的示意圖。
第1B圖為第1A圖所示之畫面間/畫面內預測模組之一實施例的示意圖。
第1C圖為第1A圖所示之畫面間/畫面內預測模組進行多重假設移動補償預測的一實施例的示意圖。
第2圖為本發明在編碼單元進行視訊編碼時執行混成多重假設移動補償預測之方法的一實施例的流程圖。
第3圖為與第2圖所示之方法相關之已編碼區塊的一實施例的示意圖。
第4圖為與第2圖所示之方法相關之實施細節的一實施例的示意圖。
第5A圖為與第2圖所示之方法相關之混成多重假設移動補償預測的範例型式的示意圖。
第5B圖為與第2圖所示之方法相關之混成多重假設移動補償預測的另一範例型式的示意圖。
第5C圖為與第2圖所示之方法相關之實施細節的一實施例的示意圖。
第6圖為與第2圖所示之方法相關之解碼程序的一實施例的流程圖。
第7A圖為以變換尺寸為基底之分割的一實施例的示意圖。
第7B圖為本發明取得與第2圖所示之方法相關之移動向量的來源之一實施例的示意圖。
第7C圖為本發明取得與第2圖所示之方法相關之移動向量的來源之另一實施例的示意圖。
第7D圖為本發明取得與第2圖所示之方法相關之移動向量的來源之再另一實施例的示意圖。
第8A圖為本發明取得剩餘部分之移動向量的來源之一實施例的示意圖。
第8B圖為本發明取得剩餘部分之移動向量的來源之另一實施例的示意圖。
第9A圖為與第2圖所示之方法相關的解碼程序的一實施例的流程圖。
第9B圖為與第2圖所示之方法相關的解碼程序的另一實施例的流程圖。
第9C圖為與第2圖所示之方法相關的解碼程序的再另一實施例的流程圖。
910‧‧‧方法
912、914‧‧‧步驟

Claims (28)

  1. 一種在一編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法，包含有：處理該編碼單元中的複數個次編碼單元；對該複數個次編碼單元之中一部分的次編碼單元進行移動向量的推導，其中對該複數個次編碼單元之中該一部分的次編碼單元進行移動向量的推導之步驟，包含有：推導出複數個移動向量，以供該一部分的次編碼單元中的一特定次編碼單元進行多重假設移動補償預測之用，其中該複數個移動向量中之至少一者為一其他次編碼單元/編碼單元之移動向量；以及依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測，其中依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測的步驟包含有：利用由該複數個移動向量所得的複數個像素值的一線性組合來做為該特定次編碼單元的一預測像素值。
  2. 如專利申請範圍第1項所述之方法，其中依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測的步驟另包含：計算該複數個像素值的一加權總和，以推導出該特定次編碼單元之該預測像素值。
  3. 如專利申請範圍第1項所述之方法，其中依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測的步驟另包含：計算該複數個像素值的一平均值，以推導出該特定次編碼單元之該預測像素值。
  4. 如專利申請範圍第1項所述之方法，其中對該複數個次編碼單元中的該一部分的次編碼單元進行移動向量的推導之步驟另包含：依據一顯旗標指示之至少一個其他次編碼/編碼單元來對該一部分的次編碼單元進行移動向量的推導。
  5. 如專利申請範圍第1項所述之方法，其中該複數個移動向量是由該編碼單元中的該複數個次編碼單元的一剩餘部份所推導出，其中該剩餘部份係指該複數個次編碼單元中除去該一部分的次編碼單元後的剩餘次編碼單元。
  6. 如專利申請範圍第5項所述之方法，其中該複數個次編碼單元的該剩餘部份之移動向量預測是在該一部分的次編碼單元進行多重假設移動補償預測之前執行。
  7. 如專利申請範圍第1項所述之方法，其中處理該編碼單元中的該複數個次編碼單元之步驟，包含有：決定該特定次編碼單元的大小為該編碼單元中視訊編碼的一變 換尺寸。
  8. 如專利申請範圍第1項所述之方法，其中處理該編碼單元中的該複數個次編碼單元之步驟另包含：依據一預先決定的型樣、一隱旗標或一顯旗標來決定該一部分的次編碼單元的分布以便進行多重假設移動補償預測。
  9. 如專利申請範圍第8項所述之方法，其中該隱旗標係由挾帶該編碼單元的一位元流、複數個已編碼的次編碼/編碼單元之複數個移動向量、該複數個已編碼的次編碼/編碼單元的一移動向量變異數、一量化參數、一位元率、該複數個已編碼的次編碼/編碼單元之一重建殘值信號、一已傳送離散餘弦變換係數、一移動分割型式、一區塊尺寸以及統計數據之一或其組合而得。
  10. 如專利申請範圍第1項所述之方法，其中該至少一個其他次編碼/編碼單元係為一已編碼的次編碼/編碼單元。
  11. 如專利申請範圍第10項所述之方法，其中該至少一個其他次編碼/編碼單元包含至少一空間上已編碼的次編碼/編碼單元及/或至少一時間上已編碼的次編碼/編碼單元。
  12. 如專利申請範圍第1項所述之方法，其中該至少一個其他次編碼/編碼單元係為一已移動補償的次編碼/編碼單元。
  13. 如專利申請範圍第1項所述之方法，其中該至少一個其他次編碼/編碼單元係為一鄰近編碼單元中的一次編碼單元。
  14. 如專利申請範圍第1項所述之方法，其中該複數個移動向量係由單一個次編碼/編碼單元所推導出。
  15. 一種在一編碼單元進行視訊編碼時執行混成多重假設移動補償預測的裝置，包含有：一處理電路，用來對該編碼單元進行視訊編碼，其中該處理電路包含：一預處理模組，用來處理該編碼單元中複數個次編碼單元以及對該複數個次編碼單元之中一部分的次編碼單元進行移動向量的推導，其中該預處理模組推導出複數個移動向量以供該一部分的次編碼單元中的一特定次編碼單元來進行多重假設移動補償預測之用，其中該複數個移動向量中之至少一者為一其他次編碼單元/編碼單元之移動向量，並依據該複數個移動向量以對該特定次編碼單元進行多重假設移動補償預測，以及該預處理模組利用由該複數個移動向量所得之複數個像素值的一線性組合來做為該特定次編碼單元之一預測像素值；以及至少一編碼模組，用以依據該預處理模組所進行之多重移動補償預測來對該編碼單元進行視訊編碼。
  16. 如專利申請範圍第15項所述之裝置，其中該預處理模組計算出該複數個像素值的一加權總和，以推導出該特定次編碼單元之該預測像素值。
  17. 如專利申請範圍第15項所述之裝置，其中該預處理模組計算出該複數個像素值的一平均值，以推導出該特定次編碼單元之該預測像素值。
  18. 如專利申請範圍第15項所述之裝置，其中該預處理模組依據一顯旗標指示之至少一個其他次編碼/編碼單元以對該一部分的次編碼單元進行移動向量的推導。
  19. 如專利申請範圍第15項所述之裝置，其中該預處理模組藉由該編碼單元之中的該複數個次編碼單元的一剩餘部份來推導出該複數個移動向量，其中該剩餘部份係指該複數個次編碼單元中除去該一部分的次編碼單元後的剩餘次編碼單元。
  20. 如專利申請範圍第19項所述之裝置，其中該預處理模組在對該一部分的次編碼單元進行多重假設移動補償預測之前，會先對該複數個次編碼單元的該剩餘部份進行移動向量預測。
  21. 如專利申請範圍第15項所述之裝置，其中該預處理模組會決定 該特定次編碼單元的大小為該編碼單元進行視訊編碼的一變換尺寸。
  22. 如專利申請範圍第15項所述之裝置，其中該預處理模組會依據一預先決定的型樣、一隱旗標或一顯旗標來決定該一部分的次編碼單元的分布以便進行多重假設移動補償預測。
  23. 如專利申請範圍第22項所述之裝置，其中該隱旗標係由挾帶該編碼單元的一位元流、複數個已編碼的次編碼/編碼單元之複數個移動向量、該複數個已編碼的次編碼/編碼單元的一移動向量變異數、一量化參數、一位元率、該複數個已編碼的次編碼/編碼單元之一重建殘值信號、一已傳送離散餘弦變換係數、一移動分割型式、一區塊尺寸以及統計數據之一或其組合而得。
  24. 如專利申請範圍第15項所述之裝置，其中該至少一個其他次編碼/編碼單元係為一已編碼的次編碼/編碼單元。
  25. 如專利申請範圍第24項所述之裝置，其中該至少一個其他次編碼/編碼單元包含至少一空間上已編碼的次編碼/編碼單元及/或至少一時間上已編碼的次編碼/編碼單元。
  26. 如專利申請範圍第15項所述之裝置，其中該至少一個其他次編碼/編碼單元係為一已移動補償的次編碼/編碼單元。
  27. 如專利申請範圍第15項所述之裝置，其中該至少一個其他次編碼/編碼單元係為一鄰近編碼單元的一次編碼單元。
  28. 如專利申請範圍第15項所述之裝置，其中該複數個移動向量係由單一個次編碼/編碼單元所推導出。
TW100112781A 2010-04-14 2011-04-13 在編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法以及裝置 TWI492637B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US32394810P 2010-04-14 2010-04-14
US13/048,893 US8971400B2 (en) 2010-04-14 2011-03-16 Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus

Publications (2)

Publication Number Publication Date
TW201143465A TW201143465A (en) 2011-12-01
TWI492637B true TWI492637B (zh) 2015-07-11

Family

ID=44117082

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100112781A TWI492637B (zh) 2010-04-14 2011-04-13 在編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法以及裝置

Country Status (5)

Country Link
US (1) US8971400B2 (zh)
EP (1) EP2378773A3 (zh)
JP (1) JP2011229145A (zh)
CN (1) CN102223532B (zh)
TW (1) TWI492637B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102986224B (zh) * 2010-12-21 2017-05-24 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法
SI3703371T1 (sl) * 2011-12-16 2021-11-30 Jvckenwood Corporation Naprava za kodiranje dinamičnih slik, postopek za kodiranje dinamičnih slik, program za kodiranje dinamičnih slik, naprava za dekodiranje dinamičnih slik, postopek za dekodiranje dinamičnih slik in program za dekodiranje dinamičnih slik
PL2805511T3 (pl) 2012-01-20 2019-09-30 Sun Patent Trust Sposoby i urządzenie do kodowania i dekodowania wideo przy użyciu predykcji wektora ruchu w czasie
RU2616555C2 (ru) 2012-02-03 2017-04-17 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
GB2496015B (en) * 2012-09-05 2013-09-11 Imagination Tech Ltd Pixel buffering
TWI551124B (zh) * 2014-07-11 2016-09-21 晨星半導體股份有限公司 應用於視訊系統之編碼／解碼方法及編碼／解碼裝置
CN107079161B (zh) * 2014-09-01 2020-11-20 寰发股份有限公司 用于屏幕内容以及视频编码的帧内图片块复制的方法
CN105812819B (zh) * 2015-01-21 2019-02-15 寰发股份有限公司 执行混成多重假设移动补偿预测的方法以及装置
CN105791836B (zh) * 2016-03-07 2019-04-02 中国科学院计算技术研究所 视频编码方法、视频码流自适应传输方法和显示方法
CN110933423B (zh) * 2018-09-20 2022-03-25 杭州海康威视数字技术股份有限公司 帧间预测方法和设备
CN117678223A (zh) * 2021-07-09 2024-03-08 抖音视界有限公司 视频处理的方法、装置和介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807231B1 (en) 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
JP2000299864A (ja) * 1999-04-12 2000-10-24 Canon Inc 動画像処理方法
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
JP3715283B2 (ja) * 2003-02-04 2005-11-09 株式会社半導体理工学研究センター 動画像の画像圧縮符号化方法及び装置
CN1263309C (zh) * 2003-06-27 2006-07-05 中国科学院计算技术研究所 用于视频编码的运动矢量预测方法
JP5052891B2 (ja) * 2003-08-26 2012-10-17 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
US20070053441A1 (en) * 2005-06-29 2007-03-08 Xianglin Wang Method and apparatus for update step in video coding using motion compensated temporal filtering
TW200837663A (en) 2007-03-13 2008-09-16 Univ Nat Taiwan Constant picture quality bit rate control system for a multiple-video encoder in single video signal source and the method
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US20110310956A1 (en) * 2010-06-22 2011-12-22 Jian-Liang Lin Methods for controlling video decoder to selectively skip one or more video frames and related signal processing apparatuses thereof
US9667942B2 (en) * 2012-11-20 2017-05-30 Qualcomm Incorporated Adaptive luminance compensation in three dimensional video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Flierl, M.; Wiegand, T.; Girod, B., "Rate-constrained multihypothesis prediction for motion-compensated video compression," Circuits and Systems for Video Technology, IEEE Transactions on , vol.12, no.11, pp.957,969, Nov 2002. *

Also Published As

Publication number Publication date
JP2011229145A (ja) 2011-11-10
CN102223532B (zh) 2013-07-31
CN102223532A (zh) 2011-10-19
US20120063514A1 (en) 2012-03-15
EP2378773A3 (en) 2013-05-15
US8971400B2 (en) 2015-03-03
TW201143465A (en) 2011-12-01
EP2378773A2 (en) 2011-10-19

Similar Documents

Publication Publication Date Title
TWI492637B (zh) 在編碼單元進行視訊編碼時執行混成多重假設移動補償預測的方法以及裝置
US9118929B2 (en) Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
TWI520586B (zh) 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
TWI540901B (zh) Image processing apparatus and method
JP6120707B2 (ja) 動画像符号化装置およびその動作方法
WO2012176381A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP5795525B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
ES2953082T3 (es) Métodos para predicción con compensación de movimiento
KR20110008653A (ko) 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
KR20060127155A (ko) 화상 정보 부호화 장치 및 화상 정보 부호화 방법
TW200952499A (en) Apparatus and method for computationally efficient intra prediction in a video coder
CN112106372A (zh) 用于混合帧内预测的方法和设备
AU2016316317B2 (en) Method and apparatus of prediction offset derived based on neighbouring area in video coding
JP2014090326A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014090327A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN105812819B (zh) 执行混成多重假设移动补偿预测的方法以及装置
KR101286071B1 (ko) 부호화기 및 그 인트라 예측 방법
KR102183366B1 (ko) 부호화 모드 결정 방법 및 그 장치
JP2006352238A (ja) 画像処理装置、画像処理方法及びプログラム