TWI410140B

TWI410140B - 視訊編碼器、進行內部預測之方法、以及進行視訊資料壓縮的方法

Info

Publication number: TWI410140B
Application number: TW98132661A
Authority: TW
Inventors: Kai Zhang
Original assignee: Mediatek Singapore Pte Ltd
Priority date: 2009-07-06
Filing date: 2009-09-28
Publication date: 2013-09-21
Also published as: CN101945270B; TW201103338A; CN101945270A

Description

視訊編碼器、進行內部預測之方法、以及進行視訊資料壓縮的方法

本發明係有關於視訊處理，特別是有關於視訊資料編碼。

視訊資料包括一系列的畫面(frame)，每一畫面都是一張圖片且被分割為多個區塊(block)以供各自分別進行編碼處理。一視訊區塊可由內部預測模式(intra-mode)或外部預測模式(inter-mode)進行編碼。於內部預測模式下，一視訊區塊的畫素被與鄰近區塊之畫素相比較，以減少用以編碼之資料量。於外部預測模式下，目前畫面之一視訊區塊的畫素被與一參考畫面之對應位置區塊之畫素相比較，以減少用以編碼之資料量。

第1A圖為依據內部預測模式進行視訊編碼的視訊編碼器100的區塊圖。視訊編碼器100包括內部預測模組102、減除模組104、轉換模組106、以及量化器108。視訊區塊首先被送至內部預測模組102。內部預測模組102對視訊區塊進行內部預測，以便依據該視訊區塊之鄰近畫素產生一預測區塊。內部預測模組102依據多種內部預測模式中的其中一種模式以對視訊區塊進行內部預測。第2圖顯示符合VCEG-N54規格的九種內部預測模式0~8。每一種內部預測模式依據不同的鄰近畫素產生預測區塊之預測畫素值。減除模組104接著將預測區塊之預測畫素值自視訊區塊之原始畫素值減除，以得到該視訊區塊之預測殘餘值。轉換模組106接著進行視訊資料壓縮以將視訊區塊之預測殘餘值轉換為資料量較少之轉換值。舉例來說，轉換模組106可能對預測殘餘值進行離散餘弦轉換(discrete cosine transform,DCT)或Karhunen-Loeve轉換(KLT)以得到轉換值。量化器108最後將轉換質量化為資料量更少而適於資料儲存或傳輸之量化值。

第1B圖為依據內部預測模式解碼視訊資料之視訊解碼器150的區塊圖。於一實施例中，視訊解碼器150包括反轉換模組152、反內部預測模組154、以及相加模組156。反轉換模組152對視訊資料進行解壓縮以將視訊區塊之量化值轉換為預測殘餘值。反內部預測模組154依據內部預測模式進行內部預測以產生一預測區塊。相加模組156將預測殘餘值與預測區塊相加以產生一重建區塊。視訊解碼器150接著輸出重建區塊。

然而，第1A圖之視訊編碼器100仍舊有缺點。首先，當進行內部預測時，內部預測模組102依據鄰近區塊之畫素產生對應於一目前區塊的一預測區塊。預測區塊之畫素值因此與鄰近區塊之畫素值相關聯。然而，目前區塊與鄰近區塊之內部預測模式係各自獨立決定而無關聯。因此，鄰近區塊之預測區塊與目前區塊之預測區塊通常係依據不同的內部預測模式而產生，導致鄰近區塊之預測區塊與目前區塊之預測區塊的畫素值之間發生不連續。因此，需要一種進行內部預測之方法，可以依據鄰近區塊之內部預測模式對目前區塊進行內部預測。此外，轉換模組106僅依據一組固定的轉換係數進行視訊資料壓縮。然而，依據不同內部預測模式產生的預測殘餘值需要不同的轉換係數以達到最佳的轉換效果。因此，需要一種進行視訊資料壓縮的方法，可依據視訊資料不同的內部預測模式運用不同的轉換係數以進行資料壓縮。

有鑑於此，本發明之目的在於提供一種進行內部預測(intra-prediction)之方法，以解決習知技術存在之問題。首先，決定一左方區塊的第一內部預測模式，一上方區塊的第二內部預測模式，以及一目前區塊的第三內部預測模式，其中該左方區塊位於該目前區塊之左方，而該上方區塊位於該目前區塊之上方。接著，自該目前區塊的多個畫素選取一目標畫素。接著，依據該第一內部預測模式計算該目標化素的一第一預測值，依據該第二內部預測模式計算該目標畫素的一第二預測值，依據該第三內部預測模式計算該目標畫素的一第三預測值。最後，平均該第一預測值、該第二預測值、以及該第三預測值，以得到一加權平均預測值。

本發明提供一種進行視訊資料壓縮的方法。首先，決定一目標區塊之一內部預測模式。接著，自多個轉換型式選取對應於該內部預測模式之一目標轉換型式。取得該目標區塊之多個預測殘餘值，並依據該目標轉換型式將該等預測殘餘值轉換為多個轉換值。其中對應於該內部預測模式之該等轉換型式係依據預測殘餘值之變異數大小被分類。

本發明提供一種視訊編碼器(Video encoder)。於一實施例中，該視訊編碼器接收一目前區塊，其中一左方區塊位於該目前區塊之左方，而一上方區塊位於該目前區塊之上方。於一實施例中，該視訊編碼器包括一內部預測(Intra-prediction)模組以及一減除模組。該內部預測模組決定該左方區塊的第一內部預測模式、該上方區塊的第二內部預測模式，以及該目前區塊的第三內部預測模式，自該目前區塊的多個畫素選取一目標畫素，依據該第一內部預測模式計算該目標畫素的一第一預測值，依據該第二內部預測模式計算該目標畫素的一第二預測值，依據該第三內部預測模式計算該目標畫素的一第三預測值，以及平均該第一預測值、該第二預測值、以及該第三預測值，以得到該目標畫素之一加權平均預測值。該減除模組自該目標畫素減去該加權平均預測值以得到該目標畫素之一預測殘餘值。

本發明提供一種視訊編碼器(Video encoder)。於一實施例中，該視訊編碼器包括一內部預測(Intra-prediction)模組、一減除模組、以及一轉換模組。該內部預測(Intra-prediction)模組計算一目標區塊之多個預測畫素值。該減除模組自該目標區塊之多個原始畫素值減去該等預測畫素值，以得到該目標畫素之多個預測殘餘值。該轉換模組決定該目標區塊之一內部預測模式，自多個轉換型式選取對應於該內部預測模式之一目標轉換型式，以及依據該目標轉換型式將該等預測殘餘值轉換為多個轉換值。其中對應於該內部預測模式之該等轉換型式係依據預測殘餘值之變異數大小被分類。

為了讓本發明之上述和其他目的、特徵、和優點能更明顯易懂，下文特舉數較佳實施例，並配合所附圖示，作詳細說明如下：

第3圖為依據本發明之一實施例的被依內部預測模組所處理之目前區塊303及兩鄰近區塊301與302。兩鄰近區塊包括一左方區塊301及一上方區塊302。左方區塊301、上方區塊302、目前區塊303都是位於一視訊資料的同一畫面(frame)中。於畫面中，左方區塊301位於目前區塊303的左方，而上方區塊302位於目前區塊303的上方。左方區塊301、上方區塊302、目前區塊303皆包括固定數目之畫素(pixel)，每一畫素具有一畫素值以表示該畫素之顏色。於一實施例中，目前區塊303包括16(4×4)個畫素，位置分別為(0,0)~(3,3)。

第4圖為依據本發明之一實施例的用以進行內部預測(intra-prediction)之方法400的流程圖。方法400被稱為重疊區塊內部預測(overlapped block intra-prediction；OBIP)。假設一內部預測模組接收到第3圖中的目前區塊303以進行內部預測。一左方區塊301位於目前區塊303的左方，而一上方區塊302位於目前區塊303的上方。左方區塊301、上方區塊302、目前區塊303的內部預測模式可能係各自不同的。內部預測模組因此先決定左方區塊301的第一內部預測模式，上方區塊302的第二內部預測模式，以及目前區塊303的第三內部預測模式(步驟402)。

目前區塊303包括多個畫素。內部預測模組接著自目前區塊303的多個畫素中選取一目標畫素(步驟404)。內部預測模組首先依據左方區塊301的第一內部預測模式計算該目標畫素的第一預測值P₁ (步驟406)。內部預測模組接著依據上方區塊302的第二內部預測模式計算該目標畫素的第二預測值P₂ (步驟408)。內部預測模組接著依據目前區塊303的第三內部預測模式計算該目標畫素的第三預測值P₃ (步驟410)。因此，第一預測值P₁ 、第二預測值P₂ 、第三預測值P₃ 分別對應左方區塊301的第一內部預測模式、上方區塊302的第二內部預測模式、目前區塊303的第三內部預測模式。

內部預測模組接著將第一預測值P₁ 、第二預測值P₂ 、第三預測值P₃ 平均以得到一平均值以作為該目標畫素之內部預測值。於一實施例中，內部預測模組首先決定一組目標加權參數W₁ 、W₂ 、W₃ 以供對第一預測值P₁ 、第二預測值P₂ 、第三預測值P₃ 進行加權平均(步驟412)。於一實施例中，目標加權參數W₁ 、W₂ 、W₃ 係依據目前區塊303之第三預測模式P₃ 以及該目標畫素位於目前區塊303內之位置而決定。於一實施例中，內部預測模組包括一記憶體以儲存一加權參數表以供紀錄多組加權參數，而內部預測模組搜尋該加權參數表以決定目標加權參數W₁ 、W₂ 、W₃ 。第5圖係依據本發明之一實施例的加權參數表500，其中加權參數表500紀錄了多組加權參數。加權參數表500中的多組加權參數係以目前區塊303的內部預測模式以及目標畫素位於目前區塊303內之位置作為索引。加權參數表500中儲存的多組加權參數係由非在線的訓練(off-line training)程序中經由線性廻歸(linear regression)而決定。

舉例來說，若目標畫素之位置為(0,2)，而目前區塊303之內部預測模式為垂直模式0，則目標加權參數W₁ 、W₂ 、W₃ 被決定為W₁ ⁰ (0,2),W₂ ⁰ (0,2),W₃ ⁰ (0,2)。若目標畫素之位置為(3,3)，而目前區塊303之內部預測模式為水平上偏模式8，則目標加權參數W₁ 、W₂ 、W₃ 被決定為W₁ ⁸ (3,3),W₂ ⁸ (3,3),W₃ ⁸ (3,3)。當目標加權參數W₁ 、W₂ 、W₃ 被決定後，內部預測模組接著依據該目標加權參數W₁ 、W₂ 、W₃ 對第一預測值P₁ 、第二預測值P₂ 、第三預測值P₃ 進行加權平均，以得到該目標畫素之一內部預測值[W₁ ×P₁ +W₂ ×P₂ +W₃ ×P₃ ](步驟414)。內部預測模組接著重複執行內部預測值之計算步驟404~414，直到目前區塊303之所有畫素的內部預測值皆已計算得到(步驟416)。目前區塊的所有畫素之內部預測值接著被收集以得到一預測區塊，而內部預測模組將該預測區塊輸出至一減除模組，該減除模組將預測區塊之畫素預測值自目前區塊303之畫素值減除，以得到預測殘餘值，如第1A圖所示。預測區塊之畫素預測值因此為分別依據左方區塊301、上方區塊302、目前區塊303之內部預測模式所產生的預測值P₁ 、P₂ 、P₃ 之加權平均值。

於步驟412中，供平均預測值P₁ 、P₂ 、P₃ 之加權參數W₁ 、W₂ 、W₃ 係依據目前區塊303之第三預測模式P₃ 以及該目標畫素位於目前區塊303內之位置而決定。然而，加權參數表500中包含有9種類的預定加權參數分別對應於內部預測模式0~8，而對應於其他內部預測模式的此等預定加權參數可能較對應於目前區塊303之預測模式P₃ 的加權參數產生帶有較少之影像失真的預測平均值。因此，於一實施例中，目標加權參數W₁ 、W₂ 、W₃ 係依據對應於多個預定加權參數的位元率-失真最佳化(rate-distortion optimization)成本而自對應於多個內部預測模式的該等預定加權參數選出。舉例來說，內部預測模組可於步驟412產生分別對應9個內部預測模式的9組加權參數，接著於步驟414依據9組加權參數分別對第一預測值P₁ 、第二預測值P₂ 、第三預測值P₃ 進行加權平均以得到該目標畫素之9個內部預測值。內步預測模組接著分別收集所有畫素之9種內部預測值以產生9個預測區塊，並計算9個區塊之位元率-失真最佳化成本，最後選取具有最低的位元率-失真最佳化成本的預測區塊作為輸出。視訊資料之數個位元可用以儲存目標區塊之被選取的內部預測模式，以便傳遞至解碼器時指示解碼器目標區塊係依據何內部預測模式編碼。

第4圖之方法400產生包括多個加權平均預測值之預測區塊。然而，包括多個加權平均預測值之預測區塊可能較僅僅依據目標區塊之單一內部預測模式所產生的預測區塊具有較高的位元率-失真最佳化成本。因此，於一實施例中，內部預測模組具有一機制，以自動決定是否依據方法400產生包括多個加權平均預測值之預測區塊。亦即，內部預測模組可自動的於巨集區塊(macroblock)的層次決定是否啟動或關閉重疊區塊內部預測功能400。於一實施例中，當目前區塊之所有畫素之加權平均預測值均計算完畢後，內部預測模組收集所有的加權平均預測值以得到一第一預測區塊，並收集所有依據目標區塊之內部預測模式所產生的第三預測值P₃ 得到一第二預測區塊。接著，內部預測模組分別計算第一預測區塊及第二區塊的位元率-失真最佳化成本。當第一預測區塊的位元率-失真最佳化成本高於第二預測區塊的位元率-失真最佳化成本，依據目標區塊之內部預測模式所產生的第二預測區塊將被選取以作為內部預測模組的輸出。於一實施例中，視訊資料的一位元被用以紀錄重疊區塊內部預測功能(OBIP)開或關，以通知解碼器對解碼流程進行對應的調整。

當一減除模組自目前區塊減除預測區塊以得到預測殘餘值後，預測殘餘值會被送至一轉換模組進行資料壓縮。第6圖為依據本發明之一實施例對視訊資料進行資料壓縮的方法600之流程圖。假設視訊編碼器之轉換模組支援多種轉換型式，其中每一轉換型式對應於預測殘餘值之一變異數(variance)大小層級。轉換模組首先接收包含欲進行壓縮之預測殘餘值的一目標區塊，並決定該目標區塊之內部預測模式(步驟602)。接著，轉換模組自多個轉換型式中選取對應於目標區塊的內部預測模式之目標轉換型式(步驟608)。於另一實施例中，轉換模組分別計算對應於多個轉換型式之多個位元率-失真最佳化成本，並選取對應於最低的位元率-失真最佳化成本之轉換型式作為目標轉換型式。

於部分實施例中，不同的轉換型式係表示以不同組的轉換係數進行轉換。常用在視訊編碼過程中的轉換方法包括離散餘弦轉換(discrete cosine transform,DCT)以及Karhunen Loeve轉換(KLT)。轉換係數組依據不同的內部預測模式及變異數大小排序，其中各組轉換係數是由多個預定轉換係數所組成的。於一實施例中，轉換模組以一轉換係數表儲存多組預定轉換係數。第7圖為依據本發明一實施利之儲存多組轉換係數的轉換係數表700。轉換係數表700中的多組轉換係數係依據不同的內部預測模式0~8及變異數大小層級A、B、C儲存。舉例來說，轉換係數組C_0A 對應於垂直內部預測模式0及最低之變異數大小層級A，而轉換係數組C_8C 對應於水平偏上之內部預測模式8及最高之變異數大小層級C。

轉換模組接著依據對應於目標轉換型式之內部預測模式及變異數大小決定一組目標轉換係數。於一實施例中，轉換模組依據對應於目標轉換型式之內部預測模式及變異數大小搜尋轉換係數表700，以得到目標轉換係數。接著，轉換模組掃描該目標區塊之多個畫素以取得目標區塊之多個預測殘餘值(步驟609)，並依據目標轉換型式所對應之目標轉換係數轉換該等預測殘餘值為多個轉換值(步驟610)。於一實施例中，轉換模組依據目標轉換型式決定一特定的掃描順序，並依該掃描順序掃描該目標區塊之多個畫素以得到該等預測殘餘值。轉換模組接著重覆步驟604~612，直到目標區塊之所有預測殘餘值均已被轉換為轉換值為止(步驟612)。因此，針對不同內部預測模式的巨集區塊，本發明之轉換模組可依據其內部預測模式所對應的不同轉換型式進行轉換處理。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此項技術者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧視訊編碼器

102‧‧‧內部預測模組

104‧‧‧減除模組

106‧‧‧轉換模組

108‧‧‧量化器

150‧‧‧視訊解碼器

152‧‧‧反轉換模組

154‧‧‧反內部預測模組

156‧‧‧相加模組

301‧‧‧左方區塊

302‧‧‧上方區塊

303‧‧‧目前區塊

第1A圖為依據內部預測模式進行視訊編碼的視訊編碼器的區塊圖；

第1B圖為依據內部預測模式解碼視訊資料之視訊解碼器的區塊圖；

第2圖顯示符合VCEG-N54規格的九種內部預測模式0~8；

第3圖為依據本發明之一實施例的被依內部預測模組所處理之目前區塊及兩鄰近區塊；

第4圖為依據本發明之一實施例的用以進行內部預測之方法的流程圖；

第5圖係依據本發明之一實施例的加權參數表；

第6圖為依據本發明之一實施例的對視訊資料進行資料壓縮的方法之流程圖；

第7圖為依據本發明一實施利之儲存多組轉換係數的轉換係數表。

Claims

一種進行內部預測(intra-prediction)之方法，包括下列步驟：決定一左方區塊的第一內部預測模式，一上方區塊的第二內部預測模式，以及一目前區塊的第三內部預測模式，其中該左方區塊位於該目前區塊之左方，而該上方區塊位於該目前區塊之上方；自該目前區塊的多個畫素選取一目標畫素；假定該目前區塊之內部預測模式為該第一內部預測模式時，計算該目標畫素的一第一預測值；假定該目前區塊之內部預測模式為該第二內部預測模式時，計算該目標畫素的一第二預測值；假定該目前區塊之內部預測模式為該第三內部預測模式時，計算該目標畫素的一第三預測值；以及加權平均該第一預測值、該第二預測值、以及該第三預測值，以得到一加權平均預測值。
如申請專利範圍第1項所述之進行內部預測之方法，其中平均該第一預測值、該第二預測值、以及該第三預測值更包括：依據該目標畫素於該目前區塊中之位置決定一組加權參數；以及依據該組加權參數對該第一內部預測模式、該第二內部預測模式、以及該第三內部預測模式進行加權平均，以得到該加權平均預測值。
如申請專利範圍第2項所述之進行內部預測之方法，其中該組加權參數包括對應於該第一預測值之一第一加權參數、對應於該第二預測值之一第二加權參數、以及對應於該第三預測值之一第三加權參數。
如申請專利範圍第2項所述之進行內部預測之方法，其中該組加權參數係依據該第三內部預測模式以及該目標畫素於該目前區塊中之位置而決定。
如申請專利範圍第4項所述之進行內部預測之方法，其中該組加權參數係藉由依據該第三內部預測模式以及該目標畫素於該目前區塊中之位置而查詢一加權參數表而得到。
如申請專利範圍第2項所述之進行內部預測之方法，其中該組加權參數係依據對應於多個預定加權參數的位元率-失真最佳化(rate-distortion optimization)成本而自該等預定加權參數選出，而該等預定加權參數係分別對應於多個內部預測模式。
如申請專利範圍第1項所述之進行內部預測之方法，其中該方法更包括：重複該目標畫素之選擇，該第一、第二、第三預測值之計算，以及該第一、第二、第三預測值之平均，直到該目前區塊之所有該等畫素之加權平均預測值均已計算得到為止；收集該目前區塊之該等畫素之該等加權平均預測值以得到一第一預測區塊；收集該目前區塊之該等畫素之該等第三預測值以得到一第二預測區塊；計算該第一預測區塊之一第一位元率-失真最佳化(rate-distortion optimization)成本；計算該第二預測區塊之一第二位元率-失真最佳化成本；比較該第一位元率-失真最佳化成本與該第二位元率-失真最佳化成本以得到一比較結果；以及依據該比較結果自該第一預測區塊與該第二預測區塊選取一內部預測區塊作為輸出。
如申請專利範圍第1項所述之進行內部預測之方法，其中該方法更包括：重複該目標畫素之選擇，該第一、第二、第三預測值之計算，以及該第一、第二、第三預測值之平均，直到該目前區塊之所有該等畫素之加權平均預測值均已計算得到為止；收集該目前區塊之該等畫素之該等加權平均預測值以得到一預測區塊；以及輸出該預測區塊以得到一內部預測區塊。
一種視訊編碼器(Video encoder)，接收一目前區塊，其中一左方區塊位於該目前區塊之左方，而一上方區塊位於該目前區塊之上方，包括：一內部預測(Intra-prediction)模組，決定該左方區塊的第一內部預測模式、該上方區塊的第二內部預測模式，以及該目前區塊的第三內部預測模式，自該目前區塊的多個畫素選取一目標畫素，假定該目前區塊之內部預測模式為該第一內部預測模式時計算該目標畫素的一第一預測值，假定該目前區塊之內部預測模式為該二內部預測模式計算該目標畫素的一第二預測值，假定該目前區塊之內部預測模式為該第三內部預測模式時計算該目標畫素的一第三預測值，以及加權平均該第一預測值、該第二預測值、以及該第三預測值，以得到該目標畫素之一加權平均預測值；以及一減除模組，自該目標畫素減去該加權平均預測值以得到該目標畫素之一預測殘餘值。
如申請專利範圍第9項所述之視訊編碼器，其中該內部預測模組依據該目標畫素於該目前區塊中之位置決定一組加權參數，以及依據該組加權參數對該第一內部預測模式、該第二內部預測模式、以及該第三內部預測模式進行加權平均，以得到該加權平均預測值。
如申請專利範圍第10項所述之視訊編碼器，其中該組加權參數包括對應於該第一預測值之一第一加權參數、對應於該第二預測值之一第二加權參數、以及對應於該第三預測值之一第三加權參數。
如申請專利範圍第10項所述之視訊編碼器，其中該內部預測模組依據該第三內部預測模式以及該目標畫素於該目前區塊中之位置而決定該組加權參數。
如申請專利範圍第12項所述之視訊編碼器，其中該內部預測模組係依據該第三內部預測模式以及該目標畫素於該目前區塊中之位置而查詢一加權參數表，從而得到該組加權參數。
如申請專利範圍第10項所述之視訊編碼器，其中該內部預測模組係依據對應於多個預定加權參數的位元率-失真最佳化(rate-distortion optimization)成本而自該等預定加權參數選出該組加權參數，而該等預定加權參數係分別對應於多個內部預測模式。
如申請專利範圍第9項所述之視訊編碼器，其中該內部預測模組重複該目標畫素之選擇，該第一、第二、第三預測值之計算，以及該第一、第二、第三預測值之平均，直到該目前區塊之所有該等畫素之加權平均預測值均已計算得到為止；且該內部預測模組收集該目前區塊之該等畫素之該等加權平均預測值以得到一第一預測區塊，收集該目前區塊之該等畫素之該等第三預測值以得到一第二預測區塊，計算該第一預測區塊之一第一位元率-失真最佳化(rate-distortion optimization)成本，計算該第二預測區塊之一第二位元率-失真最佳化成本，比較該第一位元率-失真最佳化成本與該第二位元率-失真最佳化成本以得到一比較結果，以及依據該比較結果自該第一預測區塊與該第二預測區塊選取一內部預測區塊作為輸出。
如申請專利範圍第9項所述之視訊編碼器，其中該內部預測模組重複該目標畫素之選擇，該第一、第二、第三預測值之計算，以及該第一、第二、第三預測值之平均，直到該目前區塊之所有該等畫素之加權平均預測值均已計算得到為止；且該內部預測模組收集該目前區塊之該等畫素之該等加權平均預測值以得到一預測區塊，以及輸出該預測區塊以得到一內部預測區塊。