TW201216716A - Motion compensation using vector quantized interpolation filters - Google Patents

Description

201216716 六、發明說明： 【發明所屬之技術領域】 本發明係關於視訊編碼，且更明確而言，係關於使用内 插過遽器作為移動補償編碼之部分的視訊編碼系統。 本申3月案主張201〇年7月6日申請之題為「]^〇丁1〇1^ COMPENSATION USING VECTOR QUANTIZED INTERPOLATION FILTERS」的美國臨時巾請案第61/36i，768號之權利。前面 提到的申請案以引用之方式全部併入本文中。 【先前技術】 視訊編碼解碼器通常使用在像素之區塊（本文中稱為 像素區塊」）上的離散餘弦變換（「dct」）來編碼視訊圖 框，與用於用於靜能爭德十E u 貯心〜像之原始JPEG編碼器極為類似。有 始圖框（稱為「框内，国4ι_ 内」圖框）作為獨立圖框加以編碼及傳 輸。隨後圖框（歸因於物件在場景中之小移動，其模型化 =緩慢改變）使用稱為移動補償（「MC」）之技術在框間模 =有效地編碼，其中將像素區塊自其在Μ編碼之圖框 像之位移作為移動向量同預測像素區塊與來自源影 像素區塊之間的差之編碼表示-起傳輸。 影要述評。㈣圖2展示移動補償 (以像素的像素區塊u =方塊圖。遠系統組合變換編碼 編碼調變(「PCM 式)與預測編碼(以差分脈衝 計算，且同時，心之二幻以便減少經壓縮影像之儲存及 以在變換域中執：，=縮及適應性。由於移動補償難 因此在框間編碼器中之第—步驟為創 157302.doc 201216716 建移動補償預測誤差。此計算需要在編碼器及解碼器兩者 中之一或多個圖框儲存器。所得誤差信號使用DCT加以變 換、由適應性量化器量化、使用可變長度編碼器 (「VLC」）進行熵編碼，且經緩衝用於在頻道上傳輸。 . 移動估計器工作之方式說明於圖3中。按其最簡單之形 式，將當前圖框分割成恆定大小（例如，16><16或8><8)之移 動補償區塊（本文中稱為rmcbl〇ck」）。然而，常使用可變 大小mcblock，尤其在諸如H.264之較新編碼解碼器中。 〇 (ITU_T推薦H.264，進階視訊編碼）。實際上，亦已研究且 提議非矩形mcblock。mcblock在大小上通常大於或等於像 素區塊。 再次，按移動補償之最簡單之形式，將先前解碼之圖框 用作參考圖框，如在圖3中所示。然而，亦可使用許多可 能參考圖框中之一者，尤其在諸如H.264之較新編碼解碼 器中。事實上’藉由適當之發信號，可將不同參考圖框用 於每一 mcblock。 〇 比較當前圖框中之每一 mcblock與參考圖框中之一組移 置之mcblock以判定哪一者最佳地預測當前mcblock。當發 - 現最佳匹配mcblock時，判定指定參考mcblock之位移的移 _ 動向量。 採用空間冗餘 因為視訊為一序列靜態影像，所以有可能使用類似於 JPEG之技術達成一定壓縮。此等壓縮之方法稱為框内編碼 技術，其中個別且獨立地壓縮或編碼視訊之每一圖框。框 157302.doc 201216716 内編碼採用存在於圖框之鄰近像素之間的空間冗餘。僅使 用框内編碼而編碼之圖框稱為Γ j圖框」。 採用時間冗餘 在以上描述之單向移動估計（稱為「前向預測」）中，使 待編碼之圖框中的目標mcbl〇ck與稱為「參考圖框」之過 去圖框中的相同大小之一組mcblock匹配。將「最佳匹 配」目標mcblock之參考圖框中的mcbi〇ck用作參考 mcblock。接著將預測誤差計算為目標mcbl〇ck與參考 mcblock之間的差。一般而言，預測mcM〇ck與參考圖框中 經編碼之mcblock邊界並不對準.此最佳匹配參考瓜讣比呔 之位置由描述其與目標mcb丨ock之間的位移之移動向量指 示。移動向量資訊亦經編碼且與預測誤差一起傳輸。使用 前向預測而編碼之圖框稱為「p圖框」。 使用以上概述的基於DCT之框内編碼技術傳輸預測誤差 自身。 雙向時間預測 雙向時間預測(亦稱為「移動補償内插」）為現代視訊編 碼解碼器之關鍵特徵。藉由雙向預測編碼之圖框使用兩個 參考圖框，通常為過去之—圖框及未來之—圖框。然而， 亦可使用許多可能參考圖框中之兩者’尤其在諸如Η 264 之較新編碼解碼器中。事實上，#由適當之發信號，可將 不同參考圖框用於每一 mcbl〇ck。 雙向編碼之®框巾的目標meblQek可藉由來自過去表考 圖框之mCbl〇Ck(前向預測）或來自未來參考圖框之 157302.doc 201216716 mcblock(後向預測）或藉由兩個mcbi〇ck(每一參考圖框一 mcblock(内插））之平均值加以預測。在每一情況下使來 自參考圖框之預測mcblock與移動向量相關聯，使得每個 mcblock高達兩個移動向量可供雙向預測使用。用於雙向 預測之圖框中之mcblock的移動補償内插說明於圖4中。使 用雙向預測編碼之圖框稱為r B圖框」。 雙向預測提供許多優勢…主要優勢為獲得之壓縮通常 比單獨自前向（單向）制可獲得者高。為了獲得相同圖像 〇. A質’可藉由比僅使用前向預測之圖框少的位元來編碼雙 向預測之圖框。 然而，雙向預測在編竭過程中確實引入附加延遲，此係 因為必須失序地編碼圖框。另外，其帶來附加編碼複雜 性，此係因A必須針對每一目標mcblock執行mcblock匹配 (最為計算密集之編碼程序)兩次，—次藉由過去參考圖 框’且一次藉由未來參考圖框。 用於雙向預測之典型編碼器架構 ° 圖5展示—典型雙向視訊編碼器。假Μ框重新排序發 生於編碼之前，亦即，必須在對應Β圖框中之任一者之前 -編碼及傳輸用於Β圖框預測之I圖框或Ρ圖框。在此編碼： —碼器中，不將Β圖框用作參考圖框。在架構改變之情況 下Β圖框可用作參考圖框（如在η.264中）。 將輸入視訊饋入至移動補償估計器⑼測器，移動補償 2計器/預測器將預測饋入至減法器之減輸入端。對於每 icMd ’框間細分㈣接著比較輪人像素與減法器 1573 〇2*d〇c 201216716 之預測誤差輸出。通常’若均方預測誤差超過均方像素 值，則決定框内mcblock。涉及像素及預測誤差兩者之 DCT的較複雜之比較產生稍佳之效能’但通常認為不值其 成本。 對於框内mcblock，將預測設定至零。否則，其來自預 測器，如上所述。預測誤差接著在經編碼、多工及發送至 緩衝器之前經過DCT及量化器。 藉由反向量化器將經量化之位準轉換至重建構之Dct係 數，且接著由反向DCT單元（「IDCTj )變換該反向項以產 生經編碼之預測誤差。加法器將預測加至預測誤差，且將 結果截削（例如）至範圍〇至255以產生經編碼之像素值。 對於B圖框，移動補償估計器/預測器使用在圖像儲存器 中保持之先前圖框及未來圖框兩者。 對於I圖框及P圖框，將由加 入至下一個圖像儲存器，同時 儲存器複製至先前圖像儲存器 體位址之簡單改變而實現。 法器輪出的經編碼之像素寫 ，將舊有像素自下一個圖像 貫務上，此通常藉由記憶 ’貫務上’經編碼之像素可在進^像儲存器之^ 、應性解區塊過濾器過濾。此改良移動補償預測，尤 於編碼假影可能變得可見之低位元率。 八 編碼統計處理器與量化器配接器— 趄控制輸出位元率 立儒可此使圖像品質最佳化。 用於雙向預測之典型解碼器架構 圖6展不一典型雙向視訊解碼器。 丹具有對應於使用石 157302.doc 201216716 向過程的編碼器之像素重建構部分之結構。假定圖框重新 排序發生在解碼及視訊輸出之後。可將内插過濾器置放在 移動補禎預測器之輸出端處（如在編碼器中）。 分率移動向量位移 圖3及圖4將參考圖框中之參考瓜讣卜心展示為相對於正 在田¥』圖框中解碼的當前mcM〇ck之位置垂直及水平移 置位移置由稱為移動向量之二維向量[dx, dy]表示。可 編碼及傳輸移動向量，或可自已處於解碼器中之資訊估計 〇 移動向里，在該情況下，不傳輸移動向量。對於雙向預 測’每一傳輸之mcbl〇ck需要兩個移動向量。 才女其取簡單形式，扣及办為帶正負號之整數，其表示要 使參考mcblock移置的水平上的像素之數目及垂直上的行 之數目。在此情況下，僅藉由自參考儲存器讀取適當像素 來獲得參考mcblock。 然而，在較新之視訊編碼解碼器中，已發現允許妝及办 之分率數值係有益的。通常，其允許降至四分之一像素之 〇 位移準確度，亦即，整數+- 0.25、〇.5或0.75。 分率移動向量不僅僅需要自參考儲存器讀取像素。為了 - 獲得參考儲存器像素之間的位置之參考mcblock值，有必 、 要在其間内插。 簡單的雙線性内插可相當好地起作用。然而，實務上， 已發現使用二維内插過濾器（尤其經設計用於此目的）係有 益的。事實上，因效能及實用性之故，過滤器常不為移位 不變過攄器。實情為，分率移動向量之不同值可利用不同 I57302.doc 201216716 内插過濾器。 使用適應性内插過濾器之移動補償 最適宜之移動補償内插過濾、器視許多因素而定。舉例而 言，在場景令之物件可能並不按純平移移動。可能存在在 4及—維兩者中之物件旋轉。其他因素包括變焦、相機 移動及由陰影造成之照明變化或變化之照度。 相機特性可歸因於其感測器之特殊屬性而變化。舉例而 言，許多消費型相機本質上交錯，且其輸出可經解交錯及 過滤以提供無交錯假影之看起來賞心悅目的圖像。低光條 件可能造成每圖框之增加的曝光次數，從而導致移動物件 之與移動有關之模糊《像素可能為非正方形。 因此’在許多情況下1移動補償内插過遽器可適應於 此等及：他外部因I，則可具有改良之效能。在此等系統 中可藉由在母-圖框上使當前爪咖⑽與其對應的參考 -M〇ck之間的均方誤差最小化來設計内插過據器。此等 過滤器為所謂的文納（Wiene。接著將在每一圖框 之開頭量化且傳輸過渡器係數以用於實際移動補 中。 【發明内容】 本發明之實施例提供-種視訊編碼器/解碼器系統，宜 使用可動態指派的内插過渡器作為移動補償預測之部分。 編碼器及解碼器各自可儲存定義可應用至預測之視訊資料 的各種内插過濾器之共同碼薄。在執行時期編碼期間，編 碼器計算待應用至一參考區塊的理想内插過渡器之特性， 157302.doc •10- 201216716 當參考區塊將用以預測視訊資料之輸入區塊時，該理想内 插過渡器將使預測誤差最小化。一旦識別了理想過據'器之 特性，則編碼器可搜尋其本端碼薄以找到最佳匹配理想過 濾器之過濾器。編碼器可在其編碼輸入區塊時藉由儲存於 碼薄中之最佳匹配過濾器來過遽參考區塊。編碼器亦可將 最佳匹配過濾'器之識別符傳輸至解碼器，當解碼器解碼用 於預測之區塊的經編碼資料時，其將在該區塊上使用内插 過濾器。 Ο Ο 【實施方式】 使用向量量化内插過濾器（VQIF)之移動補償 若可將内插過濾器應用至每—mcblock，則可達成改良 之編碼解碼器效能。然而，每mcblock傳輸一過據器通常 =於昂貴1此，本發明之實施例提議使用輯器之碼 簿，且針對每一mcbl〇ck將—索引發送至碼薄。 本發明之實施例提供—種在編碼器與解碼器之間建置且 應用過遽器碼薄之方法（圖7)。圖8說明編碼器系統之簡化 方塊圖’其展示内插過濾器之操作。圖9說明根據本發明 t實施例的建置瑪薄之方法。圖職明根據本發明之一 貫施例的在執行時期編碼及解碼期間使用碼薄之方法圖 褐器之簡化方塊圖’其展示内插過遽器之操作及 碼薄索引之耗用。 圖8為適用於本發明中的編碼器之簡化方媸 刚可包括其…A W之間化方塊圖。編碼器 。 土於區塊之編碼鏈110及一預測單元120。 區塊編碍鏈m可包括—減法器112、_變換單元⑴、 157302.doc 201216716 一量化器116及一可變長度編碼器118。減法器112可自源 影像接收輸入mcblock及自預測單元120接收預測之 mcblock。其可自輸入mcblock減去預測之mcblock，從而 產生像素殘差區塊。變換單元114可根據空間變換（通常， 離散餘弦變換（「DCT」）或小波變換）*mcblocki殘差資 料轉換成變換係數陣列。量化器116可根據量化參數 (「QP」）截斷每一區塊之變換係數。可在頻道中將用於戴 斷之QP值傳輸至解碼器。可變長度編碼器118可根據熵編 碼演算法（例如，可變長度編碼演算法）編碼量化係數。在 可變長度編碼後，每一 mcbl〇ck的經編碼資料可儲存於緩 衝器140中以等待經由頻道傳輸至解碼器。 預測單元120可包括··一反向量化單元122、一反向變換 單元124 一加法态1、一參考圖像快取記憶體丨28、一 移動估計器130、一移動補償預測器132、一内插過遽器 134及-石馬薄136。反向量化單元122可根據由量化器ιΐ6使 用之㈣量化經編碼之視訊資料。反向變換單元124可將 重新量化之係數變換至像素域。加法器126可將自反向變 換早心4輸出之像素殘差與來自移動補償預測器⑴的預 =移動資料加在-起。參相像快取記㈣128可儲存 二圖之圖框以供在稍後接收之―让之編碼期間用作參 =傻Γ估計器13°可估計正編碼之源影像與儲存於 “圖：快取記憶體中之參考圖框之間的影像移動。舉例 選擇待使用之制模式 向扁碼），且產生用於在此_編碼中㈣之移動向量。 157302.doc 12 201216716 移動補償預測器132可產生一預測之mcb〖ock以供由區塊編 碼器使用。在此方面，移動補償預測器可擷取選定參考圖 框的儲存之mcblock資料。内插過濾器134可根據由碼薄 136輸出之組態參數過濾來自移動補償預測器132的預測之 . mcblock碼薄136可儲存定義内插過滤器134之操作的組 怨貧料。藉由碼薄内之索引來識別組態資料之不同例項。 在編碼操作期間，可將移動向量、量化參數及碼薄索引 連同經編碼之mcbi〇ck資料一起輸出至一頻道以用於由解 〇 碼器（圖中未展示）解碼。 圖9說明根據本發明之一實施例的方法。根據該實施 例，可藉由使用具有各種細節及移動特性之一組大的訓練 序列來建構碼薄。對於每一 mcbl〇ck，可根據傳統技術計 算整數移動向量及參考圖框（方框21〇)。接著，可藉由計算 在未編碼之像素與來自參考圖像快取記憶體的經編碼像素 之間的交又相關矩陣（方框222)及自相關矩陣（方框22句（每 一者在mcblock上平均）來建構ΝχΝ文納内插過濾器（方框 C) 22〇)。或者，可在具有與mcblock類似之移動及細節的較 大周圍區域上平均交叉相關矩陣及自相關矩陣。内插過濾 - 器可為矩形内插過濾器或圓形文納内插過濾器。 - 此程序可產生奇異之自相關矩陣，其意謂，可任意選擇 過濾Is係數中之一些。在此等情況下，距中心最遠的受影 響之係數可選擇為零。 可將所得過濾器添加至碼薄（方框23〇)。可依據向量量 化（「VQ」）叢集技術添加過濾器，該等技術經設計以產生 157302.doc -13- 201216716 具有所要數目個項 度之竭薄。—曰器之所要表示準確 框24〇)。在傳松二J薄’即可將其傳輸至解碼器(方 〗爰編碼益及解碼器兩者可錯存 時期編碼操作期間參考之共同碼薄。了錯存可在執行 可备各種方式發生至解竭器之。+ 間可週期性地將碼薄傳輸至解碼器:或者者可::操:期 練資料執行之編碼摔作戋 卜奴訓 次糟由在編碼標準中 將碼薄編碼至解碼考内。甘从由 r您表不先驗地 _ " "他實施例准許預設碼薄建立於 編碼器及解應哭於 ，"、。。令，但允許藉由自編碼器至 適應性地更新該碼薄。 盗之傳輪 碼薄内之索引可基於其出 ^現之機率而加以可變長度 碼’或其可經算術編碼。 圖10說明根據本發明之一實施例的用於視訊之執行時期 編碼之方法。對於待編碼之每一mcblock，可計算（方框 310)1碼及傳輸整數移動向量及參考圖框。接著，可藉 由计异在mcMock上平均之交叉相關矩陣（方框322)及自相 關矩陣（方框324)來針對該瓜扑比心建構ΝχΝ文納内插過濾 器（方杧320)。或者，可在具有與爪心比仏類似之移動及細 節的較大周圍區域上平均交叉相關矩陣及自相關矩陣。内 插過濾器可為矩形内插過濾器或圓形文納内插過濾器。 旦建立了内插過濾器，即可搜尋碼薄以找出最佳地匹 配新建構之内插過濾器的先前儲存之過濾器（方框33〇)。匹 配演算法可根據向量量化搜尋方法繼續進行。當識別了一 匹配碼薄項目時’編碼器可編碼所得索引，且將其傳輸至 157302.doc -14- 201216716 解碼器（方框340)。 視情況，在圖10中以假想線展示之適應性過程中，當編 碼器自碼薄識別最佳匹配過濾器時，其可比較新產生之内 插過濾器與碼薄之過濾器（方框3 5 〇)。若兩個過濾器之間的 差超過預定誤差臨限值，則編碼器可將過濾器特性傳輸至 解碼器，此可使解碼器將該等特性儲存為新的碼薄項目 (方框360-370)。若該等差不超過誤差臨限值，則編碼器可 僅傳輸匹配碼薄之索引（方框34〇)。 〇 接收到整數移動向量、參考圖框索引及VQ内插過濾器 索引之解碼器可使用此資料執行移動補償。 圖11為根據本發明之一實施例的解碼器400之簡化方塊 圖。解碼器400可包括一基於區塊之解碼器4〇2，該基於區 塊之解碼器402可包括一可變長度解碼器41〇、一反向量化 斋42〇、一反向變換單元43〇及一加法器440。解碼器400進 一步可包括一預測單元4〇4 ’該預測單元4〇4可包括一參考 圖像快取記憶體450、一移動補償預測器46〇、一碼薄47〇 〇 及内插過濾器480。預測單元404可回應於移動補償資料 (諸如，自一頻道接收之移動向量及碼薄索引）而產生一預 - 測之像素區塊。基於區塊之解碼器402可參照預測之像素 - 區塊資料來解碼經編碼像素區塊資料以復原像素區塊之像 素資料。 特疋δ之，經編碼之視訊資料可包括控管預測單元和4 之操作的移動向量及碼薄索引。參考圖像快取記憶體45〇 可儲存經識別為用於預測稍後接收之經編碼視訊資料（例 157302.doc -15- 201216716 如，經解碼之ϊ圖框或P圖框）之候選者的先前解碼之圖框 的經復原之影像資料。移動補償預測器460可回應於 mcblock移動向量資料而自儲存於參考圖像快取記憶體中 之經識別之圖框擷取一參考mcM〇ck。通常，當解碼p編碼 之區塊％，擷取一信號參考mcbl〇ck，且當解碼B編碼之區 塊時，擷取且平均一對參考mcbl〇ck。移動補償預測器46〇 可將所得mcblock及（視情況）位置接近參考mcbl〇ck之像素 輸出至内插過濾器480。 碼薄470可回應於自與正解碼之mcbi〇ck相關聯的頻道資 料接收之碼薄索引而將過濾器參數資料供應至内插過濾器 480可將碼簿470提供為儲存及控制邏輯以儲存過濾、器參 數資料及回應於碼薄索引而輸出搜尋資料。内插過濾器 480可基於由碼薄47〇應用之參數資料來過濾預測之 mcblock。可將内插過濾器48〇之輸出輸入至基於區塊之編 碼器402。 關於基於區塊之編碼器402，經編碼之視訊資料可包括 已經熵編碼的經編碼之殘差係數。可變長度解碼器可 根據熵編碼過程解碼自頻道緩衝器接收之資料以自其復原 量化係數。反向量化器420可用在頻道資料中接收之量化 參數乘以自反向可變長度解碼器41〇接收之係數資料。反 向置化器420可將復原之係數資料輸出至反向變換單元 430。反向變換單元430可將自反向量化器42〇接收的經反 量化之係數資料變換至像素資料。反向變換單元43〇(顧名 思義）執行由編碼器之變換單元執行的變換操作（例如， 157302.doc -16· 201216716 DCT或小波變換）之逆桎 禾1乍。加法器440可逐個像素地將由 反向變換單元430獲得，你主 <像素殘差資料與自預測單元404獲 得之預測之像素資料知 +相加。加法器440可輸出復原之 MM資料，自該復原之資料，復原之圖框可經 建構且在顯示裝置（圖中未展示）處呈現。

圖12說明根據本發明之另一實施例的方法。對於每一 ’可根據傳統技術計算整數移動向量及參考圖框 (方框51〇)。接著，可藉由連續地判定將由儲存於碼簿中之 每過;慮器獲得之預測結果來選擇ΝχΝ文納内插過滤器 (方框520)。特定言之，對於每一 mcM〇ck，該方法可連續 使用所有過渡器或其一子集對預測之區塊執行過濾操作 (方框522)，且估計自每一碼薄過濾器獲得之預測殘差（方 框524)。該方法可判定哪一過濾器組態給出最佳預測（方框 53 0)。彼過滤器之索引可經編碼且傳輸至解碼器（方框 540)。此實施例節省原本可能花費在針對每一源mcbl〇ck 計算文納過濾、器之處理資源。 簡化文納過濾器之計算 在另一實施例中’可迫使選擇過濾器係數等於其他過濾 器係數。此實施例可簡化文納過濾器之計算。 針對一 mcblock的文納過濾器之導出涉及根據下式導出 理想的Νχ 1過濾器F :

F = S~lR 其使均方預測誤差最小化。對於mcblock中之每一像素p， 矩陣F產生一預測像素》（々 = ^·Γ·βρ)及由err = 々表示之預測 157302.doc -17- 201216716 誤差。 更特定„之，對於每一像素p，向量&可呈以下形式

Qp= 其中 q丨至如表示在待在尸之預測中使用的平移之參考mcblock中 或其附近之像素。 ，別文中’ R為自待編碼的未編碼像素（p)及其對應的Qp 向里導出的Μχ 1父又相關矩陣。在R矩陣中，可導出在每 -位置i處之ri，彳乍為在mcbl〇ckt之像素p上平均之㈣。S 為自Νχΐ向量QP導出之ΝχΝ自相關矩陣。在s矩陣中，可導 出在母位置i，j處之si，j，作為在mcblock中之像素p上平 均之qi.qj。或者，可在具有與mcbl〇ck類似之移動及細節 的較大周圍區域上平均交叉相關矩陣及自相關矩陣。 S及R矩陣之導出針對正編碼之每一瓜仆比^發生。因 此，文納過濾器之導出涉及在編碼器處之實質計算資源。 根據此實施例，可迫使F矩陣中之選擇過濾器係數彼此相 等，此減小了 F之大小，且因此’減小了在編碼器處之計 异負擔。考慮將過濾器係數與6設定為彼此相等之一實 例。在此實施例中，可將F&Qp矩陣修改為： F = /3 及4 = ^1+^2 157302.doc 18 201216716 單一係數之刪除將F&Qp之大小皆減小至队丨^。在？中 的其他過濾器係數之刪除及在Qp中的值之合併可導致進一 步減小F及Qp向量之大小。舉例而$，刪除在距像素p彼此 等距離之所有位置處的過濾器係數（保留一個）常為有 的。以此方式，簡化了 F矩陣之導出。 | 在另一實施例中，編碼器及解碼器可儲存不僅由過遽器 編列索引且亦依補充識別符編列索引之單獨碼薄（圖^ 在此等實施例中，補充識別符可選擇碼薄中之一 Ο Ο 用碼薄，且索引可自碼薄内選擇 “乍 器β π曰W翰出至内插過濾 可自許多來源導出補充識別符。在—實施例中，區塊之 移動向量可充當補充識別符。因此，可針對每-移動向量 ::戈針對整數移動向量之不同範圍提供單獨碼薄(圖Η)。 t者狼在f作中，給^整數移動向量之值及參考圖框索 補償中：=::器皆可使用對應的碼薄來復原待在移動 補1貝节使用之過濾器。 =二實施例中’可針對存在於當前或參考圖框中的解 二過=不同值或值範圍提供單獨碼薄。接著，在操 ^讀之值，編碼器及解媽器使 、碼薄來復原待在移動補償中使用之過濾器。 、' 在圖15中展示之再一實施 = 及位开產^ j針對諸如像素縱橫比 丨的其他編碼解㈣參數之不同值或值範圍提#單 獨碼薄。垃1 丄， 人且视固故供早 之值，編在操作中，給定此等其他編碼解碼器參數 u及解碼器使用對應的喝薄來復原待在移動補 157302.doc 19· 201216716 償中使用之過濾器。 在另-實施例中，可針❹圖框 母一 mcb^ck之編碼類型 4者針對應用至 在再-實施例中，可自心皮 敌供早獨碼薄。 薄。訓練庠心 ㈣序列之離散集合產生不同碼 尋〇丨練序列可經選擇以具 Γ]碼 性’諸如，移動速度、細節之複雜::内之一致的視訊特 著，可針對特徵集之每一值或值：:：/:其他參數。接 徵集中之特徵或其近似去: 建構早獨碼薄。在特 之視訊資料導出(4 '經編碼及傳輪，或者自經編蝎 貝料導出（當其接收於解碼器 及解碼器將鍺存共同碼薄集合 ）=’，、扁碼器 薄之訓練序列之特性而訂；：係根據供導出碼 deblock，輸入視句次袓、在刼作中，對於每— 儲存之特性 §胃；之特性可經量夠且與自訓練序列 π資料之所|目^較°編碼器及解碼器可選擇對應於輸入視 汛資枓之所量測特性的碼薄以 過爐器。 · 1原待在移動補償中使用之 在又-實施财，編碼器可任意地建構單獨碼薄 在頻道㈣中包㈣確碼薄指定符來在該等碼薄間切換。 在分率移動向量與整數移動向量之間的來回切換 使用向量編碼之碼薄選擇内插過濾器有利地允許視訊編 碼器選擇為整數之蔣旦 移動向里且避免將移動向量編碼為分率 ⑴^ 半或四分之—像素距離）將需要之額外資料。在 -實施7中，編碼H可在兩個操作模式之間細㈣·將 移動向量編碼為分率值且將預設内插過滤器用於預測之 mcblock的第一模式’及將移動向量編碼為整數距離且使 157302.doc -20· 201216716 用前述實施例之向量編碼之内插過濾器的第二模式。此系 統允許編碼器管理執行視訊編碼所需要之計算資源及預測 之準確度。 在此實施例中’當將分率移動向量自編碼器傳達至解碼 胃時，兩個單元皆可自分率移動向量及預設内插過濾器之 特性建置新内插過濾器且將其儲存於碼薄中。以此方式， 若編碼器判定經由分率移動向量之增加之位元率達成較準 確的内插，則可將所得内插過濾器儲存於碼薄中以供未來 Ο 使用（若再次需要内插）。 圖16說明根據本發明之一實施例的解碼方法6〇〇。可針 對由解碼器自一頻道接收的每一經編碼之mcbl〇ck(針對其 提供整數移動向量）重複方法600。根據該方法，解碼器可 基於用於經編碼mcblock的在頻道資料中接收之索引自本 端碼薄擷取内插之參數（方框61〇)。解碼器進一步可基於自 用於經編碼mcblock之頻道接收的移動向量擷取參考 mcblock之資料（方框620)。如所指出，視由碼薄索引指定 〇 之内插過濾器而定，解碼器可能擷取超過mcblock之資 料，舉例而& ’解碼器可能基於過濾器之大小而擷取鄰近 於mcblock之邊界的像素。該方法可將内插過濾器應用至 所操取之參考mcblock資料（方框630)，且將經過濾之參考 mcblock用作預測參考來藉由移動補償解碼經編碼之 mcblock(方框 640) ° 使經過濾之當前mcb丨ock與其對應的參考mcb丨ock之間的 均方誤差最小化 157302.doc -21 - 201216716 通常，藉由使在每一圖框或一圖框之部分上的當前 mcblock與其對應的參考mcblock之間的均方誤差最小化來 設計内插過濾器。在一實施例中，内插過濾器可經設計以 使在每一圖框或一圖框之部分上的經過濾之當前mcM〇ck 與其對應的參考mcblock之間的均方誤差最小化。用以過 濾當前mcblock之過濾器不需要經標準化或為解碼器已 知。其可適應於諸如以上提到之參數的參數，或適應於解 碼器未知之其他參數，諸如在傳入視訊中之雜訊位準。 前述論述朗可在根據本發明之各種實施㈣構之視訊 編碼系統中使用的功能區塊。實務上，此等系統可應用於 諸如具備整合式視訊攝影機(例如’具備相機功能之電 話、娛樂系統及電腦)之行動裝置的各種裝置及/或諸如視 2會議設備及具備相機功能之桌上型電腦的有線通信系統 在二應用中，可將上文描述之功能區塊提供為整合 塊：：！統之元件，在該整合式軟體系統中，可將該等區 塊^供為電腦程式之單猶 區換福徂" 在其他應用中，可將功能 匕塊&供為處理系統之離 處件，諸如，在數位信號 ==用積體電路内之功能單元。本發明之其他 專用硬體與軟體組件之混合系統。此外，本 文中描述之功能區塊不需要 雖然_基於區塊之編碼例而厂 部可經整合，二=施例中，其中之一些或全 發明之操作不重要，除非以^獨早凡。此等實施細節對本 除非以上另有指出。 157302.doc -22- 201216716 在本文中特定地說明及/或描述本發明之若干實施例。 然而’應瞭解，在不脫離本發明之精神及所欲範嗜的情況 下，本發明之修改及變化由以上教示涵蓋且處於隨附申請 專利範圍之範圍内。 【圖式簡單說明】 圖1為習知視訊編碼器之方塊圖。 圖2為習知視訊解碼器之方塊圖。 圖3說明移動補償預測之原理。

圖4說明雙向時間預測之原理。 圖5為習知雙向視訊編碼器之方塊圖。 圖6為習知雙向視訊解碼器之方塊圖。 之實施例中之編碼器/解碼器系 圖7說明適用於本發明 統0 之簡化方塊 圖8為根據本發明之一實施例的視訊編碼器 圖。 圖9說明根據本發明之—實施例的方法。 圖10說明根據本發明之另一實施例的方法。 圖11為根據本發明之—實施例的視訊解碼ϋ之簡化方塊 圖12說明根據本發明之再一實施例的方法。 圖13說明根據本發明之一實施例的碼薄架構。 圖14說明根據本發明之另一實施例的碼薄架構。 圖15說明根據本發明之再一實施例的碼薄架構。 圖16說明根據本發明之—實施例的解碼方法。 157302.doc -23- 201216716 【主要元件符號說明】 100 編碼器 110 基於區塊之編碼鍵 112 減法器 114 變換單元 116 量化器 118 可變長度編碼器 120 預測單元 122 反向量化單元 124 反向變換單元 126 加法器 128 參考圖像快取記憶體 130 移動估計器 132 移動補償預測器 134 内插過濾器 136 碼簿 140 緩衝器 400 解碼器 402 基於區塊之解碼器 404 預測單元 410 可變長度解碼器 420 反向量化器 430 反向變換單元 440 加法器 157302.doc -24- 201216716 450 460 470 480 參考圖像快取記憶體 移動補償預測器 碼薄 内插過濾器 Ο 157302.doc -25-

Claims (1)

1. 201216716 七、申請專利範圍： 1. 一種視讯編碼器，其包含： 一基於區塊之編碼器，其藉由移動補償預測來編碼像 素區塊， 一預測單元’其將預測之像素區塊資料供應至該基於 區塊之編碼器，該預測單元包含： 移動補彳員預測器’其具有用於像素區塊資料之一 輸出端， Ο 一内插過濾器，其耦接至該移動補償預測器之一輸 而且具有用於經過滤之像素區塊資料之一輸出 端，及 a .......... ^«呢、命心後数砠組 心 > 數，可藉由一碼薄索引來識別每一組組態參數。 2·如二求項1之視訊編碼器’其中該碼簿為亦依—碼薄識 別符編列索引之—多維碼薄。 3·如請求们之視訊編碼器’其中該碼薄為亦依針對一輸 入像素區塊計算之一移動向詈编列去2丨 多勖向里、，扁列索引之-多維碼薄。 4. 如5月求項1之視訊編碼器，其中兮 入像辛“純針對-輸 :素…异之―縱橫比編列索弓丨之—多維碼薄。 5. 如明求項！之視訊編碼器，其中該 ^ X ^ ^ 導马亦依指派至一 輸入像素區塊之編碼類型編列索弓丨之—多维碼 6·如請求们之視訊編碼器，其中該竭薄為亦依一产 素區塊之複雜性之-指示符編列輪入像 7 ^丨之—多維碼薄。 7.如㈣求項丨之視訊編碼器，其中該 馬專為亦依一編碼器 157302.doc 201216716 位元率編列索引之一多維碼薄。 8. 9. 10. 11. 如清求項1之視訊編碼器’其中該碼薄為一多維碼薄， 每一維度係自一紐_各別訓練序列產生。 種視讯編碼方法，其包含： 根據移動補償預測來編碼一輸入像素區塊資料，該編 碼包括： 將來自一參考圖框之一像素區塊識別為一預測參 考， 。十算待應用至匹配該輸入像素區塊之該參考像素區 塊的一理想過濾器之特性， 搜尋先前儲存之過濾器特性之—碼薄以識別一匹配 碼薄過濾器， 二、到一匹配，則關於已由該匹配碼簿過濾器過滤 之》亥參考像素區塊來編碼該輸人像素區塊，及 ，亥輸入像素區塊之經編碼資料及該匹配碼薄過滤 器之—識別符傳輸至一解碼器。 〜 如清求項9之視訊編 丰4人从丄 其進一步包含，若未找到 一匹配，則： 來該計算之碼薄過濾器過濾之該參考像素區均 來編碼该輸入像素區塊，及 、字〆輪人像素區塊之經編碼資料及識別該計算之 過濾器的特性之資料傳輸至一解碼器。 “ 如請求項9之視訊編碼方法H步包含 一匹配，則： 右禾找到 157302.doc 201216716 關於已由一最接近匹配碼薄過濾器過濾之該參考像素 區塊來編碼該輸入像素區塊，及 ，將錢入像素區塊之經編碼資料及該最接近匹配 過濾器之一識別符傳輸至一解碼器。 ★。月求項9之視訊編碼方法，其中該碼薄為亦依一碼 識別符蝙列索引之一多維碼薄。 Ο 〇 13.如叫求項9之視訊編碼方法，其中該碼薄為亦依針對該 輸=區塊計算之一移動向量編列索弓ί之-多維碼簿。 14·如#求項9之視訊編碼方法’其中該碼薄為亦依針對該 輸=區塊計算之-縱橫比編列索引之—多維碼薄。 15.^求項9之視訊編碼方法，其中該碼薄為亦依指派至 以輸入區塊之編碼_編列索引之—多維碼薄。 16=:項9之視訊編碼方法，其中該碼薄為亦依該輸入 複雜性之-指示符❹出丨之-多維碼薄。 17.:::”9之視訊編碼方法’其中該碼薄為亦依一編碼 益位7L率編列索引之—多維碼薄。 β項9之視况編碼方法’其中該碼薄為一多維碼 薄’母-維度係自-組各別訓練序列產生。 19. 如請求項9之視訊編碼方法， ^ λ. ^ ν、中該輪入像素區塊之該 絰編碼資料包括具有整數值之移動向量。 20. 如請求項19之視訊編碼方法，其進—步包a . 根據移動補償預測及—予s号Λ / I 3 . , 預叹内插過濾器來編碼一第二 輸入像素區塊資料，及 π ~ π 將包括具有分率值之移動向 里的该弟二輪入像素區塊 157302.doc 201216716 之經編碼資料傳輪至一解碼器。 21. —種視訊編碼器控制方法，其包含： 根據移動補償預測來編碼一輪入像素區塊資料，該編 碼包括： 將來自一參考圖框之一像素區塊識別為一預測參 考， > "十算待應用至匹配該輸入像素區塊之該參考像素區 塊的一理想過濾器之特性， 搜尋先前儲存之過濾器特性之一碼簿以識別一匹配 碼薄過濾器， 若未找到匹配’則將該理想過濾器之該等特性添加 至該碼薄。 22. 如請求項21之方法，其進一步包含： 對一組預定訓練資料重複該方法， 在已處理該訓練資料之後，將該碼簿傳輸至一解碼 器。 23. 如請求項21之方法，其進一步包含： 對—序列視訊資料重複該方法，及 每次將一新過濾器添加至該碼薄時，將該過濾器之特 性傳輸至一解碼器。 24. 如請求項21之方法，其進—步包含： 若找到一匹配’則關於已由該匹配碼簿過濾器過濾之 該參考像素區塊來編碼該輸入像素區塊，及 將該輸入像素區塊之經編碼資料及該匹配碼薄過濾器 157302.doc 201216716 之一識別符傳輸至一解碼器。 2 5 ·如清求項21之方法，其中該石民酱劣 丹γ忒碼4為一多維碼薄，該方法 進一步包含： 對複數組訓練資料重趨該方、土 ，不與Tt里禝忒万去，每一組訓練資料具有 類似的移動特性，及 自該複數組訓練資料建置該碼薄之各別維度。 2 6.如清求項21之方法，其中續石民餐& 丹T褒馬滹為一多維碼薄，該方法 進一步包含： Ο ❹ 對複數組訓練資料重;該太、土 长 , _ ,, „ ，个貝π里後忒万去，每一組訓練資料具有 類似的影像複雜性，及 自該複數組訓練資料建置該碼薄之各別維度。 27.如請求項21之方法，其中該碼薄為亦依一碼簿識別符編 列索引之一多維碼薄。 2 8. —種視訊編碼方法，其包含： 根據移動補償預測來編碼一輸入像素區塊資料，該編 碼包括： 將來自一參考圖框之—後去Γ5" ΊΑ ρ丨：A ^彳冢京h塊識別為一預測參 考； 反覆地： 藉由儲存於一碼薄中的複數個候選過濾器組態中 之每一者過濾該參考像素區塊，及 (¾ 比較該輸入像素區塊與該經過濾之參考像素 塊；及 基於該等比較自該等候選組態選擇一最終過濾 157302.doc 201216716 態；及 傳輸》玄輸入像素區塊之經編碼資料及對應於該最終過 濾組態的一碼薄識別符。 29. —種視訊解碼器，其包含： 基於區塊之編碼器’其藉由移動補償預測來解碼經 編碼像素區塊， 一預測單70 ’其將預測之像素區塊資料供應至該基於 區塊之解碼器，該預測單元包含： 一移動補償預測器，其具有用於像素區塊資料之一 輸出端， 内插過濾器，其耦接至該移動補償預測器之一輸 出端，且具有用於經過濾之像素區塊資料之一輸出 端，及 碼薄儲存器，其儲存用於該内插過濾器之複數組組 態參數、回應於與經編碼像素區塊資料一起接收的一 碼薄索引而將一組組態參數供應至該内插過遽器。 30. 如請求項29之視訊解碼器，其_該鳴簿為亦依一碼薄識 別符編列索引之一多維碼薄。 31·如請求項29之視訊解碼器’其中該碼薄為亦依該經編碼 像素區塊之一移動向量編列索引之—多維碼薄。 32. 如請求項29之視訊解碼器’其中該㈣為亦依—像素縱 橫比編列索引之一多維碼薄。 33. 如請求項29之視訊解碼器，其中該碼薄為亦依該經編碼 像素區塊之編碼類型編列索引之一多維碼薄。 157302.doc -6- 201216716 34_如請求項29之視訊解碼器’ S中該㈣為亦依該經編碼 像素區塊之複雜性的一指示符編列索引之一多維碼薄。 35·如請求項29之視訊解碼器’其中該碼料亦依經編碼視 訊資料之一位元率編列索引之一多維碼薄。 3 6. —種視訊解碼方法，其包含： 根據移動補償預測來解碼經編碼像素區塊資料，該編 碼包括： Ο Ο 根據一移動向量自—參考儲存器擷取制之像素區 塊資料， 根據-碼㈣引自-碼㈣存器擷取關 料， > 讯只 根據該參數資料過渡該預測之像素區塊資料， 其中將該經過濾之像素區塊資料用作一預測參考 行該經編碼像素區塊解碼。 37. 如請求項36之方法，其中 列舍引夕，^ ’尋為亦依-碼薄識別符編 列宗引之一多維碼薄。 38. 如請求項36之方法，其中該 塊之一^ ^ 尋為亦依該經編碼像素區 免之-移動向量編列索引之-多維碼薄。 39. 如請求項36之方法，其中 列索引之-多維碼薄。 為亦依一像素縱橫比編 40. 如請求項36之方法，其中該碼薄為亦依該經 塊之編碼類型編列索引之-多維n…、…象素區 41::Γ6之方法中該瑪薄為亦依該經編瑪像素區 复雜性的一指示符編列幸引 品 序、51之—多維碼薄。 157302.doc 201216716 資料 讀

   42. 如請求項36之方法，其中該碼薄為亦依經編碼视訊 之一位元率編列索引之一多維碼薄。 43. :種電腦可讀媒體，其具有儲存於其上之程式指令 等耘式指令在由—處理裝置執行時使該裝置： 根據移動補償預測來編碼一輸入像素區塊資料， 碼包括： 將來自 一參考圖框之一像素區

   考， —預測參 計算待應用至匹配該輸入像素區塊之該參考像f 塊的一理想過濾器之特性， ”品 搜尋先前儲存之過濾器特性之一碼薄以識別— 碼薄過濾器， 己 若找到一匹配，則關於已由該匹配碼薄過濾器過濾 °亥參考像素區塊來編碼該輸入像素區塊，及 。。將該輸入像素區塊之經編碼資料及該匹配碼薄過濾 盗之一識別符傳輸至一解碼器。 44· 一種在_音鹏 體傳輸媒體上攜載之經編碼視訊信號，其係 根據以下過程而產生： 移動補償預測來編碼一輸入像素區塊資料，該編 碼包括： 將來自一參考圖框之一像素區塊識別為一預測參 考， 十算待應用至匹配該輸入像素區塊之該參考像素區 塊的一理想過濾器之特性， 157302.doc 201216716 搜尋先前儲存之過濾器特性之一碼薄以識別一匹配 碼薄過濾器，及 右找到一匹配，則關於已由該匹配碼簿過濾器過濾 之該參考像素區塊來編碼該輸入像素區塊；及 將該輸入像素區塊之經編碼資料及該匹配碼薄過濾器 之一識別符傳輸至一解碼器。 45. Ο 46. 47. Ο 如請求項44之經編碼視訊信號，其中該經編碼視訊信號 包括用於該經編碼像素區塊的整數值移動向量。 如請求項44之經編碼視訊信號，其中該經編碼視訊信號 包括一第二經編碼像素區塊之資料，該資料係根據關於 一預設内插過濾器執行的移動補償預測而經編碼，該第 二像素區塊資料包括經編碼資料及用於其之一分率值移 動向量。 一種電腦可讀媒體，其具有儲存於其上之程式指令，該 專程式指令在由一處理裝置執行時使該裝置： 根據移動補償預測來解碼經編碼像素區塊資料，該編 碼包括： 根據一移動向量自一參考儲存器擷取預測之像素區 塊資料， 根據一碼薄索引自一碼薄儲存器擷取過濾器參數資 料， 根據該參數資料過滤該預測之像素區塊資料， 其中將該經過濾之像素區塊資料用作一預測參考來 執行該經編碼像素區塊解碼。 157302.doc