TW200830886A - Mesh-based video compression with domain transformation - Google Patents

Description

200830886 九、發明說明： 【發明所屬之技術領域】 本發明一般而言係關於資料處理，且更具體而言係關於 用於實施視訊壓縮之技術。 【先前技術】 視訊壓縮廣泛用於各種應用，例如，數位電視、視訊廣 播、視訊會議、視訊電話、數位視訊光碟（DVD)等。視訊 壓縮利用連續視訊訊框間之相似性來顯著地減少需發送或 儲存之資料量。資料之此種減少對於其中傳輸頻寬及/或 儲存空間受到限制之應用尤其重要。 通常，藉由將每一視訊訊框分割成若干圖像元素（像素） 塊並處理每一訊框塊來達成視訊壓縮。對一訊框塊之處理 可包括識別另一訊框中與正進行處理的塊極其相似之另一 塊，確定該兩個塊之間的差別，並編碼該差別。該差別亦 稱為預測誤差、紋理、預測殘留等。找到另—接近匹配的 鬼（或 >考塊）的過程常常被稱為運動估計。術語"運動估計,， 及”運動預測”常常可互換使用。編碼該差別亦被稱為紋理 編碼，且可藉由各種編碼工具（例 》立餘弦轉換 (DCT))來達成。 基於塊的運動估計可幾乎用於所有廣泛接受之視訊壓縮 '如此項技術中為人們所熟知之MPEG-2、 _ Η 263及H-264。對於基於塊之運動估計而言， 2素塊之運動係由—組小的運動向量來表徵或界定。一 向I指*一正編碼的塊與一參考塊之間的垂直及水平 123389.doc 200830886 =中言’當針對-塊界定-個運動向量時，假定 塊之平移運勒像素皆移動相同的量’且該運動向量界定該 在該一塊或子塊的運動較小'為平移類型且 用秋5棟上均勻時’基於塊的運動估計可良好起到作 —H實際的視訊常常不符合該等條件。舉例而言， 及：：B ‘期間，一個人的面部或嘴唇運動常常包括旋轉 二變形以及平移運動。另外’在低位元速率應用中，鄰近 塑之:二向量之非連續性可能會造成令人懊惱的阻塞影 ^ 乡情〉兄下’基於塊的運動估計並不能提供良好的 效能。 【發明内容】 本文闡述用於實施具有域轉換之基於網絡的視訊壓縮/ 解愚縮之技術。該等技術可提供勝過基於塊之視訊麼縮/ 解壓縮之改良效能。 於-實施射，-視訊編碼諸―影像或訊框分割成若 干個像素網絡’處理該等像素網絡以獲得預測誤差塊，並 編碼該等預測誤差塊以產生該影像之編碼資料。該等網絡 可具有任意多邊形形狀，且該等塊可具有—職形狀、，^ 如’預定大小的正方形。該視訊編碼器可處理該等像素網 絡以獲得預測誤差網絡’且然後可將該等預測誤差網絡轉 換成預測誤差塊。另一選擇係，該視訊編碼器可將該^像 素網絡轉換成像素塊，且可然後處理該等像素塊以獲得該 等預測誤差塊。該視訊編碼器亦可實施基於網絡的運動估 計以確定用以產生該等預測誤差的參考網絡。 123389.doc 200830886 於一實施例中，一視訊解碼器基於一影像的編碼資料獲 得預測誤差塊，處理該等預測誤差塊以獲得像素網絡，並 組合該等像素網絡來重構該影像。該視訊解碼器可將預測 誤差塊轉換成預測誤差網絡，基於運動向量導出經預測之 網絡’且基於預測誤差網絡及經預測之網絡來獲得像素網 絡。另一選擇係，該視訊解碼器可基於運動向量來導出經 預測的塊，基於預測誤差塊及經預測的塊來獲得像素塊， 並將像素塊轉換成像素網絡。 本發明之各態樣及實施例將在下文中進一步詳細地闊 述。 【實施方式】 本文使用措辭”例示性”係意指”用作一實例、例示或例 解”。於本文中描述為”例示性”之任一實施例或設計未必 解釋為比其他實施例或設計的較佳或有利。 本文闡述用於闡述具有域轉換之基於網絡之視訊壓縮/ 解壓縮之技術。基於網絡之視訊壓縮係指其中每一訊框被 分割成網絡而並非塊之視訊壓縮。一般而言，所述網絡可 為任一多邊形形狀（例如，三角形、四邊形、五邊形等）。 在一下文詳述之實施例中，該等網絡為四邊形（quaj^， 其中每一四邊形具有四個頂點。域轉換係指將一網絡轉換 成一塊，或反之亦然。一塊具有預定形狀且通常為正方 形’但亦可為矩形。該等技術允許使用基於網絡之運動估 計，此可達成勝過基於塊之運動估計之改良效能。該域轉 換可藉由將該等網絡轉換成塊並達成使用設計用於塊之編 123389.doc 200830886 碼工具來達成有效之網絡紋理編碼。 圖1顯示一具有域轉換之基於網絡之視訊編碼器1⑽之方 塊圖。在視訊編碼器100中，網絡建立單元11〇接收一視訊 訊框並將所述訊框分割成像素網絡。術語"訊框”及，，影像” 常常可互換使用。可如下所述那樣編碼訊框中之每一像素 網絡。 加法器112接收一待編碼之像素網絡，其被稱為目標網 絡所呢，其中k識別該訊框内的一個特定網絡。大體而 ® e，灸可係一座標、一指數等。加法器i〗2亦接收一經預測 之網絡柯幻，其係該目標網絡之近似。加法器丨丨〇自該目 標網絡減去經預測之網絡，並提供一預測誤差網絡心㈨。 該等預測誤差亦被稱為紋理、預測殘留等。 如下所述，單元114對預測誤差網絡7；㈨實施網絡_至_塊 之域轉換，並提供一預測誤差塊7；㈧。可使用各種用於塊 的編碼工具來處理該預測誤差塊。於圖1所示之實施例 鲁中，單元116對該預測誤差塊實施DCT並提供一DCT係數 塊。量化器118量化該等DCT係數並提供經量化之係數 CW。 •單元122對該等經量化之係數實施逆DCT(IDCT)並提供 • 一經重構之預測誤差塊以幻。單元124對該經重構之預測 誤差塊實施塊_至-網絡之域轉換並提供一經重構之預測誤 差網絡总⑻。之㈨及f#)分別係7；㈧及7；㈨之近似，且包 含可能有由不同轉換及量化造成之誤差。加法器126對經 預測之網絡耐幻與經重構之預測誤差網絡進行求和並將一 123389.doc 200830886 經解瑪之網絡坷幻提供至一訊框緩衝器128。 如下所述，運動估計單元丨3〇估計該目標網絡之仿射運 動，並為該目標網絡提供運動向量MvW。仿射運動可包 括平移運動以及旋轉、剪切、按比例縮放、變形等。該等 運動向量相對於-參考網絡表達該目標網絡之仿射運動。 亥參考網絡可來自-先前訊框或一未來訊框。運動補償單 元132基於該等運動向量_定該參考網絡並為加法器山及 126產生經預測之網絡。該經預測之網絡具有與目標網故 相同之形狀，然而該參考網絡可具有與目標網絡形狀相同 或不同之形狀。 編碼器120接收目標網絡之各種資訊，例如，來自量化 器118之量化係數、來自單元13〇之運動向量、來自=_ m之目標網絡代表等。單元UG可提供當前訊框之網^ 表資訊，例如，該訊框中所有網絡之座標及—指示每 絡頂點之指數列表。編碼器120可對該等經量化之係數者 施熵編碼（例如，Huffman編碼）以減少需要發送之資2 量。編碼器120可計算每一塊之量化係數之範數’且可僅 在該範數超過-臨限值之情形下編碼該塊，其可指示 標網絡與該參相絡之时在充分的㈣。編亦 可組合該訊框網絡之資料及運動向量，料序對準山 _ =語法等實施格式化。編碼器㈣產生待傳輸及 存之 > 料封包或位元流。 一 如上所述，可將一目標網絡與一參考網絡進行 可編碼所獲得之預測誤差。亦 軼，且 7ΓΤ在不與參考網絡進行比 123389.doc 200830886 之情形下直接編碼目標網絡，且可將其稱為内部網絡。通 常’内部網絡係發送給第一視訊訊框，且亦週期性地發送 以防止預測誤差之累積。 圖1顯示具有域轉換之基於網絡之視訊編碼器之例示性 實施例。於該實施例中，單元11〇、112、126、13〇及132 對可為QUAD之網絡進行運作，視所編碼之影像而定，該 fQUAD可具有任意之形狀及大小。單元116、118、120及 122對固定大小的塊進行運作。單元ιΐ4實施網絡·至·塊的 域轉換’且單元124實施塊至.網絡的域轉換。下文將詳細 闡述視訊編碼器1 0 〇之有關單元。 於基於網絡之視訊編碼器之另_實施例中，將該目標網 絡域轉換成-目標塊，且亦將該參考網絡域轉換成一預測 塊。自該目標塊減去該預測塊以獲得一預測誤差塊，此可 使用基於塊之編碼工具來進行處理。亦可以其他方式借助 其他設計來實施基於網絡之視訊編碼。 圖2,、、、員不具有域轉換之基於網絡之視訊解碼器2〇〇的方 塊圖。視訊解碼器2〇〇可用於圖！中之視訊解碼器⑽。在 視Λ解碼器2G0内，解碼器22()自視訊編碼器^⑽接收封包 及編碼貝料位元流並以—互補於編碼器i2Q所實施之編碼 式來解碼該等封包或位元流。可如下闡述解碼-影像 之每一網絡。 解220為所解碼之目標網絡提供量化係數⑽、運 動向里^响及網絡代表。單元222對該等量化係數實施 並提供經重構之預測誤差塊悉⑷。單元224對該經 123389.doc 200830886 重構之預測誤差塊實施塊_至_網絡域轉換，並提供一經重 構之預測誤差網絡之(幻。加法器226對經重構之預測誤差 網絡與來自運動補償單元232之預測網絡.㈧進行求和， 且將一解碼網絡耐幻提供至循環緩衝器2 2 8及網絡組合單 元230。運動補償單元232基於目標網絡之運動向量^ 來確定來自訊框緩衝器228之參考網絡並產生經預測之網 絡-㈨。單元222、224、226、228及232分別以圖！中之單 元122、124、126、128及132類似之方式來運作。單元23〇 接收並組合一視訊訊框之經解碼網絡並提供一經解碼之訊 框。 該視訊編碼器可將目標網絡及經預測之網絡轉換成塊， 且可基於目標及經預測塊來產生預測誤差塊。於該情形 下，該視訊解碼器將對經重構之預測誤差塊與預測塊進行 求和以獲得經解碼的塊，且然後將對該等經解碼的塊實施 塊-至-網絡域轉換以獲得經解碼之網絡。域轉換單元224將 在加法斋226之後移動，且運動補償單元232將提供經預測 之塊而並非經預測之網絡。 圖3顯示經分割成網絡之例示性影像或訊框。一般而 言’可將一訊框分割成任何數量之網絡。如圖3中所示， 該等網絡可為不同的形狀及大小，此可由訊框的内容來確 定。 將一訊框分割成網絡之過程被稱為網絡建立。可以各種 方式來實施網絡建立。於一實施例中，網絡建立係藉由空 間或空間-時間分段法、多邊形近似及三角法，此將在下 123389.doc • 11 - 200830886 文簡短地加以闡述。 空間分段係指基於訊框的内容將一訊框分段成若干個區 域。可使用各種此項技術中所習知的演算法來獲得合理的 影像分段。舉例而言，可使用一種稱為JSEG之分段演算法 來達成空間分段，且其由Deng等人闡述於"Color Image Segmentation"中，Proc IEEE CSCC Visual Pattern - Recognition (CVPR)，vol. 2，pp. 446-45 1，1999年 6 月。作 為另一實例，可使用由Black等人闡述於"The Robust • Estimation of Multiple Motions: Parametric and Piecewise-

Smooth’’，(Comput. Vis. Image Underst·，63，（1)，pp. 75-104，1996年）中之分段演算法來估計兩個訊框之間的密光 流。 可如下地實施一訊框之空間分段。 •使用JSEG來實施訊框之起始空間分段。 •計算兩個鄰近訊框之間的密光流（像素運動）。 •若一起始區域具有高運動向量方差，則將該起始空間 分段區域分成兩個更小的區域。 •若該起始空間分段之兩個區域具有類似之平均運動向 - 量且其聯合方差相對較低，則將該等起始空間區域合 _ 併成一個區域。 基於像素運動性質，使用該等分離及合併步驟來改良該起 始空間分段。 多邊形近似係指藉由一多邊形來近似該訊框之每一區 域。可將一基於共同區域邊界之近似演算法用於多邊形近 123389.doc -12- 200830886 似。該演算法如下地運作。 •對於每對鄰近區域，找 其共同邊界，例如，-條沿 同界限之具有端點Pa及汽之曲線。 •起初’該兩個端鮮aAPb係該兩個區域間曲線邊界之 多邊形近似點。

•確定該曲線邊界上離連制點PAM直線垂直距離 最大的點Pn。若該距離超過一臨限值dmax，則在點Pn 處選擇-新的多邊形近似點。然後，對自ΜΙ的曲 線邊界以及自Pdh之曲線邊界遞歸地應用該過程。 •若不添加新的多邊形近似點，則自Pa至pb之直線係該 兩個端點間曲線邊界之勉強近似。 起初，可使用dmax的纟值。-旦所有邊界均已與節段 近似，則可減少（例如，減半）dmax且可重複該過程。 此可繼續進行直至dmad、至足以充分地達成精確之多 邊形近似。 二角形法係指建立三角形且最終在每一多邊形内建立 QUAD網絡。可如 j.r· Shewchuk在”THangle: Engineering & 2D Quality Mesh Generator and Delaunay Triangulator,f5 Appl. Comp. Geom.: Towards Geom. Engine, ser. Lecture

Notes in Computer Science，1148，pp. 203-222，1996年 5 月 中所闡述來實施二角形法。該論文闡述在每一多邊形内產 生一 Delaunay網絡並迫使該多邊形邊緣成為該網絡之部 分。該等多邊形邊界被規定為一平面直線圖形内之節段， 且若可能’所建立之三角形所有角皆大於20度。可在三角 123389.doc -13- 200830886 形法過程期間為每 邊形添加多至四個内部節點缺 後，可使用一人從—μ L I即點。然 δ併凟异法來組合該 QUAD網絡。該三 近一角形以形成 用/ /ί：之、^果係一被分到 之訊框。 饭刀口J成右干個網絡 返回參照圖1，運叙斗4 口„ 絡之運動參數。：一動實=元 動，以# 、 1獨立地估汁每一網絡之運 '。於-實施例中’在一兩步式過程中實施一網絡之運 動則更—個網絡之運動估計並會影響鄰近網絡之運動估 動 網絡之平移運動。該第二步

估計。該第一步驟估計該 計該網絡其他類型之運動 "圖4A圖解巩明對一目標網絡41〇之平移運動之估計。將 當前訊框之目標網絡410與該當前訊框之前或之後的另一 訊框中之候選網絡42〇作比較。候選網絡42〇自目標網絡 41〇平移或移位達（&，知），其中Δχ表示沿水平或^方向之平 移里，且表不沿垂直或少方向之平移量。可藉由計算目 標網絡410中像素的（例如，顏色或灰階）強度及候選網絡 420中對應像素的強度之間的度量來實施網絡々⑺與42〇之 間的匹配。該度罝可係均方誤差（Mse)、平均絕對差或某 一其他適合之度量。 可將目標網絡410與當前訊框之前的先前訊框及/或當前 訊框之後的未來訊框中的若干不同平移（&，△·>；)之候選網絡 作比較。每一候選網絡具有與目標網絡之相同形狀。該平 移可限制於一特定搜索區。可如上關於候選網絡420所 述，可計算每一候選網絡之度量。將導致最佳度量（例 123389.doc -14- 200830886

如，最小MSE)之移位選擇A 俘馬目払網絡之平移運動向量 (Δχ：，，△乃）。具有最佳度量之候g 1秀k、、周絡被％為所選網絡，且具 有所選網絡之訊框被稱為參考 ^ m框。該所選網絡及參考訊 框係在第二階段中使用。可將 J财该十移運動向量計算至整數 像素精度。可在第二步驟中達成子像素精度。 於第二步驟中，使該所選之網絡翹曲以確定是否可獲得 與目私網絡更好之匹配。可使用翹曲來確定由於旋轉、剪 切、變形、按比例縮放等造成之運動。於一實施例中，藉 由-次移動-個頂點而保持其他三個頂點固定來翹曲所選 網絡。該目標網絡之每一頂點與麵曲網絡中一個對應之頂 點有關，如下所示：

Axt Μ. Αχ Mi

A ，其中 k{l，2, 3, 4}， 方程式（1) 其中l為該等網絡中四個頂點之指數， (Ο,)為第一步驟中所獲得之平移運動向量， (M，4y，）為所翹曲網絡之頂點i之附加位移， (χ/，Λ)為目標網絡之頂點i的座標，且 (4〆)為所翹曲網絡之頂點丨的座標。 對於目標網絡中之每一像素或點，可如下基於一訌表數 雙線性轉換來確定該翹曲網絡中對應的像素或點： y 其中 ♦2, αι α2 α3 α4 + -α5 α6 αΊ αδ + η χ ♦ y _ 1 方程式（2) 〜為8個雙線性轉換係數 123389.doc -15- 200830886 〇c，_y)為該目標網絡中一 I去 1豕言之座標，且 (〆，/)係該翹曲網絡中對應像素之座標。 為確定該等雙線性轉換係數， V 程式（2)並可將其表達為如下·· 可針對四個頂點來計算方

^3 ^3 < χι少1 ' 乃1 〇 〇 0 〇 X2^2 x2 y2 1 0 〇 Ο 〇 Χ3 少3 1 〇 〇 Ο Ο χ4 ι 〇 〇 ο ο 0 〇 Ο 〇' 少1 乃1 0 〇 Ο 〇 xiy2 Χ2 y2 1 0 ο Ο ο χ3^3 λ：3 y3 1 0 ο Ο ο Χ4^4 y4 1 αι αι α3 α4 +Δχ. • ί α5 αι 方程式（3) 該目標網絡及該翹曲網絡之四 y 貝點之座標（心以及〇<，〆） 係已知。如方程式⑴中顯示， 度‘（U)包括由於想曲而 引起之附加位移（Δλ^·，△兄·）。

可將方程式（3)表達為如下之矩陣形式： X = B ^ st 5 其中X為翹曲網絡四個頂點座標之向量 B為方程式（3)中等式右侧之8χ8矩陣，^ a為雙線性轉換係數之8χ1向量。 方程式（4) 可如下獲得該等雙線性轉換係數： a = B-1 ·χ 〇 在第二步驟中，僅針對目標網絡計 矩陣B包含目標網絡頂點之座標， 變。 方程式（5) 算矩陣B-i 一次。此乃因 其在翹曲期間不會改 圖4B圖解說明第 二步驟中目標網 絡之非平移運動之估 123389.doc •16- 200830886 计。所選網絡430之四個頂點之每— P 頂點可在一小的搜索 &内移動，而保持其他三個頂點固 (k 藉由移動一個頂點 (，·，Α^)而固定其他三個了貝點 貝.、占了獲侍一翹曲網絡440。藉 由如下步騾將該目標網絡（圖4Β 一 丄 Τ禾…員不）與翹曲網絡440 進行比較··（a)確定翹曲網絡44〇中 +你主， 口 44U甲對應於目標網絡内像素 之像素（例如，如方程式（2)中示 德备 )’及（b)基於目標網絡内 旦素之強度及翹曲網絡440内對應像素之強度來計算一度 該度量可係刪、平均絕龍或某_其他適合之度 〇 二：-指定頂點，可將該目標網絡與數個藉由彼頂點之 同（'為)位移而得到之翹曲網絡作比較。可為每-龜曲 ^絡計算—度量。將導致最佳度量（例如，最小贿）之位 移（~从)選為該頂點之附加運動向量叫為）。可針對該四 個頂點之每一者實施相同之處理以獲得該四個頂點之四個 附加運動向量。 ;圖4A及4B所不之實施例中，該目標網絡之運動向量 匕括平移運動向量伽個頂點之四個附加運動向量 ㈣，△兄·）’其巾，’ =1，2, 3, 4。可組合該等運動向量（例如， (々’△乃）-(&”△乃) + (&·々)）來獲得目標網絡四個頂點之四個仿 射運動向量（〇;)，其中ζ· = 1，2,3,4。該等仿射運動向量表 達各種類型之運動。 可藉由上述之兩步式處理來估計該目標網絡之仿射運 動’此可減少計算。亦可以其他方式來估計該仿射運動。 ;另只靶例中，藉由如下步驟來估計該仿射運動：先估 123389.doc -17- 200830886 四^移運動（如上所述），然後同時移動多個（例如，所有 有先仕點穿過""搜索空間。於尚—實施例中，藉由在沒 仿射運Γ平移運動之情形下—次移動—個頂點來估計該 動之ί於P實施例中，藉由在沒有先估計該平移運 般而:形下同時移動所有四個頂點來估計該仿射運動。一 同=動:有欠移:一個頂點可提供足夠好的運動估計而比 動所有四個頂點需要更少之計算。 並^動補仏早70132自運動估計單接收仿射運動向量 …生該目標網絡之預測網絡。該仿射運動向量界定該目 =絡之參考網絡。該參考網絡可具有與目標網絡相同或 5形狀。單70132可藉由一組雙線性轉換係數對該參 、同、洛實施網絡-至'網絡域轉換，以獲得具有與目標網絡 相同形狀之預測網絡。 雙線性轉換將該網絡映射 一域轉換單元114將一具有任意形狀之網絡轉換成具 疋开/狀（例如’正方形或矩形）之塊。可如下地使用8·係數 成一單元正方形塊： •(Γ 「 0 A u 1 1 1 1 1 •0 一 〇 〇 •^2^2 ^2 〇 〇 七少3 JC3 0 X4 〇 ο o^loho^oh V C3 C4 C5 C6 C1 _C8. 方程式 至-塊域轉換之係數〇 1 ο Ο Ο xxyx y2 1 ο ο ο研 h 1 ο 〇 〇 x3y3 少4 1 〇 Ο Ο χ4γ4 (6) 其中ci，c25 ···，^係8個 123389.doc -18- 200830886 :程式（6)具有與方程式⑽同之形式。然*，在等式 ，邊之向量中，方程式（3)中四個網絡頂點之座標由方程式 (6)中四個塊頂點之座標所 ,,， 9代如此，（〜％) = (0,0)替代 (½%) ’ 〇2，v2) = (o，i)替代 气（2,少2)㈨，V3)：=(U)替代«〆），且 (u4，v4) = (l，0)替代 «乂）。此外， 力私式（3 )中之％，，…，α8係 數向篁由方程式（6)中之 、 ^ ” C2, ···，C8係數向量所替代。方程

式（6)使用係數c c C將兮曰4® A 2，，8將該目標網絡映射成單元正方形 塊0

可將方程式（6)表達成如下之矩陣形式：

ιι = Β _ χ， 其中u係該塊中 e係網格-至 方程式（7) 四個頂點之8x1座標向量，且 -塊域轉換之8x1係數向量。 可如下獲得該等域轉換係數c : c = B"1 · u 5 其中在運動估計期 可如下地實施該 方程式（8) 間計算矩陣B-1。 網絡-至-塊域轉換：

C2 C3 C6 Cn xy

方程式（9) 方程式（9)將目 塊中座標（w，v)處 榡網絡中座標（X，}；)處的像素或點映射成該 <對應像素或點。可將該目標網絡中之每 123389.doc -19- 200830886 一像素映射成該塊中之一對應像素。該等映射後之像素的 座標:不為整數值。可對該塊中經映射後的像素實施内插 以獲传整數座標之像素。然後，可使用基於塊之編碼工具 來處理該塊。 —域轉換單元124如下地使用該8.係數雙線性轉換將一單 元正方形塊轉換成一網絡： 0 0 0 1 0 0 0 0' 'dx yx 0 0 0 0 0 0 0 1 d2 Χ2 0 0 1 1 0 0 0 0 d3 y2 = 0 0 0 0 0 0 1 1 d4 x3 1 1 1 1 0 0 0 0 * ds 少3 0 0 0 0 1 1 1 1 d6 ΧΑ 0 1 0 1 0 0 0 0 dn 人 0 0 0 0 0 1 0 ij 其中 4係塊 -至 • 網絡域 方程式（10) :程式⑽具有與方程式（3)相同之形式。然而， 代 且 =之矩料，方程式（3)中之四個網絡頂點座標由 (1〇)中之四個塊頂點座標所替代， 飞 (㈣，—2)，替代 &)，（"）η ^)=(0’0)替 (〜v4) = (1，0)替代㈨八）。此外，方程 少 M，.·.，由方程式（10)中之係數向量^ 之係數向量 程式（10)使用係數u將兮單1 2’ ··，，4所替代。方 終。 8將該…方形塊映射成該網 方程式（10)可表達成如下之矩陣·· y = s.d 〇 方程式（11) 其中y係該塊中四個頂點之8xl座標向量 123389.doc • 20 · 200830886 S係方程式（1〇)中等式右邊之8xg矩陣，且 d係塊-至-網格域轉換之8xi係數向量。 可如下獲得該等域轉換係數士 ： d = S^X ? 方程式（12) 其中矩陣S-1可計算一次而用於所有的網絡。 可如下實施該塊-至-網絡域轉換：

4^7 尖^6 "ζΓ^5 I_I 方程式（13) 圖5圖解說明兩個網絡與一塊之間的域轉換。可基於方 程式（9)將網絡510映射成塊52〇。可基於方程式（13)將塊 520映射成網絡530。可基於方程式（2)將網絡51〇映射成網 絡530。可如上所述確定該等域轉換之係數。 圖6顯不針對訊框61〇之所有網絡所實施之域轉換。於該 實例中，使用網絡-至-塊域轉換分別將訊框61〇之網絡 612、614及616映射成塊622、 024及620。亦可使用塊· 至-網絡域轉換分別將訊框62〇之塊622、624及626映射成 網絡 612、614 及 616。 圖7顯示實施具有域轉換之基於網絡的視訊壓縮之過程 700之實施例。將一影像分割成若干個像素網絡（塊π 〇)。 處理該等像素網絡來獲得預測誤差塊（塊72G)。編竭該等預 測誤差塊來產生影像之編碼資料（塊73〇)。 可處理該等像素網絡來獲得預測誤差網絡，可對該等預 123389.doc -21 · 200830886 測誤差網絡進行域轉換以獲得預測誤差塊。另一選擇係， 可對像素網絡進行域轉換來獲得像素塊，可對該等像素塊 進行處理來獲得預測誤差塊。於塊720之實施例中，對該 等像素網絡實施運動估計來獲得該等網絡之運動向量⑽ )可藉由如下步驟來實施一像素網絡之運動估計：⑴ 估計該像素網絡之平移運動；及（由在空間上_ 次變動—個頂點而同時保持其餘之頂點固定來估計其他類 里之運動基於具有由该等運動向量所確定之頂點之參考 網絡來導出預測網絡（塊724)。基於像素網絡及預測網絡來 導出預測誤差網絡（塊726)。對該等預測誤差網絡進行域轉 換來獲得預測誤差塊（塊728)。 :-網絡可係一具有任意形狀之四邊形，且每一塊可係 預疋大】之正方形。可根據雙線性轉換將該等網絡轉換成 塊：如(例如)方程式⑹至⑻中所示，可基於網絡頂點來確 疋母-網絡之-組係數。如（例如）方程式（9)中所示，可基 於該網絡之該組係數將每一網絡轉換成一塊。 該編碼可包括：⑷對每-預測誤差塊實施DCT以獲得一 DCT係數塊；及（b)對該DCT係數塊實施熵編碼。可確定每 -預測誤差塊之度量，且若該度量超過—臨限 該預測誤差塊。可使用所編碼之 / 、.馬 貝列&差塊來重構預測誤 差網絡’制誤差網絡本身亦可用來重構鄉像。該經重 構之影像可用於另一影像之運動估計。 圖8顯^施具有域轉換之基於網絡之視訊解壓縮之過 程綱之。基於影像之編碼資料來獲得預測誤差塊 123389.doc -22- 200830886 (塊810)處理該等預測誤差塊來獲得像素網絡（塊82〇)。 組合該等像素網絡以重構該影像（塊8 3 〇 )。 於塊820之一實施例中，將預測誤差塊域轉換成預測誤 差網絡（塊822)，基於運動向量來導出預測網絡（塊824)， 且基於預測誤差網絡及預測網絡來導出像素網絡（塊826)。 於塊820之另一實施例中，基於運動向量來導出預測塊， 基於預測誤差塊及預測塊來導出像素塊，且對該等像素塊 進行域轉換以獲得像素網絡。於該兩個實施例中，可基於 該像素網絡之運動向量來確定每一像素網絡之參考網絡。 可對該參考網絡進行域轉換以獲得一預測網絡或塊。可藉 由以下步驟來達成塊_至_網絡域轉換：（1)基於一對應網絡 之頂點來確定一塊之一組係數；及（2)基於該組係數將該塊 轉換成對應之網絡。 本文所述之視訊壓縮/解壓縮技術可提供改良之效能。 每一視訊訊框可由網絡來代表。可將該視訊處理為每一網 絡自一個訊框至下一個訊框之連續仿射或透視轉換。仿射 轉換包括平移、旋轉、按比例縮放及剪切，且透視轉換另 外包括透視翹曲。基於網絡之視訊壓縮之一個優點係運動 估計之靈活性及精度。網絡不再僅限制於平移運動，且作 為替代可具有普通及仿真類型之仿射/透視運動。對於仿 射轉換，每一網絡内之像素運動係網絡頂點之運動向量之 雙線性内插或第一階近似。作為對比，在基於塊之方法 中，每一塊或子塊内之像素運動係該塊/子塊頂點或中心 處之最鄰近或零階近似。 123389.doc -23- 200830886 基於網絡之視訊Μ縮可能夠比基於塊之視㈣縮更為精 確地模擬運動。更為精確之運動估計可減少視訊之時Μ 餘。因此’在某些情形下，可不需要預測誤差(紋理)之編 碼。所編碼之位元流可由一具有臨時内訊框⑴訊框）更新 之網絡訊框序列來主導。 基於網絡之視訊Μ縮之另-優點係訊框間的内插。可藉 由内插毗鄰訊框之網絡網格來建立實際上無限數量之令^ 訊框攸而產生所謂無訊框視訊。網絡網袼内插係平滑且 連續，當該等網絡為-場景之精確表示時幾乎不會屑像。 、該域轉換提供一種處理具有無規則形狀之網格之預測誤 差（、‘.文里）之有效方式。該域轉換亦允許將訊框之網袼（或 内部網絡)映射成塊。可使用此項技術中現有之各種基於 塊的編碼工具來有效地編碼紋理塊及内部網絡。 本文所述之視訊壓縮/解壓縮可用於通信、計算、網路 連接、個人電子器件等。下文闡述無線通信技術之例示性 使用。 圖9顯示一無線通信系統中無線裝置9〇〇之實施例之方塊 圖。無、線裝置900可係一蜂巢式電話、一終端機、一個人 數位助理（PDA)或某-其他裝置。該無線通信系統可係一 碼分多重存取（CDMA)系統、全球移動通信系統（gsm)、 或某一其他系統。 無線裝置900能夠經由一接收路徑一發射路徑提供雙向 通L、在該接收路徑上’基地台所發射之信號由天線 接收並提供至一接收_CVR)914。接收機914調節並數 123389.doc -24- 200830886 位化所接收之信號，並將樣本提供至數位區段920以進行 進一步處理。在該發射路徑上，發射機（TMTR)916接收擬 自數位區段920發射之資料，處理及調節該資料，並產生 一經調變信號，該經調變信號會經由天線912發射至基地 台。 數位區段920包括各種處理、記憶及介面單元，諸如（例 如）’數據機處理器922、應用程式處理器924、顯示處理 器926、控制器/處理器930、内部記憶體932、圖形處理器 940、視訊編碼器/解碼器950及外部匯流排介面（EBI)96〇。 數據機處理器922實施資料傳輸及接收之處理，例如，編 碼、調變、解調變及解碼。應用程式處理器924實施各種 應用程式之處理器，多路呼叫、網頁瀏覽、媒體播放器及 使用者介面。顯示處理器926實施處理以促進視訊、圖形 及文本在顯示單元980上之顯示。圖形處理器940實施圖形 應用之處理。視訊編碼器/解碼器9 5 0實施基於網絡之視訊 壓縮及解壓縮，且在視訊壓縮方面可構建圖1中之視訊編 碼器100而在視訊解壓縮方面可構建圖2中之視訊解碼器 200。視訊編碼器/解碼器950可支援諸如可攜式攝像機、 視訊回放、視訊會議等視訊應用。 控制器/處理器930可指揮數位區段920内各種處理及介 面單元之作業。記憶體932及970為處理單元儲存程式碼及 資料。EBI 960促進數位區段920與主記憶體970之間的資 料傳送。 數位區段920可構建有一個或多個數位信號處理器 123389.doc -25- 200830886 (DSP)、微處理器、簡化指令集電腦（risc)等。數位區段 920亦可製造在一個或多個應用專用積體電路（asic)或某 一其他類型之積體電路（IC)上。 本文所述之視訊壓縮/解壓縮技術可藉由各種手段來構 建。舉例而言’該等技術可構建成硬體、_體、軟體或其 組合。對於一硬體實施方案，用於實施視訊壓縮/解壓 縮之處理單元可構建在_個或多個ASIC、Dsp、數位信號 處理裝置（DSPD)、可程式化邏輯裝置（pLD)、場可程式化 閘陣列（FPGA)、處理器、控制器、微控制器、微處理器、 電子衣置其他5又计用以實施本文所述功能之電子單元或 其組合中。 對於韌體及/或軟體實施方案，可藉由實施本文所述 功能之模組（例如，程序功能等）來構建該等技術。該等韌 體及/或軟體碼可儲存在一記憶體（例如，圖9中之記憶體 932及/或970)中並由一處理器（例如，處理器93〇)來執行。 該δ己體可構建在該處理器内或該處理器外部。 上文提供所揭示實施例之說明旨在使熟習此項技術者能 夠製作或使用本發明m項技術者將易知該等實施例 之各種修改’且可將本文所界定之#遍原理應用於其他實 施例，此並不違背本發明之精神及範圍。目此，本發明並 非打算限定於本文所示之實施例，相反將賦予其與本文所 揭示原理及新穎特徵相一致之最寬泛範圍。 【圖式簡單說明】 當結合附圖參照下文所述詳細說明’本發明態樣及實施 123389.doc -26- 200830886 例將變得更加明瞭，在所有圖式中相同的參考字符 應之元件。 圖1顯示具有域轉換之基於網絡之視訊編碼器。 圖2顯示具有域轉換之基於網絡的視訊解碼器。 圖3顯示已分割成網絡之例示性影像。 圖4A及4B圖解說明一目標網絡之運動估計。 圖5圖解說明兩個網絡與一塊之間的域轉換。 圖6顯示一訊框所有網絡之域轉換。 回’、、員不實施具有域轉換之基於網絡的視訊壓縮之過 程。 |頌不實施具有域轉換之基於網絡的視訊解壓縮之過 程。 圖9顯示一無線裝置之方塊圖。 【主要元件符號說明】 100 110 112 114 116 118 120 122 124 126 視訊編碼器 網絡建立單元 加法器 域轉換單元 單元 量化器 編碼器 X3tXf 早兀 52 —* 早兀 加法器 123389.doc -27 - 200830886

128 訊框緩衝器 130 運動估計單元 132 運動補償單元 200 視訊解碼器 220 解碼器 222 TJU 一 早兀 224 域轉換單元 226 加法器 228 循環緩衝器 230 網絡組合單元 232 運動補償單元 410 目標網絡 420 候選網絡 510 網絡 520 塊 530 網絡 610 訊框 612 網絡 614 網絡 616 網絡 620 訊框 622 塊 624 塊 626 塊 123389.doc -28- 200830886 900 無線裝置 912 天線 914 接收機 916 發射機 920 數位區段 922 數據機處理器 ^ 924 應用程式處理器 926 顯示處理器 _ 930 控制器/處理器 932 内部記憶體 940 圖形處理器 950 視訊編碼器/解碼器 960 外部匯流排介面 970 主記憶體 980 顯示單元 123389.doc -29-

Claims (1)

1. 200830886 十、申請專利範圍： 1 · 一種設備，其包括： 至少-個處理器，其經組態以將一影像分割成像素網 絡’處理該等像素網絡以獲得預測誤差塊，且編碼該等 預測誤差塊以產生該影像之編碼資料；及 一圮憶體，其耦合至該至少一個處理器。 2·如1求項i之設備’其中每_網絡係—具有—任意形狀

   之四邊形，且其中每一塊係一預定大小之正方形。 3·如明求項1之設備’其中該至少一個處理器經組態以處 理該等像素網絡，以獲得預測誤差網絡並將該等預測誤 差網絡轉換成預測誤差塊。 4·如請求項1之設備，其中該至少-個處理器經組態以將 該等像素龍㈣成像素塊並處理料像素塊以獲得該 等預測誤差塊。 月求項1之β又備，其中該至少一個處理器經組態以根 據雙線性轉換將該等網絡轉換成該等塊。 6.如請求们之設備’其中該至少一個處理器經組態以基 於邊網絡之頂點為每—網絡確定'组係數，且基於該網 絡之該組係數將每一網絡轉換成一塊。 7·如請求们之設備，《中該至少—個處理器經組態以對 該，像素網絡實施運動估相獲得該等像素網絡之運動 8· 如明求項7之設備，其中該至少一 ;尊運動向I導出故預測之網絡 個處理器經組態以基 ’且基於該等像素網 123389.doc 200830886 、σ及該等經預測之網絡確定預測誤差。 9 · 言奮ys /項1之設備，其中對於每一像素網絡，該至少一 個處理哭 °、邊組態以確定具有藉由該像素網絡之經估計運 確定之頂點之參考網絡，及基於該像素網絡及該參 考、周、、各來導出一預測誤差網絡。 月求項9之設備，其中該至少一個處理器經組態以藉 由估叶該像素網絡之平移運動來確定該參考網絡。 如明求項9之設備，其中該至少一個處理器經組態以 L 曰 一搜索空間上一次變動一個頂點且同時保持其餘之 頂點固定來確定該參考網絡。 12·如請求項丨之設備，其中對於每一預測誤差塊，該至少 一個處理器經組態以為該預測誤差塊確定一度量，且若 忒度ϊ超過一臨限值，則編碼該預測誤差塊。 如明求項1之设備，其中對於每一預測誤差塊，該至少 個處理器經組態以對該預測誤差塊實施分離餘弦轉換 • (DCT)以獲得一DCT係數塊，並對該DCT係數塊實施熵 編碼。 14.如明求項i之設備，其中該至少一個處理器經組態以基 ‘於所編碼之預測誤差塊來重構預測誤差網絡，基於該經 • 重構之預測誤差網絡來重構該影像，且將該經重構之影 像用於運動估計。 15·如请求項14之設備，其中該至少一個處理器經組態以基 於一對應之經重構預測誤差網絡之頂點來為每一所編碼 之預測誤差塊確定一組係數，且基於該編碼塊之該組係 123389.doc 200830886 2每-經編碼之㈣誤差塊轉換成對應之 誤差網絡。 王傅τ貝馮 16.::未項〗之設備’其中該至少—個處理器經 ::二影像分割成第二像素網絡，將： 轉換成像夸播，Η絶！ 枯& 象常網絡 編碼資科 像素塊以產生該第二影像之 17· —種方法，其包括： 將~影像分割成像素網絡； 0亥等像素網絡以獲得預測誤差塊；及 編螞該等預測誤差塊以產生該f ^ t 18·如請求項17之方）J生該“象之編碼資料。 處理兮 m中該處理該等像素網絡包括： 4像素網絡以獲得預測誤差網絡，且 !9·如於：等預測誤差網絡轉換成該等預測誤差塊。 二；IS方法’其中該處理該等像素網絡包括： 亥4像素網絡轉換成像素塊，且 2。·如5該等像素塊以獲得該等預測誤差塊。 二：7:方法，其中該處理該等像素網絡包括： 基於^罔絡之頂點來為每一網絡確定一組係數，且 21 一二a罔、、°之該組係數將每一網絡轉成一塊。 種设備，其包括： :將衫像分割成像素網絡之構件； 用於:理該等像素網絡以獲得預測誤差塊之構件；及 ;、、’碼該等預測誤差塊以產 構件。 玍4〜像之編瑪資料之 123389.doc 200830886 22.如請求項21之設備 包括： 八中用於處理該等像素網絡之構件 用於處理該等像素網絡以獲得預測誤差件；及 網絡之構 用於將該等制誤差網絡轉&成預測誤 23·如睛求項21之設備，其中 差塊之構件 該用於處理該等像素網絡之構 件包括： 用於將該等像素網絡轉換成像素塊之構件； 用於處理該等像素塊以獲得該等預測誤差塊之構件。 24.如請求項21之設備，其中該用於處理該等像素網絡之構 及 件包括： 用於基於該網絡之頂點為每一網絡確定一組係數件；及 之構 用於基於该網絡之該組係數將每一網絡轉換成一塊之 構件。 2 5 · —種設備，其包括： 至少一個處理器，其經組態以基於一影像之編碼資料 獲得預測誤差塊，處理該等預測誤差塊以獲得像素網 絡’且組合該等像素網絡以重構該影像；及 一兄憶體’其|馬合至該至少一個處理器。 26.如请求項25之設備，其中該至少一個處理器經組態以根 據雙線性轉換將該等塊轉換成該等網絡。 27·如請求項25之設備，其中該至少一個處理器經組態以基 於一對應網絡之頂點為每一塊確定一組係數，且基於該 123389.doc 200830886 塊之該組係數將母一塊轉換成對應之網絡。 28·如請求項25之設備，其中該至少—個處理器經組態以將 該等預測誤差塊轉換成預測誤差網絡，基於運動向量導 出經預測之網絡’且基於該等預測誤κ絡及該等預測 網絡導出該等像素網絡。 ' 29.如請求項28之設備，其中該至少_個處理器經組態以基 於該等運動向量確定參考網絡並將該等參考網絡轉換成 該等經預測之網絡。 3〇.如請求項25之設備，其中該至少一個處理器經組態以基 於運動向量導出經預測之塊，基料等預測誤差塊及該 等經預敎塊導丨像素塊，且將該等像素塊轉換成 像素網絡。 3 1. —種方法，其包括： 基於一影像之編碼資料獲得預測誤差塊； .處理該等預測誤差塊以獲得像素網絡；且 組合該等像素網絡以重構該影像。 32·如4求項31之方法’其中該處理該等預測誤差塊包括： 基於：對應網絡之頂點來為每一塊確定一組係數，且 M ‘ft錢之該組係數將每—塊轉換成該等對應網絡。 广^ 3 1之方法’其中該處理該等預測誤差塊包括： 將該等預測誤差塊轉換成預測誤差網絡， 基於運動向量導出經預測之網絡，且 ，於該等_誤差網絡及該等經預測之網 像素網絡。 π *略寻 123389.doc 200830886 34·如請求項31之方法，直 ，、f該處理该荨預測誤差塊包括·· 基於運動向量導出經預測之塊， 基於該等預測誤差塊 塊，且 死及该專經預測之塊來導出像素 將該等像素塊轉換成該等像素網絡。 35· —種設備，其包括： 用於基於-影像之編碼資料獲得預測誤差塊之構件，· 用於處理該等預測誤差塊以獲得像素網絡之構件·及 用於組合該等像素網絡以重構該影像之構件。 預測誤差塊之 36.如請求項35之設備，其中該用於處理該等 構件包括： 組係數之 用於基於一對應網絡之頂點為每一塊確定一 構件，及 該對應網絡 用於基於該塊之該組係數將每一塊轉換成 之構件。 預測誤差塊之 37·如請求項35之設備，其中該用於處理該等 構件包括： 用於將該等預測誤差塊轉換成預測誤差網絡之構件； 用於基於運動向量導出經預測網絡之構件；及 上用於基於㈣預測誤差網絡及該等經預測之網絡導出 該等像素網絡之構件。 預測誤差塊之 38.如請求項35之設備，其中該用於處理該等 構件包括： 用於基於運動向量導出經預測之塊之構件； 123389.doc 200830886 用於基於該等預測誤差塊及該等經預測之塊來導出像 素塊之構件；及 用於將該等像素塊轉換成該等像素網絡之構件。

   123389.doc