TW296530B - - Google Patents

Description

經濟部中央榡準局員工消費合作社印製 A7 _________ B7* 五、發明説明（1 ) 發明領域 本發明一般係關視頻編碼並尤其係關於將一密集移動向 量場運用在視頻編碼中。 發明背景 將數位視頻壓縮至一極低位元率（VLBR)爲通信領域中之 ~項極重要問題0 —般而言，椏未將一 VLBR視爲超過每秒 64千位元（Kbps) ’而係關於現行個人通信裝置。諸如公用交 換電話網路及分房式裝置。爲提供各項服務計，像要求時 的錄影以及此等裝置上的電視_會議均需要將一數位視頻順 序中所含的資訊予以壓縮達3〇〇對i的因素。爲達成此種高 大壓縮比計’均需要除去一視頻順序中所出現的全部冗餘 諸如Η·261，MPEG1及MPEG2等現在標準均係藉採用—種 分段移動補償離散餘弦變換（DCT)方法提供一數位視頻順 序的壓縮。此種視頻編碼技術會除去一視頻順序中所出現 的冗餘，其法爲採用一種兩步處理。在第一步中，—項分 段匹配（BM)移動估計及補償演算法乃係估計發生在兩個瞬 間相鄰畫面《間的移動。而後，將該等畫面就此項估計移 動予以補償並作一比較，以形成一差別影像。藉採取此兩 瞬間相都畫面之間的差別來除去全部現行瞬間冗餘。所留 下的唯一資訊則爲無法就移動估計及補償演算法予以補; 的新資訊。 一 在第二步中，此種新資訊被變換成使用DCT的頻率領域 。DCT具有將此種新資訊的能量緊縮成很少的⑯頻成分。 -----------奸衣------，ιτ----4 f諳先閱請背面之注意事項再填寫本頁) 本纸張尺度剌帽siiiT：ns ) (2T^T^y 經濟部中央標準局員工消費合作社印策 A7 B7' 五、發明説明（2 ) 取後此種視頻順序之進一步壓縮的方法爲限制被編碼高頻 資訊的數量。 此種對視頻編碼所提供的大部分壓縮均係由移動估計及 補償演算法獲得。也就是説，與有關強度及彩色的資訊對 比時，要傳輸關於存在於一視頻順序中之移動的資訊，就 會更有效多了。茲利用向量表示移動資訊，該等向量均係 自現在強度畫面中之一特別位置指著其先前強度畫面中所 源起之相同位置的地方。就分段匹配（BM)言，該等位置均 被預定爲相等大小的非重疊分嘴。假定此等分段内所包含 的全部像素均具有同一移動。則藉先前瞬間相鄰畫面内之 一預定搜索區上面搜索一最佳匹配時，就會發現關於—視 頻順序之現在畫面内之一特殊分段的移動向量。利用此兩 =段之間的均方誤差（MSE)或平均絕對差（MAD)，一般而 言，就會決定此種最佳匹配。該移動向量均係自現在畫面 内之分段中心指著提供先前畫面中之最佳匹配的分段中心 0 利用該等估計移動向量，每一向量均會修改一份先前畫 面，以產生現在畫面的預測。此種作業被稱爲移動補償3 根據上文説明，係自現在畫面減去預測畫面，以產生一差 別畫面，該差別畫面則被離散餘弦變換（DCT)變換爲空間 頻率領域。將此等空間頻率係數予以量化及平均訊息量編 碼，以提供原來視頻順序的進—步壓縮。將移動向量及 DCT係數兩者均傳至解碼器，這搜才是完成反向作業以產 生解碼視頻順序的地方。 本紙張尺度適用中國國家標準（CNS ) A4規格（ ——„--------裝------訂---I 4 —線 (請先閱讀背面之注意事項再填芎本頁) A7 B7- __ 五、發明説明（3) 視頻壓縮中所熟悉的爲—密集移動向量場對現在畫面所 =的品質預測均高出很多。可是，由於一密集移動向量 野的每-像素要件（pixel)均具有關於它的移動向量，故要 傳輸視頻順序中之移動的此種表示時，其成本是嚇人的。 所以，視頻編碼器才被迫對移動估計及補償採用分段匹配 万法。-種容許將一密集移動向量場使用在視頻編碼器内 的方法及裝置將是絕對有利且有能力的。 圖式簡單説明 、圖1爲用以根據本發明再生用—在一移動補償視頻編碼器中 t -密集移動向量場(DVF)之裝置之一較佳具體實例的圖 解。 圖 '爲用以根據本發明再生用在一移動補償視頻解碼器中 义一密集移動向量場（DVF)t裝置之一較佳具體實例的圖 解。 圖3爲用以根據本發明再生一密集移動向量場之方法之步 驟流程圖。 較佳具體實例之詳細説明 下文説明之方法及裝置能使一密集移動向量場使用在一 視頻順序的編碼處理中。具體言之，係説明一種方法及裝 置’這裡乃係從一先前密集移動向量場預測使用在編碼及 解碼時之密集移動向量場。採用此種預測密集移動向量場 時才會消除傳輸任何移動資訊的需要。所以，下文説明的 方法及裝置會冗全減輕傳輸一密集移動向量場的問題。 爲求説明此種方法及裝置計，特作出有關輸入視頻順序 -6- 本紙張尺度適用中g g家標準（CNS ) A4規格（2丨〇 χ 公釐） ----------裝------訂----4 —線 (請先閱讀背面之注意事項再填寫木頁) 經濟部中央橾準局員工消費合作社印製 經濟部中央橾準局員工消費合作杜印製 A7 _BT__五、發明説明（4) 的某些假定。具體言之，假定視頻源爲用一種數位格式， 這裡在編碼處理以前，每排的像素數目，每一畫面的排數 ，以及每秒的畫面數目均爲已知。每個像素均表示使用其 範圍自0至255之8位元整數數目的亮度及彩色成分兩者。 根據上文説明，作出此等假定只在協助易於説明此種方法 及裝置而不應視爲對於此等假定並未掌握的應用的限制。 圖1 (编號1 00)爲用以根據本發明再生用在一移動補償視 頻編碼器中之一密集移動向量場DVF之裝置之一較佳具體 實例的圖解。該裝置包含一空_間DCF決定器（102)，一瞬時 DVF決定器（104)，先前預測密集移動向量之一隨意局部周 圍（106)，以及一移動補償視頻編碼器（108)。根據一移動目 標界線估計（130)，一先前DVF(146)，及預測現在密集移動 向量之（136)局部周圍，空間DVF決定器乃係決定現在 DVF(128)的預測。根據一移動目標界線估計（13〇)及一先前 DVF(146) ’瞬間DVF則係決定現在DVF(128)的預測。將空間 預測（128)與瞬間預測（142)合併（1 54)，以產生最後DVF預測 (156)。此種最後預測（156)與一現在強度畫面（15〇)及一先前 強度畫面（152)—起均爲通至一移動補償視頻编碼器（1〇8)的 輸入。根據最後DVF預測（156)，現在強度畫面〇5〇)，及先 前強度畫面（152)，移動補償視頻編碼器（1〇8)乃係減少解碼 器所必需的資訊量，以產生現在強度畫面（15〇)。 空間DVF決定器（102)由一空間移動補償單元（11〇)，含有 空間自歸信號AR預測係數（114)之一查表，以及一空間DVF 預測器（118)組成。可利用一應用率積體電路ASIC，聞列， . .^衣 訂 J 矣 (請先閲讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家標準（CNS ) Ad規格（2丨〇><297公釐） 經濟部中央標準局員工消贽合作社印製 A7 ________B7' 五、發明説明（5) 或一數位信號處理器（DSP)來實施此空間DVF決定器（102)。 運用來自該先前组別的相鄰強度畫面之一移動目標界線 估計（130)及DVF估計（146)，空間移動補償單元（110)才會決 定現在移動目標界線（132)的預測。利用下列式子來產生此 種預測： ^k(r + dk.1(r)) = lkl(r) » (1) 式中rk(r)表示現在移動目標界線（132)的預測以及(r)表示 先前估計DVF(146)中的位置r =(i, j)T處之密集移動向量。 根據移動目標界線預測（132)，從用於空間DVF預測器（118) 中之查表（114)選擇一分组的預定AR預測係數a (m， (134) 〇 典型者’乃係依經驗判斷來見取隨意A R預測係數（丨1 4 ) 的決疋組別。一般而f，係將一種最小平方估計法使用於 原型或先前估計DVF上。空間DVF預測器（η 8)均係根據 AR預測係分組與預測密集移動向量（1 3 6)的局部周圍 來決定D V F的預測。下列公式説明此種預測作業： ^ j) = X n\lk (r))(2)

m,/i eR 式中’k(U)(i28)爲根據預測密集移動向量ik(i，j) (136)之一 局部周圍及該等AR預測係數a (m，n|lk(r)) (134)所發生在現在 -8 - 本紙張尺度適用中國國家榡準（CNS ) A4规格（210X297公釐） I.------^---裝------訂------線 (請先聞讀背面之:i意事項再填寫本頁) 經濟部中央標準局員工消費合作社印製 Μ *--—------ Β7____ 五、發明説明（6 ) '~~—-- ’以像畫面中之像素位置Γ Ξ處的移動預測，這裡L(r) ^現在移動目標界線的預測以及㈣”均爲整數。預測密 集移動向量的局部周圍（136)R均得自空間預測（U8)與瞬 門DVF預測（142)的總和（154)。茲將瞬間DW預測（128)詳細 付論於下。 預測密集移動向量之局部周圍R就是將此等預測密集移動 向量儲存在下列像素位置中的記憶裝置：縱行内直到左方（1， J-1)的像素，上面橫排及縱行中到左方（ί，Η)的像素，上面 橫排内的像素（i-u)，及上面橫4卜及縱行内到右方（1，J+1)的 像素。將此局部周圍R儲存在局部周圍記憶裝置（1〇6)1^所 應注意的，那就是在實施時間處才會完成R的選擇，以通過 所用的二度空間資料組，並表示—特別瞬間處的影像及密 集移動資訊。就此特殊R而言，假定以其頂上橫排開始，在 每一橫排上面，均係自左至右接達資料^亦可採用通過影 像及话、集移動資訊的其他方法。此舉將需要對局部周圍尺加 以輕微修改，但此等作業卻會保持相同不變。 瞬間DVF決定器（1〇4)由一瞬間移動補償單元（〗22)，含有 瞬間自~彳s號AR預測係數（140)之一查表，及—瞬間ρνρ預 測器（118)组成。利用先前组別之相鄰強度晝面的移動目標 界線估計（130)及DVF估計（146)，瞬間移動補償單元（122)才 會根據先前DVF(146)決定現在DV^(144)的預測。可利用應 用率積體電路ASIC，閘列，或一數位信號處理器（DSp)實施 此瞬間DVF決定器（104)。 由於瞬間抽樣率一般均爲鬲大，美國爲每秒3 〇個畫面及 -9- 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） - i ml I I -lil 1-. I - 1^1*n^— n (請先閲讀背面之注意事項再填寫本頁) --3 線 經濟部中央標準局員工消費合作社印装 A7 _________ B7" ____ 五、發明説明（7) 歐洲爲每秒25個畫面，故假定移動下的目標將會持續以— 種類似方向在好幾個畫面上移動。所以，根據來自先前組 別的相鄰強度畫面所估計的D V F，從先前組別的相鄰強度 畫面所估計之D V F ’才會獲得現在d VF的良好表示。瞬間 移動補償（1 2 2 )單元乃係藉以其本身對先前d V F ( 1 4 6 )予以 移動補償來提供現在DVF(1 44)的此種表示。瞬間移動補 償單元（1 2 2 )所完成之作業的特點爲下列公式： ^k-l(r) = dk.1(r-dk.1(r)) » _ (3) 式中根據就2間DVF決定器的上文説明，¢1^(1^)(146)爲先 前估計DVF中位置r=(i，j)T處之密集移動向量以及⑴爲 先前估計DVF之移動補償型式。 採用移動補償的先前估計DVF(144)及先前移動目標界線 估計（130)，瞬間DVF預測器（120)才會決定現在DVF (142)的 瞬間預測。根據先前移動目標界線估計lk l (r) (13〇)，從用 於瞬間D V F預測器（1 2 0 )的查#p)擇一分組預定瞬間a R預 測係數 b (m，nllj^ ⑺）（134)。 由於完整的移動補償先前D V F ( 1 4 4 )可由瞬間D V F預測 器（1 2 0)現成使用，故瞬間A R預測係數（1 1 6 )的預定組別 才會不再受到所用特別資料接達的限制。典型者，亦係依 經驗判斷來發現瞬間AR預測係數。一般而言，均係將一種 最小平方估計方法運用在一原型或先前估計D v F上。瞬間 D VF預測器（1 1 8 )根據瞬間AR預測係數（1 3 4 )的分組及移 -10- 本纸乐尺度適用中國國家標準（CNS ) A4規格（210X297公釐） 先閱讀背岛之汰意事頊再填寫本頁) .裝· 訂 A7 B7一 (4) 五、發明説明（ 動補償的先前D V F ( 1 4 4 )決定D V F的預測^茲藉下列方程 式説明此種預測作業-· dk{iyj)= Y^bim^nU^ir)) MC.JI <9t 式中]k(r )(142)爲根據赞動補償的先前密集移動向量^ (i，j) (144)的周圍（灭）及AR預測係數b(m，n|lk_】（r))(14〇)而發生在 現在影像畫面内之像素位置r^i，j)處的移動預測。 根據上文説明，由於完全知道dk丨（丨，j)(M4)，故沒有可 將那些密集移動向量包含在周圍χ内的限制，和有關空間 預測局部周圍（136)的案例一樣。可是密集移動向量之間的 空間距離愈大，它們爲應相互關聯的可能愈小。所以，才 會f局部周圍R(136)不同的周圍天選擇至最密接的空間鄰居 爲dy (1，j)。周圍X由稱爲像素（i，j)之移動補償先前 (144)中的下列像素位置組成：縱行内直至左方ο，」〗）的像素 ，上方橫排中的像素下方橫排中的像素，以及通至 右方一個縱行的像素（i，j+l)。 ^得現在DVF d〜k (156)之最後預測的方法爲將空間dvf預 測dk與瞬間DVF預測屯相力；>由移動補償視頻編碼運 用現在DVFd〜k(156)之合成最後預巧，以除去一視頻順序中 所出現的瞬間冗餘。由於先前移動目標界線估計（13〇)及先 =VF估計（146)均在解碼器處現成可用，故無需傳輸移動 貝訊。取而代之，係將移動資訊產生在解碼器處。利用一 -11 - 本纸張尺度_ 作 iS^-s-)A4^(2l〇x297^t -----------装------1T-----—線 (請先閱讀背面之注意事項再填寫本頁) 經濟部中央標準局員工消費合作社印製 經濟部中央標準局員工消費合作社印製 A7 ----—丨丨·_______B7 ' 五、發明説明（9) ' ' 〜- 加法器或D S P即可完成此種相加（〗5 4)。 圖2。(編號200)爲用以根據本發明再生用於_移動補償視頻 解碼益中之一密集移動向量場DVF之裝置之—較佳具體 例的圖解。該裝置包含-空間Dw決定器（2〇2)，_瞬間^歸 決定器（204)，先前制密集移動向量之_隨意局部周圍 (206)，以及一移動補償視頻編碼器（2〇8)。根據一移動目標 界線估計（23〇)，-先前卿⑼6)，及預測現在密集移動: 量（236)之一局部周®，由空間Dw決定器決定現在贈的預 測（228)。根據一移動目標界線七計（230)及—先前dvf(246) ，由瞬間DW決^器決定現在DW的預測（228)。將空間預測 (228)與瞬間預測（242)合併（254)，以產生最後Dvp預測（2⑽ 。此最後DVF預測（256)爲一對應視頻编碼器（1〇〇)中所產生 之一最後DVF預測（156)的再生型式。此再生DVF(256)與一 先前解碼強度畫面（252)及編碼新資訊（25〇)一起均爲通至一 移動補償視頻解碼器（208)的輸入。根據此等輸入，移動補 償視頻解碼器將對應移動補償視頻編碼器所壓縮之視頻编 碼器（108)。 圖3 (編號300)爲用以根據本發明再生一密集移動向量場 DVF之方法步驟的流程圖。第一步爲根據一移動目標界線 估計及一局部周圍（3〇2)決定一空間DVF。此步驟包括移動 補償一先前移動目標界線估計，以提供現在移動目標界線 估-t的預測，接達一組自歸式AR預測係數’以及預測空間 DVF，其法爲利用空間AR預測係數及最後現在預測之 局H卩周圍。在任何時間，先前DVF均係由其本身予以移 -12- 本纸张尺度適用中國國家標準（CNS ) Α4·_ (2iGx 297公瘦） -------：--裝------訂-----線 (請先閱讀背面之注意事項再填寫本頁) 2U6〇30 A7 五、發明説明（1G) 動補償的。第二步爲根據一DVF估計及移動目標界線估計 (304)決定一瞬間DVF。此步驟包括接達—组瞬間ar預測係 數，移動補償一位移向量場估計，以及藉利用瞬間ar預測 係數及移動補償的先前DVF預測現在DVF。在空間及瞬間 DVF預測兩者均現成可用以後，藉將此兩預測加在一起^ 會產生現在DVF的最後預測（306)<5而後，更新局部空間周 圍（308)。 雖然上文説明了各典型具體實例，但對精於本行技術者 顯而易見的爲可完成許多條改變體而未脱離本發明。因 此，本案所企圖的爲應將全部該等修改及變體包含在本發 明之精神及範圍内，和該等所附申請專利範圍所界定的情 形一樣。 I :| - - 111 - 1 I I -H - - I — I 士；^ - I I - - - —^ϋ . I -- - 一^1 - ! .1 I n^— (請先?4讀背面之注意事項、再填轉衣頁) 經濟部中央標隼局員工消費合作杜印製 -13- I纸張尺度適用中SS家標準（CNS ) A4規格（210',<297公~~

Claims (1)

1. A8 B8 C8 D8- 經濟部中央標準局員工消費合作社印製 六、申請專利範圍 1. 用以再生一密集移動向量場的方法，包括： 根據一移動目標界線估計及先前D V F預測之一局部周 圍，利用一空間D V F決定器，決定一空間d V F ; 根據一 D VF估計及移動目標界線估計，利用一瞬間 DVF決定器，決定一瞬間DVF ; 利用一加法器，將空間D V F與瞬間D V F相加，以提供 一 D V F預測；以及 · 根據D V F預測，更新先前d V F預測的局部周圍。 2. 根據申請專利範圍第1項之汸法，其中包含2A至2K項中 的至少一項： 2A)其中決定一空間DVF包括： 利用一移動補償器，移動補償一移動目標界線估 計； 根據一移動補償移動目標界線估計，運用一記憶 單元中之一查表。以提供一组空間自歸預測係數； 以及 根據該組空間自歸預測係數及一局部周圍，利用 一空間DVF預測器，預測一空間DVF ; 2B)其中決定一瞬間DVF包括： 根據移動目標界線估計，利用一記憶單元中之一 查表’以提供一組瞬間自歸預測係數； 利用一移動補償器一，移動補償—密集向量場（DVF) 估計； 根據該组瞬間自歸預測係數及一移動補償DVF估 -14- 本纸張又度適用中國國家標準（CNS ) A4規格（210X297公整） 裝 訂 . 1务 (請先閔讀背面之注意事項再填寫本頁) ABCD βί mTj 六、申請專利範圍 曰]DVF預測器，預測一瞬間dVf ; 利用-加法器’將空間贿與_ d 供一DVF預測；以及 以棱 根據此DVF預測，更新先前Dw預測的局部 -Γ在Γ面=根據DVF預測及一先前畫面估計，將 現在畫面編碼； 2D)進-步包括根據dvf.預測及一先前畫面估計 一現在畫面解碼； 肝 2E)其中預測空間dvf包括 將每頁丄間自歸預測係數乘以局部周圍之—對應 要素，以提供多㉟空間乘積；並將該等空間乘積相 力σ ; 2F)其中預測瞬間〇VF包括： 將每項瞬間自歸預測係數乘以一對應移動補償 DVF估计，以提供多項瞬間乘積，並將此等瞬間乘 積相加； 2G)其中均初設局部周圍，以包含全部〇; 2H)其中係網:此種方法的步驟具體實施在一數位信號 處理器（DSP)之一實體介質中； 21)其中係將此種方法的步驟具體實施在一應用率積 體電路（ASIC)之一實體介質中； 2J)其中係將此種方法的步驟具體實施在一閘列之實 體介質中；以及 2K)其中係將此種万法的步驟爲在一實體介質中所具 本紙伕尺^用中國國家CNS) A4規格（ ——^------ΐτ------ I ^ (請先閱讀背面之注意事項再填寫本頁) 經濟部中央榡準局員Η消費合作社印製 -15- ABCD 六、申請專利範圍 體實施的電腦軟體内。 3.根據申請專利範圍第丨項之方法，其中係將此種方法的 步驟具體實施在一部電腦之一實體介質中。 4·根據申請專利範園第3項之方法，其中實體介質爲—部 電腦的塑料磁盤》 5. 根據申請專利範圍第3項之方法，其中實體介質爲電腦 之一記憶單元。 · 6. 用以再生一密集移動向量場的裝置，包括： 被耦合之一記憶裝置内之_局部周圍，以接收—預定 初設，用以儲存D V F預測； 一 5：間D V F決定器，其耗合乃在接收D ν F預測，—移 動目標界線估計，及一DVF估計，以提供—空間dvf ; 一瞬間D V F決定器，其耦合乃在接收移動目標界線估 計及一DVF估計，以提供一瞬間DVF ;以及 可操作地核合至空間D V F決定器及瞬間d V F決定器之 一加法器’用以將空間D V F與瞬間D V F相加，以提供一 DVF預測並根據DVF預測更新局部周圍。 7. 根據申請專利範圍第6項之裝置，其中包括7A至70等 項中之至少一項； 經濟部中央標準局員工消费合作社印製 (請先閲讀背面之注意事項再填寫本頁) 7A)其中空間DVF決定器進而包括： 一空間移動補償單元，其耦合乃在接收一移動目 標界線估計，用以提:(共_移動補償的移動目標界線 估計； —份空間自歸預測係數表，其耦合乃在接收移動 -16- 本紙浪尺度逋用標準（CNS ) A4規格（210X297公缝） 經濟部中央標準局員工消费合作社印製 A8 BS C8 ----—__ 08 - _ 六、申請專利範圍 — 補償的移動目標界線估計，用以根據移動補償的移 動目標界線估計提供—組空間自歸預測係數；以及 可操作地耦合至局部周圍及空間自歸預測係數表 空間黯預測器’用以將空間自歸預測係數與 局邵周圍要素的乘積相加，以提供一空間DVF ; 7B)其中瞬間D V F決定器更包括： —份瞬間自歸預測係k表，其耦合乃在接收—移 動補償的㈣目料線料，用以根據㈣補償的 移動目標界線估計提供_纽瞬間自歸預測係數： ——瞬間移動補償單元，其耦合乃在接收一 dvf估 •十，用以提供一移動補償的D v F估計；以及 可操作地耦合至瞬間自歸預測係數表及瞬間移動 補償單元之-瞬間DVF預測器，用以將瞬間自歸預 測係數與移動補償DVF估計的乘積相加，以提供— 瞬間D V F ; ' 更包括可操作_合至加法器之_移動補償視頻 編碼器，以接收一現在畫面及一先前畫面估計，用以根 據DVF預測及先前畫面估計將現在畫面編碼； 7D)更包括可操作地核合至加法器之—移動移動補償 視頻解碼器，以接收一编碼畫面及—先前畫面估計，用 以根據D VF預測及一先前畫面估計將編碼畫面解碼； 7E)其中係將此裝置具―體實施在一數位信號處理器 (DSP)中； > 7F)其中係將此裝置具體實施在一應用率積體電路 -17- 本纸張又度遗用中國國家標準（CNS ) A4規格（210父297公釐） 裝 訂 ^丨線 (請先閲讀背面之注意事項再填寫本頁) . A8 B8 C8 D8- 六、申請專利範圍 (A S I C )中；以及 7G)其中係將此裝置具體實施在一閘列中。 8-根據申請專利範圍第6項之裝置，其中係將此裝置具體 實施在一部電腦的實體介質中。 9 .根據申請專利範圍第8項之裝置，其中實體介質爲一部 電腦的塑料磁盤。 1 〇 _根據申請專利範圍第8項之’裝置，其中實體介質爲電腦 之一記憶單元。 -- ------------装------'玎-----|線， (請先閱讀背面之注意事項再填寫本頁) 經濟部中央標準局員工消費合作社印製 •18- 本纸張尺度適用中國國家標準（CNS ) A4規格（210X297公釐）