TWI244343B - Method for motion estimation - Google Patents

Description

1244343 九、發明說明： 【發明所屬之技術領域】 本發明係有關於一種移動估計方法，特別有關於一種估計 移動之蜘蛛網搜尋方法（spiderweb search method)，以識別 一參考巨集塊。 【先前技術】 動悲影像壓縮標準（MPEG，motion picture expert group) 視訊序列係由一或更多群晝面構成，每一群晝面係由一或更多 I-，P-或B-型式的晝面組成。框内編碼畫面（Intra c〇ded pictures)，或是” ί晝面”，其係獨立編碼並不參考任何其 他畫面。預測編碼畫面，或者是” Ρ晝面”，其係自前置 (preceding)之參考晝面中使用訊息。或者是” β晝面，，，可 使用前置或後置（upc⑽ing)之晝面，兩者皆用，或兩者皆不用。 移動估汁（mot ion esti mat ion)係為一估計在鄰近書面間 一影像之部分替換之程序。例如，一移動的足球會在鄰近的晝 面中出現在不同的位置。替換則說明為當在一特定區域中給予 之最佳匹配（best match)之移動向量。亦即，此球在目前書面 以及在前置或後置參考畫面之對應取代區域。而在目前晝面特 定區域以及參考畫面對應取代區域之差值稱為殘餘部分，， residue” 。 一般而§，用來估計移動向量之兩種習知移動估計方法係 為晝素-遞迴廣异法（pixel-recursive algorithm)以及區塊 比對演算法（block-matching algorithm)。畫素-遞迴技術反 覆的自鄰近晝框中的對應畫素預測每一晝素之替換。換句話 說，區塊比對演算法（block-matChingalg0rithm)則是一區塊 1244343 區塊的晝框間估計其替換以及選擇最小化該差異之向量。 傳統的區塊比對程序，目前將被編碼之影像會被劃分為等 尺寸區塊之畫素訊息。在MPEG-1以及MPEG-2視訊壓縮標準 中例女 這二里素會聚集成”巨集塊（macroblock)，，，對該 兩色度元件（chr〇minance c⑽p〇nents)而言，每一包含了一 16x 16焭度樣本之樣本矩陣結合8χ 8之樣本區塊。上述ΐ6χ 1 6 το度樣本之樣本矩陣更包含四個8χ 8區塊，其基本上當作 壓縮模組之一輸入區塊。 —一區塊-比對演算法，係比對現有區塊與在搜尋區域内之 每一比對區塊（candida1：e bi〇ck)，稱做，，全搜尋卜。 search” 。一般而言，較大之搜尋區域一般產生一較精確之替 換向畺^而，全搜哥之計算的複雜度係正比於該搜尋區域的 尺寸且對些應用而言太慢。舉例來說，以搜尋範圍為土 N 畫素且精確度為一晝素，來應用於尺寸16>< 16晝素之巨集塊 之全搜尋區塊比對運算法，需要(2χ _2次區塊比較。當.16 呀，需要比對16x 16區塊1089次。因為每一區塊比對需要16 ^16,或256次的計算，此一方法需要密集的計算且運作上非 常慢。因此技術上易減少其搜尋的區域，然而，會冒找不到 佳比對區塊之風險。 因此，一般而言會著重於產生在一廣大搜尋區域中找尋該 比對區塊快速運算法。最快之搜尋技術增益速度係藉由該全搜 尋區域之一備用取樣。例如，2_D對數搜尋法（i〇garithmic search)，藉由對各自分離空間之候選者（candidates)計算該 均方差（MSE)，以及接著連續的在該前一迭代尋找到圍繞在該 最佳候選者之較靠近空間之候選者。在一對偶方向搜尋 (conjugate direction)，在一水平方向之運算搜尋直到找出 1244343 最小之誤差。接著，自該點繼續，在一垂直方向之運算搜尋直 到找出最小值。上述方法接較一全搜尋快速，但常於尋找最佳 比對區塊失敗。 另一用以克服一全搜尋缺點之方法為使用階層式搜尋技 術（hierarchical search techniques)。在第一級，例如，在 一合理的大區域上進行一粗略搜尋。在接續級中的階層式搜 尋，料搜尋範圍的尺寸。其中—三階階層式搜尋係見於η · m

Jong等人所著之3階平行結構搜尋區塊比對運算法，，

Parallel Architectures for 3-step Hierarchical Search

Block-Matching Algorithm^ IEEE Trans. On Circuit and

System For video technology, V〇l 4, August 1994, pp 407-416。因為粗搜尋（c〇arse咖⑻未使用所有之畫素訊 息’ Jong等人所述之階層式搜尋對—些應用而言並不成孰， 且因此可能對較精細搜尋形成不正確之起始點(軸叫 point)。 【發明内容】 、本發明之目的在於提供一快速而且有效之移動估計方 法，其係適用於網搜尋方法以識別—參考巨集塊。 本發明提供—種移動估計方法，用以決定自— 塊至一參考巨隼诘夕^ θ ^ … 木塊之一移動向量，包括下列步驟··（a)劃分一 搜号區域為各自且右又问念 ^ σ W度之子區域，（b)取得各自欲編碼 巨木塊與一目前選定巨隹換pq 〜d 木塊間，以及欲編碼巨集塊與該目前選 二鄰近巨集塊之失真，其中該鄰近巨集塊係根據目前 :: 所在之子區域之密度所決定，（C)若其中一鄰近巨

==碼巨集塊之失真係為最小，定義該具有最小之失 真之鄰近巨集塊為兮曰A 則k疋巨集塊，（d)重複步驟（b)及（C) 1244343 直至J目剷選定巨集塊在該等鄰 若具有最小失直之曰… 具有最小失真，⑷ 产之工 别叙巨集塊係在其卜不具有最大贫 ::子區域，根據目前選定巨集塊所: 有義•一 域，：ΐ二目前選定巨集塊係位於具有最大密度之子區 域之目前選定巨集塊為參考巨集塊。位L有取大禮度之子區 隹塊=明f提供一種移動估計方法，用以決定自一欲編碼巨 Γ^— 集塊之—移動向量，包括下列步驟·· U)割分 碼巨為各自具有不同密度之子區域，⑻取得各自欲編

目^^與_目_定巨⑽（χ，γ)’以及欲編碼巨集塊與該 “疋巨集塊之鄰近Ε集塊（x+D]〇，Y (X+D„)Y+d〇, (X Y_Dm), (χ Υ，η. rv Α )(Χ，Y+D。’ a-Dffl，Y-DO，（X-Dm, γ)， 。D»’ Y+D.)之失真’其中⑽係為目前選定巨集塊所在之子 區域之密度，（啦在鄰近巨集塊與該欲編碼g集塊之其中一 ，真係為最小，識別該具有最小之失真之鄰近巨集塊為目前選 定巨集塊，⑷重複步驟⑻及（c)直到目前選定巨集塊在該等 鄰近巨集塊間具有最小失真，⑷若具有最小失真之目前選定 巨集塊係在其中-不具有最大密度之子區域，重新定義搜尋區 域以及劃分重新定義之搜尋區域至分別具有密度 1/Di， · · ’ 1/Dp之子區域，其中1/D,’為該目前選定巨集塊位 於之子區域的密度，且 Di + ".+D(M)S Dra，$Dl + ...+ Dp，（f) 重複步驟（b)、（C)、（d)以及（…直到具有最小失真之目前選定 巨集塊係位於具有最大密度之子區域，以及（g)識別該具有最 小失真及位於具有最大密度之子區域之目前選定巨集塊為參 考巨集塊。 1244343 【實施方式】 第1圖係顯示本發明移動估計方法一實施例之流程圖，移 動估計的目的為決定自一欲編碼巨集塊至一參考巨集塊之一 移動向量。該編碼以及參考巨集塊屬於不同晝框（frame)。以 下對第1圖之步驟以及第2 A〜21圖之例子一併說明。 在步驟S10中，預先決定^個分離之密度1/Dl〜1/Dn，例 如1、1/2、1/3及1/4四個密度。 在步驟S11中，初始時，搜尋區域包含了一晝框中所有的 巨集塊，以及劃分分別具有密度1/Di，." .，1/Dp2子區域，子 區域係為環狀並同心於該初始選定之巨集塊（Xi，yi),且越靠近 中央巨集塊之子區域具有較大之密度。更特別的是，具有一密 度1/〇,(1$11]$11)之子區域，包含巨集塊（1八），其中1¥依照 下列算式： ^ +D.-0-1 ^ Xi-(Di + ··. +D〇] [yi + (Di +···+〇,-!) + 1 ^ yi + (Di + -..+D〇]^ [yi-(Di + ··· + Dm-l)~l = yi~~(Dl+··· +Dni)] } 如第2 A圖所示，搜尋區域為一 21 χ 21矩陣的巨集塊，且 開始日守選定巨集塊（〇, 〇)。例如，該搜尋區域被劃分為分別具 有密度1、1/2、1/3及1/4的子區域，使得具有密度1/3的子 區域包含了巨集塊（χ，γ)，其中4$χ$64_4-χ-_6，以及4 6或-4^Y^-6。值得注意的是，初始選定巨集塊在參考 畫框中所遠疋之位置與在編碼框（enc〇ded frame)之欲編碼巨 集塊之位置相同為較佳。 在步驟S12中，取得各自欲編碼巨集塊與一目前選定巨集 塊間，以及欲編碼巨集塊與該目前選定巨集塊之鄰近巨集塊之 1244343 失真，其中該鄰近巨集塊係根據目前選定巨集塊所在之子區域 之密j所決^。更具體而言，在—具有—密度⑽子區域中 之目別選疋巨集塊（X, Y)之鄰近巨集塊係位於（χ +队，γ)， (X—Dm’ Y)，（X+m) ’（U-D小（Xi，Y—D小（抓，他）， U，Υ+D») ’以及（X—Dn，Y+Dm)。在第2β圖，可獲得初始選擇巨 本塊以及其鄰近巨集塊之失真。該初始選擇巨集塊係位於密度 為1之子區域，因此其他鄰近巨集塊係位於（^)，（1 〇), 失真係為絕對距離（absolute distance)之總和或為均方誤差 (mean square err〇r) ’或者為平均絕對差（觀n abs〇b difference) ° 門的S13中’判斷目前選定巨集塊與該欲編碼巨集塊之 間的失真疋否為最小。若是，則進入步驟Sl5 步驟S14。 ⑴運入 在步驟S14中，呈右导ί也吉七細、乙 ，、有取小失真之姊近巨集塊定義為目前選 疋巨木塊0接者回到步驟S12 〇第2C ? π闰总# S12〜S14。如第2C Η所 f 2F圖係顯示重複步驟 欲編碼… 不，鄰近巨集塊d，-1)具有最小失真之 人;扁馬巨木塊且據此定義為目前選定巨集塊。新選定之巨华塊 (2’2)仍具有錢1之子區域以致於其鄰近巨集塊位於 (0,2),(0 1} =二。接著’如第2D圖所示，鄰近巨集塊(—二 現位:具有==選定巨集塊，選定巨集塊㈠，。) (4 ^ 子區域以致於其鄰近巨集塊係位於 以及（0，-2)。接下也; 〈u，2)、（0,0) 有f ,生古 如第2E圖所示’鄰近巨集塊（-4,0)且 、”且據此定義為目前選定巨集塊。該新選定巨集塊 11 1244343 係位於(销之子區域，以致於其鄰近巨集塊 (-U)…，- :―4广巨集塊…)具有最小失真 集塊。新選定巨隼始Γ 7 0、 又我兩目刖砥定巨 、疋拄木塊（—7,_3)現位於具有密度i 致於其鄰近巨隼挣在 之子£域以 广社木塊係位於㈠，n、（_7，_7 以及（—3, -7)。值得注意的是，因為其他巨，—3) 此巨集塊僅具有五鄰近巨集塊。 ▲ 域外， 在步驟S15中，進一步判斷具有最小失真之目前選定巨隹 鬼疋否位於具有最大密度之子區域中。若是，則、市 若否，則進入步驟S16。 Μ較則進入步驟S17, 在步驟S16中，根據目前選定巨集塊所在之子區域之密 度’重新定義以及重新劃分巨集塊。更具體說’若目前選定巨 集塊（U)係位於具有密度1/D4子區域，則重新定義―搜 哥區域，例如一包含巨集塊（χ，γ)之區域，其巾抓 以及yc-DdYSyc+DB。該重新定義之搜尋區域按照相同於步驟 sii的方法分成具有密度1/Dl〜1/Dp(1spsn)，其中Dm" $^+一+1)1卜.+1。如第找圖中位於（-7，—3)巨集塊係具有(最!） 小失真，以及2G圖所示，因為目前選定巨集塊（_7, —3 )係且 位於具有密度1/4之子區域，所以需要重新定義去包含具有巨 集塊（X，Y)之搜尋區域，其中3以及— 、 —— 值斤于 注意的是，此處不包含畫框外之區域（ — 。更進一步，因 為1 + 2S4S 1+2 + 3，該重新定義之搜尋區域分成三子區域，分 別具有密度1、1/2及1/3。接著，返回至步驟S12，如第2η 圖所示，目前選定巨集塊（-7，-3)現位於具有密度i之新子區 域以致於其鄰近巨集塊係位於（-8，-4)、（-8,-3)、（-8,〜2)、 12 1244343 (_7，-4)、（-7，-2)、（-6，-4)、（-6，-3)以及（―6，—2)。在該巨 集塊（-7，-3)之鄰近巨集塊中，巨集塊（_6，_4)與欲編碼巨华塊 具有最小之失真且據歧義為目前敎巨集塊，如第2i圖所 示。最後，由步驟S15中所決定，巨集塊（_6，—4)具有最小失 真以及位於具有最大密度丨之子區域。接著，進入步驟Μ?中。 在步驟S17中，識別該具有最小失真及位於具有最大密度 之區域之目前選定巨集塊為參考巨集土鬼。據此，V決定該預 編輯巨集塊之移動向量。 ^在如述之方法中，值得注意的是，在鄰近巨集塊間之距離 係反比於其所位於區域之密度。此搜尋區域不限制為矩形區 鲁 域。鄰近巨集塊之數目可為，例如4個（上、下、左 '右），而 右上、左下、 右下）。 不需固定為8個（上、下、左、右、左上、 综而言之，本發明提供一快速且有效的移動估計方法，其 採=一蜘蛛網搜尋方法來定義一參考巨集塊，此蜘蛛網搜尋容 易Λ知，或使用在其他估叶運算以在不犧牲壓縮品質下降低計 算的複雜度。 本發明雖以較佳實施例揭露如上，然其並非用以限定本發 月的範圍，任何熟習此項技藝者，在不脫離本發明之精神和範攀 圍内，當可做些許的更動與潤飾，因此本發明之保護範圍當視 後附之申請專利範圍所界定者為準。 【圖式簡單說明】 為使本明之上述目的、特徵和優點能更明顯易懂，特舉 較佳實施例，並配合所附圖式，作詳細說明如下·· 圖示說明： 第1圖係顯示本發明之移動估計方法之一實施例之流程 圖。 13 1244343 第2A〜21圖係顯示第1圖之方法之一實施示意圖 【主要元件符號說明】 S10-S17〜步驟。 14

Claims (1)

1. 94 9,^9 ----- 旱’月日修(々正替換頁 1244343 修正本 案號 93134628 十、申請專利範圍： 老Hh㈣動估計方法，用以決定自—欲編碼巨集塊至一參 考巨木塊之一移動向量，包括下列步驟： ⑷劃搜尋區域為各自具有不同密度之子區域； ⑻取得各自欲編疑集塊與—目前選定巨集塊間，以及 欲編碼巨集塊與該目前選定巨集塊之鄰近巨集塊之失直， =近巨集塊係根據目前選定E集塊所在之子區域之密度所 2右其中一鄰近巨集塊與該欲編碼巨集塊之失真係為最 小：疋義該具有最小之失真之鄰近巨集塊為該目前選定巨集 塊， / ⑷重？步驟(b)及(c)直到目前選定巨集塊在該等鄰近巨 集塊間具有最小失真； n (e戌具有最小失真之目前敎巨集塊係在其t-不具有 取大密度之子區域，根據目前選定巨集塊所在之 重新定義搜尋區域； ⑴重複步驟⑷、⑻、（c)、⑷以及⑷直到具有最小失 八之目别選定巨集塊係位於具有最大密度之子區域；以及 (g)識別該具有最小失真及位於具有最大密度之子 目前選定巨集塊為參考巨集塊。 一 2_如申凊專利範圍第！項所述之移動估計方法，盆中該欲 編碼巨集塊以及該參考巨集塊屬於不同晝框。 /、 3·如申請專利範圍第i項所述之移動估計方法，其中該失 真為絕對失真之總和或為均方誤差。 請專㈣圍第1項所述之移動估計方法，其中該搜 哥品H W刀使什子區域像環狀並同心於該搜尋區域的中 0599-A20239-TWF1 15 1244343 i dC^............................ ； 心 〇 —4 5·如申請專利範圍第4項所述之移動估計方法，其中較靠 近搜尋區域中央的子區域具有較大密度。 罪 6· —種移動估計方法，用以決定自一欲編碼巨集塊至一參 考巨集塊之一移動向量，包括下列步驟： (a) 劃分一搜尋區域為各自具有不同密度之子區域； (b) 取得各自欲編碼巨集塊與一目前選定巨集塊（X，γ)， 以及欲編碼巨集塊與該目前選定巨集塊之鄰近巨集塊 (X+Dra，Y—Dm)，（m，Y)，（X+Dm，Y+Dra)，（χ，γ—D〇，（X，Y+Dm)， i m’ Y DO，（X—Dm，Y)，（x-Dra，Y+Dm)之失真，其中 係為目 刖選定巨集塊所在之子區域之密度； (c) 若在鄰近巨集塊與該欲編碼巨集塊之其中一失真係為 最小，識別該具有最小之失真之鄰近巨集塊為目前選定巨 塊； m (d) 重複步驟（b)&(c)直到目前選定巨集塊在該等鄰近巨 集塊間具有最小失真； (e) 若具有最小失真之目前選定巨集塊係在其中一不具有 最大密度之子區域，重新定義搜尋區域以及劃分重新定義之搜 尋區域至分別具有密度1/Dl，·····，1/〇?之子區域，其中 為該目前選定巨集塊位於之子區域的密度，且〇幺 Dm $ Dl + · · · + J)p ; 二（f)重複步驟（b)、（c)、（d)以及（e)直到具有最小失真之 目前選定巨集塊係位於具有最大密度之子區域；以及 /、 (g)識別該具有最小失真及位於具有最大密度之子區域之 目前選定巨集塊為參考巨集塊。 7·如申請專利範圍第6項所述之移動估計方法，其中該欲 0599-A20239-TWF1 16 1244343 I牛3丨讀$)正替換頁 ι,"_________^ 編碼巨集塊以及該參考巨集塊屬於不同晝框。 8·如_睛專利範圍第6項所述之移動估計方法，其中該失 真為絕對失真之總和或為均方誤差。 9_如申請專利範圍第6項所述之移動估計方法，其中該搜 寻區域被劃分’使得子區域像環狀並同心於該搜尋區域的中 〇 1 〇 ·如申請專利範圍第9項所述之移動估計方法，其中， 初始L疋之巨集塊（Xi，yi)及具有一密度之子區 域’包含依照下列算式之巨集塊（χ，γ): [Xi + (Dl+ …+Dm—〇 + 1 g X s Χι + ΟΜ ··· +D0]或〇-(仏+··· +Dra-i)~l ^ Xi-(Di +···+〇〇] [yi + CDd ··· +DWH1 $ γ $ yi + (Dl+ ··· +Dm)]或匕广（Di+ … +DH)一1 - Y - yi —(])1 + ".+Dra)] 11.如申請專利範圍第9項所述之移動估計方法，其中該 較#近搜尋區域中央的子區域具有較大密度。 12·如申請專利範圍第6項所述之移動估計方法，其中該 搜尋區域係重新定義依照等式Xc_DduXc吼以及 yc+Dm，若目前選定巨集塊位於（Xc:，y。）以及在—具有密度I〆仏 之子區域。 0599-A20239-TWF1 17