經濟部中央梂準局負工消費合作社印製 —'A7--B7 五、發明説明（η ) 發明領域 本發明一般係關於視訊编碼，更特別是於視訊編碼中使 用移動估計。 發明背景敘述 —視訊序列包括在二維，2-D，影像平面上之三維，3-d ’影像之暫存地取樣投射。於此影像中產生之3 -D移動係 以這些投射之2-D位移而抓取的。在目前2-D影像平面之一 特定影像元件（點）之位移可由一指到前影像平面中之特定 點位置之向量來表示。此位移向量領域DVF敘述一给定影 像平面组之間所有點之移動，並gj此表示影像平面上物體 投射之3 - D移動。 於一視訊序列之DVF的精準估計在許多影像序列處理之 應用中疋相當粗略的。視訊編碼（video coding)、框改寫 (frame interpolation)、物體追縱（〇bject tracking)及時空移 動補償過 /慮（spatio-temporal motion compensated filtering) 皆要求精準之估計，以利用存在於一視訊序列之内框關係 (interframe correlation)之應用。 屬·縮數位視訊成一非常低的位元率VLBR在通訊領域中 是一個非常重要的問題。一般而言，VLBR每秒不超過6 4 千位元（Kbps) ’且與存在之個人通訊系統有關，例如公用 切換電話網路及細胞式系統。爲了提供如於這些系統之詢 問視訊及會議視訊，將要求於一數位視訊序列所包含之資 訊以3 00比1之係數壓縮。爲完成如此大之壓縮率，必須除 去於一視訊序列之所有冗餘。 ----.---碎.------訂——卜-----線· (請七閱讀背Jg之注意事項再填寫本育) · -4- 299553
五、發明説明（2 /前的標準如H. 261，MPEG1及MPEG2，由利用一方塊 考夕動，償離散餘弦轉換（Discrete c〇sine Transf〇rm)DCT趨 近，提供一數位視訊序列之壓縮。此視訊編碼技術藉由一 ，步，程序（tW〇-step process)除去一視訊序列顯示之冗餘 在第步驟中，—方塊匹配（block-matching)BM移動估 計及補償演繹法估計兩暫存相連框之間產生的移動。然後 由估計的移動來補償該等框以形成不同的影像。藉由兩暫 存相連框之間的不@，以除去所有存在之冑存冗餘。所剩 餘I貝訊爲可以移動估計及補償演繹法補償之新的資訊。 在第一步驟中’新的資訊被轉馋成使珀DCT之頻率範圍 。DCT有將此新的資訊能量壓縮成一些較低頻率元件之特 性。視訊序列之壓縮可由限制编碼之高頻率資訊之.量而獲 得。 由此趨近視訊编碼所提供之主要壓縮係由移動估計及補 償演繹法獲得。意即，由考慮存在於一視訊序列之移動， 經濟部中央搮隼局貝工消費合作社印製 相對於關於強度與色彩之資訊，來傳輸資訊是更有效的方 法°移動資訊係使用從一目前強度框之特定位置指到定位 於前強度框之相同位置之向量來表現。對於BM而言，該 等位置預定爲非重疊之相等大小之方塊。假設包含於這些 方塊之所有點有相同之移動。在一視訊序列之顯現框中與 一特足方塊相關之移動向量係由搜尋一於前暫時地鄰近框 之預定搜尋區域以一最佳比對而發現的。此最佳比對係使 用兩方塊之間的平均平方錯誤（mean_Squared-error)(MSE) 或平均絕對差異（mean-absolute-difference)(MAD)而決定。 -5- 本紙張尺度適用中國國家標準（CNS ) A4規格（21 〇 X 297公釐） A7- B7 五、發明説明（ 孩移動從目前框之方境中心指到前框中提供最佳比對之方 塊中心。 利用中估計移動向量，—前框之拷貝係由每一向量互換 ，以產生一幕前框之預報。此操作係參考移動補償。如上 所述，所預報之框是從目前框扣除，以產生一由DCT轉換 成空間頻率範圍i差異框。這些空間頻率係數是相等的， 而且编碼熵（entropy encoded)尚提供原始視訊序列之壓縮 。該等移動向量及DCT皆傳送革解碼器，該解碼器反方向 操作執行以產生解碼視訊序列。 於一視訊序列中之DVF之估計爲一極竑困難之問題。在 獲得精準估計中兩個主要的困難來源爲DVF之不穩定 (ncmstationadty)及不良姿勢（出_p〇sed)之天然問題。不良 姿勢是由一良好姿勢（wen_posed)問題之Hadamard定義之 違反導致的’而該良好姿勢問題之特性爲一解法之存在性 ，一解法之單一性，及—解法之連續性。而估計位移領域 之問題違反了這三項特性。於影像序列中移動之物體將封 閉固足的區域而不與其他的重疊，在這些位置時DVF不被 定義且沒有解法存在。在照相機的領域深度中，物體的變 形及改變亦可導致DVF未被定義之範圍。對於一給定之影 像序列’許多位移領域可滿足該資料，於是該等解法沒有 單一性。連續之特性亦被達反，因爲在一些影像序列甚至 於區域的強度値之少許修改可導致位移估計之大小及/或 方向之巨大改變。假如任何有用的結果可獲得的話，DVF 估計問題爲不良姿勢之事實必須考慮進去。 -6- 本紙張Λ度適用中國國家標準（CNS ) Α4規格（21〇χ297公釐 請 先- 閱 ik 背 項 再 填 ί ·裝 頁 訂 經濟部中央標準局貝工消費合作社印製 經濟部中央橾準局員工消費合作社印製 A7— —-----SI____ 五、發明説明— DVF之不穩定是由在影像中物體沿著不同軌道移動所引 起的’其中影像導致物體邊界，及由於移動影像之涵蓋或 未涵蓋所產生移動未被定義之不連續。；DVF之不穩定意味 任何用於其估計之趨近必須更新。意即，假設爲穩定之趨 近將導致扭曲不同移動物體之間邊界之DVF估計。在移動 邊界中的這些扭曲直接導致扭曲之物體，因此導致不同影 像熵之増加。 由—方塊中移動之BM所使用之假設爲一定値，有效地 限制估計DVF之問題，使得將不在是不良姿勢之問題。然 而，此相同之假設亦要求假如移考邊界爲預留的，這些預 留·邊界必須與方塊邊界一致。因爲在眞正的序列中，DVF 之估計中在邊界之重大錯誤是很少發生的。如此之錯誤可 以 dvf之邊界模糊加以敛述。例如，假如一方塊包含一 移動物體及穩定背景，則取決於物體大小或穩定背景之部 分將被取代，或者移動物體將以穩定背景視之。在其一狀 況中’前框之移動補償將爲一在產生具增加熵之一 DFD損 害顯現框之方塊之不良預報。 用於估计具有最近日《.受歡迎之DVF之另一趨近爲時空斜率 趨近（spatio-temporal gradient approach)。基於時空斜率之 移動估計演繹係於使用一基於一 DVF之初始估計之前框中 ，由在時間斜率及空間斜率之每一點，最小化取代框差異 DFD而推衍產生。實行此最小化之共通趨近爲使用一 之預報之DFD的第一線性化。假設在一工作點附近之所有 點爲處於相同移動之狀況，導致一组線性等式而非一單一 -7- 本纸張尺度適用中國國家標準（CNS ) Α4規格（210Χ297公董） ----,---- ίΊ先閲讀背"之注意事項再填寫本頁} ，丁 ，τ 線. 五、發明説明（5 A7. B7 經濟部中央標準局負工消費合作社印製 等式。假如該附近範圍允許遞迴計算（recursive computability)，則此趨近之演繹法通常爲點遞迴PR移動 估計器。PR演繹法通常比BM演繹法快，且不需要次點精 準（subpixej accuracy)之空間内插。雖然PR演繹法可能需 要空間内插以計算沿著移動方向之前框之空間斜率。再者 ，PR演繹法可擴展以控制比自動型式（translati〇nal type) 更複雜之移動型式。 類似方塊比對，P R演繹法之―執行亦容許分隔不同地移動 物體之邊界。即在這些移動邊界時，在區域附近的點不處 於相似的移動。假設，PR演繹法啐鄰近4些邊界產生不精 準之估計。在方塊比對之情況下，鄰近這些邊界之不良 DVF估計將導致一 DFD摘之標示的增加（marked increase) ο 在方塊比對及時空斜率趨近二者中有許多主要的問題。 例如，於一方塊或區域附近之移動爲同次的（homogeneous) 之假設導致DVF中嚴重的邊界下降。方塊比對演繹法無法 解決一單一方塊之複雜移動型式，如旋轉。而且，其需要 次點精準之空間内差。時空斜率趨近使得DFD之線性化幾 乎DVF之出始預報。這些困難導致禁止非常低之位元率編 碼應用之DFD熵之增加《—非常低之位元率係定義爲小於 64 kbit/sec 因此，用以於一視訊序列中精準地估計移動之方法及系 統是有其必要性的。該方法及系統爲使位移DVF之估計規 則化，以克服不良姿勢並估計存在於DVF之邊界及不連續 -8 本纸張尺度適用中國國家標準（CNS ) A4規格（21〇>< 297公釐 (請先閲讀背"面之注意事項再填寫本頁) -裝. 、-» 線Λ A7
圖式簡單敘述 圖1顯示根據太& Ν概本發明用以估計移 例之方塊圖。 系統之較佳實施 圖 圖2顯π根據本發明之__預處理器之較佳實 施例之方塊 圖3顯π根據本發明，空間調整 方塊圖。 1命 < 奴佳Λ施例（例圖4顯根據本發明之—第—DVF更新電路之較佳實施 例疋万塊圖。 圖5顯示根據本發 方塊圖。 明一移動邊界估計器之較佳實施例之 ^ 批衣-- · t* (許_先®讀背面之注意事項再填寫本頁) 超濟部中央標準局員工消費合作社印製 圖6顯不根據本發明之一移動分析器之較佳實施例之方 塊圖^ 圖7顯不根據本發明一用以估計移動方法之較佳實施例 之執行步驟之流程圖。 圖8顯示根據本發明之分段方法之較佳實施例之執行步 驟之流程圖。 圖9顯示根據本發明調適地估計移動之方法之較佳實施 例之執行步驟之流程圖。 圖1 〇顯示根據本發明之用以估計移動邊界之方法之較佳 實施例之執行步驟之流程圖。 圖1 1顯示根據本發明用以分析移動之方法之較佳實施例 之執行步驟之流程圖。 -9- (210X297公釐） --訂---- 線·--- AT B7 經濟部中央標準局員工消費合作社印製 五、發明説明（ 較佳實施例之詳細敘述 本發明提供一種非常精準估計之方法，其可獲取—視訊 序列中移動物體之位移及邊界。因此，可同時解決邊界之 不良姿勢之不穩定之問題。於一視訊序列之物體邊界之估 計係透過相似範圍之顯現影像框之區段而獲得。分隔這些 範圍之邊界視爲序列中物體之邊界。此物體邊界資訊用以 決定一第一 DVF之估計。 利用第一 DVF估計，一物體邊界之第一估計以每個改良 邊界位置之精準度，及於估計中所發現之任何邊界移除爲 非移動的而獲得。基於此移動邊哥估計，一第二及改良的 DVF估計亦被決定。在最後一步驟時，—第二估計及 所估計的移動物體邊界，進一步以一預估的模態加以 精準化。如此之模態基本上將複雜的移動型態列爲考量， 例如視覺領域之物體旋轉，及由於照相機聚焦長度或位置 的改變形成物體之移動。DVF之第三估計及移動物體邊界 之第二估計之原因爲使如此一模態適用於D VF及移動物體 邊界之第二估計。 圖1 ’標號100 ’爲根據本發明用以估計移動之一系統之 較佳實施例之方塊圖。此系統包括一預處理器（1 02)，一空 間調整移動估計器（104) ’ 一移動邊界估計器（丨〇6)，及一 移動分析器（108)。預處理部分（1〇2)在時間即時k時，提供 —目前強度框（1 10) fk之物體邊界估計（112)。基於此物體邊 界估計（II2)，目前強度框（11〇坎及_前強度框（UAL，空 間調整移動估計器（104)提供一第一！；)VF估計（116)d—。 -10- 表紙張尺度適用中國國家標準（CNS ) A4規格（210X297公麥） —--:------疼------^----^-I^ -·-_ - (诗先聞讀背面之注意事項再填寫本頁) _ 經濟部中央橾準局貝工消費合作社印製 五、發明説明（8 ) DVF特徵化在時間分隔框&與l之間所發生之影像中的移 動。一第一DVF估計（116)及物體邊界估計（112)，接近— 步以移動邊界估計器（106)及—移動分析器（1〇8)精準化。 特別是使用第一DVF估計（116)cfk，移動邊界估計器（1〇6) 精準化物體邊界估計（112)，估計不與移動邊際一致之強度 邊界。移動邊界估計器（106)之輸出爲第一移動物體邊界2 計（1 18) lk，並只表示於視訊序列中移動之物體邊界。而且 在第一 DVF估計（116)之不準確於導致第二DVF估計 (120)之移動邊界估計器（1〇6)中移除。這些不準確通常起 因於具雜音之輸入視訊序列之訛磚。移動分析器（1〇8)進— 步地使用基於物體移動準則之模態趨近，精準化^及匕。 第二DVF估计（122) dk及弟二移'動物體邊界估計（124) ik分別 表示非常精準之DVF及移動物體邊界之估計。 圖2，標號200，爲根據本發明之一預處理器之較佳實施 例之方塊圖。該系統包括一順序統計過濾器（2〇2)，及包含 一物體形成器（206)與一物體合併器（208)之邊界估計器 (204)。預處理步驟之主要功能爲提供範圍或物體中具一目 前強度框（2 10)之精準分段之空間調整移動估計器（丨〇4)。 爲完成此目的’一目前強度框心（2 1〇)之拷貝爲分別地使用 一順序統計過遽器（202)而第一過滤。此操作執行是從分段 前之序列中移除任何的小物體《這些通常爲視訊序列之亮 度改變且不是一眞實物體之小物體，可降低空間調整移動 估計（104)能力’以精準地估計在該物體的移動。 一種通常用以從一影像框中移除任何的小物體之過遽器 11 本紙張尺度適用中國國家標準（CNS ) A4規格（210x29*7公慶） (請€閱請背、面之注意事項再填寫本頁) .裝 -3 線 五、發明説明（9 ) A7 B7 爲一7 X 7之中値過滤器（median filter)。此過;;慮器由下列操 作描述： Λ (ij) = median{fk (/ - 3,j-3),fk (/ -3J- 2),..........,/,(/ + 3,y + 2),/,(/ + 3. 其中ykdj)爲fk(iJ)的過遽板。過滤輸出（2 12)yk(i,j)爲 (2 10)與其最近空間鄰近4 9之中間値。具有一空間提供或 小於7 X 7之大小之任何物體係_由此過濾器中移除。如上_ 段所述，這些小物體必須在影像框分段前移除，以避免降 低結果分段之精準度。 . 包含於過濾輸出（2 12)之物體邊界係利用一兩步處理（204) 來估計。第一步驟（206)稱爲物體形成，其中每一點與其鄰 近點比較。基於此比較，該點一如其鄰近一般分類爲屬於 相同之物體，或屬於一新的物體，此用以決定pixel(i，j)分 類之測試由下面式子給定 \yk 0 ,j)-yk{i-mj-η)\<Τ (1) (請先閱讀背面之注意事項再填寫本頁) 髮. 經濟部中央標準局員工消費合作社印製 其中m與η可爲{-1 ’ 〇，1}之値。臨限値τ用以決定yk(i，j) 是否爲一與yk(i-m, j-n) —樣的物體元素（member)。假如兩 鄰近點之間不同之絕對値，| yk(j，j)-yk(i_m，j-η) | ，小於 臨限値T，則pixel(i, j)分類爲一與pixel(i-m, j-n) —樣物體 之元素。此物體表示爲〇bj(i-m，i-n)。假如此差異大於T， 則pixel(i, j)視爲一 〇bj(i-m，i-n)之元-素。當（i, j)之鄰近尚 未被分類或yk(i，j)判定不爲鄰近物體之一元素的情況時， 12- 本紙張尺度適用中國國家標準（CNS ) A4規格（210X W7公釐） A?- B7 五、發明説明（10 ) 則pixel(i，j)分類爲一新物體之初始點。 臨限値T 一般固定唯一預設値。一此趨近之缺點爲此値 取決於被分段之特定影像。移除此依附之趨近係由下列式 子描述： yk(i，j)幺 ΜΙΝ + Ί\ and , (2) {ykiUn^MAX-T, 其中MIN及MAX爲包含於〇bj(i-m，i-n)之最大及最小値， 且！^亦爲一預定參數。在每一點今類爲扁於一特定物體之 後，物體之最大及最小値被測試以判定是否有調整之需要 。此測試及調整以下列式子描述： 及 (3) 經濟部中央梂準局貝工消費合作社印製 此操作對於每個物體之可調整視窗具有提供一適用於任 何特定強度框之功效。一般而言，臨限値T !之預定値爲2 5 。此調整視窗，及臨限値’之方法在一廣域變化之視訊序 列上提供一致性的分段。 物體邊界估計處理之第二步驟，每個物體被測試以判定 是否應與一鄰近物體合併。沿這一物體邊緣佔據之點與郝 近物體邊緣之比較。假如這些邊緣點之間的差異是，〗、的， 則合併該等物體。特別是下列測試係建構於兩鄰近物體之 -13- 本紙乐尺度適用中國國家榡準（CNS ) A4規格（2I0X297公釐 I.-------;------訂--.---— 線 (請*先閲讀背面之注意事項再填寫本頁) ' 299553 A7- B7 經濟部中央標準局員工消費合作社印袋 五、發明説明（11 ) 邊緣點上 ;/(|λ j) ^ yk ^ ~mJ~ Λ)| <τ2)^ merge(Obj(i, j)& Obj{i -n,j- m))， (4) 其中T2唯一預定之參數，一般設定爲一 30的値。 —第二比較亦執行以更加保護小物體之建立》這些小物 體通常由於逐漸地變化亮度改變其物體形成演繹法解譯爲 物體邊界。此測試將—物體之Λ小，及包含於一物體之點 數目，與一第二預定臨限値相比較。假如點數目小於此預 定臨限値，則物體與一鄰近物體合併。此合併係由使用與 目前物體最相似之鄰近物體而執行。，兩鄰近物體之間的 相似量係使用式子（4 )所描述之邊界差異來測量。通常大 小臨限値設定爲256點。物體合併操作（208)在移除可能於 物體形成操作中形成之小物體方面爲有效的。 此兩步驟物體邊界估計趨近（204)之優點，相對於其他分 段趨近，爲主動地提供連續及相近的邊界。對於移動估計 及分析之應用而言，這是非常重要的結果，因爲通常於一 視訊序列中的物體是以一連續及相近的邊界而定義的。再 者，包含於一強度框之邊界爲一相應DVF邊界之超纽 (super-set)。因此，顯現於DVF之邊界或不連續亦爲連續 的，相近的，且爲良好定義的。 預處理器（102)之輸出爲物體邊界估計（216) Sk。物體邊 界估計（216) Sk給予yk(i，j) (2 12)之每·一點一相應一元素物 件之値。該邊界由判別物體數目是否改變而從（2 16)Sk中擷 14- 各紙張尺度適用中國國家標準（CNS ) A4规格（21〇X 297公釐） I.---^----:111:------訂-------Γ—線， (請先閏讀背•面之注意事項再填寫本頁) 經濟部中央標準局員工消費合作社印製 五、發明説明（12) 取。此物體邊界估計S (216)與 曰則強度框fk (110)合併， 且前強度框fk-〖（l 14)係由空間調整稃 _ J正杉動估计單元（1 04)使用 ，以決定DVF dk(116)之第一估計。如上 估計Sk(112)包含不連續之dvf d ，诉^ ' vr dk，並因此被視爲不同移 動物體之間的邊界估計。線性處理之第—或初始估叶由命 間調整移動估計演繹法調整這些不連續，以用以作爲該機 制。 圖3，標號300，爲根據本發明—空間調整估計器之較佳 實施例之方塊圖。該空間調整移動估計單元⑽）包括一原 因查詢表（causal look-up table)(3l2)，— Dvf預報裝置 (川）’及-更新電路（320卜至空間調整移動估計單元之 輸入爲估計物體邊界Sk(3〇4)，一過去位移估計电(3〇6)之 預測原因區域鄰近，前強度框fk_l(3〇8)，及—目前強度框 fk(310)。原因查詢表（causall00k_uptable)(3i2)儲存二组 預定自動逆行AR’預報係、數（314) ’及相應預報未定（316) 〇 原因AR預定係數（314)及相應未定項（316)之預定组通常 由經驗發現。一般而言，一最少平方估計趨近係用於—雛 形或前估計之DVF。基於物體邊界估計sk(3〇4)，一預定 AR預報係數（314)a(m，n|Sk)之子集，及—相應未定項 j|Sk)(316)從原因查詢表（312)中選出，以使用dvf預報器’ (318)及更新電路（320)。此DVF預報器電路決定一基於八汉 預定係數（3 14)子集之預報，及一位、移向量（3〇6)之區域鄰 近。此預報操作由下列式子描述： ---:------^------訂---』---Γ—線. (請先閱讀背面之注意事項再填寫本頁) - -15- 其中心（l，j)爲發生在目前影像框之點位置r s (i，j)之移動之 預報’且a(m’ niSk)爲具—區域提供R之AR預定係數。 區域鄰収包括下列點位置：直接於左（i’j-Ι)行之點，於 列上方及左（i-l，』])行之點，於列上方（丨…）之點，及於列 上万及右（M，j+1)行之點。必須注意的是R的選擇是在爲 凡成時間產生，且取決於透過在一特定時間即時，以表步 影像及位移資訊之二維資料组而耨作（navigate)之方法。對 於此特定之r，假定資料之存取係從左至右橫跨每一列， 並由上方列開始。透過影像及位移資料以操作之其他方法 亦可使用。這將需要些微地修正區域鄰近R，但是操作是 不變的。 如式子（5)所示’假如物體邊界估計（3〇4)Sk顯示一物體 邊界係於一預定之區域鄰近r顯示，AR係數a(m，n|Sk)(3i4) 被調整’爲了不包括屬於任意物體之任何位移向量預報。 基於上式之非穩定假設爲有效的執行DVF且導致一致性地. 精準預報。由於接近物體邊際定位之位移向量之混合及模 糊’減輕了由穩定模態招致之不準確。 相關於未定項w(i，j|Sk)(316)之預報位移向量]t(i，j)(324) ，前預報強度框fk丨（308)，及目前強度框fk(31〇)爲至第一 DVF更新電路（32〇)之輸入。第一DV-F更新電路更新產生第 一DVF估計（322)之預報位移向量L(i,j)(324)。 (2) 、發明説明（14 ) 圖4,標號柳:爲根據本發明之一第_DVF 較佳實及施：之第更新電路包括一移動 元 (402)及-增…機单，04)。由移動補償單元(4執 行之移動補償操作爲無一非線性操作，如下列式予所描述 ft(r) = fk-,(r-dk(r)) > 其中L(o(422)爲一移動補償前框。値11(^51；⑴Μη)由取 2間定位於d框4^(408)之（r)_]k(r)的點強度値而發現。移 動補償値ik(r)(422)係由從在目前框&(Γ)(412)導致位移框差 異DFD ’信號（424)ek(i，j)之位·置（Γ)的點之値所取出。 DFD(424)信號爲一相關於預報位移向量gk(i j)之精準度之 錯誤信號。DFD信號ek(i，j)(424)乘以一增益項（426)並加上 DVF預報（406)，以產生第一估計DVF估計（414)。 由增益計算機單元（404)所決定之增益係用以在更新DVF 預報（406)&(r)之前，放大DFD信號ek(r)(424)。用以計算 該增益之式子由線性關於空間位置（(r)_^(r)_u(r))(406)之移 動補償框而發現，其中u(r)爲預報&(r) (406)中之錯誤，並 解決u(r)之最佳的線性化估計器。用於增益K(i J)之結果式 子（426)如下 ： K(iJ)=[GT(i,j)G(iJ)+w(iJ)]-1G(iJ) G(i J)爲在區域附近r對於每一點，於移動補償前框（4]2) 中所計算之η X 2之空間斜率矩陣。特別是如上所述之區域 17- 民纸張適财_家揉準（⑽）Α4規格（训x29w 1 裝 訂 ^ 線 •- . (請先閱讀背面之注意事項再填寫本頁) 經濟部中央標準局員工消費合作社印製 發明説明（15 ) 附近R，G(i，j)由下式给定： σ〇'.Λ: ▽ΓλαΛ _ ▽ΓΛα卜 l) ▽ΓΛ(卜 υ~ι) ▽Γλ(，-υ) yTfk^~ij+\) 中 其 rf/^£·^ 經濟、坪中央橾準局員工消f合作杜印裝 爲在移動補償前框（422)^^((0-^(0之位置（i，j)所計算之 二維空間斜率。 如上所述，由増益計算機所決定之增益K(i，j)(426)係用 以放大DFD信號（424)。所放大之DFD信號（424)加至預報 位移向量（406) ’ ，以產生第一估計dvF(414)， 。用以更新〗k(i，j)之操作以下列式子詳加敘述： dk(iJ)=dk(i,j)+K(i,j) -E(i,j) » 其中E(i，j)爲在區域附近R之每—點之dfd計算。 圖5 ’標號500，爲根據本發明之一移動邊界估計器之_ 佳實施例之方塊圖。移動邊界估計單元（丨〇6)包括一非原因 查詢表（510) ’ 一移動物體邊界估計器（506)，— DVF估2 *Τ 18- 本紙張尺度適用中國國家標準（CNS ) Α4規格（21〇X297公餐） I I 裝i I 訂！ ^ 务， • ^ - (請先閲讀背面之注意事項再填寫本頁) A7 B7 五、發明説明（16 备（5〇8) ’ ”原因區域附近之DVF(502)，及一移動物體 邊界估4 ☆ (5^。移動物體邊界估計器之輸人爲物體邊界 估》十Sk(52^)，第-D VF估計心（524)，前強度框υ528) 及目則強度框fk(530) 〇移動物體邊界單元（5〇4)儲存 移動物體邊界〈目前估計，以可能的使用於一反覆的解法 。特別是由移動物體邊界估計器（5〇6)所提供之解法可用以 作馬-改進解法之初始狀況。_種執行此反覆之方法將於 下敘述。移動物體邊界估計器（5〇6)从物體邊界估計（526) 初始化。 ,移動物體邊界估計器（5〇6)基於物體邊界SK(526)及相應 之DVF(524)之第-估計，提供_移動物趙邊界〔（546)之估 汁。和動物體邊界估計器（5〇6)—移動邊決定器單元 ，邊連續單π (516)，及一移動物體更新單元移動 物體邊界lk(546)由調整第一估計^而決定。這些基於已知 I这些邊界穩疋特性及透過信賴測量使用而特徵化之調整 ，使得不屬於一移動物體之邊界移除。所使用之特定之信 賴測量大下敘明。如上所述，移動物體邊界估計器（5〇6)以 物體邊界估計（526)初始化。 移動邊決定器單元（514)計算pixel (i j)是否爲一移動物 體邊界疋一郅分，並指定一信賴測量給目前估計丨，』）。 此计算係由比較鄰近位移向量而執行。更特別的是，計算 及相應信賴測量（540)給定如下： 叫，j) = (dk (U) - dk (i，j -1))2 + (dk (i j) _ dk (i _ i j))2， -19 本紙張尺度ifi用巾關家網t ( CNs ) A4規格（210\297公楚 ---------裝------訂------：--線 -- . (請先閲讀背面之注意事項再填寫本頁) 經濟部中央標隼局員工消費合作社印製 五、發明説明（17 ) A7- B7 假如信賴測量D(i，j)(540)是大的，則一移動物體邊界似乎 是存在的。相反的，假如信賴測量D(i，j)(540)是小的，則 —移動物體邊界是存在的希望性是小的。 相似於移動邊決定器單元（5 14)，邊連續單元（5 16)指定 —信賴測量（542)給在pixel (i，j)物體邊界之目前估計。然 而’此信賴測量（542)爲一鄰近邊界元素之値的函數。基於 假設一視訊影像中之物體具有位於接近連續曲線之邊界， 只有在其位於如此之曲線時’一 pixel (i，j)才爲一邊界元素 。換言之，假如pixel (i,j)爲一移動邊界元素，則在一特定 方向之鄰近點亦皆爲邊界元素。七述之4+徵由下列式子表 示： C(i，j) = 0.5(l(i，j) + l(i-l，j) + l(ij-i))。 移動物體更新決定器基於移動物體邊界之目前估計，調 整在pixel (i，j)之移動物體邊界估計fk(i，j)，該移動物體邊 界係初始化物體邊界估計（526)SK(i,j)，及信賴測量 D(i，j)(540)與C(i，j)(542)。特徵化移動物體邊界更新決定器 之式子由下式給定： (¾先閱讀t-面之注意事項再填寫本頁) 訂 線 經濟部中央標準局貝工消費合作社印製 (ij)= l+exp(L(i,j)) 其中 L(i，j)=/5 〇 [(1. ε . C(i，j))+(1+Sh(i，j))]_ A2D(i，j)) 係數α及λ爲用以控制每個信賴測量可影響估計fk估計之 -20- 本紙張尺度適用中國國家標隼（CNS ) A4規格（210X 297公釐） 經濟部中央標準局貝工消費合作社印製 Α7· _________Β7 五、發明説明（18 ) 量的預定參數。參數/3 (556)用以控制更新決定器之回應。 假如/5是小的’則在調整的〔（丨」）上之係數測量效應亦爲 小的。相反地假如卢是大的，則調整的「k(i j·)由信賴參數 測量定義。通常〔及i之估計是交替爲之，々以一小的値 初始化並在每個新的反覆開始時慢慢地增加。々增加及 lk (1，j )與dk (1，j )之估計之精準化之決定是在估計終端器 (5 16)中產生的。估計終端電路（5 14)將於下詳細説明。 DVF估計決疋端器（508)包含一進步的預報決定器（52〇) 及一第二DVF更新決定器（522)。類似上述之DVF預報器 (3 1 8 )，改良的預報決定器（5 2 〇 )提供一基於移動物體邊 界估計（5 3 6 )之D V F預報。利用此移動物體邊界估計 (546) lk(i，j) ’預報的非原因A R預報係數，b(m,n| lk) (548) ，之子集及一相應之非確定項，v(ij丨丨i)(552)，係從非原 因查詢表格（5 10)中選出，以於預報決定器（52〇)及一第二 DVF更新決足器（522)中使用。預報決定器（52〇)基於AR預 報係數（548)之子集及一位移向量R之區域鄰近，決定_ DVF之預報。必須注意的是區域鄰近.R與DVF預報器（3 18) 所使用的R不同。此不同來自於一完整的DVF之估計以存 在之事實。因此，之掃描取決於存在DVF預報器之掃描不 為進步預報器之要素。換言之，限制使用一只包含前估計 之位移向量之鄰近就不在需要了。區域鄰近R(ij)範圍最 靠近的該等點。特別是R包括下列點（1小1) (1，』+ 1)，（卜 l’j)’（i+l’j)。除了式子（5)所描述之模態以外，進步預報器 亦替用一精密的本體假設以更加限制預報。精密的本體假 ^_________-21 - 本紙張尺度適用中國國家標準（CNS ) A4規格（---~~— I I I ^1 . 朴本1^ 訂 «. 線. (請*先閲讀背•面之注意事項再填寫本頁) 經濟部中央榡準局員工消費合作社印製 * A7-B7 ^------------ _五、發明説明（19 ) 設格式化在一物體中之所有點處於相似之移動。 以式子（5 )所述之A R模態結合此額外限制之優點爲DVF 之可能的特徵可由Posteriori機率密度函數之形式推衍《進 步的預報單元決定一最大化Posteriori函數之位移向量 dk( i，j )之預報。通常，此最大化處理係使用下列反覆演繹 法來執行： λ2δ〇',；)] 其中 Δ = ~μ[〇{ΐ, ；)(1 - /(/, ；)) + D{i +1, ；)(1 - /(/ +1,；))], β爲校正步驟大小，即，其等於最陡的下降最小化步驟且 η爲反覆數目。用以開始反覆之初始狀況爲dk = dk。因爲第 —DVF估計&爲高品質，故由於反覆產生的改進是小的。 —般而言，反覆執行之敦目係固定於1。然而，一監控反 覆之間百分比之標準亦可用以終止該反覆。更特別的是， 假如
Ipr'a,；)|f 100 <7 ----------餐------、11-----Γ —線· -* . (請先閱讀背*面之注意事項再填寫本頁) 22- 本紙張从適用巾國國家縣（CNS ) A4^ ( 210X297公釐） A7_ 五、發明説明（2〇 ) 反覆被中止。一般，臨限丁設定爲1〇_3。而且由於第一 DVF估計&品質’校正步驟大小被固定於_ 〇 1的値。 由進步預報單元（52〇)所提供之預報\ (丨，j)由第二dVF更 新決疋器（522)更新，以產生第二D VF估計七（534)。第二 DVF更新決定器（522)之更新方法與第一 dvf更新電路 (320)相同。 如上所述’ dk(534)及^(532)之連接解法通常用一反覆處 理來解決.。即用以獲得4及l~k之步驟係使用前導致的初始 狀況而反覆執行。再者，/9係於每個反覆提供更重的比重 給信賴測量之後增加。藉由反覆執行改進所有d~k及lk之精 準度。是否執行另一反覆之決定係於反覆終端器（5 16)中決 定。該反覆終端器利用相似於第二DVF估計器（5 1〇)所使用 之終端標準。即反覆數目設定爲一固定數目或可基於反覆 之間的百分比改變而決定”通常，一反覆3之最大數目被 設定。然而，假若反覆之間的百分比改變爲於一臨限之下 ’則終止反覆。規格爲，假如下列式子是眞的 丨碎，------訂-----:—線' (¾先閲讀览面之注意事項再填寫本頁) 經濟部中央橾準局員工消費合作社印製
Mf xl00<Td, 及 23- 本紙張尺度適用中國國家標準（CNS ) Α4規格（210X297公釐） 經濟部中央標準局員工消費合作社印製 Α7· Β7 — - -- 、>> _· 五、發明説明（21 ) 則終止反覆。 圖6，標號600，爲根據本發明之—移動分析器之較佳實 施例之方塊圖。移動分析器提供—使用d~k及fk爲輸入之 DVF之參數表示《移動分析器包括一記憶體裝置（6 14)，轉 換移動估計器（604)，伸縮估計器（606)，旋轉估計器（608) ’ 一物體標號器及中心決定器（612)。DVF d~k及線處理之 第二估計爲至移動分析器單元之輸入。基於這些輸入及一 四參數移動模態’ DVF及線處理之一第三及最後估計組被 決定。 四參數移動模態藉由利用，如精密的本體，以線處理所 定義之物體來特徽化DVF。特別是，包含於一特定物體中 之每一點之位移由下列式子來描述·· 4(ΐ〇Η^υΐ°^(ϊ〇))+Ζ(〇^(ΐ〇) · cp(i,j|Obj(i,j))+^(〇bj(ij)) · cp(ij|Obj(i,j)) 其中 tk(i，j丨Obj(i，j)):[tx k(i，j|Obj(iJ))，ty k(ij|0bj(ij))]T爲— 表示轉換移動元件向量dk(i，j)，而Z(〇bj(i，j))及θ (〇bj(i，j)) 表示伸縮及旋轉元件。重要的是需注意四參數係取決於給 定一特定點pixel (i，j)之物體Obj(i，j)。再者，項目 cp(i，j|Obj(i，j)表示從 〇bj(i，j)中心至 pixel (i，j)之距離。每個 物體中心之位置係由物體中心決定器（6 12)所定位。基於估 計「k ’每個物體之中心決定爲包括在〇bj(i，j)之最大及最小 水平與垂直點位置之兩線的交叉點。 轉換移動估計器決定每個物體之轉換移動元件，此由平 均每個物體之水平與垂直點位移元件而完成。特別是，轉 _ -24- 本紙張尺度適用中國國家( CMS ) A4規格（2丨0X297公釐） ------ I. --^訂 線 (姝先閱讀幣面之注意事項再填寫本頁) . 經濟部中央標準局員工消費合作社印製 A7- B7 * ____ _. - »-*»- _ 五、發明説明（22 ) 換元件tx，k及ty，k係利用了列式子計算 及 i.j'eRe gion(i.j) iJeKc gion(i,j) 其中N爲包含於Obj(i,j)之點總數。 伸縮估計器（606)估計伸縮參數？（〇bj(i，j)) »此參數用以 特徵化任何可於一物體焦點長度發生之改變。這些改變可 由照相機或由接近或遠離照相機位置之物體移動而產生。 利用密度DVF，dk(i，j)，伸縮參數Z(Obj(i J))利用下面式子 估計物體Obj(i,j) ·· HJ - ；')) · (d-k(i, j) - tyk (i, β 〇bj{it 其中 cx(i，j)及 cy(i，j)表示包括 pixel(i，j)及 r (i j))2 +(j_cy(i，j))2之物體中心之水平及垂直的索引e 旋轉怙計器（608)估计每個物體之旋轉參數$ (〇bj(ij))。 旋轉參數用以特徵化可發生於一物體之任何旋轉。這些旋 ____-25- 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） ' ----- (請·先閱讀t.面之注意事項再填寫本頁) -17 、-0 AT 經濟部中央標準局員工消費合作社印製 __II_：_五、發明説明（23 ) 轉之產生通常由於物體移動且以一種相似於決定z(0bj(i，j)) 之方式估計。特別是，旋轉參數Θ (Obj(i，j))係使用下列式 子來估計： N ijeobjfj.j、 l +(/ - cx(i,j))-(dyk(ij) - ty k(i,j\Obj(iJ)))]^ 如上所述，此DVF之四參數表示在要求物體操作之應用 中式非常有用的。 在一最後步驟，DVF之參數表示用已精準線處理fk之估 計。基於該四移動參數，每個物體與其鄰近物體相比較。 假如一物體決定爲與一鄰近範圍相似，則將其合併爲一單 一範圍。在下列四種狀況下，兩範圍被決定爲相似的： 狀況1(tx’JUIRe gionCUB-tx’kG+nJ+mlRe gion(i+n，j+m)))2 < Ρι， 狀況2 (ty k(i,j|Re gion(i,j))-ty k(i+n,j+m|Re gion(i+n,j+m)))2 < P2 » 狀況3 (Z(i,j|Re gion(i,j))-Z(i+n,j+m|Re gion(i+n,j+m))) < P3 » __-26-_ 本紙張尺度適用中國國家標準（CNS ) A4規格（210X297公釐） (讀•先閏讀祀面之注意事項再填寫本頁) .裝. 、-° 線- 經濟部中央標準局員工消費合作社印製 A?-B7 ^______ __ 五、發明説明（24 ) 狀況4 (Θ (i，j|Re gion(i，j))- Θ (i+n,j+m|Re gion(i+n，j+m))) s P4， 其中（i+n，j+m)指示鄰近範圍Obj(i+n，j+m)之位置。 圖7，標號700，爲根據本發明一用以估計移動方法之較 佳實施例之執行步驟之流程圖。於（702)中，目前強度框爲 分段可使用一預處理器，以決定包含於由視訊序列抓取之 影像中之物體的邊界。於（704) _中，這些邊界可被空間調整 移動估計器使用，以適用於視訊序列中不同移動之物體。 於（704)中，一第一 DVF估計可由车間調整移動估計器提供 。於（706)中，基於物體邊界之估計及第一 DVF估計，可獲 得一移動物體邊界之第一估計及一第二DVF估計。分析及 模組化該移動物體邊界之第一估計及第二DVF估計，可提 供一第三DVF估計及一移動物體邊界之第二估計。 圖8，標號800，爲根據本發明之分段方法之較佳實施例 之執行步驟之流程圖。第一步驟（802)係藉由過濾使用一順 序統計過濾器，從影像框移除雜訊。（804)中，次等點利用 一範圍形成器群组成物體。最後步驟（806)包括利用一範圍 合併器及一預並比較測試，將小物體合併成大物體。 圖9，標號900，爲根據本發明調適地估計移動之方法之 較佳實施例之執行步驟之流程圖。首先於（902)中，基於物 體邊界估計，存取一原因查詢表以提供至少一原因預報係 數及一原因未定參數。第二於（904):從一包含前估計的位 移向量之記憶體裝置中，一原因區域鄰近被設定爲一預定 _-27-_ 本纸張尺度適用中國國家標準（CNS ) A4規格（210 X 297公釐） ^ 丨一f:-I (請'先閏讀f-面之注意事項再填寫本頁) *-0 線· ~®9553
、發明説明（π 經濟部中央標準局®;工消費合作社印製 •28 的初始情[其次在（9〇6)中，基於前估計的位移向量及至 原因預報係數，決定一目前位移向量之預定 更新預報的位移向量爲P位移估計，並將其儲存於 原因區域鄰近中”匕程序反覆執行，以爲產生第_DVF估 计之芫整的目前強度框（9丨〇 )。 、圖10，標號1000，爲根據本發明之用以估計移動邊界之 :法之較佳實施例之執行步驟之流程圖。第一DVF估計及 第二DVF估計之前估計的位移向量係儲存預非原因區域鄭 近記憶體中，如（1002)。冑估計的物體邊界係儲存於移動 物體邊界決定器中，如（1004)。利用物體邊界及前估計的 位移向量，決定一移動物體邊界之第—估計，如（1〇〇6)。 f於移動物體邊界之第—估計，一非原因查詢表被存取以 提供至少一非原因預報係數及一非原因未定參數，如 (1008)接著基於薊估計的位移向量，至少一非原因預報 係數及DVF更新決定器，決定一目前位移向量之第二估計 ，如（1010)。此估計程序—再反覆，直到所有目前強度框 足所有點具有一和其相關之位移向量，如（1〇12)。當在 DVF之第二估計中之總百分比改變及移動邊界估計爲在— 臨限组之下時’終止此程序，如（丨〇〖4)。 圖1 1 ’標號1100，爲根據本發明用以分析移動之方法之 較佳實施例之執行步驟之流程圖。首先（丨！〇2)，決定每_ 物體之中心。其次（丨104)中決定每個物體之轉換移動之估 計β接著（1106)是關於每個物體之伸縮估計。（nos)中亦 決定每個物體之旋轉參數之估計。最後（111〇)，轉換旋轉 表紙張尺纽财關家標準（CNS ) Α4規格 ^__農------訂----—線 (請先閲讀背¾之注意事項再填寫本頁} A7- _B7 _ 五、發明説明（％ ) 及伸縮參數用以適合一估計的DVF之模態。 透過圖1至6所述之系統可用不同之實施例來完成，例如 :特定應用之積趙電路（Application Specific Integrated Circuit)ASIC，數位訊號處理（Digital Signal Processor) DSP ’閘陣列（Gate Array) GA，及任何電腦的實體媒介。 I ^—- 梁^ η吞 H „ 务 I (諳f閱讀免面之注意事項再填寫本頁) 經濟、那中央標率局員工消費合作社印製 -29- 本紙張尺度適用中國國家標準（CNS ) ΑΟί格（210 X 297公釐）