TWI224290B

TWI224290B - Motion estimation using orthogonal transform-domain block matching

Info

Publication number: TWI224290B
Application number: TW089100810A
Authority: TW
Inventors: Daniel Q Zhu
Original assignee: Matsushita Electric Ind Co Ltd
Priority date: 1999-01-27
Filing date: 2000-01-19
Publication date: 2004-11-21
Also published as: JP2004229315A; KR20000076522A; US6625216B1; JP2000222587A; EP1024456A2; KR100378902B1; JP3768507B2; CN1262496A; CN1179302C; EP1024456A3

Description

1224290 五、發明說明（1) 發明背景本發明係有關影像區塊匹配法，交轉換域中運算的兩個影像間特別地有關一種於正運動估測-種基本…數】2 J匹配之方法。訊應用中可發現運動估測，例如'处理。在許多數位梘視訊標準轉換及機器視像。在· δίι數碼化、運動補償用於減少信號熵，以致壓縮視頻；：化環境中運動資訊可頻道傳輸。在視訊標準轉換以d::頻：寬受限之器恢復遺失之資料，在空間上;之動貧訊有助於轉換徑插入信號。對於機器視像應^運動路 $透=種處理步驟找出或追隨一工作物件各：：下’典型上運動估測使用像素域區塊匹塊(block “ 下文簡稱別）技術，而匹配準則為在s前資料，中運動區塊與搜尋資料框中試驗匹配區塊間之最小均方 =差（mean-S(luare-error，下文簡稱mse)。對於更節省成本之硬體實現，可以最小平均絕對差（mean ^solution (11££6厂61106，下文簡稱^^1))取代最小}^5：。由於像素域BM技術之演算簡易性及可使用極大規模積體 (very large scale integrated，下文簡稱VLSI)電路實現，故該等技術極適於這些應用。總之，因該等現有之關技術是以像素域比較為基礎且因最佳匹配是基於最小誤差指數（MAD/MSE)決定的，故該等技術可提供較最適結果為低。通常可認同的是像素域MSE (或交互關聯）測量並非完全與人所感知之影像視覺誤差一致。因而對運動估測目前

1224290 五、發明說明（2) ::之誤差測量須進-步修改。換言之，^ 考慮人類視覺系統之特性。、σ ，在匹配過程中應發明概述本發明係以將人類視覺特性歹丨】 =化。該架構使用轉換域區塊匹配ς運動估測技術具素域區塊匹配技術可達到之更 '軍^以達到較使用像根據本發明夕一馆姓赴 ^ ’、J延勒向量0 却叫心項特點，本運動估測法對、w ^ :忒驗匹配區塊實行轉換運算。麸、運動區塊及全運動區塊與各轉換過之試驗匹配區^丰將該轉換過之與轉換域中之運動區塊有最差^ 較，並選定顯示配區塊。 /、之试驗匹配區塊做為匹 :據本發明之另一項特點連异。崎斤馮Hadamard轉換 2據本發明之另一項特點，嗲一 ,二與各轉換過之試驗匹配區=丄具了轉換過之運動小MSE的轉換過之試驗匹配區/之MSE ’並選定具有最本發明之另一項特點，V方=區塊。 M°舁各轉換之試驗匹配區塊門/计斤了轉換過之運動 MAD的轉換過之試驗匹配區塊H之MAD ’並選定具有最小 :據本發明尚有之另一項’’’、匹配區塊。尺寸改變。點，該方法容許運動區塊之圖式簡述 J(先前技術）為-說明區塊四框影像圖。鬼四配技術極有用之多資料

_ _ 五、發明說明（3) 圖2為一根據本發明之示〜圖3為一根據本發明之八範區塊匹配處理器之方塊圖。圖。另—示範區塊匹配處理器之方塊圖4為一根據本發明尚方塊圖。 / 之另一示範區塊匹配處理器之圖5為一使用類如圖4 編碼系統之方塊圖。不的區塊匹配處理器之視頻信號圖6為一使用根據本發、° 1 量場之機器視像系統的區塊匹配技術產生一運動圖7為-顯示圖6所示）圖。圖8Α及8Β為說明根2理器之一其運算流程圖。之多資料框影像圖。發明的一種區塊匹配技術極有用，9為說明根據本發明多資料框影像圖。另一種區塊匹配技術極有用之詳細說明運動估測技術廣泛地奐。對於視訊數碼化，叙現訊分析，數碼化及標準 =少傳輸或儲存影像：，是用以減少影像熵應用，運動資訊常用以協二^位元數。對於視訊標準轉拖 :運動估測可用以限：：素之插入。對於機器 h况下，已數碼化或轉 '予刀析之影像部分。在所準確度相關。雖在實際世J ^影像品質直接與運動估剩之為影像強度而非影像動作。1 ’攝影機捕捉之可觀看資為影像分析動所感知之影像序列中強度型式之暫：;立：看者之相对運之 mm 第8頁 1224290 發明說明（4) 重要特點，且稱之為視贅物件之空間安排與構造供了有關移動槟型化真正之運動。要估測衫像序列中之視覺流動以榡準n m:::測與補償技術為用在視訊數碼化及輿補償枯併:热"阳ΐ。一不範性區塊為基礎之運動估測波數螞調變系統中運動向量之導出』】/田\為：差異脈复批广 j里之蜍出與使用」中說明，牯眩塊Λ I塊為基礎之運動估測技術教導併於此做為參考]巴 =為基礎之運動估測已為數位視訊壓縮之國際標準所採& 別之歹軍=Η· 261及MPEG 1一2。總之，這些標準並未指出特種if測法。區塊為基礎之運動估測亦廣泛地用在數 ^匕數位視訊應用上，包括用於標準及運動補償濾波（插入）。彳冢之 i，運動模式假設視頻影像是由移動區塊組成的。為使。异複雜性，通常假設一簡單之2—D轉移運動。在許多八它區塊為基礎之運動估測演算法中，由於較低之硬體複雜1±，區塊匹配可認定為施行實際運動估測最普遍之方法。結果該方法廣泛地用於VLSI，且幾乎所有η·261及 MpEG 1 -2法規使用區塊匹配以做運動估測。許多種這些區塊匹配技術使用像素域搜尋裎序，以確定所給的運動區之最佳運動向量估測。基本區塊匹配演算法示如圖丨，在目前資料框（參考資料框）1 0 0中之像素X ( Ui，Vi )位移係由考慮中心在（U" ' )之 1224290

五、發明說明（5) ί^χΝ2運動區塊1〇2並搜尋下一 /前一資料框（搜尋資料框）1 0 4以找出相同尺寸之最佳匹配區塊丨丨〇之位置而決^ 的。一旦找到最佳匹配區塊，乃相關於區塊丨〇8決定了' = 動向量，區塊108在搜尋影像中佔用與運動區塊在目前^ 像中所佔用之相同位置。由於計算之原因，搜尋通常限\ + 區域（搜哥窗）106。區塊匹配演算可有下歹】之不同：匹配準則（例如：最小交互關聯、最小MSE、最小 M AD )、搜尋策略（例如：3步驟快速搜尋）、或區塊尺寸之決定（例如：層次）。焦點是在用於從多個試驗匹配區塊中找出最佳匹配區塊之匹配準則。典型上，匹配準則係基於像素域誤差指數測量，例如最大交互關聯及最小M S Ε。為減少區塊匹配之計算需要，在以性能做為妥協之代價情況下，最小MAD或最大匹配像素量（matching pixel count，下文簡稱MPC)可取代MSE或 MAD。在最小MSE準則中，MSE是由方程式（1 )定義的。 MSE(d^d2) = ^石沙取'’)—/(lWpVl “2,々土1)]2 ⑴ 其中R表示對一組候選之運動向量（山，d2)之队X t區塊。運動向量之估測是取最小化MS E之（山，d2)值，如方程式（2 )所示者。 [dx,d2]T = arg min MSE(dl ,d2) (2) (以1，以2)

1224290 五、發明說明（6) 因很難在硬體上有效率地實現平方運算，方程式（3 )所定義之最小MAD準則可用以取代MSE準則。 (3) 然後以方程式（4 )做位移估測 (4) τ [名，名]=arg min Μ4£)(^,ί/2) (upa2) 若在兩個資料框間之差異表示資料框相互之運動，可直接地將位移轉換如預訂的一對值之運動向量，該值表示運，區塊的預定像素之位移，例如在目前資料框與搜尋資料框間之X及y座標軸。觀i:::界視訊應用1，運動估測架構之準確度完全由 :ΐί二二所用之匹配準則無關。通常可認同像素差測里（例如MSE、MAD)並 " 視覺誤差-致。因而目前所用的的影像二考：不編之㈣。本發明將這：Ϊ列可恿不在像素域而在轉換（序列/媚查）^二特11列配。因若所感知的影像區塊誤差是梦=5仃區塊匹而非較高的空間頻率成分發生，=低的空間頻率成分使用序列/頻率域轉換可提供更有 1差將更為顯著，故礎的區塊匹配技術僅在像區塊匹配。因典型同寻地處理所有像素。、成運异，故在匹配時 Η 第11頁

1224290 五、發明說明（7) 正ί :月：：ί I先將運動區塊及試驗匹配區塊轉換成- 個Ϊ點塊匹配較傳統之像素域區塊匹配有幾 ⑴皆轉換成分對與人類感去口一致之匹配結果更具影響 (2) 降低了轉換域中之有效雜訊功率； (3) 若，像僅展現轉移運動之假設不成立，其運動估測誤差是小於像素域區塊匹配技術之運動估測誤差。、有許多種轉換可將影像區塊轉換至序列/頻率域。傅立葉轉換（Fourier transform，下文簡稱FT)、分離式餘弦轉換（discrete cosine trasform，下文簡稱DCT)及

Hadamard 轉換（Hadamard transform，下文簡稱HT)為三種代表性，方法。因FT與…了分別為複數與實數轉換運算〜，由於其等在硬體實現上相當之高成本，故不將之列入考慮。由於其為純+ 1與-1轉換核心且具備快速轉換演算，Ητ 更適宜做轉換工作。因此實現ΗΤ處理將較^或DCT處理用到更少硬體邏輯。雖然發明主題係以Ητ之形式說明，不過實務上也可考慮以任何頻率/序列域轉換或其它正交轉換’而此等轉換之信號能量是被壓縮成相當少成分數的。除此之外’雖然發明主題係以使用轉換過之區塊之最小 M A D以確認最佳匹配區塊做說明，不過可考慮使用其它匹配方法，例如最大交互關聯、最小MSE或最大MPC。

Hadamard矩陣H=(hij)是定義為ηχη大小之方陣，其中

第12頁 1224290 五、發明說明（8) i .所有元素為± 1 ; i i.任二不同列為正交的，亦即Vl，丄1矣丄各〜〜=0。 1丄1.113(131113『(1矩陣之階數須為1，2,4，8，16，...，4111，其中 m = 1, 2 ,... 不喪失一般性原則下，考慮普遍使用之H a d a m a r d矩陣子集合做轉換，即所謂秩為2n之Sylvester-Hadamard矩陣。其遞迴一式定義如方程式（5)。

Hn^H^ Hn_1 其中®表示Knonecker乘積，而

因而 H2= h3 = ，+1 + 1 + 1 + 1> + 1 -1 + 1 -1 + 1 + 1 -1 一 1 、+1 一 1 -1 + 1> '+1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 -1 + 1 一 1 + 1 一 1 + 1 + 1 + 1 -1 -1 + 1 + 1 -1 + 1 -1 -1 + 1· -1 一 1 + 1 + 1 + 1 +1· -1 一 1 -1 + 1 -1 + 1 —1- -1 + 1 一 1 + 1 + 1 -1 -1- -1 -1 + 1 、十1 -1 -1 + 1- -1 + 1 + 1

1 1 +

以及

第13頁 1224290 五、發明說明（9) h4 + 1+1 + 1 -1 + 1 +1 + 1 -1 + 1 +1 + 1 -1 + 1 +1 + 1 -1 + 1 +1 + 1 — 1 +1+1 +1 一1+1 —1 ~1 一1+1 +1 -1 +1+1 -1 +1 +1-1 -1 +1 —1一1 +1 -1 -1 + 1 + 1 ~1 一 1 -1-1 -1 +1-1+1 +1+1 +1 一1+1 -1 一1+1 +1 +1+1 —1 -1 一 1 一 1 + 1 + 1 + 1 + 1 一 1 +1+1 +1 -1+1 -1 -1+1 +1 +1+1 -1 -1+1 +1 + + 1 + 1 1 一1 + 1 + 1 1 一1+1 +1 一 1 +1 -1 +1—1—1 一1一1 +1 一 1 一 1 一 1 +1—1+1 +1+1+1 +1-1+1 -1+1 -i+1+i 一1 一1-1 -1 +1-1 +1+1-1 +1—1—1 + 1 +1 一 1 +1 + 1 -1 —1 一 1 + 1 +1 -1 +1 一 1 一 1 一 1 一 1 一 1 + 1 -1 -1 +1 + 1 +1 + 1 + 1 一 1 一 1 + 1 -1 + 1 + 1 2 - D平方Hadamard轉換定義如方程式（6)。 F=HmfNlN2Hn (6) 在其中Hm#Hn分別為比』1(212”與\』2(212”113(^1^1^矩陣。矩陣fN1N2為具有叱χΝ2大小之影像資料矩陣。注意：對 Hadamard轉換而言，具有與上所述Hadamard矩陣之第三項特性一致的階數之影像資料矩陣是可能的。舁傳、、先的像素域⑽一樣，Hadamard轉換戈考慮中’ (=^1)ΛΝιΧΝ2運動區塊並搜尋下一（或前、一）資料框（搜尋在目^次乂找出相同尺寸之最佳匹配區塊之位置，以決疋參考資料框)中之像素…-)之位移。；之個別搜尋資料i ;Νι+2ΜιχΝ2+2Μ2之區域。其差異是在參考及在 Hada叫：J區塊皆遭受如方程式⑺及⑻所定義

第14頁 1224290 五、發明說明（ίο) F 參考（R) = Hmf 參考（R)Hn (7) F 搜尋（R)二 Hmf 搜尋（R)Hn ; (8) 其中R表示\ xN2大小之像素區塊。根據方程式（9 )，M A D準則可用來計算轉換域區塊差異 (9) (10) MAD(d'，d2) = K0 X (Fref {ux^k)~ Fsearch{ux ^dvvx+d2) (wpW2)69i 然後可由方程式（1 0 )計算位移估測 [dx,d2]T = arg (min ^ MAD{dx, d2)

雖然對BM (transform BM演算族上之搜尋係利利用對這些影像搜尋，及十中選出 Hadamard 矩塊大小及矩成一或更多該技術亦費性電子論 J Kim 及T 之匹配準則已改變，不過所提 - domain BM，下文簡稱TBM)可。例如：T B Μ可用於層次運動估用十中選一、低解析度版之目影像所決定之匹配俾精練對後使之得以確認匹配之區塊。替影像，一較大的區塊大小及對陣可用來找出一粗劣的運動向陣大小連續地降低，以將粗劣之精細運動向量。可用於快速搜尋運動估測演算文集，刊登於1998年8月第638 .S. Choi在其等名稱為：「使用出之轉用於其測演算前與搜續較高代地，應的較量，然的運動換域BM 它變化之，在起初尋影像並解析度之不以過渡高階後可將區向量轉換上，例如I E E E消 - 6 4 8 頁，單一型式誤差表

O:\61\61958.PTD 第15頁 1224290 五、發明說明（11) 面假設具有最少查對點之快速三步驟搜尋演算」文章中所揭示之三步驟搜尋方法，將其對快速搜尋運動估測演算之講授併入此做參考。使用這些快速搜尋技術，在執行該技術之各步驟之前，可轉換來自目前資料框之運動區塊以及來自搜尋資料框之各試驗匹配區塊。除此之外，因ΤΒΜ技術對影像之空間頻率内涵較靈敏，故可用在顯示非轉移性運動之影像序列上，例如旋轉或影像突變。圖2為適於用在實現根據本發明之轉換區塊匹配演算之電路方塊圖。圖2所示之電路將來自目前資料框210之運動區塊映射至來自下一資料框2 1 2之匹配區塊。區塊匹配處理器2 0 0包括Hadamard轉換處理器2 1 4，該處理器在微處理器2 2 6控制下選取來自目前資料框2 1 0之運動區塊。區塊匹配處理器’ 2 0 0亦包括多個H a d a m a r d轉換處理器 216、218、220及222，在微處理器226控制下，該等處理器從下一資料框記憶器2 1 2選出試驗匹配區塊。微處理器 226可控制Hadamard轉換處理器214至222，根據完全搜尋演算或快速搜尋演算從目前資料框2 1 0及一資料框2 1 2中選取區塊。若於採用層次區塊匹配技術之系統使用區塊匹配處理器2 0 0，從目前資料框及下一資料框取得之像素區塊大小可在X及Y方向之一或兩者方向上改變，且可如上所述地參考方程式（7)及（8)將對應之Hadamard轉換用在取得之像素區塊。轉換處理器2 1 4至2 2 2所提供之轉換過的像素資料區塊是加至預測的區塊決定處理器2 2 4。例如處理器2 2 4可如上所

O:\61\61958.PTD 第16頁 1224290 五、發明說明（12)

述地參考方程式（9)及（1 〇)將最小MAD準則應用在各轉換的像素值區塊上，以選出對轉換過之運動區塊具有最小 MAD之轉換過的搜尋區塊。預測區塊決定處理器2 24亦耦合以接收來自微處理器之區塊識別信號。在辨識了滿足方程式（1〇)準則之搜塊後，可由預測區塊決定處理器224計算在該運動區此搜尋區塊間之位移。此位移是以一運動向量表示，該、量為由預測區塊決定處理器224所提供之輸出信號。/

圖3為一替代的區塊匹配處理器2〇〇，之方塊圖。此處理器藉由在前一資料框310及下一資料框212兩者中搜尋匹配區塊以擴充圖2所示之區塊匹配處理器2〇〇。如圖3所示者，示範區塊匹配處理器20 0,包括受微處理器2 26，所控制 ^Hadamard轉換處理器312、314、316及318，俾在將這些試驗匹配區塊加至預測區塊決定處理器224，之前取得並^ 換來自前一資料框310之試驗匹配區塊。示於圖3電路之其餘部分與圖2所示者相同，而不再加以說明。區塊決定處、理器4 1异了來自目前資料框2丨〇之轉換過的運動區塊與由前一資料框31〇或下一資料框212所提供的任何過的區塊間之最小絕對差。、

示於圖3之本發明示範具體實施例並行地處理來自下一資料框及前一資料框之試驗匹配區塊。圖4顯示以三個連續步驟處理來自下一資料框及前一資料框的試驗匹配區塊之本發明替代具體實施例。示於圖4之系統包括一耦合以接收來自下一資料框212及前一資料框31〇的試驗匹配區塊

第17頁 1224290 五、發明說明（13) 一之多工器/區塊平均處理器410。該處理器410亦麵收來自微處理器22 6，’之控制信號。區塊匹配處作如下。纟第-段期間，來自目前資料框210之運=知 @ % 處器214，然後加至預測區塊決定處同樣在本段期間，來自前-資料框之試驗匹配 °° ，，’工夕工器/區塊平均處理器4 1 0而加至各自之 _ ρΓγ^Γ7轉換處理器216、218、220及222，以產生加至箱測，，j定處理器224”之轉換過的試驗匹配區塊。預 & 1 f —段期間，預測區塊決定處理器224,1選出來自& =框而對轉換過的運動區塊具有最働之轉出以理i^〇二以=間，微處理器226”切換多工器/區塊平均處換過的運動Λ來自下一資料框212之試驗匹配區塊，而轉第二段期^區Η'仍是加至預測區塊決定處理器224"。在此換了來自;： : 轉換處理器21 6、218、22。及奶轉塊決定處理/2 :·，： 1 m塊’以產生用於加至預測區間，預測=的匹配區塊。在此第二段期斑該轉換、y決定處理器22 4"基於各個轉換過的匹配區塊的匹動區塊間之_，以選出來自下一資料框 226在二ΐ ΐ期間，預測區塊決定處理器224"通知微處理器區塊ϊί=7Γ:Λ；料框212及前一料框及前」料：之。所：屮均處理器410平均了來自下-資貝枓框之所選出的區塊，並將該平均過之區塊

第18頁 1224290 玉、發明說明（14) — 供予Hadamard轉換處理器之一，例如··處理器2 1 6。此轉換過之區塊是加至預測區塊決定處理器2 2 4 π ，在第三段期、間，此處理器計算了 Hadamard轉換處理器214所提供的轉換過之運動區塊與轉換處理器21 6所提供的轉換過之平區塊間之MAD。

然後預測區塊決定處理器224”比較了該轉換過的平均區塊之MAD與來自下一資料框2 1 2及前一資料框31 〇轉換過的選出區塊之MAD。具有最小MAD之區塊決定了由區塊匹配處理器2 0 〇所用之運動向量。在比較該轉換過的平均區塊之 mad與來自下及前一資料框的匹配區塊之MAD時，預測區塊决定處理器2 2 4π可儲存來自下一及前一資料框之MA D值，或在其接到該轉換過的平均區塊之同時可接收來自下一及前一資料框之轉換過的匹配區塊。在此情況下，可由多工器/區塊平均電路41〇將該轉換過的匹配區塊遞送至個別的一些Hadamard轉換處理器216、218、220及222，例如：處理器2 1 8及2 2 0。例如圖4所示之電路可用於類如MPEG_2編碼器之轉換碼化處理器’該編碼器採用順向預測及雙向預測兩種運動補債編碼技術。示於圖2、3及4之示範區塊匹配處理器僅顯示提供來自下一貢料框及/或前一資料框之4個試驗匹配區塊以將之與來自目如資料框之運動區塊做比較。這些圖面僅做解說用。例如可考慮使用一完全搜尋運動估測技術，從各前一貧料框及下一資料框可提供多達2 5 6個試驗匹配區塊。對

第19頁 1224290 五、發明說明（15) 於一種類如上述參考文章所說明之快速搜尋法，各個下一資料框及前一資料框在3步驟方法之各步驟時可提供8個運動區塊。圖5為一傳統運動適應性視頻編碼器電路之方塊圖，該電路業經修編以包括本發明之一具體實施例；且例如可根據MPEG-2標準產生編碼過之視頻信號。在圖5所示之系統中，一輸入視頻信號是加至耦合至運動補償處理器2 0 0 π之資料框記憶器2 1 2 ’ 。該運動補償處理器存取該資料框記憶器以取得來自下一資料框之試驗匹配區塊。本發明示範具體實施例中之資料框記憶器2 1 2 ’亦耦合至資料框延遲 2 1 0 ’ 。當資料框記憶器2 1 2 ’保存視頻資訊之一個資料框時，上一資料框係經由資料框延遲2 1 0 ’供予解碼電路。資料框延遲2 1 0 ’所提供之輸出信號為目前之視頻資料框，該資料框係耦合至運動補償處理器2 0 0 π以提供如上參考圖4 所述之運動區塊。運動補償處理器2 0 0 η亦耦合至資料框延遲3 1 0 ’以接收來自前一影像資料框之試驗匹配區塊。在一般形式下，圖5所示編碼器之操作是編碼運動補償處理器2 0 (Γ提供之運動補償視頻資料減去資料框延遲2 1 0 ’ 提供之目前視頻資訊所獲得之差異像素值。在本發明之示範具體實施例中，減法器5 1 0將目前視頻資料減去處理器2 1 0 η所提供之運動補償視頻資料。該結果差異信號在DCT處理器5 1 2中受到分離式餘弦轉換處理。處理器5 1 2提供之轉換過的差異信號是加至量化電路5 1 4。如下所述者，DCT編碼過差異信號之量化解析度響應於緩衝

O:\61\61958.PTD 第20頁 1224290 五、發明說明（16) * ---- 控制處理器5 26之控制。量化走m 可變長編碼器5 2 2，該編喝哭=^器5 1 4之輸出信號是加至提供之運動向量。可變長·-編;馬亦運動補償處f器20 0" 換過差異碼值及運動向量，以° 將熵碼加至ΐ化之轉串。編碼過之視訊串是力編碼過之輸出視訊 -，下文簡卿⑴緩衝二進”⑴…1“1… 位元傳送率減低之編碼視頻f二緩衝皇器在-輸出埠將 Aη 就供予一傳送頻道。 524=視象中運^之Μ Ζ 4之視頻頁料率可南於傳一傳送頻道之限制時，為了降低用' 二之貝:斗率。當趨近資料量，FIF0緩衝器524以^^用焉 1表/也編妖碼過視頻信號之降低量化器5U所加入之量；緩制電路526 ’俾 R O R , ^ r ^ ^里化解析度。由於緩衝控制電路運動二之編理器亦能可靠地將具有不同細部及運動位h之影像序列編碼成—致之位元傳送率。 : = 提供之視頻資料之前-資料二之.扁視頻信號所再生。在本發明之示範具體實施例反向1化電路516將量化器514執行之量化運算反向，此解量化、轉換過之差異編碼視頻信號加至反向分離式餘弦轉換處理器5丨8。處理器5丨8反向了處理器之DCT運算，以將解碼過之差異視頻信號供予加總带路 520。加總電路5 20將運動補償視頻資料加至解碼&過a之差旦員貪料’以重組來自目前資料框之資料。該重组之資料 =:至將目前資料框資料延遲一個資料框期間之資料框延电路310，，以將前一資料框視頻資料供予運動補償處理

第21頁 1224290 五、發明說明（17) 器 2 0 〇 ”。日圖6為根據本發明示範具體實施例可用於產生運動向量 ^的巧度並行處理器系統之方塊圖。該處理器系統包括NH ，以NV個處理器匕至1〗，心」。因而處理器系統對各影像區塊具有一個處理器，而影像包括NH個水平區塊乘以NV個垂直區塊或NH乘以NV個區塊。如圖6所示者，對應於目前場匕、前一場及下一場匕】之輸入樣本係加至輸入/輸出（input/output，下文簡稱 I/O)處理器612。此記憶器在控制處理器61〇之控制下，將樣本，入多埠記憶器614。記憶器614可為如多個處理器 P〇’Q至Nv-1，之各處理器具有個別不同部分共用之分配式 ϊ m制器61 〇及多個處理器‘至^i根據上述二ίΓ曰、2及4之方法操作’以對來自代表2或3個影像場樣本之目則貢料框產生代表一運動向量場之樣本 =所：之1/0處理器612接收3個資料框/不過，杈悲知作^，在任何時間僅有一個新資料框可加理态612。可错重新指定先前所儲存資料框之广以使對應於資料框Fk所儲存之資料將成為代表固之貢料，而對應於資料框Fk丨所儲存之資、^框FK+1之 ^Fk ^ t ^ ^ ^ ^ ^ ^ 4^ 如p。，。）獲得來自育料框匕經由記憶器6U之之個別不同之運動區塊。該處理器：素貢枓及資料框F…經由記憶器埠之試驗匹配區；“-貝料框b ρ"至。NV…Nh之各處理器根據圖7所示之流程圖操作。 1224290 五、發明說明（18) 流程圖中之第一步驟（步驟7 10)從資料框Fk取得運動區塊並應用Hadamard轉換。步驟712從資料框？1^_1並視需要從資料框Fk+1取得試驗匹配區塊。除此之外，步驟7丨2將變數 MIN MAD初始化為一大數值。接著，步驟714選出該等試驗匹配區塊之一 ’並對遠選出之區塊做H a d a m a r d轉換。此運算是如上參考方程式（8)之說明。步驟7i4亦計算了選出之轉換過的匹配區塊與轉換過的運動區塊間iMAD。mad之計异是如上參考方程式（9)之說明。在步驟716，將步驟714 所計算之MAD值與M INMAD相比較。若MAD低於MINMAD，則執行步驟718，該步驟將MAD值指定為變數MINMAD，並將在步驟714處理之區塊其區塊識別碼（BL〇CK iD)記錄至變數 %10八丁(：11。若在步驟716，^^0不低於^11關人0或在步驟718 之後，則執行步驟72 0。在步驟720，處理器決定是否有任何更多匹配區塊需予處理。若是如此，控制回至步驟7 i 4 以選擇下一匹配區塊。若無其它匹配區塊要處理，在步驟 722如上述參考方程式（1〇)執行對區塊MINMATCH之運動向量計算。圖7所示流程圖解說了本發明之軟體實現。此軟體實現可為經由類如磁碟、CD-ROM或調變載波之載波傳輸之計算機程式形式。 3圖6所示處理器系統提供之結果為一運動向量場，該向里場包括資料框Fk各運動區塊之運動向量。如上述參考方矛王式（7)及（8)之說明，Hadamard矩陣、參考區塊及搜尋區塊在各水平及垂直方向可包含不同數目之像素。因而，圖

第23頁 1224290 五、發明說明（19) 所示之處理器可在4x4區塊或在16x16區塊上運算。如方程式（6)所定義者，因Hadamard轉換運算使用二不同階數之Hadamard矩陣，圖6所示之處理器亦可在16χ4區塊或在 8x16區塊上運算。圖8A及8B示出主題之發明應用至層次運動區塊搜尋演算架構。在圖8A中，使用一 32x32 Hadamard矩陣轉換包含$ 六個8x8區塊像素值之運動區塊丨4〇，且在前一資料框丨〇4 中之匹配區塊15〇及152亦受到__32χ32 Hadamard轉換。對轉換過的區塊150及152之各區塊計算MAD。因一資料框1〇4之位置與區塊14〇在目前資料框1〇〇之位置相同，故在區塊150與區塊152間之位移定義了區塊14〇之運動向量。替代地，可藉低通濾波32以2區塊像素值以計算 3=2區塊像素值之運動向量，並在十中選出一遽波過之像素值以產生例如8x8區塊之像素值。當濾波過之區塊經樣以產生8x8區塊像素值時，32χ32區塊像素值之低通濾波用以降低代嬈失真。然後該8χ8區塊像素值可經

Hadamard轉換並盘相似诸、+t L ”祁似/慮波過、十中選一及轉換過之試驗匹配區塊比較，以找屮跑杜加允丄士丄士、西找出取佳匹配。在圖面上未顯示低通濾波器及十中選一器。示於8A所計算出之谨私&日 — 連動向s涵盍了 MPEG-2標準之4個巨區塊。使用圖8 A所揭示之古i ^ 一丨朽不之方法確認之運動向量1 6 〇，可產生如圖8B所示單一巨區媸匕匕塊之運動向量。在圖⑽中，當單一巨區塊1 7 〇用做運動u 士 £鬼日守，運動向量1 6 0可用以限制搜尋區1 0 6 ，遠區係用來找屮太义一 t丨木找出在刖一貢料框丨〇 4中匹配區塊之

第24頁 1224290 五、發明說明（20) 位置。如圖8B所示，區塊172、1 74、176及178可確認為試驗匹配區塊。根據演算架構，16x16 Ha damard轉換用在運動區塊170 上以及各試驗匹配區塊1 7 2、1 7 4、1 7 6及1 7 8。然後參考上述方程式（9)及（1 〇 )使用最小MAD演算法比較轉換過之區塊’俾在搜尋區1 0 6 ’中選出一個區塊做為運動區塊丨7 〇之匹配區塊。如上說明者，不使用丨6χ丨6區塊像素值及丨6 χ i 6 Hadamard轉換，該演算可濾波及十中選出—ΐ6χΐ6區塊以產生8x8區塊，並將8χ8 ^化^^轉換用在運動區塊及一組近似濾波過及次取樣試驗匹配區塊之各區塊。 4考=8Α及8Β a兒明之演算法使用了兩種不同階數之 J 。於圖8A中，所執行者為32階之Hadamard轉 Ϊ參中:、所執行者為16階之一… 在進行_ 之况明，用來執行Hadamard轉換之處理電路 ί : = = 期可採用不同階數心一轉換。影像i影像並I會女列I使用多階轉換。高階轉換可用於 Hadamard轉換;;用$ =，影像序列之大區域，而低階對新聞播報員之此旦，化較頻繁之影像部分。舉例而言，碼，而新聞播報;二I 1吏用比較高階2Hadamard轉換編碼。、 ^使用比較低階之H ad am ard轉換編對上述參照圖8八及測係從大區堍5 f厂况明之運動估測技術，層次運動估可從小區塊至大F括進仃的。總之’可考慮層次技術亦大&塊進行。圖9為顯示一示範運動估測法 1224290 五、發明說明（21) 之影像圖’其中小區塊運動用以推論出較大區塊之運動向量。在圖9中，目前資料框1〇〇之運動區塊118包括4個次區塊1 2 0、1 2 2、1 2 4及1 2 6。在本發明示範具體實施例中，各個次區塊個別之運動向量受到決定。此係示於圖9之搜尋資料框104中’區塊11 8’表示在搜尋影像中與目前影像中運動區塊118有相同位置之區塊。一旦決定了運動向量，運動區塊之次區塊120、122及126映射至搜尋影像中區塊 1^0之次區塊120’ 、122’及1 23’ ，而次區塊丨24係映射至搜哥區，1^2之次區塊124，。如上述參照圖}說明之傳統區塊運動演算法，搜尋區域係限制於搜尋影像丨〇4之區域丨〇 6。因運動區塊之三個次區塊係映射至匹配區塊丨3 〇，而僅一個次區塊映射至區塊丨32，乃選擇區塊丨3〇當作運動區塊 1 1 8之匹配區塊。尹^圖9所不之區塊匹配法中，如同在搜尋資料框丨〇 4之搜哥品域1 0 6中之全部次區塊一樣，各次區塊j 2 〇、1 2 2、丄2 4 = 百先受aHadamard轉換。然後上所說明之區塊匹配矢以人區塊為基礎而應用在搜尋影像1 0 4之搜尋區，域、在主題發明已由示範體實施例說明後述所附申請專利範圍之範疇内實施。可考慮由以上概

第26頁

Claims

I2S43W 公告本案號 89100810 年月日修正六、申請專利範圍 1 . 一種用於處理表示第一及第二影像之像素資料之方法，用以確認在第二影像中匹配區塊像素值對應於第一影像中運動區塊像素值，該方法包含之步驟為：使用一二維H a d a m a r d轉換運算轉換該運動區塊像素值，以產生轉換過之運動區塊；從第二影像中選出多個試驗匹配區塊；使用一個別之複數個處理器，每一處理器執行該二維 H a d a m a r d轉換運算，轉換各個所選擇的複數個試驗匹配區塊，以產生對應之多個轉換過之匹配區塊；產生多個該轉換過之運動區塊與該多個轉換過的匹配區塊之各區塊間之差異測量值；以及選出對應於多個差異測量值中具有最小差異測量值之轉換過之匹配區塊之試驗匹配區塊做為匹配區塊。 2 .如申請專利範圍第1項之方法，其中：產生多個轉換過之運動區塊與多個轉換過的匹配區塊之各區塊間差異測量值之步驟包括計算轉換過的運動區塊與各個轉換過的匹配區塊間之M SE之步驟；及選出匹配區塊之步驟將選取對應於具有低於任何其它轉換過的匹配區塊的MSE之MSE的轉換過的匹配區塊之匹配區塊。 3 .如申請專利範圍第1項之方法，其中：產生多個轉換過之運動區塊與多個轉換過的匹配區塊之各區塊間差異測量值之步驟包括計算轉換過的運動區塊與各個轉換過的匹配區塊間之M A D之步驟；及

O:\6l\61958-930610.ptc 第28頁 1224290 _案號 89100810_年月日___ 六、申請專利範圍選出匹配區塊之步驟將選取對應於具有低於任何其它轉換過的匹配區塊的M A D之M A D的轉換過的匹配區塊之匹配區塊。 4 .如申請專利範圍第1項之方法，其中該運動區塊包括第一數字Μ之像素值列數及第二數字N之像素值行數，而轉換該運動區塊之步驟包括之步驟為：將一 MxM Hadamard矩陣乘以該運動區塊以產生一 ΜχΝ 矩陣值；及將該ΜχΝ矩陣值乘以NxN Hadamard矩陣以產生一 ΝχΜ區塊之轉換過的影像值。 5 .如申請專利範圍第1項之方法，該第一及第二影像為一視頻信號之第一及第二連續的資料框且該第一與第二影像間之差異對應於資料框間之運動，該方法尚包含之步驟為：確認在該第二資料框中對應於該運動區塊位置之參考區塊；決定該爹考區塊與在該苐二貢料框中選出的匹配區塊間之位移；及從該位移產生一運動向量。 6 . —種用於處理表示第一及第二影像之像素資料之方法，用以確認在第二影像中匹配區塊像素值對應於第一影像中運動區塊像素值，該方法包含之步驟為：在第一影像中選出一ΜχΝ區塊像素值，該ΜχΝ區塊像素值包括做為適當次集合之運動區塊像素值，其中Μ與Ν為大

O:\61\61958-930610.ptc 第29頁 1224290 _案號 89100810_年月日___ 六、申請專利範圍於1之整數；使用一預定之正交轉換運算轉換該Μ X N區塊像素值，以產生轉換過之Μ X Ν區塊像素值；從第二影像中選出多個試驗ΜχΝ區配區塊；使用一個別的處理器，該處理器執行該預定之轉換運算，轉換該所選擇的多個試驗Μ χΝ區配區塊之各區塊，以產生對應之多個轉換過之ΜχΝ匹配區塊；產生多個該轉換過ΜχΝ運動區塊與該多個轉換過的ΜχΝ 匹配區塊之各區塊間之差異測量值；比較產生的差異測量值以確認最小之差異測量值，並決定那一個轉換過之ΜχΝ匹配區塊對應於該最小之差異測量值；決定該Μ X Ν區塊與所選定之Μ X Ν匹配區塊間之位移；使用一預定之正交轉換運算轉換該運動區塊像素值，以產生轉換過之運動區塊；從第二影像中選出多個額外的試驗匹配區塊，所選出之額外的試驗匹配區塊簇集圍繞著一從該運動區塊移動了預定的位移量之試驗匹配區塊；使用一個別的處理器，每一處理器執行該預定之正交轉換運算，以轉換該等所選擇的額外的試驗匹配區塊像素值之各區塊，以產生對應之多個轉換過之匹配區塊；產生多個該轉換過之運動區塊與該多個轉換過的匹配區塊之各區塊間之差異測量值；及選出對應於具有低於任何該多個差異測量值之差異測

O:\61\61958-930610.ptc 第30頁 1224290 _案號 89100810_年月日___ 々、申請專利範圍量值之轉換過的匹配區塊之試驗匹配區塊做為匹配區塊。 7 . —種用於處理表示第一及第二影像之像素資料之裝置，用以確認在第二影像中匹配區塊像素值對應於第一影像中運動區塊像素值，該裝置包含：一第一轉換處理器，該處理器使用一二維H a d a m a r d轉換運算轉換該運動區塊像素值，以產生轉換過之運動區塊；多個額外的轉換處理器，該等處理器從回應於該運動區塊之第二影像選出多個試驗匹配區塊並使用該預定之正交轉換運算轉換該試驗匹配區塊像素值，以產生對應之多個轉換過之匹配區塊；一比較器，該比較器產生多個該轉換過之運動區塊與多個轉換過之匹配區塊之各區塊間之差異測量值，並指定該等差異測量值之一做為最小的差異測量值，其中對應於具有最小差異測量值之轉換過的匹配區塊之試驗匹配區塊被指定為與該運動區塊像素值一致之匹配區塊像素值。 8 .如申請專利範圍第7項之裝置，其中該比較器包含：用以計算該轉換過的運動區塊與各轉換過的匹配區塊間的MSE之裝置；及用以選出對應於具有低於任何其它轉換過的區塊之 M S E之試驗匹配區塊做為像素值的匹配區塊之裝置。 9 .如申請專利範圍第7項之裝置，其中該比較器包含：用以計算該轉換過的運動區塊與各轉換過的匹配區塊間的MAD之裝置；及

O:\61\61958-930610.ptc 第31頁 1224290 _案號 89100810_年月日___ 六、申請專利範圍用以選出對應於具有低於任何其它轉換過的區塊之 M A D之試驗匹配區塊做為像素值的匹配區塊之裝置。 I 0 .如申請專利範圍第9項之裝置，該第一及第二影像為一視頻信號之第一及第二連續資料框，且該第一及第二影像間之差異對應於資料框間之運動，該裝置尚包含：在該第二資料框中指定一對應於該運動區塊位置的參考區塊之裝置；用以決定在該參考區塊與在該第二資料框中選出的匹配區塊間的位移之裝置，及從該位移產生一運動向量之裝置。 II . 一種包括一計算機程式之載體，該計算機程式包含多個指令，將使該計算機執行之步驟為：從一第一影像確認像素之運動區塊；使用一預定之正交轉換運算轉換該像素值之運動區塊，以產生轉換過的運動區塊；從該第二影像選出多.個試驗匹配區塊；使用該預定之正交轉換運算，平行轉換像素值之各試驗匹配區塊，以產生對應之多個轉換過之匹配區塊；產生多個在該轉換過的運動區塊與該多個轉換過的匹配區塊之各區塊間之呈異測量值；及選出對應於具有低於任何該多個差異測量值之差異測量值之轉換過的匹配區塊之試驗匹配區塊做為匹配區塊。

O:\61\6l958-930610.ptc 第32頁