TWI241536B - Method and apparatus for estimating motion of image region - Google Patents

Description

1241536 A7 B7 相關申請章的交互表斜 泛項專利申凊案主張於200 1年3月7日申請，發明標題為 ”移動匹配使用局部圖塊移動條件"（M〇ti〇n Matching Using Local Segment Motion C〇nstrains)，其揭露在此以引述的方 式併入本文參考。 發明的頜媸 本發明大致關於影像處理。更特別的是關於視訊處理的 移動匹配。 發明背景 要需要能夠估計從一個視訊圖框到目標的視訊圖框影像 圖塊的移動位移。這裏用的術語|圖塊，將會遍及本文代表一 種物件，一個區塊或一種物件的部分。這樣的移動估計能 在視訊資料中減少暫時多餘的東西而達到實質的圖框間。 和動估计也通^被稱為移動匹配，因為一給定的圖塊會，，匹 配π到目標視訊圖框中的特定位置。 移動匹配典型可以涉及識別在一個數位影像所擷取的場 景中的物體。識別另一影像中相同的物體並注意到從一個 影像到另一個景> 像的位置改變。舉例來說，正在處理的視 訊序列是一場足球比賽，這樣的處理可以用來偵測像是足 球的物體的移動。應該要注意的是，在這裏描述的匹配處 理並不限制在場景中的真實物體，但可能指的是影像的預 足的物體或歆裝或甚至是物體的部分。舉例來說，一顆具 有數種不同顏色的實體彩色部分海灘球的視訊序列可以處 理成母個不同顏色的部分視為一不同的物體。 本紙張尺度適用中國國家標準(CNS) Α4規格（210X297公釐） 1241536 A7 B7 五、發明説明（2 ) 當不是這樣的情況時，匹配通常是要嘗試去追蹤在一個 視訊序列中的影像圖塊，當它在視訊序列中移動時。因此 數位訊號樣式匹配可以被使用在各式各樣的應用就像視訊 壓蝻，醫學影像和物件追蹤。舉例來說，一個數位影像處 理器可以決定一個圖塊如何從一個視訊序列的影像圖框到 另一個視訊序列的影像圖框，藉著記錄一個圖塊在第一個 影像圖框的位置，取出這個圖塊和第二個影像圖框的匹 配，記錄在第二個影像圖框符合（匹配）圖塊的位置並使用 位置的差別來標記移動。通常在多維空間中的連續兩個圖 框的移動被描述成一個多維的向量。因此視訊序列是一個 二度空間影像序列，一個圖塊s的移動可以被表示成二維向 量U = (Z\x，Ay) .，在這裏Δχ是代表圖塊水平方向的相對 位移，△ y是代表圖塊垂直方向的相對位移，典型測量位移 的單位都是以像素計算。 移動匹配可能是有問題的而且要有效率的做是有困難 的。一個常發生的問題是在移動匹配的程序中會出現失誤 匹配（false matches)。這種失誤匹配可能有各種的原因，包 括光線’銳利度或甚至訊圖框間的局部物體形狀的變化造 成。另外一個問題是含糊的匹配，含糊的匹配可能會發生 在當多個位移向量使得在位移圖塊（或物體或區塊）和底下 的像素之間有同樣的類似的匹配。並且在多個類似的選擇 中只有一個需要或從標準觀察著的角度來看的，，實際，，位 移。再者’有些移動匹配技術可能對具有特定特徵的影像 圖框可正常運作，但對不同特徵的影像圖框就不能正常運 _ -5- 本紙張尺度適用中國國家標準(CNS) A4規格(21〇x 297公釐)

欢 訂

、線 I241536 五、 發明説明（3 作。 本發明揭露一種方法和裝置用以估計一個影像區域（中心 區域）從來源視訊圖框到目標視訊圖框的移動。移動估計是 被局部限制因為在中心區域的移動估計被相鄭區域的移動 料所影響：有利的是，這可以減少一般的移動估計的問 邊’例如誤差或含糊的匹配。在一個實施例中，區域限制 的移動估計可以藉由使用相鄰區域的誤差映對而造成中心 區域的誤差映對的偏移來實施。 量示簡軍說明 圖1是一個根據本發明的實施例以局部限制完成移動匹配 的方法的流程圖。 圖2是-個描述在來源圖框中心圖塊和相鄰圖塊的假設 例子的圖式。 圖3是一個圖式，描述中心圖塊的候選移動向量。 、圖4疋一個圖式顯示在移動匹配的搜尋視窗内的中 之示範性候選移動向量。 圖5疋個圖式，描述一個相鄰圖塊的候選移動向量。 —圖6是一個圖表’顯示移動匹配的搜尋视窗内相鄰；塊的 不範性候選移動向量。 圖為了顯示根據具體發明在中心圖塊例子的環形物。 圖8是一個圖式，顯示根據本發明的具體實施例圍钱在一 不範的中心圖塊的膨脹侷限盒子。 發明詳細說明 -6 - 1241536 A7 B7 五、發明説明（4 如下所述，含糊匹配的問題會被考慮。在根據本發明的 實施例中，藉著（a)使用圖塊當做要匹配的影像區域（而非 任意選擇影像區域），和（b)以其相鄰圖塊的移動來偏移要 匹配的圖塊的移動。偏移有效的限制圖塊位移因為一個吸 震器限制了一個相鄰耦合項目的位移。雖然未必然使用圖 塊，但它往往會於提供比和使用任意選擇影像區域相較更 好的結果。 圖1是一個根據本發明的實施例而實施移動匹配的局部限 制的方法的泥程圖。所述方法丨〇〇包含八個步驟（丨〇2， 104，106，108，11〇，112，114 和 116)。 在第一個步驟1 〇2中，得到一個其上要執行移動匹配的圖 塊。此圖塊被稱為”中心”圖塊。此圖塊可以藉由已知影像 分割化技術從來源影像而得。像這樣技術的一個例子被描 述在國際公告f虎W〇〇〇/77735 A1，標題為，，用於數位影像 分段的方法和裝置”（Meth〇d an(i八叩㈣加f〇r Digital Image Segmentation),公開於西元2〇〇〇年丨2月2 i日（數位 影像分段參考）。-個表示—個中心圖塊的假設的例子描述 在圖2且將在以下說明。 在第二個步驟104中，一個以一組通常用矩形域排列的χ 和y位移來計算中心圖塊的統計測量或誤差函數。這些計算 果被稱為4差映對。_種誤差函數的典型形式是絕對差 異fLl誤差的總和。誤差映對的其他變異數包括作為誤差 測量的各種Lp範數（norm)(這裏p*2 , 1/2或任何正實數） 和任何其他加成統計數量函數。這種誤差映對代表在目標 木紙張尺度適用中國國豕標準(CNS) A4規格(210X 297公着） I241536 A7 " ____________ B7 五、發明説明1 Γ7~ —- 心像中潛在位置當中心圖塊可以找到匹配。再一次，這種 &差映對將藉由移動中心圖塊到每個目標影像的位置在可 允终匹配區域内被製造（到每個在搜尋視窗中候選移動向 1 )’扣除符合像素數值和加種絕對差異的數值。這樣計算 次差映對對結果代表在每點潛在匹配的優劣。通常來說， 數值愈低’任給一點的匹配就會更好。中心圖塊誤差映對 的冲#會在下面的圖3和圖4進一步被討論到。 在第二步驟1 〇6中得到相鄰圖塊。這些相鄰圖塊可以藉由 測试和中心圖塊的邊緣重合的邊緣的其他圖塊或其他適當 的方法而得到。圖2的假設例子例示環繞一個中心圖塊的相 鄰圖塊。 在第四步驟1 08中計算在每個相鄰圖塊的誤差映對。如上 所述，此誤差映對顯示在目標影像内的每個點的匹配可能 性。相鄰圖塊的誤差映對將被用來偏移從來源影像到目標 影像中心圖塊的位移的搜尋。相鄰圖塊的誤差映對的計算 會進一步參考圖5和圖6而說明。請注意，當要處理給定的 相鄰圖塊作為它自己的中心圖塊時，如果事實上多個圖塊 正在這個影像中處理這種相鄰誤差映對的計算可以直接使 用來作為中心誤差映對。 在第五步驟1 1 〇中，決定相鄰圖塊的誤差映對的權重戈輕 合係數。在來源影像的每個相鄰圖塊被假設來以特定權重 偏移中心圖塊的移動匹配。此權重可以基於各種的特性， 包含但不限於下列的特性： (i)在中心區域圖塊和其相鄰圖塊的相對位移向量（相對移 1241536 A7

動），舉例來說，i+重一 I』f 用這個特性是有竟。乂，嗜移動會產生較低的權重。使 H堍有ϋ | #〜我，因為那些對中心圖塊移動的相鄰 圖鬼有者較y類似的移動合 Φ - F ^ ΛΑ ^ ^ 曰被功待有較少的影響力來決定 使i二移：，。在一個實施例中，相對移動可藉由 曰 "。圖塊和對相鄰圖塊的誤差範數（norms)減到 取二二，差映對中決定最有可能的位移向量）來計算。在 另一貫施例中，相對移動可以被當做是關^圖塊的已知資 訊的一部分。 、 ⑴）在來源影像到中心圖塊的接近度周圍。在中心圖塊的 -固足寬度的環型物或另一種適合形狀會被決定。每個相 郝圖塊會和環型的部分重疊。環型權重是環型的部分被圖 塊重疊的部分。重疊愈多’相鄰圖塊的權重就會愈大，因 為會對中心圖塊的移動匹配有較大的預期影響。 (111 )在來源影像中的色彩相似度。一相鄰圖塊和中心圖 塊的色彩愈接近，相鄰圖塊的權重將會更大’因為中心圖 塊的移動匹配會有較大的預期影響。 (iv)中心圖塊相對於在第一個影像的每個相鄰圖塊的大 小。中心圖塊相較於相鄰圖塊愈大，相鄰圖塊的影響會更 V ’因為中心圖塊的移動匹配會有較小的預期影響。 圖塊位移的偏移可以是一種一個或多個上述權重因素的 函數。在一個實施例中，每個圖塊"i"的權重因數” w ”是相 對位移（相對移動）、環型權重和色彩權重的乘積，如下面 的方程式所示。 wi = wmotion* wannuIus* wcojor -9- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐） 1241536 A7 B7 五、發明説明（7 ) 在第六步驟1 1 2中可以產生相鄰圖塊的合成權重誤差映 對。此合成權重誤差映對可以是每個相鄰圖塊權重誤差映 對的加總。這種加總可以藉由除以總權重來正規化。這樣 的一種计算顯示在下面的方程式（其中誤差映對對被定義成 L p，雖然其他形態的誤差映對也是可能的）。

Lp(neighbors)=WiLpi/Wi 在第七步驟1 14中，在中心圖塊的誤差映對藉著合成權重 誤差映對來把他們一個一個點加起來。這樣會產生一個中 心圖塊的偏差誤差映對。此合成權重誤差映對代表周圍相 鄰圖塊對中心圖塊的移動估計的限制影響力。考慮來源和 目〜像為來自序列視訊圖框的兩個圖框，周圍圖塊的 明顯移動基本上來幫助穩固中心圖塊明顯的移動。換句話 說，中心圖塊的移動，跟其相鄭圖塊更一致，其中適當的 處理減少不規則的差動明顯移動。 在第八步驟1 16中，中心圖塊的偏移誤差映對減少到最 小。這決定了中心圖塊的估計移動向量。相鄰圖塊合成誤 差加，到在前一步驟丨14中的中心圖塊的誤差的有強化或增強 中心圖塊誤差映對的最低或低點的效果。因此，最好定義 中心圖塊偏移誤差映對的低點且比起沒偏移的中心圖塊誤 差較不含糊。最好的中心圖塊匹配發生在偏移誤差映對的 減少和應該更好的估計在影像區域内特別圖塊的需要或實 際移動這裏誤差或含糊匹配將不發生。 圖2是來描述在一來源圖框一個”中心"圖塊和相鄰圖塊假 叹的例子。在這個例子裏，所述中心圖塊2〇2圍繞在三個相 -10-

1241536 A7

1241536 A7 B7

1241536 A7 B7 五、發明説明（1〇 ) 中’在環形物7 0 4和相鄰圖塊内的像素的重疊區域決定造成 權重的接近度。 圖8是根據一個圖式，顯示本發明的實施例圍繞在一範例 十生中心圖塊的一個膨脹侷限的盒子。圖中顯示一個圍繞在 中心圖塊7〇2的侷限盒子8〇2。這個侷限盒子8〇2藉著顯示 在XI個圖的膨脹距離而膨脹來產生膨脹侷限盒子8〇4。在這 個發明分析中，在膨脹侷限盒子8〇4和相鄰圖塊重疊的像素 將決定造成權重的接近度。在另一個實施發明例中，在侷 限盒子802的像素將不會被考慮。使得只有在膨脹侷限盒子 804内和侷限盒子8〇2外的像素將會被使用來計算重疊。這 個另-種的發明和上述與圖7相關的環形物的發明很類似。 、可以從上述的教示來修改而得到—個用m位移 視汎序列中為移動匹配）的系統或方法。 :例來說，一個吸震程序’和上面描述的類似，可以使 ，當做-個改善作用。假如處理器被給沒有 程序可以被限制在-個小區域内的強化 日]和動向f。換句話說，不直接 對找中心圖塊局部限制移動向量，而：二鬼::偏移誤差映 會先從中心圖塊的誤差映對中疋〖的移動向量 的偏移臭，…限丄到而不用來自相鄭圖塊 挽的Γ, 未文限移動向量進一步藉由檢杳中㈣ 鬼的块差映對關於更靠近未受限 一中U圖 塊所偏移的來改善。這樣會有較少的σ =此時由相鄭圖 塊的誤差映對僅需要對跟無受限移動二！；二為相鄰圖 移動中心來計算。 動向f有關的小範圍的 13 χ 297公釐厂 紙張尺度適用中國ϋ賴準(CNS) A4規格(210 1241536 A7 B7 五、發明説明（11 ) 在另一個例子中’環形物或其他形狀的大小係基於中心 圖塊大小。在另一個例子中，環形物可以非圓形的形狀所 取代。在另一個例子中，權重區域可以是個膨脹侷限盒 子。在另一個實施例中，侷限盒子會隨著圖塊的大小而改 變〇 在另一個例子中，相鄰誤差映對直接組合中心圖塊的無 偏移誤差。而不先產生一個合成相鄰誤差。換句話說，在 上述實施例中，每個相鄰i誤差映對以權重Wi加權來產生合 成誤差映對（下面標示成LeQmpQsite)

Sum,· (w,· * Lpj)

Lc〇mp〇sitc = ______ — n i——-明

Sum,· (w〇 然後它將被加至具有權重W的未偏移的Lp—center來產生偏 移誤差映對（Lfinal)

Lflnql 或完整的表示成

Lp_caiter + W

Sumj (wi ^ LpJ)

Sumi (w〇

LfinuJ

1 +W 這跟直接組合相鄰誤差映對至未偏移誤差映對的替代實施 例不同。在這個發明中，偏移誤差映對被給定為 -14 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 1241536 A7 B7

Lp^ccnter + Sumj (wi ^ LpJ) Lfinal= --------------二 1 + Sum,· (ν^) 然而另一個例子是除了環繞中心圖塊的 取扣：相鄭圖掄夕 外’包括更多遙遠的相鄰圖塊。 在上面的說明中，已給予很多特定的說明以完全了 發，的實，例。然而，上述本發明的例示實施例的說明並 不是要去詳盡或限制本發明為所明確揭露的形式。熟習相 關領域的人員會理解到本發明可以不用_個或多個=二一^ 細描述，或用其他方法，元件等而被實施。在其他例子 中，並沒有被詳細顯示或描述已知的結構或操作以避免本 發明的重點不清楚。然而，本發明的特定具體和例子只是 為了舉例而已。在本發明的範圍内的各種同等修改是可能 的，如同熟習相關技術人士能瞭解的 可根據上述說明而對本發明進行修正。這些使用在下述 申凊專利範圍的術語不應該解析為限制本發明為說明書和 申請專利範圍所揭露的特定實施例。反而是，本發明的範 圍是要根據下面申請專利範圍來決定，中請專利範圍會根 據已建立的申凊專利範圍解釋學說所解析。 -15-

Claims (1)

1. A8 B8 C8 D8 尽叫68號專利申請案 利範圍替換本(93年6月） 申請專利範圍 i.—種用以估計第一個區域從來源視訊圖框到目標視訊圖 框的移動方法，該方法包括.· 計异第一個區域的誤差映對； 计异圍繞在咸第一個區域相鄰的區域之複數個誤差映 對； β二 使用該等相鄭區域的誤差映對來偏移第一個區域的誤 差映對；以及 使用該偏移的誤差映對來決定該第一個區域的估計移 動。 2. 如申請專利範圍第^項之方法，其中該等相鄰區域是相鄰 於在來源視訊圖框的第_個區域。 3. 如申請專利範圍第丨項之方法，其中料誤差映對是藉由 加總絕對差或L 1誤差來計算。 4·如申請專利範圍第Η之方法，其中該等誤差映對是藉由 一個Lp標準來計算，這裏的ρ是一個正實數。 5. 如申凊專利範圍第1項之方法，其中該等誤差映對是藉由 任何集體統計數量函數來計算當一個誤差測量。 6. 如申請專利範圍第1項之方法，更包含： 權重步驟，在執行偏移之前，權重相鄰區域的誤差映 對。 7·如申請專利範圍第6項之方法，更包含： 從该等權重相鄰區域的誤差映對計算一個合成權重誤 差映對；以及 使用孩合成權重誤差映對為第一個區域偏移誤差映 本紙張尺度適用中國國家標準(CNS) 1241536 六、申請專利範圍 對。 8.如申請專利範圍第7項之方 一偭F抑、扣 ，、干在母個相鄰區域和第 間的相對移動促成該權重步驟。 y·如申請專利範圍第7項之方 —^ μ iA ，、中在每個相鄰區域和第 個£域的接近度促成該權重步驟。 ⑴.如申請專利範圍第9項之方法，並 、 F Η ^ ^ /、中涿接近度包含在該相 “域和圍繞料第-區域的環狀面積間的重叠量。 範圍第9項之方法1中接近度包含在相都區 域和圍繞區域的膨脹範圍區塊間的重叠量。 12·如申請專利範圍第7瑁 固示匕、足万法，其中一個色彩相似度在每 個相鄰區域和第一區域間促成該權重步驟。 13.如申請專利範圍第7項之方法，#中_個相對大小在每個 相鄰區域和第一區域間促成該權重步驟。 R如申請專利範圍第7項之方法，其中該權重步驟包含多個 f成因素的乘積，其中多個促成因素包括相對移動測 量，一個接近度測量和一個色彩類似度測量。 15·如申請專利範圍第1項之方法，其中第一個區域和相鄰區 域包含由一個影像圖塊處理而得的圖塊。 16·如申請專利範圍第1項之方法，其中第一個1域和相鄰區 域包含任意形狀的區域。 17·如申請專利範圍第夏項之方法，其中來源圖框和目標圖框 包含視訊圖框從一個相同圖片群組（G〇p)。 18.如申請專利範圍第1項之方法，更包括： 藉由在第一區域偏移誤差映對找一個局部最小化來決 -2 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐） !241536 申请專利祀圍 A8 B8 C8 D8 定估計移動。 以如申清專利範圍第丨8項之方法，其中局部最小化是需要 低方；個門盤的值來決定可接受的估計。 9 0 違不 種用以估汁第一個區域從一個來源視訊圖框到目標視 汎圖框的移動之裝置，該裝置包含： 計算第一個區域的誤差映對的裝置； 為了圍繞於第一區域的相鄰區域來計算多個誤差映對 的裝置； 使用相鄰區域的誤差映對來偏移第一個區域的誤差映 對的裝置；以及 使用偏移誤差映對來決定第一個區域的移動估計的裝 置。 21·如申請專利範圍第2 〇項之裝置，其中該裝置包含一個編 碼器。 22·如申請專利範圍第2 1項之裝置，其中該裝置包括一個解 碼器’被設定以自該編碼器接收視訊資訊，其中該解碼 器也包括計算第一區域誤差映對之裝置，計算多個圍繞 在第一區域相鄰區域誤差映對之裝置，使用相鄰區域誤 差映對來偏移第一區域誤差映對的裝置，和使用偏移誤 差映對來決定第一區域移動的裝置。 23. —個從一個來源視訊圖框到目標視訊圖框估計第一區域 移動的方法，該方法包括： 計算第一區域一個無偏移誤差映對； 使用該無偏移誤差映對來決定一個該第一區域的未受 -3- -- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐） 8 8 8 8 A B c D 1241536 六、申請專利範圍 限估計的移動； 計算圍繞該第一區域之多個相鄰區域接近該未受限移 動的誤差數值；以及 使用該已計算的誤差數值來調整該未受限估計移動， 以決定該第一區域之一個局邵限制移動。 -4- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐）