TW200937349A - Image displacement detection method - Google Patents

Description

200937349 九、發明說明： 【發明所屬之技術領域】 ^明係關於-種影像位移偵測方法，尤其係關於應用 在感測器（例如光學賴的感湘彡像姉制方法，可 ”提高約-倍感測器最大追蹤速度(Max Track i ng Speed) ° 【先前技術】 傳統典型的區塊比對演算法(Block Matching Algorithm)，是固定在第一時間影像(rt Frame)的中心選取 一小於第一時間影像的區塊稱為基準區塊(Reference Block)，再依此基準區塊對第二時間影像(2„d Frame)作比對 搜尋，其比對方式是將第二時間影像分割成一塊塊與基準區 塊相同大小的區塊稱之為取樣區塊群(gample Bi〇cks)，再經 過平均絕對值誤差（Mean Absolute Difference，簡稱MAD) 或均平方根誤差(Mean Square Error，簡稱MSE)區塊運算， 計算每一個像素之間的相似度，於取樣區塊群找出一與基準 區塊最佳匹配之取樣區塊(經計算後值最小的區塊），藉以計 算出影像的位移向量。 mad {s) = ^f}[RB{x,y)-SB{x,y^) MSE (s)= 其中RB(x，y)是基準區塊的像素值，SB(x，y，s)是取樣區塊的 像素值，Μ是比對區塊的大小 取樣區塊。底下，舉例說明習

200937349 ’ s是指取樣區塊群中的第幾個 知影像位移偵測方法。 第-A—D圖為習知影像位移伽方法之示意圖。如第一 Α圖所示，感測器感應陣列大小_，影像比對基準區塊別 M*M，取樣頻率為f，實際的每—個像素(細υ邊長為卜X 軸方向的X軸最大位移量為Χ—_ = (Ν姻像素，而Υ轴方 向的Υ軸最大位移量為Y—max = (_+2像素。傳統區塊比對 法的最大追猶度=(MH2 χ f χ L (距離單位/秒）。 如第一 B圖所示，在虛擬的桌面1〇中，感測器由左上角 往右下角移動並分縣得連續影像。如第一 c圖所 示’所娜的影像12aL相具有影像碰⑷〜⑷。 為了偵測影像位移，以第一時間影像12a之令心取一正方 的區塊作為影像比對基準區塊(Ref從⑽B1〇ck)(即圍繞住影 像特徵14a) ’然後從第二時間影像伽的左上角開始，以同樣 的方式取出-個_大小的子區塊，來進行輯是否相同並 為了找到第時間影像12a與第二時間影像12b之間的影像位 移向里，對第二時間影像12b展開全區域搜尋比對程序。 在全區域搜尋比對程序中，在影像12b向右移動一個像素 再取出另一個相同大小的子區塊，並且持續地由左至右，由上 而下’依序搜尋逐一經過MAD SMSE區塊運算，找出最匹配的 子區塊(The Matched Subblock) ’進而找到第一時間影像i2a 6 200937349 與第二時間影像12b之間的影像位移向量s(-x，+y)。 如第一 D圖所示，經過這些子區塊的逐次比對後可得一個 與影像比對基準區塊最為相似之子區塊，進而求得影像的位移 向里S。傳統區塊比對法是把影像比對基準區塊當作初始位置 (〇’〇)，若找出的最佳匹配的子區塊相對於影像比對基準區塊 的位置’是向左移X個像素就定義影像位移向量為，，X “，向 右移X個像魏定義f彡像位移向量為，，+χ “，若位置是初始位 置向下移y個像素就定義影像位移向量為，，_y “，向上移⑽ 像素就定義影像位移向量為” +y ‘、因此上述所得影像的位移 向量S(-x，+y)，就是在經過第二時間後，第一時間影像i2a 的中〜衫像特徵14a「★」，在X軸上，往左移動了 χ個像素， 在Y軸上，往上移動了 y個像素。 第二A、二B圖為習知影像位移制方法之另一示意圖。 如第二A圖所示’在虛擬的桌面1G中，感測器由左上角往右 下角移動並分別取得連續影像12a〜12d。只是，在第二張連續 影像12b與第三張連續影像12c之間，感測器突然發生慣性方 向的快速移動，所擷取到影像12b、既，如第圖所示。 在第二B圖中，影像12c缺少了在影像既中央的影 徵14b ’因此習知影像位移偵測方法將綠在影像版找到最 佳匹配的子區塊，亦無法找出影像位移向量。 本發明的發明人魏於f知影像位移侧綠仍有改進 200937349 之處’因而亟思改良而發明出—種影像位移制方法，可以相 對的提高約—倍_⑽ensart最大魏速度(Max Tracking Speed) ° 【發明内容】 本發明之主要目的在提供—郷像位移_方法，其主 要在影像比對基準11塊的選取方式上作了改良，可相對的提 Ο 尚―倍感測器最大追蹤速度，崎低感測ϋ發生快速移動時 而無法進行影像位移偵測的情形。 為了達成上述目的’本發明提供一種影像位移偵測方 法’應用在感測器，包括下列步驟(Α)至步驟(D)。步驟⑷係 如果前次影像位移向量的χ軸位移量大於最大χ轴位移量， 則將X軸位移里设定為等於最大X軸位移量；以及如果前次 影像位移向量的γ轴位移量大於最大γ轴位移量則將乂轴 ❹ 位移量設定為等於最大心位移量。步驟⑻係第一時間 衫像的中心位置為起點’以前次影像位移向量反方向位移 處’決定為胸影像比對基準區塊的中心位置。步驟⑹係 對第二時間影像進行搜尋比對，以在第二時間影像中找到與 影像比對基準區塊相同的子區塊。步驟⑻係依據該子區塊位 於該第二時間影像的位置以及該影像比對基準區塊位於該第 -時間影像的位置，計算續得目前影像位移向量。藉此， 本發明方法可以相對的提高約—倍感測器最大追蹤妓(Max 8 200937349

Tracking Speed)。 關於本發明之優點與精神可叫由以下的㈣詳述及所 附圖式得到進一步的瞭解。 【實施方式】 請配合參見第三A與三B圖的程序A，同樣在第二心二 B圖所示之狀態下，在第—次進行影像位移躺時由於一 開始並沒有前次影像位移向量存在，所以，在第—時間影像 12a(即為第-張連續影像12a)之中心取一個正方的區塊作 為影像比對基準區塊，該影像比對基準區塊的大小可為 Μ相。接著’便由第二時間影像12b(即為第n續影像咖 的左上角開始’取出-個相同大小的子區塊，來與影像 比對基準區塊進行比對是否&配(或相同），如果是不匹配(或 不相同）的話，接著再向右移動一個像素再取出另一個臟 子區塊，再與影像比對基準區塊進行比對是否匹配（或相 同）’如此地在整個完整的第二時間影像12b裡由左至右，由 上而下’對每個取出的子區塊進行賺或聰區塊運算，以 找出最佳匹配(或相同）的子區塊，據此而計算獲得第一時間 影像12a與第二時間影像12b之間的影像位移向量s。所計 算獲得的影像位移向量S(—x，+y)，如第一 D圖所示。 不過若在第一張連續影像12b與第三張連續影像i2c 之間，感測器突然發生慣性方向的快速移動時，雖然在影像 200937349 版缺少了在影像12b中央的影像特徵地，但是藉著本發明 影像位移偵測方法，依然能夠計算獲得第二張連續影像既 與第三張連續影像12c之間的影像位移向量。 第四圖為本發像位移_方法之示意圖。兹舉以第 二張連續影像12b與第三張連續影像12c為例，如何利用本 發明方法來獲得影像12b、12c之間的影像位移向量s，並請 配合參見第三A圖位於左侧的流程方塊。在第四圖中，本^ 明影像位移偵測方法當檢查前次影像位移向量5(々，作） (即影像12a ' 12b之間的影像位移向量s，如第一 D圖所示） 時’如果發現X軸位移量x㈣小於鱗於χ軸最大位移量， 以及同時Υ軸位移量y值係小於或等於γ軸最大位移量距離 的話(也就是：X <= X_max，y <= Y_max)，則以第_時間影 像12b(亦即為第二張連續影像㈣的中心位置為起點，以前 次影像位移向量S(_x，+y)反方向位移處，亦即在影像既 中虛線鍵頭所標示處’來決定做為M相影像比對基準區塊(其 圍繞住影像特徵14c)，虛線鍵頭所標示處的像素也就是該 M*M影像比對基準區塊的中心位置。在這個範例中，前次影 像位移向量S(-X，+y)的X、γ軸位移量係分別小於等於χ、 Υ轴最大位移量，因此前次影像位移向量s並未改變其值。 然後，依據該影像比對基準區塊，對第二時間影像 12c(亦即為第三張連續影像丨2 c)進行MAD或MSE區塊運算， 200937349 最後在第二時間影像12c中找出最佳匹配(或相同）的子區塊 (其圍繞住影像特徵14c)，據此而計算獲得第—剌影像伽 與第一時間影像12c之間的影像位移向量S(-2x，+2y)。 第五圖為本發明影像位移偵測方法之另一示意圖。茲舉 以第三張連續影像12c與第四張連續影像i2d為例，如何如 何利用本發明方法來獲得影像12c、12d之間的影像位移向量 S並明Si合參見第三A圖位於中央的流程方塊。本發明影像 位移賴測方法當檢查前次影像位移向量S(-2x，+2y)(即影 像12b 12c之間的影像位移向量$，如第四圖所示）時如 果發現X軸位移量2x值係大於χ轴最大位移量的話，則將χ 軸位移量奴為等於X軸最纽移量(也就是s(x轴位移量， Y軸位移量），令X軸位移量=X_max);另一方面，如果發現 Y軸位移量2y鶴纽γ贿纽移量的話，_ γ抽位移 量設定為等於Υ軸最大位移量(也就是s(x軸位移量，心 位移量）’令Y轴位移量=Y_max)。在這個範例中，前次影像 位移向量S(-2x，+2y)的χ、γ軸位移量係皆分別大於χ、γ 軸最大位移量，目赠次影雜軸量s _錄已被取代。 然後，以第-時間影像12c(亦即為第三張連續影像版） 的中心位置為起點，以改變其錢的前次影像位移向量8反 方向位移處’亦即在影像12c中虛線鍵頭所標示處，來決定 做為瞧劍象比對基準區塊(其圍繞住影像特徵⑽，虛線 11 200937349 鍵頭所榡不處的像素也就是該M*M影像比對基準區塊的中心 位置。 ❹

然後，依據該影像比對基準區塊，對第二時間影像 12d(亦即為第四張連續影像12 d)進行MAD或MSE區塊運算， 最後在第—時間影像12d中找出最佳匹(或相同）的子區塊 C、圍繞住衫像特徵14e)，據此而計算獲得第一時間影像Ik 與第二時間影像12d之間的影像位移向量s(—χ，+y)。 基於上述本發财法，可縛&姆的最大_速度= (㈣X f χ L(距離單位/秒），所以，在相同感測器的成本 下，透過對傳統影像位移_方法良，本發明方法相對 的可增加約―倍感·最大猶速度(Max Tracking Speed) ’此即本發明優點與⑽增進所在。 斷施狀_，解魏更加清楚描 ^ 精神，喊細上述所揭露陳佳具體實 J來對本發明之料加以限制。相反地，其目的是希望能 請之專利範 涵盍各觀變及具相等性的安排於本發明所欲申 圍的範驚内。 【圖式簡單說明】 第-A至-D圖為f知影像位移細方法之示意圖。 第二A至二B帽知影像位移侧方法之另一示意圓 第二A、二B «本發明影像位移細方法之流程圖。 12 200937349 第四圖為本發明影像位移偵測方法之示意圖。 第五圖為本發明影像位移偵測方法之另一示意圖。 【主要元件符號說明】 10桌面 12a〜12d影像 14a~14e影像特徵

13

Claims (1)

1. 200937349 十、申請專利範圍： 1. 一種影像位移偵測方法，包括下列步驟： (A).擷取一影像； (Β)·判斷一第一時間影像是否存在如果為真則 將該步驟（Α)的影像儲存成一第二時間影像，以及跳入 步驟（C)繼續執行，如果為偽則將該步驟（Α)的影像儲 ❹存成該第一時間影像，然後返回該步驟（Α); (C)·判斷一前次影像位移向量是否存在，如果為 真則跳入步驟（D )，如果為偽則執行： (cl).利用該第一時間影像的中心位 置，決定為一M*M影像比對基準區塊的中心位置，其中 該Μ > 〇 ; '、 (c2).對該第二時間影像進行搜尋比 對’ w在該第二時間影像巾找到與該影像比對基準區 塊最匹配或相同的子區塊： (c3).依據該子區塊位於該第二時間 〜像的位置以及该影像比對基準區塊位於該第—時間 影像的位置，計算以獲得目前影像位移向量，然後返 回該步驟（A); (D)·判斷該前次影像位移向量的χ軸位移量是否 小於等於-最大X軸位移量並且該前次影像位移向量 200937349 的Y轴位移量是否小於等於一 真則跳入步驟（Ε1)繼續執行， 繼續執行； 最大Υ軸位移量，如果為 如果為偽則跳入步驟（F1) 、（EU.利用該第一時間影像的中心位置為起點， 以該前次影像位移向量反方向位移處，決定為該㈣ 衫像比對基準區塊的中心位置；

   (Ε2).對該第二時間影像進行搜尋比對，以在該第 二時間影像中找到與該影像比對基準區塊最匹配或相 同的子區塊： (Ε3)·依據該子區塊位於該第二時間影像的位置 以及 '影像比對基準區塊位於該第一時間影像的位 置’計算以獲得目前影像位移向量’然後返回該步驟 (Α)； (F1).如果該前次影像位移向量的X軸位移量大於 該最大X軸位移量，則將該1軸位移量設定為等於該最 大X軸位移量；以及如果該前次影像位移向量的γ軸位 移I大於該最大γ軸位移量，則將該¥軸位移量設 等於該最大Υ軸位移量； … (F2).利用該第一時間影像的中心位置為起點，以 完成該步驟（F1)的該前次影像位移向量反方向位移 處’決定為該Μ*Μ影像比對基準區塊的中心位置； 15 200937349 (F3).對該第二時間影像進行搜尋比對，以在該第 二時間影像巾㈣與該影像轉基準區塊最匹配或相 同的子區塊： (F4).依據該子區塊位於該第二時間影像的位置 以及該影像比對基準區塊位於該第一時間影像的位 置’計算以獲得目前影像位移向量，然後返回該步驟 (A)。

   中該Μ值大小，係依據一感測器而決定。 3·如申請專利範圍第！項所述之提升辨識速度的影像 位移偵測方法’其中该最大χ軸位移量以及該最大Υ軸 位移量’係依據-錢H而分別決定其數值大小。 4·如申請專利㈣第1項所述之影隸移_方法其 中該最大X軸位移量與該最位移量，係皆儲存成 OMO/2’其中㈣陣列係為—感測器的感應矩陣大 小’以及其中Μ係小於N。 .一種影像位移偵測方法，應用—感測器，包括下列 步驟： 曰（Α).如果一前次影像位移向量的X軸位移量大於一 取大X軸位移$ ’則將該_位移量^定為等於該最大X 16 200937349 軸位移量；以及如果該前次影像位移向量的¥軸位移量 大於一最大γ轴位移量，則將該¥軸位移量設定為等於 該最大Y軸位移量； (B) .利用一第一時間影像的中心位置為起點，以 完成該步驟（A)的該前次影像位移向量反方向位移 處，決定為一 M*M影像比對基準區塊的中心位置； (C) ·對一第二時間影像進行搜尋比對，以在該第 二時間影像中找到與該影像比對基準區塊最匹配或相 同的子區塊： (D) .依據該子區塊位於該第二時間影像的位置以 及忒衫像比對基準區塊位於該第一時間影像的位置， 計算以獲得目前影像位移向量。 6. 如申請專利範圍第5項所述之影像位移偵測方法，其 中該Μ值大小，係依據該感測器而決定。 7. 如申請專利範圍第5項所述之影像位移偵測方法，其 中該最大X軸位移量以及該最大γ軸位移量，係依據該 感測器而分別決定其數值大小。 8. 如申明專利範圍第5項所述之影像位移偵測方法，其 中該最大X轴位移量與該最大丫軸位移量，係皆儲存成 (N-MV2 ’ #中Ν*Ν陣列係為該感測器的感應矩陣大 小’以及其中Μ係小於ν。 200937349 9. 一種影像位移偵測方法，應用一感測器，包括下列 步驟： (A).利用一第一時間影像的中心位置為起點，以 一前次影像位移向量反方向位移處，決定為一 M*M影像 比對基準區塊的中心位置；

   (B) .對一第二時間影像進行搜尋比對，以在該第二 時間影像中找到與該影像比對基準區塊最匹配或相同 的子區塊： (C) .依據該子區塊位於該第二時間影像的位置以 及該影像比對基準區塊位於該第一時間影像的位置， 計算以獲得目前影像位移向量。 10.如申請專利範圍第9項所述之影像位移偵測方法， 其中該Μ值大小，係依據該感測器而決定。 ❿ 11.如申請專利範圍第9項所述之影像位移偵測方法， 其中該最大X軸位移量以及該最大Υ軸位移量，係依據 該感測器而分別決定其數值大小。 12.如申請專利範圍第9項所述之影像位移偵測方法，其中該最 大X軸位移量與該最大Υ軸位移量，係皆儲存成(N-MV2，其中 Ν*Ν陣列係為該感測器的感應矩陣大小，以及其中Μ係小於Ν。 18