TWI617175B

TWI617175B - Image detection acceleration method

Info

Publication number: TWI617175B
Application number: TW105137808A
Authority: TW
Inventors: 謝君偉; 簡士哲; 張峰嘉; 蕭簡浩
Original assignee: 國家中山科學研究院
Priority date: 2016-11-18
Filing date: 2016-11-18
Publication date: 2018-03-01
Also published as: TW201820841A

Abstract

本發明提出一種影像偵測加速方法，用於提高偵測目標影像之速度，其步驟包括：擷取一影像；擷取該影像之複數個特徵點；以各該特徵點為中心並分別建立相對應的ROI(Region of Interest)區域；將各該ROI區域設定複數個搜尋點掃描視窗；計算各該搜尋點掃描視窗的命中目標分數；藉由比較各該搜尋點掃描視窗的命中目標分數來找出最有可能具有目標影像之ROI區域；藉由重心偏移權重公式計算ROI區域之一重心座標；根據該重心座標的位置縮小ROI區域的搜尋範圍，並縮減各該搜尋點之間的位移。藉此，本發明之影像偵測加速方法可提高影像偵測之效率。

Description

影像偵測加速方法

本發明係關於一種影像偵測加速方法，更特別的是關於一種以影像特徵點為基礎之重要性取樣演算法來減少採樣區域，以提高影像偵測之效率之影像偵測加速方法。

習知之影像偵測方式係需對整張圖像做掃描以偵測目標影像，然而如此會需要大量的掃描視窗，因而增大系統之運算量而使系統的執行效率變差，亦會浪費許多時間在偵測非目標的影像上。如圖1(a)所示，習知之影像偵測方式會針對整張圖像進行掃描以偵測目標影像，因此會如圖1(b)所示，需要大量的掃描視窗。

為了改善上述之問題，目前有影像偵測方式係利用SURF(Speeded Up Robost Features)演算法來先對圖像進行特徵點提取的方式，再針對提取的特徵點進行區塊掃描是否有目標影像，而不須掃描整張圖像，因此能使影像偵測的速度增快，然而此方法在對提取之特徵點進行區塊掃描時，亦會有非目標影像區塊存在之情形，因此此種影像偵測方式雖然僅須對提取之特徵點進行區塊掃描，卻依然有執行效率之問題存在。

本發明之主要目的在於提高影像偵測效率。由於對整張圖像做全域的掃描會使影像偵測效率不佳，而大部分的影像內部都會有不同的特徵點，故不須對整張圖像做全域掃描，而只需對特徵點附近的區域做驗證，就可找出目標影像正確的位置，故本發明係提出一種先基於SURF演算法提取影像特徵點後再以特徵點為基礎之重要性取樣演算法來減少採樣區域，如此能在不降低偵測準確率的情況下，達到減少系統運算量及偵測時間以大幅度增加偵測效率之功效。

為達上述目的及其他目的，本發明提出一種影像偵測加速方法，用於提高偵測目標影像之速度，其步驟包括：(1)擷取一影像；(2)擷取該影像之複數個特徵點；(3)以各該特徵點為中心並分別建立相對應的ROI(Region of Interest)區域；(4)基於各該ROI區域設定複數個搜尋點掃描視窗，該步驟(4)包含：以該ROI區域之特徵點之鄰近的複數個座標來設定該等搜尋點掃描視窗；(5)計算各該特徵點及各該搜尋點掃描視窗的命中目標分數；(6)藉由比較各該特徵點及各該搜尋點掃描視窗的命中目標分數來取得具有最有可能目標影像之ROI區域；(7)藉由重心偏移權重公式計算一第一ROI區域之一重心座標，該步驟(7)包含：基於該第一ROI區域之特徵點及搜尋點掃描視窗的命中目標分數、該第一ROI區域之特徵點及搜尋點掃描視窗的中心座標，以利用該重心偏移權重公式計算出該重心座標；(8)根據該重心座標的位置及該重心座標鄰近之該第一ROI區域之部分搜尋點掃描視窗縮小該第一ROI區域的搜尋範圍，並縮減各該搜尋點之間的位移而建立一第二ROI區域；其中該方法係針對該步驟(6)中各該最有可能具有目標影像之ROI區域，重複利用至少該步驟(7)及(8)以遞迴方式搜尋，從而提高偵測目標影像之速度。

上述之影像偵測加速方法，其中步驟(2)擷取該影像之複數個特徵點，係採用SURF演算法。

上述之影像偵測加速方法，其中步驟(5)計算各該特徵點及各該搜尋點掃描視窗的命中目標分數，係採用SVM(Support Vector Machine)演算法。

11~14‧‧‧搜尋點掃描視窗

15‧‧‧特徵點

16~19‧‧‧搜尋點掃描視窗

20‧‧‧重心

30‧‧‧特徵點

40‧‧‧重心

A1‧‧‧第一ROI區域

A2‧‧‧第二ROI區域

B1‧‧‧ROI區域

B2‧‧‧ROI區域

S11~S19‧‧‧步驟

w1~w9‧‧‧命中目標分數

(x1,y1)~(x9,y9)‧‧‧中心點座標

〔圖1(a)〕係為習知影像偵測方式之對於整張圖像進行全域掃描的照片。

〔圖1(b)〕係為圖1(a)之全域掃描所需之大量掃描視窗的示意圖。

〔圖2〕係為本發明一實施例中之影像偵測加速方法的流程示意圖。

〔圖3(a)〕係為本發明一實施例中之擷取影像特徵點的照片。

〔圖3(b)〕係為以圖3(a)之特徵點為基礎來找出具有目標影像之ROI區域的照片。

〔圖4(a)~圖4(c)〕係為本發明一實施例中之ROI重心偏移的流程示意圖。

〔圖5(a)~圖5(d)〕係為本發明一實施例中之ROI重心偏移的流程照片。

為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：請一併參考圖2~圖5，其中步驟S11~S19係本發明一實施例之影像偵測加速方法的流程。

步驟S11，首先，系統先截取一影像。

步驟S12，利用SURF演算法找出該影像中之複數個特徵點。如圖3(a)所示，其係圖示出一影像中有可能出現目標影像的地方。需說明的是，此實施例之目標影像為行人，然而目標影像可依據使用者之需求而設定，例如可設定為偵測車輛或動物等。

步驟S13，以各該特徵點為中心並且建立相對應的ROI區域。以圖3(a)為例，步驟S13係以各該特徵點為中心並且建立相對應的ROI區域，因此會產生複數個ROI區域。

步驟S14，基於各該ROI區域設定複數個搜尋點掃描視窗。如圖4所示，以特徵點15為中心建立一第一ROI區域A1，並設定鄰近該特徵點15的八個搜尋點掃描視窗11、12、13、14、16、17、18、19，其中(x1,y1)~(x4,y4)及(x6,y6)~(x9,y9)係該等搜尋點掃描視窗11、12、13、14、16、17、18、19的中心點座標，(x5,y5)為特徵點15的座標。

步驟S15，利用SVM演算法計算各該特徵點及各該搜尋點掃描視窗的命中目標分數。如圖4所示，w5為特徵點15的命中目標分數，w1~w4及w6~w9分別為搜尋點掃描視窗11、12、13、14及16、17、18、19的命中目標分數。

步驟S16，藉由比較各該特徵點及各該搜尋點掃描視窗的命中目標分數來取得最有可能具有目標影像之ROI區域。如圖3(b)所示，圖3(b)中的方框即為經過比較圖3(a)中的各該特徵點及各該搜尋點掃描視窗的命中目標分數後，所得到最有可能具有目標影像之ROI區域。

步驟S17，藉由重心偏移權重公式計算ROI區域之一重心座標，該重心偏移權重公式係基於特徵點及搜尋點掃描視窗的命中目標分數與特徵點及搜尋點掃描視窗的中心座標來計算出該重心座標。該重心偏移權重公式係如下式(1)所示：

式(1)中，w_i為特徵點或搜尋點掃描視窗的命中目標分數，(x_i,y_i)為特徵點或搜尋點掃描視窗的中心座標，Centroid(x,y)為重心座標。如圖4(b)所示，其係基於第一ROI區域A1中的特徵點15及搜尋點掃描視窗11、12、13、14及16、17、18、19的命中目標分數w1~w9及其中心座標(x1,y1)~(x9,y9)，以利用式(1)之重心偏移權重公式來計算出第一ROI區域A1的重心20。

步驟S18，根據該重心座標的位置縮小ROI區域的搜尋範圍，並縮減各該搜尋點之間的位移。如圖4(c)所示，其係基於搜尋點掃描視窗14、17、19及特徵點15而建立一第二ROI區域A2，並基於該第二ROI區域A2設定複數個搜尋點掃描視窗，計算該第二ROI區域A2的中心(圖未示)及各該搜尋點掃描視窗的命中目標分數，藉由重心偏移權重公式計算該第二ROI區域A2之重心座標，根據該重心座標的位置縮小ROI區域的搜尋範圍，並縮減各該搜尋點之間的位移。如此，本發明之影像偵測加速方法係為一種可達到逐步逼近目標位置的遞迴搜尋架構，因此可達到減少系統運算量及偵測時間以大幅度增加偵測效率之功效。

請參考圖5，其係圖示本發明之ROI重心偏移流程的實例照片。利用SURF演算法找出一特徵點30後，以該特徵點30為中心建立一ROI區域B1(圖5(a))；以該ROI區域B1設定複數個搜尋點掃描視窗(圖未示)並計算該特徵點30及各該搜尋點掃描視窗的命中目標分數，利用式(1)之重心偏移權重公式計算出該ROI區域B1之重心40(圖5(b))；根據該重心40的位置縮小ROI區域B1的搜尋範圍，並縮減各該搜尋點之間的位移而建立一ROI區域B2(圖5(c))；再基於該ROI區域B2的中心重複前述步驟。

請參考下表一，其係利用現有之測試資料庫(OTCBVS、OTCBVS_2、CAVIAR_medium、CAVIAR_high、PETS_frontview、PETS_sideview)來測試並比較(1)對於整張圖像進行全域掃描之影像偵測方法(Full Search)、(2)利用SURF演算法來先對圖像進行特徵點提取的方式，再針對提取的特徵點進行區塊掃描是否有目標影像之影像偵測方法(SURF Local Search)及(3)本發明之影像偵測加速方法(Our System)之影像搜尋速度的測試結果。由表一所示之測試結果可知，不論以何種資料庫進行測試，本發明之影像偵測加速方法的影像搜尋速度皆大於另外兩種影像偵測方法約10倍，其中FPS(Frame per Second)為畫面更新率，其表示每秒可以處理的圖像張數，FPS數值愈高代表系統處理圖像的速度愈快，因此表一可以證明本發明之影像偵測加速方法確實可達到減少系統運算量及偵測時間以大幅度增加偵測效率之功效。另外，本發明之影像偵測加速方法可適用於行人偵測或障礙物偵測等車用系統，而不需要額外的硬體設備即可達到即時的效益。

本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。

Claims

一種影像偵測加速方法，用於提高偵測目標影像之速度，其步驟包括：(1)擷取一影像；(2)擷取該影像之複數個特徵點；(3)以各該特徵點為中心並分別建立相對應的ROI(Region of Interest)區域；(4)基於各該ROI區域設定複數個搜尋點掃描視窗，該步驟(4)包含：以該ROI區域之特徵點之鄰近的複數個座標來設定該等搜尋點掃描視窗；(5)計算各該特徵點及各該搜尋點掃描視窗的命中目標分數；(6)藉由比較各該特徵點及各該搜尋點掃描視窗的命中目標分數來取得最有可能具有目標影像之ROI區域；(7)藉由重心偏移權重公式計算一第一ROI區域之一重心座標，該步驟(7)包含：基於該第一ROI區域之特徵點及搜尋點掃描視窗的命中目標分數、該第一ROI區域之特徵點及搜尋點掃描視窗的中心座標，以利用該重心偏移權重公式計算出該重心座標；(8)根據該重心座標的位置及該重心座標鄰近之該第一ROI區域之部分搜尋點掃描視窗縮小該第一ROI區域的搜尋範圍，並縮減各該搜尋點之間的位移而建立一第二ROI區域；其中該方法係針對該步驟(6)中各該最有可能具有目標影像之ROI區域，重複利用至少該步驟(7)及(8)以遞迴方式搜尋，從而提高偵測目標影像之速度。
如請求項1所述之影像偵測加速方法，其中步驟(2)擷取該影像之複數個特徵點，係採用SURF(Speeded Up Robost Features)演算法。
如請求項1所述之影像偵測加速方法，其中步驟(5)計算各該特徵點及各該搜尋點掃描視窗的命中目標分數，係採用SVM(Support Vector Machine)演算法。