TWI509568B

TWI509568B - 偵測多移動目標之方法

Info

Publication number: TWI509568B
Application number: TW102138611A
Authority: TW
Inventors: Chao Ho Chen; Tsong Yi Chen; Zong Che Wu
Original assignee: Univ Nat Kaohsiung Applied Sci
Priority date: 2013-10-25
Filing date: 2013-10-25
Publication date: 2015-11-21
Also published as: TW201516965A

Description

偵測多移動目標之方法

本發明是有關於一種偵測多移動目標之方法，特別是有關於一種可於動態背景環境中追蹤複數個移動目標之偵測多移動目標之方法。

習知偵測移動目標之方法，不外乎有用於固定影像擷取裝置之背景相減法，此方法需先建立一個沒有移動目標之絕對背景，而後再利用影像差值取得移動目標，然，因架設於移動載具之影像擷取裝置之擷取畫面會因載具本體移動而造成畫面背景更新速度加快，因而無法即時建立絕對背景，故無法正確找出移動目標。因此，上述習知偵測方法只適用於固定影像擷取裝置所擷取的靜態背景環境中之移動目標偵測。

另一習知偵測移動目標之方法為相鄰相減法，此方法係利用當前影像與上張影像做相減之動作，然而，同上述之背景相減法一樣，如畫面背景更新變動太快(亦即動態背景)，則無法正確找出移動目標，因此只適用於固定影像擷取裝置所擷取的靜態背景環境中之移動目標偵測。

而有鑒於上述相鄰相減法之缺失，現已提出另一習知方法-光流法(optical flow)，此演算法為常用之特徵點匹配之方法，適用於當畫面出現多移動目標時，個別偵測移動目標體之移動方向，然而，若處於影像擷取裝置架設於移動載具之情況下，影像擷取裝置擷取畫面時，將會因為移動載具移動而產生自體運動特徵向量，進而影響偵測效果。

有鑒於上述習知技藝之問題，本發明之目的就是在提供一種於動態背景畫面中偵測多移動目標之方法，以解決習知偵測多移動目標時所遭遇之問題。

根據本發明之目的，提出一種偵測多移動目標之方法，其包含下列步驟：辨識連續之複數個影像之複數個特徵點群；辨識各影像之特徵點群間相互匹配之複數個特徵點；利用視角幾何法取得前一個影像之對應已匹配之各特徵點之極線，且分別計算目前影像之已匹配之各特徵點與對應之各極線之距離，若距離大於第一門檻值，目前影像之複數個特徵點為前景特徵點群，若距離小於第一門檻值，目前影像之複數個特徵點為背景特徵點群；藉由前一個影像之前景特徵點群更新目前影像之前景特徵點群；判斷目前影像之背景特徵點群之背景特徵點機率是否大於第二門檻值，當大於第二門檻值時，藉由執行透視變換以建立重建背景影像，目前影像與重建背景影像之間具有影像差值；利用區域成長法(region growing)並藉由目前影像之更新前景特徵點群及影像差值取得對應各移動目標之一目標輪廓；合併各影像中之複數個目標輪廓，並利用形態學方法處理(morphological processing)以產生含複數個目標輪廓之目標輪廓影像；以及藉由追蹤裝置依據目標輪廓影像追蹤各移動目標，且保存追蹤資訊。

較佳地，尋找複數個特徵點群更可包含下列步驟：藉由角點偵測法(corner detection)取得影像中之複數個角點及其水平變量及垂直變量；以及當角點之水平變量及垂直變量皆大於最小門檻值時，角點為影像之特徵點(feature point)。

較佳地，辨識各影像之相互匹配之特徵點更可包含下列步驟：利用光流法並依據相互匹配之各特徵點之移動向量(motion vector)取得相互匹配之各特徵點於連續之複數個影像中之座標。

較佳地，計算目前影像之各特徵點與對應之各極線(epipolar line)之距離之前，更可包含下列步驟：藉由連續之二影像之特徵點群，算出其中一影像之各特徵點與另一影像之各特徵點間之基本矩陣(fundamental matrix)，其中二影像於目前影像之前；以及藉由基本矩陣，算出目前影像之前之其中一影像之複數個特徵點之複數條極線。

較佳地，更新目前影像之前景特徵點群更可包含下列步驟：取得前一個影像之前景特徵點群及目前影像之前景特徵點群；將前一個影像之前景特徵點群與目前影像之特徵點群進行匹配；以及若匹配成功，則以匹配結果更新目前影像之前景特徵點群。

較佳地，判斷目前影像之背景特徵點群之背景特徵點機率是否大於第二門檻值更可包含下列步驟：當目前影像之前景特徵點群之背景特徵點機率小於第二門檻值時，將不建立重建背景影像。

較佳地，建立重建背景影像之後，更可包含下列步驟：計算目前影像之前景特徵點群之平均移動向量；以及判斷平均移動向量是否大於最大門檻值，若大於最大門檻值時，則對影像差值執行自體運動補償動作。

較佳地，追蹤各該移動目標更可包含下列步驟：利用複數個矩形框分別框住各移動目標；以及以各矩形框之重心位置作為各移動目標之追蹤點。

較佳地，追蹤各移動目標更可包含下列步驟：步驟(a)：追蹤對應各移動目標之各矩形框之追蹤資訊；若無移動目標，而無法追蹤追蹤資訊時，則執行步驟(e)；步驟(b)：判斷複數個移動目標之搜尋範圍，若搜尋範圍具有複數個移動目標，則執行步驟(c)；若無任一移動目標，則執行步驟(d)；若具有移動目標且移動目標未被追蹤時，則追蹤移動目標並將移動目標當作追蹤搜尋之起點位置，再執行步驟(e)；若具有移動目標且移動目標已被追蹤，則將對應移動目標之二矩形框合併為一，並執行步驟(e)；步驟(c)：計算所追蹤之移動目標與其他移動目標之距離及其大小，選擇距所追蹤之移動目標最近、大小最相近及尚未被追蹤之其他移動目標，作為追蹤搜尋之新的起點位置，並執行步驟(e)；步驟(d)：執行追蹤搜尋，由追蹤裝置估算所追蹤之移動目標所對應之矩形框之位置，以設為追蹤搜尋之起點位置，並計算保留時間，執行步驟(e)；以及步驟(e)：執行另一移動目標之位置計算，追蹤裝置分別計算各移動目標之位置，且儲存追蹤資訊，當超過保留時間時，將刪除追蹤資訊，並執行步驟(a)。

較佳地，搜尋範圍可為對應該移動目標之矩形框之寬度之二倍及矩形框之高度之二倍，且追蹤資訊可包含矩形框之重心位置、寬度、高度或其組合。

承上所述，本發明之偵測多移動目標之方法可藉由多視角幾何法分類出背景特徵點及前景特徵點(移動目標)，且係以角點作為特徵點，以有效降低計算量，並且藉由背景重建及時空域之型態學處理以完整地標示出目標輪廓以執行進一步地追蹤動作。

1‧‧‧多移動目標偵測系統

11‧‧‧環境分離模組

12‧‧‧目標定位模組

13‧‧‧目標追蹤模組

2‧‧‧移動目標

3‧‧‧矩形框

S101至S84‧‧‧步驟

第1圖係為本發明之偵測多移動目標之方法之第一流程圖。

第2圖係為本發明之偵測多移動目標之方法之方塊圖。

第3圖係為本發明之偵測多移動目標之方法之第二流程圖。

第4圖係為視角幾何之示意圖。

第5圖係為本發明之偵測多移動目標之方法之第三流程圖。

第6圖係為本發明之偵測多移動目標之方法之第四流程圖。

第7圖係為本發明之偵測多移動目標之方法之第五流程圖。

第8圖係為本發明之偵測多移動目標之方法之第六流程圖。

第9圖係為本發明之偵測多移動目標之方法之移動目標及矩形框之示意圖。

為利貴審查員瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合圖式，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。

請參閱第1至9圖；第1圖係為本發明之偵測多移動目標之方法之第一流程圖；第2圖係為本發明之偵測多移動目標之方法之方塊圖；第3圖係為本發明之偵測多移動目標之方法之第二流程圖；第4圖係為視角幾何之示意圖；第5圖係為本發明之偵測多移動目標之方法之第三流程圖；第6圖係為本發明之偵測多移動目標之方法之第四流程圖；第7圖係為本發明之偵測多移動目標之方法之第五流程圖；第8圖係為本發明之偵測多移動目標之方法之第六流程圖；第9圖係為本發明之偵測多移動目標之方法之移動目標及矩形框之示意圖。如圖所示，提出一種偵測多移動目標之方法其包含下列步驟：輸入影像序列(步驟S101)；辨識連續之複數個影像之複數個特徵點群(步驟S102)；辨識各影像之特徵點群間相互匹配之複數個特徵點(步驟S103)；利用視角幾何法取得前一個影像之對應已匹配之各特徵點之極線，且分別計算目前影像之已匹配之各特徵點與對應之各極線之距離，若距離大於第一門檻值，目前影像之複數個特徵點為前景特徵點群，若距離小於第一門檻值，目前影像之複數個特徵點為背景特徵點群(步驟S104)；藉由前一個影像之前景特徵點群更新目前影像之前景特徵點群(步驟S105)；判斷目前影像之背景特徵點群之背景特徵點機率是否大於第二門檻值，當大於第二門檻值時，藉由執行透視變換以建立重建背景影像(步驟S106)，目前影像與重建背景影像之間具有影像差值(步驟S107)；利用區域成長法並藉由目前影像之更新前景特徵點群及影像差值取得對應各移動目標之一目標輪廓(步驟S108)；合併各影像中之複數個目標輪廓，並利用形態學方法處理以產生含複數個目標輪廓之目標輪廓影像(步驟S109)；藉由追蹤裝置依據目標輪廓影像追蹤各移動目標(步驟S110)，且保存追蹤資訊(步驟111)；以及顯示處理成果(步驟112)。

更進一步地，本發明之偵測多移動目標之方法係對應有一多移動目標偵測系統1，其主要包含三大模組：環境分離模組11、目標定位模組12、目標追蹤模組13；其中，更可包含影像擷取模組，用以擷取複數個影像，以及包含顯示模組，用以顯示處理成果；而環境分離模組11、目標定位模組12、目標追蹤模組13之詳細說明將於下段中加以敘述。

由於以移動載具視覺作為拍攝的環境，因此拍攝出來的影像是一個全域(global)的移動，除背景環境移動外，也可能包含移動目標的區域移動，在此使用環境分離模組11來分離背景環境與前景環境(移動目標)之特徵點。其中，本發明之環境分離模組11係只針對影像中的角點(corner)群來做運算，不像習知方法需計算區域或邊緣線上之大量像素點，因此計算量可大幅縮小，亦可減少畫面色彩或變形對分類特徵點之影響，更提高了計算像素位移的準確性；本發明之環境分離模組11係可負責尋找特徵點(feature point)、特徵點匹配及特徵點分類三部分。

辨識影像中之特徵點係使用Sobel邊緣運算子來偵測影像的邊緣資訊，接著利用Shi&Tomasi所提出改良Harris算法的方法，Harris算法原理是根據某個特定的像素點為中心給予3x3遮罩，檢測通過遮罩在各個方向上的變化程度，決定是否為角點，此方法需要給予多個門檻值，用於快速變化的方向及緩慢變換的方向進行門檻值處理，如公式(1)所示。

M _c=λ ₁ λ ₂-k(λ ₁+λ ₂)² (1)

其中，k為可調之靈敏度參數，λ ₁、λ ₂分別為角點偵測之水平變量及垂直變量，在λ ₁、λ ₂兩數值均大於最小門檻值時，該角點便為強角點，本發明係以位於角落上之強角點作為影像之特徵點。

找到影像中之特徵點後，需在連續之複數個影像中辨識出互相對應之特徵點，進一步地使用光流法(optical flow)針對找到之已匹配的特徵點，以該些特徵點之移動向量找出特徵點在連續影像中相對應之座標；其是以梯度值來搜尋，由於特徵點原先就是梯度值較高的地方，故會有較高準確率。然，考量到光流易受雜訊干擾，因此，可使用中值濾波器之運算原理以取得整張影像向量長度中間數值段，以過濾錯誤向量。

進一步地，找到相互匹配對應之特徵點後，利用視角幾何(view geometry)的方法，藉由辨識二連續相鄰影像之特徵點(步驟S31)，如連續之前二個影像(時序為t-1、t-2之影像)之特徵點群，計算出特徵點間對應之基本矩陣(fundamental matrix)(步驟S33)；再由基本矩陣與t-1影像之特徵點群之關係取得t-1影像之極線(epipolar line)(步驟S34)；辨識目前影像之特徵點(步驟S32)，進而算出目前影像(時序為t之影像)之特徵點群與對應前一個影像(t-1影像)之極線之距離(步驟S35)，利用距離關係(門檻值判斷TH1)將特徵點分為前景特徵點與背景特徵點；在此門檻值TH1可為1，但不以此為限。

基本矩陣之求法係為在連續二影像中，藉由基本矩陣F計算出特徵點P ₁所對應之特徵點P ₂；而現在已知特徵點P ₁及P ₂，因此，可反推取得基本矩陣F，如公式(2)所示。

P ₁=FP ₂ (2)

而特徵點與對應極線的距離算法則是算出將各特徵點之座標P(x ₀,y ₀)到直線L：ax+by+c=0之距離，可用公式(3)計算。

其中，藉由判斷各特徵點到極線之距離d與門檻值TH1之大小關係對各特徵點進行分類，當d>TH1(本發明之TH1係以1為例)時，該特徵點係為前景特徵點(步驟S36)；當d<TH1時，則該特徵點係為背景特徵點(步驟S37)。

如第4圖所示，o _l與o _r是左右兩台攝影機的中心，P是三維空間中的某一個特徵點，o _l、o _r與P會形成一個三角形的極線平面(epipolar plane)，三維空間的特徵點P投影在兩張影像平面u _l與u _r上分別為m _l與m _r位置，這兩點雖然表示為同一個特徵點，由於攝影機觀測角度不同因此在兩張影像平面上的位置也就不相同。u _l與u _r分別表示o _l、o _r兩影像的極線，公式(4)為描述特徵點與極線的對應關係。

u _r=Fm _l，u _l=F ^T m _r (4)

其中，F是個3X3的矩陣，稱為兩個連續影像間的基本矩陣，有了基本矩陣與影像特徵點後，便能求得對應之極線，因此，若要取得特徵點對應之極線，則須先藉由連續影像間之特徵點群求出基本矩陣。

詳細說明完環境分類模組11之後，接著開始說明目標定位模組12，目標定位模組12係利用相鄰影格(adjacent frames)之背景特徵點匹配計算出透視變換矩陣(perspective transform matrix)以找出背景之移動，並藉由透視變換矩陣建立之重建背景影像及目前影像之差值得到移動目標之目標輪廓，進而找出影像中之移動目標。

影像擷取模組在移動的狀態下，影像與影像之間移動距離跟移動方向係隨時改變，進而導致特徵點分類取得較差的結果，因此，本發明於特徵點分類之後，將利用時間域計算之特性對前景特徵點群之穩定性進行增強；其先取得目前影像之特徵群(步驟S52)，並從中取得前景特徵點群(步驟S53)，以及取得前一個影像之前景特徵點群(步驟S51)，經由前一個影像之前景特徵點群與目前影像之特徵點群進行匹配(步驟S54)，再以匹配成功之匹配結果更新目前影像之前景特徵點群(步驟S55)，以增強目前影像之前景特徵點群之穩定性。

另一方面，背景影像重建係先取得目前影像之前景特徵點群(步驟S61)及背景特徵點群(步驟S62)，並且比較目前影像之背景特徵點機率及門檻值TH2(步驟S63)；由於背景特徵點絕大數落在背景環境物體上，只有少數量會落於移動目標體，因此，如背景特徵點機率大於門檻值TH2時(在此TH2以50%為例，但不應以此為限)，則表示移動目標本體上有被誤判為背景特徵點的部分，因此需要執行透視變換(步驟S64)，反之，背景特徵點機率若小於門檻值TH2時，便不執行背景影像重建(步驟S67)；藉由連續影像之背景特徵點計算出單應性矩陣，以將前一個影像做透視變換，再與目前影像做差值運算(步驟S65)，依據差值運算之結果進行補償自體運動(Ego-Motion)(步驟S66)，最後輸出重建之結果。

其中，進行透視變化時，係藉由射影線性變換關係取得轉換公式(5)，射影變換後大小及角度會產生變化，但會保持重合關係及交比。

其中a和b為兩連續影像向某平面中的點P _i看去的射影點。K _a及K _b為內參數矩陣，透視射影在笛卡兒座標下為非線性變換，故無法使用矩陣乘法執行透視射影所必需的除法運算，H _ba可表示為公式(6)。

其中，R為a、b之旋轉矩陣；t為從a到b之平移向量；n及d分別是平面之法向量與到平面之距離。

而影像差值方面，請見公式(7)。

其中，frame(x,y,t)代表時間t的影像畫面，frame(x,y,t-1)’為時間t-1的影像經過透視變換後的重建影像，BI(x,y,t)則為frame(x,y,t)與frame(x,y,t-1)’二影像的差值所轉化成二值影像。

上述所提到之自體補償係指影像擷取模組在移動之狀態下，有可能會產生轉向、上下抖動或劇烈偏移等自體運動，進而導致影像邊緣有新增區域的情況發生。

有鑒於此，本發明係提出利用背景特徵點群之平均向量V _avg，來推估自體運動方向，如公式(8)所示。

其中，V _i為二續影像之背景特徵點的移動向量(△x,△y)，n為背景特徵點群的數量。攝影機向前移動時，背景特徵點群之向量以放射狀方式向外擴張，平均後的值為很小，若平均向量V _avg大於最大門檻值TV 時，便表示有自體運動的情況產生，進而可依據平均向量V _avg來評斷是否產生嚴重位移，並依據嚴重外移之相反方向做補償動作，使得二值圖上邊緣不會出現自體運動所造成之背景輪廓。

結束上述中之環境分類模組11及目標定位模組12後，再對目標追蹤模組13進行說明。

於上述中係將前景特徵點與背景特徵點分開個別處理，接著，便需將原先分開處理後之結果合併以取得各移動目標之目標輪廓。

由於分類特徵點容易遭受到整體環境變動影響，降低特徵點分類之準確性；且由於移動目標為不規則移動，不可避免地於分類後之移動目標上仍有可能會存在背景特徵點。故，進一步地，需利用上段中所提到之影像差值找出移動目標之輪廓範圍，藉以得到完整的目標輪廓影像。

首先，取得經分類且更新過之前景特徵點群(步驟S71)及重建背景影像後取得之影像差值(步驟S72)，並進行八個方向之區域成長(region growing)(步驟S73)，進而來取得移動目標之目標輪廓(步驟S74)。

接著，雖區域成長法可以得到大部分之目標輪廓及消去背景許多不必要的雜訊及背景輪廓，但少許目標輪廓因不規則移動及停留，故無法有效取得前景特徵點。因此，本發明係提出使用時間域之累計方式，亦稱為移動歷史(motion history)，其先取得N個移動目標之目標輪廓(步驟S81)，再將連續n個目標輪廓合併(步驟S82)，最後，使用型態學方法使其移動目標之目標輪廓更為完整(步驟S83)，輸出影像(步驟S84)。

經由前述方法得到移動目標之目標輪廓影像之後，係利用矩形框(bounding box)3把各移動目標2框起來。

於追蹤移動目標2方面，本發明係以基於卡爾曼濾波器(Kalman filter)的追蹤原理跟蹤非剛性(non-rigid)移動目標2之不規則輪廓。本發明利用輪廓描述可減少計算複雜度，進一步地，為使能簡易目標輪廓之初始化，因此，使用矩形框3的重心位置來作為移動目標2之追蹤點，如公式(9)所示。

其中，P(x,y)為某一移動目標矩形框內之各像素點位置，n為矩形框的總像素點數量，藉由平均計算，可作為移動目標的重心。

同前所述，本發明係基於卡爾曼濾波器(Kalman filter)的追蹤原理對移動目標進行追蹤，申請人係更進一步地改良卡爾曼濾波器(Kalman filter)的追蹤方法中的初始化結構，配合矩形框之重心位置為移動目標之追蹤點。該追蹤方法對單一移動目標使用兩個濾波器(追蹤裝置，並不以此為限)，分別為矩形框內之重心大小及矩形範圍，其追蹤程序如下：

步驟(a)：追蹤對應各移動目標之各矩形框之追蹤資訊；若無移動目標，而無法追蹤資訊時，則執行步驟(e)。

步驟(b)：判斷複數個移動目標之搜尋範圍，若搜尋範圍具有複數個移動目標，則執行步驟(c)；若無任一移動目標，則執行步驟(d)；若具有移動目標且移動目標未被追蹤時，則追蹤移動目標並將移動目標當作追蹤搜尋之起點位置，再執行步驟(e)；若具有移動目標且移動目標已被追蹤，則將對應移動目標之二矩形框合併為一，並執行步驟(e)。

步驟(c)：計算所追蹤之移動目標與其他移動目標之距離及其大小，選擇距所追蹤之移動目標最近、大小最相近及尚未被追蹤之其他移動目標，作為追蹤搜尋之新的起點位置，並執行步驟(e)。

步驟(d)：執行追蹤搜尋，由追蹤裝置估算所追蹤之移動目標所對應之矩形框之位置，以設為追蹤搜尋之起點位置，並計算保留時間，執行步驟(e)。

步驟(e)：執行另一移動目標之位置計算，追蹤裝置分別計算各移動目標之位置，且儲存追蹤資訊，當超過保留時間時，將刪除追蹤資訊，並執行步驟(a)。

需補充一點的是，上述之搜尋範圍可為對應該移動目標之矩形框之寬度之二倍及矩形框之高度之二倍，且追蹤資訊可包含矩形框之重心位置、寬度、高度或其組合；然，其僅為舉例，不應以此為限。

綜觀上述，本發明之偵測多移動目標之方法乃為習知技術所不能及者，確實已達到所欲增進之功效，且也非熟悉該項技藝者所易於思及，其所具之進步性、實用性，顯然已符合專利之申請要件，爰依法提出專利申請，懇請貴局核准本件發明專利申請案，以勵創作，至感德便。

S101至S112‧‧‧步驟

Claims

一種偵測多移動目標之方法，其包含下列步驟：辨識連續之複數個影像之複數個特徵點群；辨識各該影像之該特徵點群間相互匹配之複數個特徵點；利用視角幾何法取得前一個該影像之對應已匹配之各該特徵點之一極線，且分別計算目前該影像之已匹配之各該特徵點與對應之各該極線之一距離，若該距離大於一第一門檻值，目前該影像之該複數個特徵點係為一前景特徵點群，若該距離小於該第一門檻值，目前該影像之該複數個特徵點係為一背景特徵點群；藉由前一個該影像之該前景特徵點群更新目前該影像之該前景特徵點群；判斷目前該影像之該背景特徵點群之一背景特徵點機率是否大於一第二門檻值，當大於該第二門檻值時，藉由執行透視變換以建立一重建背景影像，目前該影像與該重建背景影像之間具有一影像差值；利用區域成長法並藉由目前該影像之更新該前景特徵點群及該影像差值取得對應各移動目標之一目標輪廓；合併各該影像中之該複數個目標輪廓，並利用形態學方法處理以產生含該複數個目標輪廓之一目標輪廓影像；以及藉由一追蹤裝置依據該目標輪廓影像追蹤各該移動目標，且保存一追蹤資訊；其中，尋找該複數個特徵點群係包含下列步驟：藉由角點偵測法取得該影像中之複數個角點及其水平變量及垂直變量；以及當該角點之水平變量及垂直變量皆大於一最小門檻值時，該角點係為該影像之該特徵點。
如申請專利範圍第1項所述之偵測多移動目標之方法，其中辨識各該影像之相互匹配之該特徵點更包含下列步驟：利用光流法並依據相互匹配之各該特徵點之一移動向量取得相互匹配之各該特徵點於連續之該複數個影像中之座標。
如申請專利範圍第1項所述之偵測多移動目標之方法，其中計算目前該影像之各該特徵點與對應之各該極線之該距離之前，更包含下列步驟：藉由連續之二該影像之該特徵點群，算出其中一該影像之各該特徵點與另一該影像之各該特徵點間之一基本矩陣，其中二該影像係於目前該影像之前；以及藉由該基本矩陣，算出目前該影像之前之其中一該影像之該複數個特徵點之該複數條極線。
如申請專利範圍第1項所述之偵測多移動目標之方法，其中更新目前該影像之該前景特徵點群更包含下列步驟：取得前一個該影像之該前景特徵點群及目前該影像之該前景特徵點群；將前一個該影像之該前景特徵點群與目前該影像之該特徵點群進行匹配；以及若匹配成功，則以一匹配結果更新目前該影像之該前景特徵點群。
如申請專利範圍第1項所述之偵測多移動目標之方法，其中判斷目前該影像之該背景特徵點群之該背景特徵點機率是否大於該第二門檻值更包含下列步驟：當目前該影像之該前景特徵點群之該背景特徵點機率小於該第二門檻值時，將不建立該重建背景影像。
如申請專利範圍第1項所述之偵測多移動目標之方法，其中建立該重建背景影像之後，更包含下列步驟：計算目前該影像之該前景特徵點群之一平均移動向量；以及判斷該平均移動向量是否大於一最大門檻值，若大於該最大門檻值時，則對該影像差值執行一自體運動補償動作。
如申請專利範圍第1項所述之偵測多移動目標之方法，其中追蹤各該移動目標更包含下列步驟：利用複數個矩形框分別框住各該移動目標；以及以各該矩形框之重心位置作為各該移動目標之追蹤點。
如申請專利範圍第7項所述之偵測多移動目標之方法，其中追蹤各該移動目標更包含下列步驟：步驟(a)：追蹤對應各該移動目標之各該矩形框之該追蹤資訊；若無該移動目標，而無法追蹤該追蹤資訊時，則執行步驟(e)；步驟(b)：判斷該複數個移動目標之一搜尋範圍，若該搜尋範圍具有該複數個移動目標，則執行步驟(c)；若無任一該移動目標，則執行步驟(d)；若具有該移動目標且該移動目標未被追蹤時，則追蹤該移動目標並將該移動目標當作追蹤搜尋之起點位置，再執行步驟(e)；若具有該移動目標且該移動目標已被追蹤，則將對應該移動目標之二該矩形框合併為一，並執行步驟(e)；步驟(c)：計算所追蹤之該移動目標與其他該移動目標之距離及其大小，選擇距所追蹤之該移動目標最近、大小最相近及尚未被追蹤之其他該移動目標，作為追蹤搜尋之新的起點位置，並執行步驟(e)；步驟(d)：執行追蹤搜尋，由該追蹤裝置估算所追蹤之該移動目標所對應之該矩形框之位置，以設為追蹤搜尋之起點位置，並計算一保留時間，執行步驟(e)；以及步驟(e)：執行另一該移動目標之位置計算，該追蹤裝置係分別計算各該移動目標之位置，且儲存該追蹤資訊，當超過該保留時間時，將刪除該追蹤資訊，並執行步驟(a)。
如申請專利範圍第8項所述之偵測多移動目標之方法，其中該搜尋範圍係為對應該移動目標之該矩形框之寬度之二倍及該矩形框之高度之二倍，且該追蹤資訊包含該矩形框之重心位置、寬度、高度或其組合。