TWI393074B - 移動物體偵測裝置與方法 - Google Patents

Description

移動物體偵測裝置與方法

本揭露係關於一種移動物體偵測(moving object detection)裝置與方法。

監控系統常於場景旁架設固定攝影機做監控，分析影像時，可使用如背景相減(background subtraction)或連續畫面差異(frame difference)等技術將背景消除而偵測移動前景。當攝影機架設於移動載具之上時，處理與分析所擷取之影像，要面對的問題包括影像背景持續變動、移動物體相對於廣闊區域較小且移動速度相對變慢等問題，使得於空照影像(aerial image)之移動物體偵測相較於固定式攝影機來得複雜。

相關技術研究例如運用自動智能視覺監控技術於未來城市與戰場，其移動物體的偵測是利用仿射模型的形變(affine warping)技術，將連續的輸入影像彼此對正(registration)，使影像穩定(stabilization)後，計算連續兩幅穩定後影像之正交流(normal flow)，來偵測出移動物體。並利用四連通標記(4-connectivity connected component labeling)技術來標記移動物體，且對每幅影像上標記好的物體，考慮質心位置、主軸方向、長度等屬性，計算相鄰影像上物體之間的相似度與關聯性，來追蹤移動物體。

移動物體偵測可分為光流法(optical flow)與幀差法(frame difference)。光流法是藉由計算影像之各像素於時間上之動量，比較顯著移動(dominant motion)與局部移動(local motion)，將移動物體從背景區分出來；當物體或背景較大且均勻時，難以計算影像畫面的光流。幀差法是藉由影像對齊(alignment)的方法將相鄰影像對齊後，利用幀差計算將移動物體從背景區分出來；當物體顏色均勻且體積較大時，容易得到破碎的結果。

移動物體偵測的習知技術有很多，例如中華民國專利公開號200823800揭露的視訊物件分割方法。如第一圖的範例流程所示，此視訊物件分割方法係藉由計算一目前影像F_n 之像素值與前一影像F_n-1 的對應像素的差值，再利用此差值與此像素進行多層式背景註冊，以取出一背景B_n ，然後利用背景B_n 去除影像的背景區域。最後，利用去除亮度平均值之背景B_n ’去除已去除亮度平均值之影像F_n ’的背景區域，藉以取得前景影像。

如第二圖的範例流程所示，中國專利公開號CN101087413揭露的視頻序列中運動物體的分割方法係對目前影像和前一影像進行幀差及其統計分析，並結合邊緣檢測的結果，得到移動物體的輪廓，再利用水平與垂直方向的填充方法得到運動物體，此分割方法適用於單一移動物體的偵測。

移動物體追蹤可分為三種方法，第一種是藉由點光流(KLT Tracker)的追蹤，將相鄰畫面的物體關聯起來；第二種是計算出物體的外貌或運動特徵，將相鄰畫面的移動物藉由設定一閘值來判斷相關性，或是基於多重假設追蹤法(Multiple Hypothesis Tracker，MHT)或結合機率資料關聯法(Joint Probability Data Association，JPDA)，並考慮畫面中多數移動物體的特徵，來算出最佳的匹配機率；第三種是利用濾波器的技術如粒子濾波器(particle filter)來進行移動物體的追蹤。

移動物體追蹤的習知技術，例如美國專利公開號2007/0250260的文獻中所揭露的以無人駕駛的航空載具來獨自追蹤移動目標的方法與系統(Method and System for Autonomous Tracking of a Mobile Target by an Unmanned Aerial Vehicle)。如第三圖的範例所示，空照追蹤系統300藉由一架備有感測器314的航空載具312來獨自追蹤地面移動車輛310。空照追蹤系統300同時模型化地面移動車輛310與飛機的運動模式，輔以卡曼濾波器之預測與更新功能，來追蹤地面移動車輛310，其中，感測器314所投射的視野(Field of View，FOV)318有一個地面上的視野圈(FOV circle)320，並且感測器314的視角等於在航空載具312之垂直下方之正圓錐的錐角θ。

美國專利號7136506的文獻中，揭露一種視訊相關追蹤系統(Video Correlation Tracking system)，藉由比對連續影像中之影像樣板(image patch)之相關性，作為移動物體追蹤的依據，其中，由使用者於初始影像上給定需要追蹤的物體位置及範圍。美國專利公開號US2009/0022366的文獻中，揭露一種影像分析系統，此影像係來自非靜態攝影機(Non-static Camera)，此系統利用一台有其固定搜索路徑之攝影機來監控一廣大區域，藉由影像拼接技術建立全景圖，並輔以背景相減技術偵測出移動物體。

美國專利公開號2007/0268364的文獻中，揭露一種移動物體偵測系統，先針對連續影像來進行影像對位，再計算畫面中像素的移動相似度。具有一致移動相似度的區域若符合物體大小等條件，則判定為移動物體。此系統所獲得的移動物體不一定會具有完整的輪廓。

本揭露的實施範例可提供一種移動物體偵測裝置與方法。

在一實施範例中，所揭露者是關於一種移動物體偵測裝置。此移動物體偵測系統包含一幀差模組(Frame Difference Module)、一候選區域搜尋模組(Candidate Search Module)、以及一移動物體融合模組(Moving Object Fusion Module)。幀差模組針對一移動物體的每兩連續影像，分別以目前時間影像與前一時間影像來表示，算出相對應於此兩連續影像的一幀差影像。候選區域搜尋模組將目前時間影像分割成多個具有同性質的區域後，從這些被分割的區域中判斷出多個均勻區塊，再從這些均勻區塊中偵測出至少一候選區域。移動物體融合模組融合所得的幀差影像與此至少一候選區域，輔以一漸進式形變技術，取得此移動物體的位置與其完整的輪廓。

在另一實施範例中，所揭露者是關於一種移動物體偵測方法，此方法包含：針對一移動物體的每兩連續影像，算出相對應於此兩連續影像的一幀差影像，此兩連續影像分別以目前時間影像與前一時間影像來表示；將目前時間影像分割成多個具有同性質的區域，並從這些被分割區域中判斷出多個均勻區塊，再從這多個均勻區塊中偵測出至少一候選區域；以及融合所得的幀差影像與此至少一候選區域，輔以一漸進式形變技術，取得此移動物體的位置與其完整的輪廓。

在另一實施範例中，所揭露者是關於一種電腦程式產品，此電腦程式產品可包含至少一程式儲存設備、以及由指令組成的一程式(a program of instructions)。此至少一程式儲存設備是可被一數位處理裝置(Digital Processing Apparatus，DPA)讀取的儲存設備。由指令組成的程式具體實施在此程式儲存設備上，並且可被此數位處理裝置執行(executable by the DPA)以履行(perform)一移動物體偵測方法，此方法包含：針對一移動物體的每兩連續影像，算出相對應於此兩連續影像的一幀差影像，此兩連續影像分別以目前時間影像與前一時間影像來表示；將目前時間影像分割成多個具有同性質的區域，並從該多個被分割區域中判斷出多個均勻區塊，再從該多個均勻區塊中偵測出至少一候選區域；以及融合所得的幀差影像與此至少一候選區域，輔以一漸進式形變技術，取得此移動物體的位置與其完整的輪廓。

茲配合下列圖示、實施範例之詳細說明及申請專利範圍，將上述及本揭露之其他優點詳述於後。

本揭露的實施範例是針對連續影像，以幀差運算、影像分割(image segmentation)等技術為基礎，並融合漸進式形變(morphing-based)技術，自動且完整地偵測出移動物體的位置與輪廓。也可以再結合移動物體追蹤技術來剃除假警報資訊，並利用其預測與修正的特性，來得到穩定而準確的移動物體偵測結果。以下詳細說明此實施範例的內涵。

第四圖是一種移動物體偵測裝置的一個範例示意圖，與所揭露的某些實施範例一致。在第四圖的範例中，移動物體偵測裝置400包含一幀差模組410、一候選區域搜尋模組420、以及一移動物體融合模組430。

幀差模組410針對一移動物體的每兩連續影像，分別以目前時間影像412與前一時間影像414來表示，以一幀差運算來算出相對應於此兩影像412與414的一幀差影像416，並傳送至移動物體融合模組430。當目前時間影像412與前一時間影像414是擷取自移動中的該移動物體的兩連續影像時，可先藉由一影像對齊模組，將前一時間影像414對齊到目前時間影像412，然後，幀差模組410再算出對齊後兩影像的幀差影像。

候選區域搜尋模組420可利用一影像分割技術，將輸入的目前時間影像412分割成多個具有同性質的區域後，從這些被分割的區域中判斷出多個均勻區塊，再從這些均勻區塊中偵測出候選區域422，並傳送候選區域422至移動物體融合模組430。

移動物體融合模組430融合所得的幀差影像416與候選區域422，輔以一漸進式形變技術，逐步地將屬於同一單一物件的區域拼湊起來，以偵測出此移動物體的位置432以及完整的此移動物體的輪廓434。

當兩連續影像是擷取自正在移動的該移動物體時，幀差模組410可將二幀影像的重複區域內的特徵點找出，並計算出二幀影像中特徵點的對應關系，就可將二幀影像對齊。例如，幀差模組410可用角點來做為特徵點，然後算出這些特徵點以及此特徵點的配對。特徵點的選取可以從觀察一張影像中局部的矩形區域，將此矩形區域影像中不同的方向作些微的移動，來瞭解此矩形區域中灰階變化的強弱。矩形區域中灰階變化的強弱可分為三種情況。

第一種情況是，如果在矩形區域移動的影像中灰階值的變化是趨於平坦，則不管此矩形區域要往哪個方向移動，在矩形區域中的灰階並不會有特別明顯的變化。第二種情況是，如果矩形區域在邊或是線的影像區域中移動，則當此矩形區域沿著邊或線的方向與邊或線垂直，其灰階變化會相當強烈。第三種情況是，如果矩形區域在具有特徵點的影像區域中移動，則不管哪一個方向的移動都會造成此矩行區域中強烈的灰階變化。根據此三種情況，矩形區域在各方向移動後其變化的總和有多種演算範例，例如KLT演算法，將此總和以一2**2的對稱矩陣Z來表示，然後經由矩陣Z的兩特徵值λ ₁ 與λ ₂ 的大小可以得知此矩形區域中灰階強度的變化。

找出影像中之特徵點後，可將特徵點與前一幅影像中的特徵點進行連結。所有連結成功的特徵點中大部分均為固定的地面，因此可針對此特徵點的集合計算出地面的移動模式，有效將二幅連續的影像對齊。

理想上，經過影像對齊後，除了地面移動物件外，靜態物件在前後影像中應處於相同的位置。此時僅需要對前後兩張連續影像做幀差運算後，所得的差值即為移動物件之區域。然而，實際上仍然無法得到準確的結果。其原因例如是來自於影像對齊計算的不準確、畫面的縮放(攝影機拍攝高度)造成的物體大小不一致、光線條件不同、取像時的雜訊，畫面變形，以及其他隨機誤差等多種可能因素。這些因素可能造成相當大的影響，例如物件區域忽然劇烈變化而造成所偵測到的移動物件區域不正確、或是所累積的誤差影響到後續的物件追蹤。這些誤差皆具有暫時性與隨機性的共通特性。所以，幀差模組410也可以利用一累積差值的方式，將數張幀差影像以權重分配的方式累積起來。

第五圖是差值影像計算的一個範例示意圖，與所揭露的某些實施範例一致。在第五圖的範例中，為方便說明，假設累積的前後差值影像的個數N等於1。在全域運動估測(Global Motion Estimation)階段510時，將兩兩連續影像經由運動流估測(motion flow estimation)、濾除分離點(filtering outlier)後，取得影像對齊參數後，利用此對齊參數，計算單應性(homography)轉換矩陣，得到轉換後的前後影像，即轉換後的影像_n-1 與轉換後的影像_n 。於幀差影像累積(Difference Accumulation)階段520時，將轉換後的前後影像相減，亦即幀差影像_n-1 =(轉換後的影像_n-1 )-(影像_n-2 )，幀差影像_n =(轉換後的影像_n )-(影像_n-1 )，得到兩張幀差影像，如標號522與524所示。而累積的差值影像(accumulated frame difference)可用累積的幀差影像_n-1 與幀差影像_n ，以權重分配的方式加總後來求得。令D為前後影像的差值影像，w為視應用場景所預先定義的權重，則累積差值影像的範例公式可表示如下：，其中N 為累積的前後差值影像的個數。

幀差模組410可利用此範例公式，將數張幀差影像以權重分配的方式累積起來。例如，假設有三張累積的前後幀差影像，可將其權重分別設定為0.2、0.2、0.6，然後此三張幀差影像分別乘上權重後再加總。加總後的累積差值影像可以濾除一些隨機性的雜訊。

然而，有些細小的雜訊可能會發生於影像中的物件邊緣，例如道路邊線，樹幹陰影，房舍邊緣等。同時這些雜訊還具有零碎、沿著長直線延伸等特性。濾除這些不合理的雜訊可以進一步使用幾何條件來限制，例如長寬比限制、面積限制、範圍限制等，以得到基於差值影像的移動物體的偵測結果，例如第五圖的範例中限制條件濾除(constraints filtering)階段530所示。此限制條件的設定與種類可隨著實際應用場景而定。

候選區域搜尋模組420偵測候選區域的流程可用第六圖的範例來說明，與所揭露的某些實施範例一致。在第六圖的範例中，將影像中具有同性質的圖素分割出來後，形成多個分割區域，如步驟610所示。然後分析此多個分割區域來判斷出均勻的區塊，如步驟620所示。檢驗每一偵測出來的均勻區塊，觀察此均勻區塊之內部是否存在不同的區域、或是此均勻區塊的周圍存在和影像邊緣相接的區域，以找出候選區域，如步驟630所示。

步驟610中，例如可使用以圖素的區域特徵為基礎的影像分割標記法來實現「分割影像」以及「區域標記」的需求。步驟620中，例如，如果某一分割區域的面積夠大，則此分割區域即為一均勻區塊。如果此分割區域的面積太小，則將其視為假陽性(false Positive)而移除之。步驟630中，若均勻區塊的內部存在不同的區域，稱此不同的區域為「內部區域(inner region)」；若均勻區塊的周圍存在和影像邊緣相接的區域，因其即將進入或遠離視界，稱此區域為「進出區域(cavity region)」。這些「內部區域」與「進出區域」皆為候選區域。

換句話說，取得均勻區塊後，即可篩選出兩類區域，一類為被均勻區塊內部包含的區域，例如第七A圖的範例中，均勻區塊702的內部包含一內部區域715；另一類為與均勻區塊相接，又與影像邊緣相接的區域，例如第七B圖的範例中的進出區域725。此兩類區域皆為移動物體可能出現的區域。進出區域的輪廓長度與缺口連線長度必須高於一定比例，以避免候選區域太小。例如第七C圖的範例中，進出區域之輪廓730的長度(contour distance)與缺口連線735的實際長度(real distance)，兩者的比例必須高於一門檻值。

幀差模組410利用差值影像遮罩所偵測到的移動物體往往因為顏色和紋理類似，而只在邊緣有較大的響應，因此只得到部分的移動物體，造成偵測出的物體內部破洞而被分裂為多個物件，例如，第八A圖的範例所示，實際物體輪廓805如虛線框所示，而差值影像遮罩所偵測到的物體被分裂為三個物件801-803。而候選區域搜尋模組420於找出的候選區域的過程中，均勻區塊內部包含的區域實際上並不一定僅包含一個實體物件，例如，第八B圖的範例所示，車輛810停於路面標誌815上將使得其切割範圍延伸至路面標誌。因此，候選區域搜尋模組420基於影像切割所找出的候選區域820實際上並不一定僅包含一個實體物件。這兩範例所揭示的因素皆有可能會造成假陽性及移動物體輪廓嚴重錯誤。因此，移動物體融合模組430融合候選區域內的差值區塊，來填補移動物體內部的破洞，並且藉由漸進式形變的修補，得到完整之移動物體的位置與輪廓。

第九圖是一範例流程圖，說明如何融合影像分割資訊與差值影像資訊來進行物體形變，與所揭露的某些實施範例一致。參考第九圖，在步驟910中，根據輸入的累積差值影像(Accumulated difference)O的資訊，與分割標記(segmentation label)L的資訊，例如分割標記L，在該分割標記所屬的同一個「候選區域」內，找出落在該候選區域內的「差值影像」集合o 。若找到的差值影像數大於1，代表在該候選區域內存在多個破碎的物件輪廓，因此需將其結合為單一物件。首先，在步驟925中，從「差值影像」集合 o 中取出兩個最相鄰的差值影像(O _1, O ₂ )；然後，在步驟935中，計算兩差值影像(O _1, O ₂ )之中心的連線，並在此連線上，以一形變方式合併(merge)成另一差值影像O ’；再將差值影像O ’插入「差值影像」集合 o 中，如步驟945所示。

如此，持續檢查o 中，是否有大於一個「差值影像」，若有，則重複步驟925、935、以及945的步驟；若否，則取得 o 與「候選區域」的交集 o ’，如步驟955所示。此交集 o ’即為具有完整輪廓的移動物體。步驟945中，算得差值影像O ’所使用的形變方式可視實際應用來選用各種不同的形變方式，漸進式地去填補偵測出的物體內部之破碎部份，直到所有輸入之分割區域相對應的分割標記L皆被處理為止，如步驟965所示。

步驟925中，也可以從「差值影像」集合 o 中取出至少兩個最相鄰的差值影像，然後在步驟935中，在此至少兩個差值影像的中心連線上，以一形變方式合併成另一差值影像O ’。

第十圖以一範例來說明步驟910、925、935、945、以及955的實現結果，與所揭露的某些實施範例一致。參考第十圖，由步驟910，得到標號1010a所指之落在一分割標記所屬的候選區域1010b內的三個差值影像1011-1013所形成的「差值影像」集合。由步驟925，取出其中兩個最相鄰的差值影像1011與1012。由步驟935，以一形變方式合併而成另一差值影像1035。由步驟945，差值影像集合裡有差值影像1013與1035。重複步驟925、935、以及945的步驟，得到差值影像集合裡只有一個最終合併而成的差值影像1055，也是差值影像集合與候選區域1010b的交集。也就是說，候選區域1010b裡原本存在的三個破碎的物件輪廓，以一漸進式形變方式被結合為單一物件的輪廓。

承上述，移動物體融合模組430可包括一形變模組和一融合模組，以第十一圖的範例來說明，此形變模組可選取位於移動物體候選區域內的差值影像遮罩1110，以一漸進式形變技術合併成單一物件1120並傳送給此融合模組，而如前所述，差值影像遮罩1110是幀差模組410利用一幀差法得到的值影像遮罩。此融合模組可融合候選區域1115與此形變模組產生的單一物件1120，而得到此移動物體1140的完整輪廓1130，而如前所述，候選區域1115是候選區域搜尋模組420從分割後的均勻區塊中篩選出的候選區域。

上述的漸進式形變是指在來源影像與目標影像間，藉由影像內插技術來產生多張連續且平滑的過程影像，本揭露的實施範例係融合前述所得的幀差影像與候選區域，藉由此漸進式形變技術來產生出一合理而完整輪廓的移動物體遮罩，第十二圖與第十三圖以第十一圖的範例，來說明本揭露之實施範例應用此技術的處理過程。

第十二A圖與第十二F圖分別為來源影像與目標影像的示意圖，而第十二B圖至第十二E圖是藉由漸進式形變技術產生的過程影像的示意圖。將前述之來源影像與整個形變過程影像取得聯集後，即可獲得該物體之完整輪廓，第十三圖顯示來源影像與各形變過程影像取聯集之對應結果，其中，第十三A圖為來源影像，第十三B圖是由來源影像至圖第十二B圖間所有過程影像的聯集。依此類推，第十三F圖是整個形變過程產生影像的聯集，也就是形變模組產生的結果，即第十一圖的單一物件1120。

承上述，第十四圖之範例可說明本揭露之移動物體偵測方法的運作流程，與所揭露的某些實施範例一致。參考第十四圖，如步驟1410所示，針對一移動物體的每兩連續影像，算出相對應於此兩連續影像(即目前時間影像與前一時間影像)的一幀差影像。步驟1420中，將目前時間影像分割成多個具有同性質的區域，並從這些被分割的區域中判斷出多個均勻區塊，再從這多個均勻區塊中偵測出至少一候選區域。步驟1430中，融合所得的幀差影像與此至少一候選區域，輔以一漸進式形變技術，取得此移動物體的位置與其完整的輪廓。

本揭露之移動物體偵測裝置與方法的實施範例利用影像分割的技術標記獨立物件，並輔以形變技術獲得完整物體輪廓，可適用於多個移動物體偵測，也可以藉由移動偵測來找出感興趣的移動物體，也可應用於無特定移動路徑的攝影機。因為本揭露的實施範例從分割後的均勻區塊中篩選出候選區域，並輔以漸進式形變運算為基礎，因此應用於空照連續影像之地表移動物體偵測時，可符合即時運算的應用。

上述本揭露之實施範例還可以加入物體追蹤技術來預測、補償並更新移動物體的位置。因此，第四圖之移動物體偵測裝置400可再包括一移動物體追蹤模組，或是於移動物體融合模組430之後再連接此移動物體追蹤模組，將移動物體的位置與其完整輪廓的資訊輸入此移動物體追蹤模組，來預測、補償並更新移動物體的位置。而第九圖之範例流程圖中，當執行完步驟965時，即所有輸入之分割區域相對應的分割標記L皆被處理時，可將完整輪廓之移動物體的資訊加入物體追蹤技術來預測、補償並更新移動物體的位置。

移動物體追蹤可被轉換為一推論(Inference)問題來進行，例如可基於貝氏(Bayesain)理論架構，在已知追蹤物件狀態(state)的事前機率(prior probability)下，於獲得新的量測(measurement)後，求解該目標狀態的事後機率(posterior probability)。此理論架構主要是定義此移動物體的一運動模型(motion model)以及一觀測模型(observation model)，並藉由此兩模型，將移動物體追蹤視為(1)根據t時間前之量測，來預測t+1時間的狀態；以及(2)根據t+1時間之量測，來對預測進行更新。如第十五圖的範例所示，此移動物體例如是車輛，藉由反覆進行上述(1)與(2)，持續預測及更新此移動物體的狀態，就可以達到移動物體的追蹤。

上述移動物體的運動模型可用下列方程式來表示：

x _{t +1} =A _t x _t +V _t ,

其中，{x _t } _{t =1,2,...} 為移動物體的狀態向量，t為離散時間序列，A為狀態轉換函數，表示移動物體由時間t到時間t+1之移動模型，而V表示在移動過程中所伴隨的雜訊。而此移動物體的觀測模型可用下列方程式來表示：

z _t =H _t x _t +W _t ,

其中，{z _t } _{t =1,2,...} 為物體所觀測之特徵向量，H為量測轉換函數，描述物體狀態與量測所得之特徵向量間的轉換關係，而W為量測下所伴隨之雜訊。

在上述移動物體追蹤的範例架構下，本揭露可藉由一濾波器，例如卡曼濾波器(Kalman Filter)，對一移動物體進行預測與更新，範例說明如下。假設一移動物體之狀態向量設定為x =[x y w h v _x v _y ]，其中v _x 與v _y 分別為其在x與y方向之移動速度，而相對於上述之運動模型與觀測模型，其中，雜訊部份以高斯表示，分別為與，而狀態轉換函數A可用一6×6的單位矩陣來表示，量測轉換函數可用下列矩陣H來表示：

當系統的狀態轉換函數A與量測轉換函數H為線性關係，且狀態轉換雜訊V與量測雜訊W皆滿足高斯模型時，可藉由如卡曼濾波器來求解事後機率。若A與H為非線性關係，則仍可利用延伸(extended)卡曼濾波器來求解，此時事後機率仍滿足高斯分佈。實際視覺追蹤問題之事後機率往往是非線性、非高斯且多模態，此時仍可藉由粒子濾波器(particle filter)來解決。

本揭露可藉由前述之移動物體偵測技術，先將監控畫面中的移動物體偵測出來，然後以一最小包圍矩形O =[x y w h ] ^T 來描述該物體，其中x與y表示該矩形中心於畫面之位置，而w與h則表示其寬與高。假設在時間t時，藉由移動物體偵測所獲得之前景，則包含n 個移動物體矩形的清單(list)可表示為，而系統在t-1時間及其之前所追蹤的m 個移動物體猜想(hypothesis)清單為，其中T 是指在連續時間的追蹤下，被關聯起且認為是同一物體之τ個移動物體矩形，即T ={O ^{t -τ} ,O ^{t -τ+1} ,...，O ^t ,ρ}，而O ^{t -τ} 是此移動物體第一次出現之最小包圍矩形並依此類推，而ρ稱為一信心指數，此信心指數的值隨著物體追蹤的成功或失敗而增加或減少，當此信心指數大於一上界閥值時，則認為此猜想已具有足夠信心程度，而將猜想轉變為一實體移動物體；反之若此信心指數低於零時，則認為此移動物體已離開監控場景，此時可將該猜想由系統所維護之追蹤器裡的清單移除。

承上述，本揭露的實施範例中，移動物體追蹤模組裡可維護一追蹤器，此追蹤器具有兩種清單，一種是目前時刻的移動物體清單，另一種是之前時刻所追蹤的移動物體猜想清單。

第十六圖是移動物體追蹤的一範例流程圖，與所揭露的某些實施範例一致。第十六圖的範例流程中，一方面是維護之前時刻所追蹤的移動物體猜想清單，此清單記錄著之前時刻所追蹤的m個移動物體猜想，然後藉由如卡曼濾波器來預測其在目前時間的狀態；另一方面，對於目前的輸入影像，可藉由移動物體偵測而獲得目前時刻的移動物體清單，此清單記錄著n個前景物體矩形。考慮此兩清單之元素的空間相關性，可建立一關聯矩陣，此關聯矩陣的欄位(i,j)表示前景物體矩形i與移動物體猜想j的空間相關性。若兩者有空間上之重疊性，則該欄位設定為1，反之為0。將此關聯矩陣之行與列進行加總運算，並根據其值做出對應之事件處理，此值可反應出移動物體之新增、消失、及穩定追蹤，以及多個移動物體相互間之合併或分裂等行為。然後，根據此對應之事件處理，來更新該移動物體猜想清單。各行為的對應對策分述如下。

穩定追蹤：當一移動物體猜想僅對應到一前景物體時，表示該物體被穩定的追蹤，此時將此前景物體矩形當作卡曼濾波器之量測並更新，同時增加其信心指數。

分裂：當一移動物體猜想對應到多個前景物體時，表示該物體分裂為兩個物體，此時將具有最大重疊面積之前景物矩形作為更新該移動物體猜想之量測值；其他前景物矩形則新增為一移動物體猜想，並做為此移動物體之初始狀態。

合併：當多個一移動物體猜想對應到一個前景物體時，表示多個移動物體合併為一物體，此時藉由一樣板比對技術，將移動物體的樣板對應到前景物體。

消失：當移動物體猜想無法對應到前景物矩形時，表示該物體已消失於監控場景，此時減少該猜想之信心指數。

新增：當一前景物矩形無法與任一移動物體猜想關聯時，表示其為一新增物體，故依其狀態新增一移動物體猜想。

第十七A圖是移動物體猜想與前景偵測矩形之關聯矩陣的一個範例示意圖，與所揭露的某些實施範例一致。O_1至O_n代表n個前景物體矩形，T_1至T_m代表m個移動物體猜想，此關聯矩陣之行與列進行加總運算後，其值記在最後一列(以CM_r表示)與最後一行(以CM_c表示)。第十七B圖是關聯矩陣與事件分析處理的一個範例示意圖，與所揭露的某些實施範例一致。第十七B圖的範例中，可看出由CM_r與CM_c裡的關聯值可反應出相對應的一移動物體之新增、消失、穩定追蹤，以及多個移動物體相互間之合併、分裂的事件。

本揭露之移動物體偵測方法的實施範例可實施在一電腦程式產品(computer program product)上，例如一代表性的電腦(representative computer)，但不依此而限定本發明實施範圍僅為此電腦或任意形式的電腦。此代表性的電腦例如可包括至少一處理器(processor)、至少一儲存設備(storage device)、以及至少一記憶體。處理器例如是一數位處理裝置；儲存設備例如是可由一數位處理裝置讀取的儲存設備；記憶體例如是一唯讀記憶體(Read Only Memory，ROM)或是一隨機存取記憶體(Random Access memory，RAM)等。

參考第十八圖的範例示意圖，與所揭露的某些實施範例一致。電腦程式產品1800可包含至少一程式儲存設備1810、以及由多條指令組成的一程式1820。程式儲存設備1810是可被一數位處理裝置1830讀取的儲存設備。由指令組成的程式1820可具體實施(tangibly embodied)在程式儲存設備1810上，並且可被數位處理裝置1830執行以履行本揭露之移動物體偵測方法的步驟1410、步驟1420、以及步驟1430。程式儲存設備1810可以有多種型態，例如是硬碟(hard disk)、記憶體、光碟(optical disk)等態樣的電腦可讀取的媒體(computer-readable media)。

如前所述，此移動物體偵測方法還可包括藉由該移動物體的一運動模型與一觀測模型，持續預測及更新該移動物體的狀態，以追蹤此移動物體。此移動物體偵測方法的所有詳細運作流程於此不再重述。

電腦程式產品1800也可以再包括或連接至一移動物體追蹤模組來預測、補償並更新此移動物體的位置。電腦程式產品1800也可以連接至少一週邊設備來運作，例如一監視器(monitor)，此監視器例如可顯示在一偵測區域內所偵測到的此移動物體的位置與其完整的輪廓。

綜上所述，本揭露之移動物體偵測裝置與方法的實施範例係針對移動物體的每兩連續影像，以幀差運算、影像分割技術為基礎，並從被分割的區域中判斷出多個均勻區塊，再從均勻區塊中偵測出至少一候選區域，接著融合所得的幀差影像與此至少一候選區域，輔以一漸進式形變技術，自動偵測出移動物體位置與完整輪廓。也可加入移動物體追蹤技術，來預測、補償並更新移動物體的位置。本揭露之實施範例可用於多種應用場景，例如道路交通監控、嫌疑車輛跟蹤、盜採砂石、走私與土地監控以及海岸線巡防與監控等。

惟，以上所述者僅為本揭露之實施範例，當不能依此限定本發明實施之範圍。即大凡本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明專利涵蓋之範圍。

F_n ．．．目前影像

F_n-1 ．．．前一影像

B_n ．．．背景

B_n ’．．．去除亮度平均值之背景

F_n ’．．．去除亮度平均值之影像

300．．．空照追蹤系統

310．．．地面移動車輛

312．．．航空載具

314．．．感測器

318．．．視野

320．．．視野圈

θ．．．錐角

400．．．移動物體偵測裝置

410．．．幀差模組

412．．．目前時間影像

414．．．前一時間影像

416．．．幀差影像

420．．．候選區域搜尋模組

422．．．候選區域

430．．．移動物體融合模組

432．．．移動物體的位置

434．．．移動物體的輪廓

510．．．全域運動估測階段

520．．．幀差影像累積

522．．．幀差影像_n-1

524．．．幀差影像_n

530．．．限制條件濾除階段

610．．．將影像中具有同性質的圖素分割出來後，形成多個分割區域

620．．．分析此多個分割區域，來判斷出均勻的區塊

630．．．檢驗每一偵測出來的均勻區塊，觀察此均勻區塊之內部是否存在不同的區域、或是此均勻區塊的周圍和影像邊緣相接的區域，以找出候選區域

702．．．均勻區塊

715．．．內部區域

725．．．進出區域

730．．．進出區域之輪廓

735．．．缺口連線

801-803．．．物件

805．．．實際物體輪廓

810．．．車輛

815．．．路面標誌

820．．．候選區域

910．．．根據輸入的累積差值影像O的資訊與分割標記L的資訊，在該分割標記L所屬的同一個「候選區域」內，找出落在該候選區域內的「差值影像」集合o

925．．．從「差值影像」集合 o 中取出兩個最相鄰的差值影像(O _1, O ₂ )

935．．．計算兩差值影像(O _1, O ₂ )之中心的連線，並在此連線上，以一形變方式合併成另一差值影像O ’

945．．．再將差值影像O ’插入「差值影像」集合 o 中

955．．．取得 o 與「候選區域」的交集 o ’

965．．．所有分割區域相對應的分割標記L皆被處理

1000a．．．差值影像集合

1010b．．．候選區域

1011-1013．．．三個差值影像

1035．．．合併而成的另一差值影像

1055．．．最終合併而成的差值影像

1110．．．差值影像遮罩

1115．．．候選區域

1130．．．移動物體的完整輪廓

1410．．．針對一移動物體的每兩連續影像，算出相對應於此兩連續影像的一幀差影像

1420．．．將目前時間影像分割成多個具有同性質的區域，並從這些被分割區域中判斷出多個均勻區塊，再從這多個均勻區塊中偵測出至少一候選區域

1430．．．利用一移動物體融合模組來融合所得的多張幀差影像與此至少一候選區域，並輔以一漸進式形變技術，取得此移動物體的位置與其完整的輪廓

1800．．．電腦程式產品

1810．．．程式儲存設備

1820．．．由指令組成的程式

1830．．．數位處理裝置

第一圖是一種視訊物件分割方法的一個範例流程圖。

第二圖是一種視頻序列中運動物體的分割方法的一個範例流程圖。

第三圖是一種空照追蹤系統的一個範例示意圖。

第四圖是一種移動物體偵測裝置的一個範例示意圖，與所揭露的某些實施範例一致。

第五圖是差值影像計算的一個範例示意圖，與所揭露的某些實施範例一致。

第六圖是偵測候選區域的一個範例流程圖，與所揭露的某些實施範例一致。

第七A圖至第七C圖是一範例示意圖，說明相接於影像邊緣的候選區域篩選，與所揭露的某些實施範例一致。

第八A圖是一個範例流程圖，說明偵測出的物體內部破洞而被分裂為多個物件，與所揭露的某些實施範例一致。

第八B圖是一範例流程圖，說明候選區域實際上並不一定僅包含一個實體物件，與所揭露的某些實施範例一致。

第九圖是一範例流程圖，說明如何融合影像分割資訊與差值影像資訊來進行物體形變，與所揭露的某些實施範例一致。

第十圖是第九圖之各步驟的範例實現結果，與所揭露的某些實施範例一致。

第十一圖是一範例示意圖，說明移動物體融合模組的形變與融合所得的結果，與所揭露的某些實施範例一致。

第十二A圖與第十二F圖分別為來源影像與目標影像的範例示意圖，而第十二B圖至第十二E圖是藉由漸進式形變技術產生的過程影像的示意圖，與所揭露的某些實施範例一致。

第十三A至第十三F圖是來源影像與各形變過程影像取聯集之對應結果，與所揭露的某些實施範例一致。

第十四圖是一範例流程圖，說明移動物體偵測方法的運作流程，與所揭露的某些實施範例一致。

第十五圖是一範例示意圖，說明藉由運動模型與觀測模型，持續預測及更新移動物體的狀態，來達到移動物體的追蹤，與所揭露的某些實施範例一致。

第十六圖是移動物體追蹤的一範例流程圖，與所揭露的某些實施範例一致。

第十七A圖是移動物體猜想與前景偵測矩形之關聯矩陣的一個範例示意圖，與所揭露的某些實施範例一致。

第十七B圖是關聯矩陣與事件分析處理的一個範例示意圖，與所揭露的某些實施範例一致。

第十八圖是電腦程式產品的一範例示意圖，與所揭露的某些實施範例一致。

400．．．移動物體偵測裝置

410．．．幀差模組

412．．．目前時間影像

414．．．前一時間影像

416．．．幀差影像

420．．．候選區域搜尋模組

422．．．候選區域

430．．．移動物體融合模組

432．．．移動物體的位置

434．．．移動物體的輪廓

Claims (24)

1. 一種移動物體之偵測裝置，包含：一幀差模組，針對一移動物體的每兩連續影像，算出相對應於該兩連續影像的一幀差影像，該兩連續影像分別表示為目前時間影像與前一時間影像；一候選區域搜尋模組，將該目前時間影像分割成多個具有同性質的區域後，從該被分割的多個區域中判斷出多個均勻區塊，再從該多個均勻區塊中偵測出至少一候選區域；以及一移動物體融合模組，融合所得的多張幀差影像與該至少一候選區域，輔以一漸進式形變技術，取得該移動物體的位置與其完整的輪廓。
2. 如申請專利範圍第1項所述之裝置，其中該移動物體融合模組還包括：一形變模組，該形變模組選取位於該移動物體之該至少一候選區域內的差值影像遮罩，以該漸進式形變技術合併成單一物件並傳送給該融合模組；以及一融合模組，該融合模組融合該至少一候選區域內與該形變模組產生的單一物件，而得到該移動物體的完整輪廓。
3. 如申請專利範圍第1項所述之裝置，其中該多個均勻區塊被篩選出兩類區域，一類是該多個均勻區塊內部包含的區域，另一類是該多個均勻區塊的周圍存在和影像邊緣相接的區域。
4. 如申請專利範圍第1項所述之裝置，其中該移動物體融合模組透過該漸進式形變技術，在一來源影像與一目標影像間，產生出多個連續且平滑的過程影像。
5. 如申請專利範圍第4項所述之裝置，其中該移動物體的完整輪廓是該來源影像與整個形變過程影像取得聯集後的結果。
6. 如申請專利範圍第1項所述之裝置，其中該幀差模組產生的該幀差影像係由數張差值影像累積起來的一累積差值影像。
7. 如申請專利範圍第1項所述之裝置，該裝置還包括一移動物體追蹤模組，來預測、補償並更新該移動物體的位置。
8. 如申請專利範圍第7項所述之裝置，其中該移動物體追蹤模組係藉由該移動物體的一運動模型與一觀測模型，持續預測及更新該移動物體的狀態，來達到該移動物體的追蹤。
9. 如申請專利範圍第7項所述之裝置，其中該移動物體追蹤模組裡維護一追蹤器，該追蹤器具有兩種清單，一種是目前時刻的移動物體清單，另一種是之前時刻所追蹤的移動物體猜想清單。
10. 如申請專利範圍第1項所述之裝置，該裝置還包括一影像對齊模組，並且當該兩連續影像是擷取自正在移動的該移動物體時，該影像對齊模組先將該前一時間影像對齊到該目前時間影像後，該幀差模組再算出對齊後兩影像之幀差影像。
11. 一種移動物體之偵測方法，應用於一移動物體之偵測裝 置中，該方法包含：針對一移動物體的每兩連續影像，算出相對應於該兩連續影像的一幀差影像，該兩連續影像分別以一目前時間影像與一前一時間影像來表示；；將該目前時間影像分割成多個具有同性質的區域，並從該多個被分割區域中判斷出多個均勻區塊，再從該多個均勻區塊中偵測出至少一候選區域；以及採用一移動物體融合模組來融合所得的多張幀差影像與該至少一候選區域，並輔以一漸進式形變技術，取得該移動物體的位置與其完整的輪廓。
12. 如申請專利範圍第11項所述之方法，其中該融合所得的多張幀差影像與該至少一候選區域，輔以該漸進式形變技術還包括：根據輸入的至少一累積差值影像的資訊與至少一分割標記的資訊，在每一分割標記所屬的同一候選區域內，找出落在該候選區域內的一相對應的差值影像集合；如果該差值影像集合裡的差值影像數大於1，則從該差值影像集合中，取出至少兩幀最相鄰的差值影像，並將該至少兩幀差值影像以一形變方式合併成另一差值影像，再將該另一差值影像插入該差值影像集合中，並取得該差值影像集合與該候選區域的交集；以及重複上述步驟，直到所有輸入之分割區域相對應的分割標記皆被處理為止。
13. 如申請專利範圍第11項所述之方法，其中從該多個均勻區塊中偵測出該至少一候選區域還包括： 檢驗該多個均勻區塊中每一均勻區塊，觀察該均勻區塊之內部是否存在不同的區域、或是該均勻區塊的周圍和影像邊緣相接的區域，以找出該至少一候選區域。
14. 如申請專利範圍第11項所述之方法，其中該幀差影像係將數張差值影像以一權重分配的方式累積起來的一累積差值影像。
15. 如申請專利範圍第11項所述之方法，其中該漸進式形變技術在一來源影像與一目標影像間，藉由一影像內插技術來產生多張連續且平滑的過程影像。
16. 如申請專利範圍第13項所述之方法，其中該均勻區塊的周圍和影像邊緣相接之區域的輪廓長度與缺口連線長度的比例高於一門檻值。
17. 如申請專利範圍第11項所述之方法，該方法還包括：藉由該移動物體的一運動模型與一觀測模型，持續預測及更新該移動物體的狀態，以追蹤該移動物體。
18. 如申請專利範圍第17項所述之方法，其中追蹤該移動物體還包括：輸入之前時刻所追蹤的一移動物體猜想清單，然後藉由一濾波器來預測其在目前時間的狀態；對於目前時刻的一輸入影像，藉由取得的該移動物體的位置與其完整的輪廓，獲得一目前時刻的移動物體清單；建立一關聯矩陣，來描述該兩清單之元素的空間相關性；將該關聯矩陣之行與列進行加總運算，並根據其值做出對應之事件處理；以及根據該對應之事件處理，更新該移動物體猜想清單。
19. 如申請專利範圍第18項所述之方法，其中該移動物體猜想清單記錄著之前時刻所追蹤的多個移動物體猜想，而該目前時刻的移動物體清單記錄著多個前景物體矩形。
20. 如申請專利範圍第18項所述之方法，其中該關聯矩陣之行與列進行加總運算後的值反應出相對應的一移動物體之新增、消失、穩定追蹤，以及多個移動物體相互間之合併、分裂的其中一事件。
21. 一種電腦程式產品，包含：至少一程式儲存設備，可被一數位處理裝置讀取；以及由多條指令組成的一程式，具體實施在該程式儲存設備上，並且可被該數位處理裝置執行以履行一移動物體偵測方法，該方法包含：針對一移動物體的每兩連續影像，算出相對應於該兩連續影像的一幀差影像，該兩連續影像分別以一目前時間影像與一前一時間影像來表示；將該目前時間影像分割成多個具有同性質的區域，並從該多個被分割區域中判斷出多個均勻區塊，再從該多個均勻區塊中偵測出至少一候選區域；以及融合所得的幀差影像與該至少一候選區域，輔以一漸進式形變技術，取得該移動物體的位置與其完整的輪廓。
22. 如申請專利範圍第21項所述之電腦程式產品，該電腦程式產品還連接至一移動物體追蹤模組，以預測、補償 並更新該移動物體的位置。
23. 如申請專利範圍第21項所述之電腦程式產品，其中該至少一程式儲存設備是電腦可讀取的媒體。
24. 如申請專利範圍第21項所述之電腦程式產品，其中該移動物體偵測方法還包括：藉由該移動物體的一運動模型與一觀測模型，持續預測及更新該移動物體的狀態，以追蹤該移動物體。