TWI395483B

TWI395483B - 使用適應性背景模型之移動物體偵測方法及其電腦程式產品

Info

Publication number: TWI395483B
Application number: TW098117347A
Authority: TW
Inventors: Jennjier Lien; Chichen Wang; Tehsun Wang; Jinyi Wu; Chienchun Tseng; Chihwei Fang
Original assignee: Visionatics Inc
Priority date: 2009-05-25
Filing date: 2009-05-25
Publication date: 2013-05-01
Also published as: TW201043025A; US8542873B2; US20100296698A1

Description

使用適應性背景模型之移動物體偵測方法及其電腦程式產品

本發明是有關於一種於使用適應性背景模型之移動物體偵測方法與其電腦程式產品，特別是一種適用於監視系統之使用適應性背景模型之移動物體偵測方法與其電腦程式產品。

在監視系統中，由於長時間的監視畫面會佔用非常大的儲存容量，因此出現了移動物體偵測(motion object detection)的技術。移動物體偵測的技術可以偵測即時監視畫面。當監視畫面的前景物件(例如：人或物體)有動作時才加以錄影或發出警告訊息，監視畫面沒有動作時則不予錄影或不發出警告訊息。

在習知的移動物體偵測技術中，係將攝影機所擷取之目前影像與預先建立的背景模型作比較，再將目前影像中像素值差異較大的像素取出，來做成前景物件。藉由判斷目前影像中前景影像的狀況，監視系統可判斷何時發出警告訊息。

然而，習知的移動物體偵測技術無法隨著監視區域的亮度變化來提供背景模型，因此當監視區域的亮度改變時(例如：監視區域的照明設備被開啟或關閉時)，監視系統就無法正確地判斷何時該發出警告訊息。

因此，本發明之一態樣是在提供一種使用適應性背景模型之移動物體偵測方法。

本發明之一態樣是在提供一種電腦程式產品，當電腦載入此電腦程式產品時，此電腦可執行前述之移動物體偵測方法。

根據本發明之一實施例，提供一種移動物體偵測方法。在此移動物體偵測方法中，首先進行一背景模型建立步驟，以建立一背景模型來提供複數個背景亮度參考值。然後，進行一前景物件偵測步驟，以利用這些背景亮度參考值來偵測前景物件。在背景模型建立步驟中，首先根據背景影像之複數個背景像素的亮度值來決定複數個亮度權值，其中這些亮度權值係一對一對應至背景像素，且每一背景像素所對應之亮度權值係由此背景像素的亮度值來決定。接著，根據這些背景像素的亮度值和亮度權值來計算出複數個背景亮度參考值，其中這些背景亮度參考值係一對一對應至像素座標點。

根據本發明之另一實施例，提供一種移動物體偵測方法。在此移動物體偵測方法中，首先進行背景模型建立步驟，以利用背景影像來建立一背景模型，其中背景模型包含複數個背景亮度參考值，這些背景亮度參考值係一對一對應至複數個像素座標點。然後，進行前景像素判斷步驟，以根據背景模型來判斷目前影像之複數個目前處理像素是否為前景像素。接著，進行前景偵測步驟，以根據目前處理像素中被判斷為前景像素之至少一者，來偵測目前影像中之至少一前景物件。然後，判斷所有前景物件之面積總和是否大於背景干擾閥值，並提供判斷結果。接著，當判斷結果為是時，進行快速背景更新步驟來更新每一背景亮度參考值。在此快速背景更新步驟中，首先根據目前處理像素的亮度值來決定亮度權值。接著，將目前處理像素所對應之背景亮度參考值乘以亮度權值，以獲得一背景亮度比例值。然後，將亮度權值與1的差值乘以目前處理像素的亮度值，以獲得前景亮度比例值。接著，利用背景亮度比例值和前景亮度比例值之和來更新背景亮度參考值。

根據本發明之再一實施例，提供一種移動物體偵測方法。在此移動物體偵測方法中，首先進行背景模型建立步驟，以利用背景影像來建立一背景模型，其中此背景模型包含複數個背景亮度參考值，且這些背景亮度參考值係一對一對應至複數個像素座標點。然後，進行前景像素判斷步驟，以根據背景模型來判斷目前影像之複數個目前處理像素是否為前景像素。接著，進行前景偵測步驟，以根據目前處理像素中被判斷為前景像素之至少一者，來偵測目前影像中之至少一前景物件。然後，進行陰影過濾步驟，以過濾前景物件的陰影。在陰影過濾步驟中，首先將前景物件投影至像素座標陣列之座標軸上，以獲得像素分佈曲線。然後，提供本體比例閥值。接著，根據本體比例閥值和像素分佈曲線之最大值來決定本體部份。

根據本發明之又一實施例，提供一種移動物體偵測方法。在此移動物體偵測方法中，首先進行一背景模型建立步驟，以建立一背景模型來提供複數個背景亮度參考值。然後，進行一前景物件偵測步驟，以利用這些背景亮度參考值來偵測前景物件。在背景模型建立步驟中，首先，根據複數張背景影像之複數個背景像素來提供複數個亮度權值，其中這些亮度權值係一對一對應至背景像素，且每一背景像素所對應之亮度權值係由此背景像素的亮度值來決定。接著，進行一背景亮度參考值計算步驟，以根據背景像素的亮度值與其第一亮度權值來計算出複數個背景亮度參考值，其中這些背景亮度參考值係一對一對應至像素座標點。在背景亮度參考值計算步驟中，首先將每一背景像素之亮度值乘以此背景像素所對應之亮度權值，以獲得對應至這些背景像素之複數個加權亮度值。然後，根據這些像素座標點，來將加權亮度值分為複數個亮度值群組，其中這些亮度值群組係一對一對應至像素座標點。接著，計算每一亮度群組之加權亮度值的平均值，以獲得對應至這些亮度群組之複數個加權亮度平均值，其中加權亮度平均值係一對一對應至像素座標點，而加權亮度平均值則為背景亮度參考值。

由上述說明，可說本發明可即時監控監視區域，並排除背景和前景中的干擾，使監視系統能更精確地反應監視區域的變化。

請同時參照第1圖和第2圖，第1圖係繪示根據本發明一實施例之監控系統所擷取之影像序列10的結構示意圖，第2圖係繪示影像序列10之影像所對應的座標陣列15。影像序列10包含複數張連續影像I₁ ~I_N 。每一張影像係對應至同一像素座標陣列15，而像素座標陣列15包含複數個像素座標點，並一對一對應至每一張影像中的所有像素。在本實施例中，每一影像的像素係以P_j (x,y)，其中x,y係代表像素所對應的座標點，而j係代表此像素係位於第j張圖框，j=1~N，N為自然數。如第2圖所示，影像I₁ 係對應至x-y座標平面，且其所有像素可透過此座標平面來表示為P₁ (x,y)，而所有的P₁ (x,y)所對應的位置可構成一個座標陣列，並與所有的影像相對應。

本實施例中係將每張影像的像素成份分為亮度成份、第一彩度成份和第二彩度成份來進行處理，而亮度成份、第一彩度成份和第二彩度成份分別對應至YUV色域中的亮度、色度和濃度，或是HSV色域中的明度、色相和飽和度，但本發明並不受限於此。另外，在以下的實施例中將以亮度成份來舉例說明，然而在本發明其他的實施例中，亦可同時採用亮度成份、第一彩度成份和第二彩度成份來進行本發明之移動物體偵測方法。

請參照第3圖，其係繪示根據本發明一實施例之移動物體偵測方法100的流程示意圖。在移動物體偵測方法100中，首先進行背景影像選定步驟110，以決定用來建立背景模型之背景影像。在本實施例中，係選取影像序列10前面30張影像I₁ ~I₃₀ 來做為背景影像，但在本發明其他的實施例中亦可只選擇最前面的影像I₁ 來做為背景影像。

接著，進行背景模型建立步驟120，以根據影像I₁ ~I₃₀ 來計算出對應至每個座標點的背景亮度參考值，並據此製作出背景模型。在背景模型中，其所包含的像素係以P_M (x,y)來表示，其中P_M (x,y)係代表對應至座標點(x,y)的背景像素，而其之亮度值即為上述之背景亮度參考值。

在步驟120中，首先進行進行權值提供步驟122，以提供每個像素所對應之亮度權值W，其中每個背景像素所對應之亮度權值W係由其亮度值所決定。例如，在本實施例中，像素之最大亮度值被設為255，最小亮度值被設為0，將亮度0至亮度225之亮度區段分為複數個較小的子亮度區段，並使每個子亮度區段係對應至一個亮度權值，其中具有較大亮度平均值的子亮度區段係對應至較大的亮度權值W，而具有較小亮度平均值的子亮度區段則對應至較小的亮度權值W。如此，根據每個背景像素的亮度值來決定其所對應的子亮度區段，即可獲得每個背景像素的亮度權值W。

接著，進行背景亮度參考值計算步驟124，以根據背景像素的亮度值與其對應之亮度權值W來計算出背景亮度參考值。在本實施例中，係將每個背景像素的亮度值與其對應的亮度權值W相乘，以得到複數個加權亮度值。接著，根據每個背景像素的座標點，來將這些加權亮度值分成複數個亮度值群組。例如，P₁ (1,1)、P₂ (1,1)、...、P₃₀ (1,1)所對應之加權亮度值被分至同一群組，而P₁ (1,2)、P₂ (1,2)、...、P₃₀ (1,2)所對應之加權亮度值被分至另一群組。接著，計算每個亮度值群組之加權亮度值的平均值，以獲得每個亮度值群組之加權亮度平均值，並以此加權亮度平均值來做為背景亮度參考值。例如，計算P₁ (1,1)、P₂ (1,1)、...、P₃₀ (1,1)之加權亮度值的平均值，以獲得對應至座標點(1,1)的背景亮度參考值；計算P₁ (1,2)、P₂ (1,2)、...、P₃₀ (1,2)之加權亮度值的平均值，以獲得對應至座標點(1,2)的背景亮度參考值。將每個座標點所對應之亮度值群組的加權亮度平均值計算出來後，即可得到對應至所有座標點的背景亮度參考值(即P_M (x,y)的亮度值)，並建構出後續影像I₃₁ ~I_N 的背景模型。

在本發明之其他實施例之背景亮度參考值計算步驟中，亦可計算每個亮度值群組之加權亮度值的中間值，並以此做為背景亮度參考值。例如，計算P₁ (1,1)、P₂ (1,1)、...、P₃₀ (1,1)之加權亮度值的中間值，以獲得對應至座標點(1,1)的背景亮度參考值；計算P₁ (1,2)、P₂ (1,2)、...、P₃₀ (1,2)之加權亮度值的中間值，以獲得對應至座標點(1,2)的背景亮度參考值。將每個座標點所對應之亮度值群組的加權亮度中間值計算出來後，即可得到對應至所有座標點的背景亮度參考值(即P_M (x,y)的亮度值)，並建構出後續影像I₃₁ ~I_N 的背景模型。另外，亦可將每個亮度值群組的加權亮度值去頭去尾後，再取亮度值群組的中間值來做為背景亮度參考值。

當背景模型被計算出來後，對目前欲處理之影像(例如：影像I₃₁ )進行前景偵測步驟130，以利用背景模型來偵測影像I₃₁ 的前景物件。

另外，值得一提的是，在本發明其他的實施例中，若只用影像I₁ 來做為背景模型，則直接使用影像I₁ 中每個像素的亮度值來做為背景亮度參考值。

由上述說明可知，本實施例之移動物體偵測方法100可根據監視區域的亮度情況來建構出適合的背景模型，使得監視系統能更精確地判斷監視區域是否發生變化。

請同時參照第4圖至第6圖，第4圖係繪示根據本發明另一實施例之移動物體偵測方法300的流程示意圖，第5圖係繪示前景物件偵測步驟330之前景像素判斷步驟332的流程示意圖，第6圖則繪示前景物件偵測步驟330之正常背景更新步驟336的流程示意圖。在移動物體偵測方法300中，首先進行步驟310，以決定用來建立背景模型所需的背景影像。接著，進行背景模型建立步驟320，以計算出對應至每個座標點的背景亮度參考值。接著，進行前景偵測步驟330，以偵測目前處理影像的前景物件。

在前景偵測步驟330中，首先進行前景像素判斷步驟332，以利用背景模型來判斷目前處理像素是否為前景像素。接著，進行靜止像素判斷步驟334，以判斷被判斷為前景像素之目前處理像素是否為靜止像素，並提供第一判斷結果。當第一判斷結果為是時，進行正常背景更新步驟336，以利用目前處理像素之亮度值來更新背景模型中相同座標點的背景亮度參考值。另外，當前景像素判斷步驟332已將目前影像的像素都處理完畢後，進行形態處理(Morphological processing)步驟338，以將被判斷為前景像素的目前處理像素轉換成至少一個前景物件。

在前景像素判斷步驟332中，首先進行亮度差值計算步驟332a，以計算目前處理像素的亮度值與對應之背景亮度參考值之差值。接著，進行步驟332b，以決定亮度變化閥值。在本實施例中，亮度變化閥值係根據目前處理像素所對應的背景亮度參考值來決定，當背景亮度參考值越大，亮度變化閥值就越大。當然，也可利用前述之亮度權值W所用的分段決定方法來決定亮度變化閥值。然後，進行判斷步驟332c，以判斷亮度差值是否大於亮度變化閥值，並提供第二判斷結果。然後，根據第二判斷結果來增減一累計停留次數的值。例如：當第二判斷結果為是時，進行步驟332d，以將對應至此目前處理像素之座標點的累計停留次數增加，而當第二判斷結果為否時，進行步驟332e，以將對應至此目前處理像素之座標點的累計停留次數減少。在本實施例中係利用計數器(counter)來紀錄累計停留次數，因此每個像素座標點係對應至一個計數器。接著，進行判斷步驟332f，以判斷累計停留次數是否大於前景確認閥值，並提供第三判斷結果。當第三判斷結果為是，則表示目前處理像素已停留一段時間，其確實為前景像素，因此進行步驟332g，以將此目前處理像素判斷為前景像素。

接著，在後續的靜止像素判斷步驟334中，可藉由累計停留次數來判斷此前景像素是否停留過久。在本實施例中，係判斷累計停留次數是否大於像素靜止閥值，並提供第四判斷結果。當第四判斷結果為是時，則表示此目前處理像素已停留過久，可將其視為背景，因此進行正常背景更新步驟336來更新背景模型。

在正常背景更新步驟336中，首先進行亮度權值提供步驟336a，以決定亮度權值W’。在本實施例中，亮度權值W’係由目前處理像素的亮度值來決定，其中當目前處理像素的亮度值越大，亮度權值W’就越大。當然，也可利用前述之亮度權值W的決定方法來決定亮度權值W’。接著，進行背景亮度更新值計算步驟336b，以根據亮度權值W’來計算出背景亮度更新值。在本實施例中，係將亮度權值W’乘以目前處理像素所對應的背景亮度參考值，以獲得背景亮度比例值，以及將1與亮度權值W’的差值乘以目前處理像素的亮度值，以獲得前景亮度比例值。將背景亮度比例值和前景亮度比例值加總，以獲得背景亮度更新值。然後，進行步驟336c，以利用背景亮度更新值來更新此目前處理像素所對應的背景亮度參考值。

另外，值得一提的是，在本實施例中亮度權值W’係實質大於或等於0.5，且小於1，如此可將背景模型的變化程度控制於適當的範圍內。

由上述說明可知，本實施例之移動物體偵測方法300可將停留於監視區域中過久的物體當成背景處理，使得監視系統能更精確地判斷監視區域是否發生變化。另外，本實施例之移動物體偵測方法300可過濾小物體(例如：樹葉)的搖晃，來避免將此小物體判斷成前景。例如：當樹葉搖晃時，樹葉會在固定區域內進行週期性的運動，因此藉由適當地設定前景確認閥值，可避免將樹葉判斷成前景物件。

請參照同時參照第7圖和第8圖，第7圖係繪示根據本發明又一實施例之移動物體偵測方法400的流程示意圖，第8圖係繪示移動物體偵測方法400之陰影過濾步驟432的流程示意圖。移動物體偵測方法400係類似於移動物體偵測方法300，但不同之處在於移動物體偵測方法400更包含了陰影過濾步驟432。

在陰影過濾步驟432中，首先進行投影步驟432a，以將前景物件投影在水平座標軸，以得到前景像素相對於水平座標軸上的像素分佈曲線。接著，進行步驟432b，以提供本體比例閥值。然後進行步驟432c，以根據本體比例閥值和像素分佈曲線之最大值來決定本體部份。為能更清楚描述陰影過濾步驟432，以下將以一範例來說明陰影過濾步驟432。

請參照第9圖，其係繪示目前影像I₃₅ 與其像素分佈曲線S，其中目前影像I₃₅ 包含有前景物件450，而此前景物件450包含有本體450a和陰影450b。在投影步驟432a中，係將前景物件之像素相對於水平位置之分佈情況製作成像素分佈圖，其中像素分佈圖之x軸代表前景物件像素之水平位置，而y軸代表於該位置上的像素個數。像素分佈曲線S係代表前景物件像素的分佈情況，其中具有最大值的座標點P_max 與水平座標軸間，具有之垂直距離D。然後，進行步驟432b以提供本體比例閥值T。在本實施例中，此本體比例閥值T係設定為60%，但在本發明之其他實施例中，此本體比例閥值T可設定為介於50%~70%之間的值。接著，進行步驟432c，以根據本體比例閥值T和垂直距離D，來找到一條水平截線L，其中水平截線L與座標點P_max 的垂直距離D’係佔垂直距離D的60%，本體比例閥值T。接著，根據水平截線L與像素分佈曲線S的交點，來找出兩條垂直邊界線B₁ 和B₂ 。當得到兩條邊界線B₁ 和B₂ 後，即可將其套用至目前影像I₃₅ 上來找出本體部份450a，其中前景物件450位於邊界線B₁ 和B₂ 間的部份即判斷為本體。

在本實施例中，由陰影過濾步驟432所決定的本體部份大致等於前景物件450的本體450a，因此本實施例之移動物體偵測方法400不僅可將停留於監視區域中過久的物體當成背景處理，更可過濾前景物體的陰影，避免物體陰影影響監視系統判斷的精確度。

請同時參照第10圖和第11圖，第10圖係繪示根據本發明又一實施例之移動物體偵測方法500的流程示意圖，第11圖係繪示移動物體偵測方法500之快速更新步驟550的流程示意圖。在移動物體偵測方法500中，首先進行步驟510，以決定用來建立背景模型所需的背景影像。接著，進行背景模型建立步驟520，以計算出對應至每個座標點的背景亮度參考值。然後，進行前景物件偵測步驟530，以以利用背景模型來偵測目前影像I₃₁ 的前景物件。接著，進行判斷步驟540，以判斷所有前景物件之面積總和是否大於背景干擾閥值，並提供第五判斷結果。在本實施例中，背景干擾閥值係設定為整體影像面積的一半。接著，當第五判斷結果為是時，進行快速背景更新步驟550，以利用目前處理像素之亮度值來更新背景模型中相同座標點的背景亮度參考值。

在本實施例中，當前景物件之面積超過影像面積的一半時，表示監視區域的環境亮度可能有變化有大幅度變動，例如：監視區域的照明設備被打開或關閉，或是監視器鏡頭受到搖晃，以及監視器鏡頭被遮蔽，因此須進行快速背景更新步驟550來快速變更背景模型，來使後續的前景物件判斷步驟更加精確。

在快速背景更新步驟550中，首先進行步驟550a，以決定亮度權值W”。在本實施例中，亮度權值W”係由目前處理像素的亮度值來決定，其中當目前處理像素的亮度值越大，亮度權值W”就越大。當然，也可利用前述之亮度權值W的決定方法來決定亮度權值W”。接著，進行背景亮度更新值計算步驟550b，以根據亮度權值W”來計算出背景亮度更新值。在本實施例中，係將亮度權值W”乘以目前處理像素所對應的背景亮度參考值，以獲得背景亮度比例值，以及將1與亮度權值W”的差值乘以目前處理像素的亮度值，以獲得前景亮度比例值。將背景亮度比例值和前景亮度比例值加總，以獲得背景亮度更新值。然後，進行步驟550c，以利用背景亮度更新值來更新此目前處理像素所對應的背景亮度參考值。

另外，值得一提的是，在本實施例中亮度權值W”係小於0.5且大於0，如此可增加背景模型的變化程度來快速更新背景模型。

請參照第12圖，其係繪示根據本發明又一實施例之移動物體偵測方法600的流程示意圖。移動物體偵測方法600係類似移動偵測步驟500，但不同之處在於移動物體偵測方法600係採用判斷步驟640來代替判斷步驟540。在判斷步驟640中，係判斷所有被判斷為前景像素之目前處理像素的個數總和是否大於預設的背景變化閥值，並提供第六判斷結果。在本實施例中，背景變化閥值係設定為整體影像像素個數的一半。接著，當第六判斷結果為是時，進行快速背景更新步驟550，以利用目前處理像素之亮度值來更新背景模型中相同座標點的背景亮度參考值。

在本實施例中，移動物體偵測方法600係利用前景像素的個數來判斷監視區域的環境亮度是否有變化有大幅度變動，據此決定是否要進行快速更新。而利用像素個數來判斷的好處在於：判斷步驟640可於形態處理步驟之前進行，而不需等到前景像素被轉換成影像後再處理。例如：在目前處理像素被判斷為前景像素後，紀錄其個數，即可於形態處理步驟之前進行判斷步驟640，並決定是否進行快速更新。

由上述說明可知，本實施例之移動物體偵測方法500和600可於監視區域環境的亮度發生大幅度變化時，可快速地將背景模型更新，使得監視系統能更精確地判斷監視區域是否發生變化。

另外，值得一提的是，前述之移動物體偵測方法100、300、400、500或600可應用於電腦程式產品中，當電腦載入此電腦程式產品後，此電腦即可執行移動物體偵測方法100、300、400、500或600。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．影像序列

15．．．座標陣列

100．．．移動物體偵測方法

110．．．步驟

120．．．步驟

122．．．步驟

124．．．步驟

130．．．步驟

300．．．移動物體偵測方法

310．．．步驟

320．．．步驟

330．．．步驟

332．．．步驟

332a．．．步驟

332b．．．步驟

332c．．．步驟

332d．．．步驟

332e．．．步驟

332f．．．步驟

332g．．．步驟

334．．．步驟

336．．．步驟

336a．．．步驟

336b．．．步驟

336c．．．步驟

338．．．步驟

400．．．移動物體偵測方法

432．．．步驟

432a．．．步驟

432b．．．步驟

432c．．．步驟

450．．．前景物件

450a．．．本體部份

450b．．．陰影部份

500．．．移動物體偵測方法

510．．．步驟

520．．．步驟

530．．．步驟

540．．．步驟

550．．．步驟

550a．．．步驟

550b．．．步驟

550c．．．步驟

600．．．移動物體偵測方法

640．．．步驟

D．．．垂直距離

D’．．．垂直距離

I₁ ~I_N ．．．影像

S．．．像素分佈曲線

P_max ．．．座標點

B₁ ．．．邊界線

B₂ ．．．邊界線

為讓本發明之上述和其他目的、特徵、和優點能更明顯易懂，上文特舉一較佳實施例，並配合所附圖式，作詳細說明如下：

第1圖係繪示根據本發明一實施例之監控系統所擷取之影像序列的結構示意圖。

第2圖係繪示影像序列之影像所對應的座標陣列。

第3圖係繪示根據本發明一實施例之移動物體偵測方法的流程示意圖。

第4圖係繪示根據本發明另一實施例之移動物體偵測方法的流程示意圖。

第5圖係繪示根據本發明另一實施例之前景像素判斷步驟的流程示意圖。

第6圖則繪示根據本發明另一實施例之正常背景更新步驟的流程示意圖。

第7圖係繪示根據本發明又一實施例之移動物體偵測方法的流程示意圖。

第8圖係繪示根據本發明又一實施例之陰影過濾步驟的流程示意圖。

第9圖係繪示根據本發明又一實施例之目前影像與其像素分佈曲線。

第10圖係繪示根據本發明又一實施例之移動物體偵測方法的流程示意圖。

第11圖係繪示根據本發明又一實施例之快速更新步驟的流程示意圖。

第12圖係繪示根據本發明又一實施例之移動物體偵測方法的流程示意圖。