TW201327416A - 動態背景的前景偵測方法 - Google Patents

Abstract

一種動態背景的前景偵測方法，其係利用一橢圓編碼簿背景模型，方法包括：輸入一影像；提供橢圓編碼簿背景模型包含多個編碼簿以及編碼元，其中每一編碼元於一三原色座標系中於三軸計算出各自的高斯分布，依據各自的平均值與變異數形成一橢圓球形的機率分布；依序判斷影像中的每一像素是否為一前景點；以及判斷前景點是否為一陰影。本發明可建立在任意環境下偵測物件移動的背景模型，此模型可在不同的光照場景中，找出與場景中相異的地方，並將這些相異的地方標示出，進而偵測場景中的大幅移動的物件或相異物件。

Description

動態背景的前景偵測方法

本發明係有關一種影像處理技術，特別是一種動態背景的前景偵測方法。

現今電子監視系統被廣泛運用，不論是廣告商想要統計電子看板前的人潮流量，或是保全系統想要偵測可疑人物，電腦視覺及樣形識別的技術可說是占了最重要的一環。而在電腦視覺或樣形識別上佔有最大重要性的環節，又莫過於前景的萃取技術。好的前景萃取結果會直接影響各種應用的效能與精準度。

本發明提供一種動態背景的前景偵測方法，可接受在擁有動態運動的背景下，找出與場景中相異的地方以分離出前景及背景的前景偵測技術。

本發明一實施例之一種動態背景的前景偵測方法，其係利用一橢圓編碼簿背景模型，動態背景的前景偵測方法包括下列步驟：輸入一影像，其含有多個像素；提供橢圓編碼簿背景模型，其由一預參考影像序列中的多個預參考影像經計算而建立，其中每一預參考影像具有多個第一像素，且每一第一像素的資料定義為一編碼元(codeword)；多個預參考影像中相同位置的第一像素的編碼元組合成一編碼簿(codebook)；及每一編碼元於一三原色座標系中於紅色軸、綠色軸、藍色軸計算出各自的高斯分布，依據各自的平均值與變異數形成一橢圓球形的機率分布；進行一第一判斷步驟，依序判斷影像中的每一像素是否為一前景點，其係計算像素與橢圓編碼簿背景模型中對應像素的編碼簿中的所有編碼元之一馬氏距離，其中當馬氏距離小於一第一閥值，則判斷為一背景點，反之先在一暫時編碼簿中建立關於像素之一資料的一暫時編碼元，且像素暫時被視為前景點；以及進行一第二判斷步驟，判斷前景點是否為一陰影。

以下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

其詳細說明如下，所述較佳實施例僅做一說明非用以限定本發明。

請參考圖1，圖1為本發明一實施例一種動態背景的前景偵測方法，其係利用一橢圓編碼簿背景模型，動態背景的前景偵測方法包括下列步驟：輸入一影像，其含有多個像素(步驟S10)。提供橢圓編碼簿背景模型，其由一預參考影像序列中的多個預參考影像經計算而建立，預參考影像序列為一連續時間內所擷取之多個預參考影像的集合，且每一預參考影像含有多個第一像素。其中每一第一像素的資料定義為一編碼元(codeword)；多個預參考影像中相同位置的第一像素的編碼元組合成一編碼簿(codebook)；及每一編碼元於一三原色(RGB)座標系中於紅色軸、綠色軸、藍色軸計算出各自的高斯分布(Gaussian Distribution)，依據各自的平均值與變異數形成一橢圓球形的機率分布(步驟S20)。於一實施例中，機率分布的形狀，橢圓球形亦可包括圓球形、傾斜橢圓形及正立橢圓形。進行一第一判斷步驟，依序判斷影像中的每一像素是否為一前景點，其係計算像素與橢圓編碼簿背景模型中對應像素的編碼簿中的所有編碼元之一馬氏距離(Mahalanobis Distance)D _mahal ，其中當馬氏距離D _mahal 小於一第一閥值，則判斷為一背景點，反之先在一暫時編碼簿中建立關於像素之一資料的一暫時編碼元，且像素暫時被視為前景點(步驟S30)。以及進行一第二判斷步驟，判斷前景點是否為一陰影(步驟S40)。其詳細說明如下。

接續上述，於步驟S20中，此橢圓編碼簿背景模型中的每一個編碼元在R、G、B三軸訓練出各自的高斯分佈，根據各自不同的RGB平均值與變異數於三維空間上組成一個橢圓機率雲，越靠近中心點越集中，表示出現的機率越高，如圖2所示。於一實施例中，橢圓編碼簿背景模型中的每一編碼元中都紀錄了相對像素的一組顏色以及該編碼元被參考的次數，於一實施例中，編碼元包含背景代表各顏色的平均值亦即、各顏色的變異度σ _B σ _R σ _G 與該編碼元被參考次數λ。

此技術在開始時即針對影像背景的部分建立橢圓編碼簿背景模型，然後如同步驟S30所示，不斷的利用此預先建置好的背景模型中的每個像素位置上的編碼元與輸入影像像素做比較，其係利用計算像素與橢圓編碼簿背景模型中對應像素的編碼簿中的所有編碼元之一馬氏距離(Mahalanobis Distance)，其中馬氏距離D _mahal 之方程式為：

其中R _t 、G _t 、B _t 代表該像素在三原色座標系中的座標值；分別代表編碼簿中所有編碼元各顏色的平均值；而σ _B 、σ _R 、σ _G 分別代表各顏色的變異度，且Σ^-1=σ _B σ _R σ _G μ=。計算出馬氏距離D _mahal 後，若其距離相近(如小於一第一閥值)，表示該位置上像素變化不大，則該像素被認為是背景點；反之，此時該位置上的像素有可能為背景點或者是前景點，因此先在一暫時編碼簿(cache codebook)中建立關於該像素之一資料的一暫時編碼元(cache codeword)，此像素會暫時被視為前景點，待下次若輸入影像像素與暫時編碼簿距離相近，則表示該位置的像素被認為是前景點，反之則為背景點。於一實施例中，此暫時編碼簿會動態的做調整：若暫時編碼元出現次數大於TH_add(第二閥值)，則挪動暫時編碼簿到編碼簿上，亦即此暫時編碼元會被視為是背景點；若暫時編碼元未更新存取時間大於TH_c(第三閥值)，則在暫時編碼簿中刪除此暫時編碼元。本發明一實施例的優點在於利用動態的暫時編碼元條件判斷，來更新判斷是否為背景的編碼簿，藉此來達到擁有動態背景的前景萃取技術。

橢圓形編碼簿背景模型的更新方式如以下說明。首先我們把輸入的像素和已訓練好的編碼簿比對該位置的編碼元是否滿足式(1)，符合馬氏距離D _mahal 小於使用者訂定第一閥值，就歸類該輸入像素為背景點；反之，我們建立一個具有和編碼簿相同結構的暫時編碼簿，並與之比對。暫時編碼簿並沒有在建立背景模型時同時產生，而是一個在建完背景模型後要執行步驟S30的動作時才使用的記錄空間，這個空間只有當我們判別輸入像素不滿足任何相似於編碼簿中同位置所有的編碼元時才需要比對以及建立，作用如同編碼簿，也是儲存一樣的資訊，只不過不作為判別前景點或背景點。對於編碼簿我們本發明一實施例會對每一個編碼元的未更新時間是否大於一定閥值來決定是否刪除這個編碼元，同樣地，在暫時編碼簿中我們有一樣的檢查刪除動作，另外不同於編碼簿之處，在於當暫時編碼簿內的暫時編碼元出現一定的次數時間後，我們就把此暫時編碼元挪到編碼簿內，變成一個新產生的編碼元用以決定前景點或背景點。利用暫時編碼簿，我們可以把一些存在時間過長的前景點變為背景點，達到背景更新的效用，但是需要使用者依照不同的使用場景環境以及需求來調整相關的閥值參數。

在步驟S30中決定像素為前景點或背景點的閥值往往是造成後續前景應用資訊完整性的重要關鍵，如附件一的(a)(b)圖例，(a)圖是使用較偏向決定背景點多的閥值，(b)圖則反之。在步驟S30的流程，是先決定背景點，非背景點就視為前景點，使用偏向決定背景點多的閥值會造成前景誤判為背景的點資訊消失，且不可恢復，因此改採用偏向前景點多的閥值，在附件一的(a)(b)圖例中可以發現，於(a)圖中圈起的區域被誤判為背景的前景點，於(b)圖中被正確決定成前景點，但是(b)圖中的藍色框顯示了過於樂觀決定前景點會造成很多不必要的雜訊點出現，這些雜訊有可能是影像壓縮造成影像品質受損，或是其他人為因素導致，但最主要的原因，大部分來自環境中光線變化造成的，有的是光線變暗造成的陰影(Shadow)，有的則是光線變亮造成的高亮度(Highlight)變化，針對這個問題，在判斷哪些是背景點及哪些前景點後，必須進行第二判斷步驟(步驟S40)。

接續上述，於第二判斷步驟中，係將像素由該三原色座標系轉換至色調-飽和度-亮度座標系(HSV system)中，並依據該像素之一飽和度與一亮度是否落入臨界值之區間，以判斷該前景點是否為該陰影。由於色調-飽和度-亮度座標系中HS代表著色度，V代表著強度，彼此為互相獨立。此外HSV較貼近人類視覺反應，即使在影像中很暗或很亮的區域都能很好地反映出對應的資訊，精確的反應亮度與彩度訊息，比起三原色空間(RGB Space)更適合於陰影去除的處理。陰影主要的特性是會改變背景的亮度，但並未真正改變色彩資訊，藉由亮度與彩度獨立的色調-飽和度-亮度空間(HSV Space)，我們可以針對每一個背景相減判別為前景點的像素是否誤判，其中判斷飽和度與亮度是否落入臨界值之區間的判別式為：

其中SH _t (x,y)代表在t時間下位於位置(x,y)的該像素是否為該陰影；代表判別陰影的閥值且0<<1；代表判別高亮度變化的閥值且1<；(x,y)表示該橢圓編碼簿背景模型中，在位置(x,y)所建立的該編碼元中出現次數最多者(假設為第k個編碼元)的亮度資訊；(x,y)表示該橢圓編碼簿背景模型中，在位置(x,y)所建立的該編碼元中出現次數最多者(假設為第k個編碼元)的飽和度資訊；IV _t 代表該在t時間下位於位置(x,y)的該像素的亮度資訊；IS _t代表該在t時間下位於位置(x,y)的該像素的飽和度資訊；及TH _S 代表飽和度閥值。

雖然已有許多國際上發表的論文證明利用HSV去除陰影可以達到令人滿意的效果，但此處發現在特殊的亮度值下，調整參數往往仍無法有效解決陰影的誤判，故本發明於第二判斷步驟中判斷前景點是否為陰影的方法包含於三原色座標系中，以一黑色像素O(R,G,B)=(0,0,0)與一白色像素W(R,G,B)=(255,255,255)為兩端點形成的一直線軸，將輸入的像素對直線軸投影以計算像素是否為陰影。

以下介紹兩種情況：

1.　當前景接近白色(R,G,B)=(255,255,255)時：當前景接近RGB的極值(255,255,255)白色時，根據式(2)式的第一個亮度比例判別式，因為白色的亮度最大，和背景相比時往往會被誤判為高亮度(Highlight)變化，而非真正因為環境光照造成的結果，如果是像圖例中大面積的誤判，會造成處理完後的剪影更為破碎，失去了我們很多可用的資訊。因此，請參考圖3，本發明固定中心軸為圖上從原點O到白色像素W連線的灰階線(虛線)；計算點到直線的最短距離(等效於計算兩向量的夾角)，故當我們有一個輸入的像素點(如像素P_input)要和該位置建立的編碼點(如像素P_codebook)比較時，首先經判別為前景點後，則進一步檢查此前景點是否為陰影，首先計算第5圖中的兩個夾角θ和φ，其中θ為欲判斷的像素P_input與白色像素之向量(255,255,255)的夾角，φ則為欲判斷的像素與編碼元的夾角，若滿足φ＜θ，表示欲判斷的像素與編碼元更為相似，與白色較不相似，此時欲判斷的像素就不再歸類為陰影或高亮度變化，而改成前景點，反之判斷像素為陰影的一部分，並將其視為背景點，其中相同位置的編碼簿其內含多個編碼元，所有的編碼元都須要運算，只要算出輸入像素與任一編碼元當做背景(包含陰影)，即判定非前景，但更新時只更新與輸入像素距離最近的編碼元(由式(1)算出)。

2.　背景偏黑色(R,G,B)=(0,0,0):在原始的HSV陰影去除法中仍存在著另外一項問題，就是當原本建背景模型時亮度較暗的區域，建立出來的機率雲會有部份超出RGB各值0~255，如圖4所示，部份被截掉的橢圓機率雲，這代表著這些區域比起其他顏色亮度的區域有更高的機會被判別為前景，因為機率雲可使用判別的範圍更小了。

接續上述，因偏暗的像素判別上會產生錯誤，都是因為亮度值非常小造成，因此，本發明將這些偏暗的像素提升亮度值就以套用前面的方式來處理，於一實施例中，係將這些偏暗的像素取補色後再進行判斷。

補色在三原色彩色空間上處理的方式就是直接把各別R、G、B三值同用255扣去，產生的新RGB值就是補色。如圖5A及圖5B所示，圖5A為實際上在RGB空間中變成補色後的位置(如像素P_input取補色之後成為像素P_input’；像素P_codebook取補色之後成為像素P_codebook’)，原本很靠近黑色的點經補色處理後會很靠近白色，而圖5B表示直接將原點O(0,0,0)視為白色像素W(255,255,255)的位置，則黑色點的向量長度不再是為零。則當前景點為接近黑色的像素，對前景點取補色，計算前景點之補色於三原色座標系中與白色像素(R=255,G=255,B=255)為第一夾角(θ)，以及前景點之補色與編碼簿對應之編碼元的第二夾角(φ)，當φ<θ則確認該像素為前景點，反之判斷該像素為該陰影的一部分，並將其視為背景點。另外，何時需要取補色，於一實施例中，像素之亮度值小於128時可適用補色的機制，因為理論上非極端點白色與黑色夾角運算產生的結果會相同。

依據上述，本發明之特徵在於利用動態的暫時編碼元條件判斷，來更新判斷該像素是否為背景的編碼元，藉此來達到擁有動態背景的前景萃取技術。

綜合上述說明，本發明之動態背景的前景偵測方法，可接受在擁有動態運動的背景下，找出與場景中相異的地方以分離出前景及背景的前景偵測技術。

以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。

S10．．．輸入一影像，其含有多個像素

S20．．．提供橢圓編碼簿背景模型

S30．．．進行一第一判斷步驟，依序判斷影像中的每一像素是否為一前景點，其係計算像素與橢圓編碼簿背景模型中對應像素的編碼簿中的所有編碼元之一馬氏距離

S40．．．進行一第二判斷步驟，判斷前景點是否為一陰影

O．．．原點

W．．．白色像素

P_input,P_input’,P_codebook,P_codebook’．．．像素

圖1為依據本發明一實施例之動態背景的前景偵測方法的流程圖。

圖2為依據本發明一實施例之機率點於RGB三軸構成顏色分佈的橢圓機率雲之分布示意圖。

圖3為依據本發明一實施例之示意圖。

第4圖為依據本發明一實施例之接近黑色的橢圓機率雲分布示意圖。

圖5A為依據本發明一實施例之靠近黑色實心點取補色成靠近白色的空心點之示意圖。

圖5B為依據本發明一實施例之補色下計算相當於將原點挪至白色點之示意圖。

附件一(a)(b)為依據本發明一實施例之改變偏向決定前景點多的閥值的示意圖。

S10．．．輸入一影像，其含有多個像素

S20．．．提供橢圓編碼簿背景模型

S30．．．進行一第一判斷步驟，依序判斷影像中的每一像素是否為一前景點，其係計算像素與橢圓編碼簿背景模型中對應像素的編碼簿中的所有編碼元之一馬氏距離

S40．．．進行一第二判斷步驟，判斷前景點是否為一陰影

Claims (9)

1. 一種動態背景的前景偵測方法，其係利用一橢圓編碼簿背景模型，該動態背景的前景偵測方法包含下列步驟：輸入一影像，其含有多個像素；提供該橢圓編碼簿背景模型，其由一預參考影像序列中的多個預參考影像經計算而建立，其中該預參考影像序列為一連續時間內所擷取之多個預參考影像的集合，且每一該預參考影像含有多個第一像素，且每一該些第一像素的資料定義為一編碼元(codeword)；該多個預參考影像中相同位置的該些第一像素的該些編碼元組合成一編碼簿(codebook)；及每一該些編碼元於一三原色(RGB)座標系中於紅色(R)軸、綠色(G)軸、藍色(B)軸計算出各自的高斯分布，依據各自的平均值與變異數形成一橢圓球形的機率分布；進行一第一判斷步驟，依序判斷該影像中的每一該像素是否為一前景點，其係計算該像素與該橢圓編碼簿背景模型中對應像素的該編碼簿中的所有該些編碼元之一馬氏距離(Mahalanobis distance)D _mahal ，其中當該馬氏距離D _mahal 小於一第一閥值，則判斷為一背景點，反之先在一暫時編碼簿中建立關於該像素之一資料的一暫時編碼元，該像素暫時被視為該前景點；以及進行一第二判斷步驟，判斷該前景點是否為一陰影。
2. 如申請專利範圍第1項所述之動態背景的前景偵測方法，其中該橢圓球形包含圓球形、傾斜橢圓形及正立橢圓形。
3. 如申請專利範圍第1項所述之動態背景的前景偵測方法，其中該馬氏距離D _mahal 之方程式為：，其中R _t 、G _t 、B _t 代表該像素在該三原色座標系中的座標值；分別代表該編碼簿中所有該多個編碼元各顏色的平均值；而σ _B 、σ _R 、σ _G 分別代表各顏色的變異度。
4. 如申請專利範圍第1項所述之動態背景的前景偵測方法，其中該陰影包含光照射於前景所形成之陰影以及光影變化。
5. 如申請專利範圍第1項所述之動態背景的前景偵測方法，其中於該第二判斷步驟中，係將該像素由該三原色座標系轉換至色調-飽和度-亮度座標系(HSV system)中，並依據該像素之一飽和度與一亮度是否落入臨界值之區間，以判斷該前景點是否為該陰影。
6. 如申請專利範圍第5項所述之動態背景的前景偵測方法，其中判斷該飽和度與該亮度是否落入臨界值之區間的判別式為：，其中SH _t (x,y)代表在t時間下位於位置(x,y)的該像素是否為該陰影；代表判別陰影的閥值且0<<1；代表判別高亮度變化的閥值且1<；(x,y)表示該橢圓編碼簿背景模型中，在位置(x,y)所建立的該編碼元中出現次數最多者(假設為第k個編碼元)的亮度資訊；(x,y)表示該橢圓編碼簿背景模型中，在位置(x,y)所建立的該編碼元中出現次數最多者(假設為第k個編碼元)的飽和度資訊；IV _t 代表該在t時間下位於位置(x,y)的該像素的亮度資訊；IS _t 代表該在t時間下位於位置(x,y)的該像素的飽和度資訊；及TH _S 代表一飽和度閥值。
7. 如申請專利範圍第1項所述之動態背景的前景偵測方法，其中於該第二判斷步驟中判斷該前景點是否為該陰影的方法包含於該三原色座標系中，以一黑色像素(R,G,B)=(0,0,0)與一白色像素(R,G,B)=(255,255,255)為兩端點形成的一直線軸，將輸入的該像素對該直線軸投影以計算該像素是否為該陰影。
8. 如申請專利範圍第7項所述之動態背景的前景偵測方法，其中當該前景點為接近白色的像素，則計算該前景點與一白色像素(R,G,B)=(255,255,255)於該三原色座標系之第一夾角(θ)，以及該前景點與該編碼簿對應之該編碼元的第二夾角(φ)，當φ<θ則確認該像素為該前景點，反之判斷該像素為該陰影的一部分，並將其視為該背景點。
9. 如申請專利範圍第7項所述之動態背景的前景偵測方法，其中當該前景點為接近黑色的像素，對該前景點取補色，計算該前景點之補色於該三原色座標系中與白色像素(R,G,B)=(255,255,255)為第一夾角(θ)，以及該前景點之補色與該編碼簿對應之該編碼元的第二夾角(φ)，當φ<θ則確認該像素為該前景點，反之判斷該像素為該陰影的一部分，並將其視為該背景點。