TW201327417A - 一種前景分離方法 - Google Patents

Abstract

本發明揭露了一種前景分離方法，其可有效地在自初始影像分離前景與背景之同時，克服傳統高斯混合模型中前景物件停留過久會融於背景問題。總結來說，本發明首先建立一參考後景影像來作為影像處理的基準，接著再根據前景路徑而將部份的參考後景影像，用來取代欲分離之影像的相對應部份以產生一標準後景影像。隨後，再將標準後景影像與初始影像進行差分，以求出相對應於指定標的之一標的前景影像。據此，本發明不會因為前景的靜止而無法偵測，進而可以加強習知監視系統的準確性。

Description

一種前景分離方法

本發明係與一種前景分離方法有關，更明確的說，本發明係與一種用於識別相對於一指定標的之一標的之前景影像的前景分離方法有關。

現今科技發展日新月異，不管是在硬體的運算速度或是軟體技術的開發上，都有著令人驚豔的成果並且仍持續在進步中，而影像處理與電腦視覺這方面的相關研究，在近年來更是發展迅速並因此而被廣泛地應用。此外，影像的動態分析及追蹤也逐漸發展成熟。就安全監控這方面而言，除了基本的監視及錄影建檔等等基本功能之外，還要能透過電腦視覺及影像處理的相關技術，來對攝影鏡頭所擷取到的連續影像進行處理及分析，以提供特定區域的偵測、辨識、追蹤及異常警告等功能。而在應用上開之技術時，需配合有效的資料處理方法，方能達到較佳的效果。其中，如何自多張影像中有效地自偵測畫面中分離前景影像、後景影像(或稱背景)，係為監控系統運作時很重要的一個步驟。

為了有效地自影像中分辨並擷取其之後景及前景，現今大部分的監控系統係採用背景相減法、時間差相減法和高斯混合背景模型等運算方式。然而，背景相減法及時間差相減法此兩種方式都需要有乾淨之背景，換而言之，若影像之後景構成過於複雜，其所建立或擷取之前景將支離破碎、不堪使用。

為此，利用高斯混合模型則可一定程度的克服上開前景品質不佳之問題。然而，高斯混合模型亦有其缺點，當欲偵察的標的物停留在畫面上過久，高斯混合模型將會將標的物之影像視為後景的一部份，標的物停留的時間越久，則高斯混合模型對標的物的辨識能力將隨之而快速減損。上開的現象將會直接影響前景偵測的準確性，同時也會對後續追蹤的正確性造成影響。

為克服上開問題，目前己有業者利用一個時間控制變數來延長相融時間，以降低標的物之靜止情況對其之辨識能力的影響。但若標的物的靜止時間較長，前景仍會融於後景中而成為背景的一部份。再者，Li等人於2007年8月於Journal of Computer Applications之第27期，第8號的第2014頁至2017頁中，係揭露了一種名為“Improvement on adaptive mixture Gaussian background model,”的方法，以用來改善上開的問題。然而，請參閱圖一，圖一係繪述了利用Li的方法進行前景分離的效果。圖一係分為T1、T2、T3以及T4四個區間，其分別揭露了Li之方法於第139號影格、209號影格、274號影格與308號影格的影像，以及該等影格所對應的前景偵測結果。由圖中可以清楚的看到前景的辨識能力將隨時間而大幅減損，至T4時其己無法自影像中將標的物之前景進行擷取。

據此，如何開發出一種在分離前景與背景之同時，可以有效地克服傳統高斯混合模型中，前景物件停留過久會融於背景問題之方法，實為所屬技術領域所急欲解決的問題。

有鑑於此，本發明之一範疇在於提供一種前景分離方法，更明確的說，本發明係為一種用於識別相對於一指定標的之一標的前景影像的前景分離方法。本發明係透過建立一參考後景影像來作為影像處理的參考，再根據前景路徑來取代所欲分離之影像的相對應部份，接著再進行差分，以求出對應於指定標的之一標的前景影像，以達前景辦識之效。

明確的說，本發明的前景分離方法係包含有步驟S1至S5。步驟S1為依序準備一第一影像、一第二影像、一第三影像以及一第四影像。步驟S2為利用第一影像、第二影像以及第三影像來建立一參考後景影像。步驟S3為利用第一影像、第二影像以及第三影像來建立一前景路徑。步驟S4則為利用第四影像、參考後景影像以及前景路徑，來產生一標準後景影像。步驟S5為利用標準後景影像來對第四影像進行比較，以求得相對應於指定標的之一標的前景影像。

而於實際應用時，上開的步驟S2係進一步包含有數個子步驟，其分別為自第一影像、第二影像及第三影像分別區隔出對應的一靜態區域，以及匯整各個靜態區域以產生一參考後景影像。

上開的步驟S3亦得包含有子步驟，其分別為對第一影像、第二影像、第三影像以一高斯混合模型，來分別擷取一相對應的前景影像；根據相對於第一影像、第二影像以及第三影像之前景影像的位置，以一第二預定方法來估算第四影像之前景影像之一預測位置；以及利用對應於第一影像、第二影像、第三影像之前景影像以及預測位置，而取得一聯集以形成為前景路徑。

另外，上開指的第二預定方法係指將第一影像、第二影像以及第三影像之位置代入一卡爾曼濾波器進行運算。

再者，上開的步驟S4亦得進一步包含有子步驟，其分別為自第四影像擷取一對應的後景影像，以及利用參考後景影像對應於前景路徑的區域，來取代第四影像相對於前景路徑之區域，以產生一標準後景影像。

總結來說，本發明揭露了一種可在分離前景與背景之同時，有效地克服傳統高斯混合模型中前景物件停留過久會融於背景問題之方法。再者，本發明係進一步地改善了習知的高斯混合模型，因前景停留在原地的時間較長而被融於背景之中的問題，並讓前景在進入警戒區以後不會因為停留而產生無法偵測的問題，進而加強了習知監視系統的準確性。

除非有另外定義，否則本說明書所用之所有技術及科學術語，皆具有與熟習本發明所屬技術者通常所瞭解的意義相同之意義。另外，本說明書目前所述者僅屬本發明的眾多實例方法之其中之一，在本發明之實際使用時，可使用與本說明書所述方法及裝置相類似或等效之任何方法或手段為之。再者，本說明書中所提及之一數目以上或以下，係包含數目本身。另外，本說明書若提及某甲與某乙係電性連接或耦接時，其係實指某甲與某乙係具有能量、資料或信號的傳輸行為，其不以實際連接為限，據此，舉凡無線網路、光學信號傳輸待行為均落入其範圍。再者，說明書的『此』一字係與『本發明的』一詞同義。

且應瞭解的是，本說明書揭示執行所揭示功能之某些方法、流程，並不以說明書中所記載之順序為限，除說明書有明確排除，否則各步驟、流程先後順序之安排端看使用者之要求而自由調整。再者，本說明書中的各圖式間的各元件間之比例已經過調整以維持各圖面的簡潔，故此，除了說明書有明確說明外，圖面中的各個元件的相對應大小、位置以及形狀均僅供參考，在不脫離本發明的發明觀念下，各個元件的大小、位置以及形狀等特徵之安排端看使用者之要求而自由變更。另外，考量本發明之各元件之性質為相互類似，故各元件間的說明、標號為相互適用。

為使本發明能更清楚的被說明，請參照以下本發明詳細說明及其中所包括之實例，以更容易地理解本發明。本發明係揭露了一種前景分離方法，簡單來說，本發明係透過建立一參考後景影像以作為影像處理的參考之後，再根據前景路徑來取代所欲分離之影像的對應部份，接著再進行差分以求出對應於指定標的之一標的前景影像，以達前景辦識之功效。

另外，本發明可以大致地得分成『建立參考後景影像』、『建立前景路徑』、『建立標準後景影像』以及『辨識標的前景影像』四大部份，以下將根據上開四個運作部分別進行說明。

請參閱圖二，圖二係繪述了本發明的前景分離方法之較佳實施例的步驟流程圖。由圖二中可見，本發明的前景分離方法1係包含有步驟S1至步驟S5。首先第一運作部分為『建立參考後景影像』，其主要係包含了步驟S1及步驟S2。步驟S1為依序準備第一影像G1、第二影像G2、第三影像G3以及第四影像G4。上開的準備一詞係指利用影像擷取器拍攝、自一資料庫匯入或是其他類似的手段。

第一影像G1、第二影像G2、第三影像G3以及第四影像G4係分別代表了於各時間所拍攝的眾多影格中的其中之一者，再者，第二影像G2之拍攝時間係較第一影像G1晚，如此類推。需注意的是，上開各影像之間的拍攝間隔並不以固定為限。為保持說明書的簡潔，本具體實施例僅以四張影像來交代本發明之本質，然而於實際應用時，影像之數量得為上千至上萬亦可。

另外，為了對各影像的性質進行更進一步的說明，請參閱圖三A至圖三E，圖三A及圖三E係分別繪述了本發明的較佳實施例中之第一影像G1、第一影像G1之後景影像B、第一影像G1之前景影像F、第一影像G1之靜態區域以及第一影像G1之動態區域A的示意圖。由圖三A至圖三E可見，第一影像G1之前景及後景係分別以第一前景影像F以及第一後景影像B來代表。考量前景及後景之定義己為習知，故於此省略。於本具體實施例中，本發明的前景影像F係由一黑底白圖的形狀所組成，白圖的形狀係對應於指定標的10之形狀，以代表指標的10之位置。

除此之外，本發明的第一影像G1亦定義有一靜態區域S及一動態區域A。靜態區域S係指影像中較為穩定的區域。更明確的說，請見圖三D及圖三E，若系統於影像中偵測到正在移動的一指定標的10，則正在移動的指定標的10所處之位置將被定義為一動態區域A。同時，指定標的10於動態區域A以外的部份則將被定義為靜態區域。另外，於本具體實施例中，上開所提及的對應形狀的區塊係較指定標的10稍大。再者，考量第二影像G2及第三影像G3之性質與第一影像G1相似，故將不於此贅述。

在各影像均準備完畢後，則進行步驟S2。請再參閱圖二，步驟S2為利用第一影像G1、第二影像G2以及第三影像G3來建立一參考後景影像GR1。更明確的說，請參閱圖四，圖四繪述了參考後景影像GR1的建立方式。由圖四中可見，參考後景影像GR1係分別由第一影像G1、第二影像G2以及第三影像G3的靜態區域相互補償、聯集產生而形成。需注意的是，在實際應用時，影像會高達數千張，此時，參考後景影像GR1將會隨著時間，而不斷被各個影像中的靜態區域來進行持續的更新。更明確的說，本系統得以數秒為一單位並將各圖像中無移動物體的區域，更新至參考後景影像GR1中，而當畫面上有持續且劇烈的變動時，則不進行更新的動作，利用此方式，本發明可以避免影像中的指定標的10意外地存入參考後景影像GR1中，所導致之後續的誤差。另外，若畫面為完全靜止時，亦得視狀況停止參考後景影像GR1的更新以維持其正確性。

在進行本發明的第一運作部分之同時，應持續地利用高斯混合模型來監測第一影像G1、第二影像G2以及第三影像G3的前景影像F，並完成前景匹配及前景相關資訊的更新。若對應於指定標的10之前景影像F在物件追蹤時有被連續匹配多次，則代表此前景影像F已於畫面上已出現一段時間，則前景影像F具有被溶解於後景、背景的可能。據此，將啟動本發明的第二運作部分。

本發明的第二運作部分係為『建立一前景路徑』，其主要包了步驟S3。步驟S3係為利用第一影像G1、第二影像G2以及第三影像G3來建立一前景路徑30。

具體的說，前景路徑30的運算方式如下所述。首先，分別對第一影像G1、第二影像G2以及第三影像G3分別以高斯混合模型來進行運算，以取得多個相對應的前景影像F。接著，將各個前景影像F的起始位置以及結束位置來進行匯整。再者，利用卡爾曼濾波器來對上開各個前景影像F的所處位置、以及移動速率、座標變化模式或是其他參數，以習知的影像處理方式來推算第四影像G4的前景影像F應存在的位置。其中，上開程序所推算得出的第四影像G4之前景影像F的位置，係被定義為如圖五所繪述之一預測位置20。圖五繪述了本發明的較佳實施例中預測位置20的示意圖。

在推算得到前景影像F應存在的預測位置20後，再分別將對應於第一影像G1、第二影像G2、第三影像G3的前景影像F與上開的預測位置20取一聯集，即可求得如圖六所示之前景路徑30，圖六係繪述了本發明的較佳實施例中前景路徑30的示意圖。

在取得前景路徑30後，接著將進行第三部之『建立標準後景影像』。請參閱圖七，圖七係繪述了本發明的較佳實施例的標準後景影像2中形成示意圖。第三運作部份之取代影像係主要包含有步驟S4。步驟S4為利用該第四影像G4、參考後景影像GR1以及前景路徑30來產生一標準後景影像GR2。

更明確的說，步驟S4的運作方式係如下所述。首先，自第四影像G4以高斯混合模型來擷取一對應的後景影像B。需注意的是，第四影像G4係被定義為處於圖中之指定標的10之前景，已沒有被系統所擷取之影像。其無法擷取的原因可能為指定標的10因長時間靜止，而被部份地融入後景影像B中。此時，指定標的之前景影像己一定程度的溶入第四影像G4中，並影響其辦識的效果。

接著，利用參考後景影像GR1對應於前景路徑30的區域，來取代第四影像G4上相對應的區域，此舉將能消除第四影像G4上有可能包含指定標的10之前景影像F的標準後景影像GR2。由於在上開的標準後景影像GR2中可能具有指定標的10之潛在區域，已被參考後景影像GR1所取代，故標準後景影像GR2將不存在指定標的10之影像或其對應的前景。

在取得標準後景影像GR2後，則進行第四部『辨識標的前景影像』。第四部程序係包含有步驟S5，步驟S5為利用該標準後景影像GR2來對第四影像G4進行比較，以求得對應於指定標的10之一標的前景影像GF。上開的比較一詞，係指差分運算或其他用於比較圖式的影像處理方法。考量標準後景影像GR2將不包含指定標的之前景影像，故透過對二圖式進行差分，便可以明確的得出指定標的10之標的前景影像GF。

最後，為說明本發明之效果，請參閱圖八，圖八係繪述了本發明的較佳實施例中與先前技術的效果比較圖表。由圖可見，先前技術於第308格時，前景己完全地溶於背景中並且無法分辨其之指定標的10。而反觀本發明則於第308格時仍維持清晰可見，直至第438格，指定標的10之前景仍維持清晰而不被影響。總結來說，本發明揭露了一種可在分離前景與背景之同時，有效地克服傳統高斯混合模型中前景物件停留過久會融於背景問題之方法，並讓前景在進入警戒區以後不會因為停留而產生無法偵測的問題，進而加強了習知監察系統的準確性。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。因此，本發明所申請之專利範圍的範疇應根據上述的說明作最寬廣的解釋，以致使其涵蓋所有可能的改變以及具相等性的安排。

1．．．前景分離方法

10．．．指定標的

20．．．預測位置

30．．．前景路徑

A．．．動態區域

B．．．後景影像

F．．．前景影像

G1．．．第一影像

G2．．．第二影像

G3．．．第三影像

G4．．．第四影像

GR1．．．參考後景影像

GR2．．．標準後景影像

GF．．．標的前景影像

S．．．靜態區域

S1~S5．．．步驟流程

T1~T4．．．區間

圖一係繪述了利用先前技術進行前景分離的效果。

圖二係繪述了本發明的前景分離方法之較佳實施例的步驟流程圖。

圖三A係繪述了本發明的較佳實施例中第一影像之示意圖。

圖三B係繪述了本發明的較佳實施例中第一影像之後景影像。

圖三C係繪述了本發明的較佳實施例中第一影像之前景影像。

圖三D係繪述了本發明的較佳實施例中第一影像之動態區域。

圖三E係繪述了本發明的較佳實施例中第一影像之靜態區域。

圖四係繪述了本發明的較佳實施例中參考後景影像的建立方式。

圖五係繪述了本發明的較佳實施例中預測位置的示意圖。

圖六係繪述了本發明的較佳實施例中前景路徑的示意圖。

圖七係繪述了本發明的較佳實施例中標準後景影像的形成示意圖。

圖八係繪述了本發明的較佳實施例中與先前技術的效果比較圖表。

【主要元件符號說明】

1．．．前景分離方法

S1~S5．．．步驟流程

Claims (6)

1. 一種前景分離方法，其係用於識別相對於一指定標的之一標的前景影像，該前景分離方法係包含有以下步驟：步驟S1：依序準備一第一影像、一第二影像、一第三影像以及一第四影像；步驟S2：利用該第一影像、該第二影像以及該第三影像來建立一參考後景影像；步驟S3：利用該第一影像、該第二影像以及該第三影像來建立一前景路徑；步驟S4：利用該第四影像、該參考後景影像以及該前景路徑來產生一標準後景影像；以及步驟S5：利用該標準後景影像來對該第四影像進行比較，以求得相對應於該指定標的之該標的前景影像。
2. 如申請專利範圍第1項所述之前景分離方法，其中步驟S2係進一步包含有以下子步驟：自該第一影像、該第二影像及該第三影像，分別區隔出相對應的一靜態區域；以及匯整該些靜態區域以產生該參考後景影像。
3. 如申請專利範圍第1項所述之前景分離方法，其中步驟S3係進一步包含有以下子步驟：對該第一影像、該第二影像、該第三影像以一指定方式，分別地擷取一相對應的前景影像；根據相對於該第一影像、該第二影像以及該第三影像之該些前景影像的位置，以一第二預定方法來估算該第四影像之一前景影像之一預測位置；以及對對應於該第一影像、該第二影像以及該第三影像之該前景影像以及該預測位置，取一聯集以形成為該前景路徑。
4. 如申請專利範圍第3項所述之前景分離方法，其中該指定方式係指利用一高斯混合模型來進行運算。
5. 如申請專利範圍第3項所述之前景分離方法，其中該第二預定方法係指將該第一影像、該第二影像以及該第三影像之位置，代入一卡爾曼濾波器進行運算。
6. 如申請專利範圍第1項所述之前景分離方法，其中步驟S4係進一步包含有以下子步驟：自該第四影像擷取一相對應的後景影像；以及利用該參考後景影像對應於該前景路徑的區域，來取代該第四影像之該後景影像中相對於該前景路徑之區域，以產生該標準後景影像。