TWI455040B - 前景物件偵測方法與裝置及背景偵測方法與裝置 - Google Patents

前景物件偵測方法與裝置及背景偵測方法與裝置 Download PDF

Info

Publication number
TWI455040B
TWI455040B TW101100535A TW101100535A TWI455040B TW I455040 B TWI455040 B TW I455040B TW 101100535 A TW101100535 A TW 101100535A TW 101100535 A TW101100535 A TW 101100535A TW I455040 B TWI455040 B TW I455040B
Authority
TW
Taiwan
Prior art keywords
background
pixel
distribution model
background distribution
module
Prior art date
Application number
TW101100535A
Other languages
English (en)
Other versions
TW201314582A (zh
Inventor
Tao Zhang
Yu Pao Tsai
Original Assignee
Mediatek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mediatek Singapore Pte Ltd filed Critical Mediatek Singapore Pte Ltd
Publication of TW201314582A publication Critical patent/TW201314582A/zh
Application granted granted Critical
Publication of TWI455040B publication Critical patent/TWI455040B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Description

前景物件偵測方法與裝置及背景偵測方法與裝置
本發明係有關於一種前景物件偵測方法，更具體地，有關於一種前景物件偵測方法和裝置以及背景偵測方法和裝置。
前景物件偵測係將自攝影機擷取(capture)影像中的前景物件與背景分離的過程。前景物件具有各種應用，例如視訊監視(video surveillance)或基於物件的視訊編碼。實作中的前景物件偵測方法通常基於背景相減法(background subtraction)，背景相減法假設隨時間推移攝影機為固定(stationary)且可創建並更新背景模型(background model)。本領域存在若干實作的流行技術，包括調適性高斯集合(adaptive Mixture of Gaussian，MOG)法、核心密度估計法(Kernel Density Estimation，KDE)以及編碼本(Codebook)法。所有上述前景/背景偵測方法採用影像處理技術以處理攝影機擷取的色彩/強度影像，而其中所擷取影像不包括深度資訊。一種基於混合高斯模型(Mixture of Gaussian)的方法已應用於具有混合的深度和色彩資訊的影像。然而，基於MOG的方法簡單地將深度資訊看作色彩資訊的組成並產生更高的計算複雜度。因此，需要提出低複雜度前景物件偵測方法和裝置，採用深度影像中的深度資訊以偵測深度影像的場景中所對應的前景物件。
有鑑於此，本發明提供一種前景物件偵測方法與裝置及背景偵測方法與裝置。
本發明提供一種前景物件偵測方法，用於偵測多個深度影像中的像素，該前景物件偵測方法包括：從該多個深度影像中接收該像素的深度值；如果該像素以第一背景分佈模型表示，根據該深度值更新該第一背景分佈模型，且將該像素的代表值標記為第一背景；如果該像素位於該第一背景之後，處理備用背景模型；如果該像素位於該第一背景之前，將該像素的該代表值標記為前景；以及提供該像素的該代表值。
本發明再提供一種背景偵測方法，用於多個深度影像中多個物件邊緣周圍的像素，其中，該多個深度影像使用第一背景分佈模型或該第一背景分佈模型與第二背景分佈模型的混合，該背景偵測方法包括：從該多個深度影像中接收該像素的深度值；如果該像素以該第一背景分佈模型表示，根據該深度值更新該第一背景分佈模型；如果該像素係在對應於該第一背景分佈模型的背景之前，跳過更新該第一背景分佈模型；如果該像素係在對應於該第一背景分佈模型的該背景之後，建立候選背景分佈模型並估計第一發生頻率與一第二發生頻率，該第一發生頻率與該第二發生頻率對應於由該第一背景分佈模型或該候選背景分佈模型分別表示的該像素；如果該第一發生頻率與該第二發生頻率表示高發生頻率，從該候選背景分佈模型中建立該第二背景 分佈模型；如果該第一發生頻率表示高發生頻率且該第二發生頻率表示低發生頻率，丟棄該候選背景分佈模型；如果該第一發生頻率表示低發生頻率且該第二發生頻率表示高發生頻率，以該候選背景分佈模型替換該第一背景分佈模型；以及如果該第二背景分佈模型存在，使用該第一背景分佈模型與該第二背景分佈模型的該混合處理該像素，否則基於該第一背景分佈模型使用單一背景分佈模型處理該像素。
本發明另提供一種前景物件偵測裝置，用於多個深度影像中的像素，該前景物件偵測裝置包括：接收模組，用於從該多個深度影像中接收該像素的深度值；判定模組，耦接於該接收模組，用於判定是否該像素可以第一背景分佈模型表示；更新模組，耦接於該判定模組，如果該像素可以該第一背景分佈模型表示，則根據該像素的該深度值更新該第一背景分佈模型；標記模組，耦接於該判定模組，如果該像素可以該第一背景分佈模型表示，則將該像素的代表值標記為第一背景；而如果該像素位於該第一背景之前，則將該像素的該代表值標記為前景，且該標記模組輸出提供該像素的該代表值；以及處理模組，耦接於判定模組，如果像素位於第一背景之後，則處理模組處理備用背景模型。
本發明還提供一種背景偵測裝置，用於多個深度影像中多個物件邊緣周圍的像素，其中，多個深度影像使用第一背景分佈模型或第一背景分佈模型與第二背景分佈模型的混合，背景偵測裝置包括：接收模組，用於從多個深度影像中接收像素的深度值；判定模組，耦接於 接收模組，用於判定是否像素可以第一背景分佈模型表示；更新模組，耦接於判定模組，如果像素可以第一背景分佈模型表示，根據深度值更新第一背景分佈模型；而如果像素係在對應於第一背景分佈模型的背景之前，跳過更新第一背景分佈模型；處理模組，耦接於判定模組，處理模組包括創建模組、頻率估計模組、丟棄模組以及替換模組；其中，如果該像素係在對應於第一背景分佈模型的背景之後，創建模組建立候選背景分佈模型，且該頻率估計模組估計第一發生頻率與第二發生頻率，第一發生頻率與第二發生頻率對應於分別由第一背景分佈模型或候選背景分佈模型表示像素的發生頻率；如果第一發生頻率與第二發生頻率表示高發生頻率，創建模組從候選背景分佈模型中建立第二背景分佈模型的模組；如果第一發生頻率表示高發生頻率且第二發生頻率表示低發生頻率，丟棄模組丟棄候選背景分佈模型；如果第一發生頻率表示低發生頻率且第二發生頻率表示高發生頻率，替換模組以候選背景分佈模型替換第一背景分佈模型；以及如果第二背景分佈模型存在，使用第一背景分佈模型與第二背景分佈模型的混合處理該像素，否則基於第一背景分佈模型使用單一背景分佈模型處理像素。
本發明提供的前景物件與背景物件的偵測方法可實現可靠而實作的基於深度影像的前景與背景物件偵測。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定組件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的 名詞來稱呼同一個組件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分組件的方式，而是以組件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的“包括”和“包含”係為一開放式的用語，故應解釋成“包含但不限定於”。以外，“耦接”一詞在此係包含任何直接及間接的電性連接手段。間接的電性連接手段包括通過其他裝置進行連接。
前景物件偵測係將自攝影機擷取的影像中的前景物件與背景分離的過程。前景物件具有各種應用，例如視訊監視或基於物件的視訊編碼。前景物件偵測方法通常基於背景相減法，該背景相減法假設隨時間推移攝影機為固定的且可創建並更新背景模型，當接收到新視訊訊框時，從新視訊訊框中減去背景模型以獲取前景物件，且同時使用新視訊訊框更新背景模型。第1圖係經由減去已知背景基於色彩/強度影像的簡單前景偵測示意圖。第1圖所示方法係慣用方法的關鍵概念，慣用方法假設可建立影像100中的背景110。當接收包括前景物件120的新影像100’時，經由從新影像100’中減去背景影像110獲取前景物件120。
基於背景相減法的許多前景物件偵測方法已在文獻中有所描述，其中，主要使用強度顯像攝影機(intensity camera)(簡稱強度攝影機)或熱顯像攝影機(thermal camera)擷取影像。上述前景物件偵測方法的主要概念係假設可事先建立背景模型。並且假設攝影機為固定且最初場景為空白。然而，最初場景為空白的需求限制性極大從而無法滿 足真實環境的需求。本領域存在若干實作的流行技術，包括MOG法、KDE法以及編碼本法。上述方法的主要區別在於如何表示前景或背景、如何確定背景以及如何更新模型。
MOG法係由Stauffer和Grimson在題為“即時追蹤的調適性背景混合模型”的論文中所揭示(IEEE電腦視覺與圖樣識別國際會議，卷2，第246-252頁，1999年8月)。MOG法將前景和背景中的每個像素表示為混合的高斯分佈。如果像素的降冪排列高斯分佈(decreasingly sorted Gaussian distribution)的加權和值大於預定義門檻值，則將該像素看作背景。根據MOG法，每個像素的最近歷史{X1,...,Xt}係由K個高斯分佈的集合建立模型。觀察到當前像素值的機率為：
其中，K為高斯分佈數目，係時間t時集合中的第i個高斯分佈的估計權重，μ i,t 係時間t時集合中的第i個高斯分佈的平均值，Σ i,t 係時間t時集合中的第i個高斯分佈的協方差矩陣，且η為高斯分佈機率密度函數。第2圖係使用210、220、230三種高斯分佈的MOG方法的示例示意圖。模型更新規則亦在Stauffer和Grimson的論文中有所描述。如果像素的新值可以高斯分佈表示，對應的高斯分佈得到更新且其他分佈的權重減少。如果新值不可以高斯分佈表示，且高斯分佈的現存數目少於預定義數目，則增加一新的高斯分佈。否則，標識並替換現存高斯分佈中的一個。Stauffer和Grimson亦揭露一種背景模型估計方法，其中高斯分佈以ω/δ的值排序，ω為權重且δ為對應 高斯分佈的標準偏移。將最前面的B個高斯分佈選作背景模型，其中
其中，T為背景在資料中應占據的最小部分的測量值。根據MOG法，必須維持和更新K高斯分佈模型，因此將導致計算複雜度高。
KDE法係由Elgammal在題為“背景相減法的無母數模型”的論文中所揭示(ECCV '00第六次電腦視覺歐洲會議記錄-第三部分，第751-767頁，2000年)。在KDE方法中，將每個像素的前景和背景表示為核心密度。{x1,x2,...,xN}為像素的最近樣本的強度值(intensity value)。基於上述樣本，使用核估計式G可估計像素的機率密度函數：
其中，核估計式G可為高斯函數。使用此機率估計，如果一像素的核心密度值少於一門檻值，例如Pr(x t )<th，其中th為可調整以實現期望誤測百分比的所有影像的全域門檻值，則可將此像素看作前景像素。Elgammal也提出一模型更新規則，即只有將新樣本看作背景樣本時，才將此新樣本加入模型。以先進先出(first-in first-out，FIFO)方式執行此更新。即，丟棄最早樣本並將新的樣本加入模型。由於需要對數目可觀的樣本進行緩沖，KDE法同樣將導致計算複雜度高。
編碼本法係由Kim在題為“使用編碼本模型的即時前景-背景分割”的論文中所揭示(即時成像，卷2，第3期，第172-185頁，2005 年6月)。在編碼本方法中，將每個像素的背景表示為若干代碼，這些代碼具有例如出現頻率的統計資訊。如果一像素的亮度在預定義範圍之內且該像素的色距(color distance)小於一門檻值，則將此像素看作背景。編碼本方法具有建立一編碼本的訓練階段。如果找不到一像素的匹配(match)，則建立一新的碼字。如果找到一像素的匹配，則更新對應的碼字。對應的背景相減法嘗試尋找匹配碼字。如果找不到一像素的匹配，則將該像素當作前景像素；否則，將該像素當作背景像素並更新對應碼字。同樣地，由於碼字訓練和更新，編碼本方法也將導致計算複雜度高。
上述的基於強度的(色彩或灰階)前景物件偵測方法主要被設計用於處理複雜情形，例如背景移動並改變照度。上述方法的一個共同特徵為，除去系統中允許的組成數量限制，例如高斯分佈數目、KDE方法中緩沖數目或編碼書的數目，通常盡可能多地保持像素的歷史。例如，在MOG方法中，如果一像素的新值不屬於現存高斯分佈，除非已達到集合的預規定數目，則將建立一新的高斯分佈以表示該新值且將該新的高斯分佈加入高斯分佈的集合。當不再允許新的分佈時，將根據一些規則標識一最不利的分佈並以該新建立的分佈進行替換。
景深攝影機(Depth camera)係另一種類型的攝影機，景深攝影機提供攝影機與場景中一點之間的距離資訊，而非強度或色彩等資訊。由於人-機交互中潛在寬度的使用，景深攝影機在遊戲中變得越來越流行。而且，景深攝影機的成本不斷降低。第3圖係前景中對應兩個人 物主體310和320的深度影像示意圖。以深度影像的灰階表示深度。較高級別(較亮的強度)表示較近的距離而較低級別(較暗的強度)表示較遠的距離。為偵測景深攝影機所產生深度影像中的前景物件，現有方法簡單地使用為強度攝影機所設計的背景相減法。因此，深度資訊被看作色彩資訊之外的另一維度。例如，Harville在題為“色彩及深度中應用調試性混合模型的前景分割”(IEEE視訊事件的偵測和識別，第3-11頁，2001年7月)提出同時基於色彩和深度資訊的前景物件偵測方法。此方法同時利用色彩和深度資訊，因而計算成本通常較高。而在場景為暗的時候，色彩資訊為無幫助的。景深攝影機與強度攝影機(色彩或灰階級別)之間的區別說明簡單地應用為強度攝影機設計的方法可能無法達成預期效果。例如，在強度影像中亮度的改變是難以處理的問題；而在深度影像的影像處理中並不存在此問題。如果直接將現存技術運用於深度影像，前景/背景偵測結果可能並不令人滿意。因此，需要發展一種可靠而實作的基於深度影像的前景物件偵測方法和系統。
在深度影像中，以單一高斯分佈可建立距離模型。該距離模型表示在不同時間點(time instance)背景與深度影像中像素對應的景深攝影機之間的距離。此外，真實背景總是景深攝影機所感知(perceive)的最遠點。第4圖係使用景深攝影機410擷取深度影像的方案示意圖，其中前景物件420位於背景430的前端。在時間點T1，前景物件在景深攝影機前方距離d1處。對應像素產生對應於距離d1的距離資訊。在時間點T2，前景物件420向左移動且對應像素產生對應於距離d2的距 離資訊。由於新的距離更遠，根據本發明，更新當前背景和屬於背景的像素。在時間點T3，前景物件420向距離景深攝影機更近的地方移動且對應像素產生對應於距離d3的距離資訊。其中，441、443為景深攝影機410在前景物件420上的投影點，而442為景深攝影機410在背景430上的投影點。然而，根據本發明的一實施例，基於深度資訊的背景確定是假設背景總具有更遠的距離且因此在時間點T3不會為背景更新像素。相應地，根據本發明一實施例的方法提供在時間點T3正確的背景確定方法。像素的背景深度值的更新規則為如果深度值可以現有高斯背景分佈表示，則使用該深度值更新當前高斯分佈；否則，如果該深度值小於可以現有高斯背景分佈表示的深度值，不對當前背景模型進行更新，即該像素位於前景中；而如果該深度值大於可以現有高斯背景分佈表示的深度值，即該像素在當前背景之後，以一個新的高斯分佈替換當前高斯分佈，其中，該新的高斯分佈的平均值為該新的深度值。上述論述中將高斯分佈作為實現本發明的一個示例。然而，亦可使用其他分佈函數。
根據所述，根據本發明實施例的過程描述如下：
步驟1 讀取一像素的深度值
步驟2 如果此像素的背景模型(m,μ)不存在，建立一新的高斯分佈以表示此像素的背景：a.設置m=d，μ=μ1(μ1為預定義值)，且b.將當前像素標記為背景像素。
步驟2中亦可根據先前訊框中對應像素的先前深度值建立一新的高斯分佈以表示此像素的背景，其中該新的高斯分佈模型的平均值對 應於先前訊框中對應像素的先前深度值。
步驟3 如果背景模型(m,μ)存在：
a.如果d可以高斯背景分佈表示(例如，|d-m|<2μ)，更新當前高斯分佈並將當前像素標記為背景像素。
b.否則，
i如果d<m，不進行更新。將當前像素標記為前景像素。
ii如果d>m，設置m=d,μ=μ1(即，以新的高斯分佈替換當前高斯分佈)，將當前像素標記為背景像素。
步驟4 回至步驟1進行重複。
第5圖係對應上述過程的流程圖。一旦開始，在步驟S510中，接收像素的深度值d。在步驟S515中，判斷是否存在該像素的背景模型(m,μ)。如果背景模型不存在，在步驟S520中，經由設置m=d,μ=μ1建立新的高斯分佈以表示該像素的背景，且然後將步驟S510中接收的像素標記為背景像素。如果背景模型存在，在步驟S525中，進一步確認深度值d是否可以背景模型表示。如果深度值d與高斯分佈模型平均值m的距離在既定範圍之內，例如|d-m|<λμ，其中λ為預定義值，則認為深度值d可以被背景模型表示。除在上述示例中使用與高斯分佈模型平均值m的距離以確定是否可以背景模型表示一像素之外，也可使用覆蓋平均值m的其他範圍以進行確定。例如，可以範圍m-λ1μ<d<m+λ2μ確定是否可以背景分佈模型表示該像素，其中，λ1和λ2為正數。如果深度值d可以背景模型表示，在此情形下，在步驟S530中，更新背景模型，且將該像素標記為背景像素。如果深度值d不能 被背景模型表示，在步驟S535中，確認是否d<m。如果d>m，在步驟S540中，經由設置m=d及μ=μ1替換當前背景模型。而在步驟S550中，將該像素標記為背景像素。如果d<m，則表示新的像素比背景更近，在步驟S560中，將該像素標記為前景像素。在步驟S565中，在標記過該像素之後，確認是否已處理該訊框中的所有像素。如果仍然存在未被處理的像素。則回至步驟S510以處理剩餘像素。否則，結束該過程。可由對應像素的表示資料(indication data)表示像素被標記作前景像素或背景像素。仍然地，上述論述中將高斯分佈作為實現本發明的一個示例。然而，亦可使用其他分佈函數。當像素不可以背景分佈模型表示且深度值在背景之後，根據像素的深度值，如第5圖中流程圖的步驟S540所述替換背景分佈模型。然而，亦可使用備用背景模型處理規則(routine)。例如，在充滿雜訊的環境中，可使用一臨時緩沖暫定(tentative)分佈模型且僅當確定暫定分佈模型出自真實背景時，才發生背景分佈模型的替換。
儘管市面上的景深攝影機，例如Prime SenseTM景深攝影機或Microsoft KinectTM感應器(sensor)並不能提供完善的品質。在許多簡單且雜訊較少的環境中，例如在空蕩的白牆小房間中上述前景物件偵測算法可良好運作。然而，由於當前景深攝影機的一些限制，上述前景物件偵測演算法在實際生活環境中無法良好運作。當前景深攝影機可能遇到無意義(non-meaningful)像素和雜訊問題。無意義像素指的是由於景深攝影機的限制從景深攝影機輸出的深度值無意義的像素。產生無意義像素的主要情形包括景深攝影機的深度範圍限制、物件或 背景對紅外線的吸收以及陰影(shadow)等。在這些情形下，景深攝影機無法可靠地確定深度值。例如，Prime SenseTM景深攝影機的深度範圍為從約50cm至10m。如果深度值在此範圍之外，深度值被指定為零。黑色物件可吸收紅外線以致深度感應器無法測量對應這些黑色物件的距離。如果對應一物件或背景的像素在陰影或紅外線(大多數景深攝影機中所使用的光源)之中，則不能測量深度值。在Prime SenseTM景深攝影機中，所有不具有有意義深度值的這些像素將被指定為零值而不區分情形。如果用無意義深度值更新背景模型，可能會減少背景模型的準確度。因此，需要提出一種背景模型更新機制以改進背景模型的準確度。相應地，本發明一實施例提出處理無意義像素的前景物件偵測方法。根據本發明，如果確定深度值為無意義的，則將該像素指定為背景像素而並不更新背景模型。
景深攝影機產生的景深影像中總是存在雜訊。雜訊的主要影響在於像素的深度值將隨著時間推移從一個值域波動至另一個值域。雜訊可導致前景物件偵測的一些問題，例如，由於使用包括雜訊的深度值更新背景模型，雜訊可導致偽背景模型(false background model)。例如，由於雜訊，一個像素的深度值可能大於當前背景模型可表示的深度值。然後以包括雜訊的深度值(m2,μ2)為中心的新的高斯分佈更新背景模型。在隨後影像中，此像素的深度值可能無雜訊(noise free)的或雜訊極低且深度值可再次以先前的高斯分佈(m,μ)表示。根據對應第5圖的方法，當景深攝影機從具有雜訊的高斯分佈(m2,μ2)轉變至無雜訊的高斯分佈(m,μ)時，可將像素看作為前景像素。而在物件的邊緣周 圍，邊緣像素的深度值可能在邊緣四周來回跳躍，因而雜訊問題可能更為突出。單一的高斯分佈可能不足以表示這些像素處的背景模型。
處理此雜訊問題的一種方法為使用既定像素深度值的若干歷史有條件地更新背景高斯分佈。根據本發明一實施例的背景高斯分佈更新過程如下。如果深度值d不可以當前背景高斯分佈(m,μ)表示且深度值表示距離為更遠，則建立新的背景高斯分佈(m2,μ2)。然而，新的背景高斯分佈並不適用於替換背景高斯分佈。相反地，將新的背景高斯分佈放入緩沖中作為替換當前背景高斯分佈的候選。僅當一固定時間間隔的計數超過門檻值時，以候選背景高斯分佈(m2,μ2)替換當前背景高斯分佈(m,μ)，其中，該計數係對應於新的深度值可以此候選背景高斯分佈(m2,μ2)表示的事件。否則，由於可能是由雜訊導致此情況，將丟棄此候選背景分佈。第6圖係根據本發明一實施例基於深度資訊的背景確定示意圖，其中像素的深度值歷史係用於克服雜訊問題。在時間點T，景深攝影機610正確地偵測背景620的距離為d，將背景高斯分佈儲存在背景緩沖630中。在時間點T+1，景深攝影機610偵測偽背景625具有更遠的距離d’且將新的背景高斯分佈儲存在候選緩沖640中。而在時間點T+2，景深攝影機610再次正確地偵測背景620的距離為d。如果使用對應第5圖的方法，將把像素確定為前景像素650。然而，根據改進的使用歷史資訊的背景更新過程，將忽略例如在時間點T+1的偶然雜訊。因此，在時間點T+2將正確地偵測背景。
基於上述揭露的方法，為克服雜訊問題，將相應修改第5圖步驟 S540中的更新規則。第7圖係根據本發明一實施例的高斯模型更新過程700的流程圖。步驟S705，從第5圖中步驟S535中“否”的分支處開始，即“d<m”=“否”處。在步驟S710中執行是否存在用於新深度值的背景模型(m2,μ2)的檢驗。如果並不存在用於新深度值的背景模型(m2,μ2)，如步驟S720所示，經由設置m2=d、μ2=μ1(預定義值)，且計數器值count=1建立候選背景分佈(m2,μ2)。在步驟S730中，如果存在用於新深度值的背景模型(m2,μ2)，進一步檢驗是否新像素深度值d可以背景分佈(m2,μ2)表示。如果步驟S730中的檢驗結果為“是”，在步驟S740中，則更新背景分佈(m2,μ2)並遞增計數器。如果遞增之後計數器值count大於門檻值，則經由設置m=m2和μ=μ2以候選背景模型替換當前背景模型。如果檢驗結果為“否”，在步驟S750中，則遞減計數器值count，且如果count=0，移除候選分佈。
第8圖係根據本發明一實施例包括改進的背景更新過程且同時處理無意義像素的系統流程圖。除去包括對無意義像素的檢驗和新背景的更新過程，此流程圖實質上與第5圖的流程圖相同。在第8圖中與第5圖中相同的步驟將使用相同的標號。在第8圖中，在步驟S510中接收新深度值d之後，執行深度值是否有意義的檢驗。如果像素無意義，如步驟S550所示，將該像素標記為背景像素。如果像素有意義，則如步驟S515所示，判斷是否存在該像素的背景模型。第8圖中以改進的背景模型更新規則700替換第5圖中的背景模型更新規則。改進的背景模型更新規則700的細節如第7圖所示。第5圖、第7圖及第8圖的流程圖係用以說明本發明的實施例。其中的特定安排與步驟不 應作為本發明的限制。
如前所述，物件邊緣周圍的雜訊可能更突出且單一的高斯分佈可能不足以表示深度值。經由對物件邊緣中的像素使用兩個背景分佈模型的混合可緩解物件邊緣周圍的雜訊。由於雜訊，邊緣位置的深度值將來回跳躍，即在第一背景深度值和第二背景深度值之間振盪。在邊緣像素處兩個混合的背景分佈模型將良好運作。物件邊緣處處理雜訊的過程描述如下。首先，類似於前述的景深攝影機雜訊的情形，在緩沖中儲存候選背景高斯分佈。(經由與預定義門檻值相比較)如果候選背景高斯分佈與當前背景高斯分佈兩者的頻率皆高，則將此情形看作在兩個背景模型之間振盪。因此，加入候選深度值作為第二背景高斯分佈。第9圖係基於具有混合的兩個高斯模型的深度資訊之背景確定示意圖。物件邊緣920位於景深攝影機910之前。有時景深攝影機910感知以dA為中心的深度值，而其他時候景深攝影機910感知以dB為中心的深度值。如果深度值可以高斯模型(dA,μA)表示，在背景緩沖A中儲存深度值。如果深度值可以高斯模型(dB,μB)表示，在背景緩沖B中儲存深度值。如果候選背景模型A及候選背景模型B兩者的頻率皆大於各自的門檻值，則使用兩個候選背景模型。使用兩個高斯分佈的混合將提供優越的前景物件偵測，該前景物件偵測以較高計算複雜度為代價導致更清晰的邊緣。由於在本領域中邊緣像素通常群集(cluster)在非常小的區域內且已知後處理(post processing)技術中可移除邊緣像素，如果不希望出現混合高斯分佈所對應的較高計算複雜度，可使用計算成本更低的基於後處理的備用方法。
由於高斯分佈係用於對深度值的統計特徵建立模型，因而也可使用其他分佈模型。此外，使用其他簡化參數方法以描述深度值也是可行的。例如，實際中可將高斯分佈模型退化為一代表值(representative value)和一錯誤容忍度。當使用高斯分佈模型η(m,μ)時，根據“如果| d-m |<λμ”而確定是否深度值d可以模型表示，其中，λ為預定義值。如果該像素可以高斯分佈模型表示，則根據深度值更新高斯分佈模型。高斯分佈模型的更新涉及可觀的計算。然而，當使用簡化模型時，可使用代表值替換m時則不涉及模型更新。例如，根據在像素處所見的最遠深度值可選擇代表值。可使用錯誤容忍度以等同μ或λμ。因此，無需建立和維持背景分佈模型。此為使用背景分佈模型的備用方法。
第10圖係根據本發明一實施例基於深度資訊的前景物件偵測結果示意圖。如第10圖所示，根據本發明一實施例，該方法對前景中兩個人物主體1010和1020提供非常清晰的前景物件偵測。
根據本發明的實施例，前景物件偵測方法係基於深度資訊，所述方法也可採用色彩/強度資訊。用於前景物件偵測的聯合深度和色彩/強度資訊的使用可能產生很高的計算成本。因此，應選擇性使用色彩/強度資訊以避免高的計算成本。例如，對於一些區域深度資訊可能不可用，其中，這些區域吸收從景深攝影機輻射的紅外線。因此，這些區域將導致無意義像素。根據本發明的一實施例，經由將無意義像素標記為背景像素而不更新背景分佈模型以解決此情形。為減輕基於色 彩/強度資訊的前景偵測方法所對應的高計算成本，僅在深度資訊為不可用的這些像素處使用色彩/強度資訊。色彩/強度資訊為有用的另一種情形為物件邊緣，此時物件邊緣周圍的深度資訊可能不可靠。本發明的一個實施例採用兩種高斯分佈的混合以克服物件邊緣問題。另外，可在物件邊緣周圍區域使用基於慣用色彩/強度資訊的方法以增強前景物件偵測效能。
而在根據本發明一實施例的另一前景物件偵測方法中，提供每個像素處的背景置信度(background confidence，BC)。BC提供關於背景值有多可靠的置信指示。在一個實施例中，根據公式BC=(a-z)/t確定BC，其中，a為確定當前深度值為背景的時間次數，z為確定像素具有零值的時間次數，而t為確定像素為背景像素的總時間次數。亦可使用其他形式以衡量BC。在一個像素BC較低的情況下，可使用其他方式以增強BC。例如，對於BC低於門檻值的像素，可使用基於色彩/強度資訊的慣用前景物件偵測方法。
第11A圖為根據本發明的一實施例的前景物件偵測裝置1100的方塊示意圖。如第11A圖所示，前景物件偵測裝置1100包括：接收模組1101、判定模組1102、更新模組1103、標記模組1104以及處理模組1105。接收模組1101用於從深度影像I中接收一像素P的深度值D。判定模組1102耦接於接收模組1101，且判定模組1102接收由接收模組1101所輸出的像素P的深度值D以判定是否該像素P可以一第一背景分佈模型表示。更新模組1103耦接於該判定模組1102，如 果該像素P可以該第一背景分佈模型表示(即深度值D小於可以第一背景分佈模型表示的深度值)，則更新模組1103根據該像素P的該深度值D更新該第一背景分佈模型。且標記模組1104耦接於該判定模組1102，如果該像素P可以該第一背景分佈模型表示，則將該像素P的代表值R標記為第一背景；而如果該像素P位於第一背景之前，則將該像素P的該代表值R標記為前景；該標記模組1104輸出提供該像素P的該代表值R。而處理模組1105也耦接於判定模組1102，如果該像素P位於該第一背景之後(即深度值D大於可以第一背景分佈模型表示的深度值)，則該處理模組1105處理一備用背景模型。
第11B圖為第11A圖中處理模組1105的方塊示意圖。如第11B圖所示，處理模組1105進一步包括創建模組1106、雜訊估計模組1107、替換模組1108以及丟棄模組1109。當確定該像素P位於該第一背景之後，處理模組1105處理一備用背景模型的過程如下：如果一第二背景分佈模型不存在，則創建模組1106根據該深度值D建立第二背景分佈模型；且雜訊估計模組1107接收像素P的深度值D，並進行雜訊估計；替換模組1108耦接於雜訊估計模組1107，如果該雜訊估計表示對應於該第二背景分佈模型的一第二背景為一真實背景，替換模組1108以第二背景分佈模型替換該第一背景分佈模型；以及丟棄模組1109耦接於該雜訊估計模組1107，如果雜訊估計表示第二背景為雜訊，該丟棄模組1109丟棄該第二背景分佈模型。
第12圖為根據本發明的一實施例的背景偵測裝置1200的方塊示 意圖。其中，深度影像使用一第一背景分佈模型或該第一背景分佈模型與一第二背景分佈模型的混合，如第12圖所示，背景物件偵測裝置1200包括：接收模組1201、判定模組1202、更新模組1203以及處理模組1204。接收模組1201用於從深度影像I’中接收像素P’的一深度值D’。判定模組1202耦接於該接收模組1201，且判定模組1202接收接收模組1201所輸出的像素P’的深度值D’以判定是否該像素P’可以一第一背景分佈模型表示。更新模組1203耦接於判定模組1202，如果該像素P’可以該第一背景分佈模型表示(即深度值D’小於可以第一背景分佈模型表示的深度值)，則更新模組1203根據深度值D’更新該第一背景分佈模型；而如果該像素P’係在對應於該第一背景分佈模型的一背景之前，則跳過更新該第一背景分佈模型。而處理模組1204也耦接於判定模組1202，且處理模組1204進一步包括創建模組1205、頻率估計模組1206、丟棄模組1207以及替換模組1208；其中，如果該像素P’係在對應於該第一背景分佈模型的該肯景之後，創建模組1205建立一候選背景分佈模型，且該頻率估計模組1206估計一第一發生頻率與一第二發生頻率，該第一發生頻率與該第二發生頻率對應於分別由該第一背景分佈模型或該候選背景分佈模型表示該像素的發生頻率；如果該第一發生頻率與該第二發生頻率表示高發生頻率，該創建模組1205從該候選背景分佈模型中建立該第二背景分佈模型的模組；如果該第一發生頻率表示高發生頻率且該第二發生頻率表示低發生頻率，該丟棄模組1207丟棄該候選背景分佈模型；如果該第一發生頻率表示低發生頻率且該第二發生頻率表示高發生頻率，該替換模組1208以該候選背景分佈模型替換該第一背景分佈模型；由前述的背 景更新過程可知，如果該第二背景分佈模型存在，使用該第一背景分佈模型與該第二背景分佈模型的該混合處理該像素，否則基於該第一背景分佈模型使用一單一背景分佈模型處理該像素。
上述的根據本發明的前景物件偵測實施例可在不同硬體、軟體、軟體或二者的組合中實現。例如，本發明的一實施例可為積體在視訊壓縮晶片中的電路或積體在視訊壓縮軟體中的程式代碼以執行實施例中所述之處理。本發明的一實施例也可為數位訊號處理機(DSP)上執行的程式代碼以執行實施例中所述之處理。本發明也關於由電腦處理機、DSP、微處理機或FPGA執行的多個功能。根據本發明，經由執行定義本發明所包括的特定方法之機器可讀軟體代碼或韌體代碼，可配置這些處理機以執行特定任務。可在不同程式語言和不同格式或風格中開發軟體代碼或韌體代碼。也可對不同目標平臺編譯軟體代碼。然而，根據本發明不同編碼格式、風格和軟體代碼語言以及為執行任務的配置代碼其他方式都不得脫離本發明之精神與範圍。
上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之範疇。任何習知技藝者可依據本發明之精神輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利範圍應以申請專利範圍為準。
100‧‧‧影像
110‧‧‧背景
100’‧‧‧新影像
120‧‧‧前景物件
210、220、230‧‧‧高斯分佈曲線
310、320、1010、1020‧‧‧人物主體
410、610‧‧‧景深攝影機
420‧‧‧前景物件
430‧‧‧背景
441、442、443‧‧‧投影點
S510-S565‧‧‧步驟
620‧‧‧背景
625‧‧‧偽背景
630‧‧‧背景緩沖
640‧‧‧候選緩沖
700‧‧‧高斯模型更新過程
S705-S750‧‧‧步驟
S810‧‧‧步驟
910‧‧‧景深攝影機
920‧‧‧物件邊緣
1100‧‧‧前景物件偵測裝置
1200‧‧‧背景物件偵測裝置
1101、1201‧‧‧接收模組
1102、1202‧‧‧判定模組
1103、1203‧‧‧更新模組
1104‧‧‧標記模組
1105、1204‧‧‧處理模組
1106、1205‧‧‧創建模組
1107‧‧‧雜訊估計模組
1108、1208‧‧‧替換模組
1109、1207‧‧‧丟棄模組
1206‧‧‧頻率估計模組
第1圖係經由減去已知背景基於色彩/強度影像的簡單前景偵測示意圖； 第2圖係使用三種高斯分佈的MOG方法的示例示意圖；第3圖係前景中對應兩個人物主體的深度影像示意圖；第4圖係使用景深攝影機擷取深度影像的方案示意圖；第5圖係對應上述過程的流程圖；第6圖係根據本發明一實施例基於深度資訊的背景確定示意圖；第7圖係根據本發明一實施例的高斯模型更新過程的流程圖；第8圖係根據本發明一實施例包括改進的背景更新過程且同時處理無意義像素的系統流程圖；第9圖係基於具有混合的兩個高斯模型的深度資訊之背景確定示意圖；第10圖係根據本發明一實施例基於深度資訊的前景物件偵測結果示意圖；第11A圖為根據本發明的一實施例的前景物件偵測裝置的方塊示意圖；第11B圖為第11A圖中處理模組的方塊示意圖；第12圖為根據本發明的一實施例的背景物件偵測裝置的方塊示意圖。
S510-S565‧‧‧步驟

Claims (24)

  1. 一種前景物件偵測方法，用於偵測多個深度影像中的一像素，該前景物件偵測方法包括：從該多個深度影像中接收該像素的一深度值；如果該像素以一第一背景分佈模型表示，根據該深度值更新該第一背景分佈模型，且將該像素的一代表值標記為一第一背景；如果該像素不能以該第一背景分佈模型表示且該像素位於該第一背景之後，處理一備用背景模型，其中該備用背景模型不同於該第一背景分佈模型；如果該像素不能以該第一背景分佈模型表示且該像素位於該第一背景之前，將該像素的該代表值標記為一前景；以及提供該像素的該代表值。
  2. 如申請專利範圍第1項所述之前景物件偵測方法，其中，如果該像素之深度值係在一範圍之內，該範圍覆蓋包括對應於該第一背景分佈模型的一第一值，則該像素以該第一背景分佈模型表示。
  3. 如申請專利範圍第2項所述之前景物件偵測方法，其中，該第一背景分佈模型符合一高斯分佈模型，該高斯分佈模型具有一平均值或一標準偏移，其中，該第一值係與該平均值相關且該範圍係與該標準偏移相關。
  4. 如申請專利範圍第2項所述之前景物件偵測方法，其中，如果該深 度值大於該第一值，該像素位於該第一背景之後。
  5. 如申請專利範圍第2項所述之前景物件偵測方法，其中，如果該深度值小於該第一值，該像素位於該第一背景之前。
  6. 如申請專利範圍第1項所述之前景物件偵測方法，更包括，如果該第一背景分佈模型不存在，建立一新的第一背景分佈模型。
  7. 如申請專利範圍第6項所述之前景物件偵測方法，其中，根據一先前訊框中的一對應像素的一先前深度值，建立該新的第一背景分佈模型。
  8. 如申請專利範圍第6項所述之前景物件偵測方法，其中，該新的第一背景分佈模型的一平均值對應於該像素值或一先前訊框中一對應像素的一先前深度值。
  9. 如申請專利範圍第1項所述之前景物件偵測方法，更包括檢查是否該深度值係有意義的，且如果該深度值係無意義的，在所述之接收該深度值之後，將該像素的該指示標記為該第一背景。
  10. 如申請專利範圍第1項所述之前景物件偵測方法，其中，根據該深度值或一先前訊框中一對應像素的一先前深度值，所述之處理備用背景模型以一新的第一背景分佈模型替換該第一背景分佈模型。
  11. 如申請專利範圍第10項所述之前景物件偵測方法，其中，該第一背景分佈模型符合一第一高斯分佈，該第一高斯分佈具有一第一平均值和一第一標準偏移，其中，該深度值用作該第一平均值且一預定義值用作該第一標準偏移。
  12. 如申請專利範圍第1項所述之前景物件偵測方法，其中，所述之處理備用背景模型包括：如果一第二背景分佈模型不存在，根據該深度值建立該第二背景分佈模型；如果一雜訊估計表示對應於該第二背景分佈模型的一第二背景為一真實背景，則以該第二背景分佈模型替換該第一背景分佈模型；以及如果該雜訊估計表示該第二背景為一雜訊，則丟棄該第二背景分佈模型。
  13. 如申請專利範圍第12項所述之前景物件偵測方法，其中，該雜訊估計係基於該像素以該第二背景分佈模型表示的發生頻率。
  14. 如申請專利範圍第13項所述之前景物件偵測方法，其中，如果該第二背景分佈模型代表該像素則增加該發生頻率，否則減少該發生頻率。
  15. 如申請專利範圍第14項所述之前景物件偵測方法，其中，如果該發生頻率大於一高門檻值，則表示該第二背景為該真實背景。
  16. 如申請專利範圍第14項所述之前景物件偵測方法，其中，如果該發生頻率小於一低門檻值，則表示該第二背景為該雜訊。
  17. 如申請專利範圍第1項所述之前景物件偵測方法，更包括提供對應於該像素的該代表值的背景置信度。
  18. 如申請專利範圍第17項所述之前景物件偵測方法，其中，該背景置信度係與一第一計數a相關、一第二計數z相關以及一第三計數t相關，其中，該第一計數a對由該第一背景分佈模型表示的該像素進行計數，該第二計數z對無意義的該像素進行計數，該第三計數t對作為該第一背景的該像素進行計數。
  19. 如申請專利範圍第1項所述之前景物件偵測方法，其中，該第一背景分佈模型符合一固定背景分佈模型，該固定背景分佈模型具有一第一值和一第二值，其中，如果該深度值與該第一值之間的差值在一誤差容忍度之內，則該像素以該第一背景分佈模型表示，其中，該誤差容忍度對應於該第二值，該第一值與該第二值為非可更新的。
  20. 如申請專利範圍第19項所述之前景物件偵測方法，其中，將在該像素處所觀察的一最大深度值選作該第一值。
  21. 一種背景偵測方法，用於多個深度影像中多個物件邊緣周圍的一像素，其中，該多個深度影像使用一第一背景分佈模型或該第一背景分 佈模型與一第二背景分佈模型的一混合，該背景偵測方法包括：從該多個深度影像中接收該像素的一深度值；如果該像素以該第一背景分佈模型表示，根據該深度值更新該第一背景分佈模型；如果該像素係在對應於該第一背景分佈模型的一背景之前，跳過更新該第一背景分佈模型；如果該像素係在對應於該第一背景分佈模型的該背景之後，建立一候選背景分佈模型並估計一第一發生頻率與一第二發生頻率，該第一發生頻率與該第二發生頻率對應於由該第一背景分佈模型或該候選背景分佈模型分別表示的該像素；如果該第一發生頻率與該第二發生頻率表示高發生頻率，從該候選背景分佈模型中建立該第二背景分佈模型；如果該第一發生頻率表示高發生頻率且該第二發生頻率表示低發生頻率，丟棄該候選背景分佈模型；如果該第一發生頻率表示低發生頻率且該第二發生頻率表示高發生頻率，以該候選背景分佈模型替換該第一背景分佈模型；以及如果該第二背景分佈模型存在，使用該第一背景分佈模型與該第二背景分佈模型的該混合處理該像素，否則基於該第一背景分佈模型使用一單一背景分佈模型處理該像素。
  22. 一種前景物件偵測裝置，用於多個深度影像中的一像素，該前景物件偵測裝置包括：一接收模組，用於從該多個深度影像中接收該像素的一深度值； 一判定模組，耦接於該接收模組，用於判定是否該像素以一第一背景分佈模型表示；一更新模組，耦接於該判定模組，如果該像素以該第一背景分佈模型表示，則根據該像素的該深度值更新該第一背景分佈模型；一標記模組，耦接於該判定模組，如果該像素以該第一背景分佈模型表示，則將該像素的一代表值標記為一第一背景；而如果該像素不能以該第一背景分佈模型表示且該像素位於該第一背景之前，則將該像素的該代表值標記為一前景；該標記模組輸出提供該像素的該代表值；以及一處理模組，耦接於該判定模組，如果該像素不能以該第一背景分佈模型表示且該像素位於該第一背景之後，則該處理模組處理一備用背景模型，其中該備用背景模型不同於該第一背景分佈模型。
  23. 如申請專利範圍第22項所述之前景物件偵測裝置，其中，該處理模組包括：一創建模組，如果一第二背景分佈模型不存在，該創建模組根據該深度值建立該第二背景分佈模型；一雜訊估計模組，用於對該像素的該深度值進行一雜訊估計；一替換模組，耦接於該雜訊估計模組，如果該雜訊估計表示對應於該第二背景分佈模型的一第二背景為一真實背景，該替換模組以該第二背景分佈模型替換該第一背景分佈模型；以及一丟棄模組，耦接於該雜訊估計模組，如果該雜訊估計表示該第二背景為一雜訊，該丟棄模組丟棄該第二背景分佈模型。
  24. 一種背景偵測裝置，用於多個深度影像中多個物件邊緣周圍的一像素，其中，該多個深度影像使用一第一背景分佈模型或該第一背景分佈模型與一第二背景分佈模型的一混合，該背景偵測裝置包括：一接收模組，用於從該多個深度影像中接收該像素的一深度值；一判定模組，耦接於該接收模組，用於判定是否該像素以一第一背景分佈模型表示；一更新模組，耦接於該判定模組，如果該像素以該第一背景分佈模型表示，根據該深度值更新該第一背景分佈模型；而如果該像素係在對應於該第一背景分佈模型的一背景之前，跳過更新該第一背景分佈模型；一處理模組，耦接於該判定模組，該處理模組包括一創建模組、一頻率估計模組、一丟棄模組以及一替換模組；其中，如果該像素係在對應於該第一背景分佈模型的該背景之後，創建模組建立一候選背景分佈模型，且該頻率估計模組估計一第一發生頻率與一第二發生頻率，該第一發生頻率與該第二發生頻率對應於分別由該第一背景分佈模型或該候選背景分佈模型表示該像素的發生頻率；如果該第一發生頻率與該第二發生頻率表示高發生頻率，該創建模組從該候選背景分佈模型中建立該第二背景分佈模型的模組；如果該第一發生頻率表示高發生頻率且該第二發生頻率表示低發生頻率，該丟棄模組丟棄該候選背景分佈模型；如果該第一發生頻率表示低發生頻率且該第二發生頻率表示高發生頻率，該替換模組以該候選背景分佈模型替換該第一背景分佈模型；以及 如果該第二背景分佈模型存在，使用該第一背景分佈模型與該第二背景分佈模型的該混合處理該像素，否則基於該第一背景分佈模型使用一單一背景分佈模型處理該像素。
TW101100535A 2011-09-29 2012-01-06 前景物件偵測方法與裝置及背景偵測方法與裝置 TWI455040B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/248,242 US8873852B2 (en) 2011-09-29 2011-09-29 Method and apparatus for foreground object detection

Publications (2)

Publication Number Publication Date
TW201314582A TW201314582A (zh) 2013-04-01
TWI455040B true TWI455040B (zh) 2014-10-01

Family

ID=47992652

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101100535A TWI455040B (zh) 2011-09-29 2012-01-06 前景物件偵測方法與裝置及背景偵測方法與裝置

Country Status (3)

Country Link
US (1) US8873852B2 (zh)
CN (1) CN103034991B (zh)
TW (1) TWI455040B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9269155B2 (en) * 2012-04-05 2016-02-23 Mediatek Singapore Pte. Ltd. Region growing method for depth map/color image
TWI559236B (zh) * 2012-06-20 2016-11-21 原相科技股份有限公司 適用於影像處理的更新背景方法
US9235879B2 (en) * 2012-06-29 2016-01-12 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis
EP2693755A3 (en) * 2012-07-31 2015-09-09 Sony Mobile Communications AB New gamut control method for improving image performance of parallax barrier S3D display
JP2014096757A (ja) * 2012-11-12 2014-05-22 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2014182476A (ja) * 2013-03-18 2014-09-29 Fuji Xerox Co Ltd 操作履歴情報保存装置、画像処理装置、操作履歴情報保存制御プログラム
KR102116791B1 (ko) * 2013-06-04 2020-06-09 삼성전자주식회사 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9430842B1 (en) * 2013-07-17 2016-08-30 Stc.Unm Material classification fused with spatio-spectral edge detection in spectral imagery
CN105723300B (zh) * 2013-09-24 2020-10-27 惠普发展公司，有限责任合伙企业 基于表示对象的图像确定分割边界
CN104952054B (zh) * 2014-03-24 2017-12-29 联想(北京)有限公司 背景建模的方法及装置
WO2015186341A1 (ja) * 2014-06-03 2015-12-10 日本電気株式会社 画像処理システム、画像処理方法及びプログラム記憶媒体
CN105225217B (zh) * 2014-06-23 2018-04-10 株式会社理光 基于深度的背景模型更新方法和系统
KR101593187B1 (ko) * 2014-07-22 2016-02-11 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US9418426B1 (en) 2015-01-27 2016-08-16 Xerox Corporation Model-less background estimation for foreground detection in video sequences
US9639166B2 (en) * 2015-03-11 2017-05-02 Microsoft Technology Licensing, Llc Background model for user recognition
CN105005992B (zh) * 2015-07-07 2016-03-30 南京华捷艾米软件科技有限公司 一种基于深度图的背景建模和前景提取的方法
WO2017007048A1 (ko) * 2015-07-08 2017-01-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 에지의 깊이 전파 방향을 이용한 이미지에서의 깊이 결정 방법 및 장치
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
JP6833348B2 (ja) 2016-05-25 2021-02-24 キヤノン株式会社 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
US10091435B2 (en) * 2016-06-07 2018-10-02 Disney Enterprises, Inc. Video segmentation from an uncalibrated camera array
EP3255585B1 (en) * 2016-06-08 2018-05-09 Axis AB Method and apparatus for updating a background model
CN106251348B (zh) * 2016-07-27 2021-02-02 广东外语外贸大学 一种面向深度相机的自适应多线索融合背景减除方法
US10558855B2 (en) * 2016-08-17 2020-02-11 Technologies Holdings Corp. Vision system with teat detection
CN107347125B (zh) * 2016-08-19 2020-04-03 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN107818290B (zh) * 2016-09-14 2021-03-16 京东方科技集团股份有限公司 基于深度图的启发式手指检测方法
JP6812181B2 (ja) * 2016-09-27 2021-01-13 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US10269123B2 (en) * 2017-01-09 2019-04-23 Qualcomm Incorporated Methods and apparatus for video background subtraction
WO2018133101A1 (zh) * 2017-01-23 2018-07-26 富士通株式会社 图像前景检测装置及方法、电子设备
KR102624560B1 (ko) * 2017-01-31 2024-01-15 엘지전자 주식회사 청소기
CN106898014B (zh) * 2017-02-22 2020-02-18 杭州艾芯智能科技有限公司 一种基于深度相机的入侵检测方法
US10515463B2 (en) 2018-04-20 2019-12-24 Sony Corporation Object segmentation in a sequence of color image frames by background image and background depth correction
TWI684165B (zh) 2018-07-02 2020-02-01 華晶科技股份有限公司 影像處理方法與電子裝置
CN109035225B (zh) * 2018-07-12 2021-04-20 中国计量大学 一种汽车刹车片外观质量检验照明系统设计质量评价方法
CN110855876B (zh) * 2018-08-21 2022-04-05 中兴通讯股份有限公司 一种图像处理方法、终端及计算机存储介质
CN111104948A (zh) * 2018-10-26 2020-05-05 中国科学院长春光学精密机械与物理研究所 一种基于双模型的自适应融合的目标跟踪方法
TWI661393B (zh) * 2018-11-08 2019-06-01 群邁通訊股份有限公司 影像分割方法、電腦程式、存儲介質及電子裝置
CN109658441B (zh) * 2018-12-14 2022-05-03 四川长虹电器股份有限公司 基于深度信息的前景检测方法及装置
CN110018529B (zh) * 2019-02-22 2021-08-17 南方科技大学 降雨测量方法、装置、计算机设备和存储介质
US20220224872A1 (en) * 2019-05-29 2022-07-14 Nippon Telegraph And Telephone Corporation Video generation apparatus, method and program
US10902607B1 (en) * 2019-12-06 2021-01-26 Black Sesame International Holding Limited Fast instance segmentation
CN112233137A (zh) * 2020-11-19 2021-01-15 成都寰蓉光电科技有限公司 一种高性能的带权标准差背景建模方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7317830B1 (en) * 1998-12-04 2008-01-08 Vulcan Patents Llc Background estimation and segmentation based on range and color
CN101443791A (zh) * 2006-05-03 2009-05-27 快图影像有限公司 在数字图像中实现改进的前景/背景分离
CN101930610A (zh) * 2009-06-26 2010-12-29 思创影像科技股份有限公司 使用适应性背景模型的移动物体侦测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076454A (ja) * 1998-08-31 2000-03-14 Minolta Co Ltd ３次元形状データ処理装置
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US6999620B1 (en) * 2001-12-10 2006-02-14 Hewlett-Packard Development Company, L.P. Segmenting video input using high-level feedback
US7050625B2 (en) * 2002-10-21 2006-05-23 Hewlett-Packard Development Company, L.P. Method and digital camera for indicating when image data has been captured for a three-dimensional target object
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
WO2007018523A2 (en) * 2004-07-28 2007-02-15 Sarnoff Corporation Method and apparatus for stereo, multi-camera tracking and rf and video track fusion
US7415164B2 (en) * 2005-01-05 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. Modeling scenes in videos using spectral similarity
US20060182339A1 (en) * 2005-02-17 2006-08-17 Connell Jonathan H Combining multiple cues in a visual object detection system
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
US7720283B2 (en) * 2005-12-09 2010-05-18 Microsoft Corporation Background removal in a live video
JP4631806B2 (ja) * 2006-06-05 2011-02-16 日本電気株式会社 物体検出装置、物体検出方法および物体検出プログラム
CN100579174C (zh) * 2007-02-02 2010-01-06 华为技术有限公司 一种运动检测方法和装置
US7813528B2 (en) * 2007-04-05 2010-10-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects left-behind in a scene
WO2009032922A1 (en) * 2007-09-04 2009-03-12 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
EP2093699A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Movable object status determination
AU2008264228B2 (en) * 2008-11-24 2010-11-25 Canon Kabushiki Kaisha Detection of abandoned and vanished objects
TW201133358A (en) * 2010-03-18 2011-10-01 Hon Hai Prec Ind Co Ltd System and method for detecting objects in a video image
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US10554955B2 (en) * 2010-10-11 2020-02-04 Texas Instruments Incorporated Method and apparatus for depth-fill algorithm for low-complexity stereo vision
US9171075B2 (en) * 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US8744123B2 (en) * 2011-08-29 2014-06-03 International Business Machines Corporation Modeling of temporarily static objects in surveillance video data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7317830B1 (en) * 1998-12-04 2008-01-08 Vulcan Patents Llc Background estimation and segmentation based on range and color
CN101443791A (zh) * 2006-05-03 2009-05-27 快图影像有限公司 在数字图像中实现改进的前景/背景分离
CN101930610A (zh) * 2009-06-26 2010-12-29 思创影像科技股份有限公司 使用适应性背景模型的移动物体侦测方法

Also Published As

Publication number Publication date
US8873852B2 (en) 2014-10-28
CN103034991A (zh) 2013-04-10
US20130084006A1 (en) 2013-04-04
TW201314582A (zh) 2013-04-01
CN103034991B (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
TWI455040B (zh) 前景物件偵測方法與裝置及背景偵測方法與裝置
CN107844779B (zh) 一种视频关键帧提取方法
Maddalena et al. Towards benchmarking scene background initialization
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
Shahbaz et al. Evaluation of background subtraction algorithms for video surveillance
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
US20130230237A1 (en) Method and apparatus for bi-layer segmentation
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP2012238175A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2011161579A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
CN111275040B (zh) 定位方法及装置、电子设备、计算机可读存储介质
US11030478B1 (en) System and method for correspondence map determination
Langmann et al. Multi-modal background subtraction using gaussian mixture models
US10593044B2 (en) Information processing apparatus, information processing method, and storage medium
JP2011076316A (ja) 群衆監視装置および方法ならびにプログラム
WO2022003740A1 (en) Method for determining the confidence of a disparity map through a self-adaptive learning of a neural network, and sensor system thereof
CN113469085A (zh) 人脸活体检测方法、装置、电子设备及存储介质
US10504235B2 (en) Method for generating three dimensional images
Al-Zubaidy et al. Removal of atmospheric particles in poor visibility outdoor images
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
US20230131418A1 (en) Two-dimensional (2d) feature database generation
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
CN115273184A (zh) 人脸活体检测模型训练方法及装置
Zhang et al. Estimation algorithm of atmospheric light based on ant colony optimization

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees