TWI660326B - 用於更新背景模型之方法及裝置 - Google Patents

用於更新背景模型之方法及裝置 Download PDF

Info

Publication number
TWI660326B
TWI660326B TW106117302A TW106117302A TWI660326B TW I660326 B TWI660326 B TW I660326B TW 106117302 A TW106117302 A TW 106117302A TW 106117302 A TW106117302 A TW 106117302A TW I660326 B TWI660326 B TW I660326B
Authority
TW
Taiwan
Prior art keywords
background
pixel
image
background sample
sample
Prior art date
Application number
TW106117302A
Other languages
English (en)
Other versions
TW201810186A (zh
Inventor
喬亞金 貝爾特森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201810186A publication Critical patent/TW201810186A/zh
Application granted granted Critical
Publication of TWI660326B publication Critical patent/TWI660326B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

提供一種用於更新用於一影像之背景減除之一背景模型的方法及裝置。接收一影像(220)且藉由使用一背景模型執行背景減除而將該影像中之各像素分類為前景(232)或背景(234),該背景模型包括針對該影像(220)中之各像素之一背景樣品集合(240)。針對被分類為背景(234)之該影像中之各像素(228),藉由在滿足一相似性條件之與該像素相關聯之該背景樣品集合中選擇一背景樣品(242)且使用該像素(228)之影像資料取代滿足該相似性條件之該背景樣品(242)而更新該背景模型。

Description

用於更新背景模型之方法及裝置
本發明係關於影像中之背景減除之領域。特定言之,本發明係關於更新用於一影像之背景減除之一背景模型。
在視訊監視中,能夠在一視訊序列中擷取之一場景中偵測移動物件係重要的。視訊中存在許多用於運動偵測之工具。其中一些藉由跟蹤視訊串流中之特徵而逐圖框追蹤物件。其他逐像素將一當前圖框與一靜態背景圖框進行比較。後者係背景減除之基礎,其旨在藉由偵測其中發生顯著變化之區而提取移動物件。移動物件稱為前景而靜態物件係背景之部分。 移動物件與背景之分離係一複雜問題,若背景係動態的(諸如若在背景中存在搖擺樹或水漣波,或若照明改變),則問題變得甚至更難。特定言之,一動態背景可導致移動物件之錯誤偵測之數目增加。 在教材「用於視訊監視之背景模型化及前景偵測」 (編輯者:Thierry Bouwmans、Fatih Porikli、Benjamin Höferlin及Antoine Vacavant),CRC Press Taylor & Francis Group, Boca Raton, 2015中給出背景減除方法之一檢視。例如,參見第1及7章。 背景減除方法通常涉及一視訊串列之一當前圖框與一參考背景圖框或模型之一比較,無移動物件。藉由將一影像與背景圖框或模型進行比較,可判定影像中之各像素是否屬於前景或背景。以此方式,可將影像劃分為兩個互補像素組-前景及背景。 背景減除需要界定一底層背景模型及一更新策略以適應隨著時間改變之背景。已在文獻中提出大量背景模型。此包含參數模型及非參數模型。 一參數模型之一實例係藉由一高斯分佈(Gaussian distribution)來模型化在影像中之一像素位置處之背景。此可良好作用於一靜態場景,但若背景像素經多模態分佈(例如,若在背景中存在搖擺樹),則其將失效。 為處置多模態分佈之背景,已提出藉由高斯分佈之一混合物來模型化在影像中之一像素位置處之背景。儘管此等模型在模型化多模態分佈之背景中係有效地,然其等具有其他缺點。例如,在一真實世界雜訊環境中可難以估計參數且已質疑自然影像是否展現一高斯行為。 歸因於此等缺點,故已在文獻中考慮非參數模型。例如,已提出過去像素值之概率密度函數之非參數核密度估計。此等模型之一強度在於其等可快速適應於背景中之高頻率事件。一缺點係其等可難以處理以不同速度發展之背景中之事件。 非參數模型之另一類型稱為基於樣品之模型。在此等模型中,藉由一過去背景樣品集合模型化各像素中之背景。為適應隨著時間改變之背景,當一當前圖框中之一像素已被分類為背景時,更新過去背景樣品集合。Wang及Suter (「一種基於共識之追蹤方法:模型化背景情境及前景外觀」。圖案辨識, 40(3) 2007 )提出根據一先進先出原理更新過去背景樣品集合。此意謂更新過去背景樣品集合使得自該集合移除最舊背景樣品且將當前圖框之像素值添加至該集合。在US8009918 B2中,描述一替代更新方法,其中當前圖框之像素值取代背景樣品集合中之一隨機選定背景樣品。 此等背景更新方法之一缺點在於其等需要每像素儲存許多背景樣品,以便對動態及非模態背景係穩健地,即,需要許多背景樣品以具有一長模態記憶。此導致非所要的高處理及記憶體需求。為處置突發背景移動(諸如突發側風),將需要一棘手量之背景樣品。因此,存在改良之空間。
鑑於上文,因此本發明之一目的係為一基於樣品之背景模型提供一更新機制,其允許使背景樣品之數目保持在一低位準,藉此在該模型具有一長記憶體之模態之同時減小處理及記憶體需求。 根據本發明之一第一態樣,上文目的藉由在一裝置中執行之用於更新用於一影像之背景減除的一背景模型之一方法來達成,該方法包括: 接收一影像, 藉由使用一背景模型執行背景減除而將該影像中之各像素分類為前景或背景,該背景模型包括針對該影像中之各像素之一背景樣品集合, 針對被分類為背景之該影像中之各像素,藉由以下更新該背景模型: 在滿足一相似性條件之與該像素相關聯之該背景樣品集合中選擇一背景樣品, 使用該像素之影像資料取代滿足該相似性條件之該背景樣品。 因此,所提出方法係一種更新一基於樣品之背景模型之方法。當在時間t處接收一新影像時,在時間t-1處構建之背景模型用來將該新影像中之像素分類為背景或前景。其後,使用該新影像之背景樣品更新該背景模型。 該方法提出藉由取代類似於已經分類為背景之該像素中之該影像資料的一背景樣品來更新該背景模型。通常,此將係屬於與有關像素相同之模態之一背景樣品。以此方式,可將該背景模型中之冗餘背景樣品之數目保持為一最小值。例如,即使在一影像序列中之一特定像素位置處極常見之一模態可由該背景模型中之一單個背景樣品表示。因此,由於當使用該背景模型執行背景減除時,需要儲存及處理較少背景樣品,故減小處理及記憶體需求。同時,未減小該背景模型之該模態記憶體(即,臨時記憶體)。綜上所述,與先前解決方案相比,可使用一減小數目之背景樣品來表示相同模態記憶體。 一背景模型通常意指表示處於一像素位準之一影像中之背景。 背景減除通常意指一影像與一背景模型之一比較。藉由將一影像與該背景模型進行比較,可判定該影像中之各像素是否屬於該前景或該背景。 一背景樣品通常意指已被分類為屬於該背景之一像素中之一影像的一樣品,即,影像資料、一觀察或一強度值(可能在集合色彩通道中)。 一相似性條件通常意指基於一背景樣品及一像素之影像資料給出該背景樣品與一像素之該影像資料之相似性的一量測之任何條件或功能。該相似性條件可例如係基於該背景樣品與一像素之該影像資料之間之一數學距離,諸如由一範數(諸如一L1範數或一L2範數)量測。例如,若該距離小於一臨限值(在本文中稱為一相似性臨限值),則可滿足該相似性條件。 特定言之,若該背景樣品與該像素中之該影像資料相差不超過一相似性臨限值,則可相對於一背景樣品滿足該相似性條件。 可使用不同方法以在滿足該相似性條件之與一特定像素相關聯之該背景樣品集合中找出一背景樣品。例如,選擇之步驟可包括迭代地搜尋與該像素相關聯之該背景樣品集合直至找出滿足該相似性條件之一背景樣品。換言之,可選擇在迭代滿足該相似性條件之該背景樣品集合時找出之第一背景樣品。此優點在於,由於一旦已找出滿足該相似性條件之一背景樣品,即可終止該搜尋,則可降低處理能力。 可藉由將該像素之該影像資料與該背景樣品集合中之該等背景樣品進行比較而迭代地搜尋與該像素相關聯之背景樣品集合,直至找出滿足該相似性條件之一背景樣品。因此,該迭代搜尋係在該背景樣品集合中之一些位置處起始且逐個(即,循序)經歷該背景樣品集合,直至找出滿足該相似性條件之一第一背景樣品。 為避免在該背景之逐漸變動(即,在一影像序列中之連續影像之間的逐漸變動)期間始終更新該背景樣品集合中之相同位置,可在每次更新該背景模型時在該背景樣品集合中之不同位置或索引處起始該迭代搜尋。 在一些實施例中,隨機選擇該集合中之開始位置。更詳細地,可索引與該像素相關聯之背景樣品集合,其中在該背景樣品集合中之一隨機選定索引處起始該跌倒搜尋。 根據其他實施例,該集合中之該開始位置可設定為不同於相對於最後更新針對該像素之該背景模型所使用的該開始位置。更具體言之,該影像可係一影像序列之部分,且可索引與該像素相關聯之背景樣品集合,其中在該背景樣品集合中之一索引處起始該迭代搜尋,該索引不同於用來相對於該影響序列中之一先前影像中之一對應像素而起始一迭代搜尋的一索引。 特定言之,可在該背景樣品集合中之一索引處起始該迭代搜尋,該索引接續用來相對於在該影像序列中之一先前影像中之像素而起始一迭代搜尋的一索引。以此方式,保持追蹤在該集合中用來起始該搜尋之位置變得容易。 應注意,可存在選擇該搜尋之一開始位置之替代方式,諸如選擇位於一先前搜尋中所使用之一開始索引之前的一當前搜尋之一開始索引。應進一步注意,可針對該影像中之不同像素使用不同開始位置。較佳地,出於簡單及有效之原因,針對該影像中之所有像素選擇該集合中之相同開始位置。以此方式,可使用處理及記憶體需求之一最小值來保持追蹤該開始位置。 另一方法係取代在該集合中最類似於該像素中之該影像資料之該背景樣品。更詳細地,選擇之步驟可包括在滿足該相似性條件之背景樣品中選擇最類似於該像素之該影像資料之一背景樣品。藉由取代該最類似背景樣品,可將該集合中之冗餘資訊保持為一最小值。然而,在該背景之逐漸變動期間,其可例如以可能取代該集合中之相同背景樣品位置為代價。 為在該集合中選擇該最相似背景樣品,選擇之步驟可包括將該像素之影像資料與該背景樣品集合中之所有背景樣品進行比較以識別與該像素之該影像資料相差最小之一背景樣品。 情況可能係,在該背景樣品集合中無背景樣品滿足該相似性條件。在此等情況中,可取代不滿足該相似性條件之一背景樣品。例如,一個背景樣品可復原至先前技術方法之一個背景樣品,包含隨機地取代一背景樣品,或取代該集合中之最舊背景樣品(藉由保持計數最後更新背景樣品之時間)。另一可能性係選擇在迭代搜尋該背景樣品集合期間檢視之最後背景樣品。 該方法可進一步包括用於取代舊樣品之一機制,以避免該集合中具有不再相關之背景樣品。 此可藉由取代比一預定時間限制更舊之樣品而達成。更具體言之,該方法可進一步包括,針對該影像中之各像素:保持追蹤各背景樣品已在與該像素相關聯之該背景樣品集合中存在之時間,其中選擇及取代之步驟係在無背景樣品已在該背景樣品集合中存在超過一預定時間限制之條件下進行,且其中若一背景樣品已在該集合中存在超過該預定時間限制,則使用該像素之影像資料取代已在該背景樣品集合中存在超過該預定時間限制之該背景樣品。 作為一替代例,可依長時間間隔取代背景樣品。更詳細地,在一序列影像中,該更新機制可係基於上文針對大多數影像所描述之相似性方法。然而,針對依規則時間間隔選擇之一些影像,可藉由來自該影像之背景樣品取代在該背景樣品集合中之一特定位置(該位置對於所有集合相同)處的背景樣品。可隨機或判定性地選擇該特定位置。例如,每當依規則時間間隔執行該更新時,該特定位置(在該等集合中之一索引方面給出)可增加一個。更詳細地,該方法可進一步包括: 接收一序列影像且重複分類及更新該影像序列中之各影(像惟該影像序列中之每第N個影像除外,其中N>2)之步驟,針對被分類為背景之該第N個影像中之各像素,藉由以下進行該背景模型之更新: 使用該像素之影像資料取代與該像素相關聯之該背景樣品集合中的一背景樣品,其中該經取代背景樣品具有與該第N個影像中之所有像素相同之該背景樣品集合中的一索引。 N值無需恆定,但可經設定為改變。例如,與該影像序列中之後者比較,其可在該影像序列之開始具有一較小值。 為將一影像中之該等像素分類為屬於該前景或該背景,通常可將該像素之該影像資料(通常一強度值)與與該像素相關聯之該背景樣品集合進行比較。若一像素中之該影像資料類似於一預定數目之背景樣品,則該像素可能屬於該背景。否則,其可能屬於該前景。 更具體言之,針對該影像中之各像素,將該影像中之各像素分類為前景或背景之步驟可包括: 將該像素之該影像資料與與該像素相關聯之該背景樣品集合中的該等背景樣品之各者進行比較,及 若與該像素之該影像資料相差不超過一分類臨限值之背景樣品的數目低於一預定數目,則判定該像素係前景。 在先前技術方法中,該預定數目通常等於二或更大。然而,使用本發明方法,該預定數目可通常設定為一。由於減少該背景樣品集合中之該冗餘部分,故各模態可僅由一個背景樣品表示。相應地,將該預定數目設定為一可係適當的。 當該預定數目等於一時,該分類步驟存在一尤其計算有效實施方案。在此情況中,若在該背景樣品集合中不存在類似於(如定義為相差不超過該臨限值)一像素中之該影像資料之背景樣品,則該像素屬於前景。事件「無背景係相似的」等於事件「無一個背景樣品係相似的」。假定在該集合中存在N個背景樣品。則事件「至少一個背景樣品係相似的」可表達為事件「(背景樣品1係相似的)或(背景樣品2係相似的)或…或(背景樣品N係相似的)」。此可表達為聯集。綜上所述,事件「無背景樣品係相似的」等於事件「非」。 出於此原因,判定該像素係前景之步驟可包括:藉由執行一邏輯「或」操作而檢查與該像素相關聯之該等背景樣品之至少一者與該像素的該影像資料相差是否不超過一分類臨限值,若否,則判定與該像素之該影像資料相差不超過一臨限值的該背景樣品之數目低於該預定數目,藉此判定該像素係前景。 由於邏輯操作通常需要比一總和接著與一臨限數目之一比較時少之處理能力及記憶體使用,故此將計算上高效。 根據本發明之一第二態樣,提供一種包括一(非暫時性)電腦可讀媒體之電腦程式產品,該電腦可讀媒體具有儲存於其上用於在由具有處理能力之一器件執行時實行該第一態樣之方法的電腦碼指令。 根據本發明之一第三態樣,提供一種用於更新用於一影像之背景減除之一背景模型的裝置,該裝置包括: 一接收器,其經組態以接收一影像, 一分類組件,其經組態以藉由使用一背景模型執行背景減除而將該影像中之各像素分類為前景或背景,該背景模型包括針對該影像中之各像素之一背景樣品集合, 一背景更新組件,其經組態以針對被分類為背景之該影像中之各像素,藉由以下來更新該背景模型: 在滿足一相似性條件之與該像素相關聯之該背景樣品集合中選擇一背景樣品, 使用該像素之影像資料取代滿足該相似性條件之該背景樣品。 第二態樣及第三態樣通常可具有與第一態樣相同之特徵及優點。應進一步注意,除非另有明確說明,否則本發明係關於全部可能特徵組合。
現將在下文中參考其中繪示本發明之實施例之附圖更全面地描述本發明。將在操作期間描述本文中所揭示之系統及器件。 圖1繪示一相機系統100,其包括一相機102及用於更新用於由相機102擷取之影像之背景減除的一背景模型之一裝置110。相機102可操作地連接至裝置110,例如,經由一有線或無線網路104。 相機102經配置以擷取一場景120之一序列影像,且將該經擷取序列影像傳輸至裝置110。特定言之,相機102可係例如用來跟蹤場景120中之移動物件之一監視相機。場景120可包括不同物件。例如,存在移動物件122 (此處由一跑步人物所繪示),其應依影像序列追蹤,因此屬於前景。亦可存在背景物件124及126,此處由一樹之一樹枝124及一小徑126所繪示。該等背景物件可係靜態的(諸如小徑126),或動態地(諸如,隨風吹動而來回擺動之樹枝124)。 裝置110包括一接收器112、一前景分類器114及一背景更新組件118。可以硬體、軟體或其一組合中實施裝置110之內部組件112、114及118。例如,裝置110可包括一處理器及一非暫時性電腦可讀媒體(即,記憶體),該非暫時性電腦可讀媒體可儲存用於在由該處理器執行時實行本文中所揭示之任何方法之軟體指令。 現將參考圖1至圖6及圖7之流程圖描述裝置110之操作。 在步驟S02中,接收器112例如通過網路104自相機102接收描繪場景120之一影像220。影像220係自相機102發送至裝置110之一序列影像之部分。例如,影像220可對應於一視訊序列之一圖框。在影像220中,存在經描繪之前景物件122及背景物件124、126。 在步驟S04中,前景分類器114將各像素228分類為屬於背景234或前景232。出於此目的,前景分類器114利用一背景模型。背景模型包括針對影像220中之各像素之一背景樣品集合240。如圖2中所展示,像素228與一背景樣品集合240相關聯。背景樣品集合240可經配置成一陣列,此處由一向量所繪示。針對各像素之背景樣品集合240可包括約10個至20個背景樣品。在此實例中,集合240中之第一背景樣品之年齡為2歲,第二背景樣品之年齡為99歲等。此實例中所選擇之數目僅為繪示之目的。實務上,數目可對應於該背景樣品已在該集合中之圖框之數目,或該背景樣品已在集合240中之多少時間單位(例如,以秒、分鐘或小時為單位量測)。 在一些實施例中,背景樣品集合240亦可與一資料結構250 (諸如一陣列)相關聯,資料結構250保持追蹤集合240中之各背景樣品之年齡,即,該背景樣品已為集合240之部分之時間。 當將影像220中之各像素228分類為背景234或前景232時,前景分類器114可應用背景減除,例如,如Wang及Suter (「一種針對追蹤之基於共識方法:模型化背景情境及前景外觀」。圖案辨識, 40(3), 2007 )中所描述。在圖2之實例中,藉由應用該背景減除,前景分類器114將落在物件122內部之像素分類為屬於前景232,且將其他像素分類為背景234。在此實例中,像素228被分類為背景234。 更詳細地,藉由指示在影像序列之時間處之像素中的觀察,且藉由指示像素之背景樣品集合。各觀察具有個通道(例如,在RGB色彩空間中,各觀察係由三個通道R、G、B表示)。針對影像220中之各像素228,前景分類器114可將該影像資料(即,強度值(若適用,針對各通道))與與像素228相關聯之集合240中之各背景樣品進行比較,以查看該影像資料是否與該等背景樣品之各者相差不超過一臨限值。例如,前景分類器114可根據以下將與該像素中之該影像資料相差不超過臨限值之背景樣品與值「一」相關聯,且可將其他背景樣品與值「零」相關聯。(1) 若與該像素之該影像資料相差不超過臨限值之集合240中的背景樣品之數目高於或等於一預定數目,則前景分類器114可判定該像素屬於背景。否則,該像素屬於前景。 此可藉由計算一二元遮罩而實施,二元遮罩根據以下在時間處針對背景像素取值「一」且針對前景像素取值「零」:(2) 換言之,前景分類器114可對與像素228之該影像資料相差不超過臨限值之集合240中的背景樣品之數目進行計數。若該數目等於或超過一預定數目,則該前景分類器判定該像素屬於背景234,否則屬於前景232。因此,若該前景分類器在集合240中找出類似(在方程式1之意義上)於像素228中之該影像資料之至少個背景樣品,則像素228將被分類為屬於背景,否則屬於前景。 已發現,若像素228中之該影像資料類似於一個背景樣品(即),則可足夠。在此等情況中,可藉由使用邏輯「或」操作依一高效方式來實施方程式2。特定言之,方程式2可被重寫為:(3) 因此,前景分類器114可藉由執行一邏輯「或」操作(即,第一背景樣品、或第二背景樣品、或第三背景樣品等)來檢查與該像素相關聯之該等背景樣品(其等與該像素之該影像資料相差不超過一臨限值)之至少一者是否應與像素228之影像資料相差不超過臨限值。若情況並非如此,則前景分類器114將該像素分類為屬於前景。以此方式,可節省計算複雜性,此係因為邏輯操作需要較少處理能力及較少記憶體使用。 前景分類器114可應用一安全裕度以確保在該背景模型之更新中稍後僅使用背景像素。更詳細地,前景分類器114可在空間上延伸已被分類為前景之區域(諸如前景區域232)。此可例如藉由在取代影像內容之前對分類結果施加形態操作而實施。例如,對該等前景區域之一形態「擴大」操作可導致該等前景區域在空間上增長,藉此增加補償潛在分類誤差之一安全裕度。 該臨限值針對影像220中之所有像素可係相同的。然而,在一些實施例中,該臨限值可隨影像中之像素之位置而變動。因此,不同像素可具有臨限值之不同值。此外,該臨限值可隨時間而變動。一般而言,前景分類器114可取決於該像素之該位置處之背景樣品趨於改變該影像序列中的連續影像之間之值的頻率來設定該臨限值。特定言之,與其中該背景或多或少始終相同之像素相比,針對其中該背景具有經常改變值之一趨勢之像素,該臨限值可被設定成更大。以此方式,歸因於(例如)場景中之搖擺之樹枝,故可將該分類設定為在其中該背景經常改變值(即,自一種模態轉變至另一種模態)之區域中較不敏感。 此在圖6中進一步例示。為設定該臨限值,前景分類器114可保持該等像素之經累積模態轉變位準之一二維映射600。此映射稱為一指示符映射。該指示符之值可因此指示該背景改變該影像序列中之連續影像之間的強度值之趨勢。該指示符映射因此給定該背景之動態之一指示或一量測。取決於該指示符映射中之該等值,前景分類器114可接著根據該指示符映射之值與臨限值之間的一預定關係來設定針對各像素之臨限值。與該指示符映射中之一較低值相比,此關係通常給定針對該指示符映射之一較大值之該臨限值的一較大值。例如,可根據選擇該臨限值,其中係一常數,且係調整受由該指示符映射給定之該背景之該動態影響的多少之一因素。 前景分類器114可進一步更新指示符映射600以調整至該場景中之新條件,例如,改變風況。特定言之,前景分類器114可基於該影像序列中之當前影像220及一先前影像620來更新指示符映射600。出於此目的,前景分類器114可檢查當前影像(220)與先前影像(620)之間之一差異是否大於一預定量,若如此,則將針對此等像素之指示符映射600中之值增加一增量值,否則將指示符映射600中之該值減小一減量值。藉由指示像素中之該指示符之該值,該前景分類器可因此將指示符映射600更新為:(4) 通常大於以快速回應於該背景中之新動態改變且緩慢減小,此係因為若背景移動剛剛發生,則其可能再次發生。 僅針對背景像素更新指示符映射600。特定言之,僅針對被分類為屬於當前影像(220)及先前影像(620)中之背景之像素更新該指示符影像(即,落在當前影像220中之前景區域232及先前影像620之前景區域632外側的像素)。此外,前景分類器114可應用一安全裕度以確保在該指示符映射之更新中僅使用背景像素。更詳細地,前景分類器114可忽略在空間上靠近已被分類為前景之區域232、632之背景像素。此可例如藉由對分類結果施加形態操作而實施。例如,對前景區域232、632之一形態「擴大」操作將導致前景區域232、632在空間上增大,藉此增加補償潛在分類誤差之一安全裕度。 在步驟S06中,背景更新組件118進行至更新該背景模型。僅針對已被分類為背景234之像素更新該背景模型,因此係背景樣品。對每個像素進行該背景模型之更新,且該背景模型包括兩個步驟。首先,自與該像素相關聯之背景樣品集合240選擇S06a待取代之一背景樣品。接著,使用像素228之影像資料來取代S06b集合240中之所選擇背景樣品。 背景更新組件118通常選擇滿足一相似性條件之一背景樣品。該相似性條件可係(例如)像素228之該影像資料與該背景樣品相差不超過一相似性臨限值,即,。該相似性臨限值可具可比較量值,如上文所描述之臨限值。例如,可將該相似性臨限值設定為等於(或稍微低於)上文在表達式中所使用之常數。 背景更新組件118可使用不同方法用於找出待取代之背景樣品。根據圖2中所繪示之一實施例,背景更新組件118搜尋背景樣品集合240直至其找出滿足該相似性條件之一背景樣品242。更具體言之,背景更新組件118將像素228之該影像資料與集合240中之該等背景樣品逐個進行比較直至已找出滿足該相似性條件之一背景樣品242 (若達到集合240之末端而未找出一匹配,則可自集合240之開始繼續搜尋直至已找出一匹配,或已檢視該集合中之所有背景樣品)。當已找出滿足該相似性條件之一背景樣品242時,終止該搜尋。 可在文中亦稱為一開始索引之集合240中之一開始位置244 (由黑色標記)處起始該搜尋。可隨機選擇開始位置244。替代地,可取決於用來相對於該影像序列中之該先前影像中之一對應像素而起始該搜尋的開始位置來選擇開始位置244。通常,開始位置244可經選擇為與用於該先前影像中之該對應像素之開始位置不同。例如,可相對於關於該先前應用所使用之開始位置244而將關於當前影像之開始位置244增加一個。相同開始位置244可用於影像220中之所有像素。替代地,可針對該影像中之不同像素選擇一不同開始位置244。 圖3繪示一不同方法。在圖3之實施例中,背景更新組件118將像素228之該影像資料與集合240中之所有背景樣品進行比較。若集合240中之一個以上背景樣品滿足該相似性條件,則背景更新組件118選擇最類似於像素228之該影像資料之背景樣品342。最類似通常意指選擇與像素228之該影像資料相差最小之背景樣品342。更一般言之,最類似可意指選擇具有根據一預定範數(諸如上文所例示之L1範數或L2範數,即,歐幾里得(Euclidean)範數)之至像素228之影像資料的最小距離之背景樣品。 在其中保持追蹤集合240中之該等背景樣品之年齡(即,該等背景樣品已在集合240中存在多久)的實施例中,背景更新組件118可進一步更新資料結構250。資料結構250中之各值增加一預定數目(此處為數目1),惟在對應於新添加背景樣品242、342之位置處之值除外,該值給定該預定數目之值。 背景更新組件118可達到其中集合240中無背景樣品滿足該相似性條件之一情況。在此等情況中,背景更新組件118可替代地取代不滿足該相似性條件之一背景樣品。例如,背景更新組件118可隨機取代一背景樣品或藉由取代集合240中之最舊背景樣品。在後者情況中,可藉由查閱保持追蹤該等背景樣品之年齡之資料結構250而識別集合240中之該最舊背景樣品。作為一替代例,背景更新組件118可取代在該迭代搜尋期間檢視之最後背景樣品。 為避免在集合240中具有不再相關之樣品,背景更新組件118可進一步實施取代舊、過時背景樣品之一機制。 圖4中繪示此一實施例。圖4之實例係圖2及圖3中之該等實例之一延續。圖4繪示在一視訊序列中之繼圖2及圖3之影像220之後的一影像420。在此實例中,在無背景樣品已在集合240中存在超過一預定時間限制(其在此實例中設定為99)之一條件下進行步驟S06a及S06b。根據實際實例,預定時間可係一小時之數量級。換言之,在執行步驟S06a及S06b之前,背景更新組件118檢查集合240中之任何背景樣品是否比預定時間限制更舊。若否,則背景更新組件118進行至執行如上文所描述之步驟S06a及S06b。 然而,若背景更新組件118找出一背景樣品已在集合240中存在超過預定時間限制,則使用像素428之影像資料取代彼背景樣品。在所繪示之實例中,背景樣品442具有如在「年齡」資料結構250中所展示之年齡100。由於此超過預定時間限制99,故使用像素428之影像資料取代背景樣品442。 圖5中繪示用於取代舊樣品之另一方法。背景更新組件118可根據上文結合步驟S06a及S06b所描述者而大體上更新背景樣品集合240。然而,以時間間隔為單位,諸如針對序列中之每第N個影像520,例如每100個影像一次或每15秒一次,背景更新組件118可進行至取代具有與與被分類為影像520中之背景534之所有像素528a、528b、528c相關聯的背景樣品集合520a、540b、540c中之一特定位置或索引之背景樣品。此處分別展示與像素528a、528b、528c相關聯之集合540a、540b、540c。為簡單起見,僅繪示三個像素和集合。然而,此應用至已被分類為背景534之影像520中之所有像素。在集合540a、540b、540c之相同位置(此處第二位置)處之背景樣品被選擇且分別被像素528a、528b、528c之影像資料取代。可隨機選取或可判定性地選擇集合540a、540b、540c中之位置。例如,在第一間隔處可選擇集合中之第一位置,在第二間隔處可選擇集合中之第二位置等。以此方式,所有背景樣品將遲早被取代。 根據實施例,前景分類器組件114可進一步使用具有不同時間層之若干背景模型進行操作。以此方式,可以一改良之方式處置長期變動及短期變動兩者。例如,可存在上文所描述類型之一第一背景模型(具有針對各像素之背景樣品之一集合),及亦為上文所描述類型之一第二背景模型。可自對應於一第一時間間隔(諸如最後兩秒)之影像序列中之影像收集第一背景模型之該等背景樣品。可自對應於一第二時間間隔(諸如最後30秒)之影像序列中之影像收集第二背景模型之該等背景樣品。 當前景分類器組件114使用若干背景模型進行操作時,其將例如以上文結合方程式(1)所論述之方法將一像素之影像資料與該等背景模型之各者中之該等背景樣品進行比較。若與像素之強度值相差不超過一臨限值之背景樣品之數目(當一起查找時,在所有背景模型中)低於一預定數目,則將接著判定該像素係前景。換言之,方程式(2)之總和或方程式(3)之聯集超過所有背景模型中之該等背景樣品。 可根據已在上文所描述之情況更新所有背景模型。特定言之,當接收一序列影像時,裝置110可互換地更新不同背景模型。換言之,裝置110可更新每個所接收影像之該等背景模型之(至多)一者。為允許該等背景模型具有不同時間層,可依不同頻率更新不同背景模型-時間層愈長,更新頻率愈低。在上文之實例中,使用兩個背景模型,第二背景模型之時間層長達第一背景模型之時間層之15倍。因此,第二背景模型之更新頻率應係低於第一背景模型之更新頻率之15倍之一因素。在一特定實例中,第一背景模型及第二背景模型可各具有每像素十個背景樣品。可每秒接收五次影像序列之影像。可每15個影像更新一次第二背景模型。可相對於所有其他影像更新第一背景模型。 將理解,熟習此項技術者可以許多方式修改上文所描述之實施例且仍使用如以上實施例中所展示之本發明之優點。因此,本發明不應限於所展示之實施例但應僅藉由隨附申請專利範圍定義。此外,如熟習此項技術者所瞭解,可組合該等所展示之實施例。
100‧‧‧相機系統
102‧‧‧相機
104‧‧‧網路
110‧‧‧裝置
112‧‧‧接收器/內部組件
114‧‧‧前景分類器/內部組件/前景分類器組件
118‧‧‧背景更新組件/內部組件
120‧‧‧場景
122‧‧‧移動物件/前景物件
124‧‧‧背景物件/樹枝
126‧‧‧背景物件/小徑
220‧‧‧影像/當前影像
228‧‧‧像素
232‧‧‧前景/前景區域
234‧‧‧背景
240‧‧‧背景樣品集合
242‧‧‧背景樣品
244‧‧‧開始位置/索引
250‧‧‧資料結構
420‧‧‧影像
428‧‧‧像素
442‧‧‧背景樣品
520‧‧‧影像
528a‧‧‧像素
528b‧‧‧像素
528c‧‧‧像素
534‧‧‧背景
540a‧‧‧集合
540b‧‧‧集合
540c‧‧‧集合
600‧‧‧二維映射/指示符映射
620‧‧‧先前影像
632‧‧‧前景區域
S02‧‧‧步驟
S04‧‧‧步驟
S06‧‧‧步驟
S06a‧‧‧步驟
S06b‧‧‧步驟
將參考附圖(其中相同元件符號將用於類似元件)透過本發明之較佳實施例之以下闡釋性及非限制性詳細描述更佳地理解本發明之上述以及額外目的、特徵及優點,其中: 圖1示意性地繪示一相機系統,該相機系統包括用於更新用於一影像之背景減除之一背景模型的一裝置。 圖2、圖3、圖4及圖5示意性地繪示根據實施例之用於取代一背景模型之背景樣品的不同方法。 圖6示意性地繪示根據實施例之用來更新一指示符映射之一當前影像及一先前影像。 圖7係根據實施例之用於更新用於一影像之背景減除的一背景模型之一方法之一流程圖。

Claims (7)

  1. 一種在一裝置(110)中執行用於更新用於一影像(220)之背景減除(background subtraction)之一背景模型的方法,該方法包括:接收(S02)作為一序列影像之部分之一影像(220),藉由使用一背景模型執行背景減除而將該影像(220)中之各像素(228)分類(S04)為前景(232)或背景(234),該背景模型包括針對該影像中之各像素之一背景樣品集合(240)(a collection of background samples),其中對與該像素(228)相關聯之該背景樣品集合(240)進行索引(is indexed),針對被分類為背景之該影像中之各像素,藉由以下更新(S06)該背景模型:在滿足一相似性條件(similarity condition)之與該像素相關聯之該背景樣品集合中選擇(S06a)一背景樣品(242、342),若該背景樣品與該像素(228)中之該影像資料相差不超過一相似性臨限值,則相對於一背景樣品(242、342)滿足該相似性條件,使用該像素之影像資料取代(S06b)滿足該相似性條件之該背景樣品,其中選擇(S06a)之該步驟包括藉由將該像素之該影像資料與該背景樣品集合中之該等背景樣品逐個(one by one)進行比較而迭代地(iteratively)搜尋與該像素(228)相關聯之該背景樣品集合(240),直至找出滿足該相似性條件之一背景樣品(242),其中在該背景樣品集合中之一索引(244)處起始該迭代搜尋,該索引(244)接續用於相對於在該影像序列中之一先前影像中之像素而起始一迭代搜尋的一索引。
  2. 如請求項1之方法,其中若在該背景樣品集合(240)中無背景樣品滿足該相似性條件,則取代不滿足該相似性條件之一背景樣品。
  3. 如請求項1之方法,針對該影像中之各像素(428),該方法進一步包括:保持追蹤各背景樣品已在與該像素(428)相關聯之該背景樣品集合(240)中存在多久,其中在無背景樣品已在該背景樣品集合(240)中存在超過一預定時間限制之一條件下作出選擇(S06a)及取代(S06b)之該等步驟,及其中若一背景樣品已在該集合中存在超過該預定時間限制,則使用該像素(428)之影像資料取代已在該背景樣品集合中存在超過該預定時間限制之該背景樣品(442)。
  4. 如請求項1之方法,其進一步包括:接收一序列影像且重複針對該序列影像中之各影像之分類(S04)及更新(S06)的該等步驟,惟該序列影像中之每第N個影像(520)除外,其中N>2,針對被分類為背景之該第N個影像(520)中之各像素(528a、528b、528c),藉由以下進行該背景模型之該更新:使用該像素(528a、528b、528c)之影像資料取代與該像素相關聯之該背景樣品集合(540a、540b、540c)中的一背景樣品,其中該經取代背景樣品在該背景樣品集合(540a、540b、540c)中具有與該第N個影像(520)中之所有像素(528a、528b、528c)相同之一索引。
  5. 如請求項1之方法,其中針對該影像中之各像素,將該影像中之各像素(228)分類(S04)為前景(232)或背景(234)之該步驟包括:將該像素(228)之該影像資料與與該像素相關聯之該背景樣品集合(240)中的該等背景樣品之各者進行比較,及若與該像素(228)之該影像資料相差不超過一分類臨限值之背景樣品之數目低於一預定數目,則判定該像素(228)係前景(234)。
  6. 如請求項5之方法,其中該預定數目等於一,且其中判定該像素(228)係前景(234)之該步驟包括:藉由執行一邏輯「或」操作而檢查與該像素(228)相關聯之該等背景樣品之至少一者是否與該像素之該影像資料相差不超過一分類臨限值,若否,則判定與該像素之該影像資料相差不超過一臨限值之背景樣品之該數目低於該預定數目,藉此判定該像素係前景。
  7. 一種非暫態電腦可讀媒體,具有儲存於其上之電腦碼指令,當由具有處理能力之一器件執行時實行請求項1至6中任一項的方法。
TW106117302A 2016-06-08 2017-05-25 用於更新背景模型之方法及裝置 TWI660326B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16173451.2A EP3255585B1 (en) 2016-06-08 2016-06-08 Method and apparatus for updating a background model
??16173451.2 2016-06-08

Publications (2)

Publication Number Publication Date
TW201810186A TW201810186A (zh) 2018-03-16
TWI660326B true TWI660326B (zh) 2019-05-21

Family

ID=56117546

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106117302A TWI660326B (zh) 2016-06-08 2017-05-25 用於更新背景模型之方法及裝置

Country Status (6)

Country Link
US (1) US10489916B2 (zh)
EP (1) EP3255585B1 (zh)
JP (1) JP6474854B2 (zh)
KR (1) KR101891225B1 (zh)
CN (1) CN107481256B (zh)
TW (1) TWI660326B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204636B (zh) * 2016-06-27 2019-03-22 北京大学深圳研究生院 基于监控视频的视频前景提取方法
KR102629594B1 (ko) * 2018-04-09 2024-01-29 한화비전 주식회사 객체 및 배경 구분 방법
TWI668669B (zh) * 2018-05-31 2019-08-11 國立中央大學 物件追蹤系統及方法
EP3582181B1 (en) * 2018-06-14 2020-04-01 Axis AB Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
CN110018529B (zh) * 2019-02-22 2021-08-17 南方科技大学 降雨测量方法、装置、计算机设备和存储介质
EP3770809A4 (en) * 2019-06-14 2022-03-09 Korea University Research and Business Foundation METHOD AND APPARATUS FOR ESTIMATING A USER'S POSE USING A VIRTUAL THREE-DIMENSIONAL SPACE MODEL
CN110864412B (zh) * 2019-08-12 2021-02-12 珠海格力电器股份有限公司 空调控制方法及系统
EP3800615A1 (en) * 2019-10-01 2021-04-07 Axis AB Method and device for image analysis
US11361574B2 (en) * 2019-10-23 2022-06-14 Bendix Commercial Vehicle Systems Llc System and method for monitoring for driver presence and position using a driver facing camera
CN111588384B (zh) * 2020-05-27 2023-08-22 京东方科技集团股份有限公司 获得血糖检测结果的方法、装置及设备
CN113827233A (zh) * 2020-06-24 2021-12-24 京东方科技集团股份有限公司 用户特征值检测方法及装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130638A (ko) * 2014-09-15 2014-11-11 (주)인더스웰 실사 영상 기반의 스마트 피팅장치 및 그 방법
TW201535321A (zh) * 2014-03-07 2015-09-16 Htc Corp 影像分割裝置與影像分割方法
TW201545076A (zh) * 2014-05-22 2015-12-01 Htc Corp 影像編輯方法與電子裝置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002109546A (ja) * 2000-09-29 2002-04-12 Toshiba Corp 背景画像の取得方法および装置
US7190809B2 (en) * 2002-06-28 2007-03-13 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
DE602007004841D1 (de) 2007-07-08 2010-04-01 Univ Liege Extraktor für visuellen Hintergrund
AU2008200966B2 (en) * 2008-02-28 2012-03-15 Canon Kabushiki Kaisha Stationary object detection using multi-mode background modelling
WO2011076682A1 (en) 2009-12-21 2011-06-30 St-Ericsson (France) Sas Method for regenerating the background of digital images of a video stream
JP2012033100A (ja) * 2010-08-02 2012-02-16 Canon Inc 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5761954B2 (ja) * 2010-10-13 2015-08-12 セコム株式会社 画像センサ
EP2463821A1 (en) * 2010-12-08 2012-06-13 Alcatel Lucent Method and system for segmenting an image
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
AU2011265429B2 (en) * 2011-12-21 2015-08-13 Canon Kabushiki Kaisha Method and system for robust scene modelling in an image sequence
US20130308856A1 (en) * 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition
US9471844B2 (en) * 2014-10-29 2016-10-18 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
EP3246874B1 (en) * 2016-05-16 2018-03-14 Axis AB Method and apparatus for updating a background model used for background subtraction of an image
TWI615806B (zh) * 2016-10-11 2018-02-21 威聯通科技股份有限公司 影像背景學習方法及電子裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201535321A (zh) * 2014-03-07 2015-09-16 Htc Corp 影像分割裝置與影像分割方法
TW201545076A (zh) * 2014-05-22 2015-12-01 Htc Corp 影像編輯方法與電子裝置
KR20140130638A (ko) * 2014-09-15 2014-11-11 (주)인더스웰 실사 영상 기반의 스마트 피팅장치 및 그 방법

Also Published As

Publication number Publication date
US20170358093A1 (en) 2017-12-14
EP3255585B1 (en) 2018-05-09
CN107481256A (zh) 2017-12-15
JP6474854B2 (ja) 2019-02-27
TW201810186A (zh) 2018-03-16
KR101891225B1 (ko) 2018-08-24
US10489916B2 (en) 2019-11-26
EP3255585A1 (en) 2017-12-13
JP2018022475A (ja) 2018-02-08
CN107481256B (zh) 2019-05-14
KR20170138938A (ko) 2017-12-18

Similar Documents

Publication Publication Date Title
TWI660326B (zh) 用於更新背景模型之方法及裝置
TWI662512B (zh) 更新用於影像之背景相減的背景模型之方法和設備
US9230175B2 (en) System and method for motion detection in a surveillance video
EP3332356B1 (en) Semi-automatic image segmentation
US9773189B2 (en) Recognition apparatus and recognition method
US9454819B1 (en) System and method for static and moving object detection
US10373320B2 (en) Method for detecting moving objects in a video having non-stationary background
Herrero et al. Background subtraction techniques: Systematic evaluation and comparative analysis
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
US10970896B2 (en) Image processing apparatus, image processing method, and storage medium
US10896495B2 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
US20160092727A1 (en) Tracking humans in video images
US20130162867A1 (en) Method and system for robust scene modelling in an image sequence
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
JP6652051B2 (ja) 検出システム、検出方法及びプログラム
JP2020504383A (ja) 画像前景の検出装置、検出方法及び電子機器
Devi et al. A survey on different background subtraction method for moving object detection
Shakeri et al. Object detection using a moving camera under sudden illumination change
CN109658434B (zh) 一种目标跟踪的方法及装置
Gao et al. A robust technique for background subtraction and shadow elimination in traffic video sequence
Varghese et al. Short term-Long term dual model Background Subtractor
Mould et al. Neighborhood-level learning techniques for nonparametric scene models
Tian et al. An Adaptive Threshold Algorithm for Moving Object Segmentation