TWI615806B - 影像背景學習方法及電子裝置 - Google Patents
影像背景學習方法及電子裝置 Download PDFInfo
- Publication number
- TWI615806B TWI615806B TW105132777A TW105132777A TWI615806B TW I615806 B TWI615806 B TW I615806B TW 105132777 A TW105132777 A TW 105132777A TW 105132777 A TW105132777 A TW 105132777A TW I615806 B TWI615806 B TW I615806B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel
- background
- memory space
- value
- area
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
一種影像背景學習方法及電子裝置。此方法是在電子裝置的記憶裝置內配置用以記錄輸入影像中各個像素的背景歷史數值的記憶空間,此記憶空間係區分為鎖定區域及開放區域。每當接收到輸入影像時,電子裝置的處理器即會根據記憶空間中記錄的背景歷史數值,判斷輸入影像中的各個像素是否為背景像素,而若判斷此像素為背景像素,則處理器會使用此像素的像素值更新開放區域內的其中一個背景歷史數值,並保持鎖定區域內的背景歷史數值不變。處理器還會週期性地移動鎖定區域於記憶空間中的位置,藉此遺忘過舊的背景歷史數值。
Description
本發明是有關於一種影像處理方法及裝置,且特別是有關於一種影像背景學習方法及電子裝置。
背景學習技術是透過分析拍攝同一場景所得的多張影像,獲得該場景的背景模型。此背景模型可用以區分後續所擷取影像中的前景及背景,使得處理後的影像可使用於諸如移動偵測、行人偵測等各種應用。
圖1及圖2是習知背景學習技術的示意圖。請參照圖1,習知的背景學習技術演算法是透過學習多張影像以獲得穩定的背景模型10,此背景模型中包括物件102。假設輸入的影像12中含有新物件104,則演算法藉由將輸入的影像12與背景模型10比對,將輸出一張前景遮罩圖14,其中包括標示為前景的物件106,此物件106即代表有移動的前景。
接著請參照圖2,在進行背景學習時,演算法會針對輸入影像中的每一個像素配置可儲存其歷史數值的記憶空間,例如針對圖2所示的第t張影像20中的第i個像素202配置可記錄10筆歷史數值的記憶空間22。然後,演算法會將此像素202的像素值與記憶空間22中的各個歷史數值比較,以判斷是否匹配。若彼此匹配,則演算法會將像素202標記為背景像素,並用像素202的像素值更新記憶空間22的其中一個歷史數值。其中,在進行更新時,演算法例如會採用序列更新法使用新判定為背景像素的像素值依序更新記憶空間202中的歷史數值,或是採用隨機更新法將新判定為背景像素的像素值隨機更新記憶空間202中的任意一個歷史數值。
然而,實際場景中的背景並非想像的穩定,其可能會受到影像編解碼誤差的影響,甚至場景中的些微變化(例如微晃的樹葉、招牌等)都可能形成前景雜訊。因此,習知背景學習技術需要足夠的背景記憶來辨認類似的干擾。然而,若此背景記憶沒有適當地調控(例如記憶長度過長),則有可能會將感興趣的物件誤認為背景而忽略。
本發明提供一種影像背景學習方法及電子裝置,藉由調節背景記憶,可使背景學習技術能適用於各種場景。
本發明的影像背景學習方法,適用於具有記憶裝置及處理器的電子裝置。此方法是在記憶裝置內配置用以記錄輸入影像的各個像素的多個背景歷史數值的記憶空間,其中此記憶空間區分為鎖定區域及開放區域。每當接收到輸入影像時,處理器即會根據記憶空間中記錄的背景歷史數值,判斷輸入影像中的各個像素是否為背景像素,而若判斷此像素為背景像素,則處理器會使用此像素的像素值更新開放區域內的其中一個背景歷史數值,並保持鎖定區域內的背景歷史數值不變。另外,處理器還會週期性地移動鎖定區域於記憶空間中的位置。
在本發明的一實施例中,上述判斷輸入影像中的各個像素是否為背景像素的步驟包括計算此像素的像素值與記憶空間中的各個背景歷史數值的相似度,並判斷相似度小於第一門檻值的像素數目是否大於第二門檻值,而若此數目大於第二門檻值,則判斷此像素為背景像素。
在本發明的一實施例中,當判斷像素為背景像素時,所述方法更包括判斷此像素的像素值與記憶空間中各個背景歷史數值的相似度中的最小相似度是否小於第三門檻值,而若此最小相似度小於第三門檻值,則不使用此像素的像素值更新開放區域內的背景歷史數值。
在本發明的一實施例中,上述使用像素的像素值更新開放區域內的其中一個背景歷史數值的步驟包括依序或隨機選擇開放區域內的其中一個背景歷史數值進行更新。
在本發明的一實施例中,上述週期性地移動鎖定區域於記憶空間中的位置的步驟包括將鎖定區域由記憶空間的當前位址區段向前或向後移動至記憶空間的下一位址區段,其中此當前位址區段與下一位址區域重疊或不重疊。
本發明的電子裝置包括影像擷取裝置、記憶裝置、儲存裝置及處理器。其中,影像擷取裝置是用以接收輸入影像。儲存裝置是用以儲存多個模組。處理器係耦接影像擷取裝置、記憶裝置及儲存裝置,用以載入並執行儲存裝置中的模組。這些模組包括記憶空間配置模組、背景像素判斷模組及像素值更新模組。其中,記憶空間配置模組會於記憶裝置內配置用以記錄輸入影像的各個像素的多個背景歷史數值的記憶空間,其中此記憶空間區分為鎖定區域及開放區域,且記憶空間配置模組包括週期性地移動鎖定區域於記憶空間中的位置。背景像素判斷模組是每當影像擷取裝置接收到輸入影像時,根據記憶空間中記錄的背景歷史數值,判斷輸入影像中的各個像素是否為背景像素。像素值更新模組則是當背景像素判斷模組判斷像素為背景像素時,使用此像素的像素值更新開放區域內的其中一個背景歷史數值,並保持鎖定區域內的背景歷史數值不變。
在本發明的一實施例中,上述的背景像素判斷模組包括計算像素的像素值與記憶空間中各個背景歷史數值的相似度,並判斷相似度小於第一門檻值的像素數目是否大於第二門檻值,其中若此數目大於第二門檻值,則判斷此像素為背景像素。
在本發明的一實施例中,上述的背景像素判斷模組更判斷像素的像素值與記憶空間中各個背景歷史數值的相似度中的最小相似度是否小於第三門檻值,其中若背景像素判斷模組判斷此最小相似度小於第三門檻值,則像素值更新模組不會使用此像素的像素值更新開放區域內的背景歷史數值。
在本發明的一實施例中,上述的像素值更新模組包括依序或隨機選擇開放區域內的其中一個背景歷史數值進行更新。
在本發明的一實施例中,上述的記憶空間配置模組包括將鎖定區域由記憶空間的當前位址區段向前或向後移動至記憶空間的下一位址區段,其中此當前位址區段與下一位址區域重疊或不重疊。
基於上述,本發明的影像背景學習方法及電子裝置係針輸入影像中的各個像素配置記憶空間,藉以儲存該像素的背景歷史數值。而在進行背景記憶更新時,則將此記憶空間區分為鎖定區域及開放區域,並僅提供開放區域進行更新,而不更改鎖定區域,藉此保存記憶。此外,本發明還會週期性地移動鎖定區域在記憶空間中的位置,藉此遺忘過舊的背景。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明除了針對輸入影像中的像素各自配置背景記憶空間以儲存先前背景的像素值外,還將此記憶空間區分為鎖定區域及開放區域兩個部分。而在進行背景記憶更新時,僅提供開放區域進行更新,而不更改鎖定區域,藉此保存記憶。經過一段時間後,本發明會依照預設的規則將鎖定區域及開放區域進行交替或轉移,藉此可遺忘過舊的背景,並記住新的背景。
圖3是依照本發明一實施例所繪示之影像背景學習的電子裝置的方塊圖。請參照圖3,本實施例的電子裝置30例如是具有運算能力的伺服器、工作站或個人電腦等計算機裝置,或是數位相機、數位攝影機(Digital Video Camcorder,DVC)等攝像裝置,或是手機、平板電腦等可攜式電子裝置,其可用以對所擷取的影像進行背景學習,本實施例不限定電子裝置30的種類。電子裝置30中包括影像擷取裝置32、記憶裝置34、儲存裝置36及處理器38,其功能分述如下。
影像擷取裝置32例如是包括光學鏡頭及電荷耦合元件(Charge Coupled Device,CCD)或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)元件等感光元件的相機,其可用以拍攝影像。在其他實施例中,影像擷取裝置32也可以是用以從記憶卡擷取影像的讀卡機,或是用以從網路設備上擷取影像的有線或無線網路卡或其他通訊設備,本實施例不以此為限。
記憶裝置34例如是隨機存取記憶體(random access memory,RAM)、快閃記憶體(flash memory)或類似元件或上述元件的組合,其可用以儲存輸入影像的像素的背景歷史數值。
儲存裝置36例如是任何型態的固定式或可移動式隨機存取記憶體、唯讀記憶體、快閃記憶體、硬體或類似元件或上述元件的組合。在本實施例中,儲存裝置36係用以記錄記憶空間配置模組362、背景像素判斷模組364及像素值更新模組366,這些模組例如是儲存在儲存裝置36中的電腦程式。在一實施例中,記憶裝置34可以是儲存裝置36的一部份,在此不設限。
處理器38例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。處理器38係耦接影像擷取裝置32、記憶裝置34及儲存裝置36,其可從儲存裝置36載入記憶空間配置模組362、背景像素判斷模組364及像素值更新模組366的電腦程式,據以執行本申請實施例的影像背景學習方法。以下即舉實施例說明此方法的詳細步驟。
圖4是依照本發明一實施例所繪示之影像背景學習方法的流程圖。請同時參照圖3及圖4,本實施例的方法適用於上述的電子裝置30,以下即搭配電子裝置30的各項裝置及元件說明本實施例之影像背景學習方法的詳細步驟。
首先,由記憶空間配置模組362於記憶裝置34內配置用以記錄輸入影像的像素的背景歷史數值的記憶空間,此記憶空間係區分為鎖定區域及開放區域(步驟S402)。其中,鎖定區域及開放區域的數量及長度可依需求適當地配置,其總和的長度等於記憶空間的長度。
在記憶空間配置完成後,接著則由影像擷取裝置32接收輸入影像(步驟S404)。而每當影像擷取裝置32接收到輸入影像時,背景像素判斷模組364即會根據記憶空間中記錄的背景歷史數值,判斷此輸入影像中的各個像素是否為背景像素(步驟S406)。其中,背景像素判斷模組364例如會計算各個像素的像素值與背景歷史數值的相似度,而據以判斷該像素是否為背景像素。
詳言之,背景像素判斷模組364例如會針對輸入影像中的各個像素,計算該像素的像素值與記憶空間中各個背景歷史數值的相似度。然後,背景像素判斷模組364會判斷所計算的相似度中,相似度小於第一門檻值的像素的數目是否大於第二門檻值,此第一門檻值例如是10,而第二門檻值例如是2,其例如是由使用者依其需求自行設定,在此不設限。其中,若上述的數目大於第二門檻值,則背景像素判斷模組364即可判定此像素為背景像素。
在步驟S406中,若背景像素判斷模組364判斷所述的像素為背景像素,則像素值更新模組366會使用此像素的像素值來更新開放區域內的其中一個背景歷史數值,並保持鎖定區域內的背景歷史數值不變(步驟S408)。其中,像素值更新模組366例如會在開放區域所記錄的多個背景歷史數值中,依序或隨機選擇其中一個背景歷史數值進行更新,在此不設限。需說明的是,像素值更新模組366在更新開放區域內的背景歷史數值的過程中,並不會去更動鎖定區域內的背景歷史數值。藉此,可保存鎖定區域內的背景記憶,不致因為記憶空間的多次更新而被移除,造成容易產生前景雜訊。
另一方面,若背景像素判斷模組364判斷像素不是背景像素,則像素值更新模組366將不會使用此像素的像素值來進行更新(步驟S410)。
需說明的是,在另一實施例中,當背景像素判斷模組364判斷像素為背景像素時,還會進一步判斷此像素的像素值與記憶空間中各個背景歷史數值的相似度中的最小相似度是否小於第三門檻值,此第三門檻值例如是5,其亦可由使用者依其需求自行設定,在此不設限。其中,若背景像素判斷模組364判斷此最小相似度小於第三門檻值,則像素值更新模組366也不會使用此像素的像素值來更新開放區域內的背景歷史數值。
在像素值更新模組366完成像素值的更新,或者像素值更新模組366根據背景像素判斷模組364的判斷決定不進行更新之後,記憶空間配置模組362會週期性地移動鎖定區域在記憶空間中的位置(步驟S412)。其中,鎖定區域與開放區域在記憶空間中的位置例如會依照預設的規則進行交替或轉移,而用以遺忘過舊的背景資訊並記住新的背景資訊。
詳言之,記憶空間配置模組362例如會將鎖定區域由記憶空間的當前位址區段向前或向後移動至記憶空間的下一位址區段,其中所述的當前位址區段與下一位址區域可以重疊,也可以不重疊。簡單來說,只要鎖定區域中有部分像素被移出鎖定區域,原本被鎖定的背景歷史數值就會有機會被更新,此將使得鎖定區域中記錄的過舊的背景資訊可以透過此移動而被遺忘。
最後流程將回到步驟S404,繼續由影像擷取裝置32接收下一張輸入影像,並重複步驟S406~S412,直到沒有接收到輸入影像為止。
舉例來說,圖5是依照本發明一實施例所繪示的影像背景學習方法的範例。請參照圖5,本實施例是由電子裝置在其記憶裝置中配置可用以記錄新的背景像素的像素值的記憶空間,此記憶空間係區分為鎖定區域及開放區域。為方便說明,本實施例假設鎖定區域及開放區域分別包括兩個像素的記憶空間,其可記錄兩個背景像素的像素值。隨著時間T由t進行至t+2,電子裝置所判斷的新的背景像素的像素值b4至b6會依序被填入開放區域中,此時鎖定區域中的背景歷史數值將維持不變。而在時間T=t+3時,鎖定區域及開放區域將會互換,使得時間T由t+3進行至t+4時,電子裝置所判斷的新的背景像素的像素值b7及b8可依序被填入交換後的開放區域中,此時換成交換後的鎖定區域中的背景歷史數值維持不變。藉由上述方法,舊的背景歷史數值可適當地保存在鎖定區域,其保存的數量可由鎖定區域的長度決定,而其保存的時間則可由鎖定區域的移動週期決定。
需說明的是,上述實施例中的鎖定區域例如會在記憶空間中占據一當前位址區段。當電子裝置週期性地移動鎖定區域時,鎖定區域即會由上述的當前位址區段向前或向後移動至記憶空間的下一位址區段。而若移動後的位址區段會超過記憶空間的起點位址或終點位址,則可將記憶空間起點、終點的位址相連,使得鎖定區域的位置在移動到記憶空間的一端點時,可接續到記憶空間的另一端點。值得一提的是,記憶空間中除了可包括單一個鎖定區域,也可包括多個鎖定區域,且這些鎖定區域在移動前後的位址區段可以重疊,也可以不重疊。
舉例來說,圖6A及圖6B是依照本發明一實施例所繪示的記憶空間中的鎖定區域的範例。其中,圖6A繪示記憶空間60僅包括單一鎖定區域602。若將記憶空間60的位址頭尾相連,則可得到右方鎖定區域602相對於記憶空間60的位置示意圖。另一方面,圖6B繪示記憶空間62包括多個鎖定區域622、624、626、628。若將記憶空間62的位址頭尾相連,則可得到右方鎖定區域622、624、626、628相對於記憶空間62的位置示意圖。
另一方面,圖7A至圖7D是依照本發明一實施例所繪示的在記憶空間中移動鎖定區域的範例。其中,圖7A繪示順向移動不重疊的範例,鎖定區域72是在記憶空間70中以順時針方向移動,且移動後的鎖定區域72的位址區段與移動前的位址區段不會重疊。圖7B繪示逆向移動不重疊的範例,鎖定區域74是在記憶空間70中以逆時針方向移動,同樣地移動後的鎖定區域74的位址區段與移動前的位址區段不會重疊。圖7C繪示順向移動重疊的範例,鎖定區域76是在記憶空間70中以順時針方向移動,且移動後的鎖定區域76的位址區段與移動前的位址區段會有部分重疊。圖7D繪示逆向移動重疊的範例,鎖定區域78是在記憶空間70中以逆時針方向移動,且移動後的鎖定區域78的位址區段與移動前的位址區段會有部分重疊。
以下將以兩個實際例子說明本發明可應用的範圍,且將本發明與習知的序列更新法及隨機更新法進行比較。
圖8A及圖8B是依照本發明一實施例所繪示的影像背景學習方法的範例。其中,圖8A中間繪示的發明方法係與圖5中時間T由t進行至t+2的範例相同,即電子裝置所判斷的新的背景像素的像素值b4至b6會依序被填入開放區域中,此時鎖定區域中的背景歷史數值將維持不變。圖8A右側繪示習知的序列更新法,其未區分鎖定區域與開放區域,而是會將電子裝置所判斷的新的背景像素的像素值b4至b6依序填入記憶空間中。將本發明方法與習知的序列更新法進行比較可知,在時間T=t+2時,本發明方法可利用鎖定區域保存了先前的背景像素的像素值,但序列更新法則已經遺忘了像素值b1與b2。
使用上述兩種方法所得到的前景偵測的差異可由圖8B的影像得知。其中,本發明方法是採用長移動週期的鎖定區域,使得背景影像82能夠記憶樹葉晃動所產生的差異背景,而在與輸入影像80比較後,即可得到乾淨的前景影像84。另一方面,習知的序列更新法則因為採用的記憶時間過短,使得些微的背景差異被移除而造成在前景影像84中如雜訊般的出現。
圖9A及圖9B是依照本發明一實施例所繪示的影像背景學習方法的範例。其中,圖9A中間繪示的發明方法係在時間T由t進行至t+1時,電子裝置所判斷的新的背景像素的像素值b4和b5會依序被填入開放區域中,此時鎖定區域中的背景歷史數值將維持不變。然後,鎖定區域和開放區域將會互換,使得由電子裝置所判斷的新的背景像素的像素值b6和b7會依序被填入交換後的開放區域中,此時交換後的鎖定區域中的背景歷史數值將維持不變。圖8A右側繪示習知的隨機更新法,其並未區分鎖定區域與開放區域,而是會將電子裝置所判斷的新的背景像素的像素值b4和b5隨機填入記憶空間中的任一個位置。將本發明方法與習知的隨機更新法進行比較可知,在時間T=t+2時,本發明方法可利用較短的鎖定區域轉移週期以遺忘過舊的記憶,但隨機更新法則需要較長的時間來遺忘過舊的記憶(如像素值b2)。
使用上述兩種方法所得到的前景偵測的差異可由圖9B的影像得知。其中,本發明方法是採用短移動週期的鎖定區域,使得背景影像92能夠遺忘間歇出現的物品而成為前景,而在與輸入影像90比較後,即可得到具有此物品的前景影像94。另一方面,習知的隨機更新法則因為採用的記憶時間過長,使得背景影像96中間歇出現的物品融入背景之中,而消失於前景影像98。
綜上所述,本發明的影像背景學習方法及電子裝置係將針對輸入影像中的各個像素配置的記憶空間區分為鎖定區域及開放區域,並在進行背景記憶更新時,僅針對開放區域進行更新,而不更新鎖定區域,藉此可保存鎖定區域內的記憶。本發明還會週期性地移動或轉移鎖定區域在記憶空間中的位置,藉此可遺忘過舊的背景以記憶新的背景。藉此,本發明的背景學習方法將可適用於各種場景。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10‧‧‧背景模型
102、104‧‧‧物件 106‧‧‧前景物件
12、80、90‧‧‧輸入影像
14‧‧‧前景遮罩圖
20‧‧‧影像
202‧‧‧像素
22、60、62、70‧‧‧記憶空間
30‧‧‧電子裝置
32‧‧‧影像擷取裝置
34‧‧‧記憶裝置
36‧‧‧儲存裝置
362‧‧‧記憶空間配置模組
364‧‧‧背景像素判斷模組
366‧‧‧像素值更新模組
38‧‧‧處理器
602、622、624、626、628、72、74、76、78‧‧‧鎖定區域
82、92‧‧‧背景影像
84、94‧‧‧前景影像
S402~S412‧‧‧本發明一實施例之影像背景學習方法的步驟
102、104‧‧‧物件 106‧‧‧前景物件
12、80、90‧‧‧輸入影像
14‧‧‧前景遮罩圖
20‧‧‧影像
202‧‧‧像素
22、60、62、70‧‧‧記憶空間
30‧‧‧電子裝置
32‧‧‧影像擷取裝置
34‧‧‧記憶裝置
36‧‧‧儲存裝置
362‧‧‧記憶空間配置模組
364‧‧‧背景像素判斷模組
366‧‧‧像素值更新模組
38‧‧‧處理器
602、622、624、626、628、72、74、76、78‧‧‧鎖定區域
82、92‧‧‧背景影像
84、94‧‧‧前景影像
S402~S412‧‧‧本發明一實施例之影像背景學習方法的步驟
圖1是習知背景學習技術的示意圖。 圖2是習知背景學習技術的示意圖。 圖3是依照本發明一實施例所繪示之影像背景學習的電子裝置的方塊圖。 圖4是依照本發明一實施例所繪示之影像背景學習方法的流程圖。 圖5是依照本發明一實施例所繪示的影像背景學習方法的範例。 圖6A及圖6B是依照本發明一實施例所繪示的記憶空間中的鎖定區域的範例。 圖7A至圖7D是依照本發明一實施例所繪示的在記憶空間中移動鎖定區域的範例。 圖8A及圖8B是依照本發明一實施例所繪示的影像背景學習方法的範例。 圖9A及圖9B是依照本發明一實施例所繪示的影像背景學習方法的範例。
S402~S412‧‧‧本發明一實施例之影像背景學習方法的步驟
Claims (10)
- 一種影像背景學習方法,適用於具有記憶裝置及處理器的電子裝置,該方法包括下列步驟: 於該記憶裝置內配置用以記錄輸入影像的多個像素中各所述像素的多個背景歷史數值的記憶空間,其中該記憶空間區分為鎖定區域及開放區域; 每當接收到該輸入影像時,該處理器根據該記憶空間中記錄的所述背景歷史數值,判斷該輸入影像中的各所述像素是否為背景像素; 若判斷該像素為該背景像素,使用該像素的像素值更新該開放區域內的所述背景歷史數值其中之一,並保持該鎖定區域內的所述背景歷史數值不變;以及 週期性地移動所述鎖定區域於該記憶空間中的位置。
- 如申請專利範圍第1項所述的方法,其中判斷該輸入影像中的各所述像素是否為該背景像素的步驟包括: 計算該像素的該像素值與該記憶空間中各所述背景歷史數值的相似度; 判斷該相似度小於第一門檻值的所述像素的數目是否大於第二門檻值;以及 若該數目大於該第二門檻值,判斷該像素為該背景像素。
- 如申請專利範圍第2項所述的方法,其中當判斷該像素為該背景像素時,更包括: 判斷該像素的該像素值與該記憶空間中各所述背景歷史數值的所述相似度中的最小相似度是否小於第三門檻值;以及 若該最小相似度小於該第三門檻值,不使用該像素的該像素值更新該開放區域內的所述背景歷史數值。
- 如申請專利範圍第1項所述的方法,其中使用該像素的像素值更新該開放區域內的所述背景歷史數值其中之一的步驟包括: 依序或隨機選擇該開放區域內的所述背景歷史數值其中之一進行更新。
- 如申請專利範圍第1項所述的方法,其中週期性地移動所述鎖定區域於該記憶空間中的位置的步驟包括: 將該鎖定區域由該記憶空間的當前位址區段向前或向後移動至該記憶空間的下一位址區段,其中該當前位址區段與該下一位址區域重疊或不重疊。
- 一種電子裝置,包括: 影像擷取裝置,接收輸入影像; 記憶裝置; 儲存裝置,儲存多個模組;以及 處理器,耦接該影像擷取裝置、該記憶裝置及該儲存裝置,載入並執行該儲存裝置中的所述模組,所述模組包括: 一記憶空間配置模組,於該記憶裝置內配置用以記錄該輸入影像的多個像素中各所述像素的多個背景歷史數值的記憶空間,其中該記憶空間區分為鎖定區域及開放區域,且該記憶空間配置模組包括週期性地移動所述鎖定區域於該記憶空間中的位置; 一背景像素判斷模組,每當該影像擷取裝置接收到該輸入影像時,根據該記憶空間中記錄的所述背景歷史數值,判斷該輸入影像中的各所述像素是否為背景像素;以及 一像素值更新模組,當該背景像素判斷模組判斷該像素為該背景像素時,使用該像素的像素值更新該開放區域內的所述背景歷史數值其中之一,並保持該鎖定區域內的所述背景歷史數值不變。
- 如申請專利範圍第6項所述的電子裝置,其中該背景像素判斷模組包括計算該像素的該像素值與該記憶空間中各所述背景歷史數值的相似度,並判斷該相似度小於第一門檻值的所述像素的數目是否大於第二門檻值,其中若該數目大於該第二門檻值,則判斷該像素為該背景像素。
- 如申請專利範圍第7項所述的電子裝置,其中該背景像素判斷模組更判斷該像素的該像素值與該記憶空間中各所述背景歷史數值的所述相似度中的最小相似度是否小於第三門檻值,其中若該背景像素判斷模組判斷該最小相似度小於該第三門檻值,則該像素值更新模組不使用該像素的該像素值更新該開放區域內的所述背景歷史數值。
- 如申請專利範圍第6項所述的電子裝置,其中該像素值更新模組包括依序或隨機選擇該開放區域內的所述背景歷史數值其中之一進行更新。
- 如申請專利範圍第6項所述的電子裝置,其中該記憶空間配置模組包括將該鎖定區域由該記憶空間的當前位址區段向前或向後移動至該記憶空間的下一位址區段,其中該當前位址區段與該下一位址區域重疊或不重疊。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105132777A TWI615806B (zh) | 2016-10-11 | 2016-10-11 | 影像背景學習方法及電子裝置 |
US15/436,872 US10176585B2 (en) | 2016-10-11 | 2017-02-20 | Method and electronic apparatus for image background learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105132777A TWI615806B (zh) | 2016-10-11 | 2016-10-11 | 影像背景學習方法及電子裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI615806B true TWI615806B (zh) | 2018-02-21 |
TW201814648A TW201814648A (zh) | 2018-04-16 |
Family
ID=61830029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105132777A TWI615806B (zh) | 2016-10-11 | 2016-10-11 | 影像背景學習方法及電子裝置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10176585B2 (zh) |
TW (1) | TWI615806B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3255585B1 (en) * | 2016-06-08 | 2018-05-09 | Axis AB | Method and apparatus for updating a background model |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246547A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 一种根据场景变化特征对视频中运动物体检测的方法 |
US20100131442A1 (en) * | 2008-11-21 | 2010-05-27 | Ming-Hwa Sheu | Intelligent monitoring system |
US20100208986A1 (en) * | 2009-02-18 | 2010-08-19 | Wesley Kenneth Cobb | Adaptive update of background pixel thresholds using sudden illumination change detection |
TW201101229A (en) * | 2009-06-19 | 2011-01-01 | Primax Electronics Ltd | Image processing method for background removal |
TW201308254A (zh) * | 2011-08-10 | 2013-02-16 | Univ Nat Taipei Technology | 適用複雜場景的移動偵測方法 |
CN103139447A (zh) * | 2011-11-23 | 2013-06-05 | 三星泰科威株式会社 | 使用ptz相机检测对象的设备和方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2358098A (en) * | 2000-01-06 | 2001-07-11 | Sharp Kk | Method of segmenting a pixelled image |
US7536598B2 (en) * | 2001-11-19 | 2009-05-19 | Vir2Us, Inc. | Computer system capable of supporting a plurality of independent computing environments |
US7216244B2 (en) * | 2004-02-25 | 2007-05-08 | Hitachi, Ltd. | Data storage system with redundant storage media and method therefor |
US7684916B2 (en) * | 2005-07-01 | 2010-03-23 | Deere & Company | Method and system for vehicular guidance using a crop image |
JP4404057B2 (ja) * | 2006-02-10 | 2010-01-27 | ソニー株式会社 | 無接点スイッチとそれを用いた記録メディアおよび操作部材 |
US8121414B2 (en) * | 2007-06-13 | 2012-02-21 | Sharp Kabushiki Kaisha | Image processing method, image processing apparatus, and image forming apparatus |
DE602007004841D1 (de) * | 2007-07-08 | 2010-04-01 | Univ Liege | Extraktor für visuellen Hintergrund |
JP5081076B2 (ja) * | 2008-06-23 | 2012-11-21 | 株式会社リコー | メモリ管理装置、画像形成装置及びメモリ管理方法 |
TWI489395B (zh) * | 2011-11-28 | 2015-06-21 | Ind Tech Res Inst | 前景偵測裝置及方法 |
JP6229415B2 (ja) * | 2013-09-30 | 2017-11-15 | ブラザー工業株式会社 | 画像処理装置およびコンピュータプログラム |
-
2016
- 2016-10-11 TW TW105132777A patent/TWI615806B/zh active
-
2017
- 2017-02-20 US US15/436,872 patent/US10176585B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246547A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 一种根据场景变化特征对视频中运动物体检测的方法 |
US20100131442A1 (en) * | 2008-11-21 | 2010-05-27 | Ming-Hwa Sheu | Intelligent monitoring system |
US20100208986A1 (en) * | 2009-02-18 | 2010-08-19 | Wesley Kenneth Cobb | Adaptive update of background pixel thresholds using sudden illumination change detection |
TW201101229A (en) * | 2009-06-19 | 2011-01-01 | Primax Electronics Ltd | Image processing method for background removal |
TW201308254A (zh) * | 2011-08-10 | 2013-02-16 | Univ Nat Taipei Technology | 適用複雜場景的移動偵測方法 |
CN103139447A (zh) * | 2011-11-23 | 2013-06-05 | 三星泰科威株式会社 | 使用ptz相机检测对象的设备和方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180101959A1 (en) | 2018-04-12 |
TW201814648A (zh) | 2018-04-16 |
US10176585B2 (en) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4708479B2 (ja) | 動き主導のマルチショット画像安定化を実現するためのシステム及び方法 | |
WO2021114868A1 (zh) | 降噪方法、终端及存储介质 | |
CN109819675B (zh) | 图像生成装置以及图像生成方法 | |
CN105635588B (zh) | 一种稳像方法及装置 | |
CN112016349A (zh) | 停车位的检测方法、装置与电子设备 | |
US20160182866A1 (en) | Selective high frame rate video capturing in imaging sensor subarea | |
CN105989581A (zh) | 图像稳定设备及方法 | |
JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
US20160019681A1 (en) | Image processing method and electronic device using the same | |
US11024048B2 (en) | Method, image processing device, and system for generating disparity map | |
CN104796583B (zh) | 相机噪声模型产生及使用方法以及使用该方法的装置 | |
CN106385549B (zh) | 图像坏点矫正方法及相关装置 | |
CN105391922B (zh) | 电子装置以及影像撷取方法 | |
TWI615806B (zh) | 影像背景學習方法及電子裝置 | |
CN115546681A (zh) | 一种基于事件和帧的异步特征跟踪方法和系统 | |
CN101841654B (zh) | 图像处理装置以及图像处理方法 | |
JP2017188838A (ja) | 画像処理装置、その制御方法及びプログラム | |
TWI632504B (zh) | 揮舞動作偵測方法及電子裝置 | |
US9117110B2 (en) | Face detection-processing circuit and image pickup device including the same | |
KR101945233B1 (ko) | 영상 안정화 방법 및 장치 | |
JP6697585B2 (ja) | 撮像装置、撮像方法、撮像プログラム | |
CN110691197A (zh) | 一种拍摄追踪的方法、装置、电子设备 | |
TWI578784B (zh) | 產生縮時影片的方法、電子裝置及使用此方法的記錄媒體 | |
JP2009267466A (ja) | 動体検知機能付監視カメラ | |
CN111127528A (zh) | 图像配准方法、终端及存储介质 |