TWI425446B - 日夜環境物件偵測方法 - Google Patents

Description

日夜環境物件偵測方法

本發明係有關一種日夜偵測之技術，特別是指一種日夜環境下物件移動時之偵測方法。

按，移動物件件之偵測監控第一條件必須要有足夠光源，近來諸如夜間偵測、起霧偵測等特殊環境之監控亦為研究目標，由於夜間具有低光源、低對比度、高雜訊等因素，對於移動偵測造成較大的困難。

以往在做移動物件偵測時，能夠取得之畫面特徵為每個像素的亮度及色彩度(如高斯混合模型)，若是取邊緣特徵(如複雜場景之前景物件偵測，foreground object detection from videos containing complex background,FGD)則需有對比度才能取得，但在夜間環境下這些可能都不成立，使移動物件偵測具有很大的挑戰。此外，一般攝影機在夜間過暗的情況下本就無法取像，紅外線攝影機雖在夜間可取像，但仍具有高雜訊，只是雜訊在人眼勉強可接受之範圍內，即使是日夜兩用攝影機，其雖然有彩色影像，但相對而言雜訊會較高，特別是在夜間環境下會有雜訊更劇烈的狀況。

因此，本發明即提出一種日夜環境物件偵測方法，以克服上述該等問題，具體架構及其實施方式將詳述於下。

本發明之主要目的在提供一種日夜環境物件偵測方法，其使用頻率運算將影像中之光源抽取出，將原圖減掉光源影像，得到的影像就是去除光源後較為平滑之影像。

本發明之另一目的在提供一種日夜環境物件偵測方法，其係利用抗光 源的背景相減法來消除雜訊。

本發明之再一目的在提供一種日夜環境物件偵測方法，其係加上時間軸的加權運算，在每一像素點上除了只拿他本身時間點的像素特徵之外，並將此特徵與前面連續時間點之加權像素特徵相加，可避免雜訊的影響。

為達上述之目的，本發明提供一種日夜環境物件偵測方法，先利用至少一攝影機擷取影像，再利用光源補償之方式去除影像中之光源並消除雜訊；接著，給予影像中每一像素皆具有一紋理空間統計量，利用一背景相減法檢測影像中是否有新紋理，若某一像素有新紋理則將像素定義為一移動物件；最後，利用各像素之紋理空間統計量分別建立各像素之紋理時空統計量，並藉由將影像中之紋理空間統計量與紋理時空統計量比對，以確認移動物件是否為影像中之前景。利用此方法判斷前景可免除在低光照環境下亮度低、對比度低及高雜訊之問題。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

本發明提供一種日夜環境物件偵測方法，其係將影像畫面中之光源去除，過濾雜訊，再以辨識紋理、建立紋理時空統計量之方式比對新進畫面中是否包含有新紋理，以判讀新進畫面受否有移動物件。此方法適用於白天、黑夜等不同光源狀態。

第1圖將本發明中日夜環境物件偵測系統設於主機上以進行偵測之示意圖，包含複數攝影機10及一主機12，透過攝影機10擷取影像後傳送到主機12，此主機12可為電腦、手機、個人數位助理(PDA)或嵌入式系統， 而於主機12中安裝有一日夜環境物件偵測系統14，接收攝影機10所傳送之影像後，利用本發明日夜環境物件偵測系統14之偵測方法辨識影像中之前景，其中運算處理係由處理器16運作，而接收之影像及處理過程中之資料可儲存於記憶體18中。本發明之偵測方法詳述如後。

第2圖為本發明日夜環境物件偵測系統之偵測方法之流程圖，在步驟S10中，攝影機所擷取之影像進入，接著在步驟S12中進行光源補償之部分，步驟S14對經過光源補償之影像進行抗光源之背景加減法，找出前景，最後於步驟S16中將偵測到之前景輸出。以下將詳細說明步驟S12及步驟S14。

在步驟S12中，如何快速光源估測為光源補償之關鍵挑戰，本發明係採用的是大規模卷積平滑(large-scale convolution smooth)之迅速光源補償方法，大規模卷積之實踐包含在影像域(image domain)或對數域(log domain)，其中影像域之作法藉由原始影像之卷積及具有大核心尺寸k ×k 之一時間不變的核心g(x,y) 可獲得隨時間變化的光源影像G(x,y,t)=g(x,y) *I(x,y,t) ，其中I(x,y,t) 為原始影像。將光源正規化(illumination-normalized)影像標示為N(x,y,t) ，則藉由原始影像及隨時間變化的光源影像之間的差異可導出下式(1)：N(x,y,t)=I(x,y,t)-G(x,y,t)+α (1)其中α 為一常數。為了減少低光源下之雜訊，利用時空濾波器沿著時間軸將影像N(x,y,t) 變成平滑的影像N’(x,y,t) ，如下式(2)：N’(x,y,t)=α _f N’(x,y,t-1)+(1-α _f )N(x,y,t) (2)

此影像N’(x,y,t) 可稱為光源正規化參考影像，α _f 使所需影像中保留了大 部分先前累計的資訊，且包含部分新資訊，每一光源正規化參考影像可用以更新背景。由於此步驟中加上了時間軸之加權運算，在影像之每一像素點上將像素點目前時間點的像素特徵與前面連續時間點之平均像素特徵相加，可使雜訊變得不明顯。

而大規模卷積在對數域之作法係將每個像素取對數值後再進行後續時空濾波器之處理，由於影像域之數值為0~255，有時難以表達寬動態影像，而取對數後變成具小數點之數值，使數值範圍更細更廣，運算會較為精準。

此外，核心(kernel)除了可為k ×k (例如將3×3或5×5之正方形區塊罩在要計算之像素點正上方)尺寸外，亦可為任意形狀之核心，如圓形、方形甚至三維，一般方形、圓形之二維核心為空間概念，而將時間概念加入即為三維核心，將前後時間之畫面包入以進行大規模卷積之運算。

接著，在步驟S14中進行固定光源下之背景相減，其係以N’(x,y,t) 當作背景，每個時間點都獨立建立背景，假設有人物進入，此點便產生變化，則找出此點當作前景。由於前面進行了光源補償，本來夜間就已經是比較低的對比度及亮度，背景相減後對比度和亮度可能會降的更低，而且雜訊仍然還是存在，因此本發明的背景相減法較為特殊。步驟S14之詳細流程請參考第3圖。

步驟S142利用以往用於布料檢測之局部二位元圖形(local binary pattern,LBP)稍做改良，以檢測影像畫面中之紋理(texture)。局部二位元圖形是一種灰階的紋理特徵，圍繞中心位置取時間、空間上任意的像素點，建立出有規則形狀之圖形，其公式如下式(3)：

在一實施例中，R 為在影像N’(x,y) 中以像素p _c 為中心點畫圓之半徑，而P _R 為在p _c 周圍之鄰近像素集合。給予每一個像素p _c 及P _R 一灰階的紋理空間統計量g _Pc 及，將周圍P _R 之紋理空間統計量與中心點p _c 之紋理空間統計量相減得到二進位之數值，再乘上2ⁱ 以轉換成十進位，若g _Pc 小於則二紋理空間統計量的差x為1，反之則為0。

但此習知方法無法應用於有雜訊之狀況，因此本發明中改良局部二位元圖形以去除雜訊，如下式(4)：

其中係將周圍的像素集合P _R 的點相加取平均值，當作像素點p _c 的紋理空間統計量g _Pc ，而T _g 則是一個較小的預設數值以做為需減去的雜訊，舉例而言，若像素點p _c 之紋理空間統計量為20，而鄰近像素有一紋理空間統計量為30，則將像素點p _c 之像素視為前景，但若鄰近像素有一紋理空間統計量為23，由於與中心點紋理空間統計量之差僅3，故將此數值3視為雜訊減去。在本發明中將此T _g 預設為1~5。

此改良局部二位元圖形(mLBP)亦可採用不同的實施方式，上述公式(4)為二維平面之應用，加上時間軸形成三維影像時，則所建立的改良局部二位元圖形包含了目前影像、前t個時間點及後t個時間點之影像之像素點。更甚者，可建立N維的改良局部二位元圖形。

接著在步驟S144中建立背景模組之紋理時空統計量(modyfied LBP Histogram)，由於每一像素皆有一紋理空間統計量，因此每一像素分別有一紋理時空統計量。假設以一像素p _c 為中心點，半徑參數為R _y ，則在此圓內每一像素P _y 之紋理空間統計量Y={y ₁ ,y ₂ ,......,y _N } 共有N個紋理空間統計量，定義一紋理時空統計量={(n ,f _n )},n =0,1,2,......,2 ^A -1，其中頻率f _n 之計算如下式(5)：

然而，由於取樣資料的數目N不足以形成2^A 的紋理時空統計量，因此時空統計量會有些變形，而在紋理時空統計量中有太多的波峰及波谷消耗記憶體空間，卻對於精確背景模組及前景區隔沒有任何幫助，因此，將改成較小的紋理時空統計量={(m ,h _m )},m =0,1,2,......,M -1，其中包含M個小區間，M =2 ^{A ’} ，A ’<A 。h _m 為將r =2 ^(A-A’) 的小區間累計在一個小區間中之計算，如下式(6)：

本發明針對一個畫面的每一個像素提供一新的紋理時空統計量，除了可減少記憶體使用空間之外，同時可使分佈更為平滑。而為了處理動態背景，每一像素係藉由權重K的紋理時空統計量來修正，且每一紋理時空統計量之使用頻率及重要程度以權重ω表示，因此，對於中心點像素p _c 而言，其背景模組係在統計上可表示為B _Pc ={(ω _k ,)|1 k K }。

步驟S146係針對新進的影像，將其中之各像素與紋理時空統計量進行比對，若有找到則此像素為前景，反之則為背景。

接著在步驟S148中更新背景模組。對於具有時間軸展開的紋理時空統計量的像素而言可成功取得近似的背景，紋理時空統計量的權重係受到頻率的影響，若有找到相近的，則取具有最高鄰近值的紋理時空統計量做為最近似的解答，此最近似紋理時空統計量在時間為t時表示為={(m ,h _{m , z , t} )}，其更新如下式(7)：

其中α _h 為使用者設定的學習率。相符的權重ω _k 之調整如下式(8)：

其中α _ω 為另一個使用者設定之學習率，除了相符背景模組的權重增加之外，其餘背景模組的權重則下降，而該像素之K個背景模組的總權重則必須維持在1。學習率α _h 及α _ω 係設定在0.1～0.5範圍內。

應用本發明之偵測方法，當場景為夜間室內電梯前，在此狀況之下，一般會得到一張較暗而亮度穩定之影像，但當此場景有任何變動時(例如有人行經此區域)，攝影機為了得到最好的影像，會立即調整參數，使此張影像之亮度產生變化。當電梯門開啟的每一瞬間，攝影機會不斷調整參數、變動整張影像之亮度而影響整張畫面，因此會造成影像上之雜訊、亮度及對比度不斷變化。在任一瞬間取得影像有變化的狀況下，將光源影像抽離而得到正規化影像，再利用此正規化影像整理出每個像素之紋理以進行後續背景相減之動作。

當場景為夜間室外，攝影機取得為穩定全暗之影像，當車輛行經時，車輛尚未進入攝影機範圍內但車燈已經照入，且隨著車輛愈來愈近、車燈愈來愈亮，整張畫面之亮度及對比度都會不斷提高，在先前技術中攝影機會立即誤判為有物件進入，但實際上僅有燈源進入而沒有物件。利用本發明之偵測方法，將光源影像抽離後，會正確判斷出沒有物件進入，直到車輛真正進入攝影機範圍後，才會做出前景判斷，且前景判斷不包含車燈照亮之範圍。此外，由於整張畫面之亮度及對比度都會不斷提高，對原始建立的背景形成極大挑戰，在先前技術中極可能因此而將那一瞬間判斷為「白天場景模式」而造成誤判，本發明由於會將光源影像抽離，因此不受亮度、對比度之改變的影響。

綜上所述，本發明提供之日夜環境物件偵測方法係以光源補償及固定光源下之背景相減以解決夜間環境中低亮度、低對比度及高雜訊之問題，克服先前技術中高斯混合模型亮度太低就無法正確找到前景之問題，以及FGD在對比度太低之狀況下因邊緣特徵模糊而無法框選出正確的移動物件範圍之問題。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10．．．攝影機

12‧‧‧主機

14‧‧‧日夜環境物件偵測系統

16‧‧‧處理器

18‧‧‧記憶體

第1圖為將本發明中日夜環境物件偵測系統設於主機上以進行偵測之示意圖。

第2圖為本發明日夜環境物件偵測系統之偵測方法之流程圖。

第3圖為第2圖中步驟S14之詳細流程圖。

Claims (11)

1. 一種日夜環境物件偵測方法，包括下列步驟：(a)至少一攝影機擷取影像，並將該影像傳送至一主機；(b)該主機利用光源補償之方式去除該影像中之光源並消除雜訊，步驟(b)更包括：(b1)利用一大規模卷積(large-scale convolution)估計該攝影機所擷取之該影像中的一光源影像，該大規模卷積包含在影像域(image domain)或對數域(log domain)之運算；以及(b2)利用一時空濾波器將該影像中之該光源影像去除並使該影像平滑；(c)設該影像中每一像素皆具有一紋理空間統計量，該主機利用一背景相減法檢測該影像中是否有新紋理空間統計量，若某一該像素有新紋理則將該像素定義為前景，連通之前景像素則為一移動物件；以及(d)該主機利用該等紋理空間統計量建立複數紋理時空統計量，並藉由將該影像中之該等紋理空間統計量與該等紋理時空統計量比對，以確認該是否為該影像中之一前景。
2. 如申請專利範圍第1項所述之日夜環境物件偵測方法，其中該時空濾波器可建立於影像域(image domain)或對數域(log domain)。
3. 如申請專利範圍第1項所述之日夜環境物件偵測方法，其中該大規模卷積及該時空濾波器可使用任意形狀之核心(kernel)罩在該影像中心點之一像素點之上方。
4. 如申請專利範圍第1項所述之日夜環境物件偵測方法，其中該步驟(b2)中係加上時間軸之加權運算，在該影像之每一像素點上將該像素點目前時間點的像素特徵與前面連續時間點之平均像素特徵相加，使雜訊變得不明顯。
5. 如申請專利範圍第1項所述之日夜環境物件偵測方法，其中該步驟(c)係利用一改良局部二位元圖形(modified local binary pattern,mLBP)，在一中心位置像素點之周圍，取時間、空間上任意的複數像素點之相對關係，建立出有規則形狀之圖形(Graph)，組合為該中心點之紋理值，對於任一像素都具有一紋理值，對紋理影像可取任一像素之空間統計量。
6. 如申請專利範圍第1項所述之日夜環境物件偵測方法，其中該步驟(d)更包括：(d1)建立該等紋理空間統計量並將該等紋理空間統計量模型化為時空統計量；(d2)將該影像與該等紋理時空統計量比對後，若同一區中有複數像素之紋理空間統計量皆與該紋理時空統計量不同，將該區視為該前景；以及(d3)依據該等紋理空間統計量更新該等紋理時空統計量。
7. 如申請專利範圍第1項或第5項所述之日夜環境物件偵測方法，其中該步驟(d)中該等紋理時空統計量之建立係依據每一該像素之該紋理空間統計量出現之頻率。
8. 如申請專利範圍第5項所述之日夜環境物件偵測方法，其中該步驟(d3)中係分別給予該等紋理時空統計量一權重，以表示每一該紋理時空統計 量之使用頻率及重要程度。
9. 如申請專利範圍第7項所述之日夜環境物件偵測方法，其中該步驟(d3)中係將該等紋理時空統計量之時間軸展開，並將在步驟(d2)中視為前景的該像素之權重與原始之該權重進行加權計算，以更新該紋理時空統計量。
10. 如申請專利範圍第1項所述之日夜環境物件偵測方法，其中該主機為電腦、手機、個人數位助理(PDA)或嵌入式系統。
11. 如申請專利範圍第1項所述之日夜環境物件偵測方法，其中該攝影機為一般攝影機、日夜兩用攝影機或紅外線攝影機。