TW201317902A - 智慧型顯著區域方法及自動攝影機狀態判斷方法 - Google Patents

Abstract

本發明係關於一種能擷取出至少一顯著區域的顯著區域擷取方法，以及一種能迅速輸出一攝影機狀態判斷參考，且具有所需運算量低、攝影機異常事件假警報率低、及可排除自然因素影響等優點的攝影機狀態判斷方法。其中，本發明之顯著區域擷取方法係接收複數個由一攝影機以固定視野依序拍攝所得之影像訊號，且這些影像訊號包含複數個子影像區域。接著，配合一空間區域之時域變化分類器，且依據這些影像訊號之複數個子影像區域所分別具有的訊號強度時域變異值，從這些子影像區域中篩選出可作為至少一顯著區域的至少一子影像區域。

Description

智慧型顯著區域方法及自動攝影機狀態判斷方法

本發明係關於一種顯著區域擷取方法及一種攝影機狀態判斷方法，尤指一種能從複數個影像訊號中擷取出至少一顯著區域的顯著區域擷取方法，以及一種能有效縮短輸出一攝影機狀態判斷參考所需之運算量及所耗費之運算時間，以迅速判斷出攝影機異常事件之發生的攝影機狀態判斷方法。

近幾年來，由於人力成本已經水漲船高，已無法向過往一樣藉由派遣大量的人力至各個有治安疑慮或需特別看守的場所進行巡邏或站崗的方式，來維護社區治安或保護財產安全，而必須仰賴大量監控攝影機所拍攝到的各場所即時影像，以一中央監控中心進行監控，再於事件發生時派遣人力儘速前往事件發生地點進行處理。

然而，為了達到一定的經濟規模，一個中央監控中心所具之攝影機監控系統，必須能同時管理(監控)數十個，甚至則數百個監控攝影機所拍攝到的影像，再由為數不多的監控人力(監控系統管理員)進行管理。而由，由於監控系統管理員除了監看各監控攝影機所拍攝所得之影像是否包含治安事件(如偷竊或縱火)，監控系統管理員也需不時確認每個監控攝影機是否因為發生了異常事件，如自我失焦、被惡意轉向、被噴漆或被外物覆蓋，而無法正常地拍攝影像，它們的負擔非常龐大。

而為了減輕監控系統管理員的負擔，業界已提出數種解決方法，如於各監控攝影機之本體上設置一位移感測器(以偵測是否被惡意轉向)，或應用影像辨識的方式辨識出一監控攝影機是否被噴漆或自我失焦等。可是，設置一位移感測器於一監控攝影機之本體上的方式會額外增加成本(如位移感測器之製造成本)。除此之外，應用影像辨識的方式辨識一監控攝影機是否被噴漆或自我失焦等的方式，則需耗用到為數可觀的運算量及不算短的運算時間，故亦會增加額外的成本(以購置運算能力更強的運算單元)及延長對異常事件進行反應所需的時間。況且，若要與現實妥協(如限定在某一個時間限制內完成影像辨識)，則前述之影像辨識方法勢必要使用辨識精確度較低之演算法則(耗用的運算量較低)，且勢必要採用較少數目之數據點(data point)，而這些妥協的方式反而會提升監控系統錯誤發出假警報的機率。而對於需要即時監控大量監控攝影機所拍攝之影像的應用場合，如保全業之中央監控中心來說，這些情況(額外增加成本及過高的假警報率)都是無法接受的。

因此，業界需要一種能從複數個影像訊號中擷取出至少一顯著區域的顯著區域擷取方法，以及一種能有效縮短輸出一攝影機狀態判斷參考所需之運算量及所耗費之運算時間，以迅速判斷出攝影機異常事件之發生的攝影機狀態判斷方法。

本發明之一目的係在提供一種顯著區域擷取方法，俾能從複數個影像訊號中擷取出至少一顯著區域。

其中，此至少一顯著區域係對應至一影像訊號中，訊號強度變異值較低的影像部分，如對應至一未被遮蔽且不會位移之物件(如牆角或柱子等)的影像部分。此一顯著區域的擷取策略，主要是針對攝影機狀態判斷應用(如攝影異常事件警示)而設定出來，且使得接續執行之攝影機狀態判斷方法具有判斷所需時間短、假警報率低、可排除自然因素對攝影機狀態判斷表示的影響等優點。

本發明之另一目的係在提供一種攝影機狀態判斷方法，俾能有效縮短輸出一攝影機狀態判斷參考所需之運算量及所耗費之運算時間，以迅速判斷出攝影機異常事件的發生。

本發明之另一目的係在提供一種攝影機狀態判斷方法，俾能藉由應用一時間軸上的空間濾波器的方式，有效降低一攝影機監控系統錯誤發出一攝影機狀態異常警報之機率，且可排除自然因素對於前述之攝影機狀態判斷表示的影響。

其中，前述之異常事件係包含但不限定為：自我失焦、被惡意轉向、被噴漆或被外物覆蓋等，而前述之自然因素同樣包含但不限定為：地震或一巨大物件出現於攝影機前等。此外，前述所應用之「時間軸上的空間濾波器」，可將各種雜訊(如環境雜訊或攝影機模組之觀測雜訊等)對於攝影機模所拍攝到之影像訊號的影響(如對影像清晰度的破壞等)。

為達成上述目的，本發明之顯著區域擷取方法，係用於形成一包含至少一顯著區域的，係包括下列步驟：(A)接收複數個影像訊號，且此等影像訊號分別包含複數個子影像區域；(B)運算出此等影像訊號之每一此等子影像區域所分別具有之一訊號強度值；(C)依據此等影像訊號之此等子影像區域所分別具有的此等訊號強度值，運算出此等子影像區域所分別具有之一訊號強度時域變異值；以及(D)依據一空間區域之時域變化分類器及此等子影像區域所分別具有之此訊號強度時域變異值，對此等子影像區域執行一篩選程序，以形成此至少一顯著區域；其中，此等影像訊號係由一攝影機模組依序拍攝所得，且此攝影機模組於拍攝此等影像訊號時具有一固定視野。

為達成上述目的，本發明之攝影機狀態判斷方法，係應用於一攝影機監控系統，且此攝影機監控系統包含一攝影機模組、一監控模組及一輸出模組，係包括下列步驟：(A)接收至少一顯著區域及複數個影像訊號，且此等影像訊號係由此攝影機模組依序拍攝所得；(B)依據此等影像訊號在對應至此至少一顯著區域之部分內之複數個影像元素所分別具有的一影像參數值，運算出此等影像訊號所分別具有之一第一特徵參數值及一第二特徵參數值，且依據此第一特徵參數值及此第二特徵參數值，形成一第一影像特徵向量；以及(C)將此等影像訊號所分別具有之此第一影像特徵向量輸入一攝影機狀態判斷分類器，執行一攝影機狀態判斷程序，以輸出一攝影機狀態判斷參考；其中，此監控模組係用於執行此攝影機狀態判斷方法，且此攝影機模組及此輸出模組係分別耦合至此監控模組；此輸出模組係用於輸出此攝影機狀態判斷參考，且此攝影機模組於拍攝此等影像訊號時具有一固定視野。

因此，本發明之顯著區域擷取方法可接收複數個具有下列特徵之影像訊號：

(1)由同一攝影機模組依序拍攝所得；以及

(2)此攝影機模組於拍攝這些影像訊號時具有一固定視野；

以依據這些影像訊號之複數個子影像區域所分別具有的訊號強度時域變異值，配合一空間區域之時域變化分類器，而篩選出可形成至少一顯著區域之複數個子影像區域。如此，本發明之顯著區域擷取方法並無需應用到運算量較大且運算程序較為複雜的影像辨識程序，如擷取每一子影像區域之顏色特徵或紋理特徵的影像辨識程序等，便可擷取出至少一顯著區域。

另一方面，由於本發明之攝影機狀態判斷方法係依據至少一顯著區域及複數個影像訊號，且僅針對位於至少一顯著區域之部分內之複數個影像元素進行一運算程序，以形成每一個影像訊號之一影像特徵向量。所以，本發明之攝影機狀態判斷方法並無需針對每一個影像訊號所包含之所有影像元素進行運算(全影像運算)，故可有效縮短輸出一攝影機狀態判斷參考所需之運算量及所耗費之運算時間，以迅速判斷出攝影機異常事件的發生。除此之外，由於本發明之攝影機狀態判斷方法可應用一時間軸上的空間濾波器(如一線上空間濾波器)進行時空濾波，故本發明之攝影機狀態判斷方法可有效降低一攝影機監控系統錯誤發出一攝影機狀態異常警報之機率，且可排除自然因素對於前述之攝影機狀態判斷表示的影響。

請參閱圖1，其係本發明一實施例之顯著區域擷取方法的流程示意圖。其中，本發明一實施例之顯著區域擷取方法係用於擷取至少一顯著區域，且包括下列步驟：

(A)接收複數個影像訊號，且此等影像訊號分別包含複數個子影像區域；

(B)運算出此等影像訊號之每一此等子影像區域所分別具有之一訊號強度值；

(C)依據此等影像訊號之此等子影像區域所分別具有的此等訊號強度值，運算出此等子影像區域所分別具有之一訊號強度時域變異值；以及

(D)依據一空間區域之時域變化分類器及此等子影像區域所分別具有之此訊號強度時域變異值，對此等子影像區域執行一篩選程序，以形成此至少一顯著區域。

在本實施例中，前述之複數個影像訊號係由一攝影機模組依序拍攝所得，即每一個影像訊號所對應之拍攝時間點並不相同。所以，這些影像訊號可被稱為複數幀(frame)影像訊號，使得這些影像訊號可依據它們所分別具有之幀數(frame number)而被依序地被編號。此外，前述之攝影機模組於拍攝這些影像訊號時具有一固定視野。也就是說，此攝影機模組之姿態於整個拍攝過程中係固定不動，以固定拍攝某一部分之場景，如社區巷子之一偏僻轉角，如圖2A所示。

另一方面，在本實施例中，前述之複數個影像訊號的解析度係為640X480，故每一個影像訊號具有307200個影像元素(pixel)。需注意的是，這些影像訊號可依據前述之攝影機模組的不同而具有更高等級的解析度，如1920X1080等，而非僅限於前述之640X480的解析度。除此之外，在本實施例中，前述之攝影機模組係為一數位攝影機，故其拍攝所得之前述之這些影像訊號係為數位影像訊號。然而，雖然在某些應用場合中，前述之攝影機模組(如已裝設一段時日之傳統監控攝影機)係為一類比攝影機，但只要將此類比攝影機拍攝所得之類比影像訊號經過一類比數位轉換程序，轉換所得的這些數位影像訊號便可應用於本發明一實施例之顯著區域擷取方法。

而如圖1所示，在本發明一實施例之顯著區域擷取方法之步驟(A)中所接收之複數個子影像區域的數目，係由一使用者(如監控系統管理員)依據實際的使用需求，例如顯著區域的解析度及預定耗費之運算時間，在本發明一實施例之顯著區域擷取方法被執行前預先設定而得。一般來說，本發明一實施例之顯著區域擷取方法所接收之影像訊號可包含之子影像區域的數目範圍，可為100個至10000個。但是，在某些特定的應用領域中，如需辨識出侵入者身份的監控應用，前述之子影像區域的數目可達到30000個或更多。

此外，在本實施例中，前述之複數個影像訊號的數目係為750。也就是說，在本發明一實施例之顯著區域擷取方法之步驟(A)中，一共接收了750幀影像訊號。但需注意的是，這些影像訊號的數目並非以此為限，其可依據實際的使用需求，例如顯著區域的正確率及預定耗費之運算時間，而有所增減，例如可高到1500或低到250。

接著，在本發明一實施例之顯著區域擷取方法之步驟(B)中，係運算出這些影像訊號之每一個子影像區域所分別具有之一訊號強度值。其中，前述之複數個影像訊號在每一個子影像區域係分別包含複數個影像元素(pixel)，且每一個影像元素分別具有一色彩值。而如前所述，由於每一個影像訊號分別具有307200個影像元素(因解析度為640X480)，且步驟(A)所接收之影像訊號係包含300個子影像區域21，如圖2B所示。所以，在本實施例中，每一個影像訊號在每一個子影像區域係分別包含約1000個影像元素。而由於每一個影像訊號在每一個子影像區域係分別包含約1000個影像元素，故每一個子影像區域所分別具有之一訊號強度值便為這些影像元素(約1000個影像元素)所分別具有之訊號強度值(如色彩值)的平均值(average value)。

因此，本發明一實施例之顯著區域擷取方法可藉由此「區域平均」的方式，將某些影像元素所具有之異常訊號強度值(如過高或過低之色彩值)的貢獻給平均掉，即可將雜訊(不論是環境雜訊或攝影機模組之觀測雜訊)對於這些影像訊號的影響給排除掉，以提升本發明一實施例之顯著區域擷取方法所擷取出之顯著區域的正確率。

所以，當執行完本發明一實施例之顯著區域擷取方法之步驟(B)，便可得出每一個影像訊號所分別具有之300個訊號強度值(分別對應至圖2B所示之300個子影像區域)。接著，再將每一個影像訊號(或可稱每一幀影像訊號)所分別具有300個訊號強度值依序編碼，以便進行後續之資料處理程序。例如，每一幀影像訊號之第10個訊號強度值編碼為10，第120個訊號強度值則編碼為120。

再如圖1所示，當所有影像訊號(750幀)所具有的300個訊號強度值都被編碼完成之後，便執行本發明一實施例之顯著區域擷取方法之步驟(C)，以依據這些影像訊號(750幀)分別具有之300個訊號強度值，運算出每一個子影像區域所分別具有之一訊號強度時域變異值。

在本實施例中，這300個訊號強度時域變異值係為這些影像訊號(750幀)所分別具有之300個訊號強度值的一時域標準差(temporal standard deviation)。例如，對於編碼為1之子影像區域而言，其所具有之訊號強度時域變異值係由下列方式運算而出：將這750幀影像訊號中，所有編碼為1之訊號強度值(一共有750個)擷取出來，再運算出這750個訊號強度值的一標準差。而由於每一幀影像訊號所被拍攝之時間點並不相同，故此可顯示出這750個訊號強度值之間差異大小的標準差便可顯示出這些訊號強度值於時間領域(time domain)上的變化，故此標準差亦被稱為「時域」標準差。

接著，再對其餘299個子影像區域重複執行前述之運算步驟，以得出300個子影像區域所分別具有之一訊號強度時域變異值(時域標準差)。

最後，便執行本發明一實施例之顯著區域擷取方法之步驟(D)，依據一空間區域之時域變化分類器及每一個子影像區域之訊號強度時域變異值，對每一個子影像區域執行一篩選程序，以形成此至少一顯著區域。而如前所述，步驟(D)係依據一空間區域之時域變化分類器，分別對前述之300個訊號強度時域變異值(時域標準差)執行一篩選程序，以篩選出可形成至少一顯著區域的子影像區域。

需注意的是，在本實施例中，而此空間區域之時域變化分類器係隨著時間而變化，其可由一使用者(如監控系統管理員)依據實際的使用需求手動調整，或依據先前所得出之顯著區域的品質(如解析度及正確率等)，而由電腦自動地調整。另一方面，此空間區域之時域變化分類器亦可隨著複數個子影像區域於前述之影像訊號之位置而變化。

此外，在本實施例中，前述之篩選程序係將一具有一低於此空間區域之時域變化分類器之訊號強度時域變異值的子影像區域篩選至此至少一顯著區域內。所以，經過對所有300個訊號強度時域變異值(時域標準差)執行過前述之篩選程序後，300個子影像區域的一部分便被篩選至此至少一顯著區域內，以形成此至少一顯著區域。

而由於圖2A所顯示之影像訊號係由一攝影機模組於社區巷子之一偏僻轉角拍攝所得，故此影像訊號包含幾個位置幾乎不變的物件(object)，如家戶之圍牆轉角處及家戶庭院內之樹幹等。所以，經過執行本發明一實施例之顯著區域擷取方法之步驟(D)後，便得出一對應至家戶之圍牆轉角處的第一顯著區域22及一對應至家戶庭院內之樹幹的第二顯著區域23。如此，便可得出一包含2個顯著區域的，如圖2C所示。

而從圖2C中可看出，相對於全影像畫面來說，對應至家戶庭院內之樹幹之顯著區域所佔有畫面比率較低(即所包含之子影像區域的數目較少)，故對於攝影機異常事件偵測的應用領域(如偵測攝影機是否被惡意轉向或被噴漆等)來說，此一佔據較小畫面之顯著區域相較來說並不是那麼重要。所以，為了避免耗費計算量(如CPU時間)於此不那麼重要的顯著區域上，以進一步縮短擷取出至少一顯著區域所需的時間，本發明一實施例之顯著區域擷取方法可更包括一步驟(E)，即對此至少一顯著區域執行一再確認程序，以依據被篩選至此至少一顯著區域內之此等子影像區域的數目，配合一顯著區域確認分類器確認此至少一顯著區域是否可被擷取出來。而在此應用環境下，前述之本發明一實施例之顯著區域擷取方法的流程示意圖便如圖2D所示，其顯示本發明一實施例之顯著區域擷取方法包括下列步驟：

(A)接收複數個影像訊號，且此等影像訊號分別包含複數個子影像區域；

(B)運算出此等影像訊號之每一此等子影像區域所分別具有之一訊號強度值；

(C)依據此等影像訊號之此等子影像區域所分別具有的此等訊號強度值，運算出此等子影像區域所分別具有之一訊號強度時域變異值；

(D)依據一空間區域之時域變化分類器及此等子影像區域所分別具有之此訊號強度時域變異值，對此等子影像區域執行一篩選程序，以形成此至少一顯著區域；以及

(E)對此至少一顯著區域執行一再確認程序，以依據被篩選至此至少一顯著區域內之此等子影像區域的數目，配合一顯著區域確認分類器確認此至少一顯著區域是否可被擷取出來。

而前述之顯著區域確認分類器係預先設定，即由一使用者(如監控系統管理員)依據實際的使用需求，例如顯著區域的正確率及預定耗費之運算時間，在本發明一實施例之顯著區域擷取方法被執行前預先設定而得。但是，在某些應用領域中，此顯著區域確認分類器亦可為一動態地變化，其可依據先前所得出之顯著區域的品質而動態地調整。

而執行前述之再確認程序後，由於圖2C中對應至家戶庭院內之樹幹之顯著區域已被剔除，便可得到一顯著區域，如圖2E所示之第一顯著區域22。如此，本發明一實施例之顯著區域擷取方法便可擷取出至少一顯著區域。

需說明的是，本發明之顯著區域擷取方法所擷取出之至少一顯著區域係對應至一影像訊號中，訊號強度變異值較低的影像部分，如對應至一未被遮蔽且不會位移之物件(如牆角或柱子等)的影像部分。而此顯著區域的擷取策略，主要是針對攝影機狀態判斷應用(如攝影異常事件警示)而設定出來，且使得接續執行之攝影機狀態判斷方法(如本發明之攝影機狀態判斷方法)具有判斷所需時間短、假警報率低、可排除自然因素對攝影機狀態判斷表示的影響等優點。

請參閱圖3及圖4，其中圖3係本發明另一實施例之攝影機狀態判斷方法的流程示意圖，圖4則為一應用本發明另一實施例之攝影機狀態判斷方法之攝影機監控系統的系統示意圖。而如圖4所示，此攝影機監控系統包含一攝影機模組41、一監控模組42及一輸出模組43，其中監控模組42係用於執行本發明另一實施例之攝影機狀態判斷方法，攝影機模組41及輸出模組43則分別耦合至監控模組42。此外，輸出模組43係用於輸出執行本發明另一實施例之攝影機狀態判斷方法所得之攝影機狀態判斷參考。

另一方面，在本實施例中，監控模組42可為一電腦、一手機、一個人數位助理、一嵌入式系統(embedded system)或一雲端運算系統(cloud computing system)，以執行本發明另一實施例之攝影機狀態判斷方法。除此之外，前述之雲端運算系統可為一機架式雲端運算系統、一刀鋒式雲端運算系統或一單機式雲端運算系統，且包含一通用圖形處理器(General-purpose computing on graphics processing units,GPGPU)或其他各種類型之處理器。

再如圖3所示，本發明另一實施例之攝影機狀態判斷方法係包括下列步驟：

(A)接收至少一顯著區域及複數個影像訊號，且此等影像訊號係由此攝影機模組依序拍攝所得；

(B)依據此等影像訊號在對應至此至少一顯著區域之部分內之複數個影像元素所分別具有的一影像參數值，運算出此等影像訊號所分別具有之一第一特徵參數值及一第二特徵參數值，且依據此第一特徵參數值及此第二特徵參數值，形成一第一影像特徵向量；以及

(C)將此等影像訊號所分別具有之此第一影像特徵向量輸入一攝影機狀態判斷分類器，執行一攝影機狀態判斷程序，以輸出一攝影機狀態判斷參考。

其中，在本發明另一實施例之攝影機狀態判斷方法之步驟(A)所接收之至少一顯著區域，係藉由執行一顯著區域擷取方法的方式而得。而如圖5所示，此顯著區域擷取方法係包含下列步驟：

(A)接收複數個初始影像訊號，且將此等初始影像訊號分別劃分為複數個子影像區域；

(B)運算出此等初始影像訊號之每一此等子影像區域所分別具有之一訊號強度值；

(C)依據此等初始影像訊號之此等子影像區域所分別具有的此等訊號強度值，運算出此等子影像區域所分別具有之一訊號強度時域變異值；以及

(D)依據一空間區域之時域變化分類器及此等子影像區域所分別具有之此訊號強度時域變異值，對此等子影像區域執行一篩選程序，以形成此至少一顯著區域。

此外，前述之複數個初始影像訊號係由一攝影機模組(如圖4之攝影機模組41)依序拍攝所得，即每一個初始影像訊號所對應之拍攝時間點並不相同。所以，這些初始影像訊號可被稱為複數幀初始影像訊號，且這些初始影像訊號可依據它們所分別具有之幀數而被依序地編號。此外，在圖5所示之顯著區域擷取方法中，前述之攝影機模組於拍攝前述之複數個初始影像訊號時具有一固定視野。也就是說，此攝影機模組之姿態係固定不動，以固定拍攝某一部分之場景，如社區巷子之一偏僻轉角。

而由於圖5所示之顯著區域擷取方法即為本發明一實施例之顯著區域擷取方法，故關於圖5所示之顯著區域擷取方法所包含之各步驟的詳細執行過程與最後所得出之的詳細說明，在此便不再贅述。

如此，當本發明另一實施例之攝影機狀態判斷方法之步驟(A)執行時，係接受一如圖2E所示之至少一顯著區域(即第一顯著區域22)及複數個影像訊號。其中，這些影像訊號亦由一攝影機模組(如圖4之攝影機模組41)依序拍攝所得，即每一個影像訊號所對應之拍攝時間點並不相同。此外，前述之攝影機模組(如圖4之攝影機模組41)於拍攝前述之複數個影像訊號時亦具有一固定視野，且此固定視野係與此攝影機模組於拍攝前述之複數個初始影像訊號時所具有之固定視野相同。也就是說，複數個影像訊號及複數個初始影像訊號均顯示相同的場景，如社區巷子之一偏僻轉角。

接著，在本發明另一實施例之攝影機狀態判斷方法之步驟(B)中，依據這些影像訊號在對應至此至少一顯著區域之部分所包含之複數個影像元素的一影像參數值(如一色彩值)，運算出這些影像訊號所分別具有之一第一特徵參數值及一第二特徵參數值。

在本實施例中，如圖2E所示，僅包含1個顯著區域，即對應至家戶之圍牆轉角處之第一顯著區域22。此外，在本實施例中，這些影像訊號所分別具有之第一特徵參數值係為這些影像訊號之一區域邊緣強度參數值，而對於一影像訊號而言，其區域邊緣強度參數值係指此影像訊號在對應至圖2E所示之顯著區域(如第一顯著區域22)之部分內，位於邊緣之複數個影像元素的數目。

在本實施例中，係先應用Canny邊緣偵測程序分別運算出這些影像訊號所分別具有之邊緣強度參數值，而執行Canny邊緣偵測程序所得出的邊緣強度參數值可表示為：

其中，E _t 為第t幀影像訊號(t-th frame)的邊緣強度，N為這些影像訊號所分別具有之影像元素之總數(如前述之307200)，I _t ^E (x,y)為對第t幀影像訊號)執行前述之Canny邊緣偵測程序所產生的二值化邊緣影像。

接著，依據這些影像訊號對應至前述之顯著區域之部分內的邊緣值，運算出這些影像訊號所分別具有之區域邊緣強度參數值。而此區域邊緣強度參數值EB _t ^j 係指在第t幀影像訊號中，j個顯著區域集合SR ^j 內之邊緣強度邊緣強度參數值，如下列式(2)所示：

隨後，再將這j個區域邊緣強度值以一維矩陣表示，即成為區域邊緣強度EB，如下列式(3)所示：

然而，由於在本實施例中，僅包含1個顯著區域(即第一顯著區域22)，故式(3)僅具有單一數值，即EB=。

另一方面，這些影像訊號所分別具有之第二特徵參數值係為這些影像訊號之一區域標準差參數值，而對於一影像訊號而言，其區域標準差參數值係指此影像訊號在對應至至少一顯著區域之部分內，所包含之複數個影像元素之色彩值的標準差，如下列式(4)及式(5)所示：

其中，B _l 為所有顯著區域之集合，且l={1,2,…,L}，表示l顯著區域在第t幀影像訊號時平均色彩值。而這些顯著區域之色彩值標準差的總和後的平均值便為前述之第二特徵參數值(區域標準差參數值)，如下列式(6)所示：

而當運算出一影像訊號所具有之第一特徵參數值(區域邊緣強度參數值)及第二特徵參數值(區域標準差參數值)後，便依據此第一特徵參數值及此第二特徵參數值，形成此影像訊號之一第一影像特徵向量(1^st characteristic vector)。隨後，再依照相同的方式，便可形成出每一個影像訊號之第一影像特徵向量。

因此，在本實施例中，每一個影像訊號所具有之第一影像特徵向量係為一二維向量f _t =(EB _t ,)，而其分量分別為第一特徵參數值(區域邊緣強度參數值)及第二特徵參數值(區域標準差參數值)。

接著，在本發明另一實施例之攝影機狀態判斷方法之步驟(C)中，將這些影像訊號所分別具有之第一影像特徵向量輸入一攝影機狀態判斷分類器，執行一攝影機狀態判斷程序，以輸出一攝影機狀態判斷參考。需注意的是，在本實施例中，此攝影機狀態判斷分類器係隨著時間而變化，其可由一使用者(如監控系統管理員)依據實際的使用需求手動調整，或依據先前所得出之顯著區域的品質(如解析度及正確率等)，而由電腦自動地調整。另一方面，在本實施例中，此攝影機狀態判斷分類器可表示為T=(T _B ,T _LS )。其中，T _B 係為區域邊緣強度參數判斷閥值，T _LS 則為區域標準差參數判斷閥值。

另一方面，如圖6所示，在本發明另一實施例之攝影機狀態判斷方法之步驟(C)中所執行之攝影機狀態判斷程序係包含下列步驟：

(A)將此等影像訊號之一第一影像訊號所具有之此第一影像特徵向量輸入此攝影機狀態判斷分類器，以得出一第一攝影機狀態初步判斷參考，此第一攝影機狀態初步判斷參考係為一選自於一由複數個攝影機狀態判斷參考所構成之組合；

(B)將此等影像訊號之一第二影像訊號所具有之此第一影像特徵向量輸入此攝影機狀態判斷分類器，以得出一第二攝影機狀態初步判斷參考，此第二攝影機狀態初步判斷參考係為一選自於此由此等攝影機狀態判斷參考所構成之組合，且各攝影機狀態判斷參考之間的狀態轉移係分別由一狀態轉移機率值表示；以及

(C)依據一表示此由此第一攝影機狀態初步判斷參考轉移至此第二攝影機狀態初步判斷參考之狀態轉移的狀態轉移機率值及/或至少一調整參數，運算出此攝影機狀態判斷參考。

其中，在本實施例中，前述之由複數個攝影機狀態判斷參考所構成之組合係包含一攝影機正常狀態參考、一攝影機疑似異常狀態參考及一攝影機異常狀態參考。而且，前述之複數個表示各攝影機狀態判斷參考之間之狀態轉移的狀態轉移機率值，係由一有限狀態機(finite state machines)分別運算而出。

以下，將配合圖6及圖7，詳細說明前述之攝影機狀態判斷程序的執行狀態。其中，圖7係一顯示各攝影機狀態判斷參考之間之狀態轉移之有限狀態機的示意圖。

首先，在步驟(A)中，係依據各影像訊號所具之幀數(對應至各影像訊號所被拍攝的時間)，將這些影像訊號之一第一影像訊號所具有之此第一影像特徵向量(f ₁=(EB ₁,))輸入此攝影機狀態判斷分類器(T=(T _B ,T _LS ))，以得出一第一攝影機狀態初步判斷參考，此第一攝影機狀態初步判斷參考係為一選自於一由複數個攝影機狀態判斷參考所構成之組合。

在本實施例中，係依據下列式(7)，運算出前述之第一攝影機狀態初步判斷參考：

其中，當St為0時，代表前述之第一攝影機狀態初步判斷參考係為一攝影機正常狀態參考。而當St為1時，代表前述之第一攝影機狀態初步判斷參考係為一攝影機疑似異常狀態參考。而當St為2時，代表前述之第一攝影機狀態初步判斷參考係為一攝影機異常狀態參考。

接著，在步驟(B)中，同樣依據各影像訊號所具之幀數(對應至各影像訊號所被拍攝的時間)，將這些影像訊號之一第二影像訊號所具有之此第一影像特徵向量(f ₁=(EB ₁,))輸入此攝影機狀態判斷分類器(T=(T _B ,T _LS ))，以得出一第二攝影機狀態初步判斷參考，此第二攝影機狀態初步判斷參考係為一選自於一由複數個攝影機狀態判斷參考所構成之組合。

此外，在本實施例中，各攝影機狀態判斷參考(如攝影機正常狀態參考、攝影機疑似異常狀態參考及攝影機異常狀態參考)之間的狀態轉移係分別由一狀態轉移機率值表示，如圖7所示。其中，雖然圖7所示之有限狀態機僅包含三種攝影機狀態判斷參考，前述之攝影機狀態判斷程序亦可應用一包含其他數目之攝影機狀態判斷參考的有限狀態機，以運算出前述之攝影機狀態判斷參考。

另一方面，在本實施例中，係依據下列式(8)，配合至少一調整參數，運算出前述之攝影機狀態判斷參考(Ct)：

其中，Ct係為攝影機狀態判斷參考，Ct-1係為在前一幀影像訊號時所運算出之狀態轉移機率值(如一表示從第一攝影機狀態初步判斷參考轉移至此第二攝影機狀態初步判斷參考之狀態轉移的狀態轉移機率值)，γ係為攝影機正常狀態之加權參數值，λ則為攝影機異常狀態之加權參數值。此外，γ越大表示攝影機處於正常狀態的機率較高，λ越大表示攝影機處於異常狀態的機率較高。

另一方面，γ、λ、T _o 分別為一預先設定之常數，即由一使用者(如監控系統管理員)依據實際的使用需求，例如此攝影機模組之狀態歷史及此攝影機模組所拍攝之場景的變化趨勢，在本發明另一實施例之攝影機狀態判斷方法被執行前分別預先設定而得出。最後，當Ct等於0時，顯示攝影機模組處於一正常狀態(即得出一攝影機正常狀態參考)。而當Ct等於1時，顯示攝影機模組處於一異常狀態(即得出一攝影機異常狀態參考)。

隨後，便從圖4所示之輸出模組43將此攝影機狀態判斷參考(攝影機正常狀態參考或攝影機異常狀態參考)輸出至外界，例如顯示一狀態訊息於一監控模組之顯示單元(如一中央監控螢幕)，以供一監控系統管理員查閱。而為了吸引監控系統管理員的注意，圖4所示之輸出模組43除了顯示出一狀態訊息外，另會發出一警告聲響，以警示監控系統管理員圖4所示之攝影機模組41已經發生異常事件。在本實施例中，異常事件可為攝影機模組自我失焦(self-defocus)、攝影機模組被惡意轉向、攝影機模組被噴漆或攝影機模組被外物覆蓋等，但並不以此為限。

需注意的是，前述之攝影機狀態判斷程序係採用一「線性轉移模式」，但在其他應用環境下，本發明之攝影機狀態判斷方法亦可採用一「非線性轉移模式」，如隱藏式馬可夫模型(Hidden Markov Model,HMM)。

另一方面，因為在本發明另一實施例之攝影機狀態判斷方法之步驟(C)中，攝影機狀態判斷程序係應用一包含3種攝影機狀態判斷參考的有限狀態機，以運算出前述之攝影機狀態判斷參考，而非以往使用之2個攝影機狀態判斷參考(僅包含攝影機正常狀態參考及攝影機異常狀態參考)，故本發明另一實施例之攝影機狀態判斷方法可將「疑似異常」的攝影機事件先歸類至「攝影機疑似異常狀態參考」，以便於接下來的幾個時間點(如在接續的幾幀影像訊號中)再次確認此攝影機事件是否確為攝影機異常事件。如此，本發明另一實施例之攝影機狀態判斷方法可有效地避免假警報的發生機率，大幅減輕監控系統管理員的負擔，使其可將注意力集中於真正攝影機異常事件的排除及治安事件的處理上。

此外，在某些應用環境中，如監控一強電磁波環境所需進行的拍攝，因圖4所示之攝影機模組41在拍攝各影像訊號時的過程雜訊及觀察雜訊均遠較一般環境為高，故圖4所示之攝影機模組41所拍攝到之影像訊號的雜訊程度(noise level)也較一般為高。另一方面，當攝影機模組41遭遇自然因素的影響時，如遭遇短暫地震時，攝影機模組41的視野也會因而短暫地變化，或一巨大物件出現於攝影機模組41前，造成攝影機模組41拍攝之影像訊號產生變化。而為克服這些問題，本發明另一實施例之攝影機狀態判斷方法的步驟(C)便可增加一與濾波相關之步驟。此時，如圖8所示，本發明另一實施例之攝影機狀態判斷方法係包括下列步驟：

(A)接收至少一顯著區域及複數個影像訊號，且此等影像訊號係由此攝影機模組依序拍攝所得；

(B)依據此等影像訊號在對應至此至少一顯著區域之部分內之複數個影像元素所分別具有的一影像參數值，運算出此等影像訊號所分別具有之一第一特徵參數值及一第二特徵參數值，且對此等影像訊號之此第一特徵參數值及此第二特徵參數值執行一時空濾波程序，再依據時空濾波後所得之此第一特徵參數值及此第二特徵參數值，形成一第一影像特徵向量；以及

(C)依據此等影像訊號所分別具有之此第一影像特徵向量及一攝影機狀態判斷分類器，執行一攝影機狀態判斷程序，以輸出一攝影機狀態判斷參考。

在本實施例中，前述之時空濾波程序係應用一線上空間濾波器，且此線上空間濾波器較佳為線上卡爾曼濾波器(online Kalman filter)，而依序對這些影像訊號之第一特徵參數值(區域邊緣強度參數值)及第二特徵參數值(區域標準差參數值)分別進行時空濾波。而由於線上空間濾波器係一運作於時間軸上之濾波器，故其係以時間作為其基底而進行濾波，且可預測出在下一個時間點(如下一幀影像訊號)除去高斯雜訊(Gaussian noise)後的數值(區域邊緣強度參數值或區域標準差參數值)。如此，線上空間濾波器可有效地濾除前述之過程雜訊及觀察雜訊，提升攝影機模組41所拍攝到之影像訊號的清晰度。

而由於線上空間濾波器，如線上卡爾曼濾波器，已被廣泛地應用於與訊號雜訊消除有關的領域中，尤其與時間有關之訊號的雜訊消除，故對於線上空間濾波器之運作方式及實際應用，在此便不再贅述。

請參閱圖9，其係本發明又一實施例之攝影機狀態判斷方法的流程示意圖。其中，本發明又一實施例之攝影機狀態判斷方法係包括下列步驟：

(A)接收至少一顯著區域及複數個影像訊號，且此等影像訊號係由此攝影機模組依序拍攝所得；

(B)依據此等影像訊號在對應至此至少一顯著區域之部分所包含之複數個影像元素的一影像參數值，運算出此等影像訊號所分別具有之一第一特徵參數值、一第二特徵參數值、一第三特徵參數值及一第四特徵參數值，且依據此第一特徵參數值、此第二特徵參數值、此第三特徵參數值及此第四特徵參數值，形成一第二影像特徵向量；以及

(C)將此等影像訊號所分別具有之此第二影像特徵向量輸入一攝影機狀態判斷分類器，執行一攝影機狀態判斷程序，以輸出一攝影機狀態判斷參考。

由於除了步驟(B)所形成之第二特徵向量的維度(四維)與本發明另一實施例之攝影機狀態判斷方法之步驟(B)所形成之第一特徵向量的維度(二維)不同之外，本發明又一實施例之攝影機狀態判斷方法其其餘步驟均與本發明另一實施例之攝影機狀態判斷方法相同，故以下僅就第二特徵向量之形成方式及與其相對應之攝影機狀態判斷分類器進行說明。

在本實施例中，每一個影像訊號所分別具有之第二影像特徵向量(2^nd characteristic vector)係為一四維向量f _t =(E _t ,EB _t ,)，而其分量分別為第一特徵參數值(邊緣強度參數值)、第二特徵參數值(區域標準差參數值)、第三特徵參數值(標準差參數值)及第四特徵參數值(區域標準差參數值)。其中，第一特徵參數值(邊緣強度參數值)係指一個影像訊號中，位於邊緣之複數個影像元素的數目。另一方面，第三特徵參數值(標準差參數值)係指影像訊號中，所有影像元素所具有之色彩值的標準差。所以，這兩個特徵參數值均屬業界所稱之全影像特徵參數值(full image parameter value)，它們均可用於移除不均勻光源分佈對於攝影機狀態判斷的影像，如閃光燈之閃光。

而由於第二影像特徵向量係為一四維向量，故本發明又一實施例之攝影機狀態判斷方法之步驟(C)所使用之攝影機狀態判斷分類器可表示為T=(T _E ,T _B ,T _s ,T _LS )。其中，T _E 係為邊緣強度參數判斷閥值，T _B 係為區域邊緣強度參數判斷閥值，T _S 係為標準差參數判斷閥值，T _LS 則為區域標準差參數判斷閥值。

如此，經過與本發明另一實施例之攝影機狀態判斷方法之步驟(C)相同的方式，本發明又一實施例之攝影機狀態判斷方法之步驟(C)可藉由執行一攝影機狀態判斷程序的方式，輸出一攝影機狀態判斷參考。而且，可於攝影機狀態判斷程序判斷出攝影機模組已發生異常事件時，使得一攝影機監控系統之輸出模組能適時地提醒一監控系統管理員，確認是否某一攝影機模組是否已經發生異常事件，如前述之自我失焦、被惡意轉向、被噴漆或被外物覆蓋等。

上述實施例僅係為了方便說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。

21．．．子影像區域

22．．．第一顯著區域

23．．．第二顯著區域

41．．．攝影機模組

42．．．監控模組

43．．．輸出模組

圖1係本發明一實施例之顯著區域擷取方法的流程示意圖。

圖2A係顯示一由一攝影機模組拍攝所得之影像訊號，且其係對應至一社區巷子之一偏僻轉角。

圖2B係顯示一影像訊號所包含之複數個子影像區域的示意圖。

圖2C係本發明一實施例之顯著區域擷取方法所擷取出之一顯著區域的示意圖。

圖2D係更包括一再確認程序之本發明一實施例之顯著區域擷取方法的流程示意圖。

圖2E係顯示圖2C之兩個顯著區域在執行過再確認程序後，所剩下之一顯著區域的示意圖。

圖3係本發明另一實施例之攝影機狀態判斷方法的流程示意圖。

圖4係為一應用本發明另一實施例之攝影機狀態判斷方法之攝影機監控系統的系統示意圖。

圖5係顯示擷取出在本發明另一實施例之攝影機狀態判斷方法之步驟(A)中被接收之顯著區域所需執行之顯著區域擷取方法的流程示意圖。

圖6係在本發明另一實施例之攝影機狀態判斷方法之步驟(C)中所執行之攝影機狀態判斷程序的流程示意圖。

圖7係一顯示各攝影機狀態判斷參考之間之狀態轉移之有限狀態機的示意圖。

圖8係顯示一包含一濾波相關步驟之本發明另一實施例之攝影機狀態判斷方法的流程示意圖。

圖9係本發明又一實施例之攝影機狀態判斷方法的流程示意圖。

(該圖為一流程圖故無元件代表符號)

Claims (19)

1. 一種顯著區域擷取方法，係用於擷取至少一顯著區域，係包括下列步驟：(A)接收複數個影像訊號，且該等影像訊號分別包含複數個子影像區域；(B)運算出該等影像訊號之每一該等子影像區域所分別具有之一訊號強度值；(C)依據該等影像訊號之該等子影像區域所分別具有的該等訊號強度值，運算出該等子影像區域所分別具有之一訊號強度時域變異值；以及(D)依據一空間區域之時域變化分類器及該等子影像區域所分別具有之該訊號強度時域變異值，對該等子影像區域執行一篩選程序，以形成該至少一顯著區域；其中，該等影像訊號係由一攝影機模組依序拍攝所得，且該攝影機模組於拍攝該等影像訊號時具有一固定視野。
2. 如申請專利範圍第1項所述之顯著區域擷取方法，其中在步驟(B)中，該等子影像區域係分別包含複數個影像元素，且每一該等影像元素分別具有一色彩值。
3. 如申請專利範圍第2項所述之顯著區域擷取方法，其中該訊號強度值係為該等影像元素所分別具有之色彩值的平均值。
4. 如申請專利範圍第3項所述之顯著區域擷取方法，其中在步驟(C)中，該等子影像區域所分別具有之該訊號強度時域變異值係為該等子影像區域所分別具有之該等訊號強度值的一時域標準差。
5. 如申請專利範圍第1項所述之顯著區域擷取方法，其中在步驟(D)中，該篩選程序係將一具有一低於該空間區域之時域變化分類器之訊號強度時域變異值的子影像區域篩選至該至少一顯著區域內。
6. 如申請專利範圍第5項所述之顯著區域擷取方法，更包括一步驟(E)，對該至少一顯著區域執行一再確認程序，以依據被篩選至該至少一顯著區域內之該等子影像區域的數目，配合一顯著區域確認分類器確認該至少一顯著區域是否可被擷取出來。
7. 一種攝影機狀態判斷方法，係應用於一攝影機監控系統，且該攝影機監控系統包含一攝影機模組、一監控模組及一輸出模組，係包括下列步驟：(A)接收至少一顯著區域及複數個影像訊號，且該等影像訊號係由該攝影機模組依序拍攝所得；(B)依據該等影像訊號在對應至該至少一顯著區域之部分內之複數個影像元素所分別具有的一影像參數值，運算出該等影像訊號所分別具有之一第一特徵參數值及一第二特徵參數值，且依據該第一特徵參數值及該第二特徵參數值，形成一第一影像特徵向量；以及(C)將該等影像訊號所分別具有之該第一影像特徵向量輸入一攝影機狀態判斷分類器，執行一攝影機狀態判斷程序，以輸出一攝影機狀態判斷參考；其中，該監控模組係用於執行該攝影機狀態判斷方法，且該攝影機模組及該輸出模組係分別耦合至該監控模組；該輸出模組係用於輸出該攝影機狀態判斷參考，且該攝影機模組於拍攝該等影像訊號時具有一固定視野。
8. 如申請專利範圍第7項所述之攝影機狀態判斷方法，其中在步驟(A)中，該至少一顯著區域係藉由執行一顯著區域擷取方法的方式而得出，該顯著區域擷取方法係包含下列步驟：(A)接收複數個初始影像訊號，且將該等初始影像訊號分別劃分為複數個子影像區域；(B)運算出該等初始影像訊號之每一該等子影像區域所分別具有之一訊號強度值；(C)依據該等初始影像訊號之該等子影像區域所分別具有的該等訊號強度值，運算出該等子影像區域所分別具有之一訊號強度時域變異值；以及(D)依據一空間區域之時域變化分類器及該等子影像區域所分別具有之該訊號強度時域變異值，對該等子影像區域執行一篩選程序，以形成該至少一顯著區域。
9. 如申請專利範圍第7項所述之攝影機狀態判斷方法，其中在步驟(B)中，更在形成該等影像訊號之該第一影像特徵向量前，對該等影像訊號之該第一特徵參數值及該第二特徵參數值執行一時空濾波程序。
10. 如申請專利範圍第9項所述之攝影機狀態判斷方法，其中該時空濾波程序係應用一線上空間濾波器，依序對該等影像訊號之該第一特徵參數值及該第二特徵參數值分別進行時空濾波。
11. 如申請專利範圍第7項所述之攝影機狀態判斷方法，其中在步驟(B)中，該等影像訊號所分別具有之該第一特徵參數值係為該等影像訊號之一區域邊緣強度參數值，且該區域邊緣強度參數值係指該影像訊號在對應至該至少一顯著區域之部分內，位於邊緣之部分該等影像元素的數目。
12. 如申請專利範圍第7項所述之攝影機狀態判斷方法，其中在步驟(B)中，該等影像訊號所分別具有之該第二特徵參數值係為該等影像訊號之一區域標準差參數值，且該區域標準差參數值係指該影像訊號在對應至該至少一顯著區域之部分內，所包含之該等影像元素之影像參數值的標準差。
13. 如申請專利範圍第7項所述之攝影機狀態判斷方法，其中該影像參數值係為一色彩值。
14. 如申請專利範圍第7項所述之攝影機狀態判斷方法，其中在步驟(B)中，更在運算出該等影像訊號所分別具有之該第一特徵參數值及該第二特徵參數值後，另依據該等影像訊號所包含之該等影像元素所分別具有的影像參數值運算出該等影像訊號所分別具有之一第三特徵參數值及一第四特徵參數值，且另依據該等影像訊號所分別具有之該第一特徵參數值、該第二特徵參數值、該第三特徵參數值及該第四特徵參數值，形成一第二影像特徵向量。
15. 如申請專利範圍第7項所述之攝影機狀態判斷方法，其中在步驟(C)中，該攝影機狀態判斷程序係包含下列步驟：(A)將該等影像訊號之一第一影像訊號所具有之該第一影像特徵向量輸入該攝影機狀態判斷分類器，以得出一第一攝影機狀態初步判斷參考，該第一攝影機狀態初步判斷參考係為一選自於一由複數個攝影機狀態判斷參考所構成之組合；(B)將該等影像訊號之一第二影像訊號所具有之該第一影像特徵向量輸入該攝影機狀態判斷分類器，以得出一第二攝影機狀態初步判斷參考，該第二攝影機狀態初步判斷參考係為一選自於該由該等攝影機狀態判斷參考所構成之組合，且各攝影機狀態判斷參考之間的狀態轉移係分別由一狀態轉移機率值表示；以及(C)依據一表示該由該第一攝影機狀態初步判斷參考轉移至該第二攝影機狀態初步判斷參考之狀態轉移的狀態轉移機率值及/或至少一調整參數，運算出該攝影機狀態判斷參考。
16. 如申請專利範圍第15項所述之攝影機狀態判斷方法，其中，該由該等攝影機狀態判斷參考所構成之組合係包含一攝影機正常狀態參考、一攝影機疑似異常狀態參考及一攝影機異常狀態參考。
17. 如申請專利範圍第15項所述之攝影機狀態判斷方法，其中在步驟(C)中，其中該等狀態轉移機率值係藉由一有限狀態機分別運算而出。
18. 如申請專利範圍第7項所述之攝影機狀態判斷方法，其中該監控模組係為一電腦、一手機、一個人數位助理、一嵌入式系統或一雲端運算系統。
19. 如申請專利範圍第18項所述之攝影機狀態判斷方法，其中該雲端運算系統係為一機架式雲端運算系統、一刀鋒式雲端運算系統或一單機式雲端運算系統，且包含一通用圖形處理器。