TWI599222B - Photographic device anomaly detection method - Google Patents

Description

攝影裝置異常偵測方法

本發明有關於一種影像偵測方法，特別係一種針對攝影裝置產生異常進行自動偵測的方法。

近年來，隨著智慧型影像監控科技的蓬勃發展，透過攝影機之技術得以實現之多種影像監控系統亦不斷推陳出新，其中，在智慧型影像監控的領域中，攝影裝置的影像品質無庸置疑的是提升影像辨識率之重要關鍵，倘若攝影裝置遭到蓄意干擾破壞，例如受到有心人士污損、遮蔽、或是強制偏向等等行為，將會造成關鍵事件之畫面產生辨識上的困難，故利用監控攝影機畫面來偵測攝影裝置畫面是否發生異常的相關技術也應運而生，例如中華民國專利申請案中的監控影像偵測系統及方法(公開號：201237809)、智慧型顯著區域方法及自動攝影機狀態判斷方法(公開號：201317902)以及『視訊監控方法』(公開號：201324443)等技術。

其中一者之技術，係透過攝影機獲取畫面後，計算背景影像和所獲取畫面之差異像素數量，而當差異像素數量超過差異像素設定值時，即設定攝影機之狀態為警示且將異常畫面計數值增加，當異常畫面計數值遞增且超過異常畫面計數值所被設定可達之最大值時，即啟動報警提示；而此 技術的方法因其係以像素點一一對應之概念進行，其偵測敏感度過高，些微的天候變化或極細微的角度偏移會立刻使其產生系統誤判。

另一者之技術係利用攝影機影像的影像邊緣作為偵測特徵，以分析影像中多個局部影像區域的邊緣數量隨時間軸之變化，進而判斷攝影機是否發生異常，此方法對於攝影機受遮蔽之偵測效果可能較好，但其局部偵測之特性會導致攝影機受風吹或頻繁震動所發生之畫面抖動時極容易產生假警報。

另外，亦有技術是先計算出攝影裝置影像之邊緣點，並針對影像的每個位置計算邊緣點之亂度值(熵)，其係使用較具穩定性之邊緣點建構一邊緣背景影像，待偵測影像的邊緣點會與該邊緣背景影像進行比對以獲得一非背景比例，若該非背景比例持續高於預設閾值，則該技術判斷發生攝影裝置異常。其係採取全域比對(Global Matching)，而產生的高偵測敏感度亦使得假警報的發生機率很高。

由此可見，上述習用方式各自有其優勢，然而容易產生誤判之系統顯有缺失，實非完全良善之設計，而亟待改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件自動化攝影機異常事件偵測方法。

本發明主要之目的係為提供一種能自動檢測攝影裝置是否有發生狀態異常的方法，以利於攝影裝置之監控 受到破壞或其他外力導致的畫面異常時，管理人員能夠在第一時間得知且進行瞭解；傳統方法上，主要係以人力直接對攝影機狀態進行觀測和檢查，除了相當耗費時間和人力之外，大多數的監控系統納管有數量極龐大之攝影設備，管理人員在長時間作業下所造成的疲憊以及分心亦會導致判斷失誤以及效率降低等狀況產生。

攝影設備常遇到的異常事件包含有可能的人為因素，包含拍攝角度被轉向、鏡頭受覆蓋物遮蔽、未明原因之畫面模糊或鏡頭受污損等；另外，亦可能有其他的異常因素，例如強風將造成攝影角度偏移、鏡頭因水霧導致攝影失焦現象。

而本發明之攝影裝置異常偵測方法則是為了解決上述問題而發想，本發明之方法的第一步，係透過一攝影裝置異常分析模組以接收外部複數攝影裝置各自傳輸來之一串流影像，即為該攝影裝置異常分析模組可以取得許多攝影裝置持續攝錄之影像資料。

該攝影裝置異常分析模組之功能為應用電腦視覺及影像處理技術分析外部各該攝影裝置傳輸來之該串流影像，其中，該攝影裝置異常分析模組包含有下列單元，分別為一比對影像建立單元、一影像梯度計算單元、一影像特徵計算單元以及一影像相似計算單元。

其中，該比對影像建立單元係用以在該串流影像一幅幅的影像，其將先在攝影裝置正常運作之狀況下擷取一幅影像，並將該幅影像設作一偵測基準，另外，當該攝影裝置異常分析模組進入偵測階段後，該比對影像建立單元將選擇性地或持續性地根據時序擷取該串流影像中的另一幅即時 影像作為偵測影像。

其中，該影像梯度計算單元之功效係透過一影像濾波器以分別計算偵測基準與偵測影像所屬之各像素點的一影像梯度，其中，該影像梯度之內容包含有梯度大小(Magnitude)以及梯度角度(Orientation)，而該影像濾波器可以使用但不限於使用索貝爾濾波器(Sobel Filter)。

其中，該影像特徵計算單元之功效係用以從偵測基準和偵測影像各自所屬的該影像梯度數據中，分別依據梯度大小篩選出相對具代表該幅影像之特徵代表性質的各個像素點，並將其對應之梯度角度透過統計方式產生直方圖，最後再經正規化之程序後產生代表個別影像的一特徵直方圖；其中，所述特徵直方圖係針對單幅影像當中的各像素點之梯度大小中前20%具較高梯度大小值之像素點來進行計算，且根據該百分之二十的像素點的梯度角度之值來製成直方圖，而梯度角度之範圍區間係為0~359度，故原始的梯度角度直方圖應有360個區間，而本發明再引入正規化(Normalization)之方法將用以計算的該前20%之像素點的梯度角度轉換至1~100的整數區間，梯度角度正規化後最後產生之直方圖共有100個區間，此直方圖當可以代表整幅影像的特徵資訊，即為該特徵直方圖。

其中，該影像相似計算單元比對各自代表偵測基準與偵測影像的該特徵直方圖，再透過卡方計算(Chi-Square)，以計算偵測基準與偵測影像各自的直方圖間的卡方值，以將其相似程度加以量化，並輸出可代表此二張影像相似度之一相似度值。

最後，該攝影裝置異常分析模組可將該相似度值 與預先設定之一相似閾值相互比對，若該相似度值超過相似閾值，該攝影裝置異常分析模組即判斷攝影裝置發生狀態異常，並產生一告警訊息，即代表攝影裝置發生可能之異常狀態，亟待進行處理。

本發明係以電腦視覺及影像處理技術為基礎，針對攝影機畫面進行分析運算，自動的判斷攝影機目前是否正常運作，確保在重要事件發生時，有品質良好的關鍵畫面影像以利相關人員進行判讀，使監控系統順利發揮其功效

S101~S103‧‧‧方法步驟

S201~S204‧‧‧方法步驟

圖1為本發明之攝影裝置異常偵測方法的方法步驟圖。

圖2為本發明進行影像分析步驟時所執行的方法步驟。

圖3為本發明實施例中索貝爾濾波器的X方向濾波遮罩範例示意圖。

圖4為本發明實施例中索貝爾濾波器的Y方向濾波遮罩範例示意圖。

為進一步說明本發明之功效及實施方式，以下將以本發明之較佳實施例結合圖式以進行詳細說明。

首先，請參閱圖1所示，圖1係為本發明之攝影裝置異常偵測方法的方法步驟圖；其中，本發明包含主要的三個步驟：步驟S101進行影像擷取，透過一攝影裝置異常分析模組接收外部複數攝影裝置各自傳輸來之一串流影像，並將原始的該串流影像轉換為數位影像訊號；步驟S102進行影 像分析，在偵測模式時，該攝影裝置異常分析模組對接收來的串流影像進行異常偵測運算；最後，步驟S103輸出分析結果，係為該攝影裝置異常分析模組輸出異常偵測運算的分析結果，即為偵測模式下的每幅串流影像與偵測基準之影像的相似度值。

再請參照圖2，其係為本發明進行影像分析步驟時所執行的方法步驟，其主要包含有四個步驟，首先，步驟S201比對影像建立，由該攝影裝置異常分析模組中之一比對影像建立單元進行，其係該攝影裝置異常分析模組自串流影像中擷取一幅攝影裝置處於正常運作狀態下之影像，以作為偵測基準，其係對後續輸入之影像的設定一可以比較之基準，用以與另一幅攝影裝置於偵測階段所擷取之即時影像來比較。

接著，在步驟S202影像梯度計算中，該攝影裝置異常分析模組中的一影像梯度計算單元，將透過影像處理技術中所使用的一影像濾波器來分別計算偵測基準的影像與偵測影像各自的梯度值和角度，所述之該影像濾波器可以是索貝爾濾波器(Sobel Filter)，但並不侷限僅使用索貝爾濾波器；其中，舉一實施例來說，如圖3所示，其係為3×3(列數×行數)索貝爾濾波器的X方向濾波遮罩範例示意圖，該X方向濾波遮罩係用以計算水平方向的影像梯度資訊；另外，如圖4所示，其係為3x3索貝爾濾波器的Y方向濾波遮罩範例示意圖，其則係為用以計算垂直方向影像梯度資訊，影像串流轉換後之數位影像透過此二個X和Y方向濾波器經迴旋積運算之後，即可得出一幅影像中每個像素點的X方向梯度值以及Y方向梯度值，再將此兩梯度值分別計算其平方後再相加， 相加後之結果再取根號的值，即為像素點的梯度大小(Magnitude)之值；再來，計算梯度角度之方式，則是將Y方向之梯度值除以X方向之梯度值，除式得出之商再經過正切函數(Tangent)之反三角函數運算，即可得到像素點之梯度角度(Orientation)。

而影像串流經過該影像梯度計算單元的影像梯度計算之後，可得出偵測基準與偵測影像中每個像素的梯度資訊，其包含梯度大小以及梯度角度；接著，在步驟S203特徵直方圖計算中，該攝影裝置異常分析模組中的一影像特徵計算單元會分別將偵測基準與偵測影像中的所有像素點依其梯度大小之值進行遞減排序，並保留前20%梯度大小值較高的像素點，並依據此20%的像素點之梯度角度做成統計直方圖，其中，梯度角度的範圍區間應為0~359度，所以原始的梯度角度直方圖應共有360個區間，而本發明之影像特徵計算單元會透過正規化(Normalization)方法將此20%像素點的梯度角度轉換到1~100的整數之區間內，故梯度角度受過正規化之直方圖共應有100個區間，而該直方圖幾乎可以代表整張影像的特徵資訊，其係為影像特徵計算單元針對偵測基準與偵測影像分析計算後所各自產出的一特徵直方圖。

再來，在步驟S204影像相似度計算中，該攝影裝置異常分析模組中的一影像相似計算單元將應用直方圖比對方法之中的卡方公式(Chi-Square)，以對偵測基準及偵測影像的特徵直方圖進行運算，以得出偵測基準與偵測影像的影像相似度，運算方式如下式所示： 其中，H ₁(I)係代表偵測基準之特徵直方圖，而H ₂(I)為偵測影像之特徵直方圖，d(H ₁ ,H ₂)係為經卡方公式計算後之結果，亦為影像相似計算單元輸出之偵測基準與偵測影像的影像相似度值；接著，則可進行上述的步驟S103輸出分析結果，其為判斷偵測基準與偵測影像的影像相似度是否大於一預設之相似閾值T，若其確實超過相似閾值T，則該攝影裝置異常分析模組判定攝錄此影片串流的攝影裝置發生了攝影機異常事件，其將發出一告警訊息，以通知攝影裝置監控系統的管理人員。

綜上所述，本發明所提出之攝影裝置異常偵測方法，與其他習用技術相互比較時，更具備下列優點：

有別於以往技術使用的影像式或人工監測方法，自動影像偵測不僅節省人力及時間，更能有效的提高偵測率且降低誤判率。

本發明係提出一種以全幅影像資訊做為基礎之分析方法，以往的影像辨識方法常是以影像局部位置的特徵資訊分析為主，在該種狀況下，攝影裝置受到些微不可抗力而(如風吹、路面震動)導致攝影裝置晃動時，假警報之觸發在所難免，而本發明之方法利用整幅影像的特徵直方圖分析方法，將可以避免此種問題。

本發明不同於應用連續影像串流中的多張影格作為基礎的傳統影像辨識方法，乃係以靜態的影像梯度和統計直方圖為基礎以產生攝影裝置拍攝之瞬間特徵資訊，再結合直方圖比對方法來計算攝影裝置是否發生異常，本發明之方法在對大量攝影裝置進行自動偵測時，可大幅度縮短影像分析時間，亦可以兼顧高辨識率。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

S101~S103‧‧‧方法步驟

Claims (3)

1. 一種攝影裝置異常偵測方法，其包含以下步驟：透過一攝影裝置異常分析模組接收外部複數攝影裝置各自傳輸來之一串流影像；該攝影裝置異常分析模組應用電腦視覺及影像處理技術分析外部各該攝影裝置傳輸來之該串流影像，其中，分析包含以下程序：該攝影裝置異常分析模組中之一比對影像建立單元在該串流影像中擷取正常運作下的一幅影像設為偵測基準，並於該攝影裝置異常分析模組進入偵測階段後，選擇性地擷取根據時序擷取另一幅即時影像設為偵測影像；該攝影裝置異常分析模組中之一影像梯度計算單元透過一影像濾波器分別計算偵測基準與偵測影像所屬之各像素點的一影像梯度，其中，該影像梯度之內容包含有梯度大小以及梯度角度；該攝影裝置異常分析模組中之一影像特徵計算單元自偵測基準與偵測影像所屬之該影像梯度中，分別地根據影像的梯度大小以篩選出相對具特徵代表性質之各像素點，該影像特徵計算單元並將各像素點對應之梯度角度根據統計以及正規化運算，以產生各自代表偵測基準與偵測影像的一特徵直方圖，且分別統計偵測基準與偵測影像中各相對具特徵代表性質之各像素點的梯度角度，其係以偵測基準與偵測影像之單幅影像當中具相對大之影像的部分像素點的梯度角度產生統計直方圖，並 將原始具360個值的角度區間的直方圖正規化至預計之整數區間以產生代表單幅影像之特徵資訊的該特徵直方圖；該攝影裝置異常分析模組中之一影像相似計算單元比對各自代表偵測基準與偵測影像的該特徵直方圖，量化並產生表示偵測基準與偵測影像之間相似程度的一相似度值；該攝影裝置異常分析模組將該相似度值與預設之一相似閾值相互比對，且在該相似度值超過閾值時判斷攝影裝置發生狀態異常以產生一告警訊息。
2. 如申請專利範圍第1項所述之攝影裝置異常偵測方法，其中，該影像濾波器可為索貝爾濾波器(Sobel Filter)。
3. 如申請專利範圍第1項所述之攝影裝置異常偵測方法，其中，該影像相似計算單元係透過卡方公式(Chi-Square)，以計算偵測基準與偵測影像之該特徵直方圖的卡方值，以產生該相似度值。