TWI423148B - Method and system of monitoring and monitoring of fighting behavior - Google Patents

Method and system of monitoring and monitoring of fighting behavior Download PDF

Info

Publication number
TWI423148B
TWI423148B TW99124811A TW99124811A TWI423148B TW I423148 B TWI423148 B TW I423148B TW 99124811 A TW99124811 A TW 99124811A TW 99124811 A TW99124811 A TW 99124811A TW I423148 B TWI423148 B TW I423148B
Authority
TW
Taiwan
Prior art keywords
dynamic
image
area
threshold
threshold value
Prior art date
Application number
TW99124811A
Other languages
English (en)
Other versions
TW201205470A (en
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Priority to TW99124811A priority Critical patent/TWI423148B/zh
Publication of TW201205470A publication Critical patent/TW201205470A/zh
Application granted granted Critical
Publication of TWI423148B publication Critical patent/TWI423148B/zh

Links

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

打架行為偵測監控方法與系統
本發明是有關於一種打架行為偵測監控方法，特別是指一種採用巨觀分析之方法，本發明不需事先建立背景且不論在光源變化大的環境或是影像品質較低的情況皆可準確的進行打架行為偵測。
在傳統安全監控系統中，透過監控人員長時間在監視畫面前觀察異常，以即時發現異常狀況做出反應。這種監控模式既費時又費力，在大範圍監視系統中，勢必要聘請足夠的監控人員才能同時監控眾多監視畫面，但過多的人手又容易形成資源的浪費，而監視人員也會因為疲倦而發生遺漏重要畫面的情形。因此，傳統安全監控系統往往是在事件發生後，提供錄影資料來輔助事件的分析，但這種被動的監控模式最多只能做到亡羊補牢的效果，無法即時防止或阻止傷害事件的發生。
在行為偵測方法之相關研究方面，Rohr在1994年使用14個橢圓圓柱體來表示人體的架構，而Ju等人則在1996年提出了紙牌人模型(Cardboard people model)，利用數個相連的平面及連接的參數來表示人類的動作，英國愛丁堡大 學教授Robert等人在2001年進行了CAVIAR計劃，利用微觀之體分割來分析人類的行為模式。但以上研究皆為單一影像所構成，為了能夠瞭解主體在連續時序影像中的移動情形，應透過時序樣板(Temporal temple)來表達行為在時間與空間下的關係，因此Bobick及Davis在2001提出了移動能量影像(Motion Energy Images,MEI)以及移動歷史影像(Motion History Images,MHI)來識別人類的動作。其中MEI是將移動資訊之二值化影像依時間累積起來，記錄序列視訊影像中每個移動物體之像素點，即
其中D(x,y,t)代表在時間t之二值化前景影像，τ則為動態序列影像的長度。因此E τ(x,y,t)代表在時間長度為τ之情況下所有移動點的集合，且E τ(x,y,t)值為1或0。由於MEI僅能紀錄主體曾移動過之位置資訊，並無法描述時間資訊，因此Bobick進一步將MEI之移動點隨時間之遠近以不同強度來表示，而形成移動歷史影像(MHI)，此方法可同時紀錄運動人體在時間與空間中所發生的資訊。
現行的行為偵測方法，對於各種不同的行為模式，例如：走路、坐下、跌倒、舉手、暈倒等，大多必須藉由完整的肢體資訊才能瞭解其行為之意義，此類之行為偵測方法大多採用微觀(Micro-view)的角度來進行分析。所謂微觀分 析，是指詳細地區分出主體的肢體位置，並事先定義各種動作與姿勢。因此，微觀分析的成敗往往取決於主體分割的好壞。但在實際的監控應用上，由於面臨光源變化、背景物體移動、遮蔽及獲取影像解析度較差等狀況，往往無法取得完整的主體，導致無法正確的進行行為模式分析。此外，在行為定義的部份，由於打架行為可能由兩人或多人所構成，打架行為的動作型態種類眾多且複雜，要能夠完整地逐一定義頗具困難性。
本發明之目的係為提供一種自動偵測打架行為系統，藉由偵測出各種環境中之打架行為，自動發出警報或通知相關人員進行協助，減少人員傷亡與不必要的損失。本發明在動態主體於時間-空間維度的表達方法上採用巨觀(Macro-view)的方法，此方式之優點主要有三：
1.不需建立複雜的人體肢節模式，減少許多影像前處理步驟，使得即時偵測的目標更易達成，也減少人體肢節之大量儲存空間。
2.不需細微的前景資訊，因此固定攝影鏡頭之監控場景可有效增大。
3.不需建立背景，在光源變化較大或是影像品質較差的情況下依然可有效進行打架偵測。
於是，本發明打架行為偵測監控方法，包含一影像擷取步驟、一影像處理步驟、一前景記錄步驟、一門檻值判斷步驟以及一事件警示步驟。其中，影像擷取步驟是由一影像擷取裝置擷取複數連續監控影像。影像處理步驟是由一影像處理模組處理該複數影像，以分割出多個動態的主體。前景記錄步驟是由一前景記錄模組記錄該些動態主體，以產生一動作歷史影像。門檻值判斷步驟是由一門檻值判斷模組依據該動作歷史影像得到的數值與一預定之門檻值，判斷是否是一預定之監控行為事件。最後的事件警示步驟是由一事件警示模組在該預定之監控行為事件到達門檻值時觸發發出警示。
本發明打架行為偵測監控系統，供監控一區域，並包括一影像擷取裝置、一影像處理模組、一前景記錄模組、一門檻值判斷模組以及一事件示警模組。
影像擷取裝置用以連續擷取該監控區域內的影像。影像處理模組，其耦接該影像擷取裝置，用以處理該連續影像，分割出多個動態的主體。前景記錄模組，其耦接該影像處理模組，用以記錄該些動態主體，以產生一動作歷史影像。門檻值判斷模組，其耦接該前景記錄模組，用以依據該動作歷史影像得到的數值與一預定之門檻值，判斷是否是一預定之監控行為事件。事件示警模組，其耦接該門檻值判斷模組，用以在該預定之監控行為事件到達門檻值時觸發發出警示。
本發明是經實驗及大量數據驗證，發現打架行為是一人以上身體接觸，且身體為動態狀況，手(拳)腳揮動，且身體重心變化小之行為；相較於需要完整地逐一定義各種動作與姿勢的習知方法，本發明更具有可實現性，可更穩健且泛用於各種環境之中。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一個較佳實施例的詳細說明中，將可清楚的呈現。
參閱圖1，本發明行為打架偵測監控系統10是用以監控一區域，其較佳實施例包含一影像擷取裝置12、一影像處理模組14、一前景記錄模組16、一門檻值判斷模組20以及一事件示警模組32。
該影像擷取裝置12用以連續攝取該監控區域內的影像。該影像處理模組14耦接該影像擷取裝置12，用以處理該連續影像，分割出多個動態的主體。
該影像處理模組14利用時序差異法(Temporal differencing)分割出動態主體，時序差異法之定義如下： |I t (x,y)-I t-1(x,t)|>Threshold則(x,t) foreground其中I t (x,y)表示影像I在時間t之(x,y)座標的灰階值，I t-1(x,y)則表示影像I在時間t-1之(x,y)座標的灰階值，計算時間相鄰的兩張影像t與t-1之灰階值差異，即可得到動態主體。
該前景記錄模組16耦接該影像處理模組14，用以記錄該些動態主體，產生一動作歷史影像。該門檻值判斷模組20耦接該前景記錄模組16，用以依據該動作歷史影像得到的數值與一預定之門檻值，判斷是否是一預定之監控行為事件。該事件示警模組32耦接該門檻值判斷模組20，用以在該預定之監控行為事件到達門檻值時觸發發出警示。
該門檻值判斷模組20更具有一面積判斷模組22，用以判斷該動作歷史影像得到的動態主體的面積值是否大於事先所定之面積門檻值。若動態主體的面積值大於面積門檻值，則認為此動態主體特徵為1人以上且身體接觸。
該門檻值判斷模組20更具有一重心判斷模組24，用以判斷該動作歷史影像得到的動態主體的重心變化是否小於事先所定之變化門檻值。若動態主體的重心變化小於變化門檻值，則認為此動態主體特徵是站立手(拳)腳揮動扭打的打架事件。
同時參閱圖2，本實施例動態主體的動態歷程取得的方式如下。
在步驟S11中，影像擷取裝置12擷取得到監控的影像畫面。接著，在步驟S12中，影像處理模組14將時間相鄰的兩張連續影像畫面，如時間t與時間t-1之影像畫面做影像相減的處理，分離出兩張影像所有像素的灰階差異，以分割出動態主體。因為前後兩張影像的間隔時間短，動態主體之偵測結果不易受光照及環境變化的影響，所以對於整體環境以及光線亮度改變之適應性佳。
接著，在步驟S13中，前景記錄模組16將分割出的動態主體的一連串連續畫面影像記錄下來，如時間t、時間t-1與時間t-2….一連串連續之影像畫面的前景記錄，產生動作歷史影像(MHI)，得到動態主體的短時間動態歷程。MHI可同時紀錄動態主體在空間與時間之活動關係。MHI之計算如下： 其中，(x,y,t)表示在時間t之二值化前景影像，τ為動態序列影像之長度，在進行前景疊加時，最新加入之前景具有最高之灰階值(如灰階值255)，透過線性遞減方式，逐一降低之前所疊加的前景灰階值，直到灰階等於0為止。
同時參閱圖3，本實施例動態主體的行為判斷方式，利用動態主體之面積與重心變化來判斷是否為打架行為。
在步驟S21中，面積判斷模組22判斷MHI影像得到的動態主體的面積值是否大於事先所定之面積門檻值，若動態主體的面積值大於面積門檻值，則認為此動態主體特徵為1人以上且身體接觸，認為是打架事件候選人。若動態主體的面積值小於面積門檻值，則認為此動態主體特徵為1人，判斷並不為打架事件候選人。若是打招呼或是定位交談等動作並不會造成誤判，此類型動作之動態主體面積較小，且身體無接觸，故不會認為是打架事件。當動態主體面積大於面積判斷模組22之門檻值時，才會進入重心判斷模組24進一步確認是否為打架事件。
在步驟S22中，重心判斷模組24判斷MHI影像得到的動態主體的重心變化小於事先所定之變化門檻值，若動態主體的重心變化小於變化門檻值，則認為此動態主體特徵身體重心變化小，判斷是站立手(拳)腳揮動扭打的打架事件。若是同時多人行走或交錯並不會造成誤判，因為動態主體之重心變化過大，判斷並不是打架事件。
接著，在步驟S31中，當一段時間內之打架事件發生次數累計值大於事先所定之事件門檻值時，則示警模組32觸發，發出打架警示提醒相關人員迅速前來處理，可減少或避 免傷害事件發生。
同時參閱圖4，(a1)至(a5)之影像為在一時間序列，該監控區域內攝取的影像。經影像處理該攝取的影像，將時間相鄰的兩張連續影像畫面，如時間t與時間t-1之影像畫面利用時序差異法做影像相減的處理，分離出兩張影像所有像素的灰階差異，以分割出動態的主體。在影像(a1)以及(b1)與(a2)以及(b2)，兩人逐漸接近。在影像(a3)至(a5)以及(b3)至(b5)，MHI影像(b3)至(b5)得到的動態主體的面積大，則認為此動態主體特徵為此兩人身體接觸。而動態主體的重心變化小，則認為此動態主體特徵是兩人站立手(拳)腳揮動扭打動作，當此動作在一短時間內累積多次，系統則會判定為事打架事件。
為了要達到實際應用之可行性，本發明利用巨觀之策略來分析打架行為會出現的特性，並利用巨觀的角度來定義打架事件。經驗證發現，由於採用巨觀之策略，本發明在光源變化大或是影像品質較差的狀況下依然可有效進行打架偵測。
本發明分析紀錄動態主體在空間與時間之活動關係，取得主體的動態歷程，最後判斷動態主體的特徵，並且正確判斷出主體之行為。實驗結果顯示能夠正確的偵測出打架事件，因此確實能達成本發明之目的。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
10‧‧‧行為偵測監控系統
12‧‧‧影像擷取裝置
14‧‧‧影像處理模組
16‧‧‧前景記錄模組
S11~S13‧‧‧步驟
S21~S22‧‧‧步驟
20‧‧‧門檻值判斷模組
22‧‧‧面積判斷模組
24‧‧‧重心判斷模組
32‧‧‧事件示警模組
S31‧‧‧步驟
圖1是一系統示意圖，說明本發明行為偵測系統之較佳實施例；圖2是一流程圖，說明本實施例動態主體的動態歷程取得的流程；圖3是一流程圖，說明本實施例動態主體的行為判斷的流程；圖4是一影像示意圖，說明本實施例經實驗的打架行為之序列影像。
10‧‧‧行為偵測監控系統
12‧‧‧影像擷取裝置
14‧‧‧影像處理模組
16‧‧‧前景記錄模組
20‧‧‧門檻值判斷模組
22‧‧‧面積判斷模組
24‧‧‧重心判斷模組
32‧‧‧事件示警模組

Claims (16)

  1. 一種行為偵測監控方法，包含：一影像擷取步驟，由一影像擷取裝置擷取複數連續監控影像；一影像處理步驟，由一影像處理模組處理該複數影像，以分割出多個動態前景主體；一前景記錄步驟，由一前景記錄模組記錄該些動態前景主體，以產生一動作歷史影像；以及一門檻值判斷步驟，由一門檻值判斷模組依據該動作歷史影像得到的數值與一預定之門檻值，判斷是否是一預定之監控行為事件。
  2. 依據申請專利範圍第1項所述之行為偵測監控方法，其中，該影像處理步驟中，將時間相鄰的兩張連續影像畫面做影像相減的處理，分離出兩張影像所有像素的灰階差異，以分割出動態主體。
  3. 依據申請專利範圍第1項所述之行為偵測監控方法，其中，該門檻值判斷步驟中，判斷該動作歷史影像得到的動態主體的面積值是否大於事先所定之面積門檻值。
  4. 依據申請專利範圍第3項所述之行為偵測監控方法，其中，若動態主體的面積值大於面積門檻值，則認為此動態主體特徵為1人以上且身體接觸。
  5. 依據申請專利範圍第1項所述之行為偵測監控方法，其中，該門 檻值判斷步驟中，判斷該動作歷史影像得到的動態主體的重心變化是否小於事先所定之變化門檻值。
  6. 依據申請專利範圍第5項所述之行為偵測監控方法，其中，若動態主體的重心變化小於變化門檻值，而動態主體為動態的狀況，則認為此動態主體特徵是站立手(拳)腳揮動扭打的打架事件。
  7. 依據申請專利範圍第1項所述之行為偵測監控方法，其更包含一事件警示步驟，由一事件警示模組在該預定之監控行為事件到達門檻值時觸發發出警示。
  8. 依據申請專利範圍第1項所述之行為偵測監控方法，其中，該門檻值判斷步驟中，判斷該動作歷史影像得到的動態主體的面積值是否大於事先所定之面積門檻值，並在該動態主體的面積大於該面積門檻值時，繼續判斷該動作歷史影像得到的動態主體的重心變化是否小於事先所定之變化門檻值；其中，若該動態主體的重心變化小於該變化門檻值，則認為此動態主體特徵是站立手(拳)腳揮動扭打的打架事件。
  9. 一種行為偵測監控系統，該行為偵測監控系統監控一區域，包括：一影像擷取裝置，用以連續攝取該監控區域內的影像；一影像處理模組，其耦接該影像擷取裝置，用以處理該連續影像，分割出多個動態前景主體；一前景記錄模組，其耦接該影像處理模組，用以記錄該些動態前景主 體，產生一動作歷史影像；以及一門檻值判斷模組，其耦接該前景記錄模組，用以依據該動作歷史影像得到的數值與一預定之門檻值，判斷是否是一預定之監控行為事件。
  10. 如申請專利範圍第9項所述之行為偵測監控系統，其中該影像處理模組將時間相鄰的兩張連續影像畫面做影像相減的處理，分離出兩張影像所有像素的灰階差異，以分割出動態主體。
  11. 如申請專利範圍第9項所述之行為偵測監控系統，其中該門檻值判斷模組更具有一面積判斷模組，用以判斷該動作歷史影像得到的動態主體的面積值是否大於事先所定之面積門檻值。
  12. 依據申請專利範圍第11項所述之行為偵測監控系統，其中，若動態主體的面積值大於面積門檻值，則認為此動態主體特徵為1人以上且身體接觸。
  13. 如申請專利範圍第9項所述之行為偵測監控系統，其中該門檻值判斷模組更具有一重心判斷模組，用以判斷該動作歷史影像得到的動態主體的重心變化是否小於事先所定之變化門檻值。
  14. 依據申請專利範圍第13項所述之行為偵測監控系統，其中，若動態主體的重心變化小於變化門檻值，則認為此動態主體特徵是站立手(拳)腳揮動扭打的打架事件。
  15. 如申請專利範圍第9項所述之行為偵測監控系統，其更包括一事件示警模組，耦接該門檻值判斷模組，用以在該預定之監控行為事件到達門檻值時觸發發出警示。
  16. 依據申請專利範圍第9項所述之行為偵測監控系統，其中，該門檻值判斷模組更具有一面積判斷模組及一重心判斷模組；該面積判斷模組係用以判斷該動作歷史影像得到的動態主體的面積值是否大於事先所定之面積門檻值；該重心判斷模組係用以在該動態主體的面積大於該面積門檻值時，繼續判斷該動作歷史影像得到的動態主體的重心變化是否小於事先所定之變化門檻值；其中，若該動態主體的重心變化小於該變化門檻值，則認為此動態主體特徵是站立手(拳)腳揮動扭打的打架事件。
TW99124811A 2010-07-23 2010-07-23 Method and system of monitoring and monitoring of fighting behavior TWI423148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW99124811A TWI423148B (zh) 2010-07-23 2010-07-23 Method and system of monitoring and monitoring of fighting behavior

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW99124811A TWI423148B (zh) 2010-07-23 2010-07-23 Method and system of monitoring and monitoring of fighting behavior

Publications (2)

Publication Number Publication Date
TW201205470A TW201205470A (en) 2012-02-01
TWI423148B true TWI423148B (zh) 2014-01-11

Family

ID=46761670

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99124811A TWI423148B (zh) 2010-07-23 2010-07-23 Method and system of monitoring and monitoring of fighting behavior

Country Status (1)

Country Link
TW (1) TWI423148B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045372B (zh) * 2019-12-30 2021-11-23 重庆能工科技发展有限公司 一种智能工地管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200703154A (en) * 2005-02-15 2007-01-16 Objectvideo Inc Video surveillance system
CN101751678A (zh) * 2009-12-16 2010-06-23 北京智安邦科技有限公司 一种人群剧烈运动的检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200703154A (en) * 2005-02-15 2007-01-16 Objectvideo Inc Video surveillance system
CN101751678A (zh) * 2009-12-16 2010-06-23 北京智安邦科技有限公司 一种人群剧烈运动的检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
馬翔毅, 中央大學資訊工程系, 使用動態背景補償以偵測與追蹤移動監控畫面之前景物, 97年7月 *

Also Published As

Publication number Publication date
TW201205470A (en) 2012-02-01

Similar Documents

Publication Publication Date Title
US20200205697A1 (en) Video-based fall risk assessment system
Haque et al. Heartbeat rate measurement from facial video
Foroughi et al. Intelligent video surveillance for monitoring fall detection of elderly in home environments
Vaidehi et al. Video based automatic fall detection in indoor environment
Rougier et al. Fall detection from human shape and motion history using video surveillance
Foroughi et al. An eigenspace-based approach for human fall detection using integrated time motion image and neural network
Belshaw et al. Towards a single sensor passive solution for automated fall detection
Bevilacqua et al. Fall detection in indoor environment with kinect sensor
Shoaib et al. View-invariant fall detection for elderly in real home environment
Nguyen et al. An efficient camera-based surveillance for fall detection of elderly people
JP7185805B2 (ja) 転倒リスク評価システム
JP6822328B2 (ja) 見守り支援システム及びその制御方法
Debard et al. Camera based fall detection using multiple features validated with real life video
CN102457705A (zh) 打架行为检测监控方法与系统
CN111783702A (zh) 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
Stone et al. Silhouette classification using pixel and voxel features for improved elder monitoring in dynamic environments
TWI493510B (zh) 跌倒偵測方法
CN115116127A (zh) 一种基于计算机视觉和人工智能的跌倒检测方法
Patwardhan Edge based grid super-imposition for crowd emotion recognition
CN114792429A (zh) 多视角摔倒检测方法、装置及存储介质
CN115471916A (zh) 吸烟检测方法、装置、设备及存储介质
Belbachir et al. Event-driven feature analysis in a 4D spatiotemporal representation for ambient assisted living
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
JP6822326B2 (ja) 見守り支援システム及びその制御方法
Khan et al. Video analytic for fall detection from shape features and motion gradients

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees