KR20160057503A - Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition - Google Patents

Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition Download PDF

Info

Publication number
KR20160057503A
KR20160057503A KR1020140156076A KR20140156076A KR20160057503A KR 20160057503 A KR20160057503 A KR 20160057503A KR 1020140156076 A KR1020140156076 A KR 1020140156076A KR 20140156076 A KR20140156076 A KR 20140156076A KR 20160057503 A KR20160057503 A KR 20160057503A
Authority
KR
South Korea
Prior art keywords
violent
term
action
behavior
motion
Prior art date
Application number
KR1020140156076A
Other languages
Korean (ko)
Other versions
KR101651410B1 (en
Inventor
박성기
김동환
송동희
김찬수
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020140156076A priority Critical patent/KR101651410B1/en
Publication of KR20160057503A publication Critical patent/KR20160057503A/en
Application granted granted Critical
Publication of KR101651410B1 publication Critical patent/KR101651410B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The present invention relates to a violence detection system for detecting violent behavior by reflecting time differences between behavior. based on multiple time difference behavior recognition and detection method thereof. The violence detection system of the present invention comprises: an image obtainment unit (110) for obtaining an image photographed by a camera; a person tracking unit (120) for detecting and tracking a person by setting the person as an object based on an image processing technology through the obtained image; a multi-period movement analysis unit (130) for analyzing and extracting movements of the person tracked during multiple divided periods including a short-term period, a mid-term period, and a long-term period; a mulitilayered violent behavior determination unit (140) for recognizing violent behavior in a mulitilayered structure based on data analyzed by the multi-period movement analysis unit (130), and for detecting violent behavior by integrating and analyzing a recognized result for the mulitilayered violent behavior; and an alarm generation unit (150) for generating an alarm by step according to detection of a violent behavior. Therefore the violence detection system according to the present invention can enhance accuracy for violent behavior detection and maximize a recognizing rate of violent behavior.

Description

다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법{Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition}TECHNICAL FIELD [0001] The present invention relates to a violent detection system and a detection method based on multi-paralytic behavior recognition,

본 발명은 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법에 관한 것으로, 보다 상세하게는 카메라로부터 촬영된 영상이미지를 영상분석하여 감시 객체인 사람의 폭력행위 여부를 명확하게 검출하여 사용자에게 알람하기 위한 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법에 관한 것이다.
The present invention relates to a violent detection system and a detection method based on multi-paralytic behavior recognition, and more particularly, to an image detection method and apparatus for detecting a violent act of a person, And more particularly, to a violent detection system and a detection method based on multiple parallax behavior recognition.

감시카메라는 주택가, 검물 내외부, 도로 및 공공시설 등에 다수가 설치되어 있고 최근에도 그 설치수량이 계속 증가하고 있다. 상기 감시카메라는 주로 안전보안상황 및 불법행위를 모니터링하기 위하여 존재한다.Many surveillance cameras have been installed in residential areas, inside and outside of sanitary parts, roads and public facilities, and the number of installed cameras has been increasing in recent years. The surveillance cameras primarily exist for monitoring security security situations and illegal activities.

그러나, 모니터링 인원의 수적한계 및 감시 시간이 증가함에 반비례하여 인지능력이 저하되는 문제점이 있었다. 이를 극복하기 위해 영상분석을 통한 상황 및 행동 인식방법이 적용된 시스템들이 개발되고 있다.However, there is a problem that the cognitive ability is inversely proportional to the increase in the numerical limit and monitoring time of the monitoring personnel. In order to overcome this, systems are applied which are applied to the situation and behavior recognition method through image analysis.

하지만, 종래의 방법들 중에 행동의 시차적 차이까지 고려한 방법은 존재하지 않는다. 즉, 모든 행동이 같은 시차 정보를 이용하여 인식되는 방식이다. 그러나, 행동에는 다양한 시차가 존재한다. 예를 들어 짧은 시간의 폭력은 주먹질의 행동이며 보다 긴 시간의 폭력은 다양한 행동이 조합된 행위이다. 이와 같은 행동의 시차적 차이를 고려하지 않은 감시시스템은 인식 성능이 감소될 수 밖에 없는 문제점이 있었다.
However, among the conventional methods, there is no method that takes into account the temporal difference in behavior. That is, all actions are recognized using the same parallax information. However, there are various disparities in behavior. For example, short-term violence is the act of punching, and longer-term violence is a combination of various actions. The surveillance system that does not take into account the time difference of such behavior has a problem that the recognition performance is inevitably reduced.

등록특허공보 제10-1394270호(2014.05.07), 영상 감지 시스템 및 방법Korean Patent Registration No. 10-1394270 (May 31, 2014), image detection system and method

본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위 검출에 대한 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있는 지정된 사물 및 영역에 대한 감시시스템 및 감시방법을 제공하는 것에 있다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide a multi-layer structure-based action recognition technique using multiple parallaxes including short, The present invention provides a surveillance system and a surveillance method for designated objects and areas that can maximize the recognition rate by increasing the accuracy of detection of violent actions by using the detection of violent actions and considering the temporal difference of behaviors.

상기의 목적을 달성하기 위한 본 발명에 따른 지정된 사물 및 영역에 대한 감시시스템은, 행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출시스템에 있어서, 카메라로부터 촬영된 영상이미지를 획득하는 영상획득부(110); 획득된 영상이미지를 통해 영상처리 기술을 기반으로 하여 사람을 객체로 하고 검출 및 추적하는 사람추적부(120); 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석부(130); 상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단부(140); 및 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성부(150);를 포함한다.According to another aspect of the present invention, there is provided a violence detection system for detecting a violent behavior by reflecting a time lag of a behavior, the system comprising: An image acquisition unit 110; A person tracking unit 120 for detecting and tracking a person as an object based on the image processing technique through the obtained image; A multi-period motion analyzer 130 for analyzing and extracting motion information of a person being tracked for a plurality of periods including short-term, medium-term, and long-term; A multi-layered violent behavior determination unit 140 for recognizing a violent behavior of a multi-layered structure based on analysis data of the multi-period motion analysis unit 130 and detecting a violent behavior by convergence analysis of recognition results of the multiple actions; And an alarm generating unit 150 for generating an alarm in stages according to whether or not the violent action is detected.

여기서, 상기 사람추적부(120)는, 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출부(121)와, 상기 객체추출부에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적부(122) 및, 상기 객체추적부(122)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출부(123)를 포함할 수 있다.Here, the human tracking unit 120 may include an object extraction unit 121 for detecting an object to be traced by a person in the image image, A motion extracting unit 122 for extracting motion information of an individual tracked object based on an optical stream and extracting group motion information for an object tracked by the object tracking unit 122, (123).

또한, 상기 다중기간 움직임 분석부(130)는, 상기 사람추적부(120)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성하며, 상기 다층폭력행위 판단부(140)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단부(141)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단부(142)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단부(143) 및, 각 판단부(141 내지 143)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단부(144)를 포함할 수 있다.The multi-period motion analyzer 130 generates short-term motion data, medium-term motion data, and long-term motion data using object tracking and motion data from the human tracking unit 120, The determination unit 140 may include a short-term action determination unit 141 for recognizing an abusive action using the short-term motion data and providing a recognition result for the action and providing the recognition result, A long term action determination unit 142 for recognizing the violent action using the long term movement data and providing the result of recognition of the action as data, (143) for collecting data from each of the determination units (141 to 143) It may include a determination unit (144).

또한, 상기 폭력행위융합 판단부(144)는, 하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출할 수 있다.In addition, the violent behavior fusion determiner 144 may determine a probabilistic analysis method for the final violent behavior that is affected by the average of the multi-layer violent behavior probabilities and the previous final probabilities according to Equation 1 below, The violent behavior can be detected using the method of analyzing the violent behavior probability using the recognition result of each layer using the distance between the nodes of the SGT model according to Equation (2).

[수학식 1][Equation 1]

Figure pat00001

Figure pat00001

[수학식 2]&Quot; (2) "

Figure pat00002

Figure pat00002

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 지정된 사물 및 영역에 대한 감시방법은, 행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출방법에 있어서, 카메라로부터 촬영된 영상이미지를 획득하는 영상획득 단계(S210); 획득된 영상이미지를 통해 영상처리 기술을 기반으로 하여 사람을 객체로 하고 검출 및 추적하는 사람추적 단계(S220); 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석 단계(S230); 상기 다중기간 움직임 분석 단계(S230)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단 단계(S240); 및 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성 단계(S250);를 포함한다.According to another aspect of the present invention, there is provided a violence detection method for detecting a violent behavior by reflecting temporal differences in behavior, the method comprising the steps of: An image acquiring step S210 of acquiring the image; A person tracking step (S220) of detecting and tracking a person as an object on the basis of the image processing technique through the obtained image; A multi-period motion analysis step (S230) for analyzing and extracting motion information of a person being tracked for a plurality of periods including a short-term, a middle-term, and a long-term; A multi-layer violent action determination step (S240) of recognizing a violent behavior of the multi-layer structure based on the analysis data of the multi-period motion analysis step (S230) and detecting a violent behavior by convergence analysis of recognition results of the multiple actions; And an alarm generating step (S250) of generating an alarm in stages according to whether or not the violent action is detected.

여기서, 상기 사람추적 단계(S220)는, 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출 단계(S221)와, 상기 객체추출 단계(S221)에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적 단계(S222) 및, 상기 객체추적 단계(S222)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출 단계(S223)를 포함할 수 있다.Herein, the human tracking step S220 may include an object extracting step S221 for detecting an object to be tracked in the video image, an image extracting step S221 for extracting an object detected in the object extracting step S221, An object tracking step (S222) for tracking a motion and a trajectory according to a change; and a motion information extracting step for extracting motion information of an individual track object based on an optical track, and extracting group motion information on an object tracked in the object tracking step (S222) And a motion extraction step (S223).

또한, 상기 다중기간 움직임 분석 단계(S230)는, 상기 사람추적 단계(S220)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성하며, 상기 다층폭력행위 판단 단계(S240)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단 단계(S241)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단 단계(S242)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단 단계(S243) 및, 각 판단 단계(S241 내지 S243)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단 단계(S244)를 포함할 수 있다.In addition, the multi-period motion analysis step S230 may generate short-term motion data, medium-term motion data, and long-term motion data using object tracking and motion data from the human tracking step S220, The determination step S240 may include a short-term action determination step S241 of recognizing an assaulting behavior using the short-term motion data and providing a recognition result of the act as data, and a short-term action determination step S241 of using the medium- A long-term action determination step (S242) of recognizing a violent action using the long-term motion data and providing a recognition result for the action, (S243), and the respective data are collected from the respective determination steps (S241 to S243) And a violent action fusion determination step (S244) for detecting the upper level.

또한, 상기 폭력행위융합 판단 단계(S244)는, 하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출할 수 있다.In addition, the above-described violent behavior fusion determination step S244 may include a probabilistic analysis method for the final violent behavior that is influenced by the average of the multi-layer violent behavior probabilities and the previous final probabilities according to Equation (1) The violent behavior can be detected using the method of analyzing the violent behavior probability using the recognition result of each layer using the distance between the nodes of the SGT model according to Equation (2).

[수학식 1][Equation 1]

Figure pat00003

Figure pat00003

[수학식 2]&Quot; (2) "

Figure pat00004

Figure pat00004

본 발명에 따른 지정된 사물 및 영역에 대한 감시시스템 및 감시방법에 의하면, 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위 검출의 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있다.
According to the monitoring system and the monitoring method for a designated object and area according to the present invention, a multi-layer structure-based action recognition technique using multiple parallax including short-term, medium-term, and long-term and a fusion technique using a plurality of SGT- By detecting violent behavior, it is possible to maximize the recognition rate by increasing the accuracy of detection of violent behavior and considering the time difference of behavior.

도 1은 본 발명의 바람직한 실시예에 따른 지정된 사물 및 영역에 대한 감시시스템의 기능적 구성을 나타낸 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 영상획득부의 기능적 구성 및 동작원리를 나타낸 블록도 및 플로우챠트,
도 3은 본 발명의 바람직한 실시예에 따른 다중기간 움직임 분석부의 데이터가 각 행위판단부로 전송되는 동작원리를 나타낸 블록도,
도 4는 본 발명의 바람직한 실시예에 따른 다층폭력행위 판단부의 동작원리를 나타낸 플로우챠트,
도 5는 본 발명의 바람직한 실시예에 따른 폭력행위융합 판단부의 동작원리를 설명하기 위한 개략도,
도 6은 본 발명의 바람직한 실시예에 따른 개인 및 그룹의 양적/질적 단위 상태를 나타낸 표,
도 7은 본 발명의 바람직한 실시예에 따른 다층폭력행위 판단부가 FMTL기반의 심볼릭 모델을 생성하는 구성을 설명하기 위한 개략도,
도 8은 본 발명의 바람직한 실시예에 따른 다층폭력행위 판단부가 SGT모델 기반의 심볼록 상태 천이를 통한 행태를 인식하는 구성을 설명하기 위한 개략도,
도 9는 본 발명의 바람직한 실시예에 따른 다층폭력행위 판단부가 그룹 행태인식을 위해 SGT모델링하는 구성을 설명하기 위한 개력도,
도 10은 본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출방법의 순서를 나타낸 순서도이다.
1 is a block diagram illustrating a functional configuration of a monitoring system for a designated object and area according to a preferred embodiment of the present invention;
2 is a block diagram and a flow chart showing a functional configuration and an operation principle of an image acquisition unit according to a preferred embodiment of the present invention,
FIG. 3 is a block diagram illustrating an operation principle in which data of a multi-period motion analyzer according to a preferred embodiment of the present invention is transmitted to each behavior determiner;
FIG. 4 is a flow chart showing the operation principle of the multi-layer violent behavior determiner according to the preferred embodiment of the present invention,
FIG. 5 is a schematic view for explaining an operation principle of a violent action fusion determination unit according to a preferred embodiment of the present invention;
FIG. 6 is a table showing quantitative / qualitative unit states of individuals and groups according to a preferred embodiment of the present invention;
FIG. 7 is a schematic view for explaining an arrangement for generating an FMTL-based symbolic model by a multi-layer violent behavior determination unit according to a preferred embodiment of the present invention;
FIG. 8 is a schematic diagram for explaining a configuration in which a multi-layered violent action determination unit recognizes a behavior based on an SGT model-based symbol lock state transition according to a preferred embodiment of the present invention;
FIG. 9 is an explanatory diagram illustrating an SGT modeling method for recognizing a group behavior according to a preferred embodiment of the present invention; FIG.
10 is a flowchart illustrating a procedure of a violent detection method based on multiple parallax behavior recognition according to a preferred embodiment of the present invention.

이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms, and the inventor should appropriately interpret the concepts of the terms appropriately The present invention should be construed in accordance with the meaning and concept consistent with the technical idea of the present invention.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.

먼저, 본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출시스템의 구성 및 기능을 설명하기로 한다.First, the configuration and functions of a violent detection system based on multiple parallax behavior recognition according to a preferred embodiment of the present invention will be described.

본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출시스템은, 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위의 검출 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있는 폭력 검출시스템으로서, 도 1에 도시된 바와 같이 영상획득부(110), 사람추적부(120), 다중기간 움직임 분석부(130), 다층폭력행위 판단부(140) 및 알람생성부(150)를 포함하여 구비된다.The multi-paralytic-action-based violence detection system according to the preferred embodiment of the present invention is a multi-paralytic structure-based action recognition technique using multiple parallaxes including short-term, medium-term and long-term and a plurality of SGT- FIG. 1 is a block diagram of a violent detection system according to an embodiment of the present invention. FIG. 1 is a block diagram illustrating a violent detection system according to an embodiment of the present invention. A multi-layer motion analyzer 130, a multi-layer violent action determiner 140, and an alarm generator 150. The multi-

상기 영상획득부(110)는, 영상분석에 필요한 영상이미지를 획득하는 구성으로서, 본 발명의 바람직한 실시예에 따른 폭력 검출시스템이 설치된 감시장소에 배치된 카메라(미도시)로부터 촬영된 영상을 수신하여 영상분석을 위한 기초데이터인 영상이미지를 획득한다. 여기서, 촬영된 영상이미지는 시스템에 구비되는 별도의 메모리 또는 데이터베이스에 저장되며 시계열 기준에 따라 구분되어 저장될 수 있다.The image acquiring unit 110 acquires a video image required for image analysis, and receives an image photographed from a camera (not shown) disposed at a surveillance place where the violent detection system according to the preferred embodiment of the present invention is installed And acquires a video image, which is basic data for image analysis. Here, the photographed image image is stored in a separate memory or database provided in the system, and can be stored in accordance with a time series standard.

상기 사람추적부(120)는, 획득된 영상이미지 내에서 영상처리 기술을 기반으로 사람을 객체로 하여 검출 및 추적하는 구성으로서, 도 2에 도시된 바와 같이 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출부(121)와, 상기 객체추출부에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적부(122) 및, 상기 객체추적부(122)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출부(123)를 포함하여 구비된다.The person tracking unit 120 is a unit for detecting and tracking a person as an object on the basis of an image processing technique in the obtained image image. As shown in FIG. 2, An object tracking unit 122 for tracking a motion and a trajectory according to a change in the image of the object detected by the object extracting unit 122, And a motion extracting unit 123 extracting motion information of the individual tracked objects based on the optical streams, and extracting group motion information.

도 2를 참고하여 보다 구체적으로 설명하면, 상기 객체검출부(121)는 먼저 잡음의 영향을 감소시키기 위하여 가우시안 필터를 이용하여 영상을 블러링(Smooth)하고, 다중 가우시안 모델을 이용하여 픽셀단위로 배경을 생성하고 Backbround Subtraction을 이용하여 가우시안 모델을 갱신하며, 배경 초기화 완료여부를 확인하고 N 프레임 동안의 입력을 배경 안정화에 이용한다.2, the object detection unit 121 firstly blurs an image using a Gaussian filter to reduce the influence of noise, and then uses a multi-Gaussian model to generate a background And updates the Gaussian model by using Backbround Subtraction. It confirms whether the background initialization is completed, and uses the input during N frames for background stabilization.

이어서, (t-1)의 전경 픽셀수와 (t)의 전경 픽셀수의 비율을 추출하고, 전경변화 비율과 Threshold를 비교하여 전경의 갑작스러운 변화를 제외할 수 있도록 필터링한다.Next, the ratio of the number of foreground pixels of (t-1) to the number of foreground pixels of (t) is extracted, and the foreground change ratio and the threshold are compared to filter out sudden changes of foreground.

또한, 전경에서 Sort 잡음을 제거하기 위하여 모폴로지(Morphology) 연산을 수행하고 남은 전경을 크기 기반으로 제거 후에 레이블링(Labeling)을 통하여 픽셀기반에서 영역기반으로 전경을 변환한다.In addition, Morphology operation is performed to remove Sort noise in the foreground, and the remaining foreground is removed on the basis of size, and then the foreground is converted on the basis of pixels on a pixel basis through labeling.

그리고, 피어슨 비대칭 계수를 이용하여 가로와 세로의 전경이 비대칭인 경우를 그림자로 정의하고 그 영역을 제거한 후에 전경의 영역 정보를 보완하며 동일한 영역을 포함하는 전경영역은 하나의 영역으로 간주한다.Then, when the asymmetric foreground and the foreground are asymmetric by using the Pearson asymmetry coefficient, the foreground region information is supplemented after the region is removed, and the foreground region including the same region is regarded as one region.

이어서, (t-1)의 Blob과 (t)의 Blob간의 위치와 겹침 영역을 비교하여 연속적인 객체 간에는 정보(아이디)를 상속하고, 사용자에 의해 정의된 크기, 가로 세로 비율 등의 객체 조건을 기반으로 Blob을 필터링하며, 객체라고 정의할 수 있는 Blob을 객체로 진급시키고 진급된 객체는 추적을 위한 후보군으로 등록하여 관리한다.Next, the position between the Blob of (t-1) and the Blob of (t) is compared with the overlap region, and the information (ID) is inherited between consecutive objects and the object condition such as size, The blob is filtered based on the object, the blob that can be defined as the object is promoted as an object, and the promoted object is registered as a candidate for tracking.

한편, 도 2를 참고하면 상기 객체추적부(122)는, 현재 추적중인 대상이 있는지 여부를 확인하고, 추적 대상의 특징을 추출하기 위하여 입력영상을 색 도메인으로 변환시키며, 파티클 필터를 기반으로 추적 대상의 다음 위치를 추정한다.Referring to FIG. 2, the object tracking unit 122 determines whether there is an object currently being tracked. The object tracking unit 122 converts the input image into a color domain in order to extract features of the object to be tracked. Estimate the next position of the object.

이어서, 상기 파티클 필터에 의해 예측된 추적 대상의 다음 위치와 객체검출부(121)에 의해 검지된 후보 객체 간에 위치 중첩정도를 점검하고, 추적객체의 다음 예상 위치와 동일한 후보 객체가 있으면 두 객체는 동일한 것으로 판단한다.Then, the degree of position overlap between the next target position predicted by the particle filter and the candidate object detected by the object detection unit 121 is checked. If there is the same candidate object as the next expected position of the tracking object, .

또한, 추적 중인 객체의 정보(Feature 특징, 위치 정보 등)를 갱신하고, 불필요한 추적객체를 제거한다. 이때 지속적으로 이동하는 객체는 그 내부에 전경이 지속적으로 존재하여야 하며 이를 이용하여 이동하는 객체 중에서 전경을 포함하지 않는 추적 객체를 제거한다.Also, the information of the object being tracked (feature feature, positional information, etc.) is updated, and unnecessary tracking objects are removed. At this time, the object continuously moving must have a foreground continuously inside it, and the tracking object which does not include the foreground among the moving objects is removed using the foreground.

그리고, 후보 객체를 추적 대상으로 등록하고 추적중인 객체의 궤적 정보를 생성 및 갱신하며, 추적중인 객체들간에 위치의 인접성을 판단하여 가가운 거리에 있는 객체들은 동일한 그룹으로 분류하고 전경 영역 정보를 이용하여 그룹의 영역정보를 보완한다.Then, the candidate object is registered as a tracking object and the trajectory information of the object being tracked is generated and updated. The proximity of the position between the objects being tracked is determined, and the objects in the distance are classified into the same group and the foreground region information is used And the region information of the group is supplemented.

도 2를 참고하면 상기 움직임추출부(123)는, 먼저 추적 객체가 있는지 여부를 확인하고 추적 객체가 존재하면 객체의 움직임 분석을 위한 기초정보로써 광류를 통하여 픽셀단위의 움직임 크기 및 방향을 추출한다.Referring to FIG. 2, the motion extracting unit 123 first determines whether there is a tracking object, and if there is a tracking object, extracts a motion magnitude and a direction of a pixel unit through an optical flow as basic information for analyzing the motion of the object .

또한, 개별 추적 객체 영역에 해당하는 광류를 이용하여 이동속도, 움직임 크기, 움직임 방향 등의 객체 움직임 정보를 추출하며, 그룹 단위로 해당 영역에 있는 광류를 이용하여 이동속도, 움직임 크기, 움직임 방향 등의 그룹 움직임 정보를 추출한다.Also, the object motion information such as the moving speed, the motion size, and the motion direction is extracted using the optical stream corresponding to the individual tracking object area, and the moving speed, the motion size, the moving direction, etc. The group motion information is extracted.

상기 다중기간 움직임 분석부(130)는, 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 구성으로서, 도 3에 도시된 바와 같이 상기 사람추적부(120)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성한다.The multi-period motion analyzer 130 is configured to analyze and extract human motion information tracked during a multi-period including a short-term, a middle-term, and a long-term. As shown in FIG. 3, Short-term motion data, long-term motion data, and long-term motion data using object tracking and motion data from the object tracking unit 120.

도 6을 참고하여 보다 구체적으로 설명하면, 양적데이터를 Tracker로부터 추출하며, 그 추출된 데이터를 단기간, 중기간, 장기간 별로 (예를 들어 0.2초, 1초, 2초간) 데이터를 누적시켜 평균값을 각각 구한다.6, the quantitative data is extracted from the tracker, and the extracted data is accumulated for a short term, a medium term, and a long term (for example, 0.2 second, 1 second, and 2 seconds) Respectively.

또한, 각각 구한 평균값을 동일한 모델을 가진 FMTL과 SGT를 통해 현재 행위 및 상황을 인지하고, 추적적으로 단기간, 중기간, 장기간의 시간텀은 계속 고정형으로 쓸 수도 있으며, 혹은 랜덤방식을 이용하여 단기간, 중기간, 장기간 마다의 Min-Max 구간 내에서 랜덤으로 시간텀을 선택하여 이용할 수도 있다.In addition, the current behavior and situation are recognized through the FMTL and SGT having the same average value, and the short term, medium term, and long term time periods can be continuously fixedly used. Alternatively, , It is also possible to select and use a time term randomly within the Min-Max interval for the middle and long term.

상기 다층폭력행위 판단부(140)는, 상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 구성으로서, 도 1, 도 3 및 도 4에 도시된 바와 같이 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단부(141)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단부(142)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단부(143) 및, 각 판단부(141 내지 143)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단부(144)를 포함하여 구비된다.The multi-layer violent behavior determination unit 140 recognizes a violent behavior of the multi-layered structure based on the analysis data of the multi-period motion analysis unit 130 and detects a violent behavior by performing a fusion analysis on the recognition results of the multi- 1, 3 and 4, a short-term action determining unit 141 for recognizing an assaulting action using the short-term motion data and providing a recognition result for the action and providing the result, A medium-term action determiner 142 for recognizing the violent action using medium-term motion data and providing a recognition result for the action and providing the result of the recognition; and a medium-term action detector 142 for recognizing the violent action using the long- A long-term action determination unit 143 that provides results of the data, and a data acquisition unit 143 that collects the data from each of the determination units 141 to 143, The shipment includes the violent action fusion determination unit 144.

여기서, 도 4에는 SGT의 기본 흐름도가, 도 9에는 그룹행위(폭력)을 인지하기 위한 SGT모델이 개시되어 있다.Here, FIG. 4 shows a basic flow chart of the SGT, and FIG. 9 shows an SGT model for recognizing a group action (violence).

보다 구체적으로 설명하면, 상기 SGT는 객체(그룹, 사람)의 현재 단위상태와 이전시간의 노드(상황 및 행위, 예: 도 9의 움직임, 정지, 폭력 등 각 노드=상황/행위)를 이용해서 현재시간의 상황을 판단한다.More specifically, the SGT uses the current unit state of the object (group, person) and the node at the previous time (situation and behavior, e.g., each node = situation / action such as motion, Judge the current time situation.

또한, 도 4의 현재노드확인(이전타임에 인지한 결과)을 확인하고 처음 검출된 객체인 경우는 Root Node로부터 시작하며, 상황(=이벤트)은 구체화, 예측의 두 가지 방법으로 그 객체의 노드가 천이/이동될 수 있다.In addition, the current node check (the result of recognition at the previous time) of FIG. 4 is confirmed, and when the object is detected for the first time, the node starts from the root node. Can be shifted / moved.

더불어, 기본적으로 예측을 먼저 확인하고(Root Node 외), 예측이 가능하면 천이한 뒤에 천이한 노드에서 구체화가 가능한지 확인하고 이 후에 구체화가 더 이상 불가능할 때까지 구체화를 확인하며 종료하고 마지막 노드를 인식결과로 출력한다.In addition, basically, check the prediction first (Root Node other), check if the specification is possible at the transition node after the transition if the prediction is possible, then confirm the specification until the specification is no longer possible, Output as a result.

구체화는 도 9의 아래로 내려가는 검은색 화살표를 나타내며, 예측은 가로축으로 이동되는 빨간색 화살표를 나타낸다. 예를 들어 타임 t에 객체가 Tracker → FTML을 통해 단위상태 속도가 없음을 가지고 있고 이전 t-1에는 움직임 상황이었다면, 이 객체는 예측 가능한 노드 정지 노드의 단위상태를 자신의 단위상태와 비교하여 동일한지 판단하여 같으면 그 노드(정지)로 천이하게 된다.The embodiment shows black arrows going down in FIG. 9, and the prediction shows a red arrow moving in the horizontal axis. For example, if at time t the object has no unit state velocity through Tracker → FTML and it was in motion at the previous t-1, then this object compares the unit state of the predictable node stop node to its unit state, And if it is the same, it transits to the node (stop).

그 후에 구체화 즉, 정지에서 구체화 가능한 노드, 심한움직임노드로 천이가 가능한지/그 노드의 단위상태가 동일한지 판단하고 불일치한다면 상황 인지를 종료하며 같은 경우에는 노드를 이동하고 그 이동된 노드에서 구체화 가능한 노드를 찾아서 비교를 한다. 그리고 예측이 불가능할 때, 현재 노드가 End-Sit.(Situation)인지 확인하고 맞다면 상위 노드로 천이하며, 상위 노드로 이동후에는 예측/구체화를 다시 반복하여 구체화가 불가능한 노드로 천이하게 된다.Then, it is determined whether the transition from the stop to the materializable node, the severe motion node, or the unit state of the node is the same, and if there is an inconsistency, the situation is terminated. In the same case, the node is moved, Find the nodes and compare them. If it is impossible to predict, it is confirmed that the current node is an End-Sit. (Situation). If it is correct, it transits to an upper node. After moving to an upper node, it repeats prediction / specification again.

도 5는 단/중/장기간 인지결과가 융합되고 현재 융합인지된 결과는 이전 타임에 융합인지된 결과에도 영향을 받는다는 것을 그래픽적으로 나타낸 것이며, 즉 수학식 1을 그래픽 모델로 표현한 것이다.FIG. 5 graphically shows that the result of the recognition of the short / medium / long term is fused and the result of the present fusion recognition is affected by the result of recognition of the fusion at the previous time.

상기 다층폭력행위 판단부(140)는, 상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 구성으로서, 하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출할 수 있다.The multi-layer violent behavior determination unit 140 recognizes a violent behavior of the multi-layered structure based on the analysis data of the multi-period motion analysis unit 130 and detects a violent behavior by performing a fusion analysis on the recognition results of the multi- , A probabilistic analysis method for the final violent behavior that is affected by the average of the multi-layer violent behavior probabilities and the previous final probabilities according to the following equation (1), and the probabilistic analysis method for the SGT model Violent behavior can be detected by using the probability analysis method of violence using the recognition result of each layer using the distance between nodes.

[수학식 1][Equation 1]

Figure pat00005
Figure pat00005

여기서, 상기 et는 현재 프레임(t타임)의 다중시차 인지결과를 융합한 최종 폭력 인지 결과(현재 화면의 폭력 상황인지 나타내는 확률, 양적 데이터, 0.0~1.0), et-1은 이전 프레임의 인지 결과, Nlayers는 다중 인지층 개수 즉, 3., Player,t는 수학식 2의 결과 즉, 현재 노드가 대상(폭력) 노드와 얼마나 가까운지 나타내는 거리(0.0~1.0). Pshort,t는 단기간 인지층 결과, Pmid,t은 중기간 인지층 결과, Plong,t는 장기간 인지층 결과를 각각 의미한다.
Here, the e t is that the fusion results that the multiple time difference of the current frame (t time) final force results (probability indicating that the violence of the current screen, the quantitative data, 0.0 ~ 1.0), e t -1 is the previous frame The recognition result shows that N layers are the number of multiple cognitive layers, ie, 3, P layer, t is the distance (0.0-1.0) of the result of Equation 2, indicating how close the current node is to the target (violence) node. P short, t represents short-term cognitive layer result, P mid, t represents mid-term cognitive layer result, P long, t represents long-term cognitive layer result respectively.

[수학식 2]&Quot; (2) "

Figure pat00006
Figure pat00006

[수학식 2]는 각 층마다 인지된 결과(질적 데이터)를 노드간 거리를 이용하여 확률적 데이터로 변경하는 식으로서, distlayer,current는 각 층(layer)마다 인지된 결과/노드와 대상 노드(폭력:1vs1,1vs다수,다수vs다수)간의 거리를 나타내고 distmax는 대상 노드와 가장 멀리 떨어진 노드(도9의 예로는 납치 노드)의 거리를 의미한다.[Mathematical Expression 2] is a formula for changing the perceived result (qualitative data) for each layer into probabilistic data using the inter-node distance, where dist layer and current are the perceived result / And dist max denotes the distance between the node (the violence: 1vs1, 1vs, many, many vs many) and the distant node (the example of Fig. 9, the abduction node).

즉 여기서는 distmax는 4이며, distlayer,current는 인지 노드마다 다른 값 예를들어, 현재노드가 심한움직일 경우는 1이고 1vs1일 경우 0이다. distmax는 layer와 관계없이(단/중/장기간 인지층) 동일한 SGT모델을 이용하기 때문에 같은 값을 가져서 동일한 값이기 때문에 layer별로 다른 값을 가지지 않는다.In other words, dist max is 4 and dist layer and current are different values for each recognition node. For example, when the current node moves strongly, it is 1 and when it is 1vs1, it is 0. Since dist max uses the same SGT model regardless of the layer (single / medium / long-term sensing layer), it has the same value and has the same value.

또한, 도 9는 본 발명의 바람직한 실시예에 따른 폭력 검출시스템에서 폭력을 인지하기위한 SGT 모델이며, 이는 알고리즘 흐름의 이벤트 예측/구체화를 통한 천이와 각 노드로 이동하기 위해 만족해야할 단위 상태 등을 나타낸다.9 is an SGT model for recognizing violence in a violent detection system according to a preferred embodiment of the present invention. This SGT model is a SGT model for recognizing violations in a violent detection system according to a preferred embodiment of the present invention. .

도 6은 실제 본 발명의 바람직한 실시예에 따른 폭력 검출시스템에서 이용하는 객체에대한 양적/질적 데이터를 나타낸 것이다.FIG. 6 shows quantitative / qualitative data on an object used in a violent detection system according to a preferred embodiment of the present invention.

상기 알람생성부(150)는, 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 구성으로서, 폭력행위가 판단되면 기지정된 방식을 통해 알람동작함으로써 사용자가 즉각적으로 인지할 수 있도록 한다.The alarm generating unit 150 generates an alarm at each step according to whether or not the violent action is detected. When the violent action is determined, the alarm generating unit 150 performs an alarm operation in a predetermined manner so that the user can immediately recognize the violent action.

여기서, 단계적 알람은 예를 들어 현재 et의 결과를 이용하여 1.0인 경우, 100% 확실한 폭력이 발생했다고 알려주고, 0.5인 경우, 경고를 띄워 모니터 요원의 확인이 필요한 정도의 알람을 발생시키는 것을 의미한다. 이는 확실히 정해진 방법은 없으며, et의 결과를 사용자가 설정을 통해서 단계적 알람을 발생시킬 수 있다.
Here, the step-by-step alarm indicates that 100% certain violence has occurred when 1.0, for example, using the result of the current et, and if it is 0.5, it means that an alarm is issued to generate an alarm requiring the confirmation of the monitoring personnel . There is no definite way to do this, and the user can set the result of the et to generate a phased alarm.

다음으로, 본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출방법을 설명하기로 한다.Next, a description will be made of a violent detection method based on recognition of multiple parallaxes according to a preferred embodiment of the present invention.

본 발명의 바람직한 실시예에 따른 폭력 검출방법은, 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위 검출으 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있는 폭력 검출방법으로서, 도 10에 도시된 바와 같이 카메라로부터 촬영된 영상이미지를 획득하는 영상획득 단계(S210)와, 획득된 영상이미지를 통해 영상처리 기술을 기반으로 하여 사람을 객체로 하고 검출 및 추적하는 사람추적 단계(S220)와, 단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석 단계(S230)와, 상기 다중기간 움직임 분석 단계(S230)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단 단계(S240) 및, 상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성 단계(S250)를 포함하여 이루어진다.The violent detection method according to a preferred embodiment of the present invention detects a violent action using a multi-layer structure-based action recognition technology using multiple parallaxes including short-term, medium-term and long-term and a fusion technique of a plurality of SGT- FIG. 10 is a flowchart illustrating a method of detecting violence according to an exemplary embodiment of the present invention. FIG. 10 is a flowchart illustrating a method of detecting violence according to an exemplary embodiment of the present invention. Referring to FIG. 10, A person tracking step S220 for detecting and tracking a person as an object on the basis of the image processing technology through the acquired image image, and a human tracking step S220 for detecting a person who is tracked for multiple periods including short term, middle term and long term A multi-period motion analysis step (S230) for analyzing and extracting motion information, and a multi-period motion analysis step (S230) A multi-layered violent action determination step (S240) of recognizing a violent behavior of the multi-layered structure based on the data of the plurality of layers and detecting a violent action by convergence analysis of recognition results of the plural actions; And generating an alarm (S250).

여기서, 상기 사람추적 단계(S220)는, 상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출 단계(S221)와, 상기 객체추출 단계(S221)에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적 단계(S222) 및, 상기 객체추적 단계(S222)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출 단계(S223)를 포함하여 이루어질 수 있다.Herein, the human tracking step S220 may include an object extracting step S221 for detecting an object to be tracked in the video image, an image extracting step S221 for extracting an object detected in the object extracting step S221, An object tracking step (S222) for tracking a motion and a trajectory according to a change; and a motion information extracting step for extracting motion information of an individual track object based on an optical track, and extracting group motion information on an object tracked in the object tracking step (S222) And a motion extraction step (S223).

또한, 상기 다중기간 움직임 분석 단계(S230)는, 상기 사람추적 단계(S220)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성한다.Also, the multi-period motion analysis step S230 generates short-term motion data, medium-term motion data, and long-term motion data using the object tracking and motion data from the human tracking step S220.

더불어, 상기 다층폭력행위 판단 단계(S240)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단 단계(S241)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단 단계(S242)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단 단계(S243) 및, 각 판단 단계(S241 내지 S243)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단 단계(S244)를 포함하여 이루어질 수 있다.In addition, the multi-layer violent act determination step (S240) may include a short-term action determination step (S241) of recognizing an assault behavior using the short-term motion data and providing a recognition result for the action, (S242) for recognizing a violent act by using the long-term motion data and providing a recognition result of the act as data, and a middle-term action determination step (S242) for recognizing the violent action using the long- A long-term action determination step (S243), and a judging step (S241 to S243), and collecting and integrating the data to detect a violent act (S244).

그리고, 상기 폭력행위융합 판단 단계(S244)는, 하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출한다.The above-described violent behavior fusion determination step S244 may include a probabilistic analysis method for the final violence behavior that is influenced by an average of the multi-layer violent behavior probabilities and a previous final probability according to the following [Equation 1] (2), the violent behavior is detected using the method of analyzing the violent behavior probability using the recognition results of each floor using the distances between the nodes of the SGT model.

[수학식 1][Equation 1]

Figure pat00007

Figure pat00007

[수학식 2]&Quot; (2) "

Figure pat00008

Figure pat00008

상술한 바와 같은 본 발명의 바람직한 실시예에 따른 다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법에 의하면, 단기, 중기 및 장기를 포함하는 다중 시차를 이용한 다층 구조기반의 행위 인식기술과, 복수의 SGT 기반 행위 인식결과 융합기술을 이용하여 폭력행위를 검출함으로써 폭력행위 검출의 정확성을 증대시키며 행동의 시차적 차이를 고려함으로써 인식율을 극대화할 수 있다.According to the multi-parallax-aware recognition-based violence detection system and detection method according to the preferred embodiment of the present invention, a multi-layered structure-based action recognition technique using multiple parallaxes including short-term, SGT - Based Behavior Recognition Result By detecting violent actions using convergence technology, it is possible to maximize the recognition rate by increasing the accuracy of detection of violent actions and considering the time difference of behavior.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It is to be understood that various modifications and changes may be made without departing from the scope of the appended claims.

110...영상획득부 120...사람추적부
121...객체검출부 122...객체추적부
123...움직임추출부 130...다중기간 움직임 분석부
140...다층폭력행위 판단부 141...단기간행위 판단부
142...중기간행위 판단부 143...장기간행위 판단부
144...폭력행위융합 판단부 150...알람생성부
110 ... image acquiring unit 120 ... human tracking unit
121 ... object detection unit 122 ... object tracking unit
123 ... motion extracting unit 130 ... multi-period motion analyzing unit
140 ... Multi-layer violent act determiner 141 ... Short-
142 ... Intermediate-term action determining unit 143 ... Long-term action determining unit
144 ... violent action fusion judgment unit 150 ... alarm generating unit

Claims (8)

행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출시스템에 있어서,
카메라로부터 촬영된 영상이미지를 획득하는 영상획득부(110);
획득된 영상이미지 내에서 사람을 객체로 하여 검출 및 추적하는 사람추적부(120);
단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석부(130);
상기 다중기간 움직임 분석부(130)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단부(140); 및
상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성부(150);를 포함하는 폭력 검출시스템.
A violence detection system for detecting a violent act in response to a time difference in behavior,
An image acquiring unit 110 for acquiring a video image photographed from a camera;
A person tracking unit 120 for detecting and tracking a person as an object within the acquired image image;
A multi-period motion analyzer 130 for analyzing and extracting motion information of a person being tracked for a plurality of periods including short-term, medium-term, and long-term;
A multi-layered violent behavior determination unit 140 for recognizing a violent behavior of a multi-layered structure based on analysis data of the multi-period motion analysis unit 130 and detecting a violent behavior by convergence analysis of recognition results of the multiple actions; And
And an alarm generating unit (150) for generating an alarm in stages according to whether or not the violent action is detected.
제 1항에 있어서,
상기 사람추적부(120)는,
상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출부(121)와,
상기 객체추출부에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적부(122) 및,
상기 객체추적부(122)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출부(123)를 포함하는 것을 특징으로 하는 폭력 검출시스템.
The method according to claim 1,
The person tracing unit 120,
An object extracting unit 121 for detecting an object to be tracked in the image,
An object tracking unit 122 for tracking a motion and a trajectory according to a change in the image of the object detected by the object extracting unit,
And a motion extracting unit (123) for extracting motion information of an individual tracked object based on an optical track, and extracting group motion information, on the object tracked by the object tracking unit (122).
제 2항에 있어서,
상기 다중기간 움직임 분석부(130)는, 상기 사람추적부(120)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성하며,
상기 다층폭력행위 판단부(140)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단부(141)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단부(142)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단부(143) 및, 각 판단부(141 내지 143)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단부(144)를 포함하는 것을 특징으로 하는 폭력 검출시스템.
3. The method of claim 2,
The multi-period motion analyzer 130 generates short-term motion data, medium-term motion data, and long-term motion data using object tracking and motion data from the human tracking unit 120,
The multi-layer violent action determiner 140 includes a short-term action determiner 141 for recognizing an assault behavior using the short-term motion data and providing recognition results for the action, A medium-term action determination unit 142 for recognizing the violent action and providing a result of recognition of the action, and providing the result of recognition of the violent action using the long- And a violent action convergence judging unit (144) for collecting the data from the long term action judging unit (143) and each judging unit (141 to 143) and analyzing the result of the collective analysis to detect the violent act.
제 3항에 있어서,
상기 폭력행위융합 판단부(144)는,
하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출하는 것을 특징으로 하는 폭력 검출시스템.
[수학식 1]
Figure pat00009


[수학식 2]
Figure pat00010

The method of claim 3,
The violent behavior fusion determination unit 144,
A probabilistic analysis method for the final violent behavior affected by the average of the probability of multi-layered violence action and the previous final probability according to Equation 1 below and the distance between nodes of the SGT model according to the following Equation (2) And detecting the violent action using the analysis result of the violent action using the recognition result of each layer used.
[Equation 1]
Figure pat00009


&Quot; (2) "
Figure pat00010

행동의 시차적 차이를 반영하여 폭력행위를 검출하기 위한 폭력 검출방법에 있어서,
카메라로부터 촬영된 영상이미지를 획득하는 영상획득 단계(S210);
획득된 영상이미지 내에서 사람을 객체로 하여 검출 및 추적하는 사람추적 단계(S220);
단기간, 중기간 및 장기간을 포함하여 구분되는 다중기간 동안 추적되는 사람의 움직임 정보를 분석하고 추출하는 다중기간 움직임 분석 단계(S230);
상기 다중기간 움직임 분석 단계(S230)의 분석데이터를 기초로 하여 다층구조의 폭력행위를 인식하고 그 복수 행위에 대한 인식결과를 융합 분석하여 폭력행위를 검출하는 다층폭력행위 판단 단계(S240); 및
상기 폭력행위 검출 여부에 따라 단계별로 알람을 생성하는 알람생성 단계(S250);를 포함하는 폭력 검출방법.
A violence detection method for detecting a violent behavior reflecting a time lag difference in behavior,
An image acquiring step (S210) of acquiring a video image photographed from a camera;
A person tracking step S220 of detecting and tracking a person as an object in the acquired image image;
A multi-period motion analysis step (S230) for analyzing and extracting motion information of a person being tracked for a plurality of periods including a short-term, a middle-term, and a long-term;
A multi-layer violent action determination step (S240) of recognizing a violent behavior of the multi-layer structure based on the analysis data of the multi-period motion analysis step (S230) and detecting a violent behavior by convergence analysis of recognition results of the multiple actions; And
And an alarm generating step (S250) of generating an alarm in stages according to whether or not the violent action is detected.
제 5항에 있어서,
상기 사람추적 단계(S220)는,
상기 영상이미지 내에서 사람을 추적대상으로 하는 객체를 검출하는 객체추출 단계(S221)와,
상기 객체추출 단계(S221)에서 검출된 객체를 대상으로 영상이미지 변화에 따라 움직임 및 궤적을 추척하는 객체추적 단계(S222) 및,
상기 객체추적 단계(S222)에서 추적되는 객체를 대상으로 광류를 기반으로 개별 추적객체의 움직임 정보를 추출하고 그룹움직임 정보를 추출하는 움직임추출 단계(S223)를 포함하는 것을 특징으로 하는 폭력 검출방법.
6. The method of claim 5,
The human tracking step S220 includes:
An object extraction step (S221) of detecting an object to be traced by a person in the image,
An object tracing step (S222) of tracing a motion and a trajectory according to a change in the image of the object detected in the object extracting step (S221)
And a motion extracting step (S223) of extracting motion information of an individual tracked object based on an optical stream, and extracting group motion information, on the object tracked in the object tracking step (S222).
제 6항에 있어서,
상기 다중기간 움직임 분석 단계(S230)는, 상기 사람추적 단계(S220)로부터의 객체 추적 및 움직임 데이터를 이용하여 단기간 움직임 데이터, 중기간 움직임 데이터 및 장기간 움직임 데이터를 생성하며,
상기 다층폭력행위 판단 단계(S240)는, 상기 단기간 움직임 데이터를 이용하여 폭행행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 단기간행위 판단 단계(S241)와, 상기 중기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 중기간행위 판단 단계(S242)와, 상기 장기간 움직임 데이터를 이용하여 폭력행위를 인식하고 그 행위에 대한 인식결과를 데이터화하여 제공하는 장기간행위 판단 단계(S243) 및, 각 판단 단계(S241 내지 S243)로부터 각 데이터를 취합하며 통합분석하여 폭력행위를 검출하는 폭력행위융합 판단 단계(S244)를 포함하는 것을 특징으로 하는 폭력 검출시스템.
The method according to claim 6,
The multi-period motion analysis step S230 generates short-term motion data, medium-term motion data, and long-term motion data using object tracking and motion data from the human tracking step S220,
The multi-layer violent action determination step (S240) may include a short-term action determination step (S241) of recognizing an assault behavior using the short-term motion data and providing recognition results of the action by data, A medium-term action determination step (S242) of recognizing the violent action and providing a result of recognition of the action, and providing the result of recognition of the violent action using the long-term motion data; (S244) of collecting data from the long-term action determination step (S243) and each of the determination steps (S241 to S243), and performing an integrated analysis to detect a violent action.
제 7항에 있어서,
상기 폭력행위융합 판단 단계(S244)는,
하기의 [수학식 1]에 따라 다층 폭력행위 확률의 평균과 이전 최종 확률에 영향을 받는 최종 폭력행위에 대한 확률적 분석방법과, 하기의 [수학식 2]에 따라 SGT모델의 노드간의 거리를 이용한 각층별 인식결과를 이용한 폭력행위 확률 분석방법을 이용하여 폭력행위를 검출하는 것을 특징으로 하는 폭력 검출방법.
[수학식 1]
Figure pat00011


[수학식 2]
Figure pat00012
8. The method of claim 7,
In the violation action fusion determination step S244,
A probabilistic analysis method for the final violent behavior affected by the average of the probability of multi-layered violence action and the previous final probability according to Equation 1 below and the distance between nodes of the SGT model according to the following Equation (2) And detecting a violent action by using a method of analyzing a violent action probability using recognition results of each layer used.
[Equation 1]
Figure pat00011


&Quot; (2) "
Figure pat00012
KR1020140156076A 2014-11-11 2014-11-11 Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition KR101651410B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140156076A KR101651410B1 (en) 2014-11-11 2014-11-11 Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140156076A KR101651410B1 (en) 2014-11-11 2014-11-11 Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition

Publications (2)

Publication Number Publication Date
KR20160057503A true KR20160057503A (en) 2016-05-24
KR101651410B1 KR101651410B1 (en) 2016-08-29

Family

ID=56113681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140156076A KR101651410B1 (en) 2014-11-11 2014-11-11 Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition

Country Status (1)

Country Link
KR (1) KR101651410B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102182660B1 (en) * 2019-11-28 2020-11-25 세종대학교산학협력단 System and method for detecting violence using spatiotemporal features and computer readable recording media storing program for executing method thereof
CN114821808A (en) * 2022-05-18 2022-07-29 湖北大学 Attack behavior early warning method and system
KR102510116B1 (en) * 2023-01-04 2023-03-14 퀀텀테크엔시큐 주식회사 Method, apparatus and computer-readable recording medium for recognizing a criminal act in an image and tracking a moving path of a dangerous object

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102134902B1 (en) 2018-11-15 2020-07-17 (주)지와이네트웍스 Frameworking method for violence detection using spatiotemporal characteristic analysis of shading image based on deep learning
KR102428017B1 (en) * 2021-08-18 2022-08-02 (주)성삼 Disinfection booth

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215927A (en) * 2004-01-29 2005-08-11 Mitsubishi Heavy Ind Ltd Behavior recognition system
KR101394270B1 (en) 2012-11-14 2014-05-13 한국과학기술연구원 System and method for image monitoring

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215927A (en) * 2004-01-29 2005-08-11 Mitsubishi Heavy Ind Ltd Behavior recognition system
KR101394270B1 (en) 2012-11-14 2014-05-13 한국과학기술연구원 System and method for image monitoring

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shapovalova, Nataliya, et al. "Semantics of human behavior in image sequences." Computer Analysis of Human Behavior. Springer London, 2011. 151-182 *
Siebel, Nils T., and S. Maybank. "The advisor visual surveillance system." ECCV 2004 workshop applications of computer vision (ACV). Vol. 1. 2004.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102182660B1 (en) * 2019-11-28 2020-11-25 세종대학교산학협력단 System and method for detecting violence using spatiotemporal features and computer readable recording media storing program for executing method thereof
CN114821808A (en) * 2022-05-18 2022-07-29 湖北大学 Attack behavior early warning method and system
KR102510116B1 (en) * 2023-01-04 2023-03-14 퀀텀테크엔시큐 주식회사 Method, apparatus and computer-readable recording medium for recognizing a criminal act in an image and tracking a moving path of a dangerous object

Also Published As

Publication number Publication date
KR101651410B1 (en) 2016-08-29

Similar Documents

Publication Publication Date Title
US10007850B2 (en) System and method for event monitoring and detection
Ko A survey on behavior analysis in video surveillance for homeland security applications
JP6905850B2 (en) Image processing system, imaging device, learning model creation method, information processing device
KR101651410B1 (en) Violence Detection System And Method Based On Multiple Time Differences Behavior Recognition
CN106203274A (en) Pedestrian's real-time detecting system and method in a kind of video monitoring
JP2016072964A (en) System and method for subject re-identification
CN111860318A (en) Construction site pedestrian loitering detection method, device, equipment and storage medium
KR20140033262A (en) Indoor surveillance system and method
US9977970B2 (en) Method and system for detecting the occurrence of an interaction event via trajectory-based analysis
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
Ko A survey on behaviour analysis in video surveillance applications
Sun et al. Indoor occupancy measurement by the fusion of motion detection and static estimation
CN113963301A (en) Space-time feature fused video fire and smoke detection method and system
KR102332229B1 (en) Method for Augmenting Pedestrian Image Data Based-on Deep Learning
Yi et al. Profiling stationary crowd groups
WO2016019973A1 (en) Method for determining stationary crowds
Elarbi-Boudihir et al. Intelligent video surveillance system architecture for abnormal activity detection
Varadarajan et al. Probabilistic latent sequential motifs: Discovering temporal activity patterns in video scenes
Andersson et al. Activity recognition and localization on a truck parking lot
Kanthaseelan et al. CCTV Intelligent Surveillance on Intruder Detection
CN115188081B (en) Complex scene-oriented detection and tracking integrated method
Lee et al. Multiple object tracking for fall detection in real-time surveillance system
Prathilothamai et al. Cost effective road traffic prediction model using Apache spark
Yang et al. Surveillance system using abandoned object detection
WO2012074366A2 (en) A system and a method for detecting a loitering event

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant