KR20210059412A - System and method for real time abnormal behavior detection model - Google Patents

System and method for real time abnormal behavior detection model Download PDF

Info

Publication number
KR20210059412A
KR20210059412A KR1020190146822A KR20190146822A KR20210059412A KR 20210059412 A KR20210059412 A KR 20210059412A KR 1020190146822 A KR1020190146822 A KR 1020190146822A KR 20190146822 A KR20190146822 A KR 20190146822A KR 20210059412 A KR20210059412 A KR 20210059412A
Authority
KR
South Korea
Prior art keywords
abnormal behavior
real
image data
correct answer
time
Prior art date
Application number
KR1020190146822A
Other languages
Korean (ko)
Inventor
김동칠
박성주
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190146822A priority Critical patent/KR20210059412A/en
Publication of KR20210059412A publication Critical patent/KR20210059412A/en

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a system for generating a real-time abnormal behavior recognition model, and to a method thereof. According to the present invention, the system for generating a real-time abnormal behavior recognition model comprises: an input unit receiving learning image data; a memory in which a program for generating a model for recognizing abnormal behavior using learning image data is stored; and a processor executing the program. The processor generates an actual correct value for the learning image data, and learns the learning image data using an R(2+1)+2D model.

Description

실시간 이상 행위 인지 모델 생성 시스템 및 그 방법{SYSTEM AND METHOD FOR REAL TIME ABNORMAL BEHAVIOR DETECTION MODEL}Real-time abnormal behavior recognition model generation system and its method {SYSTEM AND METHOD FOR REAL TIME ABNORMAL BEHAVIOR DETECTION MODEL}

본 발명은 실시간 이상 행위 인지 모델 생성 시스템 및 그 방법에 관한 것이다. The present invention relates to a real-time abnormal behavior recognition model generation system and method thereof.

지속적인 CCTV 수요의 증가로 인해, 지방자치단체 및 산업 현장에서는 CCTV 영상 보안 시스템을 구축하였으나, 관제인력 부족으로 어려움을 호소하고 있다. Due to the continuous increase in CCTV demand, local governments and industrial sites have established CCTV video security systems, but they are complaining of difficulties due to lack of control personnel.

관제요원 1인당 수십, 수백 대의 카메라를 관제해야 하는 문제가 발생하기 때문에, 관제 효율 하락의 주요 원인이 된다. This is a major cause of the decline in control efficiency, as there is a problem of having to control dozens or hundreds of cameras per person.

또한, 관제요원 추가 배치 시 많은 예산을 확보해야 하는 문제가 발생된다. In addition, there arises a problem of securing a large budget when additional control personnel are deployed.

최근 CCTV 영상 보안 시스템의 관제 시스템 효율성을 높이기 위해 스마트 관제를 도입하여 단점을 보완하고자 하였으나, 실시간으로 이상 행위를 인지하는 것이 어렵고, 인지 정확도 또한 낮은 문제점이 있다. Recently, in order to increase the control system efficiency of the CCTV video security system, smart control has been introduced to compensate for the shortcomings, but it is difficult to recognize abnormal behavior in real time, and the recognition accuracy is also low.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, CCTV 카메라에서 입력된 영상 데이터에서 실시간으로 이상 행위를 인지하기 위해, 딥러닝 기반 실시간 이상 행위 인지 모델을 생성하는 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above-described problem, and provides a system and method for generating a real-time abnormal behavior recognition model based on deep learning in order to recognize an abnormal behavior in real time from image data input from a CCTV camera. There is this.

본 발명에 따른 실시간 이상 행위 인지 모델 생성 시스템은 학습 영상 데이터를 수신하는 입력부와, 학습 영상 데이터를 이용하여 이상 행위 인지를 위한 모델을 생성하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 학습 영상 데이터에 대한 실제 정답값을 생성하고, 학습 영상 데이터를 R(2+1)+2D 모델을 이용하여 학습하는 것을 특징으로 한다. The real-time abnormal behavior recognition model generation system according to the present invention includes an input unit for receiving training image data, a memory storing a program for generating a model for abnormal behavior recognition using the training image data, and a processor for executing the program, The processor is characterized by generating an actual correct answer value for the training image data, and learning the training image data using an R(2+1)+2D model.

본 발명에 따른 실시간 이상 행위 인지 모델 생성 방법은 학습 영상 데이터를 취득하고, 영상 데이터에 대한 실제 정답값을 생성하는 단계와, 실제 정답값에 대해 모델을 이용하여 학습을 수행하는 단계 및 학습 결과를 통해 이상 행위 인지를 위한 모델을 생성하는 단계를 포함하는 것을 특징으로 한다. The method for generating a real-time abnormal behavior recognition model according to the present invention includes the steps of acquiring training image data, generating an actual correct answer value for the image data, performing learning using a model for the actual correct answer value, and a learning result. It characterized in that it comprises the step of generating a model for recognizing abnormal behavior.

본 발명에 따르면, RGB 정보와 관절 정보를 함께 이용함으로써, 이상 행위 인지의 정확도를 높이는 효과가 있으며, 영상 보안 시스템에 적용되어 개인 신변 안전 및 범죄 예방 효과를 극대화하는 효과가 있다. According to the present invention, by using RGB information and joint information together, there is an effect of increasing the accuracy of recognizing abnormal behavior, and being applied to an image security system, there is an effect of maximizing personal safety and crime prevention effects.

또한, 다양한 환경 변화에도 강인하게 이상 행위 추론을 수행하는 것이 가능한 효과가 있다. In addition, there is an effect that it is possible to perform anomalous behavior inference robustly even in various environmental changes.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 실시간 이상 행위 인지 모델 생성 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 R(2+1)+2D 모델을 도시한다.
도 3은 본 발명의 실시예에 따른 실시간 이상 행위 인지 모델 생성 방법을 나타내는 순서도이다. 1 illustrates a system for generating a real-time abnormal behavior recognition model according to an embodiment of the present invention.
2 shows an R(2+1)+2D model according to an embodiment of the present invention.
3 is a flowchart illustrating a method of generating a real-time abnormal behavior recognition model according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-described and other objects, advantages, and features of the present invention, and methods of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the following embodiments are the object of the invention to those of ordinary skill in the art to which the present invention pertains. It is only provided to easily inform the composition and effect, and the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, operations and/or elements in which the referenced component, step, operation and/or element is Or does not preclude additions.

종래 기술에 따른 이상 행위 인지 기술은 객체를 탐지하고 난 후 규칙 기반으로 특정 조건에 의해 이상 행위를 탐지함으로써, 조건이 다양하게 변화하는 환경에 적용할 경우 오알람이 빈번하게 발생되는 문제점이 있다. The abnormal behavior recognition technology according to the prior art detects an object and then detects an abnormal behavior according to a specific condition based on a rule, and thus, when applied to an environment in which conditions vary in various ways, false alarms are frequently generated.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 딥러닝 기반의 이상 행위 인지 모델을 생성하여 이상 행위를 정확히 인지하는 것이 가능한 실시간 이상 행위 인지 모델 생성 시스템 및 그 방법을 제안한다. The present invention has been proposed to solve the above-described problem, and proposes a real-time abnormal behavior recognition model generation system and method capable of accurately recognizing abnormal behavior by generating a deep learning-based abnormal behavior recognition model.

본 발명은 CCTV로부터 입력받은 영상에서 이상 행위를 탐지하기 위한 모델을 생성하는 시스템 및 그 방법에 관한 것으로, RGB 영상뿐만 아니라, 객체(사람)의 관절을 함께 이용함으로써, 정확한 이상 행위 인지가 가능하다. The present invention relates to a system and method for generating a model for detecting abnormal behavior in an image received from a CCTV, and accurate abnormal behavior recognition is possible by using not only an RGB image but also a joint of an object (person). .

본 발명의 실시예에 따르면, 지능형 영상 보안 시스템에 적용하여 이상 행위를 정확히 인지함으로써, 지능형 영상 보안 시스템의 영상 관제 효율성을 향상시키는 효과가 있다. According to an embodiment of the present invention, by applying to an intelligent video security system to accurately recognize an abnormal behavior, there is an effect of improving the video control efficiency of the intelligent video security system.

도 1은 본 발명의 실시예에 따른 실시간 이상 행위 인지 모델 생성 시스템을 도시한다. 1 illustrates a system for generating a real-time abnormal behavior recognition model according to an embodiment of the present invention.

본 발명에 따른 실시간 이상 행위 인지 모델 생성 시스템(100)은 학습 영상 데이터를 수신하는 입력부(110)와, 학습 영상 데이터를 이용하여 이상 행위 인지를 위한 모델을 생성하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 학습 영상 데이터에 대한 실제 정답값(GT, Ground Truth)을 생성하고, 학습 영상 데이터를 R(2+1)+2D 모델을 이용하여 학습하는 것을 특징으로 한다. The real-time abnormal behavior recognition model generation system 100 according to the present invention includes an input unit 110 for receiving training image data, a memory 120 in which a program for generating a model for abnormal behavior recognition using the training image data is stored, and Includes a processor 130 for executing a program, and the processor 130 generates an actual correct answer value (GT, Ground Truth) for the training image data, and uses the R(2+1)+2D model for the training image data. It is characterized by learning by.

프로세서(130)는 이상 행위 시작 시간, 이상 행위 종료 시간, 행위명에 대해 실제 정답값을 생성한다. The processor 130 generates actual correct answer values for the abnormal action start time, the abnormal action end time, and the action name.

프로세서(130)는 도 2에 도시한 바와 같은 R(2+1)+2D 모델을 이용하여 정답 행위와 추론한 행위의 오차가 최소화되도록 네트워크의 가중치를 업데이트한다. The processor 130 updates the weight of the network so that the error between the correct answer action and the inferred action is minimized by using the R(2+1)+2D model as shown in FIG. 2.

프로세서(130)는 R(2+1)+2D 모델을 이용하여 객체의 관절 위치와 정답 관절 위치의 오차가 최소화되도록 네트워크의 가중치를 업데이트한다. The processor 130 updates the weight of the network so that the error between the joint position of the object and the joint position of the correct answer is minimized by using the R(2+1)+2D model.

도 3은 본 발명의 실시예에 따른 실시간 이상 행위 인지 모델 생성 방법을 나타내는 순서도이다. 3 is a flowchart illustrating a method of generating a real-time abnormal behavior recognition model according to an embodiment of the present invention.

본 발명에 따른 실시간 이상 행위 인지 모델 생성 방법은 (a) 학습 영상 데이터를 취득하고, 영상 데이터에 대한 실제 정답값을 생성하는 단계와, (b) 실제 정답값에 대해 모델을 이용하여 학습을 수행하는 단계 및 (c) 학습 결과를 통해 이상 행위 인지를 위한 모델을 생성하는 단계를 포함하는 것을 특징으로 한다. The method for generating a real-time abnormal behavior recognition model according to the present invention includes the steps of (a) acquiring training image data and generating an actual correct answer value for the image data, and (b) performing learning using a model for the actual correct answer value. And (c) generating a model for recognizing abnormal behavior through the learning result.

(a) 단계는 이상 행위 시작 시간, 이상 행위 종료 시간, 행위명에 대한 상기 실제 정답값을 생성한다. Step (a) generates the actual correct answer values for the abnormal action start time, the abnormal action end time, and action name.

(b) 단계는 R(2+1)+2D 모델을 이용하여 학습 영상 데이터에 대한 학습을 수행한다. In step (b), training is performed on the training image data using the R(2+1)+2D model.

(b) 단계는 정답 행위와 추론한 행위의 오차가 최소화되도록 네트워크의 가중치를 업데이트하고, 객체의 관절 위치와 정답 관절 위치의 오차가 최소화되도록 네트워크의 가중치를 업데이트한다. In step (b), the weight of the network is updated so that the error between the correct answer behavior and the inferred behavior is minimized, and the weight of the network is updated so that the error between the joint position of the object and the joint position of the correct answer is minimized.

S310 단계는 영상 데이터 학습을 위해, CCT 영상 데이터를 취득한다. In step S310, CCT image data is acquired for image data learning.

S320 단계는 S310 단계에서의 학습 영상 데이터 취득에 후속하여, 학습 영상 데이터 GT(Ground Truth)를 생성한다. In step S320, following the acquisition of the training image data in step S310, the training image data GT (Ground Truth) is generated.

이 때, 이상 행위 인지를 위해 행위 시작 시간, 행위 종료 시간, 행위명에 대한 GT를 생성한다. At this time, GT for the action start time, action end time, and action name is created to recognize abnormal actions.

인지 행위에는 배회, 펀치, 발차기, 쓰러짐, 군집, 집단구타, 기물파손, 버림 등이 포함된다. Cognitive behaviors include roaming, punching, kicking, falling, swarming, collective beating, vandalism, and throwing away.

S330 단계는 학습할 행위의 데이터 개수가 기설정 개수(예: 1,000개)보다 큰 지 여부를 확인한다. In step S330, it is checked whether the number of data of the behavior to be learned is greater than a preset number (eg, 1,000).

딥러닝 기반의 학습을 수행할 때, 학습 데이터의 양이 적으면 오히려 성능이 낮은 경우가 많으므로, 최소 기설정 개수 이상의 행위를 학습하여야 한다. When performing deep learning-based learning, when the amount of training data is small, the performance is often low. Therefore, it is necessary to learn more than the minimum preset number of actions.

즉, 본 발명의 실시예에 따르면 1개의 행위 당 125개의 학습 데이터가 존재하는지 확인하고, 기설정 개수 대비 부족한 경우 S310 단계로 돌아간다. That is, according to an embodiment of the present invention, it is checked whether there are 125 pieces of learning data per one action, and if it is insufficient compared to the preset number, the process returns to step S310.

S330 단계에서 학습 행위 개수가 기설정 개수보다 큰 것으로 확인되면, S340 단계는 생성된 GT 데이터를 학습 모델로 입력한다. If it is confirmed in step S330 that the number of learning actions is greater than the preset number, step S340 inputs the generated GT data as a learning model.

즉, S320 단계에서 생성된 이상 행위 시작 시간, 이상 행위 종료 시간, 행위명에 대한 데이터를 학습 모델에 입력한다. That is, data on the abnormal behavior start time, abnormal behavior end time, and behavior name generated in step S320 are input into the learning model.

S340 단계 이후, S350 단계는 R(2+1)+2D 모델을 이용하여 학습 영상 데이터를 학습한다(S350). After step S340, step S350 learns the training image data using the R(2+1)+2D model (S350).

도 2를 참조하면, 3D Input to Block - 3D Output 블록은 정답 행위와 추론한 행위의 오차가 최소가 되도록 네트워크의 가중치를 업데이트한다. Referring to FIG. 2, the 3D Input to Block-3D Output block updates the weight of the network so that the error between the correct answer action and the inferred action is minimized.

2D Input to Block - 2D Output 블록은 현재 영상 프레임에서 객체(사람)의 관절 위치와 정답 관절 위치의 오차가 최소가 되도록 네트워크의 가중치를 업데이트한다. 2D Input to Block-The 2D Output block updates the weight of the network so that the error between the joint position of the object (person) and the joint position of the correct answer in the current image frame is minimized.

S350 단계에서는, 최종적으로 행위와 관절의 오차가 최소가 되도록 네트워크의 가중치를 업데이트한다. In step S350, the weight of the network is finally updated so that the error between the motion and the joint is minimized.

S360 단계는 S350 단계에서의 학습 후, 이상 행위 인지를 위한 모델을 생성한다. In step S360, after learning in step S350, a model for recognizing abnormal behavior is generated.

이 때, 학습 데이터 셋을 반복적으로 학습하여 이상 행위 인지 모델을 생성한다. At this time, the learning data set is repeatedly trained to generate an abnormal behavior recognition model.

한편, 본 발명의 실시예에 따른 실시간 이상 행위 인지 모델 생성 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the method for generating a real-time abnormal behavior recognition model according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. The computer system may include at least one processor, memory, user input device, data communication bus, user output device, and storage. Each of the above-described components performs data communication through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or nonvolatile storage media. For example, the memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 실시간 이상 행위 인지 모델 생성 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 실시간 이상 행위 인지 모델 생성 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 실시간 이상 행위 인지 모델 생성 방법을 수행할 수 있다.Accordingly, the method for generating a real-time abnormal behavior recognition model according to an embodiment of the present invention may be implemented in a computer-executable method. When the method for generating a real-time abnormal behavior recognition model according to an embodiment of the present invention is performed in a computer device, instructions that can be read by a computer may perform the method for generating a real-time abnormal behavior recognition model according to the present invention.

한편, 상술한 본 발명에 따른 실시간 이상 행위 인지 모델 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the method for generating a real-time abnormal behavior recognition model according to the present invention may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed in a computer system connected through a computer communication network, and stored and executed as codes that can be read in a distributed manner.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, we have looked at the center of the embodiments of the present invention. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims (8)

학습 영상 데이터를 수신하는 입력부;
상기 학습 영상 데이터를 이용하여 이상 행위 인지를 위한 모델을 생성하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 학습 영상 데이터에 대한 실제 정답값을 생성하고, 상기 학습 영상 데이터를 R(2+1)+2D 모델을 이용하여 학습하는 것
인 실시간 이상 행위 인지 모델 생성 시스템.
An input unit for receiving training image data;
A memory storing a program for generating a model for recognizing abnormal behavior by using the training image data; And
Including a processor for executing the program,
The processor generates an actual correct answer value for the training image data, and learns the training image data using an R(2+1)+2D model.
Real-time abnormal behavior recognition model generation system.
 제1항에 있어서,
상기 프로세서는 이상 행위 시작 시간, 이상 행위 종료 시간, 행위명에 대해 상기 실제 정답값을 생성하는 것
인 실시간 이상 행위 인지 모델 생성 시스템.
The method of claim 1,
The processor generates the actual correct answer values for the abnormal action start time, the abnormal action end time, and action name.
Real-time abnormal behavior recognition model generation system.
 제1항에 있어서,
상기 프로세서는 상기 R(2+1)+2D 모델을 이용하여 정답 행위와 추론한 행위의 오차가 최소화되도록 네트워크의 가중치를 업데이트하는 것
인 실시간 이상 행위 인지 모델 생성 시스템.
The method of claim 1,
The processor updates the weight of the network so that the error between the correct answer action and the inferred action is minimized using the R(2+1)+2D model.
Real-time abnormal behavior recognition model generation system.
 제1항에 있어서,
상기 프로세서는 상기 R(2+1)+2D 모델을 이용하여 객체의 관절 위치와 정답 관절 위치의 오차가 최소화되도록 네트워크의 가중치를 업데이트하는 것
인 실시간 이상 행위 인지 모델 생성 시스템.
The method of claim 1,
The processor updates the weight of the network so that the error between the joint position of the object and the joint position of the correct answer is minimized using the R(2+1)+2D model.
Real-time abnormal behavior recognition model generation system.
 (a) 학습 영상 데이터를 취득하고, 영상 데이터에 대한 실제 정답값을 생성하는 단계;
(b) 상기 실제 정답값에 대해 모델을 이용하여 학습을 수행하는 단계; 및
(c) 상기 (b) 단계에서의 학습 결과를 통해 이상 행위 인지를 위한 모델을 생성하는 단계
를 포함하는 실시간 이상 행위 인지 모델 생성 방법.
(a) acquiring training image data and generating an actual correct answer value for the image data;
(b) performing learning on the actual correct answer value using a model; And
(c) generating a model for recognizing abnormal behavior through the learning result in step (b)
Real-time abnormal behavior recognition model generation method comprising a.
 제5항에 있어서,
상기 (a) 단계는 이상 행위 시작 시간, 이상 행위 종료 시간, 행위명에 대한 상기 실제 정답값을 생성하는 것
인 실시간 이상 행위 인지 모델 생성 방법.
The method of claim 5,
The step (a) is to generate the actual correct answer values for the abnormal action start time, the abnormal action end time, and action name.
Real-time abnormal behavior recognition model generation method.
 제5항에 있어서,
상기 (b) 단계는 R(2+1)+2D 모델을 이용하여 상기 학습 영상 데이터에 대한 학습을 수행하는 것
인 실시간 이상 행위 인지 모델 생성 방법.
The method of claim 5,
The step (b) is to perform learning on the training image data using an R(2+1)+2D model.
Real-time abnormal behavior recognition model generation method.
 제7항에 있어서,
상기 (b) 단계는 정답 행위와 추론한 행위의 오차가 최소화되도록 네트워크의 가중치를 업데이트하고, 객체의 관절 위치와 정답 관절 위치의 오차가 최소화되도록 네트워크의 가중치를 업데이트하는 것
인 실시간 이상 행위 인지 모델 생성 방법. The method of claim 7,
In step (b), the weight of the network is updated so that the error between the correct answer action and the inferred action is minimized, and the network weight is updated to minimize the error between the joint position of the object and the joint position of the correct answer
Real-time abnormal behavior recognition model generation method.
KR1020190146822A 2019-11-15 2019-11-15 System and method for real time abnormal behavior detection model KR20210059412A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190146822A KR20210059412A (en) 2019-11-15 2019-11-15 System and method for real time abnormal behavior detection model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190146822A KR20210059412A (en) 2019-11-15 2019-11-15 System and method for real time abnormal behavior detection model

Publications (1)

Publication Number Publication Date
KR20210059412A true KR20210059412A (en) 2021-05-25

Family

ID=76145560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190146822A KR20210059412A (en) 2019-11-15 2019-11-15 System and method for real time abnormal behavior detection model

Country Status (1)

Country Link
KR (1) KR20210059412A (en)

Similar Documents

Publication Publication Date Title
CN110837856B (en) Neural network training and target detection method, device, equipment and storage medium
KR101458136B1 (en) Video processing method, video processing server performing the same, monitoring server performing the same, system performing the same and storage medium storing the same
KR102008290B1 (en) Method and apparatus for detecting action of object in viedio stream
US9100572B2 (en) Methods and systems for confidence-based image processing
WO2019179295A1 (en) Facial recognition method and device
KR20180043937A (en) Method and apparatus for recognizing facial expression
US20200019816A1 (en) Classification method and classification device of indoor scene
CN104915632A (en) Event detection apparatus and event detection method
CN108734684B (en) Image background subtraction for dynamic illumination scene
CN109544870B (en) Alarm judgment method for intelligent monitoring system and intelligent monitoring system
Heo et al. Appearance and motion based deep learning architecture for moving object detection in moving camera
KR20230004421A (en) System for detecting abnormal behavior based on artificial intelligence
CN112381002A (en) Human body risk posture identification method and system
CN115062112A (en) Monitoring and defense deploying method, device and system based on text description
KR20210013865A (en) Abnormal behavior detection system and method using generative adversarial network
KR20230063135A (en) Method and Apparatus for Spatio-temporal Action Localization Based on Hierarchical Structure
CN114419739A (en) Training method of behavior recognition model, behavior recognition method and equipment
KR102399974B1 (en) Method of tracking multiple objects and apparatus for the same
KR20200055812A (en) Apparatus and method for recognizing abnormal action based on deep learning
KR20210059412A (en) System and method for real time abnormal behavior detection model
CN111798518A (en) Mechanical arm posture detection method, device and equipment and computer storage medium
KR20210059411A (en) System and method for abnormal behavior detection
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN111091056A (en) Method and device for identifying sunglasses in image, electronic equipment and storage medium
Kim et al. An intelligent collaboration framework between edge camera and video analysis system