KR102685315B1

KR102685315B1 - Event detection system based on motion region using motion vectors in video and method thereof

Info

Publication number: KR102685315B1
Application number: KR1020230143750A
Authority: KR
Inventors: 정재호; 강인구
Original assignee: 주식회사 포딕스시스템
Priority date: 2023-10-25
Filing date: 2023-10-25
Publication date: 2024-07-16

Abstract

본 발명은 영상으로부터 검출 대상 객체에 대한 이벤트 감지 시스템 및 방법에 관한 것으로, 더욱 상세하게는 연속되는 프레임들로 구성되는 영상의 모션벡터의 크기, 모션벡터 수, 모션벡터에 의해 형성되는 움직임 영역의 크기, 속도 등을 포함하는 모션벡터 특징정보에 기반하여 객체 종류를 추정하고, 영상의 감시영역 정보 및 상기 모션벡터 특징정보에 기반하여 이벤트 종류를 결정하며, 결정된 이벤트 종류에 대응하는 딥러닝 모델에 적용하여 이벤트를 감지하는 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 시스템 및 방법에 관한 것이다.The present invention relates to an event detection system and method for a detection target object from an image, and more specifically, to the size of the motion vector of the image composed of consecutive frames, the number of motion vectors, and the motion area formed by the motion vector. The object type is estimated based on motion vector feature information including size, speed, etc., the event type is determined based on the video surveillance area information and the motion vector feature information, and a deep learning model corresponding to the determined event type is created. This relates to a motion area-based event detection system and method using motion vectors of images that are applied to detect events.

Description

Event detection system and method based on motion region using motion vectors in video and method thereof}

본 발명은 영상의 이벤트 감지 시스템 및 방법에 관한 것으로, 더욱 상세하게는 연속되는 프레임들로 구성되는 영상의 모션벡터의 크기, 모션벡터 수, 모션벡터에 의해 형성되는 움직임 영역의 크기, 속도 등을 포함하는 모션벡터 특징정보에 기반하여 객체 종류를 추정하고, 영상의 감시영역 정보 및 상기 모션벡터 특징정보에 기반하여 이벤트 종류를 결정하며, 결정된 이벤트 종류에 대응하는 딥러닝 모델에 적용하여 추정 객체의 움직임 영역에 대한 이벤트를 감지하는 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for detecting events in an image. More specifically, the size of the motion vector of an image composed of consecutive frames, the number of motion vectors, the size and speed of the motion area formed by the motion vector, etc. The object type is estimated based on the motion vector feature information included, the event type is determined based on the video surveillance area information and the motion vector feature information, and the estimated object type is applied to the deep learning model corresponding to the determined event type. This relates to a motion region-based event detection system and method using motion vectors of images to detect events in the motion region.

최근에 범죄예방, 사후증거 확보 등을 위해 거리, 건물, 특정 영역 등에 수많은 폐쇄회로텔레비전(Closed Circuit Television: CCTV)이 설치되고 있으며, CCTV를 통해 수집되는 영상을 저장 및 분석하기 위한 영상관제시스템이 지방자치단체, 대형 건물 등에 설치되고 있다.Recently, numerous closed circuit televisions (CCTVs) are being installed in streets, buildings, and specific areas to prevent crime and secure post-mortem evidence, and a video control system is in place to store and analyze images collected through CCTV. It is being installed in local governments, large buildings, etc.

또한, CCTV가 증가하고, 인공지능(Artificial Intelligent: AI) 기술이 발전함에 따라 영상관제시스템은 CCTV를 통해 획득되는 영상으로부터, 사람의 배회, 사람 간의 싸움, 사람의 쓰러짐, 차량과 사람 간의 교통사고, 차량 간의 교통사고, 과속, 중앙선 침범 등과 같은 다양한 이벤트를 감지하여 해당 기관 또는 관리자에게 통지하는 이벤트 감지 시스템으로 발전하고 있다.In addition, as the number of CCTVs increases and artificial intelligence (AI) technology develops, the video control system detects people wandering, fights between people, people falling, and traffic accidents between vehicles and people from the images acquired through CCTV. , it is developing into an event detection system that detects various events such as traffic accidents between vehicles, speeding, crossing the center line, etc. and notifies the relevant agency or manager.

통상적으로, 이벤트 감지 시스템은 특정 이벤트에 대한 이미지 및 해당 이벤트가 라벨링된 학습 데이터에 의해 학습된 딥러닝 모델에 실시간 획득되는 영상의 프레임 이미지를 적용하여 이벤트의 발생 여부를 모니터링한다.Typically, an event detection system monitors whether an event occurs by applying a frame image of a video acquired in real time to a deep learning model learned by images of a specific event and training data labeled with the event.

일반적으로, 이벤트 감지를 위한 딥러닝은 시스템 자원을 많이 소모하여 고가의 그래픽 카드를 요구한다. 이러한 이유로, 종래 이벤트 감지 시스템은 단일 이벤트 감지를 수행하는 고가의 서버를 구비하여야 하므로 시스템 구축에 큰 비용이 소요되는 문제점이 있다.In general, deep learning for event detection consumes a lot of system resources and requires an expensive graphics card. For this reason, the conventional event detection system must be equipped with an expensive server that performs single event detection, so there is a problem in that it costs a lot of money to build the system.

또한, 종래 이벤트 감지 시스템은 복수의 이벤트를 감지하기 위해서 다수의 고가의 서버를 구비해야 하므로 시스템 구축 비용이 많이 소요되는 문제점이 있다.In addition, the conventional event detection system requires a large number of expensive servers to detect multiple events, so there is a problem in that the system construction cost is high.

따라서 딥러닝 모델을 적용하되, 딥러닝 모델 적용 시 시스템 자원의 소모를 최소화할 수 있고, 다수의 이벤트에 대해서도 시스템 자원의 소모를 최소화하여 이벤트를 감지할 수 있는 이벤트 감지 시스템의 개발이 요구되고 있다.Therefore, there is a need to develop an event detection system that can apply a deep learning model, minimize the consumption of system resources when applying the deep learning model, and detect events by minimizing the consumption of system resources even for multiple events. .

대한민국 등록특허 제10-2253989호(2021.05.20.공고)Republic of Korea Patent No. 10-2253989 (announced on May 20, 2021)

따라서 본 발명의 목적은 연속되는 프레임들로 구성되는 영상의 모션벡터의 크기, 모션벡터 수, 모션벡터에 의해 형성되는 움직임 영역의 크기, 속도 등을 포함하는 모션벡터 특징정보에 기반하여 객체 종류를 추정하고, 영상의 감시영역 정보 및 상기 모션벡터 특징정보에 기반하여 이벤트 종류를 결정하며, 결정된 이벤트 종류에 대응하는 딥러닝 모델에 적용하여 추정 객체의 움직임 영역에 대한 이벤트를 감지하는 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 시스템 및 방법을 제공함에 있다.Therefore, the purpose of the present invention is to identify the type of object based on motion vector characteristic information including the size of the motion vector of the image composed of consecutive frames, the number of motion vectors, the size of the motion area formed by the motion vector, and the speed. The motion vector of the video is estimated, determines the event type based on the surveillance area information of the video and the motion vector feature information, and applies the deep learning model corresponding to the determined event type to detect events in the motion area of the estimated object. To provide a motion area-based event detection system and method using.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 시스템은: 득하여 상기 프레임 이미지를 출력하는 영상 획득부; 상기 영상 획득부로부터 입력되는 프레임 이미지로부터 모션벡터를 검출하고, 모션벡터에 의한 움직임 영역을 검출하고, 상기 움직임 영역의 크기를 검출한 후 상기 움직임 영역의 위치 및 크기를 포함하는 움직임 영역 정보를 출력하는 움직임 영역 검출부; 상기 영상의 화각 기준점에서 검출된 각각의 상기 움직임 영역까지의 화각 거리를 계산하는 상기 움직임 영역 거리 계산부; 상기 화각 거리를 고려하여 상기 움직임 영역의 속도를 계산하는 움직임 영역 속도 계산부; 특정 객체의 서로 다른 이벤트를 검출하는 딥러닝 모델을 구비하는 하나 이상의 이벤트 검출부를 포함하여, 상기 영상 획득부로부터 입력되는 프레임 이미지로부터 해당 움직임 영역에 대한 상기 객체의 이벤트를 검출하는 서로 다른 객체에 대한 다수의 객체 이벤트 검출부; 및 상기 화각 거리를 고려한 상기 움직임 영역의 크기 및 속도를 포함하는 움직임 영역 특징정보에 기반하여 상기 움직임 영역의 객체 및 이벤트 종류를 추정하고, 추정된 객체 종류에 대응하는 객체 이벤트 검출부의 추정된 이벤트 종류에 대응하는 딥러닝 모델을 구비한 이벤트 검출부를 활성화하는 객체 추정부를 포함하는 것을 특징으로 한다.A motion area-based event detection system using a motion vector of an image according to the present invention to achieve the above object includes: an image acquisition unit that obtains and outputs the frame image; Detects a motion vector from a frame image input from the image acquisition unit, detects a motion region by the motion vector, detects the size of the motion region, and then outputs motion region information including the location and size of the motion region. a motion area detection unit; the motion area distance calculation unit which calculates the angle of view distance from the angle of view reference point of the image to each of the detected motion areas; a motion area speed calculation unit that calculates the speed of the motion area in consideration of the angle of view distance; For different objects, including one or more event detection units having a deep learning model for detecting different events of a specific object, and detecting events of the object for the corresponding movement area from the frame image input from the image acquisition unit. Multiple object event detection unit; and estimating the object and event type of the motion region based on motion region characteristic information including the size and speed of the motion region considering the angle of view distance, and the estimated event type of the object event detector corresponding to the estimated object type. It is characterized by including an object estimation unit that activates an event detection unit equipped with a deep learning model corresponding to.

상기 영상 획득부는, 상기 영상에 의해 촬영되는 감시영역에 대한 감시영역 정보를 더 획득하여 출력하되, 상기 객체 추정부는, 상기 화각 거리를 고려한 상기 움직임 영역 크기, 움직임 영역별 속도 및 상기 감시영역 정보에 의해 상기 움직임 영역별 객체 종류를 추정하는 객체 결정부; 및 상기 객체 결정부에 의해 결정된 객체 종류, 움직임 영역별 속도 및 감시영역정보에 의한 모니터링할 이벤트 종류를 결정한 후, 결정된 객체 및 이벤트 종류에 대응하여 구동할 딥러닝 모델을 결정하여 상기 객체 이벤트 검출부로 출력하는 딥러닝 결정부를 포함하는 것을 특징으로 한다.The image acquisition unit further acquires and outputs surveillance area information about the surveillance area captured by the image, and the object estimation unit determines the size of the movement area considering the angle of view distance, the speed for each movement area, and the surveillance area information. an object determination unit that estimates the object type for each motion area; And after determining the type of event to be monitored based on the object type, speed for each movement area, and surveillance area information determined by the object determination unit, a deep learning model to be run in response to the determined object and event type is determined and sent to the object event detection unit. It is characterized by including a deep learning decision unit that outputs.

상기 객체 추정부는, 상기 움직임 영역별로 상기 화각 거리를 고려한 움직임 영역을 구성하는 상기 모션벡터의 크기를 검출하여 출력하는 모션벡터 크기 검출부; 및 상기 모션벡터 크기 검출부로부터 모션벡터의 크기정보를 포함하는 움직임 영역별 모션벡터를 입력받고, 움직임 영역별로 미리 설정된 기준치 이상의 모션벡터 크기를 가지는 모션벡터의 수를 카운트하여 모션벡터별 모션벡터 개수를 출력하는 모션벡터 개수 검출부를 더 포함하되, 상기 객체 결정부는, 상기 모션벡터의 수를 더 반영하여 객체 종류를 결정하는 것을 특징으로 한다.The object estimation unit includes a motion vector size detection unit that detects and outputs the size of the motion vector constituting the motion area considering the angle of view distance for each motion area; And, from the motion vector size detection unit, a motion vector for each motion area containing the size information of the motion vector is input, and the number of motion vectors having a motion vector size greater than a preset reference value for each motion area is counted to determine the number of motion vectors for each motion vector. It further includes a detection unit for the number of output motion vectors, wherein the object determination unit determines the object type by further reflecting the number of motion vectors.

상기 객체 추정부는, 상기 움직임 영역별로 상기 화각 거리를 고려한 움직임 영역을 구성하는 모션벡터의 크기를 검출하여 출력하는 모션벡터 크기 검출부; 상기 모션벡터 크기 검출부로부터 모션벡터의 크기정보를 포함하는 움직임 영역별 모션벡터를 입력받고, 움직임 영역별로 미리 설정된 추정 대상 객체별로 해당 기준치 이상의 모션벡터 크기를 가지는 모션벡터의 수를 카운트하여 추정 대상 객체별 모션벡터 개수를 출력하는 모션벡터 개수 검출부; 및 상기 화각 거리를 고려한 상기 움직임 영역 크기, 움직임 영역별 속도 및 상기 모션벡터의 개수에 의해 상기 움직임 영역별 객체 종류를 추정하는 객체 결정부; 및 상기 객체 결정부에 의해 결정된 객체 종류 및 움직임 영역별 속도에 의한 모니터링할 이벤트 종류를 결정한 후, 결정된 객체 및 이벤트 종류에 대응하여 구동할 딥러닝 모델을 결정하는 딥러닝 결정부를 포함하는 것을 특징으로 한다.The object estimation unit includes a motion vector size detection unit that detects and outputs the size of a motion vector constituting a motion area considering the angle of view distance for each motion area; The motion vector for each movement area including the size information of the motion vector is input from the motion vector size detection unit, and the number of motion vectors having a motion vector size greater than the corresponding reference value is counted for each estimation target object preset for each movement area to determine the estimation target object. A motion vector number detection unit that outputs the number of motion vectors for each star; and an object determination unit that estimates the object type for each motion region based on the size of the motion region considering the angle of view distance, the speed for each motion region, and the number of motion vectors. And a deep learning determination unit that determines the type of event to be monitored based on the object type and speed for each movement area determined by the object determination unit, and then determines a deep learning model to run in response to the determined object and event type. do.

상기 상기 객체 추정부는, 상기 움직임 영역 간의 거리를 계산하여 출력하는 영역 거리 검출부를 더 포함하되, 상기 딥러닝 결정부는, 상기 영역 거리 검출부로터 입력하는 상기 움직임 영역 간의 거리를 더 반영하여 이벤트 종류 및 딥러닝 모델을 결정하는 것을 특징으로한다.The object estimation unit further includes an area distance detection unit that calculates and outputs the distance between the movement areas, and the deep learning determination unit further reflects the distance between the movement areas input from the area distance detection unit to determine the event type and deep Characterized by determining the running model.

상기 움직임 영역 속도 계산부는, 이전 프레임 이미지 및 현재 프레임 이미지에 대한 상기 움직임 영역의 모션벡터의 크기와 상기 기준 프레임 이미지 및 대상 프레임 이미지, 두 프레임 이미지 간의 속도인 프레임 이미지 속도에 의해 계산하거나, 연속된 세 프레임 이미지에 대한 동일 위치의 두 모션벡터의 변화량에 의해 계산하는 것을 특징으로 한다.The motion region speed calculation unit calculates the size of the motion vector of the motion region for the previous frame image and the current frame image, the reference frame image and the target frame image, and the frame image velocity, which is the velocity between two frame images, or It is characterized in that it is calculated based on the amount of change in two motion vectors at the same location for three frame images.

상기 감시영역 정보는, 상기 영상 내의 감시영역을 도로 영역, 인도 영역, 침임 영역 중 어느 하나 이상으로 구분하는 영역 구분 정보를 더 포함하되, 상기 객체 결정부는, 상기 움직임 영역의 위치가 도로 영역에 있는지, 인도 영역에 있는지, 침입 영역에 있는지를 더 고려하여 객체의 종류를 추정하는 것을 특징으로 한다.The surveillance area information further includes area classification information that divides the surveillance area in the image into one or more of a road area, a sidewalk area, and an intrusion area, and the object determination unit determines whether the location of the movement area is in the road area. , It is characterized by estimating the type of object by further considering whether it is in a sidewalk area or an intrusion area.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 방법은: 영상 획득부가 초당 다수의 프레임 이미지를 포함하는 영상을 획득하여 상기 프레임 이미지를 출력하는 영상 획득 과정; 움직임 영역 검출부가 상기 영상 획득부로부터 입력되는 프레임 이미지로부터 모션벡터를 검출하고, 모션벡터에 의한 움직임 영역을 검출하고 검출된 움직임 영역에 대한 움직임 영역의 위치 및 크기를 포함하는 움직임 영역 정보를 생성하여 출력하는 움직임 영역 검출 과정; 움직임 영역 거리 계산부가 상기 영상의 화각 기준점에서 검출된 각각의 상기 움직임 영역까지의 화각 거리를 계산하는 상기 움직임 영역 화각 거리 계산 과정; 움직임 영역 속도 계산부가 상기 화각 거리를 고려하여 상기 움직임 영역의 속도를 계산하는 움직임 영역 속도 계산 과정; 객체 추정부가 상기 화각 거리를 고려한 상기 움직임 영역의 크기 및 속도를 포함하는 움직임 특징정보에 기반하여 상기 움직임 영역의 객체 및 이벤트 종류를 추정하고, 추정된 객체 종류에 대응하는 객체 이벤트 검출부의 추정된 이벤트 종류에 대응하는 딥러닝 모델을 구비하는 이벤트 검출부를 활성화하는 움직임 영역 객체 추정 과정; 및 상기 활성화된 객체 이벤트 검출부의 이벤트 검출부가 상기 영상 획득부로부터 입력되는 프레임 이미지로부터 해당 움직임 영역에 대한 상기 객체의 이벤트를 검출하는 이벤트 검출 과정을 포함하는 것을 특징으로 한다.The motion area-based event detection method using the motion vector of the image according to the present invention to achieve the above object is: an image acquisition process in which an image acquisition unit acquires an image containing multiple frame images per second and outputs the frame images. ; The motion region detection unit detects a motion vector from the frame image input from the image acquisition unit, detects the motion region by the motion vector, and generates motion region information including the location and size of the motion region for the detected motion region. Output motion area detection process; The motion region angle of view distance calculation process in which the motion region distance calculation unit calculates the angle of view distance from the angle of view reference point of the image to each of the detected motion regions; A moving area speed calculation process in which a moving area speed calculation unit calculates the speed of the moving area by considering the angle of view distance; The object estimation unit estimates the object and event type of the motion area based on motion characteristic information including the size and speed of the motion area considering the angle of view distance, and the estimated event of the object event detector corresponding to the estimated object type. A motion area object estimation process that activates an event detection unit equipped with a deep learning model corresponding to the type; and an event detection process in which the event detection unit of the activated object event detection unit detects an event of the object for the corresponding motion area from a frame image input from the image acquisition unit.

상기 영상 획득 과정에서 상기 영상 획득부가 상기 영상에 의해 촬영되는 감시영역에 대한 감시영역 정보를 더 획득하여 출력하되, 상기 움직임 영역 객체 추정 과정은, 상기 객체 이벤트 검출부가 객체 결정부를 통해 상기 화각 거리를 고려한 상기 움직임 영역 크기, 움직임 영역별 속도 및 상기 감시영역 정보에 의해 상기 움직임 영역별 객체 종류를 추정하는 객체 결정 단계; 및 상기 객체 이벤트 검출부가 딥러닝 결정부를 통해 상기 객체 결정부에 의해 결정된 객체 종류, 움직임 영역별 속도 및 감시영역정보에 의한 모니터링할 이벤트 종류를 결정한 후, 결정된 객체 및 이벤트 종류에 대응하여 구동할 딥러닝 모델을 결정하는 딥러닝 결정 단계를 포함하는 것을 특징으로 한다.In the image acquisition process, the image acquisition unit further acquires and outputs surveillance area information about the surveillance area captured by the image, but in the motion area object estimation process, the object event detection unit determines the angle of view distance through the object determination unit. an object determination step of estimating an object type for each motion region based on the motion region size, velocity for each motion region, and surveillance region information; And after the object event detection unit determines the type of event to be monitored based on the object type, speed for each movement area, and surveillance area information determined by the object determination unit through the deep learning decision unit, the deep learning unit to be driven in response to the determined object and event type. It is characterized by including a deep learning decision step to determine the learning model.

상기 움직임 영역 객체 추정 과정은, 상기 객체 이벤트 검출부가 모션벡터 크기 검출부를 통해 상기 움직임 영역별로 상기 화각 거리를 고려한 움직임 영역을 구성하는 모션벡터의 크기를 검출하여 출력하는 모션벡터 크기 검출 단계; 및 상기 객체 이벤트 검출부가 모션벡터 개수 검출부를 통해 상기 모션벡터 크기 검출부로부터 움직임 영역별로 모션벡터의 크기정보를 포함하는 모션벡터를 입력받고, 움직임 영역별로 미리 설정된 기준치 이상의 모션벡터 크기를 가지는 모션벡터의 수를 카운트하여 모션벡터별 모션벡터 개수를 출력하는 모션벡터 개수 검출 단계를 더 포함하되, 상기 객체 결정 단계에서 상기 객체 이벤트 검출부가 상기 객체 결정부를 통해 상기 모션벡터의 수를 더 반영하여 객체 종류를 결정하는 것을 특징으로 한다.The motion area object estimation process includes a motion vector size detection step in which the object event detector detects and outputs the size of a motion vector constituting a motion area considering the angle of view distance for each motion area through a motion vector size detection unit; And the object event detection unit receives a motion vector including size information of the motion vector for each movement area from the motion vector size detection unit through the motion vector number detection unit, and detects a motion vector having a motion vector size greater than a preset reference value for each movement area. It further includes a motion vector number detection step of counting the number and outputting the number of motion vectors for each motion vector, wherein in the object determination step, the object event detection unit further reflects the number of motion vectors through the object determination unit to determine the object type. It is characterized by decision-making.

상기 움직임 영역 객체 추정 과정은, 상기 객체 추정부가 영역 거리 검출부를 통해 상기 움직임 영역 간의 거리를 계산하여 출력하는 영역 거리 검출 단계를 더 포함하되, 상기 딥러닝 결정 단계에서, 상기 객체 추정부가 상기 딥러닝 결정부를 통해 상기 영역 거리 검출부로터 입력하는 상기 움직임 영역 간의 거리를 더 반영하여 이벤트 종류 및 딥러닝 모델을 결정하는 것을 특징으로 한다.The motion region object estimation process further includes a region distance detection step in which the object estimation unit calculates and outputs the distance between the motion regions through a region distance detection unit. In the deep learning decision step, the object estimation unit calculates and outputs the distance between the motion regions through the region distance detection unit. The event type and deep learning model are determined by further reflecting the distance between the motion areas input from the area distance detection unit through the decision unit.

상기 움직임 영역 속도 계산 과정에서, 상기 움직임 영역 속도 계산부가 이전 프레임 이미지 및 현재 프레임 이미지에 대한 상기 움직임 영역의 모션벡터의 크기와 상기 기준 프레임 이미지 및 대상 프레임 이미지, 두 프레임 이미지 간의 속도인 프레임 이미지 속도에 의해 계산하거나, 연속된 세 프레임 이미지에 대한 동일 위치의 두 모션벡터의 변화량에 의해 계산하는 것을 특징으로 한다.In the motion region speed calculation process, the motion region velocity calculation unit calculates the size of the motion vector of the motion region for the previous frame image and the current frame image and the frame image velocity, which is the speed between the reference frame image and the target frame image and the two frame images. It is characterized in that it is calculated by or by the amount of change in two motion vectors at the same position for three consecutive frame images.

상기 감시영역 정보는, 상기 영상 내의 감시영역을 도로 영역, 인도 영역, 침임 영역 중 어느 하나 이상으로 구분하는 영역 구분 정보를 더 포함하되, 상기 객체 결정 단계에서, 상기 객체 추정부가 객체 결정부를 통해 상기 움직임 영역의 위치가 도로 영역에 있는지, 인도 영역에 있는지, 침입 영역에 있는지를 더 고려하여 객체의 종류를 추정하는 것을 특징으로 한다.The surveillance area information further includes area classification information that divides the surveillance area in the image into one or more of a road area, a sidewalk area, and an intrusion area. In the object determination step, the object estimation unit It is characterized by estimating the type of object by further considering whether the location of the movement area is in the road area, sidewalk area, or intrusion area.

본 발명은 객체 종류 및 이벤트 종류를 모션벡터만으로 분류할 수 있는 효과가 있다.The present invention has the effect of classifying object types and event types using only motion vectors.

또한, 본 발명은 적은 연산량을 요구하는 모션벡터에 의해 객체 종류 및 이벤트 종류가 분류되고, 객체 및 이벤트 종류가 분류된 이후에 해당 딥러닝 모델을 적용하여 이벤트의 발생 여부를 모니터링하므로, 객체 분류, 이벤트 종류 분류 및 이벤트의 발생 여부를 모두 딥러닝 모델로 수행하는 이벤트 감지 시스템 대비 시스템 자원의 소모를 최소화할 수 있는 효과가 있다.In addition, the present invention classifies object types and event types by motion vectors that require a small amount of calculation, and applies the corresponding deep learning model after the object and event types are classified to monitor whether or not an event occurs, so object classification, Compared to an event detection system that uses a deep learning model to classify event types and determine whether an event has occurred, it has the effect of minimizing the consumption of system resources.

본 발명은 시스템 자원의 소모를 최소화할 수 있으므로 기존 대비 시스템 구축 비용을 줄일 수 있는 효과가 있다.Since the present invention can minimize the consumption of system resources, it has the effect of reducing system construction costs compared to existing systems.

도 1은 본 발명에 따른 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일실시 예에 따른 모션벡터를 이용한 움직임 영역 기반의 객체 분류 및 이벤트 분류 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 다른 실시 예에 따른 모션벡터를 이용한 움직임 영역 기반의 객체 분류 및 이벤트 분류 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 모션벡터를 이용한 움직임 영역 기반의 객체 분류 및 이벤트 분류 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 이벤트 감지 시스템의 객체 추정부의 상세 구성을 나타낸 도면이다.
도 6은 본 발명에 따른 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 방법을 나타낸 흐름도이다.Figure 1 is a diagram showing the configuration of a motion area-based event detection system using motion vectors of images according to the present invention.
FIG. 2 is a diagram illustrating a method for object classification and event classification based on a motion region using a motion vector according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a method for object classification and event classification based on a motion region using a motion vector according to another embodiment of the present invention.
FIG. 4 is a diagram illustrating a method of object classification and event classification based on a motion region using a motion vector according to another embodiment of the present invention.
Figure 5 is a diagram showing the detailed configuration of the object estimation unit of the event detection system according to the present invention.
Figure 6 is a flowchart showing a motion area-based event detection method using motion vectors of images according to the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 시스템의 구성 및 기능을 상세히 설명하고, 상기 시스템에서의 모션벡터를 이용한 움직임 영역 기반의 이벤트 감지방법을 설명한다. Hereinafter, with reference to the attached drawings, the configuration and function of the motion region-based event detection system using motion vectors of images according to the present invention will be described in detail, and the motion region-based event detection method using motion vectors in the system will be described. .

도 1은 본 발명에 따른 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일실시 예에 따른 모션벡터를 이용한 움직임 영역 기반의 객체 분류 및 이벤트 분류 방법을 설명하기 위한 도면이고, 도 3은 본 발명의 다른 실시 예에 따른 모션벡터를 이용한 움직임 영역 기반의 객체 분류 및 이벤트 분류 방법을 설명하기 위한 도면이고, 도 4는 본 발명의 다른 실시 예에 따른 모션벡터를 이용한 움직임 영역 기반의 객체 분류 및 이벤트 분류 방법을 설명하기 위한 도면이다. 이하 도 1 내지 도 4를 참조하여 설명한다.Figure 1 is a diagram showing the configuration of a motion region-based event detection system using motion vectors of images according to the present invention, and Figure 2 is a diagram showing object classification and event classification based on motion region using motion vectors according to an embodiment of the present invention. Figure 3 is a diagram for explaining a method, and Figure 3 is a diagram for explaining a motion region-based object classification and event classification method using a motion vector according to another embodiment of the present invention, and Figure 4 is a diagram for explaining another embodiment of the present invention. This is a diagram to explain the object classification and event classification method based on the motion area using the corresponding motion vector. Hereinafter, description will be made with reference to FIGS. 1 to 4.

본 발명에 따른 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 시스템은 영상 획득부(10), 움직임 영역 검출부(20), 움직임 영역 거리 계산부(30), 움직임 영역 속도 계산부(40), 객체 추정부(50) 및 다수의 객체 이벤트 검출부(60)를 포함한다.The motion area-based event detection system using the motion vector of the image according to the present invention includes an image acquisition unit 10, a motion area detection unit 20, a motion area distance calculation unit 30, a motion area speed calculation unit 40, and an object It includes an estimation unit 50 and a plurality of object event detection units 60.

영상 획득부(10)는 CCTV, 영상저장시스템 등으로부터 초당 미리 설정된 프레임 이미지를 포함하는 영상을 획득하고, 영상으로부터 프레임 이미지를 추출하여 출력한다.The image acquisition unit 10 acquires images containing preset frame images per second from CCTV, image storage systems, etc., extracts frame images from the images, and outputs them.

영상 획득부(10)는 실시 예에 따라 CCTV가 설치되어 감시하는 영역(이하 "감시영역"이라 함)에 대한 감시영역 정보를 획득하여 객체 추정부(50)로 출력한다. 상기 감시영역 정보는 도 5와 같이 상기 감시영역이 사유지인 침임 감시영역인지, 차도 영역인지, 인도 영역인지, 차도 및 인도가 혼합된 영역인지, 차도 및 인도가 구분되지 않는 도로인지에 대한 정보를 포함한다.Depending on the embodiment, the image acquisition unit 10 acquires surveillance area information about the area where CCTV is installed and monitored (hereinafter referred to as “surveillance area”) and outputs it to the object estimation unit 50. As shown in Figure 5, the surveillance area information includes information on whether the surveillance area is a private encroachment surveillance area, a roadway area, a sidewalk area, a mixed area of the roadway and sidewalk, or a road where the roadway and sidewalk are not distinguished. Includes.

도 2와 같이 감시영역이 차도와 인도가 혼합된 영역인 경우, 감시영역 정보는 중앙의 차도에 대한 차도영역 정보 및 왼쪽 사이드의 인도에 대한 인도영역 정보를 포함할 것이다.As shown in Figure 2, if the surveillance area is a mixed area of a roadway and a sidewalk, the surveillance area information will include roadway area information for the central roadway and sidewalk area information for the sidewalk on the left side.

상기 감시영역 정보는 CCTV 관제시스템 관리자 또는 본 발명의 이벤트 감지 시스템 관리자에 의해 입력 또는 지정되는 정보일 수도 있고, 영상이 획득되는 CCTV 등의 위치정보에 의해 지리정보 시스템(GIS)으로부터 획득되는 정보일 수도 있으며, 영상으로부터 감시영역 종류(차도, 인도, 사유지, 건물 내부 등등)를 구분하기 위한 영역 분류 인공지능모델에 의해 획득되는 정보일 수도 있을 것이다.The surveillance area information may be information input or designated by a CCTV control system manager or an event detection system manager of the present invention, or may be information obtained from a geographic information system (GIS) through location information such as CCTV where images are acquired. It may also be information obtained by an area classification artificial intelligence model to distinguish the type of surveillance area (roadway, sidewalk, private land, inside a building, etc.) from the video.

움직임 영역 검출부(20)는 영상 획득부(10)로부터 입력되는 이전 프레임 이미지(기준 프레임 이미지) 및 분석 대상 프레임 이미지인 현재 프레임 이미지에 의한 모션벡터를 계산하고, 모션벡터들의 클러스터링에 의한 움직임 영역을 검출한 후, 움직임 영역(경계박스(Bounding Box: bbox)로 정의)의 위치, 크기, 움직임 영역에 포함되는 모션벡터들에 대한 모션벡터 방향 밑 크기를 포함하는 모션벡터 정보를 포함하는 움직임 영역정보를 생성하여 출력한다. The motion area detection unit 20 calculates a motion vector based on the previous frame image (reference frame image) input from the image acquisition unit 10 and the current frame image, which is the frame image to be analyzed, and determines the motion area by clustering the motion vectors. After detection, motion area information including motion vector information including the location and size of the movement area (defined as a bounding box (bbox)), and the size of the motion vector direction for the motion vectors included in the movement area. Generates and outputs.

도 2에서 참조된 부호 1은 자동차에 대한 움직임 영역 및 모션벡터들을 나타낸 것이다. 도 3 및 도 4에서 참조된 부호 2는 사람에 대한 움직임 영역 및 모션벡터들을 나타낸 것이다. 도 2 내지 도 4에서 보이는 바와 같이 움직임 영역(1, 2)에는 움직임 영역의 객체의 움직임에 따라 다수의 모션벡터들을 포함한다.The symbol 1 referred to in FIG. 2 indicates the motion area and motion vectors for the car. Numeral 2 referred to in FIGS. 3 and 4 indicates a movement area and motion vectors for a person. As shown in FIGS. 2 to 4, the motion areas 1 and 2 include a number of motion vectors according to the movement of objects in the motion area.

움직임 영역 거리 계산부(30)는 해당 프레임 이미지를 촬영한 카메라의 화각 중심점에서 각 움직임 영역까지의 거리를 계산한다. 이때 거리를 측정하는 움직임 영역의 위치는 도 3에서 보이는 바와 같이 화각 중심점에서 가장 가까운 위치일 것이다. 상기 화각 중심점은 도 2의 101에서 보이는 바와 같이 카메라의 화각 중심(이미지의 중심)에서 화각의 저면부로 내려온 위치가 될 수도 있고, 102와 같이 각 움직임 영역 각각에서 최하단부에서 프레임 이미지의 저면부에 수직으로 내려온 위치가 될 수도 있을 것이다. 이는 거리에 따른 움직임 영역의 객체 크기를 계산하기 위한 것이다.The moving area distance calculation unit 30 calculates the distance from the center point of the angle of view of the camera that captured the corresponding frame image to each moving area. At this time, the location of the motion area that measures the distance will be the location closest to the center point of the angle of view, as shown in FIG. 3. The center point of the angle of view may be a position lowered from the center of the camera's angle of view (center of the image) to the bottom of the angle of view, as shown at 101 in FIG. 2, or at the bottom of each motion area, as shown at 102, perpendicular to the bottom of the frame image. It could be the position that came down to . This is to calculate the size of the object in the motion area according to the distance.

움직임 영역 속도 계산부(40)는 상기 움직임 영역 검출부(20)에서 검출된 움직임 영역의 이동 속도를 계산하여 객체 추정부(50)로 출력한다. 상기 속도는 계산한 두 프레임 이미지의 동일 움직임 영역의 이동 거리 및 프레임 이미지 당 속도(초당 프레임(Frame per Second: FPS)로부터 획득할 수 있음)에 의해 계산될 수도 있고, 움직임 영역의 모션벡터의 크기 및 프레임 이미지 당 속도에 의해 계산될 수도 있으며, 연속된 프레임 이미지의 동일 움직임 영역에 대한 동일한 위치의 두 모션벡터의 변화량에 의해 계산될 수도 있을 것이다.The moving area speed calculation unit 40 calculates the moving speed of the moving area detected by the moving area detecting unit 20 and outputs it to the object estimating unit 50. The speed may be calculated by the moving distance of the same motion area of the two calculated frame images and the speed per frame image (which can be obtained from Frames Per Second (FPS)), and the size of the motion vector of the motion area. and the speed per frame image, and may also be calculated by the amount of change in two motion vectors at the same location for the same motion area of consecutive frame images.

객체 추정부(50)는 상기 화각 거리를 고려한 상기 움직임 영역의 크기를 계산하고, 상기 화각 거리를 고려한 상기 움직임 영역의 크기 및 속도를 포함하는 움직임 영역 특징정보에 기반하여 상기 움직임 영역의 객체 및 이벤트 종류를 추정하고, 추정된 객체 및 이벤트 종류에 따른 딥러닝 모델을 선택하며, 상기 딥러닝 모델을 가지는 객체 이벤트 검출부(60)의 이벤트 검출부(61)를 선택하기 위한 선택 신호를 해당 객체 이벤트 검출부(60)로 출력한다.The object estimation unit 50 calculates the size of the motion zone considering the angle of view distance, and objects and events in the motion zone based on motion zone characteristic information including the size and speed of the motion zone considering the angle of view distance. Estimating the type, selecting a deep learning model according to the estimated object and event type, and sending a selection signal to the event detection unit 61 of the object event detection unit 60 having the deep learning model to the corresponding object event detection unit ( 60).

객체 이벤트 검출부(60)는 검출하고자 이벤트의 객체별로 구성되며, 해당 객체에 대한 다양한 이벤트 각각을 검출하기 위한 딥러닝 모델을 가지는 다수의 이벤트 검출부(61)를 포함한다.The object event detection unit 60 is configured for each object of the event to be detected, and includes a plurality of event detection units 61 having a deep learning model for detecting each of various events for the corresponding object.

상기 이벤트 검출부(61)는 상술한 바와 같이 각각의 이벤트를 검출하기 위한 딥러닝 모델을 포함한다. 상기 객체는 사람, 자동차 등이 될 수 있으며, 상기 이벤트는 객체가 사람인 경우, 배회, 침입, 싸움, 쓰러짐 등이 될 수 있으며, 객체가 차량인 경우, 과속, 추돌, 충돌, 중앙선 침범 등이 될 수 있을 것이다.The event detection unit 61 includes a deep learning model for detecting each event as described above. The object may be a person, a car, etc., and if the object is a person, the event may be wandering, trespassing, fighting, falling, etc., and if the object is a vehicle, it may be speeding, collision, collision, crossing the center line, etc. You will be able to.

상기 이벤트 검출부(61)는 영상 획득부(10)로부터 프레임 이미지를 입력받아 이벤트의 발생을 모니터링하되, 전체 프레임 이미지에 대해 이벤트의 발생 여부를 모니터링하지 않고, 상기 움직임 영역의 객체들에 대해서만 이벤트의 발생 여부를 모니터링한다.The event detection unit 61 receives a frame image from the image acquisition unit 10 and monitors the occurrence of an event, but does not monitor whether an event occurs for the entire frame image, and detects the event only for objects in the motion area. Monitor whether it occurs.

도 5는 본 발명에 따른 이벤트 감지 시스템의 객체 추정부의 상세 구성을 나타낸 도면이다. 도 5를 참조하여 객체 추정부(50)의 구성 및 동작을 좀 더 상세히 설명한다.Figure 5 is a diagram showing the detailed configuration of the object estimation unit of the event detection system according to the present invention. The configuration and operation of the object estimation unit 50 will be described in more detail with reference to FIG. 5 .

객체 추정부(50)는 객체 결정부(53) 및 딥러닝 결정부(55)를 포함하고, 실시 예에 따라 모션벡터 크기 검출부(51), 모션벡터 개수 검출부(52) 및 영역 거리 검출부(54)를 더 포함한다.The object estimation unit 50 includes an object determination unit 53 and a deep learning determination unit 55, and depending on the embodiment, a motion vector size detection unit 51, a motion vector number detection unit 52, and an area distance detection unit 54. ) further includes.

모션벡터 크기 검출부(51)는 상기 움직임 영역 검출부(20)에서 검출된 움직임 영역 정보를 입력받고, 움직임 영역 거리 계산부(30)로부터 화각 거리를 입력받아 화각 거리를 고려한 움직임 영역의 크기 및 움직임 영역에 포함되는 모션벡터의 크기를 계산하여 출력한다.The motion vector size detection unit 51 receives the motion area information detected by the motion area detection unit 20, receives the angle of view distance from the motion area distance calculation unit 30, and calculates the size and motion area of the motion area considering the angle of view distance. Calculate and output the size of the motion vector included in .

모션벡터 개수 검출부(52)는 모션벡터 크기 검출부(51)로부터 모션벡터들을 입력받고 추정할 객체별로 미리 설정된 기준치 이상의 모션벡터값을 가지는 모션벡터의 수를 카운트하고, 카운트된 추정 객체별 모션벡터 수를 객체 결정부(53)로 출력한다. 예를 들어, 모션벡터 개수 검출부(52)는, 추정할 객체가 차량 및 사람이면 차량에 대해 기준치가 5로 지정되고, 사람에 대해 기준치가 3으로 지정될 수 있으며, 움직임 영역의 객체가 아직 무엇인지는 모르나, 차량에 대해 기준치가 5 이상의 모션벡터값을 가지는 차량용 모션벡터 수 및 사람에 대해 기준치가 3 미만인 모션벡터값을 가지는 사람용 모션벡터 수를 카운트하여 출력한다. The motion vector number detection unit 52 receives motion vectors from the motion vector size detection unit 51, counts the number of motion vectors with a motion vector value greater than a preset reference value for each object to be estimated, and calculates the number of motion vectors for each estimated object counted. is output to the object determination unit 53. For example, if the objects to be estimated are a vehicle and a person, the motion vector number detector 52 may specify a reference value of 5 for the vehicle, a reference value of 3 for a person, and determine what the object in the motion area is yet. Although you may not be aware of it, the number of motion vectors for vehicles with a motion vector value of 5 or more as a reference value and the number of motion vectors for people with a motion vector value as a reference value of less than 3 for people are counted and output.

객체 결정부(53)는 상기 움직임 영역 정보, 화각 거리 및 움직임 영역별 속도정보를 입력받고, 실시 예에 따라 감시영역 정보, 움직임 영역별 미리 설정된 기준치 이상의 모션벡터값을 가지는 모션벡터 수를 입력받는다.The object determination unit 53 receives the motion area information, angle of view distance, and speed information for each movement area, and, depending on the embodiment, receives surveillance area information and the number of motion vectors with a motion vector value greater than a preset reference value for each movement area. .

객체 결정부(53)는 움직임 영역 정보 및 화각 거리를 입력받아 화각 거리를 고려한 움직임 영역의 크기를 결정하고, 거리를 고려한 움직임 영역의 크기 및 움직임 영역별 속도에 기반하여 객체를 추정한다. 예를 들어, 움직임 영역의 크기가 10 이상이고, 속도가 시속 10Km 이상이면 움직임 영역을 차량 객체로 분류하고, 움직임 영역의 크기가 3 이하이고, 속도가 시속 5Km 이하이면 움직임 영역을 사람 객체로 분류한다.The object determination unit 53 receives the motion region information and the angle of view distance, determines the size of the motion region considering the angle of view distance, and estimates the object based on the size of the motion region considering the distance and the speed for each motion region. For example, if the size of the motion area is 10 or more and the speed is 10 km/h or more, the movement area is classified as a vehicle object, and if the size of the movement area is 3 or less and the speed is 5 km/h or less, the movement area is classified as a human object. do.

다른 실시 예에 따라 객체 결정부(53)는 모션벡터 개수 검출부(52)로부터 추정 객체별 모션벡터 수를 더 입력받아 상기 움직임 영역에 대한 객체를 추정한다. 예를 들면, 객체 결정부(53)는 입력되는 차량용 모션벡터 수가 미리 설정된 기준치(예: 40) 이상이고, 움직임 객체 속도가 기준치(10Km, 60Km 등) 이상이면 해당 움직임 영역을 차량 객체로 결정하고, 사람용 모션벡터 수가 미리 설정된 기준치(예: 10) 이상이고, 움직임 객체의 속도가 5Km 이하이면 해당 움직임 영역을 사람 객체로 결정한다.According to another embodiment, the object determination unit 53 further receives the number of motion vectors for each estimated object from the motion vector number detection unit 52 and estimates the object for the motion area. For example, if the number of input vehicle motion vectors is greater than or equal to a preset standard value (e.g., 40) and the moving object speed is greater than or equal to the standard value (10Km, 60Km, etc.), the object determination unit 53 determines the corresponding motion area to be a vehicle object. , If the number of motion vectors for people is more than a preset standard (e.g., 10), and the speed of the moving object is less than 5 km, the corresponding moving area is determined to be a human object.

또한, 다른 실시 예에 따라 객체 결정부(53)는 도 2와 같이 차도영역 및 인도영역에 대한 차도영역 정보 및 인도영역 정보를 포함하는 감시영역 정보를 획득하고, 상기 움직임 영역의 위치가 차도영역에 위치하고 있는지 인도영역에 위치하고 있는지를 더 판단하여 움직임 영역이 사람 객체인지, 차량 객체인지를 판단할 수도 있을 것이다.In addition, according to another embodiment, the object determination unit 53 obtains surveillance area information including roadway area information and sidewalk area information for the roadway area and sidewalk area as shown in FIG. 2, and the location of the movement area is in the roadway area. It may be possible to further determine whether the moving area is a human object or a vehicle object by further determining whether it is located in the sidewalk area.

상기 결정된 객체 정보는 딥러닝 결정부(55)로 입력한다.The determined object information is input to the deep learning decision unit 55.

영역 거리 검출부(53)는, 화각 거리를 고려하여 상기 객체 결정부(53)에서 추정된 객체간 거리를 계산하여 딥러닝 결정부(55)로 출력한다.The area distance detection unit 53 calculates the inter-object distance estimated by the object determination unit 53 in consideration of the angle of view distance and outputs it to the deep learning determination unit 55.

딥러닝 결정부(55)는 객체 결정부(53)로부터 입력되는 객체정보에 기반하여 해당 프레임 이미지에서 모니터링할 이벤트를 결정하고, 결정된 이벤트 종류에 대응하는 딥러닝 모델을 활성화시키는 이벤트 검출부 선택 신호를 상기 추정된 객체에 대응하는 객체 이벤트 검출부(60)의 상기 분류된 이벤트 종류에 대응하는 이벤트 검출부(61)로 출력하여 해당 이벤트 검출부(61)를 활성화시킨다.The deep learning determination unit 55 determines an event to be monitored in the corresponding frame image based on the object information input from the object determination unit 53, and sends an event detection unit selection signal to activate the deep learning model corresponding to the determined event type. The object event detection unit 60 corresponding to the estimated object outputs the output to the event detection unit 61 corresponding to the classified event type, thereby activating the event detection unit 61.

또한, 다른 실시 예에 따라 딥러닝 결정부(55)는 감시영역 정보를 더 입력받고, 감시영역의 종류(차도, 인도, 사유지 등등) 및 추정된 객체 종류에 대응하는 이벤트 종류를 결정할 수도 있을 것이다.In addition, according to another embodiment, the deep learning decision unit 55 may receive additional surveillance area information and determine the type of event corresponding to the type of surveillance area (roadway, sidewalk, private land, etc.) and the estimated object type. .

또한, 다른 실시 예에 따라 딥러닝 결정부(55)는 영역 거리 검출부(54)로부터 상기 추정된 객체 간의 거리를 더 고려하여 이벤트 종류를 결정할 수도 있을 것이다. 예를 들어 두 사람 객체 간의 거리가 미리 설정된 거리 이내이면 싸움 이벤트를 결정하고, 두 차량 객체 간의 거리가 미리 설정된 거리 이내이면 추돌(뒷 차량 객체의 속도가 빠르면), 충돌(객체의 이동 방향(움직임 영역 정보의 벡터 방향에 의해 알 수 있음)이 마주하고 있으면) 이벤트로 결정할 수 있을 것이다.Additionally, according to another embodiment, the deep learning determination unit 55 may determine the event type by further considering the distance between the estimated objects from the area distance detection unit 54. For example, if the distance between two human objects is within a preset distance, a fight event is determined; if the distance between two vehicle objects is within a preset distance, a collision (if the speed of the rear vehicle object is fast), collision (if the object's movement direction (movement direction) is determined, If (which can be known by the vector direction of the area information) are facing each other, it can be determined as an event.

도 6은 본 발명의 실시 예에 따른 영상의 모션벡터를 이용한 움직임 영역 기반 이벤트 감지 방법을 나타낸 흐름도이다.Figure 6 is a flowchart showing a motion area-based event detection method using a motion vector of an image according to an embodiment of the present invention.

도 6을 참조하면, 영상 획득부(10)는 영상이 획득되는지를 모니터링하고(S111), 영상이 획득되면 프레임 이미지를 추출하여 출력한다(S113). 이때, 실시 예에 따라 영상 획득부(10)는 획득 영상이 촬영된 감시영역에 대한 감시영역정보를 더 획득하여 출력할 수 있을 것이다.Referring to FIG. 6, the image acquisition unit 10 monitors whether an image is acquired (S111), and when an image is acquired, extracts and outputs a frame image (S113). At this time, depending on the embodiment, the image acquisition unit 10 may further obtain and output surveillance area information about the surveillance area where the acquired image was captured.

움직임 영역 추출부(20)는 영상 획득부(10)로부터 입력하는 프레임 이미지로부터 모션벡터를 검출하고, 모션벡터에 의한 움직임 영역을 검출하고, 움직임 영역에 대한 움직임 영역 정보를 생성하여 출력한다(S115).The motion region extraction unit 20 detects a motion vector from the frame image input from the image acquisition unit 10, detects a motion region by the motion vector, and generates and outputs motion region information about the motion region (S115) ).

움직임 영역 거리 계산부(30)는 미리 설정된 화각 중심점에서 검출된 움직임 영역까지의 거리인 움직임 영역별 화각 거리를 계산하여 움직임 영역 속도 계산부(40) 및 객체 추정부(50)로 출력한다(S117).The motion region distance calculator 30 calculates the angle of view distance for each motion region, which is the distance from the preset center point of the angle of view to the detected motion region, and outputs it to the motion region speed calculator 40 and the object estimation unit 50 (S117) ).

움직임 영역 속도 계산부(40)는 움직임 영역 정보 및 화각 거리를 입력받고, 화각 거리를 고려한 움직임 영역별 이동 속도를 계산하여 객체 추정부(50)로 출력한다(S119)The motion region speed calculation unit 40 receives motion region information and the angle of view distance, calculates the movement speed for each motion region considering the angle of view distance, and outputs it to the object estimation unit 50 (S119)

움직임 영역을 검출하고, 움직임 영역별 화각 거리 및 속도가 계산되면 객체 추정부(50)는 모션벡터 크기 검출부(51)를 통해 움직임 영역 정보에 근거하여 움직임 영역별로 화각 거리를 고려한 추정 대상 객체별로 미리 설정된 기준치 이상의 모션벡터값을 가지는 모션벡터를 검출하고(S121), 모션벡터 개수 검출부(52)를 통해 검출된 추정 대상 객체별 모션벡터의 개수인 추정 대상 객체별 모션벡터 수를 카운트한다(S123).When the motion area is detected and the angle-of-view distance and speed for each movement area are calculated, the object estimation unit 50 preliminarily estimates each target object by considering the angle-of-view distance for each movement area based on the motion area information through the motion vector size detection unit 51. A motion vector having a motion vector value greater than or equal to a set reference value is detected (S121), and the number of motion vectors for each estimated target object, which is the number of motion vectors for each estimated target object detected through the motion vector number detector 52, is counted (S123). .

객체 추정부(50)는 객체 결정부(53)를 통해 추정 대상 객체별 모션벡터 수, 움직임 영역별 속도, 감시영역 정보, 움직임 영역별 크기 중 어느 하나 이상에 의해 객체를 추정하고, 추정된 객체 추정 정보를 영역 거리 검출부(54) 및 딥러닝 결정부(55)로 출력한다.The object estimation unit 50 estimates the object through the object determination unit 53 based on one or more of the number of motion vectors for each object to be estimated, the speed for each movement area, the surveillance area information, and the size for each movement area, and the estimated object The estimated information is output to the area distance detection unit 54 and the deep learning decision unit 55.

객체 추정부(50)는 영역 거리 검출부(54)를 통해 상기 객체 추정부(53)를 통해 추정된 객체간 거리를 계산한 후, 딥러닝 결정부(55)를 통해 추정된 객체 종류, 객체 간 거리 및 감시영역 정보에 의해 상기 프레임 이미지로부터 모니터링할 이벤트 종류를 결정한다.The object estimation unit 50 calculates the distance between objects estimated through the object estimation unit 53 through the area distance detection unit 54, and then calculates the object type and object type estimated through the deep learning determination unit 55. The type of event to be monitored is determined from the frame image based on distance and surveillance area information.

이벤트 종류가 결정되면 딥러닝 모델이 결정되므로 객체 추정부(50)는 해당 딥러닝 모델을 가지고 있는 이벤트 검출부(61)를 활성화하기 위한 선택 신호를 해당 이벤트 검출부(61)로 출력한다(S129). When the event type is determined, the deep learning model is determined, so the object estimation unit 50 outputs a selection signal to activate the event detection unit 61 with the deep learning model to the event detection unit 61 (S129).

한편, 본 발명은 전술한 전형적인 바람직한 실시 예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.Meanwhile, it is common knowledge in the technical field that the present invention is not limited to the above-described typical preferred embodiments, but can be implemented by various improvements, changes, substitutions, or additions without departing from the gist of the present invention. Anyone who has will be able to understand it easily. If the implementation by such improvement, change, substitution or addition falls within the scope of the appended patent claims below, the technical idea thereof should also be regarded as belonging to the present invention.

10: 영상 획득부 20: 움직임 영역 검출부
30: 움직임 영역 거리 계산부 40: 움직임 영역 속도 계산부
50: 객체 추정부 51: 모션벡터 크기 검출부
52: 모션벡터 개수 검출부 53: 객체 결정부
54: 영역 거리 검출부 55: 딥러닝 결정부
60: 객체 이벤트 검출부 61: 이벤트 검출부10: Image acquisition unit 20: Movement area detection unit
30: Movement area distance calculation unit 40: Movement area speed calculation unit
50: Object estimation unit 51: Motion vector size detection unit
52: Motion vector number detection unit 53: Object determination unit
54: Area distance detection unit 55: Deep learning decision unit
60: object event detection unit 61: event detection unit

Claims

an image acquisition unit that acquires an image including a plurality of frame images per second and outputs the frame images;
Detects a motion vector from a frame image input from the image acquisition unit, detects a motion region by the motion vector, detects the size of the motion region, and then outputs motion region information including the location and size of the motion region. a motion area detection unit;
the motion area distance calculation unit that calculates the angle of view distance from the angle of view reference point of the image to each of the detected motion areas;
a motion area speed calculation unit that calculates the speed of the motion area in consideration of the angle of view distance;
For different objects, including one or more event detection units having a deep learning model for detecting different events of a specific object, and detecting events of the object for the corresponding movement area from the frame image input from the image acquisition unit. Multiple object event detection unit; and
Estimating the object and event type of the moving area based on the moving area characteristic information including the size and speed of the moving area considering the angle of view distance, and detecting the estimated event type of the object event detector corresponding to the estimated object type. A motion region-based event detection system using a motion vector of an image, comprising an object estimation unit that activates an event detection unit with a corresponding deep learning model.

According to paragraph 1,
The image acquisition unit,
Obtain and output additional surveillance area information about the surveillance area captured by the video,
The object estimation unit,
an object determination unit that estimates an object type for each motion region based on the motion region size considering the angle of view distance, a speed for each motion region, and the surveillance region information; and
After determining the type of event to be monitored based on the object type, speed for each movement area, and surveillance area information determined by the object determination unit, a deep learning model to be driven in response to the determined object and event type is determined and output to the object event detection unit. A motion area-based event detection system using motion vectors of images, characterized by including a deep learning decision unit.

According to paragraph 2,
The object estimation unit,
a motion vector size detection unit that detects and outputs the size of the motion vector constituting the motion region considering the angle of view distance for each motion region; and
From the motion vector size detection unit, motion vectors for each movement area including size information of the motion vector are input, and the number of motion vectors with a motion vector size greater than a preset standard value for each movement area is counted to output the number of motion vectors for each motion vector. It further includes a motion vector number detection unit,
The object determination unit,
A motion area-based event detection system using motion vectors of an image, characterized in that the object type is determined by further reflecting the number of motion vectors.

According to paragraph 1,
The object estimation unit,
a motion vector size detection unit that detects and outputs the size of a motion vector constituting the motion region considering the angle of view distance for each motion region;
The motion vector for each movement area including the size information of the motion vector is input from the motion vector size detection unit, and the number of motion vectors having a motion vector size greater than the corresponding reference value is counted for each estimation target object preset for each movement area to determine the estimation target object. A motion vector number detection unit that outputs the number of motion vectors for each star; and
an object determination unit that estimates an object type for each motion region based on the size of the motion region considering the angle of view distance, the speed for each motion region, and the number of motion vectors; and
After determining the type of event to be monitored based on the object type and speed for each movement area determined by the object determination unit, a deep learning decision unit that determines a deep learning model to be operated in response to the determined object and event type. A motion region-based event detection system using video motion vectors.

According to clause 3 or 4,
The object estimation unit,
It further includes a region distance detection unit that calculates and outputs the distance between the motion regions,
The deep learning decision unit,
A motion region-based event detection system using motion vectors of images, characterized in that the event type and deep learning model are determined by further reflecting the distance between the motion regions input from the region distance detection unit.

According to paragraph 1,
The motion area speed calculation unit,
It is calculated by the size of the motion vector of the motion area for the previous frame image and the current frame image, the reference frame image and the target frame image, and the frame image speed, which is the speed between two frame images, or the same position for three consecutive frame images. A motion area-based event detection system using motion vectors of images, which is calculated based on the amount of change in two motion vectors.

According to paragraph 2,
The surveillance area information is,
It further includes area classification information that divides the surveillance area in the video into one or more of a road area, a sidewalk area, and an intrusion area,
The object determination unit,
A motion area-based event detection system using a motion vector of an image, characterized in that the type of object is estimated by further considering whether the location of the motion area is in a road area, a sidewalk area, or an intrusion area.

An image acquisition process in which an image acquisition unit acquires an image including a plurality of frame images per second and outputs the frame images;
The motion region detection unit detects a motion vector from the frame image input from the image acquisition unit, detects the motion region by the motion vector, and generates motion region information including the location and size of the motion region for the detected motion region. Output motion area detection process;
The motion region angle of view distance calculation process in which the motion region distance calculation unit calculates the angle of view distance from the angle of view reference point of the image to each of the detected motion regions;
A moving area speed calculation process in which a moving area speed calculation unit calculates the speed of the moving area by considering the angle of view distance;
The object estimation unit estimates the object and event type of the motion area based on motion characteristic information including the size and speed of the motion area considering the angle of view distance, and the estimated event of the object event detector corresponding to the estimated object type. A motion area object estimation process that activates an event detection unit equipped with a deep learning model corresponding to the type; and
A motion area using a motion vector of an image, wherein the event detection unit of the activated object event detection unit includes an event detection process in which an event of the object for the corresponding movement area is detected from a frame image input from the image acquisition unit. Based event detection method.

According to clause 8,
In the image acquisition process, the image acquisition unit further acquires and outputs surveillance area information about the surveillance area captured by the image,
The motion area object estimation process is,
An object determination step in which the object event detection unit estimates the object type for each movement area based on the size of the movement area considering the angle of view distance, the speed for each movement area, and the surveillance area information through the object determination unit; and
After the object event detection unit determines the type of event to be monitored based on the object type, speed for each movement area, and surveillance area information determined by the object determination unit through the deep learning decision unit, deep learning to run in response to the determined object and event type. A motion area-based event detection method using motion vectors of an image, comprising a deep learning decision step for determining a model.

According to clause 9,
The motion area object estimation process is,
A motion vector size detection step in which the object event detector detects and outputs the size of a motion vector constituting a motion area considering the angle of view distance for each motion area through a motion vector size detection unit; and
The object event detection unit receives a motion vector including size information of the motion vector for each movement area from the motion vector size detection unit through the motion vector number detection unit, and determines the number of motion vectors having a motion vector size greater than a preset reference value for each movement area. It further includes a motion vector number detection step of counting and outputting the number of motion vectors for each motion vector,
A motion area-based event detection method using a motion vector of an image, wherein in the object determination step, the object event detection unit determines the type of object by further reflecting the number of motion vectors through the object determination unit.

According to clause 10,
The motion area object estimation process is,
It further includes a region distance detection step in which the object estimation unit calculates and outputs the distance between the motion regions through a region distance detection unit,
In the deep learning decision step, the object estimation unit determines the event type and deep learning model by further reflecting the distance between the motion areas input from the area distance detection unit through the deep learning decision unit. Motion vector of the image Motion area-based event detection method using.

According to clause 8,
In the motion region speed calculation process, the motion region velocity calculation unit calculates the size of the motion vector of the motion region for the previous frame image and the current frame image and the frame image velocity, which is the speed between the reference frame image and the target frame image and the two frame images. A motion area-based event detection method using a motion vector of an image, characterized in that it is calculated by or by the amount of change in two motion vectors at the same location for three consecutive frame images.

According to clause 9,
The surveillance area information is,
It further includes area classification information that divides the surveillance area in the video into one or more of a road area, a sidewalk area, and an intrusion area,
In the object determination step, the object estimation unit estimates the type of the object by further considering whether the location of the movement area is in a road area, a sidewalk area, or an intrusion area through the object determination unit. Motion area-based event detection method using motion vectors.