KR20120025718A - Apparatus and method for detecting abnormal behavior - Google Patents
Apparatus and method for detecting abnormal behavior Download PDFInfo
- Publication number
- KR20120025718A KR20120025718A KR1020100087784A KR20100087784A KR20120025718A KR 20120025718 A KR20120025718 A KR 20120025718A KR 1020100087784 A KR1020100087784 A KR 1020100087784A KR 20100087784 A KR20100087784 A KR 20100087784A KR 20120025718 A KR20120025718 A KR 20120025718A
- Authority
- KR
- South Korea
- Prior art keywords
- image frame
- current image
- moving object
- background image
- detecting
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 이상행위 검출장치 및 방법에 관한 것으로, 보다 상세하게는, 영상으로부터 검출된 객체의 행위를 분석하여 감시 대상에 해당하는지 여부를 판단하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting abnormal behavior, and more particularly, to an apparatus and method for analyzing whether an object detected from an image is an object to be monitored.
각종 범죄의 사전 예방을 위해 사용되는 CCTV에 의한 모니터링 방식에서는 관리자가 CCTV에 의해 촬영된 영상을 지속적으로 검토하여 이상 상황이 발생할 경우에 이를 직접 감시하는 것이 일반적이다. 그러나 이러한 방식은 사람의 지속적인 관찰에 의존하므로 비효율적이며, 집중력 저하로 인하여 감시 대상이 되는 이상 상황을 놓칠 우려가 있다. 그에 따라 지능형 감시 시스템이 개발되어 지속적인 연구가 이루어져 왔다.In the CCTV monitoring method, which is used for the prevention of various crimes, it is common for the manager to continuously review the images taken by the CCTV and directly monitor them when an abnormal situation occurs. However, this method is inefficient because it relies on continuous observation of the person, and there is a fear that the abnormal situation to be monitored may be missed due to the reduced concentration. Accordingly, intelligent surveillance system has been developed and ongoing research has been conducted.
지능형 감시 시스템은 카메라로부터 입력되는 영상을 실시간으로 분석하여 움직임이 있는 객체를 감지, 추적 및 분류하는 시스템을 말한다. 특히 객체가 보안 정책에 해당하는 이벤트를 발생시켰는지 여부를 판단하여 관리자에게 실시간으로 그에 관한 정보를 제공하고, 관련 데이터 및 이벤트 정보를 저장한 후 사후 관리 및 예방의 기능을 극대화시킬 수 있다.An intelligent surveillance system is a system that detects, tracks and classifies moving objects by analyzing images input from a camera in real time. In particular, it is possible to determine whether an object has triggered an event corresponding to a security policy, provide information to the administrator in real time, store related data and event information, and maximize post-management and prevention functions.
최근의 객체 감지 및 추적 시스템은 객체의 이동에 비해 특정 장면 또는 상황을 분석하는 데 초점을 맞추어 연구되고 있다. 예를 들면, 사람 형태의 모델로 이루어진 학습집합을 기초로 영상 내에 존재하는 객체의 외곽성분을 분석하여 학습집합 내에서 가장 비슷한 모델을 추정하는 동적 형태 모델(Active Shape Model : ASM)이 제안되었다. 또한 영상으로부터 사람 형태의 실루엣을 추출하고, 분석을 통한 모델 기반 알고리즘을 제안하여 겹침 현상과 같은 문제를 해결하는 방법이 제안된 바 있으며, 사람을 모델로 한 실시간 블럽(blob) 추적 알고리즘도 제안되었다.Recently, the object detection and tracking system has been focused on analyzing a specific scene or situation compared to the movement of an object. For example, an Active Shape Model (ASM) has been proposed that estimates the most similar model in a learning set by analyzing the outer components of the objects in the image based on the learning set composed of the human shape model. In addition, a method of solving a problem such as an overlapping phenomenon has been proposed by extracting a silhouette of a human shape from an image and suggesting a model-based algorithm through analysis, and a real-time blob tracking algorithm using a human model has also been proposed. .
또 다른 기존의 방법으로는 영상 내에 존재하는 객체들의 특징으로 웨이블릿을 이용하여 패턴을 만들고, 이를 통계적으로 분석하여 SVM(Support Vector Machine)을 이용하는 방법이 있으며, 보행자를 인식하기 위해 보행자의 패턴 및 보행자가 아닌 패턴을 나누어 생성함으로써 단순하면서도 빠른 adaboost 알고리즘을 사용하는 방법이 있다.Another conventional method is to create a pattern using wavelets as a feature of objects existing in the image, and to analyze it statistically and to use SVM (Support Vector Machine), and to recognize pedestrians. There is a simple and fast adaboost algorithm that generates patterns by dividing them rather than using them.
그 외에 효과적이고 정확하게 객체를 검출하며 데이터 분석에 따른 접근을 시도하기 위한 다양한 방법들이 제안된 바 있으나, 객체가 발생시키는 특정한 상황을 목표로 하여 영상을 분석하는 방법에 대한 연구는 아직 충분하지 않은 실정이다.In addition, various methods have been proposed to effectively and accurately detect objects and attempt to access them according to data analysis. However, there is not enough research on how to analyze images targeting specific situations generated by objects. to be.
본 발명이 이루고자 하는 기술적 과제는, 영상으로부터 객체를 검출 및 식별하고, 객체가 속한 구체적인 상황을 분류할 수 있는 이상행위 검출장치 및 방법을 제공하는 데 있다.It is an object of the present invention to provide an apparatus and method for detecting abnormal behavior that can detect and identify an object from an image and classify a specific situation to which the object belongs.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상으로부터 객체를 검출 및 식별하고, 객체가 속한 구체적인 상황을 분류할 수 있는 이상행위 검출방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is a computer-readable recording medium having recorded thereon a program for detecting and identifying an object from an image and executing an abnormal behavior detection method for classifying a specific situation to which the object belongs. To provide.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 이상행위 검출장치는, 입력받은 복수의 영상프레임 중에서 현재 영상프레임 및 상기 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임 사이에서 검출된 광류 흐름을 기초로 상기 현재 영상프레임에 대응하는 배경영상을 생성하는 배경영상 생성부; 상기 배경영상과 상기 현재 영상프레임의 차분에 의해 상기 현재 영상프레임으로부터 이동객체를 검출하는 이동객체 검출부; 및 상기 현재 영상프레임까지 시간적으로 연속하는 영상프레임들로부터 동일하게 검출된 상기 이동객체의 위치 변화인 이동궤적을 기초로 상기 이동객체가 상기 현재 영상프레임에 대응하는 감시대상 영역 내에서 이동함에 따라 발생하는 이상 상황을 검출하는 이상행위 검출부;를 구비한다.In order to achieve the above technical problem, the apparatus for detecting anomalous behavior according to the present invention is based on an optical flow flow detected between a current image frame and a previous image frame temporally preceding the current image frame among a plurality of input image frames. A background image generator for generating a background image corresponding to the current image frame; A moving object detector for detecting a moving object from the current image frame based on a difference between the background image and the current image frame; And a moving object moving within a surveillance region corresponding to the current image frame based on a movement trajectory which is a position change of the moving object that is equally detected from image frames consecutive in time up to the current image frame. And an abnormal behavior detection unit for detecting an abnormal situation.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 이상행위 검출방법은, 입력받은 복수의 영상프레임 중에서 현재 영상프레임 및 상기 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임 사이에서 검출된 광류 흐름을 기초로 상기 현재 영상프레임에 대응하는 배경영상을 생성하는 배경영상 생성단계; 상기 배경영상과 상기 현재 영상프레임의 차분에 의해 상기 현재 영상프레임으로부터 이동객체를 검출하는 이동객체 검출단계; 및 상기 현재 영상프레임까지 시간적으로 연속하는 영상프레임들로부터 동일하게 검출된 상기 이동객체의 위치 변화인 이동궤적을 기초로 상기 이동객체가 상기 현재 영상프레임에 대응하는 감시대상 영역 내에서 이동함에 따라 발생하는 이상 상황을 검출하는 이상행위 검출단계;를 갖는다.In order to achieve the above technical problem, an abnormal behavior detection method according to the present invention is based on a flow of light flow detected between a current video frame and a previous video frame temporally preceding the current video frame among a plurality of input video frames. A background image generation step of generating a background image corresponding to the current image frame; A moving object detecting step of detecting a moving object from the current image frame based on a difference between the background image and the current image frame; And a moving object moving within a surveillance region corresponding to the current image frame based on a movement trajectory which is a position change of the moving object that is equally detected from image frames consecutive in time up to the current image frame. And abnormal behavior detection step of detecting an abnormal situation.
본 발명에 따른 이상행위 검출장치 및 방법에 의하면, 영상프레임과 배경영상의 차분에 의해 검출되는 이동객체의 위치 변화를 기초로 감시대상 영역 내에서 발생할 수 있는 월담 행위 또는 배회 행위 등의 이상 상황을 검출함으로써 구체적인 이상 상황의 발생 여부에 대하여 효과적으로 무인감시를 수행할 수 있다. 또한 이전에 입력된 영상프레임에 대응하여 생성된 배경영상을 사용하여 일정시간 이상 정지하고 있는 객체를 검출함으로써 객체의 이동에 따른 이상 상황뿐 아니라 방치 또는 실신 등의 이상 상황도 검출 가능하다.According to the apparatus and method for detecting abnormal behavior according to the present invention, an abnormal situation such as a wall event or a roaming behavior that may occur in the area to be monitored may be based on a change in the position of the moving object detected by the difference between the image frame and the background image. By detecting, an unmanned monitoring can be effectively performed on whether or not a specific abnormal situation occurs. In addition, by detecting an object that is stopped for a predetermined time using a background image generated in response to a previously input image frame, an abnormal situation such as neglect or fainting can be detected as well as an abnormal situation caused by the movement of the object.
도 1은 본 발명에 따른 이상행위 검출장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 현재 영상프레임에 대응하는 배경영상을 생성하고, 현재 영상프레임으로부터 객체를 검출하는 예를 나타낸 도면,
도 3은 현재 영상프레임으로부터 검출된 이동객체의 이동궤적을 추적하는 일 예를 나타낸 도면,
도 4는 이동객체가 경계를 침범하는 행위 중에서 월담 행위를 검출하는 일 예를 나타낸 도면,
도 5는 객체의 월담 행위 검출을 컴퓨터 프로그램으로 구현하기 위한 소스코드를 나타낸 도면,
도 6은 복수의 블록으로 분할된 현재 영상프레임 및 정상적으로 이동하는 이동객체가 검출된 예를 나타낸 도면,
도 7은 복수의 블록으로 분할된 현재 영상프레임 및 배회 행위에 해당하는 이동객체가 검출된 예를 나타낸 도면,
도 8은 객체의 배회 행위 검출을 컴퓨터 프로그램으로 구현하기 위한 소스코드를 나타낸 도면,
도 9는 현재 영상프레임으로부터 검출된 정지객체와 관련된 이상 상황을 판별하는 과정을 컴퓨터 프로그램으로 구현하기 위한 소스코드를 나타낸 도면,
도 10은 카메라 조작의 세 가지 경우를 나타낸 도면,
도 11은 본 발명에 따른 이상행위 검출방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 12는 객체 검출의 성능 평가를 위한 실험에 사용된 축구장 영상,
도 13은 객체 검출의 성능 평가를 위한 실험에 사용된 주차장 영상,
도 14는 객체 검출의 성능 평가를 위한 실험에 사용된 PET2001 영상,
도 15는 복수의 영상프레임에 검출된 객체 및 그 이동궤적을 표시한 도면,
도 16은 AVSS 2007 영상을 사용하여 버려진 물체를 검출한 실험 결과를 나타낸 도면,
도 17은 실신 객체를 검출하기 위한 실험 결과를 나타낸 도면,
도 18은 배회 행위를 검출하기 위한 실험 결과를 나타낸 도면,
도 19는 카메라 조작 행위 중 카메라의 초점 변화를 검출하는 실험 결과를 나타낸 도면,
도 20은 카메라 조작 행위 중 카메라의 시점 변화를 검출하는 실험 결과를 나타낸 도면, 그리고,
도 21은 카메라 조작 행위 중 카메라의 시야 가림을 검출하는 실험 결과를 나타낸 도면이다.1 is a block diagram showing the configuration of a preferred embodiment of the abnormal behavior detection apparatus according to the present invention;
2 is a diagram illustrating an example of generating a background image corresponding to a current image frame and detecting an object from the current image frame;
3 is a diagram illustrating an example of tracking a moving trajectory of a moving object detected from a current image frame;
4 is a diagram illustrating an example of detecting an overt moon behavior in a manner in which a mobile object violates a boundary;
5 is a view showing source code for implementing the detection of the monthly act of the object in a computer program;
FIG. 6 is a diagram illustrating an example in which a current image frame divided into a plurality of blocks and a moving object moving normally are detected;
7 is a diagram illustrating an example in which a current image frame divided into a plurality of blocks and a moving object corresponding to a wandering action are detected;
8 is a view showing source code for implementing the detection of roaming behavior of an object in a computer program;
9 is a diagram illustrating source code for implementing a process of determining an abnormal situation related to a still object detected from a current image frame by a computer program;
10 shows three cases of camera operations;
11 is a flowchart illustrating a process of performing a preferred embodiment of the abnormal behavior detection method according to the present invention;
12 is a soccer field image used in the experiment for the performance evaluation of the object detection,
13 is a parking lot image used in the experiment for the performance evaluation of the object detection,
14 is a PET2001 image used in an experiment for evaluating performance of object detection;
15 is a diagram illustrating an object detected in a plurality of image frames and a movement trajectory thereof;
16 is a view showing the results of experiments in detecting discarded
17 is a view showing an experimental result for detecting a syncope object;
18 is a diagram showing an experimental result for detecting a wandering behavior;
19 is a view showing an experimental result of detecting a change in focus of a camera during a camera manipulation action;
20 is a view showing an experimental result of detecting a change in a viewpoint of a camera during a camera manipulation action;
FIG. 21 is a diagram showing an experimental result of detecting a blind field of a camera during a camera manipulation action. FIG.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 이상행위 검출장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the abnormal behavior detection apparatus and method according to the present invention.
도 1은 본 발명에 따른 이상행위 검출장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a preferred embodiment of the abnormal behavior detection apparatus according to the present invention.
도 1을 참조하면, 본 발명에 따른 이상행위 검출장치는 고정된 지점에서 감시대상 영역을 연속적으로 촬영하여 복수의 영상프레임을 출력하는 카메라와 연결되어 감시대상 영역 내에서 발생하는 비정상적인 상황들을 검출하도록 구현될 수 있다. 이를 위해 본 발명에 따른 이상행위 검출장치는 배경영상 생성부(110), 이동객체 검출부(120), 이상행위 검출부(130), 정지객체 검출부(140), 방치객체 검출부(150) 및 조작 판별부(160)를 구비한다. 이 중에서 이동객체 검출부(120), 정지객체 검출부(140) 및 조작 판별부(160)에 의해 감시대상 영역 내의 비정상적인 상황들이 검출된다.Referring to FIG. 1, the apparatus for detecting abnormal behavior according to the present invention is connected to a camera that outputs a plurality of image frames by continuously photographing a surveillance target area at a fixed point to detect abnormal situations occurring in the surveillance target area. Can be implemented. To this end, the apparatus for detecting abnormal behavior according to the present invention includes a background
먼저 배경영상 생성부(110)는 입력받은 복수의 영상프레임 중에서 현재 영상프레임 및 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임 사이에서 검출된 광류 흐름을 기초로 현재 영상프레임에 대응하는 배경영상을 생성한다. 이러한 배경영상의 생성 과정은 복수의 영상프레임이 연속하여 입력될 때마다 각각의 영상프레임에 대하여 수행되며, 현재 영상프레임에 대응하는 배경영상은 이전 영상프레임에 대응하는 배경영상의 각 화소를 현재 영상프레임의 동일 지점의 화소로 치환하거나 그대로 유지함으로써 얻어진다.First, the background
배경영상 생성부(110)는 현재 영상프레임과 이전 영상프레임 사이의 유클리디안 거리를 최소화하는 광류 흐름을 다음의 수학식 1과 같이 예측한다.The
여기서, It(x,y)는 현재 영상프레임을 구성하는 각 화소의 좌표, It - 1(x,y)는 이전 영상프레임을 구성하는 각 화소의 좌표, (dx,dy)는 광류 흐름을 예측하기 위한 변위, 그리고 w는 각 영상프레임에 설정되는 영역의 크기를 나타낸다.Where I t (x, y) is the coordinate of each pixel constituting the current image frame, I t - 1 (x, y) is the coordinate of each pixel constituting the previous image frame, and (d x , d y ) is The displacement for predicting the optical flow, and w represents the size of the region set in each image frame.
배경영상 생성부(110)는 수학식 1에 의해 얻어지는 E 값이 사전에 설정된 문턱값보다 작으면 현재 영상프레임의 해당 지점을 중심으로 하는 w 크기의 영역을 이전 영상프레임에 대응하는 배경영상에서 동일 지점의 영역에 삽입하여 업데이트된 배경영상을 생성한다. 여기서 문턱값은 1.0으로 설정될 수 있다. 또한 E 값이 문턱값 이상인 지점에 대하여는 다음의 수학식 2에 의해 이전 영상프레임에 대응하는 배경영상과 현재 영상프레임을 혼합함으로써 배경영상을 생성한다.If the E value obtained by
여기서, Bt(x,y)는 현재 영상프레임에 대응하는 배경영상, Bt - 1(x,y)는 이전 영상프레임에 대응하는 배경영상, 그리고 α는 0 내지 1 사이의 범위에서 결정되는 배경 혼합비이다.Here, B t (x, y) is a background image corresponding to the current image frame, B t - 1 (x, y) is a background image corresponding to the previous image frame, and α is determined in a range between 0 and 1. Background blending ratio.
이동객체 검출부(120)는 배경영상과 현재 영상프레임의 차분에 의해 현재 영상프레임으로부터 이동객체를 검출한다. 배경영상 생성을 위한 광류 흐름 검출과 유사하게 이동객체의 검출 역시 일정 기준치를 기초로 다음의 수학식 3에 의해 이루어진다.The moving
여기서, DIt(x,y)는 배경영상과 현재 영상프레임 사이의 차분 영상으로, 1의 값을 가지는 화소로 이루어진 영역이 이동객체에 해당한다. 또한 T는 객체 검출을 위한 기준치이다.Here, DI t (x, y) is a difference image between the background image and the current image frame, and a region composed of pixels having a value of 1 corresponds to a moving object. T is a reference value for object detection.
한편, 정지객체 검출부(140)는 배경영상과 현재 영상프레임의 차분 및 현재 영상프레임에 사전에 설정된 기준시간만큼 앞서는 영상프레임에 대응하여 생성된 배경영상인 과거 배경영상과 현재 영상프레임의 차분에 의해 공통적으로 얻어지는 정지객체를 검출한다.On the other hand, the still object
현재 영상프레임에서 처음으로 객체가 나타나거나 객체가 계속하여 이동하는 경우에는 배경영상에 해당 객체가 반영되지 않기 때문에 현재 영상프레임과 배경영상의 차분만으로 객체를 검출할 수 있다. 그러나 현재 영상프레임보다 시간적으로 앞서는 영상프레임에 처음으로 나타난 객체의 위치가 현재 영상프레임에 이르기까지 고정되어 있는 경우에는 해당 객체가 점진적으로 배경영상으로 흡수된다. 따라서 현재 영상프레임에 대응하는 배경영상과의 차분만으로는 이러한 객체를 효과적으로 검출하기 어렵다.If an object appears for the first time in the current image frame or the object continuously moves, the object may not be reflected in the background image, and thus the object may be detected only by the difference between the current image frame and the background image. However, when the position of the first object shown in the image frame temporally ahead of the current image frame is fixed up to the current image frame, the object is gradually absorbed as the background image. Therefore, it is difficult to detect such an object effectively only by the difference with the background image corresponding to the current image frame.
따라서 정지객체 검출부(140)는 현재 영상프레임에 대응하는 배경영상 및 현재 영상프레임에 일정 정도 앞서는 영상프레임에 대응하는 배경영상을 모두 고려하여 현재 영상프레임으로부터 정지객체를 검출한다. 배경영상 생성부(110)는 연속하는 영상프레임들 각각에 대하여 배경영상을 생성하므로 정지객체의 검출을 위해 일정 개수의 영상프레임에 대응하여 생성된 배경영상은 별도의 버퍼(미도시)에 저장된다. 즉, 현재 영상프레임이 입력되었을 때 버퍼(미도시)에는 현재 영상프레임에 기준시간만큼 앞서는 영상프레임에 대응하는 배경영상으로부터 현재 영상프레임 직전의 영상프레임에 대응하는 배경영상에 이르기까지 복수의 배경영상이 저장되어 있으며, 현재 영상프레임에 대응하여 생성되는 배경영상 역시 버퍼(미도시)로 입력된다.Accordingly, the still object
버퍼(미도시)에 저장된 배경영상들 중에서 현재 영상프레임에 기준시간만큼 앞서는 영상프레임에 대응하는 배경영상을 과거 배경영상이라 하며, 이러한 과거 배경영상이 현재 영상프레임에 대응하는 배경영상과 함께 현재 영상프레임으로부터 정지객체를 검출하기 위해 사용된다. 정지객체 검출부(140)는 현재 영상프레임과 배경영상의 차분에 의해 검출된 객체가 현재 영상프레임과 과거 배경영상의 차분에 의해서도 동일하게 검출되면 해당 객체를 정지객체로 결정한다.Among the background images stored in the buffer (not shown), the background image corresponding to the image frame that advances to the current image frame by the reference time is called the past background image, and the past background image is the current image together with the background image corresponding to the current image frame. Used to detect still objects from frames. If the object detected by the difference between the current image frame and the background image is equally detected by the difference between the current image frame and the past background image, the still object
이동객체 검출부(120)에 의해 검출된 이동객체는 이상행위 검출부(130)에 의해 사용되며, 정지객체 검출부(140)에 의해 검출된 정지객체는 방치객체 검출부(150)에 의해 사용된다. 이상행위 검출부(130) 및 방치객체 검출부(150)의 동작의 정확성 및 효과를 높이기 위하여 이동객체 및 정지객체의 검출시에 모폴로지(morphology) 연산이 부가적으로 수행될 수 있다.The moving object detected by the moving
이동객체 및 정지객체를 정확하게 검출하기 위한 모폴로지 연산은 이동객체 검출부(120) 및 정지객체 검출부(140)에 의한 객체 검출시에 함께 수행되며, 구체적으로는 잡음 제거 및 객체영역의 확장 과정이 포함된다. 부가적으로는 조명 변화에 의하여 발생한 그림자 부분의 제거 과정이 수행될 수 있다. 그림자 제거 방법으로는 휘도 왜곡(Brightness Distortion : BD)의 변화를 사용하는 기존의 방법이 사용될 수 있으며, 그림자 휘도 왜곡(Shadow Brightness Distortion : SBD) 및 하이라이트 휘도 왜곡(Highlight Brightness Distortion : HBD)을 추가적으로 사용하여 다음의 수학식 4에 의해 그림자 및 하이라이트를 제거할 수 있다.The morphology calculation for accurately detecting the moving object and the stationary object is performed at the time of detecting the object by the moving
여기서, TS는 SBD 값에 대한 기준값으로 0에서 1 사이의 값으로 설정되며, TH는 HBD 값에 대한 기준값으로 1보다 큰 값으로 설정된다. 또한 BD, SBD 및 HBD의 값을 산출하는 방법은 다음과 같다.Here, T S is set to a value between 0 and 1 as a reference value for the SBD value, and T H is set to a value greater than 1 as a reference value for the HBD value. In addition, the method of calculating the values of BD, SBD and HBD is as follows.
여기서 α, β 및 γ는 RGB 방식의 색상값을 YUV 방식 중 Y 성분으로 변환하는 값으로, 구체적으로 Y=α?R + β?G + γ?B와 같이 변환이 이루어진다. 이때 α, β 및 γ의 값은 각각 α=0.114, β=0.587, γ=0.299이다.Here, α, β, and γ are values for converting RGB color values to Y components of the YUV method, and specifically, conversion is performed as Y = α? R + β? G + γ? B. The values of α, β, and γ are α = 0.114, β = 0.587, and γ = 0.299, respectively.
도 2는 현재 영상프레임에 대응하는 배경영상을 생성하고, 현재 영상프레임으로부터 객체를 검출하는 예를 나타낸 도면이다. 도 2의 (a)는 현재 영상프레임, (b)는 현재 영상프레임에 대응하여 생성된 배경영상, (c)는 현재 영상프레임과 배경영상프레임의 차분, 그리고 (d)는 검출된 객체의 실루엣이 표시된 영상이다. 도 2의 (b)에는 (a)의 현재 영상프레임에 포함된 움직이는 객체들이 모두 나타나지 않으므로 (c)와 같이 차분에 의해 복수의 객체들을 검출할 수 있다. 도 2의 (c)에서 검정색으로 표시된 영역은 배경, 흰색은 객체, 그리고 분홍색은 객체의 그림자 부분이다. 모폴로지 연산에 의해 잡음이 제거될 수 있으며, 휘도 왜곡 방법에 의해 그림자 부분이 제거될 수 있다. 도 2의 (d)에는 검출된 객체의 실루엣이 노란색으로 표시되어 있으며, 검출된 각각의 객체는 이동객체 또는 정지객체 등으로 취급되어 이후의 처리 과정에서 사용된다.2 is a diagram illustrating an example of generating a background image corresponding to a current image frame and detecting an object from the current image frame. (A) is a current image frame, (b) a background image generated corresponding to the current image frame, (c) a difference between the current image frame and the background image frame, and (d) a silhouette of the detected object. This is the displayed image. In FIG. 2B, since all moving objects included in the current image frame of (a) do not appear, a plurality of objects may be detected by difference as in (c). In (c) of FIG. 2, the area indicated by black is a background, an white is an object, and a pink is a shadow part of the object. Noise may be removed by morphology calculation, and shadow parts may be removed by a luminance distortion method. In FIG. 2 (d), the silhouette of the detected object is displayed in yellow, and each detected object is treated as a moving object or a stationary object and used in a subsequent process.
도 2의 (d)에 나타난 것와 같이 현재 영상프레임으로부터 복수의 객체가 검출되는 경우에 각각의 객체는 다른 영상프레임으로부터 검출된 객체들 중에서 동일한 객체와 연관됨으로써 시간적으로 연속하는 복수의 영상프레임에 걸쳐 지속적으로 분석될 필요성이 있다. 현재 영상프레임으로부터 검출된 객체는 현재 영상프레임에 시간적으로 앞서는 영상프레임 또는 현재 영상프레임에 연속하는 영상프레임으로부터 동일하게 검출되기 때문이다. 연속하는 복수의 영상프레임에서 한 개씩의 객체만 검출되면 검출된 객체가 모두 동일한 것으로 판단할 수 있다. 그러나 실제로는 각 영상프레임마다 복수의 객체가 검출되는 것이 일반적이므로, 복수의 객체 각각에 대하여 다른 영상프레임으로부터 검출된 객체와의 동일성을 판단함으로써 연속하여 동일 객체를 추적할 수 있다.As shown in (d) of FIG. 2, when a plurality of objects are detected from the current image frame, each object is associated with the same object among the objects detected from other image frames, thereby covering a plurality of image frames that are continuous in time. It needs to be analyzed continuously. This is because the object detected from the current video frame is equally detected from a video frame temporally preceding the current video frame or a video frame consecutive to the current video frame. When only one object is detected in a plurality of consecutive image frames, it may be determined that all detected objects are the same. However, in practice, since a plurality of objects are generally detected for each image frame, the same object can be continuously tracked by determining the sameness with the object detected from another image frame for each of the plurality of objects.
현재 영상프레임으로부터 검출된 객체와 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임으로부터 검출된 객체 간의 동일성 판단은 객체의 크기, 무게중심 및 외곽선의 오차를 산출함으로써 다음의 수학식 5에 의해 수행된다.The sameness determination between the object detected from the current image frame and the object detected from the previous image frame temporally preceding the current image frame is performed by the following Equation 5 by calculating the error of the size, the center of gravity, and the outline of the object.
여기서, sw, mw 및 bw는 각각 객체의 크기, 무게중심 및 외곽선의 오차에 대한 가중치 값으로 세 개의 합이 1이 되도록 설정되며, se, me 및 be는 각각 객체의 크기, 무게중심 및 외곽선의 오차이다.Where s w , m w, and b w are weighted values for the object's size, center of gravity, and outline error, respectively, and the sum is set to be 1, and s e , m e, and b e are the size of the object, respectively. , Error in center of gravity and outline.
먼저 현재 영상프레임 및 이전 영상프레임으로부터 각각 검출된 두 객체 간의 무게중심의 오차 me는 다음의 수학식 6에 의해 산출된다.First, the error m e of the center of gravity between two objects respectively detected from the current image frame and the previous image frame is calculated by
여기서, (x,y)는 현재 영상프레임으로부터 검출된 객체의 무게중심을 나타내는 좌표이고, (
다음으로 현재 영상프레임 및 이전 영상프레임으로부터 각각 검출된 두 객체 간의 외곽선의 오차 be를 산출하기 위해서는 먼저 각 객체의 외곽 데이터를 다음과 같이 추출한다.Next, in order to calculate the error b e of the outline between two objects detected from the current image frame and the previous image frame, the outline data of each object is first extracted as follows.
B=[p1,p2,p3,…,pn], pi=[xi,yi]B = [p 1 , p 2 , p 3 ,... , p n ], p i = [xi, yi]
위와 같이 추출된 n개의 외곽 데이터를 사용하여 얻어진 두 객체 간의 외곽선의 오차는 다음의 수학식 7에 의해 산출된다.The error of the outline between two objects obtained using the n outline data extracted as described above is calculated by
여기서, n은 외곽 데이터의 개수, (xi,yi)는 현재 영상프레임으로부터 검출된 객체의 외곽선 데이터, 그리고 (
마지막으로 현재 영상프레임 및 이전 영상프레임으로부터 각각 검출된 두 객체 간의 크기의 오차 se는 다음의 수학식 8에 의해 산출된다.Finally, the error s e of the magnitude between two objects detected from the current image frame and the previous image frame, respectively, is calculated by the following Equation (8).
여기서, w 및 h는 각각 현재 영상프레임으로부터 검출된 객체의 너비 및 높이, 그리고 
이상에서 설명한 바와 같이 현재 영상프레임으로부터 검출된 각각의 객체는 이전 영상프레임으로부터 검출된 복수의 객체 중에서 수학식 5에 의해 얻어진 오차가 최소인 객체와 동일한 것으로 결정되며 이전 영상프레임에 연속하여 분석된다. 만약 어떠한 객체가 현재 영상프레임에 최초로 나타난 것이라면 현재 영상프레임에 연속하는 영상프레임으로부터 검출되는 객체와의 동일성 판단을 통해 연속적인 분석이 수행될 수 있다.As described above, each object detected from the current image frame is determined to be the same as the object having the minimum error obtained by Equation 5 among the plurality of objects detected from the previous image frame, and analyzed continuously in the previous image frame. If an object first appears in the current image frame, continuous analysis may be performed by determining identity with an object detected from the image frame subsequent to the current image frame.
한편, 현재 영상프레임으로부터 검출된 복수의 객체 간의 식별을 위해서는 각각의 객체마다 식별코드가 부여될 수 있으며, 식별코드를 사용하면 연속하는 복수의 영상프레임에 걸쳐서 특정 객체를 분석하고자 하는 경우에 해당 객체에 부여된 식별코드만을 추적할 수 있다. 각각의 객체에 부여되는 식별코드의 일 예로는 색상을 나타내는 값을 사용할 수 있다. 영상프레임으로부터 검출되는 객체는 일반적으로 사람이며, 사람이 입고 있는 옷의 색상이 각각의 사람을 구분하는 지표가 될 수 있다. 따라서 하나의 영상프레임으로부터 검출된 복수의 객체를 서로 구분하기 위해 객체의 색상을 분석할 수 있다. 특히 일반적으로 하의보다는 상의의 색상이 더욱 다양하므로 각각의 객체에서 상반신에 해당하는 영역, 예를 들면 객체에 해당하는 영역 중에서 상위 20~50%의 영역의 색상을 해당 객체의 식별코드로서 사용할 수 있다.On the other hand, an identification code may be assigned to each object to identify a plurality of objects detected from the current video frame, and if the identification code is used to analyze a specific object over a plurality of consecutive video frames, the corresponding object may be used. Only the identification code assigned to can be traced. As an example of an identification code assigned to each object, a value representing color may be used. The object detected from the image frame is generally a person, and the color of clothes worn by a person may be an indicator for distinguishing each person. Accordingly, the color of the object may be analyzed to distinguish the plurality of objects detected from one image frame from each other. In particular, since the color of the upper body is more diverse than the bottom, in general, the color of the upper 20 to 50% of the area corresponding to the upper body, for example, the area of each object can be used as the identification code of the object. .
설명의 편의를 위해 이하에서는 각각의 객체를 구분하는 색상으로 적색, 녹색, 청색, 흰색 및 검은색의 다섯 가지 색상을 정의하고, 이러한 다섯 가지 색상을 구분하는 방법을 설명한다.For convenience of explanation, hereinafter, five colors of red, green, blue, white, and black are defined as colors that distinguish each object, and a method of distinguishing these five colors will be described.
색상 구분을 위해서는 객체를 구성하는 각각의 화소가 흰색과 검은색의 명암도 성분의 화소인지 적색, 녹색 및 청색의 색상 성분의 화소인지를 먼저 판별한다. 명암도 성분의 화소인 경우에는 화소의 적색, 녹색 및 청색 성분이 유사한 값을 가진다는 특징이 있으므로 다음의 수학식 9에 의해 화소의 각 색상 성분의 평균 Cmean 및 분산 Cvar을 산출한다.In order to distinguish colors, each pixel constituting an object is first determined whether the pixels of the white and black intensity components or the pixels of the red, green, and blue color components. In the case of the pixel having the intensity component, the red, green, and blue components of the pixel have similar values. Therefore, the average C mean and variance C var of each color component of the pixel are calculated by the following equation (9).
흰색 및 검은색은 수학식 9에 의해 산출되는 색상의 평균 및 분산에 의해 결정되고, 나머지 적색, 녹색 및 청색은 색상의 분산 및 각 색상 성분에 의해 결정된다. 구체적인 색상의 구분 방법은 다음의 수학식 10에 나타낸 바와 같다.White and black are determined by the average and the variance of the color calculated by
여기서, Thvar는 명암도 성분의 화소와 색상 성분의 화소를 구분하기 위한 분산의 기준값으로 300~400 사이의 값으로 설정되며, Thmean은 명암도 성분의 화소 중 흰색과 검은색을 구분하기 위한 평균의 기준값으로 100~150 사이의 값으로 설정된다.Here, Th var is a reference value of variance for distinguishing pixels of intensity component and pixels of color component, and is set to a value between 300 and 400, and Th mean is a mean of distinguishing white and black among pixels of intensity component. The reference value is set between 100 and 150.
수학식 10의 색상 구분 과정은 검출된 객체에서 색상을 결정하고자 하는 상반신 영역을 구성하는 각각의 화소에 대하여 수행되며, 최종적으로 각 객체의 색상은 각 화소의 색상 중에서 가장 높은 비중으로 포함된 색상으로 결정된다.The color classification process of Equation 10 is performed on each pixel constituting the upper body area to determine the color in the detected object, and finally, the color of each object is the color included as the highest specific gravity among the colors of each pixel. Is determined.
이상에서 설명한 것과 같은 복수의 객체의 구분방법은 이동객체 및 정지객체에 대하여 모두 적용될 수 있으나, 특히 복수의 영상프레임에서의 위치가 일정하지 않은 이동객체에 대하여 더욱 효과적으로 적용될 수 있다.As described above, the classification method of the plurality of objects may be applied to both the moving object and the stationary object, but may be more effectively applied to the moving object whose position is not constant in the plurality of image frames.
이상행위 검출부(130)는 현재 영상프레임까지 시간적으로 연속하는 영상프레임들로부터 동일하게 검출된 이동객체의 위치 변화인 이동궤적을 기초로 이동객체가 현재 영상프레임에 대응하는 감시대상 영역 내에서 이동함에 따라 발생하는 이상 상황을 검출한다.The abnormal
앞에서 설명한 바와 같이 이동객체는 연속하는 복수의 영상프레임 상에서의 위치가 일정하지 않고 계속하여 변화하는 객체를 말한다. 따라서 현재 영상프레임으로부터 검출된 이동객체가 이전 영상프레임으로부터도 동일하게 검출되었다면 이들 복수의 영상프레임에 걸친 이동객체의 위치 변화를 분석함으로써 해당 이동객체의 이동에 관련된 이상 상황을 검출할 수 있다.As described above, the moving object refers to an object whose position on a plurality of consecutive image frames is not constant and continuously changes. Therefore, if the moving object detected from the current image frame is detected the same from the previous image frame, an abnormal situation related to the movement of the moving object can be detected by analyzing the change of the position of the moving object over the plurality of image frames.
도 3은 현재 영상프레임으로부터 검출된 이동객체의 이동궤적을 추적하는 일 예를 나타낸 도면이다. 도 3의 (a)는 현재 영상프레임, (b)는 현재 영상프레임으로부터 검출된 복수의 객체를 나타낸 도면이며, (c)는 검출된 복수의 객체 각각에 대응하여 무게중심을 표시한 도면, (d)는 각각의 객체에 표시된 외곽선을 나타낸 도면, 그리고 (e)는 복수의 객체 각각의 이동궤적을 나타낸 도면이다. 서로 이웃하는 영상프레임에서 모두 복수의 객체가 검출되면 객체의 동일성 판단을 위해 도 3의 (c)에 표시된 것과 같은 무게중심 및 (d)에 표시된 것과 같은 외곽선이 사용되고, 객체의 위치 변화는 도 3의 (e)에 표시된 것과 같은 이동궤적으로 나타난다. 객체의 이동궤적은 무게중심의 이동경로를 추적함으로써 얻어진다.3 is a diagram illustrating an example of tracking a moving trajectory of a moving object detected from a current image frame. (A) of FIG. 3 is a view showing a plurality of objects detected from a current video frame, (b) is a diagram showing a center of gravity corresponding to each of the plurality of detected objects, d) shows the outline displayed on each object, and (e) shows the movement trajectory of each of the plurality of objects. When a plurality of objects are detected in all neighboring image frames, a center of gravity as shown in (c) of FIG. 3 and an outline as shown in (d) are used to determine the identity of the object. It appears as a movement trajectory as shown in (e) of the figure. The movement trajectory of the object is obtained by tracking the movement path of the center of gravity.
이동객체의 이동궤적을 기초로 하여 검출 가능한 이상 상황, 즉 이동객체의 이동과 관련하여 발생할 수 있는 이상 상황으로는 객체의 월담 행위 또는 일정 영역 내에서의 배회 행위가 있다. 이 중에서 월담 행위는 감시대상 영역에 담과 같은 경계가 존재하는 경우에 객체가 해당 경계를 통과하여 경계 너머의 영역으로 진입하는 행위를 말하며, 배회 행위는 객체가 감시대상 영역 내의 일정한 부분 영역을 반복적으로 통과하는 행위를 말한다. 월담 행위 및 배회 행위는 모두 일반적으로 발생하는 상황이 아닌 감시 대상인 이상 상황에 해당하므로 이상행위 검출부(130)에 의한 검출 대상이 된다.The abnormal situation that can be detected based on the movement trajectory of the moving object, that is, the abnormal situation that may occur in relation to the movement of the moving object, may be a monthly act of the object or a wandering behavior within a certain area. Among these, the wall-damping action refers to the act of entering an area beyond the boundary through the boundary when the boundary such as a wall exists in the area to be monitored. The act of passing through. Since the wall-damping activity and the roaming behavior are not generally occurring situations but the abnormal situation which is the monitoring target, the
먼저 이상행위 검출부(130)가 월담 행위를 검출하는 방법에 대하여 설명한다. 앞에서 설명한 바와 같이 감시대상 영역 내에 존재하는 담과 같은 경계는 복수의 영상프레임 상에 기준선으로서 설정될 수 있다. 각각의 영상프레임은 설정된 기준선에 의해 두 개의 영역으로 분할되며, 이 중에서 하나의 영역이 객체의 출입이 금지되는 영역으로 설정된다. 월담 행위는 이동객체의 위치가 출입이 금지된 영역으로 이동함에 따라 이동궤적이 기준선과 교차하는 상황에 해당한다.First, a description will be given of the abnormal
도 4는 이동객체가 경계를 침범하는 행위 중에서 월담 행위를 검출하는 일 예를 나타낸 도면이다. 도 4의 (a)는 현재 영상프레임, (b)는 현재 영상프레임으로부터 검출된 객체, (c)는 현재 영상프레임에 표시된 기준선과 각 객체의 무게중심, (d)는 기준선을 통과하는 이동궤적을 나타낸 도면, 그리고 (e)는 현재 영상프레임에서 기준선을 통과하는 객체의 이동궤적을 표시한 도면이다.FIG. 4 is a diagram illustrating an example of detecting a wall-alm behavior among activities in which a mobile object violates a boundary. (A) is a current image frame, (b) is an object detected from the current image frame, (c) is a reference line displayed on the current image frame and the center of gravity of each object, (d) a movement trajectory through the reference line And (e) shows the movement trajectory of the object passing through the reference line in the current image frame.
도 4의 (e)를 참조하면, 현재 영상프레임으로부터 검출된 두 객체 중에서 연두색 외곽선으로 표시된 객체의 이동궤적은 기준선과 거의 평행하게 나타나므로 월담 행위에 해당하는 것으로 볼 수 없는 반면, 빨간색 외곽선으로 표시된 객체의 이동궤적은 기준선을 통과하여 이전에 위치하던 영역으로부터 기준선 건너편의 영역을 향한다. 따라서 빨간색 외곽선으로 표시된 객체의 이동궤적을 기초로 이상행위 검출부(130)는 해당 객체의 월담 행위를 검출하게 된다.Referring to (e) of FIG. 4, since the movement trajectory of the object represented by the lime green outline among the two objects detected from the current image frame is almost parallel to the reference line, the movement trajectory of the object is not indicated as the wall-damping activity, but is indicated by the red outline. The trajectory of the object passes through the baseline and moves from the previously located area to the area across the baseline. Therefore, the abnormal
도 5는 객체의 월담 행위 검출을 컴퓨터 프로그램으로 구현하기 위한 소스코드를 나타낸 도면이다. 도 5에 의해 구현되는 프로그램에는 입력 데이터로서 객체의 이동궤적을 나타내기 위한 각각의 객체의 무게중심 및 감시대상 영역 내에 위치하는 담, 즉 현재 영상프레임에서 기준선의 양 끝점의 좌표가 입력된다. 또한 소스코드에는 객체가 담의 아래쪽에 존재하는 것을 나타내는 플래그인 underwallFlag 및 객체가 담의 위쪽에 존재하는 것을 나타내는 플래그인 upwallFlag가 포함되어 있다.FIG. 5 is a diagram illustrating source code for implementing the detection of the monthly act of an object in a computer program. In the program implemented by FIG. 5, the input data is inputted with the center of gravity of each object to represent the movement trajectory of the object and the fences located in the area to be monitored, that is, the coordinates of both end points of the reference line in the current image frame. The source code also includes underwallFlag, a flag that indicates that the object is on the bottom of the wall, and upwallFlag, which is a flag that indicates that the object is on the top of the wall.
객체가 담의 아래쪽에만 위치하고 있어 이동궤적이 기준선과 교차하지 않는 동안에는 underwallFlag의 값만 참(true)으로 표시되고, upwallFlag의 값은 초기값으로서 거짓(false)으로 표시된다. 현재 영상프레임에서 객체의 위치가 담의 위쪽으로 이동하고, 그에 따라 이동궤적이 기준선과 교차하면 upwallFlag의 값도 참(true)으로 변경되며, 이상행위 검출부(130)는 해당 객체의 이동이 월담 행위에 해당하는 것으로 결정한다.Since the object is located only at the bottom of the wall, only the value of underwallFlag is displayed as true while the movement trajectory does not intersect the baseline, and the value of upwallFlag is displayed as false as the initial value. If the position of the object moves to the top of the wall in the current video frame, and if the movement trajectory intersects the baseline, the value of upwallFlag is also changed to true. We decide to correspond to.
다음으로 이상행위 검출부(130)가 객체의 이동과 관련된 이상 상황 중에서 배회 행위를 검출하는 과정에 대하여 설명한다. 배회 행위는 일정한 영역을 반복적으로 지나치는 행위를 말하며, 이상행위 검출부(130)는 현재 영상프레임에서 이동객체의 상태가 배회 행위에 해당하는지 여부를 판단하기 위하여 현재 영상프레임을 사전에 설정된 크기의 복수의 블록으로 분할하고, 각 이동객체의 이동궤적이 각각의 블록을 통과하는 횟수를 산출한다. 이때 복수의 블록의 크기는 8×8로 설정될 수 있다.Next, the abnormal
현재 영상프레임뿐 아니라 복수의 영상프레임은 동일한 기준에 의해 복수의 블록으로 분할된다. 따라서 연속하는 각각의 영상프레임에 대하여 본 발명에 따른 이상행위 검출장치에 의한 이상 상황의 발생 여부가 검출될 때 이상행위 검출부(130)는 각각의 블록에 대하여 이동객체의 이동궤적이 통과하는 횟수를 별도의 메모리(미도시)에 저장한다. 따라서 이상행위 검출부(130)는 현재 영상프레임으로부터 검출된 이동객체의 이동궤적이 통과하는 블록에 대응하여 저장된 해당 이동궤적의 통과 횟수를 메모리(미도시)로부터 읽어들여 배회 행위에 해당하는지 여부를 판단한다.In addition to the current video frame, a plurality of video frames are divided into a plurality of blocks by the same reference. Therefore, when it is detected whether an abnormal situation occurs by the abnormal behavior detecting apparatus according to the present invention for each successive image frame, the abnormal
만약 이동객체의 위치가 이전 영상프레임에서는 제1블록이었으나 현재 영상프레임에서는 제1블록에 이웃한 제2블록이면 해당 이동객체의 이동궤적은 제1블록을 통과한 것이다. 그러므로 이상행위 검출부(130)는 메모리에서 제1블록에 대응하는 통과 횟수 중에서 해당 이동객체에 대응하는 통과 횟수를 읽어온 후 그 값을 1만큼 증가시킨다. 그에 따라 해당 이동객체의 통과 횟수가 배회 행위의 기준으로 설정된 기준횟수보다 커지게 되고, 그러한 블록이 사전에 설정된 기준치 이상이 되면 이상행위 검출부(130)는 해당 이동객체를 감시대상 영역 내에서 배회하는 객체로 결정한다. 예를 들면, 이상행위 검출부(130)는 특정 이동객체의 이동궤적을 분석한 결과 이동궤적이 3회 이상 통과하는 블록이 3개 이상이면 해당 이동객체가 감시대상 영역 내에서 배회하는 것으로 결정할 수 있다.If the position of the moving object is the first block in the previous video frame but is the second block adjacent to the first block in the current video frame, the moving trajectory of the moving object passes through the first block. Therefore, the abnormal
도 6은 복수의 블록으로 분할된 현재 영상프레임 및 정상적으로 이동하는 이동객체가 검출된 예를 나타낸 도면이다. 도 6의 (a)는 현재 영상프레임, (b)는 현재 영상프레임으로부터 검출된 복수의 객체, (c)는 복수의 블록과 객체의 이동궤적을 나타낸 도면, 그리고 (d)는 복수의 블록으로 분할된 현재 영상프레임에 각각의 객체의 이동궤적을 표시한 도면이다. 도 6의 (d)를 참조하면, 현재 영상프레임은 8×8 크기의 64개의 블록으로 분할되며, 감시대상 영역 내에서 정상적으로 이동하는 이동객체의 이동궤적은 특정 블록을 여러 번 통과하지 않고 방향성 있는 형태로 나타난다. 따라서 이러한 경우에는 배회 행위가 검출되지 않는다.6 is a diagram illustrating an example in which a current image frame divided into a plurality of blocks and a moving object moving normally are detected. 6 (a) shows a current video frame, (b) shows a plurality of objects detected from the current video frame, (c) shows a plurality of blocks and a movement trajectory of the object, and (d) shows a plurality of blocks. In this figure, the movement trajectory of each object is displayed on the divided current image frame. Referring to (d) of FIG. 6, the current video frame is divided into 64 blocks of 8 × 8 size, and the movement trajectory of the moving object normally moving within the monitored area is directional without passing through a specific block several times. Appears in the form. In this case, therefore, no prowling behavior is detected.
도 7은 복수의 블록으로 분할된 현재 영상프레임 및 배회 행위에 해당하는 이동객체가 검출된 예를 나타낸 도면이다. 도 7의 (a)는 현재 영상프레임, (b)는 현재 영상프레임으로부터 검출된 객체, (c)는 복수의 블록으로 분할된 현재 영상프레임에 각각의 객체의 이동궤적을 표시한 도면, 그리고 (d)는 배회 행위에 해당하는 것으로 결정된 이동객체를 표시한 도면이다. 여기서 도 7의 (c)에 블록과 별개로 표시되어 있는 박스는 블록 경계에서 무게중심의 흔들림에 따라 나타나는 통과 횟수의 오류를 안정화시키기 위하여 설정되는 경계선 마진으로, 이동객체가 이웃한 블록 사이의 경계를 통과하지 않아도 경계선 마진을 통과하면 해당 블록을 통과한 것으로 하여 통과 횟수를 증가시킬 수 있다. 도 7의 (d)를 참조하면, 여러 겹의 원형으로 나타나는 이동궤적은 빨간색 외곽선으로 표시된 이동객체의 이동궤적으로, 이상행위 검출부(130)에 의해 배회 행위에 해당하는 것으로 결정된다.FIG. 7 is a diagram illustrating an example in which a current image frame divided into a plurality of blocks and a moving object corresponding to a wandering action are detected. (A) of FIG. 7 shows a current image frame, (b) an object detected from the current image frame, (c) a movement trajectory of each object in the current image frame divided into a plurality of blocks, and ( d) is a diagram showing a moving object determined to correspond to the roaming action. Here, the box marked separately from the block in FIG. 7 (c) is a border margin set to stabilize an error of the number of passages caused by the shaking of the center of gravity at the block boundary, and the boundary between blocks adjacent to the moving object. If you pass the border margin even though you do not pass, you can increase the number of passes by passing through the block. Referring to (d) of FIG. 7, the movement trajectory, which appears in several layers of circles, is a movement trajectory of the moving object indicated by a red outline, and is determined by the abnormal
도 8은 객체의 배회 행위 검출을 컴퓨터 프로그램으로 구현하기 위한 소스코드를 나타낸 도면이다. 도 8에 의해 구현되는 프로그램의 입력 데이터는 이동객체의 무게중심의 좌표 및 현재 영상프레임이 분할된 각 블록의 영역 정보이며, 프로그램이 수행되는 동안 통과 횟수 및 통과 횟수가 기준횟수 이상인 블록의 개수가 계수(count)된다. 또한 현재 영상프레임으로부터 검출된 이동객체가 복수이면 각각의 이동객체에 대하여 배회 행위에 해당하는지 여부의 판단 과정이 수행된다.8 is a diagram illustrating source code for implementing a probing detection of an object in a computer program. The input data of the program implemented by FIG. 8 is coordinates of the center of gravity of the moving object and area information of each block in which the current video frame is divided, and the number of blocks having the number of passes and the number of passes greater than or equal to the reference number during the execution of the program It counts. In addition, when there are a plurality of moving objects detected from the current image frame, a determination process of whether the moving object corresponds to a roaming operation is performed.
다음은 정지객체 검출부(140)에 의해 현재 영상프레임으로부터 검출된 정지객체를 사용하여 객체의 정지상태에 따라 감시대상 영역에서 발생할 수 있는 이상 상황을 검출하는 경우에 대하여 설명한다.Next, a case in which the stationary
방치객체 검출부(150)는 현재 영상프레임으로부터 검출된 정지객체의 위치가 현재 영상프레임까지 시간적으로 연속하는 사전에 설정된 기준개수의 영상프레임들 사이에서 동일하면 정지객체가 방치된 것으로 결정한다. 여기서 기준개수는 일정 시간, 예를 들면 10초 동안 연속하여 입력되는 영상프레임의 개수로 설정될 수 있다. 이와 같이 기준개수 이상의 영상프레임에서 정지객체의 위치가 변화하지 않는 경우에는 해당 정지객체는 감시대상 영역에서 발생할 수 있는 이상 상황 중에서 버려진 물체 또는 실신해 있는 사람으로 결정될 수 있는 후보가 된다. 또한 이상 상황에 해당하지 않으며 단순한 오검출 객체일 수도 있다.The neglected
정지객체가 버려진 물체 또는 실신해 있는 사람인지 단순한 오검출 객체인지 여부는 해당 정지객체의 불변 모멘트에 의해 결정될 수 있다. 불변 모멘트는 정지객체의 모든 화소의 좌표 정보를 사용하여 정지객체의 모양을 나타내는 방법으로, 기하학적 모멘트와 중심 모멘트를 이용하여 크기, 회전, 이동 및 대칭 변환에 대하여 불변인 7개 불변 모멘트가 생성될 수 있다.Whether the stationary object is an abandoned object, a fainting person or a simple misdetection object can be determined by the constant moment of the stationary object. The constant moment is a method of representing the shape of a stationary object using coordinate information of all pixels of the stationary object. By using geometric and center moments, seven constant moments that are invariant with respect to size, rotation, movement, and symmetry are generated. Can be.
먼저 2차원의 영상프레임을 함수 f(x,y)의 형태로 나타낼 경우에 기하학적 모멘트는 다음의 수학식 11과 같이 정의된다.First, when a two-dimensional image frame is represented in the form of a function f (x, y), the geometric moment is defined as in Equation 11 below.
여기서, p 및 q는 0 이상의 정수이며, (p+q)를 모멘트의 차수라 한다. 또한 M과 N은 각각 영상프레임의 가로 및 세로 길이에 해당하는 화소의 개수이다. 이와 같이 기하학적 모멘트는 2차원 다항식 g(x,y)=xpyq를 기저 함수로 사용하여 영상의 특성을 수학적으로 표현하는 방법이다.Here, p and q are integers greater than or equal to 0, and (p + q) is called order of moment. In addition, M and N are the number of pixels corresponding to the horizontal and vertical lengths of the image frame, respectively. As such, the geometric moment is a method of mathematically expressing the characteristics of an image by using the two-dimensional polynomial g (x, y) = x p y q as a basis function.
일반적인 기하학적 모멘트의 경우에는 영상의 이동 변환시 그 값이 크게 변한다는 단점이 있으므로 영상의 무게중심을 고려하여 모멘트를 계산하는 중심 모멘트는 다음의 수학식 12와 같이 정의된다.In the case of the general geometric moment, the value of the geometric moment is greatly changed during the movement conversion of the image. Therefore, the center moment for calculating the moment in consideration of the center of gravity of the image is defined as in Equation 12 below.
여기서, (
Hu는 3차 이하의 중심 모멘트를 조합하여 7개의 불변 모멘트를 생성하였으며, Hu에 의해 제안된 모멘트는 정규화된 크기의 중심 모멘트를 비선형으로 조합하여 만들어졌다. 이는 영상의 크기, 회전 및 위치에 불변인 특징을 가진다. Hu의 불변 모멘트를 생성하기 위해서는 먼저 다음의 수학식 14에 의하여 정규화된 중심 모멘트를 생성한다.Hu generated seven constant moments by combining subordinate cubic moments, and the moment proposed by Hu was generated by combining nonlinearly center moments of normalized magnitude. It has features that are invariant in image size, rotation and position. To generate the constant moment of Hu, first, the center moment normalized by Equation 14 is generated.
여기서, γ는 다음의 수학식 15와 같이 정의된다.Is defined as in Equation 15 below.
결과적으로, Hu에 의해 제안된 7개의 불변 모멘트는 다음과 같이 정의되며, 방치객체 검출부(150)는 이와 같은 7개의 불변 모멘트를 사용하여 최종적으로 기준개수 이상의 연속한 영상프레임에서 그 위치가 일정한 정지객체가 버려진 물체 또는 실신한 사람인지 아니면 단순한 오검출 객체인지 여부를 판별한다.As a result, the seven invariant moments proposed by Hu are defined as follows, and the neglected
도 9는 현재 영상프레임으로부터 검출된 정지객체와 관련된 이상 상황을 판별하는 과정을 컴퓨터 프로그램으로 구현하기 위한 소스코드를 나타낸 도면으로, 사전에 설정된 모멘트 값을 이용하여 정지객체가 어떠한 상태에 해당하는지를 판별하게 된다.FIG. 9 is a diagram illustrating source code for implementing a process of determining an abnormal situation related to a still object detected from a current image frame by a computer program, and determining which state the still object corresponds to using a preset moment value. Done.
도 9를 참조하면, 검출된 정지객체의 7개 불변 모멘트 중에서 불변 모멘트 1(Object.InvariantMoment[0])의 값이 200보다 크고 1000보다 작으며, 불변 모멘트 3(Object.InvariantMoment[2])의 값이 0보다 크고 10000보다 작으면 해당 정지객체를 버려진 물체로 판단한다. 또한 불변 모멘트 1의 값이 1000보다 크고 2000보다 작으며, 불변 모멘트 2(Object.InvariantMoment[1])의 값은 1보다 크고, 불변 모멘트 3의 값이 60보다 크면 해당 정지객체가 실신한 것으로 판단한다. 여기서 불변 모멘트 1의 값에 의해 버려진 물체와 실신한 사람이 구분되며, 불변 모멘트 2와 불변 모멘트 3은 기타 잡음에 해당하는 객체를 제거하기 위한 것이다.Referring to FIG. 9, the value of invariant moment 1 (Object.InvariantMoment [0]) is greater than 200 and less than 1000, and the value of invariant moment 3 (Object.InvariantMoment [2]) is detected. If the value is greater than 0 and less than 10000, the stationary object is regarded as an abandoned object. In addition, if the value of
조작 판별부(160)는 배경영상으로부터 검출된 에지성분의 크기에 대한 과거 배경영상으로부터 검출된 에지성분의 크기의 비가 사전에 설정된 기준값 이상이면 복수의 영상프레임을 촬영한 카메라에 조작이 발생한 것으로 판단한다.If the ratio of the size of the edge component detected from the background image to the size of the edge component detected from the background image is greater than or equal to a preset reference value, the
감시대상 영역 내에서 발생할 수 있는 이상 상황 중에서 이동객체 및 정지객체와는 직접적으로 관련되어 있지 않으나 문제가 될 수 있는 상황으로서 카메라 조작이 있다. 카메라 조작은 크게 세 가지 경우로서, 카메라의 초점을 흐리게 하는 행위, 카메라의 촬영 방향을 이동시켜 시점을 전환시키는 행위 및 외부 물체에 의해 카메라의 시야를 가리는 행위가 있다.Among the abnormal situations that may occur in the area to be monitored, camera manipulation is not directly related to the moving object or the stationary object, but may be a problem. There are three main types of camera manipulation, which include defocusing the camera, shifting the camera's shooting direction to switch the viewpoint, and obstructing the camera's field of view by an external object.
도 10은 카메라 조작의 세 가지 경우를 나타낸 도면으로, (a)는 초점을 변화시키는 경우, (b)는 촬영 방향을 변화시키는 경우, 그리고 (c)는 카메라의 시야를 가리는 경우를 나타낸다. 이러한 카메라 조작 행위는 이동객체 또는 정지객체의 분석을 통해 판별할 수 있는 것이 아니므로, 현재 영상프레임에 대응하여 생성된 배경영상(이를 현재 배경영상이라 한다)과 앞에서 설명한 바 있는 과거 배경영상을 사용한다.10 is a diagram illustrating three cases of camera operation, (a) shows a case of changing the focus, (b) shows a case of changing the photographing direction, and (c) shows a case of covering the field of view of the camera. Since the camera manipulation behavior cannot be determined through the analysis of the moving object or the stationary object, the background image generated corresponding to the current image frame (this is called the current background image) and the past background image described above are used. do.
구체적으로, 조작 판별부(160)는 현재 배경영상과 과거 배경영상 간의 에지 변화율을 통하여 카메라 조작 여부를 판별한다. 이를 위해 먼저 현재 배경영상으로부터 에지성분을 추출하게 되는데, 이는 다음의 수학식 16에 의해 이루어진다.In detail, the
여기서, Dt(x,y)는 현재 배경영상으로부터 추출된 에지성분, Et(x,y)는 현재 배경영상에 대하여 소벨 연산자를 적용한 결과, 그리고 TD는 문턱치이다.Here, D t (x, y) is an edge component extracted from the current background image, E t (x, y) is a result of applying the Sobel operator to the current background image, and T D is a threshold.
다음으로 현재 배경영상에서 에지성분이 1인 화소에 대응하는 과거 배경영상의 화소 각각에 대하여 에지성분의 값을 다음의 수학식 17에 의해 측정한다.Next, the value of the edge component of each pixel of the past background image corresponding to the pixel having the
여기서, Ct(x,y)는 현재 배경영상에서 Dt(x,y)의 값이 1인 화소에 대응하는 과거 배경영상의 화소에 대한 에지성분의 값이고, Et -α(x,y)는 과거 배경영상에 대하여 소벨 연산자를 적용한 결과이다.Here, C t (x, y) is the value of the edge component of the pixel of the past background image corresponding to the pixel whose value of D t (x, y) is 1 in the current background image, and E t -α (x, y) is the result of applying the Sobel operator to the past background image.
조작 판별부(160)는 수학식 16 및 수학식 17로부터 얻어진 각 에지성분의 값을 이용하여 다음의 수학식 18과 같이 에지 변화율을 산출한다.The
최종적으로 조작 판별부(160)는 산출된 에지 변화율(ChangeRatio)의 값을 사전에 설정된 기준 변화율과 비교함으로써 카메라 조작 여부를 결정한다. 이는 다음의 수학식 19와 같다.Finally, the
여기서, 기준 변화율 Tc는 0에서 1 사이의 값으로 설정될 수 있다.Here, the reference change rate T c may be set to a value between 0 and 1.
도 11은 본 발명에 따른 이상행위 검출방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.11 is a flowchart illustrating a process of performing a preferred embodiment of the abnormal behavior detection method according to the present invention.
도 11을 참조하면, 배경영상 생성부(110)는 입력받은 복수의 영상프레임 중에서 현재 영상프레임 및 이전 영상프레임 사이에서 검출된 광류 흐름을 기초로 현재 영상프레임에 대응하는 배경영상을 생성한다(S1010). 다음으로 이동객체 검출부(120)는 배경영상과 현재 영상프레임의 차분에 의해 현재 영상프레임으로부터 이동객체를 검출하고(S1020), 정지객체 검출부(140)는 배경영상과 현재 영상프레임의 차분 및 과거 배경영상과 현재 영상프레임의 차분에 의해 공통적으로 얻어지는 정지객체를 검출한다(S1030).Referring to FIG. 11, the background
이상행위 검출부(130)는 이동객체 검출부(120)에 의해 검출된 이동객체의 이동궤적을 기초로 이동객체가 감시대상 영역 내에서 이동함에 따라 발생하는 이상 상황인 월담 행위 또는 배회 행위를 검출한다(S1040). 또한 방치객체 검출부(150)는 정지객체의 위치가 기준개수의 연속하는 영상프레임에서 동일하면 정지객체가 방치된 것으로 결정한다(S1050). 조작 판별부(160)는 배경영상으로부터 검출된 에지성분의 크기에 대한 과거 배경영상으로부터 검출된 에지성분의 크기의 비를 기초로 카메라 조작 여부를 판별한다(S1060).The
이상에서 설명한 이상행위 검출부(130), 방치객체 검출부(150) 및 조작 판별부(160)의 동작은 서로 영향을 주지 않으며 독립적으로 수행되므로, 이상 상황 검출에 있어서의 처리속도 및 정확도 향상의 효과를 얻을 수 있다.Since the operations of the abnormal
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에 사용된 영상프레임은 320×240(화소) 크기이며, 실내 영상 및 실외 영상이 모두 사용되었다. 또한 정지객체 검출 및 카메라 조작 판별을 위한 과거 배경영상으로는 현재 영상프레임으로부터 30초 이전에 입력된 영상프레임에 대응하여 생성된 배경영상을 사용하였다.Experiments were conducted to evaluate the performance of the present invention. The image frame used in the experiment was 320 × 240 (pixel) size, and both indoor and outdoor images were used. In addition, the background image generated corresponding to the image frame input 30 seconds before the current image frame was used as the past background image for detecting the stationary object and the camera operation.
먼저 객체 검출의 성능 평가를 위해 수행된 실험 결과이다. 도 12는 객체 검출에 사용된 축구장 영상, 도 13은 주차장 영상, 그리고 도 14는 PET2001 영상이다. 도 12 내지 도 14 모두 (a)는 입력영상, (b)는 배경영상, (c)는 입력영상과 배경영상의 차분영상, (d)는 그림자와 잡음이 제거된 차분영상, 그리고 (e)는 추출된 객체 및 이동궤적이 표시된 영상이다. 도 12 내지 도 14 모두 영상프레임에 나타나는 객체 및 객체의 이동궤적이 정확하게 검출되는 것을 확인할 수 있다.First, the experimental results were performed to evaluate the performance of object detection. 12 is a soccer field image used for object detection, FIG. 13 is a parking lot image, and FIG. 14 is a PET2001 image. 12 to 14, (a) is an input image, (b) is a background image, (c) is a difference image of the input image and background image, (d) is a difference image from which shadows and noise are removed, and (e) Is an image in which the extracted object and the movement trajectory are displayed. 12 to 14, it can be seen that the movement trajectories of the objects and the objects appearing in the image frame are accurately detected.
다음으로 이상행위 검출부(130)에 의한 월담 행위 검출을 실험한 결과이다. 도 15는 복수의 영상프레임에 검출된 객체 및 그 이동궤적을 표시한 도면으로, (a)에서 (h)까지의 순서는 시간의 흐름에 따른 것이다. 도 15의 (b) 내지(g)에서 위치가 기준선 너머의 영역으로 이동한 객체의 외곽선이 빨간색으로 표시되며, 월담 행위에 해당하는 객체임이 표시(overwall)된 것을 확인할 수 있다.Next, the results of the experiment of the detection of the monthly act by the abnormal
도 16은 AVSS 2007 영상을 사용하여 버려진 물체를 검출한 실험 결과를 나타낸 도면이다. 도 16의 (a)는 현재 영상프레임, (b)는 현재 영상프레임에 대응하여 생성된 배경영상, (c)는 현재 영상프레임으로부터 검출된 객체, (d)는 검출된 객체에서 잡음과 그림자가 제거된 결과, (e)는 검출된 객체와 이동궤적이 표시된 현재 영상프레임이고, (f) 내지 (i)는 현재 영상프레임에 연속하여 입력되는 영상프레임들이다.FIG. 16 is a diagram illustrating an experimental result of detecting an abandoned object using an
과거 배경영상의 기준을 30초 전의 배경영상으로 설정함에 따라 도 16의 (f)에서 사람이 가방을 놓아둔 후 일정 시간이 경과한 뒤에 (g)와 같이 가방이 버려진 물체로서 표시(abandoned)되며, 버려진 물체라는 표시는 (h)에서와 같이 가방이 다른 객체에 의해 가려진 뒤에도 (i)와 같이 그대로 유지되는 것을 확인할 수 있다.As the background image of the past background image is set as the background image of 30 seconds ago, after a predetermined time elapses after the person releases the bag in FIG. 16 (f), the bag is displayed as an abandoned object as shown in (g). In this case, it can be seen that the discarded object remains as shown in (i) even after the bag is covered by another object as shown in (h).
도 17은 실신 객체를 검출하기 위한 실험 결과를 나타낸 도면이다. 도 17의 (a)는 현재 영상프레임, (b)는 현재 영상프레임에 대응하여 생성된 배경영상, (c)는 현재 영상프레임으로부터의 객체 검출 결과, (d)는 잡음 및 그림자가 제거된 객체 검출 결과, (e)는 검출된 객체 및 이동궤적이 표시된 현재 영상프레임이고, (f) 내지 (i)는 현재 영상프레임에 연속하여 입력되는 영상프레임이다.17 is a diagram illustrating an experiment result for detecting a syncope object. (A) is a current image frame, (b) is a background image generated corresponding to the current image frame, (c) is a result of object detection from the current image frame, (d) an object from which noise and shadow are removed As a result of the detection, (e) is a current video frame in which the detected object and the movement trajectory are displayed, and (f) to (i) are video frames continuously input to the current video frame.
도 17의 (g)에서와 같이 실신에 해당하는 객체의 위치가 일정 시간 이상 변화하지 않으면 (i)와 같이 해당 객체에 실신한 객체라는 표시(fainting)가 나타난다. 이러한 표시는 과거 배경영상의 기준을 30초로 설정하기 때문에 (h)에서는 나타나지 않는다.As shown in (g) of FIG. 17, when the position of the object corresponding to the fainting does not change for a predetermined time or more, a marking (fainting) appears as the object fainting to the corresponding object as shown in (i). This display does not appear in (h) because the reference of the past background image is set to 30 seconds.
또한 도 18은 배회 행위를 검출하기 위한 실험 결과를 나타낸 도면이다. 도 18의 (c) 이후로 일정한 구역을 반복적으로 이동하는 객체의 외곽선이 빨간색으로 표시되고, 배회 행위에 해당한다는 표시(loitering)가 나타난 것을 확인할 수 있다. 또한 이러한 배회 행위의 표시는 두 이동객체가 교차하여 지나간 후에도 유지되며, 객체의 동일성 판단 및 배회 행위 검출의 정확도가 높음을 확인할 수 있다.18 is a diagram showing an experimental result for detecting the roaming behavior. After (c) of FIG. 18, it can be seen that the outline of the object repeatedly moving through a certain area is displayed in red, and that a loitering corresponding to the roaming action is displayed. In addition, the display of the roaming behavior is maintained even after the two moving objects cross each other, and it is confirmed that the accuracy of detecting the identity of the object and detecting the roaming behavior is high.
마지막으로 도 19 내지 도 21은 카메라 조작 행위를 검출하기 위한 실험 결과를 나타낸 도면으로, 도 19는 카메라의 초점 변화를 검출하는 실험 결과, 도 20은 카메라의 시점 변화를 검출하는 실험 결과, 그리고 도 21은 카메라의 시야 가림을 검출하는 실험 결과를 나타낸 도면이다. 도 19 내지 도 21 모두 (c)의 과거 배경영상과 (b)의 현재 배경영상의 에지 변화율 산출을 통해 카메라 조작임이 정확하게 검출되어 (d)와 같이 조작에 해당한다는 표시(camera tampering)가 나타난 것을 확인할 수 있다.Finally, FIGS. 19 to 21 are diagrams showing experimental results for detecting a camera manipulation behavior, FIG. 19 is an experimental result for detecting a change in focus of a camera, and FIG. 20 is an experimental result for detecting a change in viewpoint of a camera, and FIG. 21 is a diagram showing an experimental result of detecting blindfold of the camera. 19 to 21 show that the camera tampering corresponds to the manipulation as shown in (d) by accurately detecting the camera manipulation through calculating the edge change rate of the past background image of (c) and the current background image of (b). You can check it.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.
110 - 배경영상 생성부
120 - 이동객체 검출부
130 - 이상행위 검출부
140 - 정지객체 검출부
150 - 방치객체 검출부
160 - 조작 판별부110-background image generator
120-moving object detector
130-Abnormality Detection
140-stationary object detector
150-Neglect object detection unit
160-operation determination unit
Claims (17)
상기 배경영상과 상기 현재 영상프레임의 차분에 의해 상기 현재 영상프레임으로부터 이동객체를 검출하는 이동객체 검출부; 및
상기 현재 영상프레임까지 시간적으로 연속하는 영상프레임들로부터 동일하게 검출된 상기 이동객체의 위치 변화인 이동궤적을 기초로 상기 이동객체가 상기 현재 영상프레임에 대응하는 감시대상 영역 내에서 이동함에 따라 발생하는 이상 상황을 검출하는 이상행위 검출부;를 포함하는 것을 특징으로 하는 이상행위 검출장치.A background image generator configured to generate a background image corresponding to the current image frame based on a light flow flow detected between a current image frame and a previous image frame temporally preceding the current image frame among a plurality of input image frames;
A moving object detector for detecting a moving object from the current image frame based on a difference between the background image and the current image frame; And
It is generated when the moving object moves within the monitoring target area corresponding to the current image frame based on the movement trajectory, which is a position change of the moving object that is identically detected from the image frames consecutive in time up to the current image frame. An abnormal behavior detecting device for detecting an abnormal situation.
상기 배경영상과 상기 현재 영상프레임의 차분 및 상기 현재 영상프레임에 사전에 설정된 기준시간만큼 앞서는 영상프레임에 대응하여 생성된 배경영상인 과거 배경영상과 상기 현재 영상프레임의 차분에 의해 공통적으로 얻어지는 정지객체를 검출하는 정지객체 검출부; 및
상기 정지객체의 위치가 상기 현재 영상프레임까지 시간적으로 연속하는 사전에 설정된 기준개수의 영상프레임들 상에서 동일하면 상기 정지객체가 방치된 것으로 결정하는 방치객체 검출부;를 더 포함하는 것을 특징으로 하는 이상행위 검출장치.The method of claim 1,
The still object obtained in common by the difference between the background image and the difference between the current image frame and the background image, which is a background image generated corresponding to the difference between the background image and the current image frame and the image frame that is advanced by a preset reference time. A stationary object detection unit for detecting a; And
And an idle object detection unit for determining that the stationary object is left if the position of the stationary object is the same on a preset number of reference image frames that are continuous in time to the current image frame. Detection device.
상기 방치객체 검출부는 상기 방치된 것으로 결정된 정지객체의 불변 모멘트 값을 기초로 상기 정지객체가 버려진 물체 또는 실신한 사람에 해당하는지 여부를 판별하는 것을 특징으로 하는 이상행위 검출장치.The method of claim 2,
And the illegal object detecting unit determines whether the static object corresponds to an abandoned object or a fainting person on the basis of an invariant moment value of the static object determined to be left unattended.
상기 이상행위 검출부는 상기 감시대상 영역 내에 설정된 경계에 대응하는 기준선을 상기 현재 영상프레임 상에 설정하고, 상기 이동객체의 이동궤적이 상기 기준선과 교차하는 경우에는 상기 이동객체가 상기 경계를 침범하는 객체인 것으로 결정하는 것을 특징으로 하는 이상행위 검출장치.3. The method according to claim 1 or 2,
The abnormal behavior detection unit sets a reference line corresponding to a boundary set in the surveillance target area on the current image frame, and the moving object violates the boundary when the movement trajectory of the moving object intersects the reference line. An abnormal behavior detection device, characterized in that determined to be.
상기 이상행위 검출부는 상기 현재 영상프레임을 사전에 설정된 크기의 복수의 블록으로 분할하고, 상기 이동객체의 이동궤적이 통과하는 횟수가 사전에 설정된 기준횟수 이상인 블록이 사전에 설정된 기준개수 이상이면 상기 이동객체가 상기 감시대상 영역 내에서 배회하는 객체인 것으로 결정하는 것을 특징으로 하는 이상행위 검출장치.3. The method according to claim 1 or 2,
The abnormal behavior detection unit divides the current image frame into a plurality of blocks having a preset size, and moves the block if the number of times that the moving trajectory of the moving object passes is greater than or equal to a preset reference number. And determining that an object is an object roaming in the area to be monitored.
상기 배경영상으로부터 검출된 에지성분의 크기에 대한 상기 현재 영상프레임에 사전에 설정된 기준시간만큼 앞서는 영상 프레임에 대응하여 생성된 배경영상인 과거 배경영상으로부터 검출된 에지성분의 크기의 비가 사전에 설정된 기준값 이상이면 상기 복수의 영상프레임을 촬영한 카메라에 조작이 발생한 것으로 판단하는 조작 판별부를 더 포함하는 것을 특징으로 하는 이상행위 검출장치.3. The method according to claim 1 or 2,
A reference value of a preset ratio of the size of the edge component detected from the past background image, which is a background image generated corresponding to the image frame that advances to the current image frame by a preset reference time, to the size of the edge component detected from the background image The abnormality detection device, characterized in that it further comprises an operation determination unit for determining that the operation occurred in the camera photographing the plurality of image frames.
상기 이동객체 검출부는 상기 현재 영상프레임으로부터 검출된 복수의 이동객체 각각에 대하여 상기 이전 영상프레임으로부터 검출된 복수의 이전 이동객체 중에서 크기, 무게중심 및 외곽선 데이터를 기초로 산출된 오차가 최소인 이전 이동객체와 동일한 식별코드를 부여하며,
상기 이동객체의 이동궤적은 상기 복수의 영상프레임 상에서 동일한 식별코드가 부여된 이동객체의 위치 변화인 것을 특징으로 하는 이상행위 검출장치.3. The method according to claim 1 or 2,
The moving object detector is a previous movement having a minimum error calculated based on size, center of gravity, and outline data among a plurality of previous moving objects detected from the previous image frame with respect to each of the plurality of moving objects detected from the current image frame. Give the same identification code as the object,
The movement trace of the moving object is an abnormal behavior detection device, characterized in that the position change of the moving object to which the same identification code is given on the plurality of image frames.
상기 식별코드는 상기 이동객체를 구성하는 각 화소의 색상 중에서 가장 높은 비중으로 포함된 색상을 기초로 결정되는 것을 특징으로 하는 이상행위 검출장치.The method of claim 7, wherein
And the identification code is determined based on a color included as the highest specific gravity among the colors of each pixel constituting the moving object.
상기 배경영상과 상기 현재 영상프레임의 차분에 의해 상기 현재 영상프레임으로부터 이동객체를 검출하는 이동객체 검출단계; 및
상기 현재 영상프레임까지 시간적으로 연속하는 영상프레임들로부터 동일하게 검출된 상기 이동객체의 위치 변화인 이동궤적을 기초로 상기 이동객체가 상기 현재 영상프레임에 대응하는 감시대상 영역 내에서 이동함에 따라 발생하는 이상 상황을 검출하는 이상행위 검출단계;를 포함하는 것을 특징으로 하는 이상행위 검출방법.A background image generation step of generating a background image corresponding to the current image frame based on a light flow flow detected between a current image frame and a previous image frame temporally preceding the current image frame among a plurality of input image frames;
A moving object detecting step of detecting a moving object from the current image frame based on a difference between the background image and the current image frame; And
It is generated when the moving object moves within the monitoring target area corresponding to the current image frame based on the movement trajectory, which is a position change of the moving object that is identically detected from the image frames consecutive in time up to the current image frame. An abnormal behavior detecting method for detecting an abnormal situation.
상기 배경영상과 상기 현재 영상프레임의 차분 및 상기 현재 영상프레임에 사전에 설정된 기준시간만큼 앞서는 영상프레임에 대응하여 생성된 배경영상인 과거 배경영상과 상기 현재 영상프레임의 차분에 의해 공통적으로 얻어지는 정지객체를 검출하는 정지객체 검출단계; 및
상기 정지객체의 위치가 상기 현재 영상프레임까지 시간적으로 연속하는 사전에 설정된 기준개수의 영상프레임들 상에서 동일하면 상기 정지객체가 방치된 것으로 결정하는 방치객체 검출단계;를 더 포함하며,
상기 이상행위 검출단계와 상기 방치객체 검출단계는 병렬적으로 수행되는 것을 특징으로 하는 이상행위 검출방법.The method of claim 9,
The still object obtained in common by the difference between the background image and the difference between the current image frame and the background image, which is a background image generated corresponding to the difference between the background image and the current image frame and the image frame that is advanced by a preset reference time. Detecting a stationary object; And
And an idle object detecting step of determining that the still object is left if the position of the still object is the same on a preset number of reference image frames that are continuous in time to the current image frame.
The abnormal behavior detecting step and the illegal object detection step are performed in parallel.
상기 방치객체 검출단계에서, 상기 방치된 것으로 결정된 정지객체의 불변 모멘트 값을 기초로 상기 정지객체가 버려진 물체 또는 실신한 사람에 해당하는지 여부를 판별하는 것을 특징으로 하는 이상행위 검출방법.The method of claim 10,
And in the step of detecting the neglected object, determining whether the stationary object corresponds to an abandoned object or a fainting person on the basis of an invariant moment value of the stationary object determined to be left unattended.
상기 이상행위 검출단계에서, 상기 감시대상 영역 내에 설정된 경계에 대응하는 기준선을 상기 현재 영상프레임 상에 설정하고, 상기 이동객체의 이동궤적이 상기 기준선과 교차하는 경우에는 상기 이동객체가 상기 경계를 침범하는 객체인 것으로 결정하는 것을 특징으로 하는 이상행위 검출방법.11. The method according to claim 9 or 10,
In the abnormal behavior detecting step, when a reference line corresponding to a boundary set in the surveillance target area is set on the current image frame, and the movement trajectory of the moving object intersects the reference line, the moving object violates the boundary. An abnormal behavior detection method characterized in that it is determined that the object.
상기 이상행위 검출단계에서, 상기 현재 영상프레임을 사전에 설정된 크기의 복수의 블록으로 분할하고, 상기 이동객체의 이동궤적이 통과하는 횟수가 사전에 설정된 기준횟수 이상인 블록이 사전에 설정된 기준개수 이상이면 상기 이동객체가 상기 감시대상 영역 내에서 배회하는 객체인 것으로 결정하는 것을 특징으로 하는 이상행위 검출방법.11. The method according to claim 9 or 10,
In the abnormal behavior detection step, if the current image frame is divided into a plurality of blocks having a preset size, and the number of times that the moving trajectory of the moving object passes is greater than or equal to a preset reference number is greater than or equal to a predetermined reference number, And detecting that the moving object is an object roaming in the area to be monitored.
상기 배경영상으로부터 검출된 에지성분의 크기에 대한 상기 현재 영상프레임에 사전에 설정된 기준시간만큼 앞서는 영상 프레임에 대응하여 생성된 배경영상인 과거 배경영상으로부터 검출된 에지성분의 크기의 비가 사전에 설정된 기준값 이상이면 상기 복수의 영상프레임을 촬영한 카메라에 조작이 발생한 것으로 판단하는 조작 판별단계를 더 포함하는 것을 특징으로 하는 이상행위 검출방법.11. The method according to claim 9 or 10,
A reference value of a preset ratio of the size of the edge component detected from the past background image, which is a background image generated corresponding to the image frame that advances to the current image frame by a preset reference time, to the size of the edge component detected from the background image The abnormality detection method, characterized in that it further comprises an operation determination step for determining that the operation occurred in the camera that photographed the plurality of image frames.
상기 이동객체 검출단계에서, 상기 현재 영상프레임으로부터 검출된 복수의 이동객체 각각에 대하여 상기 이전 영상프레임으로부터 검출된 복수의 이전 이동객체 중에서 크기, 무게중심 및 외곽선 데이터를 기초로 산출된 오차가 최소인 이전 이동객체와 동일한 식별코드를 부여하며,
상기 이동객체의 이동궤적은 상기 복수의 영상프레임 상에서 동일한 식별코드가 부여된 이동객체의 위치 변화인 것을 특징으로 하는 이상행위 검출방법.11. The method according to claim 9 or 10,
In the moving object detection step, an error calculated based on size, center of gravity, and outline data among a plurality of previous moving objects detected from the previous image frame is minimum for each of the plurality of moving objects detected from the current image frame. Give the same identification code as the previous moving object,
The movement trace of the moving object is an abnormal behavior detection method, characterized in that the position change of the moving object to which the same identification code is given on the plurality of image frames.
상기 식별코드는 상기 이동객체를 구성하는 각 화소의 색상 중에서 가장 높은 비중으로 포함된 색상을 기초로 결정되는 것을 특징으로 하는 이상행위 검출방법.16. The method of claim 15,
And the identification code is determined based on the color included as the highest specific gravity among the colors of each pixel constituting the moving object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100087784A KR101180887B1 (en) | 2010-09-08 | 2010-09-08 | Apparatus and method for detecting abnormal behavior |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100087784A KR101180887B1 (en) | 2010-09-08 | 2010-09-08 | Apparatus and method for detecting abnormal behavior |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120025718A true KR20120025718A (en) | 2012-03-16 |
| KR101180887B1 KR101180887B1 (en) | 2012-09-07 |
Family
ID=46131896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100087784A KR101180887B1 (en) | 2010-09-08 | 2010-09-08 | Apparatus and method for detecting abnormal behavior |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101180887B1 (en) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014035103A1 (en) * | 2012-08-31 | 2014-03-06 | 에스케이텔레콤 주식회사 | Apparatus and method for monitoring object from captured image |
| KR20140039927A (en) * | 2012-09-25 | 2014-04-02 | 에스케이텔레콤 주식회사 | Method and apparatus for detecting event from multiple image |
| WO2014051262A1 (en) * | 2012-09-25 | 2014-04-03 | 에스케이텔레콤 주식회사 | Method for setting event rules and event monitoring apparatus using same |
| KR101454644B1 (en) * | 2013-04-30 | 2014-10-27 | 순천향대학교 산학협력단 | Loitering Detection Using a Pedestrian Tracker |
| CN104168451A (en) * | 2014-07-25 | 2014-11-26 | 重庆科技学院 | Fighting detection method in intelligent video monitoring |
| KR20150118010A (en) * | 2014-04-11 | 2015-10-21 | 렉스젠(주) | System for managing objects and method thereof |
| KR20160011523A (en) * | 2014-07-22 | 2016-02-01 | 주식회사 에스원 | Device and method surveiling innormal behavior using 3d image information |
| WO2016018006A1 (en) * | 2014-07-31 | 2016-02-04 | 삼성에스디에스 주식회사 | Method and device for sensing collapse in image, and system using same |
| KR20160049391A (en) | 2014-10-27 | 2016-05-09 | 한화테크윈 주식회사 | Method and Apparatus for loitering visualization |
| KR20170009300A (en) * | 2015-07-16 | 2017-01-25 | 한화테크윈 주식회사 | Advanced wander alarm system and method thereof |
| WO2018097627A1 (en) * | 2016-11-23 | 2018-05-31 | 엘지이노텍(주) | Image analysis method, device, system, and program, which use vehicle driving information, and storage medium |
| CN108197575A (en) * | 2018-01-05 | 2018-06-22 | 中国电子科技集团公司电子科学研究院 | A kind of abnormal behaviour recognition methods detected based on target detection and bone point and device |
| KR101893875B1 (en) * | 2018-03-26 | 2018-08-31 | 주식회사 다누시스 | Behavior Detection System Of Discards Garbage And Behavior Detection Method Of Discards Garbage |
| KR101957218B1 (en) * | 2018-08-03 | 2019-03-12 | 주식회사 다누시스 | System For Obtaining A Standard Background Image And Method For Obtaining A Background Image |
| KR101990303B1 (en) * | 2018-12-14 | 2019-06-18 | (주)세정이에프씨 | System for monitoring event |
| CN110070003A (en) * | 2019-04-01 | 2019-07-30 | 浙江大华技术股份有限公司 | The method and relevant apparatus that unusual checking and light stream autocorrelation determine |
| CN112749677A (en) * | 2021-01-21 | 2021-05-04 | 高新兴科技集团股份有限公司 | Method and device for identifying mobile phone playing behaviors and electronic equipment |
| KR20210082301A (en) * | 2019-12-24 | 2021-07-05 | 주식회사 싸인텔레콤 | Intelligent system for context-aware based embeded camera |
| KR20210098624A (en) * | 2020-02-03 | 2021-08-11 | 한화시스템 주식회사 | System and method for managing moving object with multiple wide angle cameras |
| CN113408352A (en) * | 2019-05-28 | 2021-09-17 | 浙江大华技术股份有限公司 | Pedestrian abnormal behavior detection method, image processing device and storage device |
| KR102312932B1 (en) * | 2020-07-31 | 2021-10-14 | 한화시스템 주식회사 | Situation monitoring apparatus and situation monitoring method for 360-degree panoramic image acquisition using target handover |
| CN113743368A (en) * | 2021-09-18 | 2021-12-03 | 内蒙古工业大学 | Behavior monitoring method and device, storage medium and electronic equipment |
| KR20230003875A (en) * | 2021-06-30 | 2023-01-06 | 주식회사 에스원 | Abandonment situation detection device and method adaptive to weather conditions |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102153591B1 (en) | 2018-05-08 | 2020-09-09 | 한국전자통신연구원 | Method and apparatus for detecting garbage dumping action in real time on video surveillance system |
| KR101980551B1 (en) * | 2018-11-08 | 2019-05-21 | 주식회사 다누시스 | System For Detecting An Action Through Real-Time Intelligent CCTV Image Analysis Using Machine Learning Object Detection And Method For Detecting An Action Through Real-Time Intelligent CCTV Image Analysis Using Machine Learning Object Detection |
| KR20200132665A (en) | 2019-05-17 | 2020-11-25 | 삼성전자주식회사 | Attention layer included generator based prediction image generating apparatus and controlling method thereof |
| KR102107957B1 (en) | 2020-01-06 | 2020-05-07 | 주식회사 투윈스컴 | Cctv monitoring system for detecting the invasion in the exterior wall of building and method thereof |
| KR102543400B1 (en) * | 2020-08-21 | 2023-06-15 | 주식회사 리얼타임테크 | Deep learning based realtime process monitoring system and method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4984575B2 (en) * | 2006-03-03 | 2012-07-25 | 株式会社明電舎 | Intruder detection device by image processing |
-
2010
- 2010-09-08 KR KR1020100087784A patent/KR101180887B1/en active IP Right Grant
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9367742B2 (en) | 2012-08-31 | 2016-06-14 | Sk Telecom Co., Ltd. | Apparatus and method for monitoring object from captured image |
| WO2014035103A1 (en) * | 2012-08-31 | 2014-03-06 | 에스케이텔레콤 주식회사 | Apparatus and method for monitoring object from captured image |
| CN104603838A (en) * | 2012-08-31 | 2015-05-06 | Sk电信有限公司 | Apparatus and method for monitoring object from captured image |
| KR20140039927A (en) * | 2012-09-25 | 2014-04-02 | 에스케이텔레콤 주식회사 | Method and apparatus for detecting event from multiple image |
| WO2014051262A1 (en) * | 2012-09-25 | 2014-04-03 | 에스케이텔레콤 주식회사 | Method for setting event rules and event monitoring apparatus using same |
| US9846941B2 (en) | 2012-09-25 | 2017-12-19 | Sk Telecom Co., Ltd. | Method for setting event rules and event monitoring apparatus using same |
| KR101454644B1 (en) * | 2013-04-30 | 2014-10-27 | 순천향대학교 산학협력단 | Loitering Detection Using a Pedestrian Tracker |
| KR20150118010A (en) * | 2014-04-11 | 2015-10-21 | 렉스젠(주) | System for managing objects and method thereof |
| KR20160011523A (en) * | 2014-07-22 | 2016-02-01 | 주식회사 에스원 | Device and method surveiling innormal behavior using 3d image information |
| US10540552B2 (en) | 2014-07-22 | 2020-01-21 | S-1 Corporation | Device and method surveilling abnormal behavior using 3D image information |
| CN104168451B (en) * | 2014-07-25 | 2018-07-31 | 重庆科技学院 | Detection method of fighting in intelligent video monitoring |
| CN104168451A (en) * | 2014-07-25 | 2014-11-26 | 重庆科技学院 | Fighting detection method in intelligent video monitoring |
| WO2016018006A1 (en) * | 2014-07-31 | 2016-02-04 | 삼성에스디에스 주식회사 | Method and device for sensing collapse in image, and system using same |
| KR20160049391A (en) | 2014-10-27 | 2016-05-09 | 한화테크윈 주식회사 | Method and Apparatus for loitering visualization |
| KR20170009300A (en) * | 2015-07-16 | 2017-01-25 | 한화테크윈 주식회사 | Advanced wander alarm system and method thereof |
| US10909693B2 (en) | 2016-11-23 | 2021-02-02 | Lg Innotek Co., Ltd. | Image analysis method, device, system, and program, which use vehicle driving information, and storage medium |
| WO2018097627A1 (en) * | 2016-11-23 | 2018-05-31 | 엘지이노텍(주) | Image analysis method, device, system, and program, which use vehicle driving information, and storage medium |
| CN108197575A (en) * | 2018-01-05 | 2018-06-22 | 中国电子科技集团公司电子科学研究院 | A kind of abnormal behaviour recognition methods detected based on target detection and bone point and device |
| KR101893875B1 (en) * | 2018-03-26 | 2018-08-31 | 주식회사 다누시스 | Behavior Detection System Of Discards Garbage And Behavior Detection Method Of Discards Garbage |
| KR101957218B1 (en) * | 2018-08-03 | 2019-03-12 | 주식회사 다누시스 | System For Obtaining A Standard Background Image And Method For Obtaining A Background Image |
| KR101990303B1 (en) * | 2018-12-14 | 2019-06-18 | (주)세정이에프씨 | System for monitoring event |
| CN110070003A (en) * | 2019-04-01 | 2019-07-30 | 浙江大华技术股份有限公司 | The method and relevant apparatus that unusual checking and light stream autocorrelation determine |
| CN113408352A (en) * | 2019-05-28 | 2021-09-17 | 浙江大华技术股份有限公司 | Pedestrian abnormal behavior detection method, image processing device and storage device |
| CN113408352B (en) * | 2019-05-28 | 2024-07-16 | 浙江大华技术股份有限公司 | Pedestrian abnormal behavior detection method, image processing device and storage device |
| KR20210082301A (en) * | 2019-12-24 | 2021-07-05 | 주식회사 싸인텔레콤 | Intelligent system for context-aware based embeded camera |
| KR20210098624A (en) * | 2020-02-03 | 2021-08-11 | 한화시스템 주식회사 | System and method for managing moving object with multiple wide angle cameras |
| KR102312932B1 (en) * | 2020-07-31 | 2021-10-14 | 한화시스템 주식회사 | Situation monitoring apparatus and situation monitoring method for 360-degree panoramic image acquisition using target handover |
| CN112749677A (en) * | 2021-01-21 | 2021-05-04 | 高新兴科技集团股份有限公司 | Method and device for identifying mobile phone playing behaviors and electronic equipment |
| KR20230003875A (en) * | 2021-06-30 | 2023-01-06 | 주식회사 에스원 | Abandonment situation detection device and method adaptive to weather conditions |
| CN113743368A (en) * | 2021-09-18 | 2021-12-03 | 内蒙古工业大学 | Behavior monitoring method and device, storage medium and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101180887B1 (en) | 2012-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101180887B1 (en) | Apparatus and method for detecting abnormal behavior | |
| Colque et al. | Histograms of optical flow orientation and magnitude and entropy to detect anomalous events in videos | |
| EP1974326B1 (en) | Video signal analysis | |
| US9147259B2 (en) | Multi-mode video event indexing | |
| Khan et al. | A multiview approach to tracking people in crowded scenes using a planar homography constraint | |
| US8902053B2 (en) | Method and system for lane departure warning | |
| KR101394242B1 (en) | A method for monitoring a video and an apparatus using it | |
| KR101731461B1 (en) | Apparatus and method for behavior detection of object | |
| CN103092930B (en) | Method of generation of video abstract and device of generation of video abstract | |
| Ferrando et al. | Classification of unattended and stolen objects in video-surveillance system | |
| US10970823B2 (en) | System and method for detecting motion anomalies in video | |
| Khan | Congestion detection in pedestrian crowds using oscillation in motion trajectories | |
| Huerta et al. | Chromatic shadow detection and tracking for moving foreground segmentation | |
| KR101472674B1 (en) | Method and apparatus for video surveillance based on detecting abnormal behavior using extraction of trajectories from crowd in images | |
| JP2010057105A (en) | Three-dimensional object tracking method and system | |
| CN108830204B (en) | Method for detecting abnormality in target-oriented surveillance video | |
| CN110598570A (en) | Pedestrian abnormal behavior detection method and system, storage medium and computer equipment | |
| JP7125843B2 (en) | Fault detection system | |
| Mousse et al. | People counting via multiple views using a fast information fusion approach | |
| Forczmański et al. | Surveillance video stream analysis using adaptive background model and object recognition | |
| CN108460319B (en) | Abnormal face detection method and device | |
| CN110210274A (en) | Safety cap detection method, device and computer readable storage medium | |
| CN114422720A (en) | Video concentration method, system, device and storage medium | |
| CN113920585A (en) | Behavior recognition method and device, equipment and storage medium | |
| Sitara et al. | Automated camera sabotage detection for enhancing video surveillance systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150619 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170626 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190110 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190807 Year of fee payment: 8 |