KR101374138B1 - System for abnormal situation detection - Google Patents
System for abnormal situation detection Download PDFInfo
- Publication number
- KR101374138B1 KR101374138B1 KR1020120102724A KR20120102724A KR101374138B1 KR 101374138 B1 KR101374138 B1 KR 101374138B1 KR 1020120102724 A KR1020120102724 A KR 1020120102724A KR 20120102724 A KR20120102724 A KR 20120102724A KR 101374138 B1 KR101374138 B1 KR 101374138B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion vector
- motion
- abnormal situation
- calculation unit
- mutual information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 비정상적인 상황 인식시스템에 관한 것으로서, 더욱 상세하게는 공공장소의 혼잡 영상에서 교통사고나 싸움 등과 같은 비정상적인 상황이 발생하는 경우, 두 개의 인접 프레임의 입자 에너지로부터 결정되고, 전경영상과 배경영상의 비율로 수정되어 계산되는 입자 에너지와, 두 개의 이웃 모션 벡터 필드의 방향 히스토그램의 뮤추얼 정보에 의해 측정되는 모션 방향을 통해 혼잡한 모션 특징을 기반으로 한 비정상적인 상황인식 시스템에 관한 것이다.The present invention relates to an abnormal situation recognition system. More specifically, when an abnormal situation such as a traffic accident or a fight occurs in a crowded image of a public place, it is determined from particle energy of two adjacent frames, and the foreground image and the background image. The present invention relates to an abnormal situation recognition system based on a congested motion characteristic through particle energy calculated by modifying the ratio of and motion direction measured by mutual information of direction histograms of two neighboring motion vector fields.
현재, 범죄예방을 목적으로 CCTV와 같은 무인 카메라가 공공장소를 비롯한 우리 생활 전반에 걸쳐 보편화 되어 사용되고 있는데, CCTV와 연계되어 다수의 디스플레이 장치가 설치된 장소에서 감시원들이 모니터링 함으로써, 촬영지역에서 비정상적인 상황의 발생을 인지하게 된다.Currently, unmanned cameras such as CCTVs are widely used throughout our lives, including public places, for the purpose of crime prevention. It becomes aware of the occurrence.
그러나, 이러한 종래의 카메라와 디스플레이장치로 이루어진 모니터링 시스템은 감시원이 항상 디플레이장치를 주시하고 있어야만 비정상적인 상황을 인지할 수 있다는 번거로운 문제점이 있고, 특정시간대에 비정상적인 상황이 발생하더라도 감시원의 디스플레이장치의 주시를 소홀히 하는 경우, 비정상적인 상황을 인지할 수 없다는 문제점이 있다.However, such a conventional monitoring system consisting of a camera and a display device has a troublesome problem that the watcher can always recognize the abnormal situation only when the watcher is watching the display device, and even if an abnormal situation occurs at a specific time, If neglected, there is a problem that can not recognize the abnormal situation.
예를 들어, 특정공공장소에서 소매치기와 같은 절도사건이 발생하여, 해당 공공장소가 비정상적인 상황에 놓이게 되더라도, 감시원의 모니터링 업무가 소홀히 이루어진 경우, 위와 같은 비정상적인 상황을 바로 인지할 수 없어, 절도사건의 용의자를 바로 붙잡을 수 없으며, 시간이 한참 경과 한 후에 절도 용의자를 붙잡기 위해 카메라도 촬영된 영상을 재차 확인하여야 하는 번거로운 문제점이 있습니다. For example, even if a theft occurs like a pickpocket at a particular public place, and the public place is in an abnormal situation, if the monitoring service is neglected, the abnormal situation cannot be recognized immediately. There is a problem that you cannot catch the suspect right away, and the camera also has to check the captured image again in order to catch the theft suspect after a while.
본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 쇼핑센터와 같은 공공장소의 혼잡 영상에서 교통사고나 싸움 등과 같은 비정상적인 상황이 발생하는 경우, 두 개의 인접 프레임의 입자 에너지로부터 결정되고, 전경영상과 배경영상의 비율로 수정되어 계산되는 입자 에너지와, 두 개의 이웃 모션 벡터 필드의 방향 히스토그램의 뮤추얼 정보에 의해 측정되는 모션 방향을 통해 혼잡한 모션 특징을 기반으로 한 비정상적인 상황인식 시스템 제공을 목적으로 한다.The present invention was created to solve the above-mentioned problems, and when an abnormal situation such as a traffic accident or a fight occurs in a crowded image of a public place such as a shopping center, it is determined from particle energy of two adjacent frames, and the foreground image. It aims to provide an abnormal situation recognition system based on the congested motion characteristics through the particle energy calculated by modifying the ratio of the background image and the motion direction measured by the mutual information of the direction histogram of the two neighboring motion vector fields. do.
상술한 목적을 달성하기 위한, 본 발명에 따른 비정상적인 상황 인식시스템은 촬영카메라, 촬영카메라가 촬영한 영상을 획득하여, 영상 내 객체의 비정상적인 모션 분석을 통해 비정상적인 상황을 판단하는 상황판단 서버, 촬영카메라가 촬영한 영상을 디스플레이하고, 상황판단 서버로부터 비정상적인 상황 알림신호를 수신하여 경보하는 모니터링 단말기, 및 촬영카메라와 상황판단 서버 그리고 모티터링 단말간 데이터 통신을 중계하는 통신망을 포함하는 것을 특징으로 한다.In order to achieve the above object, the abnormal situation recognition system according to the present invention obtains the image taken by the shooting camera, the shooting camera, the situation determination server to determine the abnormal situation through the abnormal motion analysis of the object in the image, the shooting camera And a monitoring terminal for displaying the captured image and receiving and alerting an abnormal situation notification signal from the situation determination server, and a communication network for relaying data communication between the photographing camera and the situation determination server and the monitoring terminal.
본 발명에 따른 비정상적인 상황인식 시스템 및 그 방법은 두 개의 인접 프레임의 입자 에너지로부터 결정되고, 전경영상과 배경영상의 비율로 수정되어 계산되는 입자 에너지와, 두 개의 이웃 모션 벡터 필드의 방향 히스토그램의 뮤추얼 정보에 의해 측정되는 모션 방향을 통해 자동으로 비정상적인 상황을 알려줌으로써, 감시원이 항상 모니터를 감시하여야 하는 부담을 덜어줄 수 있는 효과가 있다. The abnormal situation recognition system and method according to the present invention are mutually determined by particle energy of two adjacent frames, modified by the ratio of the foreground image and the background image, and the mutual histogram of the direction histogram of two neighboring motion vector fields. By automatically notifying the abnormal situation through the motion direction measured by the information, there is an effect that can reduce the burden on the monitors to always monitor.
도 1은 본 발명에 따른 비정상적인 상황 인식시스템을 도시한 도면,
도 2는 본 발명에 따른 상황판단 서버의 상세 구성도,
도 3은 본 발명에 따른 상황판단 서버의 촬영카메라가 촬영한 영상 도면,
도 4는 도 3의 일부도면 확대도,
도 5는 상이한 유형벡터의 크기분포에 대한 시뮬레이션 결과 그래프도면, 및
도 6은 다양한 사이즈의 그리드에서의 교차 이미지에서 벡터의 크기를 도시한 도이다.1 is a diagram illustrating an abnormal situation recognition system according to the present invention;
2 is a detailed configuration diagram of a situation determination server according to the present invention;
3 is a video diagram taken by the shooting camera of the situation determination server according to the present invention;
4 is an enlarged view of a partial view of FIG. 3;
5 is a graph of a simulation result for the size distribution of different type vectors, and
6 is a diagram illustrating the size of a vector in an intersection image in grids of various sizes.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms, and the inventor should appropriately interpret the concept of the term appropriately in order to describe its own invention in the best way. The present invention should be construed in accordance with the meaning and concept consistent with the technical idea of the present invention.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.
이하에서 도면을 참조하여 본 발명에 따른 비정상적인 상황 인식시스템 및 그 방법에 대하여 상세히 설명한다.Hereinafter, an abnormal situation recognition system and method thereof according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 비정상적인 상황 인식시스템을 도시한 도면이다. 1 is a diagram illustrating an abnormal situation recognition system according to the present invention.
도 1에 도시된 바와 같이 본 발명에 따른 비정상적인 상황 인식시스템은 특정구역에 설치된 촬영카메라(100), 상기 촬영카메라(100)가 촬영한 영상을 획득하여 비정상적인 상황을 판단하는 상황판단 서버(200), 상기 상황판단 서버(200)가 판단한 상황을 실시간으로 수신받아 감시자가 모니터링할 수 있도록 하는 모니터링 단말기(300), 상기 촬영 카메라(100), 상기 상황판단 서버(200) 및 상기 모니터링 단말기(300) 간의 데이터 전송이 이루어질 수 있도록 하는 통신망(400)을 포함한다.As shown in FIG. 1, the abnormal situation recognition system according to the present invention is a
한편, 도 2에 도시된 바와 같이, 상기 상황판단 서버(200)는 송·수신부(210), 주제어부(220), 모션특징 추출부(230), 밀집도 계산부(240), 특징값 조절부(250), 에너지 계산부(260) 역학 계산부(270), 히스토 그램 계산부(280) 및 뮤추얼 정보 계산부(290)를 포함한다.Meanwhile, as shown in FIG. 2, the
도 2는 본 발명에 따른 상황판단 서버(200)의 상세 구성도이다.2 is a detailed configuration diagram of the
상기 송·수신부(210)는 상기 촬영카메라(100)가 도 3에 도시된 바와 같이 거리나 학교 또는 쇼핑몰에 설치되어 촬영한 영상을 상기 통신망(400)을 통해 송신하면, 상기 영상을 수신한다.The transmitter /
참고로, 도 3은 본 발명에 따른 상황판단 서버의 촬영카메라(100)가 촬영한 영상이다.For reference, Figure 3 is an image taken by the
상기 모션특징 추출부(230)는 상기 영상 획득부(210)가 획득한 영상의 인접하는 프레임간의 픽셀변화를 모션벡터로 표시하고, 상기 모션벡터의 크기와 방향 속도를 통해 모션의 특징을 추출한다.The motion feature extractor 230 displays the pixel change between adjacent frames of the image acquired by the image acquirer 210 as a motion vector, and extracts the feature of the motion through the size and direction velocity of the motion vector. .
상기 모션 벡터는 도 4에 도시된 바와 같이 비정상적인 상황이 발생하여, 촬영객체가 원래의 이동 흐름을 깨고 이동한 종점(q)과 초기 시작위치(p)를 연결하는 명확한 방향을 갖는 라인 세그먼트로 표시된다.As shown in FIG. 4, the motion vector is displayed as a line segment having a clear direction connecting the end point q and the initial start position p where the photographing object breaks the original flow of movement. do.
초기 시작위치의 좌표가 
즉, 
상기 [수학식 1]에서 i는 프레임 번호이고, j는 n×n그리드로 분할된 블락 번호이며, k는 모션벡터의 번호이다. 크기
또한, 속도
여기서, 상기 m은 i프레임의 j블락에서 벡터의 개수이다.
Here, m is the number of vectors in the j block of the i frame.
한편, 상기 밀집도 계산부(240)는 다음과 같이 밀집도를 계산한다.On the other hand, the
즉, 상기 밀집도 계산부(240)는 양자화된 방향을 상기의 수학식과 같은 규칙에 의해 정의하고, X축과 36개 방향으로 분류된 벡터 사이로 벡터의 각을 계산하며, 각 방향에서 특징점의 밀도 퍼센트를 고려하여 주된 혼잡방향들을 계산하여, 상기 퍼센트가 임계치보다 크면, 그 방향에 붐빔이 있다고 가정함으로써 밀집도를 계산한다.That is, the
보다 효과적으로 계산하기 위하여, 특징점의 최대 개수를 제한하고, 카메라 영상을 m×n블락으로 분할한다.In order to calculate more effectively, the maximum number of feature points is limited, and the camera image is divided into m × n blocks.
상기 m과 n 값은 카메라와 객체 사이의 시야거리에서 결정되어야 한다.The m and n values should be determined from the viewing distance between the camera and the object.
본 발명에서, 블락 크기는 객체의 크기와 영상에서 배경에 대한 전경영역(If)의 비율(r)로 측정된다.In the present invention, the block size is measured as the ratio r of the size of the object and the foreground area I f to the background in the image.
상기 비율(r)은 아래의 수학식에 의해 계산된다.The ratio r is calculated by the following equation.
위의 수학식에서 Iw와 Ih는 각각 배경의 너비와 높이이다.In the above equation, I w and I h are the width and height of the background, respectively.
본 발명에 따른 히스토 그램 계산부(280)는 프레임에 모션 벡터로부터 방향 히스토그램을 계산하는데, 모션벡터의 각과 관련된 히스토그램 빈(H)의 수를 2π를 36빈으로 분할함으로써 한정한다.The histogram calculation unit 280 according to the present invention calculates a direction histogram from a motion vector in a frame, and limits the number of histogram bins H related to the angles of the motion vectors by dividing 2π by 36 bins.
계산된 히스토그램은 방향 분포와 프레임의 방향추세를 표시한다.The calculated histogram shows the direction distribution and the direction of the frame.
예를 들어, 2π가 8빈으로 분할되면, 직교평면은 8개의 부분으로 분할되는데, 여기서 각 부분은 아래의 방정식을 이용하는 각도[α,α+45]와 {0, 45, 90, 135, 180, 225, 270}를 원소로 갖는 α 사이의 방향이다.For example, if 2π is divided into eight bins, the orthogonal plane is divided into eight parts, where each part has angles [α, α + 45] and {0, 45, 90, 135, 180 using the equation , 225, 270} as the element.
상기 수학식에서, b는 빈(bin) 번호이고, N(b)는 총 빈 번호이다.In the above equation, b is a bin number and N (b) is a total bin number.
그러나, 무빙벡터의 방향은 각 방향에 특징점의 밀도비율과 함께 변할 수 있다.However, the direction of the moving vector may change with the density ratio of the feature points in each direction.
따라서, 방향분포에 따라 적응하는 방향 부분 창(w)은 주요한 것을 분류하고, 군중방향을 반영하도록 조절되어야 한다.Therefore, the direction partial window w that adapts according to the direction distribution should be adjusted to classify the main and reflect the crowd direction.
즉, 상기 특징값 조절부(250)는 군중방향을 반영하여 모션벡터의 방향을 조절한다.That is, the feature
적응가능한 창 선택방법을 기반으로 각 프레임에 대한 방향 히스토그램을 분석한 후, 모션벡터의 반대방향은 방향확률분포에 의해 감지되어 질 수 있다.After analyzing the direction histogram for each frame based on the adaptive window selection method, the opposite direction of the motion vector can be detected by the direction probability distribution.
모션벡터의 크기는 느린 속도와 빠른 속도에서 움직인 모션벡터를 분류하기 위해 측정되어 져야만 한다.The magnitude of the motion vector must be measured to classify the motion vector moving at slow and fast speeds.
이동 객체의 비정상속도와 정상속도는 모션벡터의 평균속도(β)에 의해 결정된다.The abnormal velocity and the steady velocity of the moving object are determined by the average velocity β of the motion vector.
상기 역학계산부(270)는 이동객체의 속도가 평균이하, 평균, 평균이상에 따라 각각 천천히 움직이는 객체, 정상적으로 움직이는 객체, 빠르게 움직이는 객체인 것으로 계산하는 것으로서, 아래의 [수학식 15]에 의해 계산된다.The
다시 말해, 본 발명은 이동객체의 속도를 3가지 유형으로 분할하는데, 여기서 각 유형은 속도 [-∞, β-ρ],[β-ρ, β+ρ] 및 [β+ρ, +∞] 상이의 속도이다.In other words, the present invention divides the velocity of a moving object into three types, where each type is a velocity [-∞, β-ρ], [β-ρ, β + ρ] and [β + ρ, + ∞]. It is the speed of difference.
도 5는 10개의 이동객체가 왼쪽 영역에서 오른쪽 영역으로 이동할 때, 유형 1 내지 5 벡터의 크기 분포에 대한 시뮬레이션 결과를 보여주고 있다.FIG. 5 shows simulation results for the size distribution of
일반적으로, 정적 특징은 최소크기보다 덜 움직인다.In general, static features move less than the minimum size.
반대로, 노이즈 특징은 임계치를 초과하는 크기를 가진다.In contrast, the noise feature has a magnitude above the threshold.
노이즈 특징은 계산에러를 추적하는 것이기 때문에 그들의 주변과 대비하여, 큰 각과 크기를 가지는 구별되는 특징이다.Since the noise feature tracks computational errors, it is a distinct feature with large angles and magnitudes in contrast to their surroundings.
시뮬레이션에서, 본 발명은 프레임당 ε(=1.0e-6)픽셀로 최소 모션크기를 설정하고, 프레임당 
최대 및 최소값은 실험적으로 얻어진다.Maximum and minimum values are obtained experimentally.
객체가 보다 빨리 움직임에 따라 모션벡터의 많은 특징들이 사라진다.As the object moves faster, many features of the motion vector disappear.
이상적으로, 4×4×3모션벡터는 사이즈가 15×15픽셀이고, 점의 그리드가 5×5일 때, 초당 67픽셀에서 움직이는 객체로부터 획득될 수 있다.Ideally, a 4x4x3 motion vector can be obtained from an object moving at 67 pixels per second when the grid of points is 15x15 pixels and the grid of points is 5x5.
그러나, 4가지 유형의 모션 특징은 50, 54, 58, 62, 64, 69, 74, 78 및 82프레임에서 획득할 수 없다.However, four types of motion features cannot be obtained at 50, 54, 58, 62, 64, 69, 74, 78 and 82 frames.
방향 히스토그램에 따라 이동 모션 벡터의 평균수를 측정하는 것은 필수적이지만, 모든 벡터가 한 방향으로 움직이지 않을 때 문제가 발생하는데, 이는 반대방향에서 움직이는 각각의 개인적인 모션 벡터의 특징값을 잃을 수도 있음을 의미한다. While it is essential to measure the average number of moving motion vectors along a direction histogram, problems arise when not all vectors move in one direction, which means that you may lose the characteristic values of each individual motion vector moving in the opposite direction. do.
이동 모션 벡터의 평균수 아래의 수학식에 의해 계산된다.It is calculated by the following equation.
상기 수학식에서 t는 세 근접 프레임, i-2, i-1 및 i 중 두 벡터 사이의 선택시간이다. In the above equation, t is a selection time between two vectors among three adjacent frames, i-2, i-1 and i.
또한, 각 프레임에 대한 방향확률분포는 아래 수학식과 같이 벡터의 총수에 의한 엔트리를 분할함으로써 방향 히스토그램으로부터 직접 추정될 수 있다. Further, the direction probability distribution for each frame can be estimated directly from the direction histogram by dividing the entry by the total number of vectors as shown in the following equation.
상기 수학식에서 
도 5(f)은 유형 1의 모션특징과 유형 6의 모션특징의 비교를 보여주고 있다.FIG. 5 (f) shows a comparison of the
유형 6의 모션특징은 10개의 객체가 오른쪽 영역에서 왼쪽영역으로 움직이는 반면, 한 객체가 왼쪽 영역에서 오른쪽 영역으로 움직일 때 획득된다.
모션특징의 총수는 반대로 이동하는 객체의 수만큼 줄어든다.The total number of motion features is reduced by the number of moving objects.
따라서, 크기분포는 벡터의 크기와 방향 사이의 상관관계를 고려함으로써 계산되어 져야만 한다.Therefore, the size distribution must be calculated by considering the correlation between the magnitude and the direction of the vector.
벡터의 개선된 크기와 속도는 아래의 수학식에 의해 계산된다.The improved magnitude and velocity of the vector is calculated by the following equation.
방향과 크기 대한 분산의 계산은 비정상적인 상황을 탐지하기에 불충분하다.The calculation of variance for direction and magnitude is insufficient to detect abnormal situations.
따라서, 본 발명은 주어진 각도에서 벡터의 수를 표시하는 각 컬럼에 대한 방향 히스토그램을 확립한다.Thus, the present invention establishes a directional histogram for each column representing the number of vectors at a given angle.
그 결과는 방향 추세를 표시하는 히스토그램이고, 상기 히스토그램에서 정점의 수는 상이한 방향을 표시한다.The result is a histogram indicating a direction trend, in which the number of vertices indicates a different direction.
도 6은 표준화된 방향 히스토그램과 그리드 사이즈가 2×2, 5×5, 10×10 및 20×20일 때, 교차 이미지에서 벡터의 크기를 도시하고 있다.FIG. 6 shows the size of the vector in the crossover image when the normalized direction histogram and grid size are 2x2, 5x5, 10x10 and 20x20.
본 발명에 따른 히스토 그램 계산부(280)는 프레임에 대한 모션 벡터로부터 표준화된 방향 히스토그램 을 아래의 수학식을 가지고 계산한다.The histogram calculator 280 according to the present invention calculates a normalized direction histogram from a motion vector for a frame with the following equation.
위의 수학식에서 △t는 시간 변화량이다.Δt in the above equation is the amount of time change.
도 4(a)에 도시된 바와 같이, 그리드 사이즈가 작아짐에 따라 각 창(w)의 크기도 작아진다.As shown in Fig. 4A, as the grid size becomes smaller, the size of each window w also becomes smaller.
각 그리드의 크기가 2×2, 5×5, 10×10 및 20×20일 때, ath의 값은 11790.42, 1871.22, 451.08 및 114,17이다.When the size of each grid is 2x2, 5x5, 10x10 and 20x20, the values of a th are 11790.42, 1871.22, 451.08 and 114,17.
그리드의 사이즈가 2×2일 때 창(w)은 [320°,10°] 및 [140°,190°]에 있다. 그리드의 크기가 20×20일 때 창(w)은 [340°,0°], 90°260°및 [160°,180°]에 있다.When the size of the grid is 2 × 2, the window w is at [320 °, 10 °] and [140 °, 190 °]. The window w is at [340 °, 0 °], 90 ° 260 ° and [160 °, 180 °] when the size of the grid is 20 × 20.
다시 말해, 각 그리드의 크기가 2×2, 5×5, 10×10, 및 20×20일 때 창(w)의 크기는 12, 9, 7, 8이다. In other words, when the size of each grid is 2x2, 5x5, 10x10, and 20x20, the size of the window w is 12, 9, 7, 8.
그리드의 크기가 작아짐에 따라, 밀집지역에서 모션벡터의 수가 감소된다.As the size of the grid decreases, the number of motion vectors in the dense area decreases.
반대로, 비밀집지역에서 모션벡터의 수는 변하지 않는다.On the contrary, the number of motion vectors in the secret area does not change.
예를 들어, 20×20 그리드 그래프는 부가적인 창(w)이 90°및 260°에 있음을 보여준다.For example, a 20x20 grid graph shows that additional windows w are at 90 ° and 260 °.
90°및 260°에서 모션벡터는 각각 도로에 두 개의 이동중인 자동차가 캡쳐되고, 오른쪽 상단 모서리에서 다수의 보행자들이 캡쳐된다.At 90 ° and 260 °, the motion vector captures two moving cars on the road, respectively, and multiple pedestrians in the upper right corner.
한편, 혼잡한 영상에서 비정상적인 상황을 인지는 입자에너지와 모션방향을 포함하는 혼잡 모션 특성에 기반하여 이루어진다.Meanwhile, the recognition of abnormal situations in a crowded image is performed based on a congestion motion characteristic including particle energy and a motion direction.
모션변화는 두 근접 프레임의 입자 에너지로부터 유도되는데, 상기 에너지 계산부(260)는 벡터의 각 방향에 의해 수정되고, 아래의 수학식에 의해 방향성의 혼잡 에너지
아래의 수학식에서 처럼, 각 방향의 임계값 크기
상기 뮤추얼 정보 계산부(290)는 세 개의 근접 프레임으로부터 유도된 두 방향 히스토그램 사이에 유사성을 측정함으로 계산된다.The mutual information calculator 290 calculates the similarity between two direction histograms derived from three adjacent frames.
뮤추얼 정보는 엔트로피에 기반하여 I(X, Y)=H(X)+H(Y)-H(X,Y)로 계산되는데, 여기서 상기 H(X),H(Y)는 각각 X와 Y에 대한 샤논 엔트로피로, 아래의 수학식과 같이 X와 Y 값의 확률분포로 계산된다. Mutual information is calculated as I (X, Y) = H (X) + H (Y) -H (X, Y) based on entropy, where H (X) and H (Y) are X and Y, respectively. Shannon entropy for, computed as the probability distribution of X and Y values as
N`는 확률분포이고, H(X, Y)는 공동 엔트로피이다.N` is the probability distribution and H (X, Y) is the joint entropy.
한편, 상기 뮤추얼 정보 계산부(290)는 공동 엔트로피에 대한 뮤추얼 정보의 표준화된 변수로 아래의 수학식를 이용해 표준화된 뮤추얼 정보(NMI)를 계산한다.Meanwhile, the mutual information calculation unit 290 calculates normalized mutual information (NMI) using the following equation as a standardized variable of mutual information for common entropy.
상기 뮤추얼 정보(NMI)는 고정된 하한치`0`과 상한치`1`를 가진다.The mutual information NMI has a fixed lower limit value '0' and an upper limit value '1'.
한편, 군중역학은 비디오 시퀀스에서 모션의 갑작스러 변화를 측정하는 것이다.Crowd dynamics, on the other hand, measures the sudden change in motion in a video sequence.
모션벡터의 방향이 무시되고, 크기만이 고려되기 때문에 비정상적인 탐지에 대한 에너지 변화의 계산은 불충분하다.The calculation of energy change for abnormal detection is insufficient because the direction of the motion vector is ignored and only the magnitude is taken into account.
따라서, 본 발명에서는 방향 히스토그램의 표준화된 뮤추얼 정보를 포함한다. Thus, the present invention includes standardized mutual information of the direction histogram.
본 발명에 따른 상기 역학계산부(270)는 군중역학(D)와 표준화된 군중역학(D`)을 아래의 수학식에 의해 계산한다.The
상기 수학식에서 [0,1]을 원소로 갖는 r은 융합파라미터이고, σ는 표준편차를 나타낸다.In the above equation, r having [0,1] as an element is a fusion parameter, and σ represents a standard deviation.
한편, 상기 주제어부(220)는 상기 역학계산부(290)에 의해 계산된 상기 표준화된 군중역학(D`)가 크면 비정상적인 사건으로 결정한다.On the other hand, the
이상과 같이, 본 발명은 비록 한정된 실 시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 하기에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It is to be understood that various modifications and changes may be made without departing from the scope of the appended claims.
100 : 촬영 카메라 200 : 상황판단 서버(200)
210 : 송·수신부 220 : 주제어부
230 : 모션특징 추출부 240 : 밀집도 계산부
250 : 특징값 조절부 260 : 에너지 계산부
270 : 역학 계산부 280 : 히스토 그램 계산부
290 : 뮤추얼 정보 계산부
300 : 모니터링 단말기 400 : 통신망100: shooting camera 200:
210: transmitter and receiver 220: main fisherman
230: motion feature extraction unit 240: density calculation unit
250: feature value control unit 260: energy calculation unit
270: dynamic calculation unit 280: histogram calculation unit
290: mutual information calculation unit
300: monitoring terminal 400: communication network
Claims (9)
상기 촬영카메라(100)가 촬영한 영상을 획득하여, 상기 영상 내 객체의 비정상적인 모션 분석을 통해 비정상적인 상황을 판단하는 상황판단 서버(200);
상기 촬영카메라(100)가 촬영한 영상을 디스플레이하고, 상기 상황판단 서버(200)로부터 비정상적인 상황 알림신호를 수신하여 경보하는 모니터링 단말기(300); 및
상기 촬영카메라(100)와 상기 상황판단 서버(200) 그리고 상기 모니터링 단말간 데이터 통신을 중계하는 통신망(400);를 포함하되,
상기 상황판단 서버(200)는
둘 이상의 프레임 비교를 통해, 비정상적인 상황 발생으로 상기 영상 내 복수의 객체에 대한 모션을 모션벡터로 표시하고, 상기 모션벡터에 대한 크기와 방향 그리고 속도를 추출하는 모션특징 추출부(230);
상기 복수의 객체에 대한 복수의 모션벡터들 각각이 X축과 이루는 각을 계산하고, 각 방향에 대한 밀도 퍼센트가 임계치보다 크면 해당 방향에 붐빔이 있다고 가정하여 밀집도를 계산하는 밀집도 계산부(240);
상기 복수의 객체의 움직임 방향을 반영하여 상기 모션벡터의 방향을 조절하는 특징값 조절부(250);
상기 모션특징 추출부(230)가 추출한 모션벡터의 크기로 혼잡 에너지를 계산하는 에너지 계산부(260);
상기 프레임에 대한 모션벡터로부터 표준화된 방향 히스토그램을 계산하는 히스토그램 계산부(280);
근접한 복수의 상기 프레임으로부터 유도된 두 개의 방향에 대한 히스토그램 사이에 유사성을 측정하여 표준화된 뮤추얼 정보(NMI)계산하는 뮤추얼 정보 계산부(290); 및
상기 방향 히스토 그램과 표준화된 뮤추얼 정보를 가지고 표준화된 군중 역학을 계산하는 역학계산부(270);를 포함하는 것을 특징으로 하는 비정상적인 상황 인식시스템.
Photographing camera 100;
A situation determination server 200 which acquires an image photographed by the photographing camera 100 and determines an abnormal situation through an abnormal motion analysis of an object in the image;
A monitoring terminal 300 displaying an image photographed by the photographing camera 100 and receiving and alerting an abnormal situation notification signal from the situation determination server 200; And
And a communication network 400 for relaying data communication between the photographing camera 100 and the situation determination server 200 and the monitoring terminal.
The situation determination server 200
A motion feature extracting unit 230 for displaying a motion of a plurality of objects in the image as a motion vector by extracting two or more frames, and extracting a size, a direction, and a speed of the motion vector;
The density calculation unit 240 calculates an angle formed by each of the plurality of motion vectors for the plurality of objects with the X-axis, and assuming that there is a rush in the direction when the density percentage of each direction is greater than a threshold value. ;
A feature value controller 250 for adjusting the direction of the motion vector by reflecting the movement directions of the plurality of objects;
An energy calculator 260 for calculating congestion energy based on the size of the motion vector extracted by the motion feature extractor 230;
A histogram calculator 280 for calculating a normalized direction histogram from the motion vector for the frame;
A mutual information calculator (290) for calculating normalized mutual information (NMI) by measuring similarity between histograms of two directions derived from a plurality of adjacent frames; And
And a dynamic calculation unit (270) for calculating the standardized crowd dynamics using the direction histogram and the standardized mutual information.
상기 모션벡터는
상기
The method of claim 1,
The motion vector
remind
상기 모션벡터의 크기
The method of claim 3, wherein
Magnitude of the motion vector
상기 에너지 계산부(260)는
The method of claim 1,
The energy calculation unit 260 is
상기 히스토그램 계산부(280)는
The method of claim 1,
The histogram calculator 280 is
상기 뮤추얼 정보 계산부(290)는 엔트로피에 기반하여 표준화된 뮤추얼 정보(NMI)를
X와 Y에 대한 엔트로피 H(X),H(Y) 그리고, X와 Y의 공동 엔트로피 H(X, Y)는
The method of claim 1,
The mutual information calculator 290 is configured to generate mutually normalized mutual information (NMI) based on entropy.
The entropy H (X), H (Y) for X and Y, and the joint entropy H (X, Y) of X and Y are
상기 역학계산부(270)는
로 군중역학(D)과 표준화된 군중역학(D`)를 계산하되,
상기 r은 [0,1]을 원소로 갖는 융합파라미터이고, σ는 표준편차인 것을 특징으로 하는 비정상적인 상황 인식 시스템.
The method of claim 1,
The dynamic calculation unit 270 is
Calculate crowd dynamics (D) and standardized crowd dynamics (D`),
R is a fusion parameter having [0,1] as an element, and sigma is a standard deviation.
주제어부(220)는 상기 역학계산부(270)가 계산한 표준화된 군중역학 수치로 비정상적인 상황발생을 판단하는 것을 특징으로 하는 비정상적 상황 인식 시스템. The method of claim 8,
The main control unit 220 is an abnormal situation recognition system, characterized in that for determining the abnormal situation by the standardized crowd dynamics values calculated by the dynamic calculation unit (270).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120102724A KR101374138B1 (en) | 2012-09-17 | 2012-09-17 | System for abnormal situation detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120102724A KR101374138B1 (en) | 2012-09-17 | 2012-09-17 | System for abnormal situation detection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101374138B1 true KR101374138B1 (en) | 2014-03-25 |
Family
ID=50648645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120102724A KR101374138B1 (en) | 2012-09-17 | 2012-09-17 | System for abnormal situation detection |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101374138B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101572366B1 (en) | 2014-03-26 | 2015-11-27 | 인하대학교 산학협력단 | Kidnapping event detector for intelligent video surveillance system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100822476B1 (en) | 2006-08-25 | 2008-04-16 | 브이앤아이 주식회사 | Remote emergency monitoring system and method |
| KR100913396B1 (en) | 2006-12-04 | 2009-08-21 | 한국전자통신연구원 | Apparatus and method for recognizing person's behaviors using motion vector |
| KR101062225B1 (en) | 2009-09-30 | 2011-09-06 | 아주대학교산학협력단 | Intelligent video retrieval method and system using surveillance camera |
-
2012
- 2012-09-17 KR KR1020120102724A patent/KR101374138B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100822476B1 (en) | 2006-08-25 | 2008-04-16 | 브이앤아이 주식회사 | Remote emergency monitoring system and method |
| KR100913396B1 (en) | 2006-12-04 | 2009-08-21 | 한국전자통신연구원 | Apparatus and method for recognizing person's behaviors using motion vector |
| KR101062225B1 (en) | 2009-09-30 | 2011-09-06 | 아주대학교산학협력단 | Intelligent video retrieval method and system using surveillance camera |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101572366B1 (en) | 2014-03-26 | 2015-11-27 | 인하대학교 산학협력단 | Kidnapping event detector for intelligent video surveillance system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10614317B2 (en) | Image processing apparatus, monitoring system, image processing method, and program | |
| US8848979B2 (en) | Tracked object determination device, tracked object determination method and tracked object determination program | |
| US11132887B2 (en) | Eyeglasses-type wearable terminal, control method thereof, and control program | |
| KR101216271B1 (en) | camera tampering detection | |
| KR101081861B1 (en) | Violence detection method by analyzing the motion image of moving peoples | |
| US20110128150A1 (en) | System and method for electronic surveillance | |
| CN101258512A (en) | Method and image evaluation unit for scene analysis | |
| KR102579542B1 (en) | Crowd density-based hazardous area automated alert system | |
| KR101840042B1 (en) | Multi-Imaginary Fence Line Setting Method and Trespassing Sensing System | |
| US8665329B2 (en) | Apparatus for automatically ignoring cast self shadows to increase the effectiveness of video analytics based surveillance systems | |
| KR101352001B1 (en) | Image monitoring system and method thereof | |
| KR102173419B1 (en) | Adaptive object detection system using detection area extension method of interest | |
| Wang et al. | Early smoke detection in video using swaying and diffusion feature | |
| JP2023036054A (en) | Target counting method, apparatus, device, and storage medium | |
| Chen et al. | Traffic extreme situations detection in video sequences based on integral optical flow | |
| KR20150088613A (en) | Apparatus and method for detecting violence situation | |
| CN108111802B (en) | Video monitoring method and device | |
| KR101374138B1 (en) | System for abnormal situation detection | |
| KR102407202B1 (en) | Apparatus and method for intelligently analyzing video | |
| KR101930429B1 (en) | System for monitoring standardized accident standardization and method for analyzing accident situation using the same | |
| KR101960741B1 (en) | Method for Setting Event Rule According to Interested Boundary and Apparatus for Monitoring Event Using The Method | |
| Lahiri et al. | Abnormal crowd behavior detection using image processing | |
| KR101704471B1 (en) | Fall detection apparatus and method thereof | |
| KR101766467B1 (en) | Alarming apparatus and methd for event occurrence, and providing method of event occurrence determination model | |
| KR102421043B1 (en) | Apparatus for Processing Images and Driving Method Thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170307 Year of fee payment: 4 |