KR101513215B1 - The analyzing server of CCTV images among behavior patterns of objects - Google Patents

The analyzing server of CCTV images among behavior patterns of objects Download PDF

Info

Publication number
KR101513215B1
KR101513215B1 KR1020140037316A KR20140037316A KR101513215B1 KR 101513215 B1 KR101513215 B1 KR 101513215B1 KR 1020140037316 A KR1020140037316 A KR 1020140037316A KR 20140037316 A KR20140037316 A KR 20140037316A KR 101513215 B1 KR101513215 B1 KR 101513215B1
Authority
KR
South Korea
Prior art keywords
image
behavior pattern
cctv
transmits
image analysis
Prior art date
Application number
KR1020140037316A
Other languages
Korean (ko)
Inventor
차보영
송민자
Original Assignee
주식회사 로보티어
주식회사 성우음향정보통신
차보영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로보티어, 주식회사 성우음향정보통신, 차보영 filed Critical 주식회사 로보티어
Priority to KR1020140037316A priority Critical patent/KR101513215B1/en
Application granted granted Critical
Publication of KR101513215B1 publication Critical patent/KR101513215B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

The present invention is related to an analyzing server of CCTV images among behavior patterns of objects which includes a main subject part formed with a microprocessor, a CCTV image analysis API, an object recognition module, and a transmitting and receiving part. The CCTV image analysis API receives original image data from a digital observation camera, saves the original image data to long-term saving memory, performs chain cording in the area where resolution change is occurred to a square type object, and transmits the digital zoomed square type object to the object recognition module. The transmitting and receiving part measures transmitting traffics with a center control server of an integrated security control center connected through the network. The main subject part transmits a low capacity-compressed image file, which is obtained by encoding and compressing the original image data received in the object recognition module into a low capacity and low resolution lower than or equal to the traffics measured in the transmitting and receiving part, to the center control server of the integrated security control center. The object recognition module transmits a classified object image classified from square object images and behavior pattern images obtained by extracting behavior patterns from the object images to the main subject part. The main subject part compares a dangerous object and behavior pattern and the square object images stored in the long-term saving memory, applies a priority feature value for dangerous behaviors, and transmits a dangerous event compressed file which is encoded and compressed to the center control server of the integrated security control center.

Description

객체 행동패턴 CCTV 영상 분석서버 { The analyzing server of CCTV images among behavior patterns of objects }The object behavior pattern CCTV image analysis server (CCTV images among behavior patterns of objects)

국내외 인식 기술은 주로 신경망과 패턴의 특징을 정확히 판단할 수 있는 특징점 추출을 주로 사용하고 있다.Domestic and foreign recognition technology mainly uses feature point extraction to accurately determine the characteristics of neural networks and patterns.

기존 신경망은 구조적인 문제로 인하여 데이터베이스 수집 속도나 학습 속도가 많이 소요된다.Existing neural networks require a lot of database acquisition and learning speed due to structural problems.

그러나, 기존의 연구에서는 이러한 구조적인 문제를 해결하기보다는 동일한 구조를 사용하면서 인식률을 향상시키기 위해 새로운 특징점 도입이나, 새로운 변화에 의한 것과 신경망에 사용되는 인자를 최적화하는 방법들이 주로 연구되고 있다.However, in the existing research, rather than solving such a structural problem, new feature points, new changes, and optimizing factors used in neural networks are mainly studied in order to improve the recognition rate while using the same structure.

인식률의 향상과 학습 속도를 개선하기 위해서는 기존 신경망의 구조적인 문제를 해결하는 방향으로 연구되어야 바람직할 것이다.
In order to improve the recognition rate and the learning speed, it is desirable to study the structural problem of the existing neural network.

객체 추적, 안면인식, 차량번호인식 등 지능형 감시시스템을 위해서는 최소한 광역을 감시하는 고정형 카메라와 이벤트 영역을 PTZ(Pan Tilt Zoom) 촬영하는 PTZ카메라로 구성된 최소 2대 이상의 카메라가 필요하였다.For intelligent surveillance systems such as object tracking, facial recognition, and car number recognition, at least two cameras including at least a stationary camera for monitoring a wide area and a PTZ camera for capturing PTZ (Pan Tilt Zoom) of an event area were required.

그러나, 이벤트 영역을 탐지하기 위한 방법으로 사용되는 고성능 다중센서(음향센서를 통한 비명소리 감지 등) 또는 영상분석(행태인식 등)에 의해 검출되는 이벤트 영역이 중복 발생할 경우 PTZ 동시 촬영이 불가능한 등의 상황에 대한 문제점이 있어왔다. However, when the event area detected by the high-performance multi-sensor (screaming sound detection through a sound sensor) or the image analysis (behavior recognition, etc.) used as a method for detecting the event area is overlapped, PTZ simultaneous photographing is impossible There has been a problem with the situation.

또한, 연구에 의하면 사람은 22분간 연속해서 CCTV의 영상을 모니터하면 위험상황을 인지할 확률이 5%미만으로 떨어진다는 보고가 있다.In addition, studies have shown that if a person monitors CCTV images continuously for 22 minutes, the probability of recognizing a dangerous situation drops to less than 5%.

본 발명은 영화 '마이너리티 리포트'와 같은 미래범죄를 예측하고 모니터 이벤트 기능을 제공하는 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 예측 시스템이다.
The present invention is a future crime prediction system using hippocampal neural network learning of object behavior pattern that predicts future crime such as movie 'Minority Report' and provides monitor event function.

우범지대, 어린이보호구역에 설치되는 방범용 감시카메라로 광역을 촬영하는 고정형 카메라와 고해상도(1~2.3Mega Pixels) PTZ카메라(또는 열화상카메라)를 조합하여 사용하지 않고, 본 발명에서는 초고해상도(최소 5Mega Pixels이상으로 10Mega Pixel 이상을 권장) 고정형 카메라를 사용하는 것을 특징으로 한다.(1 ~ 2.3Mega Pixels) PTZ camera (or thermal camera) is not used in combination with a stationary type camera that captures a wide area with a surveillance camera installed in a crime prevention zone or a child protection area, At least 5 Mega Pixels or more and 10 Mega Pixels or more is recommended.) It is characterized by using fixed camera.

즉, 촬상부에서 획득하는 영상이 기존의 촬영 영상과 다른 방법과 해상도를 요구하며, 상기와 같은 특징에 따른 요구 사항과 영상 해석기법은 종래에 존재하지 않는 신기술(신규성)을 필요로 한다. That is, the image acquired by the image pickup unit requires a different method and resolution from the conventional shot image, and the requirements according to the above characteristics and the image analysis technique require new technology (novelty) that does not exist in the past.

모니터 요원에게 이벤트 영상을 실시간으로 추출 및 전달하여 모니터링의 효율성을 높이는 방법에 있어 기존에는 물리적으로 센서 반응 또는 소프트웨어적인 방법으로 영상 객체의 패턴 특징점 추출을 주로 사용하였으나, 본 발명에서는 물리적인 센서의 도입은 추가 가능한 공지 기술일 뿐이며 신경망의 구조적인 문제를 해결하기 위한 것으로 특수 기능을 구현하기 위해 고정형 카메라와 PTZ카메라를 조합 연동 운영하는 다수의 특수카메라를 적용하지 않고 최소 5메가픽셀 이상의 초고해상도 고정형 카메라에서 촬영된 영상에 대해 영상분할 가변인식 기술에 의해 소프트웨어적인 방법으로 객체 행동패턴의 이벤트 영상을 추출하며, 상기 이벤트 영상에 대해 해마 신경망 학습을 이용한 미래 발생 범죄확률을 예측 표시하여 모니터 요원에게 우선 순위 이벤트 영상을 제공한다.
In the conventional method of extracting and transmitting the event image to the monitor agent in real time to enhance the efficiency of monitoring, the pattern key point extraction of the image object is mainly used by a physical sensor response or a software method. In the present invention, Is a known technology that can be added. To solve the structural problem of the neural network, it is necessary to use a fixed camera with a minimum resolution of 5 mega pixels or more and a high resolution fixed camera The event image of the object behavior pattern is extracted by a software method using the image segmentation variable recognition technique, and the probability of future occurrence crime using the hippocampal neural network learning is predicted and displayed on the event image, It provides the visual event.

초고해상도 고정형 카메라 촬영영상에서 이벤트 영상을 영상분할 가변인식 기술에 의해 소프트웨어적인 방법으로 객체 행동패턴의 이벤트 영상을 추출하며, 상기 이벤트 영상에 대해 해마 신경망 학습을 이용한 미래 발생범죄 확률 우선순위 이벤트 영상을 예측 표시하여 모니터 요원에게 제공한다.
An event image of an object motion pattern is extracted by a software method using an image segmentation variable recognition technique, and an event image of a future occurrence crime priority event image using the hippocampal neural network learning is extracted from the event image Provide predictive display to monitor personnel.

특수 기능을 구현하기 위한 다수의 특수카메라를 적용하지 않고 최소 5메가픽셀 이상의 초고해상도 고정형 카메라에서 촬영된 영상에 대해 영상분할 가변인식 기술에 의해 소프트웨어적인 방법으로 객체 행동패턴의 이벤트 영상을 추출하며, 상기 이벤트 영상에 대해 해마 신경망 학습을 이용한 미래 발생 범죄확률을 예측 표시하여 모니터 요원에게 미래 범죄발생 확률 우선 순위 이벤트 객체 영상을 제공하여 종래의 선행기술과 다른 차원의 미래 예측 지능형 방범시스템을 구축한다.
In this paper, we propose a method to extract the event image of the object behavior pattern by using the image segmentation variable recognition technology for the image captured by the fixed high resolution cameras of at least 5 megapixels without applying many special cameras to realize special functions. Predictive future crime probability using the hippocampal neural network learning is predicted and displayed on the event image to provide a futuristic crime occurrence probability priority event object image to the monitoring agent to construct a future prediction intelligent crime prevention system different from the conventional prior art.

도1 ~ 도4는 본 발명의 이해를 위한 일 실시 예 간략도1 to 4 are schematic views of an embodiment

광역을 촬영하는 고정형 카메라와 팬틸트 줌인 확대 촬영하는 PTZ카메라를 조합 연동 운영하는 종래의 카메라 기술을 사용하지 않고 초고해상도(최소 5메가픽셀 이상으로 10메가픽셀 이상의 메가픽셀디지탈카메라 권장) 카메라를 사용해 촬영된 영상을 상기와 같은 PTZ 기계적인 동작이 아닌 소프트웨어적인 방법에 의해 PTZ 기능을 구현한 후 객체분류를 통해 미래 범죄 발생 확률을 계산하여 모니터 요원에게 우선적으로 제공하는 것을 특징으로 한다.(Not less than 5 megapixels and at least 10 megapixel megapixel digital camera recommended) without the use of conventional camera technology that combines a fixed camera that captures a wide area and a PTZ camera that enlarges the PTZ zoom. The PTZ function is implemented by software rather than the PTZ mechanical operation as described above, and the probability of occurrence of a future crime is calculated through object classification to provide the PTZ function to the monitoring personnel in advance.

일 실시 예로, 촬영된 화면을 분할하여 소프트웨어적으로 확대하여 번호인식 및 객체인식프로그램으로 스캔한 후 수배차량의 차량이 검색될 경우 범죄 확률 우선순위 특징값(가중치 값)을 100% 주어 최우선적으로 모니터 팝업 유지하고, 객체가 사람일 경우 50%의 우선순위 특징값을 부여한 후 칼, 방망이, 송곳 등의 객체가 추가로 검색시 가중치 값은 80%이며 객체의 이동 속도 또는 신체 일부의 움직임이 빨라지면 가중치 값을 100%로 상향하여 가중치 값에 따라 모니터 팝업 우선 순위를 결정하며 모니터 요원의 '통과' '주시' '신고' 등의 행동에 따라 추가적으로 특징 벡터들을 고속 학습하고 최적의 특징을 구성하도록 해마 신경망 알고리즘을 적용하여 미래 범죄 발생 확률을 계산하여 객체 행동패턴 CCTV 영상 분석서버를 학습시킨다.
In one embodiment, when the photographed screen is divided into segments and expanded by software and scanned by a number recognition and object recognition program, a crime probability priority value (weight value) is given 100% When the object is a person, it keeps the monitor popup. If the object is a person, it assigns a priority feature value of 50%. Then, when the object such as a knife, a bat, and a mouth is further retrieved, the weight value is 80% Raise the floor weight value to 100% and determine the monitor popup priority according to the weight value. In addition, according to the behaviors such as 'pass', 'watch', and 'report' We apply the hippocampal neural network algorithm to calculate the probability of future crime and learn object behavior pattern CCTV image analysis server.

고해상도 영상복원(super resolution) 기법은 고해상도 영상과 저해상도 영상 간에 신호처리기법(warping, burring, down sampling)을 이용하여 저해상도 영상을 고해상도 영상으로 변환하는 것이다. 워핑(warping)은 영상 내의 일부 영역을 지정하여 정의된 영역에 맞는 형태로 변형하는 것으로 보간법(bilinear 또는 nearest neighbor)을 사용한다. The high resolution image reconstruction (super resolution) technique transforms a low resolution image into a high resolution image using a signal processing technique (warping, burring, down sampling) between a high resolution image and a low resolution image. Warping uses an interpolation method (bilinear or nearest neighbor) to transform a shape of a part of an image into a shape suitable for a defined area.

본 발명에서는 보다 넓은 단속영역을 확보하기 위해 고해상도 카메라 렌즈의 초점거리를 짧게 해서 초광역 전방위 영상을 취득하거나, 복수의 카메라를 통해 초광역 또는 파노라마 영상을 얻는다.In the present invention, in order to secure a wider intermittent area, a focal length of a high-resolution camera lens is shortened to obtain a wide-range omni-directional image, or a super-wide-area or panoramic image is obtained through a plurality of cameras.

일 실시 예로, 광각 60도의 카메라를 3대 또는 6대로 촬영하여 180도 또는 360도 촬영 영상을 획득할 수 있다. In one embodiment, three or six cameras at a wide angle of 60 degrees may be photographed to obtain images of 180 degrees or 360 degrees.

초광역 영상에서 차량, 사람, 번호판과 같은 이벤트 객체를 워핑(warping)할 때 객체 크기가 작으면 고해상도 영상복원(super resolution) 기법으로 확대하고, 차량크기가 크면 고해상도 영상복원 기법으로 축소해서 처리한다. When warping the event objects such as vehicles, people, and license plates in a wide-range image, the object is enlarged by a super resolution method if the object size is small, and is reduced by the high resolution image restoration method when the size of the vehicle is large .

종래의 기술은 보통 2개 이상의 감시카메라로 구성되어, 광역의 영역을 촬영하는 전방위감시카메라를 통해서 영상에 화소 변화가 발생하는 X-Y축 좌표로 추적감시카메라를 팬 틸트 렌즈 줌인 확대 촬영하면서 팬 틸트와 렌즈 줌인을 수치화 하여 Z축 좌표를 연산하여 3차원 영상으로 수치화하여 데이터 값을 연산한다.Conventional technology is usually composed of two or more surveillance cameras. It monitors the coordinates of the XY axis where the pixel changes in the image through the omnidirectional surveillance camera that shoots the wide area. While the surveillance camera is zoomed in and photographing the pan / tilt lens, The lens zoom-in is quantified, and the Z-axis coordinate is calculated, and the data is calculated by digitizing it into a three-dimensional image.

특히 불법주정차 단속을 위해서는 상기 감시카메라의 초점거리, 팬각도, 틸트각도(팬각도, 틸트각도, 초점거리)를 계산하고 이를 이용하여 영상 픽셀좌표로 3차원의 단속현장에 실제 공간의 위치와 거리 등을 산출해야 영역(ZONE)의 형성과 오차를 줄일 수 있다.Particularly, in order to control illegal parking, it is necessary to calculate the focal distance, pan angle, tilt angle (pan angle, tilt angle, and focal distance) of the surveillance camera, It is possible to reduce the formation and errors of the zone (ZONE).

이상과 같은 종래의 기술은 기계적인 팬 틸트 렌즈 줌인 등의 기계적인 방법으로 처리를 하기 때문에 오차의 발생, 기계적인 결함 및 고장으로 정확성이 떨어지며, 이벤트 검지해야할 객체(사람, 차량)가 복수일 경우 동시에 처리할 수 있는 객체의 개수에 한계가 있어왔다.Since the conventional techniques described above are processed by a mechanical method such as a mechanical pan / tilt lens zooming, accuracy is low due to occurrence of errors, mechanical defects and failures. When there are plural objects (people, vehicles) The number of objects that can be processed simultaneously has been limited.

또한 촬영된 영상에 대해서는 영상 전처리 기법으로는 평활화(smmothing), 히스토그램 등화(histogram equaliztion), 팽창 또는 수축 모폴로지(morphology) 기법을 사용하며, 야간영상에 대하여는 저역통과 필터링, 가우시안 필터링, 중간값 필터링 등의 전처리(pre-processing)를 수행하며, 주간영상에 대해서는 입력영상을 전처리 없이 히스토그램 알고리즘, 에지(edge) 알고리즘, 레이블링(labeling) 알고리즘 등에 따라 처리하며, 히스토그램 알고리즘에서는 빈번히 발생하는 최저 비트값을 할당하고 빈도수의 크기가 적어짐에 따라 좀더 큰 비트값을 할당하여 영상값을 분석한다.Also, smoothing, histogram equalization, and expansion or contraction morphology techniques are used as image preprocessing techniques for captured images, and low pass filtering, Gaussian filtering, median filtering, and the like are applied to night images. And the input image is processed according to a histogram algorithm, an edge algorithm, a labeling algorithm and the like without pre-processing for a weekly image. In the histogram algorithm, the lowest bit value frequently generated is assigned And as the frequency is reduced, a larger bit value is assigned to analyze the image value.

에지 알고리즘은 영상에서 색이나 농도가 급격히 변화되는 부분을 에지로 인식하는 방법이다. The edge algorithm is a method of recognizing the part of the image where the color or density changes rapidly as an edge.

레이블링 알고리즘은 위에 분석된 결과를 바탕으로 최종적으로 객체(사람, 차량)이라고 예상되는 영역을 추출하며 이와 같은 과정을 통하여 이벤트 검지영역 내의 사람, 차량 등의 개수, 크기, 색상, 좌표값 등을 알 수 있다. The labeling algorithm extracts the area expected to be an object (person, vehicle) based on the result analyzed above. Through this process, the number, size, color, and coordinates of the person, vehicle, etc. in the event detection area .

이상을 통해 이벤트 객체의 추출 및 분류 등을 하며, 특히 야간의 경우 적외선투시필터 "IR X-RAY VISION CCTV FILTERS" (URL http://www.kaya-optics.com/)를 활용하여 야간, 먼지, 안개 등의 열악한 외부환경에 대응하며, 추가로 열화상감시카메라를 적용하여 침입자 감시용 등 다양한 응용기술을 구현한다.In the case of nighttime, it extracts and classifies the event object through the above process. In the nighttime, it uses the infrared ray perspective filter "IR X-RAY VISION CCTV FILTERS" (URL http://www.kaya-optics.com/) , And fog. In addition, it implements various application technologies such as intruder surveillance by applying thermal imaging camera.

원영상과 전처리된 영상을 입력받아 영상 이진화 작업을 하며, 영상 이진화를 위해서는 영상평균, 분산값으로 가우시안 분포를 산출하여 임계치를 정한 후 복수의 이진화된 영상에 대해 4방향(상하좌우) 연결 체인코딩(chain coding) 기법에 의해서 지역경계(region boundary) 작업을 수행하여 지역경계 작업에 의해 사각형 객체(object rectangle)값이 생성된다. In order to binarize the image, the Gaussian distribution is calculated by the average and variance values of the input image and the preprocessed image, and threshold values are determined. Then, a plurality of binarized images are subjected to four-directional (up / a region boundary operation is performed by a chain coding technique and an object rectangle value is generated by an area boundary operation.

사각형 객체값이 생성되면 객체 분류(사람, 얼굴, 차량번호판(차량번호판 규격에 따른 제한조건 즉, 숫자 높이비율, 간격거리 등에 의한 매칭작업) 등을 한다.When a rectangular object value is created, object classification (people, face, license plate (limitation condition according to the license plate standard, such as numerical height ratio, interval distance matching, etc.) is performed.

객체 이미지 보정 작업 후 구분된 각 객체 데이터에 대해 인식엔진에 의해 객체에 대한 세부 인식으로 얼굴인식, 키, 옷 색깔, 차량 번호판 데이터를 인식하며 인식엔진은 해마신경망 학습기법을 사용한다.For each object data separated after object image correction, the recognition engine recognizes face recognition, key, clothes color, and license plate data by detailed recognition of the object, and the recognition engine uses the hippocampal neural network learning technique.

더욱 상세하게는 상기 에지 알고리즘과 레이블링 알고리즘에 있어서 MPEG-7 표준화 시각 기술자 중 컬러 질감을 이용하여 내용 기반 특징을 추출하고, PCA 기법을 적용하여 특징 데이터를 축소한 후 객체 분류(사람, 얼굴, 차량번호판(차량번호판 규격에 따른 제한조건 즉, 숫자 높이비율, 간격거리 등에 의한 매칭작업) 및 객체 이미지 보정 작업 후 구분된 각 객체 데이터에 대해 인식엔진에 의해 객체에 대한 세부 인식으로 얼굴인식, 키, 옷 색깔, 차량 번호판 데이터를 통하여 범죄 미래 발생 범죄확률을 예측 표시하여 모니터 요원에게 미래 범죄발생 확률 우선 순위로 이벤트 객체 영상을 제공한다.
More specifically, content-based features are extracted using the color texture among the MPEG-7 standardized visual descriptors in the edge algorithm and the labeling algorithm, and the feature data is reduced by applying the PCA technique, In the recognition process, the face recognition, the key, and the face recognition are performed by the recognition engine for each object data that is classified after the object image correction and the license plate (matching operation by the restriction condition according to the license plate standard, that is, the numerical height ratio, The color of clothes, and license plate data to predict the future crime probability of the crime, and provide the event object image to the monitoring agent in the order of probability of occurrence of future crime.

일 실시 예로, 초고해상도 감시카메라부터 획득된 영상으로부터 행동패턴을 추출하고, 추출된 행동패턴 영상을 기저장된 행동패턴 영상과 비교하여 상기 감시 영역의 위험 상황을 자동으로 판단하며, 각각의 상황별로 우선순위 가중치 값을 부여한다.In one embodiment, a behavior pattern is extracted from an image obtained from an ultrahigh-resolution surveillance camera, and the extracted behavior pattern image is compared with a pre-stored behavior pattern image to automatically determine a dangerous situation in the surveillance area. A rank weight value is given.

여기서, 행동패턴(motion pattern)은 획득된 영상 내의 사람이나 동물의 동작 뿐만 아니라, 획득된 영상 내의 위험도구 또는 위험 인상착의 등의 사물을 포함하며, 고정된 영상에 추가되는 부가 영상일 수 있다. 또한, 획득된 영상으로부터 일정 패턴을 추출하여 상기 행동패턴 DB에 신규로 등록하며, 위험도구, 위험 인상착의를 포함하는 사물 데이터는 단일 프레임을 캡처하고, 사람의 행동패턴 추출은 복수의 프레임을 캡처할 수 있다. Here, the motion pattern includes not only an operation of a person or an animal in the acquired image, but also an object such as a dangerous tool or a dangerous impression in the acquired image, and may be an additional image added to the fixed image. In addition, a certain pattern is extracted from the acquired image and is newly registered in the behavior pattern DB. The object data including the dangerous tool and the risk impression capture capture a single frame, and the human behavior pattern extraction captures a plurality of frames can do.

즉, 사물 데이터는 단일 프레임의 캡처 영상으로 확인할 수 있고, 사람의 행동패턴은 복수의 프레임을 추출함으로써 정확한 동작을 확인할 수 있다. That is, the object data can be confirmed as a single frame capture image, and the human action pattern can be confirmed by extracting a plurality of frames.

본 발명의 실시 예에 따른 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위를 이용한 영상감시 시스템은 위험 상황 발생 시, 위험 상황이 발생된 CCTV의 화면을 모니터에 팝업하고 팝업된 영상을 감시자가 모니터링한 후 '통과' '주시' '신고'를 결정하게 된다. According to the embodiment of the present invention, the video surveillance system using the probability of occurrence of the future crime using the hippocampal neural network learning of the object behavior pattern pops up the screen of the CCTV where the dangerous situation occurs, After the monitor is monitored, 'pass', 'watch', and 'report' are determined.

따라서 본 발명에 따른 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 CCTV 영상분석 서버 및 영상처리 방법에 따라 감시자가 다수의 CCTV를 전체적으로 모니터링할 수 없는 한계를 극복할 수 있으며, 범죄 및 이와 유사한 위급상황 발생을 예측하여 능동적으로 대처를 할 수 있어, 범죄예방의 기능 및 범죄의 조기 진압이 가능하게 된다. Therefore, according to the present invention, it is possible to overcome the limitation that the surveillant can not monitor a plurality of CCTVs in total according to the CCTV image analysis server and the image processing method using the hippocampal neural network learning of the present invention, It is possible to act actively in anticipation of the occurrence of an emergency such as a crime prevention function and an early suppression of a crime.

행동패턴 데이터베이스의 데이터 유형별 항목은 비정상적 행동패턴, 위험도구, 위험 인상착의, 가려진 얼굴 등으로 이루어진 데이터 유형들로 구분될 수 있고 상기 각각의 데이터 유형은 우선순위를 갖는 적어도 하나 이상의 데이터 항목들로 구분된다. An item for each data type of the behavior pattern database may be classified into data types consisting of an abnormal behavior pattern, a risk tool, a risk impression description, an obscured face, etc., and each data type is classified into at least one data item having priority do.

세부적인 일 예로, 모자를 쓴 사람, 칼, 목조르는 객체행동이 포함된 경우, 엘리베이터 내에 여성이 존재한 상태에서 모자를 쓴 남성이 탑승을 하였을 경우, 모자를 쓴 사람이 영상에 잡혔을 경우 우선순위 특징값(가중치값)을 부여하여 모니터에 우선 순위별로 팝업되며 모니터 요원은 상황을 판단하고 위험상황이 아님을 인지한 경우, "통과" 버튼/스위치를 누르면, CCTV 감시카메라는 원상태로 전환된다. For example, if a person wearing a hat, a knife, or an object act is involved, a woman wearing a hat in the elevator is boarded, a person wearing a hat is caught in the image, The feature value (weight value) is given to the monitor according to priority. If the monitor person judges the situation and recognizes that it is not a dangerous situation, if the "Pass" button / switch is pressed, the CCTV surveillance camera is changed to the original state.

그러나, 위험 상황이라고 판단될 경우, "주시" 하고 신고를 필요로 할 경우 "신고" 버튼으로 해당 기관에 즉각적으로 통보하도록 선택사항을 입력한다.
However, if it is judged to be a dangerous situation, enter the option to "watch" and notify the agency promptly with the "report" button if it is necessary to report it.

일 실시 예로,In one embodiment,

디지탈감시카메라는 최소 5메가픽셀 이상으로 10메가 픽셀 이상을 권장한다. 객체 행동패턴 CCTV 영상 분석서버는 상기 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 주제어부의 장기저장 메모리에 원본 영상데이터를 저장 및 객체인식모듈 해마신경망 메모리에 전송 저장한다.Digital surveillance cameras should be at least 5 megapixels and at least 10 megapixels. Object Action Pattern The CCTV image analysis server receives the original image data photographed by the digital surveillance camera, stores the original image data in a long term storage memory of the main controller, and stores the original image data in the object recognition module hippocampal neural network memory.

현재 전용선의 대역폭은 10Mbps, 100Mbps을 수용할 수 있으나, 100Mbps의 경우 통신 비용이 과다하게 발생하게 되어 장기저장 메모리에 원본 영상데이터를 저장하고 필요할 경우 통합방범센터 센터제어서버에서 다운로드 받거나 현장에서 다운로드 받을 수 있게 한다.Currently, the bandwidth of the leased line can accommodate 10Mbps and 100Mbps, but in case of 100Mbps, the communication cost is excessive, so the original image data is stored in the long-term storage memory, and if necessary, I will.

객체 행동패턴 CCTV 영상 분석서버는 해마신경망 메모리에 수신된 원본 영상데이터를 저화질 저용량으로 암호화 압축(H.246, MPEG 등)한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.Object Behavior Pattern The CCTV image analysis server transmits the low-capacity image compression file that encodes the original image data received in the hippocampal neural network memory to low-quality and low-capacity low-capacity image compression (H.246, MPEG, etc.) through the network to the integrated security center center control server .

로컬서버는 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상의 분할영상으로 분할하여 X-Y좌표 값과 시간 데이터를 매칭시켜 저장한다.The local server divides the original image data received in the hippocampal neural network memory into one or more divided images on the X-axis and Y-axis so as to store and store the X-Y coordinate values and the time data.

상기 객체 행동패턴 CCTV 영상 분석서버는 저장된 분할영상을 디지털 줌 확대한다.The object behavior pattern CCTV image analysis server digitally zooms the stored divided images.

도 1을 참고하면, 원본 영상데이터를 X축으로 10분할, Y측으로 10분할 한 후 원거리의 분할 영상은 확대비율을 크게하고 근거리의 분할영상은 확대 비율을 작게할 수 있다.Referring to FIG. 1, after the original image data is divided into 10 parts in the X axis and 10 parts in the Y direction, it is possible to increase the enlargement ratio of the distant divided images and to reduce the enlargement ratio of the divided images at the near distances.

또한, 도3 도4와 같이 원거리는 분할화면을 작게하여 크게 확대하고, 근거리는 분할화면을 크게하고 확대를 작게할 수 있다.In addition, as shown in FIG. 3, the distance can be enlarged by making the divided screen small, and the divided screen can be enlarged and the enlargement can be made small.

객체 행동패턴 CCTV 영상 분석서버는 저장된 분할영상을 디지털 줌 확대한 후 행동패턴을 추출하고 장기저장 메모리에 저장되어 있는 위험 행동과 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object behavior pattern The CCTV image analysis server digitally enlarges the stored images and then extracts the behavior patterns and compares them with the risk behaviors stored in the long term storage memory, To the integrated security center control server.

객체 행동패턴 CCTV 영상 분석서버는 상기 영상분할단계의 분할영상 중 불법주정차 단속영역, 갓길차로영역, 과속단속영역, 신호위반단속영역 중 어느 하나 이상의 이벤트 구역을 설정한다.Object Action Pattern The CCTV image analysis server sets at least one of the illegal traffic regulation area, the traffic lane area, the over speed restriction area, and the signal violation restriction area among the divided images of the image segmentation step.

객체 행동패턴 CCTV 영상 분석서버는 각 각의 디지털 줌 확대된 분할영상을 번호인식 프로그램에 의해 번호인식 스캔 및 객체인식 프로그램에 의해 객체인식 후 인식된 객체에 대해 세부적으로 분류한다.Object behavior pattern The CCTV image analysis server classifies each digital zoom enlarged divided image into numbered recognition objects by number recognition program and classified objects after object recognition by scanning object recognition program.

객체 행동패턴 CCTV 영상 분석서버는 객체인식단계에서 번호인식 스캔 후 차량번호판의 차량번호를 인식할 경우 수배차량 차량번호와 비교하여 수배차량일 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 수배차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object Behavior Pattern When CCTV image analysis server recognizes the vehicle number of the license plate after the number recognition scan at the object recognition phase, it compares the vehicle number of the vehicle license plate with the vehicle license plate number. The compressed file is transferred to the integrated security center control server.

객체 행동패턴 CCTV 영상 분석서버는 수배차량이벤트전송단계에서 불법주정차 단속영역에서 불법주정차 단속시간 이상 인식될 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 불법주정차이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object behavior pattern When the CCTV image analysis server recognizes over illegal parking time in illegal parking area, it sends illegal parking data to the integrated center of crime prevention center control server Lt; / RTI >

객체 행동패턴 CCTV 영상 분석서버는 불법주정차이벤트전송단계에서 차량객체가 불법주정차 단속영역 내에서 차량번호판 번호인식이 되어 차량객체는 지속적으로 인식되나 차량번호판 번호인식이 안 될 경우 가려진 차량번호판으로 판단하고 차량객체에 대해 해마 신경망(해마신경망 메모리)에 저장하고 불법주정차 단속시간 이상 이벤트 추적한다.Object behavior pattern CCTV image analysis server judges the vehicle license plate number to be recognized when the vehicle object is recognized illegally in the illegitimate intermittent area during the illegal parking event transmission step and the vehicle object is continuously recognized but the license plate number is not recognized. It is stored in the hippocampal neural network (hippocampal neural network memory) for the vehicle object and tracks the event over illegal parking time.

객체 행동패턴 CCTV 영상 분석서버는 추적단계의 이벤트 차량객체와 가려진 차량번호판이 불법주정차 단속시간 이상 지속적으로 불법주정차 단속영역에서 검출되면 특징값의 선호도 가중치(차간거리를 좁혀 가려진 번호판, 방해물로 고의로 가려진 번호판, 사선주차로 인해 번호인식이 되지 않는 번호판)에 따라 장기 기억 또는 단기 기억으로 저장하고 고의적으로 가려진 차량객체의 차량번호판으로 판단 후 차량객체의 가려진 차량번호판으로 판단 직전 번호인식된 영상부터 현재 영상 또는 가려진 번호판이 다시 번호인식될 경우 다시 인식된 시점의 영상과 차량번호판 정보를 암호화 압축한 가려진불법주차차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object Behavior Pattern CCTV image analysis server detects the event vehicle object and the obscured vehicle license plate at the tracking phase when they are detected in the illegal parking intermittent area continuously for more than illegal intermittent intermittent time period and the preference weight value of feature value The license plate number is not recognized due to parking, and the number plate is not recognizable due to the diagonal parking), the vehicle license plate of the vehicle object is judged as the car license plate of the deliberately obscured vehicle object, Or if the numbered license plate is recognized again, the illegally parked vehicle event compression file encrypted and compressed with the image of the recognized point of time and license plate information is transmitted to the integrated security center control server.

객체 행동패턴 CCTV 영상 분석서버는 이벤트분할영상설정단계에서 이벤트구역의 분할 영상에서 갓길차로영역에 차량번호판이 인식될 경우 차량 영상과 차량번호판정보를 암호화 압축한 갓길차로위반차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object Behavior Pattern CCTV image analysis server encrypts the vehicle image and license plate information when the license plate is recognized in the lane-lane area of the event area in the event division image setting phase. To the center center control server.

객체 행동패턴 CCTV 영상 분석서버는 과속단속영역에 설치된 루프코일 또는 과속단속영역을 초점으로 하는 레이져검지기에 의해 검지된 객체가 차량이고 그 속도가 과속단속 대상 이상일 경우 차량의 영상과 차량번호판 및 측정 속도정보를 암호화 압축한 과속단속차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object behavior pattern The CCTV image analysis server is a system that detects the object detected by the laser detector that focuses on the loop coil or overspeed area installed in the overspeed interception area is the vehicle and the speed is over speed interception target, And transmits the overspeed intermittent vehicle event compression file encrypted and compressed to the integrated security center control server.

객체 행동패턴 CCTV 영상 분석서버는 과속단속영역에 설치된 루프코일 또는 과속단속영역을 초점으로 하는 레이져검지기에 의해 검지된 객체가 차량이고 신호위반 단속 대상일 경우 차량의 영상과 차량번호판 정보를 암호화 압축한 신호위반차량압축파일을 통합방범센터 센터제어서버로 전송한다.Object behavior pattern The CCTV image analysis server encodes and compresses the image of the vehicle and the license plate information if the object detected by the laser detector which focuses on the loop coil or the overspeed interception area in the overspeed interception area is the vehicle and the interception of the signal violation Signal violation vehicle compression file to the integrated security center control server.

통합방범센터의 센터제어서버는 객체 행동패턴 CCTV 영상 분석서버로부터 네트워크망을 통해 수신한 어느 하나 이상의 수신된 위험이벤트압축파일, 저용량영상압축파일, 수배차량이벤트압축파일, 불법주정차이벤트압축파일, 가려진불법주차차량이벤트압축파일, 갓길차로위반차량이벤트압축파일, 과속단속차량이벤트압축파일, 신호위반차량압축파일 중 어느 하나 이상에 있어서, 센터제어서버는 불법주정차이벤트압축파일, 가려진불법주차차량이벤트압축파일, 갓길차로위반차량이벤트압축파일, 과속단속차량이벤트압축파일을 수신할 경우 단속서버로 전송하여 과태료발행서버에서 과태료를 발행한다.The centralized control server of the integrated crime prevention center is composed of at least one received risk event compression file, low capacity image compression file, wastebaservice event compression file, illegal parking event compression file, and obscured event compression file received through the network from the object behavior pattern CCTV image analysis server In the event that one or more of the illegal parking vehicle event archive file, the violating vehicle event archive file, the overspeed intermittent vehicle event archive file, and the signal infringement vehicle archive file, the center control server stores the illegal parking event compression file, File, a vehicle event compression file and a overspeed intermittent vehicle event compression file on the side of a vehicle, the system transmits a negative charge to the intermittent server to issue a fine.

센터제어서버는 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 위험행동 우선순위 특징값 및 수배차량이벤트압축파일에 부여된 우선순위 특징값을 비교하여 우선순위에 따라 우선적으로 팝업하여 디스플레이하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
The center control server decompresses the low-capacity image compressed file and displays it on the monitor as a divided screen. However, the center control server compares the priority values assigned to the dangerous behavior priority characteristic value and the demand event compression file, The object behavior pattern is a CCTV image analysis server.

일 실시 예로,In one embodiment,

전체 운영제어 O/S를 탑재한 마이크로프로세서로 구성된 주제어부, 영상분석 API(Application Programming Interface), 해마신경망 메모리를 포함하는 객체인식모듈, 송수신부로 기본 구성된 객체 행동패턴 CCTV 영상 분석서버 관련이다.(입출력장치(마우스. 키보드, USB 포트, 모니터 등) 등과 같은 기본적인 구성에 대한 설명은 본 발명의 명확한 이해를 위해 생략한다.)It consists of a main processor consisting of a microprocessor with O / S, an application programming interface (API), an object recognition module including a hippocampal neural network memory, and an object behavior pattern CCTV image analysis server. The description of the basic configuration such as the input / output device (mouse, keyboard, USB port, monitor, etc.) is omitted for the sake of clarity of the present invention.

영상분석 API는 5메가픽셀 이상의 초고해상도 디지탈감시카메라 촬영된 원본 영상데이터를 전송받아 장기저장 메모리에 원본 영상데이터를 저장 및 해마신경망 메모리로 전송한다.The image analysis API transmits the original image data captured by the ultra-high resolution digital surveillance camera of 5 megapixel or more and stores the original image data in the long-term storage memory and transmits it to the hippocampal neural network memory.

영상분석 API는 원본 영상데이터에서 화소 변화 경계를 에지 알고리즘에서 색이나 농도가 급격히 변화되는 부분을 에지로 인식한 후 레이블링 알고리즘으로 객체 영역을 추출하여 체인코딩(chain coding) 기법에 의해서 지역경계(region boundary) 작업을 수행하여 지역경계 작업에 의해 사각형 객체(object rectangle)를 형성하면 고해상도 영상복원(super resolution) 기법으로 객체의 크기에 따라 확대/축소(객체크기가 크면 축소, 작으면 확대)하여 상기 사각형 객체영상을 객체인식모듈로 전송한다.The image analysis API recognizes the pixel change boundary in the original image data as edge in the edge algorithm and the area in which the color or density is rapidly changed, extracts the object region by the labeling algorithm, boundary operation is performed to form an object rectangle by an area boundary operation, the image is enlarged / reduced according to the size of the object by the super resolution method (if the object size is large, the object rectangle is enlarged, The rectangular object image is transmitted to the object recognition module.

송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 측정값을 주제어부로 전송한다.The transceiver measures the transmission traffic to the integrated security center control server connected through the network and transmits the measured value to the main controller.

주제어부는 해마신경망 메모리에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.The main control unit transmits a low-capacity image compression file, which is obtained by encrypting and compressing the original image data received in the hippocampal neural network memory to a low-quality and low-capacity low-quality image equal to or lower than the traffic measured by the transceiver unit, to the integrated security center control server through the network.

일 예로, 5M(Mega Pixels) 디지탈감시카메라에서 촬영된 해마신경망 메모리에 수신된 5M(Mega Pixels) 원본 영상데이터를 상기 송수신부에서 측정된 트래픽이 3Mbps(Mega bits per second)일 경우 관리자의 지정 값(일 예로 측정 트래픽의 50%) 이하의 저화질 저용량인 화소수를 1.5M(Mega Pixels) 또는 전송프레임 수를 1/3로 축소한 저화질로 포맷 변경하여 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.For example, if 5M (Mega Pixels) original image data received in a hippocampal neural network memory photographed by a 5M (Mega Pixels) digital surveillance camera is 3Mbps (Mega bits per second) measured by the transceiver, (Mega Pixels), which is a low-resolution, low-capacity pixel of less than 50% of the measured traffic (for example, 50% of the measured traffic), or a low-quality image obtained by reducing the number of transmission frames by 1/3. Through the integrated security center control center server.

객체인식모듈은 상기 사각형 객체영상에서 객체 분류 후 해마신경망 학습 인식엔진에 의해 객체에 대한 세부 인식으로 얼굴인식, 키, 옷 색깔, 차량 번호판, 흉기를 인식하여 분류한 객체분류 영상을 주제어부로 전송한다.The object recognition module transmits the object classification image classified by recognizing the face recognition, the key color, the clothes color, the license plate, and the weapon by the detailed recognition of the object by the hippocampal neural network learning recognition engine after the object classification in the rectangular object image .

상기 객체인식모듈은 객체영상의 행동패턴을 추출하고 행동패턴 영상을 주제어부로 전송한다.The object recognition module extracts a behavior pattern of an object image and transmits a behavior pattern image to a main controller.

주제어부는 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 사각형 객체영상을 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.The main control unit compares the danger object and the behavior pattern stored in the long term storage memory with the rectangular object image, assigns the risk action priority characteristic value, and transmits the encrypted event compressed file to the integrated security center control server.

일 예로, 상기 사각형 객체영상 안에 객체분류하여 사람이 인식될 경우 위험행동 우선순위 특징값 50%적용 후 얼굴이 모자, 마스크 등에 가려져 얼굴 인식이 되지 않을 경우 10% 추가한 60% 적용 후, 흉기(칼)이 객체 인식될 경우 10% 추가한 70% 적용 후, 객체영상의 행동패턴을 추출 한 결과 사람 객체가 빠르게 이동(뛰어감)할 경우 10% 추가한 80%적용 또는 사람 객체 2명이 근접 인식된 후 신체의 일부가 빠르게 이동할 경우 10% 추가한 80%를 적용하며, 상대 객체 사람이 쓰러질 경우 20%를 추가하여 100%의 위험행동 우선순위 특징값을 부여한다.For example, when a person is recognized by classifying objects in the rectangular object image, 50% of the dangerous action priority value is applied, and when the face is not recognized due to hat, mask, etc., If the object is recognized, it is added 10%. 70% is applied. After extracting the behavior pattern of the object image, if the object moves fast, it is applied 10% or 80% If a part of the body moves fast, it adds 10% to 80%. If the body of the opponent falls, it adds 20% to give a 100% risk behavior priority feature value.

상기와 같이 50% ~ 100%의 위험행동 우선순위 특징값에 따라 우선순위로 모니터에 팝업되어 미래범죄 발생확률 우선순위 이벤트 팝업이 되어 범죄 확률이 높은 영상 위주로 모니터링을 집중화시켜 범죄 발생 예측·예방을 한다. As mentioned above, 50% ~ 100% of the risk behavior priority value pops up on the monitor according to the priority value, so that future crime occurrence probability priority event popup is concentrated on the image-based monitoring with high probability of crime to predict and prevent crime. do.

일 예로, 촬영된 화면을 분할하여 소프트웨어적으로 확대하여 번호인식 및 객체인식프로그램으로 스캔한 후 수배차량의 차량이 검색될 경우 범죄 확률 우선순위 특징값(가중치 값)을 100% 주어 최우선적으로 모니터 팝업 유지하고, 객체가 사람일 경우 50%의 우선순위 특징값을 부여한 후 칼, 방망이, 송곳 등의 객체가 추가로 검색시 가중치 값은 80%이며 객체의 이동 속도 또는 신체 일부의 움직임이 빨라지면 가중치 값을 100%로 상향하여 가중치 값에 따라 모니터 팝업 우선 순위를 결정하며 모니터 요원의 '통과' '주시' '신고' 등의 행동에 따라 추가적으로 특징 벡터들을 고속 학습하고 최적의 특징을 구성하도록 해마 신경망 알고리즘을 적용하여 미래 범죄 발생 확률을 계산하여 객체 행동패턴 CCTV 영상 분석서버를 학습시킨다. For example, when a captured image is divided into software, the image is scanned by a number recognition and object recognition program, and when a vehicle of a wander vehicle is searched, a crime probability priority value (weight value) is 100% If the object is a person, it gives a priority feature value of 50%. Then, when the object such as a knife, bat, or wand is additionally retrieved, the weight value is 80%. If the movement speed of the object or the movement of the body part becomes faster We increase the weight value to 100%, determine the priority of the monitor popup according to the weight value, and learn the feature vectors at high speed according to the behaviors such as 'pass', 'watch' We apply the neural network algorithm to calculate the probability of future crime and learn object behavior pattern CCTV image analysis server.

주제어부는 차량 번호판 객체분류 영상을 번호인식 프로그램을 통해 번호인식 후 수배차량 차량번호와 비교하여 수배차량일 경우 수배차량 우선순위 특징값을 부여하여 차량객체 영상과 차량번호판 정보를 암호화 압축한 수배차량이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
The main control unit compares the vehicle license plate object classification image with the number recognition program and then compares the vehicle license plate number with the vehicle number of the picked-up vehicle. And transmits the compressed file to the centralized security center control server.

일 실시 예로,In one embodiment,

마이크로프로세서로 구성된 주제어부, 영상분석 API, 객체인식모듈, 송수신부로 구성된 객체 행동패턴 CCTV 영상 분석서버 관련이다.It is related to CCTV image analysis server, which is composed of microprocessor, object analysis API, object recognition module, and transceiver.

상기 영상분석 API는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 장기저장 메모리에 원본 영상데이터를 저장 및 원본 영상데이터에서 화소변화가 발생하는 영역을 사각형 객체로 체인코딩하여 디지털 줌 확대한 사각형 객체영상을 객체인식모듈로 전송한다.The image analysis API receives original image data photographed by a digital surveillance camera, stores original image data in a long-term storage memory, chained an area where a pixel change occurs in the original image data to a rectangular object, And transmits the image to the object recognition module.

상기 송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 주제어부로 전송한다.The transceiver measures transmission traffic with the integrated security center control server connected through a network and transmits the measured traffic to the main controller.

상기 주제어부는 객체인식모듈에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.The main control unit transmits a low-capacity image compression file, which is obtained by encrypting the original image data received by the object recognition module to a low-quality low-capacity image equal to or lower than the traffic measured by the transceiving unit, to the integrated security center control server through the network.

상기 객체인식모듈은 상기 사각형 객체영상에서 객체분류한 객체분류 영상 및 객체영상의 행동패턴을 추출한 행동패턴 영상을 주제어부로 전송한다.The object recognition module transmits a behavior pattern image obtained by extracting an object classification image and a behavior pattern of the object image classified by the object in the rectangular object image to the main controller.

주제어부는 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 사각형 객체영상을 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
The main control unit compares the danger object and the behavior pattern stored in the long term storage memory with the rectangular object image to give a dangerous action priority characteristic value and transmits the risk event compression file encrypted and compressed to the centralized security center control server Is an object behavior pattern CCTV image analysis server.

일 실시 예로,In one embodiment,

마이크로프로세서로 구성된 주제어부, 영상분석 API, 객체인식모듈, 송수신부로 구성된 객체 행동패턴 CCTV 영상 분석서버에 있어서, 상기 영상분석 API는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 주제어부 장기저장 메모리에 원본 영상데이터를 저장 및 객체인식모듈 해마신경망 메모리에 저장하며; 상기 송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 주제어부로 전송하며; 상기 주제어부는 객체인식모듈에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송하며; 상기 객체인식모듈은 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상으로 분할하여 X-Y좌표 값과 시간 데이터를 매칭시켜 디지털 줌 확대하여 분할영상을 저장하며; 상기 객체인식모듈은 각 각의 디지털 줌 확대된 분할영상 및 분할영상에 대해 객체인식 프로그램에 의해 객체인식 후 인식된 객체를 분류한 객체분류 영상을 주제어부로 전송하며; 상기 주제어부는 상기 객체분류 영상 및 상기 분할영상의 행동패턴을 분류한 행동패턴 영상에 대하여 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
An object behavior pattern CCTV image analysis server configured with a main processor unit composed of a microprocessor, an image analysis API, an object recognition module, and a transceiver unit, wherein the image analysis API receives original image data shot by a digital surveillance camera, And storing the original image data in a storage and object recognition module hippocampal neural network memory; Wherein the transceiver measures transmission traffic to a centralized security center control server connected through a network and transmits the measured traffic to a main controller; The main control unit transmits a low-capacity image compression file, which is obtained by encrypting the original image data received by the object recognition module to a low-quality and low-capacity image data of less than the traffic measured by the transceiving unit, to the integrated security center control server through the network. Wherein the object recognition module divides the original image data received in the hippocampal neural network memory into at least one X axis and Y axis to superimpose the XY coordinate value and the time data, Wherein the object recognition module transmits an object classification image obtained by classifying the object recognized after recognizing the object by the object recognition program to each of the digital zoom enlarged divided images and the divided images to the main language unit; The main control unit compares the behavior pattern image classified into the object classification image and the divided image with the risk object and the behavior pattern stored in the long term storage memory to give a dangerous behavior priority characteristic value, And transmits the event compression file to the integrated security center control server.

상기에 있어서,In the above,

객체인식모듈에서 인식된 객체분류 영상과 주제어부의 장기저장 메모리에 저장된 위험객체를 비교하여 사람, 모자쓴 얼굴, 가려진 얼굴, 수배자, 수배차량, 흉기에 따라 위험행동 우선순위 특징값을 부여하며; 주제어부는 분할영상의 행동패턴을 분류한 행동패턴 영상에 대하여 장기저장 메모리에 저장되어 있는 신체일부의 움직임이 빨라지는 행동패턴, 사람 객체가 뛰어가는 행동패턴, 다른 사람에게 위해를 가하는 행동패턴과 비교하여 위험행동 우선순위 특징값을 부여하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
Comparing the object classification image recognized by the object recognition module with the dangerous object stored in the long term storage memory of the subject section, and assigning a risk action priority characteristic value according to a person, a hatted face, an obscured face, a wanted person, For the behavior pattern image classifying the behavior pattern of the divided images, the main subject section compares the behavior pattern of the movement of the body part, which is stored in the long term storage memory, the behavior pattern of the human object, And a risk behavior priority characteristic value is assigned to the CCTV image analysis server.

상기에 있어서,In the above,

주제어부는 객체분류 영상에서 차량의 번호판이 인식될 경우 번호인식프로그램에의해 차량번호판을 텍스트화하여 수배차량의 차량번호 텍스트와 비교하여 일치할 경우 우선순위 특징값을 부여하여 객체분류 영상을 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
When the vehicle license plate is recognized in the object classification image, the main control unit compares the vehicle license plate text of the vehicle number plate with the license plate text by the number recognition program, assigns the priority characteristic value to encrypt the object classification image, And the risk event compression file is transferred to the integrated security center control server.

상기에 있어서,In the above,

주제어부는 객체분류 영상에서 불법주정차단속 영역에서 차량의 번호판이 인식될 경우 불법주정차 단속시간이상 주정차할 경우 번호인식프로그램에 의해 차량번호판을 텍스트화한 데이터와 객체분류 영상을 암호화 압축한 불법주정차이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
If the vehicle license plate is recognized in the illegal parking area of the object classification image, the data of the vehicle license plate is textized by the number recognition program when the parking lot is illegally parked. File to a centralized security center control server.

상기에 있어서,In the above,

주제어부는 불법주정차 단속영역에서 불법주정차 차량객체가 단속시간 이상 인식될 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 불법주정차이벤트압축파일을 통합방범센터 센터제어서버로 전송하며; 주제어부는 차량객체가 불법주정차 단속영역 내에서 최초 차량번호판 번호인식이 되었으나, 그 후 차량객체는 인식되나 차량번호판 번호인식이 안 될 경우 가려진 차량번호판으로 판단하고 차량객체에 대해 해마신경망 메모리에 저장하고 불법주정차 단속시간 이상 이벤트 추적하여 추적된 이벤트 차량객체와 가려진 차량번호판이 불법주정차 단속시간 이상 지속적으로 불법주정차 단속영역에서 검출되면 고의적으로 가려진 차량객체의 차량번호판으로 판단 후 차량객체의 가려진 차량번호판으로 판단 직전 번호인식된 영상부터 현재 영상 또는 가려진 번호판이 다시 번호인식될 경우 다시 인식된 시점의 영상과 차량번호판 정보를 암호화 압축한 가려진불법주차차량이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
The main control unit transmits an illegal parking event data compression file encrypted with the vehicle object image and the license plate information to the integrated security center control server when the illegal parking vehicle object is recognized for the intermittent time or longer in the illegal parking intermittent area; The main control part judges that the vehicle object is the license plate number of the first vehicle in the illegal parking area and then recognizes the vehicle object but recognizes the vehicle license plate if the license plate number is not recognized and stores the car object in the hippocampal neural network memory Event tracked and tracked event over illegal parking time If the vehicle object and the license plate are continuously detected illegally in the illegal parking area for more than the illegal parking time, it is judged to be the car license plate of the car object that is deliberately obstructed. If the current image or the obscured number plate is recognized again from the recognized image immediately before the judgment, the illegally parked vehicle event compression file encrypted and compressed at the recognized point of view and the license plate information is transmitted to the integrated security center control server Featured Body action patterns CCTV the video analysis server.

상기에 있어서,In the above,

통합방범센터 센터제어서버는 객체 행동패턴 CCTV 영상 분석서버의 주제어부로부터 전송받은 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 우선순위 특징값의 우선순위에 따라 우선적으로 모니터에 팝업하여 디스플레이 하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
The integrated security center center control server decompresses the low-capacity image compression file transmitted from the main body of the object behavior pattern CCTV image analysis server and displays it as a divided screen on the monitor but preferentially pops up the monitor according to the priority of the priority characteristic value And displays the object behavior pattern CCTV image analysis server.

일 실시 예로,In one embodiment,

객체 행동패턴 CCTV 영상 분석서버는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 장기저장 메모리에 원본 영상데이터를 저장 및 해마신경망 메모리에 전송한다.Object behavior pattern The CCTV image analysis server receives the original image data taken from the digital surveillance camera and stores the original image data in the long term storage memory and transmits it to the hippocampal neural network memory.

객체 행동패턴 CCTV 영상 분석서버는 해마신경망 메모리에 수신된 원본 영상데이터를 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.Object Behavior Pattern The CCTV image analysis server sends the low-capacity image compression file, which is encrypted and compressed with low-quality low-capacity original image data received in the hippocampal neural network memory, to the integrated security center center control server through the network.

로컬서버는 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상의 분할영상으로 분할하여 X-Y좌표 값과 시간 데이터를 매칭시켜 저장한다.The local server divides the original image data received in the hippocampal neural network memory into one or more divided images on the X-axis and Y-axis so as to store and store the X-Y coordinate values and the time data.

객체 행동패턴 CCTV 영상 분석서버는 상기 영상분할단계의 분할영상 중 불법주정차 단속영역을 설정한다.Object Behavior Pattern The CCTV image analysis server sets illegitimate intermittent intermittent regions among the divided images of the image segmentation step.

객체 행동패턴 CCTV 영상 분석서버는 저장된 분할영상을 디지털 줌 확대한다.Object behavior pattern The CCTV image analysis server digitally enlarges the stored divided images.

객체 행동패턴 CCTV 영상 분석서버는 각 각의 디지털 줌 확대된 분할영상을 번호인식 프로그램에 의해 번호인식 스캔 및 객체인식 프로그램에 의해 객체인식 후 인식된 객체에 대해 분류한다.Object behavior pattern The CCTV image analysis server classifies each digital zoom enlarged divided image by number recognition program, number recognition scan, and object recognition program to classify recognized objects after object recognition.

객체 행동패턴 CCTV 영상 분석서버는 객체인식단계에서 번호인식 스캔 후 차량번호판의 차량번호를 인식할 경우 수배차량 차량번호와 비교하여 수배차량일 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 수배차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object Behavior Pattern When CCTV image analysis server recognizes the vehicle number of the license plate after the number recognition scan at the object recognition phase, it compares the vehicle number of the vehicle license plate with the vehicle license plate number. The compressed file is transferred to the integrated security center control server.

객체 행동패턴 CCTV 영상 분석서버는 수배차량이벤트전송단계에서 불법주정차 단속영역에서 불법주정차 단속시간 이상 인식될 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 불법주정차이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object behavior pattern When the CCTV image analysis server recognizes over illegal parking time in illegal parking area, it sends illegal parking data to the integrated center of crime prevention center control server Lt; / RTI >

객체 행동패턴 CCTV 영상 분석서버는 불법주정차이벤트전송단계에서 차량객체가 불법주정차 단속영역 내에서 차량번호판 번호인식이 되어 차량객체는 인식되나 차량번호판 번호인식이 안 될 경우 가려진 차량번호판으로 판단하고 차량객체에 대해 해마 신경망(해마신경망 메모리)에 저장하고 불법주정차 단속시간 이상 이벤트 추적한다.Object behavior pattern CCTV image analysis server judges the vehicle license plate number to be recognized in vehicle illegally intermittent intermittent area and recognizes vehicle object in case illegal intermittent event transmission step, To the hippocampal neural network (memory of the hippocampal neural network) and track the events over illegal parking time.

객체 행동패턴 CCTV 영상 분석서버는 추적단계의 이벤트 차량객체와 가려진 차량번호판이 불법주정차 단속시간 이상 지속적으로 불법주정차 단속영역에서 검출되면 특징값의 선호도 가중치에 따라 장기 기억 또는 단기 기억으로 저장하고 고의적으로 가려진 차량객체의 차량번호판으로 판단 후 차량객체의 가려진 차량번호판으로 판단 직전 번호인식된 영상 부터 현재 영상 또는 가려진 번호판이 다시 번호인식될 경우 다시 인식된 시점의 영상과 차량번호판 정보를 암호화 압축한 가려진불법주차차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.Object Behavioral Pattern The CCTV image analysis server stores the event vehicle object in the tracking phase and the obscured vehicle license plate in the illegal parking intermittent area continuously for more than the illegal parking intermittent time period and store it in the long term memory or short term memory according to the preference weight value of the characteristic value and deliberately If the current image or the hidden license plate is recognized again from the recognized image, the image and the license plate information of the recognized point of view are encrypted and compressed. The parking vehicle event archive file is transferred to the integrated security center control server.

통합방범센터의 센터제어서버는 객체 행동패턴 CCTV 영상 분석서버로부터 네트워크망을 통해 수신한 어느 하나 이상의 저용량영상압축파일, 수배차량이벤트압축파일, 불법주정차이벤트압축파일, 가려진불법주차차량이벤트압축파일에 있어서,The center control server of the integrated crime prevention center can control at least one of the low-capacity image compression file received from the object behavior pattern CCTV image analysis server through the network, the archive file event archive file, the illegal divergence event archive file, and the obscured illegal parking vehicle event archive file As a result,

센터제어서버는 어느 하나 이상의 불법주정차이벤트압축파일, 가려진불법주차차량이벤트압축파일은 단속서버로 전송하고 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 수배차량이벤트압축파일 수신시 우선적으로 팝업하여 디스플레이하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
The center control server transmits at least one illegal parking event archive file, the illegally parked vehicle event archive file to the intermittent server, decompresses the low capacity image archive file and displays it in a split screen on the monitor. And displays the object behavior pattern CCTV image analysis server.

일 실시 예로,In one embodiment,

객체 행동패턴 CCTV 영상 분석서버는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 장기저장 메모리에 원본 영상데이터를 저장 및 해마신경망 메모리에 전송하는 영상데이터저장단계; 상기 객체 행동패턴 CCTV 영상 분석서버는 해마신경망 메모리에 수신된 원본 영상데이터를 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송하는 영상전송단계; 로컬서버는 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상의 분할영상으로 분할하여 X-Y좌표 값과 시간 데이터를 매칭시켜 저장하는 영상분할단계; 객체 행동패턴 CCTV 영상 분석서버는 저장된 분할영상을 디지털 줌 확대하는 확대영상단계; 객체 행동패턴 CCTV 영상 분석서버는 각 각의 디지털 줌 확대된 분할영상을 번호인식 프로그램에 의해 번호인식 스캔 및 객체인식 프로그램에 의해 객체인식 후 인식된 객체에 대해 분류하는 객체인식단계; 객체 행동패턴 CCTV 영상 분석서버는 객체인식단계에서 번호인식 스캔 후 차량번호판의 차량번호를 인식할 경우 수배차량 차량번호와 비교하여 수배차량일 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 수배차량이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 수배차량이벤트전송단계; 통합방범센터의 센터제어서버는 객체 행동패턴 CCTV 영상 분석서버로부터 네트워크망을 통해 수신한 어느 하나 이상의 저용량영상압축파일, 수배차량이벤트압축파일에 있어서, 센터제어서버는 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 수배차량이벤트압축파일 수신시 우선적으로 팝업하여 디스플레이하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
Object Action Pattern The CCTV image analysis server receives original image data taken from a digital surveillance camera, stores the original image data in a long-term storage memory, and transmits the original image data to the hippocampal neural network memory. Wherein the object behavior pattern CCTV image analysis server comprises: a video transmission step of transmitting a low-capacity image compression file, which is obtained by encrypting and compressing original image data received in the hippocampal neural network memory to a low quality and low capacity, to a centralized control center control server through a network; The local server splits the original image data received in the hippocampal neural network memory into one or more divided images in the X axis and the Y axis so as to match and store the XY coordinate values and the time data; Object behavior pattern The CCTV image analysis server digitally zooms the stored divided images; Object Action Pattern The CCTV image analysis server classifies each of the digital zoom enlarged divided images into number recognition programs by number recognition programs and object recognition programs by classifying objects recognized by scanning and object recognition programs. Object Behavior Pattern When CCTV image analysis server recognizes the vehicle number of the license plate after the number recognition scan at the object recognition phase, it compares the vehicle number of the vehicle license plate with the vehicle license plate number. Transmitting a compressed file to a centralized security center control server; The center control server of the integrated crime prevention center decompresses the low-capacity image compression file in the at least one low-capacity image compression file and the screening vehicle event compression file received from the object behavior pattern CCTV image analysis server through the network The object behavior pattern CCTV image analysis server is characterized in that it is displayed as a split screen on a monitor, but is preferentially popped up upon receipt of a screen event file.

일 실시 예로,In one embodiment,

객체 행동패턴 CCTV 영상 분석서버는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 장기저장 메모리에 원본 영상데이터를 저장 및 해마신경망 메모리에 전송하는 영상데이터저장단계; 상기 객체 행동패턴 CCTV 영상 분석서버는 해마신경망 메모리에 수신된 원본 영상데이터를 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송하는 영상전송단계; 상기 로컬서버는 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상의 분할영상으로 분할하여 X-Y좌표 값과 시간 데이터를 매칭시켜 저장하는 영상분할단계; 상기 객체 행동패턴 CCTV 영상 분석서버는 저장된 분할영상을 디지털 줌 확대한 후 행동패턴을 추출하고 장기저장 메모리에 저장되어 있는 위험 행동과 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 위험이벤트영상전송단계; 센터제어서버는 객체 행동패턴 CCTV 영상 분석서버로부터 수신한 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 저용량영상압축파일에 부여된 위험행동 우선순위 특징값을 비교하여 우선순위에 따라 우선적으로 팝업하여 디스플레이하는 것을 특징으로 하는 객체 행동패턴의 해마 신경망 학습을 이용한 객체 행동패턴 CCTV 영상 분석서버이다.
Object Action Pattern The CCTV image analysis server receives original image data taken from a digital surveillance camera, stores the original image data in a long-term storage memory, and transmits the original image data to the hippocampal neural network memory. Wherein the object behavior pattern CCTV image analysis server comprises: a video transmission step of transmitting a low-capacity image compression file, which is obtained by encrypting and compressing original image data received in the hippocampal neural network memory to a low quality and low capacity, to a centralized control center control server through a network; Dividing the original image data received in the hippocampal neural network memory into one or more divided images in the X axis and Y axis and storing the XY coordinate values and the time data in a matching manner; The object behavior pattern CCTV image analysis server digitally enlarges a stored divided image and extracts a behavior pattern and compares the risk behavior stored in the long term storage memory with a dangerous action priority characteristic value, A risk event image transmission step of transmitting the file to the centralized security center control server; The center control server decompresses the low-capacity image compression file received from the object behavior pattern CCTV image analysis server and displays it as a divided screen on the monitor. However, the center control server compares the risk behavior priority characteristic values given to the low- The object behavior pattern is a CCTV image analysis server using hippocampal neural network learning.

일 실시 예로,In one embodiment,

상기에 있어서 중첩되게 X축 Y축으로 하나 이상의 분할영상으로 분할하여 X-Y좌표 값과 시간 데이터를 매칭시키는 것은 원본영상에서 Z축을 중심으로 근거리에서 원거리로 갈수록 상대적으로 분할영상의 크기가 작아지면서 중첩되게 X축 Y축으로 하나 이상의 분할영상으로 분할하여 X-Y좌표 값과 시간 데이터를 매칭시키는 것으로 대체되는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버이다.
In the above description, the XY coordinate value and the time data are matched with each other by dividing the XY coordinate value into one or more divided images on the X axis and the Y axis, so that the size of the divided image is relatively decreased from near to far in the Z axis of the original image, And the XY coordinate value and the time data are matched by dividing the X-axis Y-axis into one or more divided images and replacing the XY coordinate value with the time data.

일 실시 예로,In one embodiment,

상기에 있어서 우선순위 특징값을 비교하여 우선순위에 따라 우선적으로 팝업하여 디스플레이하며 관리자에 의해 '통과' '주시' '신고' 값에 따라 객체 행동패턴 CCTV 영상 분석서버는 장기저장 메모리에 저장되어 있는 위험 행동 특징 벡터를 추가 갱신하여 위험행동 우선순위 특징값을 학습하는 것을 특징으로 하는 객체 행동패턴의 해마 신경망 학습을 이용한 객체 행동패턴 CCTV 영상 분석서버이다.
In the above, the priority characteristic values are compared and popped up and displayed according to priority, and the object behavior pattern CCTV image analysis server is stored in the long term storage memory according to the 'pass', 'watch', and 'report' The object behavior pattern is a CCTV image analysis server using the hippocampal neural network learning of the object behavior pattern.

일 실시 예로,In one embodiment,

디지탈감시카메라는 200만화소 디지탈감시카메라 , 270만화소 디지탈감시카메라, 500만화소 디지탈감시카메라, 1000만화소 디지탈감시카메라 중 어느 하나로 대체되는 것을 특징으로 하는 객체 행동패턴의 해마 신경망 학습을 이용한 객체 행동패턴 CCTV 영상 분석서버이다.
The digital surveillance camera is an object using the hippocampal neural network learning of the object behavior pattern, which is replaced with one of a 200-mega pixel digital surveillance camera, a 270-pixel small surveillance camera, a 500-mega pixel digital surveillance camera, Behavior pattern is a CCTV image analysis server.

1 ~ 2 : 분할영상1 ~ 2: Split image

Claims (9)

삭제delete 마이크로프로세서로 구성된 주제어부, 영상분석 API, 객체인식모듈, 송수신부로 구성된 객체 행동패턴 CCTV 영상 분석서버에 있어서,
상기 영상분석 API는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 장기저장 메모리에 원본 영상데이터를 저장 및 원본 영상데이터에서 화소변화가 발생하는 영역을 사각형 객체로 체인코딩하여 디지털 줌 확대한 사각형 객체영상을 객체인식모듈로 전송하며;
상기 송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 주제어부로 전송하며;
상기 주제어부는 객체인식모듈에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송하며;
상기 객체인식모듈은 상기 사각형 객체영상에서 객체분류한 객체분류 영상 및 객체영상의 행동패턴을 추출한 행동패턴 영상을 주제어부로 전송하며;
주제어부는 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 상기 사각형 객체영상의 객체분류 영상 및 행동패턴 영상을 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버.

An object behavior pattern CCTV image analysis server comprising a main processor unit comprising a microprocessor, an image analysis API, an object recognition module, and a transmission / reception unit,
The image analysis API receives original image data photographed by a digital surveillance camera, stores original image data in a long-term storage memory, chained an area where a pixel change occurs in the original image data to a rectangular object, Transmits the image to the object recognition module;
Wherein the transceiver measures transmission traffic to a centralized security center control server connected through a network and transmits the measured traffic to a main controller;
The main control unit transmits a low-capacity image compression file, which is obtained by encrypting the original image data received by the object recognition module to a low-quality and low-capacity image data of less than the traffic measured by the transceiving unit, to the integrated security center control server through the network.
Wherein the object recognition module transmits a behavior pattern image obtained by extracting a behavior classification pattern of the object classification image and an object image classified by the object in the rectangular object image to the main language unit;
The main control unit compares the dangerous object and the behavior pattern stored in the long term storage memory with the object classification image and the behavior pattern image of the rectangular object image to give a dangerous action priority characteristic value, And transmits the object behavior pattern to the center control server.

삭제delete 제 2 항에 있어서,
객체인식모듈에서 인식된 객체분류 영상과 주제어부의 장기저장 메모리에 저장된 위험객체를 비교하여 사람, 모자쓴 얼굴, 가려진 얼굴, 수배자, 수배차량, 흉기에 따라 위험행동 우선순위 특징값을 부여하며;
주제어부는 분할영상의 행동패턴을 분류한 행동패턴 영상에 대하여 장기저장 메모리에 저장되어 있는 신체일부의 움직임이 빨라지는 행동패턴, 사람 객체가 뛰어가는 행동패턴, 다른 사람에게 위해를 가하는 행동패턴과 비교하여 위험행동 우선순위 특징값을 부여하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버.

3. The method of claim 2,
Comparing the object classification image recognized by the object recognition module with the dangerous object stored in the long term storage memory of the subject section, and assigning a risk action priority characteristic value according to a person, a hatted face, an obscured face, a wanted person,
For the behavior pattern image classifying the behavior pattern of the divided images, the main subject section compares the behavior pattern of the movement of the body part, which is stored in the long term storage memory, the behavior pattern of the human object, And assigning a risk action priority characteristic value to the CCTV image analysis server.

제 2 항에 있어서,
주제어부는 객체분류 영상에서 차량의 번호판이 인식될 경우 번호인식프로그램에 의해 차량번호판을 텍스트화하여 수배차량의 차량번호 텍스트와 비교하여 일치할 경우 우선순위 특징값을 부여하여 객체분류 영상을 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버.

3. The method of claim 2,
When the vehicle license plate is recognized in the object classification image, the main control unit compares the vehicle license plate text of the vehicle number plate with the license plate text by the number recognition program, assigns the priority characteristic value to encrypt the object classification image, And the risk event compression file is transmitted to the integrated security center control server.

제 2 항에 있어서,
주제어부는 객체분류 영상에서 불법주정차단속 영역에서 차량의 번호판이 인식되어 불법주정차 단속시간이상 주정차할 경우 번호인식프로그램에 의해 차량번호판을 텍스트화한 데이터와 객체분류 영상을 암호화 압축한 불법주정차이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버.

3. The method of claim 2,
If the vehicle license plate is recognized in the illegal parking interception area in the object classification image, the subject control section encrypts the data of the vehicle license plate by the number recognition program and the object classification image. To a centralized security center control server.

삭제delete 제 2 항에 있어서,
통합방범센터 센터제어서버는 객체 행동패턴 CCTV 영상 분석서버의 주제어부로부터 전송받은 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 우선순위 특징값의 우선순위에 따라 우선적으로 모니터에 팝업하여 디스플레이 하는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버.
3. The method of claim 2,
The integrated security center center control server decompresses the low-capacity image compression file transmitted from the main body of the object behavior pattern CCTV image analysis server and displays it as a divided screen on the monitor but preferentially pops up the monitor according to the priority of the priority characteristic value And displaying the object behavior pattern of the CCTV image analysis server.
제 2 항에 있어서,
디지탈감시카메라는 200만화소 디지탈감시카메라 , 270만화소 디지탈감시카메라, 500만화소 디지탈감시카메라, 1000만화소 디지탈감시카메라 중 어느 하나로 대체되는 것을 특징으로 하는 객체 행동패턴 CCTV 영상 분석서버.
3. The method of claim 2,
A digital surveillance camera is an object behavior pattern CCTV image analysis server that is replaced by one of a 200-mega-pixel digital surveillance camera, a 270-mega-pixel digital surveillance camera, a 500-megapixel digital surveillance camera, and a 1000-megapixel digital surveillance camera.
KR1020140037316A 2014-03-28 2014-03-28 The analyzing server of CCTV images among behavior patterns of objects KR101513215B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140037316A KR101513215B1 (en) 2014-03-28 2014-03-28 The analyzing server of CCTV images among behavior patterns of objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140037316A KR101513215B1 (en) 2014-03-28 2014-03-28 The analyzing server of CCTV images among behavior patterns of objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140068107A Division KR20150112712A (en) 2014-06-05 2014-06-05 The analyzing server of cctv images among behavior patterns of objects

Publications (1)

Publication Number Publication Date
KR101513215B1 true KR101513215B1 (en) 2015-04-17

Family

ID=53053536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140037316A KR101513215B1 (en) 2014-03-28 2014-03-28 The analyzing server of CCTV images among behavior patterns of objects

Country Status (1)

Country Link
KR (1) KR101513215B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101744517B1 (en) 2016-11-14 2017-06-12 (주) 넥스모어시스템즈 Method for Supporting CCTV Image Service Between U-CITY Control Center and 112 Call Center
KR101759921B1 (en) * 2008-03-03 2017-07-21 아비길론 애널리틱스 코포레이션 Content aware storage of video data
US10713478B2 (en) 2015-11-30 2020-07-14 Korea Institute Of Industrial Technology Behaviour pattern analysis system and method using depth image
KR102166776B1 (en) * 2020-04-29 2020-10-16 주식회사 서경산업 Service system for smart traffic managing on road
KR102178313B1 (en) 2019-09-03 2020-11-12 한성대학교 산학협력단 Image analysis apparatus and system comprising the same
WO2021095960A1 (en) * 2019-11-14 2021-05-20 전자부품연구원 Video security event-collision processing device and method therefor
KR102335156B1 (en) 2021-03-18 2021-12-03 주식회사 나우시스템 Intelligent system and method for preventing safety accidents
KR102346760B1 (en) 2021-07-26 2022-01-03 (주)모든서버 Method, device and system for controling server for cctv image processing based on artificial intelligence
WO2022073018A1 (en) * 2020-09-30 2022-04-07 Rekor Systems, Inc. Systems and methods for traffic monitoring with improved privacy protections
KR20230094077A (en) 2021-12-20 2023-06-27 이노뎁 주식회사 heuristic-based method of estimating surveillance area of camera for national border monitoring system
KR102612655B1 (en) * 2023-08-03 2023-12-12 주식회사 아이티코어스 Illegal parking enforcement system capable of determining intentional license plate obscuration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002001505A1 (en) 2000-06-26 2002-01-03 Iwane Laboratories, Ltd. Information converting system
JP2004222254A (en) * 2002-12-27 2004-08-05 Canon Inc Image processing system, method, and program
JP2005284652A (en) * 2004-03-29 2005-10-13 Tama Tlo Kk Video monitoring method and apparatus using moving vector
JP2006285399A (en) * 2005-03-31 2006-10-19 Tama Tlo Kk Image monitoring method and device for monitoring motion of vehicle at intersection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002001505A1 (en) 2000-06-26 2002-01-03 Iwane Laboratories, Ltd. Information converting system
JP2004222254A (en) * 2002-12-27 2004-08-05 Canon Inc Image processing system, method, and program
JP2005284652A (en) * 2004-03-29 2005-10-13 Tama Tlo Kk Video monitoring method and apparatus using moving vector
JP2006285399A (en) * 2005-03-31 2006-10-19 Tama Tlo Kk Image monitoring method and device for monitoring motion of vehicle at intersection

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101759921B1 (en) * 2008-03-03 2017-07-21 아비길론 애널리틱스 코포레이션 Content aware storage of video data
US10713478B2 (en) 2015-11-30 2020-07-14 Korea Institute Of Industrial Technology Behaviour pattern analysis system and method using depth image
KR101744517B1 (en) 2016-11-14 2017-06-12 (주) 넥스모어시스템즈 Method for Supporting CCTV Image Service Between U-CITY Control Center and 112 Call Center
KR102178313B1 (en) 2019-09-03 2020-11-12 한성대학교 산학협력단 Image analysis apparatus and system comprising the same
WO2021095960A1 (en) * 2019-11-14 2021-05-20 전자부품연구원 Video security event-collision processing device and method therefor
KR102166776B1 (en) * 2020-04-29 2020-10-16 주식회사 서경산업 Service system for smart traffic managing on road
WO2022073018A1 (en) * 2020-09-30 2022-04-07 Rekor Systems, Inc. Systems and methods for traffic monitoring with improved privacy protections
KR102335156B1 (en) 2021-03-18 2021-12-03 주식회사 나우시스템 Intelligent system and method for preventing safety accidents
KR102346760B1 (en) 2021-07-26 2022-01-03 (주)모든서버 Method, device and system for controling server for cctv image processing based on artificial intelligence
KR20230094077A (en) 2021-12-20 2023-06-27 이노뎁 주식회사 heuristic-based method of estimating surveillance area of camera for national border monitoring system
KR102612655B1 (en) * 2023-08-03 2023-12-12 주식회사 아이티코어스 Illegal parking enforcement system capable of determining intentional license plate obscuration

Similar Documents

Publication Publication Date Title
KR101513215B1 (en) The analyzing server of CCTV images among behavior patterns of objects
KR101570339B1 (en) The predicting system for anti-crime through analyzing server of images
US11594031B2 (en) Automatic extraction of secondary video streams
KR101215948B1 (en) Image information masking method of monitoring system based on face recognition and body information
US8848053B2 (en) Automatic extraction of secondary video streams
EP2903261B1 (en) Apparatus and method for detecting event from plurality of photographed images
GB2492689A (en) Security camera tracking and monitoring system and method using thermal image coordinates
US20100141763A1 (en) Video monitoring system
KR101372860B1 (en) System for searching video and server for analysing video
CN103391424A (en) Method for analyzing object in image captured by monitoring camera and object analyzer
KR101485512B1 (en) The sequence processing method of images through hippocampal neual network learning of behavior patterns in case of future crimes
KR20150112712A (en) The analyzing server of cctv images among behavior patterns of objects
KR101340897B1 (en) The anticrime system in a school zone
KR101547255B1 (en) Object-based Searching Method for Intelligent Surveillance System
KR101436283B1 (en) The predicting system for anti-crime through analyzing server of images
KR102111162B1 (en) Multichannel camera home monitoring system and method to be cmmunicated with blackbox for a car
KR102113533B1 (en) Apparatus for tracking abnormal behavior object in video
KR20100077662A (en) Inteligent video surveillance system and method thereof
KR101154350B1 (en) Multiple Images Processing system using Detection of Objects and segmenting - recognizing of High- resolution Image and there of.
Ahmed et al. Automated intruder detection from image sequences using minimum volume sets
KR101513467B1 (en) The anticrime system in a school zone
KR101736813B1 (en) A door security system with hat detection
KR102297575B1 (en) Intelligent video surveillance system and method
KR20220118857A (en) Image retrieval system using the analysis data of the image analysis server
KR101623331B1 (en) Detection and close up shooting method using images of moving objects

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180423

Year of fee payment: 4

R401 Registration of restoration