KR102464196B1 - Big data-based video surveillance system - Google Patents

Big data-based video surveillance system Download PDF

Info

Publication number
KR102464196B1
KR102464196B1 KR1020220063919A KR20220063919A KR102464196B1 KR 102464196 B1 KR102464196 B1 KR 102464196B1 KR 1020220063919 A KR1020220063919 A KR 1020220063919A KR 20220063919 A KR20220063919 A KR 20220063919A KR 102464196 B1 KR102464196 B1 KR 102464196B1
Authority
KR
South Korea
Prior art keywords
tracking
area
information
registered
weight
Prior art date
Application number
KR1020220063919A
Other languages
Korean (ko)
Inventor
윤사빈
김영관
Original Assignee
주식회사 유투에스알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유투에스알 filed Critical 주식회사 유투에스알
Priority to KR1020220063919A priority Critical patent/KR102464196B1/en
Application granted granted Critical
Publication of KR102464196B1 publication Critical patent/KR102464196B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0205—Lever arrangements for operating keyboard cursor control keys in a joystick-like manner
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H04N5/23206—
    • H04N5/23299—

Abstract

The present invention relates to a big data-based video surveillance system related to a problem. According to an aspect of the present invention, comprised are: a plurality of tracking devices having a detection area for detecting the presence or absence of an object and a tracking area, which a pre-registered object can come into and out of; a database for assigning a registration number to the object and registering the object as a registered object; and a control part for, if an object not registered in the database is detected in the tracking area, calculating a tracking priority index by measuring a distance between the unregistered object and the plurality of tracking devices having detected the unregistered object, wherein the control part controls the tracking device with a higher tracking priority index to track the position of the object in an overlapping area where the tracking areas of the plurality of tracking devices overlap. Therefore, the operation efficiency of equipment can be improved.

Description

빅데이터 기반 영상 감시시스템{Big data-based video surveillance system}Big data-based video surveillance system

본 발명은 빅데이터 기반 영상 감시시스템에 관한 것으로, 영상감시카메라를 활용하고, 데이터를 축적하여 객체를 탐지 및 추적하고, 객체의 추적 및 정확도를 높이며, 비정상 상황에 대처가 용이한 빅데이터 기반 영상 감시시스템에 관한 것이다.The present invention relates to a big data-based video surveillance system, which utilizes a video surveillance camera, accumulates data, detects and tracks an object, improves tracking and accuracy of the object, and facilitates handling of abnormal situations. It is about the monitoring system.

일반적으로 감시 카메라를 이용한 모니터링 시스템은 특정 장소에 고정식 또는 이동식으로 설치된 카메라를 통하여 입력되는 영상을 처리하여 특정 지역을 감시하는 모니터링 시스템이다. 최근에 모니터링 시스템은 지능형 감시 경계 로봇, GOP(Gerenal OutPost) 과학화 시스템, 사회안전 로봇 시스템과 같이 영상을 이용한 시큐리티 시스템(security system) 전반에 걸쳐 사용되고 있다.In general, a monitoring system using a surveillance camera is a monitoring system that monitors a specific area by processing an image inputted through a camera fixedly or movable in a specific place. Recently, monitoring systems have been used throughout security systems using images, such as intelligent surveillance perimeter robots, general outpost (GOP) scientific systems, and social safety robot systems.

이러한 모니터링 시스템은 유사한 적용 분야로 관제 시스템이라 하며, 공공기관 또는 공공기관과 연계된 업체에서 지역사회의 안전을 위한 목적으로 특정 위치나 특정 지역에서 카메라로 수집된 영상을 모니터링 및 관리하는 것으로, 많게는 수 백여개의 영상을 모니터링하고 관리하기 위한 많은 디스플레이가 사용된다. 이러한 모니터링 시스템에서는 일반적인 전시나 광고 목적으로 사용되는 디스플레이에 비해 규모가 크기 때문에, 그에 따른 카메라는 복수개가 상호 연동되어 작동된다. 복수개의 카메라들 중에서 적어도 하나 이상의 카메라가 지정된 영역 또는 위치를 감시할 수 있다. 또한, 모니터링 시스템에 의하여 촬영되는 방향이 지정된 영역 또는 위치로 향할 수 있도록, 감시 카메라에 패닝(panning), 틸팅(tilting), 및 줌(zoom) 등의 기능이 마련된다.Such a monitoring system is a similar field of application, called a control system, and monitors and manages images collected by a camera in a specific location or in a specific area for the purpose of safety of the community by a public institution or a company affiliated with a public institution. Many displays are used to monitor and manage hundreds of images. In such a monitoring system, since the scale is larger than that of a display used for general exhibition or advertisement purposes, a plurality of cameras are operated in conjunction with each other. At least one camera among the plurality of cameras may monitor a designated area or location. In addition, functions such as panning, tilting, and zoom are provided in the surveillance camera so that the direction photographed by the monitoring system can be directed to a designated area or location.

그러나, 이러한 모니터링 또는 감시시스템에서 사용되는 카메라들은 각각 카메라들이 독립적으로 사용되기 때문에 각각의 카메라들이 겹치게 되어 중복적으로 추적하게 되어 추적에 혼동을 주는 문제점이 있다.However, since the cameras used in the monitoring or surveillance system are used independently, each camera overlaps and duplicates tracking, causing confusion in tracking.

또한, 이러한 감시시스템은 중복으로 추적된 객체에 대한 정보의 공유가 어려운 문제점이 있어, 사용자의 육안으로만 파악이 가능하여 인력 소모가 과도하게 발생되는 문제점이 있다.In addition, such a monitoring system has a problem in that it is difficult to share information on a duplicated tracked object, so that it can be grasped only with the user's naked eye, thereby causing excessive manpower consumption.

또한, 이러한 감시시스템은 추적도의 정확성이 저하될 수 있고, 각각 독립적으로 모든 장비가 작동함에 있어서, 비효율적인 자원이 소모될 수 있으며, 객체정보의 예측이 불가능하여, 감시 영역 외의 상황파악이 어려운 문제점이 있다.In addition, in such a monitoring system, the accuracy of the traceability may be lowered, inefficient resources may be consumed when all equipment operates independently of each other, and it is difficult to understand the situation outside the monitoring area because it is impossible to predict object information. There is a problem.

본 발명의 목적은, 감시시스템을 운용할 때, 독립적으로 감시하는 장비들을 서로 연동시켜, 중복되는 정보를 제거함으로써, 잉여 정보 생성을 방지하고, 객체 들의 구분이 용이하며, 객체의 경로를 예측 가능함으로써, 추적 정확도를 향상시키고, 감시 영역 외의 영역에서 대처 방안에 대해 사용자에게 제공하여 사용자의 대응이 용이할 수 있으며, 각 장비 간의 정보 공유를 통해, 정보를 효율적으로 운용 가능할 수 있는 것을 목적으로 한다.An object of the present invention is to prevent redundant information generation, to easily distinguish objects, and to predict the path of objects by linking independently monitoring equipment with each other and removing redundant information when operating a monitoring system. By doing so, it is possible to improve the tracking accuracy, provide the user with a countermeasure in the area other than the monitoring area, so that the user can easily respond, and through information sharing between each equipment, information can be efficiently operated. .

상기와 같은 목적을 달성하기 위하여 본 발명은 객체의 존재 유무를 탐지하는 탐지영역과 미리 등록된 등록객체가 출입가능한 영역인 추적영역을 가지는 복수 개의 추적장비, 상기 객체에 등록번호를 부여하여 상기 객체를 등록객체로 저장하는 데이터베이스, 상기 데이터베이스에 미등록 객체가 추적영역에 탐지되면, 상기 미등록 객체와 상기 미등록 객체가 탐지된 복수의 추적장비 사이의 거리를 측정하여 추적우선지수를 산정하는 제어부를 포함하고, 상기 제어부는 복수 개의 상기 추적장비의 추적영역이 중복되는 중복영역에서 상기 추적우선지수가 높은 상기 추적장비가 상기 객체의 위치를 추적하도록 제어하는 것을 특징으로 할 수 있다.In order to achieve the above object, the present invention provides a plurality of tracking devices having a detection area for detecting the presence or absence of an object and a tracking area where a previously registered object can be accessed, and a registration number is assigned to the object to provide the object. a database for storing as a registered object, and when an unregistered object in the database is detected in a tracking area, a control unit for calculating a tracking priority index by measuring the distance between the unregistered object and a plurality of tracking devices in which the unregistered object is detected, and , the control unit may be characterized in that it controls the tracking device having a high tracking priority index to track the location of the object in an overlapping area where the tracking areas of the plurality of tracking devices overlap.

또한, 상기 추적우선지수는 상기 객체와 상기 추적장비의 거리값과, 상기 미등록 객체를 촬영하는 상기 추적장비의 성능에 따른 지수인 성능값에 따른 가중치를 고려하여 산정하는 것을 특징으로 할 수 있다.In addition, the tracking priority index may be calculated in consideration of a distance value between the object and the tracking device, and a weight according to a performance value, which is an index according to the performance of the tracking device for photographing the unregistered object.

또한, 상기 추적우선지수는 하기 식으로 산정되는 것을 특징으로 할 수 있다.In addition, the tracking priority index may be characterized in that it is calculated by the following formula.

Value = (((Erng - Tdis)/Erng)*(100*Eweight)+(Sacc * Sweight)Value = (((E rng - T dis )/E rng )*(100*E weight )+(S acc * S weight )

(여기서, Erng: 모든 추적장비 내 최대 추적 사거리(m), Tdis: 추적장비와 객체 간의 거리, Eweight: 사거리 가중치(0.0~1.0), Sacc: 센서 추적 정확도(백분율), Sweight: 정확도 가중치(0.0~1.0), 사거리 가중치와 정확도 가중치의 합은 1이다.)(where E rng : Maximum tracking range within all tracking devices (m), T dis : Distance between tracking device and object, E weight : Range weight (0.0~1.0), S acc : Sensor tracking accuracy (percentage), S weight : Accuracy weight (0.0~1.0), the sum of the range weight and the accuracy weight is 1.)

또한, 상기 추적장비는 영상정보를 출력하는 감시카메라를 더 포함하여, 상기 제어부가 상기 객체를 식별하여 미등록된 사람으로 판단되는 경우, 상기 객체에 상기 객체를 식별하기 위한 식별표시를 상기 영상정보에 출력하여 디스플레이부로 표출하는 것을 특징으로 할 수 있다.In addition, the tracking device further includes a surveillance camera for outputting image information, and when the control unit identifies the object and determines that it is an unregistered person, an identification mark for identifying the object on the object is displayed on the image information It may be characterized in that it is output and expressed on a display unit.

또한, 상기 디스플레이부는, 상기 영상정보를 표시하는 표시부 및 상기 감시카메라를 조절하는 조이스틱과 상기 감시카메라의 모드를 수동으로 전환하는 전환버튼이 구비된 수동제어부를 포함하는 디스플레이부를 더 포함할 수 있다.In addition, the display unit may further include a display unit including a display unit for displaying the image information, a joystick for controlling the monitoring camera, and a manual control unit having a switching button for manually switching the mode of the monitoring camera.

또한, 상기 제어부는, 상기 등록번호가 부여된 상기 객체의 키, 보폭, 이동속도, 폭에 대한 정보인 객체정보를 추출하여 상기 데이터베이스에 저장하고, 초기에 진입한 상기 객체의 상기 객체정보를 추출하여 상기 객체정보와 비교하여 해당 상기 객체의 상기 등록번호에 포함된 경로정보를 업데이트하는 것을 특징으로 할 수 있다.In addition, the controller extracts and stores object information that is information on the key, stride, movement speed, and width of the object to which the registration number is given, and stores it in the database, and extracts the object information of the initially entered object and comparing with the object information, it may be characterized in that the path information included in the registration number of the corresponding object is updated.

또한, 상기 제어부는, 상기 탐지영역을 가지는 감지센서로 미등록 객체에 대해 감지하고, 상기 객체가 미등록인 경우, 상기 객체의 영상정보를 생성하는 상기 감시카메라를 제어하는 것을 특징으로 할 수 있다.In addition, the control unit may be characterized in that the detection sensor having the detection area detects an unregistered object, and when the object is unregistered, controls the surveillance camera that generates image information of the object.

본 발명의 일 실시예에 따른 빅데이터 기반 영상 감시시스템은, 영상 추적 장비 간 시스템을 구축함으로써, 불필요한 추적을 방지하고, 데이터, 인력 등의 자원소모를 절감할 수 있어, 장비의 운용 효율을 향상시킬 수 있는 효과를 가지고 있다.The big data-based video surveillance system according to an embodiment of the present invention can prevent unnecessary tracking and reduce resource consumption such as data and manpower by building a system between video tracking devices, thereby improving the operating efficiency of the equipment. It has the effect of making it possible.

또한, 통합 제어가 가능하도록, 모든 정보를 하나의 장치에서 종합하여 관리 및 처리할 수 있어, 사용자가 종합적으로 상황판단이 가능하며, 사용자의 상황판단 시 감시시스템의 예측을 통해, 보다 정확한 상황을 인지할 수 있다.In addition, to enable integrated control, all information can be managed and processed in one device, allowing the user to comprehensively determine the situation, and more accurate situation by predicting the monitoring system when judging the user's situation can recognize

도 1 은 본 발명의 일 실시예에 따른 빅데이터 기반 영상 감시시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이부를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이부의 표시부를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 빅데이터 기반 영상 감시시스템의 감시카메라의 감시범위를 나타낸 도면이다.
도 5은 본 발명의 일 실시예에 따른 추적부의 컨볼루션 신경망(CNN, Convolution Neural Network)의 계층을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 추적부의 심층 신경망(DNN, Deep Neural Network)를 나타낸 도면이다.1 is a schematic diagram of a big data-based video surveillance system according to an embodiment of the present invention.
2 is a view showing a display unit according to an embodiment of the present invention.
3 is a diagram illustrating a display unit of a display unit according to an embodiment of the present invention.
4 is a view showing a monitoring range of a surveillance camera of a big data-based video surveillance system according to an embodiment of the present invention.
5 is a diagram illustrating a layer of a convolutional neural network (CNN) of a tracking unit according to an embodiment of the present invention.
6 is a diagram illustrating a deep neural network (DNN) of a tracking unit according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다.Advantages and features of the present invention, and a method for achieving the same, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.

그러나, 본 발명은 이하에 개시되는 실시 예들에 의해 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.However, the present invention is not limited by the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.

또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.In addition, in the description of the present invention, when it is determined that related known techniques may obscure the gist of the present invention, a detailed description thereof will be omitted.

도 1 은 본 발명의 일 실시예에 따른 빅데이터 기반 영상 감시시스템의 개략도이고, 도 2는 본 발명의 일 실시예에 따른 디스플레이부를 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 디스플레이부의 표시부를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 빅데이터 기반 영상 감시시스템의 감시카메라의 감시범위를 나타낸 도면이다.1 is a schematic diagram of a big data-based video surveillance system according to an embodiment of the present invention, FIG. 2 is a view showing a display unit according to an embodiment of the present invention, and FIG. 3 is a display according to an embodiment of the present invention It is a view showing a display unit, and FIG. 4 is a view showing a monitoring range of a surveillance camera of a big data-based video surveillance system according to an embodiment of the present invention.

또한, 도 5은 본 발명의 일 실시예에 따른 추적부의 컨볼루션 신경망(CNN, Convolution Neural Network)의 계층을 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 추적부의 심층 신경망(DNN, Deep Neural Network)를 나타낸 도면이다.5 is a diagram showing a layer of a convolutional neural network (CNN) of a tracking unit according to an embodiment of the present invention, and FIG. 6 is a deep neural network (DNN) of a tracking unit according to an embodiment of the present invention. It is a diagram showing a Deep Neural Network).

도 1 내지 도 5를 참고하면, 본 발명의 일 실시예에 따른 빅데이터 기반 영상 감시시스템(10)은, 센서, 카메라 등을 사용하여 객체에 대한 정보를 효율적으로 추적하고, 객체의 경로를 예측하며, 이동하는 객체들의 정보를 저장하여 추적이 필요한 공간 내에 이동되는 객체의 이상 행동 등을 감시할 수 있어, 비정상 상황, 위험 상황 등을 효율적으로 감시하고, 빠르게 대응할 수 있으며, 하나의 통솔 장치로 모든 센서, 카메라 등을 제어할 수 있어, 비용 및 인력의 소모를 절감시킬 수 있어, 효율적인 감시시스템(10)의 운영이 가능할 수 있다.1 to 5 , the big data-based video surveillance system 10 according to an embodiment of the present invention efficiently tracks information about an object using a sensor, a camera, and the like, and predicts the path of the object. In addition, by storing the information of moving objects, it is possible to monitor abnormal behavior of moving objects in the space that requires tracking, so that abnormal and dangerous situations can be efficiently monitored and quickly responded to, and with one control device It is possible to control all sensors, cameras, and the like, thereby reducing cost and manpower consumption, so that it is possible to efficiently operate the monitoring system 10 .

또한, 추적된 객체의 정보를 저장 및 축적하여, 이전에 출입 정보가 있는 고유의 등록번호가 부여된 등록객체와 미등록 객체를 구분하여, 등록된 객체의 예측 경로의 정확성을 높일 수 있어, 이상 행동 감시가 더욱 빠르고 효율적으로 감시할 수 있다.In addition, by storing and accumulating the information of the tracked object, it is possible to increase the accuracy of the predicted path of the registered object by distinguishing between a registered object to which a unique registration number was previously given and an unregistered object, which has access information. Monitoring can be performed faster and more efficiently.

또한, 감시 대상인 객체의 경로를 실시간으로 예측함으로써, 감시시스템(10)의 외로 이동되는 객체의 경로 또한 예측할 수 있어, 감시 외의 영역에서의 대처 방안에 대해 사용자에게 제공하여 감시 외의 영역에서 사용자가 객체에 대한 대응이 용이 할 수 있다.In addition, by predicting the path of the object to be monitored in real time, the path of the object moving outside the monitoring system 10 can also be predicted. may be easy to respond to.

또한, 추적장비(100) 간의 정보 공유가 실시간으로 이루어질 수 있어, 객체에 대한 정보의 추적이 장비들 간에 자체적으로 이루어질 수 있어, 장비들의 운영이 용이하고, 운영 효율이 향상될 수 있다.In addition, since information sharing between the tracking devices 100 can be made in real time, tracking of information about an object can be made between the devices, so that operation of the devices can be facilitated and operational efficiency can be improved.

상술한 바와 같이, 장비들 간의 서로 정보 공유가 이루어지고, 하나의 장치로 모든 장비를 제어할 수 있으며, 실시간으로 객체의 이동 경로를 추적 및 예측할 수 있도록, 빅데이터 기반 영상 감시시스템(10)은 추적장비(100), 디스플레이부(300) 및 제어부(500)를 포함할 수 있다.As described above, the big data-based video surveillance system 10 is such that information is shared between devices, can control all devices with one device, and track and predict the movement path of an object in real time. It may include a tracking device 100 , a display unit 300 , and a control unit 500 .

도 1 내지 도 3을 참고하면, 추적장비(100)는 레이더센서(110) 및 감시카메라(130)를 포함할 수 있다,1 to 3 , the tracking device 100 may include a radar sensor 110 and a surveillance camera 130 ,

또한, 추적장비(100)는 탐지영역과 추적영역(A)을 분리하여 설정될 수 있다. 또한, 탐지영역은 객체의 유무를 구분할 수 있다. 또한, 탐지영역은 레이더센서(110) 및 감시카메라(130)를 통해 탐지될 수 있다.In addition, the tracking device 100 may be set by separating the detection area and the tracking area (A). In addition, the detection area can distinguish the presence or absence of an object. Also, the detection area may be detected through the radar sensor 110 and the surveillance camera 130 .

또한, 추적영역(A)은 탐지영역의 범위 내에 형성될 수 있고, 추적영역(A)은 등록되거나, 출입이 허용된 객체만의 출입이 가능한 영역일 수 있다.Also, the tracking area (A) may be formed within the range of the detection area, and the tracking area (A) may be an area in which only registered or permitted objects can enter and exit.

예를 들어, 탐지영역은 추적영역보다 범위가 넓게 형성될 수 있고, 추적영역은 탐지영역 안에서 출입이 허가된 관계자만이 출입 가능한 영역일 수 있다.For example, the detection area may be formed to have a wider range than the tracking area, and the tracking area may be an area in which only persons authorized to enter the detection area can enter.

또한, 탐지영역에서 추적영역(A)으로 출입하려는 객체를 레이더센서(110)가 추출할 수 있고, 추적영역(A)으로 객체가 진입하면 감시카메라(130)가 객체의 이동에 따라, 위치를 추적할 수 있다.In addition, the radar sensor 110 can extract an object to enter and exit from the detection area to the tracking area (A), and when the object enters the tracking area (A), the surveillance camera 130 detects the location according to the movement of the object. can be tracked

즉, 레이더센서(110)는 탐지영역에서 추적영역(A)으로 진입하는 객체의 유무를 확인할 수 있고, 객체가 추적영역(A)을 향하는 방향으로 움직여 추적영역(A)으로 진입하면, 레이더센서(110)는 객체의 위치를 추적할 수 있다.That is, the radar sensor 110 can check the presence or absence of an object entering the tracking area (A) in the detection area, and when the object moves in a direction toward the tracking area (A) and enters the tracking area (A), the radar sensor 110 may track the location of the object.

이때, 객체가 복수의 레이더센서(110)가 중복되는 영역에 출입하게 되면, 해당 영역을 추적영역(A)으로 가지는 복수의 레이더센서(110)는 레이더센서(110)의 위치, 객체의 위치, 각 레이더센서(110)와 위치와 객체의 거리 등에 대한 정보로 복수의 추적장비(100) 중 추적우선지수를 계산하여 높은 값을 가진 추적우선지수를 통해, 객체를 추적할 하나의 추적장비(100)의 선택이 가능할 수 있다.At this time, when the object enters and exits the area where the plurality of radar sensors 110 overlap, the plurality of radar sensors 110 having the corresponding area as the tracking area (A) is the location of the radar sensor 110, the location of the object, One tracking device 100 to track an object through the tracking priority index having a high value by calculating the tracking priority index among the plurality of tracking devices 100 with information about each radar sensor 110 and the location and distance of the object ) may be selected.

예를 들어, 레이더센서(110)는 제1 내지 제6 레이더센서(111, 112, 113, 114, 115, 116)가 형성될 수 있다.For example, the radar sensor 110 may include first to sixth radar sensors 111 , 112 , 113 , 114 , 115 , and 116 .

도 4를 참고하면, 레이더센서(110)는 6개의 레이더센서(110)를 도시하고 있으나, 복수의 레이더센서(110)는 2개 이상이면 모두 적용 가능할 수 있다.Referring to FIG. 4 , the radar sensor 110 shows six radar sensors 110 , but if there are two or more radar sensors 110 , all of them may be applicable.

레이더센서(110)는 서로 인접한 레이더센서(110) 간에 추적영역이 중복되는 중복영역(L)이 형성될 수 있다. 이때, 레이더센서(110)는 중복영역(L)의 레이더망에 객체와 각각의 레이더센서(110)와의 추적우선지수가 높은 값을 1초마다 계산하여, 추적우선지수가 높은 레이더센서(110)로 추적 중인 객체의 추적이 가능할 수 있다. 이때, 추적우선지수가 연산부(530)를 통해 계산되는 것은 후술하기로 한다.The radar sensor 110 may have an overlapping area L in which the tracking area overlaps between the radar sensors 110 adjacent to each other. At this time, the radar sensor 110 calculates the high value of the tracking priority index between the object and each radar sensor 110 in the radar network of the overlapping area L every second, and uses the radar sensor 110 with the high tracking priority index. Tracking of the object being tracked may be possible. In this case, the calculation of the tracking priority index through the operation unit 530 will be described later.

또한, 레이더센서(110)는 추적영역(A)에 출입한 객체에 대해 추적하는 추적모드(581, 583, 585)가 수행시, 추적영역(A)으로 진입하는 모든 객체에 대해, 진입한 순서 중 먼저 들어온 순서에 따라, 추적할 수 있다.In addition, the radar sensor 110 performs the tracking mode 581 , 583 , 585 for tracking an object entering and exiting the tracking area A, for all objects entering the tracking area A, the order of entry You can track according to the order that came in first.

예를 들어, 복수의 레이더센서(110)의 탐지영역에 위치한 객체가 이동하여 추적영역(A)으로 진입하게 되면, 레이더센서(110)는 중복영역(L)일 경우, 추적우선지수를 계산하여 객체를 추적할 레이더센서(110)를 결정하여 레이더센서(110)가 진입한 객체에 대해 추적이 가능할 수 있다.For example, when an object located in the detection area of the plurality of radar sensors 110 moves and enters the tracking area A, the radar sensor 110 calculates the tracking priority index in the overlapping area L By determining the radar sensor 110 to track the object, it may be possible to track the object into which the radar sensor 110 has entered.

이때, 레이더센서(110)는 감시카메라(130)와 일체화되어 설치될 수 있어, 추적영역(A)으로 진입한 객체에 대해 감시카메라(130)가 작동되어, 출입한 객체에 대해 영상정보를 생성할 수 있다.At this time, the radar sensor 110 may be installed integrally with the monitoring camera 130 , so that the monitoring camera 130 is operated for an object that has entered the tracking area A, and image information is generated for the entered object. can do.

이후, 생성된 영상정보에서 추출한 객체정보(O)로 해당 객체가 등록객체이면, 추적모드(581, 583, 585)를 중지하고, 해당 객체가 미등록 객체이면, 추적모드(581, 583, 585)를 지속할 수 있다.Then, as object information (O) extracted from the generated image information, if the corresponding object is a registered object, the tracking mode (581, 583, 585) is stopped, and if the corresponding object is an unregistered object, the tracking mode (581, 583, 585) can continue

또한, 등록 객체이라도 이전에 등록된 등록 객체의 이동경로와 차이가 발생하는 경로 혹은 이상행동이 발생되면, 해당 객체의 추적을 지속할 수 있다.Also, even if a registered object has a path that is different from the previously registered movement path of the registered object or an abnormal behavior occurs, the tracking of the corresponding object can be continued.

즉, 상술한 바와 같이, 복수의 추적장비(100)는 레이더센서(110)의 추적영역(A)으로 추적할 추적장비(100)의 선택이 가능할 수 있고, 선택된 추적장비(100)에 설치되는 감시카메라(130)로 영상정보에 대한 추적이 실행될 수 있다.That is, as described above, the plurality of tracking devices 100 may select the tracking device 100 to be tracked as the tracking area A of the radar sensor 110 , and may be installed in the selected tracking device 100 . Tracking of image information may be performed with the surveillance camera 130 .

또한, 감시카메라(130)는 레이더센서(110)를 통해, 결정된 추적장비(100)에 포함된 감시카메라(130)가 출입한 해당 객체를 영상으로 직접 추적하기 위해, 객체를 촬영할 수 있다.In addition, the monitoring camera 130 may photograph the object through the radar sensor 110 to directly track the object entered and exited by the monitoring camera 130 included in the determined tracking device 100 as an image.

이때, 감시카메라(130)는 독립촬영범위를 가지고 있어, 독립촬영범위를 향하게 배치된 복수 개의 감시카메라(130)가 독립촬영범위 내로 진입하는 객체의 키, 보폭, 이동속도, 폭에 대한 정보인 객체정보(O)에 대한 영상을 촬영하여 영상정보를 생성할 수 있다.At this time, the surveillance camera 130 has an independent shooting range, and a plurality of surveillance cameras 130 disposed toward the independent shooting range are information about the height, stride, movement speed, and width of an object entering the independent shooting range. Image information may be generated by photographing an image of the object information (O).

또한, 감시카메라(130)는 영상정보의 객체정보(O)를 추출하여 해당 객체가 등록번호가 부여된 등록된 객체인지 미등록 객체인지 판단이 가능할 수 있다.In addition, the surveillance camera 130 may extract the object information (O) of the image information to determine whether the object is a registered object to which a registration number is given or an unregistered object.

예를 들어, 출입한 객체의 얼굴인식, 등록번호, 키, 보폭, 이동속도, 이동경로를 추출하고, 후술한 데이터베이스에 저장된 등록객체와 비교하여 등록객체로 판단되면, 추적영역(A)으로 진입 가능한 객체로 판단하여 추적을 중지할 수 있다.For example, the face recognition, registration number, key, stride length, movement speed, and movement path of the entered object are extracted and compared with the registered object stored in the database, which will be described later, if it is determined as a registered object, it enters the tracking area (A) Tracking can be stopped by judging it as a possible object.

또한, 등록객체의 실시간 이동이 등록된 이동경로와 차이가 발생하면, 추적을 지속할 수 있다.Also, if the real-time movement of the registered object is different from the registered movement path, tracking can be continued.

이때, 독립촬영범위는 복수 개의 감시카메라(130)가 각각 촬영하는 범위를 나타낼 수 있고, 독립촬영범위 내에서 하나의 감시카메라(130)가 추적 또는 촬영하는 범위는 추적영역(A)과 동일한 영역일 수 있다.In this case, the independent photographing range may indicate a range in which a plurality of monitoring cameras 130 are photographed, respectively, and the range in which one monitoring camera 130 tracks or photographing within the independent photographing range is the same area as the tracking area (A). can be

또한, 감시카메라(130)는 독립촬영범위를 촬영하기 위해, 제1 내지 제6 감시카메라(131, 132, 133, 134, 135, 136)를 포함할 수 있다. 본 발명의 실시예는 6대의 감시카메라(130)를 예시로 들었으나, 본 발명은 2대 이상의 감시카메라(130)에 모두 적용 가능할 수 있다.In addition, the surveillance camera 130 may include first to sixth surveillance cameras 131 , 132 , 133 , 134 , 135 , 136 in order to take an independent shooting range. Although the embodiment of the present invention exemplifies six surveillance cameras 130 , the present invention may be applicable to all two or more surveillance cameras 130 .

즉, 제1 내지 제6 감시카메라(131, 132, 133, 134, 135, 136)은 제1 내지 제6 레이더센서(111, 112, 113, 114, 115, 116)와 동일하게 설치될 수 있다.That is, the first to sixth surveillance cameras (131, 132, 133, 134, 135, 136) may be installed in the same manner as the first to sixth radar sensors (111, 112, 113, 114, 115, 116). .

또한, 감시카메라(130)는 내부에 디스플레이부(300) 및 제어부(500)와 송수신이 가능할 수 있어, 레이더센서(110)로 생성되는 객체의 위치, 이동경로, 이동속도, 예상 이동경로와 감시카메라(130)로 생성되는 영상정보는 디스플레이부(300)를 통해, 사용자에게 제공될 수 있고, 사용자는 제어부(500)를 통해, 레이더센서(110) 및 감시카메라(130)를 포함하는 추적장비(100)가 제어될 수 있다.In addition, the monitoring camera 130 may transmit/receive with the display unit 300 and the control unit 500 therein, so that the position, movement path, movement speed, expected movement path and monitoring of the object generated by the radar sensor 110 are possible. The image information generated by the camera 130 may be provided to the user through the display unit 300 , and the user through the control unit 500 , the tracking device including the radar sensor 110 and the surveillance camera 130 . (100) can be controlled.

또한, 감시카메라(130)는 감시카메라(130) 간의 정보를 공유할 수 있어, 제1 감시카메라(110)에서 제2 감시카메라(120)를 향하는 방향으로 이동되는 객체정보(O)를 제2 감시카메라(120) 내지 제6 감시카메라(130)와 연동되어 객체정보(O)가 이동하는 방향의 감시카메라(130)로 객체정보(O)를 전송하여 레이더센서(110)와 감시카메라(130)가 자체적으로 객체정보(O)를 추적하기 위한, 추적대기모드가 수행될 수 있다.In addition, the monitoring camera 130 may share information between the monitoring cameras 130 , so that the object information O moving in the direction from the first monitoring camera 110 to the second monitoring camera 120 is transmitted to the second The monitoring camera 120 to the sixth monitoring camera 130 is interlocked to transmit the object information O to the monitoring camera 130 in the direction in which the object information O moves, and the radar sensor 110 and the monitoring camera 130 ) to track the object information (O) by itself, the tracking standby mode can be performed.

이때, 추적대기모드는, 추적이 중지된 레이더센서(110) 및 감시카메라(130)가 재추적을 위한, 준비상태일 수 있다. 즉, 추적대기모드는 탐지모드에서 추적모드를 수행하기 위한 대기시간 상태일 수 있다.At this time, in the tracking standby mode, the radar sensor 110 and the monitoring camera 130, the tracking is stopped, may be in a ready state for re-tracking. That is, the tracking standby mode may be a waiting time state for performing the tracking mode in the detection mode.

예를 들어, 탐지모드는 탐지영역을 탐지하는 모드일 수 있다. 또한, 탐지모드는 추적이 중단된 상태에서 객체의 존재유무만을 판단하고 있는 상태이고, 추적대기모드는 객체가 추적영역(A)에 진입하면 이전 출입한 객체인 것을 확인하여 바로 추적이 가능한 상태일 수 있다.For example, the detection mode may be a mode for detecting a detection area. In addition, the detection mode is a state in which only the existence of an object is judged in a state in which tracking is stopped, and in the tracking standby mode, when an object enters the tracking area (A), it is confirmed that it is an object that has been previously entered and can be tracked immediately. can

즉, 해당 출입하는 객체에 대한 정보가 설정되어 있어, 해당 객체가 감시카메라(130)에 촬영되면 바로 추적모드(581, 583, 585)가 가능한 상태일 수 있다.That is, since information on the corresponding entering and leaving object is set, the tracking mode 581 , 583 , and 585 may be immediately available when the corresponding object is photographed by the surveillance camera 130 .

디스플레이부(300)는 추적장비(100)를 통해, 전송되는 레이더정보 및 영상정보를 표시하고, 추적장비(100)를 사용자가 직접 제어할 수 있도록, 표시부(310) 및 수동제어부(330)를 포함할 수 있다.The display unit 300 displays the radar information and image information transmitted through the tracking device 100 , and controls the display unit 310 and the manual control unit 330 so that the user can directly control the tracking device 100 . may include

표시부(310)는 사용자가 표시부(310)의 전방에서 추적장비(100)가 촬영하여 전송하는 객체정보(O)에 대한 레이더정보 및 영상정보를 화면 등으로 표시하여 사용자에게 객체정보(O)를 2D 매핑으로 변환 및 단순화하여 시각적으로 사용자가 간략하게 객체정보(O)의 경로, 예측 경로, 이동 방향 등을 확인할 수 있도록, 사용자에게 화면으로 표출할 수 있다.The display unit 310 displays the radar information and image information for the object information (O) photographed and transmitted by the tracking device 100 from the front of the display unit 310 by the user on a screen, etc. to provide the user with the object information (O). By converting and simplifying the 2D mapping, it can be visually displayed on the screen to the user so that the user can simply check the path, predicted path, and movement direction of the object information (O).

예를 들어, 표시부(310)는 사각 단면으로 형성될 수 있다. 또한, 표시부(310)는 좌측 부분에 현재 객체정보(O)를 생성하고 있는 감시카메라(130)의 실시간 영상을 표출할 수 있다.For example, the display unit 310 may have a rectangular cross-section. In addition, the display unit 310 may display a real-time image of the monitoring camera 130 that is currently generating the object information (O) in the left part.

또한, 표시부(310)의 우측 부분에는 독립촬영범위를 촬영하고 있는 복수의 추적장비(100)가 수직방향으로 표시되어, 현재 탐지, 탐지 및 추적을 촬영하고 있는 제1 내지 제6 레이더센서(110) 및 감시카메라(130) 중에서 사용자가 직접 선택하여 사용자가 확인하고자 하는 제1 내지 제6 레이더센서(110) 및 감시카메라(130)의 레이더정보 및 영상정보의 객체정보(O)를 좌측 부분과 후술할 중간 부분에 표시될 수 있다.In addition, a plurality of tracking equipment 100 for photographing an independent photographing range is displayed on the right side of the display unit 310 in the vertical direction, and the first to sixth radar sensors 110 currently photographing detection, detection and tracking. ) and the object information (O) of the radar information and image information of the first to sixth radar sensors 110 and the surveillance camera 130, which the user directly selects from among the ) and the surveillance camera 130, and the user wants to check the left part and the It may be displayed in the middle part, which will be described later.

예를 들어, 객체정보(O)가 제1 레이더센서(111)과 제2 레이더센서(112) 및 제1 감시카메라(131)와 제2 감시카메라(132)의 독립촬영범위에 진입하면, 제1 감시카메라(131)와 제2 감시카메라(132)에서 실시간 추적 또는 촬영되는 영상과 위치가 표시될 수 있다.For example, when the object information O enters the independent shooting range of the first radar sensor 111 and the second radar sensor 112 and the first monitoring camera 131 and the second monitoring camera 132, the second Images and locations tracked or photographed in real time by the first surveillance camera 131 and the second surveillance camera 132 may be displayed.

또한, 좌측 부분에는 객체정보(O)일 수 있는 객체에 대해 사각형의 점선 단면으로 표시하여 현재 추적 또는 촬영되어 좌측 부분에 표시되는 실시간 영상에 현재 추적 중인 객체정보(O)인 객체의 타겟을 사용자에게 제공할 수 있다.In addition, in the left part, the target of the object that is the object information (O) currently being tracked in the real-time image that is currently tracked or photographed and displayed in the left part is displayed as a rectangular dotted cross section for an object that may be object information (O). can be provided to

또한, 우측 부분에는 독립촬영범위를 촬영 또는 추적하여 실시간 영상을 송출하는 제1 감시카메라(110)와 제2 감시카메라(120)는 우측 부분에서 위치한 제1 내지 제6 레이더센서(111, 112, 113, 114, 115, 116) 및 감시카메라(131, 132, 133, 134, 135, 136)는 사용자가 사용하고자 하는 장치를 선택하여 해당 장치를 사용자가 직접 조절할 수 있다.In addition, in the right part, the first to sixth radar sensors 111, 112, 113, 114, 115, 116) and the surveillance cameras 131, 132, 133, 134, 135, and 136 select a device the user wants to use, and the user can directly control the device.

또한, 좌측 부분의 실시간 영상이 송출되는 부분과 우측 부분의 사용자가 사용하고자 하는 추적장비(100)를 선택하는 부분의 사이에 위치하는 중간 부분에는 현재 추적되고 있는 객체정보(O)를 레이더센서(110)에서 추출되는 정보일 수 있는 2D 매핑화하여 예측 경로, 이동 경로 등을 간략하게 표현할 수 있다.In addition, in the middle part located between the part where the real-time image of the left part is transmitted and the part where the user selects the tracking device 100 to be used on the right part, the currently tracked object information (O) is displayed by the radar sensor ( 110), a prediction path, a movement path, and the like can be simply expressed by performing 2D mapping, which may be the information extracted in FIG.

예를 들어, 중간 부분에는 객체정보(O)는 십자가 등의 모양으로 표현될 수 있고, 객체정보(O)가 이동하는 방향 또는 예측된 방향에 따라, 점선으로 표시될 수 있다. 또한, 진행 방향은 점선의 끝단에 위치할 수 있다. 이때, 이동하는 방향과 예측 가능한 제어부(500)는 후술하기로 한다.For example, in the middle part, the object information O may be expressed in the shape of a cross, and may be displayed as a dotted line according to the direction in which the object information O moves or a predicted direction. In addition, the moving direction may be located at the end of the dotted line. In this case, the moving direction and predictable control unit 500 will be described later.

또한, 디스플레이부(300)는 수동제어부(330)가 설치될 수 있다. 이때, 수동제어부(330)는 표시부(310)에 표시된 복수 개의 추적장비(100)를 선택가능하고, 감시카메라(130)들의 회전시킬 수 있도록 조이스틱으로 형성될 수 있다.In addition, the display unit 300 may be provided with a manual control unit 330 . In this case, the manual control unit 330 may select a plurality of tracking devices 100 displayed on the display unit 310 , and may be formed as a joystick to rotate the monitoring cameras 130 .

또한, 표시부(310)가 화면일 수 있어, 표시부(310)에 표시되는 화면의 내부에 위치한 커서 등을 조절할 수 있는 제어패드 등으로 형성될 수 있다.In addition, the display unit 310 may be a screen, and may be formed of a control pad or the like that can control a cursor located inside the screen displayed on the display unit 310 .

본 발명의 일 실시예에 따른, 빅데이터 기반 영상 감시시스템(10)의 제어부(500)는 추적장비(100)의 모드를 제어하고, 실시간으로 복수 개의 제1 내지 제6 레이더센서(111, 112, 113, 114, 115, 116)와 제1 내지 제6 감시카메라(131, 132, 133, 134, 135, 136) 간에 지속적인 추적이 가능할 수 있다.According to an embodiment of the present invention, the controller 500 of the big data-based video surveillance system 10 controls the mode of the tracking device 100, and a plurality of first to sixth radar sensors 111 and 112 in real time. , 113, 114, 115, 116) and the first to sixth surveillance cameras (131, 132, 133, 134, 135, 136) may be continuously tracked.

이를 통해, 복수 개의 레이더센서(110)와 감시카메라(130)가 자체적으로 운영이 가능하며, 비정상 상황 발생 시, 사용자에게 알림을 전달하며, 이후 객체정보(O)의 이후 경로를 예측함으로써, 사용자가 효율적인 대응이 가능하도록, 데이터베이스(510), 식별부(520), 연산부(530), 비교부(540), 판단부(550), 예측부(560), 통제부(570) 및 추적부(580)를 포함할 수 있다.Through this, the plurality of radar sensors 110 and the monitoring camera 130 can be operated by themselves, and when an abnormal situation occurs, a notification is delivered to the user, and the subsequent path of the object information O is predicted. database 510 , identification unit 520 , calculation unit 530 , comparison unit 540 , determination unit 550 , prediction unit 560 , control unit 570 and tracking unit ( 580) may be included.

데이터베이스(510)는 사용자가 추적영역(A)으로 출입이 가능한 객체에 대한 정보인 등록번호가 부여된 객체일 수 있는 등록객체에 대한 정보를 저장할 수 있다. 또한, 추적장비(100)로 새롭게 진입한 객체정보(O)가 생성되면, 생성된 객체정보(O)를 저장 및 축적할 수 있다.The database 510 may store information on a registered object, which may be an object to which a registration number, which is information about an object that a user can access to the tracking area A, is assigned. In addition, when the object information (O) newly entered into the tracking device 100 is generated, the generated object information (O) can be stored and accumulated.

이때, 데이터베이스(510)에 축적 및 저장된 등록객체(R)는 고유의 등록번호를 부여하여 객체정보(O)일 수 있고, 이후, 등록객체(R)가 추적영역(A)으로 재진입하게 되면, 등록객체(R)의 이동경로는 등록번호에 따라, 업데이트될 수 있다.At this time, the registered object (R) accumulated and stored in the database 510 may be object information (O) by giving a unique registration number, and then, when the registered object (R) re-enters the tracking area (A), The movement path of the registered object R may be updated according to the registration number.

즉, 사용자는 등록객체(R)를 등록하여 추적영역(A)으로 진입을 허가하고, 추적영역(A)으로 진입한 등록객체(R)를 추적시에는 등록객체(R)의 이동경로를 추적모드(581, 583, 585)를 통해, 추적하여 추적된 이동경로가 업데이트될 수 있어, 등록객체(R)의 이동경로의 데이터를 축적할 수 있다.That is, the user registers the registered object (R) and allows the entry into the tracking area (A), and when tracking the registered object (R) entering the tracking area (A), the movement path of the registered object (R) is traced. Through the modes 581 , 583 , and 585 , the movement path tracked by tracking can be updated, so that data of the movement path of the registered object R can be accumulated.

이를 통해, 데이터베이스(510)는 등록객체(R)가 추적영역(A)에서 추적될 때, 기저장된 이동경로가 있을 경우, 등록객체(R)의 이동경로가 기저장된 이동경로를 기초로 예측될 수 있어, 등록객체(R)에 대한 이동경로의 예측이 빠르게 이루어질 수 있고, 기존의 이동경로가 다른 이동경로 혹은 이상 행동시, 해당 등록객체(R)의 비정상 상황을 빠르게 검출할 수 있다.Through this, the database 510 determines that when the registered object R is tracked in the tracking area A, if there is a pre-stored movement path, the movement path of the registered object R is predicted based on the pre-stored movement path. Therefore, it is possible to quickly predict the movement path of the registered object R, and quickly detect an abnormal situation of the registered object R when the existing movement path is a different movement path or an abnormal behavior occurs.

즉, 데이터베이스(510)에는 추적장비(100)에서 추출된 영상정보에서 객체의 얼굴인식, 등록번호, 출입카드, 키, 보폭, 이동속도, 폭 등에 대한 정보인 등록객체(R)와 등록객체(R)의 이동경로를 지속적으로 저장하여 축적함으로써, 등록객체(R)의 이동경로를 예측할 수 있고, 객체의 등록여부를 확인할 수 있다.That is, in the database 510, information about face recognition, registration number, access card, key, stride length, movement speed, width, etc. By continuously storing and accumulating the moving path of R), it is possible to predict the moving path of the registered object R and check whether the object is registered.

식별부(520)는 복수 개의 추적장비(100)로 추적 또는 촬영되는 추적영역 내로 진입한 객체에 식별번호를 부여할 수 있다.The identification unit 520 may assign an identification number to an object that has entered the tracking area tracked or photographed by the plurality of tracking devices 100 .

예를 들어, 추적영역으로 객체가 진입하면, 추적장비(100) 중 레이더센서(110)는 추적우선지수가 높은 추적장비(100)가 선택되고, 선택된 추적장비(100)에 포함된 감시카메라(130)가 객체를 촬영하여 영상정보를 확인할 수 있다.For example, when an object enters the tracking area, the radar sensor 110 of the tracking device 100 selects the tracking device 100 having a high tracking priority index, and a surveillance camera ( 130) can check the image information by photographing the object.

또한, 영상정보에서 추출된 객체에 대한 정보일 수 있는 키, 보폭, 이동속도, 안면과, 등록번호가 기재된 출입증 등을 통해, 기존에 추적영역(A)에 진입 가능한 등록객체(R)인지 판단이 가능할 수 있다. 이때, 객체가 미등록일 경우, 미등록 객체를 추적하기 위해, 객체에 식별번호를 부가할 수 있다.In addition, it is determined whether the registered object (R) can enter the tracking area (A) through the key, stride length, movement speed, face, and pass with registration number, which may be information about the object extracted from the image information. This may be possible. In this case, when the object is unregistered, an identification number may be added to the object in order to track the unregistered object.

예를 들어, 첫 번째로 추적영역(A)에 출입한 객체는 1로 식별번호를 부가하여, 추적할 수 있다. 이때, 등록번호는 이후, 추적을 진행 중인 제1 추적장비(111, 131)를 벗어나 다른 추적장비일 수 있는 제2 추적장비(112, 132)로 진입하게 되면, 추적장비(100)가 식별번호 1에 대한 객체가 다시 제1 추적장비(111, 131)로 진입할 것을 대비하여 추적을 대기하고 있는 상태를 유지할 수 있다.For example, an object that first enters and exits the tracking area (A) can be tracked by adding an identification number to 1. At this time, when the registration number enters the second tracking device (112, 132), which may be another tracking device, out of the first tracking device (111, 131) in progress, the tracking device 100 is an identification number It is possible to maintain a state in which the object for 1 is waiting for tracking in preparation for entering the first tracking device (111, 131) again.

또한, 출입한 객체에 대해서, 식별번호를 부여함으로써, 추적영역(A) 내로 진입한 객체는 식별번호에 따라 데이터베이스(510)에 저장될 수 있고, 객체정보(O)가 이동하는 이동경로가 식별번호에 따라 데이터베이스(510)에 저장될 수 있다.In addition, by assigning an identification number to the entered object, the object entering the tracking area (A) can be stored in the database 510 according to the identification number, and the movement path of the object information (O) is identified. It may be stored in the database 510 according to the number.

예를 들어, 식별번호 1의 미등록 객체가 이동한 경로와 미등록 객체가 촬영된 영상에서 객체의 키, 보폭, 이동속도, 이동경로, 안면 등을 추출하여 데이터베이스(510)에 저장될 수 있다.For example, the height, stride length, movement speed, movement path, face, etc. of the object may be extracted from the path along which the unregistered object of identification number 1 moves and the image in which the unregistered object is captured and stored in the database 510 .

또한, 등록객체(R)의 이상 경로 또는 이상 행동으로 인해, 등록객체(R)를 추적할 때에는 등록객체(R)에 부여된 등록번호로 해당 등록객체(R)의 이상 행동 또는 이상 경로에 대한 영상이 저장될 수 있다.In addition, due to the abnormal path or abnormal behavior of the registered object (R), when tracking the registered object (R), the registration number assigned to the registered object (R) is used to determine the abnormal behavior or path of the registered object (R). Images may be stored.

이를 통해, 이후 추적영역(A) 내로 진입한 객체가 등록객체(R)인지 새로운 객체인지 판별할 수 있어, 이후, 등록객체(R)의 진입 시, 과거 등록객체(R)가 진행한 경로를 토대로, 효율적으로 객체의 경로를 예측 및 비교 판단할 수 있다.Through this, it is possible to determine whether the object that has entered the tracking area (A) is a registered object (R) or a new object. Based on this, it is possible to efficiently predict and compare the path of the object.

연산부(530)는 후술할 추적부(580)의 추적모드(581, 583, 585)일 수 있는 협력추적모드(583) 및 예측추적모드(585)에 따라, 복수 개의 추적장비(100)를 제어하기 위해, 추적우선지수를 계산 또는 연산할 수 있다.The operation unit 530 controls the plurality of tracking devices 100 according to the cooperative tracking mode 583 and the predictive tracking mode 585, which may be the tracking modes 581, 583, and 585 of the tracking unit 580, which will be described later. To do this, a tracking priority index may be calculated or calculated.

즉, 복수 개의 추적장비(100)는 레이더센서(110) 및 감시카메라(130)를 포함하여, 객체가 추적영역(A) 내에서 해당 추적장비(100)와의 거리, 보폭, 이동 속도 등을 측정하면, 연산부(530)는 측정한 값에 따라, 하기 식을 통해, 추적우선지수를 계산 또는 연산하여, 높은 추적우선지수를 갖는 추적장비(100)로 객체의 추적이 가능할 수 있다.That is, the plurality of tracking devices 100 includes a radar sensor 110 and a surveillance camera 130, and the object measures a distance, stride length, movement speed, etc., with the corresponding tracking device 100 within the tracking area (A). Then, the calculation unit 530 calculates or calculates the tracking priority index through the following equation according to the measured value, so that the object can be tracked with the tracking device 100 having a high tracking priority index.

이때, 추적장비(100)의 추적우선지수를 연산할 때는, 레이더센서(110)에서 도출된 값으로 계산될 수 있다.At this time, when calculating the tracking priority index of the tracking device 100, it can be calculated as a value derived from the radar sensor (110).

하기 식은 다음과 같다.The following formula is as follows.

Value(추적우선지수) = (((Erng - Tdis)/Erng)* 100*Eweight)+(Sacc * Sweight)Value(Tracking Priority Index) = (((E rng - T dis )/E rng )* 100*E weight )+(S acc * S weight )

(여기서, Erng: 모든 감시카메라 내 최대 추적 사거리(m), Tdis: 감시카메라와 객체 간의 거리, Eweight: 사거리 가중치(0.0~1.0), Sacc: 센서 추적 정확도(백분율), Sweight: 정확도 가중치(0.0~1.0)(where E rng : Maximum tracking range within all surveillance cameras (m), T dis : Distance between surveillance camera and object, E weight : Range weight (0.0~1.0), S acc : Sensor tracking accuracy (percentage), S weight : Accuracy weight (0.0~1.0)

또한, 각 가중치는 사용자가 변경 가능할 수 있고, 센서 추적 정확도는 장비의 스펙에 따라, 달라질 수 있으며, 각 가중치는 사용자가 사거리와 정확도 중 추적 전환시 우선순위를 부여하기 위한 수치일 수 있어, 가중치의 합은 1을 유지할 수 있다.In addition, each weight may be changed by the user, the sensor tracking accuracy may vary depending on the specifications of the equipment, and each weight may be a numerical value for the user to give priority when switching tracking among range and accuracy. The sum of can be maintained at 1.

이때, 연산부(530)를 통해 연산된 추적우선지수를 다른 감시카메라(130)와 비교할 수 있도록, 제어부(500)에는 비교부를 포함할 수 있다.In this case, the control unit 500 may include a comparison unit so that the tracking priority index calculated through the operation unit 530 can be compared with the other surveillance cameras 130 .

비교부(540)는 복수 개의 추적장비(100)의 추적영역(A)이 중복되는 중복영역(L)에서 추적장비(100) 간의 추적우선지수를 계산하고, 상호 추적장비(100) 간에 계산된 추적우선지수를 전달받아 값을 비교할 수 있다.Comparator 540 calculates the tracking priority index between the tracking devices 100 in the overlapping area (L) where the tracking area (A) of the plurality of tracking devices 100 overlaps, and calculates the tracking priority index between the mutual tracking devices 100 You can compare the values by receiving the tracking priority index.

또한, 비교부(540)는 상술한 데이터베이스(510)에 저장된 등록객체(R)와 추적영역(A) 내로 진입한 객체의 등록 유무에 대해, 추적장비(100)에서 추출된 객체에 대한 정보를 토대로, 등록번호와 비교할 수 있다. 또한, 해당 객체가 등록번호가 부여된 객체를 추적할 시에는, 등록객체(R)의 기존의 데이터베이스(510)에 저장된 이동경로와 실시간 이동되는 등록객체(R)의 이동경로가 일정 범위를 벗어나는 지 여부를 비교할 수 있다.In addition, the comparator 540 compares the information on the object extracted from the tracking device 100 with respect to whether the registered object R stored in the above-described database 510 and the object that entered the tracking area A are registered. Based on it, it can be compared with the registration number. In addition, when the corresponding object tracks the object to which the registration number is assigned, the movement path stored in the existing database 510 of the registered object R and the movement path of the registered object R moved in real time are out of a certain range. You can compare whether

이때, 비교부(540)를 통해, 비교된 추적우선지수의 결과는 판단부(550)를 통해, 높은 값을 가진 추적우선지수의 추적장비(100)가 추적을 실행할 수 있다. 또한, 판단부(550)는 미등록 객체 를 판단할 수 있다.At this time, the result of the compared tracking priority index through the comparison unit 540 may be tracked by the tracking device 100 of the tracking priority index having a high value through the determination unit 550 . Also, the determination unit 550 may determine an unregistered object.

또한, 예측부(560)는 후술할 추적부(580)에 저장된 예측추적모드(585)를 실행할 수 있도록, 컨볼루션 신경망(CNN, Convolutional Neural Network)으로 객체를 구분할 수 있다. 예를 들어, 추적된 객체가 사람인지를 구분할 수 있고, 데이터베이스(510)에 저장된 객체인지 여부를 구분할 수 있다.In addition, the prediction unit 560 may classify the object using a convolutional neural network (CNN) to execute the prediction tracking mode 585 stored in the tracking unit 580 to be described later. For example, it is possible to distinguish whether the tracked object is a person, and it is possible to distinguish whether the tracked object is an object stored in the database 510 .

또한, 예측부(560)는 컨볼루션 신경망(CNN)을 통해, 객체가 사람 이외의 객체로 판단되면, 사용자에게 알람을 송신하도록 통제부(570)로 알람정보를 전송할 수 있다. 예를 들어, 객체의 폭이 높이보다 크면, 사람으로 판단하지 않을 수 있어, 이상 객체가 추정영역으로 출입된 상태를 알람정보로 전송할 수 있다.Also, the prediction unit 560 may transmit alarm information to the controller 570 to transmit an alarm to the user when the object is determined to be a non-human object through a convolutional neural network (CNN). For example, if the width of the object is greater than the height, it may not be determined as a person, so that the state of the abnormal object entering and leaving the estimated area may be transmitted as alarm information.

또한, 예측부(560)는 심층 신경망(DNN, Deep Neural Network)이 저장되어 있어, 컨볼루션 신경망(CNN)을 통해, 객체가 사람으로 구분되면, 심층 신경망(DNN) 기반의 경로 예측을 통해, 사람일 수 있는 해당 객체의 경로를 예측할 수 있다.In addition, the prediction unit 560 stores a deep neural network (DNN), and through a convolutional neural network (CNN), when an object is classified as a person, through a deep neural network (DNN)-based path prediction, It is possible to predict the path of the object, which may be a person.

또한, 예측부(560)는 진입한 객체가 등록객체(R) 이외의 객체인 미등록 객체 또는 사람 이외의 객체로 판단되면, 예측부(560)는 통제부(570)를 통해, 사용자에게 알람 정보를 전송하여, 통제부(570)가 디스플레이부(300)에 알람을 발생시키고, 해당 객체는 심층 신경망(DNN)을 통해, 경로를 예측할 수 있다.In addition, when the prediction unit 560 determines that the entered object is an unregistered object or an object other than a person, which is an object other than the registered object R, the prediction unit 560 provides alarm information to the user through the control unit 570 . , the controller 570 may generate an alarm on the display unit 300, and the corresponding object may predict a path through a deep neural network (DNN).

예측부(560)의 컨볼루션 신경망(CNN)에 의해, 해당 객체가 사람 이외의 것으로 판단되면, 객체의 특징일 수 있는 객체정보(O)의 특징정보를 추출하여 데이터베이스(510)에 저장시킬 수 있다.If the object is determined to be other than a human by the convolutional neural network (CNN) of the prediction unit 560, the characteristic information of the object information (O), which may be a characteristic of the object, is extracted and stored in the database 510. have.

예를 들어, 바닥면과 수직인 길이일 수 있는 높이와 바닥면으로부터 수평인 길이일 수 있는 폭의 길이에서 폭의 길이가 더 넓게 형성되면 사람 이외의 것으로 판단되고, 이는 객체의 특징으로 데이터베이스(510)에 저장될 수 있다.For example, if the length of the width is formed wider from the height that can be vertical to the floor and the length that can be horizontal from the floor, it is judged to be other than a person, and this is a database ( 510) may be stored.

통제부(570)는 연산부(530)에서 연산되어 비교부(540)와 판단부(550)를 통해 도출된 결과를 전달받아, 감시카메라(130)의 실행시키거나, 위치 또는 방향 등을 통제시킬 수 있다.The control unit 570 receives the results calculated by the calculation unit 530 and derived through the comparison unit 540 and the determination unit 550 , and executes the monitoring camera 130 or controls the position or direction. can

또한, 통제부(570)는 후술할 추적부(580)의 추적모드(581, 583, 585)에 따라, 감시카메라(130)가 객체를 추적, 촬영, 탐지모드할 수 있도록 통제할 수 있다.In addition, the control unit 570 may control the monitoring camera 130 to track, photograph, and detect an object according to tracking modes 581 , 583 , and 585 of the tracking unit 580 to be described later.

또한, 통제부(570)는 판단부(550)에서 이상 상황일 수 있는 사람 이외의 객체 등의 알람이 필요할 때, 알람정보를 수신 받아 디스플레이부(300)를 통해, 사용자에게 알람을 전송할 수 있다.In addition, when the determination unit 550 requires an alarm such as an object other than a person that may be in an abnormal situation, the control unit 570 may receive alarm information and transmit the alarm to the user through the display unit 300 . .

추적부(580)는 추적영역(A)에 객체가 진입하여 추적, 촬영 및 탐지되는 객체를 정확하게 추적하고, 효율적으로 복수 개의 추적장비(100)를 작동시키며, 객체의 이동 경로를 예측할 수 있고, 불필요한 추적을 방지하고, 데이터, 인력 등의 자원소모를 절감시킬 수 있다.The tracking unit 580 accurately tracks an object to be tracked, photographed and detected when an object enters the tracking area A, efficiently operates a plurality of tracking devices 100, and can predict the movement path of the object, It can prevent unnecessary tracking and reduce the consumption of resources such as data and manpower.

추적부(580)에는 복수 개의 추적모드(581, 583, 585)가 저장될 수 있다. 이때, 추적모드(581, 583, 585)는 데이터베이스(510)에 기저장된 등록객체(R)에 대한 등록번호와 추적장비(100)에서 추출된 객체정보(O)인 객체의 키, 보폭, 이동 방향, 이동속도를 사용하여, 연산부(530), 비교부(540), 예측부(560), 판단부(550) 및 통제부(570)를 통해, 객체의 추적이 가능할 수 있다. 이때, 추적모드(581, 583, 585)는, 추적영역(A)에 진입되는 객체의 경로를 추적, 촬영, 예측하는 모드일 수 있다.A plurality of tracking modes 581 , 583 , and 585 may be stored in the tracking unit 580 . At this time, the tracking modes 581 , 583 , and 585 are the registration number for the registered object R stored in the database 510 and the object information (O) extracted from the tracking device 100, the height, stride, and movement of the object. Using the direction and the moving speed, the object may be tracked through the calculating unit 530 , the comparing unit 540 , the predicting unit 560 , the determining unit 550 , and the controlling unit 570 . In this case, the tracking modes 581 , 583 , and 585 may be a mode for tracking, photographing, and predicting the path of an object entering the tracking area A.

또한, 추적모드(581, 583, 585)는 등록객체(R) 또는 미등록 객체의 경로를 추적 또는 예측하기 위해, 단독추적모드(581), 협력추적모드(583) 및 예측추적모드(585)를 포함할 수 있다.In addition, the tracking modes 581, 583, 585 include a single tracking mode 581, a cooperative tracking mode 583 and a predictive tracking mode 585 to track or predict the path of the registered object R or unregistered object. may include

단독추적모드(581)는 추적장비(100)가 추적영역(A)을 추적 또는 촬영할 때, 객체가 복수 개의 추적장비(100)의 촬영 가능한 범위에 위치하면, 복수 개의 추적장비(100)의 중복 추적을 허용할 수 있어, 객체에 대한 위치, 이동 등에 대한 추적을 반복적으로 탐지할 수 있다.In the single tracking mode 581 , when the tracking device 100 tracks or shoots the tracking area A, if the object is located in the photographable range of the plurality of tracking devices 100 , the plurality of tracking devices 100 overlap Tracking can be allowed, so that tracking of the location, movement, etc. of an object can be repeatedly detected.

이를 통해, 추적영역(A) 내에 진입하여 해당 추적장비(100)의 추적영역(A) 내의 객체에 대해, 다양한 각도로 객체의 추적 또는 촬영이 가능할 수 있어, 객체정보(O)일 수 있는 객체의 위치, 이동 방향 등의 추출이 더욱 정확할 수 있다.Through this, it is possible to track or photograph the object at various angles with respect to the object within the tracking area A of the tracking device 100 by entering the tracking area A, so that the object may be object information (O). The extraction of the position, movement direction, etc. of may be more accurate.

협력추적모드(583)는 복수의 추적장비(100)가 추적영역(A)을 추적 또는 촬영할 때, 객체가 복수 개의 추적장비(100)의 추적 또는 촬영 가능한 범위에 위치하면, 복수 개의 추적장비(100) 중에서 하나의 추적장비(100)가 선택되어 객체를 추적하는 모드일 수 있다.In the cooperative tracking mode 583, when the plurality of tracking devices 100 track or photograph the tracking area A, when the object is located in the tracking or photographing range of the plurality of tracking devices 100, the plurality of tracking devices ( 100) may be a mode in which one tracking device 100 is selected to track an object.

또한, 하나의 추적장비(100)가 객체를 추적 또는 촬영하게 되면, 다른 타 장비들은 탐지영역을 탐지하는 탐지모드로 전환되어 추적 중인 객체 외의 다른 객체의 진입 등을 감시할 수 있다.In addition, when one tracking device 100 tracks or captures an object, other devices may switch to a detection mode for detecting a detection area and monitor the entry of other objects other than the object being tracked.

탐지모드는 탐지영역을 탐지하는 모드로써, 추적영역(A)보다 범위가 넓은 탐지영역에 레이더센서(110)를 통해, 객체의 진입여부를 판단할 수 있고, 객체가 추적영역(A)으로 진입시 객체를 추적하는 추적모드(581, 583, 585)가 수행될 수 있다.The detection mode is a mode for detecting the detection area, and through the radar sensor 110 in the detection area wider than the tracking area (A), it is possible to determine whether an object has entered, and when the object enters the tracking area (A) Tracking modes 581, 583, and 585 for tracking an object may be performed.

이때, 객체의 추적 또는 촬영을 위한 하나의 추적장비(100)를 결정하는 것은 추적우선지수로 결정될 수 있다. 추적우선지수는 연산부(530)에서 연산될 수 있고, 추적우선지수에 부합하는 추적장비(100)가 객체를 추적 또는 촬영할 수 있다. 이때, 추적우선지수가 높은 값을 갖는 추적장비(100)일 수 있다.In this case, determining one tracking device 100 for tracking or photographing an object may be determined by a tracking priority index. The tracking priority index may be calculated by the calculation unit 530 , and the tracking device 100 matching the tracking priority index may track or photograph the object. In this case, the tracking priority index may be a tracking device 100 having a high value.

예를 들어, 제1 추적장비(111, 131)와 제2 추적장비(112, 132)가 하나의 객체를 추적하는데 각각의 추적영역(A)이 중복되는 중복영역이 형성되면, 협력추적모드(583)가 실행될 수 있다.For example, when the first tracking device (111, 131) and the second tracking device (112, 132) track one object, and an overlapping area in which each tracking area (A) overlaps is formed, the cooperative tracking mode ( 583) can be executed.

이때, 추적 또는 촬영하는 추적장비(100) 외의 추적 또는 촬영하는 중복영역(L)의 추적장비(100)는 탐지모드로 전환되어 해당 객체 외의 다른 객체를 탐지하여 촬영영역 내의 영상정보를 생성 및 저장하는 상태를 수행할 수 있다.At this time, the tracking device 100 of the overlapping area L for tracking or shooting other than the tracking device 100 for tracking or shooting is switched to the detection mode to detect an object other than the corresponding object to generate and store image information in the shooting area. state can be performed.

예를 들어, 제1 추적장비(111, 131)와 제2 추적장비(112, 132) 중 제1 추적장비(111)의 추적우선지수가 높게 연산되어 제1 추적장비(111, 131)가 추적 또는 촬영을 진행하게 되고, 객체가 중복영역(L)에서 이동되고 있으면, 1초마다 제1 추적장비(111, 131)와 제2 추적장비(112, 132)는 추적우선지수를 다시 계산하여, 객체를 추적할 장비가 계산 또는 연산되어 재선택될 수 있다.For example, the tracking priority index of the first tracking device 111 among the first tracking devices 111 and 131 and the second tracking devices 112 and 132 is calculated to be high, so that the first tracking devices 111 and 131 are tracked. Or, if the shooting is in progress and the object is moving in the overlapping area (L), the first tracking device (111, 131) and the second tracking device (112, 132) recalculate the tracking priority index every 1 second, The equipment to track the object may be calculated or computed and reselected.

이를 통해, 반복적으로 중복영역(L)을 이동하고, 왕복하는 객체에 대한 위치와 행동을 실시간으로 추적 가능하고, 객체가 중복영역(L)으로 재진입시 오류를 방지할 수 있다.Through this, it is possible to repeatedly move the overlapping area (L), track the position and behavior of the reciprocating object in real time, and prevent an error when the object re-enters the overlapping area (L).

협력추적모드(583)의 감시는 복수 개의 추적장비(100)가 각각 개별적으로 객체를 반복적으로 감시하고, 객체가 해당 추적장비(100)의 추적영역(A)으로 진입하면, 해당 영역을 감시하던 추적장비(100)는 객체를 추적할 수 있다.In the cooperative tracking mode 583 monitoring, a plurality of tracking devices 100 each individually and repeatedly monitors an object, and when the object enters the tracking area (A) of the tracking device 100, monitoring the corresponding area The tracking device 100 may track an object.

이때, 미등록 객체는 객체에 따라, 상술한 식별부(520)에 의해, 식별번호가 부가된 상태일 수 있고, 식별번호가 부가된 미등록 객체의 객체정보(O)는 식별번호에 따라, 데이터베이스(510)로 저장될 수 있다.At this time, depending on the object, the identification number may be added to the unregistered object by the above-described identification unit 520 , and the object information (O) of the unregistered object to which the identification number is added is the database ( 510) may be stored.

또한, 복수 개의 추적장비(100)의 추적영역(A)이 중복되는 경우, 설정된 값인 추적우선지수에 따라, 추적우선지수가 높은 추적장비(100)가 객체를 추적할 수 있어, 추적 중인 객체가 이동하여 또 다른 추적장비(100)와 추적영역(A)이 중복되는 경우 연산부(530)는 1초 간격으로 추적영역(A)이 겹치는 두 추적장비(100)의 추적우선지수를 각각 계산하고, 추적 중이지 않는 추적장비(100)의 추적우선지수가 높아지면 높아진 추적장비(100)로 추적 상태를 전환할 수 있고, 기존 추적하고 있던 추적장비(100)는 탐지모드로 전환될 수 있다.In addition, when the tracking area (A) of the plurality of tracking devices 100 overlaps, according to the tracking priority index, which is a set value, the tracking device 100 with a high tracking priority index can track the object, so that the object being tracked is If the tracking area (A) overlaps with another tracking device (100) by moving, the calculation unit (530) calculates the tracking priority index of the two tracking devices (100) overlapping the tracking area (A) at 1 second intervals, respectively, When the tracking priority index of the tracking device 100 that is not being tracked increases, the tracking state can be switched to the increased tracking device 100, and the tracking device 100 that is being tracked can be switched to a detection mode.

도 5은 본 발명의 일 실시예에 따른 추적부의 컨볼루션 신경망(CNN, Convolution Neural Network)의 계층을 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 추적부의 심층 신경망(DNN, Deep Neural Network)를 나타낸 도면이다.5 is a diagram illustrating a layer of a convolutional neural network (CNN) of a tracking unit according to an embodiment of the present invention, and FIG. 6 is a deep neural network (DNN) of a tracking unit according to an embodiment of the present invention. Network) is shown.

도 5 및 도 6을 참고하면, 예측추적모드(585)는 복수 개의 추적장비(100)가 각각 개별 추적영역(A)을 감시하고 있는 상태에서 객체가 추적영역(A)에 진입하면 추적영역(A)에 해당하는 추적장비(100)가 추적을 시작할 수 있다.5 and 6, the predictive tracking mode 585 is a tracking area ( The tracking device 100 corresponding to A) may start tracking.

이때, 추적을 시작하는 해당 추적장비(100)는 컨볼루션 신경망(CNN, Convolutional Neural Network) 기반의 객체 구분을 통해, 탐지된 객체의 종류를 구분할 수 있다. 예를 들어, 사람과 사람 이외의 객체를 구분시킬 수 있다. 이때, 컨볼루션 신경망(CNN)은 별도의 DB를 저장할 수 있다.In this case, the tracking device 100 that starts tracking may classify the type of the detected object through object classification based on a convolutional neural network (CNN). For example, a person may be distinguished from an object other than a person. In this case, the convolutional neural network (CNN) may store a separate DB.

또한, 컨볼루션 신경망(CNN)의 구분은 특정 필터를 이용해 입력된 이미지에서 특징을 추출하고, 완전 연결 계층 (Fully-Connected Layer)에서 분류를 수행할 수 있다. 이때, 분류를 하기 위해 우선적으로 신뢰할 수 있는 사람의 얼굴정보를 DB(Database)에 저장하고, 이를 컨볼루션 신경망(CNN)의 학습데이터로 이용하여 컨볼루션 신경망(CNN)을 학습시킬 수 있다.In addition, the classification of the convolutional neural network (CNN) can extract features from the input image using a specific filter and perform classification in the fully-connected layer. In this case, in order to perform classification, face information of a person who can be trusted is first stored in a database (DB), and the convolutional neural network (CNN) can be trained by using this as learning data of the convolutional neural network (CNN).

또한, 컨볼루션 신경망(CNN)은 도 6에 도시된 바와 같이 컨볼루션 계층(Convolution Layer), 최대 풀링 계층(Max Pooling Layer), 완전 연결 계층으로 이루어져 있다.In addition, as shown in FIG. 6 , the convolutional neural network (CNN) consists of a convolution layer, a max pooling layer, and a fully connected layer.

이때, 컨볼루션 계층은 이미지의 특징들을 추출할 수 있고, 최대 풀링 계층은 이미지의 크기를 절반으로 줄이며 강한 특징을 추출할 수 있다.In this case, the convolution layer may extract features of the image, and the maximum pooling layer may reduce the size of the image by half and extract strong features.

이와 같이, 컨볼루션 계층과 최대 풀링 계층을 반복적으로 구성하여 강한 특징들로 구성된 특징맵(feature Map)을 뽑아낼 수 있다.In this way, it is possible to extract a feature map composed of strong features by repeatedly configuring the convolutional layer and the maximum pooling layer.

이후, 완전연결 계층에 전달되기 전 플래튼 계층(Flatten Layer)을 통과하여 특징맵을 1차원으로 변경 후, 완전연결 계층을 통과하여 최종적으로 학습된 이미지와의 비교를 통해 이미지 분류를 수행할 수 있다.After that, before being delivered to the fully connected layer, the feature map is changed to one-dimensional by passing through the flatten layer, and then image classification can be performed through comparison with the finally learned image through the fully connected layer. have.

이때, 학습된 이미지와 유사도가 임계 값을 넘으면 DB에 등록 사람으로 판단하고, 유사도가 임계 값보다 작으면 Unknown으로 분류할 수 있다.At this time, if the similarity with the learned image exceeds the threshold, it is determined as a person registered in the DB, and if the similarity is less than the threshold, it can be classified as Unknown.

추적영역(A)의 감시카메라(130)가 추적을 시작하면, 움직이는 영역의 이미지를 CNN 모델의 입력하여 해당 이미지가 DB에 있는 사람인지 아니면 Unknown 인지 판단한다.When the monitoring camera 130 of the tracking area (A) starts tracking, the image of the moving area is input to the CNN model to determine whether the image is a person in the DB or unknown.

이후, 구분된 객체의 종류가 DB에 있는 사람일 경우, 심층 신경망(DNN, Deep Neural Network) 기반의 경로 예측을 통해 해당 사람의 이동경로를 예측한다.Thereafter, when the type of the classified object is a person in the DB, the movement path of the person is predicted through path prediction based on a deep neural network (DNN).

구분된 객체의 종류가 Unknown일 경우, 통제부(570)로 알람정보를 전송하고 통제부(570)는 알람정보를 디스플레이부(300)로 전송시켜 알람을 발생시킬 수 있고, DNN 기반의 경로 예측을 통해 해당 사람의 이동 경로를 예측할 수 있다. 이때, 사용자는 발생한 알람을 확인하고 해제할 수 있다.When the type of the classified object is Unknown, the controller 570 transmits alarm information and the controller 570 transmits the alarm information to the display unit 300 to generate an alarm, DNN-based path prediction It is possible to predict the movement path of the corresponding person. In this case, the user may check and cancel the generated alarm.

Unknown 이미지는 라벨링하여 컨볼루션 신경망(CNN)의 별도 DB와 데이터베이스(510)에 저장할 수 있고, 이를 컨볼루션 신경망(CNN)의 학습데이터로 사용하여 객체 구분에 대한 성능향상에 이용할 수 있다.Unknown images can be labeled and stored in a separate DB and database 510 of a convolutional neural network (CNN), and can be used as training data of a convolutional neural network (CNN) to improve performance for object classification.

구분된 객체가 사람일 경우, 심층 신경망(DNN, Ceep Neural Network)를 통해, 객체의 이동 경로를 예측할 수 있다. When the divided object is a human, the movement path of the object can be predicted through a deep neural network (DNN).

심층 신경망(DNN) 기반 경로 예측 모델은 해당 객체의 이동 방향, 이동 속도를 이용하여 대상의 이동경로 예측 지도(Path Prediction Map)을 생성할 수 있다.A deep neural network (DNN)-based path prediction model may generate a path prediction map of a target by using the moving direction and moving speed of the corresponding object.

또한, 심층 신경망(DNN)의 은닉 계층(Hidden Layer)은 여러 개인 인공 신경망으로, 손실 함수(Loss Function)를 정의하여 손실 함수가 최소가 되는 값으로 모델을 훈련시켜 원하는 예측 값을 얻을 수 있다.In addition, the hidden layer of a deep neural network (DNN) is an artificial neural network with several individuals, and by defining a loss function, the model can be trained to a value that minimizes the loss function to obtain a desired prediction value.

또한, 심층 신경망(DNN)을 사전에 많은 데이터로 훈련시키면 더 좋은 예측 성능을 기대할 수 있기 때문에, 여러 추적 영상을 기반으로 객체의 이동 방향과 이동 속도를 얻어 심층 신경망(DNN)을 훈련시킬 수 있다.In addition, since better prediction performance can be expected if a deep neural network (DNN) is trained with a lot of data in advance, a deep neural network (DNN) can be trained by obtaining the movement direction and movement speed of an object based on several tracking images. .

심층 신경망(DNN)의 훈련 단계는 먼저 입력 Feature인 객체의 이동 방향과 이동 속도를 추적 시작단계에서의 객체의 위치와 일정 시간 뒤의 객체의 위치를 바탕으로 객체의 이동 방향과 이동 속도를 습득할 수 있다.In the training stage of the deep neural network (DNN), first, the movement direction and movement speed of the object, which are input features, is acquired based on the position of the object at the start of tracking and the position of the object after a certain period of time. can

이후, 최소화할 손실함수를 실제 이동 경로와 예측 이동 경로의 차로 정의하고, 예측 이동경로와 실제 이동경로의 차가 최소가 되게 심층 신경망(DNN)의 가중치를 학습시킬 수 있다.Thereafter, the loss function to be minimized may be defined as the difference between the actual movement path and the predicted movement path, and the weights of the deep neural network (DNN) may be trained to minimize the difference between the predicted movement path and the actual movement path.

심층 신경망(DNN)의 입력 계층은 입력 Feature와 동일한 2층, 출력 계층은 예측 경로인 1층으로 구성한다. 이렇게 예측한 경로를 바탕으로 추적장비(100)가 커버하는 영역에 대해 이동경로 예측 지도를 생성할 수 있다.The input layer of a deep neural network (DNN) consists of the same two layers as the input features, and the output layer consists of the first layer, which is the prediction path. Based on the predicted path, a movement path prediction map may be generated for the area covered by the tracking device 100 .

또한, 심층 신경망(DNN)을 통해, 생성된 이동경로 예측 지도에서 가장 높은 확률을 가지는 이동경로를 선정하고, 이 경로를 포함하는 다른 추적장비(100)는 해당 경로에 대해 미리 추적할 수 있도록 추적대기 모드로 변경할 수 있다.In addition, through a deep neural network (DNN), a movement path with the highest probability is selected from the generated movement path prediction map, and other tracking equipment 100 including this path is traced so that the corresponding path can be traced in advance. You can change to standby mode.

이때, 객체가 중복영역(L)에 진입하면, 기존 추적장비(100)는 객체 추적을 유지하고, 다른 추적장비(100)는 해당 객체를 기존 추적장비(100)와 동시에 추적할 수 있어, 객체를 추적하는데 필요한 객체정보()를 정확하게 추출할 수 있다.At this time, when the object enters the overlapping area (L), the existing tracking device 100 maintains object tracking, and the other tracking device 100 can track the corresponding object with the existing tracking device 100 at the same time. It is possible to accurately extract the object information () required to track

이때, 객체의 예측 이동 경로가 장비의 추적영역(A)을 벗어나 다른 장비의 추적영역(A)으로 이동하게 되면, 기존 장비는 탐지모드로 전환될 수 있다.At this time, when the predicted movement path of the object moves from the tracking area (A) of the equipment to the tracking area (A) of other equipment, the existing equipment may be switched to the detection mode.

상술한 바와 같이, 본 발명의 빅데이터 기반 영상 감시시스템(10)은, 각 추적영역(A)을 갖는 복수 개의 추적장비(100)가 객체를 각각의 추적장비(100) 별로 추적할 수 있고, 독립적으로 추적된 추적장비(100) 간의 연동 가능하여, 중복되는 정보를 최소화할 수 있어, 잉여 데이터 생성을 방지하고, 불필요한 추적을 방지하여 비용 및 인력을 절감시킬 수 있어, 추적장비(100) 들의 운영 효율을 향상시킬 수 있다.As described above, in the big data-based video surveillance system 10 of the present invention, a plurality of tracking devices 100 having each tracking area A can track an object for each tracking device 100, Since it is possible to interlock between independently tracked tracking devices 100, it is possible to minimize overlapping information, thereby preventing redundant data generation, and preventing unnecessary tracking, thereby reducing costs and manpower. It can improve operational efficiency.

또한, 디스플레이부(300)에 2D 매핑화된 지도를 표시할 수 있어, 사용자가 간편하게 객체의 이동을 확인할 수 있고, 객체의 이동 경로도 사전에 예측할 수 있으며, 독립촬영범위 밖으로 이동되는 객체의 이동 경로도 일부 예측 가능할 수 있어, 다양한 분야에서 활용 가능할 수 있다.In addition, since a 2D mapped map can be displayed on the display unit 300, the user can easily check the movement of the object, predict the movement path of the object in advance, and the movement of the object moving outside the independent shooting range The path may also be partially predictable, so it can be used in various fields.

이상에서, 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 혹은 이들 중 하나 이상의 조합에서 구현 가능하다.In the above, the functional operations described herein and the embodiments related to the subject matter are implemented in digital electronic circuits or computer software, firmware or hardware, including the structures disclosed herein and structural equivalents thereof, or in a combination of one or more thereof. can be implemented

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.The present description sets forth the best mode of the invention, and provides examples to illustrate the invention and to enable any person skilled in the art to make or use the invention. This written specification does not limit the present invention to the specific terms presented.

따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.Accordingly, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art can make modifications, changes, and modifications to these examples without departing from the scope of the present invention. In short, in order to achieve the intended effect of the present invention, it is not necessary to separately include all the functional blocks shown in the drawings or follow all the orders shown in the drawings. Note that it may fall within the scope.

이상의 본 발명은 도면에 도시된 실시 예(들)를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형이 이루어질 수 있으며, 상기 설명된 실시예(들)의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해여야 할 것이다.Although the present invention has been described above with reference to the embodiment(s) shown in the drawings, this is only exemplary, and various modifications may be made therefrom by those skilled in the art, and the above-described embodiment It will be understood that all or part of (s) may optionally be combined. Accordingly, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

10: 빅데이터 기반 영상 감시시스템.
100: 추적장비 110: 레이더센서
130: 감시카메라
300: 디스플레이부
500: 제어부 510: 데이터베이스
520: 식별부 530: 연산부
540: 비교부 550: 판단부
560: 예측부 570: 통제부
580: 추적부 581: 단독추적모드
583: 협력추적모드 585: 예측추적모드
R; 등록객체 A: 추적영역
O: 객체정보 L: 중복영역10: Big data-based video surveillance system.
100: tracking equipment 110: radar sensor
130: surveillance camera
300: display unit
500: control unit 510: database
520: identification unit 530: calculation unit
540: comparison unit 550: judgment unit
560: prediction unit 570: control unit
580: tracking unit 581: independent tracking mode
583: cooperative tracking mode 585: predictive tracking mode
R; Registered object A: tracking area
O: object information L: overlapping area

Claims (7)

레이더센서로 객체의 존재 유무를 탐지하는 탐지영역과 미리 등록된 등록객체가 출입가능한 영역인 추적영역을 가지는 복수 개의 추적장비;
상기 객체에 등록번호를 부여하여 상기 객체를 등록객체로 저장하는 데이터베이스;
상기 데이터베이스에 미등록 객체가 추적영역에 탐지되면, 상기 미등록 객체와 상기 미등록 객체가 탐지된 복수의 추적장비 사이의 거리를 측정하여 추적우선지수를 산정하는 제어부를 포함하고,
상기 제어부는 복수 개의 상기 추적장비의 추적영역이 중복되는 중복영역에서 상기 추적우선지수가 높은 상기 추적장비가 상기 객체의 위치를 추적하도록 제어하는 것을 특징으로 하고,
상기 추적우선지수는 상기 객체와 상기 추적장비의 거리값과, 상기 미등록 객체를 촬영하는 상기 추적장비의 성능에 따른 지수인 성능값에 따른 가중치를 고려하여 산정하는 것을 특징으로 하며,
상기 추적우선지수는 하기 식으로 산정되는 것을 특징으로 하는 빅데이터 기반 영상 감시시스템.
Value = (((Erng - Tdis)/Erng)*(100*Eweight)+(Sacc * Sweight)
(여기서, Erng: 모든 추적장비 내 최대 추적 사거리(m), Tdis: 추적장비와 객체 간의 거리, Eweight: 사거리 가중치(0.0~1.0), Sacc: 센서 추적 정확도(백분율), Sweight: 정확도 가중치(0.0~1.0), 사거리 가중치와 정확도 가중치의 합은 1이다.)
a plurality of tracking devices having a detection area for detecting the presence or absence of an object with a radar sensor and a tracking area which is an area where pre-registered registered objects can enter and exit;
a database for storing the object as a registered object by assigning a registration number to the object;
When a non-registered object in the database is detected in the tracking area, a control unit for calculating a tracking priority index by measuring the distance between the non-registered object and a plurality of tracking devices in which the non-registered object is detected,
Wherein the control unit controls the tracking device having a high tracking priority index to track the position of the object in an overlapping area where the tracking areas of a plurality of tracking devices overlap,
The tracking priority index is calculated in consideration of the distance value between the object and the tracking device, and a weight according to the performance value, which is an index according to the performance of the tracking device for photographing the unregistered object,
The tracking priority index is a big data-based video surveillance system, characterized in that calculated by the following equation.
Value = (((E rng - T dis )/E rng )*(100*E weight )+(S acc * S weight )
(where E rng : Maximum tracking range within all tracking devices (m), T dis : Distance between tracking device and object, E weight : Range weight (0.0~1.0), S acc : Sensor tracking accuracy (percentage), S weight : Accuracy weight (0.0~1.0), the sum of the range weight and the accuracy weight is 1.)
 삭제delete 삭제delete 제1 항에 있어서,
상기 추적장비는 영상정보를 출력하는 감시카메라를 더 포함하여, 상기 제어부가 상기 객체를 식별하여 미등록된 사람으로 판단되는 경우, 상기 객체에 상기 객체를 식별하기 위한 식별표시를 상기 영상정보에 출력하여 디스플레이부로 표출하는 것을 특징으로 하는 빅데이터 기반 영상 감시시스템.
The method of claim 1,
The tracking device further includes a surveillance camera for outputting image information, and when the control unit identifies the object and determines that it is an unregistered person, by outputting an identification mark for identifying the object on the object to the image information Big data-based video surveillance system, characterized in that it is displayed on a display unit.
 제4 항에 있어서,
상기 디스플레이부는,
상기 영상정보를 표시하는 표시부; 및
상기 감시카메라를 조절하는 조이스틱과 상기 감시카메라의 모드를 수동으로 전환하는 전환버튼이 구비된 수동제어부를 포함하는 디스플레이부를 더 포함하는 빅데이터 기반 영상 감시시스템.
5. The method of claim 4,
The display unit,
a display unit for displaying the image information; and
Big data-based video surveillance system further comprising a display unit including a joystick for controlling the surveillance camera and a manual controller having a switch button for manually switching the mode of the surveillance camera.
 제1 항에 있어서,
상기 제어부는,
상기 등록번호가 부여된 상기 객체의 키, 보폭, 이동속도, 폭에 대한 정보인 객체정보를 추출하여 상기 데이터베이스에 저장하고,
초기에 진입한 상기 객체의 상기 객체정보를 추출하여 상기 객체정보와 비교하여 해당 상기 객체의 상기 등록번호에 포함된 경로정보를 업데이트하는 것을 특징으로 하는 빅데이터 기반 영상 감시시스템.
The method of claim 1,
The control unit is
Extracting object information, which is information on the height, stride length, movement speed, and width of the object to which the registration number is given, is stored in the database,
Big data-based video surveillance system, characterized in that by extracting the object information of the initially entered object, comparing it with the object information, and updating the path information included in the registration number of the corresponding object.
 제4 항에 있어서,
상기 제어부는,
상기 탐지영역을 가지는 감지센서로 미등록 객체에 대해 감지하고, 상기 객체가 미등록인 경우, 상기 객체의 영상정보를 생성하는 상기 감시카메라를 제어하는 것을 특징으로 하는 빅데이터 기반 영상 감시시스템.5. The method of claim 4,
The control unit is
A big data-based video surveillance system, characterized in that the detection sensor having the detection area detects an unregistered object, and when the object is unregistered, controls the surveillance camera that generates image information of the object.
KR1020220063919A 2022-05-25 2022-05-25 Big data-based video surveillance system KR102464196B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220063919A KR102464196B1 (en) 2022-05-25 2022-05-25 Big data-based video surveillance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220063919A KR102464196B1 (en) 2022-05-25 2022-05-25 Big data-based video surveillance system

Publications (1)

Publication Number Publication Date
KR102464196B1 true KR102464196B1 (en) 2022-11-09

Family

ID=84040307

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220063919A KR102464196B1 (en) 2022-05-25 2022-05-25 Big data-based video surveillance system

Country Status (1)

Country Link
KR (1) KR102464196B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102561351B1 (en) * 2022-12-30 2023-07-28 김주하 Method, management device and system for registering and controlling a plurality of camera devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110093659A (en) * 2010-02-10 2011-08-18 캐논 가부시끼가이샤 Image recognition apparatus and method
KR20130068343A (en) * 2011-12-15 2013-06-26 한국산업기술대학교산학협력단 System and method for multiple ptz camera control based on intelligent multi-object tracking algorithm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110093659A (en) * 2010-02-10 2011-08-18 캐논 가부시끼가이샤 Image recognition apparatus and method
KR20130068343A (en) * 2011-12-15 2013-06-26 한국산업기술대학교산학협력단 System and method for multiple ptz camera control based on intelligent multi-object tracking algorithm

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102561351B1 (en) * 2022-12-30 2023-07-28 김주하 Method, management device and system for registering and controlling a plurality of camera devices

Similar Documents

Publication Publication Date Title
JP6905850B2 (en) Image processing system, imaging device, learning model creation method, information processing device
KR101788269B1 (en) Method and apparatus for sensing innormal situation
JP4852765B2 (en) Estimating connection relationship between distributed cameras and connection relationship estimation program
KR101337060B1 (en) Imaging processing device and imaging processing method
RU2670429C1 (en) Systems and methods of tracking moving objects on video image
JP4984728B2 (en) Subject collation device and subject collation method
EP2058777A1 (en) Suspicious behavior detection system and method
JP2006146378A (en) Monitoring system using multiple camera
JP6233624B2 (en) Information processing system, information processing method, and program
CN101714255A (en) Abnormal behavior detection device
US7295106B1 (en) Systems and methods for classifying objects within a monitored zone using multiple surveillance devices
KR102464196B1 (en) Big data-based video surveillance system
KR102519151B1 (en) Moving line tracking system and method for arrival hall of liability to crime travelers
JP2020145511A (en) Camera device, person detection method, and person detection system
KR102476777B1 (en) AI-based path prediction system
JP5758165B2 (en) Article detection device and stationary person detection device
CN109977796A (en) Trail current detection method and device
KR102351476B1 (en) Apparatus, system and method for object collision prediction
CN113033521A (en) Perimeter dynamic early warning method and system based on target analysis
KR102464197B1 (en) Big data-based video surveillance method
JP6570906B2 (en) Monitoring system and monitoring method
JP5712401B2 (en) Behavior monitoring system, behavior monitoring program, and behavior monitoring method
KR102482545B1 (en) AI-based path prediction method
JP2003109001A (en) System and program for detecting person
JP2005284652A (en) Video monitoring method and apparatus using moving vector

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant