KR20230077565A - Collaboration-based intelleigent video security system, server, cooperating server and method of analyzing video based on cooperation thereof - Google Patents

Collaboration-based intelleigent video security system, server, cooperating server and method of analyzing video based on cooperation thereof Download PDF

Info

Publication number
KR20230077565A
KR20230077565A KR1020210164969A KR20210164969A KR20230077565A KR 20230077565 A KR20230077565 A KR 20230077565A KR 1020210164969 A KR1020210164969 A KR 1020210164969A KR 20210164969 A KR20210164969 A KR 20210164969A KR 20230077565 A KR20230077565 A KR 20230077565A
Authority
KR
South Korea
Prior art keywords
server
information
collaboration
video
edge camera
Prior art date
Application number
KR1020210164969A
Other languages
Korean (ko)
Inventor
김동칠
박성주
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210164969A priority Critical patent/KR20230077565A/en
Publication of KR20230077565A publication Critical patent/KR20230077565A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

협업 기반 지능형 영상보안 시스템이 제공된다. 상기 시스템은 영상을 촬영하고, 촬영된 영상을 분석한 제1 영상 분석 정보를 생성하는 하나 이상의 엣지 카메라, 상기 엣지 카메라로부터 상기 영상, 제1 영상 분석 정보 및 엣지 카메라 세부 정보를 수신 및 관리하고, 상기 엣지 카메라와 영상분석서버간의 연동을 위한 협업 처리를 수행하는 통합관제서버, 상기 통합관제서버로부터 상기 영상 및 엣지 카메라 세부 정보를 전달받아 상기 영상을 분석한 제2 영상 분석 정보를 생성하는 영상분석서버 및 상기 통합관제서버로부터 상기 제1 영상 분석 정보와 엣지 카메라 세부 정보를 전달받고, 상기 영상분석서버로부터 제2 영상 분석 정보를 전달받아 협업 제어 정보를 생성하고, 상기 협업 제어 정보를 상기 영상분석서버 및 상기 통합관제서버를 통해 엣지 카메라로 제공하는 지능형협업서버를 포함한다.A collaboration-based intelligent video security system is provided. The system captures an image and receives and manages one or more edge cameras that generate first image analysis information by analyzing the captured image, the image, first image analysis information, and edge camera detailed information from the edge camera, An integrated control server that performs collaborative processing for interworking between the edge camera and the video analysis server, and video analysis that receives the video and edge camera detailed information from the integrated control server and generates second video analysis information obtained by analyzing the video. The first video analysis information and edge camera detailed information are received from the server and the integrated control server, the second video analysis information is received from the video analysis server, and collaboration control information is generated, and the collaboration control information is converted into the video analysis information. It includes a server and an intelligent collaboration server provided to the edge camera through the integrated control server.

Description

협업 기반 지능형 영상보안 시스템, 지능형 협업 서버 및 이의 협업 기반 영상 분석 방법{COLLABORATION-BASED INTELLEIGENT VIDEO SECURITY SYSTEM, SERVER, COOPERATING SERVER AND METHOD OF ANALYZING VIDEO BASED ON COOPERATION THEREOF}Collaboration-based intelligent video security system, intelligent collaboration server, and collaboration-based video analysis method thereof

본 발명은 협업 기반 지능형 영상보안 시스템, 지능형 협업 서버 및 이의 협업 기반 영상 분석 방법에 관한 것이다.The present invention relates to a collaboration-based intelligent video security system, an intelligent collaboration server, and a collaboration-based video analysis method thereof.

카메라와 통합관제시스템 간의 연동을 위해 ONVIF(Open Network Video Interface Forum) 표준이 국내외에서 주로 적용되고 있다. 또한, 영상보안시스템에 대한 시스템 요구 사항, 비디오 전송 프로토콜, 아날로그와 디지털 인터페이스 등에 대한 표준화는 IEC(International Electrotechnical Commission) 및 TTA에서 추진되고 있다.For interworking between cameras and integrated control systems, ONVIF (Open Network Video Interface Forum) standard is mainly applied at home and abroad. In addition, standardization of system requirements for image security systems, video transmission protocols, analog and digital interfaces, etc. is promoted by the International Electrotechnical Commission (IEC) and TTA.

하지만, 엣지 카메라, 통합관제시스템, 영상분석시스템 간의 협업을 위한 지능형 영상보안시스템을 동작하기 위한 국내외 규격 및 방법은 미흡한 실정이다.However, domestic and foreign standards and methods for operating an intelligent video security system for collaboration between edge cameras, integrated control systems, and video analysis systems are insufficient.

이에 따라, 지능형 영상보안시스템에서 엣지 카메라와 영상분석시스템에서의 분석된 정보를 협업하고, 이를 기반으로 협업 기술을 적용하여 엣지 카메라 제어 및 이벤트 충돌 판별이 가능하도록 하는 기술이 필요하다.Accordingly, there is a need for a technology that enables edge camera control and event collision determination by collaborating with the analyzed information from the edge camera and video analysis system in an intelligent video security system and applying a collaboration technology based on this.

공개특허공보 제10-2015-0072255호 (2015.06.29)Patent Publication No. 10-2015-0072255 (2015.06.29)

본 발명의 실시예는 높은 영상분석 정확도를 제공하는 지능형 영상보안시스템을 개발함에 있어, 엣지 카메라, 통합관제서버 및 영상분석서버 간의 협업을 통한 지능형 영상분석 방식을 제공함으로써, 높은 영상 분석의 신뢰성 확보 및 다양한 상황 정보에 적응적으로 협업 연동 및 제어가 가능한 협업 기반 지능형 영상보안 시스템, 지능형 협업 서버 및 이의 협업 기반 영상 분석 방법을 제공한다.In developing an intelligent video security system that provides high video analysis accuracy, an embodiment of the present invention secures high reliability of video analysis by providing an intelligent video analysis method through collaboration between an edge camera, an integrated control server, and a video analysis server. And it provides a collaboration-based intelligent video security system, an intelligent collaboration server, and a collaboration-based video analysis method capable of adaptively linking and controlling collaboration to various situational information.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 협업 기반 지능형 영상보안 시스템은 영상을 촬영하고, 촬영된 영상을 분석한 제1 영상 분석 정보를 생성하는 하나 이상의 엣지 카메라, 상기 엣지 카메라로부터 상기 영상, 제1 영상 분석 정보 및 엣지 카메라 세부 정보를 수신 및 관리하고, 상기 엣지 카메라와 영상분석서버간의 연동을 위한 협업 처리를 수행하는 통합관제서버, 상기 통합관제서버로부터 상기 영상 및 엣지 카메라 세부 정보를 전달받아 상기 영상을 분석한 제2 영상 분석 정보를 생성하는 영상분석서버 및 상기 통합관제서버로부터 상기 제1 영상 분석 정보와 엣지 카메라 세부 정보를 전달받고, 상기 영상분석서버로부터 제2 영상 분석 정보를 전달받아 협업 제어 정보를 생성하고, 상기 협업 제어 정보를 상기 영상분석서버 및 상기 통합관제서버를 통해 엣지 카메라로 제공하는 지능형협업서버를 포함한다.As a technical means for achieving the above-described technical problem, the collaboration-based intelligent video security system according to the first aspect of the present invention captures an image and generates first image analysis information obtained by analyzing the captured image at least one edge camera. , An integrated control server that receives and manages the video, first video analysis information, and edge camera detailed information from the edge camera, and performs collaborative processing for interworking between the edge camera and the video analysis server, from the integrated control server A video analysis server that receives video and edge camera detailed information and generates second video analysis information by analyzing the video, and receives the first video analysis information and edge camera detailed information from the integrated control server, and the video analysis server and an intelligent collaboration server for generating collaboration control information by receiving second video analysis information from the video analysis server and providing the collaboration control information to the edge camera through the video analysis server and the integrated control server.

본 발명의 일부 실시예에서, 상기통합관제서버는 상기 엣지 카메라가 복수인 경우, 복수 개의 엣지 카메라별로 상기 영상, 제1 영상 분석 정보 및 엣지 카메라 세부 정보를 저장 및 관리할 수 있다.In some embodiments of the present invention, when there are a plurality of edge cameras, the integrated control server may store and manage the image, first image analysis information, and detailed edge camera information for each of the plurality of edge cameras.

본 발명의 일부 실시예에서, 상기 영상분석서버는 상기 영상을 딥러닝 기반으로 분석하여 객체 정보 및 이벤트 정보를 분석한 제2 영상 분석 정보를 생성할 수 있다.In some embodiments of the present invention, the image analysis server may generate second image analysis information obtained by analyzing object information and event information by analyzing the image based on deep learning.

본 발명의 일부 실시예에서, 상기 지능형협업서버는 상기 제1 및 제2 영상 분석 정보를 기반으로, 상기 엣지 카메라의 제어가 필요한지 여부를 판단하고, 상기 판단 결과 필요시 상기 엣지 카메라를 위한 협업 제어 정보를 생성하여 상기 통합관제서버로 제공하되, 상기 협업 제어 정보는 엣지 카메라의 ID, 엣지 카메라의 내부 기능 제어 정보 및 엣지 카메라의 PTZ 설정 정보를 포함할 수 있다.In some embodiments of the present invention, the intelligent collaboration server determines whether control of the edge camera is necessary based on the first and second image analysis information, and if necessary as a result of the determination, collaborative control for the edge camera. Information is generated and provided to the integrated control server, but the collaboration control information may include an ID of the edge camera, internal function control information of the edge camera, and PTZ setting information of the edge camera.

본 발명의 일부 실시예에서, 상기 지능형협업서버는 상기 제1 및 제2 영상 분석 정보를 기반으로, 제1 및 제2 영상 분석 정보에서 검출된 이벤트 간 충돌이 발생하였는지 여부를 판단하고, 상기 판단 결과 이벤트 충돌이 발생한 경우 상기 영상분석서버로 상기 영상에 대한 재분석 요청을 위한 상기 협업 제어 정보를 생성할 수 있다.In some embodiments of the present invention, the intelligent collaboration server determines whether a collision between events detected in the first and second video analysis information has occurred based on the first and second video analysis information, and the determination When a resultant event collision occurs, the collaboration control information for requesting a reanalysis of the video may be generated by the video analysis server.

또한, 본 발명의 제2 측면에 따른 협업 기반 영상 분석 및 엣지 카메라 제어를 위한 지능형협업서버는 통합관제서버 및 영상분석서버와 데이터를 송수신하는 통신모듈, 협업 기반의 분석 및 엣지 카메라 제어를 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 통신모듈을 통해 통합관제서버로부터 하나 이상의 엣지 카메라에 의해 분석된 제1 영상 분석 정보와 상응하는 엣지 카메라 세부 정보를 수신하고, 상기 엣지 카메라에 의해 촬영된 영상 및 엣지 카메라 세부 정보를 기반으로 영상을 분석한 제2 영상 분석 정보를 상기 영상분석서버로부터 수신하고, 상기 제1 및 제2 영상 분석 정보를 기반으로 협업 제어 정보를 생성하고, 상기 협업 제어 정보를 상기 영상분석서버 및 상기 통합관제서버를 통해 엣지 카메라로 제공하는 프로세서를 포함한다.In addition, the intelligent collaboration server for collaboration-based video analysis and edge camera control according to the second aspect of the present invention includes a communication module for transmitting and receiving data to and from the integrated control server and video analysis server, a program for collaboration-based analysis and edge camera control As the stored memory and the program stored in the memory are executed, edge camera detailed information corresponding to first image analysis information analyzed by one or more edge cameras is received from the integrated control server through the communication module, and the edge camera details are received. Receiving second image analysis information obtained by analyzing an image based on an image captured by a camera and edge camera detailed information from the image analysis server, and generating collaboration control information based on the first and second image analysis information, , A processor providing the collaboration control information to the edge camera through the video analysis server and the integrated control server.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 제1 및 제2 영상 분석 정보를 기반으로, 상기 엣지 카메라의 제어가 필요한지 여부를 판단하고, 상기 판단 결과 필요시 상기 엣지 카메라를 위한 협업 제어 정보를 생성하여 상기 통합관제서버로 제공하되, 상기 협업 제어 정보는 엣지 카메라의 ID, 엣지 카메라의 내부 기능 제어 정보 및 엣지 카메라의 PTZ 설정 정보를 포함할 수 있다.In some embodiments of the present invention, the processor determines whether control of the edge camera is necessary based on the first and second image analysis information, and if necessary as a result of the determination, provides collaborative control information for the edge camera. Created and provided to the integrated control server, the collaboration control information may include an ID of the edge camera, internal function control information of the edge camera, and PTZ setting information of the edge camera.

본 발명의 일부 실시예에서, 상기 프로세서는 상기 제1 및 제2 영상 분석 정보를 기반으로, 제1 및 제2 영상 분석 정보에서 검출된 이벤트 간 충돌이 발생하였는지 여부를 판단하고, 상기 판단 결과 이벤트 충돌이 발생한 경우 상기 영상분석서버로 상기 영상에 대한 재분석을 요청할 수 있다.In some embodiments of the present invention, the processor determines whether a collision between events detected in the first and second image analysis information has occurred based on the first and second image analysis information, and the event as a result of the determination When a collision occurs, reanalysis of the image may be requested to the image analysis server.

또한, 본 발명의 제3 측면에 따른 지능형협업서버에서의 협업 기반 영상 분석 방법은 하나 이상의 엣지 카메라에 의해 분석된 제1 영상 분석 정보를 통합관제서버를 통해 수신하는 단계; 상기 엣지 카메라에 의해 촬영된 영상 및 엣지 카메라 세부 정보를 기반으로 영상을 분석한 제2 영상 분석 정보를 상기 영상분석서버로부터 수신하는 단계; 상기 제1 및 제2 영상 분석 정보를 기반으로 협업 제어 정보를 생성하는 단계; 및 상기 협업 제어 정보를 상기 영상분석서버 및 상기 통합관제서버를 통해 엣지 카메라로 제공하는 단계를 포함한다.In addition, a collaboration-based video analysis method in an intelligent collaboration server according to a third aspect of the present invention includes the steps of receiving first video analysis information analyzed by one or more edge cameras through an integrated control server; Receiving second image analysis information obtained by analyzing an image based on the image captured by the edge camera and detailed information of the edge camera from the image analysis server; generating collaboration control information based on the first and second image analysis information; and providing the collaboration control information to the edge camera through the video analysis server and the integrated control server.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer readable recording medium recording a computer program for executing the method may be further provided.

전술한 본 발명의 일 실시예에 의하면, 엣지 카메라, 영상분석서버 및 통합관제서버 간의 협업 연동이 가능하게끔 할 수 있다.According to one embodiment of the present invention described above, it is possible to enable collaborative interworking between the edge camera, the video analysis server, and the integrated control server.

특히, 국방경계감시 등 국방 분야, 보안 분야와 같이 영상 분석의 정확도와 실시간성을 요구받는 환경에서 영상 분석에 대한 신뢰성 확보가 가능하고, 다양한 환경에 적응적으로 대응이 가능하다는 장점이 있다. 이를 통해 개인 신변 안전 및 범죄예방 효과를 극대화시킬 수 있는 장점이 있다.In particular, it has the advantage of being able to secure the reliability of image analysis in environments that require accuracy and real-time of image analysis, such as national defense and security fields, and to respond adaptively to various environments. This has the advantage of maximizing personal safety and crime prevention effects.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 종래 기술에 따른 지능형 영상 분석 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 협업 기반 지능형 영상보안 시스템을 개략적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 협업 기반 지능형 영상보안 시스템의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 지능형협업서버의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 협업 기반 지능형 영상보안 시스템에 의해 수행되는 협업 기반 영상 분석 방법의 순서도이다.
도 6은 엣지 카메라를 PTZ 제어를 위한 제어 정보를 생성하는 내용을 설명하기 위한 도면이다.
도 7은 엣지 카메라의 PTZ 제어 수행 전 후 이벤트 인지 결과를 나타낸 도면이다.
도 8은 이벤트 충돌 시 영상 재분석 요청을 위한 정보를 생성하는 내용을 설명하기 위한 도면이다.
1 is a diagram for explaining an intelligent video analysis system according to the prior art.
2 is a diagram for schematically explaining a collaboration-based intelligent video security system according to an embodiment of the present invention.
3 is a block diagram of a collaboration-based intelligent video security system according to an embodiment of the present invention.
4 is a block diagram of an intelligent collaboration server according to an embodiment of the present invention.
5 is a flowchart of a collaboration-based video analysis method performed by a collaboration-based intelligent video security system according to an embodiment of the present invention.
6 is a diagram for explaining contents of generating control information for PTZ control of an edge camera.
7 is a diagram illustrating event recognition results before and after performing PTZ control of an edge camera.
8 is a diagram for explaining contents of generating information for requesting image reanalysis upon event collision.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, only these embodiments are intended to complete the disclosure of the present invention, and are common in the art to which the present invention belongs. It is provided to fully inform the person skilled in the art of the scope of the invention, and the invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다. Hereinafter, in order to help the understanding of those skilled in the art, the background in which the present invention is proposed will be described first, and then the embodiments of the present invention will be described.

도 1은 종래 기술에 따른 지능형 영상 분석 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining an intelligent video analysis system according to the prior art.

종래 기술에 따른 지능형 영상 분석 시스템은 하나 이상의 엣지 카메라(10), 통합 관제 서버(20) 및 영상 분석 서버(30)를 포함한다.An intelligent video analysis system according to the prior art includes one or more edge cameras 10, an integrated control server 20, and a video analysis server 30.

이러한 지능형 영상 분석 시스템은 분석 주체에 따라 서버 기반의 영상 분석과 엣지 카메라(디바이스) 기반의 영상 분석을 수행한다.This intelligent video analysis system performs server-based video analysis and edge camera (device)-based video analysis according to the subject of analysis.

이때, 서버 기반의 영상 분석 방식은 엣지 카메라(10)에 의해 촬영된 영상을 영상 분석 서버(30)에서 수신하여 영상 분석을 수행하는 집중형 방식을 의미한다. 이러한 서버 기반의 영상 분석 방식은 알고리즘 개선이 쉽고 분석 정확도가 높지만, 과도한 서버 구축비용이 발생하고, 네트워크 및 플랫폼 등 주변 인프라 영향을 많이 받는다는 문제가 있다. 또한 서버 자체에 오류가 발생하게 되면 전체 시스템의 영상 분석이 불가능하다는 문제가 있다.At this time, the server-based image analysis method refers to a centralized method in which an image captured by the edge camera 10 is received by the image analysis server 30 and image analysis is performed. This server-based video analysis method is easy to improve algorithms and has high analysis accuracy, but there are problems in that excessive server construction costs occur and it is heavily influenced by surrounding infrastructure such as networks and platforms. In addition, if an error occurs in the server itself, there is a problem in that image analysis of the entire system is impossible.

엣지 카메라 기반의 영상 분석 방식은 엣지 카메라(10)에 영상 분석 알고리즘을 임베디드화시켜 단말 단에서 영상 분석을 수행하는 방식을 의미한다. 이러한 영상 분석 방식은 서버가 동작하지 않더라도 영상 분석을 수행할 수 있다는 장점이 있으나, 서버 방식의 영상 분석 방식보다 영성 분석의 범위 및 성능이 제한적이고, 분석 알고리즘의 신속한 개선이 어렵다는 문제가 있다.The edge camera-based image analysis method refers to a method of performing image analysis at a terminal stage by embedding an image analysis algorithm in the edge camera 10 . This image analysis method has the advantage of being able to perform image analysis even when the server is not operating, but has a problem in that the range and performance of spiritual analysis are limited and it is difficult to rapidly improve the analysis algorithm compared to the server-type image analysis method.

따라서, 서버 기반의 영상 분석 방식과 엣지 카메라 기반의 영상 분석 방식을 모두 이용하여 상호 간의 단점을 보완할 수 있는 기술이 필요한 실정이다.Therefore, there is a need for a technology capable of supplementing the disadvantages of each other by using both the server-based image analysis method and the edge camera-based image analysis method.

이러한 문제를 해소하기 위해, 본 발명의 일 실시예는, 서버 기반의 영상 분석 방식과 엣지 카메라 기반의 영상 분석 방식을 조합한 복합 방식으로, 두 방식의 단점을 보완하고, 특히 국방경계감시 등 영상분석의 정확도와 실시간성을 요구받는 환경에서 영상분석의 다중처리로 높은 영상분석 신뢰도 확보 및 상황정보에 적응적으로 협업 연동 및 제어를 할 수 있다.In order to solve this problem, an embodiment of the present invention is a composite method combining a server-based image analysis method and an edge camera-based image analysis method, and supplements the disadvantages of the two methods, and in particular, video analysis such as defense boundary surveillance In an environment where accuracy and real-time analysis are required, multi-processing of image analysis ensures high reliability of image analysis and enables cooperative linkage and control adaptively to situational information.

이하에서는 도 2 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 협업 기반 지능형 영상보안 시스템, 지능형 협업 서버에 대해 설명하도록 한다.Hereinafter, a collaboration-based intelligent video security system and an intelligent collaboration server according to an embodiment of the present invention will be described with reference to FIGS. 2 to 4 .

도 2는 본 발명의 일 실시예에 따른 협업 기반 지능형 영상보안 시스템을 개략적으로 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시예에 따른 협업 기반 지능형 영상보안 시스템의 블록도이다. 도 4는 본 발명의 일 실시예에 따른 지능형협업서버(100)의 블록도이다.2 is a diagram for schematically explaining a collaboration-based intelligent video security system according to an embodiment of the present invention. 3 is a block diagram of a collaboration-based intelligent video security system according to an embodiment of the present invention. 4 is a block diagram of an intelligent collaboration server 100 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 지능형 영상보안 시스템은 하나 이상의 엣지 카메라(400)와, 통합관제서버(200), 영상분석서버(300) 및 지능형협업서버(100)를 포함한다. 한편, 각 서버들은 REST API 기반으로 연동될 수 있다.An intelligent video security system according to an embodiment of the present invention includes one or more edge cameras 400, an integrated control server 200, a video analysis server 300, and an intelligent collaboration server 100. Meanwhile, each server can be linked based on REST API.

엣지 카메라(400)는 하나 이상이 구비될 수 있으며, 설치 장소에서의 영상을 촬영한다. 이러한 엣지 카메라(400)는 각각에 영상 분석을 위한 알고리즘이 내장되어 있어 자신이 촬영한 영상을 분석한 제1 영상 분석 정보를 생성한다.One or more edge cameras 400 may be provided, and images are captured at the installation location. Each of these edge cameras 400 has an algorithm for image analysis built-in to generate first image analysis information obtained by analyzing an image captured by the edge camera 400 .

각 엣지 카메라(400)는 영상 촬영 및 제1 영상 분석 정보가 생성됨에 따라, 이를 통합관제서버(200)로 전송한다. 여기에서 제1 영상 분석 정보에는 엣지 카메라(400)의 식별 정보, 여상 프레임 번호, 검출된 객체 또는 이벤트의 정보(크기 정보, 위치 정보, 이벤트의 종류 정보 등)를 포함할 수 있다. Each edge camera 400 transmits the image capturing and first image analysis information to the integrated control server 200 as they are generated. Here, the first image analysis information may include identification information of the edge camera 400, a frame number, and information (size information, location information, event type information, etc.) of a detected object or event.

또한 각 엣지 카메라(400)는 영상 및 제1 영상 분석 정보를 통합관제서버(200)로 전송시, 자신의 엣지 카메라 세부 정보를 함께 제공한다. 여기에서 엣지 카메라 세부 정보는 엣지 카메라 ID, 카메라의 설치 위치, 촬영시 PTZ(Pan, Tilt, Zoon) 정보 및 카메라의 종류 정보 등을 포함할 수 있다.In addition, when each edge camera 400 transmits the video and the first video analysis information to the integrated control server 200, it provides its own edge camera detailed information together. Here, the edge camera detailed information may include an edge camera ID, a camera installation location, PTZ (Pan, Tilt, and Zoom) information and camera type information during shooting.

통합관제서버(200)는 엣지 카메라(400)로부터 영상, 제1 영상 분석 정보 및 엣지 카메라 세부 정보를 수신 및 관리한다. 이때, 통합관제서버(200)는 엣지 카메라(400)가 복수인 경우, 복수 개의 엣지 카메라(400) 별로 영상, 제1 영상 분석 정보 및 엣지 카메라 세부 정보를 저장 및 관리한다. 그리고 엣지 카메라(400)와 영상분석서버(300) 간의 연동을 위한 협업 처리를 수행한다.The integrated control server 200 receives and manages video, first video analysis information, and edge camera detailed information from the edge camera 400 . At this time, when there are a plurality of edge cameras 400, the integrated control server 200 stores and manages images, first image analysis information, and detailed edge camera information for each of the plurality of edge cameras 400. In addition, collaboration processing for interworking between the edge camera 400 and the image analysis server 300 is performed.

영상분석서버(300)는 통합관제서버(200)로부터 엣지 카메라(400)에 의해 촬영된 영상, 엣지 카메라 세부 정보를 수신하고, 이에 기초하여 딥러닝 기반으로 영상 분석을 수행하여 객체 정보 및 이벤트 정보를 분석한 제2 영상 분석 정보를 생성한다. 영상분석서버(300)는 제2 영상 분석 정보를 통합관제서버(200)와 지능형협업서버(100)로 각각 제공한다.The video analysis server 300 receives the video captured by the edge camera 400 and detailed edge camera information from the integrated control server 200, and based on this, performs video analysis based on deep learning to provide object information and event information. Analyzing the second image analysis information is generated. The video analysis server 300 provides the second video analysis information to the integrated control server 200 and the intelligent collaboration server 100, respectively.

여기에서, 제2 영상 분석 정보에는 엣지 카메라 ID, 프레임 번호, 이상 징후 종류, 이상 징후 관심 영역, 날씨 종류, 검출 객체의 수, 객체 ID, 객체 종류, 검출 객체의 X, Y 좌표, 검출 객체 영역의 넓이 및 높이 정보, 검출 객체의 비율, 색상, 모양, 이동 속도 등의 정보를 포함할 수 있다.Here, the second image analysis information includes edge camera ID, frame number, anomaly symptom type, anomaly symptom area of interest, weather type, number of detected objects, object ID, object type, X, Y coordinates of the detected object, and detected object area. Information such as width and height information, ratio, color, shape, and movement speed of the detected object may be included.

참고로, 엣지 카메라(400)에서 분석한 제1 영상 분석 정보는 영상 분석 서버를 통해 분석한 제2 영상 분석 정보보다 저성능의 분석 정보가 생성되는 것이나 반드시 이에 한정되는 것은 아니다.For reference, the first image analysis information analyzed by the edge camera 400 generates lower performance analysis information than the second image analysis information analyzed through the image analysis server, but is not necessarily limited thereto.

지능형협업서버(100)는 통합관제서버(200)로부터 제1 영상 분석 정보와 엣지 카메라 세부 정보를 수신하고, 영상분석서버(300)로부터 제2 영상 분석 정보를 수신한다. 그리고 제1 및 제2 영상 분석 정보를 기반으로 협업 분석을 수행하여 협업 제어 정보를 생성한다. 이와 같이 생성된 협업 제어 정보는 영상분석서버(300)로 제공되고, 또한 통합관제서버(200)를 통해 상응하는 엣지 카메라(400)로 제공된다.The intelligent collaboration server 100 receives first video analysis information and edge camera detailed information from the integrated control server 200 and receives second video analysis information from the video analysis server 300 . In addition, collaboration analysis is performed based on the first and second image analysis information to generate collaboration control information. The collaborative control information generated in this way is provided to the video analysis server 300 and also provided to the corresponding edge camera 400 through the integrated control server 200.

이때, 협업 제어 정보는 협업 분석 결과에 기초하여 엣지 카메라 세부정보를 통해 하나 이상의 엣지 카메라(400)를 제어하기 위한 제어 정보를 포함한다. 지능형협업서버(100)는 제1 및 제2 영상 분석 정보를 기반으로 엣지 카메라(400)의 제어가 필요한지 여부를 판단하고, 판단 결과 필요시, 엣지 카메라(400)를 위한 협업 제어 정보를 생성하여 통합관제서버(200)로 제공할 수 있다. 여기에서, 엣지 카메라(400)를 위한 협업 제어 정보는 엣지 카메라의 ID, 엣지 카메라(400)의 내부 기능 제어 정보 및 PTZ 설정 정보를 포함할 수 있다.In this case, the collaboration control information includes control information for controlling one or more edge cameras 400 through edge camera detail information based on the collaboration analysis result. The intelligent collaboration server 100 determines whether control of the edge camera 400 is necessary based on the first and second image analysis information, and generates collaboration control information for the edge camera 400 if necessary as a result of the determination. It can be provided as an integrated control server (200). Here, the collaboration control information for the edge camera 400 may include an ID of the edge camera, internal function control information of the edge camera 400, and PTZ setting information.

또한, 협업 분석 결과에 따라 영상분석서버(300)로 영상의 재분석을 요청하기 위한 제어 정보를 포함한다. 즉, 지능형협업서버(100)는 제1 및 제2 영상 분석 정보를 기반으로, 제1 및 제2 영상 분석 정보에서 검출된 이벤트 간 충돌이 발생하였는지 여부를 판단하고, 판단 결과 이벤트 충돌이 발생한 경우, 영상분석서버(300)로 영상에 대한 재분석 요청을 위한 협업 제어 정보를 생성할 수 있다.In addition, it includes control information for requesting re-analysis of the video to the video analysis server 300 according to the collaborative analysis result. That is, the intelligent collaboration server 100 determines whether a collision between events detected in the first and second image analysis information has occurred based on the first and second image analysis information, and as a result of the determination, if an event collision occurs. , Collaboration control information for requesting reanalysis of an image may be generated by the image analysis server 300 .

한편, 도 4를 참조하면 지능형협업서버(100)는 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다. 한편, 본 발명의 일 실시예에서 통합관제서버(200) 및 영상분석서버(300) 역시 지능형 협업 서버(100)와 마찬가지로 통신모듈, 메모리 및 프로세서로 구현될 수 있음은 물론이다.Meanwhile, referring to FIG. 4 , the intelligent collaboration server 100 includes a communication module 110 , a memory 120 and a processor 130 . On the other hand, in one embodiment of the present invention, the integrated control server 200 and the image analysis server 300 can also be implemented as a communication module, memory and processor like the intelligent collaboration server 100, of course.

통신모듈(110)은 통합관제서버(200) 및 영상분석서버(300)와 데이터를 송수신한다. 여기에서, 통신모듈(110)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 상술한 UNB, WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.The communication module 110 transmits and receives data with the integrated control server 200 and the image analysis server 300 . Here, the communication module 110 may include both a wired communication module and a wireless communication module. The wired communication module may be implemented as a power line communication device, a telephone line communication device, cable home (MoCA), Ethernet, IEEE1294, an integrated wired home network, and an RS-485 control device. In addition, the wireless communication module may be implemented with the above-described UNB, wireless LAN (WLAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60 GHz WPAN, Binary-CDMA, wireless USB technology, and wireless HDMI technology.

메모리(120)에는 협업 기반의 분석 및 엣지 카메라(400)의 제어를 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. Programs for collaboration-based analysis and control of the edge camera 400 are stored in the memory 120 , and the processor 130 executes the programs stored in the memory 120 . Here, the memory 120 collectively refers to a non-volatile storage device and a volatile storage device that continuously retain stored information even when power is not supplied.

예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.For example, the memory 120 may include a compact flash (CF) card, a secure digital (SD) card, a memory stick, a solid-state drive (SSD), and a micro SD card. NAND flash memory such as cards, magnetic computer storage devices such as hard disk drives (HDD), and optical disc drives such as CD-ROMs and DVD-ROMs. can

프로세서(130)는 통신모듈(110)을 통해 통합관제서버(200)로부터 하나 이상의 엣지 카메라(400)에 의해 분석된 제1 영상 분석 정보와 상응하는 엣지 카메라 세부 정보를 수신한다. 그리고 프로세서는 엣지 카메라(400)에 의해 촬영된 영상 및 엣지 카메라 세부 정보를 기반으로 영상을 분석한 제2 영상 분석 정보를 영상분석서버(300)로부터 수신하고, 제1 및 제2 영상 분석 정보를 기반으로 협업 제어 정보를 생성한다. 이와 같이 생성된 협업 제어 정보를 영상분석서버(300) 및 통합관제서버(200)를 통해 엣지 카메라(400)로 제공한다.The processor 130 receives first image analysis information analyzed by one or more edge cameras 400 and detailed edge camera information corresponding to the integrated control server 200 through the communication module 110 . In addition, the processor receives second image analysis information obtained by analyzing the image based on the image captured by the edge camera 400 and the edge camera detailed information from the image analysis server 300, and the first and second image analysis information Based on this, collaborative control information is created. The collaborative control information generated in this way is provided to the edge camera 400 through the video analysis server 300 and the integrated control server 200.

이하에서는 도 5 내지 도 9를 참조하여 본 발명의 일 실시예에 따른 협업 기반 지능형 영상보안 시스템에 의해 수행되는 동작 방법을 설명하도록 한다.Hereinafter, an operating method performed by a collaboration-based intelligent video security system according to an embodiment of the present invention will be described with reference to FIGS. 5 to 9 .

도 5는 본 발명의 일 실시예에 따른 협업 기반 지능형 영상보안 시스템에 의해 수행되는 협업 기반 영상 분석 방법의 순서도이다. 도 6은 엣지 카메라(400)를 PTZ 제어를 위한 제어 정보를 생성하는 내용을 설명하기 위한 도면이다. 도 7은 엣지 카메라(400)의 PTZ 제어 수행 전 후 이벤트 인지 결과를 나타낸 도면이다. 도 8은 이벤트 충돌 시 영상 재분석 요청을 위한 정보를 생성하는 내용을 설명하기 위한 도면이다. 5 is a flow chart of a collaboration-based video analysis method performed by a collaboration-based intelligent video security system according to an embodiment of the present invention. 6 is a diagram for explaining contents of generating control information for PTZ control of the edge camera 400. 7 is a diagram showing event recognition results before and after PTZ control of the edge camera 400 is performed. 8 is a diagram for explaining contents of generating information for requesting image reanalysis in case of event collision.

본 발명의 일 실시예에 따른 협업 기반 영상 분석 방법은, 먼저 엣지 카메라(400)를 통해 촬영된 영상 정보를 취득하고(S101), 촬영된 영상을 분석하여 객체 및 이벤트 중 적어도 하나를 검출하는 제1 영상 분석 정보를 생성한다(S103).In the collaboration-based video analysis method according to an embodiment of the present invention, first, image information captured through an edge camera 400 is acquired (S101), and at least one of an object and an event is detected by analyzing the captured image. 1 Image analysis information is generated (S103).

다음으로, 엣지 카메라(400)는 촬영된 영상, 제1 영상 분석 정보 및 엣지 카메라 세부 정보를 통합관제서버(200)로 전송하고(S105), 통합관제서버(200)는 이를 엣지 카메라(400)별로 저장 및 관리한다(S107).Next, the edge camera 400 transmits the captured image, first image analysis information, and edge camera detailed information to the integrated control server 200 (S105), and the integrated control server 200 sends them to the edge camera 400 It is stored and managed separately (S107).

통합관제서버(200)는 지능형협업서버(100)로 제1 영상 분석 정보와 엣지 카메라 세부정보를 전달하고(S109), 영상분석서버(300)로 영상 및 엣지 카메라 세부 정보를 전달한다(S111). 이때, 엣지 카메라 세부 정보는 카메라 ID, 설치 위치 정보, PTZ 제어 정보를 포함한다.The integrated control server 200 transmits the first video analysis information and edge camera detailed information to the intelligent collaboration server 100 (S109), and transmits the video and edge camera detailed information to the video analysis server 300 (S111). . At this time, the edge camera detailed information includes camera ID, installation location information, and PTZ control information.

영상분석서버(300)는 통합관제서버(200)로부터 수신한 영상을 딥러닝 기반으로 분석하여 객체 정보 및 이벤트를 분석한 제2 영상 분석 정보를 생성한다(S113). 여기에서, 객체 정보는 객체의 종류(사람, 자동차, 동물 등), 색상 및 크기 정보를 의미하며, 이벤트는 폭행, 쓰러짐, 유기 등과 같은 보안 이벤트일 수 있다.The video analysis server 300 analyzes the video received from the integrated control server 200 based on deep learning and generates second video analysis information by analyzing object information and events (S113). Here, the object information refers to object type (human, vehicle, animal, etc.), color, and size information, and the event may be a security event such as assault, fall, or abandonment.

이후, 지능형협업서버(100)는 영상분석서버(300)로부터 제2 영상 분석 정보를 전달받아, 제1 영상 분석 정보와의 협업 분석을 통해 협업 제어 정보를 생성한다(S115).Thereafter, the intelligent collaboration server 100 receives second video analysis information from the video analysis server 300 and generates collaboration control information through collaboration analysis with the first video analysis information (S115).

일 실시예로, 지능형협업서버(100)는 협업 제어 정보로 엣지 카메라(400)의 제어 수행이 필요한지 여부를 판단한다(S117).As an embodiment, the intelligent collaboration server 100 determines whether it is necessary to perform control of the edge camera 400 based on the collaboration control information (S117).

예를 들어, 지능형협업서버(100)는 객체나 이벤트의 위치가 이미지 프레임의 중심에서 벗어나거나, 객체나 이벤트의 크기가 영상 분석 정확도에 영향을 미치는 경우 등이 있으면 엣지 카메라(400)의 제어가 필요한 것으로 판단한다. 즉, 객체나 이벤트가 프레임 중심이 아닌 외곽에 위치하거나, 크기가 너무 크거나, 너무 작을 경우 영상 분석 정확도가 저하되므로, 엣지 카메라(400)의 제어가 필요한 것으로 판단한다.For example, the intelligent collaboration server 100 controls the edge camera 400 when the location of an object or event is out of the center of the image frame or the size of the object or event affects the accuracy of video analysis. judge it necessary That is, if the object or event is located outside the frame rather than at the center, or if the size is too large or too small, the image analysis accuracy is reduced, so it is determined that the control of the edge camera 400 is necessary.

이에 따라, 지능형협업서버(100)는 엣지 카메라(400)의 PTZ 제어 및 기능 제어를 위한 제어 정보를 생성하고(S119), 이를 통합관제서버(200)로 전송한다. Accordingly, the intelligent collaboration server 100 generates control information for PTZ control and function control of the edge camera 400 (S119) and transmits it to the integrated control server 200.

도 6을 참조하면, 지능형협업서버(100)는 객체나 이벤트의 위치가 이미지 프레임 중심에 위치하도록 Pan, Tilt 값을 제어하기 위한 제어 정보를 생성하고, 크기는 영상 분석이 용이한 사이즈(300x300)로 Zoom 값을 제어하기 위한 제어 정보를 생성할 수 있다.Referring to FIG. 6, the intelligent collaboration server 100 generates control information for controlling Pan and Tilt values so that the location of an object or event is located in the center of an image frame, and the size is a size that is easy to analyze an image (300x300) It is possible to generate control information for controlling the zoom value with .

통합관제서버(200)는 협업 제어 정보를 수신함에 따라 엣지 카메라(400)의 PTZ 정보 또는 기능 제어 정보를 기반으로 상응하는 엣지 카메라(400)를 제어한다(S121). Upon receiving the collaboration control information, the integrated control server 200 controls the corresponding edge camera 400 based on the PTZ information or function control information of the edge camera 400 (S121).

일 예로, 엣지 카메라(400)의 PTZ 제어를 통해 영상 분석의 오탐을 줄일 수 있으며, 정확한 영상 분석 결과를 제공할 수 있다. 또한, 엣지 카메라(400)의 PTZ를 제어하기 전에는 폭력 이벤트를 배회 이벤트로 잘못 인지하였으나, 카메라 PTZ 제어 후에는 폭력 이벤트로 정상 인지가 가능하게 된다(도 7 참조).For example, through PTZ control of the edge camera 400, false positives in image analysis can be reduced and accurate image analysis results can be provided. In addition, before controlling the PTZ of the edge camera 400, the violent event was mistakenly recognized as a loitering event, but after controlling the PTZ of the camera, it is possible to recognize it as a normal violent event (see FIG. 7).

또 다른 예로 엣지 카메라(400)의 기능 제어의 경우, 안개가 낀 날에는 엣지 카메라(400)에 내장된 기능 중 defog 기능을 수행하거나, 어두운 환경에서는 열화상 카메라를 동작하도록 하는 등 별도의 기능 제어를 수행할 수 있다.As another example, in the case of function control of the edge camera 400, a separate function control such as performing a defog function among functions built into the edge camera 400 on a foggy day or operating a thermal imaging camera in a dark environment can be performed.

또한, 지능형협업서버(100)는 제1 및 제2 영상 분석 정보 간의 이벤트 충돌이 발생하였는지 여부(S123)를 판단한다.In addition, the intelligent collaboration server 100 determines whether an event collision occurs between the first and second image analysis information (S123).

예를 들어, 지능형 협업 서버는 도 8과 같이 동일 시점에서 제1 영상 분석 정보에서는 '배회'이라는 이벤트로 탐지하였으나, 제2 영상 분석 정보에서는 '폭력'이라는 이벤트로 탐지하는 것처럼, 이벤트 간 충돌이 발생한 경우, 협업 제어가 필요한 것으로 판단한다. For example, as shown in FIG. 8, the intelligent collaboration server detects an event called 'loitering' in the first image analysis information at the same time point, but detects an event called 'violence' in the second image analysis information, and a collision between events occurs. If it occurs, it is determined that collaborative control is necessary.

그리고 지능형협업서버(100)는 이벤트 간 충돌 발생시 영상분석서버(300)로 영상에 대한 재분석 요청을 위한 협업 제어 정보를 생성하여 영상분석서버(300)로 전달한다(S125). 영상분석서버(300)는 재분석 요청에 따라 수신한 영상을 기반으로 다시 제2 영상 분석 정보를 생성한다(S127). Then, the intelligent collaboration server 100 generates collaboration control information for requesting a reanalysis of the video to the video analysis server 300 when a conflict between events occurs, and transmits it to the video analysis server 300 (S125). The image analysis server 300 generates second image analysis information again based on the image received according to the reanalysis request (S127).

최종적으로, 통합관제서버(200)는 협업 제어 수행이 완료됨에 따라, 엣지 카메라(400)에 의해 촬영된 영상, 도출된 객체 및 이벤트 정보를 표출한다(S129).Finally, the integrated control server 200 displays the image captured by the edge camera 400, the derived object, and event information as the collaborative control is completed (S129).

한편, 상술한 설명에서, 단계 S101 내지 단계 S129는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 2 내지 도 4에 기술된 내용은 도 5 내지 도 9의 협업 기반 영상 분석 방법에도 적용된다.Meanwhile, in the above description, steps S101 to S129 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present invention. Also, some steps may be omitted if necessary, and the order of steps may be changed. In addition, even if other omitted contents, the contents described in FIGS. 2 to 4 are also applied to the collaborative image analysis method of FIGS. 5 to 9 .

이상에서 전술한 본 발명의 일 실시예에 따른 협업 기반 영상 분석 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The above-described collaboration-based image analysis method according to an embodiment of the present invention may be implemented as a program (or application) to be executed in combination with a server, which is hardware, and stored in a medium.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The aforementioned program is C, C++, JAVA, machine language, etc. It may include a code coded in a computer language of. Such codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related code for determining where (address address) of the computer's internal or external memory the additional information or media required for the computer's processor to execute the functions should be referenced. there is. In addition, when the processor of the computer needs to communicate with any other remote computer or server in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and is readable by a device. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers accessible by the computer or various recording media on the user's computer. In addition, the medium may be distributed to computer systems connected through a network, and computer readable codes may be stored in a distributed manner.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

1: 협업 기반 지능형 영상보안 시스템
100: 지능형협업서버
200: 통합관제서버
300: 영상분석서버
400: 엣지 카메라
1: Collaboration-based intelligent video security system
100: intelligent collaboration server
200: integrated control server
300: video analysis server
400: edge camera

Claims (9)

협업 기반 지능형 영상보안 시스템에 있어서,
영상을 촬영하고, 촬영된 영상을 분석한 제1 영상 분석 정보를 생성하는 하나 이상의 엣지 카메라,
상기 엣지 카메라로부터 상기 영상, 제1 영상 분석 정보 및 엣지 카메라 세부 정보를 수신 및 관리하고, 상기 엣지 카메라와 영상분석서버간의 연동을 위한 협업 처리를 수행하는 통합관제서버,
상기 통합관제서버로부터 상기 영상 및 엣지 카메라 세부 정보를 전달받아 상기 영상을 분석한 제2 영상 분석 정보를 생성하는 영상분석서버 및
상기 통합관제서버로부터 상기 제1 영상 분석 정보와 엣지 카메라 세부 정보를 전달받고, 상기 영상분석서버로부터 제2 영상 분석 정보를 전달받아 협업 제어 정보를 생성하고, 상기 협업 제어 정보를 상기 영상분석서버 및 상기 통합관제서버를 통해 엣지 카메라로 제공하는 지능형협업서버를 포함하는,
협업 기반 지능형 영상보안 시스템.
In a collaboration-based intelligent video security system,
One or more edge cameras that capture an image and generate first image analysis information obtained by analyzing the captured image;
An integrated control server that receives and manages the video, first video analysis information, and edge camera detailed information from the edge camera, and performs collaborative processing for interworking between the edge camera and the video analysis server;
A video analysis server for receiving the video and edge camera detailed information from the integrated control server and generating second video analysis information by analyzing the video; and
Receives the first video analysis information and edge camera detailed information from the integrated control server, receives second video analysis information from the video analysis server, generates collaboration control information, and transmits the collaboration control information to the video analysis server and Including an intelligent collaboration server provided to the edge camera through the integrated control server,
Collaboration-based intelligent video security system.
제1항에 있어서,
상기통합관제서버는 상기 엣지 카메라가 복수인 경우, 복수 개의 엣지 카메라별로 상기 영상, 제1 영상 분석 정보 및 엣지 카메라 세부 정보를 저장 및 관리하는 것인,
협업 기반 지능형 영상보안 시스템.
According to claim 1,
The integrated control server stores and manages the image, first image analysis information, and edge camera detailed information for each of the plurality of edge cameras when the number of edge cameras is plural.
Collaboration-based intelligent video security system.
제1항에 있어서,
상기 영상분석서버는 상기 영상을 딥러닝 기반으로 분석하여 객체 정보 및 이벤트 정보를 분석한 제2 영상 분석 정보를 생성하는 것인,
협업 기반 지능형 영상보안 시스템.
According to claim 1,
The image analysis server analyzes the image based on deep learning to generate second image analysis information obtained by analyzing object information and event information.
Collaboration-based intelligent video security system.
제1항에 있어서,
상기 지능형협업서버는 상기 제1 및 제2 영상 분석 정보를 기반으로, 상기 엣지 카메라의 제어가 필요한지 여부를 판단하고, 상기 판단 결과 필요시 상기 엣지 카메라를 위한 협업 제어 정보를 생성하여 상기 통합관제서버로 제공하되,
상기 협업 제어 정보는 엣지 카메라의 ID, 엣지 카메라의 내부 기능 제어 정보 및 엣지 카메라의 PTZ 설정 정보를 포함하는 것인,
협업 기반 지능형 영상보안 시스템.
According to claim 1,
The intelligent collaboration server determines whether control of the edge camera is necessary based on the first and second video analysis information, and generates collaboration control information for the edge camera if necessary as a result of the determination, and the integrated control server Provided as
The collaborative control information includes an ID of the edge camera, internal function control information of the edge camera, and PTZ setting information of the edge camera.
Collaboration-based intelligent video security system.
제1항에 있어서,
상기 지능형협업서버는 상기 제1 및 제2 영상 분석 정보를 기반으로, 제1 및 제2 영상 분석 정보에서 검출된 이벤트 간 충돌이 발생하였는지 여부를 판단하고, 상기 판단 결과 이벤트 충돌이 발생한 경우 상기 영상분석서버로 상기 영상에 대한 재분석 요청을 위한 상기 협업 제어 정보를 생성하는 것인,
협업 기반 지능형 영상보안 시스템.
According to claim 1,
The intelligent collaboration server determines, based on the first and second video analysis information, whether or not a collision between events detected in the first and second video analysis information has occurred, and as a result of the determination, if an event collision occurs, the video Generating the collaboration control information for requesting reanalysis of the image with an analysis server,
Collaboration-based intelligent video security system.
협업 기반 영상 분석 및 엣지 카메라 제어를 위한 지능형협업서버에 있어서,
통합관제서버 및 영상분석서버와 데이터를 송수신하는 통신모듈,
협업 기반의 분석 및 엣지 카메라 제어를 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 통신모듈을 통해 통합관제서버로부터 하나 이상의 엣지 카메라에 의해 분석된 제1 영상 분석 정보와 상응하는 엣지 카메라 세부 정보를 수신하고,
상기 엣지 카메라에 의해 촬영된 영상 및 엣지 카메라 세부 정보를 기반으로 영상을 분석한 제2 영상 분석 정보를 상기 영상분석서버로부터 수신하고, 상기 제1 및 제2 영상 분석 정보를 기반으로 협업 제어 정보를 생성하고, 상기 협업 제어 정보를 상기 영상분석서버 및 상기 통합관제서버를 통해 엣지 카메라로 제공하는 프로세서를 포함하는,
지능형협업서버.
In an intelligent collaboration server for collaboration-based video analysis and edge camera control,
A communication module that transmits and receives data with the integrated control server and image analysis server,
Memory and storage of programs for collaboration-based analysis and edge camera control
As the program stored in the memory is executed, edge camera detailed information corresponding to first image analysis information analyzed by one or more edge cameras is received from the integrated control server through the communication module,
Second image analysis information obtained by analyzing an image based on the image captured by the edge camera and the edge camera detailed information is received from the image analysis server, and collaboration control information is provided based on the first and second image analysis information. And a processor for generating and providing the collaboration control information to the edge camera through the video analysis server and the integrated control server,
Intelligent collaboration server.
제6항에 있어서,
상기 프로세서는 상기 제1 및 제2 영상 분석 정보를 기반으로, 상기 엣지 카메라의 제어가 필요한지 여부를 판단하고, 상기 판단 결과 필요시 상기 엣지 카메라를 위한 협업 제어 정보를 생성하여 상기 통합관제서버로 제공하되,
상기 협업 제어 정보는 엣지 카메라의 ID, 엣지 카메라의 내부 기능 제어 정보 및 엣지 카메라의 PTZ 설정 정보를 포함하는 것인,
지능형협업서버.
According to claim 6,
The processor determines whether control of the edge camera is necessary based on the first and second image analysis information, and generates collaborative control information for the edge camera if necessary as a result of the determination and provides the information to the integrated control server. but
The collaborative control information includes an ID of the edge camera, internal function control information of the edge camera, and PTZ setting information of the edge camera.
Intelligent collaboration server.
제6항에 있어서,
상기 프로세서는 상기 제1 및 제2 영상 분석 정보를 기반으로, 제1 및 제2 영상 분석 정보에서 검출된 이벤트 간 충돌이 발생하였는지 여부를 판단하고, 상기 판단 결과 이벤트 충돌이 발생한 경우 상기 영상분석서버로 상기 영상에 대한 재분석을 요청하는 것인,
지능형협업서버.
According to claim 6,
The processor determines whether a collision between events detected in the first and second image analysis information has occurred based on the first and second image analysis information, and if an event collision occurs as a result of the determination, the image analysis server To request reanalysis of the image with
Intelligent collaboration server.
지능형협업서버에서의 협업 기반 영상 분석 방법에 있어서,
하나 이상의 엣지 카메라에 의해 분석된 제1 영상 분석 정보를 통합관제서버를 통해 수신하는 단계;
상기 엣지 카메라에 의해 촬영된 영상 및 엣지 카메라 세부 정보를 기반으로 영상을 분석한 제2 영상 분석 정보를 상기 영상분석서버로부터 수신하는 단계;
상기 제1 및 제2 영상 분석 정보를 기반으로 협업 제어 정보를 생성하는 단계; 및
상기 협업 제어 정보를 상기 영상분석서버 및 상기 통합관제서버를 통해 엣지 카메라로 제공하는 단계를 포함하는,
지능형협업서버에서의 협업 기반 영상 분석 방법.
In the collaboration-based image analysis method in an intelligent collaboration server,
Receiving first image analysis information analyzed by one or more edge cameras through an integrated control server;
Receiving second image analysis information obtained by analyzing an image based on the image captured by the edge camera and detailed information of the edge camera from the image analysis server;
generating collaboration control information based on the first and second image analysis information; and
Providing the collaborative control information to the edge camera through the video analysis server and the integrated control server,
Collaboration-based video analysis method in intelligent collaboration server.
KR1020210164969A 2021-11-25 2021-11-25 Collaboration-based intelleigent video security system, server, cooperating server and method of analyzing video based on cooperation thereof KR20230077565A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210164969A KR20230077565A (en) 2021-11-25 2021-11-25 Collaboration-based intelleigent video security system, server, cooperating server and method of analyzing video based on cooperation thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210164969A KR20230077565A (en) 2021-11-25 2021-11-25 Collaboration-based intelleigent video security system, server, cooperating server and method of analyzing video based on cooperation thereof

Publications (1)

Publication Number Publication Date
KR20230077565A true KR20230077565A (en) 2023-06-01

Family

ID=86770820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210164969A KR20230077565A (en) 2021-11-25 2021-11-25 Collaboration-based intelleigent video security system, server, cooperating server and method of analyzing video based on cooperation thereof

Country Status (1)

Country Link
KR (1) KR20230077565A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072255A (en) 2013-12-19 2015-06-29 (주)이지트래픽 Gis system based cctv monitoring system and displaying method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072255A (en) 2013-12-19 2015-06-29 (주)이지트래픽 Gis system based cctv monitoring system and displaying method thereof

Similar Documents

Publication Publication Date Title
US10943095B2 (en) Methods and systems for matching extracted feature descriptors for enhanced face recognition
CN108446669B (en) Motion recognition method, motion recognition device and storage medium
KR101458136B1 (en) Video processing method, video processing server performing the same, monitoring server performing the same, system performing the same and storage medium storing the same
EP3506228A1 (en) Image capturing apparatus, image processing apparatus, control method, and program
WO2017151241A2 (en) Video processing
US10181088B2 (en) Method for video object detection
US20110285845A1 (en) Distant face recognition system
CN102891960A (en) Method and camera for determining an image adjustment parameter
WO2013192253A1 (en) Self learning face recognition using depth based tracking for database generation and update
US20110142233A1 (en) Server and camera for video surviellance system and method for processing events in the same system
KR102008503B1 (en) Intelleigent cooperating server, system and method of analyzing based on cooperation thereof
US20190340349A1 (en) Method of unlocking an electronic device, unlocking device and system and storage medium
CN111291671B (en) Gesture control method and related equipment
CN110798623A (en) Monocular camera, image processing system, and image processing method
KR101002712B1 (en) Intelligent security system
JP6809114B2 (en) Information processing equipment, image processing system, program
US10200572B1 (en) Motion detection
US9607210B2 (en) Video surveillance system and method for fraud detection
KR20230077565A (en) Collaboration-based intelleigent video security system, server, cooperating server and method of analyzing video based on cooperation thereof
CN111225146B (en) Security protection auxiliary monitoring method and system based on wireless sensing and storage medium
US20100220896A1 (en) Method and system for determining shutter fluttering sequence
KR101236266B1 (en) Manage system of parking space information
KR102077632B1 (en) Hybrid intellgent monitoring system suing local image analysis and cloud service
CN110697517A (en) Elevator control method, system and storage medium based on cell
CN116152906A (en) Image recognition method, device, communication equipment and readable storage medium