KR101789690B1 - System and method for providing security service based on deep learning - Google Patents

System and method for providing security service based on deep learning Download PDF

Info

Publication number
KR101789690B1
KR101789690B1 KR1020170087862A KR20170087862A KR101789690B1 KR 101789690 B1 KR101789690 B1 KR 101789690B1 KR 1020170087862 A KR1020170087862 A KR 1020170087862A KR 20170087862 A KR20170087862 A KR 20170087862A KR 101789690 B1 KR101789690 B1 KR 101789690B1
Authority
KR
South Korea
Prior art keywords
image
deep learning
information
server
learning server
Prior art date
Application number
KR1020170087862A
Other languages
Korean (ko)
Inventor
이동식
이원경
Original Assignee
(주)블루비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)블루비스 filed Critical (주)블루비스
Priority to KR1020170087862A priority Critical patent/KR101789690B1/en
Application granted granted Critical
Publication of KR101789690B1 publication Critical patent/KR101789690B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 딥 러닝 기반 보안 서비스 제공 시스템 및 방법에 관한 것으로서, 더욱 상세히는 센서의 감지에 따른 센싱 신호 수신 시점에 카메라를 통해 촬영된 영상에 나타나는 감시 대상 객체를 딥 러닝 방식을 통해 분석하여 감시 대상 객체에 대한 식별 정확도를 높여 감시 대상 객체가 아닌 객체로 인한 오보율을 낮추는 동시에 영상을 구성하는 복수의 이미지 중 감시 대상 객체가 식별된 이미지의 영상 특징을 반복 학습하여 감시 대상 객체의 식별이 가능한 최적의 이미지가 제공되도록 하여 센서에 의해 감지된 감시 대상에 대한 보고 누락이 발생하지 않도록 지원함으로써 감시 대상의 식별에 대한 신뢰성 및 정확도를 보장하는 딥 러닝 기반 보안 서비스 제공 시스템 및 방법에 관한 것이다.More particularly, the present invention relates to a system and method for providing a deep learning-based security service, and more particularly, to a system and method for providing a deep learning-based security service by analyzing a monitoring target object appearing in an image captured through a camera, It is possible to improve the accuracy of identification of objects and thereby reduce the rate of false alarms caused by objects other than the monitored object. At the same time, among the plurality of images constituting the image, the monitored object repeatedly learns the image characteristics of the identified image, The present invention relates to a deep learning-based security service providing system and method for assuring reliable and accurate identification of an object to be monitored by assuring that an image of an object to be monitored is provided so that omissions of a monitoring object detected by the sensor do not occur.

Description

딥 러닝 기반 보안 서비스 제공 시스템 및 방법{System and method for providing security service based on deep learning}[0001] SYSTEM AND METHOD FOR PROVIDING DEEP LEUNNING-BASED SECURITY SERVICE [0002]

본 발명은 딥 러닝 기반 보안 서비스 제공 시스템 및 방법에 관한 것으로서, 더욱 상세히는 센서의 감지에 따른 센싱 신호 수신 시점에 카메라를 통해 촬영된 영상에 나타나는 감시 대상 객체를 딥 러닝 방식을 통해 분석하여 감시 대상 객체에 대한 식별 정확도를 높여 감시 대상 객체가 아닌 객체로 인한 오보율을 낮추는 동시에 영상을 구성하는 복수의 이미지 중 감시 대상 객체가 식별된 이미지의 영상 특징을 반복 학습하여 감시 대상 객체의 식별이 가능한 최적의 이미지가 제공되도록 하여 센서에 의해 감지된 감시 대상에 대한 보고 누락이 발생하지 않도록 지원함으로써 감시 대상의 식별에 대한 신뢰성 및 정확도를 보장하는 딥 러닝 기반 보안 서비스 제공 시스템 및 방법에 관한 것이다.More particularly, the present invention relates to a system and method for providing a deep learning-based security service, and more particularly, to a system and method for providing a deep learning-based security service by analyzing a monitoring target object appearing in an image captured through a camera, It is possible to improve the accuracy of identification of objects and thereby reduce the rate of false alarms caused by objects other than the monitored object. At the same time, among the plurality of images constituting the image, the monitored object repeatedly learns the image characteristics of the identified image, The present invention relates to a deep learning-based security service providing system and method for assuring reliable and accurate identification of an object to be monitored by assuring that an image of an object to be monitored is provided so that omissions of a monitoring object detected by the sensor do not occur.

현재 통신 및 영상분석 기술의 발전과 더불어 감시 대상 지역에 대한 보안을 위해 원격지에 위치하는 카메라로부터 수신된 영상에 대한 영상 분석 및 객체 식별을 통해 감시 대상 지역에 대한 보안을 제공하는 다양한 보안 시스템이 제공되고 있으며, 이를 통해 감시 대상 지역의 객체 감지시 관리자에게 위험 여부를 알리고 객체 감지에 따른 영상을 기록하는 등의 다양한 서비스를 제공하여 감시 대상 지역의 관리에 대한 편의성을 높이고 있다.In addition to the development of communication and image analysis technologies, various security systems are provided to provide security for the target area through image analysis and object identification of images received from cameras located at remote locations Through this, it provides various services such as notifying the manager of the danger when the object of the monitoring target area is detected and recording the image according to the object detection, thereby enhancing the convenience of management of the monitoring target area.

일반적으로 보안 시스템은 감시 대상 지역에 위치하는 센서를 통해 감시 대상 지역에 위치하는 감시 대상을 감지하고, 감시 대상의 감지시 해당 감시 대상의 감지와 연동하여 카메라를 통해 감시 대상을 촬영하여 생성한 영상을 제공함으로써, 센서를 통해 감지된 감시 대상을 영상을 통해 확인할 수 있도록 제공한다.Generally, a security system detects a surveillance object located in a surveillance target area through a sensor located in a surveillance target area, and when the surveillance target is sensed, So that the surveillance object detected through the sensor can be confirmed through the image.

그러나, 기존의 보안 시스템의 감시 대상에 대한 센서의 감지에 따른 침입 신호 발생시 영상을 통한 확인과 별도로 관리자에게 무조건 알람이 제공되도록 동작하고 있으며, 이로 인해 감시 대상이 아닌 객체에 대해서도 알람이 제공되어 오보가 지속적으로 발생하는 문제가 있다.However, when an intrusion signal is generated according to the detection of a sensor of the existing security system, an alarm is provided to the administrator separately from the confirmation through the image. Thus, an alarm is provided to the object not to be monitored, There is a problem in that it occurs continuously.

이를 방지하기 위해, 최근 보안 시스템은 센서의 감지와 더불어 센서를 통해 침입 신호 발생시 카메라를 통해 촬영된 영상에서 감시 대상에 대응되는 감시 대상 객체가 식별되는 경우에 관리자에게 알람이 제공되도록 동작하도록 설정되어 보안 시스템의 오보를 최소화하고자 한다.In order to prevent this, in recent security systems, when an intrusion signal is generated through a sensor, an alarm is provided to an administrator when a monitored object corresponding to the monitored object is identified in an image photographed through the camera We want to minimize the misinformation of the security system.

그러나, 감시 대상 지역은 일반적으로 저조도의 환경이 많으며, 이로 인해 최근의 보안 시스템 역시 센서의 감시 대상 감지시 저조도 환경에서 운용되는 카메라를 통해 생성된 영상에서 객체가 뚜렷하게 나타나지 않아 감시 대상 객체가 아닌 객체에 대해서도 알람을 제공하거나 감시 대상 객체가 출현한 경우에도 감시 대상 객체가 영상을 통해 식별되지 않아 보고가 누락되는 경우가 빈번히 발생하여 오보율을 크게 개선하지 못하는 문제가 있다.However, since the monitoring target area generally has a low-light environment, a recent security system can not detect the object of the sensor object because the object is not clearly displayed in the image generated through the camera operated in the low- There is a problem that the obligation rate can not be greatly improved due to the frequent occurrence of the alarm being provided or the monitoring object being missed because the object is not identified through the image even when the monitored object appears.

상술한 문제점으로 인해, 보안 시스템의 감시 대상 지역에 대한 침입 감지 보고에 따른 신뢰성 및 정확도가 저하되는 문제가 발생한다.Due to the above-described problem, there is a problem that the reliability and accuracy of the intrusion detection report for the monitoring target area of the security system is lowered.

한국등록특허 제10-1002712호Korean Patent No. 10-1002712

본 발명은 센서의 감지에 따른 센싱 신호 수신 시점에 카메라를 통해 촬영된 영상에 나타나는 감시 대상 객체를 딥 러닝 방식을 통해 분석하여 감시 대상 객체에 대한 식별 정확도를 높여 감시 대상 객체가 아닌 객체로 인한 오보율을 낮추는 동시에 영상을 구성하는 복수의 이미지 중 감시 대상 객체가 식별된 이미지의 영상 특징을 반복 학습하여 감시 대상 객체의 식별이 가능한 최적의 이미지가 제공되도록 하여 센서에 의해 감지된 감시 대상에 대한 보고 누락이 발생하지 않도록 지원함으로써 감시 대상의 식별 및 감시 대상 지역의 보안에 대한 신뢰성 및 정확도를 보장하는데 그 목적이 있다.The object of the present invention is to provide a method and apparatus for analyzing a surveillance target object appearing in an image photographed by a camera at a point of time when a sensing signal is sensed according to sensing by a depth learning method, The monitoring object is repeatedly learned from the image characteristics of the identified image among the plurality of images constituting the image so that an optimal image capable of identifying the monitored object is provided, And to ensure the reliability and accuracy of the security of the monitoring target area by identifying the target to be monitored.

또한, 본 발명은 감시 대상 객체가 식별된 이미지를 반복 학습하여 카메라가 운영되는 감시 대상 지역의 환경 조건에 적응하여 감시 대상 객체의 식별이 가능한 최적의 이미지가 제공되도록 함으로써, 감시 대상 객체의 식별 정확도를 높이고 감시 대상 지역의 보안에 대한 신뢰성을 높이는데 그 목적이 있다.The object of the present invention is to repeatedly learn an image identified by the object to be monitored and to provide an optimal image capable of identifying the object to be monitored by adapting to the environmental condition of the object to be monitored, And to increase the reliability of security in the target area.

본 발명의 실시예에 따른 딥 러닝 기반 보안 서비스 제공 시스템은 감시 대상을 감지하여 센싱신호를 전송하는 센서부로부터 수신된 상기 센싱 신호를 미리 설정된 신호 서버로 전송하는 감지 관리 장치와, 감시 대상 지역을 촬영하여 생성한 동영상 정보를 전송하는 카메라부와, 상기 감지 관리 장치로부터 상기 센싱 신호를 수신시 미리 설정된 딥러닝 서버로 전송하는 신호 서버와, 이미지 요청 수신시 상기 카메라부로부터 수신된 상기 동영상 정보를 구성하는 복수의 이미지 중 상기 이미지 요청에 대응되는 이미지를 추출하여 전송하는 영상 분석 장치 및 상기 신호 서버로부터 상기 센싱 신호 수신시 상기 영상 분석 장치로 이미지를 요청하고, 상기 이미지 요청에 따라 수신된 이미지를 딥 러닝 방식으로 분석하여 미리 설정된 감시 대상 객체가 식별된 경우 이벤트 정보를 생성하며, 상기 감시 대상 객체의 미식별시 상기 영상 분석 장치로 상기 센싱 신호의 수신 시점과 연관된 다른 이미지를 재요청하고, 상기 재요청에 따라 수신된 이미지 중 상기 감시 대상 객체가 식별된 정상 이미지에 대한 결과정보를 상기 영상 분석 장치로 전송하는 딥러닝 서버를 포함하고, 상기 영상 분석 장치는 상기 딥러닝 서버의 이미지 재요청시 상기 복수의 이미지 중 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하며 객체가 검출된 하나 이상의 다른 이미지를 대상으로 미리 설정된 선정 기준에 따라 분석하여 최적 이미지를 상기 딥러닝 서버로 전송하며, 상기 결과 정보에 따라 상기 선정 기준을 갱신하는 것을 특징으로 할 수 있다.The system for providing a deep learning-based security service according to an embodiment of the present invention includes a sensing management device that transmits sensing signals received from a sensor unit that senses an object to be sensed and transmits a sensing signal to a predetermined signal server, A signal server for transmitting the moving image information generated by the imaging unit to the deep running server when receiving the sensing signal from the sensing management apparatus; An image analysis apparatus for extracting and transmitting an image corresponding to the image request among a plurality of images constituting the image, and an image analyzing apparatus for requesting an image from the image analyzing apparatus upon receiving the sensing signal from the signal server, Deep learning method is used to analyze the pre- The method further comprises the steps of: generating event information when the monitoring object is not identified; re-requesting the image analyzing apparatus for another image related to the reception time of the sensing signal when the monitoring object is not identified; And a depth learning server for transmitting result information on the identified normal image to the image analyzing apparatus, wherein the image analyzing apparatus is configured to determine, when the image re-request of the deep learning server is made, And transmits the optimal image to the deep learning server in accordance with a predetermined selection criterion that belongs to a predetermined time range and that has one or more other images in which the object is detected, and updates the selection criterion according to the result information .

본 발명과 관련된 일 예로서, 상기 딥러닝 서버는 상기 이벤트 정보 생성시 상기 신호 서버를 통해 미리 설정된 관제 서버로 상기 이벤트 정보를 전송하는 것을 특징으로 할 수 있다.In one embodiment of the present invention, the deep learning server transmits the event information to a predetermined control server through the signal server when generating the event information.

본 발명과 관련된 일 예로서, 상기 영상 분석 장치는 DVR 또는 NVR로 구성되는 것을 특징으로 할 수 있다.As an example related to the present invention, the image analysis apparatus may be configured as a DVR or an NVR.

본 발명과 관련된 일 예로서, 상기 딥러닝 서버는 상기 이미지 재요청에 따라 수신된 하나 이상의 상기 최적 이미지 중 적어도 하나에서 상기 감시 대상 객체가 식별된 경우 상기 감시 대상 객체가 식별된 정상 이미지 각각에 대한 이미지 식별정보를 포함하는 결과 정보를 상기 영상 분석 장치로 전송하고, 상기 영상 분석 장치는 상기 결과 정보에 대응되는 상기 정상 이미지에 대한 영상 분석을 통해 영상 특징을 추출하고, 상기 추출된 영상 특징을 기초로 상기 선정 기준을 구성하는 속성별 파라미터 중 적어도 하나를 변경하거나 상기 속성 중 어느 하나에 미리 설정된 가중치를 부여하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the deep learning server may further include, when the monitored object is identified in at least one of the at least one optimal image received according to the image re-request, Wherein the image analysis apparatus transmits result information including image identification information to the image analysis apparatus, and the image analysis apparatus extracts image features through image analysis of the normal image corresponding to the result information, Attribute of each attribute constituting the selection criterion or assigns a predetermined weight to any one of the attributes.

본 발명과 관련된 일 예로서, 상기 속성은 이미지 상 객체 위치별 크기, 상기 객체에 대한 경계 또는 외곽선의 분포, 상기 객체와 배경 사이의 조도 또는 색상 차이 및 히스토그램 분포 변화량 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the attribute includes at least one of a size of an object position on an image, a boundary or an outline of the object, an illuminance or a color difference between the object and the background, and a histogram distribution variation .

본 발명과 관련된 일 예로서, 상기 딥러닝 서버는 딥 러닝 기반의 신경 회로망을 통해 상기 영상 분석 장치로부터 수신된 이미지를 분석하여 감시 대상 객체를 식별하고, 감시 대상 객체가 식별된 상기 정상 이미지를 저장하며, 상기 영상 분석 장치로부터 수신된 특정 이미지에서 감시 대상 객체를 식별하는 과정에서 감시 대상 객체가 아닌 특정 객체가 식별된 경우 상기 특정 이미지와 하나 이상의 상기 정상 이미지 사이의 유사도 비교를 수행할 수 있으며, 해당 유사도가 미리 설정된 기준치 이상인 경우 상기 특정 이미지에 대하여 상기 신경 회로망을 기반으로 영상 처리된 출력값과 상기 객체 정보 사이의 오차에 대한 오차 정보를 생성할 수 있으며, 미리 설정된 역전파 알고리즘(back propagation algorithm)을 통해 상기 오차정보를 기반으로 상기 신경 회로망을 구성하는 파라미터를 조정하는 것을 특징으로 할 수 있다.In one embodiment of the present invention, the deep learning server analyzes the image received from the image analysis apparatus through a deep learning-based neural network, identifies the monitored object, and stores the normal image And comparing the similarity between the specific image and the at least one normal image when a specific object other than the monitored object is identified in the process of identifying the monitored object in the specific image received from the image analysis apparatus, And generating error information on an error between the output value of the image processing based on the neural network and the object information with respect to the specific image when the similarity degree is equal to or greater than a preset reference value, Based on the error information, And adjusting the parameters constituting the network.

본 발명과 관련된 일 예로서, 상기 딥러닝 서버는 상기 오차 정보를 기초로 상기 역전파 알고리즘을 통해 상기 신경 회로망을 구성하는 입력층, 하나 이상의 은닉층 및 출력층 사이의 연결 강도에 대한 가중치(weight) 또는 상기 입력층, 은닉층 및 출력층에 구성된 유닛의 바이어스(bias)를 가변하여 상기 감시 대상 객체에 대한 식별 오류가 최소화되도록 학습하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the deep learning server calculates a weight of connection strength between the input layer, the at least one hidden layer and the output layer constituting the neural network through the back propagation algorithm based on the error information, The bias of the unit configured in the input layer, the hidden layer, and the output layer may be varied to learn that the identification error of the monitored object is minimized.

본 발명의 실시예에 따른 감시 대상의 감시에 따른 센서부의 센싱 신호를 수신하는 딥러닝 서버 및 카메라부로부터 동영상 정보를 수신하며 상기 딥러닝 서버와 상호 통신하는 영상 분석 장치의 딥 러닝 기반 보안 서비스 제공 방법은, 상기 딥러닝 서버가 상기 센싱 신호의 수신시 상기 센싱 신호의 수신 시점에 대응되는 이미지를 요청하기 위한 요청정보를 상기 영상 분석 장치로 전송하는 단계와, 상기 영상 분석 장치가 해당 딥러닝 서버의 요청 정보에 대응되는 이미지를 상기 동영상 정보로부터 추출하여 상기 딥러닝 서버로 전송하는 단계와, 상기 딥러닝 서버가 상기 영상 분석 장치로부터 수신된 이미지를 딥 러닝 방식으로 분석하여 미리 설정된 감시 대상 객체가 식별된 경우 이벤트 정보를 생성하고, 상기 감시 대상 객체의 미식별시 상기 영상 분석 장치로 상기 센싱 신호의 수신 시점과 연관된 다른 이미지를 재요청하기 위한 재요청정보를 전송하는 단계와, 상기 영상 분석 장치가 상기 재요청정보 수신시 상기 복수의 이미지 중 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하며 객체가 검출된 하나 이상의 다른 이미지를 대상으로 미리 설정된 선정 기준에 따라 분석하여 최적 이미지를 상기 딥러닝 서버로 전송하는 단계를 포함할 수 있다.A deep learning server for receiving a sensing signal of a sensor unit according to an embodiment of the present invention and a deep learning based security service for an image analysis apparatus communicating with the deep learning server, The method includes the steps of transmitting, to the image analysis apparatus, request information for requesting an image corresponding to a reception time of the sensing signal when the deep learning server receives the sensing signal, Extracting an image corresponding to the request information from the moving image information, and transmitting the extracted image to the deep learning server; and the deep learning server analyzes the image received from the image analysis apparatus by a deep learning method, And generates event information when it is identified, and when the monitoring object is not identified, The method comprising the steps of: transmitting re-request information for re-requesting another image related to the reception time of the sensing signal to the analyzing device; and transmitting the re- Analyzing the at least one other image belonging to the time range within a predetermined time range according to a preset selection criterion and transmitting the optimum image to the deep learning server.

본 발명과 관련된 일 예로서, 상기 딥 러닝 기반 보안 서비스 제공 방법은 상기 딥러닝 서버가 상기 최적 이미지로부터 감시 대상 객체의 식별시 상기 최적 이미지에 대한 이미지 식별정보를 포함하는 결과 정보를 생성하여 상기 영상 분석 장치로 전송하는 단계 및 상기 영상 분석 장치가 상기 결과정보 수신시 상기 결과 정보에 대응되는 이미지를 분석하여 영상 특징을 추출하고, 상기 영상 특징을 기초로 상기 선정 기준을 갱신하는 단계를 더 포함할 수 있다.In one embodiment of the present invention, the deep learning server generates result information including image identification information on the best image when identifying a monitored object from the best image, Analyzing an image corresponding to the result information when the image analysis apparatus receives the result information, extracting an image feature, and updating the selection criterion based on the image feature .

본 발명에 따른 딥 러닝 기반 보안 서비스 제공 시스템은 딥 러닝 기반의 학습을 통해 정지 영상(이미지)에서 감시 대상 객체의 식별 정확도를 높일 수 있을 뿐만 아니라 감시 대상 객체가 식별된 이미지로부터 추출되는 영상 특징을 기반으로 반복 학습을 수행하여 감시 대상 지역의 환경 특성에 따라 카메라부에서 제공되는 동영상에 대한 객체 검출 과정에서 객체 식별이 용이한 최적의 이미지가 선택되어 제공되도록 지원함으로써, 정지 영상을 통한 반복 학습을 통해 객체의 식별 정확도를 높임과 동시에 동영상에서 객체 식별이 용이한 최적의 이미지가 추출되도록 지원하여 객체의 식별 정확도를 더욱 높일 수 있으며, 감시 대상이 센서를 통해 감지된 시점에 카메라의 영상을 통해 감시 대상이 정확하게 식별되어 오보가 방지되도록 지원하는 동시에 센서에 의해 감지된 감시 대상에 대한 보고가 누락되지 않도록 하여 보안 서비스에 대한 신뢰도 및 정확도를 크게 높이는 효과가 있다.The deep learning-based security service providing system according to the present invention not only enhances the accuracy of the monitoring object object in a still image (image) through deep learning-based learning, but also enhances the image characteristic extracted from the identified image It is possible to provide an optimal image that can be easily identified in the object detection process of the moving image provided by the camera unit according to the environmental characteristics of the monitored area by performing iterative learning based on the environment characteristic of the monitored area, It is possible to increase the accuracy of identification of objects and improve the accuracy of identification of objects by extracting optimal images that are easy to identify objects in a moving image. Further, when the object is detected through the sensor, Helps ensure that objects are accurately identified to prevent misleading It is possible to prevent a report on the monitored object sensed by the sensor from being missed, thereby greatly enhancing the reliability and accuracy of the security service.

또한, 본 발명은 감시 대상 객체에 대한 반복 학습을 통해 감시 대상 객체의 식별에 대한 정확도를 높일 수 있을 뿐만 아니라 감시 대상 지역의 환경 특성이 반영된 동영상 또는 이미지에서 나타나는 감시 대상 객체의 특징 변화를 학습하고, 이를 기초로 보안 시스템의 운용 특성상 일반적으로 저조도 환경에서 운용되는 카메라를 통해 촬영된 감시 대상을 정확하게 식별할 수 있도록 감시 대상 지역에서 나타나는 감시 대상 객체의 특징에 맞추어 딥 러닝 알고리즘을 최적화하여 객체 식별 정확도를 높일 수 있으며, 이를 통해 감시 대상 객체 이외의 객체를 정확하게 구분하여 감시 대상이 아닌 객체를 감시 대상으로 오판하여 오보가 발생하지 않도록 지원하는 효과가 있다.In addition, the present invention not only improves the accuracy of identification of a monitored object through iterative learning of a monitored object, but also learns a feature change of a monitored object appearing in a moving image or an image reflecting environmental characteristics of the monitored area Based on this, based on the characteristics of the operation of the security system, it is possible to optimize the deep learning algorithm according to the characteristics of the object to be observed in the monitored area so as to accurately identify the object to be photographed through a camera operated in a low- So that it is possible to accurately distinguish objects other than the object to be monitored, and thereby to prevent an object from being misunderstood as an object to be monitored.

도 1 및 도 2는 본 발명의 실시예에 따른 딥 러닝 기반 보안 서비스 제공 시스템의 구성도 및 기본 동작 예시도.
도 3은 본 발명의 실시예에 따른 딥 러닝 기반 보안 서비스 제공 시스템을 구성하는 영상 분석 장치의 객체 검출 및 이미지 제공에 대한 동작 예시도.
도 4 및 도 5는 본 발명의 실시예에 따른 딥 러닝 기반 보안 서비스 제공 시스템에서 감시 대상 객체의 식별 정확도를 높이기 위한 학습 과정에 대한 동작 예시도.
도 6은 본 발명의 실시예에 따른 딥 러닝 기반 보안 서비스 제공 방법에 대한 순서도.1 and 2 are a configuration diagram and a basic operation example of a deep learning-based security service providing system according to an embodiment of the present invention;
3 is a diagram illustrating an operation of object detection and image provisioning of an image analysis apparatus constituting a deep learning-based security service providing system according to an embodiment of the present invention;
FIG. 4 and FIG. 5 are diagrams illustrating an operation example of a learning process for increasing the accuracy of identification of a monitored object in a deep learning-based security service providing system according to an embodiment of the present invention;
6 is a flowchart illustrating a method of providing a deep learning-based security service according to an embodiment of the present invention;

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings.

도 1 및 도 2는 본 발명의 실시예에 따른 딥 러닝 기반 보안 서비스 제공 시스템의 구성도로서, 도시된 바와 같이 다양한 센서를 포함하는 센서부(10)와, 해당 센서부(10)와 연결되어 상기 센서부(10)의 센싱신호를 수신하는 감지 관리 장치(20)와, 상기 감지 관리 장치(20)와 연결되어 상기 감지 관리 장치(20)로부터 상기 센서부(10)의 센싱신호를 수신하는 신호 서버(30)와, 감시 대상 지역을 촬영하는 카메라부(70)와, 상기 카메라부(70)와 연결되어 상기 카메라부(70)를 통해 생성된 영상에 대한 영상 분석을 수행하는 영상 분석 장치(60)와, 상기 신호 서버(30)와 연결되어 상기 센싱 신호를 수신하고, 상기 영상 분석 장치(60)와 연결되는 딥러닝 서버(50)를 포함할 수 있다.1 and 2 are block diagrams of a system for providing a deep learning-based security service according to an embodiment of the present invention. As shown in the figure, the sensor unit 10 includes various sensors, A sensing management device 20 that receives a sensing signal of the sensor unit 10 and a sensing unit 20 that is connected to the sensing management device 20 and receives a sensing signal of the sensor unit 10 from the sensing management device 20 An image analyzer 70 connected to the camera unit 70 and performing image analysis on an image generated through the camera unit 70, And a deep learning server 50 connected to the signal server 30 to receive the sensing signal and to be connected to the image analysis device 60.

이때, 상기 딥 러닝 기반 보안 서비스 제공 시스템을 구성하는 구성 요소 사이의 연결은 유무선 통신망을 통해 연결될 수 있으며, 상기 유무선 통신망은 널리 알려진 다양한 통신 방식이 적용될 수 있다.At this time, the connection between the components constituting the deep learning-based security service providing system may be connected through a wired / wireless communication network, and various widely known communication methods may be applied to the wired / wireless communication network.

또한, 상기 감지 관리 장치(20)와 신호 서버(30)는 하나의 구성부로 구성될 수 있으며, 일례로 상기 감지 관리 장치(20)가 상기 신호 서버(30)에 포함되어 구성되거나 상기 신호 서버(30)가 상기 감지 관리 장치(20)에 포함되어 구성될 수도 있다.The sensing management device 20 and the signal server 30 may be constituted by one component. For example, the sensing management device 20 may be included in the signal server 30, 30 may be included in the detection management device 20.

또한, 상기 영상 분석 장치(60)는 DVR(Digital Video Recorder) 또는 NVR(Network Video Recorder)로 구성될 수 있다.In addition, the image analysis apparatus 60 may include a DVR (Digital Video Recorder) or an NVR (Network Video Recorder).

상기 센서부(10)는 상기 감시 대상 지역에 다양한 장소에 위치하는 적외선 센서, 인체감지 센서, 자기 센서 등과 같은 다양한 센서를 포함할 수 있으며, 상기 감시 대상 지역에서 감시 대상의 감지에 따라 생성한 센싱 신호를 통신망을 통해 상기 감지 관리 장치(20)로 전송할 수 있다.The sensor unit 10 may include various sensors such as an infrared sensor, a human body sensor, a magnetic sensor, and the like, which are located at various places in the monitored area. In addition, And transmit the signal to the detection management device 20 through a communication network.

또한, 상기 센서부(10)로부터 센싱 신호를 수신한 감지 관리 장치(20)는 상기 센싱 신호를 통신망을 통해 상기 신호 서버(30)로 전송할 수 있다.In addition, the sensing management device 20 receiving the sensing signal from the sensor unit 10 may transmit the sensing signal to the signal server 30 through the communication network.

또한, 상기 신호 서버(30)는 상기 센싱 신호 수신시 통신망을 통해 미리 설정된 상기 딥러닝 서버(50)로 전송할 수 있다.In addition, the signal server 30 may transmit the sensed signal to the predetermined deep learning server 50 through a communication network.

한편, 상기 카메라부(70)는 상기 감시 대상 지역을 촬영하여 생성한 동영상 정보를 상기 영상 분석 장치(60)로 전송할 수 있다.Meanwhile, the camera unit 70 may transmit the moving image information generated by photographing the monitoring target area to the image analysis apparatus 60. [0033] FIG.

이때, 상기 카메라부(70)는 가시광 카메라, 적외선 카메라, 깊이감지 카메라 등과 같은 다양한 종류의 카메라를 포함할 수 있으며, 감시 대상 지역에서 서로 다른 장소에 위치하는 하나 이상의 카메라로 구성될 수 있다.At this time, the camera unit 70 may include various kinds of cameras such as a visible light camera, an infrared camera, a depth sensing camera, and the like, and may be composed of one or more cameras located at different places in a monitored area.

또한, 상기 영상 분석 장치(60)는 상기 카메라부(70)로부터 동영상 정보 수신시 상기 동영상 정보를 미리 설정된 영상 분석 알고리즘에 따라 영상을 분석하여 상기 감시 대상 지역에 위치하는 감시 대상에 대한 객체를 검출할 수 있다.In addition, the image analyzing apparatus 60 analyzes the moving image information according to a predetermined image analysis algorithm when the moving image information is received from the camera unit 70, and detects an object to be monitored located in the monitoring area can do.

이때, 상기 영상 분석 장치(60)는 상기 카메라부(70)로부터 수신된 동영상 정보를 상기 영상 분석 장치(60)에 구성된 저장부에 저장할 수 있다.At this time, the image analyzing apparatus 60 may store the moving image information received from the camera unit 70 in a storage unit configured in the image analyzing apparatus 60.

또한, 상기 딥러닝 서버(50)는 상기 감지 관리 장치(20)로부터 센싱 신호 수신시 상기 영상 분석 장치(60)로 상기 센싱 신호가 감지된 감시 대상에 대응되는 객체를 식별하기 위해 상기 영상 분석 장치(60)로 상기 센싱 신호에 대응되는 이미지를 요청하기 위한 요청정보를 전송할 수 있다.In order to identify an object corresponding to the object to be monitored when the sensing signal is sensed by the image analysis device 60 upon receiving a sensing signal from the sensing management device 20, And transmit request information for requesting an image corresponding to the sensing signal to the controller 60.

이에 따라, 상기 영상 분석 장치(60)는 상기 딥러닝 서버(50)의 이미지 요청에 대한 요청정보 수신시 상기 동영상 정보를 구성하는 복수의 이미지 중 상기 요청 정보에 포함된 상기 센싱 신호의 수신시점에 대응되는 이미지를 상기 동영상 정보로부터 추출하여 상기 딥러닝 서버(50)로 전송할 수 있다.Accordingly, when receiving the request information for the image request of the deep learning server 50, the image analyzing apparatus 60 may receive the sensing information from the plurality of images constituting the moving image information, The corresponding image can be extracted from the moving image information and transmitted to the deep learning server 50.

또한, 상기 영상 분석 장치(60)는 상기 요청정보 수신시 상기 동영상 정보를 구성하는 복수의 이미지 중 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하는 하나 이상의 이미지에 대한 영상 분석을 통해 객체가 검출된 하나 이상의 이미지를 상기 동영상 정보로부터 추출하여 상기 딥러닝 서버(50)로 전송할 수도 있다.In addition, the image analyzer 60 may analyze the at least one image belonging to the predetermined time range based on the reception time of the sensing signal among the plurality of images constituting the moving image information upon receiving the request information, And may transmit the extracted one or more images to the deep learning server 50 by extracting the one or more images from the moving image information.

이때, 상기 영상 분석 장치(60)는 상기 동영상 정보를 구성하는 복수의 이미지에 대한 영상 분석시 전경과 배경을 분리하고, 전경 중 움직이는 이동 객체를 검출하여 해당 이동 객체가 검출되는 이미지를 상기 딥러닝 서버(50)로 전송할 수 있다.At this time, the image analyzer 60 separates the foreground and the background in the image analysis of the plurality of images constituting the moving image information, detects the moving object moving in the foreground, and performs the deep running To the server (50).

또한, 상기 영상 분석 장치(60)는 영상 분석의 일례로 차분영상 방법, GMM(Gaussian Mixture Models)을 이용하는 MOG(Model of Gaussian) 알고리즘, 코드북(Codebook) 알고리즘 등과 같은 영상 분석 알고리즘이 미리 설정될 수 있으며, 해다 영상 분석 알고리즘을 객체 검출에 적용할 수 있다.In addition, the image analysis apparatus 60 may include an image analysis algorithm such as a differential image method, a model of Gaussian (MOG) algorithm using Gaussian Mixture Models (GMM), a codebook algorithm, , And a hash image analysis algorithm can be applied to object detection.

한편, 상기 딥러닝 서버(50)는 상기 영상 분석 장치(60)로부터 수신된 이미지를 딥 러닝(deep learning) 방식으로 분석하여 미리 설정된 감시 대상에 대한 감시 대상 객체가 식별된 경우 감시 대상 객체의 식별에 따른 이벤트 정보를 생성하여 상기 신호 서버(30)로 전송할 수 있다.Meanwhile, the deep learning server 50 analyzes the image received from the image analysis device 60 by a deep learning method and identifies a monitoring target object when a monitoring target object for a predetermined monitoring target is identified And transmits the generated event information to the signal server 30.

또한, 상기 신호 서버(30)는 상기 이벤트 정보를 미리 설정된 관제 서버(40)로 통신망을 통해 전송하여 감시 대상에 대한 이벤트 발생을 관제 서버(40)에 알릴 수 있으며, 이를 통해 감시 대상 지역에 침입한 감시 대상에 대한 알림을 관제 서버(40)에 제공하여 감시 대상의 출현에 대한 보고를 수행할 수 있다.In addition, the signal server 30 may transmit the event information to a predetermined control server 40 through a communication network to notify the control server 40 of an event occurrence of the monitored object, It is possible to notify the monitoring server 40 of a notice of the monitored object and report on the appearance of the monitored object.

이때, 상기 딥러닝 서버(50)는 상기 이벤트 정보 생성시 통신망을 통해 미리 설정된 클라이언트(Client) 단말로 상기 이벤트 정보를 직접 전송할 수 있으며, 상기 클라이언트 단말은 해당 이벤트 정보 수신시 상기 클라이언트 단말에 구성된 별도의 어플리케이션이나 웹 브라우저를 통해 상기 이벤트 정보를 표시할 수 있다.At this time, the deep learning server 50 can directly transmit the event information to a client terminal, which is set in advance, through a communication network when generating the event information, and the client terminal The event information can be displayed through an application or a web browser.

상술한 바와 같이, 일반적으로 기존의 보안 시스템이 저조도의 환경에서 동작하여 센서의 센싱 신호를 통해 감시 대상의 감지시 생성된 동영상에 대한 영상 분석 과정에서 객체가 검출된 경우에도 객체의 식별이 어려워 감시 대상 객체가 아닌 객체에 대한 이벤트를 생성하여 보고하거나 센서를 통해 감시 대상이 감지된 경우에도 영상에서 낮은 조도로 인해 객체가 식별되지 않아 감시 대상의 감지에 따른 보고가 누락되는 경우와 같은 오보율이 증가하는 문제점을 개선하기 위하여, 본 발명에 따른 딥 러닝 기반 보안 서비스 제공 시스템은 딥 러닝을 통해 감시 대상 지역의 환경 특성(환경 조건)에서 나타나는 감시 대상 객체의 특징을 지속적으로 학습하여 감시 대상 객체에 대한 식별 정확도를 높이는 동시에 감시 대상 객체가 식별된 이미지의 영상 특징을 지속적으로 학습하여 객체 식별이 용이한 최적의 이미지를 판단하고 이를 통해 감시 대상 객체가 정확하게 식별되는 이미지를 선별하여 제공함으로써 감시 대상 객체를 다른 객체와 정확히 구분하여 식별되도록 지원하여 오보율을 낮추는 동시에 감시 대상의 감지시 보고가 누락되는 경우를 방지하도록 지원할 수 있다.As described above, in general, when an existing security system operates in a low-illuminance environment and an object is detected during an image analysis process of a moving image generated when a monitoring target is detected through a sensing signal of the sensor, If an object is not detected but the object is not recognized due to low illuminance even if the object is detected through the sensor, it is possible to detect an error rate In order to improve the problem, the deep learning-based security service providing system according to the present invention continuously learns the characteristics of the monitored object appearing in the environmental characteristic (environmental condition) of the monitored region through the deep learning, It is possible to increase the accuracy of identification of the object, By continuously learning the gong, it is possible to judge the optimal image which is easy to identify the object, and by selectively providing the image in which the object to be monitored is accurately identified, it is possible to distinguish the object to be monitored accurately from other objects, At the same time, it is possible to prevent the report from being missed when it is detected.

상술한 구성을 토대로, 이하 도면을 통해 본 발명의 상세 구성을 설명한다.The detailed configuration of the present invention will be described below with reference to the drawings based on the above-described configuration.

도 3은 본 발명의 실시예에 따른 영상 분석 장치(60)의 동작 예시도로서, 도시된 바와 같이 상기 영상 분석 장치(60)는 딥러닝 서버(50)로부터 센싱 신호의 수신에 따른 요청정보 수신시(S1) 상기 카메라부(70)로부터 수신된 동영상 정보를 구성하는 복수의 이미지 중 상기 요청 정보에 포함된 센싱 신호의 수신 시점에 대응되는 이미지를 추출하여 상기 딥러닝 서버(50)로 전송할 수 있다(S2).FIG. 3 is a diagram illustrating an operation of the image analysis apparatus 60 according to an embodiment of the present invention. As shown in FIG. 3, the image analysis apparatus 60 receives request information from a deep learning server 50 (S1) An image corresponding to the reception time point of the sensing signal included in the request information among the plurality of images constituting the moving picture information received from the camera unit 70 may be extracted and transmitted to the deep learning server 50 (S2).

이때, 상기 영상 분석 장치(60)는 딥러닝 서버(50)의 감시 대상 객체에 대한 식별 정확도를 높이기 위해, 상기 동영상 정보에서 상기 요청 정보에 대응되어 추출된 추출 이미지를 딥러닝 서버(50)로 전송하기 이전에 해당 추출 이미지에 대한 영상 분석을 수행할 수 있다.At this time, in order to increase the accuracy of identification of the object to be monitored of the deep learning server 50, the image analysis apparatus 60 transmits the extracted image corresponding to the request information to the deep learning server 50 The image analysis may be performed on the extracted image before transmission.

일례로, 상기 영상 분석 장치(60)는 상기 추출 이미지를 기준으로 상기 동영상 정보에서 상기 추출 이미지와 시간 순으로 인접한 연관 이미지를 추출하고, 상기 추출 이미지와 연관 이미지를 차분 영상 방식과 같은 영상 분석 알고리즘을 통해 분석하여 상기 추출 이미지에 대한 객체의 검출 여부를 판단할 수 있다.For example, the image analysis apparatus 60 extracts an associated image adjacent to the extracted image in the temporal order from the extracted moving image, and associates the extracted image and the associated image with an image analysis algorithm such as a differential image method So as to determine whether or not the object of the extracted image is detected.

또한, 상기 영상 분석 장치(60)는 상기 추출 이미지에 대하여 객체의 식별 가능 여부를 판단하기 위한 선정 기준이 미리 설정되며, 객체가 검출된 경우(S3) 상기 선정 기준에 따라 상기 추출 이미지를 분석하여(S5) 상기 추출 이미지가 선정 기준을 만족하는 경우(S6) 상기 추출 이미지를 상기 딥러닝 서버(50)로 전송할 수 있다(S7).In addition, a selection criterion for determining whether the object can be identified is preset for the extracted image. If the object is detected (S3), the image analyzer 60 analyzes the extracted image according to the selection criterion (S5) If the extracted image satisfies the selection criteria (S6), the extracted image may be transmitted to the deep learning server 50 (S7).

일례로, 상기 영상 분석 장치(60)는 상기 선정 기준에 따라 상기 추출 이미지에서 검출된 객체가 상기 선정 기준에 따른 미리 설정된 크기 이상의 크기를 가지는지 여부, 상기 선정 기준에 따른 배경과의 경계 구분 정도가 미리 설정된 값 이상인지 여부 등을 종합적으로 판단하여 객체의 식별이 가능한지 여부를 판단할 수 있다.For example, the image analysis apparatus 60 determines whether or not an object detected in the extracted image has a size equal to or larger than a predetermined size according to the selection criterion in accordance with the selection criterion, Whether or not the object is identifiable or not can be judged comprehensively.

또한, 상기 영상 분석 장치(60)는 상기 추출 이미지에서 객체가 검출되지 않거나 선정 기준을 만족하지 않는 경우(S3, S6) 상기 동영상 정보에 포함된 복수의 이미지 중 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하며 상기 추출 이미지를 제외한 하나 이상의 이미지를 대상으로(S4) 상기 객체 검출 여부 및 선정 기준의 만족 여부를 판단하여(S3, S5, S6) 객체가 검출되고 선정 기준을 만족하는 최적 이미지를 선택하여 상기 딥러닝 서버(50)로 전송할 수 있다(S7).If the object is not detected in the extracted image or the selection criterion is not satisfied (S3, S6), the image analyzer 60 determines whether the sensing signal is received from among the plurality of images included in the moving image information (S3, S5, and S6). If the object is detected and the object satisfying the selection criterion satisfies the selection criterion An image may be selected and transmitted to the deep learning server 50 (S7).

이를 통해, 상기 영상 분석 장치(60)는 센싱 신호의 수신 시점에 대응되는 추출 이미지에 대한 감시 대상 객체의 식별 가능 여부를 자체 판단하고, 식별이 어려운 경우 해당 추출 이미지와 인접한 다른 이미지 중 감시 대상 객체의 식별이 가능한 최적의 이미지를 선별하여 상기 딥러닝 서버(50)로 제공함으로써, 센싱 신호의 수신 시점에 근접한 다른 이미지를 통해 감시 대상 객체의 식별이 이루어지도록 지원함으로써, 감시 대상의 감지가 정확하게 이루어지도록 지원할 수 있다.Accordingly, the image analysis apparatus 60 itself determines whether or not the monitoring object can be identified with respect to the extracted image corresponding to the reception timing of the sensing signal. If it is difficult to identify the monitoring target object, To the deep learning server 50 by providing an optimum image capable of identifying the object to be monitored, so that the object to be monitored can be identified through another image close to the reception time of the sensing signal, .

한편, 상기 딥러닝 서버(50)는 상기 요청 정보에 따라 상기 영상 분석 장치(60)로부터 수신된 이미지를 딥 러닝 방식(또는 딥 러닝 알고리즘)을 통해 객체를 식별할 수 있다.Meanwhile, the deep learning server 50 can identify an object through a deep learning method (or a deep learning algorithm) according to the request information, from the image received from the image analysis device 60.

이때, 상기 딥러닝 서버(50)는 제어부를 포함할 수 있으며, 상기 제어부는 상기 DNN(Deep Neural Network) 기반의 딥 러닝 알고리즘에 따른 신경 회로망이 설정되고, 해당 신경 회로망은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있다.In this case, the deep learning server 50 may include a controller. The controller sets a neural network according to a Deep Learning Network (DNN) based deep learning algorithm. The neural network includes an input layer, , One or more hidden layers (Hidden Layers), and an output layer (Output Layer).

여기서, 상기 딥 러닝 알고리즘은 DNN 이외의 다른 신경망이 적용될 수도 있으며, 일례로, CNN(Convolution Neural Network)이나 RNN(Recurrent Neural Network)과 같은 신경망이 적용될 수 있다.Here, the deep learning algorithm may be applied to a neural network other than DNN. For example, a neural network such as CNN (Convolution Neural Network) or RNN (Recurrent Neural Network) may be applied.

이에 따라, 상기 딥러닝 서버(50)의 제어부는 상기 신호 서버(30)로부터 센싱 신호 수신시마다 상기 영상 분석 장치(60)로 요청정보를 전송하고, 서로 다른 복수의 센싱신호 각각에 대응되어 상기 영상 분석 장치(60)로부터 수신되는 이미지를 상기 딥러닝 서버(50)에 포함된 DB에 저장할 수 있다.Accordingly, the controller of the deep learning server 50 transmits request information to the image analysis apparatus 60 every time a sensing signal is received from the signal server 30, An image received from the analysis apparatus 60 may be stored in the DB included in the deep learning server 50. [

또한, 상기 딥러닝 서버(50)의 제어부는 상기 영상 분석 장치(60)로부터 수신된 이미지를 상기 신경 회로망을 기반으로 분석하여 서로 다른 하나 이상의 객체를 식별하여 분류하고, 분류된 객체별로 이미지상 위치별 크기, 색상 분포, 외곽선 등에 대한 다양한 객체 특징별 파라미터를 포함하는 객체정보를 생성할 수 있으며, 해당 객체 정보를 상기 DB에 저장할 수 있다.The control unit of the deep learning server 50 analyzes the images received from the image analysis apparatus 60 based on the neural network to identify and classify one or more different objects, It is possible to generate object information including parameters for various object characteristics such as star size, color distribution, outline, etc., and store the object information in the DB.

더하여, 상기 딥러닝 서버(50)의 제어부는 상기 신경회로망을 통해 상기 영상 분석 장치(60)로부터 지속적으로 수신된 이미지를 반복 학습하여 상기 객체정보를 갱신할 수 있으며, 이를 통해 상기 감시 대상 지역의 환경 변화(환경 조건 변화(일례로, 조도, 장애물))에 따라 상기 이미지에 나타나는 객체 특징 변화에 적응하여 상기 이미지에서 상기 객체 정보에 포함된 객체 특징별 파라미터에 대응되는 객체를 정확하게 식별할 수 있다.In addition, the control unit of the deep learning server 50 may update the object information by repeatedly learning the image continuously received from the image analysis apparatus 60 through the neural network, It is possible to accurately identify the object corresponding to the object characteristic parameter included in the object information in the image by adapting to the object characteristic change appearing in the image according to the environmental change (environmental condition change (for example, illumination, obstacle)) .

한편, 상기 딥러닝 서버(50)는 사용자 입력부 또는 통신부를 포함할 수 있으며, 상기 딥러닝 서버(50)의 제어부는 상기 사용자 입력부를 통한 사용자 입력 관련 제어정보나, 상기 통신부를 통해 외부로부터 수신된 제어정보를 기초로 상기 제어부에 의해 분류된 하나 이상의 객체 중 어느 하나를 감시 대상 객체로 설정할 수 있으며, 이에 대한 설정정보를 저장할 수 있다.Meanwhile, the deep learning server 50 may include a user input unit or a communication unit. The control unit of the deep learning server 50 may receive user input related control information through the user input unit, One or more objects classified by the control unit based on the control information can be set as a monitoring target object and the setting information can be stored.

이때, 상기 설정정보는 상기 감시 대상 객체로 설정된 객체에 대한 객체정보를 포함할 수 있다.At this time, the setting information may include object information about an object set as the monitored object.

또한, 상기 딥러닝 서버(50)의 제어부는 상기 설정 정보에 따라 상기 영상 분석 장치(60)로부터 수신된 이미지에서 상기 딥 러닝 방식을 통해 감시 대상 객체를 식별하고, 감시 대상 객체가 식별된 경우 이벤트 정보를 생성할 수 있다.In addition, the controller of the deep learning server 50 may identify the object to be monitored through the deep learning method in the image received from the image analysis apparatus 60 according to the setting information, Information can be generated.

이때, 상기 딥러닝 서버(50)의 제어부는 감시 대상 객체가 식별된 정상 이미지를 다른 이미지와 구분하여 DB에 저장할 수 있다.At this time, the control unit of the deep learning server 50 can distinguish the normal image in which the monitored object is identified from other images, and store the normal image in the DB.

또한, 상기 딥러닝 서버(50)의 제어부는 상기 설정정보에 따라 상기 영상 분석 장치(60)로부터 수신된 특정 이미지에서 감시 대상 객체를 식별하는 과정에서 감시 대상 객체가 아닌 특정 객체가 식별된 경우 상기 특정 이미지와 상기 DB에 저장된 하나 이상의 정상 이미지 사이의 유사도 비교를 수행할 수 있으며, 해당 유사도가 미리 설정된 기준치 이상인 경우 상기 특정 객체에 대한 객체 식별 과정에서 오류가 발생된 것으로 판단할 수 있다.If a specific object other than the monitored object is identified in the process of identifying the monitored object in the specific image received from the image analysis device 60 according to the setting information, the controller of the deep learning server 50 It is possible to compare the similarity between the specific image and one or more normal images stored in the DB. If the similarity is equal to or greater than a predetermined reference value, it can be determined that an error has occurred in the object identification process for the specific object.

이때, 상기 딥러닝 서버(50)의 제어부는 상기 이미지 사이의 유사도 비교 방식으로 히스토그램 매칭(Histogram matching)이나, 상기 이미지에서 식별된 객체에 지정된 템플릿 매칭(Template matching) 또는 상기 이미지에서 상기 신경 회로망을 통해 추출된 특징점 비교 등을 이용하여 유사도를 비교할 수 있다.At this time, the controller of the deep learning server 50 may perform a histogram matching based on a similarity comparison method between images, a template matching specified to an object identified in the image, The similarity can be compared using the feature point comparison extracted through the feature point comparison.

이에 따라, 상기 딥러닝 서버(50)의 제어부는 상기 특정 이미지에 대하여 상기 신경 회로망을 기반으로 영상 처리된 출력값과 상기 객체 정보 사이의 오차에 대한 오차 정보를 생성할 수 있으며, 미리 설정된 역전파 알고리즘(backpropagation algorithm)을 통해 상기 오차정보를 기반으로 상기 신경 회로망을 구성하는 파라미터를 조정(가변)할 수 있으며, 이를 통해 감시 대상 객체의 식별 정확도가 향상되도록 신경 회로망을 최적화할 수 있다.Accordingly, the controller of the deep learning server 50 can generate error information on the error between the output value of the image processing based on the neural network and the object information with respect to the specific image, the parameters configuring the neural network can be adjusted (varied) on the basis of the error information through the backpropagation algorithm, thereby optimizing the neural network to improve the identification accuracy of the monitored object.

이때, 상기 신경 회로망을 구성하는 파라미터는 상기 신경 회로망을 구성하는 입력층, 하나 이상의 은닉층 및 출력층 사이의 연결 강도에 대한 가중치(weight) 또는 상기 입력층, 은닉층 및 출력층에 구성된 유닛의 바이어스(bias)를 포함할 수 있다.The parameters constituting the neural network include a weight for connection strength between the input layer, the at least one concealment layer and the output layer constituting the neural network or the bias of the unit configured at the input layer, . ≪ / RTI >

상술한 구성을 통해, 상기 딥러닝 서버(50)의 제어부는 본 발명은 감시 대상 객체에 대한 반복 학습을 통해 감시 대상 객체의 식별에 대한 정확도를 높일 수 있을 뿐만 아니라 감시 대상 지역의 환경 특성이 반영된 동영상 또는 이미지에서 나타나는 감시 대상 객체의 특징 변화를 학습하고, 이를 기초로 보안 시스템의 운용 특성상 일반적으로 저조도 환경에서 운용되는 카메라를 통해 촬영된 감시 대상을 정확하게 식별할 수 있도록 감시 대상 지역에서 나타나는 감시 대상 객체의 특징에 맞추어 딥 러닝 알고리즘을 최적화하여 객체 식별 정확도를 높일 수 있으며, 이를 통해 감시 대상 객체 이외의 객체를 정확하게 구분하여 감시 대상이 아닌 객체를 감시 대상으로 오판하여 오보가 발생하지 않도록 지원할 수 있다.Through the above-described configuration, the controller of the deep learning server 50 can increase the accuracy of the identification of the monitored object through the iterative learning of the monitored object, In order to accurately identify the objects to be photographed by a camera operated in a low-light environment, it is necessary to learn the characteristics of the object to be observed It is possible to improve the accuracy of object identification by optimizing the deep learning algorithm according to the characteristics of the object. By doing so, it is possible to precisely distinguish objects other than the object to be monitored, .

한편, 상기 딥러닝 서버(50)는 센서부(10)에 의해 감시 대상이 감지되어 센싱 신호를 수신한 경우에도 상기 감시 대상 지역의 조도가 순간적으로 크게 저하되거나 장애물의 등장으로 인해 영상 분석 장치(60)로부터 요청정보에 대응되어 수신된 이미지에서 감시 대상 객체의 식별이 어려운 경우가 발생할 수 있으며, 이로 인해 감시 대상이 센서부(10)에 의해 감지된 경우에도 이벤트가 발생되지 않아 보고가 누락되는 경우가 발생할 수 있다.In the meantime, even when the monitoring object is sensed by the sensor unit 10 and the sensing signal is received, the deep learning server 50 may degrade the illuminance of the surveillance target area instantaneously or due to appearance of an obstacle, 60 may be difficult to identify the monitored object in the received image corresponding to the request information. Even if the monitored object is detected by the sensor unit 10, the event is not generated and the report is missed Can occur.

이를 방지하기 위한 구성을 도 4 및 도 5를 통해 상세히 설명하면, 도 4에 도시된 바와 같이 상기 딥러닝 서버(50)는 센싱 신호를 수신한 시점에 대응되어 상기 영상 분석 장치(60)로부터 수신된 이미지에서 상기 감시 대상 객체의 식별에 실패한 경우 해당 영상 분석 장치(60)로 다른 이미지를 재요청하기 위한 재요청정보를 전송할 수 있다.4 and 5, the deep learning server 50 receives the sensing signal from the image analysis device 60 in response to a reception of the sensing signal, If the identification of the monitored object fails in the image, the image analysis apparatus 60 may transmit the re-request information for requesting another image again.

또한, 상기 영상 분석 장치(60)는 상기 재요청정보 수신시 상기 동영상 정보에서 상기 센싱신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 위치하는(존재하는) 복수의 이미지 각각에 대하여 영상 분석을 수행하며, 해당 복수의 이미지 중 객체가 검출된 하나 이상의 이미지를 상기 딥러닝 서버(50)로 전송할 수 있다.In addition, the image analysis apparatus 60 performs image analysis for each of a plurality of images (existing) within a predetermined time range based on the reception time of the sensing signal in the moving image information upon receiving the re-request information And transmit the one or more images in which the object is detected among the plurality of images to the deep learning server 50.

이에 따라, 상기 딥러닝 서버(50)는 상기 영상 분석 장치(60)로부터 상기 재요청정보에 대응되어 수신된 하나 이상의 이미지 각각을 상기 딥 러닝 알고리즘을 통해 분석하여 상기 감시 대상 객체의 식별 여부를 판단할 수 있으며, 상기 감시 대상 객체가 식별된 이미지가 존재하는 경우 상기 감시 대상 객체의 식별 관련 이벤트 정보를 생성하여 상기 신호 서버(30)로 전송할 수 있다.Accordingly, the deep learning server 50 analyzes each of the one or more images received corresponding to the re-request information from the image analysis apparatus 60 through the deep learning algorithm to determine whether or not the monitored object is identified And if the monitored object has an identified image, it can generate identification related event information of the monitored object and transmit the generated identification related event information to the signal server 30.

또한, 상기 딥러닝 서버(50)는 감시 대상 객체가 식별된 이미지에 대한 결과정보를 상기 영상 분석 장치(60)로 전송할 수 있다.Also, the deep learning server 50 may transmit the result information on the image in which the monitored object is identified to the image analysis apparatus 60.

또한, 도 5에 도시된 바와 같이, 상기 영상 분석 장치(60)는 상기 결과정보 수신시 해당 결과정보에 대응되는 정상 이미지를 상기 영상 분석 장치(60)의 저장부에 저장된 동영상 정보로부터 추출할 수 있다.5, the image analysis apparatus 60 may extract a normal image corresponding to the result information from the moving image information stored in the storage unit of the image analysis apparatus 60 when the result information is received have.

이때, 상기 영상 분석 장치(60)는 상기 결과 정보에 대응되는 정상 이미지가 포함된 동영상 정보를 상기 결과 정보를 기초로 식별할 수 있으며, 해당 결과 정보에 대응되어 식별된 동영상 정보로부터 상기 정상 이미지를 추출할 수 있다.At this time, the image analyzing apparatus 60 can identify the moving image information including the normal image corresponding to the result information based on the result information, extracts the normal image from the moving image information identified corresponding to the result information, Can be extracted.

이후, 상기 영상 분석 장치(60)는 상기 딥러닝 서버(50)에서 전송한 결과 정보에 대응되는 감시 대상 객체가 식별된 정상 이미지의 영상 특징을 추출하고, 상기 영상 특징에 대한 특징 정보를 저장할 수 있다.Thereafter, the image analyzing apparatus 60 extracts image features of the normal image in which the monitored object corresponding to the result information transmitted from the deep learning server 50 is identified, and stores feature information on the image feature have.

즉, 상기 영상 분석 장치(60)는 객체 식별에 실패한 딥러닝 서버(50)에서 이미지 재요청을 통해 센싱 신호의 수신 시점과 근접한 시점의 다른 특정 이미지에서 객체를 식별한 경우 해당 특정 이미지가 객체를 식별하기 용이한 영상 특징을 가지고 있는 것으로 판단할 수 있다.That is, when the deep-learning server 50 fails to identify the object, the image analysis device 60 identifies the object in another specific image at a time point close to the reception time of the sensing signal through the image re-request, It can be judged that the image characteristic is easy to identify.

한편, 상기 영상 분석 장치(60)에는 상기 딥러닝 서버(50)로 감시 대상 객체의 식별이 용이한 최적의 이미지를 선별 전송하기 위한 선정 기준이 미리 설정되며, 해당 특징 정보의 수신시마다 해당 특징 정보를 기초로 상기 선정 기준을 지속 갱신할 수 있다.On the other hand, in the image analysis apparatus 60, a selection criterion for selecting and transmitting an optimal image easy to identify the object to be monitored is set in advance to the deep learning server 50, and each time the feature information is received, The selection criterion can be continuously renewed.

즉, 상기 영상 분석 장치(60)는 상기 딥러닝 서버(50)에서 전송되는 결과 정보를 기초로 감시 대상 객체가 정확하게 식별된 정상 이미지를 상기 동영상 정보에서 추출하여 수집할 수 있으며, 상기 딥러닝 서버(50)에서 객체의 식별이 용이하도록 최적의 이미지를 선정하기 위한 상기 영상 분석 장치(60)에 미리 설정된 선정 기준이 최적화되도록 지속적으로 수집되는 상기 결과 정보에 따른 정상 이미지의 특징 정보를 기초로 상기 선정 기준을 지속 갱신하여 반복 학습을 수행할 수 있다.That is, the image analysis apparatus 60 can extract and collect a normal image in which the object to be monitored is correctly identified, based on the result information transmitted from the deep learning server 50, Based on feature information of a normal image according to the result information continuously collected so as to optimize a predetermined selection criterion in the image analysis apparatus 60 for selecting an optimal image so as to easily identify an object in the image analysis unit 50, It is possible to perform iterative learning by continuously updating the selection criteria.

이때, 상기 영상 분석 장치(60)는 상기 이미지 식별정보에 대응되어 상기 동영상 정보로부터 추출된 정상 이미지에 대한 영상 분석을 통해 영상 특징을 추출할 수 있으며, 상기 추출된 영상 특징을 기반으로 상기 선정 기준을 구성하는 미리 설정된 속성별 파라미터 중 적어도 하나를 변경하거나 미리 설정된 복수의 상기 속성 중 어느 하나에 가중치를 부여하여 상기 선정 기준을 갱신할 수 있다.At this time, the image analysis apparatus 60 can extract an image feature through image analysis of a normal image corresponding to the image identification information extracted from the moving image information, and based on the extracted image feature, And may update the selection criterion by assigning a weight to any one of a plurality of the predetermined attributes.

또한, 상기 선정 기준은 상기 영상 분석 장치(60)에 미리 설정된 영상 분석 알고리즘에 설정될 수 있으며, 상기 영상 분석 장치(60)는 미리 설정된 기계 학습 알고리즘을 통해 상기 정상 이미지로부터 생성한 특징 정보를 상기 선정 기준에 적용하여 갱신할 수 있다.The selection criterion may be set in an image analysis algorithm previously set in the image analysis apparatus 60. The image analysis apparatus 60 may acquire feature information generated from the normal image through a predetermined machine learning algorithm, It can be updated by applying to selection criteria.

또한, 상기 영상 분석 장치(60)는 상기 딥러닝 서버(50)로부터 지속 수신되는 결과정보를 기초로 상기 선정 기준을 반복 갱신하여 상기 선정 기준을 구성하는 복수의 속성별 파라미터 또는 상기 속성별로 설정된 가중치값이 상기 딥러닝 서버(50)가 감시 대상 객체를 용이하게 식별할 수 있는 최적의 값으로 수렴되도록 동작할 수 있다.In addition, the image analysis apparatus 60 may repeatedly update the selection criteria based on the result information continuously received from the deep learning server 50, and may generate a plurality of attribute-specific parameters or a weight value Value can be operated so that the deep learning server 50 converges to an optimal value for easily identifying the monitored object.

일례로, 상기 영상 분석 장치(60)는 딥러닝 서버(50)에서 수신된 결과 정보에 따른 정상 이미지의 영상 특징인 히스토그램 분포 또는 상기 정상 이미지의 이전 이미지와 상기 정상 이미지 사이의 히스토그램 변화량을 분석하고, 상기 기계 학습 알고리즘에 따라 해당 히스토그램 분포 또는 히스토그램 변화량과 관련된 하나 이상의 속성(일례로, 색상값, 색상 분포, 감마값 등) 관련 파라미터를 조정하거나 해당 속성별로 가중치를 부여할 수 있다.For example, the image analysis apparatus 60 analyzes a histogram distribution, which is an image characteristic of a normal image according to the result information received from the deep learning server 50, or a histogram variation between a normal image and a normal image of the normal image , It is possible to adjust parameters relating to one or more attributes (for example, color values, color distribution, gamma values, etc.) related to the corresponding histogram distribution or the histogram variation according to the machine learning algorithm, or to assign weights to the attributes.

이를 통해, 상기 영상 분석 장치(60)는 상기 선정 기준에 따라 추후 영상 분석 과정에서 특정 속성에 대한 영상 특징이 강조된 상태를 가져 감시 대상 객체의 식별이 용이한 최적 이미지를 선별하여 상기 딥러닝 서버(50)에 제공할 수 있으며, 이를 통해 딥러닝 서버(50)에서 감시 대상 객체가 용이하게 식별되도록 지원할 수 있다.Accordingly, the image analyzing apparatus 60 selects an optimal image that is easy to identify the monitored object and has the state that the image characteristic of the specific attribute is emphasized in the subsequent image analysis process according to the selection criteria, 50, and can support the monitoring object 50 to be easily identified by the deep learning server 50.

이때, 상술한 구성에서, 상기 선정 기준은 복수의 속성별 파라미터를 포함할 수 있으며, 해당 속성은 이미지 상 객체 위치별 크기, 상기 객체에 대한 경계 또는 외곽선의 분포, 상기 객체와 배경 사이의 조도 또는 색상 차이, 상기 정상 이미지와 상기 정상 이미지의 직전 이미지 사이의 히스토그램 분포 변화량 등과 같은 다양한 속성을 포함할 수 있다.In this case, in the above-described configuration, the selection criterion may include a plurality of property-specific parameters, and the attribute may include a size of an object on an image, a distribution of a boundary or an outline on the object, A color difference, a histogram distribution change amount between the normal image and the previous image of the normal image, and the like.

이후, 상기 영상 분석 장치(60)는 딥러닝 서버(50)에서 센싱 신호를 수신하여 이미지 요청시 상기 센싱 신호의 수신 시점에 대응되는 이미지에서 객체가 검출된 경우 상기 이미지를 상기 선정 기준에 따라 분석하여 상기 선정 기준을 만족하는 경우 상기 딥러닝 서버(50)로 전송하고, 상기 선정 기준을 만족하지 않는 경우 도시된 바와 같이 상기 동영상 정보를 구성하는 복수의 이미지 중 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 위치하며 영상 분석을 통해 객체가 검출된 이미지를 하나 이상 추출하고, 추출된 하나 이상의 이미지 각각을 상기 선정 기준에 따라 분석하여(또는 선정 기준과 비교하여) 상기 선정 기준을 만족하는 최적 이미지를 상기 딥러닝 서버(50)로 전송할 수 있다.Thereafter, the image analysis apparatus 60 receives the sensing signal from the deep learning server 50 and, when an object is detected in the image corresponding to the reception timing of the sensing signal at the time of the image request, analyzes the image according to the selection criteria If the selection criterion is satisfied, it is transmitted to the deep learning server 50. If the selection criterion is not satisfied, the time of reception of the sensing signal among the plurality of images constituting the moving picture information (Or comparing with the selection criterion) the selected one or more images in a predetermined time range and extracting one or more images in which the object is detected through image analysis, The optimum image can be transmitted to the deep learning server 50.

이때, 상기 영상 분석 장치(60)는 상기 딥러닝 서버(50)에서 이미지 요청시에는 상기 요청정보에 따른 센싱 신호의 수신 시점에 대응되는 이미지를 동영상 정보로부터 추출하여 딥러닝 서버(50)에 전송하고, 이미지 재요청시 상기 동영상 정보를 구성하는 복수의 이미지 중 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하는 하나 이상의 이미지를 대상으로 상기 객체 검출 여부 및 선정 기준의 만족 여부에 따라 최적의 이미지를 선별하여 상기 딥러닝 서버(50)로 전송할 수도 있다.At this time, when the image is requested by the deep learning server 50, the image analyzer 60 extracts an image corresponding to the reception time of the sensing signal according to the request information from the moving image information and transmits the extracted image to the deep learning server 50 And an image selection unit that selects one of the plurality of images included in the moving image information based on whether the object is detected and whether the selection criterion is satisfied, May be selected and transmitted to the deep learning server 50.

이를 통해, 상기 딥러닝 서버(50)는 상기 영상 분석 장치(60)로부터 감시 대상 객체의 식별이 용이한 최적의 이미지를 상기 영상 분석 장치(60)로부터 제공받아 감시 대상 객체를 용이하게 식별할 수 있으며, 이를 통해 센싱 신호의 수신 시점에 카메라부(70)를 통해 촬영된 이미지에서 감시 대상 객체의 식별이 어려운 경우 해당 센싱 신호의 수신 시점과 인접한 시간 범위 내의 카메라부(70)를 통해 촬영된 이미지 중에서 감시 대상 객체의 식별이 가능한 최적의 이미지가 선별되어 해당 최적의 이미지를 통해 감시 대상 객체가 용이하게 식별되도록 지원하여, 센서부(10)에 의해 감지된 감시 대상이 영상에서 정확하게 식별되도록 지원함으로써 보고가 누락되는 경우를 방지할 수 있다.Accordingly, the deep learning server 50 can easily identify an object to be monitored by receiving an optimal image from the image analysis device 60, which is easy to identify the object to be monitored, from the image analysis device 60 If it is difficult to identify the object to be monitored in the image photographed through the camera unit 70 at the time of receiving the sensing signal, the image captured through the camera unit 70 within the time range adjacent to the reception time of the sensing signal An optimal image capable of identifying the object to be monitored is selected and supported so that the object to be monitored is easily identified through the optimal image so that the object to be monitored detected by the sensor unit 10 can be accurately identified in the image It is possible to prevent a case where the report is omitted.

일례로, 상기 딥러닝 서버(50)는 상기 센싱 신호에 대응되어 상기 영상 분석 장치(60)로부터 이미지를 수신하고, 상기 감시 대상 지역이 저조도의 환경으로 구성되어 해당 이미지에서 객체가 존재하나 객체의 형태만 식별이 가능하여 감시 대상 객체의 식별에 실패한 경우 상기 영상 분석 장치(60)로 다른 이미지를 재요청할 수 있다.For example, the deep learning server 50 receives an image from the image analysis device 60 in response to the sensing signal, and the monitoring target area is configured in a low-illuminance environment so that an object exists in the image, It is possible to identify the type of the object, and if the identification of the object to be monitored fails, the image analysis apparatus 60 can request another image again.

이에 따라, 영상 분석 장치(60)는 상기 재요청에 대응되어 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에서 객체가 검출되며 미리 설정된 선정 기준을 만족하는 하나 이상의 다른 이미지를 딥러닝 서버(50)로 전송하고, 상기 딥러닝 서버(50)는 하나 이상의 상기 다른 이미지 중에서 감시 대상 객체가 식별된 이미지만을 선별하여, 선별된 이미지별 이미지 식별정보를 포함하는 결과정보를 상기 영상 분석 장치(60)로 제공할 수 있다.Accordingly, the image analyzing apparatus 60 responds to the re-request and detects one or more other images in the predetermined time range based on the reception time of the sensing signal, 50), and the deep learning server (50) selects only the image in which the monitored object is identified from at least one of the other images, and transmits the result information including the selected image-based image identification information to the image analysis device ).

이때, 딥러닝 서버(50)는 감시 대상이 사람인 경우 하나 이상의 상기 다른 이미지에서 이목구비가 뚜렷하게 나타난 정상 이미지만을 선별하여 이에 대한 이미지 식별정보를 포함하는 결과정보를 영상 분석 장치(60)로 제공할 수 있다.At this time, the deep learning server 50 may select only a normal image in which the eyeball ratio is distinct from one or more of the other images if the person to be monitored is a person, and provide the result information including image identification information to the image analyzer 60 have.

이에 따라, 영상 분석 장치(60)는 딥러닝 서버(50)로부터 전송된 결과정보를 기초로 이목구비가 뚜렷하여 감시 대상 객체의 식별이 용이한 정상 이미지만을 상기 동영상 정보로부터 선별 추출하여 수집할 수 있으며, 복수의 서로 다른 정상 이미지 각각에 대한 영상 분석을 통해 이목구비가 뚜렷하게 검출되는 이미지의 영상 특징을 추출할 수 있다.Accordingly, based on the result information transmitted from the deep learning server 50, the image analysis apparatus 60 can extract and collect only the normal image, which is easy to identify the monitored object, from the video information, , An image characteristic of an image in which the edge points are distinctly detected can be extracted through image analysis for each of a plurality of different normal images.

또한, 영상 분석 장치(60)는 해당 영상 특징에 따른 특징정보를 기초로 미리 설정된 선정 기준에 반영하여 갱신하고, 지속적으로 수집되는 정상 이미지의 영상 특징을 기초로 생성된 특징정보를 상기 선정 기준에 지속 적용함으로써 상기 선정 기준을 이목구비가 뚜렷하게 검출되는 이미지의 선별이 용이하도록 최적화할 수 있다.In addition, the image analyzing apparatus 60 reflects and updates the predetermined selection criterion based on the feature information according to the image feature, and updates the feature information generated based on the image feature of the normal image, which is continuously collected, The selection criterion can be optimized so as to facilitate the selection of the image in which the eyeball ratio is clearly detected.

이를 통해, 추후 딥러닝 서버(50)에서 센싱 신호의 수신 시점에 대응되어 영상 분석 장치(60)에 이미지를 요청 또는 재요청하는 경우 상기 영상 분석 장치(60)는 센싱 신호의 수신 시점에 대응되며 동영상 정보를 구성하는 복수의 이미지 중 어느 하나인 이미지 6에서 객체의 검출 여부 및 상기 선정 기준의 만족 여부를 판단할 수 있다.Accordingly, when the deep processing server 50 requests or requests the image analysis device 60 to respond to the reception of the sensing signal at a later time, the image analysis device 60 corresponds to the reception time of the sensing signal It is possible to determine whether or not the object is detected and whether the selection criterion is satisfied in the image 6 which is one of the plurality of images constituting the moving image information.

이에 따라, 상기 영상 분석 장치(60)는 상기 이미지 6에서 객체가 검출되나 상기 이미지 6를 상기 선정 기준에 따라 분석한 결과 객체의 이목구비가 정상적으로 식별되지 않는 이미지인 경우 해당 이미지 6 대신 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하는 복수의 이미지를 상기 동영상 정보로부터 추출하고, 상기 복수의 이미지 중에서 객체가 검출된 이미지를 대상으로 상기 선정 기준에 따라 분석하여 상기 선정 기준을 만족하며 객체의 이목구비가 뚜렷하게 나타나는 이미지 7을 상기 딥러닝 서버(50)로 제공할 수 있다.Accordingly, if the object is detected in the image 6 but the image 6 is not normally identified as a result of analyzing the image 6 according to the selection criterion, Extracting a plurality of images belonging to a predetermined time range on the basis of a receiving time point from the moving image information and analyzing the image in which the object is detected among the plurality of images in accordance with the selection criterion, It is possible to provide the deep running server 50 with the image 7 in which the odds ratio is apparent.

이에 따라, 상기 딥러닝 서버(50)는 상기 영상 분석 장치(60)로부터 선정 기준에 따라 감시 대상 객체의 식별이 용이한 최적의 이미지로 선택된 최적 이미지를 수신하여, 해당 최적 이미지를 통해 감시 대상 객체를 용이하게 식별할 수 있다.Accordingly, the deep learning server 50 receives an optimal image selected from the image analysis device 60 as an optimal image that is easy to identify the monitored object according to a selection criterion, Can be easily identified.

상술한 바와 같이, 본 발명에 따른 딥 러닝 기반 보안 서비스 제공 시스템은 딥 러닝 기반의 학습을 통해 정지 영상(이미지)에서 감시 대상 객체의 식별 정확도를 높일 수 있을 뿐만 아니라 감시 대상 객체가 식별된 이미지로부터 추출되는 영상 특징을 기반으로 반복 학습을 수행하여 감시 대상 지역의 환경 특성에 따라 카메라부(70)에서 제공되는 동영상에 대한 객체 검출 과정에서 객체 식별이 용이한 최적의 이미지가 선택되어 제공되도록 지원함으로써, 정지 영상을 통한 반복 학습을 통해 객체의 식별 정확도를 높임과 동시에 동영상에서 객체 식별이 용이한 최적의 이미지가 추출되도록 지원하여 객체의 식별 정확도를 더욱 높일 수 있으며, 감시 대상이 센서를 통해 감지된 시점에 카메라의 영상을 통해 감시 대상이 정확하게 식별되어 오보가 방지되도록 지원하는 동시에 센서에 의해 감지된 감시 대상에 대한 보고가 누락되지 않도록 하여 보안 서비스에 대한 신뢰도 및 정확도를 크게 높일 수 있다.As described above, the deep learning-based security service providing system according to the present invention not only improves the accuracy of identification of a monitored object in a still image (image) through deep learning-based learning, By performing the iterative learning based on the extracted image characteristic, it is possible to select and provide an optimal image that is easy to identify the object in the object detection process for the moving image provided by the camera unit 70 according to the environmental characteristic of the monitored region , It is possible to improve the accuracy of identification of objects through the iterative learning through still images, and at the same time, it is possible to enhance the accuracy of identification of objects by supporting the extraction of the optimal image which is easy to identify objects in moving images. At the point of time, the object to be monitored is accurately identified through the image of the camera, And at the same time, the reliability and accuracy of the security service can be greatly increased by preventing the report on the monitored object sensed by the sensor from being missed.

즉, 본 발명은 정지 영상을 기반으로 하는 객체 식별 기능과 동영상을 기반으로 하는 객체 검출 기능이 상호 연동 및 보완되어 감시 대상 객체의 검출 및 식별이 최적화되도록 지원할 수 있으며, 이를 통해 기존 보안 시스템의 오보율을 크게 개선할 수 있다.That is, according to the present invention, the object identification function based on still images and the object detection function based on moving images can be interlocked and supplemented to optimize detection and identification of a monitored object, The rate can be greatly improved.

도 6은 본 발명의 실시예에 따른 딥 러닝 기반 보안 서비스 제공 방법에 대한 순서도로서, 도시된 바와 같이 감시 대상의 감시에 따른 센서부(10)의 센싱 신호를 수신하는 딥러닝 서버(50)는 카메라부(70)로부터 동영상 정보를 수신하는 영상 분석 장치(60)로 센싱 신호의 수신 시점에 대응되는 이미지를 요청하기 위한 요청정보를 전송할 수 있다(S11).FIG. 6 is a flowchart illustrating a method of providing a deep learning-based security service according to an embodiment of the present invention. As shown in FIG. 6, a deep learning server 50 for receiving a sensing signal of a sensor unit 10, The image analysis apparatus 60 receiving the moving image information from the camera unit 70 may transmit the request information for requesting the image corresponding to the reception time of the sensing signal (S11).

또한, 영상 분석 장치(60)는 해당 딥러닝 서버(50)의 요청 정보에 대응되는 이미지를 동영상 정보로부터 추출하여 상기 딥러닝 서버(50)로 전송할 수 있다(S12).The image analysis apparatus 60 may extract an image corresponding to the request information of the deep learning server 50 from the moving image information and transmit the extracted image to the deep learning server 50 (S12).

이후, 딥러닝 서버(50)는 해당 이미지를 딥 러닝 방식으로 분석하여(S13) 미리 설정된 감시 대상 객체가 식별된 경우(S14) 이벤트 정보를 생성하고(S15), 상기 감시 대상 객체의 미식별시(S14) 상기 영상 분석 장치(60)로 상기 센싱 신호의 수신 시점과 연관된 다른 이미지를 재요청하기 위한 재요청정보를 전송할 수 있다(S18).Thereafter, the deep learning server 50 analyzes the image in a deep learning manner (S13). If a predetermined monitoring object is identified (S14), the deep learning server 50 generates event information (S15) (S14), the image analysis apparatus 60 may transmit re-request information for re-requesting another image related to the reception time of the sensing signal (S18).

상기 영상 분석 장치(60)는 상기 재요청정보 수신시 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에서 객체가 검출된 하나 이상의 다른 이미지를 상기 딥러닝 서버(50)로 전송할 수 있다(S19).Upon receiving the re-request information, the image analyzer 60 may transmit one or more other images in which the object is detected within a preset time range to the deep learning server 50 based on the reception time of the sensing signal S19).

이때, 영상 분석 장치(60)는 상기 동영상 정보에 포함된 복수의 이미지 중 상기 재요청정보에 대응되는 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하며(대응되며) 상기 딥러닝 서버에 기전송된 이미지를 제외한 하나 이상의 이미지를 대상으로 객체 검출 여부를 판단하여 객체가 검출된 이미지를 상기 딥러닝 서버(50)로 전송할 수 있다.At this time, the image analysis apparatus 60 belongs to (corresponds to) a preset time range based on the reception time of the sensing signal corresponding to the re-request information among the plurality of images included in the moving image information, It is possible to determine whether or not the object is detected based on one or more images except for the transmitted image, and transmit the detected image to the deep learning server 50. [

또한, 상기 영상 분석 장치(60)는 상기 감시 대상 객체의 식별에 필요한 미리 설정된 복수의 속성별 파라미터로 구성된(복수의 속성별 파라미터를 포함하는) 선정 기준이 미리 설정되고, 상기 선정 기준에 따라 상기 객체가 검출된 이미지를 분석하여 상기 선정 기준을 만족하는 최적 이미지를 상기 딥러닝 서버(50)로 전송할 수 있다(S20).In addition, the image analyzing apparatus 60 may be configured such that a selection criterion (including a plurality of parameters for each property) composed of a plurality of predetermined parameters for each attribute necessary for identification of the monitored object is set in advance, An optimal image satisfying the selection criterion may be transmitted to the deep learning server 50 in step S20.

이에 따라, 상기 딥러닝 서버(50)는 상기 하나 이상의 다른 이미지 중에서 상기 감시 대상 객체가 식별된 경우(S14) 이벤트 정보를 생성하고(S15), 감시 대상 객체가 식별된 정상 이미지에 대한 이미지 식별정보를 포함하는 결과 정보를 상기 영상 분석 장치(60)로 전송할 수 있다(S16).Accordingly, the deep learning server 50 generates event information when the monitored object is identified among the at least one other image (S14) (S15), and the deep learning server 50 generates the image identification information To the image analysis apparatus 60 (S16).

또한, 상기 영상 분석 장치(60)는 상기 결과정보 수신시 상기 결과 정보에 대응되는 정상 이미지를 분석하여 영상 특징을 추출하고, 상기 영상 특징을 기초로 상기 선정 기준을 갱신할 수 있다(S17).In addition, the image analyzing apparatus 60 may analyze the normal image corresponding to the result information upon receiving the result information, extract image features, and update the selection criteria based on the image characteristics (S17).

이후, 상기 영상 분석 장치(60)는 상기 딥러닝 서버(50)로부터 상기 재요청정보 수신시 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하는 동영상 정보에 포함된 복수의 이미지 중 객체가 검출되며 상기 선정 기준을 만족하는 최적 이미지를 선택하여 상기 딥러닝 서버(50)로 전송할 수 있으며, 이를 통해 딥러닝 서버(50)에서 감시 대상 객체가 용이하게 식별되도록 지원할 수 있다.Then, the image analyzing apparatus 60 receives the re-request information from the deep learning server 50, and selects an object among a plurality of images included in the moving image information within a predetermined time range based on the reception time of the sensing signal Selects an optimal image that satisfies the selection criteria, and transmits the selected optimal image to the deep learning server 50, thereby enabling the deep learning server 50 to easily identify the monitored object.

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.The various devices and components described herein may be implemented by hardware circuitry (e.g., CMOS-based logic circuitry), firmware, software, or a combination thereof. For example, it can be implemented utilizing transistors, logic gates, and electronic circuits in the form of various electrical structures.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

10: 센서부 20: 감지 관리 장치
30: 신호 서버 40: 관제 서버
50: 딥러닝 서버 60: 영상 분석 장치
70: 카메라부10: sensor unit 20: detection management device
30: signal server 40: control server
50: Deep Learning Server 60: Image analysis device
70:

Claims (9)

감시 대상을 감지하여 센싱신호를 전송하는 센서부로부터 수신된 상기 센싱 신호를 미리 설정된 신호 서버로 전송하는 감지 관리 장치;
감시 대상 지역을 촬영하여 생성한 동영상 정보를 전송하는 카메라부;
상기 감지 관리 장치로부터 상기 센싱 신호를 수신시 미리 설정된 딥러닝 서버로 전송하는 신호 서버;
이미지 요청 수신시 상기 카메라부로부터 수신된 상기 동영상 정보를 구성하는 복수의 이미지 중 상기 이미지 요청에 대응되는 이미지를 추출하여 전송하는 영상 분석 장치; 및
상기 신호 서버로부터 상기 센싱 신호 수신시 상기 영상 분석 장치로 이미지를 요청하고, 상기 이미지 요청에 따라 수신된 이미지를 딥 러닝 방식으로 분석하여 미리 설정된 감시 대상 객체가 식별된 경우 이벤트 정보를 생성하며, 상기 감시 대상 객체의 미식별시 상기 영상 분석 장치로 상기 센싱 신호의 수신 시점과 연관된 다른 이미지를 재요청하고, 상기 재요청에 따라 수신된 이미지 중 상기 감시 대상 객체가 식별된 정상 이미지에 대한 결과정보를 상기 영상 분석 장치로 전송하는 딥러닝 서버를 포함하고,
상기 영상 분석 장치는 상기 딥러닝 서버의 이미지 재요청시 상기 복수의 이미지 중 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하며 객체가 검출된 하나 이상의 다른 이미지를 대상으로 미리 설정된 선정 기준에 따라 분석하여 최적 이미지를 상기 딥러닝 서버로 전송하며, 상기 결과 정보에 따라 상기 선정 기준을 갱신하는 것을 특징으로 하는 딥 러닝 기반 보안 서비스 제공 시스템.
A sensing management device for sensing the object to be monitored and transmitting the sensing signal received from a sensor unit for transmitting a sensing signal to a predetermined signal server;
A camera unit for capturing the surveillance target area and transmitting the generated video information;
A signal server for transmitting the sensing signal from the sensing management device to a preset deep learning server upon receipt of the sensing signal;
An image analyzer for extracting and transmitting an image corresponding to the image request among a plurality of images constituting the moving image information received from the camera unit upon receiving an image request; And
Requesting an image from the image analysis apparatus when receiving the sensing signal from the signal server, analyzing the received image in a deep learning manner according to the image request, and generating event information when a predetermined monitored object is identified, Requesting another image related to the reception time of the sensing signal to the image analyzing device when the monitoring object is not identified, and outputting result information on the normal image in which the monitoring object is identified, And a deep learning server for transmitting to the image analysis apparatus,
Wherein the image analyzing apparatus includes a plurality of images that are within a predetermined time range based on a reception time point of the sensing signal among the plurality of images when the image re-request of the deep learning server is requested, And transmits the optimal image to the deep learning server, and updates the selection criterion according to the result information.
청구항 1에 있어서,
상기 딥러닝 서버는 상기 이벤트 정보 생성시 상기 신호 서버를 통해 미리 설정된 관제 서버로 상기 이벤트 정보를 전송하거나, 미리 설정된 클라이언트 단말로 상기 이벤트 정보를 전송하는 것을 특징으로 하는 딥 러닝 기반 보안 서비스 제공 시스템.
The method according to claim 1,
Wherein the deep learning server transmits the event information to a preset control server through the signal server when generating the event information or transmits the event information to a preset client terminal.
청구항 1에 있어서,
상기 영상 분석 장치는 DVR 또는 NVR로 구성되는 것을 특징으로 하는 딥 러닝 기반 보안 서비스 제공 시스템.
The method according to claim 1,
Wherein the image analysis apparatus comprises a DVR or an NVR.
청구항 1에 있어서,
상기 딥러닝 서버는 상기 이미지 재요청에 따라 수신된 하나 이상의 상기 최적 이미지 중 적어도 하나에서 상기 감시 대상 객체가 식별된 경우 상기 감시 대상 객체가 식별된 정상 이미지 각각에 대한 이미지 식별정보를 포함하는 결과 정보를 상기 영상 분석 장치로 전송하고,
상기 영상 분석 장치는 상기 결과 정보에 대응되는 상기 정상 이미지에 대한 영상 분석을 통해 영상 특징을 추출하고, 상기 추출된 영상 특징을 기초로 상기 선정 기준을 구성하는 속성별 파라미터 중 적어도 하나를 변경하거나 상기 속성 중 어느 하나에 미리 설정된 가중치를 부여하는 것을 특징으로 하는 딥 러닝 기반 보안 서비스 제공 시스템.
The method according to claim 1,
Wherein the deep learning server is configured to generate the result information including image identification information for each normal image identified by the monitored object when the monitored object is identified in at least one of the received optimal images according to the image re- To the image analysis apparatus,
Wherein the image analysis device extracts an image feature through image analysis of the normal image corresponding to the result information, and changes at least one of attributes-specific parameters constituting the selection criterion based on the extracted image feature, Attribute of the deep learning-based security service to a predetermined value.
청구항 4에 있어서,
상기 속성은 이미지 상 객체 위치별 크기, 상기 객체에 대한 경계 또는 외곽선의 분포, 상기 객체와 배경 사이의 조도 또는 색상 차이 및 히스토그램 분포 변화량 중 적어도 하나를 포함하는 것을 특징으로 하는 딥 러닝 기반 보안 서비스 제공 시스템.
The method of claim 4,
Wherein the attribute includes at least one of a size of an object position on the image, a boundary or an outline of the object, an illuminance or a color difference between the object and the background, and a histogram distribution variation. system.
청구항 1에 있어서,
상기 딥러닝 서버는 딥 러닝 기반의 신경 회로망을 통해 상기 영상 분석 장치로부터 수신된 이미지를 분석하여 감시 대상 객체를 식별하고, 감시 대상 객체가 식별된 상기 정상 이미지를 저장하며, 상기 영상 분석 장치로부터 수신된 특정 이미지에서 감시 대상 객체를 식별하는 과정에서 감시 대상 객체가 아닌 특정 객체가 식별된 경우 상기 특정 이미지와 하나 이상의 상기 정상 이미지 사이의 유사도 비교를 수행할 수 있으며, 해당 유사도가 미리 설정된 기준치 이상인 경우 상기 특정 이미지에 대하여 상기 신경 회로망을 기반으로 영상 처리된 출력값과 객체 정보 사이의 오차에 대한 오차 정보를 생성할 수 있으며, 미리 설정된 역전파 알고리즘(back propagation algorithm)을 통해 상기 오차정보를 기반으로 상기 신경 회로망을 구성하는 파라미터를 조정하는 것을 특징으로 하는 딥 러닝 기반 보안 서비스 제공 시스템.
The method according to claim 1,
Wherein the deep learning server analyzes the image received from the image analysis apparatus through a deep learning based neural network to identify the monitored object, stores the normal image in which the monitored object is identified, When a specific object other than the monitored object is identified in the process of identifying the monitored object in the specific image, the comparison of the similarity between the specific image and the at least one normal image can be performed. If the similarity is equal to or greater than a preset reference value And generating error information on an error between the output value of the image processed based on the neural network and the object information with respect to the specific image and outputting the error information based on the error information through a predetermined back propagation algorithm, Adjust the parameters that make up the neural network Deep learning-based security service system wherein the.
청구항 6에 있어서,
상기 딥러닝 서버는 상기 오차 정보를 기초로 상기 역전파 알고리즘을 통해 상기 신경 회로망을 구성하는 입력층, 하나 이상의 은닉층 및 출력층 사이의 연결 강도에 대한 가중치(weight) 또는 상기 입력층, 은닉층 및 출력층에 구성된 유닛의 바이어스(bias)를 가변하여 상기 감시 대상 객체에 대한 식별 오류가 최소화되도록 학습하는 것을 특징으로 하는 딥 러닝 기반 보안 서비스 제공 시스템.
The method of claim 6,
The deep learning server calculates a weight of connection strength between the input layer, the at least one hidden layer and the output layer constituting the neural network through the back propagation algorithm based on the error information or the weight of the input layer, Wherein learning is performed such that an identification error of the monitored object is minimized by varying a bias of the configured unit.
감시 대상의 감시에 따른 센서부의 센싱 신호를 수신하는 딥러닝 서버 및 카메라부로부터 동영상 정보를 수신하며 상기 딥러닝 서버와 상호 통신하는 영상 분석 장치의 딥 러닝 기반 보안 서비스 제공 방법에 있어서,
상기 딥러닝 서버가 상기 센싱 신호의 수신시 상기 센싱 신호의 수신 시점에 대응되는 이미지를 요청하기 위한 요청정보를 상기 영상 분석 장치로 전송하는 단계;
상기 영상 분석 장치가 해당 딥러닝 서버의 요청 정보에 대응되는 이미지를 상기 동영상 정보로부터 추출하여 상기 딥러닝 서버로 전송하는 단계;
상기 딥러닝 서버가 상기 영상 분석 장치로부터 수신된 이미지를 딥 러닝 방식으로 분석하여 미리 설정된 감시 대상 객체가 식별된 경우 이벤트 정보를 생성하고, 상기 감시 대상 객체의 미식별시 상기 영상 분석 장치로 상기 센싱 신호의 수신 시점과 연관된 다른 이미지를 재요청하기 위한 재요청정보를 전송하는 단계;
상기 영상 분석 장치가 상기 재요청정보 수신시 복수의 이미지 중 상기 센싱 신호의 수신 시점을 기준으로 미리 설정된 시간 범위 내에 속하며 객체가 검출된 하나 이상의 다른 이미지를 대상으로 미리 설정된 선정 기준에 따라 분석하여 최적 이미지를 상기 딥러닝 서버로 전송하는 단계
를 포함하는 딥 러닝 기반 보안 서비스 제공 방법.
A method for providing a deep learning-based security service of an image analyzing apparatus which receives moving image information from a deep learning server and a camera unit receiving a sensing signal of a sensor unit according to monitoring of a monitored object and communicates with the deep learning server,
Transmitting, to the image analysis apparatus, request information for requesting an image corresponding to a reception time of the sensing signal when the deep learning server receives the sensing signal;
Extracting an image corresponding to the request information of the deep learning server from the video information and transmitting the extracted image to the deep learning server;
Wherein the deep learning server analyzes the image received from the image analysis apparatus by a deep learning method to generate event information when a predetermined monitored object is identified, Transmitting re-request information for re-requesting another image associated with a reception time of the signal;
Wherein the image analysis device analyzes the one or more other images belonging to a time range within a predetermined time range based on the reception time of the sensing signal among the plurality of images in response to the re- Transmitting an image to the deep learning server
Based security service.
청구항 8에 있어서,
상기 딥러닝 서버가 상기 최적 이미지로부터 감시 대상 객체의 식별시 상기 최적 이미지에 대한 이미지 식별정보를 포함하는 결과 정보를 생성하여 상기 영상 분석 장치로 전송하는 단계; 및
상기 영상 분석 장치가 상기 결과정보 수신시 상기 결과 정보에 대응되는 이미지를 분석하여 영상 특징을 추출하고, 상기 영상 특징을 기초로 상기 선정 기준을 갱신하는 단계
를 더 포함하는 것을 특징으로 하는 딥 러닝 기반 보안 서비스 제공 방법.The method of claim 8,
Generating the result information including the image identification information for the best image when the deep learning server identifies the monitored object from the optimal image, and transmitting the result information to the image analysis apparatus; And
Analyzing an image corresponding to the result information when the image analysis apparatus receives the result information, extracting an image feature, and updating the selection criterion based on the image feature
The method of claim 1, further comprising:
KR1020170087862A 2017-07-11 2017-07-11 System and method for providing security service based on deep learning KR101789690B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170087862A KR101789690B1 (en) 2017-07-11 2017-07-11 System and method for providing security service based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170087862A KR101789690B1 (en) 2017-07-11 2017-07-11 System and method for providing security service based on deep learning

Publications (1)

Publication Number Publication Date
KR101789690B1 true KR101789690B1 (en) 2017-10-25

Family

ID=60300165

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170087862A KR101789690B1 (en) 2017-07-11 2017-07-11 System and method for providing security service based on deep learning

Country Status (1)

Country Link
KR (1) KR101789690B1 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942808B1 (en) 2018-11-13 2019-01-29 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN
KR101964683B1 (en) * 2018-10-22 2019-04-02 주식회사 인텔리빅스 Apparatus for Processing Image Smartly and Driving Method Thereof
KR102005956B1 (en) * 2018-03-19 2019-07-31 김대훈 Image recognition apparatus in the inside of vehicle
KR20190101692A (en) * 2018-02-23 2019-09-02 주식회사 삼알글로벌 Video watch method based on transfer of learning
KR102020845B1 (en) * 2018-04-04 2019-09-11 주식회사 자비스넷 Calibration system and method for camera using object identification
KR20190108855A (en) * 2018-03-15 2019-09-25 엘지전자 주식회사 Washing machine configuring function based on object sensing, cloud server and method of configuring thereof
WO2019199043A1 (en) * 2018-04-10 2019-10-17 엘지전자 주식회사 Mobile terminal
KR20190123661A (en) * 2018-04-10 2019-11-01 엘지전자 주식회사 Mobile terminal
CN110415267A (en) * 2019-08-15 2019-11-05 利卓创新（北京）科技有限公司 A kind of online thermal infrared target identification device of low-power consumption and working method
JP2019205034A (en) * 2018-05-22 2019-11-28 パナソニックＩｐマネジメント株式会社 Monitor parameter update system, monitor parameter update method and program
KR102058452B1 (en) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT Convergence Intelligent Video Analysis Platform System
KR102069085B1 (en) * 2019-04-02 2020-01-22 주식회사 자비스넷 Security service system and method supporting active response based on deep learning
WO2020017814A1 (en) * 2018-07-19 2020-01-23 엘지이노텍 주식회사 Abnormal entity detection system and method
KR102094027B1 (en) * 2018-10-02 2020-03-26 (주)인스웨이브시스템즈 Web standard UI source transformation device and method using deep learning
WO2020091215A1 (en) * 2018-10-31 2020-05-07 Lg Electronics Inc. Terminal and method for connecting to target devices
KR20200058260A (en) 2019-01-18 2020-05-27 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN and Driving Method Thereof
KR102087926B1 (en) * 2019-11-06 2020-05-27 주식회사엔클라우드 Iot detection control apparatus
KR102127276B1 (en) 2018-12-11 2020-06-26 주식회사 인텔리빅스 The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras
KR102201096B1 (en) 2020-06-11 2021-01-11 주식회사 인텔리빅스 Apparatus for Real-time CCTV Video Analytics and Driving Method Thereof
WO2021020866A1 (en) * 2019-07-31 2021-02-04 (주)유디피 Image analysis system and method for remote monitoring
KR102291259B1 (en) * 2020-02-28 2021-08-20 주식회사 그릿테크 Ai system based on edge-computing for reinforcing safe-management in industrial site
KR20210103210A (en) 2020-02-13 2021-08-23 주식회사 인텔리빅스 Apparatus for Processing Images and Driving Method Thereof
US11494890B2 (en) 2018-06-01 2022-11-08 Cryovac, Llc Image-data-based classification of vacuum seal packages

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748121B1 (en) 2016-08-25 2017-06-16 델리아이 주식회사 System and method for detecting image in real-time based on object recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748121B1 (en) 2016-08-25 2017-06-16 델리아이 주식회사 System and method for detecting image in real-time based on object recognition

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101692A (en) * 2018-02-23 2019-09-02 주식회사 삼알글로벌 Video watch method based on transfer of learning
KR102110375B1 (en) * 2018-02-23 2020-05-14 주식회사 삼알글로벌 Video watch method based on transfer of learning
KR102111110B1 (en) * 2018-03-15 2020-05-14 엘지전자 주식회사 Washing machine configuring function based on object sensing using artificial intelligence, cloud server and method of configuring thereof
US11299838B2 (en) 2018-03-15 2022-04-12 Lg Electronics Inc. Washing machine and cloud server setting function based on object sensing using artificial intelligence, and method for setting function
KR20190108855A (en) * 2018-03-15 2019-09-25 엘지전자 주식회사 Washing machine configuring function based on object sensing, cloud server and method of configuring thereof
KR102005956B1 (en) * 2018-03-19 2019-07-31 김대훈 Image recognition apparatus in the inside of vehicle
KR102020845B1 (en) * 2018-04-04 2019-09-11 주식회사 자비스넷 Calibration system and method for camera using object identification
KR102102396B1 (en) * 2018-04-10 2020-04-21 엘지전자 주식회사 Mobile terminal
KR20190123661A (en) * 2018-04-10 2019-11-01 엘지전자 주식회사 Mobile terminal
WO2019199043A1 (en) * 2018-04-10 2019-10-17 엘지전자 주식회사 Mobile terminal
JP2019205034A (en) * 2018-05-22 2019-11-28 パナソニックＩｐマネジメント株式会社 Monitor parameter update system, monitor parameter update method and program
US11494890B2 (en) 2018-06-01 2022-11-08 Cryovac, Llc Image-data-based classification of vacuum seal packages
WO2020017814A1 (en) * 2018-07-19 2020-01-23 엘지이노텍 주식회사 Abnormal entity detection system and method
KR102094027B1 (en) * 2018-10-02 2020-03-26 (주)인스웨이브시스템즈 Web standard UI source transformation device and method using deep learning
KR101964683B1 (en) * 2018-10-22 2019-04-02 주식회사 인텔리빅스 Apparatus for Processing Image Smartly and Driving Method Thereof
KR102137194B1 (en) * 2018-10-31 2020-07-24 엘지전자 주식회사 Mobile terminal
WO2020091215A1 (en) * 2018-10-31 2020-05-07 Lg Electronics Inc. Terminal and method for connecting to target devices
KR20200049257A (en) * 2018-10-31 2020-05-08 엘지전자 주식회사 Mobile terminal
US10952267B2 (en) 2018-10-31 2021-03-16 Lg Electronics Inc. Terminal and method for connecting to target devices
KR101942808B1 (en) 2018-11-13 2019-01-29 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN
KR102127276B1 (en) 2018-12-11 2020-06-26 주식회사 인텔리빅스 The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras
KR20200058260A (en) 2019-01-18 2020-05-27 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN and Driving Method Thereof
KR102069085B1 (en) * 2019-04-02 2020-01-22 주식회사 자비스넷 Security service system and method supporting active response based on deep learning
KR102058452B1 (en) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT Convergence Intelligent Video Analysis Platform System
WO2021020866A1 (en) * 2019-07-31 2021-02-04 (주)유디피 Image analysis system and method for remote monitoring
CN110415267A (en) * 2019-08-15 2019-11-05 利卓创新（北京）科技有限公司 A kind of online thermal infrared target identification device of low-power consumption and working method
KR102087926B1 (en) * 2019-11-06 2020-05-27 주식회사엔클라우드 Iot detection control apparatus
KR20210103210A (en) 2020-02-13 2021-08-23 주식회사 인텔리빅스 Apparatus for Processing Images and Driving Method Thereof
KR102291259B1 (en) * 2020-02-28 2021-08-20 주식회사 그릿테크 Ai system based on edge-computing for reinforcing safe-management in industrial site
KR102201096B1 (en) 2020-06-11 2021-01-11 주식회사 인텔리빅스 Apparatus for Real-time CCTV Video Analytics and Driving Method Thereof

Similar Documents

Publication Publication Date Title
KR101789690B1 (en) System and method for providing security service based on deep learning
US10424175B2 (en) Motion detection system based on user feedback
JP7229662B2 (en) How to issue alerts in a video surveillance system
KR101910542B1 (en) Image Analysis Method and Server Apparatus for Detecting Object
KR101980551B1 (en) System For Detecting An Action Through Real-Time Intelligent CCTV Image Analysis Using Machine Learning Object Detection And Method For Detecting An Action Through Real-Time Intelligent CCTV Image Analysis Using Machine Learning Object Detection
KR101825045B1 (en) Alarm method and device
JP7162412B2 (en) detection recognition system
KR101464344B1 (en) Surveillance camera and image managing system, and method for detecting abnormal state by training normal state of surveillance image
KR101927364B1 (en) Outside Intruding and Monitering Radar Syatem Based on Deep -Learning and Method thereof
US20080136934A1 (en) Flame Detecting Method And Device
US9053621B2 (en) Image surveillance system and image surveillance method
KR101858396B1 (en) Intelligent intrusion detection system
US20190304272A1 (en) Video detection and alarm method and apparatus
KR102002812B1 (en) Image Analysis Method and Server Apparatus for Detecting Object
JPH10285581A (en) Automatic monitoring device
JP5388829B2 (en) Intruder detection device
US10679377B2 (en) Object detection system and method, and computer readable recording medium
JP6336709B2 (en) Security device, security method and program
JP6163466B2 (en) Authentication device
KR102247359B1 (en) Image analysis system and method for remote monitoring
CN107122743B (en) Security monitoring method and device and electronic equipment
KR20190038137A (en) Image Analysis Method and Server Apparatus for Per-channel Optimization of Object Detection
KR20210013865A (en) Abnormal behavior detection system and method using generative adversarial network
KR102472369B1 (en) Object tracking system based on sound source asking for emegency help and tracking method using the same
KR102233679B1 (en) Apparatus and method for detecting invader and fire for energy storage system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant