KR102282466B1 - 감시 시스템 및 그 동작 방법 - Google Patents

Abstract

본 발명이 해결하고자 하는 과제를 해결하기 위한 일 실시예에 따른 감시 시스템은 카메라에 의해 획득된 감지데이터 및 상기 카메라의 제1 제어데이터를 선택하는 관제사입력을 수신하는 통신 모듈, 및 상기 감지데이터에 기초하여 상기 카메라의 제2 제어데이터를 예측하고, 상기 제1 제어데이터와 상기 제2 제어데이터의 차이 값을 산출하고, 상기 차이 값에 기초하여 보상 값을 결정하는 강화 학습(reinforcement learning)을 수행함으로써 예측데이터를 생성하는 학습 모듈을 포함한다.

Description

감시 시스템 및 그 동작 방법{SURVEILLANCE SYSTEM AND OPERATION METHOD THEREOF}

본 발명은 전문가에 의해 입력된 제어데이터를 학습하고, 학습 결과 생성된 예측데이터에 기초하여 관심 객체를 추적하는 감시 시스템 및 그 동작 방법에 관한 것이다.

감시 시스템은 감시 영역을 촬영하는 카메라로부터 수신한 영상 등을 관제사가 눈으로 감지한 후, 직접 카메라의 회전 방향이나 줌 배율을 조절함으로써, 관심 객체 등을 추적하는 방식으로 동작된다.

또는, 감시 시스템은 카메라로부터 수신한 영상 등을 분석하여 미리 지정된 관심 객체 등이 검출되는 경우, 자동으로 관심 객체 등을 추적하는 방식으로 동작하기도 한다.

다만, 자동으로 관심 객체를 추적하는 감시 시스템이 이용되는 경우에도, 전문적인 관제사의 제어 노하우가 적용된 추적이 요구된다. 상세하게는, 단순히 관심 객체를 쫓아가는 동작에서 그치는 것이 아니라, 영상을 통해 관찰되는 전체 상황을 종합적으로 반영하여 관심 객체를 추적하는 감시 시스템에 대한 필요가 증가하고 있다.

국내 등록특허공보 10-1480636

본 발명이 해결하고자 하는 과제는 전문가의 제어 노하우가 적용된 감시 시스템 및 그 동작 방법을 제공하는데 있다.

본 발명이 해결하고자 하는 과제를 해결하기 위한 일 실시예에 따른 감시 시스템은 감지데이터 및 카메라의 제1 제어데이터를 선택하는 관제사입력을 수신하는 통신 모듈, 및 상기 감지데이터에 기초하여 상기 카메라의 제2 제어데이터를 예측하고, 상기 제1 제어데이터와 상기 제2 제어데이터의 차이 값을 산출하고, 상기 차이 값에 기초하여 보상 값을 결정하는 강화 학습(reinforcement learning)을 수행함으로써 예측데이터를 생성하는 학습 모듈을 포함한다.

본 실시예에서, 상기 감지데이터는 센서에 의해 획득될 수 있다.

본 실시예에서, 상기 제1 및 제2 제어데이터는 각각 패닝(panning), 틸팅(tilting), 및 줌(zoom) 배율 조절 중 적어도 하나와 관련된 제어데이터일 수 있다.

본 실시예에서, 상기 감지데이터는 제1 시간에 대응하고, 상기 제1 및 제2 제어데이터는 상기 제1 시간 이후의 제2 시간에 대응할 수 있다.

본 실시예에서, 상기 차이 값과 상기 보상 값은 반비례할 수 있다.

본 실시예에서, 상기 학습 모듈은 CNN(Convolution Neural Network)을 통해 상기 감지데이터로부터 상기 제2 제어데이터를 예측할 수 있다.

본 실시예에서, 상기 학습 모듈은 주기적으로 또는 이벤트에 대응하여 상기 보상 값을 결정하는 학습을 수행하고, 상기 이벤트는 상기 감지데이터 또는 상기 관제사입력에 기초하여 검출될 수 있다.

본 실시예에서, 제1 기간에 생성된 예측데이터를 저장하는 메모리, 상기 센서로부터 상기 제1 기간 이후의 제2 기간에 감지데이터를 수신하는 통신 인터페이스, 관심 객체를 지정하는 사용자입력을 수신하는 사용자 인터페이스, 및 상기 제2 기간에 수신한 상기 감지데이터로부터 상기 관심 객체가 검출되면, 상기 제1 기간에 생성된 상기 예측데이터에 기초하여 상기 카메라의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터를 생성하는 프로세서를 더 포함하고, 상기 통신 인터페이스는 상기 제2 기간에 수신한 상기 감지데이터로부터 상기 관심 객체가 검출되면, 사용자단말에 알림을 전송하고, 상기 카메라에 상기 제2 기간에 생성된 제어데이터를 전송할 수 있다.

본 실시예에서, 상기 통신 모듈은 제1 기간에는 제1 감지데이터 및 제1 관제사입력을 수신하고, 상기 제1 기간 이후의 제2 기간에는 상기 제1 감지데이터와 상이한 제2 감지데이터 및 상기 제1 관제사입력과 상이한 제2 관제사입력을 수신하고, 상기 학습 모듈은 상기 제1 기간에는 상기 제1 감지데이터 및 상기 제1 관제사입력에 기초하여 학습된 제1 예측데이터를 생성하고, 상기 제2 기간에는 상기 제2 감지데이터 및 상기 제2 관제사입력에 기초하여 학습된 제2 예측데이터를 생성할 수 있다.

본 발명이 해결하고자 하는 과제를 해결하기 위한 일 실시예에 따른 감시 시스템 동작 방법은 제1 기간에, 통신 모듈에 의해, 센서로부터 제1 감지데이터를 수신하는 단계, 상기 제1 기간에, 상기 통신 모듈에 의해, 상기 카메라의 제1 제어데이터를 선택하는 제1 관제사입력을 수신하는 단계, 상기 제1 기간에, 학습 모듈에 의해, 상기 제1 감지데이터에 기초하여 상기 카메라의 제2 제어데이터를 예측하는 단계, 상기 제1 기간에, 상기 학습 모듈에 의해, 상기 제1 제어데이터와 상기 제2 제어데이터의 차이 값을 산출하는 단계, 및 상기 제1 기간에, 상기 학습 모듈에 의해, 상기 차이 값에 기초하여 보상 값을 결정하는 강화 학습을 수행함으로써 제1 예측데이터를 생성하는 단계를 포함한다.

본 실시예에서, 메모리에 의해, 상기 제1 예측데이터를 저장하는 단계, 상기 제1 기간 이후의 제2 기간에, 통신 인터페이스에 의해, 상기 센서로부터 상기 제1 감지데이터와 상이한 제2 감지데이터를 수신하는 단계, 및 상기 제2 기간에, 프로세서에 의해, 상기 제2 감지데이터로부터 이벤트가 검출되면, 상기 제1 예측데이터에 기초하여 상기 카메라의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터를 생성하는 단계를 더 포함할 수 있다.

본 실시예에서, 상기 제1 기간 이후의 제2 기간에, 상기 통신 모듈에 의해, 상기 센서로부터 상기 제1 감지데이터와 상이한 제2 감지데이터를 수신하는 단계, 상기 제2 기간에, 상기 통신 모듈에 의해, 상기 제1 관제사입력과 상이한 제2 관제사입력을 수신하는 단계, 및 상기 제2 기간에, 상기 학습 모듈에 의해, 상기 제2 감지데이터 및 상기 제2 관제사입력에 기초하여 학습된 제2 예측데이터를 생성하는 단계를 더 포함할 수 있다.

본 발명이 해결하고자 하는 과제를 해결하기 위한 일 실시예에 따른 감시 시스템 동작 방법은 통신 모듈에 의해, 제1 기간에 센서로부터 제1 감지데이터를 수신하는 단계, 상기 제1 기간에, 상기 통신 모듈에 의해, 상기 카메라의 제1 제어데이터를 선택하는 제1 관제사입력을 수신하는 단계, 상기 제1 기간에, 학습 모듈에 의해, 상기 제1 감지데이터에 기초하여 상기 카메라의 제2 제어데이터를 예측하는 단계, 상기 제1 기간에, 상기 학습 모듈에 의해, 상기 제1 제어데이터와 상기 제2 제어데이터의 차이 값을 산출하는 단계, 및 상기 제1 기간에, 상기 학습 모듈에 의해, 상기 차이 값에 기초하여 보상 값을 결정하는 강화 학습을 수행함으로써 제1 예측데이터를 생성하는 단계를 포함하고, 자동 제어 모드로 동작하는 경우, 메모리에 의해, 상기 제1 예측데이터를 저장하는 단계, 상기 제1 기간 이후의 제2 기간에, 통신 인터페이스에 의해, 상기 센서로부터 상기 제1 감지데이터와 상이한 제2 감지데이터를 수신하는 단계, 및 상기 제2 기간에, 프로세서에 의해, 상기 제2 감지데이터로부터 이벤트가 검출되면, 상기 제1 예측데이터에 기초하여 상기 카메라의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터를 생성하는 단계를 더 포함하고, 수동 제어 모드로 동작하는 경우, 상기 제2 기간에, 상기 통신 모듈에 의해, 상기 센서로부터 상기 제1 감지데이터와 상이한 제3 감지데이터를 수신하는 단계, 상기 제2 기간에, 상기 통신 모듈에 의해, 상기 제1 관제사입력과 상이한 제2 관제사입력을 수신하는 단계, 및 상기 제2 기간에, 상기 학습 모듈에 의해, 상기 제3 감지데이터 및 상기 제2 관제사입력에 기초하여 학습된 제2 예측데이터를 생성하는 단계를 더 포함한다.

본 발명의 실시예들에 따르면, 종합적인 상황을 고려하여 관심 객체를 추적하는 전문가의 제어 노하우가 적용된 감시 시스템을 활용함으로써, 관리자 편의를 제공할 수 있다.

즉, 관심 객체가 2 이상인 상황이나, 관심 객체와는 별도로 발생하는 돌발 상황에 대처하여 카메라의 회전 방향이나 줌 배율을 조절하는 전문가의 제어 노하우가 누적된 감시 시스템을 제공함으로써, 제어 환경에 보다 적합한 감시 시스템을 제공할 수 있다.

또한, 시간과 장소에 따라 변경되는 제어 노하우가 적용된 감시 시스템을 제공함으로써, 초보자라 하더라도 전문가와 유사하게 감시 시스템을 제어할 수 있는 기회를 제공할 수 있다.

따라서, 보다 효율적이고 강화된 감시 시스템을 제공할 수 있다.

도 1은 일 실시예에 따른 네트워크 감시 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 감시 시스템의 구성을 나타내는 블록도이다.
도 3은 일 실시예에 따른 감지데이터에 기초한 제어데이터 예측 알고리즘을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 감시 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 5는 다른 실시예에 따른 감시 시스템의 동작 방법을 설명하기 위한 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

이하 첨부된 도면들을 참조하여 본 발명의 여러 가지 실시 예를 상세히 설명한다.

도 1은 일 실시예에 따른 네트워크 감시 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 일 실시예에 따른 네트워크 감시 시스템은 카메라(1), 네트워크(2), 서버(3), 사용자단말(4)을 포함한다.

네트워크 감시 시스템은 카메라(1)의 정보가 네트워크(2)를 통해 서버(3)로 전송되면, 관리자가 사용자단말(4)을 이용하여 서버(3)에 전송된 정보를 모니터링하는 구성을 제공할 수 있다.

카메라(1)는 패닝(panning)과 틸팅(tilting)이 가능하며 렌즈의 줌(zoom) 배율이 조절 가능한 PTZ 카메라일 수 있다. PTZ 카메라는 패닝, 틸팅, 및/또는 줌 배율 조절을 수행함으로써, 감시 영역을 변경할 수 있다.

카메라(1)는 배터리로 구동되는 저전력 카메라일 수 있다. 카메라(1)는 평상시 슬립 모드를 유지하고, 주기적으로 깨어나 이벤트가 발생하였는지 여부를 체크할 수 있다. 카메라(1)는 이벤트가 발생한 경우 액티브 모드로 전환되고, 이벤트가 발생하지 않은 경우 다시 슬립 모드로 복귀할 수 있다. 이와 같이, 이벤트가 발생한 경우에만 액티브 모드를 유지함으로써 카메라(1)의 전력 소모를 줄일 수 있다.

카메라(1)는 이벤트를 감지하는 센서를 포함할 수 있다. 센서는 카메라(1)의 외부에 설치될 수도 있다.

센서는 감시 또는 보안의 목적으로 센싱 영역에서 이벤트가 발생하는지 여부를 실시간으로 감지할 수 있다. 센서는 음향 센서, 적외선 센서, 모션 센서, 가스 센서, 누수 센서, 온도 센서, 습도 센서, 가속도 센서, 자이로 센서, 촉각 센서, 압력 센서, 진동 센서 등을 포함할 수 있다.

센서는 소정 신호를 감지할 수 있다. 예를 들어, 센서는 이동 가능한 오브젝트로부터 전송된 비콘(beacon)을 감지할 수 있다. 다른 예를 들어, 센서는 이동 가능한 오브젝트에 부착된 태그의 접근을 센싱하는 리더로서 동작할 수 있다. 이를 통해, 소정 위치에 설치된 센서는 소정 위치에 대한 이동 가능한 오브젝트의 접근을 감지할 수 있다. 이동 가능한 오브젝트는 사용자단말(4)을 포함할 수 있으나, 이에 한정하지 않는다.

카메라(1)는 유무선 LAN(Local Area Network), 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스(Bluetooth), 근거리 통신(Near Field Communication) 등 다양한 통신 방식을 이용하여 게이트웨이(미도시)와 통신할 수 있다. 예를 들어, 카메라(1)는 ISM 대역(Industrial Scientific Medical band)의 무선 주파수(Radio Frequency)를 사용하는 저전력 무선 통신 프로토콜에 따라 게이트웨이(미도시)와 통신할 수 있다.

카메라(1)는 하나 이상 구비될 수 있다.

네트워크(2)는 유선 네트워크 또는 무선 네트워크를 포함할 수 있다. 무선 네트워크는 2G(Generation) 또는 3G 셀룰러 통신 시스템, 3GPP(3rd Generation Partnership Project), 4G 통신 시스템, LTE(Long-Term Evolution), WiMAX(World Interoperability for Microwave Access) 등일 수 있다.

서버(3)는 네트워크(2)를 통해, 카메라(1) 또는 게이트웨이(미도시)로부터 전송된 정보에 기초하여 사용자단말(4)에 알림을 전송할 수 있고, 사용자단말(4)로부터 전송된 명령을 카메라(1) 또는 게이트웨이(미도시)에 전송할 수 있다.

사용자단말(4)은 서버(3)로부터 전송된 정보를 디스플레이할 수 있고, 저장할 수도 있다. 예를 들어, 사용자단말(4)은 서버(3)로부터 전송된 알림을 디스플레이할 수 있다. 사용자단말(4)은 적어도 하나 이상의 프로세서를 포함할 수 있다. 사용자단말(4)은 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다. 사용자단말(4)은 개인용 컴퓨터 또는 이동 단말일 수 있다.

사용자단말(4)은 카메라(1) 또는 서버(3)의 동작을 제어하기 위한 사용자 인터페이스를 포함할 수 있다.

본 발명의 실시예들에 따른 감시 시스템(10, 도 2)은 하나의 물리적 장치로 구현될 수도 있고, 복수의 물리적 장치가 유기적으로 결합되어 구현될 수도 있다. 이를 위해 감시 시스템(10)에 포함된 구성 중 일부는 어느 하나의 물리적 장치로 구현되거나 설치되고, 나머지 일부는 다른 물리적 장치로 구현되거나 설치될 수도 있다. 이때, 어느 하나의 물리적 장치는 서버(3)의 일부로 구현될 수 있고, 다른 물리적 장치는 사용자단말(4)의 일부로 구현될 수 있다. 한편, 감시 시스템(10)은 카메라(1), 서버(3) 또는 사용자단말(4)에 내장될 수도 있고, 카메라(1), 서버(3) 또는 사용자단말(4)과 별개로 구비된 장치에 적용될 수도 있다.

도 2는 일 실시예에 따른 감시 시스템의 구성을 나타내는 블록도이다.

도 2를 참조하면, 일 실시예에 따른 감시 시스템(10)은 프리셋 모듈(11), 메모리(13), 통신 인터페이스(15), 사용자 인터페이스(17), 및 프로세서(19)를 포함한다.

프리셋 모듈(11)은 카메라로부터 수신한 데이터 및 관제사입력에 따른 데이터를 기반으로 강화 학습(reinforcement learning)을 수행함으로써 예측데이터를 생성한다. 프리셋 모듈(11)은 통신 모듈(111) 및 학습 모듈(113)을 포함한다.

통신 모듈(111)은 예측데이터 생성에 필요한 데이터를 수신한다. 통신 모듈(111)은 카메라(1)에 의해 획득된 감지데이터 및 카메라(1)의 제1 제어데이터를 선택하는 관제사입력을 수신한다.

감지데이터는 센서에 의해 획득될 수 있다. 예를 들어, 감지데이터는 광 센서, 음향 센서, 적외선 센서, 모션 센서, 가스 센서, 누수 센서, 온도 센서, 습도 센서, 가속도 센서, 자이로 센서, 촉각 센서, 압력 센서, 및 진동 센서 중 적어도 하나에 의해 획득될 수 있다.

감지 데이터는 이벤트 정보를 포함할 수 있다. 이벤트 정보는 예를 들어, 이벤트 발생 시간, 이벤트 종료 시간, 이벤트 식별 정보, 이벤트 감지 위치 정보, 및 이벤트 감지 센서 정보 중 적어도 하나를 포함할 수 있다.

감지데이터는 제1 시간에 대응될 수 있다.

제1 제어데이터는 카메라(1)의 패닝(panning), 틸팅(tilting), 및 줌(zoom) 배율 조절 중 적어도 하나와 관련된 제어데이터일 수 있다. 예를 들어, 제1 제어데이터는 관제사입력에 따른 카메라(1)의 패닝 각도, 틸팅 각도, 및 줌 배율 중 적어도 하나에 대한 정보를 가리킬 수 있다.

제1 제어데이터는 제1 시간 이후의 제2 시간에 대응될 수 있다. 즉, 제1 제어데이터는 감지데이터가 수신된 이후에 수신될 수 있다. 다시 말해, 관제사는 카메라(1)에 의해 획득된 감지데이터를 확인한 후, 카메라(1)의 제1 제어데이터를 선택할 수 있다.

학습 모듈(113)은 통신 모듈(111)이 수신한 데이터에 기초하여 예측데이터를 생성한다. 학습 모듈(113)은 감지데이터에 기초하여 카메라(1)의 제2 제어데이터를 예측하고, 제1 제어데이터와 제2 제어데이터의 차이 값을 산출하고, 차이 값에 기초하여 보상 값을 결정하는 강화 학습을 수행함으로써 예측데이터를 생성할 수 있다.

제2 제어데이터는 카메라(1)의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터일 수 있다.

일 실시예에 따른 학습 모듈(113)은 CNN(Convolution Neural Network)과 같은 딥 러닝(deep learning)을 통해 감지데이터로부터 제2 제어데이터를 예측할 수 있다. 이하에서, 도 3을 참조하여 CNN(Convolution Neural Network)을 통해 감지데이터로부터 제2 제어데이터를 예측하는 실시예에 대하여 상세하게 설명한다.

도 3은 일 실시예에 따른 감지데이터에 기초한 제어데이터 예측 알고리즘을 설명하기 위한 도면이다.

도 3을 참조하면, 학습 모듈(113)은 입력 레이어(input layer, L1), 컨볼루션 레이어(convolution layer, L2), 히든 레이어(hidden layer, L3), 완전연결 레이어(fully connected layer, L4), 및 출력 레이어(output layer, L5)로 구성된 계층적 구조의 CNN을 활용할 수 있다. 이때, 감지데이터는 입력 레이어(L1)에, 제2 제어데이터는 출력 레이어(L5)에 대응될 수 있다.

입력 레이어(L1)의 출력은 컨볼루션 레이어(L2)의 입력이, 컨볼루션 레이어(L2)의 출력은 히든 레이어(L3)의 입력이, 히든 레이어(L3)의 출력은 완전연결 레이어(L4)의 입력이, 완전연결 레이어(L4)의 출력은 출력 레이어(L5)의 입력일 수 있다.

컨볼루션 레이어(L2), 히든 레이어(L3), 및 완전연결 레이어(L4)는 하나 이상일 수 있다.

컨볼루션 레이어(L2)는 입력 레이어(L1)로부터 입력받은 감지데이터로부터 특징 벡터를 추출할 수 있다.

시간 t+1에서의 히든 레이어(L3)는 시간 t+1에서의 컨볼루션 레이어(L2)의 정보와, 시간 t에서의 히든 레이어(L3)의 정보에 가중치(W)를 적용한 결과로부터 시간 t+1에서의 완전연결 레이어(L4)에 입력할 정보를 결정할 수 있다. 이때, 시간 t에서의 히든 레이어(L3)의 정보는 초기 시간(t=0)에서의 히든 레이어(L3)의 정보 내지 시간 t에서의 히든 레이어(L3)의 정보를 모두 포함할 수 있다.

시간 t 및 시간 t+1은 각각 소정 주기 또는 이벤트 지속 시간일 수 있으며, 이에 한정하지 않는다.

출력 레이어(L5)가 출력하는 제2 제어데이터는 예를 들어, 패닝의 방향 및 정도, 틸팅의 방향 및 정도, 및 줌 배율 중 적어도 하나를 포함하는 제어데이터일 수 있다.

다시 도 2를 참조하면, 학습 모듈(113)은 관제사가 입력한 제1 제어데이터와 CNN을 통해 예측된 제2 제어데이터의 차이 값을 산출할 수 있다.

그리고, 학습 모듈(113)은 차이 값에 따라 보상 값을 결정함으로써, deep reinforcement learning을 수행할 수 있다. 이때, 차이 값과 보상 값은 반비례할 수 있다. 즉, 학습 모듈(113)은 차이 값이 클수록 보상 값이 작아지도록 결정하고, 차이 값이 작을수록 보상 값이 커지도록 결정할 수 있다.

이때, 학습 모듈(113)은 주기적으로 또는 이벤트에 대응하여 보상 값을 결정하는 학습을 수행할 수 있다. 이벤트는 감지데이터 또는 관제사입력에 기초하여 검출될 수 있다. 예를 들어, 감지데이터를 통해 관심 객체의 모션이 감지된 경우, 학습 모듈(113)은 관심 객체의 모션에 대응하여 보상 값을 결정할 수 있다. 다른 예를 들어, 감지데이터를 통해 관심 객체의 모션이 감지되었는지 여부와 상관 없이, 카메라(1)의 제1 제어데이터를 선택하는 관제사입력이 수신된 경우, 학습 모듈(113)은 관제사입력에 대응하여 보상 값을 결정할 수 있다.

메모리(13)는 제1 기간에 프리셋 모듈(11) 구체적으로는, 학습 모듈(113)에 의해 미리 학습된 예측데이터를 저장한다. 제1 기간은 학습 모듈(113)이 카메라(1)의 제1 제어데이터를 선택하는 관제사입력에 대응하여 예측데이터를 생성한 기간일 수 있다. 제1 기간에 통신 모듈(111)은 보다 전문적인 관제사에 의한 관제사입력을 수신할 수 있다. 이에 따라, 제1 기간에 학습 모듈(113)은 보다 전문적인 관제사에 의한 관제사입력에 대응하는 예측데이터를 생성할 수 있다. 이처럼, 본 발명에 따르면, 제1 기간에 전문가의 전반적인 관제 동작을 모방할 수 있으므로, 효율적인 감시 시스템을 제공할 수 있다.

통신 인터페이스(15)는 제1 기간 이후의 제2 기간에, 카메라(1)에 의해 획득된 감지데이터를 수신한다. 제2 기간은 프리셋 모듈(11)에 의해 예측데이터 생성이 완료된 이후의 기간일 수 있다. 감지데이터는 카메라(1)에 포함된 센서에 의해 획득될 수 있다. 예를 들어, 감지데이터는 영상데이터 및 음향데이터 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스(17)는 관심 객체를 지정하는 사용자입력을 수신한다. 사용자 인터페이스(17)는 제2 기간에 관심 객체를 지정하는 사용자입력을 수신할 수 있다. 사용자입력은 앞서 설명한 관제사입력과 동일할 수도 있고, 상이할 수도 있다.

프로세서(19)는 제2 기간에, 감지데이터로부터 사용자입력에 따른 관심 객체가 검출되는지 여부를 판단할 수 있다. 프로세서(19)는 제2 기간에 수신한 감지데이터로부터 관심 객체가 검출되면, 제1 기간에 생성된 예측데이터에 기초하여 카메라(1)의 패닝, 틸팅, 줌 배율 조절 중 적어도 하나와 관련된 제어데이터를 제2 기간에 생성한다.

결과적으로, 프로세서(19)는 제1 기간에 생성된 예측데이터에 기초하여, 제2 기간에 카메라(1)에 의해 획득된 감지데이터에 대응하는 관심 객체 추적 동작을 수행할 수 있다. 이처럼 본 실시예에 따른 감시 시스템(10)은 전문가의 제어 노하우가 적용되어 관심 객체를 보다 정확하고 효율적으로 추적할 수 있다.

한편, 통신 인터페이스(15)는 제2 기간에, 감지데이터로부터 관심 객체가 검출되면, 사용자단말(4)에 알림을 전송할 수 있다. 알림은 문자, 이메일 등의 형태로 전송될 수 있다. 통신 인터페이스(15)는 제2 기간에 감지데이터로부터 소정의 관심 객체가 검출된 경우, 경찰서 등으로 알림을 전송할 수도 있다.

통신 인터페이스(15)는 카메라(1)에 제2 기간에 생성된 제어데이터를 전송할 수 있다. 카메라(1)는 제2 기간에 생성된 제어데이터에 대응하여 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나의 동작을 수행할 수 있다.

다른 실시예에 따르면, 통신 모듈(111)은 제1 기간에는 제1 감지데이터 및 제1 관제사입력을 수신하고, 제2 기간에는 제2 감지데이터 및 제2 관제사입력을 수신할 수 있다. 제2 기간은 제1 기간 이후의 기간을 의미할 수 있다. 제1 감지데이터와 제2 감지데이터는 상이할 수 있다. 제1 관제사입력과 제2 관제사입력은 상이할 수 있다. 예를 들어, 제1 관제사입력을 입력하는 관제사와 제2 관제사입력을 입력하는 관제사가 상이할 수 있다.

이때, 학습 모듈(113)은 제1 기간에는 제1 감지데이터 및 제1 관제사입력에 기초하여 학습된 제1 예측데이터를 생성하고, 제2 기간에는 제2 감지데이터 및 제2 관제사입력에 기초하여 학습된 제2 예측데이터를 생성할 수 있다.

학습 모듈(113)이 제1 감지데이터 및 제1 관제사입력에 기초하여 제1 예측데이터를 학습하는 과정은 앞서 설명한 바와 동일하고, 제2 감지데이터 및 제2 관제사입력에 기초하여 제2 예측데이터를 학습하는 과정은 제1 감지데이터 및 제1 관제사입력에 기초하여 제1 예측데이터를 학습하는 과정과 동일하다.

이처럼 다른 실시예에 따른 감시 시스템(10)은 전문가의 제어 노하우를 적용하면서 새로운 관제사에 보다 개인화된 추적 동작을 수행할 수 있으므로, 사용자편의를 제공할 수 있다.

이하에서는, 본 발명의 실시예들에 따른 감시 시스템(10)이 내장된 서버(3)의 동작에 대하여 상세하게 설명한다. 도 4는 자동 제어 모드에서의 서버(3)의 동작을 도시한 도면이며, 도 5는 수동 제어 모드에서의 서버(3)의 동작을 도시한 도면이다. 자동 제어 모드는 예측데이터 생성 후 관제사입력이 요구되지 않는 감시 시스템(10)의 동작 모드를 의미하고, 수동 제어 모드는 예측데이터 생성 후 관제사입력이 요구되는 감시 시스템(10)의 동작 모드를 의미한다. 자동 제어 모드는 예를 들어, 자동 제어 모드를 선택하는 관제사입력에 대응하여 동작하거나, 카메라의 제어데이터를 선택하는 관제사입력을 수신하지 않은 시간이 소정 시간을 초과하는 경우에 동작할 수 있다. 수동 제어 모드는 예를 들어, 수동 제어 모드를 선택하는 관제사입력에 대응하여 동작하거나, 카메라의 제어데이터를 선택하는 관제사입력을 수신한 경우에 동작할 수 있다.

도 4는 일 실시예에 따른 감시 시스템의 동작 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 서버(3)는 제1 기간(T1)에, 통신 모듈(111)에 의해, 카메라(1)로부터 제1 감지데이터를 수신한다(S101). 제1 감지데이터는 예를 들어, 제1 기간(T1) 중 제1 시간에 카메라(1)에 의해 획득된 감시 영역의 영상데이터 및 음향데이터 중 적어도 하나를 포함할 수 있다.

이어서, 서버(3)는 제1 기간(T1)에, 통신 모듈(111)에 의해, 제1 제어데이터를 선택하는 제1 관제사입력을 수신한다(S103). 이때, 제1 제어데이터는, 제1 기간(T1) 중 제1 시간 이후의 제2 시간에 제1 관제사입력에 의해 선택될 수 있으며, 제1 감지데이터에 대응될 수 있다.

제1 제어데이터는 카메라(1)의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터일 수 있다. 예를 들어, 제1 제어데이터는 카메라(1)에 대한 우측방향으로의 10° 패닝 동작 수행 명령을 포함할 수 있다.

이어서, 서버(3)는 제1 기간(T1)에, 학습 모듈(113)에 의해, 제1 감지데이터에 기초하여 카메라(1)의 제2 제어데이터를 예측한다(S105). 이때, 제2 제어데이터는, 1 기간(T1) 중 제1 시간 이후의 제2 시간에 예측될 수 있으며, 제1 감지데이터에 대응될 수 있다.

이때, 서버(3)는 CNN을 통해 제1 감지데이터로부터 제2 제어데이터를 예측할 수 있다. 상세하게는, 서버(3)는 CNN을 통해, 제1 감지데이터와 함께 제1 시간 이전 시간의 감지데이터로부터 추출된 정보에 가중치를 적용한 정보에 기초하여, 제2 제어데이터를 예측할 수 있다.

제2 데이터는 카메라(1)의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터일 수 있다. 예를 들어, 제2 제어데이터는 카메라(1)에 대한 우측방향으로의 15° 패닝 동작 수행 명령 또는 우측방향으로의 20° 패닝 동작 수행 명령을 포함할 수 있다.

이어서, 서버(3)는 제1 기간(T1)에, 학습 모듈(113)에 의해, 제1 제어데이터와 제2 제어데이터의 차이 값을 산출한다(S107).

예를 들어, 서버(3)는 카메라(1)에 대한 우측방향으로의 10° 패닝 동작 수행 명령을 포함하는 제1 제어데이터와 카메라(1)에 대한 우측방향으로의 15° 패닝 동작 수행 명령을 포함하는 제2 제어데이터로부터, 우측방향으로의 5° 패닝 동작을 제1 차이 값으로 산출할 수 있다.

다른 예를 들어, 서버(3)는 카메라(1)에 대한 우측방향으로의 10° 패닝 동작 수행 명령을 포함하는 제1 제어데이터와 카메라(1)에 대한 우측방향으로의 20° 패닝 동작 수행 명령을 포함하는 제2 제어데이터로부터, 우측방향으로의 10° 패닝 동작을 제2 차이 값으로 산출할 수 있다.

이어서, 서버(3)는 제1 기간(T1)에, 학습 모듈(113)에 의해, 차이 값에 기초하여 보상 값을 결정하는 강화 학습을 수행한다(S109).

이때, 서버(3)는 차이 값에 반비례하도록 보상 값을 결정할 수 있다. 이에 따라, 제1 차이 값에 대응되는 제1 보상 값이 제2 차이 값에 대응되는 제2 보상 값보다 클 수 있다.

서버(3)는 제1 기간(T1) 동안 S101 내지 S109의 동작을 반복하여 수행함으로써, 제1 관제사입력에 대한 강화 학습을 수행함으로써, 제1 예측데이터를 생성할 수 있다. 서버(3)는 제1 기간(T1) 동안, 주기적으로 또는 이벤트에 대응하여 S101 내지 S109의 동작을 수행할 수 있다. 이벤트는 감지데이터에 기초하여 검출되거나, 관제사입력에 기초하여 검출될 수 있다. 이때, 서버(3)는 차이 값에 따른 보상 값을 결정하는 방식으로 보다 효율적이고 강화된 예측데이터를 생성할 수 있다.

서버(3)는 메모리(13)에 의해, 제1 기간(T1)에 미리 학습된 제1 예측데이터를 저장한다(S111).

이어서, 서버(3)는 제1 기간(T1) 이후의 제2 기간(T2)에, 통신 인터페이스(15)에 의해, 카메라(1)로부터 제2 감지데이터를 수신한다(S113).

제2 감지데이터는, 카메라(1)에 의해 제1 기간(T1)에 획득된 제1 감지데이터와 상이할 수 있다. 제2 감지데이터는 예를 들어, 제2 기간(T2) 중 카메라(1)에 의해 획득된 감시 영역의 영상데이터 및 음향데이터 중 적어도 하나를 포함할 수 있다.

이어서, 서버(3)는 제2 기간(T2)에, 프로세서(19)에 의해, 감지데이터로부터 이벤트가 검출되면(S115), 사용자단말(4)에 알림을 전송하고(S117), 제1 예측데이터에 기초하여 카메라(1)의 패닝, 틸팅, 및/또는 줌 배율 조절과 관련된 제어데이터를 생성한다(S119). 이벤트는 사용자입력에 따른 관심 객체의 검출 등일 수 있다.

서버(3)가 제어데이터를 카메라(1)에 전송하면, 카메라(1)는 제어데이터에 기초하여 패닝, 틸팅, 및/또는 줌 배율을 조절한다(S123). 본 실시예에 따르면, 관제사가 없는 경우라 하더라도, 전문가 수준의 감시 환경을 제공할 수 있다.

이하에서는, 앞서 설명한 부분과 동일한 부분에 대한 설명은 간략히 하거나 생략한다.

도 5는 다른 실시예에 따른 감시 시스템의 동작 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 제1 기간(T1)에 서버(3)는 카메라(1)로부터 제1 감지데이터를 수신하고(S201), 제1 제어데이터를 선택하는 제1 관제사입력을 수신하고(S203), 제1 감지데이터에 기초하여 카메라(1)의 제2 제어데이터를 예측하고(S205), 제1 제어데이터와 제2 제어데이터의 차이 값을 산출하고(S207), 차이 값에 기초하여 보상 값을 결정하는 강화 학습을 수행한다(S209).

이어서, 제1 기간(T1) 이후의 제2 기간(T2)에, 서버(3)는 통신 모듈(111)에 의해 카메라(1)로부터 제1 감지데이터와 상이한 제2 감지데이터를 수신한다(S211). 제2 감지데이터는 예를 들어, 제2 기간(T2) 중 제3 시간에 카메라(1)에 의해 획득된 감시 영역의 영상데이터 및 음향데이터 중 적어도 하나를 포함할 수 있다.

서버(3)는 제2 기간(T2)에, 통신 모듈(111)에 의해, 제3 제어데이터를 선택하는 제2 관제사입력을 수신한다(S213). 제2 관제사입력은 S203에서 서버(3)가 수신한 제1 관제사입력과 상이하다. 이때, 제3 제어데이터는, 제2 기간(T2) 중 제3 시간 이후의 제4 시간에 제2 관제사입력에 의해 선택될 수 있으며, 제2 감지데이터에 대응될 수 있다.

제3 제어데이터는 카메라(1)의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터일 수 있다.

이어서, 서버(3)는 제2 기간(T2)에, 학습 모듈(113)에 의해, 제2 감지데이터에 기초하여 카메라(1)의 제4 제어데이터를 예측한다(S215). 이때, 제4 제어데이터는, 제2 기간(T2) 중 제3 시간 이후의 제4 시간에 예측될 수 있으며, 제2 감지데이터에 대응될 수 있다.

이때, 서버(3)는 CNN을 통해, 제2 감지데이터와 함께 제3 시간 이전 시간의 감지데이터로부터 추출된 정보에 가중치를 적용한 정보에 기초하여, 제4 제어데이터를 예측할 수 있다. 다시 말해, 서버(3)는 제1 기간(T1)에 수신한 제1 감지데이터 및 제2 기간(T2)에 수신한 제2 감지데이터에 기초하여 카메라(1)의 제4 제어데이터를 예측할 수 있다.

이어서, 서버(3)는 제2 기간(T2)에, 학습 모듈(113)에 의해, 제3 제어데이터와 제4 제어데이터의 차이 값을 산출한다(S217).

이어서, 서버(3)는 제2 기간(T2)에, 학습 모듈(113)에 의해, 차이 값에 기초하여 보상 값을 결정하는 강화 학습을 수행한다(S219). 그 결과, 서버(3)는 제2 기간(T2)에, 학습 모듈(113)에 의해, 제2 감지데이터 및 제2 관제사입력에 기초하여 학습된 제2 예측데이터를 생성한다.

서버(3)는 제1 기간(T1) 동안 S101 내지 S109의 동작을 반복하여 수행한 후, 제2 기간(T2) 동안 S211 내지 S219의 동작을 반복하여 수행함으로써, 제1 관제사입력뿐만 아니라 제2 관제사입력에 대한 강화 학습을 수행함으로써, 제2 예측데이터를 생성할 수 있다.

본 실시예에 따르면, 서버(3)는 전문가 수준의 감시 환경을 제공하면서도, 실제로 감시 환경을 이용하고 있는 관제사에게 적합한 감시 환경을 제공할 수 있다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

1: 카메라
2: 네트워크
3: 서버
4: 사용자단말

Claims (13)

1. 감지데이터 및 카메라의 제1 제어데이터를 선택하는 관제사입력을 수신하는 통신 모듈; 및
   딥 러닝(deep learning)을 통해 상기 감지데이터에 기초하여 상기 카메라의 제2 제어데이터를 예측하고, 상기 제1 제어데이터와 상기 제2 제어데이터의 차이 값을 산출하고, 상기 차이 값에 기초하여 보상 값을 결정하는 강화 학습(reinforcement learning)을 수행함으로 예측데이터를 생성하는 학습 모듈;을 포함하는, 감시 시스템.
2. 청구항 1에 있어서,
   상기 감지데이터는 센서에 의해 획득되는, 감시 시스템.
3. 청구항 1에 있어서,
   상기 제1 및 제2 제어데이터는 각각 패닝(panning), 틸팅(tilting), 및 줌(zoom) 배율 조절 중 적어도 하나와 관련된 제어데이터인, 감시 시스템.
4. 청구항 1에 있어서,
   상기 감지데이터는 제1 시간에 대응하고, 상기 제1 및 제2 제어데이터는 상기 제1 시간 이후의 제2 시간에 대응하는, 감시 시스템.
5. 청구항 1에 있어서,
   상기 차이 값과 상기 보상 값은 반비례하는, 감시 시스템.
6. 청구항 1에 있어서,
   상기 학습 모듈은 CNN(Convolution Neural Network)을 통해 상기 감지데이터로부터 상기 제2 제어데이터를 예측하는, 감시 시스템.
7. 청구항 1에 있어서,
   상기 학습 모듈은 주기적으로 또는 이벤트에 대응하여 상기 보상 값을 결정하는 학습을 수행하고,
   상기 이벤트는 상기 감지데이터 또는 상기 관제사입력에 기초하여 검출되는, 감시 시스템.
8. 청구항 1에 있어서,
   제1 기간에 생성된 예측데이터를 저장하는 메모리;
   센서로부터 상기 제1 기간 이후의 제2 기간에 감지데이터를 수신하는 통신 인터페이스;
   관심 객체를 지정하는 사용자입력을 수신하는 사용자 인터페이스; 및
   상기 제2 기간에 수신한 상기 감지데이터로부터 상기 관심 객체가 검출되면, 상기 제1 기간에 생성된 상기 예측데이터에 기초하여 상기 카메라의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터를 생성하는 프로세서;를 더 포함하고,
   상기 통신 인터페이스는 상기 제2 기간에 수신한 상기 감지데이터로부터 상기 관심 객체가 검출되면 사용자단말에 알림을 전송하고, 상기 카메라에 상기 제2 기간에 생성된 제어데이터를 전송하는, 감시 시스템.
9. 청구항 1에 있어서,
   상기 통신 모듈은 제1 기간에는 제1 감지데이터 및 제1 관제사입력을 수신하고, 상기 제1 기간 이후의 제2 기간에는 상기 제1 감지데이터와 상이한 제2 감지데이터 및 상기 제1 관제사입력과 상이한 제2 관제사입력을 수신하고,
   상기 학습 모듈은 상기 제1 기간에는 상기 제1 감지데이터 및 상기 제1 관제사입력에 기초하여 학습된 제1 예측데이터를 생성하고, 상기 제2 기간에는 상기 제2 감지데이터 및 상기 제2 관제사입력에 기초하여 학습된 제2 예측데이터를 생성하는, 감시 시스템.
10. 제1 기간에, 통신 모듈에 의해, 센서로부터 제1 감지데이터를 수신하는 단계;
    상기 제1 기간에, 상기 통신 모듈에 의해, 카메라의 제1 제어데이터를 선택하는 제1 관제사입력을 수신하는 단계;
    상기 제1 기간에, 학습 모듈에 의해, 딥 러닝(deep learning)을 통해 상기 제1 감지데이터에 기초하여 상기 카메라의 제2 제어데이터를 예측하는 단계;
    상기 제1 기간에, 상기 학습 모듈에 의해, 상기 제1 제어데이터와 상기 제2 제어데이터의 차이 값을 산출하는 단계; 및
    상기 제1 기간에, 상기 학습 모듈에 의해, 상기 차이 값에 기초하여 보상 값을 결정하는 강화 학습을 수행함으로써 제1 예측데이터를 생성하는 단계;를 포함하는, 감시 시스템 동작 방법.
11. 청구항 10에 있어서,
    메모리에 의해, 상기 제1 예측데이터를 저장하는 단계;
    상기 제1 기간 이후의 제2 기간에, 통신 인터페이스에 의해, 상기 센서로부터 상기 제1 감지데이터와 상이한 제2 감지데이터를 수신하는 단계; 및
    상기 제2 기간에, 프로세서에 의해, 상기 제2 감지데이터로부터 이벤트가 검출되면, 상기 제1 예측데이터에 기초하여 상기 카메라의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터를 생성하는 단계;를 더 포함하는, 감시 시스템 동작 방법.
12. 청구항 10에 있어서,
    상기 제1 기간 이후의 제2 기간에, 상기 통신 모듈에 의해, 상기 센서로부터 상기 제1 감지데이터와 상이한 제2 감지데이터를 수신하는 단계;
    상기 제2 기간에, 상기 통신 모듈에 의해, 상기 제1 관제사입력과 상이한 제2 관제사입력을 수신하는 단계; 및
    상기 제2 기간에, 상기 학습 모듈에 의해, 상기 제2 감지데이터 및 상기 제2 관제사입력에 기초하여 학습된 제2 예측데이터를 생성하는 단계;를 더 포함하는, 감시 시스템 동작 방법.
13. 통신 모듈에 의해, 제1 기간에 센서로부터 제1 감지데이터를 수신하는 단계;
    상기 제1 기간에, 상기 통신 모듈에 의해, 카메라의 제1 제어데이터를 선택하는 제1 관제사입력을 수신하는 단계;
    상기 제1 기간에, 학습 모듈에 의해, 딥 러닝(deep learning)을 통해 상기 제1 감지데이터에 기초하여 상기 카메라의 제2 제어데이터를 예측하는 단계;
    상기 제1 기간에, 상기 학습 모듈에 의해, 상기 제1 제어데이터와 상기 제2 제어데이터의 차이 값을 산출하는 단계; 및
    상기 제1 기간에, 상기 학습 모듈에 의해, 상기 차이 값에 기초하여 보상 값을 결정하는 강화 학습을 수행함으로써 제1 예측데이터를 생성하는 단계;를 포함하고,
    자동 제어 모드로 동작하는 경우,
    메모리에 의해, 상기 제1 예측데이터를 저장하는 단계;
    상기 제1 기간 이후의 제2 기간에, 통신 인터페이스에 의해, 상기 센서로부터 상기 제1 감지데이터와 상이한 제2 감지데이터를 수신하는 단계; 및
    상기 제2 기간에, 프로세서에 의해, 상기 제2 감지데이터로부터 이벤트가 검출되면, 상기 제1 예측데이터에 기초하여 상기 카메라의 패닝, 틸팅, 및 줌 배율 조절 중 적어도 하나와 관련된 제어데이터를 생성하는 단계;를 더 포함하고,
    수동 제어 모드로 동작하는 경우,
    상기 제2 기간에, 상기 통신 모듈에 의해, 상기 센서로부터 상기 제1 감지데이터와 상이한 제3 감지데이터를 수신하는 단계;
    상기 제2 기간에, 상기 통신 모듈에 의해, 상기 제1 관제사입력과 상이한 제2 관제사입력을 수신하는 단계; 및
    상기 제2 기간에, 상기 학습 모듈에 의해, 상기 제3 감지데이터 및 상기 제2 관제사입력에 기초하여 학습된 제2 예측데이터를 생성하는 단계;를 더 포함하는, 감시 시스템 동작 방법.

Images