WO2020101063A1 - 강화학습 기반 ptz 카메라 제어 시스템 및 방법 - Google Patents

강화학습 기반 ptz 카메라 제어 시스템 및 방법 Download PDF

Info

Publication number
WO2020101063A1
WO2020101063A1 PCT/KR2018/013916 KR2018013916W WO2020101063A1 WO 2020101063 A1 WO2020101063 A1 WO 2020101063A1 KR 2018013916 W KR2018013916 W KR 2018013916W WO 2020101063 A1 WO2020101063 A1 WO 2020101063A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
metadata
event
prediction information
ptz camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/013916
Other languages
English (en)
French (fr)
Inventor
김동칠
박성주
김경만
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2020101063A1 publication Critical patent/WO2020101063A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to a technology for controlling a PTZ camera in an intelligent video analysis service environment.
  • the quality was improved by using a software-based image processing method such as image enhancement, but for objects with very small size or occlusion of the detection object.
  • image processing method such as image enhancement
  • the present invention is a system and method for controlling a PTZ camera based on reinforcement learning to improve the accuracy of an image analysis service such as object detection, tracking, and scene understanding by improving the quality of an image through physical camera movement rather than image processing software. To suggest.
  • the present invention provides a PTZ camera control system and control method interworking with a VMS server.
  • the PTZ camera control system based on reinforcement learning of the present invention includes means for receiving image analysis metadata generated by image analysis, means for analyzing the received image analysis metadata to extract metadata related to an object or event, and the extracted A means for predicting movement of a PTZ camera suitable for a current object or event state from an object or event-related metadata with an enhanced learning model, and generating camera movement prediction information, and configuring the PTZ camera movement prediction information as movement prediction information metadata And means for transmitting the configured PTZ camera movement prediction information metadata to a VMS server.
  • the object or event-related metadata extracted from the means for extracting the object or event-related metadata may include position and size data of the object or event.
  • the means for extracting the object or event-related metadata may further include means for correcting the resolution of the object or event in the image to match the resolution of the reinforcement learning model.
  • the camera movement prediction information generated by the camera movement prediction information generating means may include a movement direction and a movement value of the camera.
  • the configured camera movement prediction information metadata may include control information including each camera control system ID and camera ID, camera pan, camera tilt, camera zoom, and camera function on / off information for each system ID. have.
  • the reinforcement learning based PTZ camera control method of the present invention generating image analysis metadata through image analysis, and analyzing the image analysis metadata to relate the object or event including the location and size data of the object or event Extracting metadata, predicting movement information including the movement direction and movement value of a PTZ camera suitable for the current object or event state from the extracted object or event-related metadata with a reinforcement learning model to generate camera movement prediction information And configuring the PTZ camera movement prediction information as movement prediction information metadata.
  • the present invention by improving the image quality by controlling the PTZ camera based on reinforcement learning, it is possible to secure accuracy and reliability of image analysis services such as anomaly detection, and use a software-based image processing method. It is possible to effectively perform image analysis in the case of obscured objects or very small objects.
  • FIG. 1 is a flowchart of a method for controlling a PTZ camera based on reinforcement learning according to an embodiment of the present invention
  • Figure 2 is an artificial neural network structure diagram used in the reinforcement learning model for performing reinforcement learning
  • 3 is a block diagram of PTZ camera movement prediction information metadata
  • FIG. 1 is a flowchart of a method for controlling a PTZ camera based on reinforcement learning according to an embodiment of the present invention.
  • a method for controlling a PTZ camera based on reinforcement learning in an intelligent image analysis service environment will be described with reference to FIG. 1. It will be apparent to those skilled in the art that the description of the method algorithm of the present invention described below can replace the description of the device configuration of the PTZ camera control system based on reinforcement learning according to the present invention.
  • the PTZ camera control system based on reinforcement learning can be implemented as part of a video management (management) system (VMS) server together with an image analysis system.
  • VMS video management system
  • REST API can be used as a means of interaction between the camera control system and the image analysis system and the VMS server.
  • a function or process of each component of the present invention is a digital signal processor (DSP), processor, controller, or application of ASIC. -specific IC), programmable logic devices (FPGA, etc.), at least one of other electronic devices, and combinations thereof can be implemented as hardware elements. It can also be implemented as software in combination with hardware elements or independently, which can be stored on a record carrier.
  • JavaScript Object Notation (JSON) form or format is an open standard format that uses human-readable text to pass data objects consisting of attribute-value pairs or key-value pairs, especially when sending and receiving data over the Internet. It is a way to express the material. There is no big limitation on the type of data, and it is particularly suitable for expressing variable values of computer programs.
  • the metadata in JSON format generated by image analysis can be received by the REST API in the image analysis system.
  • a REST API based image receiving unit may be configured in the image analysis system to receive metadata.
  • step 120 After performing step 110, analyzing the received image analysis metadata to extract only metadata related to object or event information in the image.
  • the location and size data of the object or event in the image are extracted and corrected to a 640 ⁇ 480 resolution range, for example, in accordance with the reinforcement learning environment.
  • step 130 After performing step 120, predicting the movement of the PTZ camera using reinforcement learning.
  • Reinforcement learning is a new methodology for machine learning that solves probabilistic decision-making problems. Unlike supervised learning, the reward or reward function is given to maximize the average of the reward values to be obtained in the future. It is a machine learning technique to find the policy function of. That is, unlike supervised learning, the target value is a reward and the predicted value is a policy or action.
  • FIG. 2 shows an artificial neural network structure used in a reinforcement learning model for performing reinforcement learning.
  • the artificial neural network shown in FIG. 2 has four hidden layers 30-1, 30-2, 30-3, and 30-4 between the input layer 10 and the output layer 20. ).
  • the following equation was used to create a reinforcement learning model using this artificial neural network.
  • the above formula is a formula for setting a learning goal in reinforcement learning, and the definition of each variable is as follows.
  • s t Status of the current stage
  • a t Action value of the current step
  • a ' Action value of the next step
  • the action value is a value selected from (0.02, 0.06, 0.1, 0.14, 0.18, 0.22, 0.26, 0.3))
  • Paragraph 1 in Equation 9 is an artificial neural network. Calculate the Q value (deep Q-learning function value) with the current state s t of the PTZ camera and the current action value a t (setting the current learning target for the PTZ camera).
  • Paragraph 2 is an artificial neural network copied using the PTZ camera status s t + 1 and the newly selected action value a 'of the next step after performing the actual PTZ camera action with the a t value selected in item 1. Calculate the maximum Q value. The calculated Q value is adjusted by the weight ⁇ , and the rewards acquired after the execution of item 1 are combined (setting the next step learning target for the PTZ camera). Artificial neural network that can reduce the errors in terms 1 and 2 Reinforcement learning for the PTZ camera is performed by learning.
  • step 140 After performing step 130, constructing the predicted camera movement information into metadata in the form of JSON.
  • JSON-type PTZ camera movement prediction information metadata is configured as shown in FIG. 3.
  • the system ID is configured with the code name 'collabo_id'
  • the control information is configured with the code name 'collabo_ctrl_info'.
  • Camera ID, camera pan, camera tilt, camera zoom, and camera function on / off information were assigned to each control information.
  • Step 150 If the motion prediction information metadata of the PTZ camera is configured by performing step 140, transmitting the PTZ camera motion prediction information metadata to a video management system (VMS) server using a REST API.
  • VMS video management system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)

Abstract

본 발명은 영상처리 소프트웨어가 아닌 물리적인 카메라 이동을 통해 영상의 품질을 향상시켜서 객체 검출, 추적, 장면 이해 등 영상분석 서비스의 정확도를 향상시키기 위하여 강화학습에 기반하여 PTZ 카메라를 제어하는 시스템 및 방법을 제안한다. 본 발명의 강화학습 기반 PTZ 카메라 제어 시스템은 영상분석에 의해 생성된 영상분석 메타데이터를 수신하는 수단, 상기 수신된 영상분석 메타데이터를 분석하여 객체 또는 이벤트와 관련된 메타데이터를 추출하는 수단, 상기 추출한 객체 또는 이벤트 관련 메타데이터로부터 현재 객체 또는 이벤트의 상태에 적합한 PTZ 카메라의 이동을 강화학습 모델로 예측하여 카메라 이동예측 정보를 생성하는 수단, 상기 PTZ 카메라 이동예측 정보를 이동예측 정보 메타데이터로 구성하는 수단, 상기 구성된 PTZ 카메라 이동예측 정보 메타데이터를 VMS 서버로 전송하는 수단을 포함한다.

Description

강화학습 기반 PTZ 카메라 제어 시스템 및 방법
본 발명은 지능형 영상분석 서비스 환경에서 PTZ 카메라를 제어하는 기술에 관한 것이다.
최근 보안/안전, 비즈니스, 개인 서비스 분야에서 CCTV를 이용한 시설물 관제, 위험상황 판단 등과 같은 지능형 영상분석 서비스가 확대되고 있으며, 딥러닝 기술의 발달로 영상분석 서비스 산업이 성장할 전망이다. 영상분석 서비스 특성상 영상분석 알고리즘의 정확도는 수신되는 영상의 품질에 의존적이다. 즉 입력영상의 품질에 따라 영상분석 서비스 신뢰도가 변하기 때문에 영상분석이 용이하도록 입력 영상을 획득해야 한다.
이전의 방법은 영상의 품질을 향상시키기 위해 영상 개선(Image enhancement)과 같은 소프트웨어 기반의 영상처리 방법을 사용하여 품질을 개선하였지만, 검출 객체의 가려짐(Occlusion)이나 크기가 매우 작은 객체를 대상으로 한 영상분석의 경우에는 한계가 있고 이를 위해서는 물리적으로 카메라를 이동해야 할 필요가 있다.
본 발명은 영상처리 소프트웨어가 아닌 물리적인 카메라 이동을 통해 영상의 품질을 향상시켜서 객체 검출, 추적, 장면 이해 등 영상분석 서비스의 정확도를 향상시키기 위하여 강화학습에 기반하여 PTZ 카메라를 제어하는 시스템 및 방법을 제안한다.
상기 과제를 해결하기 위하여, 본 발명에서는 VMS 서버와 연동되는 PTZ 카메라 제어 시스템과 제어 방법을 제공한다.
본 발명의 강화학습 기반 PTZ 카메라 제어 시스템은 영상분석에 의해 생성된 영상분석 메타데이터를 수신하는 수단, 상기 수신된 영상분석 메타데이터를 분석하여 객체 또는 이벤트와 관련된 메타데이터를 추출하는 수단, 상기 추출한 객체 또는 이벤트 관련 메타데이터로부터 현재 객체 또는 이벤트의 상태에 적합한 PTZ 카메라의 이동을 강화학습 모델로 예측하여 카메라 이동예측 정보를 생성하는 수단, 상기 PTZ 카메라 이동예측 정보를 이동예측 정보 메타데이터로 구성하는 수단, 상기 구성된 PTZ 카메라 이동예측 정보 메타데이터를 VMS 서버로 전송하는 수단을 포함할 수 있다.
여기서 상기 객체 또는 이벤트 관련 메타데이터를 추출하는 수단에서 추출되는 객체 또는 이벤트 관련 메타데이터에는 객체 또는 이벤트의 위치 및 크기 데이터가 포함될 수 있다.
또한 상기 객체 또는 이벤트 관련 메타데이터를 추출하는 수단은, 영상 내 객체 또는 이벤트의 해상도를 상기 강화학습 모델의 해상도에 맞도록 보정하는 수단을 추가로 포함할 수 있다.
그리고 상기 카메라 이동예측 정보 생성 수단에서 생성되는 카메라 이동예측 정보에는 카메라의 이동방향 및 이동값이 포함될 수 있다.
또한, 상기 구성된 카메라 이동예측 정보 메타데이터에는 각 카메라 제어 시스템 ID와, 이 시스템 ID별로 부여되는 카메라 ID, 카메라 팬, 카메라 틸트, 카메라 줌, 카메라 기능 온/오프 정보를 포함하는 제어정보가 포함될 수 있다.
한편, 본 발명의 강화학습 기반 PTZ 카메라 제어 방법은, 영상분석을 통해 영상분석 메타데이터를 생성하는 단계, 상기 영상분석 메타데이터를 분석하여 객체 또는 이벤트의 위치와 크기 데이터가 포함된 객체 또는 이벤트 관련 메타데이터를 추출하는 단계, 상기 추출한 객체 또는 이벤트 관련 메타데이터로부터 현재 객체 또는 이벤트의 상태에 적합한 PTZ 카메라의 이동방향 및 이동값이 포함된 이동 정보를 강화학습 모델로 예측하여 카메라 이동예측 정보를 생성하는 단계, 상기 PTZ 카메라 이동예측 정보를 이동예측 정보 메타데이터로 구성하는 단계를 포함할 수 있다.
이상에서 소개한 본 발명의 구성 및 작용은 차후에 도면과 함께 설명하는 구체적인 실시예를 통하여 더욱 명확해질 것이다.
본 발명에 따르면, 강화학습에 기반하여 PTZ 카메라를 제어하는 방식으로 영상의 품질을 향상시킴으로써, 이상탐지(anomaly detection) 같은 영상분석 서비스 정확도 및 신뢰도 확보가 가능하고, 소프트웨어 기반의 영상처리 방법을 사용할 때의 객체의 가려짐이 발생하거나 매우 작은 객체의 경우의 영상분석을 효과적으로 수행가능하다.
도 1은 본 발명의 일 실시예에 따른 강화학습 기반 PTZ 카메라 제어 방법의 흐름도
도 2는 강화학습을 수행하기 위한 강화학습 모델에 사용된 인공신경망 구조도
도 3은 PTZ 카메라 이동예측 정보 메타데이터의 구성도
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 기술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있는 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명의 기술적 범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것이 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 강화학습 기반 PTZ 카메라 제어 방법의 흐름도이다.
도 1을 참조하여 지능형 영상분석 서비스 환경에서의 강화학습 기반 PTZ 카메라 제어 방법에 대해 설명한다. 이하에서 설명하는 본 발명의 방법적 알고리즘 설명이, 본 발명에 따른 강화학습 기반 PTZ 카메라 제어 시스템의 장치적 구성의 설명을 대체할 수 있음은 당업자에게 자명할 것이다. 강화학습 기반 PTZ 카메라 제어 시스템은 영상분석 시스템과 함께 VMS(영상관제(관리)시스템) 서버의 일부로서 구현할 수 있다. 카메라 제어 시스템 및 영상분석 시스템과 VMS 서버와의 인터랙션 수단으로는 REST API를 이용할 수 있다.
이와 같이, 본 발명의 사상은 장치 측면 또는 방법적 측면으로 실시가능한데, 특히 본 발명의 각 구성요소의 기능(function) 또는 과정(process)은 DSP(digital signal processor), 프로세서, 컨트롤러, ASIC(application-specific IC), 프로그래머블 로직소자(FPGA 등), 기타 전자소자 중의 적어도 하나 그리고 이들의 조합이 포함되는 하드웨어 요소로써 구현 가능하다. 또한 하드웨어 요소와 결합되어 또는 독립적으로 소프트웨어로써도 구현 가능한데, 이 소프트웨어는 기록매체에 저장 가능하다.
110: 영상분석에 의해 생성된 JSON 형태의 메타데이터를 수신하는 단계.
JSON(JavaScript Object Notation) 형태 또는 형식은 속성-값 쌍 또는 키-값 쌍으로 이루어진 데이터 오브젝트를 전달하기 위해 인간이 읽을 수 있는 텍스트를 사용하는 개방형 표준 포맷으로, 특히, 인터넷에서 자료를 주고 받을 때 그 자료를 표현하는 방법이다. 자료의 종류에 큰 제한은 없으며, 특히 컴퓨터 프로그램의 변수값을 표현하는 데 적합하다.
영상분석에 의해 생성된 JSON 형태의 메타데이터는 영상분석 시스템에서 REST API로 수신할 수 있다. 예를 들어, 영상분석 시스템에 REST API 기반의 영상 수신부를 구성하여서 메타데이터를 수신할 수 있다.
120: 110 단계를 수행한 후, 수신된 영상분석 메타데이터를 분석하여 영상 내 객체 또는 이벤트 정보와 관련된 메타데이터만 추출하는 단계.
여기서는 영상 내 객체 또는 이벤트의 위치 및 크기 데이터를 추출하여 강화학습 환경에 맞게 예를 들어 640×480 해상도 범위로 보정한다.
130: 120 단계를 수행한 후, 강화학습을 이용하여 PTZ 카메라 이동을 예측하는 단계.
앞의 120 단계에서 추출한 객체 또는 이벤트의 위치 및 크기 메타데이터로부터 현재 객체 또는 이벤트 상태에 적합한 PTZ 카메라의 이동 방향 및 값을 강화학습을 이용하여 예측하는 단계이다.
강화학습(reinforcement learning: RL)은 확률적 의사결정 문제를 푸는 기계학습의 새로운 방법론으로, 지도학습(supervised learning)과 달리 보상 또는 리워드(reward) 함수가 주어져서 미래에 얻어질 리워드값들의 평균을 최대로 하는 정책 함수를 찾는 기계학습 기법이다. 즉, 지도학습과 달리 목표값(target)은 리워드이고 예측값은 정책(policy) 또는 액션(action)이다.
도 2는 강화학습을 수행하기 위한 강화학습 모델에 사용한 인공신경망 구조를 나타낸다. 도 2에 나타낸 인공신경망은 입력층(Input layer)(10)과 출력층(Output layer)(20) 사이에 4개의 은닉층(Hidden layer)(30-1, 30-2, 30-3, 30-4)를 구성한 것이다. 이러한 인공신경망을 이용하여 강화학습 모델을 생성하기 위해서 아래와 같은 식을 활용하였다.
Figure PCTKR2018013916-appb-I000001
위 식은 강화학습에서의 학습 목표 설정에 관한 수식으로서, 각 변수의 정의는 다음과 같다.
t: 반복 횟수, T: 총 반복 횟수
st: 현재 단계의 상태, st+1: 다음 단계의 상태. 좀 더 구체적으로, st는 객체의 현재 좌표 및 크기이고, st+1은 120과 130 단계에서 추정된 액션값과 방향으로 PTZ 카메라를 이동시켰을 때의 객체의 좌표 및 크기이다(객체의 좌표 및 크기 s={x,y,w,h}임).
at: 현재 단계의 액션값, a': 다음 단계의 액션값 (본 발명에서 액션값은 (0.02, 0.06, 0.1, 0.14, 0.18, 0.22, 0.26, 0.3) 중 선택된 값)
γ: 무작위성을 조절하는 가중치(Weight)(E-greedy 방법 사용)
rt: 현재 단계의 Reward
Figure PCTKR2018013916-appb-I000002
: 인공신경망의 Weight,
Figure PCTKR2018013916-appb-I000003
: 복사된 인공신경망의 Weight
Figure PCTKR2018013916-appb-I000004
: Deep Q-learning 함수 (Q값을 산출한다)
수학식 9에서 ①번 항은 인공신경망
Figure PCTKR2018013916-appb-I000005
를 이용해 PTZ 카메라의 현재 상태 st와 현재 액션값 at로 Q값(딥 Q-러닝 함수값)을 계산한다(PTZ 카메라에 대한 현재 학습 목표 설정). ②번 항은 ①번 항에서 선택한 at값으로 실제 PTZ 카메라 액션을 수행한 후 변경된 다음 단계의 PTZ 카메라 상태 st+1와 새롭게 선택된 액션값 a'를 이용하여 복사된 인공신경망
Figure PCTKR2018013916-appb-I000006
을 통해 최대가 되는 Q값을 계산한다. 산출된 Q값은 가중치 γ로 조절하며, ①번 항 수행 후에 습득한 Reward를 결합한다(PTZ 카메라에 대한 다음 단계 학습 목표 설정). ① 항과 ② 항의 에러를 줄일 수 있는 인공신경망
Figure PCTKR2018013916-appb-I000007
를 학습함으로써 PTZ 카메라에 대한 강화학습이 수행된다.
140: 130 단계를 수행한 후, 예측된 카메라 이동 정보를 JSON 형태의 메타데이터로 구성하는 단계.
본 발명의 일 실시예에서는 JSON 형태의 PTZ 카메라 이동예측정보 메타데이터를 도 3과 같이 구성하였다. 'collabo_id'라는 코드명으로 시스템 ID를 구성하고, 'collabo_ctrl_info'라는 코드명으로 제어정보를 구성하였다. 각 제어정보에는 카메라 ID, 카메라 팬, 카메라 틸트, 카메라 줌, 카메라 기능 온/오프 정보를 부여하였다.
150: 140 단계를 수행하여 PTZ 카메라의 이동예측정보 메타데이터를 구성하였으면, 이 PTZ 카메라 이동예측정보 메타데이터를 REST API를 이용하여 비디오관리시스템(VMS) 서버로 전송하는 단계.
160: 전송받은 PTZ 카메라 이동예측정보 메타데이터로부터 객체 또는 이벤트의 영상 내 위치 및 크기를 체크하는 단계.
강화학습에 기반하여 PTZ 카메라의 물리적인 이동의 예측이 이루어지기 때문에 영상의 품질이 향상되고 객체 또는 이벤트의 검출, 추적, 장면 이해 등 영상분석 서비스의 정확도가 크게 향상될 수 있다.
이상에서, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술한 특허청구범위에 의하여 정해지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 기술적 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. VMS 서버와 연동되는 PTZ 카메라 제어 시스템으로서,
    영상분석에 의해 생성된 영상분석 메타데이터를 수신하는 수단,
    상기 수신된 영상분석 메타데이터를 분석하여 객체 또는 이벤트와 관련된 메타데이터만 추출하는 수단,
    상기 추출한 객체 또는 이벤트 관련 메타데이터로부터 현재 객체 또는 이벤트의 상태에 적합한 PTZ 카메라의 이동을 강화학습 모델로 예측하여 카메라 이동예측 정보를 생성하는 수단,
    상기 PTZ 카메라 이동예측 정보를 이동예측 정보 메타데이터로 구성하는 수단,
    상기 구성된 PTZ 카메라 이동예측 정보 메타데이터를 VMS 서버로 전송하는 수단을 포함하는 강화학습 기반 PTZ 카메라 제어 시스템.
  2. 제1항에서, 상기 객체 또는 이벤트 관련 메타데이터를 추출하는 수단에서 추출되는 객체 또는 이벤트 관련 메타데이터에는 객체 또는 이벤트의 위치 및 크기 데이터가 포함되는 강화학습 기반 PTZ 카메라 제어 시스템.
  3. 제1항에서, 상기 객체 또는 이벤트 관련 메타데이터를 추출하는 수단은
    영상 내 객체 또는 이벤트의 해상도를 상기 강화학습 모델의 해상도에 맞도록 보정하는 수단을 추가로 포함하는 강화학습 기반 PTZ 카메라 제어 시스템.
  4. 제1항에서, 상기 카메라 이동예측 정보 생성 수단에서 생성되는 카메라 이동예측 정보에는 카메라의 이동방향 및 이동값이 포함되는 강화학습 기반 PTZ 카메라 제어 시스템.
  5. 제1항에서, 상기 구성된 카메라 이동예측 정보 메타데이터에는 각 카메라 제어 시스템 ID와, 이 시스템 ID별로 부여되는 카메라 ID, 카메라 팬, 카메라 틸트, 카메라 줌, 카메라 기능 온/오프 정보를 포함하는 제어정보가 포함되는 강화학습 기반 PTZ 카메라 제어 시스템.
  6. 영상분석을 통해 영상분석 메타데이터를 생성하는 단계,
    상기 영상분석 메타데이터를 분석하여 객체 또는 이벤트의 위치와 크기 데이터가 포함된 객체 또는 이벤트 관련 메타데이터를 추출하는 단계,
    상기 추출한 객체 또는 이벤트 관련 메타데이터로부터 현재 객체 또는 이벤트의 상태에 적합한 PTZ 카메라의 이동방향 및 이동값이 포함된 이동 정보를 강화학습 모델로 예측하여 카메라 이동예측 정보를 생성하는 단계,
    상기 PTZ 카메라 이동예측 정보를 이동예측 정보 메타데이터로 구성하는 단계를 포함하는 강화학습 기반 PTZ 카메라 제어 방법.
  7. 제6항에서, 상기 구성된 PTZ 카메라 이동예측 정보 메타데이터를 영상제어시스템(VMS) 서버로 전송하는 단계를 추가로 포함하는 강화학습 기반 PTZ 카메라 제어 방법.
  8. 제6항에서, 상기 구성된 카메라 이동예측 정보 메타데이터에는 각 카메라 제어 시스템 ID와, 이 시스템 ID별로 부여되는 카메라 ID, 카메라 팬, 카메라 틸트, 카메라 줌, 카메라 기능 온/오프 정보를 포함하는 제어정보가 포함되는 강화학습 기반 PTZ 카메라 제어 방법.
PCT/KR2018/013916 2018-11-13 2018-11-14 강화학습 기반 ptz 카메라 제어 시스템 및 방법 Ceased WO2020101063A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180138790A KR20200055297A (ko) 2018-11-13 2018-11-13 강화학습 기반 ptz 카메라 제어 시스템 및 방법
KR10-2018-0138790 2018-11-13

Publications (1)

Publication Number Publication Date
WO2020101063A1 true WO2020101063A1 (ko) 2020-05-22

Family

ID=70731557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013916 Ceased WO2020101063A1 (ko) 2018-11-13 2018-11-14 강화학습 기반 ptz 카메라 제어 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20200055297A (ko)
WO (1) WO2020101063A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616432B1 (ko) * 2023-08-21 2023-12-22 주식회사 넥스트케이 개별 모듈구성으로 시스템 연동 및 유지보수 효율이 향상된 소프트웨어 아키텍처를 가진 영상 분석 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538474A (ja) * 2005-04-19 2008-10-23 ダブリュキューエス リミテッド 自動化監視システム
US20120169882A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Tracking Moving Objects Using a Camera Network
KR20140052357A (ko) * 2012-10-24 2014-05-07 주식회사 케이티 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법
KR20160142269A (ko) * 2016-12-01 2016-12-12 (주)그린아이티코리아 전자 장치를 이용한 차량 추적 시스템, 서버 및 그 제공 방법
KR101897923B1 (ko) * 2017-09-20 2018-10-31 한국전력공사 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538474A (ja) * 2005-04-19 2008-10-23 ダブリュキューエス リミテッド 自動化監視システム
US20120169882A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Tracking Moving Objects Using a Camera Network
KR20140052357A (ko) * 2012-10-24 2014-05-07 주식회사 케이티 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법
KR20160142269A (ko) * 2016-12-01 2016-12-12 (주)그린아이티코리아 전자 장치를 이용한 차량 추적 시스템, 서버 및 그 제공 방법
KR101897923B1 (ko) * 2017-09-20 2018-10-31 한국전력공사 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체

Also Published As

Publication number Publication date
KR20200055297A (ko) 2020-05-21

Similar Documents

Publication Publication Date Title
KR102409204B1 (ko) 모듈화된 인공지능 모델 플랫폼 서비스 제공 방법, 장치 및 컴퓨터프로그램
CN114331829A (zh) 一种对抗样本生成方法、装置、设备以及可读存储介质
CN111739016A (zh) 目标检测模型训练方法、装置、电子设备及存储介质
EP3940665A1 (en) Detection method for traffic anomaly event, apparatus, program and medium
CN106971401A (zh) 多目标跟踪装置和方法
CN112101207A (zh) 一种目标跟踪方法、装置、电子设备及可读存储介质
KR20220091607A (ko) 차량-도로 협업 중의 타겟 검출 방법, 장치 및 노변 디바이스
WO2023124054A1 (zh) 一种基于数字孪生监控物理世界的方法、装置及存储介质
WO2021107592A1 (en) System and method for precise image inpainting to remove unwanted content from digital images
WO2015030460A1 (en) Method, apparatus, and recording medium for interworking with external terminal
CN113139416A (zh) 目标关联方法、计算机设备和存储介质
CN113436226B (zh) 关键点检测的方法和装置
WO2023120969A1 (ko) 동영상 관계 탐지 시스템
WO2021075701A1 (ko) 인터랙션 검출 방법 및 그 장치
KR20240175802A (ko) 원격근무 보안을 위한 영상 분석 장치 및 방법
CN112738808A (zh) 无线网络中DDoS攻击检测方法、云服务器及移动终端
KR20220000493A (ko) 인공지능 모듈 플랫폼 서비스 제공 방법
CN112307872A (zh) 用于检测目标对象的方法的和装置
KR20200055297A (ko) 강화학습 기반 ptz 카메라 제어 시스템 및 방법
JP2022180887A (ja) 物体認識システム及び物体認識方法
CN116935446B (zh) 行人重识别方法、装置、电子设备及存储介质
CN116501176B (zh) 基于人工智能的用户动作识别方法及系统
CN117805808A (zh) 一种坐标转换矩阵确定方法、装置、设备及介质
CN111383096A (zh) 欺诈检测及其模型训练方法、装置、电子设备及存储介质
CN113703704B (zh) 界面显示方法、头戴式显示设备和计算机可读介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18940255

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18940255

Country of ref document: EP

Kind code of ref document: A1