JP6577627B1 - Video surveillance system and method and imaging apparatus - Google Patents

Video surveillance system and method and imaging apparatus Download PDF

Info

Publication number
JP6577627B1
JP6577627B1 JP2018090957A JP2018090957A JP6577627B1 JP 6577627 B1 JP6577627 B1 JP 6577627B1 JP 2018090957 A JP2018090957 A JP 2018090957A JP 2018090957 A JP2018090957 A JP 2018090957A JP 6577627 B1 JP6577627 B1 JP 6577627B1
Authority
JP
Japan
Prior art keywords
incident
video
data
attribute
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018090957A
Other languages
Japanese (ja)
Other versions
JP2019198000A (en
Inventor
勝彦 平山
勝彦 平山
隆泰 石田
隆泰 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CREW SYSTEMS, INC.
Original Assignee
CREW SYSTEMS, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CREW SYSTEMS, INC. filed Critical CREW SYSTEMS, INC.
Priority to JP2018090957A priority Critical patent/JP6577627B1/en
Application granted granted Critical
Publication of JP6577627B1 publication Critical patent/JP6577627B1/en
Publication of JP2019198000A publication Critical patent/JP2019198000A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 インシデント検出に伴う人的労力を軽減できる映像監視システム及びその方法と撮像装置を提供する。【解決手段】 人工知能を利用したインデント映像管理サーバ200による映像分析機能を用いて、問題と思われるインシデント映像を自動的に感知して担当者に通知することで、少人数でも飛躍的に多数のカメラ140の映像を監視することができる。監視対象現場システム100を複数用いた場合に、学習セット用のインシデント映像データが次々に映像記録部211に蓄積され、逐次学習を行うことにより、人工知能の性能が効果的に向上する。【選択図】図1PROBLEM TO BE SOLVED: To provide a video surveillance system and method and an imaging device capable of reducing human labor accompanying incident detection. By using a video analysis function of an indent video management server 200 using artificial intelligence, an incident video which seems to be a problem is automatically detected and notified to a person in charge, so that even a small number of people can dramatically increase. The video of the camera 140 can be monitored. When a plurality of monitoring target field systems 100 are used, incident video data for a learning set is successively accumulated in the video recording unit 211, and the performance of artificial intelligence is effectively improved by performing sequential learning. [Selection] Figure 1

Description

本発明は、映像監視システム及びその方法と撮像装置に関するものである。   The present invention relates to a video monitoring system, a method thereof, and an imaging apparatus.

施設等の監視場所を管理する管理者が所有する管理者端末が、監視場所に設置されたカメラから送信される映像を表示することで、監視場所を監視するシステムが知られている。   2. Description of the Related Art There is known a system that monitors a monitoring location by displaying an image transmitted from a camera installed at a monitoring location by an administrator terminal owned by an administrator who manages the monitoring location such as a facility.

特開2006−115435号公報JP 2006-115435 A

しかしながら、映像データを監視場所で管理者が見てインシデントを特定し、通報を行うので、人的な労力負担が大きいという問題がある。
また、広い範囲から収集した映像データとインシデントとの情報を基に、システム立ち上げから短期間に高精度なインシデント検出を行いたいという要請がある。
また、インシデントが発生してからではなく、発生する可能性が高まったときに事前にその旨を知りたいという要請がある。
However, there is a problem in that the burden of human labor is heavy because the administrator identifies the incident by viewing the video data at the monitoring location and reports the incident.
In addition, there is a demand for highly accurate incident detection within a short period of time from system startup based on video data and incident information collected from a wide range.
In addition, there is a request to know in advance when the possibility of an occurrence increases, not after an incident occurs.

本発明はかかる事情に鑑みてなされたものであり、その目的は、インシデント検出に伴う人的労力を軽減できる映像監視システム及びその方法と撮像装置を提供することを目的とする。
また、本発明は、短期間で高精度なインシデント検出を可能にする映像監視システム及びその方法と撮像装置を提供することを目的とする。
また、本発明は、インシデントの発生を事前に予測することを可能にする映像監視システム及びその方法と撮像装置を提供することを目的とする。
The present invention has been made in view of such circumstances, and an object of the present invention is to provide a video monitoring system, a method thereof, and an imaging apparatus that can reduce human labor associated with incident detection.
It is another object of the present invention to provide a video monitoring system, a method thereof, and an imaging apparatus that enable highly accurate incident detection in a short period of time.
It is another object of the present invention to provide a video monitoring system, a method thereof, and an imaging apparatus that make it possible to predict the occurrence of an incident in advance.

上述した従来技術の問題を解決し、上述した目的を達成するために、本発明の映像監視システムは、カメラが撮像した映像の映像データを記録する映像記録部を備えた記録装置と、前記映像データを基に検出されたインシデントのインシデント映像データを、当該インシデントの属性データと関連付けるインシデント属性管理手段と、複数のインシデントについて、前記インシデント属性管理手段に関連付けられた前記インシデント映像データ及び前記属性データを蓄積するサーバと、前記サーバに蓄積された前記映像データ及び前記属性データを基に、前記インシデントが発生する可能性が一定レベルを超えたか否かを判定するレベル判定手段と、前記サーバに蓄積された前記インシデント映像データ及び前記属性データと、前記カメラが撮像した映像の映像データとを基に、前記インシデントを検出するインシデント検出手段と、前記インシデントが発生する可能性が一定レベルを超えたと前記レベル判定手段が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う事前対応処理手段と、前記インシデント検出手段が検出したインシデントと、当該インシデントの検出に用いた前記サーバに蓄積された前記属性データとを基に、当該インシデントと前記属性データとの関係性を示す学習データを生成する学習手段と有し、前記インシデント属性管理手段は、前記映像データを見た管理者が入力したインシデント発生可能性レベルを示す前記属性データを前記インシデント映像データに関連付け、前記インシデント属性管理手段は、前記事前対応処理手段が前記事前処理を実行した後の前記インシデント映像データを基に前記インシデント発生可能性レベルを特定し、当該特定したインシデント発生可能性レベルを基に、前記事前対応処理手段が実行した前記事前処理を評価して前記学習データを更新し、前記事前対応処理手段は、前記学習手段が生成した前記学習データをさらに用いて、前記事前処理を行い、前記インシデント検出手段は、前記学習手段が生成した前記学習データをさらに用いて前記インシデントを検出する。
In order to solve the above-described problems of the prior art and achieve the above-described object, a video monitoring system according to the present invention includes a recording device including a video recording unit that records video data of a video captured by a camera, and the video Incident attribute management means for associating incident video data of an incident detected based on the data with attribute data of the incident, and for a plurality of incidents, the incident video data and the attribute data associated with the incident attribute management means A server for accumulating; level determining means for determining whether or not the possibility of occurrence of the incident exceeds a certain level based on the video data and the attribute data stored in the server; and The incident video data and the attribute data, and the camera Based on the video data of the video that image, and incident detection means for detecting the incident, if the possibility of the incident occurs determines said level decision means to have exceeded a certain level, it is previously associated with the incident Based on the incident response detected by the incident detection means and the attribute data stored in the server used for detection of the incident, the incident and the attribute data Learning means for generating learning data indicating a relationship, wherein the incident attribute management means associates the attribute data indicating an incident occurrence level input by an administrator who viewed the video data with the incident video data , The incident attribute management means, the proactive processing means The incident occurrence possibility level is specified based on the incident video data after executing the pre-processing, and the pre-processing executed by the pre-response processing unit is performed based on the specified incident occurrence possibility level. The learning data is evaluated and updated, the pre-corresponding processing means further performs the pre-processing using the learning data generated by the learning means, and the incident detecting means is generated by the learning means The incident is detected by further using the learned data.

好適には、異なる監視対象場所の前記カメラが撮像した映像データを処理する複数の前記インシデント属性管理手段を備え、前記サーバは、前記複数のインシデント属性管理手段からの受信した前記インシデント映像データ及び前記属性データを蓄積する。
Preferably, the apparatus includes a plurality of incident attribute management means for processing video data captured by the cameras at different monitoring target locations, and the server receives the incident video data received from the plurality of incident attribute management means and the Accumulate attribute data.

好適には、前記インシデント属性管理手段から受信した前記インシデント映像データ及び前記属性データを基に、エキスパートの操作に応じて更新した前記属性データを当該インシデント映像データと関連付けて前記サーバに蓄積するエキスパート属性管理手段をさらに有する。
Preferably, based on the incident video data and the attribute data received from the incident attribute management means, the attribute data updated according to the operation of the expert is stored in the server in association with the incident video data. It further has management means.

好適には、前記インシデント属性管理手段は、前記インシデントに関連する時間、場所、イベント開催、混雑度の少なくとも一つの条件を基に、前記インシデント発生可能性レベルを数値で示す前記属性データを生成する。
Preferably, the incident attribute management means generates the attribute data indicating the incident occurrence level numerically based on at least one condition of time, place, event holding, and congestion level related to the incident. .

本発明の映像監視方法は、カメラが撮像した映像の映像データを映像記録部に記録する記録工程と、前記映像データを基に検出されたインシデントのインシデント映像データを、当該インシデントの属性データと関連付けるインシデント属性管理工程と、複数のインシデントについて、前記インシデント属性管理工程で関連付けられた前記インシデント映像データ及び前記属性データを蓄積するサーバと、前記サーバに蓄積された前記映像データ及び前記属性データを基に、前記インシデントが発生する可能性が一定レベルを超えたか否かを判定するレベル判定工程と、前記サーバに蓄積された前記インシデント映像データ及び前記属性データと、前記カメラが撮像した映像の映像データとを基に、前記インシデントを検出するインシデント検出工程と、前記インシデントが発生する可能性が一定レベルを超えたと前記レベル判定工程で判定した場合に、当該インシデントに予め関連付けられた事前処理を行う事前対応処理工程と、前記インシデント検出工程で検出したインシデントと、当該インシデントの検出に用いた前記サーバに蓄積された前記属性データとを基に、当該インシデントと前記属性データとの関係性を示す学習データを生成する学習工程と有し、前記インシデント属性管理工程は、前記映像データを見た管理者が入力したインシデント発生可能性レベルを示す前記属性データを前記インシデント映像データに関連付け、前記インシデント属性管理工程は、前記事前対応処理工程で前記事前処理を実行した後の前記インシデント映像データを基に前記インシデント発生可能性レベルを特定し、当該特定したインシデント発生可能性レベルを基に、前記事前対応処理工程で実行した前記事前処理を評価して前記学習データを更新し、前記事前対応処理工程は、前記学習工程で生成した前記学習データをさらに用いて、前記事前処理を行い、前記インシデント検出工程は、前記学習工程で生成した前記学習データをさらに用いて前記インシデントを検出する。
The video monitoring method of the present invention relates to a recording step of recording video data of video captured by a camera in a video recording unit, and to associate incident video data of an incident detected based on the video data with attribute data of the incident Based on the incident attribute management process, a server that stores the incident video data and the attribute data associated in the incident attribute management process for a plurality of incidents, and the video data and the attribute data stored in the server A level determination step for determining whether or not the possibility of occurrence of the incident exceeds a certain level; the incident video data and the attribute data stored in the server; and video data of video captured by the camera; based on, for detecting the incident incident Detecting in the incident detection step, a pre-response processing step for performing a pre-processing previously associated with the incident when the level determination step determines that the possibility of occurrence of the incident has exceeded a certain level And a learning step of generating learning data indicating a relationship between the incident and the attribute data based on the incident and the attribute data stored in the server used for detecting the incident, the incident The attribute management step associates the attribute data indicating the incident probability level inputted by the administrator who viewed the video data with the incident video data, and the incident attribute management step is the pre-response processing step. The incident based on the incident video data after executing pre-processing Identify the raw potential level, the based on the identified incident likelihood level, and evaluating the pre-processing performed by the proactive process updates the learning data, the proactive process Performs the pre-processing using the learning data generated in the learning step, and the incident detection step detects the incident further using the learning data generated in the learning step .

本発明によれば、インシデント検出に伴う人的労力を軽減できる映像監視システム及びその方法と撮像装置を提供することができる。
また、本発明によれば、短期間で高精度なインシデント検出を可能にする映像監視システム及びその方法と撮像装置を提供することができる。
また、本発明によれば、インシデントの発生を事前に予測することを可能にする映像監視システム及びその方法と撮像装置を提供することができる。
ADVANTAGE OF THE INVENTION According to this invention, the video surveillance system which can reduce the human effort accompanying incident detection, its method, and an imaging device can be provided.
In addition, according to the present invention, it is possible to provide a video monitoring system, a method thereof, and an imaging apparatus that enable highly accurate incident detection in a short period of time.
In addition, according to the present invention, it is possible to provide a video monitoring system, a method thereof, and an imaging apparatus that make it possible to predict the occurrence of an incident in advance.

図1は、本発明の実施形態に係る映像監視システムの構成図である。FIG. 1 is a configuration diagram of a video surveillance system according to an embodiment of the present invention. 図2は、図1に示す監視対象現場システムの一例を示す図である。FIG. 2 is a diagram illustrating an example of the monitoring target site system illustrated in FIG. 1. インシデント処理プログラムが提供する処理の機能ブロック図である。It is a functional block diagram of the process which an incident process program provides. 図4は、インシデント処理プログラムが提供する処理の機能ブロック図である。FIG. 4 is a functional block diagram of processing provided by the incident processing program. 図5は、図1に示す映像監視システムの適用例を説明するための図である。FIG. 5 is a diagram for explaining an application example of the video monitoring system shown in FIG. 図6は、図1に示す映像監視システムの動作例を説明するための図である。FIG. 6 is a diagram for explaining an operation example of the video surveillance system shown in FIG. 図7は、図5に示す映像監視システムをビル管理に適用した場合を説明するための図である。FIG. 7 is a diagram for explaining a case where the video monitoring system shown in FIG. 5 is applied to building management. 図8は、図1に示す映像監視システムにおいてインシデントを予測をする処理を説明するための図である。FIG. 8 is a diagram for explaining a process of predicting an incident in the video monitoring system shown in FIG. 図9は、本発明の変形例に係わる映像監視システムを説明するための図である。FIG. 9 is a diagram for explaining a video surveillance system according to a modification of the present invention.

以下、本発明の実施形態について説明する。
[全体構成]
図1は、本発明の実施形態に係る映像監視システム1の一例を示す図である。
図1に示す映像監視システム1は、例えば、監視対象現場システム100、インデント映像管理サーバ200、エキスパート端末装置400、インシデント担当者端末装置500を有し、これがネットワーク60を介して通信する。
Hereinafter, embodiments of the present invention will be described.
[overall structure]
FIG. 1 is a diagram illustrating an example of a video monitoring system 1 according to an embodiment of the present invention.
The video monitoring system 1 illustrated in FIG. 1 includes, for example, a monitoring target site system 100, an indent video management server 200, an expert terminal device 400, and an incident person terminal device 500, which communicate via a network 60.

映像監視システム1は、監視対象現場に設置された監視対象現場システム100のカメラ140の映像データを基に、インシデントを検出する。このインシデント検出に、インデント映像管理サーバ200に蓄積されたインシデント映像データとその属性データを用いる。   The video monitoring system 1 detects an incident based on the video data of the camera 140 of the monitoring target site system 100 installed at the monitoring target site. The incident video data and its attribute data stored in the indent video management server 200 are used for this incident detection.

[監視対象現場システム100]
図2は、図1に示す監視対象現場システム100の一例を示す図である。
図2に示すように、監視対象現場システム100は、例えば、処理装置110、カメラ140、センサ150、管理者端末装置160を有し、これらがハブ50を介してネットワーク60に接続されている。
[Monitored site system 100]
FIG. 2 is a diagram illustrating an example of the monitoring target site system 100 illustrated in FIG. 1.
As shown in FIG. 2, the monitoring target field system 100 includes, for example, a processing device 110, a camera 140, a sensor 150, and an administrator terminal device 160, which are connected to the network 60 via the hub 50.

監視対象現場システム100では、所定の現場に複数のカメラ140及びセンサ150が設置されている。
カメラ140の撮像に応じた圧縮された映像データと、センサ150からのセンサデータとがカメラ140から処理装置110に送信される。
In the monitoring target site system 100, a plurality of cameras 140 and sensors 150 are installed at a predetermined site.
The compressed video data corresponding to the image captured by the camera 140 and the sensor data from the sensor 150 are transmitted from the camera 140 to the processing device 110.

センサ150は、例えば、光センサ、音センサ、振動センサ、温度センサ等であり、カメラ140の撮像範囲、あるいはその周辺に設けられている。
センサ150としては、物理的なセンサ以外にも、カメラまたは処理部113にて映像データを分析し検出する論理的なセンサも含まれまる。また、本発明は、センサ150を用いなくてもよい。
The sensor 150 is, for example, an optical sensor, a sound sensor, a vibration sensor, a temperature sensor, or the like, and is provided in the imaging range of the camera 140 or in the vicinity thereof.
The sensor 150 includes not only a physical sensor but also a logical sensor that analyzes and detects video data by the camera or the processing unit 113. In the present invention, the sensor 150 may not be used.

処理装置110は、映像記録部111、処理部113、メモリ115を有する。
映像記録部111は、例えば、カメラ140から受信した映像データ及びセンサデータを記憶する。
処理部113は、メモリ115に記憶されたインシデント処理プログラム120に基づいて各種の処理を行う。
メモリ115は、インシデント処理プログラム120、並びに処理部113の処理に必要な各種データを記憶する。
The processing device 110 includes a video recording unit 111, a processing unit 113, and a memory 115.
For example, the video recording unit 111 stores video data and sensor data received from the camera 140.
The processing unit 113 performs various processes based on the incident processing program 120 stored in the memory 115.
The memory 115 stores the incident processing program 120 and various data necessary for the processing of the processing unit 113.

図3は、インシデント処理プログラム120が提供する処理の機能ブロック図である。
図3に示すように、インシデント処理プログラム120は、例えば、インシデント属性管理部121、インシデント検出部123、通知部125、レベル判定部127、事前対応処理部129を有する。
FIG. 3 is a functional block diagram of processing provided by the incident processing program 120.
As illustrated in FIG. 3, the incident processing program 120 includes, for example, an incident attribute management unit 121, an incident detection unit 123, a notification unit 125, a level determination unit 127, and a pre-response processing unit 129.

処理部113は、インシデント処理プログラム120を実行して、図3に示す各機能を以下のように実行する。   The processing unit 113 executes the incident processing program 120 and executes each function shown in FIG. 3 as follows.

インシデント属性管理部121は、インシデント検出部123が検出したインシデントに対応するインシデント映像データを生成する。
また、インシデント属性管理部121は、当該インシデント映像データを、当該インシデントの属性データと関連付ける処理を行う。
インシデント属性管理部121は、図2に示す管理者端末装置160からの操作データを基に、上記インシデントの属性データを生成する。
The incident attribute management unit 121 generates incident video data corresponding to the incident detected by the incident detection unit 123.
Further, the incident attribute management unit 121 performs processing for associating the incident video data with the attribute data of the incident.
The incident attribute management unit 121 generates the incident attribute data based on the operation data from the administrator terminal device 160 shown in FIG.

このとき、インシデントの属性データは、インシデント発生可能性レベルを示す。当該レベルは、管理者端末装置160の管理者の操作に応じて入力されたり、当該入力された情報を基に所定のアルゴリズムで計算してもよい。
また、インシデント属性管理部121は、検出されたインシデントに関連する時間、場所、イベント開催、混雑度等の条件を基に、レベルを数値で示す前記属性データを生成する。
At this time, the incident attribute data indicates an incident occurrence possibility level. The level may be input according to the operation of the administrator of the administrator terminal device 160, or may be calculated by a predetermined algorithm based on the input information.
In addition, the incident attribute management unit 121 generates the attribute data indicating the level as a numerical value based on conditions such as time, place, event holding, and congestion level related to the detected incident.

インシデント検出部123は、図1に示すインデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、カメラ140が撮像した映像の映像データ(映像記録部111から読み出した映像データ)からインシデントを検出する。   The incident detection unit 123 uses video data captured by the camera 140 (video data read from the video recording unit 111) based on the incident video data and attribute data stored in the indent video management server 200 shown in FIG. Detect incidents.

インシデントは、例えば、何等かの中断、阻害、損失、緊急事態、危険に、なり得る又はそれらを引き起こし得る状況である。   An incident is, for example, any interruption, obstruction, loss, emergency, danger, situation that can or will cause them.

通知部125は、インシデント検出部123が検出したインシデントに対応付けられた連絡先にインシデント発生通知を行う。
通知部125は、検出したインシデントに応じて通知を行う担当者と通知内容の情報とを事前に決定している。
なお、インシデントと担当者の対応付けは、例えば、担当者の出勤状況、場所、権限、スキル等を基に事前に決定される。
The notification unit 125 notifies the occurrence of an incident to the contact address associated with the incident detected by the incident detection unit 123.
The notification unit 125 determines in advance a person in charge to perform notification and information on notification contents in accordance with the detected incident.
The association between the incident and the person in charge is determined in advance based on, for example, the attendance status, location, authority, skill, etc. of the person in charge.

レベル判定部127は、インデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、インシデントが発生する可能性が一定レベルを超えたか否かを判定する。
レベル判定部127は、インデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、インシデントが将来の所定タイミングにおいて発生する可能性が一定レベルを超えたか否かを判定する。
The level determination unit 127 determines whether or not the possibility that an incident has occurred exceeds a certain level based on the incident video data and attribute data stored in the indent video management server 200.
Based on the incident video data and attribute data stored in the indent video management server 200, the level determination unit 127 determines whether or not the possibility that an incident will occur at a predetermined future timing exceeds a certain level.

事前対応処理部129は、レベル判定部127においてインシデントが発生する可能性が一定レベルを超えたと判定した場合に、当該インシデントに予め関連付けられた処理を行う。事前対応処理としては、例えば、ドアの開閉、照明のオン/オフ、温度調整、警報等の処理がある。
事前対応処理部129は、将来の所定タイミングにおいてインシデントが発生する可能性が一定レベルを超えたとレベル判定部127が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う
When the level determination unit 127 determines that the possibility that an incident will occur exceeds a certain level, the prior response processing unit 129 performs processing associated with the incident in advance. Examples of the pre-response processing include door opening / closing, lighting on / off, temperature adjustment, alarm processing, and the like.
When the level determination unit 127 determines that the possibility that an incident will occur at a predetermined timing in the future exceeds a certain level, the pre-response processing unit 129 performs pre-processing associated with the incident in advance.

図2に示す管理者端末装置160は、監視対象現場システム100に関連する現場管理者が使用する。
管理者端末装置160は、例えば、操作部161、ディスプレイ163及び処理部165を有する。
The manager terminal device 160 shown in FIG. 2 is used by a site manager related to the monitored site system 100.
The administrator terminal device 160 includes, for example, an operation unit 161, a display 163, and a processing unit 165.

現場管理者が管理者端末装置160の操作部161を操作して、カメラ140の映像データ、あるいは処理装置110の映像記録部111から読み出した映像データをディスプレイ163に表示させて視聴し、目視や音響でインシデントが発生情報を判断し、インシデントに関連して属性データを決定するための操作を行う。処理部165は、操作部161の操作に応じた操作データを処理装置110に送信する。   The site manager operates the operation unit 161 of the administrator terminal device 160 to display the video data of the camera 140 or the video data read from the video recording unit 111 of the processing device 110 on the display 163 for viewing, Performs operations for determining incident occurrence information by sound and determining attribute data related to the incident. The processing unit 165 transmits operation data corresponding to the operation of the operation unit 161 to the processing device 110.

[インデント映像管理サーバ200]
図1に示すように、インデント映像管理サーバ200は、例えば、映像記録部211、処理部213、メモリ215を有する。
映像記録部211は、例えば、監視対象現場システム100から受信したインシデントのインシデント映像データと、それに関連付けられた属性データ、センサデータ等を記憶する。
図5に示すように、複数の監視対象現場についてそれぞれ監視対象現場システム100がある場合には、映像記録部211は、複数の監視対象現場システム100からのインシデント映像データと、それに関連付けられた属性データ、センサデータ等を記憶する。
[Indent video management server 200]
As illustrated in FIG. 1, the indent video management server 200 includes, for example, a video recording unit 211, a processing unit 213, and a memory 215.
The video recording unit 211 stores, for example, incident video data of incidents received from the monitored site system 100, attribute data, sensor data, and the like associated therewith.
As shown in FIG. 5, when there is a monitoring target site system 100 for each of a plurality of monitoring target sites, the video recording unit 211 includes incident video data from the plurality of monitoring target site systems 100 and attributes associated therewith. Data, sensor data, etc. are stored.

処理部213は、メモリ215に記憶されたインシデント処理プログラム221及び学習プログラム230に基づいて各種の処理を行う。
メモリ215は、インシデント処理プログラム221及び学習プログラム230、並びに処理部113の処理に必要な各種データを記憶する。
The processing unit 213 performs various processes based on the incident processing program 221 and the learning program 230 stored in the memory 215.
The memory 215 stores various data necessary for the incident processing program 221, the learning program 230, and the processing of the processing unit 113.

図4は、インシデント処理プログラム221が提供する処理の機能ブロック図である。
図4に示すように、インシデント処理プログラム221は、例えば、インシデント属性管理部221、インシデント検出部223、通知部225、レベル判定部227、事前対応処理部229を有する。
FIG. 4 is a functional block diagram of processing provided by the incident processing program 221.
As illustrated in FIG. 4, the incident processing program 221 includes, for example, an incident attribute management unit 221, an incident detection unit 223, a notification unit 225, a level determination unit 227, and a prior response processing unit 229.

インシデント属性管理部221は、監視対象現場システムから受信したインシデント映像データと、それに関連付けられた属性データとを映像記録部211に記録する。
また、インシデント属性管理部221は、エキスパート端末装置400からの操作データを基に、映像記録部211に記録された属性データを更新する。これより、エキスパートの経験を活かした高精度な属性データを得ることができる。
このとき、インシデントの属性データは、インシデント発生可能性レベルを示す。
また、インシデント属性管理部221は、検出されたインシデントに関連する時間、場所、イベント開催、混雑度等の条件を基に前記属性データを生成する。
The incident attribute management unit 221 records incident video data received from the monitoring target field system and attribute data associated therewith in the video recording unit 211.
Further, the incident attribute management unit 221 updates the attribute data recorded in the video recording unit 211 based on the operation data from the expert terminal device 400. As a result, it is possible to obtain highly accurate attribute data utilizing the experience of the expert.
At this time, the incident attribute data indicates an incident occurrence possibility level.
In addition, the incident attribute management unit 221 generates the attribute data based on conditions such as time, place, event holding, and congestion level related to the detected incident.

エキスパート端末装置400による属性データの更新は、例えば、管理者端末装置160の操作に応じて関連付けられた属性データが示すレベルが所定の値を超えている場合に限ってもよい。当該レベルは、インシデントの発生可能性等を示している。   The attribute data update by the expert terminal device 400 may be performed only when the level indicated by the attribute data associated with the operation of the administrator terminal device 160 exceeds a predetermined value, for example. This level indicates the possibility of an incident.

インシデント検出部223は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントを検出する。当該インシデントは、複数の監視対象現場システム100が検出したインシデントを基に総合的な観点から検出される。   The incident detection unit 223 detects an incident based on the incident video data and attribute data stored in the video recording unit 211. The incident is detected from a comprehensive viewpoint based on the incidents detected by the plurality of monitoring target field systems 100.

通知部225は、インシデント検出部223が検出したインシデントに対応付けられた連絡先にインシデント発生通知を行う。通知部225は、例えば、インシデント担当者端末装置500に通知を行う。   The notification unit 225 notifies the occurrence of an incident to the contact address associated with the incident detected by the incident detection unit 223. For example, the notification unit 225 notifies the incident person in charge terminal device 500.

レベル判定部227は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントが発生する可能性が一定レベルを超えたか否かを判定する。
レベル判定部227は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントが将来の所定タイミングにおいて発生する可能性が一定レベルを超えたか否かを判定する。
レベル判定部227は、特定の監視対象現場システム100が監視する現場だけでなく、総合的に広い範囲を対象にレベル判定を行う。
また、レベル判定部227による将来インシデントが発生する可能性のレベル判断には、インシデント映像データ及び属性データの他に、時間、監視場所、ニュース、天気等の外的情報を用いてもよい。
Based on the incident video data and attribute data stored in the video recording unit 211, the level determination unit 227 determines whether or not the possibility that an incident will occur exceeds a certain level.
Based on the incident video data and attribute data accumulated in the video recording unit 211, the level determination unit 227 determines whether or not the possibility that an incident will occur at a predetermined future timing exceeds a certain level.
The level determination unit 227 performs level determination not only on the site monitored by the specific monitoring target site system 100 but also on a comprehensively wide range.
In addition, in addition to the incident video data and attribute data, external information such as time, monitoring location, news, weather, and the like may be used for the level determination of the possibility that a future incident will occur by the level determination unit 227.

事前対応処理部229は、レベル判定部227においてインシデントが発生する可能性が一定レベルを超えたと判定した場合に、当該インシデントに予め関連付けられた処理を行う。
事前対応処理部229は、将来の所定タイミングにおいてインシデントが発生する可能性が一定レベルを超えたとレベル判定部227が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う
When the level determination unit 227 determines that the possibility that an incident will occur exceeds a certain level, the prior response processing unit 229 performs processing associated with the incident in advance.
When the level determination unit 227 determines that the possibility that an incident will occur at a predetermined timing in the future exceeds a certain level, the pre-response processing unit 229 performs pre-processing associated with the incident in advance.

図1に示す学習プログラム230は、処理部213によって実行され、以下の機能を実現する。
学習プログラム230は、映像記録部211に蓄積された、監視対象現場システム100が検出したインシデントと、前記属性データとを基に、当該インシデントと属性データとの関係性を示す学習データを生成する。
監視対象現場システム100の図3に示すインシデント検出部123は、学習プログラム230が生成した学習データをさらに用いてインシデントを検出する。
The learning program 230 illustrated in FIG. 1 is executed by the processing unit 213 and realizes the following functions.
The learning program 230 generates learning data indicating the relationship between the incident and the attribute data based on the incident detected by the monitoring target site system 100 and the attribute data stored in the video recording unit 211.
The incident detection unit 123 shown in FIG. 3 of the monitoring target field system 100 further detects the incident using the learning data generated by the learning program 230.

また、インシデント属性管理部121,221は、事前対応処理部129,229が上記事前処理を実行した後のインシデント映像データを基にインシデント発生可能性レベルを特定する。
また、インシデント属性管理部121,221は、当該特定したインシデント発生可能性レベルを基に、事前対応処理部129,229が実行した事前処理を評価して上記学習データを更新する。事前対応処理部129,229は、当該更新された学習データをさらに用いて、事前処理を行う。
Further, the incident attribute management units 121 and 221 specify the incident possibility level based on the incident video data after the pre-reaction processing units 129 and 229 execute the pre-process.
Further, the incident attribute management units 121 and 221 evaluate the preliminary processing executed by the preliminary response processing units 129 and 229 based on the identified incident occurrence possibility level and update the learning data. The prior correspondence processing units 129 and 229 further perform the preliminary processing using the updated learning data.

エキスパート端末装置400及びインシデント担当者端末装置500は、例えば、スマートフォンや、携帯電話や、タブレット端末などである。また、デスクトップあるいは携帯型のコンピュータであってもよい。   The expert terminal device 400 and the incident person terminal device 500 are, for example, a smartphone, a mobile phone, a tablet terminal, or the like. Further, it may be a desktop or a portable computer.

[全体処理]
以下。映像監視システム1の動作例を説明する。
図6は、図1に示す映像監視システム1の全体処理の概要を示す図である。
以下、図6の各ステップについて説明する。
ステップS101:
カメラ140は、例えば施設内の撮像範囲の動画を撮像する。また、カメラ140の処理部143は、撮像した動画をメモリ141に記録する。
また、カメラ140の周囲のセンサ150からのセンサデータがメモリ141に記憶される。
[Overall processing]
Less than. An operation example of the video monitoring system 1 will be described.
FIG. 6 is a diagram showing an overview of the overall processing of the video monitoring system 1 shown in FIG.
Hereinafter, each step of FIG. 6 will be described.
Step S101:
For example, the camera 140 captures a moving image of an imaging range in the facility. Further, the processing unit 143 of the camera 140 records the captured moving image in the memory 141.
In addition, sensor data from the sensors 150 around the camera 140 is stored in the memory 141.

ステップS102:
カメラ140は、メモリ141から出した映像データ及びセンサデータを処理装置110に送信し、これを処理装置110が受信する。
Step S102:
The camera 140 transmits the video data and sensor data output from the memory 141 to the processing device 110, and the processing device 110 receives this.

ステップS103:
処理装置110は、カメラ140から受信した映像データ及びセンサデータを図2に示す映像記録部111に記録する。
Step S103:
The processing device 110 records the video data and sensor data received from the camera 140 in the video recording unit 111 shown in FIG.

ステップS104:
図2に示す処理装置110の図3に示すインシデント検出部123は、図1に示すインデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、カメラ140が撮像した映像の映像データ(映像記録部111から読み出した映像データ)からインシデントを検出する。
Step S104:
The incident detection unit 123 shown in FIG. 3 of the processing device 110 shown in FIG. 2 uses video data captured by the camera 140 based on the incident video data and attribute data stored in the indent video management server 200 shown in FIG. An incident is detected from (video data read from the video recording unit 111).

ステップS105:
図3に示すインシデント属性管理部121は、ステップST104でインシデント検出部123が検出したインシデントに対応するインシデント映像データを生成する。
また、インシデント属性管理部121は、当該インシデント映像データを、当該インシデントの属性データと関連付ける処理を行う。
Step S105:
The incident attribute management unit 121 illustrated in FIG. 3 generates incident video data corresponding to the incident detected by the incident detection unit 123 in step ST104.
Further, the incident attribute management unit 121 performs processing for associating the incident video data with the attribute data of the incident.

ステップS106:
処理装置110は、ステップS105で関連付けたインシデント映像データと属性データ、並びにセンサデータとを、インデント映像管理サーバ200にアップロード(送信)する。
インデント映像管理サーバ200は、これらを受信する。
Step S106:
The processing device 110 uploads (transmits) the incident video data, the attribute data, and the sensor data associated in step S105 to the indent video management server 200.
The indent video management server 200 receives these.

ステップS107:
通知部125は、ステップS104でインシデント検出部123が検出したインシデントに対応付けられた連絡先にインシデント発生通知を行う。例えば、図1に示すインシデント担当者端末装置500に通知する。
Step S107:
The notification unit 125 notifies the occurrence of an incident to the contact associated with the incident detected by the incident detection unit 123 in step S104. For example, the incident person terminal device 500 shown in FIG. 1 is notified.

ステップS108:
図1に示すインデント映像管理サーバ200は、ステップS6で受信したインシデント映像データ、属性データ、並びにセンサデータを映像記録部211に記録する。
Step S108:
The indent video management server 200 shown in FIG. 1 records the incident video data, attribute data, and sensor data received in step S6 in the video recording unit 211.

ステップS109:
エキスパートは、エキスパート端末装置400を操作してステップST108で映像記録部211に記録された属性データをディスプレイ403に表示し、必要に応じて操作部401を操作して更新する。
Step S109:
The expert operates the expert terminal device 400 to display the attribute data recorded in the video recording unit 211 in step ST108 on the display 403, and operates and updates the operation unit 401 as necessary.

ステップS110:
インデント映像管理サーバ200のレベル判定部227は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントが発生する可能性が一定レベルを超えたか否かを判定する。
Step S110:
The level determination unit 227 of the indent video management server 200 determines whether or not the possibility that an incident will occur exceeds a certain level based on the incident video data and attribute data stored in the video recording unit 211.

ステップS111:
図4に示すインデント映像管理サーバ200のレベル判定部227は、映像記録部211に蓄積されたインシデント映像データ及び属性データを基に、インシデントが将来の所定タイミングにおいて発生する可能性が一定レベルを超えたか否かを判定する。
また、レベル判定部227は、特定の監視対象現場システム100が監視する現場だけでなく、総合的に広い範囲を対象にレベル判定を行う。
Step S111:
The level determination unit 227 of the indent video management server 200 shown in FIG. 4 is based on the incident video data and attribute data stored in the video recording unit 211, and the possibility that an incident will occur at a predetermined timing in the future exceeds a certain level. It is determined whether or not.
The level determination unit 227 performs level determination not only on the site monitored by the specific monitoring target site system 100 but also on a comprehensively wide range.

ステップS112:
図4に示すインデント映像管理サーバ200の事前対応処理部229は、レベル判定部227においてインシデントが発生する可能性が一定レベルを超えたと判定した場合に、当該インシデントに予め関連付けられた処理を行う。
事前対応処理部229は、将来の所定タイミングにおいてインシデントが発生する可能性が一定レベルを超えたとレベル判定部227が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う
Step S112:
When the level determination unit 227 determines that the possibility of occurrence of an incident has exceeded a certain level, the prior response processing unit 229 of the indent video management server 200 illustrated in FIG. 4 performs processing associated with the incident in advance.
When the level determination unit 227 determines that the possibility that an incident will occur at a predetermined timing in the future exceeds a certain level, the pre-response processing unit 229 performs pre-processing associated with the incident in advance.

以上説明したように、映像監視システム1によれば、監視対象現場システム100のインシデント処理プログラム120がインシデント映像データに属性データを関連付けてインデント映像管理サーバ200に蓄積し、これらを用いてインシデントの検出を行う。そのため、インデント映像管理サーバ200に蓄積されたデータを基に、インシデントを短期間で高精度に検出できる。   As described above, according to the video monitoring system 1, the incident processing program 120 of the monitoring target field system 100 associates the attribute data with the incident video data and accumulates them in the indent video management server 200, and uses them to detect the incident. I do. Therefore, the incident can be detected with high accuracy in a short period of time based on the data accumulated in the indent video management server 200.

また、映像監視システム1によれば、従来の監視担当者は、管理担当施設(監視対象場所)内でのみ映像監視業務を行う制限があった業務を、施設外からでも同様の監視ができるようにすることで、一人の管理担当者が一つの施設を同時に監視可能になる。監視するカメラ140が多くなった場合には、監視担当者の能力の限界があるが、人工知能(AI)を利用したインデント映像管理サーバ200による映像分析機能を用いて、問題と思われる映像(インシデント映像)を自動的に感知して担当者(管理者端末装置160)に通知することで、少人数でも飛躍的に多数のカメラ140の映像を監視することができる。   In addition, according to the video monitoring system 1, a conventional monitoring person can perform the same monitoring from outside the facility, which is limited to performing the video monitoring work only in the management facility (monitoring target place). By doing so, one manager can monitor one facility at the same time. When the number of cameras 140 to be monitored increases, there is a limit to the ability of the person in charge of monitoring. However, using the video analysis function by the indent video management server 200 using artificial intelligence (AI), a video that seems to be a problem ( By automatically sensing the incident video) and notifying the person in charge (the manager terminal device 160), it is possible to monitor the video from a large number of cameras 140 even with a small number of people.

人口知能を利用する場合、ディープラーニング(マシンラーニング)と呼ばれる手法が高い性能を実現しており、利用が広がっている。これらの技術を利用する場合、十分な性能を得るためには、予め対象となる撮影した映像を大量に準備して、人工知能ソフトウェアに学習させる必要がある。この対象となる大量の映像のことを、学習セットという。学習セットとは、主として人間が対象となる映像を選び、何の映像であるかを言葉で示す。すなわち、映像にタグを付ける作業をする。   When using artificial intelligence, a technique called deep learning (machine learning) has achieved high performance, and its use is expanding. When these techniques are used, in order to obtain sufficient performance, it is necessary to prepare a large number of captured images in advance and to learn the artificial intelligence software. The large amount of video that is the target is called a learning set. A learning set mainly indicates a video that is selected by a person and indicates what video it is. That is, the task of tagging the video is performed.

特にインシデントとして判定される映像は、発生頻度が低いため、学習セットを大量に持つことは困難である。映像監視システム1によれば、監視対象現場システム100を複数用いた場合に、学習セット用のインシデント映像データが次々に映像記録部211に蓄積され、逐次学習を行うことにより、人工知能の性能が効果的に向上する。すなわち、映像監視システム1によれば、システムを毎日運用し続けることで、設置した施設、地域はより警備人員を削減でき、安全性が飛躍的に高まる。
さらには、インシデントの検出に留まらず、インシデントの発生リスクを事前に予測して、発生前に対応することが可能であり、予防安全に高い効果を発揮する。
In particular, since an image determined as an incident has a low occurrence frequency, it is difficult to have a large number of learning sets. According to the video monitoring system 1, when a plurality of monitoring target field systems 100 are used, incident video data for a learning set is sequentially accumulated in the video recording unit 211, and the performance of artificial intelligence is improved by performing sequential learning. Effectively improve. That is, according to the video surveillance system 1, by continuing to operate the system every day, the installed facilities and regions can further reduce the security personnel, and the safety is dramatically improved.
Furthermore, it is possible not only to detect incidents but also to predict the risk of incidents in advance and to respond to them before they occur, which is highly effective for preventive safety.

[適用例]
図1に示す映像監視システム1は、1つの監視対象場所を用いる場合を例示したが、本応用例では、複数の監視対象場所に監視対象現場システム100をそれぞれ配置する。
図5は、本発明の実施形態の適用例を説明するための図である。
図5に示すように、本応用例の映像監視システム1aでは、5つの監視対象場所にそれぞれ監視対象現場システム100_1〜100_5を配置している。
[Application example]
The video monitoring system 1 illustrated in FIG. 1 illustrates the case where one monitoring target location is used. However, in this application example, the monitoring target site systems 100 are arranged in a plurality of monitoring target locations.
FIG. 5 is a diagram for explaining an application example of the embodiment of the present invention.
As shown in FIG. 5, in the video monitoring system 1a of this application example, the monitoring target field systems 100_1 to 100_5 are arranged in five monitoring target locations, respectively.

映像監視システム1aでは、インデント映像管理サーバ200は、複数の監視対象場所の監視対象現場システム100_1〜100_5からインシデント映像データ、属性データ、センサデータを蓄積する。そのため、1つの監視対象現場システム100からデータを受信する場合に比べて、学習セットを多くでき、短期間で学習精度を高めることができる。   In the video monitoring system 1a, the indent video management server 200 accumulates incident video data, attribute data, and sensor data from the monitoring target field systems 100_1 to 100_5 of a plurality of monitoring target locations. Therefore, compared to the case where data is received from one monitoring target field system 100, the learning set can be increased, and the learning accuracy can be improved in a short period of time.

図7は、図5に示す映像監視システム1aをビル管理に適用した場合を説明するための図である。
図7に示すように、映像監視システム1は、地階1階から地上4階のビルの監視のために用いられる。
監視対象現場システム100_1〜100_5は、ビル内のそれぞれの監視対象場所にカメラ140を設置している。
監視対象現場システム100_1〜100_5は、それぞれのカメラ140が撮像結果に応じたライブ映像を管理者端末装置160のディスプレイ163に表示する。
FIG. 7 is a diagram for explaining a case where the video monitoring system 1a shown in FIG. 5 is applied to building management.
As shown in FIG. 7, the video monitoring system 1 is used for monitoring a building from the first floor to the fourth floor.
The monitoring target site systems 100_1 to 100_5 have a camera 140 installed at each monitoring target location in the building.
In the monitoring target site systems 100_1 to 100_5, each camera 140 displays a live video corresponding to the imaging result on the display 163 of the administrator terminal device 160.

監視対象現場システム100_1〜100_5は、インシデント映像データ、属性データ及びセンサデータをインデント映像管理サーバ200に送信して映像記録部211に蓄積する。   The monitoring target field systems 100_1 to 100_5 transmit incident video data, attribute data, and sensor data to the indent video management server 200 and store them in the video recording unit 211.

各監視対象現場システム100_1〜100_5は、各々の図3に示すレベル判定部127の機能により、図1に示す映像記録部211に蓄積されたデータを基に、それぞれの現場におけるインシデントが発生する可能性を示すレベル判定を行う。
そして、例えば、各監視対象現場システム100_1〜100_5の図2に示す管理者端末装置160のディスプレイにライブ映像と共に、現時点のレベル(危機レベル)を表示する。
なお、当該インシデント映像データ及びレベルの表示、映像監視システム1aの一つの端末に一括表示してもよい。
Each monitored site system 100_1 to 100_5 can generate an incident at each site based on the data stored in the video recording unit 211 shown in FIG. 1 by the function of the level determination unit 127 shown in FIG. A level determination indicating sex is performed.
Then, for example, the current level (crisis level) is displayed together with the live video on the display of the administrator terminal device 160 shown in FIG. 2 of each of the monitoring target field systems 100_1 to 100_5.
The incident video data and level may be displayed and displayed collectively on one terminal of the video monitoring system 1a.

レベル判定部127は、インデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、インシデントが発生する可能性が一定レベルを超えたか否かを判定する。
レベル判定部127は、インデント映像管理サーバ200に蓄積されたインシデント映像データ及び属性データを基に、インシデントが将来の所定タイミングにおいて発生する可能性が一定レベルを超えたか否かを判定する。
The level determination unit 127 determines whether or not the possibility that an incident has occurred exceeds a certain level based on the incident video data and attribute data stored in the indent video management server 200.
Based on the incident video data and attribute data stored in the indent video management server 200, the level determination unit 127 determines whether or not the possibility that an incident will occur at a predetermined future timing exceeds a certain level.

事前対応処理部129は、レベル判定部127においてインシデントが発生する可能性が一定レベルを超えたと判定した場合に、当該インシデントに予め関連付けられた処理を行う。
事前対応処理部129は、将来の所定タイミングにおいてインシデントが発生する可能性が一定レベルを超えたとレベル判定部127が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う
When the level determination unit 127 determines that the possibility that an incident will occur exceeds a certain level, the prior response processing unit 129 performs processing associated with the incident in advance.
When the level determination unit 127 determines that the possibility that an incident will occur at a predetermined timing in the future exceeds a certain level, the pre-response processing unit 129 performs pre-processing associated with the incident in advance.

図8は、一つのインデント映像管理サーバ200が所定のインシデントについてレベル判定した結果の時間推移を示す図である。
図8に示すように、レベル判定部127は、所定のインシデントについて、所定の時間間隔(例えば、2時間)で予測インシデント能性レベルを算出する。
また、レベル判定部127は、所定の時間間隔で実績インシデント可能性レベルを算出する。
FIG. 8 is a diagram showing the time transition of the result of the level determination for a predetermined incident by one indent video management server 200.
As illustrated in FIG. 8, the level determination unit 127 calculates a predicted incident ability level at a predetermined time interval (for example, 2 hours) for a predetermined incident.
Further, the level determination unit 127 calculates the actual incident possibility level at predetermined time intervals.

事前対応処理部129は、レベル判定部127が算出した予測インシデント発生可能性レベルが所定の注意レベルAあるいは危機レベルBを超えた場合に、それぞれに割り当てた事前対応処理を実行する。これにより、実績インシデント可能性レベルを、予測インシデント可能性レベルより下げることができる。   When the predicted incident occurrence possibility level calculated by the level determination unit 127 exceeds a predetermined attention level A or crisis level B, the prior response processing unit 129 executes the preliminary response processing assigned thereto. Thereby, the actual incident possibility level can be lowered from the predicted incident possibility level.

[変形例]
図9は、本発明の変形例に係わる映像監視システム1bを説明するための図である。
図9に示すように、映像監視システム1bでは、前述した監視対象現場システム100の機能の全てあるいは一部をAIカメラ340に組み込んである。
[Modification]
FIG. 9 is a diagram for explaining a video surveillance system 1b according to a modification of the present invention.
As shown in FIG. 9, in the video monitoring system 1 b, all or part of the functions of the monitoring target field system 100 described above are incorporated in the AI camera 340.

図9に示すように、AIカメラ340は、例えば、撮像部351、フレームメモリ350、処理部353、通信部355、映像圧縮部357、記録メディア359を有する。   As illustrated in FIG. 9, the AI camera 340 includes, for example, an imaging unit 351, a frame memory 350, a processing unit 353, a communication unit 355, a video compression unit 357, and a recording medium 359.

撮像部351は、撮像結果に応じた映像データを、圧縮前にフレームメモリ350に記憶する。
処理部353は、インデント処理プログラム370を実行する。インデント処理プログラム370は、例えば、前述した図3に示す各部の機能を有している。
処理部353は、フレームメモリ350から圧縮前の映像データを読み出して、インデント映像管理サーバ200の映像記録部211に蓄積された情報(学習セット)を基に、インシデント検出を行う。
本実施形態では、処理部353は、圧縮前の映像データを基にインシデント検出を行うため、高精度なインシデント検出を行うことができる。
また、処理部353は、所定のアルゴリズムで、検出したインシデントのインシデント映像データに属性データを付ける。
The imaging unit 351 stores video data corresponding to the imaging result in the frame memory 350 before compression.
The processing unit 353 executes the indent processing program 370. The indent processing program 370 has, for example, the function of each unit shown in FIG.
The processing unit 353 reads the uncompressed video data from the frame memory 350 and performs incident detection based on information (learning set) accumulated in the video recording unit 211 of the indent video management server 200.
In the present embodiment, since the processing unit 353 detects an incident based on the video data before compression, it can perform highly accurate incident detection.
In addition, the processing unit 353 attaches attribute data to the incident video data of the detected incident by a predetermined algorithm.

映像圧縮部357は、フレームメモリ350から読み出した映像データを圧縮して記録メディア359に記録する。
通信部355は、処理部353で検出したインシデント映像データ及び属性データをインデント映像管理サーバ200に送信する。
The video compression unit 357 compresses the video data read from the frame memory 350 and records it on the recording medium 359.
The communication unit 355 transmits the incident video data and attribute data detected by the processing unit 353 to the indent video management server 200.

映像監視システム1bによれば、AIカメラ340にインシデント検出機能を持たせるため、処理装置110が不要になる。   According to the video monitoring system 1b, since the AI camera 340 has the incident detection function, the processing device 110 is not necessary.

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。例えば、上記した実施形態は、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能である。また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。
The present invention is not limited to the embodiment described above.
That is, those skilled in the art may make various modifications, combinations, subcombinations, and alternatives regarding the components of the above-described embodiments within the technical scope of the present invention or an equivalent scope thereof. For example, the above-described embodiments are not necessarily limited to those having all the configurations described. A part of the configuration of one embodiment can be replaced with the configuration of another embodiment. Further, the configuration of another embodiment can be added to the configuration of a certain embodiment.

上述したインシデント属性管理部121,221の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
インシデント検出部123,223の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
通知部125,225の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
The functions of the incident attribute management units 121 and 221 described above may be provided to only one of the monitoring target site system 100 and the indent video management server 200.
The functions of the incident detection units 123 and 223 may be provided to only one of the monitoring target site system 100 and the indent video management server 200.
The functions of the notification units 125 and 225 may be provided to only one of the monitoring target field system 100 and the indent video management server 200.

レベル判定部127,227の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
事前対応処理部129,229の機能は、監視対象現場システム100とインデント映像管理サーバ200とのいずれか一方のみに持たせてもよい。
The functions of the level determination units 127 and 227 may be provided to only one of the monitoring target field system 100 and the indent video management server 200.
The functions of the advance handling processing units 129 and 229 may be provided to only one of the monitoring target site system 100 and the indent video management server 200.

本発明は、カメラで撮像した動画等を取得してインシデントを検出する映像システムに適用可能である。   The present invention can be applied to a video system that detects an incident by acquiring a moving image captured by a camera.

1,1a…映像監視システム
100…監視対象現場システム
110…処理装置
120…インシデント処理プログラム
121…インシデント属性管理部
123…インシデント検出部
125…通知部
127…レベル判定部
129…事前対応処理部
140…カメラ
150…センサ
160…管理者端末装置
200…インデント映像管理サーバ
221…インシデント処理プログラム
221…インシデント属性管理部
223…インシデント検出部
225…通知部
227…レベル判定部
229…事前対応処理部
230…学習プログラム
400…エキスパート端末装置
500…インシデント担当者端末装置



DESCRIPTION OF SYMBOLS 1,1a ... Image | video monitoring system 100 ... Monitoring object field system 110 ... Processing apparatus 120 ... Incident processing program 121 ... Incident attribute management part 123 ... Incident detection part 125 ... Notification part 127 ... Level determination part 129 ... Advance response processing part 140 ... Camera 150 ... Sensor 160 ... Administrator terminal device 200 ... Indent video management server 221 ... Incident processing program 221 ... Incident attribute management unit 223 ... Incident detection unit 225 ... Notification unit 227 ... Level determination unit 229 ... Advance response processing unit 230 ... Learning Program 400 ... expert terminal device 500 ... incident person in charge terminal device



Claims (5)

カメラが撮像した映像の映像データを記録する映像記録部を備えた記録装置と、
前記映像データを基に検出されたインシデントのインシデント映像データを、当該インシデントの属性データと関連付けるインシデント属性管理手段と、
複数のインシデントについて、前記インシデント属性管理手段に関連付けられた前記インシデント映像データ及び前記属性データを蓄積するサーバと、
前記サーバに蓄積された前記映像データ及び前記属性データを基に、前記インシデントが発生する可能性が一定レベルを超えたか否かを判定するレベル判定手段と、
前記サーバに蓄積された前記インシデント映像データ及び前記属性データと、前記カメラが撮像した映像の映像データとを基に、前記インシデントを検出するインシデント検出手段と、
前記インシデントが発生する可能性が一定レベルを超えたと前記レベル判定手段が判定した場合に、当該インシデントに予め関連付けられた事前処理を行う事前対応処理手段と、
前記インシデント検出手段が検出したインシデントと、当該インシデントの検出に用いた前記サーバに蓄積された前記属性データとを基に、当該インシデントと前記属性データとの関係性を示す学習データを生成する学習手段と
有し、
前記インシデント属性管理手段は、前記映像データを見た管理者が入力したインシデント発生可能性レベルを示す前記属性データを前記インシデント映像データに関連付け、前記インシデント属性管理手段は、前記事前対応処理手段が前記事前処理を実行した後の前記インシデント映像データを基に前記インシデント発生可能性レベルを特定し、当該特定したインシデント発生可能性レベルを基に、前記事前対応処理手段が実行した前記事前処理を評価して前記学習データを更新し、
前記事前対応処理手段は、前記学習手段が生成した前記学習データをさらに用いて、前記事前処理を行い、
前記インシデント検出手段は、前記学習手段が生成した前記学習データをさらに用いて前記インシデントを検出する
映像監視システム。
A recording device including a video recording unit that records video data of video captured by the camera;
Incident attribute management means for associating incident video data of an incident detected based on the video data with attribute data of the incident;
A server for storing the incident video data and the attribute data associated with the incident attribute management means for a plurality of incidents;
Level determination means for determining whether or not the possibility of occurrence of the incident exceeds a certain level based on the video data and the attribute data stored in the server;
Incident detection means for detecting the incident based on the incident video data and the attribute data stored in the server, and video data of the video captured by the camera;
When the level determination unit determines that the possibility of occurrence of the incident exceeds a certain level, a pre-response processing unit that performs pre-processing associated with the incident in advance,
Learning means for generating learning data indicating a relationship between the incident and the attribute data based on the incident detected by the incident detection means and the attribute data stored in the server used for detecting the incident And
The incident attribute management means associates the attribute data indicating an incident occurrence possibility level input by an administrator who viewed the video data with the incident video data, and the incident attribute management means The incident occurrence possibility level is identified based on the incident video data after the advance processing is executed, and the advance processing unit executed based on the identified incident occurrence possibility level Update the learning data by evaluating the process,
The pre-corresponding processing means further uses the learning data generated by the learning means to perform the pre-processing,
The video monitoring system, wherein the incident detection means detects the incident by further using the learning data generated by the learning means.
異なる監視対象場所の前記カメラが撮像した映像データを処理する複数の前記インシデント属性管理手段を備え、
前記サーバは、前記複数のインシデント属性管理手段からの受信した前記インシデント映像データ及び前記属性データを蓄積する
請求項1に記載の映像監視システム。
A plurality of incident attribute management means for processing video data captured by the cameras at different monitoring target locations;
The video monitoring system according to claim 1, wherein the server accumulates the incident video data and the attribute data received from the plurality of incident attribute management means.
前記インシデント属性管理手段から受信した前記インシデント映像データ及び前記属性データを基に、エキスパートの操作に応じて更新した前記属性データを当該インシデント映像データと関連付けて前記サーバに蓄積するエキスパート属性管理手段
をさらに有する
請求項1または請求項2に記載の映像監視システム。
Expert attribute management means for associating the attribute data updated in accordance with an expert operation based on the incident video data and the attribute data received from the incident attribute management means and storing the attribute data in the server in association with the incident video data. The video surveillance system according to claim 1 or 2.
前記インシデント属性管理手段は、前記インシデントに関連する時間、場所、イベント開催、混雑度の少なくとも一つの条件を基に、前記インシデント発生可能性レベルを数値で示す前記属性データを生成する
請求項1〜3のいずれかに記載の映像監視システム。
The incident attribute management means generates the attribute data indicating the incident occurrence level by a numerical value based on at least one condition of time, place, event holding, and congestion related to the incident. 4. The video surveillance system according to any one of 3.
カメラが撮像した映像の映像データを映像記録部に記録する記録工程と、
前記映像データを基に検出されたインシデントのインシデント映像データを、当該インシデントの属性データと関連付けるインシデント属性管理工程と、
複数のインシデントについて、前記インシデント属性管理工程で関連付けられた前記インシデント映像データ及び前記属性データを蓄積するサーバと、
前記サーバに蓄積された前記映像データ及び前記属性データを基に、前記インシデントが発生する可能性が一定レベルを超えたか否かを判定するレベル判定工程と、
前記サーバに蓄積された前記インシデント映像データ及び前記属性データと、前記カメラが撮像した映像の映像データとを基に、前記インシデントを検出するインシデント検出工程と、
前記インシデントが発生する可能性が一定レベルを超えたと前記レベル判定工程で判定した場合に、当該インシデントに予め関連付けられた事前処理を行う事前対応処理工程と、
前記インシデント検出工程で検出したインシデントと、当該インシデントの検出に用いた前記サーバに蓄積された前記属性データとを基に、当該インシデントと前記属性データとの関係性を示す学習データを生成する学習工程と
有し、
前記インシデント属性管理工程は、前記映像データを見た管理者が入力したインシデント発生可能性レベルを示す前記属性データを前記インシデント映像データに関連付け、
前記インシデント属性管理工程は、前記事前対応処理工程で前記事前処理を実行した後の前記インシデント映像データを基に前記インシデント発生可能性レベルを特定し、当該特定したインシデント発生可能性レベルを基に、前記事前対応処理工程で実行した前記事前処理を評価して前記学習データを更新し、
前記事前対応処理工程は、前記学習工程で生成した前記学習データをさらに用いて、前記事前処理を行い、
前記インシデント検出工程は、前記学習工程で生成した前記学習データをさらに用いて前記インシデントを検出する
映像監視方法。
A recording step of recording video data of a video captured by the camera in a video recording unit;
Incident attribute management process for associating incident video data of an incident detected based on the video data with attribute data of the incident;
For a plurality of incidents, a server for storing the incident video data and the attribute data associated in the incident attribute management step ;
Based on the video data and the attribute data stored in the server, a level determination step for determining whether or not the possibility of occurrence of the incident exceeds a certain level;
An incident detection step of detecting the incident based on the incident video data and the attribute data stored in the server, and video data of a video captured by the camera;
If the level determination step determines that the possibility that the incident will occur exceeds a certain level, a pre-response processing step that performs pre-processing associated with the incident in advance,
A learning step of generating learning data indicating a relationship between the incident and the attribute data based on the incident detected in the incident detection step and the attribute data stored in the server used for the detection of the incident And
The incident attribute management step associates the attribute data indicating an incident occurrence possibility level input by an administrator who viewed the video data with the incident video data,
In the incident attribute management step, the incident occurrence possibility level is specified based on the incident video data after the pre-processing is executed in the pre-response processing step, and the incident occurrence possibility level is determined based on the specified incident occurrence possibility level. And updating the learning data by evaluating the preliminary processing executed in the preliminary processing step ,
The pre-corresponding processing step further uses the learning data generated in the learning step to perform the pre-processing,
The video monitoring method in which the incident detection step detects the incident by further using the learning data generated in the learning step .
JP2018090957A 2018-05-09 2018-05-09 Video surveillance system and method and imaging apparatus Active JP6577627B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018090957A JP6577627B1 (en) 2018-05-09 2018-05-09 Video surveillance system and method and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018090957A JP6577627B1 (en) 2018-05-09 2018-05-09 Video surveillance system and method and imaging apparatus

Publications (2)

Publication Number Publication Date
JP6577627B1 true JP6577627B1 (en) 2019-09-18
JP2019198000A JP2019198000A (en) 2019-11-14

Family

ID=67982942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018090957A Active JP6577627B1 (en) 2018-05-09 2018-05-09 Video surveillance system and method and imaging apparatus

Country Status (1)

Country Link
JP (1) JP6577627B1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03194697A (en) * 1989-12-25 1991-08-26 Babcock Hitachi Kk Field abnormality monitor device
JP4830509B2 (en) * 2006-01-24 2011-12-07 富士ゼロックス株式会社 Learning system, learning apparatus, computer control method, and program
JP5381498B2 (en) * 2009-08-24 2014-01-08 株式会社ニコン Image processing apparatus, image processing program, and image processing method
JP6347347B2 (en) * 2014-01-14 2018-06-27 株式会社国際電気通信基礎技術研究所 Notification system, notification program, notification method, and notification device
WO2016199192A1 (en) * 2015-06-08 2016-12-15 株式会社アシストユウ Portable remote monitor camera having artificial intelligence
WO2017099037A1 (en) * 2015-12-09 2017-06-15 ソニー株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP2019198000A (en) 2019-11-14

Similar Documents

Publication Publication Date Title
KR101133924B1 (en) Active image monitoring system using motion pattern database, and method thereof
JP5560397B2 (en) Autonomous crime prevention alert system and autonomous crime prevention alert method
US20130011014A1 (en) Surveillance system and method
EP3879505A1 (en) Digital fingerprint tracking
JP5217106B2 (en) Video surveillance system, surveillance video abnormality detection method, and surveillance video abnormality detection program
JP2003216229A (en) Telecontrol and management system
CN103997621A (en) System and method of monitoring the video surveillance activities
KR101386591B1 (en) CCTV integrated management system
GB2450478A (en) A security device and system
US11729597B2 (en) Digital twin disaster management system customized for underground public areas
US20180082413A1 (en) Image surveillance apparatus and image surveillance method
CN113011833A (en) Safety management method and device for construction site, computer equipment and storage medium
KR101005568B1 (en) Intelligent security system
US20170024998A1 (en) Setting method and apparatus for surveillance system, and computer-readable recording medium
US11836935B2 (en) Method and apparatus for detecting motion deviation in a video
JP6577627B1 (en) Video surveillance system and method and imaging apparatus
CA2654046A1 (en) Video verification system and method for central station alarm monitoring
JP2016192016A (en) Information processing device, program, and information providing method
US9111237B2 (en) Evaluating an effectiveness of a monitoring system
KR101060414B1 (en) Monitoring system and mathod for the same
WO2022009356A1 (en) Monitoring system
JP2022098663A (en) Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system
KR200434039Y1 (en) Centralized Surveillance System
KR101870900B1 (en) System and Method for Integrated Management of Multi-Purpose Duality System
JP4637564B2 (en) Status detection device, status detection method, program, and recording medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180724

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180724

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190822

R150 Certificate of patent or registration of utility model

Ref document number: 6577627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250