JP2024104222A - 情報処理装置及びその制御方法、プログラム - Google Patents

情報処理装置及びその制御方法、プログラム Download PDF

Info

Publication number
JP2024104222A
JP2024104222A JP2023008342A JP2023008342A JP2024104222A JP 2024104222 A JP2024104222 A JP 2024104222A JP 2023008342 A JP2023008342 A JP 2023008342A JP 2023008342 A JP2023008342 A JP 2023008342A JP 2024104222 A JP2024104222 A JP 2024104222A
Authority
JP
Japan
Prior art keywords
video
schedule
control unit
image
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023008342A
Other languages
English (en)
Inventor
修 小嶋
篤士 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Publication of JP2024104222A publication Critical patent/JP2024104222A/ja
Pending legal-status Critical Current

Links

Images

Abstract

Figure 2024104222000001
【課題】監視システムにおいて、より容易に異常を発見することを可能にする。
【解決手段】複数のフレーム画像からなる映像を撮影する撮影装置31と通信可能な情報処理装置10であって、予め設定された巡回スケジュールに従って一定の撮影範囲を撮影するように、撮影装置31を制御し、第1の巡回スケジュールが終了してから第1の巡回スケジュールの次の巡回スケジュールである第2の巡回スケジュールが開始するまでの間に撮影装置31により撮影された映像である録画映像を編集して生成された編集映像を取得し、第2の巡回スケジュールに従って撮影装置31により撮影された映像であるライブ映像を取得し、ライブ映像と、編集映像とを、表示部25に表示させる、制御部11を備える。
【選択図】図2

Description

本開示は、情報処理装置及びその制御方法、プログラムに関する。
警備員による見回り巡回を監視カメラにて疑似的に実施するために、複数のカメラにおいてカメラを順次切り替えて撮影したり、同一カメラにおいてカメラの画角及び向き等を予め設定された値に順次切り替えたりして撮影する「カメラ巡回」(または「映像巡回」「プリセット巡回」とも呼ばれる)を行う監視システムが知られている(カメラの画角及び向きは、例えば、PTZ(パン/チルト/ズーム)を示す値として設定される。)。特許文献1には、このような監視カメラによる自動巡回を他のセンサと組み合わせて制御する監視システムが記載されている。
特開2010-103773号公報
しかしながら、従来の監視システムは、カメラの自動巡回により撮影されたその時点の映像等を提示するだけであり、ユーザは、提示されたその時点の映像及び情報のみを精査して異常がないかを確認する作業を行う必要がある。そのため、従来の監視システムは、前回の巡回と今回の巡回の間に発生した事象を把握することができず、撮影対象となっている地点における異常を発見できる可能性において改善の余地があった。
そこで、本開示は、監視システムにおいて、より容易に異常を発見することを可能にすることを目的とする。
幾つかの実施形態に係る情報処理装置は、
(1)複数のフレーム画像からなる映像を撮影する撮影装置と通信可能な情報処理装置であって、
予め設定された巡回スケジュールに従って一定の撮影範囲を撮影するように、前記撮影装置を制御し、
第1の前記巡回スケジュールが終了してから前記第1の巡回スケジュールの次の巡回スケジュールである第2の前記巡回スケジュールが開始するまでの間に前記撮影装置により撮影された映像である録画映像を編集して生成された編集映像を取得し、
前記第2の巡回スケジュールに従って前記撮影装置により撮影された映像であるライブ映像を取得し、
前記ライブ映像と、前記編集映像とを、表示部に表示させる、
制御部を備える。
このように、情報処理装置は、ライブ映像に加えて、第1の巡回スケジュール終了から第2の巡回スケジュールまでの録画映像の編集映像を並べて表示する。したがって、監視者等のユーザは、監視対象場所に現在発生している異常だけではなく、前回の巡回スケジュールにおけるチェック以降で現在の巡回スケジュールまでに監視対象場所において発生した異常を発見することが可能である。また、ユーザは、現在の巡回におけるライブ映像に前回の巡回でのライブ映像との差異があった場合でも、編集映像によって差異が発生した原因及び経緯を把握して、この差異が異常を示すものなのか、あるいは、異常ではないものなのかを判別することも可能となる。よって、情報処理装置によれば、監視システムにおいて、より容易に異常を発見することを可能となる。
一実施形態において、
(2)(1)の情報処理装置において、
前記制御部は、前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの期間にわたって、前記録画映像を一定の速度で早送り再生して生成された映像と、前記録画映像において動きが検出された部分の映像を連続して再生する映像と、のいずれかを、前記編集映像として取得してもよい。
このように、情報処理装置は、編集映像として、録画映像を一定の速度で早送り再生して生成された映像、又は、録画映像において動きが検出された部分の映像を連続して再生する映像を取得して表示する。したがって、ユーザは、編集映像を参照して、第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでに撮影された特に注意すべき映像を参照しながら現在の映像を確認することができ、より容易に異常を発見することができる。
一実施形態において、
(3)(1)の情報処理装置において、
予め定められたイベントの発生を検知する検知装置と通信可能であり、
前記制御部は、
前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの間に前記検知装置より検知された前記イベントの各々の発生時刻及び種別を含む情報を取得し、
前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの間に前記検知装置より検知された前記イベントの各々の発生時刻及び種別の一覧表示を含む画像である一覧画像を前記表示部に更に表示させてもよい。
このように、情報処理装置は、第1の巡回スケジュールが終了してから第2の巡回スケジュールが開始するまでの間に検知されたイベントの各々の発生時刻及び種別の一覧表示を含む画像である一覧画像を、ライブ映像及び編集映像と共に表示させる。したがって、ユーザは、イベントが発生した時刻及び種別等を認識しながら現在のライブ映像を確認することができ、より容易に前回の巡回スケジュールから現在までの間に発生した異常を発見することが可能になる。
一実施形態において、
(4)(3)の情報処理装置において、
前記制御部は、前記録画映像の、前記検知装置より検知された前記イベントの発生時刻に対応する部分を連続して再生する映像を前記編集映像として取得してもよい。
このように、情報処理装置は、編集画像として、録画映像の、イベントの発生時刻に対応する部分を連続して再生する映像を取得して表示する。そのため、ユーザは、検知されたイベントに対応する編集映像を参照して、発生したイベントに起因する異常をより詳細に確認することが可能である。
一実施形態において、
(5)(4)の情報処理装置において、
前記制御部は、前記表示部に表示されている前記編集映像に対応する前記イベントを、前記一覧画像において強調表示させてもよい。
このように、情報処理装置は、表示中の編集映像に対応するイベントを一覧画像において強調表示するため、ユーザは、表示中の編集映像に対応するイベントをより容易に認識することができる。
一実施形態において、
(6)(5)の情報処理装置において、
前記制御部は、前記一覧画像において強調表示された前記イベントと、前記編集映像との対応関係を示す画像を前記表示部に更に表示させてもよい。
このように、情報処理装置は、ライブ映像、編集画像、及び、一覧画像を同時に表示する際に、一覧画像において強調表示されたイベントと、編集映像との対応関係を示す画像を更に表示する。したがって、ユーザは、表示中の編集映像の内容と、検出されたイベントとの対応関係をより容易に認識することができる。
一実施形態において、
(7)(3)から(6)のいずれかの情報処理装置において、
予め定められた物理量を測定する測定装置と通信可能であり、
前記制御部は、
前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの間に前記測定装置により測定された前記物理量の時間的推移を示す情報を取得し、
前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの間に前記測定装置により測定された前記物理量の時間的推移を示すグラフを前記表示部に更に表示させてもよい。
このように、情報処理装置は、第1の巡回スケジュールが終了してから第2の巡回スケジュールが開始するまでの間に測定された物理量のグラフを、ライブ映像、編集映像、及び、一覧画像と共に表示させる。したがって、ユーザは、異常な物理量の変化等があった場合に、編集映像及び一覧画像と比較しながらそのことを認識し、現在のライブ映像を確認することができる。したがって、ユーザは、より容易に異常を発見することが可能になる。
一実施形態において、
(8)(7)の情報処理装置において、
前記制御部は、
前記測定装置により測定された前記物理量が予め定められた条件を充足したことを前記イベントとして判定し、
前記イベントが判定された時刻及び前記物理量に対応する前記グラフ上の位置に、前記判定されたイベント発生を示すイベント画像を前記表示部に更に表示させてもよい。
このように、情報処理装置は、イベントが判定された時刻及び物理量に対応するグラフ上の位置に、イベント発生を示すイベント画像を表示させる。したがって、ユーザは、グラフにおいてイベントが発生した時刻及び物理量等を容易に認識することができる。
一実施形態において、
(9)(8)の情報処理装置において、
前記制御部は、
前記物理量に基づき判定されたイベントの各々の発生時刻及び種別の表示を更に含む画像を前記一覧画像として前記表示部に更に表示させてもよい。
このように、情報処理装置は、測定された物理量に基づき判定されたイベントを一覧画像の中に表示するため、ユーザは、検知装置により検知されたイベントだけでなく、物理量に基づき判定されたイベントを一覧画像の中で確認することができる。
一実施形態において、
(10)(9)の情報処理装置において、
前記制御部は、前記イベント画像と、当該イベント画像により示される前記イベントの前記一覧画像における表示と、の対応関係を示す画像を前記表示部に更に表示させてもよい。
このように、情報処理装置は、ライブ映像、編集映像、イベントの一覧画像、及び、物理量のグラフを同時に表示させる際に、グラフ上のイベント画像と、そのイベントの一覧画像における表示との対応関係を示す画像を更に表示する。したがって、ユーザは、物理量のグラフと、一覧画像に表示されたイベントとの対応関係をより容易に認識することができる。
一実施形態において、
(11)(1)から(10)のいずれかの情報処理装置において、
前記制御部は、前記表示部に表示中の前記編集映像の時間的な位置を示す画像を前記表示部に更に表示させてもよい。
このように、情報処理装置は、表示中の編集映像の時間的な位置を表示するため、ユーザは、表示中の編集映像の時刻を容易に確認することができる。
幾つかの実施形態に係る情報処理装置の制御方法は、
(12)複数のフレーム画像からなる映像を撮影する撮影装置と通信可能な情報処理装置の制御方法であって、
前記情報処理装置の制御部が、
予め設定された巡回スケジュールに従って一定の撮影範囲を撮影するように、前記撮影装置を制御する工程と、
第1の前記巡回スケジュールが終了してから前記第1の巡回スケジュールの次の巡回スケジュールである第2の前記巡回スケジュールが開始するまでの間に前記撮影装置により撮影された映像である録画映像を編集して生成された編集映像を取得する工程と、
前記第2の巡回スケジュールに従って前記撮影装置により撮影された映像であるライブ映像を取得する工程と、
前記ライブ映像と、前記編集映像とを、表示部に表示させる工程と、
を含む。
このように、情報処理装置は、ライブ映像に加えて、第1の巡回スケジュール終了から第2の巡回スケジュールまでの録画映像の編集映像を並べて表示する。したがって、監視者等のユーザは、監視対象場所に現在発生している異常だけではなく、前回の巡回スケジュールにおけるチェック以降で現在の巡回スケジュールまでに監視対象場所において発生した異常を発見することが可能である。また、ユーザは、現在の巡回におけるライブ映像に前回の巡回でのライブ映像との差異があった場合でも、編集映像によって差異が発生した原因及び経緯を把握して、この差異が異常を示すものなのか、あるいは、異常ではないものなのかを判別することも可能となる。よって、情報処理装置によれば、監視システムにおいて、より容易に異常を発見することを可能となる。
幾つかの実施形態に係るプログラムは、
(13)コンピュータに、
予め設定された巡回スケジュールに従って一定の撮影範囲の複数のフレーム画像からなる映像を撮影するように、撮影装置を制御することと、
第1の前記巡回スケジュールが終了してから前記第1の巡回スケジュールの次の巡回スケジュールである第2の前記巡回スケジュールが開始するまでの間に前記撮影装置により撮影された映像である録画映像を編集して生成された編集映像を取得することと、
前記第2の巡回スケジュールに従って前記撮影装置により撮影された映像であるライブ映像を取得することと、
前記ライブ映像と、前記編集映像とを、表示部に表示させることと、
を含む動作を実行させる。
このように、プログラムにより動作するコンピュータは、ライブ映像に加えて、第1の巡回スケジュール終了から第2の巡回スケジュールまでの録画映像の編集映像を並べて表示する。したがって、監視者等のユーザは、監視対象場所に現在発生している異常だけではなく、前回の巡回スケジュールにおけるチェック以降で現在の巡回スケジュールまでに監視対象場所において発生した異常を発見することが可能である。また、ユーザは、現在の巡回におけるライブ映像に前回の巡回でのライブ映像との差異があった場合でも、編集映像によって差異が発生した原因及び経緯を把握して、この差異が異常を示すものなのか、あるいは、異常ではないものなのかを判別することも可能となる。よって、情報処理装置によれば、監視システムにおいて、より容易に異常を発見することを可能となる。
本開示の一実施形態によれば、監視システムにおいて、より容易に異常を発見することが可能になる。
一実施形態に係る監視システムの機能構成例を示す図である。 図1のサーバ装置のハードウェア構成例を示す図である。 図1のクライアント装置のハードウェア構成例を示す図である。 一実施形態に係る監視システムの動作の一例を示すフローチャートである。 クライアント装置上に表示される画面の一例を示す図である。 図5の領域に表示される画面の一例を示す図である。 図5の領域に表示される画面の一例を示す図である。 クライアント装置上に表示される画面の一例を示す図である。 クライアント装置上に表示される画面の一例を示す図である。 監視システムが生成する報告文書の一例を示す図である。
<比較例>
比較例(特許文献1の請求項1)に係る監視システムは、外部から入力される複数の映像信号を、外部から入力される複数のセンサ検出信号の状態に基づき切り替えて出力する映像巡回監視システムであって、前記複数の映像信号をそれぞれ入力する複数の映像信号入力部を有する映像入力手段と、前記入力された複数の映像信号それぞれが切替対象となっているか否かを示す巡回シーケンスを記憶する記憶手段と、前記巡回シーケンスに従い前記複数の映像信号入力部を切り替えて一の映像信号入力部を選択する切替制御手段と、前記選択された映像信号入力部に入力された映像信号を外部に出力する映像信号出力手段と、前記複数のセンサ検出信号を入力する検出信号入力手段と、前記複数のセンサ検出信号と前記複数の映像信号とを対応付けた管理テーブルを有すると共に、前記複数のセンサ検出信号の状態を、それぞれ検出状態または非検出状態に区分するセンサ状態管理手段と、前記管理テーブルに基づき、前記検出状態に区分されたセンサ検出信号に対応した映像信号を入力する映像信号入力部を切替対象とし、前記非検出状態に区分されたセンサ検出信号に対応した映像信号を入力する映像信号入力部を切替非対象とするように前記巡回シーケンスを更新する巡回シーケンス管理手段と、を備えたことを特徴とする映像巡回監視システムである。
しかし、比較例に係る監視システムは、カメラの自動巡回により撮影された映像等を提示するだけであり、ユーザは、自動巡回において提示された映像等を精査して異常がないかを確認する必要があった。そのため、従来の監視システムは、巡回を行なうその時点における異常の有無のみを確認することしかできないものであった
そこで、本開示は、監視システムにおいて、前回の巡回と今回の巡回の間の時間における録画映像の編集映像又はその間に発生したイベント又はセンサによる物理量の測定値を合わせて表示することにより、巡回の間に発生した異常事態についてもユーザが把握することを可能とするものである。
<実施形態>
以下、本開示の一実施形態について、図面を参照して説明する。各図面中、同一の構成又は機能を有する部分には、同一の符号を付している。本実施形態の説明において、同一の部分については、重複する説明を適宜省略又は簡略化する場合がある。
(監視システム)
図1は、一実施形態に係る監視システム1の機能構成例を示す図である。監視システム1は、監視対象の建物、施設又は屋外等(以下、「対象施設」と称する。)を監視する。監視システム1は、サーバ装置10、クライアント装置20、カメラ31、マイク32、及び、センサ33(331,...,33n)を備える。サーバ装置10及びクライアント装置20は、例えば、インターネット、イントラネット、及び移動体通信網等を含むネットワーク50と通信可能に接続される。
本実施形態に係る情報処理装置としてのサーバ装置10は、カメラ31、マイク32、及び、センサ33(331,...,33n)から映像及び信号を取得し、必要な信号処理を行った上で、クライアント装置20に対し映像及び信号を提供する装置である。サーバ装置10は、カメラ31、マイク32、及び、センサ33(331,...,33n)に接続される。サーバ装置10は、信号処理部101及び通信制御部102の機能要素を備える。信号処理部101は、カメラ31、マイク32、及び、センサ33(331,...,33n)の動作を制御したり、これらの装置から映像及び信号を受信したりする。通信制御部102は、信号処理が行われた映像及び信号をクライアント装置20へ提供するための通信制御を行う。本実施形態において、サーバ装置10は、カメラ31、マイク32、及び、センサ33(331,...,33n)と共に対象施設内に設置されるが、対象施設外に設置され、カメラ31、マイク32、及び、センサ33(331,...,33n)とネットワーク50を介して通信するようにしてもよい。
クライアント装置20は、監視員等のユーザが操作する装置である。クライアント装置20は、サーバ装置10から映像及び信号の提供を受け、表示する。クライアント装置20は、ネットワーク50を介してサーバ装置10と通信可能である。クライアント装置20は、巡回制御部201、表示制御部202、及び、通信制御部203の機能要素を備える。巡回制御部201は、カメラ31、マイク32,及び、センサ33(331,...,33n)が対象施設内において予め定められた手順に従いカメラ巡回を自動的に実施するための制御信号を生成する。表示制御部202は、サーバ装置10との通信に応じて、ユーザに対する表示を制御する。通信制御部203は、巡回制御部201において生成されたカメラ31等の制御信号をサーバ装置10へ送信したり、サーバ装置10において信号処理が行われた映像及び信号をサーバ装置10から受信したりする処理を実行する。本実施形態において、監視システム1に含まれるクライアント装置20の個数が1個の例を説明するが、クライアント装置20の個数は任意である。
本実施形態に係る撮影装置としてのカメラ31は、対象施設内に設置され、対象施設を撮影して複数のフレーム画像からなる映像(動画像)を取得する。カメラ31は、例えば、PTZカメラであるが、形状及び機能は任意である。本実施形態において、監視システム1に含まれるカメラ31の個数が1つである例を説明するが、カメラ31の個数は任意である。
マイク32は、対象施設内に設置され、対象施設内に発生した音声信号を取得する。本実施形態において、監視システム1に含まれるマイク32の個数が1つである例を説明するが、マイク32の個数は任意である。
センサ33(331,...,33n)は、対象施設において生じた様々なイベントの発生を検知したり、イベントに関連する物理量を測定したりする。以下、センサ331,...,33nをまとめて「センサ33」と称する場合がある。センサ33は、例えば、ドア開閉センサ、人感センサ、侵入検知センサ、火災センサ(火災報知器)、けむりセンサ(けむり検知器)、温度センサ、湿度センサ、CO2(二酸化炭素)濃度センサ、照度センサ、又は、通行量センサとしてもよいが、これらに限られない。本実施形態において、監視システム1に含まれるセンサ33(331,...,33n)の個数がn個(n:2以上)である例を説明するが、センサ33の個数は任意である。
サーバ装置10は、定期的(例えば、1日に1回~数回)に、カメラ31が対象施設内において予め定められた手順に従いカメラ巡回を自動的に実施するように、カメラ31を制御する。1回のカメラ巡回に要する時間は、警備員による見回り巡回と同様に、例えば数分~数十分としてもよく、あるいはこれよりも長時間としてもよい。カメラ31が複数存在する場合、複数のカメラ31が連動して一連の撮影を行うことで、1回のカメラ巡回を行うようにしてもよい。カメラ31は、カメラ巡回を実施していない時間においても、PTZの値を制御して画角及び向き等を順次切り替えながら撮影を継続してもよい。マイク32及びセンサ33は、カメラ巡回を実施しているか否かにかかわらず、常に信号を検知できるように動作してもよい。
このような構成において、監視システム1は、カメラ巡回を実施するに当たり、カメラ31により撮影されている映像を表示するだけでなく、前回の巡回の終了後から今回の巡回の開始までの間に発生したイベント等を確認するための画像を合わせて表示する。具体的には、例えば、監視システム1は、自動巡回における各地点の状況をカメラ31で撮影した現在の状況の映像であるライブ映像と合わせて、前回の巡回から今回の巡回までの間の該当地点のカメラ31の録画映像を早送り等により編集した編集映像を表示可能としてもよい。さらに、例えば、監視システム1は、ドア開閉センサ及び人感センサ等のセンサ33にて生成された該当地点のイベント履歴、並びに、温度、湿度、及び、CO2濃度等の物理量のセンサ33による測定値をグラフ化したものを含む画像を、同時に表示してもよい。このような構成によれば、ユーザは、前回巡回から今回の巡回までの期間の該当地点の状況を容易に把握し、以上が発生した場合にそのことを容易に認識することが可能である。また、ユーザは前回の巡回以降にその場で発生した事象から問題を認識し、その結果を基に、現在の映像をチェックする際のチェックポイントを修正することができる。したがって、監視システム1によれば、現在の映像の中に潜む問題点をユーザが見逃すことを防ぐことが可能になる。このように、現在の巡回により撮影された映像に加えて、前回の巡回以後の映像の編集映像、及び、センサ33により取得された情報の画像を表示することで、警備員の見回りによる巡回では対応が困難な異常を発見及び予防することが容易になる。
さらに、監視システム1は、巡回の結果、前回の巡回から今回の巡回までの映像情報、イベント履歴、及び、物理量の数値情報のグラフなどを含む報告書(電子化された文書データを含む。)を自動的に生成してもよい。これにより、監視システム1のユーザは、巡回の間に生じたイベント等を含む、巡回結果の報告文書を容易に取得することが可能である。
(サーバ装置)
図2は、図1のサーバ装置10のハードウェア構成例を示す図である。サーバ装置10は、1つ又は互いに通信可能な複数のコンピュータ装置である。サーバ装置10は、例えば、PC(Personal Computer)又はWS(Workstation)等の汎用のコンピュータにより実現されるが、FPGA(Field Programmable Gate Array)等により実現されてもよい。図2に示すように、サーバ装置10は、制御部11、記憶部12、及び、通信部13を備える。
制御部11は、1つ以上のプロセッサを含む。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。制御部11は、サーバ装置10を構成する各構成部と通信可能に接続され、サーバ装置10全体の動作を制御する。
記憶部12は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、ROM(Read-Only Memory)、及びRAM(Random Access Memory)等の任意の記憶モジュールを含む。記憶部12は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部12は、サーバ装置10の動作に用いられる任意の情報を記憶する。例えば、記憶部12は、システムプログラム(オペレーティングシステム)、アプリケーションプログラム、及び通信部13によって受信された各種情報等を記憶してもよい。記憶部12は、サーバ装置10に内蔵されているものに限定されず、外付けのデータベース又は外付け型の記憶モジュールであってもよい。
通信部13は、任意の通信技術によってカメラ31、マイク32、センサ33、及び、クライアント装置20等の他の装置と通信接続可能な、任意の通信モジュールを含む。通信部13は、さらに、他の装置との通信を制御するための通信制御モジュール、及び他の装置との通信に必要となる識別情報等の通信用データを記憶する記憶モジュールを含んでもよい。
サーバ装置10の機能要素である信号処理部101及び通信制御部102は、本実施形態に係るコンピュータプログラム(プログラム)を、制御部11に含まれるプロセッサで実行することにより実現されうる。すなわち、サーバ装置10の各機能要素は、ソフトウェアにより実現されうる。コンピュータプログラムは、サーバ装置10の動作に含まれるステップの処理をコンピュータに実行させることで、各ステップの処理に対応する機能をコンピュータに実現させる。すなわち、コンピュータプログラムは、コンピュータを本実施形態に係るサーバ装置10として機能させるためのプログラムである。コンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録してもよい。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
サーバ装置10の一部又は全ての機能が、制御部11に含まれる専用回路により実現されてもよい。すなわち、サーバ装置10の一部又は全ての機能が、ハードウェアにより実現されてもよい。また、サーバ装置10は単一のコンピュータ装置により実現されてもよいし、複数のコンピュータ装置の協働により実現されてもよい。
(クライアント装置)
図3は、図1のクライアント装置20のハードウェア構成例を示す図である。クライアント装置20は、1つ又は互いに通信可能な複数のコンピュータ装置である。クライアント装置20は、例えば、PC又はタブレット端末等の汎用のコンピュータにより実現されるが、FPGA等により実現されてもよい。図3に示すように、クライアント装置20は、制御部21、記憶部22、通信部23、入力部24、及び、出力部25を備える。
制御部21、記憶部22、及び、通信部23のハードウェア構成は、サーバ装置10の制御部11、記憶部12、及び、通信部13と同様に実現されるため、詳細な説明を省略する。
入力部24は、ユーザの入力操作を受け付けて、ユーザの操作に基づく入力情報を取得する1つ以上の入力インターフェースを含む。例えば、入力部24は、物理キー、静電容量キー、ポインティングディバイス、出力部25のディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等であるが、これらに限定されない。
出力部25は、ユーザに対して情報を出力し、ユーザに通知する1つ以上の出力インターフェースを含む。例えば、出力部25は、情報を画像として出力するディスプレイ、又は情報を音声で出力するスピーカ等であるが、これらに限定されない。このようなディスプレイは、例えば、液晶パネルディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等としてもよい。なお、上述の入力部24及び出力部25の少なくとも一方は、クライアント装置20と一体に構成されてもよいし、別体として設けられてもよい。
サーバ装置10と同様に、クライアント装置20の機能要素である巡回制御部201、表示制御部202、及び、通信制御部203は、本実施形態に係るプログラムを、制御部21に含まれるプロセッサで実行することにより実現されうる。
(センサ)
センサ33には、予め定められたイベントの発生を検知する検知装置、及び、予め定められた物理量を測定する測定装置が含まれてもよい。検知装置が発生を検知する予め定められたイベントは、カメラ巡回において警備又は防犯上注意すべき事象に関連性を有するイベントである。例えば、検知装置は、ドア開閉センサ、人感センサ、侵入検知センサ、火災センサ、又は、けむりセンサとしてもよい。測定装置は、例えば、温度センサ、湿度センサ、CO2濃度センサ、照度センサ、又は、通行量センサとしてもよい。検知装置は、測定装置が測定した温度、湿度、CO2濃度、照度、又は、通行量等の物理量が予め定められた閾値よりも大きくなった、又は、小さくなったことをイベントとして検知してもよい。
「ドア開閉センサ」は、例えば、建物の出入口又は居室等の出入口等に設けられたドアの開閉を検知するセンサである。ドア開閉センサは、例えば、ドアに取り付けられ、ドアの開閉状態とメカニカルに連動するスイッチとして構成されてもよい。ドア開閉センサは、ドアの開閉を示す信号をサーバ装置10へ出力してもよい。
「人感センサ」は、特定の場所に人がいるかどうかを検知するセンサである。人感センサは、例えば、人が発する赤外線を検知する赤外線センサとして構成してもよい。人感センサは、人の有無を示す信号をサーバ装置10へ出力してもよい。人感センサは、一定時間連続で検知するため、いったん人を検知した後で検知した状態が継続するのであれば、一定間隔ごとに検知した内容をサーバ装置10へ送信してもよい。
「侵入検知センサ」は、特定の場所に人その他の障害物が侵入したことを検知するセンサである。侵入検知センサは、例えば、赤外線を発する装置と受信する装置の間に障害物が通ったことを検知するセンサ、又は、窓ガラスを割った時の振動のパターンなどを検知するセンサとして構成してもよい。侵入検知センサは、障害物の侵入を検知した場合に、そのことを示す信号をサーバ装置10へ出力してもよい。ドア開閉センサ、人感センサ、及び、侵入検知センサは、監視対象領域において何らかの物体の動きを検知するモーションセンサにより実現してもよい。
「火災センサ」は、火災の発生を検知するセンサである。火災センサは、例えば、けむりを感知するけむりセンサ、又は、熱を感知する熱センサとして構成してもよい。火災センサは、火災を検知した場合に、そのことを示す信号を検知結果としてサーバ装置10へ出力してもよい。けむりセンサは、けむりを検知した場合に、そのことを示す信号をサーバ装置10へ出力してもよい。
「温度センサ」は、特定の対象の温度を検知するセンサである。温度センサは、例えば、熱電対によるセンサ、又は、温度による物体の抵抗値の変化を利用したセンサ(例えば、サーミスタ等)として構成してもよい。温度センサは、検知した温度の数値を示す信号をサーバ装置10へ出力してもよい。
「湿度センサ」は、対象の空間における湿度を検知するセンサである。湿度センサは、例えば、抵抗式センサ、又は、容量式センサとして構成してもよい。湿度センサは、検知した湿度の数値を示す信号をサーバ装置10へ出力してもよい。
「CO2濃度センサ」は、対象の空間におけるCO2の濃度を検知するセンサである。CO2濃度センサは、例えば、CO2の赤外線を吸収する性質を利用したNDIR(Non Dispersive InfraRed)方式のセンサとして構成してもよい。CO2濃度センサは、検知したCO2濃度の数値を示す信号をサーバ装置10へ出力してもよい。
「照度センサ」は、対象における照度を検知するセンサである。照度センサは、例えば、フォトダイオード又はフォトトランジスタ等により受光した光の強度を測定するセンサとして構成してもよい。照度センサは、検知した照度の数値を示す信号をサーバ装置10へ出力してもよい。
「通行量センサ」は、人又は車両等の通行量をカウントするセンサである。通行量センサは、例えば、赤外線の発信機と受信機の間に人又は車両等が通ったことを赤外線の遮断により検知する赤外線センサにより実現してもよい。例えば、2つ1組の赤外線センサを設置して、どちらの赤外線さが先に遮断されたかによって通行の向きを識別することで、通行量を検知してもよい。
このように、センサ33は、イベントの検知及び物理量の測定に応じて、検知したイベント種類及び時刻、物理量の測定値等の情報をサーバ装置10へ送信する。
上述したドア開閉センサ、人感センサ、侵入検知センサ、火災センサ、けむりセンサ、温度センサ、湿度センサ、CO2濃度センサ、照度センサ、及び、通行量センサは、センサ33の一例であり、センサ33は、他の情報を検知する装置としてもよい。また、上述のドア開閉センサ、人感センサ、侵入検知センサ、火災センサ、けむりセンサ、温度センサ、湿度センサ、CO2濃度センサ、照度センサ、及び、通行量センサの構成は一例であり、他の方式のセンサにより構成してもよい。
(監視システムの動作)
図4は、一実施形態に係る監視システム1の動作の一例を示すフローチャートである。図4を参照して説明する監視システム1の動作は情報処理装置の制御方法の一つに相当し得る。図4の各ステップの動作は、サーバ装置10の制御部11による制御に基づき実行され得る。以下の各ステップは、監視システム1の巡回スケジュールごとに実行される。
ステップS1において、制御部11は、予め定められた巡回スケジュールに従って一定の撮影範囲を撮影するように、カメラ31(撮影装置)を制御する。
ステップS2において、制御部11は、ステップS1において、今回の巡回スケジュールに従ってカメラ31により撮影された映像をライブ映像として取得する。
ステップS3において、制御部11は、ステップS2において取得された映像をライブ映像として表示部に表示させる。具体的には、制御部11は、ステップS2で取得した映像をクライアント装置20へ送信し、クライアント装置20の出力部25のディスプレイ(表示部)に表示させてもよい。
なお、制御部11は、ステップS1~S3の処理とステップS4~S8の処理とを並行して実行してもよいし、ステップS1~S3の処理の前にステップS4~S8の処理を実行してもよい
ステップS4において、制御部11は、前回の巡回スケジュール(第1の巡回スケジュール)から今回の巡回スケジュール(第2の巡回スケジュール)までの間に撮影された映像の編集映像を取得する。編集映像は、前回の巡回スケジュールが終了してから今回の巡回スケジュールが開始するまでの間にカメラ31により撮影された映像である録画映像を編集して生成された映像である。例えば、制御部11は、前回の巡回スケジュールから今回の巡回スケジュールまでの録画映像を一定の速度で早送り再生して生成した映像等を編集映像として取得してもよい。編集映像の他の例については、ステップS8の説明において後述する。
ステップS5において、制御部11は、前回の巡回スケジュールから今回の巡回スケジュールまでの間にマイク32又はセンサ33により検知されたイベントを取得する。例えば、制御部11は、検知されたイベントの各々の発生時刻(日時)、種別、優先度、及び、場所等を含む情報を取得してもよい。
ステップS6において、制御部11は、前回の巡回スケジュールから今回の巡回スケジュールまでの間にマイク32又はセンサ33により測定された物理量を取得する。例えば、制御部11は、測定された物理量の時間的推移を示す情報を取得してもよい。
ステップS7において、制御部11は、ステップS4~S7において取得された編集映像、イベント、及び、物理量の対応関係を判定する。例えば、制御部11は、イベントが検知された時刻等に基づきこれらの対応関係を判定してもよい。
ステップS8において、制御部11は、編集映像、検知されたイベントの一覧表示、及び、物理量のグラフを対応付けて表示部に表示させる。具体的には、制御部11は、編集映像、検知されたイベントの一覧表示、及び、物理量のグラフをクライアント装置20へ送信し、クライアント装置20の出力部25のディスプレイ(表示部)に表示させてもよい。
図5は、クライアント装置20上に表示される画面70の一例を示す図である。画面70は、領域71~74を含む。
領域71は、今回の巡回スケジュールにおいて撮影により取得されている映像であるライブ映像を表示する領域である。制御部11は、カメラ31から撮影された映像を受信すると、順次、クライアント装置20へ送信し、リアルタイムに出力部25に表示させてもよい。
領域72は、前回の巡回スケジュールの終了から今回の巡回スケジュールまでにカメラ31により撮影された映像の編集映像を表示する領域である。例えば、制御部11は、前回の巡回スケジュールの終了から今回の巡回スケジュールまでに撮影された映像である録画映像の単純な早送りの映像(例えば、Timelapse画像)を編集映像として領域72に表示してもよい。あるいは、例えば、制御部11は、前回の巡回スケジュールの終了から今回の巡回スケジュールまでに撮影された録画映像を解析し、画面全体の中で何らかの動きがあった時間的範囲の映像を抽出し、抽出された映像をつなげたものを編集映像として領域72に表示してもよい。
あるいは、例えば、制御部11は、前回の巡回スケジュールの終了から今回の巡回スケジュールまでに撮影された録画映像を解析し、画面中の特定の部分で何らかの動きがあった時間的範囲の映像を抽出し、抽出された映像をつなげたものを編集映像として領域72に表示してもよい。このような処理は、例えば、監視カメラの映像を処理したり録画を制御したりするVMS(Video Management System)ソフトウェアと同様に行うことができる。具体的には、例えば、制御部11は、録画映像に対して格子状に区切りを設定し、特定の部分に相当する格子中において隣接するフレーム間に差分があれば、その場所に動きがあったと検知してもよい。制御部11は、このような格子中の動きを検知した場合、その動きが検知された時刻等の情報を録画ファイルのメタ情報として保持してもよい。制御部11は、メタ情報を参照して動きが検知された時刻を特定し、その時刻の前後一定幅の時間に撮影された映像を抽出し、抽出された映像をつなげたものを編集映像として領域72に表示してもよい。
このように、制御部11は、ライブ映像に加えて、前回の巡回スケジュール終了から今回の巡回スケジュールまでの録画映像の編集映像を並べて表示する。したがって、監視者等のユーザは、監視対象場所に現在発生している異常だけではなく、前回の巡回スケジュールにおけるチェック以降で現在の巡回スケジュールまでに監視対象場所において発生した異常を短時間で確認することが可能である。また、ユーザは、現在の巡回におけるライブ映像に前回の巡回でのライブ映像との差異があった場合でも、編集映像によって差異が発生した原因及び経緯を把握して、この差異が異常を示すものなのか、あるいは、異常ではないものなのかを判別することも可能となる。よって、制御部11によれば、監視システムにおいて、より容易に異常を発見することを可能となる。
また、制御部11は、編集映像として、録画映像を一定の速度で早送り再生して生成された映像、又は、録画映像において動きが検出された部分の映像を連続して再生する映像を取得して表示する。したがって、ユーザは、編集映像を参照して、前回の巡回スケジュールが終了後、今回の巡回スケジュールが開始するまでに撮影された特に注意すべき映像を参照しながら現在の映像を確認することができ、より容易に異常を発見することができる。
あるいは、例えば、制御部11は、ステップS5において取得したイベントの発生時刻の前後一定幅の時間に撮影された録画映像を抽出し、抽出された映像をつなげたものを領域72に表示してもよい。あるいは、例えば、制御部11は、録画映像の画面全体又は特定の一部で動きがあった時間的範囲の映像、及び、イベントの発生時刻前後の映像等を連結したものを編集映像として領域72に表示してもよい。あるいは、例えば、制御部11は、イベントの発生時刻における録画映像のフレーム画像を連結したものを編集映像として領域72に表示してもよい。
このように、制御部11は、編集画像として、録画映像の、イベントの発生時刻に対応する部分を連続して再生する映像を取得して表示する。そのため、ユーザは、検知されたイベントに対応する編集映像を参照して、発生したイベントに起因する異常をより詳細に確認することが可能である。
図5の例においては、制御部11は、表示中の編集映像の時間的な位置を示す画像721を表示している。画像721は、再生中の編集映像の時間的な位置をタイムバー上のインジケータ722により示している。したがって、ユーザは、表示中の編集映像の時刻を容易に確認することができる。
領域73は、前回の巡回スケジュールから今回の巡回スケジュールまでの間にマイク32又はセンサ33により検知されたイベントを一覧表示する領域である。図6は、図5の領域73に表示される画面の一例を示す図である。領域73は、「○月×日12:00~17:00」の間に発生したイベントを一覧表示している。図6において、「イベント状態」は、検知されたイベントに対する対応の要否及び確認済みであるか否か等を示す。「発生時刻」は、イベントが検出された時刻を示す。「優先度」は、そのイベントに対応すべき優先度を示す。「イベント種別」、そのイベントを検出したセンサ33の種別を示す。「契約者」は、監視サービスの契約者(例えば、対象施設の管理者等)を示す。「ロケーション」は、イベントが検出された場所を示す。
例えば、ドア開閉センサ、人感センサ、侵入検知センサ、及び、火災センサ等がイベントを検知した場合、イベント検知に応じて直ちにサーバ装置10等へアラームを通知したり、アラーム音を出力したりするなどして、対象施設の管理者等がそれに対応することが考えられる。このようなイベント検知に応じた対応がなされた場合、制御部11は、「イベント状態」において、対応済みであることを表示してもよい。このように対応済みであっても、このようなイベントが検知されたことを表示することで、ユーザは、巡回スケジュールの際に侵入及び火災等の重要なイベントが発生したことに留意しながら巡回を行うことができる。さらに、制御部11は、このように問題であることが明確なイベントに加えて、問題ありとは取り扱われなかったイベントについても、図6のように、発生時刻及びイベント種別等を表示する。これにより、ユーザは、巡回の際に検知されたイベントに注意しながら、巡回スケジュールにおいて領域71に表示されている映像を確認することで、そのイベントが実際に問題なかったのかを容易に判断することができる。
制御部11は、検知されたイベントを「発生時刻」順に表示するが、「優先度」「イベント種別」等の他の項目の選択に応じでソートして表示してもよい。また、制御部11は、センサ33ごとに、検知されたイベントを「発生時刻」順に表示してもよい。また、制御部11は、イベントを検知したセンサ33の種類に応じて、色又はフォント等を調整してイベントの情報を表示してもよい。
このように、制御部11は、前回の巡回スケジュールが終了後、今回の巡回スケジュールが開始するまでの間に検知されたイベントの各々の発生時刻及び種別の一覧表示を含む画像である一覧画像を、ライブ映像及び編集映像と共に表示させる。したがって、ユーザは、イベントが発生した時刻及び種別等を認識しながら現在のライブ映像を確認することができ、より容易に前回の巡回スケジュールから現在までの間に発生した異常を発見することが可能になる。
また、センサ33が測定した温度、湿度、CO2濃度、照度、又は、通行量等の物理量は、領域74においてグラフ表示されるが、制御部11は、これらの物理量が予め定められた閾値よりも大きくなった、又は、小さくなったことをイベントとして領域73に一覧表示してもよい。例えば、制御部11は、温度が一定の温度を超えた場合、CO2濃度が一定濃度を超えた場合、単位時間当たりの通過人数もしくは通過車両の数が閾値を超えた場合、又は、滞在している人数が閾値を超えた場合等に、これらをイベントとして領域73に表示してもよい。あるいは、制御部11は、これらの物理量の変化幅が予め定められた閾値よりも大きくなったことをイベントとして領域73に一覧表示してもよい。これにより、ユーザは、特に確認が必要な物理量を容易に認識することができる。
このように、制御部11は、測定された物理量に基づき判定されたイベントを一覧画像の中に表示するため、ユーザは、検知装置により検知されたイベントだけでなく、物理量に基づき判定されたイベントを一覧画像の中で確認することができる。
また、制御部11は、前回の巡回スケジュールの終了から今回の巡回スケジュールまでにカメラ31により撮影された録画映像を解析し、人又は物体等の存在及び特定の事象をイベントとして検出してもよい。制御部11は、これらのイベントについての情報を領域73に一覧表示してもよい。具体的には、制御部11は、公知の機械学習の手法を用いて、例えば、映像中の人物、備品、動物、車両、特殊車両、又は、資材が出現したことをイベントとして検出してもよい。具体的には、例えば、制御部11は、画面内に特定の領域を定義して、人物又は車両等が、その領域に入ったと認識される場合に、その領域への侵入が発生したというイベントを検出してもよい。あるいは、例えば、制御部11は、人物の転倒、暴力及び窃盗などの人物の特定の行為を公知の機械学習の手法を用いて検出してもよい。制御部11は、前回の巡回スケジュールの終了から今回の巡回スケジュールまでにカメラ31により撮影された録画映像を解析してイベントを検出する場合、映像の情報に加えて、マイク32及びセンサ33が検出した情報を利用してもよい。
また、制御部11は、前回の巡回スケジュールの終了から今回の巡回スケジュールまでにマイク32により取得された音声を解析してイベントとして検出し、検出したイベントを領域73に一覧表示してもよい。例えば、制御部11は、各巡回場所に設置されたマイク32、又は、カメラ31の内蔵マイクが収集した音に対して公知の機械学習による解析を加え、イベントを検出してもよい。例えば、制御部11は、人の叫び声(悲鳴、怒号等)、人の足音(歩行、走行等)、喧嘩等の暴力的行為の可能性がある口調の会話又は打撃音をイベントとして検出してもよい。あるいは、例えば、制御部11は、物をたたく音又は壊す音、その場所で動作している装置の発する異音、車両の衝突音、急ブレーキの音、クラクション、車の衝突音、動物の鳴き声、動物の足音等を抽出して、それらをイベントとして検出してもよい。制御部11は、これらの音声を認識すると、例えば、叫び声、足音、又は、暴力行為等の種類を示して領域73に一覧表示してもよい。
領域74は、前回の巡回スケジュールから今回の巡回スケジュールまでの間にマイク32又はセンサ33により測定された物理量の時間的推移を示すグラフを表示する領域である。図7は、図5の領域74に表示される画面の一例を示す図である。図7は、温度の時間的変化をグラフ741、及び、騒音レベルの時間的変化を示すグラフ742の例を示している。
なお、制御部11は、前述のセンサ33が測定した物理量の時間的推移だけでなく、カメラ31が撮影した録画映像を解析し、その解析結果に基づき検出された量の時間的推移を領域74に表示してもよい。例えば、制御部11は、公知の機械学習の手法を用いて、前回の巡回スケジュールの終了から今回の巡回スケジュールまでにカメラ31により撮影された映像を解析し、その映像の中の人物及び車両等を検出してもよい。制御部11は、このような検出結果に基づき、特定の場所における通過人数、通過車両数、滞在人数、及び、滞在車両数等の時間的推移を取得してもよい。具体的には、例えば、制御部11は、検出した人物又は車両等が、画面内に設定された線を通過したこと、及び、通過の向き等により人又は車両の通行を検知してもよい。あるいは、制御部11は、例えば、一定の領域に存在する人物又は車両等の個数を算出したり、その領域の入口及び出口の流出入量の差分を計算したりするなどして、その領域における滞在人数及び滞在車両数等を検出してもよい。制御部11は、このようにして取得された量の時間的推移を示すグラフを領域74に表示してもよい。
このように、監視システム1は、自動巡回においてユーザが視聴するカメラ31の映像を表示する画面において、前回の巡回から今回の巡回のタイミングまでの間の、カメラ31が撮影した映像の編集映像、センサ33等にて検知したイベントの履歴、及び、センサ33が連続して測定した数値データをもとにしたグラフを同時に表示する。したがって、監視システム1によれば、ユーザは、異常な物理量の変化等があった場合に、編集映像及び一覧画像と比較しながらそのことを認識し、現在のライブ映像を確認することができる。また、ユーザは、巡回に当たり着目すべき点を認識することができるため、より警備レベルの高い監視を容易に行うことが可能となる。したがって、ユーザは、より容易に異常を発見することが可能になる。
制御部11は、同一のイベントに基づき領域72~74に表示されている画像を互いに対応付けて表示してもよい。図8及び図9は、クライアント装置20上に表示される画面の一例を示す図である。
図8は、人感センサが人物を検知したイベントに基づき、領域73におけるイベントの一覧表示と、領域72の編集映像とを対応付けて表示している様子を示している。前述のように、センサ33が特定のイベントを検知した場合、制御部11は、そのイベントを検知した時刻を含む一定の時間的範囲にカメラ31が撮影した映像を抽出して編集映像を生成してもよい。そこで、制御部11は、領域72内において編集映像を再生する場合において、そのようなイベントの前後の部分を表示している間、領域73に一覧表示されている対応するイベントの情報731との対応関係を画像751により表示してもよい。制御部11は、領域73に一覧表示されている対応するイベントの情報731の色又は文字の大きさを変化させるなどして、強調表示してもよい。制御部11は、領域72において、イベントの情報731に対応する編集映像を表示する際に、全体を枠線で囲むなどして強調表示してもよい。さらに、制御部11は、領域73においてそのイベントの情報731がユーザにより選択されたことに応じて、画像751とともに、対応する編集映像を領域72に表示してもよい。
このように、制御部11は、表示中の編集映像に対応するイベントを一覧画像において強調表示するため(例えば、情報731)、ユーザは、表示中の編集映像に対応するイベントをより容易に認識することができる。また、制御部11は、ライブ映像、編集画像、及び、一覧画像を同時に表示する際に、一覧画像において強調表示されたイベントと、編集映像との対応関係を示す画像(例えば、画像751、後述の画像752)を更に表示する。したがって、ユーザは、表示中の編集映像の内容と、検出されたイベントとの対応関係をより容易に認識することができる。
図9は、マイク32が一定の閾値よりも大きなレベルの音声を検知したことに基づき、そのイベントに関連する領域72の編集映像、領域73において一覧表示されたイベントの情報、及び、領域74に表示されたグラフを対応付けて表示する様子を示している。図9の例では、時刻16:11頃、一定の音声レベルを超える騒音がイベントとして検出されている。領域74では、騒音レベルのグラフ743において、そのイベントに対応する点がイベント画像としての画像747により示されている。イベント画像とは、グラフ上でイベントの発生を示す画像である。図9の例において、画像747は星印であるが、イベント画像は、星印以外の任意の形状を有する画像でもよい。例えば、イベント画像は、矢印、所定のマーク、図柄(アイコン等)、又は、文字表示等でもよい。領域73では、そのイベントの情報731が強調表示されている。領域72では、そのイベントの時刻の映像が表示されている。制御部11は、領域72の編集映像、領域73のイベントの情報731、及び、領域74のグラフ743のピークを示す画像747の対応関係を画像752,753が示している。
このように、制御部11は、測定された物理量が予め定められた条件を充足したことをイベントとして判定し、イベントが判定された時刻及び物理量に対応するグラフ上の位置に、イベント発生を示すイベント画像(例えば、画像747)を表示させる。したがって、ユーザは、グラフにおいてイベントが発生した時刻及び物理量等を容易に認識することができる。ここで、制御部11は、物理量の測定値、又は、測定値の変化量が、予め定められた閾値を超えた場合に、予め定められた条件を充足したとして、イベントを判定してもよい。あるいは、物理量の測定値または測定値の変化量において、時刻、曜日、季節等による変化の規則性があるものについては、規則性を持った周期変化に対しての予め許容できる逸脱の範囲を定めておくことができる。この場合、制御部11は、当該範囲を超えた逸脱が発生した場合にイベントを判定してもよい。また、制御部11は、ライブ映像、編集映像、イベントの一覧画像、及び、物理量のグラフを同時に表示させる際に、グラフ上のイベント画像(例えば、画像747)と、そのイベントの一覧画像における表示との対応関係を示す画像(例えば、画像753)を更に表示する。したがって、ユーザは、物理量のグラフと、一覧画像に表示されたイベントとの対応関係をより容易に認識することができる。
図4の説明に戻る。ステップS9において、制御部11は、レポート(報告文書)の作成を行うか否かを判定する。例えば、制御部11は、クライアント装置20のユーザがレポートの作成を指示した場合に、レポートの作成を行うと判定してもよい。制御部11は、レポートの作成を行う場合(ステップS9でYES)はステップS10へ進み、そうでない場合(ステップS9でNO)はフローチャートの処理を終了する。
ステップS10において、制御部11は、ユーザからレポートに記載するコメントの入力を受け付ける。例えば、テキストの入力画面を表示して、その入力画面を介してコメントの入力を受け付けてもよい。
ステップS11において、制御部11は、レポートのプレビュー画面を表示する。制御部11は、画面70に表示された領域71~74の画像、及び、ステップS10において入力されたコメントに基づき、レポートのプレビュー画面を作成してもよい。
図10は、監視システム1が生成する報告文書のプレビュー画面の一例を示す図である。
図10において、レポートのプレビュー画面80は、領域81~85を含む。領域81は、カメラ31の映像に含まれる代表的な画像を表示する。領域82は、イベントが検出された際にカメラ31が撮影した画像を表示する。領域83は、イベントの一覧表示を示す画像を表示する。領域84は、物理量の時間的変化を示すグラフを表示する。領域85は、ユーザにより入力されたコメントを表示する。図10の例では、「○月×日16時頃に不審人物が○○ビルの構内に立ち入り、16:11頃、同ビル1Fのエントランス脇の施錠された窓を破壊してエントランス内部に侵入した。不審人物は、窓からエントランス内部に侵入する際に、エントランスエリアに展示してある壺に接触して、その壺を破損した。」とのコメントが入力されている。ユーザは、このようなプレビュー画面80を確認して、プレビュー画面80により示されるレポートを出力するかどうかを判断する。
制御部11は、レポートの作成過程において、例えば、巡回以降の録画映像、センサの測定値、及び、イベント等に関して、レポートに盛り込む内容の取捨選択をユーザから受け付けてもよい。例えば、プレビュー画面80における領域81~85に対する操作を通じて、レポートに表示する内容の編集を受け付けてもよい。
ステップS12において、制御部11は、レポートを出力するか否かを判定する。例えば、制御部11は、ユーザからレポート出力が指示されたか否かに基づき、レポートを出力するか否かを判定してもよい。制御部11は、レポートを出力する場合(ステップS12でYES)はステップS13へ進み、そうでない場合(ステップS12でNO)はステップS10へ進んでコメントの編集等を更に受け付ける。
ステップS13において、制御部11は、プレビュー画面80によりユーザに確認されたレポートを出力する。例えば、制御部11は、PDF(Portable Document Format)等の特定の形式のファイルとしてレポートを出力したり、プリンタから記録媒体に印刷されたレポートを出力したりしてもよい。ステップS13の処理を終えると、制御部11は、フローチャートの処理を終了する。
以上のように、サーバ装置10は、映像を撮影するカメラ31と通信可能な情報処理装置である。サーバ装置10は、予め設定された巡回スケジュールに従って一定の撮影範囲を撮影するように、カメラ31を制御する。サーバ装置10は、第1の巡回スケジュール(前回の巡回スケジュール)が終了してから第1の巡回スケジュールの次の巡回スケジュールである第2の巡回スケジュール(今回の巡回スケジュール)が開始するまでの間に撮影範囲において撮影された録画映像の編集映像を取得する。サーバ装置10は、第2の巡回スケジュールに従ってカメラ31により撮影された撮影範囲の映像であるライブ映像を取得する。サーバ装置10は、ライブ映像と、編集映像と、をクライアント装置20の出力部25(表示部)に表示させる。
したがって、ユーザは、第1の巡回スケジュールが終了してから第2の巡回スケジュールが開始するまでの編集映像を確認しながらライブ映像を参照することができる。したがって、ユーザは、監視対象場所に現在発生している異常だけではなく、前回の巡回スケジュールにおけるチェック以降で現在の巡回スケジュールまでに監視対象場所において発生した異常を短時間で発見することが可能である。また、ユーザは、現在の巡回におけるライブ映像に前回の巡回でのライブ映像との差異があった場合でも、編集映像によって差異が発生した原因及び経緯を把握して、この差異が異常を示すものなのか、あるいは、異常ではないものなのかを判別することも可能となる。例えば、ユーザは、前回の巡回時以降に、人又は物体の移動又は出入りがなされた場所を把握した上で、今回の巡回において遺留物又は意図的に設置された盗聴器等の有無を重点的にチェックし、それらの発見確率を上げることが可能である。
また、サーバ装置10は、ライブ映像及び編集映像と共に、検知されたイベントの一覧画像及び測定された物理量のグラフを併せて表示する。したがって、ユーザは、チェック対象とする時間において、温度、湿度、騒音レベル、CO2濃度等の環境の変化と、人数の増え方などの環境変化の要因とが一致していない場合に、その場所の重点的にチェックすることができる。これにより、警備上の見落としなどをさらに防止することが可能となる。また、ユーザは、例えば、前回の巡回時に撮影された映像と今回の巡回において撮影された映像とを比較することができる。両者に差分があった場合に、ユーザは、その差分が異常な状況を示すのか、あるいは前回の巡回から今回までの期間において発生したことによって合理的に発生した差分なのかを見極めることにより、異常か正常かの見極めの精度を上げることが可能となる。
このように、監視システム1は、カメラ31巡回におけるユーザ向けの映像表示において、カメラ31が撮影した現在の映像に加えて、前回の巡回から今回の巡回までの間に撮影された映像を早送りした映像、センサ33によって検知されたイベント履歴、及び、センサ33によって出力された数値データ等を同時に表示する。したがって、ユーザのより高度な警備監視が可能となる。
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックは統合されてもよいし、又は1つのブロックは分割されてもよい。フローチャートに記載の複数のステップは、記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行されてもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
1 監視システム
10 サーバ装置
11 制御部
12 記憶部
13 通信部
101 信号処理部
102 通信制御部
20 クライアント装置
21 制御部
22 記憶部
23 通信部
24 入力部
25 出力部
201 巡回制御部
202 表示制御部
203 通信制御部
31 カメラ
32 マイク
33 センサ
70 画面
71~74 表示領域

Claims (13)

  1. 複数のフレーム画像からなる映像を撮影する撮影装置と通信可能な情報処理装置であって、
    予め設定された巡回スケジュールに従って一定の撮影範囲を撮影するように、前記撮影装置を制御し、
    第1の前記巡回スケジュールが終了してから前記第1の巡回スケジュールの次の巡回スケジュールである第2の前記巡回スケジュールが開始するまでの間に前記撮影装置により撮影された映像である録画映像を編集して生成された編集映像を取得し、
    前記第2の巡回スケジュールに従って前記撮影装置により撮影された映像であるライブ映像を取得し、
    前記ライブ映像と、前記編集映像とを、表示部に表示させる、
    制御部を備える情報処理装置。
  2. 前記制御部は、前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの期間にわたって、前記録画映像を一定の速度で早送り再生して生成された映像と、前記録画映像において動きが検出された部分の映像を連続して再生する映像と、のいずれかを、前記編集映像として取得する、請求項1に記載の情報処理装置。
  3. 予め定められたイベントの発生を検知する検知装置と通信可能であり、
    前記制御部は、
    前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの間に前記検知装置より検知された前記イベントの各々の発生時刻及び種別を含む情報を取得し、
    前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの間に前記検知装置より検知された前記イベントの各々の発生時刻及び種別の一覧表示を含む画像である一覧画像を前記表示部に更に表示させる、
    請求項1に記載の情報処理装置。
  4. 前記制御部は、前記録画映像の、前記検知装置より検知された前記イベントの発生時刻に対応する部分を連続して再生する映像を前記編集映像として取得する、請求項3に記載の情報処理装置。
  5. 前記制御部は、前記表示部に表示されている前記編集映像に対応する前記イベントを、前記一覧画像において強調表示させる、請求項4に記載の情報処理装置。
  6. 前記制御部は、前記一覧画像において強調表示された前記イベントと、前記編集映像との対応関係を示す画像を前記表示部に更に表示させる請求項5に記載の情報処理装置。
  7. 予め定められた物理量を測定する測定装置と通信可能であり、
    前記制御部は、
    前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの間に前記測定装置により測定された前記物理量の時間的推移を示す情報を取得し、
    前記第1の巡回スケジュールが終了してから前記第2の巡回スケジュールが開始するまでの間に前記測定装置により測定された前記物理量の時間的推移を示すグラフを前記表示部に更に表示させる、
    請求項3に記載の情報処理装置。
  8. 前記制御部は、
    前記測定装置により測定された前記物理量が予め定められた条件を充足したことを前記イベントとして判定し、
    前記イベントが判定された時刻及び前記物理量に対応する前記グラフ上の位置に、前記判定されたイベント発生を示すイベント画像を前記表示部に更に表示させる、
    請求項7に記載の情報処理装置。
  9. 前記制御部は、
    前記物理量に基づき判定されたイベントの各々の発生時刻及び種別の表示を更に含む画像を前記一覧画像として前記表示部に更に表示させる、
    請求項8に記載の情報処理装置。
  10. 前記制御部は、前記イベント画像と、当該イベント画像により示される前記イベントの前記一覧画像における表示と、の対応関係を示す画像を前記表示部に更に表示させる請求項9に記載の情報処理装置。
  11. 前記制御部は、前記表示部に表示中の前記編集映像の時間的な位置を示す画像を前記表示部に更に表示させる、請求項1から10のいずれか一項に記載の情報処理装置。
  12. 複数のフレーム画像からなる映像を撮影する撮影装置と通信可能な情報処理装置の制御方法であって、
    前記情報処理装置の制御部が、
    予め設定された巡回スケジュールに従って一定の撮影範囲を撮影するように、前記撮影装置を制御する工程と、
    第1の前記巡回スケジュールが終了してから前記第1の巡回スケジュールの次の巡回スケジュールである第2の前記巡回スケジュールが開始するまでの間に前記撮影装置により撮影された映像を編集して生成された編集映像を取得する工程と、
    前記第2の巡回スケジュールに従って前記撮影装置により撮影された映像であるライブ映像を取得する工程と、
    前記ライブ映像と、前記編集映像とを、表示部に表示させる工程と、
    を含む、情報処理装置の制御方法。
  13. コンピュータに、
    予め設定された巡回スケジュールに従って一定の撮影範囲の複数のフレーム画像からなる映像を撮影するように、撮影装置を制御することと、
    第1の前記巡回スケジュールが終了してから前記第1の巡回スケジュールの次の巡回スケジュールである第2の前記巡回スケジュールが開始するまでの間に前記撮影装置により撮影された映像を編集して生成された編集映像を取得することと、
    前記第2の巡回スケジュールに従って前記撮影装置により撮影された映像であるライブ映像を取得することと、
    前記ライブ映像と、前記編集映像とを、表示部に表示させることと、
    を含む動作を実行させるプログラム。

JP2023008342A 2023-01-23 情報処理装置及びその制御方法、プログラム Pending JP2024104222A (ja)

Publications (1)

Publication Number Publication Date
JP2024104222A true JP2024104222A (ja) 2024-08-02

Family

ID=

Similar Documents

Publication Publication Date Title
CA2814366C (en) System and method of post event/alarm analysis in cctv and integrated security systems
US9984545B2 (en) System and method of monitoring the video surveillance activities
US9286778B2 (en) Method and system for security system tampering detection
KR101980551B1 (ko) 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법
KR101485022B1 (ko) 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
KR101467352B1 (ko) 위치기반 통합관제시스템
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
CN116457851B (zh) 用于地产监控的系统和方法
KR20190035187A (ko) 감시 지역 음성 경고 방송 시스템
KR101466004B1 (ko) 지능형 방범, 방재 및 사후처리 통합 트리플렉스 시스템 및 그 제어 방법
KR101002746B1 (ko) 쓰레기 불법투기 모니터링 시스템
CN112757300A (zh) 机器人的防护系统及方法
KR20210043960A (ko) IoT와 인공지능 기술을 이용한 행동인식 기반의 안전 감시 시스템 및 방법
KR102438433B1 (ko) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
JP2010256194A (ja) 侵入検知装置
JP2024104222A (ja) 情報処理装置及びその制御方法、プログラム
KR101524922B1 (ko) 비상 알림을 위한 장치, 방법 및, 기록 매체
WO2024157623A1 (en) Information processing apparatus, control method thereof, and program
JP7384601B2 (ja) 監視システム
KR20220088183A (ko) 실시간 영상 분석을 통한 이벤트 발생 감지 및 안내 정보 제공 방법
JP4634689B2 (ja) フレーム監視システム
JP5580679B2 (ja) 通報装置
KR101891278B1 (ko) 다중 영상 표시 방법 및 이를 위한 다중 영상 관리 서버, 다중 영상 표시 시스템, 컴퓨터 프로그램, 그 기록매체
KR100437731B1 (ko) 감시 시스템 및 그 방법
JP2012003595A (ja) 通報装置