JP2024017843A - 監視システム、監視方法、およびプログラム - Google Patents

Abstract

【課題】異常音が鳴った前後の複数の監視カメラの動画の確認する手間を減らす監視システム、監視方法及びプログラムを提供する。【解決手段】監視システムにおいて、録画管理部は、監視カメラにより撮影した映像データ内の異常音が発生したタイミングを含む情報をメタデータとして、映像データとともに管理する。カメラ位置情報保持部は、監視カメラの位置を示すカメラ位置情報を記憶する。表示内容判断部は、異常音を検知した監視カメラである第１監視カメラの動画データを表示する場合に、メタデータが含むタイミングに動画データ内に動き又は人物が映っているかを判断する。録画表示制御部は、動画データ内で動きがあるか又は人物が映っている場合、第１監視カメラの動画データを表示部に表示し、そうでない場合、カメラ位置情報に基づいて、第１監視カメラの動画データに加えて、第１監視カメラの近傍の周辺カメラの動画データを表示部に表示する。【選択図】図１

Description

本発明は、監視システム、監視方法、およびプログラムに関する。

介護施設等には、職員の虐待を検知するため、施設内に監視カメラを配備していることが多いが、監視カメラの死角で行われた虐待は検出できない可能性がある。そこで、監視カメラに内蔵されたマイクで音を集音し、大きな音が鳴ったタイミングの録画データ（動画データ）のメタデータを記録する技術を用い、録画データの再生時に、大きな音が鳴ったタイミングから頭出しして再生する技術がある。これにより、大きな音等の異常音が鳴った前後で付近に人がいなかったかを録画データでチェックすることが可能となる。

しかしながら、上記の技術では、録画データの頭出しをユーザが手作業で行う必要があり、複数の監視カメラのそれぞれの録画データについて音が鳴った前後の時間を確認する場合、多くの時間と手間がかかる。

本発明は、上記に鑑みてなされたものであって、異常音が鳴った前後の複数の監視カメラの動画データの確認する手間を減らすことができる監視システム、監視方法、およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、監視カメラにより撮影した動画データ内の異常音が発生したタイミングを含む情報をメタデータとして、前記映像データとともに管理している録画管理部と、前記監視カメラの位置を示すカメラ位置情報を記憶するカメラ位置情報保持部と、前記異常音を検知した前記監視カメラである第１監視カメラの前記動画データを表示する場合に、前記メタデータが含む前記タイミングに前記動画データ内に動きがあるかまたは人物が映っているか否かを判断する表示内容判断部と、前記動画データ内で動きがあるかまたは人物が映っている場合、前記第１監視カメラの前記動画データを表示部に表示し、前記動画データ内で動きが無くかつ人物が映っていない場合、前記カメラ位置情報に基づいて、前記第１監視カメラの前記動画データに加えて、前記第１監視カメラの周囲の前記監視カメラである周辺カメラの前記動画データを前記表示部に表示する録画表示制御部と、を備える。

本発明によれば、異常音が鳴った前後の複数の監視カメラの動画データの確認する手間を減らすことができる、という効果を奏する。

図１は、本実施の形態にかかる監視システムの構成の一例を示すブロック図である。 図２は、本実施の形態にかかる監視システムが有するサーバおよび管理端末のハードウェア構成の一例を示す図である。 図３は、本実施の形態にかかる監視システムが有する監視カメラのハードウェア構成の一例を示す図である。 図４は、本実施の形態にかかる監視システムの機能構成の一例を示す図である。 図５は、本実施の形態にかかる監視システムが有するカメラ位置情報保持部が記憶するカメラ位置情報の一例を示す図である。 図６は、本実施の形態にかかる監視システムが有する録画管理部が記憶するメタデータの一例を示す図である。 図７は、本実施の形態にかかる監視システムにおける映像データの表示処理の流れの一例を示すシーケンス図である。 図８は、本実施の形態にかかる監視システムにおける表示内容判断部における判断処理の流れの一例を示すフローチャートである。

以下に添付図面を参照して、監視システム、監視方法、およびプログラムの実施の形態を詳細に説明する。

図１は、本実施の形態にかかる監視システムの構成の一例を示すブロック図である。本実施の形態にかかる監視システムは、図１に示すように、複数の監視カメラ１－１，．．．，１－ｎと、サーバ２と、ユーザが操作するＰＣ（Personal Computer）等の管理端末３と、を有する。以下の説明では、複数の監視カメラ１－１，．．．，１－ｎを区別しない場合には、監視カメラ１と記載する。複数の監視カメラ１と、サーバ２と、管理端末３とは、ネットワークＮＴを介して互いに通信可能に接続されている。

図２は、本実施の形態にかかる監視システムが有するサーバおよび管理端末のハードウェア構成の一例を示す図である。ここでは、サーバ２のハードウェア構成の一例について説明するが、管理端末３も同様のハードウェア構成を有する。本実施の形態にかかるサーバ２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、通信Ｉ／Ｆ２０４と、ＨＤＤ（Hard Disk Drive）２０５と、ＵＩ部２０６と、を有する。

ＲＯＭ２０２は、各種プログラムおよび各種データを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１により各種プログラムを実行する際の作業領域として用いられる。ＣＰＵ２０１は、ＲＡＭ２０３を作業領域として用いて、ＲＯＭ２０２等の記憶部に記憶される各種プログラムを実行する。通信Ｉ／Ｆ２０４は、サーバ２と、外部装置（例えば、管理端末３、監視カメラ１）との通信を司る。ＨＤＤ２０５は、各種情報を記憶する。ＵＩ部２０６は、ユーザに対して各種情報を表示したり、ユーザからの各種操作の入力を受け付けたりする。

図３は、本実施の形態にかかる監視システムが有する監視カメラのハードウェア構成の一例を示す図である。本実施の形態にかかる監視カメラ１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、通信Ｉ／Ｆ１０４と、カメラ１０５と、マイク１０６と、を有する。本実施の形態では、監視カメラ１は、マイク１０６を搭載（内蔵）しているが、マイク１０６は外付けでも良く、また、複数の監視カメラ１の全てがマイク１０６を搭載している必要はない。

ＲＯＭ１０２は、各種プログラムおよび各種データを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１により各種プログラムを実行する際の作業領域として用いられる。ＣＰＵ１０１は、ＲＡＭ１０３を作業領域として用いて、ＲＯＭ１０２等の記憶部に記憶される各種プログラムを実行する。通信Ｉ／Ｆ１０４は、監視カメラ１と、外部装置（例えば、サーバ２、管理端末３）との通信を司る。

図４は、本実施の形態にかかる監視システムの機能構成の一例を示す図である。本実施の形態では、サーバ２は、図４に示すように、カメラ位置情報保持部２１１、録画管理部２１２、および表示内容判断部２１３を有する。本実施の形態では、サーバ２は、ＣＰＵ２０１が、ＲＡＭ２０３を作業領域として、ＲＯＭ２０２に記憶されるプログラムを実行することにより、録画管理部２１２および表示内容判断部２１３を実現する。

カメラ位置情報保持部２１１は、ＲＯＭ２０２またはＨＤＤ２０５等により実現され、監視カメラ１の位置を示すカメラ位置情報を記憶するカメラ位置情報保持部の一例である。

図５は、本実施の形態にかかる監視システムが有するカメラ位置情報保持部が記憶するカメラ位置情報の一例を示す図である。本実施の形態では、カメラ位置情報保持部２１１は、図５に示すように、複数の監視カメラ１のそれぞれと対応付けて、当該各監視カメラ１の周辺（近傍）に設けられる監視カメラ１（周辺カメラ）を記憶する。

図４に戻り、録画管理部２１２は、監視カメラ１により撮影される映像データ（動画データの一例）と共に、当該映像データのメタデータを管理（記憶）する録画管理部の一例である。ここで、メタデータは、映像データ内の動きまたは音に関する情報を含む。具体的には、メタデータは、監視カメラ１により撮影した映像データ内の異常音が発生したタイミング（音発生時刻等）を含む情報である。

図６は、本実施の形態にかかる監視システムが有する録画管理部が記憶するメタデータの一例を示す図である。本実施の形態では、録画管理部２１２は、図６に示すように、監視カメラ１と対応付けて音発生時刻を記憶する。ここで、音発生時刻（音発生時間）は、監視カメラ１により撮影した映像データにおいて異常音が発生した時刻（時間）である。

図４に戻り、表示内容判断部２１３は、異常音を検知した監視カメラ１である第１監視カメラ１の映像データ（動画データ）を表示する場合に、当該映像データのメタデータが含む音発生時刻に当該映像データ内に動きがあるかまたは人物が映っているか否かを判断する表示内容判断部の一例である。本実施の形態では、表示内容判断部２１３は、メタデータが含む音発生時刻の中からユーザによる選択を受け付けた音発生時刻に映像データ内に動きがあるかまたは人物が映っているか否かを判断する。また、本実施の形態では、表示内容判断部２１３は、映像データ内における動きの量が予め設定される動きの量を超えた場合に、映像データ内に動きがあると判断する。

また、表示内容判断部２１３は、映像データ内で動きがあるかまたは人物が映っている場合、第１監視カメラ１の映像データを録画管理部２１２から取得する。一方、表示内容判断部２１３は、映像データ内で動きが無くかつ人物が映っていない場合、カメラ位置情報保持部２１１に記憶される第１監視カメラ１のカメラ位置情報に基づいて、第１監視カメラ１の映像データに加えて、第１監視カメラ１の周囲の監視カメラ１である周辺カメラ１の映像データを取得する。

本実施の形態では、管理端末３は、図４に示すように、ユーザ操作受付部３１１、および録画表示制御部３１２を有する。本実施の形態では、管理端末３は、ＣＰＵ２０１が、ＲＡＭ２０３を作業領域として、ＲＯＭ２０２に記憶されるプログラムを実行することにより、ユーザ操作受付部３１１、および録画表示制御部３１２を実現する。

ユーザ操作受付部３１１は、ユーザからの映像データの再生操作を受け付ける受付部の一例である。また、ユーザ操作受付部３１１は、後述する録画表示制御部３１２により表示される音発生時刻のリストの中から、ユーザによる音発生時刻の選択を受け付ける。この場合、サーバ２の表示内容判断部２１３は、上述したように、ユーザによる選択を受け付けた音発生時刻に映像データ内に動きがあるかまたは人物が映っているか否かを判断する。

録画表示制御部３１２は、録画管理部２１２から、メタデータが含む音発生時刻のリストを取得して、管理端末３のＵＩ部２０６等の表示部に表示する。また、録画表示制御部３１２は、ユーザ操作受付部３１１により映像データの再生操作を受け付けた場合に、サーバ２の表示内容判断部２１３により取得される映像データを管理端末３のＵＩ部２０６等の表示部に表示する。

具体的には、録画表示制御部３１２は、サーバ２の表示内容判断部２１３により映像データ内で動きがあるかまたは人物が映っていると判断された場合、第１監視カメラ１の映像データを管理端末３のＵＩ部２０５等の表示部に表示する。一方、録画表示制御部３１２は、サーバ２の表示内容判断部２１３により映像データ内で動きが無くかつ人物が映っていないと判断された場合、第１監視カメラ１の映像データに加えて、周辺カメラ１の映像データを管理端末３のＵＩ部２０６等の表示部に表示する。

これにより、異常音が含まれる映像データの頭出しをユーザが手作業で行う必要がなく、複数の監視カメラ１のそれぞれの映像データについて異常音が鳴った前後の時間の映像データを確認する必要が無くなる。その結果、異常音が鳴った前後の複数の監視カメラ１の映像データの確認する手間を減らすことができる。

図７は、本実施の形態にかかる監視システムにおける映像データの表示処理の流れの一例を示すシーケンス図である。管理端末３のユーザ操作受付部３１１により、ユーザからの映像データの再生操作が受け付けられると、録画表示制御部３１２は、サーバ２の録画管理部２１２から、映像データのメタデータが含む音発生時刻のリストを取得する（ステップＳ７０１）。そして、録画表示制御部３１２は、取得したリストを管理端末３のＵＩ部２０６に表示する（ステップＳ７０２）。

次いで、管理端末３のユーザ操作受付部３１１は、ユーザによる音発生時刻の選択を受け付け（ステップＳ７０３）、選択を受け付けた音発生時刻（選択時刻）の異常音を選択されたことをサーバ２の表示内容判断部２１３に通知する（ステップＳ７０４）。表示内容判断部２１３は、録画管理部２１２から、選択された音発生時刻に異常を検知した監視カメラ１（第１監視カメラ１）の映像データを取得する（ステップＳ７０５）。そして、表示内容判断部２１３は、選択を受け付けた音発生時刻に映像データ内に動きがあるかまたは人物が映っているか否かを解析する（ステップＳ７０６）。

選択を受け付けた音発生時刻（選択時刻）に映像データ内に動きがあるかまたは人物が映っている場合、表示内容判断部２１３は、取得した映像データのうち選択時刻の映像データを、管理端末３の録画表示制御部３１２に送信して、当該映像データの表示を要求する（ステップＳ７０７）。録画表示制御部３１２は、サーバ２から受信した映像データを、管理端末３のＵＩ部２０６に表示する（ステップＳ７０８）。

一方、選択時刻に映像データ内に動きがなくかつ人物が映っていない場合、表示内容判断部２１３は、カメラ位置情報保持部２１１から、第１監視カメラ１と紐付けられる周辺カメラ１の情報を取得する（ステップＳ７０９）。次いで、表示内容判断部２１３は、録画管理部２１２から、周辺カメラ１の映像データのうち、選択時刻の映像データを取得する（ステップＳ７１０）。そして、表示内容判断部２１３は、選択時刻における第１監視カメラ１および周辺カメラ１の映像データを管理端末３の録画表示制御部３１２に送信して、当該映像データの表示を要求する（ステップＳ７１１）。録画表示制御部３１２は、選択時刻における第１監視カメラ１および周辺カメラ１の映像データを、管理端末３のＵＩ部２０６に表示する（ステップＳ７１２）。

ただし、カメラ位置情報保持部２１１から、第１監視カメラ１と紐付けられる周辺カメラ１の情報が取得できなかった場合、表示内容判断部２１３は、選択時刻における第１監視カメラ１の映像データのみを管理端末３の録画表示制御部３１２に送信して、当該映像データの表示を要求する（ステップＳ７１３）。録画表示制御部３１２は、選択時刻における第１監視カメラ１の映像データを、管理端末３のＵＩ部２０６に表示する（ステップＳ７１４）。

図８は、本実施の形態にかかる監視システムにおける表示内容判断部における判断処理の流れの一例を示すフローチャートである。サーバ２の表示内容判断部２１３は、ユーザにより選択された監視カメラ１（第１監視カメラ１）で検知した異常音のうち、ユーザによる選択を受け付けた音発生時刻の異常音を選択する（ステップＳ８０１）。

次に、表示内容判断部２１３は、選択した異常音の発生したタイミング（音発生時刻）の前後の所定時間内に、第１監視カメラ１の映像データ内で動きがあるかまたは人物が映っているか否かを判断する（ステップＳ８０２）。そして、第１監視カメラ１の映像データ内で動きがあるかまたは人物が映っている場合（ステップＳ８０２：Ｙｅｓ）、表示内容判断部２１３は、第１監視カメラ１の映像データのみを表示すると判断して、当該映像データを管理端末３に送信する（ステップＳ８０３）。

一方、第１監視カメラ１の映像データ内に動きがなくかつ人物が映っていない場合（ステップＳ８０２：Ｎｏ）、表示内容判断部２１３は、カメラ位置情報保持部２１１に記憶される第１監視カメラ１のカメラ位置情報に基づいて、第１監視カメラ１に紐づけて周辺カメラ１が登録されているか否かを判断する（ステップＳ８０４）。第１監視カメラ１に紐づけて周辺カメラ１が登録されていない場合（ステップＳ８０４：Ｎｏ）、表示内容判断部２１３は、第１監視カメラ１の映像データのみを表示すると判断して、当該映像データを管理端末３に送信する（ステップＳ８０３）。

また、第１監視カメラ１に紐づけて周辺カメラ１が登録されている場合（ステップＳ８０４：Ｙｅｓ）、表示内容判断部２１３は、第１監視カメラ１の映像データと共に、周辺カメラ１の映像データも同時に表示すると判断して、当該映像データを管理端末３に送信する（ステップＳ８０５）。

このように、本実施の形態にかかる監視システムによれば、異常音が含まれる映像データの頭出しをユーザが手作業で行う必要がなく、複数の映像データについて異常音が鳴った前後の時間の映像データを確認する必要が無くなる。その結果、異常音が鳴った前後の複数の監視カメラ１の映像データの確認する手間を減らすことができる。

なお、本実施の形態のサーバ２および管理端末３で実行されるプログラムは、ＲＯＭ２０２等に予め組み込まれて提供される。本実施の形態のサーバ２および管理端末３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施の形態のサーバ２および管理端末３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態のサーバ２および管理端末３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施の形態のサーバ２で実行されるプログラムは、上述した各部（録画管理部２１２、表示内容判断部２１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２０１等のプロセッサが上記ＲＯＭ２０２からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、録画管理部２１２、表示内容判断部２１３が主記憶装置上に生成されるようになっている。

本実施の形態の管理端末３で実行されるプログラムは、上述した各部（ユーザ操作受付部３１１、および録画表示制御部３１２）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２０１等のプロセッサが上記ＲＯＭ２０２からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、ユーザ操作受付部３１１、および録画表示制御部３１２が主記憶装置上に生成されるようになっている。

１ 監視カメラ
２ サーバ
３ 管理端末
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 通信Ｉ／Ｆ
２０５ ＨＤＤ
２０６ ＵＩ部
２１１ カメラ位置情報保持部
２１２ 録画管理部
２１３ 表示内容判断部
３１１ ユーザ操作受付部
３１２ 録画表示制御部

特許第６７６８５５７号公報

Claims (6)

1. 監視カメラにより撮影した動画データ内の異常音が発生したタイミングを含む情報をメタデータとして、前記動画データとともに管理している録画管理部と、
   前記監視カメラの位置を示すカメラ位置情報を記憶するカメラ位置情報保持部と、
   前記異常音を検知した前記監視カメラである第１監視カメラの前記動画データを表示する場合に、前記メタデータが含む前記タイミングに前記動画データ内に動きがあるかまたは人物が映っているか否かを判断する表示内容判断部と、
   前記動画データ内で動きがあるかまたは人物が映っている場合、前記第１監視カメラの前記動画データを表示部に表示し、前記動画データ内で動きが無くかつ人物が映っていない場合、前記カメラ位置情報に基づいて、前記第１監視カメラの前記動画データに加えて、前記第１監視カメラの周囲の前記監視カメラである周辺カメラの前記動画データを前記表示部に表示する録画表示制御部と、
   を備える監視システム。
2. ユーザからの前記動画データの再生操作を受け付ける受付部をさらに備え、
   前記録画表示制御部は、前記再生操作を受け付けた場合に、前記動画データを前記表示部に表示する、請求項１に記載の監視システム。
3. 前記受付部は、前記メタデータが含む前記タイミングの中からユーザによる前記タイミングの選択を受け付け、
   前記表示内容判断部は、選択を受け付けた前記タイミングに前記動画データ内に動きがあるかまたは人物が映っているか否かを判断する、請求項２に記載の監視システム。
4. 前記表示内容判断部は、前記動画データ内における動きの量が予め設定される動きの量より多い場合に、前記動画データ内において動きがあると判断する、請求項１から３のいずれか一に記載の監視システム。
5. 監視システムで実行される監視方法であって、
   撮影した動画データ内に異常音を検知した監視カメラである第１監視カメラの前記動画データを表示する場合に、当該動画データのメタデータが含むタイミングに前記動画データ内に動きがあるかまたは人物が映っているか否かを判断する工程と、
   前記動画データ内で動きがあるかまたは人物が映っている場合、前記第１監視カメラの前記動画データを表示部に表示し、前記動画データ内で動きが無くかつ人物が映っていない場合、前記監視カメラの位置を示すカメラ位置情報に基づいて、前記第１監視カメラの前記動画データに加えて、前記第１監視カメラの周囲の前記監視カメラである周辺カメラの前記動画データを前記表示部に表示する工程と、
   を含む監視方法。
6. コンピュータを、
   撮影した動画データ内に異常音を検知した監視カメラである第１監視カメラの前記動画データを表示する場合に、当該動画データのメタデータが含むタイミングに前記動画データ内に動きがあるかまたは人物が映っているか否かを判断する表示内容判断部と、
   前記動画データ内で動きがあるかまたは人物が映っている場合、前記第１監視カメラの前記動画データを表示部に表示し、前記動画データ内で動きが無くかつ人物が映っていない場合、前記監視カメラの位置を示すカメラ位置情報に基づいて、前記第１監視カメラの前記動画データに加えて、前記第１監視カメラの周囲の前記監視カメラである周辺カメラの前記動画データを前記表示部に表示する録画表示制御部と、
   して機能させるためのプログラム。

Images