本発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一または相当する部分には同一の符号を付して、重複する説明は適宜に簡略化または省略する。
実施の形態1.
図1は、本実施の形態に係る監視支援システムを備える監視システムの全体構成を示すブロック図である。
監視システム1は、監視対象場所の監視を行うためのシステムである。
監視対象場所は、遠隔で監視が行われる対象となる場所である。以下では、監視対象場所がエレベータのかごの中である場合を例として説明を行う。
映像データは、時間に対して変化する監視対象場所の状況を映像として記録したデータである。以下では、映像データは、一定時間の間隔を空けて撮影された画像を表すデータであるフレームの各々に、連続する番号が付された形式であるとして説明する。なお、本実施の形態は、映像データの具体的なデータの形式に限定されない。
映像データは、映像データの部分が元の映像データから取り出される。取り出された映像データの部分は、元の映像データと別の映像データである。
監視システム1は、複数の撮影装置2と、映像記憶装置3と、監視支援システム4とを備える。
撮影装置2は、監視対象場所の映像を撮影する装置である。撮影装置2は、例えばネットワークカメラである。撮影装置2は、撮影した映像を映像データとして、ネットワーク5を介して送信する。撮影装置2は、映像データを送信する前に映像データを符号化してもよい。
映像記憶装置3は、受信した映像データをファイルとして記憶する装置である。映像記憶装置3は、撮影装置2の各々から送信される映像データを受信する。映像記憶装置3は、例えばNAS(Network Attached Storage)である。
監視支援システム4は、監視対象場所の目視による確認作業を支援するシステムである。
監視支援システム4は、監視支援装置6と、監視端末7と、表示装置8と、入力装置9とを備える。
監視支援装置6および監視端末7は、ネットワーク5に接続している。表示装置8および入力装置9は、監視端末7に接続している。
監視支援装置6は、監視者の確認作業の実績の情報を表すデータによって、監視対象場所の目視による確認作業を支援する装置である。
監視支援装置6は、撮影装置2の各々から送信される映像データを受信する。監視支援装置6は、受信した映像データの各々を解析する。監視支援装置6は、解析した結果を確認用データとして送信する。
確認用データは、イベントが発生している映像を表す映像データを含む。
イベントは、映像データが表す映像の中において発生する事象である。イベントは、例えば、エレベータのかごの戸が開閉する事象、エレベータのかごに人が出入りする事象またはエレベータのかごに乗車している人が不自然な動きをしている事象である。
映像の変化量は、映像の変化を数値で表した量である。変化量は、変化量を算出する映像データと基準とする映像データとの差分に基づいて算出される。
監視端末7は、監視支援装置6から受信した確認用データに含まれる映像データを送信する。監視端末7は、例えばパーソナルコンピュータである。
表示装置8は、監視端末7から受信した映像データが表す映像を表示する装置である。表示装置8は、例えばディスプレイである。
入力装置9は、監視者による操作の入力を監視端末7に送信する装置である。入力装置9は、例えばキーボードまたはマウスである。監視端末7は、受信した入力を監視支援装置6に送信する。監視支援装置6は、受信した入力に基づいて動作する。
続いて、本実施の形態に係る監視支援装置6の構成について説明する。図2は、本実施の形態に係る監視支援装置の構成を示すブロック図である。ネットワーク5と監視端末7とは、本実施の形態においては主に装置の間の通信を仲介するものであるため、以降の図においては図示を省略している。
監視支援装置6は、判定部60と、イベント記憶部61と、再生部62と、履歴記憶部63と、履歴管理部64と、ダイジェスト映像処理部65と、ダイジェスト映像記憶部66と、を備える。
判定部60は、映像の時間に対する変化量に基づいてイベントが発生している期間を判定する。
判定部60は、映像データを撮影装置2または映像記憶装置3から受信する。判定部60は、映像データを撮影装置2から受信する場合は、映像記憶装置3において当該映像データのファイルが保存されるパスを取得する。判定部60は、映像データを映像記憶装置3から受信する場合は、当該映像データのファイルが保存されているパスを取得する。映像データのファイルのパスは、映像データのファイルがある場所の情報の例である。
判定部60は、受信した映像データを解析して、映像データが表す映像の時間に対する変化量を算出する。判定部60は、映像の予め設定された指定領域について変化量を算出する。
指定領域は、監視者により予め設定される映像の一部を指定する領域である。
判定部60は、変化量を算出する方法を複数有する。複数の変化量の算出の方法は、映像の複数の特徴の変化に対応する。
判定部60は、算出した変化量に基づいてイベントが発生している期間を判定する。イベントが発生している期間は、当該期間の開始時点から終了時点までの間の期間である。判定部60は、イベントが発生している期間の開始時点を判定した後に、算出した変化量に基づいて当該イベントが発生している期間の終了時点を判定する。
判定部60は、算出した変化量の値が開始の閾値の値より大きくなった時点をイベントが発生している期間の開始時点として判定する。開始の閾値は、予め設定された値である。
判定部60は、イベントが発生している期間の開始時点を判定した後に、算出した変化量の値が終了の閾値より小さくなった時点を当該期間の終了時点として判定する。終了の閾値は、予め設定された値である。終了の閾値は、開始の閾値以下の値である。
判定部60は、イベントが発生している期間の開始時点を判定した後に、算出した変化量の値が終了の閾値以上である場合に、当該期間内であると判定する。
判定部60は、イベント種別ごとにイベントが発生している期間の判定を行う。イベント種別は、発生している期間の判定に用いる変化量の算出方法、指定領域、開始の閾値および終了の閾値に基づいてイベントを分類する種別である。
判定部60は、イベント種別の情報をイベント種別データとして記憶する。判定部60は、イベント種別データをイベント種別番号と関連付けて記憶する。イベント種別番号は、イベント種別を識別する情報である。
判定部60は、判定対象とするイベント種別のイベント種別番号を要素とするイベント種別リストを有する。判定部60は、イベント種別リストのイベント種別全てについて、イベントが発生している期間の判定を行う。
イベント種別リストに格納されたイベント番号は、要素の添字番号で指定される。以降の他のリストについても、リストに格納された要素は、要素の添字番号で指定される。
判定部60は、イベントが発生している期間の開始時点を判定した場合に、新たなイベント番号を取得する。イベント番号は、イベントを識別するイベント識別情報の例である。
イベントが発生している期間に対応する映像データの部分は、イベントが発生している映像を表す映像データである。イベントの開始フレーム番号は、当該映像データの部分の最初のフレームの番号である。イベントの終了フレーム番号は、当該映像データの部分の最後のフレームの番号である。イベントの開始フレーム番号および終了フレーム番号と、当該イベントが発生している映像を表す映像データのファイルがある場所の情報との組は、イベントが発生している期間に対応する映像データの部分を特定する情報の例である。
判定部60は、イベントが発生している期間の終了時点を判定した場合に、イベントデータを送信する。イベントデータは、イベントのイベント番号と、当該イベントが発生している期間に対応する映像データの部分を特定する情報と、を含む。
イベント記憶部61は、イベントデータを保存する。イベント記憶部61は、判定部60から受信したイベントデータを、当該イベントデータのイベント番号と関連付けて記憶する。
すなわち、イベント記憶部61は、イベントが発生している期間に対応する映像データの部分を特定する情報を、当該イベントのイベント番号と関連付けて記憶する。
再生部62は、監視者に選択された選択期間の間に発生しているイベントの一覧を作成する。
再生部62は、選択期間の間に発生しているイベントのイベント番号を、イベント記憶部61から取得する。再生部62は、取得したイベント番号に基づいて、イベントデータをイベント記憶部61から取得する。再生部62は、取得したイベントデータに基づいて作成したイベントの一覧を表すデータを表示装置8に送信する。表示装置8は、受信したデータが表すイベントの一覧を表示する。
再生部62は、イベントの一覧を作成するときに、取得したイベントの各々に対して監視支援データを作成する。監視支援データは、監視支援データを識別する監視支援番号を含む。
再生部62は、監視支援データを作成するときに、監視支援番号を新たに取得する。再生部62は、監視支援データを作成した後に、イベント番号と当該イベント番号で識別されるイベントに対応する監視支援データとを履歴記憶部63に送信する。
履歴記憶部63は、受信したイベント番号と監視支援データとを関連付けて記憶する。
再生部62は、監視者に選択されたイベントに対応する映像データを表示装置8に送信する。
再生部62は、イベントが監視者に選択された場合に、監視者に選択されたイベント番号に関連付けて記憶されているイベントデータをイベント記憶部61から取得する。再生部62は、取得したイベントデータに基づいて、当該イベントが発生している期間に対応する映像データの部分を、表示装置8に送信する。
すなわち、再生部62は、イベントが監視者に選択された場合に、選択されたイベントのイベント番号に基づいて、当該イベント番号と関連付けて記憶され且つ当該イベントが発生している期間に対応する映像データの部分を、表示装置8に送信する。
再生部62は、映像データの部分を表示装置8に送信するときに、当該映像データの部分が表す映像の指定領域に対応する位置に、当該イベントに対応する監視補助表示を重ねた映像を表す映像データを作成する。再生部62は、作成したデータを表示装置8に送信する。
監視補助表示は、例えば、映像の中のイベントが発生している位置に表示されるマーカ画像である。マーカ画像は、映像の中のイベントが発生している位置に対応する座標を基準として、予め設定された相対座標の位置に表示される。
再生部62は、イベントが発生している期間に対応する映像データの部分が表す映像を表示装置8に送信するときに、当該イベントの再生履歴データを作成する。
再生履歴データは、再生履歴データを識別する再生履歴番号と、再生部62が対応する映像データの部分を表示装置8に送信した時刻と、を含む。再生部62は、再生履歴データを作成するときに、再生履歴番号を新たに取得する。
再生部62は、再生履歴データを作成した後に、対応するイベントのイベント番号と、当該イベントの再生履歴データと、を履歴記憶部63に送信する。
履歴記憶部63が記憶している監視支援データは、再生履歴番号のリストを含む。
履歴記憶部63は、再生履歴データを保存する。すなわち、履歴記憶部63は、受信した再生履歴データを記憶する。その後、履歴記憶部63は、受信したイベント番号と関連付けて記憶している監視支援データの再生履歴番号のリストに、記憶した再生履歴データの再生履歴番号を追加する。
イベントが発生している期間に対応する映像データの部分を再生部62が表示装置8に送信していない場合に、当該イベントに対応する監視支援データの再生履歴番号のリストは、要素を一つも含まない空のリストとなる。再生履歴番号のリストは、イベントが発生している期間に対応する映像データの部分を再生部62が表示装置8に送信したか否かを表す情報の例である。
監視支援データは、再生履歴データを識別する情報である再生履歴番号のリストを含む。よって、監視支援データは、イベントが発生している期間に対応する映像データの部分を再生部62が表示装置8に送信したか否かを表す情報を含む。
すなわち、履歴記憶部63は、イベントが発生している期間に対応する映像データの部分を再生部62が表示装置8に送信したか否かを表す情報を含む監視支援データを、当該イベントのイベント番号と関連付けて記憶する。
履歴管理部64は、監視者によって入力装置9を介して行われる入力に基づいて、監視結果データを作成する。
監視結果データは、監視結果データを識別する監視結果番号を含む。監視結果データは、表示装置8に表示された当該イベントが発生している映像の目視による確認作業が監視者によって行われた後に、当該イベントにおける異常の有無について監視者が判断した結果を含む。監視結果データは、映像保存コードを含む。
映像保存コードは、当該イベントに対応する映像データの部分の保存の要否について監視者が判断した結果を表す。
履歴管理部64は、監視結果データを作成するときに、監視結果番号を新たに取得する。履歴管理部64は、監視結果データを作成した後に、対応するイベントのイベント番号と、当該イベントの監視結果データと、を履歴記憶部63に送信する。
履歴記憶部63が記憶している監視支援データは、監視結果番号のリストを含む。
履歴記憶部63は、監視結果データを保存する。すなわち、履歴記憶部63は、受信した監視結果データを記憶する。履歴記憶部63は、受信したイベント番号と関連付けて記憶している監視支援データの監視結果番号のリストに、記憶した監視結果データの監視結果番号を追加する。
イベントが発生している映像の目視による確認作業の結果が入力されていない場合に、当該イベントに対応する監視支援データの監視結果番号のリストは、空のリストとなる。監視結果番号のリストは、イベントに対して監視者により行われた目視による確認作業の結果の情報の例である。監視支援データは、監視結果データを識別する情報である監視結果番号のリストを含む。
ダイジェスト映像処理部65は、ダイジェスト映像データを作成する。
ダイジェスト映像処理部65は、監視者に選択された選択期間の間に発生しているイベントのイベント番号をイベント記憶部61から取得する。ダイジェスト映像処理部65は、取得したイベント番号の各々に基づいて、イベントデータをイベント記憶部61から取得する。ダイジェスト映像処理部65は、取得したイベント番号の各々に基づいて、監視支援データを履歴記憶部63から取得する。
ダイジェスト映像処理部65は、取得した監視支援データの各々の映像保存コードに基づいて、取得したイベント番号の各々が対応する映像データの部分の保存の要否を判定する。ダイジェスト映像処理部65は、保存が必要と判定された映像データの部分に対応するイベント番号を格納するイベントリストを作成する。
選択期間と映像保存コードとに基づくイベントリストの作成は、監視者による一つまたは複数のイベントの選択の例である。
ダイジェスト映像処理部65は、イベントリストの要素の各々に識別されるイベントの各々について、当該イベントが発生している映像を表す映像データの部分をダイジェスト映像データとして結合させる。ダイジェスト映像処理部65は、当該イベントの各々が発生している期間に重複する期間がある場合は、当該重複する期間に対応する映像データの部分は重複させずにダイジェスト映像データとして結合させる。ダイジェスト映像処理部65は、イベントが発生していない期間に対応する映像データの部分は結合させない。
ダイジェスト映像処理部65は、元の映像データにおけるイベントの開始フレーム番号および終了フレーム番号を、ダイジェスト映像データに結合されない期間に対応するフレームの数に基づいて補正する。ダイジェスト映像処理部65は、当該補正によって、ダイジェスト映像データにおける当該イベントの開始フレーム番号および終了フレーム番号を算出する。ダイジェスト映像データにおけるイベントの開始フレーム番号および終了フレーム番号は、イベントが発生している期間に対応する当該ダイジェスト映像データの部分を特定する情報の例である。
ダイジェスト映像処理部65は、アーカイブデータを作成する。アーカイブデータは、ダイジェスト映像データと、当該ダイジェスト映像データにおけるイベントの開始フレーム番号および終了フレーム番号とを含む。アーカイブデータは、イベントリストと、当該リストに格納されるイベント番号に関連付けて履歴記憶部63に記憶されている監視支援データと、を含む。ダイジェスト映像処理部65は、アーカイブデータを送信する。
ダイジェスト映像記憶部66は、アーカイブデータを保存する。すなわち、ダイジェスト映像記憶部66は、ダイジェスト映像処理部65から受信したアーカイブデータを記憶する。その後、ダイジェスト映像記憶部66は、記憶したアーカイブデータのダイジェスト映像データに、イベント番号を関連付ける。その後、ダイジェスト映像記憶部66は、記憶したアーカイブデータのダイジェスト映像データに、イベントが発生している期間に対応する当該ダイジェスト映像データの部分を特定する情報を関連付ける。その後、ダイジェスト映像記憶部66は、記憶したアーカイブデータのダイジェスト映像データに、監視支援データを関連付ける。
ダイジェスト映像データが表す映像の開始時点から終了時点までは、選択期間に含まれる。ダイジェスト映像処理部65は、映像データの選択期間に対応する部分を、映像記憶装置3から削除する。
監視支援装置6は、監視者の情報を監視者データとして記憶する。監視支援装置6は、監視端末7を介して確認作業を行っている監視者を、監視者から送信される監視者番号によって識別する。
監視者番号は、目視による確認作業を行う監視者を識別する情報である。監視者番号は、例えば監視支援装置6の操作を行うために監視端末7との接続を開始するときに監視者から送信される。セッションは、監視支援装置6と監視端末7との接続が継続している期間である。監視支援装置6は、セッションが終了するまで、監視者番号を記憶する。
続いて、本実施の形態に係る監視支援装置の例について説明する。図3は、本実施の形態に係る監視支援装置の主要部のハードウェア構成を示す図である。
監視支援装置6の各機能は、処理回路により実現し得る。処理回路は、少なくとも1つのプロセッサ6bと少なくとも1つのメモリ6cとを備える。処理回路は、プロセッサ6bおよびメモリ6cと共に、或いはそれらの代用として、少なくとも1つの専用のハードウェア6aを備えてもよい。
処理回路がプロセッサ6bとメモリ6cとを備える場合、監視支援装置6の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせで実現される。ソフトウェアおよびファームウェアの少なくとも一方は、プログラムとして記述される。そのプログラムはメモリ6cに格納される。プロセッサ6bは、メモリ6cに記憶されたプログラムを読み出して実行することにより、監視支援装置6の各機能を実現する。
プロセッサ6bは、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSPともいう。メモリ6cは、例えば、RAM、ROM、フラッシュメモリ、EPROM、EEPROM等の、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等により構成される。
処理回路が専用のハードウェア6aを備える場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、またはこれらの組み合わせで実現される。
監視支援装置6の各機能は、それぞれ処理回路で実現することができる。或いは、監視支援装置6の各機能は、まとめて処理回路で実現することもできる。監視支援装置6の各機能について、一部を専用のハードウェア6aで実現し、他部をソフトウェアまたはファームウェアで実現してもよい。このように、処理回路は、ハードウェア6a、ソフトウェア、ファームウェア、またはこれらの組み合わせで監視支援装置6の各機能を実現する。
続いて、映像の時間に対する変化量に基づいてイベントが発生している期間を判定する機能について説明する。変化量は、映像の予め設定された指定領域に基づいて算出される。図4は、本実施の形態に係る指定領域の設定画面の例を示す図である。
指定領域の設定画面は、表示装置8に表示され、入力装置9を介して監視者によって操作される。指定領域の設定画面は、背景画像80とボックス81とを表示する。
背景画像80は、イベントが発生していない監視対象場所の画像である。背景画像80は、例えば乗客のいないエレベータのかごの中の画像である。背景画像80は、基準とする映像データの例である。
指定領域は、背景画像80に重ねて表示されるボックス81の内部である。ボックス81は、アンカー81aを操作することで移動、拡大および縮小ができる。アンカー81aは、入力装置9を介して監視者によって操作される。背景画像80および指定領域は、予め監視者によって設定される。
判定部60は、映像データの受信元を、監視者による操作の入力に基づいて切り替える。判定部60は、例えば通常の場合に、撮影装置2から映像データを受信する。判定部60は、例えば過去の映像データからイベントが発生している期間を再度判定する場合に、映像記憶装置3から映像データを受信する。
判定部60は、映像データが符号化されている場合は、変化量を算出する前に映像データの復号化を行う。
判定部60は、撮影装置2から映像データを受信する場合に、複数の撮影装置2の各々から送信された映像データの各々に対してイベントが発生している期間の判定を行う。映像データを送信する撮影装置2の各々は、映像番号で識別される。
判定部60は、映像データのフレームを順に作業領域に読み込む。作業領域は、例えばメモリ6cである。
判定部60は、撮影装置2から映像データを受信する場合は、イベントが発生している期間を判定する動作を開始したときに撮影装置2が撮影したフレームから作業領域に読み込む。判定部60は、映像記憶装置3から映像データを受信する場合は、映像データの最初のフレームから最後のフレームまでを作業領域に読み込む。
判定部60は、読み込んだフレームの各々に対して、変化量を算出する。
判定部60は、作業領域に読み込んだフレームと、背景画像80とにおいて、各ピクセルの輝度情報の差分を算出する。判定部60は、指定領域に対応するピクセルについて、算出した輝度情報の差分の絶対値の平均値を算出する。判定部60は、算出した平均値を当該フレームの変化量とする。
判定部60は、変化量を算出するときに、変化位置の座標を算出する。判定部60は、指定領域に対応するピクセルについて、背景画像80との輝度情報の差分の絶対値を重みとして座標の重み付け平均を算出する。判定部60は、算出した座標の重み付け平均を当該フレームの変化位置の座標とする。変化位置の座標は、映像の中のイベントが発生している位置に対応する座標の例である。
続いて、イベントが発生している期間の判定方法について説明する。図5は、本実施の形態に係るイベント種別データの構造を示す図である。
図5において、各項目の下に列挙した要素は、データの形式の例である。丸括弧は、要素の固定長の組を表す。角括弧は、リストまたは要素の可変長の組を表す。
イベント種別データ70は、イベント種別番号と、変化量算出方法番号と、開始の閾値と、終了の閾値と、指定領域とを含む。
変化量算出方法番号は、判定部60がフレームの変化量を算出する方法を識別する。
判定部60は、フレームの変化量が開始の閾値より大きくなった時点をイベントが発生している期間の開始時点と判定する。イベントが発生している期間の開始時点のフレームの変化量は、開始の閾値より大きい。イベントが発生している期間の開始時点のフレームの直前のフレームの変化量は、開始の閾値以下である。
判定部60は、フレームの変化量が開始の閾値より小さくなった時点をイベントが発生している期間の開始時点と判定する。イベントが発生している期間の終了時点のフレームの変化量は、終了の閾値より小さい。イベントが発生している期間の終了時点のフレームの直前のフレームの変化量は、終了の閾値以上である。
判定部60は、イベント種別データ70に基づいてイベントが発生している期間の判定を行う。
判定部60は、イベント種別データ70に含まれる変化量算出方法番号で識別される変化量算出方法を用いて、フレームの変化量を算出する。
イベント種別データ70は、監視種別番号と、マーカの相対座標と、マーカ画像データと、を更に含む。
監視種別番号は、監視者がどのような映像の変化に注意して監視を行うべきかに基づいて確認作業を分類する番号である。監視種別番号は、監視者がイベント種別に応じて注意を向けるべき映像の特徴に注目できるように、イベント種別番号に関連付けられる。監視種別番号は、目視による確認作業の要否の情報を含む。
マーカ画像データは、イベントが発生している映像に重ねて表示されるマーカ画像を表すデータである。
マーカの相対座標は、イベントが発生している映像に重ねて表示されるマーカ画像の位置を指定するデータである。マーカの相対座標は、変化位置の座標を基準とする相対座標である。
続いて、イベントデータについて説明する。図6は、本実施の形態に係るイベントデータの構造を示す図である。イベントデータ71は、イベント番号と、イベント発生時刻と、イベント種別番号と、映像番号と、映像データのファイルのパスと、イベントが発生している期間の開始フレーム番号および終了フレーム番号と、を含む。イベントデータ71は、開始フレームから終了フレームまでの変化量のリストおよび変化位置の座標のリストを含む。
イベント発生時刻は、イベントが発生している期間の開始時点に対応するフレームが表す映像の時刻である。
イベントデータ71は、以下のように作成される。
判定部60は、イベントが発生している期間の開始時点を判定したときに、イベントデータ71を新規に作成する。判定部60は、イベント番号を新たに取得する。その後、判定部60は、現在のフレームの番号を、開始フレーム番号として取得する。その後、判定部60は、現在のフレームが表す映像の時刻をイベント発生時刻として取得する。その後、判定部60は、変化量のリストと変化位置の座標のリストとを空のリストとしてそれぞれ作成する。その後、判定部60は、変化量のリストに現在のフレームの変化量を追加する。その後、判定部60は、変化位置の座標のリストに現在のフレームの変化位置の座標のリストを追加する。
判定部60は、イベントが発生している期間内であると判定したときに、イベントデータ71に追記する。判定部60は、現在のフレームの変化量を、変化量のリストに追加する。その後、判定部60は、現在のフレームの変化位置の座標を、変化位置の座標のリストに追加する。
判定部60は、イベントが発生している期間の終了時点を判定したときに、イベントデータ71に追記して保存する。判定部60は、現在のフレームの番号を、終了フレーム番号として取得する。その後、判定部60は、現在のフレームの変化量を、変化量のリストに追加する。その後、判定部60は、現在のフレームの変化位置の座標を、変化位置の座標のリストに追加する。その後、判定部60は、以上で取得または作製した情報と、発生している期間を判定したイベントのイベント種別番号と、判定を行った映像の映像番号と、映像データのファイルのパスとを組み合わせてイベントデータを作成する。
判定部60は、イベントデータ71を作成した後に、イベントデータ71をイベント記憶部61に送信する。イベント記憶部61は、受信したイベントデータ71を保存する。
続いて、イベントが発生している期間を判定する動作について説明する。図7は、本実施の形態に係る監視支援装置のイベントが発生している期間を判定する動作の例を示すフローチャートである。監視支援装置6は、複数の撮影装置2の各々から送信された映像データの各々に対して、図7に示す動作を行う。
判定部60は、受信した映像データからフレームを一つ作業領域に読み込む。その後、判定部60は、現在の添字番号をイベント種別リストの先頭の要素に対応する添字番号に設定する(S101)。
判定部60は、イベント種別リストから現在の添字番号が指定するイベント種別番号を一つ取得する。その後、判定部60は、取得したイベント種別番号に基づいて、イベント種別データ70を読み込む。その後、判定部60は、イベント種別データ70の変化量算出方法番号と指定領域とに基づいて、作業領域に読み込んだフレームの変化量および変化位置の座標を算出する(S102)。
判定部60は、直前のフレームの変化量が開始の閾値以下であるかを判定する(S103)。判定結果がYesであるとき、監視支援装置6の動作はS104に進む。判定結果がNoであるとき、監視支援装置6の動作はS105に進む。
判定部60は、現在のフレームの変化量が開始の閾値より大きいかを判定する(S104)。判定結果がYesであるとき、監視支援装置6の動作はS106に進む。判定結果がNoであるとき、監視支援装置6の動作はS109に進む。
判定部60は、現在のフレームの変化量が終了の閾値より小さいかを判定する(S105)。判定結果がNoであるとき、監視支援装置6の動作はS107に進む。判定結果がYesであるとき、監視支援装置6の動作はS108に進む。
判定部60は、現在のフレームをイベントが発生している期間の開始時点であると判定する。判定部60は、イベントデータ71を新規に作成する(S106)。
判定部60は、現在のフレームをイベントが発生している期間内であると判定する。判定部60は、イベントデータ71に追記する(S107)。
判定部60は、現在のフレームをイベントが発生している期間の終了時点であると判定する。判定部60は、イベントデータ71に追記する。その後、イベント記憶部61はイベントデータ71を保存する(S108)。
判定部60は、現在の添字番号がイベント種別リストの末尾の添字番号であるかを判定する(S109)。判定結果がNoであるとき、現在の添字番号を次の添字番号とする。その後、監視支援装置6の動作は、S102に進む。判定結果がYesであるとき、判定部60は、現在のフレームを次のフレームに設定する。その後、監視支援装置6の動作は、S101に進む。
続いて、イベントの一覧を作成する機能について説明する。図8は、本実施の形態に係るイベントの一覧を表示する画面の例を示す図である。図8に示す画面の例は、例えばセッションが開始したときに表示装置8に表示される。
イベントの一覧を表示する画面は、開始時刻入力欄82aと、終了時刻入力欄82bと、一覧表示ボタン83と、表示領域84と、ダイジェスト映像作成ボタン85と、連続再生ボタン86と、を表示する。
選択期間は、開始時刻および終了時刻が、開始時刻入力欄82aおよび終了時刻入力欄82bに、監視者によって入力されることで設定される。
選択期間の間に発生しているイベントは、例えば、当該イベントが発生している期間の開始時点に対応する時刻が選択期間の開始時刻以降であり、かつ、当該イベントが発生している期間の終了時点に対応する時刻が選択期間の終了時刻以前であるイベントである。
イベントの一覧を作成する機能の動作は、一覧表示ボタン83が監視者に押された場合に開始する。イベントの一覧が作成された場合に、表示装置8は、表示領域84に作成されたイベントの一覧を表示する。
表示領域84は、選択期間の間に発生しているイベントの一覧を表示する。セッションが開始したときの表示領域84は、空欄であってもよい。表示領域84は、イベント番号に関連付けて記憶されている情報を表示する。表示領域84は、例えば、監視支援番号と、イベント番号と、イベント発生時刻と、イベント種別番号と、映像番号と、再生履歴番号と、監視結果番号と、を表示する。表示領域84は、再生ボタン84aと監視結果入力ボタン84bとを表示する。
イベントが発生している映像を表示装置に送信する機能の動作は、例えば当該イベントに対応する再生ボタン84aが監視者に押された場合に開始する。
監視結果を入力する機能の動作は、例えば当該イベントに対応する監視結果入力ボタン84bが監視者に押された場合に開始する。
ダイジェスト映像データを作成する機能の動作は、例えばダイジェスト映像作成ボタン85が監視者に押された場合に開始する。
監視支援装置6は、複数のイベントに対して当該イベントの各々が発生している映像を連続して表示装置8に送信する機能を有してもよい。連続して表示装置8に送信する機能の動作は、例えば連続再生ボタン86が監視者に押された場合に開始する。
続いて、監視支援データについて説明する。図9は、本実施の形態に係る監視支援データの構造を示す図である。
監視支援データ72は、監視支援番号と、イベント番号と、監視種別番号と、再生履歴番号のリストと、監視結果番号のリストと、映像データへのリンク情報と、を含む。
履歴記憶部63は、監視支援データを保存する。すなわち、履歴記憶部63は、監視支援番号とイベント番号とを相互に関連付けて記憶する。
映像データへのリンク情報は、監視支援データに関連付けられたイベントについて、当該イベントが発生している期間に対応する映像データの部分を特定する情報である。映像データへのリンク情報は、例えば、当該イベントの開始フレーム番号および終了フレーム番号と、対応する映像データのパスとの組である。
再生部62は、監視支援データを次のように作成する。
再生部62は、イベント記憶部61から、選択期間内に発生しているイベントのイベント番号と、当該イベント番号の各々に関連付けられているイベントデータ71の各々を取得する。再生部62は、取得したイベント番号を要素として格納するイベントリストを作成する。
再生部62は、取得したイベントデータ71のイベント種別番号に基づいて、イベント種別データ70を取得する。再生部62は、取得したイベント種別データ70に含まれる監視種別番号を取得する。再生部62は、取得した監視種別番号に基づいて、目視による確認作業の要否を判定する。
再生部62は、目視による確認作業が必要であると判定した場合に、対応する監視支援データが既に作成されているかを判定する。再生部62は、対応する監視支援データが作成されていないと判定した場合に、監視支援データの作成を開始する。
再生部62は、監視支援データの作成を開始したときに、監視支援番号を新たに取得する。その後、再生部62は、再生履歴番号のリストを空のリストとして作成する。その後、再生部62は、監視結果番号のリストを空のリストとして作成する。再生部62は、取得したイベントデータ71に基づいて、映像データへのリンク情報を作成する。
再生部62は、以上で取得または作成した情報を組み合わせて監視支援データ72を作成する。再生部62は、監視支援データを作成した後に、作成した監視支援データと、対応するイベント番号とを履歴記憶部63に送信する。
続いて、イベントの一覧を作成する動作について説明する。図10は、本実施の形態に係る監視支援装置のイベントの一覧を作成する動作の例を示すフローチャートである。
監視者は、選択期間を開始時刻入力欄82aおよび終了時刻入力欄82bに入力する。その後、監視者は、一覧表示ボタン83を押す。その後、監視支援装置6はイベントの一覧を作成する動作を開始する。
再生部62は、選択期間内に発生している全てのイベントのイベントリストを作成する。その後、再生部62は、現在の添字番号をイベントリストの先頭の要素に対応する添字番号に設定する(S201)。
再生部62は、イベントリストから現在の添字番号が指定するイベント番号を一つ取得する。再生部62は、取得したイベント番号に基づいて、イベントデータ71をイベント記憶部61から取得する(S202)。
再生部62は、取得したイベントデータ71に基づいて、目視による確認作業が必要であるかを判定する(S203)。判定結果がYesであるとき、監視支援装置6の動作はS204に進む。判定結果がNoであるとき、監視支援装置6の動作はS206に進む。
再生部62は、現在のイベント番号に対応する監視支援データが既に作成されているかを判定する(S204)。判定結果がNoであるとき、監視支援装置6の動作はS205に進む。判定結果がYesであるとき、監視支援装置6の動作はS206に進む。
再生部62は、監視支援データを作成する。その後、再生部62は、現在のイベント番号と作成した監視支援データを送信する。その後、履歴記憶部63は、受信した監視支援データを保存する(S205)。
再生部62は、現在の添字番号がイベントリストの末尾の添字番号であるかを判定する(S206)。判定結果がNoであるとき、現在の添字番号を次の添字番号とする。その後、監視支援装置6の動作は、S202に進む。判定結果がYesであるとき、監視支援装置6の動作は、S207に進む。
再生部62は、イベントの一覧を表すデータを表示装置8に送信する。その後、表示装置8は、イベントの一覧を表示領域84に表示する(S207)。
続いて、イベントが発生している映像を表示装置に送信する機能について説明する。図11は、本実施の形態に係る表示装置が表示するイベントが発生している映像の画面の例を示す図である。図11に示す画面の例は、監視者によって再生ボタン84aが押されたときに表示装置8に表示される。
映像表示画面は、監視画像87と、マーカ画像88と、ボックス89と、を表示する。
監視画像87は、監視対象場所の状況を記録した映像データのフレームの各々が表す画像である。監視画像87は、例えば乗客が乗っているエレベータのかごの中の画像などである。
マーカ画像88は、変化位置の座標を基準として、予め設定された相対座標の位置に監視画像に重ねて表示される。マーカ画像88は、監視補助表示の例である。
再生部62は、表示領域84に表示されたイベントの一覧の中から監視者に選択されたイベントのイベント番号に基づいて、当該イベントのイベントデータ71をイベント記憶部61から取得する。
再生部62は、取得したイベントデータのイベント種別番号に基づいて、判定部60が記憶しているイベント種別データ70を取得する。
再生部62は、作成した一覧の中から監視者に選択されたイベントのイベント番号に基づいて、当該イベントの監視支援データ72を履歴記憶部63から取得する。
再生部62は、取得したイベントデータ71に基づいて、選択されたイベントが発生している期間に対応する映像データの部分の開始フレームから終了フレームまでを順に読み込む。
再生部62は、取得したイベントデータ71に基づいて、読み込んだフレームに対応する変化位置の座標をマーカ画像が表示される位置の基準とする。再生部62は、取得したイベント種別データ70に含まれるマーカの相対座標に基づいて、マーカ画像が表示される位置を算出する。例えばマーカの相対座標が(0,0)である場合は、マーカ画像は、変化位置の座標に表示される。
ボックス89は、選択されたイベントが対応するイベント種別の指定領域の境界に表示される。ボックス89は、監視補助表示の他の例である。
再生部62は、取得した監視支援データに基づいて監視補助表示の形態を変える。
監視補助表示の形態は、例えば監視補助表示の色、透明度、大きさまたは線種である。
再生部62は、例えば、選択されたイベントの監視支援データの再生履歴番号のリストが空である場合は、ボックス89の色を赤にする。再生部62は、例えば、選択されたイベントの監視支援データの再生履歴番号のリストが空でない場合は、ボックス89の色を青にする。
続いて、再生履歴データについて説明する。図12は、本実施の形態に係る再生履歴データの構造を示す図である。
再生履歴データ73は、再生履歴番号と、監視者番号と、イベント番号と、再生開始時刻と、再生開始フレームと、再生終了フレームとを含む。
監視者番号は、目視による確認作業を行っている監視者に対応する監視者番号である。
再生開始時刻は、監視者が確認作業を行うイベントを選択した時刻である。
再生開始フレームの番号は、再生部62が表示装置8に送信した最初のフレームの番号である。再生終了フレームの番号は、再生部62が表示装置8に送信した最後のフレームの番号である。
再生履歴データ73は、以下のように作成される。
再生部62は、選択されたイベントが発生している期間に対応する映像データの部分の開始フレームを表示装置8に送信するときに、再生履歴番号を新たに取得する。その後、再生部62は、再生開始フレームの番号を取得する。その後、再生部62は、現在の時刻を再生開始時刻として取得する。その後、再生部62は、現在のセッションでログインしている監視者の監視者番号を取得する。
再生部62は、当該映像データの部分の終了フレームを表示装置8に送信するときに、再生終了フレームの番号を取得する。
再生部62は、以上で取得した情報と、イベント番号とを組み合わせて再生履歴データ73を作成する。
再生部62は、再生履歴データ73を作成した後に、イベント番号と作成した再生履歴データ73とを履歴記憶部63に送信する。
続いて、イベントが発生している映像を表示装置に送信する動作について説明する。図13は、本実施の形態に係る監視支援装置のイベントが発生している映像を表示装置に送信する動作の例を示すフローチャートである。
監視者は、再生ボタン84aを押すことで対応するイベントを選択する。再生ボタン84aが押された場合に、監視支援装置6は、選択されたイベントが発生している映像を表示装置8に送信する機能の動作を開始する。
再生部62は、選択されたイベントのイベント番号に基づいて、イベントデータおよび監視支援データを取得する。再生部62は、現在のフレームを開始フレームに設定する(S301)。
再生部62は、取得した監視支援データ72に基づいて、監視補助表示の形態を設定する(S302)。
再生部62は、現在のフレームを作業領域に読み込む(S303)。
再生部62は、作業領域に読み込まれたフレームが表す画像に重ねて、表示を設定した監視補助表示を書き込む(S304)。
再生部62は、作業領域に格納されているデータを表示装置8に送信する(S305)。
再生部62は、現在のフレームの番号が終了フレーム番号であるかを判定する(S306)。判定結果がNoであるとき、再生部62は、現在のフレームを次のフレームに設定する。その後、監視支援装置6の動作は、S303に進む。判定結果がYesであるとき、再生部62は、再生終了フレームの番号を取得する。その後、監視支援装置6の動作は、S307に進む。
再生部62は、再生履歴データ73を作成する。その後、再生部62は、再生履歴データ73とイベント番号とを履歴記憶部63に送信する。その後、履歴記憶部63は、再生履歴データを保存する(S307)。
続いて、目視による確認作業の結果を入力する機能について説明する。
履歴管理部64は、監視者による確認作業の結果の入力に基づいて、監視結果データを作成する。図14は、本実施の形態に係る監視結果データの構造を示す図である。
監視結果データ74は、監視結果番号と、イベント番号と、監視者番号と、監視支援番号と、再生履歴番号のリストと、確認日時と、監視結果コードと、映像保存コードと、特記事項と、を含む。
確認日時は、監視者によって確認作業の結果が入力された時刻である。
監視結果コードは、表示装置8に表示された当該イベントが発生している映像の目視による確認作業が監視者により行われた後に、当該イベントにおける異常の有無について監視者によって判断された結果を表す情報の例である。監視結果番号は、目視確認作業の結果異常なしと監視者に判断された場合に、0が入力される。
映像保存コードは、当該イベントに対応する映像データの部分をダイジェスト映像データとして結合して保存することの要否について監視者が判断した結果を表す。映像保存コードは、目視確認作業の結果映像データの当該部分を保存する必要がないと監視者に判断された場合に、0が入力される。
特記事項は、例えば監視者の判断の根拠など、監視結果についての説明を文字列データとして入力する自由記述項目である。
続いて、目視による確認作業の結果を入力する機能の動作を説明する。
監視者は、監視結果入力ボタン84bを押すことで対応するイベントを選択する。監視結果入力ボタン84bが押された場合に、監視支援装置6は、選択されたイベントに対する確認作業の監視結果を入力する機能の動作を開始する。
監視支援装置6は、監視結果の入力を監視者に要求する。監視結果の入力の要求は、例えば対話式に行われる。監視支援装置6は、監視結果コード、映像保存コード、特記事項の順に一つずつ監視者へ入力を要求する。
選択されたイベントに対する監視結果の入力が終了した場合に、履歴管理部64は、監視結果データ74を作成する。
監視結果データ74は、以下のように作成される。履歴管理部64は、監視結果データ74を作成するときに、監視結果番号を新たに取得する。履歴管理部64は、選択されたイベントのイベント番号に基づいて、監視支援データ72を履歴記憶部63から取得する。履歴管理部64は、取得した監視支援データ72に含まれる監視支援番号を取得する。
履歴管理部64は、現在のセッションでログインしている監視者の監視者番号を取得する。履歴管理部64は、現在のセッションで作成された再生履歴のうち、選択されたイベントが共通する再生履歴の再生履歴番号を取得する。
履歴管理部64は、現在の時刻を確認日時として取得する。
履歴管理部64は、監視者の入力に基づいて、監視結果コードと、映像保存コードと、特記事項と、を取得する。
履歴管理部64は、以上で取得した情報を組み合わせて、監視結果データ74を作成する。
履歴管理部64は、監視結果データ74を作成した後に、選択されたイベント番号と、作成した監視結果データを履歴記憶部63に送信する。
続いて、ダイジェスト映像データを作成する機能について説明する。
図15は、本実施の形態に係るダイジェスト映像データとして結合される期間の例を示す図である。図15において、横軸は時間を表す。
ダイジェスト映像処理部65は、イベント記憶部61から、選択期間内に発生しているイベントのイベント番号と、当該イベント番号の各々に関連付けられているイベントデータ71の各々を取得する。ダイジェスト映像処理部65は、取得したイベント番号を要素として格納するイベントリストを作成する。
ダイジェスト映像処理部65は、イベントリストに格納されたイベント番号の各々に関連付けて記憶されている監視支援データ72の各々を、履歴記憶部63から取得する。ダイジェスト映像処理部65は、取得した監視支援データ72の監視結果番号のリストに格納された監視結果番号に基づいて、履歴記憶部63から監視結果データ74を取得する。ダイジェスト映像処理部65は、取得した監視結果データ74の映像保存コードに基づいて、当該イベントに対応する映像データをダイジェスト映像データとして結合して保存することの要否を判定する。
ダイジェスト映像処理部65は、ダイジェスト映像データとして結合して保存することを要すると判定したイベントを、保存要のイベントとする。ダイジェスト映像処理部65は、ダイジェスト映像データとして結合して保存することを要しないと判定したイベントを、保存不要のイベントとする。ダイジェスト映像処理部65は、保存不要のイベントに対応するイベント番号をイベントリストから取り除く。イベントリストに格納されたイベント番号が表すイベントは、監視者に選択された一つまたは複数のイベントの例である。
図15において、両端に円を有する線分は、各々のイベントが発生している期間を表す。線分の左端は、当該イベントが発生している期間の開始時点を示す。線分の右端は当該イベントが発生している期間の終了時点を示す。両端に円を有する実線の線分は、保存要のイベント90を表す。両端に円を有する破線の線分は、保存不要のイベント91を表す。
ダイジェスト映像処理部65は、元の映像データについて、選択期間の開始時点に対応するフレーム番号から終了時点に対応するフレーム番号までを順に読み込む。ダイジェスト映像処理部65は、読み込んだフレーム番号に対応する時点が保存要のイベント90のいずれかが発生している期間内か否かを判定する。ダイジェスト映像処理部65は、読み込んだフレーム番号に対応する時点が当該期間内であると判定した場合に、当該フレーム番号が指定するフレームをダイジェスト映像データとして結合する。
これにより、ダイジェスト映像処理部65は、保存要のイベント90の各々が発生している期間に重複する期間がある場合は、当該重複する期間に対応する映像データの部分は重複させずにダイジェスト映像データとして結合させる。ダイジェスト映像処理部65は、保存要のイベント90が一つも発生していない期間に対応する映像データの部分は、ダイジェスト映像データとして結合させない。
図15において、両端にひし形を有する線分は、ダイジェスト映像処理部65が作成するダイジェスト映像データに対応する保存期間92を表す。保存期間92は、選択された一つまたは複数のイベントが発生している期間を含む期間である。保存期間92は、一つの連続した期間でなくてもよい。
ダイジェスト映像処理部65は、元の映像データから不連続な保存期間92に対応する映像データを結合する場合に、ダイジェスト映像データにおけるフレーム番号が連続するようにフレーム番号を補正する。ダイジェスト映像処理部65は、保存期間92に含まれないフレームの数を、当該フレームより後のフレームのフレーム番号から引くことで補正を行う。ダイジェスト映像処理部65は、取得したイベントデータ71および再生履歴データ73に含まれるフレーム番号のデータについても、同様にフレーム番号の補正を行う。割り当てを行ったフレーム番号は、ダイジェスト映像データにおけるフレーム番号である。
ダイジェスト映像処理部65は、保存要のイベント90の開始時点の中の最も早い時点から、保存要のイベント90の終了時点の中の最も遅い時点までを含む期間に対応する元の映像データの部分を、映像記憶装置3から削除する。
図15において、両端に三角形を有する線分は、ダイジェスト映像処理部65が削除の対象とする削除期間93を表す。ダイジェスト映像処理部65は、削除期間93を含む選択期間全体に対応する元の映像データの部分を、映像記憶装置3から削除してもよい。
ダイジェスト映像処理部65は、映像番号が異なる撮影装置2ごとにダイジェスト映像データを作成する。
続いて、ダイジェスト映像データを作成する動作について説明する。図16は、本実施の形態に係る監視支援装置のダイジェスト映像データを作成する動作の例を示すフローチャートである。監視支援装置6は、複数の撮影装置2の各々から送信された映像データの各々に対して、図16に示す動作を行う。
監視支援装置6は、ダイジェスト映像作成ボタン85が監視者に押された場合に、ダイジェスト映像データを作成する機能を開始する。
ダイジェスト映像処理部65は、保存要のイベント90のイベント番号を格納するイベントリストを作成する。その後、ダイジェスト映像処理部65は、現在のフレーム番号を選択期間の開始時点に対応するフレーム番号に設定する。その後、ダイジェスト映像処理部65は、出力用の作業領域を空にする(S401)。
ダイジェスト映像処理部65は、現在の添字番号をイベントリストの先頭の添字番号に設定する(S402)。
ダイジェスト映像処理部65は、現在の添字番号で指定されるイベント番号に関連付けられたイベントデータ71から、開始フレーム番号と終了フレーム番号とを取得する。その後、ダイジェスト映像処理部65は、フレーム番号の補正を行う(S403)。
ダイジェスト映像処理部65は、現在のフレーム番号が、取得した開始フレーム番号と終了フレーム番号とで指定される期間内であるかを判定する(S404)。判定結果がYesであるとき、監視支援装置6の動作は、S405に進む。判定結果がNoであるとき、監視支援装置6の動作は、S406に進む。
ダイジェスト映像処理部65は、現在のフレームを読み込み、補正したフレーム番号と共に出力用の作業領域に追加して書込む(S405)。
ダイジェスト映像処理部65は、現在の添字番号がイベントリストの末尾の添字番号であるかを判定する(S406)。判定結果がNoであるとき、現在の添字番号を次の添字番号とする。その後、監視支援装置6の動作は、S403に進む。判定結果がYesであるとき、監視支援装置6の動作は、S407に進む。
ダイジェスト映像処理部65は、保存期間92に含まれないフレームの数を更新する(S407)。
ダイジェスト映像処理部65は、現在のフレーム番号が選択期間の終了時点に対応するフレーム番号であるかを判定する(S408)。判定結果がNoであるとき、現在のフレーム番号を次のフレーム番号に設定する。その後、監視支援装置6の動作は、S402に進む。判定結果がYesであるとき、監視支援装置6の動作は、S409に進む。
ダイジェスト映像処理部65は、出力用の作業領域に記憶されたフレームの内容をダイジェスト映像データとして結合する。その後、ダイジェスト映像処理部65は、アーカイブデータを作成する。その後、ダイジェスト映像処理部65は、作成したアーカイブデータを送信する。その後、ダイジェスト映像記憶部66は、受信したアーカイブデータを保存する。その後、ダイジェスト映像処理部65は、削除期間に対応する映像データの部分を映像記憶装置3から削除する(S409)。
続いて、監視者データについて説明する。図17は、本実施の形態に係る監視者データの構造を示す図である。監視支援装置6は、監視者データ75を記憶する。監視者データは、監視者番号と監視者名とを含む。監視者データ75は、監視者の所属、役職または監視の経験などの監視者の属性に関する情報を含んでもよい。
以上に説明したように、監視支援システム4は、次のように監視者の確認作業を支援する。再生部62は、監視者に選択されたイベント番号に基づいて、当該イベントが発生している期間に対応する映像データの部分を、表示装置8に送信する。表示装置8は、受信した映像データが表す映像を表示する。監視者は、表示装置8に表示された当該映像を対象として、目視による確認作業を行う。履歴記憶部63は、監視支援データ72を、イベント番号と関連付けて記憶する。監視支援データ72は、当該映像データの部分を再生部62が表示装置8に送信したか否かを表す情報である再生履歴データ73を含む。すなわち、監視支援装置6は、イベントが発生している期間に対応する映像データの部分を監視者による確認作業の対象の単位となる部分として、当該部分ごとに映像データを細分化することなく、当該部分ごとに確認作業の実績の情報を記憶できる。
判定部60は、映像の時間に対する変化量に基づいて、イベントが発生している期間を判定する。監視支援装置6は、イベントが発生している映像を表す映像データを抽出する。これにより、監視者は、抽出されたイベントが発生している映像のみを対象として確認作業を行うことができる。したがって、監視者の目視による確認作業の負担が低減する。
履歴記憶部63は、監視結果データ74を含む監視支援データ72をイベント番号と関連付けて記憶する。履歴記憶部63は、イベントが発生している期間に対応する映像データの部分ごとに映像データを細分化することなく、当該部分ごとに確認作業の結果の情報を記憶できる。これにより、複数の監視作業の結果の情報が散逸することが抑制される。したがって、監視者は、確認作業の結果の情報を容易に管理できる。
履歴管理部64は、監視者が入力装置9を介して自ら行う入力に基づいて監視結果データ74を作成する。これにより、履歴記憶部63が再生履歴データ73のみを含む監視支援データを記憶する場合に比べ、監視支援装置6は、監視者が確認作業を実際に行ったか否かの情報の精度を向上できる。
判定部60は、変化量を映像の中の指定領域に基づいて算出する。これにより、監視者は、映像の中の確認作業の対象とする領域を柔軟に設定できる。また、監視者は、イベントごとに指定領域を設定することができる。これにより、履歴記憶部63は、映像データの中の時間および領域が特定されたイベントごとに、監視者による確認作業の実績の情報が記憶できる。
再生部62は、イベントの映像にイベントが発生している領域およびイベント種別などの情報を表す監視補助表示を重ねたデータを表示装置8に送信する。これにより、監視支援システム4は、映像の中の着目すべき部分または領域を明確に監視者に示すことができる。したがって、確認作業において確認するべき事項を監視者が見落とす可能性が低減する。
再生部62は、監視補助表示の形態を監視支援データに基づいて変える。これにより、監視支援システム4は、未確認の映像データの部分または問題のあるイベントが発生している部分などの、確認作業において特に注意を要する部分を強調して監視者に示すことができる。したがって、確認作業において注意を要する部分を監視者が見落とす可能性が低減する。
ダイジェスト映像処理部65は、イベントが発生している期間に対応する映像データをダイジェスト映像データとして結合する。これにより、監視者は、まとめて複数のイベントの確認作業を行うことが容易にできる。
ダイジェスト映像処理部65は、映像記憶装置3からダイジェスト映像データとして結合した部分に対応する元の映像データの部分を削除する。これにより、監視システム1は、映像記憶装置3の記憶容量を有効に利用できる。
ダイジェスト映像記憶部66は、元の映像データから抽出したダイジェスト映像データと監視支援データ72とを関連付けて記憶する。これにより、監視者は、ダイジェスト映像データが表す映像において発生している複数のイベントについて確認作業の実績の有無をまとめてチェックすることができる。したがって、確認作業の漏れの発生が低減する。また、監視支援システム4は、アーカイブデータに基づいて、ダイジェスト映像データにも監視補助表示を重ねて監視者に示すことができる。
続いて、イベントが発生している映像を表示装置に送信する機能の他の例について説明する。図18は、本実施の形態に係る表示装置が表示するイベントが発生している映像の画面の他の例を示す図である。
監視支援装置6は、イベントが発生している映像を表示装置8に送信する機能の他の例として、連続再生機能を有してもよい。連続再生機能は、対象とする一つの撮影装置2が撮影した映像において、選択期間内に発生している複数のイベントが監視者に選択された場合の再生部62の機能の例である。対象とする撮影装置2は、監視者に選択された映像番号で指定される。
映像表示画面は、監視画像87と、マーカ画像88と、ボックス89と、を表示する。映像表示画面は、複数のイベントが同時に発生している場合に、複数のイベントの各々に対してマーカ画像88またはボックス89を表示する。
連続再生機能の動作は、連続再生ボタン86が監視者に押された場合に開始する。
再生部62は、イベント記憶部61から、選択期間内に発生している選択された映像番号のイベントのイベント番号と、当該イベント番号の各々に関連付けられているイベントデータ71の各々を取得する。再生部62は、取得したイベント番号を要素として格納するイベントリストを作成する。
再生部62は、取得したイベントデータ71の各々に基づいて、各々のイベントの開始フレーム番号および終了フレーム番号を取得する。
再生部62は、取得したイベントデータの各々のイベント種別番号に基づいて、イベント種別データ70の各々を取得する。
再生部62は、イベントリストに格納されたイベント番号の各々に基づいて、監視支援データ72の各々を履歴記憶部63から取得する。監視支援装置6は、イベントの一覧が作成されていない場合に、連続再生機能の動作を開始する前にイベントの一覧を作成する機能の動作を開始してもよい。
再生部62は、イベントリストに格納されるイベント番号と、取得した監視支援データ72とに基づいて、選択期間内に発生しているイベントの各々について監視補助表示の形態を設定する。
再生部62は、選択期間の開始時点に対応するフレームから終了時点に対応するフレームまでを順に作業領域に読み込む。
再生部62は、選択期間の開始時点に対応するフレームを表示装置8に送信するときに、再生履歴番号を新たに取得する。その後、再生部62は、再生開始フレームの番号を取得する。その後、再生部62は、現在の時刻を再生開始時刻として取得する。その後、再生部62は、現在のセッションでログインしている監視者の監視者番号を取得する。
再生部62は、選択期間の終了時点に対応するフレームを表示装置8に送信するときに、再生終了フレームの番号を取得する。
再生部62は、連続再生機能においては一度に複数のイベントの確認作業が行われるので、イベント番号の代わりにイベントリストを組み合わせて再生履歴データ73を作成する。
再生部62は、再生履歴データ73を作成した後に、イベントリストと作成した再生履歴データ73とを履歴記憶部63に送信する。
履歴記憶部63は、再生履歴データ73を保存する。すなわち、履歴記憶部63は、受信した再生履歴データ73を記憶する。その後、履歴記憶部63は、受信したイベントリストに格納されたイベント番号の各々に関連付けて記憶している監視支援データが含む再生履歴番号のリストに、記憶した再生履歴データが含む再生履歴番号を追加する。
続いて、イベントが発生している映像を表示装置に送信の動作の他の例として、連続再生機能の動作を説明する。図19は、本実施の形態に係る監視支援装置の連続再生機能の動作の例を示すフローチャートである。
監視者は、対象とする映像番号を選択する。監視者は、連続再生ボタン86を押すことで、選択期間内に発生している選択された映像番号のイベントを一括して選択する。連続再生ボタン86が押された場合に、監視支援装置6は、連続再生機能の動作を開始する。
再生部62は、選択期間内に発生しているイベントのイベントリストを作成する。その後、再生部62は、イベントリストのイベントの各々に対して、監視補助表示の形態を設定する。その後、再生部62は、現在のフレームの番号を選択期間の開始時点に対応するフレームの番号に設定する(S501)。
再生部62は、現在のフレームを作業領域に読み込む。その後、再生部62は、現在の添字番号をイベントリストの先頭の要素に対応する添字番号に設定する(S502)。
再生部62は、現在のフレームが現在の添字番号で指定されるイベントの期間内であるかを判定する(S503)。判定結果がYesであるとき、監視支援装置6の動作はS504に進む。判定結果がNoであるとき、監視支援装置6の動作はS505に進む。
再生部62は、作業領域に読み込まれたフレームが表す画像に重ねて、現在の添字番号で指定されるイベントの監視補助表示を書き込む(S504)。
再生部62は、現在の添字番号がイベントリストの末尾の添字番号であるかを判定する(S505)。判定結果がNoであるとき、再生部62は、現在の添字番号を次の添字番号とする。その後、監視支援装置6の動作はS503に進む。判定結果がYesであるとき、監視支援装置6の動作はS506に進む。
再生部62は、作業領域に格納されているデータを表示装置8に送信する(S506)。
再生部62は、現在のフレームの番号が選択期間の終了時点に対応するフレーム番号であるかを判定する(S507)。判定結果がYesであるとき、監視支援装置6の動作は、S508に進む。判定結果がNoであるとき、再生部62は、現在のフレームを次のフレームに設定する。その後、監視支援装置6の動作は、S502に進む。
再生部62は、再生履歴データ73を作成する。その後、再生部62は、再生履歴データ73とイベントリストとを履歴記憶部63に送信する。その後、履歴記憶部63は、受信した再生履歴データ73を保存する(S508)。
なお、目視による確認作業の結果を入力する機能は、結果を入力する対象のイベントが発生している映像を表示装置8が表示している場合に、当該映像に重ねて表示されるマーカ画像88が監視者に選択されたときに動作を開始してもよい。監視者による選択は、例えば入力装置9がマウスである場合に、監視者による監視補助表示のクリックであってもよい。
本実施の形態は、判定部60の変化量および変化位置の座標を算出する方法に限定されない。
判定部60は、背景画像80との輝度情報の差分に代えて、直前のフレームとの輝度情報の差分を変化量の算出に用いてもよい。これによって、判定部60は、映像の変化の速さをイベントの発生の判定に用いることができる。判定部60は、映像中の人物の不自然な動きを確認作業の対象とする場合に、隣接するフレームとの差分を用いて変化量を算出してもよい。
判定部60は、映像データが符号化されている場合に、符号化されたデータを複号化せずに処理を行ってもよい。判定部60は、離散コサイン変換の係数を変化量の算出に用いてもよい。これにより、判定部60は、変化量を算出するときの復号化に係る処理が軽減できる。
判定部60は、周知の画像認識の技術により、特定の人物と映像の中の人物との顔の一致度を変化量として算出してもよい。判定部60は、映像の中に複数人いる場合に、一致度の最大値を変化量としてもよい。これによって、判定部60は、映像の中に特定の人物が映っているか否かをイベントが発生している期間の判定に用いることができる。
判定部60は、変化量を算出する方法を一つのみ有してもよい。
変化量の算出における指定領域は、矩形領域に限定されない。指定領域は、3つ以上のアンカーを結ぶ線分で囲まれる閉じた領域でもよい。指定領域は、映像の中の一点から予め定められた長さの範囲の内側にある円形の領域でもよい。
変化量は、指定領域に基づかずに算出されてもよい。すなわち、変化量は、映像データの領域全体についてのみ算出されてもよい。
判定部60は、変化量の値が開始の閾値より大きくなった時点より予め設定された時間だけ前の時点を、イベントが発生している期間の開始時点として判定してもよい。判定部60は、変化量の値が終了の閾値より小さくなった時点より予め設定された時間だけ後の時点を、イベントが発生している期間の終了時点として判定してもよい。これにより、監視者は、映像に変化が発生している期間の前後の状況も含めて確認作業を行うことができる。
再生部62は、監視補助表示を映像に重ねて表示装置8に送信しなくてもよい。再生部62は、監視者の操作により監視補助表示の表示または非表示を切り替えてもよい。
再生部62は、監視補助表示の形態を監視支援データに基づいて変更しなくてもよい。これにより、確認作業を行う際に監視支援データの内容が重要でない場合に、監視者は、映像に注意を集中できる。
ダイジェスト映像処理部65は、ダイジェスト映像データのみを作成してアーカイブデータを作成しなくてもよい。これにより、ダイジェスト映像データを作成する処理に係る負荷が低減する。
ダイジェスト映像処理部65は、ダイジェスト映像データを作成するときに、元の映像データを映像記憶装置3から削除しなくてもよい。
ダイジェスト映像処理部65は、一つのイベントに複数の監視結果データが対応し、かつ各々の映像保存コードが一致しない場合に、一つでも映像保存を要とするデータがあれば、映像保存を要として判定してもよい。
ダイジェスト映像処理部65は、イベント種別データまたは再生履歴データなどに基づいて映像保存の要否を判定してもよい。例えば、ダイジェスト映像処理部65は、イベントに対応する再生履歴データが無い場合に、映像保存を要と判定してもよい。
図20は、本実施の形態の変形例に係る監視支援装置の構成を示すブロック図である。監視支援装置6は、ダイジェスト映像処理部65を備えなくてもよい。これにより、映像記憶装置3の記憶容量が十分に確保できる場合、または映像データを長期保存しない場合に、監視支援システム4が簡単になりメンテナンス性が向上する。
図21は、本実施の形態の変形例に係る監視支援装置の構成を示すブロック図である。監視支援装置6は、履歴管理部64を備えなくてもよい。これにより、再生履歴データの管理のみで十分である場合に、監視支援システム4が簡単になりメンテナンス性が向上する。
図22は、本実施の形態の変形例に係る監視支援装置の構成を示すブロック図である。監視支援装置6は、ダイジェスト映像処理部65および履歴管理部64の両方を備えなくてもよい。これにより、監視支援システム4が簡単になりメンテナンス性が向上する。
監視支援装置6は、判定部60およびイベント記憶部61を備えなくてもよい。監視支援装置6は、他の監視支援システムまたは監視支援装置が作成したイベントデータに基づいて、監視支援データを作成および記憶してもよい。
監視支援システム4は、バッファを介して装置または部分の間の通信を行ってもよい。バッファは、例えばメモリ6cである。例えば、映像記憶装置3がバッファに映像データを送信してもよい。判定部60がバッファから当該映像データを受信してもよい。
監視システム1は、撮影装置2を一つのみ備えてもよい。監視システム1は、撮影装置2を備えなくてもよい。監視システム1は、既に映像記憶装置3にファイルとして記憶されている他の監視システムで記録された映像データのみを対象としてもよい。
監視システム1は、映像記憶装置3を備えなくてもよい。撮影装置2は、判定部60に直接映像データを送信してもよい。イベント記憶部61は、イベントが発生している期間に対応する映像データの部分を記憶してもよい。
監視システム1は、監視端末7を備えなくてもよい。監視システム1は、撮影装置2と、映像記憶装置3と、監視支援装置6と、表示装置8と、入力装置9とが、ネットワーク5または監視端末7を介さずに接続されてもよい。監視システム1は、一つの場所に配置された単一の装置により実現されてもよい。
本実施の形態に係る映像データは、フレームに連続する番号が付された形式に限定されない。映像データは、例えばMPEG(Motion Picture Expert Group)−2またはH.264などの映像符号化方式で符号化された動画データの形式であってもよい。
映像データの部分は、元の映像データと具体的なデータの形式が異なってもよい。映像データの部分は、ファイルとしては記憶されずに作業領域に一時的に記憶されるデータであってもよい。
本実施の形態に係るデータの各々は、説明のために例示した構造に限定されない。本実施の形態に係るデータの各々は、適用するデータの種類、形式または規模に応じて、例えば関係データベースとして正規化されたデータであってもよい。
本実施の形態に係るデータにおいて、イベント番号などのデータを識別する情報は、文字または数値からなるデータに限定されない。データを識別する情報は、当該データが記憶されているアドレスを示すデータであってもよい。