[1]実施例
図1は実施例に係る監視システム1の全体構成を表す。監視システム1は、監視エリアにおける監視を支援するシステムである。監視エリアには監視員が配置されて現場での監視を行う。また、監視員を支援するためのオペレータが監視センタに常駐し、監視員への指示や情報提供を行う。監視システム1は、主としてこれら監視員及びオペレータによって利用される。
監視システム1は、ネットワーク2と、イントラネット3と、複数の監視員端末10と、監視センタサーバ装置20と、オペレータ端末30と、複数の固定カメラ40とを備える。ネットワーク2は、移動体通信網及びインターネット等を含む通信システムであり、自システムに接続される装置同士のデータのやり取りを仲介する。ネットワーク2は、移動体通信を行う基地局及び無線LAN(Local Area Network)通信を行うアクセスポイント等の無線通信装置を備える。ネットワーク2には、監視員端末10及び固定カメラ40がこれらの無線通信装置と無線通信を行うことにより接続される。
イントラネット3は、例えばLAN及びWAN(Wide Area Network)を含む通信システムであり、自システムに接続される装置同士のデータのやり取りを仲介する。イントラネット3は、ネットワーク2に接続されている。また、イントラネット3には、監視センタサーバ装置20及びオペレータ端末30が接続されている。なお、イントラネット3との接続は有線通信及び無線通信のどちらでもよい。
固定カメラ40は、監視エリアの現場に設置されて周囲の映像、すなわち監視エリアの映像を撮影する装置であり、本発明の「撮影装置」の一例である。本発明でいう「映像」には、静止画像及び動画像のどちらも含まれ得るが、以下では動画像である場合を説明する。固定カメラ40は、撮影した映像を監視センタサーバ装置20に送信する。なお、映像を送信するとは、映像を示すデータを送信することを意味する。以下でも、各種の情報に対して送信等の処理を行うことは、それらの情報を示すデータに対して処理を行うことを意味する。
固定カメラ40は、監視エリアにおいて監視が必要な位置(実空間における位置)に固定されており、その位置の周辺を撮影する。固定カメラ40は本発明の「固定撮影装置」の一例でもある。固定カメラ40は、パン・チルト・ズーム機能を有し、オペレータ端末30や監視員端末10からの遠隔操作により制御可能としてもよい。固定カメラ40が送信した映像は、監視センタの画面に表示され、オペレータはその画面を見ながら監視エリアの状況を確認する。
監視員端末10は、監視エリアの現場に配置される監視員が所持して持ち運ぶ端末である。監視員端末10は、例えばスマートフォンであるが、本システム専用に作られた端末であってもよい。
図2は監視員に装着された監視員端末10を表す。図2では、監視員M1が端末ケース5を身体に固定している。
端末ケース5は、監視員端末10を格納する入れ物であり、バンドにより監視員の身体(詳細には胸部)に固定されている。監視員端末10は、周囲の映像、すなわち監視エリアの映像を撮影する撮影手段を備えている。監視員端末10は本発明の「撮影装置」の一例である。また、固定カメラ40と異なり監視員により持ち運ばれる監視員端末10は、「可搬撮影装置」の一例でもある。
端末ケース5は、自ケースに監視員端末10が格納された場合に撮影手段のレンズの位置する部分が透明になっている(孔が空いていてもよい)。監視員の胸部に装着された監視員端末10は、監視員の前方の映像を撮影する。また、監視員端末10は、GPS(Global Positioning System)等の自装置の位置の測定手段も備えている。監視員端末10は、撮影手段が撮影した映像と、測位手段による位置の測定結果とを監視センタサーバ装置20に送信する。
監視センタサーバ装置20は、監視エリアの監視状況を管理するための各種の処理を実行する情報処理装置である。監視センタサーバ装置20は、例えば、送信されてきた映像に対して画像処理を行い、監視エリアでの異常事象の発生を検出する。ここでいう異常事象とは、監視エリアにおいて発生する事象のうち、周囲の人の安全を脅かしたり迷惑になったりするなどの理由で、監視員が何らかの対応(関係者への連絡や事態を収束するための対処など)を行う対象となる事象のことである。
これらの異常事象は、単に異常又は事案と呼ばれることもある。具体的には、例えば、不審者の出現、不審物の発見、立ち入り禁止エリアへの立ち入り、道路への飛び出し、怪我人の発生、事故の発生及びケンカの発生等が異常事象に含まれる。また、監視センタサーバ装置20は、監視エリアを撮影した複数の映像をオペレータ端末30に送信する処理を行う。
オペレータ端末30は、監視センタのオペレータによって使用される端末である。オペレータ端末30は、複数の映像を並べて表示するディスプレイ31を備え、監視センタサーバ装置20から送信されてきた監視エリアの映像を並べて表示する。オペレータは、表示された映像を見ながら、監視エリアで異常事象が発生していないかどうかを確認し、異常事象が発生したときは、その発生場所の周辺の映像を見ながら監視員に指示を行う。
図3は監視員端末10のハードウェア構成を表す。監視員端末10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、出力装置16と、撮影装置17と、測位装置18とを備えるコンピュータである。プロセッサ11は、CPU(Central Processing Unit)等を備え、オペレーティングシステムを動作させてコンピュータ全体を制御する機能を有するデバイスである。プロセッサ11は、プログラム及びデータ等をストレージ13及び通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
メモリ12は、プロセッサ11が読み取り可能なデータを記憶する機能を有する記録デバイスであり、例えばROM(Read Only Memory)及びRAM(Random Access Memory)等である。ストレージ13は、プロセッサ11が読み取り可能なデータを記憶する機能を有する記録デバイスであり、例えばハードディスクドライブ及びフラッシュメモリ等である。通信装置14は、有線ネットワーク又は/及び無線ネットワークを介してコンピュータ間の通信を行う機能を有する通信デバイスである。監視員端末10においては、通信装置14が、例えば移動体通信又は無線LANの規格に準拠した無線通信を行う。
入力装置15は、外部からの入力を受け付ける機能を有する入力デバイスである。監視員端末10においては、入力装置15が、例えばタッチセンサ、ボタン及びマイクロフォン等を備える。出力装置16は、外部への出力を実施する機能を有する出力デバイスである。監視員端末10においては、出力装置16が、ディスプレイを備え、入力装置15のタッチセンサ及び出力装置16のディスプレイが一体となってタッチスクリーンを構成する。
撮影装置17は、周囲の映像を撮影するデバイスである。撮影装置17は、上述した撮影用パラメータに基づいて映像を撮影し、撮影した映像をプロセッサ11に供給する。測位装置18は、例えば、GPS衛星からの信号を用いて自身の位置を測定し、測定した位置を示す位置情報(緯度及び経度を示す情報)をプロセッサ11に供給する。
監視センタサーバ装置20は、プロセッサと、メモリと、ストレージと、通信装置とを備えるコンピュータである。これらはいずれも、図3に表す同名の各装置と機能が共通するデバイスである。監視センタサーバ装置20においては、通信装置が、有線LANの規格に準拠した有線通信を行う(無線通信を行ってもよい)。
オペレータ端末30は、プロセッサと、メモリと、ストレージと、通信装置と、入力装置と、図1に表すディスプレイ31を含む出力装置とを備えるコンピュータである。これらはいずれも、図3に表す同名の各装置と機能が共通するデバイスである。オペレータ端末30においては、通信装置が、有線LANの規格に準拠した有線通信を行い(無線通信を行ってもよい)、また、入力装置が、キーボード、マウス及びマイクロフォン等を備える。
固定カメラ40は、プロセッサと、メモリと、ストレージと、通信装置と、撮影装置とを備えるコンピュータである。これらはいずれも、図3に表す同名の各装置と機能が共通するデバイスである。
監視システム1が備える各装置のプロセッサがプログラムを実行して各部を制御することで、以下に述べる機能が実現される。
図4は監視システム1が実現する機能構成を表す。なお、図4では、監視員端末10及び固定カメラ40がそれぞれ1つしか表されていないが、他の監視員端末10及び固定カメラ40も同じ機能構成を備えている。
監視員端末10は、測位部101と、位置情報送信部102と、撮影部103と、映像送信部104とを備える。監視センタサーバ装置20は、監視員端末情報取得部201と、固定カメラ情報取得部202と、映像情報送信部203と、画像処理部204と、発生場所特定部205と、表示位置決定部206とを備える。オペレータ端末30は、映像表示部301を備える。固定カメラ40は、撮影部401と、映像送信部402とを備える。
監視員端末10の測位部101は、自装置の位置を繰り返し測定する。測位部101は、例えば、一定時間の間隔(1秒毎など)で自装置の位置を測定し、測定した位置を示す位置情報を位置情報送信部102に供給する。位置情報送信部102は、測位部101により測定された自装置の位置を示す位置情報を監視センタサーバ装置20に送信する。監視員端末10は自装置を識別する情報として装置ID(Identification)を記憶している。位置情報送信部102は、位置情報が供給される度にその位置情報を装置IDと共に監視センタサーバ装置20に送信する。
撮影部103は、自装置の周囲の映像を撮影する。撮影部103は、映像を撮影しながら、並行して、撮影済みの映像を映像送信部104に供給する。映像送信部104は、撮影部103により撮影された自装置の周囲の映像を監視センタサーバ装置20に送信する。映像送信部104は、自装置の装置IDを含むメタデータを映像に付与して送信する。撮影部103及び映像送信部104は、ストリーミングの技術を用いて映像の撮影及び送信を並行して行う。
固定カメラ40の撮影部401は、自カメラの周囲の映像を撮影する。映像送信部402は、撮影部401により撮影された自カメラの周囲の映像を監視センタサーバ装置20に送信する。撮影部401及び映像送信部402は、監視員端末10の撮影部103及び映像送信部104と同じ機能である。
監視センタサーバ装置20の監視員端末情報取得部201は、監視員端末10の位置情報送信部102から送信されてきた位置情報及び装置IDと、監視員端末10の映像送信部104から送信されてきた映像及び装置IDとを、この装置IDが示す監視員端末10に関する情報(監視員端末情報)として取得する。つまり、監視員端末情報取得部201は、監視エリアの映像を撮影する複数の撮影装置(監視員端末10)の位置情報を取得する手段であり、本発明の「位置取得手段」の一例である。
また、監視員端末情報取得部201は、複数の撮影装置(複数の監視員端末10)がそれぞれ撮影した監視エリアの映像を取得する手段であり、本発明の「映像取得手段」の一例である。監視員端末情報取得部201は、取得した監視員端末情報を映像情報送信部203、画像処理部204及び表示位置決定部206に供給する。
固定カメラ情報取得部202は、固定カメラ40の映像送信部402から送信されてきた映像及び装置IDを、この装置IDが示す固定カメラ40に関する情報(固定カメラ情報)として取得する。つまり、固定カメラ情報取得部202は、複数の撮影装置(複数の固定カメラ40)がそれぞれ撮影した監視エリアの映像を取得する手段であり、本発明の「映像取得手段」の一例である。
また、固定カメラ情報取得部202は、装置IDとその装置IDが示す固定カメラ40の位置情報とを対応付けたリストである位置情報リストを記憶している。固定カメラ情報取得部202は、取得した装置IDに位置情報リストで対応付けられている位置情報を、固定カメラ情報として取得する。つまり、固定カメラ情報取得部202は、監視エリアの映像を撮影する複数の撮影装置(固定カメラ40)の位置情報を取得する手段であり、本発明の「位置取得手段」の一例である。
なお、各固定カメラ40が、自装置の位置情報を記憶しておき、その位置情報を映像と共に送信して、固定カメラ情報取得部202がその映像及び位置情報を固定カメラ情報として取得してもよい。固定カメラ情報取得部202は、取得した固定カメラ情報を映像情報送信部203、画像処理部204及び表示位置決定部206に供給する。
映像情報送信部203は、監視員端末情報取得部201及び固定カメラ情報取得部202により取得された複数の映像と、それらの映像の表示位置(表示画面において各映像を表示する位置)とを示す映像情報を、オペレータ端末30に送信する。オペレータ端末30の映像表示部301は、固定カメラ40の映像と監視員端末10の映像とを表示する手段であり、本発明の「表示手段」の一例である。映像表示部301は、受け取った映像情報に基づいて複数の映像を並べて表示する。
図5は表示された複数の映像の一例を表す。図5の例では、映像表示部301は、ディスプレイ31の画面を、左上端に配置された画面A1と、その右側に順番に並べて配置された画面A2、A3と、画面A1の下側に配置された画面A4と、その右側に順番に並べて配置された画面A5、A6と、画面A4の下側に配置された画面A7と、その右側に順番に並べて配置された画面A8、A9というマス目状に並べられた9つの分割画面に分割し、各分割画面に監視エリアの映像を表示している。
以下では、9台の監視員端末10(10−1、10−2、・・・、10−9)と、9台の固定カメラ40(40−1、40−2、・・・、40−9)によって監視エリアの映像が撮影される例を説明する。映像表示部301は、本実施例では、異常事象が発生していない平常時には、固定カメラ40の9つの映像だけを各分割画面に表示し、監視員端末10の9つの映像は表示しない。そして、映像表示部301は、異常事象が発生すると、分割画面のうちの一部に、固定カメラ40の映像の代わりに監視員端末10の映像を表示する。これらの映像の表示位置の決定方法を以降で説明する。
画像処理部204は、監視員端末情報取得部201及び固定カメラ情報取得部202により取得された撮影装置(監視員端末10及び固定カメラ40)の映像に対して画像処理を行う。画像処理部204は、例えば、映像データから特定の人物の異常行動を検出する周知の技術を応用して、撮影された監視エリアの映像を解析して異常事象の発生を検出する。
画像処理部204は、異常事象の検出を行うと、検出に用いた映像を撮影した撮影装置から取得された監視員端末情報又は固定カメラ情報を発生場所特定部205に供給する。発生場所特定部205は、監視エリア内で発生した異常事象の発生場所を特定する手段であり、本発明の「特定手段」の一例である。発生場所特定部205は、本実施例では、画像処理部204から供給された監視員端末情報又は固定カメラ情報に含まれている位置情報が示す位置、すなわち異常事象の発生の検出に用いられた映像を撮影した撮影装置の位置を、異常事象の発生場所として特定する。
なお、発生場所の特定方法はこれに限らない。例えば、各固定カメラ40の撮影範囲が決まっている場合に、発生場所特定部205は、その撮影範囲の中心を示す位置情報を装置IDに対応付けて記憶しておく。発生場所特定部205は、画像処理部204から供給された固定カメラ情報に含まれている装置IDに対応付けて記憶している位置情報が示す位置を、異常事象の発生場所として特定してもよい。
また、地面が平坦であり、異常事象(人物等)が接地していると仮定した場合、各撮影装置の俯角情報を元に画像上の異常事象の位置から撮影装置と異常事象間の距離を求めることができる(特開2005−341450の図4、図5等を参照)。これを異常事象の発生場所を特定してもよい。発生場所特定部205は、特定した発生場所を示す発生場所情報を表示位置決定部206に供給する。
表示位置決定部206は、監視エリアを撮影する複数の撮影装置(監視員端末10及び固定カメラ40)により撮影された複数の映像を表示する位置(画面上の位置)を決定する。表示位置決定部206は、発生場所特定部205により特定された異常事象の発生場所と第1の位置関係にある撮影装置の映像の表示位置を、画面の中央に決定する。
第1の位置関係とは、例えば、撮影装置が異常事象の発生場所から所定の距離(例えば10m)の範囲にある位置関係又は異常事象の発生場所が撮影装置から所定の距離の範囲にある位置関係である。以下では、異常事象の発生場所と第1の位置関係にある撮影装置の映像のことを「第1映像」という。尚、本実施例では、上述のように異常事象の発生の検出に用いられた映像を撮影した撮影装置の位置を、異常事象の発生場所として特定している。この場合において、異常事象の発生場所と撮影装置の位置は等しくなるので、第1の位置関係における所定の距離は0と設定してよい。
また、表示位置決定部206は、発生場所特定部205により特定された異常事象の発生場所と第2の位置関係にある監視員端末10の映像の表示位置を、第1映像の近傍に決定する。第2の位置関係とは、例えば、第1の位置関係と同じく、撮影装置が異常事象の発生場所から所定の距離(例えば20m)の範囲にある位置関係又は異常事象の発生場所が撮影装置から所定の距離の範囲にある位置関係である。以下では、異常事象の発生場所と第2の位置関係にある監視員端末10の映像のことを「第2映像」という。表示位置決定部206は、発生場所情報及び監視員端末情報が示す監視員端末10の位置に基づいて、発生場所と第2の位置関係にある監視員端末10を特定する。
第1映像の近傍とは、第1映像に所定の基準以上に近い位置のことである。当然ながら、第1映像の近傍にある映像は、第1映像の近傍にない映像よりも第1映像に近くなる。近傍の範囲を決める基準は、全ての映像の数及び並び方等に応じて定められる。図5の例のように9つの長方形の分割画面が上下左右にマス目状に隙間なく並んでいて、中央の画面A5に第1映像が表示される場合において、本実施例では、その第1映像と辺が接する位置を近傍とする。つまり、第1映像が表示された画面A5の上下左右に隣接する画面A2、A4、A6、A8の位置が第1映像の近傍となり、それ以外の画面A1、A3、A7、A9の位置は第1映像の近傍とならない。
また、表示位置決定部206は、前述した第2映像の表示位置を、異常事象の発生場所と第2映像を撮影した監視員端末10との位置関係に応じた位置に決定する。異常事象の発生場所と監視員端末10との位置関係とは、例えば東西南北の方位で表される位置関係である。表示位置の決定方法の例を、図6を参照して説明する。
図6は決定される表示位置の一例を表す。図6(a)では、平常時にディスプレイ31の各画面A1、A2、・・・、A9にそれぞれ表示される映像V40−1、V40−2、・・・、V40−9(固定カメラ40−1、40−2、・・・、40−9の映像)が表されている。図6(b)では、異常事象の発生場所B1と第1の位置関係にある固定カメラ40−3と、発生場所B1と第2の位置関係にある監視員端末10−1、10−4、10−8とが表されている。尚、上述のように本実施例では、異常事象の発生の検出に用いられた映像を撮影した撮影装置の位置を、異常事象の発生場所として特定することとしているが、図6の説明では、理解を容易にするため、固定カメラ40−3の映像より特定した異常の発生場所B1と固定カメラ40−3とが第1の位置関係にある例について説明する。
発生場所B1の周囲を北西から東南に伸びる境界線C1と北東から南西に伸びる境界線C2で分けた場合に、監視員端末10−1は発生場所B1の西側に位置し、監視員端末10−4は発生場所B1の東側に位置し、監視員端末10−8は発生場所B1の南側に位置する。図6(c)では、この場合に表示位置決定部206が決定した表示位置に表示された各映像が表されている。また、図6(c)では、説明が分かり易いように、ディスプレイ31の中央の画面A5及びその近傍の画面の枠を太線で強調し、監視員端末10の映像をハッチングして示している。
なお、実際のオペレータ端末30における映像表示部301においても、監視員端末10の映像を固定カメラ映像と識別が容易になるように視覚的な表示を異ならせるようにしてもよい。例えば、監視員端末10の映像の枠の色を固定カメラ映像とは異ならせたり、枠部分を点滅させたりしてもよい。また、異常検知した固定カメラ映像と他の固定カメラ映像も同様に識別が容易なように視覚的な効果を施してもよい。
表示位置決定部206は、発生場所B1と第1の位置関係にある固定カメラ40−3の映像V40−3の表示位置をディスプレイ31の中央の画面A5に決定している。また、表示位置決定部206は、発生場所B1の西側に位置する監視員端末10−1の映像V10−1の表示位置は画面A5の左側の近傍に決定し、発生場所B1の東側に位置する監視員端末10−4の映像V10−4の表示位置は画面A5の右側の近傍に決定し、発生場所B1の南側に位置する監視員端末10−8の映像V10−8の表示位置は画面A5の下側の近傍に決定している。
このように、表示位置決定部206は、発生場所B1の北側を画面A5の上側の近傍、発生場所B1の南側を画面A5の下側の近傍、発生場所B1の東側を画面A5の右側の近傍、発生場所B1の西側を画面A5の左側の近傍に対応させて表示位置を決定する。また、表示位置決定部206は、映像V40−3が表示されていた画面A3を、中央の画面A5に表示されていた映像V40−5の表示位置と決定し、その他の画面は、元々表示されていた映像V40−1、V40−2、V40−7、V40−9の表示位置と決定している。
なお、図6(c)の例では、画面A5の近傍にある4つの画面のうち、画面A2には、監視員端末10の映像ではなく、固定カメラ40の映像(映像V40−2)が表示されている。これは、この映像V40−2が、発生場所B1と第2の位置関係にある監視員端末10により撮影された映像であることを意味しているのではなく、単に画面A2に元々表示されていた映像であることを意味している。従って、前述したように監視員端末10の映像を固定カメラ映像と識別が容易になるように視覚的な表示を異ならせる場合には、画面A2の映像V40−2については他の固定カメラ映像と表示を異ならせないようにする。
また、図6の例で、発生場所B1の西側に複数の監視員端末10(例えば監視員端末10−1及び10−8)が位置する場合、表示位置決定部206は、例えば、そのうちの発生場所B1に最も近い監視員端末10の映像の表示位置を画面A5の左側の近傍に決定し、それ以外の監視員端末10の映像の表示位置を、画面A5の近傍の画面のうち、固定カメラ40の映像が表示されることになる画面、すなわち他の監視員端末10の映像が表示されない余りの画面の位置と決定してもよい。
また、余りの画面が複数ある場合には、表示位置決定部206は、発生場所B1から遠い方の監視員端末10がより近い位置関係となる位置に対応する画面をその監視員端末10の映像の表示位置として決定してもよい。例えば上記の例で監視員端末10−8の方が発生場所B1から遠く、画面A2及びA8が余りの画面であり、且つ、監視員端末10−8が発生場所B1よりも北側に位置している場合、監視員端末10−8にとっては発生場所B1の南側よりも北側の方が近くなるので、表示位置決定部206は、発生場所B1の北側に対応する画面A2を監視員端末10−8の映像の表示位置として決定する。
また、発生場所B1と第2の位置関係にある監視員端末10の数が画面A5の近傍の画面の数よりも多くなった場合には、表示位置決定部206は、例えば、近傍の画面の数の映像についてのみ表示位置を決定し、それ以外の映像については表示位置を決定しない(つまり表示させない)ようにしてもよい。又は、表示位置決定部206は、近傍の定め方を変更して近傍の画面の数を増やし、発生場所B1と第2の位置関係にある監視員端末10の数よりも多くしたうえで、それらの監視員端末10全ての映像の表示位置を決定してもよい。
表示位置決定部206は、各映像を撮影した撮影装置の装置IDと各映像について決定した表示位置と対応付けて映像情報送信部203に供給する。映像情報送信部203は、こうして表示位置決定部206から供給された表示位置と、取得された各映像とを示す映像情報をオペレータ端末30に送信する。オペレータ端末30の映像表示部301は、この映像情報に基づいて図6(c)に表すように各映像を表示する。
異常事象が発生した瞬間はその発生場所の近くに監視員がいない又は少ししかいなくても、オペレータから指示された監視員が発生場所に駆けつけるため、発生場所と第2の位置関係にある監視員端末10の台数や位置は時間の経過と共に変化する。そこで、表示位置決定部206は、異常事象の発生場所と第2の位置関係にある監視員端末10の位置の変化に応じて、それらの監視員端末10が撮影する第2映像の表示位置を更新する。
図7は更新される表示位置の例を表す。図7(a)では、図6に表す発生場所B1で異常事象が発生した直後の表示位置が表されている。この例では、発生場所B1と第1の位置関係にある固定カメラ40−3の映像V40−3が中央の画面A5に表示されているが、この時点ではまだ発生場所B1と第2の位置関係にある監視員端末10がないため、監視員端末10の映像が表示されていない。
図7(b)では、監視員端末10−8が発生場所B1の西側において第2の位置関係になって、映像V10−8が画面A5の左側の近傍にある画面A4に表示されている。図7(c)では、さらに監視員端末10−4が発生場所B1の東側において第2の位置関係になって、映像V10−4が画面A5の右側の近傍にある画面A6に表示されている。このとき、監視員端末10−8が、発生場所B1との位置関係が変化して、発生場所B1の南側において第2の位置関係になったので、映像V10−8が画面A4から画面A5の下側の近傍にある画面A8に表示位置が更新されている。
図7(d)では、さらに監視員端末10−1が発生場所B1の西側において第2の位置関係になって、映像V10−1が画面A5の左側の近傍にある画面A4に表示されている。このように、表示位置決定部206が上記のとおり表示位置を更新することで、監視員端末10の位置の変化に伴って、映像V40−3の近傍に表示される映像も変化する。
以上のとおり、映像表示部301は、上述した第1映像を表示し、その第1映像の近傍に第2映像を、異常事象の発生場所とその第2映像を撮影した監視員端末10との位置関係に応じた配置で表示する。また、映像表示部301は、異常事象の発生場所と第2の位置関係にある監視員端末10の位置の変化に応じて、それらの監視員端末10の第2映像を表示する位置を更新する。
監視システム1が備える各装置は、上記構成に基づいて、監視エリアを撮影した映像を並べて表示する表示処理を行う。
図8は表示処理における各装置の動作手順の一例を表す。この動作手順は、例えば、各装置の電源が投入されて監視エリアにおける監視が開始されることを契機に開始される。まず、監視員端末10(測位部101)が、自装置の位置を測定する(ステップS11)。次に、監視員端末10(位置情報送信部102)は、測定された自装置の位置を示す位置情報を監視センタサーバ装置20に送信する(ステップS12)。
また、監視員端末10(撮影部103)は、自装置の周囲の映像を撮影する(ステップS13)。次に、監視員端末10(映像送信部104)は、撮影された自装置の周囲の映像を監視センタサーバ装置20に送信する(ステップS14)。監視センタサーバ装置20(監視員端末情報取得部201)は、監視員端末10から送信されてきた位置情報及び映像を監視員端末情報として取得する(ステップS15)。
固定カメラ40(撮影部401)は、自装置の周囲の映像を撮影する(ステップS21)。次に、固定カメラ40(映像送信部402)は、撮影された自装置の周囲の映像を監視センタサーバ装置20に送信する(ステップS22)。監視センタサーバ装置20(固定カメラ情報取得部202)は、固定カメラ40から送信されてきた映像と、その固定カメラ40の位置情報とを固定カメラ情報として取得する(ステップS23)。ステップS11〜S15と、S21〜S23との各動作群は、並行して繰り返し行われる。
監視センタサーバ装置20(画像処理部204)は、取得された撮影装置(監視員端末10及び固定カメラ40)の映像に対して画像処理を行い、監視エリア内での異常事象の発生を検出する(ステップS31)。監視センタサーバ装置20(発生場所特定部205)は、異常事象の発生が検出された場合に、その異常事象の発生場所を特定する(ステップS32)。ステップS31及びS32の動作は、異常事象の発生が検出されない場合は行われない。
監視センタサーバ装置20(表示位置決定部206)は、監視エリアを撮影した複数の映像を表示する位置を決定又は更新する(ステップS41)。次に、監視センタサーバ装置20(映像情報送信部203)は、取得された複数の映像と、それらの映像の表示位置とを示す映像情報を、オペレータ端末30に送信する(ステップS42)。オペレータ端末30(映像表示部301)は、送信されてきた映像情報が示す映像(固定カメラ40の映像及び監視員端末10の映像)を表示する(ステップS43)。ステップS41〜S43の動作群も繰り返し行われる。
本実施例では、上記のとおり、第1映像(異常事象の発生場所と第1の位置関係にある撮影装置の映像)の近傍に第2映像(異常事象の発生場所と第2の位置関係にある監視員端末10の映像)が表示される。そのため、オペレータは、異常事象の発生場所又はその近くを撮影した第1映像を見ながら、視線を大きく動かさなくても、発生場所の周辺を撮影した第2映像を見ることができる。また、異常事象の発生場所と第2の位置関係に監視員端末10がいなければ、第2映像が表示されないため、オペレータは異常事象の発生場所近傍に監視員がいないことが映像の表示状態によって把握することができる。これにより、オペレータが監視員に対処させるなど適切な指示を出すことができる。
異常事象の発生場所によっては、固定カメラ40の撮影範囲に発生場所が映らないこともあり得るが、監視員端末10であれば、監視員が異常事象の発生場所に移動すれば必ずその発生場所を撮影することができる。よって、異常事象がどこで発生しても、上記の第2映像によってその周辺の状況を把握することができる。また、監視員端末10が2台以上集まれば、発生場所を異なるアングルで撮影した2以上の映像から発生場所の周辺の状況を把握することができる。
このように、本実施例では、監視員端末10の映像を有効に利用して、上記の第1映像及び第2映像の表示を行わない場合に比べて、オペレータが異常事象の発生場所の周辺の状況を把握しやすいようにすることができる。また、本実施例では、監視員端末10が移動すれば、その位置の変化に応じて第2映像の表示位置が更新される。これにより、監視員が発生場所に到着して第2映像が増えたときに、その第2映像も第1映像の近傍に表示されるので、表示位置が更新されない場合に比べて、新たに増えた第2映像を踏まえた発生場所の周辺状況の把握を容易に行うことができる。
また、本実施例では、監視員端末10の映像が、異常事象の発生場所と監視員端末10との実際の位置関係(例えば方位で表される位置関係)に応じた配置で表示される。これにより、この位置関係に関係なく映像が配置される場合に比べて、表示された監視員端末10の映像が発生場所から見てどのあたりの映像であるのかという見当をつけやすくすることができる。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
[2−1]位置関係
第1及び第2の位置関係は、上述したものに限らない。例えば、異常事象の発生場所と第1の位置関係にある固定カメラ40として、固定カメラ40の撮影範囲の中心から所定の距離の範囲に発生場所が含まれる関係又は発生場所から所定の距離の範囲に固定カメラ40の撮影範囲の中心が含まれる関係であってもよい。
また、固定カメラ40が設置されている区画に発生場所が含まれる関係又は発生場所が含まれる区画に固定カメラ40が設置されている関係であってもよい。この区画は、例えば街の区画や建物内の区画である。区画の形は、四角形でもよいし、街や建物、通り、通路などの形に合わせた凹凸のある形であってもよい。異常事象の発生場所と監視員端末10との第2の位置関係についても同様である。
また、第1映像を撮影する撮影装置(固定カメラ40)の撮影範囲にいる監視者が所持している監視員端末10を、異常事象の発生場所と第2の位置関係にある監視員端末10としてもよい(これを「撮影範囲による第2の位置関係」という)。いずれの場合も、異常事象の発生場所と第1の位置関係又は第2の位置関係になっている撮影装置が撮影する映像から、その発生場所及び(又は)その周辺を把握できるようになっていればよい。
なお、第1の位置関係及び第2の位置関係は、同じでもよいし、異なっていてもよい。但し、発生場所と第1の位置関係になる範囲よりも、発生場所と第2の位置関係になる範囲の方が広くなっていることが望ましい。そうすることで、第1映像は異常事象の発生場所そのものやそれに極めて近い場所の状況を表し、第2映像はそれよりも広い範囲の状況を表すことになり、第2映像が第1映像を補完する役割を果たしやすくなる。
[2−2]位置関係の判断方法
表示位置決定部206は、実施例とは異なる方法で第1及び第2の位置関係を判断してもよい。例えば上記の区画を用いる場合は、表示位置決定部206は、その区画の範囲を示す情報を記憶しておき、発生場所及び撮影装置の位置の両方が同じ区画に含まれている場合に、その撮影装置と発生場所とが第1又は第2の位置関係にあると判断する。
また、上述した撮影範囲による第2の位置関係を用いる場合は、次のように第2の位置関係が判断される。まず、固定カメラ40の撮影部401は、映像を撮影する際の光軸の向き(カメラの向き)を測定し、その測定結果を映像と共に映像送信部402に供給する。映像送信部402は、映像及びカメラの向き情報を監視センタサーバ装置20に送信する。固定カメラ情報取得部202は、撮影された映像、カメラの向き、固定カメラ40の位置情報を固定カメラ情報として取得し、表示位置決定部206に供給する。
表示位置決定部206は、まず、発生場所特定部205により特定された異常事象の発生場所と第1の位置関係にある固定カメラ40を、実施例と同様に特定する。次に、表示位置決定部206は、特定した固定カメラ40、すなわち第1映像を撮影した撮影装置の撮影範囲にいる監視者が所持する監視員端末10を特定する。この場合の表示位置決定部206は本発明の「装置特定手段」の一例である。
表示位置決定部206は、例えば、第1映像を撮影した固定カメラ40の位置情報及び画角と、監視者が持ち運ぶ監視員端末10の位置情報とに基づいて、前述した撮影範囲にいる監視者が所持する監視員端末10を特定する。ここでいう「画角」とは、撮影装置の映像に含まれる空間の範囲を角度で表したものである。
画角は固定カメラ40の仕様で決まっているので、表示位置決定部206は、固定カメラ40の画角を示す情報を予め記憶しておく。なお、ズーム機能により画角が変化する場合は、変化する画角の中央値を用いてもよいし、利用頻度が最も高い画角を用いてもよい。また、固定カメラ40が現在の画角を示す情報を映像と共に送信して、固定カメラ情報として取得されるようにしてもよい。
表示位置決定部206は、第1映像を撮影した固定カメラ40の固定カメラ情報が示す位置及びカメラの向きと、その固定カメラ40の画角から、固定カメラ40の撮影範囲を表す扇形領域の実空間での境界を算出する。表示位置決定部206は、例えば、固定カメラ40の位置を扇形領域の中心とし、固定カメラ40の画角を中心角とし、カメラの向きを弧の中心の向く方向とした場合の扇形領域の境界を算出する。
表示位置決定部206は、複数の監視員端末10のうち、監視員端末情報が示す位置が算出した境界内に含まれるものを、前述した撮影範囲にいる監視員が所持する監視員端末10、すなわち異常事象の発生場所と第2の位置関係にある撮影装置として特定する。オペレータ端末30の映像表示部301は、こうして特定された監視員端末10の映像を第2映像として表示する。
なお、監視員端末10の特定方法は上記のものに限らない。例えば、画像処理部204が各監視員の特徴を示す情報(輪郭、色、特徴量等)を、その監視員を識別する監視員IDに対応付けて記憶しておき、第1映像から監視員を検出する。画像処理部204は、検出した監視員の監視員IDを表示位置決定部206に供給する。表示位置決定部206は、監視員の監視員IDとその監視員が所持する監視員端末10を対応付けて記憶しておき、供給された監視員IDに対応する装置IDが示す監視員端末10を、前述した撮影範囲にいる監視員が所持する監視員端末10として特定する。
例えば建物の壁に設置された固定カメラ40の映像から異常事象の発生が検出され、その固定カメラ40の位置が発生場所と特定されたとする。その場合に、例えば異常事象の発生場所から所定の距離の範囲にある監視員端末10を第2の位置関係にある撮影装置とすると、壁の裏側に位置する監視員端末10も第2の位置関係になってしまう。その監視員端末10の映像には発生場所が映らないから、発生場所の周辺の状況を把握するための役に立たない。
本変形例では、第1映像を撮影した撮影装置の撮影範囲にいる監視者が所持する監視員端末10を、発生場所と第2の位置関係にある撮影装置として特定している。固定カメラ40は、監視すべき空間(交差点、通り、駐車場など)を撮影範囲に含むように設置されるので、その撮影範囲にいる監視員が所持する監視員端末10はその空間を撮影することが可能である。このように、本変形例によれば、例えば異常事象の発生場所から所定の距離の範囲内の位置を第2の位置関係とする場合に比べて、発生場所の周辺の状況を把握するための役に立ちやすい映像を第2映像として表示することができる。
[2−3]表示画面
オペレータ端末30の映像表示部301は、実施例では、縦3列×横3列=9個の画面に映像を表示したが、これに限らない。例えば縦2列×横2列でもよいし、縦横が4列以上であってもよい。また、縦又は横のいずれかが1列であってもよい。その場合でも、4画面以上並んでいれば、第1映像の両隣りが第1映像の近傍になり、2つ以上離れた画面が近傍でない位置になる。また、映像表示部301は、実施例では各画面を隙間なく並べて表示したが、隙間をあけて並べて表示してもよい。
また、映像表示部301は、実施例では、ディスプレイ31という1つの画面を分割して複数の映像を表示したが、これに限らない。映像表示部301は、例えば、1つの映像を表示するディスプレイを映像の数だけ並べたディスプレイ群に複数の映像を表示してもよい。また、そのようなディスプレイ群と、1つの映像を表示するディスプレイ(例えば大型ディスプレイ)とを混在させてもよい。
例えば、映像表示部301は、平常時にはディスプレイ群に各映像を表示して、異常事象の発生が検出された場合には、上述した第1映像及び第2映像を大型ディスプレイに表示する。その際、映像表示部301は、ディスプレイ群での第1映像及び第2映像の表示を終了してもよいし、継続してもよい。いずれの場合も、表示位置決定部206が各映像の表示位置を決定する。
[2−4]監視員端末の映像
映像表示部301は、実施例では、平常時には監視員端末10の映像を表示していなかったが、平常時から監視員端末10の映像を表示してもよい。映像表示部301は、例えば前述したディスプレイ群に監視員端末10及び固定カメラ40の映像を全て表示して、異常事象の発生が検出されると、固定カメラ40の映像を表示するディスプレイ群又は他の大型ディスプレイに第1映像及び第2映像を表示する。
[2−5]撮影装置の数
監視エリアを撮影する撮影装置の数は上記のものに限らない。監視員端末10及び固定カメラ40は、実施例ではいずれも9台であったが、8台以下であってもよいし、10台以上であってもよい。監視員端末10及び固定カメラ40は、それぞれ少なくとも1台以上であればよい。
[2−6]第1映像
実施例では、固定カメラ40の映像が第1映像として用いられたが、監視員端末10の映像が第1映像として用いられてもよい。その場合、第1映像を撮影した監視員端末10と異常事象の発生場所との位置関係が第1の位置関係であったのが、監視員の移動により第1の位置関係でなくなることがある。その場合は、表示位置決定部206が、発生場所と第1の位置関係にある他の撮影装置の映像に第1映像を切り替えて、第1映像及び第2映像の表示位置を決定すればよい。
また、複数の撮影装置が発生場所と第1の位置関係になっている場合がある。その場合、表示位置決定部206は、それら複数の撮影装置の映像を全て第1映像として表示位置を決定してもよいし、それらの映像のうちのいずれか1つを第1映像として表示位置を決定してもよい。後者の場合、他の映像を撮影した撮影装置が監視員端末10であり、発生場所と第2の位置関係になっていれば、それらの撮影装置の映像が第2映像として表示されることになる。
[2−7]第1映像の表示位置
実施例では、複数の画面のうちの中央の画面が第1映像の表示位置であったが、これに限らない。第1映像の表示位置は、例えば複数の画面が成す長方形のうち角にある画面の位置であってもよいし、いずれかの辺の中央にある画面の位置であってもよい。また、複数の画面が1列に並んでいれば、第1映像の表示位置はその中央でも端でもよい。いずれの場合も、オペレータが見やすい位置に第1映像が表示されることが望ましい。
[2−8]第1映像の近傍
第1映像の近傍は、実施例と異なっていてもよい。例えば実施例では縦3列×横3列=9個の画面が並んでいたが、縦及び横に4列以上の画面を並べる場合もある。その場合、例えば、第1映像の上下左右の4つの画面に加えて斜めに位置する4つの画面を加えた8つの画面の範囲を近傍としてもよい。また、それら8つの画面の外側を取り囲む16個の画面をさらに加えた24個の画面を近傍としてもよい。
また、第1映像が複数ある場合、例えば第1映像が2つであれば、それらを隣り合わせに表示し、その2つの第1映像と辺が接する8個の画面を近傍としてもよいし、2つの第1映像を取り囲む10個の画面を近傍としてもよい。要するに、全ての画面が第1映像の近傍とならないように、言い換えれば、必ず第1映像の近傍と、近傍でない位置とが別れるように、近傍の範囲が定められていればよい。
いずれの場合でも、近傍でない位置に表示された映像に比べれば、近傍の画面に表示された映像は第1映像に近くなる。そのため、近傍でない位置に第2映像を表示する場合に比べると、第1映像及び第2映像の両方を見る際の目の動きが小さくなり、第1映像及び第2映像が示す異常事象の発生場所の周辺の状況を把握しやすくなる。
[2−9]監視エリアの監視者
上記の実施例では、監視エリアに配置された監視員が監視エリアの現場で監視の役割を果たす監視者であったが、これに限らない。例えば、監視エリア内で働く監視員以外のスタッフが監視者であってもよい。スタッフとは、具体的には、例えばマラソン会場が監視エリアである場合、会場の案内員、コース整理員、給水スタッフ、観客の誘導員などであり、スタジアム等が監視エリアである場合、監視員に相当する警備員の他、チケットの販売員、店舗の店員、清掃員などである。また、人間に限らず、例えば監視用のカメラが内蔵された自走式のロボットやドローン、監視員端末を装着した動物(警察犬のように訓練された犬等)などであってもよい。
[2−10]各機能を実現する装置
図4等に表す機能を実現する装置は、上述した各装置に限らない。例えば、監視センタサーバ装置が入力装置及び出力装置を備えておいて、オペレータ端末30が備える各部を実現してもよい。また、反対に、監視センタサーバ装置20が備える各部をオペレータ端末が実現してもよい。また、監視センタサーバ装置が実現する機能を、複数の情報処理装置が分担して実現してもよい。例えば、第1装置が監視員端末情報取得部201から映像情報送信部203までの機能を実現し、第2装置が画像処理部204から表示位置決定部206までの機能を実現するという具合である。いずれの場合も、監視システムが備える装置全体で、上述した機能を実現していればよい。
[2−11]指示の自動化
実施例では、オペレータ端末30を使用するオペレータが監視員に対して指示を行ったが、将来は、この指示を含むオペレータの作業が自動化されてもよい。例えば、AI(Artificial Intelligence、人工知能)を活用して、監視員端末10からの投稿情報が示す事案の情報取得位置に最も近い監視員を選定して、選定した監視員に必要な情報(事案の発生場所を示す情報等)を伝達する。このように、一定のルールに基づく処理で実現可能な作業については、自動化されてもよい。
[2−12]発明のカテゴリ
本発明は、監視員端末10、監視センタサーバ装置20、オペレータ端末30及び固定カメラ40という各装置の他、それらの装置を備える監視システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられる。また、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。