以下、図面を参照して本発明の実施の形態を説明する。
(システム構成)
まず図1に基づき、本実施の形態に係わるシステムの構成を説明する。図1は、本実施の形態に係わる通行車両監視システムの構成を説明するための図である。図2は、トンネル内における監視カメラの設置状況を示す図である。図3は、監視カメラの外観図である。
図1に示すように、トンネル内を監視する交通監視システム1は、それぞれがステレオカメラである複数の監視カメラ2と、隣り合う2台の監視カメラ2を接続する通信ケーブル3と、複数の監視カメラ2の中の1台と通信ケーブル3により接続されたセンタ装置4と、センタ装置4に接続された記憶装置5と、センタ装置4に接続された画像表示装置であるモニタ6とを含んで構成されている。
図1に示すように、トンネル101の一端TAに設置される監視カメラ2(1)から他端TBまでの監視カメラ2(n)のn台(nは整数)の監視カメラ2が、トンネル内の天井側に、略等間隔に配置されている。図1では、各監視カメラ2には、識別番号が付されて示されている。1番目の監視カメラ2(1)からn番目の監視カメラ2(n)までが、通信ケーブル3で数珠繋ぎに接続され、監視カメラ2(1)がセンタ装置4に接続されている。なお、以下の説明で、特定の監視カメラを指さない場合は、監視カメラ2と表記する。
通信ケーブル3は、電源供給可能な信号線であり、例えば、電源供給も可能なパワー・オーバ・イーサネット(登録商標)(PoE)対応のケーブルである。センタ装置4は、電源回路を含み、電源回路の電源は、通信ケーブル3を介して各監視カメラ2に供給される。
センタ装置4、記憶装置5及びモニタ6は、例えば、監視室に配置されている。センタ装置4には、記憶装置5とモニタ6が接続されており、センタ装置4は、所定のデータを記憶装置5に記憶し、モニタ6に監視用画面を表示する。よって、監視員は、センタ装置4を操作して、モニタ6に所望の画像を表示させることができる。記憶装置5には、後述する、各種データを記憶する複数の記憶部、具体的には、基準データ記憶部5a、処理内容データ記憶部5b、関連情報記憶部5c、設備表示情報記憶部5d、車両表示情報記憶部5e、建築構造物表示情報記憶部5fを含む。
センタ装置4には、設備管理装置7が接続されている。設備管理装置7は、トンネル101に関わる各種設備、例えば換気扇、避難口、の制御及び管理を行う装置である。設備管理装置7は、各設備の動作を指示し、例えばオン、オフを指示し、かつ各設備の動作状況を監視し、その動作状態の情報をセンタ装置4へ供給可能となっている。
図1に示すように、複数の監視カメラ2が、通信ケーブル3によりデイジーチェーン接続されて、すなわち数珠繋ぎで接続されて、センタ装置4に接続されている。図2に示すように、各監視カメラ2は、トンネル101の内壁の天井部分102の最も高い位置よりもやや低いところに、トンネル101の経路方向に沿って、所定の間隔Ltを持って設置されている。所定の間隔Ltは、隣り合う監視カメラ2の撮影範囲PAが一部重なるように、設定される。所定の間隔Ltは、例えば10mである。
監視カメラ2間の通信及び監視カメラ2とセンタ装置4間の通信は、イーサネット(登録商標)を利用したデータ通信である。各監視カメラ2からのデータは、デイジーチェーン接続のネットワークを介して、センタ装置4へ送信可能である。また、センタ装置4も、全てのあるいは所望の監視カメラ2へ、撮影画像の送信要求のコマンド、等の各種コマンドを送信することができる。従って、センタ装置4は、監視カメラ2からの動画像の画像情報、認識情報、イベント情報等を、センタ装置4からのコマンドに応じて、デイジーチェーン接続のネットワークを介して、取得することができる。
なお、図1では、センタ装置4が1つのトンネルを監視する例であるが、センタ装置4は、複数のトンネルを監視するようにしてもよい。
図3に示すように、車両用監視カメラである監視カメラ2は、細長い直方体の形状のケーシング11を有する。2つの対物光学系12が、細長いケーシング11の一側面に、所定の距離だけ離れて光軸が互いに平行になるように設けられている。ケーシング11内には、各対物光学系の結像位置に、CMOSイメージセンサ等の撮像素子が設けられている。2つの対物光学系12の設けられた面が、道路面103に対向するように、各監視カメラ2は、天井部分102に設置される。
なお、ここでは、各監視カメラ2は、ステレオ撮像のために2つの撮像素子を有している例で説明するが、撮像素子は、3つ以上でもよく、少なくとも2つの撮像素子を有していればよい。
また、ケーシング11の両端面には、通信ケーブル3を接続するためのコネクタ13が設けられており、複数の監視カメラ2を互いにデイジーチェーン接続することができる。
上述したように、通信ケーブル3は、イーサネット(登録商標)通信用のケーブルであって、電源供給も可能なイーサネット(登録商標)PoE対応のケーブルであるので、監視カメラ2(1)をセンタ装置4に接続し、隣り合う監視カメラ2同士を、通信ケーブル3で接続するだけでよく、監視カメラ2の設置及び増設は容易である。
監視カメラ2の1つの撮像部は、視野範囲PArを有し、他方の撮像部は、視野範囲PAlを有する。2つの視野範囲により、監視カメラ2の撮影範囲PAが決定される。
センタ装置4は、コンピュータ装置であり、CPU(中央処理装置)、ROM、RAMなどを含み、各監視カメラ2からのデータを受信すると共に、各監視カメラ2へ各種コマンドを送信して、情報を取得することができると共に、各種データ処理を実行することができる。
(監視カメラの構成)
図4は、監視カメラ2の内部構成を示すブロック図である。
監視カメラ2は、2つの撮像部21、撮像部インターフェース部(以下、撮像部I/Fという)22、立体計測部23、基本監視部24、追加監視部25、判定部26、メモリ27、画像供給部28、通信制御部29、2つの通信インターフェース部(以下、通信I/Fという)30、及び2つのコネクタ13を含んで構成されている。
監視カメラ2の一部の機能は、監視カメラ2に搭載された中央処理装置(CPU)によって実行されるソフトウェアプログラムにより、実現される。例えば、立体計測部23、基本監視部24、追加監視部25及び判定部26は、ソフトウェアプログラムにより実現される。なお、監視カメラ2の一部の機能は、デジタル・シグナル・プロセッサ(DSP)により、実現してもよい。
各撮像部21は、対物レンズである対物光学系12と、対物光学系12の結像位置に配設されたCMOSイメージセンサ等の撮像素子31を有する。各撮像素子31により撮像して得られた画像データは、撮像部I/F22を介して、立体計測部23と画像供給部28に供給される。
立体計測部23は、2つの画像データから距離画像のデータを生成する距離画像生成部である。距離画像のデータは、入力された2つの画像データから、各画素値が距離値である画像データである。立体計測部23は、距離画像データを生成する。なお、距離画像は、各画素値が3次元空間内の位置情報でもよい。立体計測部23は、生成した距離画像の情報を基本監視部24と追加監視部25に供給する。
基本監視部24は、距離画像に基づく、停止物体の検出等の、所定の監視処理を実行する基本監視機能の処理を実行する第1の監視処理部である。
本実施の形態では、基本監視部24は、基本監視機能の監視処理部として、停止物体の検出処理部P1と物体の軌跡の検出処理部P2を含む。基本監視部24は、これらの監視処理部とは別に、計測及び記録処理部P3を含む。なお、本実施の形態では、これら3つの処理部P1,P2,P3を基本監視機能の処理部としているが、基本監視機能の処理は、これらに限定されず、他の処理を基本監視部24に含めてもよい。
停止物体の検出処理部P1は、ステレオ処理により得られた距離画像から、停止物体を認識して検出する処理を行う。例えば、停止物体の検出処理部P1は、距離画像から認識して得られた物体の位置が、所定の時間以上移動しない状態にあるか否かを判定し、その物体の位置が所定の時間以上移動しない場合に、停止物体ありの異常を、検出する。停止物体は、例えば、停止した車両、道路上の落下物などである。
物体の軌跡の検出処理部P2は、距離画像から物体を認識し、認識して得られた物体に関する、位置の変化(道路平面上の位置の変化)から得られた軌跡が所定の軌跡に合致するかしないか、言い換えれば得られた軌跡が所定の軌跡と不一致であるか否か、を検出する処理を行う。所定の軌跡とは、例えば移動物体の軌跡が略直線状である軌跡である。軌跡は、認識された物体の位置、例えば重心位置、の変化である。物体の進行方向に対する移動量が所定量以上であるような蛇行運転の軌跡は、この所定の軌跡に合致しないという異常として、検出される。
計測及び記録処理部P3は、距離画像から物体を認識し、認識して得られた各物体の位置の変化量から各物体の速度(例えば車速)、所定の時間内に撮像領域内を通過した車両の数(すなわちカウント値)、監視領域に入った時刻及び位置、監視領域から出た時刻及び位置、色などの属性データ、等の計測あるいは認識を行う計測処理を行う。
さらに、計測及び記録処理部P3は、認識された通行車両の識別情報を生成して、上述した計測データと、その識別情報を関連付けて、ログデータとして、記憶部であるメモリ27に記録する記録処理を含む。すなわち、計測及び記録処理部P3は、距離画像に基づいて認識された通行車両の識別情報を生成して、その識別情報と、その認識された通行車両についての時刻情報等とをメモリ27に記録する記録処理部を構成する。ここでは、ログデータは、基本監視部24から判定部26を介してメモリ27に記憶される。なお、ログデータの記録は、基本監視部24がメモリ27に直接書き込むようにしてもよい。
追加監視部25は、基本監視部24の監視処理とは別の追加監視機能の処理を実行する第2の監視処理部である。具体的には、追加監視部25は、異常の内容に応じた異常処理、センタ装置4からのコマンドに応じたコマンド対応処理、等の処理を行うための、複数の追加処理部Q1,Q2,Q3,・・・Qmを含む(mは整数)。なお、図4において、追加処理部Q1,Q2が異常有りの判定時に実行すべき処理部であり、追加処理部Q3〜Qmがコマンド対応処理のための処理部である。
異常処理は、基本監視部24において検出された異常の内容に応じて、判定部26により選択されて実行される処理である。基本監視部24において異常が検出されたときに実行される追加処理部が、異常時の処理部として、追加監視部25に含まれる。
例えば、停止物体の検出に対応する追加処理部Q1は、静止画データに基づいて、停止物体が車両であるのか、人であるのかを判定して、車両の場合は、破損状況、停止位置、向き(すなわち道路の走行方向に対して平行な方向を向いているのか、斜め方向を向いているのか)、大きさ、車両の台数、等々の検出をし、人の場合は、その位置、姿勢(横になっているのか(倒れているのか)、道路上に立っているのか、等)、人数、等々の検出をする処理部である。停止物体の大きさは、距離画像データから算出あるいは推定することができ、さらに、形状の情報から、停止物体が人であるか否かの判定をすることができる。
また、物体の軌跡が所定の軌跡に合致しない場合に対応する追加処理部Q2は、後述するRAM28aの動画データ(すなわち複数のフレームデータ)又はメモリ27に格納されたログデータに基づいて、車線変更であるのか、減速であるのか、物体の分離であるのか、を判定する。車線変更は、車両の避走、蛇行、回転(スピン)、接触(壁面への接触、車両同士の接触)、等を検出することによって、判定することができる。減速は、ログデータに基づいて判定することができる。
さらに、物体の軌跡から、車両から分離した物の有無を検出することができる。よって、分離の検出と、落下物の大きさ及び落下物が人であるか否かの判定とをすることができるので、車両から荷物が落下したのか、二輪車が転倒して人が投げ出されているのか、車両から降りた人の移動方向、等の検出をすることができる。
以上のように、追加監視部25は、基本監視部24の処理結果に基づいて、実行可能に構成されている。
また、追加監視部25中のコマンド対応処理とは、ログデータ送信コマンド、人検出コマンド、画像送信コマンド、等のセンタ装置4からのコマンドに応じて、判定部26等により指定されて実行される処理である。コマンドに応じて実行される追加処理部が、追加監視部25に含まれる。センタ装置4からのコマンドは、通信制御部29を介して、判定部26および画像処理部28に供給される。追加監視部25は、コマンドに基づいて、距離画像に基づく監視処理を実行する。
例えば、ログデータ送信コマンドに対応するログデータ送信処理Q3は、センタ装置4からのコマンドがログデータの送信を指示するコマンドである場合に、コマンドで指定された、メモリ27に格納されているログデータを読み出して送信する処理である。人検出コマンドに対応する人検出処理Q4は、センタ装置4からのコマンドが人の検出を指示するコマンドである場合に同様に実行され、撮像画像の中から人を検出して、検出結果をセンタ装置4へ送信する処理である。監視カメラ2の画像データは、距離データであるので、人を正確に検出することができる。
画像送信コマンドに対応する画像送信処理Q5は、センタ装置4からのコマンドが画像データの送信を指示するコマンドである場合に通信制御部29が画像供給部28から画像データを読み出して、監視カメラ2で撮像して得られた画像データを送信する処理である。センタ装置4からのコマンドには複数の種類があり、また一つのコマンドが複数の追加処理を実行させるようなコマンドも有るので、追加監視部25は、そのコマンドに対応する処理を実行するに必要な数の処理部を含む。
なお、センタ装置4からのコマンドには、全ての監視カメラ2に対するグローバルコマンドと、特定の監視カメラ2に対するコマンドの2種類がある。
以上のように、追加監視部25は、基本監視部24の処理結果に基づいて、実行可能であると共に、センタ装置4からのコマンドに応じて実行可能に構成されている。
判定部26は、基本監視部24及び追加監視部25からの検出結果あるいは判定結果に基づいて、ルールベースの判定処理を行うと共に、必要な追加監視部25に含まれる複数の処理部の中から実行すべき処理部を、そのルールに従って選択して実行させる処理を行う。さらに判定部26は、センタ装置4からのコマンドの内容に応じて、追加監視部25の中の複数の追加処理部の中から、実行すべき処理部を選択して実行させる処理を行う。
具体的には、基本監視部24により異常が検出された場合、判定部26は、後述するような、追加解析処理、異常対応処理の実施指示処理、通報処理、及び画像送信処理を実行する。さらに、判定部26は、センタ装置4からコマンドを受信すると、コマンドの内容を解析し、そのコマンドに対応する処理を、追加監視部25内の対応する追加処理部を実行する。
また、判定部26の処理内容は、ルールベースで定められるので、判定部26は、ルールによる判定のための基準データ及び判断ルールを含む。その基準データと判断ルールは、判定部26のプログラム中に記述されてもよいし、メモリ27内に記憶されていてもよい。基準データ及び判断ルールを変更することによって、判定部26が実行を指示する、基本監視部24及び追加監視部25内の処理内容を変更することができる。さらに、判定部26は、メモリ27に格納されたログデータを用いて、判定を行うことも可能である。判定部26の異常処理とコマンド処理の詳細については、後述する。
メモリ27は、上述したログデータを記憶する記憶部である。メモリ27に格納されるログデータの構造については後述する。
画像供給部28は、2つの撮像部21により撮像して得られた画像データの少なくとも一方の撮像部からの、最新の複数フレームの画像データを格納可能なRAM28aを有している。画像供給部28のRAM28aに格納された1以上の画像データは、判定部26により読み出し可能である。後述するように、RAM28aに格納された1以上の画像データは、センタ装置4からのコマンドに応じて、あるいは判定部26からの指示に応じて、センタ装置4へ送信される
通信制御部29は、デイジーチェーン接続された通信ケーブル3を介して、センタ装置4及び他の監視カメラ2との通信を行うための制御部である。特に、通信制御部29は、センタ装置4からのコマンドを受信するコマンド受信部を構成する。なお、本実施の形態では、センタ装置4からの画像データの送信コマンドを受信すると、通信制御部29が画像供給部28から画像データを読み出して、センタ装置4へ送信しているが、判定部26がコマンドを解釈して、RAM28aから画像データを読み出して、センタ装置4へ送信するようにしてもよい。
2つの通信I/F30は、通信制御部29とコネクタ13との間のインターフェースである。
(監視カメラにおける基本監視処理)
次に、基本監視処理について説明する。
図5は、基本監視処理の流れの例を示すフローチャートである。本実施の形態では、上述したように、基本監視部24の処理は、CPUによって実行されるプログラムの一部の機能として実行される。
立体計測部23から距離画像データが取得される(S1)。距離画像データに基づいて、基本監視部24における、停止物体の検出処理部P1と、物体の軌跡の検出処理部P2とが、基本監視処理として実行される(S2)。
停止物体の検出処理部P1は、背景以外の物体の認識を行い、フレーム間での物体の位置に変化があるか否かに基づいて、停止物体の検出を行う。立体形状の大きさが所定の大きさ以上の物体が、停止物体の検出対象として選択される。距離画像データに基づいて停止物体の検出を行っているので、物体の体積が検出でき、検出すべき停止物体を精度良く認識し、検出することができる。
物体の軌跡の検出処理部P2は、認識された物体の軌跡を、フレーム間の物体の位置情報から検出し、その軌跡が所定の軌跡に合致するかしないかを検出あるいは判定する。
この軌跡の検出も、距離画像データに基づいて行っているので、物体の軌跡を精度良く検出して判定することができる。
次に、ログデータ記録処理が実行される(S3)。この処理は、上述した計測及び記録処理部P3により実行される。
そして、判定部26は、上記の停止物体の検出処理部P1と物体の軌跡の検出処理部P2のいずれかで、異常が検出されたか否かを判定し(S4)、異常が無ければ(S4:NO)、処理は終了し、異常が有れば(S4:YES)、異常処理を実行する(S5)。
なお、図5の処理は、監視カメラ2が動作中は、常に繰り返し実行されている。
(監視カメラにおけるコマンド処理)
次に、コマンド処理について説明する。図6は、コマンド処理の流れの例を示すフローチャートである。
監視カメラ2は、センタ装置4からのコマンドを受信したか否かを判定する(S11)。コマンドは、通信制御部29を介して、判定部26により受信される。コマンドを受信しないときは(S11:NO)、処理は、終了し、コマンドを受信したときは(S11:YES)、受信したコマンドを解析する、すなわちコマンドの内容を判定する(S12)。
判定部26は、コマンドに対応する処理部を、追加監視部25の中から選択して、その処理を実行する(S13)。例えば、コマンドがログデータの送信要求コマンドであれば、判定部26は、追加監視部25の中からそのコマンドに対応する処理部Q3を選択して、メモリ27から指定されたログデータを読み出して、センタ装置4へ送信する。コマンドが、人の検出処理を行う人検出コマンドであれば、追加監視部25の中からそのコマンドに対応する処理部Q4を選択して、画像データから人を検出する処理が実行される。
コマンドに対応する処理の結果、何らかの異常が検出されたか否かが判定され(S14)、人が検出された等の異常が無ければ(S14:NO)、異常が無かった旨の情報を送信したり、要求された情報を送信する、等の、センタ装置4への回答処理を実行して(S16)、処理は終了し、異常が有れば(S14:YES)、異常処理を実行する(S16)。
(監視カメラにおける異常処理)
次に、異常処理について説明する。図7は、図5及び図6における異常処理の流れの例を示すフローチャートである。
基本監視処理あるいは追加監視処理において検出された異常の内容に応じて実行すべき処理の内容が、ルールベースで予め設定されている。判定部26は、その予め決められたルールベースの内容に従って、図7に示す処理を実行する。
判定部26は、異常が検出されると、ルールベースを参照して、処理内容を決定する(S21)。
そして、判定部26は、その決定された処理内容に従って、異常対応処理の実施指示処理(S22)、追加解析処理(S23)、通報処理(S24)及び画像送信処理(S25)を実行する。これらの4つの処理は、互いに並列に実行され、それぞれ処理内容決定処理(S21)で決定された内容を実行する。処理の内容がルールベースで予め設定されているので、異常の内容によっては、処理内容決定処理(S21)において、4つの処理全てを実行しないように、決定される場合もある。
異常対応処理の実施指示処理(S22)は、センタ装置4を介さずに、監視カメラ2から他の設備、例えばトンネル内に設置された放送設備、トンネルの出入り口に設置された情報表示パネル、に直接、動作する指示を与える処理である。他の設備が、通信ケーブル3で形成されるイーサネット(登録商標)の通信上に接続されている場合に、監視カメラ2は、他の設備と通信をすることができる。
例えば、通信ケーブル3と同じイーサネット(登録商標)に接続されている通信可能な設備として、放送設備と情報表示パネルがあれば、異常対応処理の実施指示処理(S22)は、その放送設備等の制御装置に対する所定の音声出力の指示コマンドの送信、等の処理である。
図1において、設備の制御装置41が、イーサネット(登録商標)に接続されていて、監視カメラ2からのコマンドを受信可能となっている。この場合、ある監視カメラ2(k)が、異常対応処理の実施指示処理(S22)に従って、その制御装置41へ所定のコマンドを送信すると、その設備は、そのコマンドに指定された動作を実行する。よって、監視カメラ2から直接設備に対して、所望の動作指示をすることができるので、異常時の対応を迅速に行うことができる。
また、異常対応処理の実施指示処理(S22)は、他の監視カメラ2へのコマンド送信も含まれる。例えば、避走車両の検出がされた場合に、その車両の進行方向にある他の監視カメラ2(隣の監視カメラあるいは、数台先の監視カメラ)へ、避走車両の速度と軌跡データをセンタ装置4へ送信させるような処理を実行させるコマンドを、送信する。これにより、センタ装置4は、検出された避走車両の走行状態を、迅速に監視することができる。
以上のように、異常対応処理の実施指示処理(S22)は、基本監視部の処理結果が所定の異常が有りの判定である場合、発生した所定の異常の種類に応じて、所定の設備の所定の動作の指示あるいは他の監視カメラ2に所定の処理の実行を指示するコマンドを、所定の設備あるいは他の監視カメラ2に送信する実行コマンド送信処理部を構成する。
追加解析処理(S23)は、上述した追加監視部25内の追加処理部の処理である。よって、異常の内容に応じた追加解析を行うことができる。
また、通報処理(S24)は、検出された異常の内容に応じた所定のデータ、メッセージ等の所定の情報を、センタ装置4へ送信する処理である。例えば、判定部26が、異常の内容から危険度レベルを判定する処理を実行した場合は、その危険度レベルの情報も、センタ装置4へ送信される。
画像送信処理(S25)は、異常を検出した監視カメラ2が、所定の画像データを、画像供給部28から読み出して、センタ装置4へ送信する処理である。
追加解析処理(S23)の実行後、所定の判定処理が実行される(S26)。
上述したように、S22からS26の処理の内容は、ルールベースで定められたものであり、異常の内容に応じて異なっている。これらの処理が実行されると、検出された異常が終結したか否かが判定される(S27)。
異常が終結していない場合は(S27:NO)、処理は、S21に戻り、異常が終結した場合は(S27:YES)、終結処理が実行されて(S28)、処理は、終了する。
例えば、基本監視部24の停止物体の検出処理部P1により停止物体の有りの異常が検出された場合、判定部26は、その停止物体の検出に対応する予め決められた追加処理部Q1を、追加解析処理(S23)として実行する。同時に、判定部26は、異常対応処理の実行指示処理(S22)において、情報表示パネルの制御装置に対して、「トンネル中、停止車両有り」等のメッセージを表示するように、コマンドを送信する。さらに、判定部26は、通報処理(S24)において、センタ装置4へ停止車両の検出がされたことのメッセージを送信する。さらに、判定部26は、画像送信処理(S25)において、その停止物体の画像データをセンタ装置4へ送信する。
判定処理(S26)は、追加解析処理(S23)の処理結果に基づく処理であり、追加処理部Q1の処理結果に応じた処理を実行する。よって、例えば、追加処理部Q1により、人が検出された場合には、判定部26は、人が検出されたことの異常を検出する。
異常が終結していない場合には、処理は、処理内容決定処理(S21)に戻る。そして、判定部26は、再度、追加解析処理により検出された異常も加えて、処理内容を決定し、S22からS25の処理を実行する。
例えば、追加処理部Q1において、人が検出されたときには、異常対応処理の実行指示処理(S22)において、放送設備の制御装置に対して、「他の車両に注意して下さい。」等の音声メッセージをトンネル内に放送するように、コマンドを送信する。
別の例として、基本監視部24の物体の軌跡の検出処理部P2により物体の軌跡が所定の軌跡ではないと判定された場合、判定部26は、物体の軌跡が所定の軌跡に合致しない場合に対応する追加処理部Q2を、追加解析処理として実行し、その追加処理部Q2の結果に基づく判定処理(S26)を実行する。
終結処理(S28)は、異常状態が検出されなくなったので、センタ装置4への異常状態の終了したことのメッセージ等の送信処理、他の設備へ送信したコマンドに基づく動作の終了指示のコマンドの送信処理、等が実行される。
以上のように、監視カメラ2は、基本監視部24と追加監視部25を有して、通常は、基本監視部24の処理を実行し、基本監視部24において異常が検出された場合、あるいはセンタ装置4からコマンドを受信した場合は、予めルールベースで設定された処理部を実行する。
(センタ装置における異常処理)
監視室の監視員は、モニタ6に表示される情報、画像などを見ながら、トンネル内の交通状況を監視する。監視員は、上述したように特定の監視カメラ2を指定して所望の処理を実行させて、その監視カメラ2を制御することができる。そして、センタ装置4は、複数の監視カメラ2からの各種情報を受信して、異常が検出された場合には、所定の処理を実行する。
図8は、センタ装置4における異常処理の流れの例を示すフローチャートである。図8の処理は、センタ装置4のCPUによって実行される。
センタ装置4は、個別カメラからの情報を入手し(S31)、所定の基準に基づいて、状況を判定し、その判定結果に応じた処理内容を決定する(S32)。
その状況を判定するために所定の基準データは、記憶装置5の基準データ記憶部5aに記憶されている。また、判定された状況に応じて実行すべき処理内容のデータも、記憶装置5内の処理内容データ記憶部5bに記憶されている。
センタ装置5のCPUは、S32における状況判定の結果、異常ありと判定されたか否かを判定し(S33)、異常がなければ(S33:NO)、処理は、S31に戻る。異常があれば(S33:YES)、センタ装置4は、異常対応処理の実行指示処理(S34)、警告画面表示処理(S35)及び操作入力確認処理(S36)を実行する。これらの3つの処理は、互いに並列に実行され、それぞれS32において決定された内容を実行する。S31の処理が、監視カメラ2からの距離画像のデータと、距離画像のデータに基づいて認識された車両の識別情報とを受信するカメラ情報受信部を構成する。
異常対応処理の実行指示処理(S34)は、例えば、センタ装置4に接続された設備、例えばトンネルの出入り口に設置された情報表示パネル、に対する指示を与える処理、特定の監視カメラ2へのコマンド指示送信処理、等である。
例えば、基本監視部24の物体の軌跡の検出処理部P2により物体の軌跡が所定の軌跡ではないと判定された場合にその情報を入手すると、情報表示パネルに「走行注意」等の所定のメッセージを表示させるためのコマンドが、情報表示パネルに送信される。その結果、他の車両のドライバは、より注意した運転を心掛けることができる。そのようなコマンドの送信は、予め自動的に行われる設定になっている場合には、監視員は、特に、情報表示パネルへの指示操作をしなくてよい。その設定は、処理内容データ記憶部5bに記憶される。
異常対応処理の実行指示処理(S34)により、センタ装置4は、例えば、他の特定の監視カメラ2に対して、画像データを送信させるためのコマンドを送信するようにすることもできる。その結果、所定の軌跡に合致しない走行をしている車両がその後通過すると想定される場所の画像がモニタ6に表示されるので、監視員は、その車両がその監視カメラ2の前を通過するのを待ち伏せして、通過したときの走行状況を見て確認することができる。
以上のようにして、異常対応処理の実行指示処理(S34)の処理によって、異常時における所定の処理の自動化を実現することができる。
警告画面表示処理(S35)は、図9に示すようなモニタ6の画面上に、所定のメッセージを表示する処理である。この警告画面表示処理(S35)によって、例えば、ある異常が発生したときは、「・・を操作して下さい。」等の対応操作方法を示すすなわちアドバイスするメッセージが表示される。そのメッセージ表示を見て、監視員に所定の操作をさせることができる。発生した異常に応じて、どのようなメッセージを、どのような順番で表示するかは、処理内容データ記憶部5bに予め記憶されている。
また、操作入力確認処理(S36)は、警告画面表示処理(S35)によって指示された操作が、適切に行われたか否かを確認する処理である。例えば、所定の順番で操作させるべき操作が、所定の順番で正しく行われているか否かが判定され、操作内容及び順番が適切でないときには、操作入力確認処理(S36)は、操作すべき内容をモニタ6上に表示する。
すなわち、センタ装置4は、いずれかの監視カメラ2の判定部26から所定の異常の通知を受けると、所定の操作内容を示すメッセージを表示装置に表示する表示処理と、所定の操作内容の操作入力を監視して所定の操作内容が入力されているかを確認する操作入力確認処理を実行する。
S34〜S36の処理の結果、総合判定が行われる(S37)。異常発生後のデータすなわち経緯データは、記憶装置5に記録される。総合判定の基準も、記憶装置5の基準データ記憶部5aに記憶されている。総合判定処理(S37)は、異常が発生してからの経緯に基づいて、所定の処理が実行されて、異常の発生もなくなり、異常が終結したか否かが判定される。
総合判定処理(S37)の後、異常が終結したか否かが判定され、異常が終結していなければ(S38:NO)、処理は、S31に戻り、異常が終結していれば(S38:YES)、終結処理を実行して(S39)、処理は終了する。
よって、センタ装置4は、各監視カメラ2からの情報に基づいて、異常の判定を行い、その異常に応じた処理を実行すると共に、所定のメッセージ等をモニタ6の画面上に表示し、かつ異常に対応する所定の操作が正しく行われたか否かの確認を行う。よって、異常発生時に、監視員がその異常の内容を確認して、必要な設備に対する処理の全てを行う必要もなく、かつ操作内容がガイダンスとして表示されるので、迅速な対応も可能となり、さらに操作ミスも防止することができる。
(監視画面)
図9は、モニタ6上に表示される監視画面の例を示す図である。モニタ6の画面51内には、監視対象トンネルの模式図を表示する表示部52と、トンネルの各出入り口の入車台数と出車台数の表示部53と、監視画像の表示部54と、トンネル内に存在する車両の台数を表示する表示部55とを含む。
表示部52は、トンネルの模式図の各出入り口の近傍には、行き先を示す、「・・方面」という文字が併せて表示されている。
表示部53は、トンネルの模式図の各出入り口の近傍に配置され、入車台数と出車台数をリアルタイムで表示する。台数は、例えば、日付の始まる午前零時からの累積台数などである。
表示部54は、複数の監視カメラ2の中から選択された特定の監視カメラ2から撮影画像を取得して、表示している。上述したように、監視員がセンタ装置4を操作して、監視したい場所の監視カメラ2を選択して、その監視カメラ2に画像送信コマンドを送信することによって、表示部54にその監視カメラ2の画像を表示させることもできる。
表示部55は、そのときにトンネル内に存在する車両の数を、リアルタイムで表示する。例えば、監視カメラ2(1)と2(n)から、上りと下りの各車線のそれぞれについて、認識した車両であってトンネルに入った車両と出た車両の数の情報を常に送信させ、上りと下りのそれぞれについて入った車両から出た車両の差分を計算することによって、センタ装置4は、トンネル内に存在する車両の数を、表示することができる。
図9の画面は、常にモニタ6に表示され、上述したアドバイスメッセージ等の表示は、図9の画面上に例えば、ポップアップウインドウにより行われる。
図10は、図9の画面の表示処理の流れの例を示すフローチャートである。センタ装置4は、特定の監視カメラ2、例えば監視カメラ2(1)と2(n)、から、入った車両と出た車両の数の情報を取得し、所定演算を実行する(S41)。所定演算とは、上述した表示部53と55の台数を表示するための演算である。
そして、センタ装置4は、特定の監視カメラ2からの画像データを取得し(S42)、S41とS42で得た情報に基づき、図9の画面データを更新する(S43)。その結果、モニタ6に表示される画面51の内容は、リアルタイムの表示となる。
(ログデータ)
各監視カメラ2のメモリ27には、上述したようにログデータが格納される。計測及び記録処理部P3は、立体計測部23において得られた距離画像に基づいて、認識して得られた各物体について、識別子を付与し、その物体について、図11に示す各データを取得或いは計算して得て、メモリ27に記憶する。
メモリ27の容量は、制限があるので、新しいデータが記録されるときは、最も古いデータが消去される。メモリ27には、例えば、過去、数十時間のデータが記憶される。
図11は、ログデータのデータ構造を示す図である。図11のログデータは、監視カメラ2の上りと下り毎に生成されて記憶されるデータである。
図11は、監視カメラ2の識別番号(図11では、監視カメラ2(k)として示されている)の上りの車線のログデータを示す。ログデータ61は、上りと下り別に、カメラ識別番号(カメラ#(上り))、車両ID、時刻(入)、時刻(出)、物体の複数の属性、速度、監視領域内に入ったときの位置(入)、監視領域内から出たときの位置(出)、監視領域内の軌跡、等のデータを含む。
車両IDは、監視カメラ2毎に付与されるので、所謂ローカルIDである。時刻(入)と時刻(出)は、それぞれ、認識された物体が監視領域内に入った及び出た時刻であり、ミリ秒単位の時刻データである。属性は、例えば、認識された物体の色、体積、高さ、形状などのデータである。体積、高さ、形状などは、距離画像データに基づいて算出される。速度は、監視領域内を走行する物体の位置の変化から演算により算出されるデータである。
位置(入)と位置(出)は、それぞれ、監視領域内の位置であり、例えば、監視領域のXY平面上において、物体が監視領域に入ったときの位置と監視領域から出て行ったときの位置のデータである。軌跡は、監視領域のXY平面上における、認識された物体の位置、例えば先頭位置、重心位置等、の変化を示す軌跡データである。
図11に示すデータ以外のデータもログデータとしてメモリ27に記憶してもよい。
上述したように、メモリ27のログデータ61は、車両毎に生成されるが、ローカルIDのデータである。センタ装置4は、全てのあるいは一部の監視カメラ2からログデータを収集することができる。
センタ装置4は、各監視カメラ2から収集したログデータ中の時刻(入)、時刻(出)、位置(入)及び位置(出)のデータを用いて、各監視カメラ2からの複数の車両IDを、互いに関連付ける処理を行うことができる。
図12は、センタ装置4における車両IDの関連付けを説明するための図である。図12では、連続する監視カメラ2(k)から2(k+4)のそれぞれの撮影範囲が、PA(k)〜PA(k+4)として示されている。上述したように、隣り合う監視カメラ2の撮影範囲PA(点線で示す)は、重なっている。
撮影範囲PA内には、ログデータ中、時刻(入)、時刻(出)、位置(入)及び位置(出)のデータを取得するための監視領域MRが設定されている。図12では、撮影範囲PA(k)〜PA(k+4)中に、それぞれ、監視領域MR(k)〜MR(k+4)が設定されている。隣り合う監視カメラ2の監視領域MRは、接するように設定される。この設定は、例えば、トンネル101内に監視カメラ2を設置した後に、各監視カメラ2からの撮影画像に基づいて、行われる。よって、隣り合う監視カメラ2の2つの監視領域MRが接して線(以下、境界線という)TL上の位置は、2つの監視領域MR間で関連付けることができる。
そして、センタ装置4は、隣り合う監視カメラ2同士の境界線TL上の位置の関連情報を、記憶装置5に予め記憶しておく。その位置の関連情報は、記憶装置5の関連情報記憶部5cに記憶される。関連情報は、例えば、境界線TL上における、2つの監視領域MRの位置の変換式であり、全ての境界線TLについて生成されて、関連情報記憶部5cに記憶される。センタ装置4は、位置の関連情報に基づいて、隣り合う2つの監視領域MRの一方から見た境界線TL上の位置と、他方から見た同じ境界線TL上の位置が同じ位置であるかを判定することができる。
図12には、上りと下りのそれぞれにおけるある車両の軌跡が、点線で示されている。上りにおける監視領域MR(k)から出た車両の位置P1と、その隣の監視領域MR(k)から出た車両の位置P2は、それぞれの監視カメラ2(k)と2(k+1)から得られるので、監視カメラ2(k)の記録した時刻(出)と監視カメラ2(k+1)の記録した時刻(入)が一致し、かつ監視カメラ2(k)の記録した位置(出)と監視カメラ2(k+1)の記録した位置(入)が一致した場合は、2つの監視カメラ2で別個に生成されたログデータは、同じ車両についてのログデータと決定される。
そのために、センタ装置4は、複数の監視カメラ2の監視する領域における、監視カメラ同士の位置を関連付ける関連情報を有し、その関連情報に基づいて、複数の監視カメラが生成した車両の識別情報を関連付ける処理を行う関連付け処理部を有する。
その結果、各監視カメラ2において別個に生成されたローカルIDの車両IDを有する2つのログデータは、同じ車両のものであると判定できるので、一つの車両IDのログデータとして纏めることができる。言い換えると、車両IDをグローバルIDに変換することができる。
なお、ログデータには、各種属性データが含まれるので、複数のログデータを、同じ車両についてのログデータと決定するときに、属性データを確認用データとして用いるようにしてもよい。
センタ装置4は、全ての監視カメラ2のログデータを収集してこのような処理を行うことによって、全ての車両についての、トンネルの入口から出口までの道路上の走行状態のデータを生成して得ることができる。そのデータは、各車両のトンネル内の走行履歴データである。
よって、事故等の何らかのイベントが発生した直後に、センタ装置4が全ての監視カメラ2に対してログデータを送信するログデータ送信コマンドを送信して、全ての監視カメラ2のログデータを収集して、上記のような各車両の走行履歴データを生成する。生成された各車両の走行履歴データは、事故直後の事故に関わる車両の走行状態を示すので、事故の原因を調査する者にとっては、有効な情報となる。
なお、図12では、隣り合う監視カメラ2の監視領域MRは、接するように設定されているが、重なって、あるいは完全に接していなくてもよい。重なっている場合は、重なっている領域の位置情報の関連付けを行うことによって、2つのログデータの関連付けを行うことができる。また、隣り合う監視カメラ2の監視領域MRが接していない場合は、その間の距離に応じた時間と位置の推定処理を行うことによって、2つのログデータの関連付けを行うことができる。
(トンネル内状況表示)
通行車両監視システム1は、さらに所望の監視場所の状況を、状況表示画面としてセンタ装置4のモニタ6に詳細に表示することができる。
図13に示すような場所を例として説明する。図13は、トンネル内のある監視場所の周囲及び設備の状況を示す図である。例えば、建築構造物であるトンネル101内のある部分111において、天井面には2つの換気扇112が取り付けられ、さらに、避難通路113と、避難通路113へ通じる避難口114、電話設備115、緊急時の待避施設116があるとする。道路面103上には、道路のセンタラインとしての白線117が引かれている。
そして、例えば、監視カメラ2によりトンネル101内のその部分111で停止物体が検出されて、監視室の監視員は、その異常通報に応じて、その場所の詳細な情報を知りたい場合がある。
そのような場合、監視員は、センタ装置4のキーボード、マウスなどの入力装置を用いて、状況表示画面の表示指示のための所定の操作を行うことによって、モニタ6に、図14に示すような現場の周囲の情報を表示させることができる。あるいは、センタ装置4が監視カメラ2からの異常の通報を受信して、その通報内容に応じて、状況表示画面が、自動的に生成される。すなわち、状況表示画面は、監視員からの指示により、あるいは監視カメラ2からの異常通報に基づいて、その都度合成される。
図14は、その現場の周囲の情報を表示する状況表示画面の例を示す図である。図14に示すように、モニタ6の画面71には、上記の部分111に対応するトンネル図形111A(点線で示す)が3次元画像で表示され、そのトンネル図形111Aのそれぞれの対応する位置に、換気扇図形112A、避難通路図形113Aと、避難口図形114A、電話設備図形115A、待避施設図形116A、及び白線図形117A(点線で示す)が、3次元画像で表示されている。さらに、停止物体である車両図形118Aも合わせて、表示されている。
これらの図形を表示するための情報は、記憶装置5に予め記憶されている。具体的には、トンネル101は、建築構造物であり、その設計あるいは施工データは、設計時あるいは施工時に作成されているので、その形状等の構造情報に基づく図形情報は、これらの設計あるいは施工データから、予め抽出あるいは選択されて、建築構造物の画像情報として、記憶装置5の建築構造物表示情報記憶部5fに記憶されている。
建築構造物表示情報記憶部5fは、さらに、トンネル101の周辺の設備、例えば水道管、ガス管、の画像情報、及び避難ルートの画像情報なども記憶している。
よって、建築構造物表示情報記憶部5fは、トンネル101の形状及び構造の画像情報と、周辺の設備の画像情報と、それらの属性情報とを、記憶している。
さらに、トンネル101に関わる設備の表示用画像は、記憶装置5の設備表示情報記憶部5dに予め記憶されている。
なお、建築構造物表示情報記憶部5fと設備表示情報記憶部5dは、各表示用画像の情報を、形状、構造、寸法等のCADデータ、あるいはCGデータの3次元データ形式で、記憶している。
さらに、車両に関する表示用画像も、予め記憶装置5の車両表示情報記憶部5eに記憶されている。ここでは、車両表示情報記憶部5eには、検出された車両の種類に応じた、車両の表示用画像が記憶されている。
図14では、トンネル101、設備等112〜117の情報を表示する情報表示画像としての情報表示部D1〜D7が、それぞれの引き出し線dlにより、各図形111A〜117Aと関連付けられて表示されている。例えば、情報表示部D2〜D7は、引き出し線dlにより関連付けられた設備等の名称、及び状態などの文字情報を表示する。例えば、換気扇112については、換気扇図形112Aから引き出し線dlにより関連付けられて、「換気扇:オン」の文字を含む情報表示部D2が表示されている。
なお、ここでは、白線図形117Aの図形情報は、設備の1つとして設備情報記憶部5dに記憶されているが、トンネル101に付帯するものとして、建築構造物表示情報記憶部5fに記憶してもよい。
換気扇112,避難口114等の設備については、設備管理装置7から動作状態の情報を得て、機器の「オン」、「オフ」、扉の「施錠中」、「施錠解除」、等の動作状態が、情報表示部に表示される。
以上のように、各情報表示部D2〜D7は、モニタ6に表示された設備に関する情報を、モニタ6に表示された設備の表示用画像と関連付けて表示する情報表示画像である。
また、停止物体として車両図形118Aも、画面51上に表示されている。停止物体を検出した監視カメラ2は、上述した追加処理部Q1により停止物体が車両であることを判定する。その判定結果の情報は、監視カメラ2の通報処理(S24)により、センタ装置4へ伝えられる。よって、センタ装置4は、その通報処理により得られた情報に基づいて、画面71上に、停止物体としての車両の表示画像を表示させることができる。
例えば、追加処理部Q1が、監視カメラ2が距離画像から車両の大きさ別に、「小型車両」、「中型車両」、「大型車両」の3種類を判別し、通報処理によりセンタ装置4には、車両の種類の情報が伝えられる。車両表示情報記憶部5eには、3つの種類の車両の形状等のデータが予め記憶されている。よって、センタ装置4は、その種類に応じた車両の図形データを読み出して、画面71上に、表示することができる。
ここでは、追加処理部Q1が車両の距離画像のデータから、車両の位置だけでなく、車両の種類と色も認識して、その認識情報をセンタ装置4に送信し、その結果、図14に示すように、センタ装置4は、その認識情報から、情報表示部D8に、「小型車両、白」の情報を表示している。よって、監視員は、図14のような図を見ることによって、停止物体が「白の小型車両」であり、かつ周囲の状況を把握することができる。
図15は、図14の表示画像を生成するためのソフトウエア処理の構成を示すブロック図である。図15に示す状況表示画面生成処理は、センタ装置4のCPUによって実行される、記憶装置5に記憶されたソフトウエアプログラムの処理である。
状況表示画面生成処理プログラムは、画像生成制御部121と、表示情報収集部122と、表示演出部123と、表示画像生成部124と、実写画像の前処理及び合成処理部125とを含んで構成されている。状況表示画面生成処理プログラムは、監視員からの表示指示コマンドDC又は監視カメラ2からの異常通報に基づき実行される。
監視員が図14の状況表示画面71の表示指示コマンドDCをセンタ装置4に与えると、あるいは、センタ装置4が監視カメラ2からの情報に基づいて状況表示画面71の表示指示コマンドDCを自動的に生成すると、画像生成制御部121は、その表示指示コマンドDCを受信する。表示指示コマンドDCは、表示位置情報DP、表示形態情報DS、及び停止物体情報などの監視カメラ2により得られた監視カメラ情報MC、等を含む。
表示位置情報DPは、例えば、トンネル101内の停止物体の位置の情報である。
表示形態情報DSは、表示位置情報DPにより指定された場所の画像を、どのような形態で表示するかの情報である。表示形態情報DSは、例えば、各表示用画像の視点位置、強調表示の有無、等の情報である。例えば、強調表示の情報は、特定の設備を点滅表示させる、ハイライトを付けて表示する等の情報である。
なお、表示指示コマンドDCは、その原因(停止車両の検出等)に対応したコマンドであり、画像生成制御部121は、コマンドに対応する、すなわち原因に対応する表示形態情報DSを生成する。
監視カメラ情報MCは、停止物体が車両であるか人であるかの情報、車両の種類の情報、車両の位置の変化の情報(すなわち動線あるいは軌跡の情報)、車両の軌跡が避走であるか否かの情報、認識された物体の色などの属性情報、等である。
画像生成制御部121は、受信した表示位置情報DP、表示形態情報DS及び監視カメラ情報MCに基づいて、まず、表示情報収集部122に、状況表示画面71の表示に必要な表示用画像の収集を指示する。
表示情報収集部122は、表示位置情報DP、表示形態情報DS及び監視カメラ情報MCに基づき、状況表示画面71内に表示すべき表示用画像及び情報表示部の情報(以下、パーツ情報という)を収集する。
なお、パーツ情報の表示用画像は、上述したように、3次元画像で表示するための3次元データであるが、2次元画像の組み合わせからなる情報でもよい。パーツ情報の表示用画像が2次元画像の組み合わせの情報の場合、最終的に表示される設備、車両などの画像は、複数の2次元画像が貼り合わせて立体的に見える画像である。
記憶装置5の設備表示情報記憶部5dは、換気扇表示図形情報記憶部5d1、避難通路図形情報記憶部5d2、等の、設備毎の表示用図形情報記憶部を含む。各表示用図形情報記憶部5d1,5d2、・・は、各設備のトンネル101内の設置位置、形状、属性等の情報を含む。後述するように、属性情報には、設備の名称等も含まれる。
よって、表示情報収集部122は、表示位置情報DPと表示形態情報DSに基づいて、設備表示情報記憶部5dから、表示すべき範囲内に含まれる設備に関するパーツ情報を収集する。例えば、表示形態情報DSが、表示位置情報DPが示す位置を含む所定の範囲(例えば、前後20mの範囲)を、所定の視点位置から(例えば、前方左斜め上からの視点位置から)見た状態で、表示することを示していたとする。その場合、表示情報収集部122は、記憶装置5の設備表示情報記憶部5dから、その所定の範囲内に存在する設備についての、パーツ情報を収集する。
表示用画像情報記憶部5dは、さらに、設備管理装置7からの設備の動作状態の情報を、各設備と関連付けて記憶する記憶部を含む。よって、表示情報収集部122は、表示すべき設備の動作状態の情報を収集することができる。
さらに、表示情報収集部122は、監視カメラ情報MCに基づき、車両表示情報記憶部5eから、その車両の種類に応じた表示用画像のデータを収集する。上述したように、監視カメラ2が、停止物体が車両であり、かつ小型車両であると判定したときには、表示情報収集部122は、その情報に基づいて、小型車両用の表示用画像のデータを収集する。
そして、表示情報収集部122は、各設備と停止物体について、図14のような表示形態の状況表示画面71を表示するためのパーツ情報を、表示演出部123に供給する。
表示演出部123は、画像生成制御部121からの表示形態情報DSに基づいて、収集した各パーツ情報の表示用画像の表示形態を決定する。
なお、上述したように、表示指示コマンドDCはその発生原因に対応したコマンドであるので、例えば、画像生成制御部121は、火災を原因とするコマンドを受信した場合には、建築構造物表示情報記憶部5fから、部分111内のガス管、避難ルート等の情報を得て、表示演出部123へ供給する。
表示演出部123は、強調表示などの演出方法、すなわち画像の見せ方、の情報と共に、表示情報収集部122において収集されたパーツ情報を、表示画像生成部124へ供給する。
表示画像生成部124は、建築構造物表示情報記憶部5fからトンネル101の部分111の構造情報、各パーツ情報、及び演出方法の情報を用いて、モニタ6に状況表示画面71を表示するための、トンネル101の部分111の画像、各設備の表示用画像及び車両の表示用画像を再構築する。
表示画像生成部124は、再構築の結果得られた各図形111A〜118Aの画像データをモニタ6に出力する。
なお、表示演出部123の決定した演出方法において、停止車両は、実写映像を用いることが指示された場合、表示画像生成部124は、監視カメラ2からの画像データを得て、実写画像の前処理及び合成処理部125において処理した車両の画像データを用いて、車両図形118Aを生成する。
この場合、実際の画像には無い、影の部分の画像を、撮像された画像を複製して生成したり、実際に撮像された画像を、視点位置から見た形状に変形させたり、等の前処理を行って生成し、貼り合わせる等の合成処理が、実写映像の前処理及び合成処理部125において行われる。
なお、車両の実写画像は、1台の監視カメラ2からだけでなく、複数の監視カメラ2から取得してもよい。そのようにすれば、車両図形は、複数の監視カメラ2からの撮像画像を組み合わせて生成する。すなわち、車両の表示用画像は、少なくとも1台の監視カメラからの実写画像のデータを用いて生成される。
実写画像の前処理及び合成処理部125は、監視カメラ2からの画像データを得て、状況表示画面71に表示するための車両の画像データを生成する処理部である。
また、表示画像生成部124は、複数の情報表示部D1〜D8の画像も生成する。各情報表示部に表示される情報は、各設備の属性情報、車両の属性情報、及び、建築構造物であるトンネル101に関する属性情報から選択される。上述したように、換気扇図形112Aに関連付けた情報表示部D2には、その換気扇の動作状態の情報も表示されている。
表示画像生成部124は、これらの情報表示部D1〜D8の画像データも、モニタ6に出力するので、結果として、図14に示す状況表示画面71が、モニタ6に表示される。
表示画像生成部124は、認識された車両の表示用画像と、複数の監視カメラ2が設置された建築構造物に関わる設備の表示用画像と、建築構造物の画像とを、指定された表示形態に従って、表示装置であるモニタ6に表示するために再構築する画像再構築部と、その画像再構築部で再構築されてモニタ6に表示された設備に関する情報を、モニタ6に表示された設備の表示用画像と関連付けて表示するための情報表示画像を生成する情報表示画像生成部と、を構成する。
以上のようにして、通行車両監視装置であるセンタ装置4では、監視員の指示あるは異常の発生に応じて、状況表示画面71が生成されて表示されるので、監視員は、監視場所周囲の状況、及び監視場所周辺の設備情報も把握することができる。
図16は、距離画像に基づく、状況表示画面の他の例を示す図である。例えば、図16の状況表示画面72は、モニタ6が立体表示の可能なモニタである場合に、トンネル101内のある場所を、天井から垂直方向の視点から見た画像を、立体表示させた状況表示画面の例である。
図16に示すように、トンネル101内のある範囲R1のトンネル図形112Aに、事故車両131と、トンネル101内のその部分に存在する車両図形132が合成されて立体表示されている。センタ装置4は、範囲R1内の監視カメラ2へ所定のコマンドを送信して、範囲R1内の距離画像のデータを得ることができるので、その距離画像のデータに基づいて、立体表示用画像データを生成して、モニタ6に、状況表示画面72として表示する。よって、監視員は、事故現場の状況をより理解し易い。
また、監視員は、図16の状況表示画面72内において、例えば、道路上のある範囲あるいは点A1の拡大表示を指示すると、その部分の拡大画像が、拡大表示枠133内に表示される。図16では、拡大表示枠133には、人が拡大表示されている。
また、監視カメラ2からの情報に基づいて、センタ装置4は、複数の車両が、避走し、かつ同じ位置で同様の軌跡で走行していることを判定できる場合がある。図16において、例えば、複数の車両が略軌跡LNに沿って走行したことを、センタ装置4は検出したとする。そのような場合、センタ装置4は、その車両の位置の変化である軌跡LNも状況表示画面72に表示するようにしてもよい。さらに、所定の図形135(図16では斜線の丸の図形)を、その避走の原因となった物体が存在すると推定できる位置に、表示するようにしてもよい。なお、軌跡LN及び所定の図形135は、図14の画面において表示するようにしてもよい。
各監視カメラ2の各車両の位置の変化の情報は、上述した各監視カメラ2からのローカルな車両IDを互いに関連付ける処理を行うことによって、関連付けられるので、複数の監視カメラ2に跨った軌跡データとして、モニタ6に表示することができる。
従って、表示画像生成部124は、認識された車両の識別情報に基づいて、車両の距離画像のデータから得られた、軌跡データ等の情報を、車両の表示用画像と関連付けて表示する情報表示画像生成部を構成する。
このような軌跡LNと図形135の追加表示を行うか否かは、画像生成制御部121が、監視カメラ2からの情報に基づいて、その表示形態と表示位置を決定する。その決定に基づいて、表示演出部123が、軌跡LNの図形と所定の図形135を生成して、指定された位置に表示するように、表示画像生成部124へ指示を行う。
以上のように、上述した本実施の形態による通行車両監視システムによれば、道路上の車両等を正確に認識し、設置が容易で、かつ監視場所周囲の状況、及び監視場所周辺の設備情報を表示できる通行車両監視システム及び通行車両監視装置を提供することができる。
なお、上述した実施の形態は、通行車両監視システム及び車両用監視カメラをトンネルの車両を監視する例であるが、上述した通行車両監視システム及び車両用監視カメラは、トンネル内の車両の監視だけでなく、通常の道路、高速道路等の他の建築構造物における車両の監視にも適用できるものである。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。