JP5175881B2 - 監視装置 - Google Patents

Description

本発明は、複数のセンサ装置を用いて監視を行う監視装置に関する。

情報通信技術の発達により、大量の画像を取得可能な監視システムが発売されつつある。

大量の画像を扱う監視システムを運用するには自動的な異常検出技術が不可欠である。

また現実の運用では「異常」の例である不審者の侵入等は、複数の監視カメラを順々に渡り歩く現象であり、複数カメラ間の時間順序に対応した異常検出が求められている。

しかし複数の監視カメラ間の時間的な順序関係をルールとして扱える画像監視システムは存在せず、単純なルールや単一カメラで完結した異常検出にとどまっている。

「ステレオ画像処理を用いた歩行者の動線計測」（榎原・馬場・大村IEICE-ITS-216 pp.39-42 ） "Real time temporal logic: Past, present,future"（Oded Maler, Dejan Nickovic, and AmirPnueli. In LNCS3829. Springer, 2005.） 「アルゴリズムとデータ構造 (21世紀を指向した電子・通信・情報カリキュラムシリーズ)」（茨木 俊秀、昭晃堂 (1989/11)、ISBN-10: 4785601191）

本発明は、複数のセンサ装置間の時間的順序に対応した異常検出を行うことを可能とした監視装置を提供する。

本発明の一態様としての監視装置は、
複数のセンサ装置を用いて監視領域を監視する監視装置であって、
前記センサ装置からセンサ情報を取得し、前記センサ情報が前記センサ装置に対してあらかじめ与えられた条件式を満たすか否かに基づき前記センサ装置毎にブール値を計算するブール値計算部と、
前記センサ装置毎の前記ブール値に対応する入力変数と、時間演算子と、論理演算子とを含む時間論理式を保持する時間論理式保持部と、
前記ブール値計算部により計算されたブール値に基づき前記時間論理式の真偽を判定し、前記時間論理式の真偽に応じて前記監視領域内に異常が発生したか否かを判定する監視部と、
を備える。

本発明により、複数のセンサ装置間の時間的順序に対応した異常検出を行うことが可能となる。

本発明の実施の形態に係わる監視対象環境の一例を示す図である。 本発明の実施の形態としての監視装置を備えた広域監視システムのブロック図である。 ブール値計算部の詳細構成を示すブロック図である。 時間論理式の一例を示す図である。 図４の時間論理式の木構造表現及びセンサ装置への参照情報の形態を示す図である。 オンライン監視部の構成の一部を示すブロック図である。 図２のシステムの動作を示すフローチャートである。 データベースの一例を示す図である。

以下図面を参照しながら、本発明の実施の形態を説明する。

図1は、本発明の一実施形態としての監視装置による監視対象環境の一例を示す。

入口Aと出口Bをつなぐ通路が存在する。通路の途中には、小部屋D、Eが存在し、通路の出口付近には監視員室Cが存在する。

通路の入口Aには監視カメラA、出口Bには監視カメラBが設置されている。小部屋Dには監視カメラDが、小部屋Eには監視カメラEが、監視員室Cには監視カメラCが設置されている。

監視員室Cまたは通路内また図１の範囲には含まれないが，施設外の集中管理センター等には警報機（図2の符号8参照）が設けられている。

歩行者は入口Aから入って出口Bへと向かうが、途中の小部屋D、Eに立ち寄ることも可能である。また警備室Cには警備員が駐在しているが、所用等により断続的に不在時間が発生する。

監視カメラAは入口A領域を監視し、監視カメラBは出口B領域を監視し、監視カメラCは監視員室Cを監視し、監視カメラDは小部屋Dを監視し、監視カメラEは小部屋Eを監視する。監視カメラA〜Eの監視範囲は連続しておらず、通路の途中には監視カメラに写らない領域も存在する。

本実施形態では、このように監視範囲が連続していない監視カメラを統合および管理して所定の異常状態を検出しようとするものである。

図1に示した環境の例はシンプルなものではあるが、本実施形態の特徴を示すには十分なものである。

図2は、本発明の一実施形態としての監視装置を備えた広域監視システムの構成を示すブロック図である。

図2の広域監視システムは、複数のセンサ装置1と、監視装置6と、警報機8とを備えている。

複数のセンサ装置1は、図1の監視カメラA〜Eに相当する。ただし、センサ装置1は、監視カメラに限定されず、レーザー測量機や超音波、また歩行者の重量を検知する圧力センサ等を用いることもできる。複数のセンサ装置1は、その種類や個数また設置形態は、特定のものに制限されない。

警報機8は、非常ベルやサイレン等の警報発生装置、またはオートロック装置等の物理的防護装置である。

複数のセンサ装置1および警報機8は図1に示した監視対象環境に設けられる。
監視装置6は、当該監視対象環境の監視を行い、所定の異常状態を検出する。監視装置6は、監視対象環境とは別の遠隔区域に設置されていると仮定するが、監視対象環境内に設置されてもかまわない。

監視装置6は、複数のセンサ装置1および警報機8とネットワークを介して接続されている。ネットワークは、たとえば、インターネット等の広域ネットワーク、ローカルエリアネットワーク、または専用回線である。

ここで複数のセンサ装置1は、それぞれ監視領域内の人間（歩行者、監視員等）の存在の有無を検知可能である。監視カメラ及び画像処理アルゴリズムによる人間検出技術には公知のアルゴリズムが多数存在する。人間検出技術は本願発明の特徴ではなく、任意のアルゴリズムを用いることができる。当該技術のアルゴリズムの一例として非特許文献1を提示する。

複数のセンサ装置1はそれぞれ検知した人間に関するデータをセンサ情報として取得し、取得したセンサ情報を監視装置6のブール値計算部2に送信する。各センサ装置1は、たとえば一定時間毎にセンシングを行い、センサ情報を取得および送信する。

センサ装置1が送信するセンサ情報は、センサ装置のセンサ種別が限定されないのと同様に、その種別は限定されない。たとえばセンサ装置1が送信するセンサ情報は、検知人数であったり、検知した人間の監視領域内での滞在時間であったり、検知した人間の存在する実数値の座標、 またはそれらを複合した構造体形式のデータが、例として考えられる。

複数のセンサ装置1は、それぞれセンシングした画像データを上述のアルゴリズムにより画像処理することにより、センサ情報を取得し、監視装置6に送信する。

なお、本実施形態ではセンシングした画像データをセンサ装置1で画像処理してセンサ情報を取得しているが、当該画像処理を行う処理部は、センサ装置1ではなく、監視装置6内に設けてもよい。この場合、各センサ装置1はセンシングした画像データを監視装置6に送信し、監視装置6内の処理部で当該画像データを画像処理することによりセンサ情報を取得する。なお当然ながら、監視対象環境において、監視カメラが設置されていない領域に関しての情報は、入手することができない。

管理ルール入力部3は、監視装置が異常検出に用いる管理ルールを入力する部分である。管理ルール入力部3は、パーソナルコンピュータ（PC：Personal Computer）やPDA（Personal Digital Assistant）・スマートフォン、その他電子計算機に準ずる端末によって実現される。または管理ルール入力部3は、監視装置に備え付けたキーボードおよびマウス等、あるいは、DVD−ROM,USBメモリ等の記録媒体からデータを読み取る読取装置によって実現されてもよい。

ここで管理ルールは、関係演算式と時間論理式と含む。管理ルール入力部3は、入力された管理ルールを字句解析および構文解析することにより、関係演算式と時間論理式とを取り出す。関係演算式はブール値計算部2へ、時間論理式は時間論理式保持部4へ送信される。この際、当該管理ルールの識別子も、送信されてもよい。これら字句解析および構文解析は一般にはコンパイラ設計等で用いられる公知技術であるため詳細な説明は省略する。

ブール値計算部2に入力される関係演算式は、センサ装置のセンサ情報を用いて記述した条件式である。たとえば条件式は、等号及び不等号(“==”、”≠”、”<”、”≦”)による判定を含み、さらに和差積商のいわゆる四則演算、指数・対数・微分・積分等の数学式を含んでもよい。

ブール値計算部2は、管理ルール入力部3から入力されたセンサ装置の関係演算式を内部に記憶保持する。この際、当該関係演算式を、管理ルールの識別子に対応づけて記憶してもよい（特に管理ルール入力部3により管理ルールを複数入力することを想定する場合）。ブール値計算部2は、センサ装置のセンサ情報から、当該センサ装置に対応する関係演算式（条件式）の判定を行い、真偽を示す判定結果をブール値として得る。管理ルール毎に、関係演算式には使用フラグまたは未使用フラグが設定されてもよく、この場合、使用フラグが設定された関係演算式を用いる。フラグはオンライン監視部7により操作可能であるとする。

関係演算式（条件式）の判定の例としては、監視カメラ（センサ装置）Aからセンサ情報X、Y（人間が検知されたx座標、y座標）が取得され、当該センサ装置の関係演算式が”X<Y”であったとすると、”X<Y”が成立するときは、真を示すブール値A（＝1）、成立しないときは、偽を示すブール値A（＝0）を得る。

また数学式を含んだ関係演算式の例を示すと、” ( Sin(X+π/2) < Pow(Y、1.73) )”などが挙げられる。X、Yは、監視カメラ（センサ装置）Aの実数値のセンサ値（人間が検知されたx座標、y座標）、πは円周率、Sinは正弦関数、Powは指数関数を仮定している。

図3は、ブール値計算部2の構成例を示すブロック図である。

ブール値計算部2は、制御実行部44、算術演算計算部45，関係演算計算部46、数学関数計算部47およびセンサ情報記憶部48を備える。

センサ情報記憶部48は、各センサ装置1から受信されるセンサ情報をセンサ装置1の識別子と関連づけて記憶する。またセンサ情報記憶部48は、管理ルール入力部3より入力された各センサ装置の関係演算式を記憶する。各センサ装置の関係演算式を当該管理ルールの識別子に関連づけて記憶してもよい。

算術演算計算部45は、和差積商のいわゆる四則演算を実行する。

数学関数計算部47は、三角関数や指数・対数・微分及び積分等の数学式の値を計算する。

関係演算計算部46は、等号または不等号等に基づく判定を行い、判定の結果を示すブール値を計算する。

制御実行部44は、各要素45〜47を用いて、各センサ装置1に対する関係演算式を、該当するセンサ情報を用いて計算し、真（1）または偽（0）を示すブール値を得る。なお、センサ情報記憶部48に記憶された所定のステップのセンサ情報を用いることで、所定ステップからの変化量を計算することが可能となり、数学関数計算部47の微分演算機能も実現可能である。またセンサ情報記憶部48は計算途中の値を一時的に格納する役割も有してよい。

時間論理式保持部4に入力される時間論理式は、所定の異常状態の発生有無を判定するための論理式である。時間論理式保持部4は、入力された時間論理式を内部に記憶する。この際、管理ルールの識別子と関連づけて当該時間論理式を記憶してもよい。時間論理式は、センサ装置1毎のブール値を表す入力変数と、時間演算子と、論理演算子とを用いて記述される。

図4は、時間論理式の一例を示す。

図示の時間論理式の例は、
”EVER(NOT(AND(AND(NOT(SOME[0,60](A)),NOT(B)),NOT(C))))”である。

この時間論理式は、「部屋A（入口A）に人がいなくなって、60秒以上経過しても、ゲートB(出口B)に誰も来なければ、かつ、防災センター（警備員室）Cに警備員がいなければ、異常が発生したと判断する」ことを意味し、そのときEVER演算子は偽（0）になる。この時間論理式に含まれる”A”,”B”,”C”はそれぞれセンサ装置（監視カメラ）A,B,Cに対応する入力変数であり、センサ装置（監視カメラ）A,B,Cに対してブール値計算部2により計算されたブール値が入る。なお本実施形態では、時間論理式の値が偽になった場合に異常が発生したと判定するが、真になった場合に異常が発生したとするように時間論理式を構成することも可能である。

時間論理には様々なものがあるが、本実施形態ではMITL(Metric Interval Temporal Logic)と呼ばれる論理体系を拡張した体系を用いるものとする。MITLの詳細については非特許文献2を参照されたい。

MITLは本実施形態での採用に過ぎず，本発明においての要件ではない．
時間論理式保持部4は、管理ルール入力部3から入力された時間論理式を、計算機の記憶形式で保持する。たとえば時間論理式はバッカスナウア記法により記述され、木構造によって演算子間の関係が表現される。図4に示した時間論理式の木構造表現を示すと、図5のようになる。

なおバッカスナウア記法による記述が可能であることは時間論理一般の特徴であり，MITLに固有の特徴ではない．
一般に木構造はノード間の参照関係を、ポインタ等を用いて表現することにより、計算機の記憶領域に保持させることが可能である。木構造の計算機上での実現に関する方法は、たとえば非特許文献3に開示されている。

図5に示されるように、木構造は、複数のノードと、ノード間を接続するエッジとを含む。木構造の末端ノードには、センサ装置のブール値を表す入力変数が割り当てられ、非末端ノード（中間ノード、根ノード）には、時間演算子（EVERなど）および論理演算子（AND、ORなど）が割り当てられる。

時間論理式保持部4は、時間論理式を2個以上保存する場合、各時間論理式には使用フラグまたは未使用フラグが設定される。使用すべき時間論理式には使用フラグが、そうでない時間論理式には不使用フラグが設定される。これにより、任意の時間論理式について使用および不使用を選択することができる。フラグはオンライン監視部7により操作可能である。

ここでマクロ変換部４３によるマクロ機能を利用することで、管理ルール入力部３から時間論理式を直接入力せず、代わりに特定記述（特定ルール）を入力して、当該特定ルールをマクロ変換部４３で時間論理式に変換してもよい。マクロ変換部４３は、特定ルールと、時間論理式とを対応づけて保持し、時間論理式保持部４から入力された特定ルールを時間論理式に変換して時管理論理式保持部４に返す。

たとえば特定記述（簡略化ルール）が以下の記述であるとする。なおXは正の整数値であるパラメータである。

［簡略化ルール］：Intruder_detect(X)
これをマクロ変換部４３で変換すると以下の時間論理式が得られる。
”EVER(NOT(AND(AND(NOT(SOME[0,X](A)),NOT(B)),NOT(C))))”である。

このように、いったん時間論理式全体を作成し、特定記述と関連づけて、マクロ変換部４３に登録しておけば、パラメータ変更等の微調整を実施する際の負荷を、大幅に軽減できる。

上記の例は、変換後の長い時間論理式を作成した後、現場の状況に応じて異常判定の閾値を調整する必要が発生しているケースである。

閾値調整は時間論理式の変更を伴うため、長大な時間論理の変更箇所を探索するという煩雑な作業が発生するが、上記のマクロ機能により、変更すべき箇所Xを容易に特定できる。

マクロ機能は正規表現や文脈自由文法等、コンパイラの基礎技術によって実現することが可能であり、C言語を始めとする各種のプログラミング言語でも備わっている。本実施形態でもそれらの公知のアルゴリズムを用いる。

管理ルール対応センサ入力部5は、時間論理式保持部4に記憶された時間論理式の任意の演算子（入力変数も入力演算子として演算子と考える）に1個以上、センサ装置または警報機を対応付けるための参照情報を入力する部分である。管理ルール対応センサ入力部5は、パーソナルコンピュータ（PC：Personal Computer）やPDA（Personal Digital Assistant）・スマートフォン、その他電子計算機に準ずる端末によって実現される。または、管理ルール対応センサ入力部5は、監視装置に備え付けたキーボードおよびマウス等、あるいは、DVD−ROM,USBメモリ等の記録媒体からデータを読み取る読取装置によって実現されてもよい。

管理ルール対応センサ入力部5は、入力された参照情報を時間論理式保持部4へ送信する。時間論理式保持部4は受け取った参照情報を時間論理式の該当する演算子（木構造のノード）に対応付けて保存する。図5の例では、SOME演算子に監視カメラDを対応づける参照情報、入力変数Cに監視カメラEを対応づける参照情報、EVER演算子に警報機8を対応づける参照情報が設定されている。

ここで、参照情報は、装置（センサ装置、警報機等）が対応づけられたIOポートのアドレスであったり、当該装置を制御するアプリケーションソフトウェアが管理するアドレスの番地であったり、もしくは人間に可読な形で記述されたハイパーリンクであったり等、その形態は限定されない。

このように参照情報を時間論理式に設定することにより、異常発生時に、異常発生の原因となった演算子を特定し、特定した演算子に対応する監視カメラや警報機を動作させることで、適切な対策をとることができるようになる。

オンライン監視部7は、異常検出のための制御を実行するブロックである。オンライン監視部7は、時間論理式保持部4から時間論理式（2つ以上存在するときは使用フラグが設定されているもの）のデータ構造を読み出し、ブール値計算部2から受け取ったブール値の信号を入力変数に入力することにより、時間論理式の値を計算する。時間論理式の値が偽になれば異常が発生したと判断し、真であれば異常は発生していないと判断する。オンライン監視部7は、時間論理式の計算をたとえば一定時間毎に行う。

ここで時間論理式の値の計算は、図5の木を末端ノード（葉ノード）から根ノードへ各ノードの値を確定しながら進むことで行われる。

たとえば符号24のSOME演算子の値は、入力変数A（センサ装置Aのブール値）の値の決定後に決定される。

符号22のNOT演算子の値は、SOME演算子の値の決定後に決定される。

符号21のAND演算子の値は、符号22のNOT演算子と、符号23のNOT演算子の値の決定後に決定される。

以上の手順を根に向けて繰り返すことで、時間論理式の値が最終的に決定される。すなわち、木構造の根ノードである符号17のEVER演算子の値が決定される。

オンライン監視部7は、時間論理式の計算を終えたら、木構造における各ノードの計算結果を内部データベースに記憶する。データベースの一例を図8に示す。図8の詳細は後述するが、1回の異常判定につき1つの横行データ（レコード）がデータベースに記憶される。

オンライン監視部7は、決定されたEVER演算子の値を確認し、その値が真であれば異常は発生していないと判断し、偽であれば異常が発生したと判断する。異常の発生を決定したとき、オンライン監視部7は、根ノードの演算子（EVER演算子）に対応づけられている警報機8を作動させる。

また、オンライン監視部7は、異常の発生を決定したときは、異常発生の原因となった演算子を特定する。特定の方法は後述する。オンライン監視部7は、特定した演算子に設定されている参照情報を読み出して、対応づけられたセンサ装置（監視カメラ）の呼び出し信号を送信する。送信先は、たとえば当該センサ装置または監視員室等に別途配置する表示装置（図示せず）があり得る。

たとえば異常が発生した場合にのみ監視員室の表示装置で監視カメラの監視映像の表示を行う場合は、異常発生時に上記センサ装置の出力（監視映像）を当該表示装置に送り、当該表示装置でセンサ装置の監視領域の映像を表示させる。また、監視員室の表示装置で常時、各センサ装置の監視映像を表示しているような場合は、呼び出し信号を当該表示装置に送信し、当該表示装置は、上記監視カメラの画像を監視員に優先提示する。優先提示の具体例としては、当該監視カメラの画像を拡大したり、強調表示したりすることがある。このようにして監視カメラの画像が警備員にフィードバックされ、異常解消のための参考とされる。またカメラ画像を録画している環境では、当該カメラの解像度を高めた状態で記録することも可能である。

オンライン監視部7は、この後、時間論理式保持部の時間論理式の使用・不使用のフラグの設定を変更してもよい。具体的には、異常発生時には、その異常に対応したより緊急性の高いルール（時間論理式）を、これまでの時間論理式に代えて選択し、以降はこの緊急性の高いルールを使用する。

図6はオンライン監視部7において時間論理式の計算を行う部分の構成を示したブロック図である。

オンライン監視部7は、時間論理式の計算を行うために、制御実行部30、管理ルールデータ構造記憶部42、演算子評価値記憶部41、NOT演算子計算部36、AND演算子計算部37、OR演算子計算部38、IMPLY演算子計算部39、SOME演算子計算部40、EVER演算子計算部31、SINCE演算子計算部32、DOWN演算子計算部33、UP演算子計算部34、PreN演算子計算部35を備える。管理ルールデータ構造記憶部42、演算子評価値記憶部41はたとえば本発明の第1の記憶部、第2の記憶部に相当する。

制御実行部30は、管理ルールデータ構造記憶部42に格納された時間論理式のデータ構造にしたがって、当該時間論理式内の演算子の計算を、葉ノードから根ノードへ向けて行う。具体的に、下位の演算子で計算した結果を演算子評価値記憶部41に格納するとともに、またそれを読み出して各演算子計算部31〜35、36〜40を用いて上位の演算子の値を計算することを、葉ノードから根ノードへ向けて繰り返し行う。これにより、最終的に、時間論理式の値（根ノードの演算子の値）を求める。

NOT演算子計算部36は、制御実行部30から入力された一個のブール信号の否定値を計算し、制御実行部30に返す。

AND演算子計算部37は、制御実行部30から入力された二個のブール信号の論理積を計算し、制御実行部30に返す。

OR演算子計算部38は、制御実行部30から入力された二個のブール信号の論理和を計算し、制御実行部30に返す。

IMPLY演算子計算部39は、制御実行部30から入力された二個のブール信号の論理包含を計算し、制御実行部30に返す。

SOME演算子計算部40は、制御実行部30から入力された一個のブール信号を用いて所定のアルゴリズムに基づいて真偽を計算し、制御実行部30に返す。SOME演算子計算部40は内部に状態を記憶しており、当該信号の過去の変化をもとに現在の値を計算する。

SOME演算子は当該ブール信号が過去に一度でも真値をとれば、真の値をとる。また前述の非特許文献(2)の形態のようにSOME[a、b]のような区間指定付きの計算を実行することができる。SOME[a、b]は、現在時刻をtとした場合に時刻t-bから時刻t-aの区間のみを判定対象とする。当該区間が、一度も真になることなく経過すれば、偽の値を返す。

EVER演算子計算部31は、制御実行部30から入力された一個のブール信号を用いて所定のアルゴリズムに基づいて真偽を計算し、制御実行部30に返す。EVER演算子は当該ブール信号が区間の全てで真である場合にのみ、真の値をとる。またSOME演算子の場合と同様に区間指定が可能な派生型があり、EVER[a、b]は、現在時刻をtとした場合に時刻t-bから時刻t-aの区間のみを判定対象とする。

SINCE演算子計算部31は、制御実行部30から入力された2個のブール信号を用いて所定のアルゴリズムに基づいて真偽を計算し、制御実行部30に返す。SINCE演算子は第一のブール信号が真に変化して以降の全ての区間で、第二のブール信号が真である場合にのみ、真の値をとる。またSOME・EVER演算子の場合と同様に区間指定が可能な派生型があり、SINCE[a、b]は、現在時刻をtとした場合に、時刻t-bから時刻t-aの区間のみを判定対象とする。内部状態を持つ時間演算子の計算機上での構成方法は、非特許文献(2)等の公知事例が多数存在する。

DOWN演算子計算部33は、制御実行部30から入力された一個のブール信号について直前の値を記録し、今回入力された値と前回の値とを比較する。直前の値が真でかつ現在入力された値が偽の場合のみ真を制御実行部30に返し、それ以外の場合は偽を制御実行部30に返す。

UP演算子計算部34は、制御実行部30から入力された一個のブール信号について直前の値を記録し、今回入力された値と前回の値とを比較する。直前の値が偽でかつ現在入力された値が真の場合のみ真を制御実行部30に返し、それ以外の場合は偽を制御実行部30に返す。

PreN演算子計算部35は、制御実行部30から入力された一個のブール信号のN（Nは1以上の整数）ステップ前までの値を記憶しており、制御実行部30からブール値が入力されたとき、N以下のステップ分以前の過去の信号値を返す。たとえばN=2であれば、2ステップ前および1ステップ前の過去の信号値を返す。

図7は、図2の広域監視システムの動作の流れを示すフローチャートである。

まず広域監視システムが起動されると、センサ装置1（ここでは監視カメラA〜C）はセンサ情報を定期的に取得し、取得したセンサ情報を監視装置に送信する。本例ではセンサ情報は、各監視カメラA〜Cの各々の監視領域内における人間が存在する座標（x、y）であるとする。監視領域内に人間が存在しないときは、当該座標にはたとえばヌル値もしくは事前に定めた値が入る。

監視装置におけるブール値計算部2は、各監視カメラからそれぞれ定期的にセンサ情報を受信し、監視カメラ毎にあらかじめ取得した関係演算式（条件式）を当該受信したセンサ情報が満足するか否かを判定する。なお、複数の管理ルールが存在するときは、使用フラグが設定された関係演算式を用いる。この場合、初期で使用する管理ルールをあらかじめオンライン監視部7は決定してブール値計算部2および時間論理式保持部4に通知しておくものとする。

本例では関係演算式は、監視領域内に人間（歩行者、警備員）が存在するための条件を示す。存在するときは（条件が満足されるときは）、真（＝1）を示すブール値を、存在しないときは（条件が満足されないときは）、偽（＝0）を示すブール値を取得する（ステップS10）。ブール値計算部2は、監視カメラA〜C毎に取得したブール値A〜Cの信号をオンライン監視部7に送る。

オンライン監視部7は、ブール値計算部2から受信するブール値A〜Cに基づき、時間論理式保持部4において時間論理式の値を計算する（ステップS11）。複数の時間論理式が存在するときは、使用フラグが設定された時間論理式を用いる。本例では、時間論理式は、図4および図5の時間論理式であるとする。当該時間論理式におけるA、B、Cはブール変数であり、監視カメラA〜Cに対して取得されたブール値が入る。時間論理式の値の計算は、上述したように、図5の木を、葉ノードから根ノードへ向けて、途中のノードの値を順次確定しながら進むことで行われる。オンライン監視部7は、木構造における各ノードの計算結果を、内部データベース（図8参照）に記憶する。

オンライン監視部7は、計算された根ノードの値（この例ではEVER演算子の値）に基づき、異常が発生したか否かを判定する（ステップS12）。根ノードの値が真であれば、異常は発生していないものとして（S12のNO）、再びステップ10に戻る。一方、根ノードの値が偽であれば、異常発生とみなして（S12のYES）、次のステップS13に進む。

ステップS13では、オンライン監視部7が、異常発生の原因となった演算子を特定する。特定の方法は、木構造の根ノードから各葉ノードへのパス毎に、今回計算された演算子の計算結果と、前回もしくはそれ以前の計算結果とを比較する。そして異なる演算結果を含むパスを特定し、特定したパスにおいて演算結果が異なる演算子の内、最も葉ノードに近い演算子を、異常発生の原因となる演算子として特定する。以下、図8のデータベース例を用いて詳細に説明する。

図8のデータベースは、図7のステップS10〜S12のNOが3回繰り返されて時点1〜3の3つのデータが記録され、さらに4回目のS10,S11が実行して、時点4のデータが記録され、ステップS12で異常発生が検出（S12のYES）された場合に相当する。

すなわち、まず時点2において警備員が不在となったことにより、ブール値計算部2から入力される監視カメラCのブール値Cは偽に変化する(50)。しかしAND演算子18はAND演算子21が偽であることから偽のままであり、結果として根ノードのEVER演算子は真の値を保つ。

時点3においては、入力ブール値及び時間演算子の値には変化が無いので、当然EVER17の値も変化せず真である。

次に時点4においてはカメラAから歩行者がいなくなってから60秒経過したため、SOME[0、60]の値が真から偽に変化する(51)。なおかつ従前からカメラBには誰もやってきていない状況であり、AND演算子21の値は偽となる。引き続き根ノードに向けて計算を繰り返すことでEVERの値は偽となり(52)、異常発生が検出される。

異常が発生した時点4のデータと、直前の時点3のデータとを比較して値の異なる演算子（ノード）を検出し、葉ノードに最も近い演算子を選び出すことにより、異常発生の原因となった演算子を特定する。本例で言えば、最初に異なる部分、つまり値の変化した演算子は符号49のAND、符号18の AND、 符号21のAND、符号22のNOT、符号24の SOME[0、60]である。これらの内で最も葉ノードに近いSOME[0、60]が異常発生の原因として選択される。ここでは時点4のデータを、時点3のデータと比較したが、時点2または1のデータと比較してもよい。すなわち異常が検出されなかった直前の連続する1つ以上のデータのうちの1つと比較すればよい。

次のステップS14では、オンライン監視部7は、発報信号を送信することによりEVER演算子（根ノード）に対応付けられている警報機を作動させる。またステップS13で特定した演算子に対応付けられている監視カメラを呼び出す。

次にステップS15では、オンライン監視部7は、時間論理式保持部4の時間論理式の使用状況を更新する。たとえば、いままで使用していた時間論理式のフラグを未使用にし、より厳しいルールを定めた所定の時間論理式のフラグを使用に設定する。同様に、オンライン監視部7は、ブール値計算部2に、当該所定の時間論理式に対応する関係演算式（同一の管理ルールの識別子をもつ）を用いるように指定する。ブール値計算部2は、新たに指定された関係演算式のフラグを使用に設定し、いままで使用していた関係演算式のフラグを未使用に設定する。

上記実施形態では、管理ルール入力部から入力する管理ルールに、1つの時間論理式と、各センサ装置（ここでか監視カメラA、B、C）のそれぞれの関係演算式を含める場合を示したが、当該管理ルールに、複数の時間論理式を含め、各時間論理式で、各センサ装置の関係演算式を共通に用いるようにすることも可能である。この場合は、使用する時間論理式を変更しても、同一の管理ルールに含まれる限り、関係演算式の変更は不要である。

また、上記実施形態では異常発生が検出されたときに、使用する管理ルール（時間論理式および関係演算式）の変更を行ったが、以下では別の条件が成立したときに変更する例を、変形例1〜4として示す。

（変形例1）
VIP等の人物が施設に入ったことを検出した場合に、よりセキュリティの高い管理ルールに変更する。たとえばRFIDタグ等をVIP等の人物に装着しておき、またタグリーダを施設の入り口に配置しておく。タグリーダは、RFIDタグの読取によりVIP等の人物の入場を検出したら、当該人物が入場したことを通知する信号をオンライン監視部7に送る。当該信号を受けたオンライン監視部7は、時間論理式保持部4およびブール値計算部2に、よりセキュリティの高い所定の管理ルール（時間論理式および関係演算式）を使用することを指示する。

同様に、VIP等の人物が当該施設から出たことを検知した場合は、セキュリティの低い管理ルールに変更してもよい。すなわち、当該人物が施設から出たことをRFIDの読取によりタグリーダが検知した場合には、その旨を通知する信号をオンライン監視部7に送信する。オンライン監視部7は、より低セキュリティの所定の管理ルールを使用することを時間論理式保持部4およびブール値計算部2に指示する。

（変形例2）
管理ルールの変更として、オンライン監視部7は、所定の期間の間にのみ特定の管理ルールを用い、当該期間が終了すると、元の管理ルールに復帰するように、時間論理式保持部4およびブール値計算部2を制御する。

（変形例3）
監視カメラ等の一部が故障した場合、当該監視カメラを使用しない管理ルールへの変更を行う。

たとえばオンライン監視部7は、故障した監視カメラの識別情報を外部の装置（ユーザ入力装置等）から受信し、当該受信に応じて、現在の管理ルールが当該故障した監視カメラを用いているかを判断する。

この判断は、現在使用している時間論理式が当該故障した監視カメラのブール変数を含んでいるかどうかを確認することにより可能である。

オンライン監視部7は、現在の管理ルールが故障した監視カメラを用いていると判断したときは、当該監視カメラを用いてない時間論理式を特定し、特定した時間論理式および対応する関係演算式を用いるように、時間論理式保持部4およびブール値計算部2に指示する。

（変形例4）
施錠システムと連動し、所定の部屋またはゲートが施錠されているか否か等に応じて、管理ルールを変更する。たとえばオンライン監視部7は、部屋またはゲートの施錠の有無と、使用する管理ルールとの対応を記憶しておき、施錠システムから部屋またはゲートの施錠の有無変更の通知を受けたら、変更後の施錠状態に応じた管理ルールを特定する。オンライン監視部7は、特定した管理ルール（時間論理式および関係演算式）を用いるように、時間論理式保持部4およびブール計算部2に指示する。

以上、本発明の実施形態によれば、論理体系の一種である時間論理の処理系を大規模監視カメラシステムに装備し、複数の監視カメラ間をまたがる時間及び順序を含む管理ルールによる異常検出技術が実現される。この機能によって現実の要求に見合った、管理ルールを適用することで、監視カメラシステムの実用性が向上する。また時間論理のデータ構造をセンサ装置と対応付けることで、異常検出時に適切な対策をとることを可能になる。また、監視カメラシステムの導入後の付加価値をも向上させることができる。

なお、上記実施形態に示した監視装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、当該装置における各要素は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、本装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、同装置内の各種記憶部および保持部、ならびにデータベースは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはCD−R、CD−RW、DVD−RAM、DVD−Rなどの記憶媒体などを適宜利用して実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

1：センサ装置
2：ブール値計算部
3：管理ルール入力部
4：時間論理式保持部
5：管理ルール対応センサ入力部
6：監視装置
7：オンライン監視部
8：警報機

Claims (5)

1. 複数のセンサ装置を用いて監視領域を監視する監視装置であって、
   前記センサ装置からセンサ情報を取得し、前記センサ情報が前記センサ装置に対してあらかじめ与えられた条件式を満たすか否かに基づき前記センサ装置毎にブール値を計算するブール値計算部と、
   前記センサ装置毎の前記ブール値に対応する入力変数と、時間演算子と、論理演算子とを含む時間論理式を保持する時間論理式保持部と、
   前記ブール値計算部により計算されたブール値に基づき前記時間論理式の真偽を判定し、前記時間論理式の真偽に応じて前記監視領域内に異常が発生したか否かを判定する監視部と、
   を備え、
   前記時間演算子は、SOME演算子、EVER演算子、SINCE演算子、DOWN演算子、UP演算子、およびPreN演算子のうち少なくとも１つを含む
   監視装置。
2. 複数のセンサ装置を用いて監視領域を監視する監視装置であって、
   前記センサ装置からセンサ情報を取得し、前記センサ情報が前記センサ装置に対してあらかじめ与えられた条件式を満たすか否かに基づき前記センサ装置毎にブール値を計算するブール値計算部と、
   前記センサ装置毎の前記ブール値に対応する入力変数と、時間演算子と、論理演算子とを含む時間論理式を保持する時間論理式保持部と、
   前記ブール値計算部により計算されたブール値に基づき前記時間論理式の真偽を判定し、前記時間論理式の真偽に応じて前記監視領域内に異常が発生したか否かを判定する監視部と、
   第1および第2の記憶部とを備え、
   前記時間論理式は、複数のノードと、前記ノード間を接続するエッジとを含む木構造により表現され、
   前記入力変数は、前記木構造の末端ノードに割り当てられ、前記時間演算子および前記論理演算子は、前記木構造の非末端ノードに割り当てられ、
   前記第1の記憶部は、前記木構造の前記ノードと、前記センサ装置との対応関係を記憶し、
   前記監視部は、前記木構造の前記非末端ノードに割り当てられた時間演算子または論理演算子による計算を、前記非末端ノードの子ノードで得られた値を用いて行い、前記根ノードでの計算により得られた値に基づき前記時間論理式の真偽を判定し、
   前記第2の記憶部は、前記時間論理式の真偽と、前記木構造の前記ノードの値を含むデータを記憶し、
   前記監視部は、前記監視領域内の異常発生を検出したとき、前記異常が発生したときのデータと、前記異常が検出されなかった直前の連続する1つ以上のデータのうちの1つとを用い、両データ間で、前記根ノードから前記非末端ノードへ至るパスごとにノードの値を比較し、パス間で値が異なる最も下位のノードを検出し、検出したノードに対応づけられたセンサ装置の出力を、表示または記録することを指示する呼び出し信号を出力する、
   ことを特徴とする監視装置。
3. 前記時間演算子は、DOWN演算子、UP演算子、PreN演算子のいずれかを含み、
   前記DOWN演算子は、前記DOWN演算子が割り当てられたノードの子ノードで得られた今回の値と、前回に前記子ノードで得られた値とを比較し、前回の値が真で、かつ今回の値が偽である場合に真を返し、それ以外の場合は偽を返し、
   前記UP演算子は、前記UP演算子が割り当てられたノードの子ノードで得られた今回の値と、前回に前記子ノードで得られた値とを比較し、前回の値が偽で、今回の値が真である場合には真を返し、それ以外の場合は偽を返し、
   前記PreN演算子は、前記子ノードで得られた値の1〜N（Nは1以上の整数）ステップ分以前の過去の値を返す
   ことを特徴とする請求項２に記載の監視装置。
4. 複数のセンサ装置を用いて監視領域を監視する監視装置であって、
   前記センサ装置からセンサ情報を取得し、前記センサ情報が前記センサ装置に対してあらかじめ与えられた条件式を満たすか否かに基づき前記センサ装置毎にブール値を計算するブール値計算部と、
   前記センサ装置毎の前記ブール値に対応する入力変数と、時間演算子と、論理演算子とを含む時間論理式を保持する時間論理式保持部と、
   前記ブール値計算部により計算されたブール値に基づき前記時間論理式の真偽を判定し、前記時間論理式の真偽に応じて前記監視領域内に異常が発生したか否かを判定する監視部と、を備え、
   前記時間論理式保持部は第1および第2の時間論理式を保持し、
   前記監視部は、前記第1の時間論理式を用いて監視を行い、前記監視領域内の異常を検出したとき、使用する時間論理式を前記第1の時間論理式から前記第2の時間論理式に切り換える
   ことを特徴とする監視装置。
5. 前記監視部は、前記監視領域内の異常発生を検出したとき、外部の警報機に発報を指示する発報信号を送信することを特徴とする請求項１ないし４のいずれか一項に記載の監視装置。

Images