JP4286074B2 - 空間情報配信装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、カメラ及びそれ以外のセンサー等との複数情報に基いて、空間上の情報を収集、分析して、受け取る側の状態や要求に応じて、空間情報を配信する空間情報配信装置に関するものである。
【０００２】
【従来の技術】
従来の情報配信装置の例として、例えば特許文献１によれば、道路上の異常を検出する、異常事象検出装置がある。この装置によれば、道路をカメラで撮影し、その画像を解析することによって、対象となる車の速度、台数、の計測、停止物の検出などが可能で、渋滞度に応じて補正する。
速度、台数計測、異常走行監視機能、停止物検出、渋滞度計測機能を有し、速度、台数計測及び異常走行監視機能で得られる速度、台数に関するデータを渋滞度に応じてデータ補正する局所総合判断部を有することを特徴とする。
更に、背景差分特徴を抽出し、車両を追跡し、この結果交通流を計測（台数、速度）する。また、入力画像に対し、フレームの特徴を抽出し、停止車両を検出する。また、入力画像に対し、空間微分、時間微分の特徴を抽出し、渋滞度を計測する。これらの結果を局所総合判定部で総合判定し、異常事象の有無を判定する。
【０００３】
各地点の渋滞度を平面的にプロットし、渋滞度の変化の度合いや、車線ごとの渋滞度などを空間的に捕らえることで、カメラ視野外の領域についての異常を推定する。
カメラ視野内の全ての区間で渋滞の場合は、計測範囲以外での異常、慢性的に渋滞が発生する場所なら慢性的な渋滞と判断する。計測範囲内で一部だけ渋滞している場合は、異常と判断する。
車線に対してどの範囲に車が多く走行しているか、速度の急激な変化を調べることで、異常走行や、落下物の検出などが可能である。
【０００４】
【特許文献１】
特開平６−７６１９５号公報
【０００５】
【発明が解決しようとする課題】
従来の異常事象検出装置は以上のように構成されており、カメラからの画像（映像）だけを情報源とするため、撮影可能な車の検出や車の動きを捉えることができたが、画像解析だけでは抽出しにくい、人間の動きや、モノの動きには対応できない。特にカメラに映った人間の数が多い場合に、各人の動きを把握するのは困難であるという課題がある。
また、道路の混雑状況など車のマクロな動きを捕らえることができても、一台一台の動きなど、ミクロな動きに対応できない。
【０００６】
この発明は上記のような課題を解決するためになされたもので、カメラだけでは把握できない、個々の詳細な動態情報を取得し、有用な情報に可視化して、利用することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る空間情報配信装置は、入力情報からその特徴を抽出してその入力情報により異常を検出する装置において、
入力の映像情報と、識別情報の特徴を抽出する特徴量抽出部と、
この映像情報と識別情報を融合するセンサー協調部と、
この融合して得られた空間情報の特徴量を配信する配信部とを備えた。
【０００８】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１における空間情報配信装置を用いたシステムの例を示す図である。図において、無線付カメラ８からの映像情報以外に、新たに無線ＩＣタグ６ａ、６ｂからの情報や、携帯端末（電話）等に装備されたＧＰＳ携帯端末７ａからの情報を受け取る特徴量抽出部１ａを備え、これらの複数の情報をセンサー協調部２ａにより融合し、その結果を最新データベース（ＤＢ）１２ａに蓄積する。
ここで、融合とは、カメラからの映像やＩＣタグからのＩＤ等の情報を分析した上で合成することである。
融合された情報を、ユーザに配信するが、その際に、空間情報配信部４ａで情報の内容や状況により、配信すべきユーザを決定し、さらに配信先の端末、通信状況などを判断して、適切な可視化情報の生成を空間情報可視化部５ａに依頼し、この空間情報可視化部５ａから取得した可視化情報を上記ユーザに配信する。
【０００９】
次に動作を説明する。図２の処理フローに基いて説明する。
図１における無線ＩＣタグは、会社など、あるエリアに入門を許可された人につける。ＩＣタグは、それぞれのＩＤを発信する。
またある間隔ごとに、または人の通過状況を監視したい場所に、無線付きカメラと、無線基地局装置を設置する。
無線基地局装置は、通過した人のＩＣタグのＩＤを受信し、ステップ１００ａでセンターに送る。また、無線付カメラからの映像をステップ１００ｃでセンターに送る。
たとえば、エリアＸの近くを通過した人が持つＩＣタグ６ａの情報が無線基地局装置２０ａ経由でセンターの空間情報配信装置２１ａに送信され、さらに、無線付カメラ８ａの映像が送信される。
同様に、無線基地局装置２０ｂ経由でエリアＹを通過する人が持つＩＣタグ６ｂの情報、さらに、無線付カメラ８ｂの映像情報が送信される。
【００１０】
空間情報配信装置２１ａでは、特徴量抽出部１ａが、ステップ１０１で送信されたＩＣタグのＩＤや映像の特徴量を抽出する。
エリアごとに、受信したＩＣタグのＩＤと、入出時間を記録し、図３に示すように、最新ＤＢ１２ａに蓄積する。これは、各人の経路情報として利用できる。
また、時間ごと（例えば１秒毎）に認識したＩＣタグの数、つまり通過した人の数をカウントし、蓄積する。
カメラ映像からは、人間を抽出する公知の技術を用いて画像中に動くオブジェクトを認識することで、通過した人の動きを抽出する。オブジェクトの動きベクトルを抽出することで、動きの速度、向きを特定できる。またＩＣタグの場合と同様、オブジェクトの動きベクトルより時間毎（例えば１秒毎）の通過人数をカウントできる。
これらの情報から、通過した人数をカウントでき、例えば時間帯によって、通過する人が多い、留まる人が多くて混雑している、人の行き来がまったくない、などのマクロな動態情報を取得できる。
ここで得られた特徴量は、ステップ１０１ａで最新ＤＢ１２ａに蓄積する。
【００１１】
また、ＧＰＳ等の位置検出センサー、および無線機能がある携帯端末７ａを事前に登録しておけば、無線基地局装置２０の近くを通った際に、無線基地局装置から、位置情報発信を依頼すると、携帯端末（電話）のＧＰＳ機能で捕らえた位置情報を無線基地局装置２０に送信することで、ＩＣタグをつけていなくても、ステップ１００ｂで位置情報を把握できる。
【００１２】
センサー協調部２ａでは、カメラやセンサー等からの情報を解析した後、ステップ１０２で時間軸上で、それらの情報を融合する。
ところで、ＩＣタグは、周波数の違いや、受信機の感度や発信機の出力の調整によって、受信できる距離に違いが出る。また、カメラは、向いている方向、ズーム、解像度などにより、カメラの位置から映像として捕らえられる範囲が変わる。
カメラの視野及びＩＣタグの情報が獲得可能なエリアの例を図４に示す。
その場所で使っているＩＣタグの性能、カメラの性能、設置条件、ＩＣタグを付けた人が入ってくる方向などにより上記エリアの大きさが違う為、起動時から通過した人のデータを記録し、それによってＩＣタグとカメラのずれを自動計算する。また、システムを切替えるたびに、ＩＣタグとカメラのずれを自動計算する。
【００１３】
このＩＣタグとカメラのずれの自動計算について、以下に説明する。
この際、まず人の進む方向を認識して分類する必要がある。
最新ＤＢ１２ａに、各無線基地局の位置情報と、カメラの位置情報を保持している。さらに、エリアごとに、各ＩＣタグの入出情報が保持されている。これにより、各ＩＣタグの経路がわかり、これから進む方向もある程度予測できる。
例えば、エリアＸ，エリアＹ，エリアＺが、図４のように直線上にあり、あるタグ０８１２が、エリアＺ、エリアＹ、と言う方向に歩いていて、エリアＹを退出した時点で、その方向から、エリアＺの反対側にあるエリアＸに行く可能性が高いと予測できる。
そして実際にエリアＸで０８１２を受信すれば、エリアＹの方向から来たＩＣタグと推定できる。
複数の人の、ＩＣタグの進む方向と入出時間を調べ、無線基地局間の距離、位置関係などをもとに突出した異常データを除く、複数の確からしいデータを平均化することで、進む方向と入出時間を求めて記録する。
さらにカメラでの認識情報と融合することで、センサーごとのずれを計算する。
【００１４】
以上について詳細に説明する。
図４のように、Ａ，Ｂというタグを持った人が互いに反対の方向に進む場合に、カメラと無線基地局によって捉えられるタイミングを時間軸であらわした例を、図５に示す。
図５（Ａ）は、図４中の右方向であるＡの方向に進む人を、センサーとカメラがそれぞれ捉える様子、図５（Ｂ）は同じく左方向であるＢの方向に進む人の場合を示す。図５（Ａ）と、図５（Ｂ）は、人が来る方向によって、ＩＣタグを受信するタイミングとカメラで捕らえるタイミングが違うことを示している。図５（Ａ）の方向で、人がＩＣタグ受信範囲内Ｅ２に入る場合、カメラの視野内Ｅ１に近いため、ずれＰが大きくないが、図５（Ｂ）の場合は、カメラの視野内Ｅ１より遠いため、ずれＲが大きい。
反対に、エリアから出る場合には、図５（Ｂ）のずれＳの方が図５（Ａ）のずれＱより小さいことがわかる。
【００１５】
以上のように、（Ａ），（Ｂ）、それぞれの方向で、タグとカメラによって捉える時間の侵入時と退出時のずれ時間の平均値を出す。
このずれ時間を使って、基地局が捉えたＩＤと、カメラが捉えた人を対応付ける。
例えば、複数人が少しずつずれてエリアＥ２に入った場合を考える。各タグがＥ２へ侵入した時間と、カメラで人を捉えた時間、捉えた位置、人の動きの向き、速度、および計算された「ずれ時間」をもとに、カメラで認識した人と、ＩＤとを対応付ける。
このようにして、基地局で捉えたＩＤと、カメラで捉えた人を対応付けることで、その場の動態情報を収集して、解析を可能とする。また、カメラの映像上で顔がはっきり見えない等、顔の認識ができない場合でも、各人を認識することが可能となる。
なお、例では、Ａ，Ｂの二つの方向だけについて説明したが、動きを調査して「ずれ時間」を計算する方向を３つ以上設定して計算することも可能で、精度の高い対応付けが可能になる。ただし、初期にデータを蓄積する人数を多くする必要がある。また、計算量も多くなる。
また、ずれの時間Ｐ，Ｑ，Ｒ，Ｓを計測するために動きを計測する人数の設定、またはデータを収集する時間を設定することができる。
人の移動方向を特定するのに、カメラ映像を画像解析する手段も利用できる。
さらに、携帯電話のＧＰＳでの位置取得など、他の手段による情報に関しても、同様に調整を行うことができる。
【００１６】
また、ＩＣタグで特定した人数と、カメラで特定した人数が違う場合で、カメラでの認識人数が少ない場合、他の人の影になる等、画像上で認識することができず、カウントし損ねた場合が考えられる。
反対に、カメラで認識した人数の方が多い場合は、ＩＣタグをつけていない人が通過した可能性が考えられる。しかし、カメラ映像を解析し、人間がある場所を移動したということが特定できれば、ＩＣタグを付けていない、入門の許可がない不審人物が通ったという判断が可能になる。
【００１７】
カメラだけで人の動きや、通過した人数を把握しようとしても、人数が多くてカメラでは正確な人数を特定できない場合や、カメラの角度により、重なった人の顔を検出できない場合などがある。しかし、以上の実施形態では、ＩＣタグの情報を有効に利用し、カメラや各種センサーの情報と融合することで、データを補正できるという効果があり、自動車以外の人や、荷物などの動態情報を得ることができる。段ボール箱が重なって移動されるような場合にも、ダンボール箱にＩＣタグを貼付けておいて、このＩＣタグのＩＤ情報を受信できれば、各々の箱の認識が可能である。例えば、温度センサーであれば、箱の温度変化と箱の動きの両方を監視できる。即ち、複数種類のセンサーを併用すれば、温度を識別情報の一部とすることもできる。
また、登録しておいた人物の顔認証が可能になってきたが、サングラスやマスクなどをしていることで各人の顔の特定が出来ない場合でも、ＩＣタグのＩＤ情報により、誰が通ったかを特定できるため、人のマクロな動きだけでなく、一人一人の動きについて情報を取得可能となる。
【００１８】
このように、カメラとＩＣタグなどの各種センサーの情報を融合することにより、カメラ、またはセンサー単独では見逃してしまうような動態情報を取得可能である。
センサーの識別情報として、温度といっても、室温、気温、体温、など様々な温度があるし、他に、電波、赤外等の周波数の分布、強度や、気圧、水圧、等の圧力や、磁場の分布、強度や、風の向き、速度、水位、流量、流速、日照・日射、降雨量、積雪量、感震、傾斜など、また、ある物体や人の居る位置情報、など、あらゆるセンシング情報を対象とし得る。
例えば、エアコンが作動している部屋の中で、壁につけた様々なセンサーによって、室内のあらゆる場所における気温、温度、風の向き、日照・日射量等を測り、さらに、ビデオによる人の動きの速度や向きを監視し、赤外線により、人の身体の温まり具合を監視する。
このように、あ３次元空間における様々なセンシング情報を取得、監視し、その状況に応じて、異常個所を検出、または、快適な状態に戻すために必要な情報を配信する。
また、通常はセンサーで人数をカウントし、その結果、異常な可能性があると判断した場合に限り、その際の映像を画像処理して確認する、というような処理によって画像処理の負荷を減らすという方法も考えられる。
カメラと無線基地局装置は同じ間隔で設置しなくてもよい。その場合は、カメラが無線で自位置を無線基地局装置に送信することで、調整が可能である。
【００１９】
次に、このようにして得られた様々なセンサーの融合情報を、可視化して配信する。
空間情報配信部４ａでは、配信先の端末や、通信状況に応じて、可視化するレベルを設定して、空間情報可視化部５ａに可視化を指示する。
例えば、３段階のレベルの可視化を設定していた場合、セキュリティ監視センターのように、広帯域で、大型ディスプレイがあるような配信先には、以下に説明するＡレベルの情報を、インターネット情報としては、同じくＢレベルの情報を、無線で情報を配信する携帯端末等には、同じくＣレベルの情報を配信する。
また、空間情報配信部４ａは、同じ映像を送る場合などでも、配信する端末や通信事情に応じて、映像データを変換する機能も備える。
【００２０】
空間情報可視化部５ａにおけるステップ１０５での可視化において、例えば、Ａレベル：各エリアにおける、通過する人数のグラフを地図上の各エリアにマッピングする。
Ｂレベル：ユーザが地図上で選択したエリアに関してのみ、通過人数をグラフで表示。
Ｃレベル：選択エリアのグラフの代わりに、数字で表示する。
【００２１】
以上の実施の形態１では、センサーやカメラにより、人やモノの動きを捕らえ、各データを協調させて有用な情報を取得し、配信できるため、カメラ単体、センサーのみ利用という場合に比べて、上述のような様々な効果が期待できる。
また取得した情報を、可視化して配信するため、文字などだけで情報を送る場合に比べ、瞬時に状況を判断しやすい。
【００２２】
実施の形態２．
実施の形態２の構成図を図６に示す。これは、実施の形態１と比べて、特徴量抽出部、センター協調部を各エリアの基地局に設置し、空間情報配信部は、融合後の情報を受信して記憶、特徴分析して配信する。
各エリアには、無線付きカメラと共に、基地局２２が設置される。また、基地局２２には、無線基地局装置２０ｃ、特徴量抽出部１ｃ、センサー協調部２ｃが設けられる。
【００２３】
各々の装置、部の基本的な動作については、実施の形態１とほぼ同じであるが、特徴量抽出部１ｃ、センサー協調部２ｃが、センターではなく、ローカルな基地局装置に分散して設置される。
各エリアにおいて、無線基地局装置２０ｃが受け取った、センサー、カメラからの情報を特徴量抽出部１ｃで特徴抽出する。センサー協調部２ｃでは、それらのセンサー情報を融合する。
【００２４】
融合されたセンサー情報は、基地局２２からセンターの空間情報配信装置２１ｂに送られる。これらのセンサー情報は、エリアＡ、エリアＢなど、それぞれの場所における通過人数と通過した時間の情報が送られる。空間情報配信装置２１ｂの空間情報可視化部５ｂで、エリアごとの通過人数が時間ごとに可視化され、空間情報配信部４ｂからユーザに配信される。
通信容量が少ない場合は、空間情報配信装置２１ｂを経由せずに、近くを通った無線機能付き携帯電話に配信することも可能である。
上記実施の形態２では、各エリアで特徴抽出とセンサー協調を行うことで、映像等をセンターに送信するための通信量が少なくなる。従って、通信容量が少ない場合に、効果を発揮する。基地局装置で得た情報を、センターを経由せずに、直接、無線付き携帯電話などに配信するということも可能となる。
【００２５】
実施の形態３．
構成は、実施の形態１と同じ図１で示される。また、各部における動作も、実施の形態１とほぼ同じであるが、センサー協調部の動作が異なる。センサー協調部において、時間的なデータの融合だけでなく、空間的な融合も行うことができる。
例えば、空間情報配信装置２１ａの特徴量抽出部１ａで、センサー、またはカメラ映像の解析から、動いている人やモノの速度を計算する。
センサー協調部２ａにおいて、各エリアのデータを空間的に融合する。例えば、あるエリアにおいてのみ、他と比べて異常に通過速度が遅い場合、そこに何か異常があると判断する。異常と判断された場合は、そこの近くにあるビデオカメラの映像を監視センターや監視員の携帯電話に配信し、警告する。
【００２６】
以上のように、空間的な情報として各センサーからの情報を捕らえるため、各エリアの独立した情報だけではわからない、ある会社の構内、駅のホームなど、空間的な情報を捕らえることで、そのエリアで起こっている異常状態等を検出できる効果がある。
また、無線タグは、ＩＤを発信して基地局で受信することにより、どのＩＤの無線タグが、どの基地局の近くにいるかということがわかるが、詳細な位置情報は不明である。
例えば、無線タグ０１９５が、図４の無線基地局装置２０ａに受信されたら、ＩＤ＝０１９５は、Ｅ２の範囲内にいることがわかるが、それ以上高精度の位置情報は不明である。
しかし、センサー協調部２ａでは、この人がカメラで捕らえる範囲Ｅ１に入るタイミングを計算できるため、最新ＤＢ１２ａに蓄えた、タグの経路情報からわかる、この人の進行方向に関する情報も含めて、画像上の人を特定することができる。これにより、範囲Ｅ２という大まかな位置情報から、ピンポイントの情報に絞り込むことができる。
【００２７】
同様の動作から、センサー協調部２ａは、カメラ映像上の人の顔を特定できる機能も保持する。
無線タグ受信範囲内Ｅ２に侵入するタイミングとカメラで捕らえるタイミングの調整により、カメラに映った人のＩＤを特定できる。
また、このタイミングから大きくずれがあり、かつ、カメラに映った人の数とＩＣタグとの数が合わない場合は、ＩＣタグを持たない不審者であると判断できる。
複数のエリアでＩＣタグを付けていない人がいることがわかれば、その人の顔を、不審者の可能性ありということで、警告を発することが可能で、その経路をチェックすることで、進む方向を推測、追跡が可能となる。
以上のように、近くにある基地局からの情報、センサーやカメラで得られた情報を空間的に補間することで、ある人の進む方向を予測して追跡したり、正確な位置情報を絞り込んだりすることができる。
【００２８】
次に空間情報可視化装置の動作に関して述べる。
実施の形態１において、Ａレベルの可視化で、通過人数をエリアごとにグラフで表示すると記述したが、混雑度を空間的に把握しやすいように可視化することも可能である。
通過する人数の変化を図７に示す。通過する人の混雑度は、もちろんグラフでエリアごとに表現できるが、全体的な流れとしては瞬時に理解しにくい。そこで、人数の多さを「少ない」「平均的」「多い」「異常」のように分類する。
そして、人数の多さを、地図上などに線の太さや密度の違いで表現する。流れの方向を違う色で表現すると、なおわかりやすい。このような可視化を行うことにより、各エリア独立した情報に比べて、どこからどこに人が流れているか等、空間上の動態情報を一目で判断しやすい。
このように可視化し、配信先の端末や通信事情によって、可視化の内容を変えた例を、図８（Ａ），（Ｂ），（Ｃ）に示す。
図８（Ａ）は、混雑度を線の密度で可視化した図、図８（Ｂ）は、混雑度を線の太さで可視化した図、図８（Ｃ）は、携帯電話に配信する例を示す図である。
以上の実施の形態３では、空間的に融合された情報を可視化するため、各エリアにおける情報など、独立した情報を受け取る場合に比べ、空間全体における状況を判断しやすい。
実施の形態１において、可視化のレベルを判断するにあたり、人の人数である混雑度をパラメータとしたが、映像上の、人や物の動きベクトルの向きとその位置、または時間帯、または天気などのように、複数のパラメータの条件をもとに、設定することも可能である。
図７は、２次元グラフであり、これにレベルを設けて可視化の手法を分けているが、３次元的な情報をもとに、可視化を設定することも可能である。
実施の形態１においては、４つのレベルに分類したが、必要に応じて更にたくさんのレベル、例えば、数十というような細かなレベルに分けて、可視化の内容を変えることも可能である。
【００２９】
実施の形態４．
本実施の形態における構成を図９に示す。
本構成は、図１の構成と比べて、センサー協調部２と空間情報配信部４の間に特徴量分析部３が入る。特徴量分析部３は、抽出した特徴量を用いて、パターン分析する。最新ＤＢ１２は、センサー協調部２で融合した特徴量と、特徴量分析部３の結果である特徴パターンを蓄える。累積データベース１３は、これまでの累積データのパターンを蓄える。
【００３０】
次に動作について処理フローを表わす図１０を用いて説明する。
例えば、ある駅への入場者を調べた場合に、時間をキーとして、他のパラメータのパターンを分析して、過去の累積データをパターン分類する。
時間ごとの人数の変化が、図７にように得られたとすると、例えば、人数を「少ない」「平均的」「多い」「異常」のように、時間を「Ｔ１」〜「Ｔ９」のように分類する。
そして、図７の場合は、Ｔ２の時間帯は、午前中で一番人数が多く、Ｔ８の時間帯が一日で一番多い。Ｔ３が午前中で一番人が少なく、Ｔ６が一日のうちで一番人数が少ない。ということがわかる。
同様に、平均速度等についてもパターン分析を行うことで、時間帯Ｔ２は人が多くて速度が速い、しかしＴ８は人数が多いが、速度は遅い、のようなパターン解析を行うことが可能となる。
その他、移動の向き、移動している人の性別、天気、など様々な要素を加えて、パターン解析を行うことで、様々な条件を考慮したパターン分類を行うことも可能である。
このように累積データをパターン分析し、得られたパターンを蓄える。
【００３１】
リアルタイムで入手したデータについてもパターン分析を行い、累積データのパターンと比較する。ここでいうパターンとの比較とは、もっと詳細には、累積データの結果を、あるパラメータ値に応じて分類する、平均するなど、ある分析処理をした結果を、入手したデータと比較することをいう。又は、入手データについて処理したものと、上記累積データの処理結果と比較することをいう。
例えば、普段は人の出入りが少ないような時間にたくさんの人が入場した、普段の平均的な人数と比べて異常に出入りする人が多く移動速度も速い、普段人が進むべき方向と違う方向に大勢の人が進む、一箇所に異常に多くの人が密集して動かない、という風に、複数のパラメータの条件をもとに、パターンを分類し、滅多に起こらない状況を検出した場合などに警告する。
また、パターンの違い、パラメータの閾値情報などをもとに、警告のレベルを可変にすることも可能である。
可視化レベルを決定するために利用した図７の時間帯と混雑度のグラフを使ってパターン分類を行う例を示したが、可視化のレベルを決定するパラメータ情報と、パターン分類のためのパラメータ情報は、全く別のものでもよい。
また、図７は、２次元グラフであるが、３次元的な情報をもとに、パターンを分類することも可能である。
また、車の場合などでは、通常は蛇行しないような場所で、多くの車が蛇行する場合、車が急激に速度を上げて走り出した場合、等が挙げられる。蛇行した場合には、そこに障害物がある可能性もあるので、撮影画像を監視センターに送ることで確認を仰ぐことができる。
【００３２】
単純なパターン分析を行い、パターンの出現頻度などを解析することで、通常に起こるパターン、定期的に起こるパターン、滅多にないパターンなどのように分析する。または、出現頻度以外に、統計的な手法を利用することで、異常なパターンや滅多にないパターンなど、注目するパターンを検出する。
このような自動的な判断以外に、パターン分類の結果、人間が異常とするパターンを設定することも可能である。
またリアルタイムデータとして蓄えるデータは、用途や状況に応じて一日分、一週間分などを設定する。累積データは、リアルタイムデータが古くなる度に累積されたデータであり、随時蓄えられる。累積データのパターン分析は、これも設定により、１週間に１回、１ヶ月に１回のように、定期的に行われるものとする。
上述の例では、パターン２，３に分類したが、必要に応じた更にたくさんの細かなレベルに分けて分類することも可能である。
【００３３】
累積データだけをパターン分類して、リアルタイムデータをそこに割り当てることで、現在の状態を判断する。
他に、累積データと共に、リアルタイムデータを混ぜ合わせて、パターン分類をするやり方もある。後者の方が精度の高い分類ができるが、時間が掛かる。
【００３４】
実施の形態４では、以上のような構成であるので、カメラ、ＩＣタグなど様々なセンサーからの情報を収集して、パターン分析を行い、監視している状況が普段と比べて異常、または注目すべきであることを判断し、警告を発することができる。
また、累積データと比較することで、今後の予測を行うことができる。
【００３５】
【発明の効果】
以上のようにこの発明によれば、入力の映像情報と識別情報を同時に特徴抽出する特徴量抽出部と、これらを融合するセンサー協調部と、融合した空間情報を配信する配信部とを備えたので、識別対象の正確な情報を把握して、レベル別に配信できる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１における空間情報配信装置と、それを用いたシステムの構成を示す図である。
【図２】 実施の形態１における空間情報配信装置が行なう処理動作フローを示す図である。
【図３】 実施の形態１における最新データベースが持つ識別タグのデータ例を示す図である。
【図４】 実施の形態１におけるセンサー協調部が得る入力情報範囲を説明する図である。
【図５】 実施の形態１におけるセンサー協調部が得る入力情報例を示す図である。
【図６】 この発明の実施の形態２における空間情報配信装置と、それを用いたシステムの構成を示す図である。
【図７】 この発明の実施の形態３における空間情報配信装置が配信する時間経過で示される空間データ例の図である。
【図８】 実施の形態３における空間情報配信装置が配信する所定エリアでの空間データの例を示す図である。
【図９】 この発明の実施の形態４における空間情報配信装置と、それを用いたシステムの構成を示す図である。
【図１０】 実施の形態４における空間情報配信装置が行なう処理動作フローを示す図である。
【符号の説明】
１，１ａ，１ｃ 特徴量抽出部、２，２ａ，２ｃ センサー協調部、４，４ａ，４ｂ 空間情報配信部、５，５ａ，５ｂ 空間情報可視化部、６，６ａ，６ｂＩＣタグ、７，７ａ ＧＰＳ携帯端末、８，８ａ，８ｂ 無線付カメラ、１２，１２ａ 最新データベース、１３ 累積データベース、２０ａ，２０ｂ，２０ｃ 無線基地局装置、２１，２１ａ，２１ｂ 空間情報配信装置、２２，２２２ａ，２２２ｂ 基地局。

Claims (5)

1. 所定の撮像点に配置された所定の視野範囲を有するカメラにより、所定の検出エリアの上記所定の視野範囲内にいる対象を映した映像情報と、
   上記カメラの視野範囲と一部が重なる所定の受信範囲を有する入力点により、所定の検出エリアの上記所定の受信範囲内にいる対象から取得した識別情報と
   から、該対象の情報を抽出して対象の情報を変換して配信する装置において、
   上記カメラで映した映像情報を入力し、入力した映像情報の所定の時刻毎の映像情報から上記所定の検出エリアにおける対象を認識して対象の位置を検出すると共に、複数の入力点から入力される対象の受信範囲内への侵入時刻と受信範囲内からの退出時刻との時刻毎の対象の識別情報から、所定の検出エリアにおける対象の位置を検出して、上記所定の検出エリアにおける対象の数と上記所定の検出エリアにおける対象の動きとを含む対象の特徴量を抽出する特徴量抽出部と、
   上記映像情報が示す対象が視野範囲に侵入した時刻と上記識別情報が示す対象が受信範囲に侵入した時刻との差を侵入時ずれ時間として計算し、上記映像情報が示す対象が視野範囲から退出した時刻と上記識別情報が示す対象が受信範囲から退出した時刻との差を退出時ずれ時間として計算し、計算した侵入時ずれ時間と退出時ずれ時間とを用いて、視野範囲内において認識した対象と入力点から入力した識別情報とを対応付ける協調部と、
   特徴量抽出部が上記入力点から入力した識別情報と侵入時刻と退出時刻と、上記特徴量抽出部が対象の位置から抽出した対象の特徴量と、上記協調部が対応付けた対象と識別情報との対応とを、空間情報として蓄積し記録するデータベースと、
   上記データベースに蓄積して記録された上記空間情報をグラフ形式の可視情報に変換し、グラフ形式の情報を配信する配信部と、を備えたことを特徴とする空間情報配信装置。
2. 上記空間情報配信装置は、さらに、
   空間情報から変換する可視情報の種類を、可視情報の表示内容の詳細度で複数のレベルに分けて、上記データベースから複数の対象による複数の空間情報を入力して、該複数の空間情報から、該複数のレベルに分けた可視情報のうちいずれかのレベルの可視情報を得る空間情報可視化部を備え、
   上記配信部は、該複数のレベルのうちいずれかのレベルを設定して、該空間情報可視化部に可視情報を生成することを指示し、該空間情報可視化部が該複数のレベルに分けた可視情報のうち設定したレベルで生成した可視情報を該空間情報可視化部から受け取って配信先の端末に配信することを特徴とする請求項１記載の空間情報配信装置。
3. 入力する映像情報が得られる撮像点を複数とし、
   空間情報可視化部は、ある検出エリアにおける上記複数の撮像点からの映像情報及び複数の入力点からの識別情報に基づいて、所定時間毎に２次元可視情報を生成することを特徴とする請求項２記載の空間情報配信装置。
4. 空間情報可視化部は、複数の対象による混雑度と複数の対象の移動方向を可視化し、または複数の対象による混雑度と該混雑度に対応する危険箇所を可視化して、配信部から配信するようにしたことを特徴とする請求項２記載の空間情報配信装置。
5. 配信部は、複数のレベルに分けた可視情報から、配信先の装置の要求に対応したレベルの可視情報を得て配信するようにしたことを特徴とする請求項２記載の空間情報配信装置。

Images