JP6526955B2 - センサ情報統合方法、及びその装置 - Google Patents

Description

本発明は、監視カメラやその他のセンサを用いて、人や車両などの対象物を検出し、また追跡等を行い計測データを取得する際に、複数のセンサ情報を統合して、効率的かつ高性能に計測データを取得するセンサ情報統合方法、及びその装置に関する。

従来から、人や車両などの移動物体を検出する方法について、監視カメラ等の各種センサなどを用いて計測する方法が提案されている。具体的には監視カメラを使用して、映像認識によって移動物体の位置や軌跡を算出して、セキュリティや対象エリアの状況のモニタリングに活用している。

これに対して、複数のセンサを用いて、所望の検出結果を向上させる方法については様々な提案がなされている。

検出方式の異なるセンサをセンサフュージョンによって統合する車両検出処理方法が、（特許文献１）に記載されている。これは、単一のセンサの特性として、性能に偏りが生じることがあるが、異なる性質のセンサを組み合わせることでその欠点を補うことを目的としている。

さらに、（特許文献１）と同様の考え方により、センサを２つ統合することで、ある検出対象のエリアの人物の検出精度を向上させる方式が、（特許文献２）に記載されている。これは、２つのセンサで同一の方向を検出し、一方の検出結果によって、他方の処理方法を変更させる技術が記載されている。

特開２００２−９９９０６号公報 特許第４００２３６５号公報

「N. Dalal and B. Triggs, ″Histograms of oriented gradients for human detection,″ in CVPR (1), pp. 886-893, 2005」 「R. Y. Tsai, B. Triggs, ″Histograms of oriented gradients high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses″ IEEE Journal of Robotics and Automation, Vol.RA-3, No.4, pp. 323-344, 1987」 「M. H. Tsai, ，他：Camera Auto-Calibration Using Pedestrians and Zebra-Crossings， ICCV-WS(Visual Surveillance) 2011，pp.1697-1704，2011-11．」

（特許文献１）および（特許文献２）に記載の方法においては、センサの傾向の偏りを補完する形で検出結果の判定の重みを変更するなどして対応している。しかし、性能低下の状況が発生してまう対象エリアの状況をカメラと対象物との関係が不明確な状況においては、各センサを動的に変更することは困難であると考えられる。センサからの応答のみでこれらを判定するには、各センサが高性能である必要があるため、最も高性能なセンサ以上の性能を取得することは極めて困難である。

そこで、本発明では、センサによって検出された対象物の計測結果によって、他方のセンサの対象物に影響を与える情報を取得することで、センサ検出性能を向上させるとともに、複数センサの計測結果およびその影響を取得し共有すること、さらに、複数のセンサから取得した様々な計測結果を統合した形で保持することによって、システム全体の性能向上を図るセンサ情報統合方法、及びその装置を提供することを目的とする。

上記の課題を解決するため、本発明はセンサ情報統合装置において、対象エリアにおける対象物を１つまたは複数のセンサを用いて計測する計測手段と、第１のセンサを具備し、該第１のセンサによって対象物の計測情報を取得し、第１の状況マップを取得する手段と、第２のセンサを具備し、該第２のセンサによって対象物の計測情報を取得し、第２の状況マップを取得する手段と、それぞれの前記状況マップを統合し、統合データを取得するデータ統合部を備え、前記統合データから構成される環境情報を用いて、前記第１のセンサと前記第２のセンサのセンサパラメータを変更することを特徴とするものである。

更に、本発明はセンサ情報統合装置において、
複数の前記状況マップを同一の座標系に変換する座標変換部を具備し、前記データ統合部によって、前記状況マップを統合すること特徴とするものである。

更に、本発明はセンサ情報統合装置において、
前記環境情報は、センサ検出特性を示すセンサ特性データ、センサの位置や姿勢、内部の設定パラメータを示すセンサパラメータ、対象エリアの環境を表す環境情報データを備えることを特徴とするものである。

更に、本発明はセンサ情報統合装置において、
前記座標変換部は、前記センサパラメータを用いて伸縮や回転を実施することで、前記状況マップを同一の座標系として校正することを特徴とするものである。

更に、本発明はセンサ情報統合装置において、
前記計測情報とは、対象物の位置、移動速度や方向、２次元および３次元形状、姿勢、状態を示す情報で構成され、所望の計測情報に合わせて、センサの種類およびパラメータを選択することを特徴とするものである。

更に、本発明はセンサ情報統合装置において、
前記複数のセンサは異なる位置に設置されることを特徴とするものである。

更に、本発明はセンサ情報統合装置において、
前記複数のセンサは、異なる特性を持つセンサで構成されることを特徴とするものである。

更に、本発明はセンサ情報統合装置において、
前記状況マップを取得する手段は、対象物の位置及び移動による影響を表すセンサ特性データを用いて取得されることを特徴とするものである。

また、上記の課題を解決するため、本発明はセンサ情報統合方法において、
対象エリアにおける対象物を１つまたは複数のセンサを用いて計測すること、第１のセンサを具備し、該第１のセンサによって対象物の計測情報を取得し、第１の状況マップを取得すること、第２のセンサを具備し、該第２のセンサによって対象物の計測情報を取得し、第２の状況マップを取得すること、それぞれの前記状況マップを統合し、統合データを取得すること、前記統合データから構成される環境情報を用いて、前記第１のセンサと前記第２のセンサのセンサパラメータを変更することを特徴とするものである。

更に本発明はセンサ情報統合方法において、
複数の前記状況マップを同一の座標系に変換し、前記統合データによって、前記状況マップを統合すること特徴とするものである。

更に本発明はセンサ情報統合方法において、
前記環境情報は、センサ検出特性を示すセンサ特性データ、センサの位置や姿勢、内部の設定パラメータを示すセンサパラメータ、対象エリアの環境を表す環境情報データを備えることを特徴とするものである。

更に本発明はセンサ情報統合方法において、
前記座標変換は、前記センサパラメータを用いて伸縮や回転を実施することで、前記状況マップを同一の座標系として校正することを特徴とするものである。

更に本発明はセンサ情報統合方法において、
前記計測情報とは、対象物の位置、移動速度や方向、２次元および３次元形状、姿勢、状態を示す情報で構成され、所望の計測情報に合わせて、センサの種類およびパラメータを選択することを特徴とするものである。

更に本発明はセンサ情報統合方法において、
前記複数のセンサは異なる位置に設置されることを特徴とするものである。

更に本発明はセンサ情報統合方法において、
前記複数のセンサは、異なる特性を持つセンサで構成されることを特徴とするものである。

更に本発明はセンサ情報統合方法において、
前記状況マップを取得に際しては、対象物の位置及び移動による影響を表すセンサ特性データを用いて取得されることを特徴とするものである。

本発明のセンサ情報統合方法、及びその装置によれば、センサ情報を統合することによって、対象エリアの対象物の移動情報を、複数センサの状況に応じて動的に計測方法を変更することにより、対象物の検出性能を飛躍的に向上させることが実現できる。

本発明による一実施形態のシステム構成を示すブロック図である。 本発明による、処理サーバ内部の処理全体を示すブロック図である。 本発明による、計測部と統合部とデータ保持部による処理の流れを示した図である。 本発明による、計測部の位置の計測処理の詳細を示した図である。 本発明による、画像センサによる人物の検出とその結果の出力の例について示した図である。 本発明による、状況マップの取得方法について模式的に表した図である。 本発明による、状況マップの取得について、人物の検出位置による影響を示した図である。 本発明による、複数のセンサによる処理結果を表した図である。 本発明による、複数のセンサの結果を統合する処理について示した図である。 本発明による、設定部と計測部の処理の流れについて示した図である。 本発明による、第二の実施形態における計測結果と統合方法について説明した図である。 本発明による、センサ特性と特性によるパラメータ変更について示した図である。 本発明による、複数のセンサによる異なる情報を取得して状況マップを構成することを示した図である。 本発明による、状況マップの取得方法の応用について示した図である。

以下、本発明の実施形態について、添付図面を参照し詳細に説明する。

図１は、本発明によるセンサ情報統合方法を活用したシステム構成を表す図である。センサ１０、センサ１１によって、対象エリア２０における移動体の計測を実施しているものとする。

本実施例では、移動体を人物として例示するが、センサによって検出される移動体や物体であれば、車両や船舶、ロボットなどの移動物体等、特定の物体を検出する方法に用いることが可能である。さらに、センサ１０、センサ１１のようにセンサを２台とした構成であるが、これらのセンサを3台以上で複数備えた実施例としても良い。

本実施例のセンサは様々な機器が適用できる。映像データの場合は、画像センサであり、これは、カメラレンズ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子（いずれも図示せず）を含む撮像機器である。レーザレーダなども計測センサとして用いられる。これは、２次元又は３次元の距離計測装置として、パルス波または変調波のレーザ光を対象物に向けて送信し、対象物で反射したレーザ光を受信し、パルス波の送信パルスと受信パルスの時間差、或いは変調波の送信波と受信波の位相差から、対象物までの距離値を算出する装置として知られている。また、カメラなどの画像センサを２台以上接続してステレオカメラのような構成を採用する場合、各々で取得した映像データにおいて、特定の対象物の各映像データ間の視差を演算することにより、カメラとの距離データを取得することが可能なセンサとして用いることが出来る。その他、ユーザが所有の携帯電話や赤外線タグなどの発信型のデバイスの電波を受信機によって検出して電波の方向等から距離や位置を検出するセンサを用いても良い。

センサ１０、センサ１１より取得したデータは任意のネットワークを介して処理サーバ３０に転送され、処理サーバ３０にて処理した結果は出力装置４０に出力される。出力装置４０においては、処理結果５０のような所望の形で出力する。処理結果はたとえば人物の移動軌跡５１や、統計データ５２などがあげられる。

出力装置４０は、液晶表示装置やＣＲＴ（Cathode Ray Tube）表示装置などの表示装置である。出力装置４０を備える代わりに、ＲＧＢ（Red-Green-Blue）モニタ出力、または、ネットワーク経由でのデータ出力などを行う構成としてもよい。

次に、センサ１０や処理サーバ３０での処理に注目して本発明の実施例を説明する。図２はセンサ１０、センサ１１から取得したデータを処理サーバ３０内で処理する形態を示している。処理サーバ３０の内部は、複数のセンサ１０、11から得られたデータを処理する計測部２００、２０１、計測部２００、２０１の処理方法を設定する設定部２１０、計測部２００および計測部２０１にて処理した複数の結果を統合する統合部２２０、統合部２２０で処理した結果を出力する出力部２３０、各種の処理結果やパラメータ等を保存しているデータ保持部２４０にて構成される。

統合部２２０は、計測結果を任意の座標系に変換する座標変換部２２１、計測結果を用いて対象エリア内の状況を提示する状況マップを作成する状況マップ生成部２２２、以上の複数のセンサより取得した情報を統合するデータ統合部２２３にて構成される。

データ保持部２４０は、各センサにおける特性パラメータを示すセンサ特性データ２４１、センサの設置パラメータや設定パラメータで構成されるセンサパラメータ２４２、検出結果やカメラ配置、対象エリアの実測データや地図などを保持している環境情報データ２４３を備えている。本実施例では、これらを説明のため分けた構成として図示しているが、環境情報として一元的に保持しておく形態でも良い。

以上が本発明の処理方法、及び処理装置の基本的な構成であるが、これらの構成については、計測部２００をセンサ内に配置する場合や、計測部２００を処理サーバ３０とは別の機器上で実行する場合、データ保持部２４０はデータ保持部の外部にて保存するなど、本発明を実施可能な範囲において、システム構成によって柔軟に構成できるものとする。この実施例は、電子計算機システムを適用した構成となる。この電子計算機システムのハードウェアは、ＣＰＵ、メモリ、Ｉ／Ｏなどを含み、所定のソフトウェアが実行可能にインストールされることによって、各図にブロックで表現される各機能部が実現されている。

次に図２に示す機能部の動作について詳細に説明する。

図３は計測部２００と統合部２２０およびデータ保持部２４０における処理シーケンスを示す。計測部２００は設定部２１０より設定を取得し（ステップ３０、以下、Ｓ３０と称す）、対象エリア内の人物の位置の計測を実行する（Ｓ３１）。設定取得の詳細については図９を用いて後述する。

ここで取得した位置・移動データ（Ｄ３０）は統合部２２０に送信される。なお、ここではその他の複数センサから送信される位置・移動データ（Ｄ３０）が統合部２２０に送信される部分については図示をしない。

取得した位置・移動データ（Ｄ３０）を用いて、これらを任意の座標系に変換する座標変換処理をセンサパラメータ２４１から取得するセンサパラメータ（Ｄ３１）を用いて実行する（Ｓ３２）。この時点で、複数のセンサにおいても、それぞれのセンサパラメータを用いて座標変換され、同一の座標系にて処理できる状態となっている。

次に、位置・移動データ（Ｄ３０）に基づいて、センサ特性データ２４２から取得したセンサ特性（Ｄ３２）を用いて、状態マップを生成（Ｓ３３）する。これは、位置や移動の情報だけでなく、対象エリア内に存在する人物によって周辺の人物などの検出結果にどのように影響を与えるかについて、対象エリアの現在の状況を取得するものである。次に、ここまでに得られた情報を統合して（Ｓ３４）、統合データ（Ｄ３３）を環境情報データ２４３に格納する。

ここで、人物の位置の計測のステップ（Ｓ３１）について、図４を用いて説明する。ここでは、画像センサを用いた計測方法を例に説明する。

図４の処理シーケンスにおいて、まず、センサより画像データを取得する（Ｓ３１０）。

次に取得した画像データ内に頭部があるかどうかを任意の方法によって検出する（Ｓ３１１）。ここでは、例えば、予め用意した頭部データをテンプレートとして画像内をスキャンするテンプレートマッチングと呼ばれる方法や、頭部データを学習して識別器を構成して、この識別器により判断する方法を用いることができる。識別器により判断する方法としては、例えば、〔非特許文献１〕に記載された方法を用いることができる。

次に取得した頭部検出の結果から人物の位置を推定する（Ｓ３１２）。これはセンサパラメータ４００を用いることによって、頭部位置から対象エリアの実空間上での位置を推定することが可能である。センサパラメータとは、カメラなどの画像センサの場合、カメラの高さや焦点距離、解像度、俯角などがある。ここでいうセンサパラメータとは、詳細にはカメラの内部パラメータと外部パラメータに分けられ、焦点距離や歪み係数、監視エリアの空間に対する並進や回転などのカメラの設置状況などを示すものである。

カメラパラメータを推定する方法については、例えば、〔非特許文献２〕や、簡易な方法としては〔非特許文献３〕のような既存技術が知られている。カメラパラメータは、取得した映像がどのようなカメラ設置状況で撮影されたかを示す重要な情報の一つであって、この情報を基にすれば、頭部の検出結果から位置を推定することが可能となる。次に、人物の位置を過去のデータとの比較を行い追跡する（Ｓ３１３）。これは、様々な方法が考えられており、過去に検出された位置の近傍を探索する方法などが最も基本的な方法である。ここまでで、画像センサを用いて対象エリア内の人物の位置と人物の移動データである、図３に記載の位置・移動データ（Ｄ３０）を取得できた。

図５は、以上の処理結果について図示したものである。図５（ａ）は、対象エリアを撮影した入力画像５００において人物５０１の頭部を検出して頭部検出結果５０２を描画している。簡単のため、入力画像５００に存在する他の人物については記載しないが同様の処理が実行されているものとする。

次に、図５（ｂ）では、これらを図４における位置推定のステップ（Ｓ３１２）と追跡処理（Ｓ３１３）で処理したもの示している。カメラ５０５の位置として、カメラ５０５の局所座標系においてＸｃとＹｃの２次元に、処理結果を図示している。人物位置５０３は、図５（ａ）の人物５０１の位置を示し、波線で示すものは移動軌跡５０４である。対象エリアを俯瞰して図示したものでは、複数人物の人物位置と移動軌跡を図示することができる。以上は、位置・移動データの取得方法について説明した。

ここで、図３に戻り、座標変換（Ｓ３２）について説明する。座標変換Ｓ３２は、複数のセンサから取得した位置・移動データ（Ｄ３０）を、任意の座標系に変換するものである。たとえば、図５に示す地図５０６の方向に重畳させるために位置・移動データ（Ｄ３０）を平行移動や回転などの処理を施すことで、位置合わせを実施するものである。これにより、カメラ５０７と処理結果５０８のように地図上の座標系（Ｘｍ，Ｙｍ）に合わせて出力される。これらの処理は、センサパラメータ２４１から取得するセンサパラメータ（Ｄ３１）によって変換可能である。このパラメータは、センサの位置や方向、設置高さなど、地図上の座標系（Ｘｍ，Ｙｍ）の対応関係を表しており、事前に取得されている。複数のセンサからの情報も、同様に座標変換処理が実行される（Ｓ３２）。

次に、状況マップ生成（Ｓ３３）について、図６と図７を用いて説明する。図６は、カメラ６００の撮像範囲６０１の局所座標系における人物の位置６０３、６０４やその移動軌跡を示している。灰色に描画されたエリアは、人物位置６０３によって遮られる遮蔽領域６０２を示している。

図７にこれらの状況を示す。カメラ７００は高さＨｃで設置され俯角はθであらわされる。カメラに近い人物７０１は身長Ｈ１、後ろの人物７０２は身長Ｈ２である。これらの人物は、図６の人物位置６０３と６０４に対応する。この状況において、人物７０１によって、それより後ろの人物７０２付近の領域に遮蔽が発生する。これは、カメラ７００の高さＨｃと俯角θ、人物７０１までの距離Ｄ１によって、簡単には相似関係によって、遮蔽領域７０３（図６における遮蔽領域６０２）を求めることができる。また、人物７０２の遮蔽される箇所は、人物７０２の位置Ｄ２の関係を用いても求めることができる。以上の処理によって、対象エリアに存在する人物とカメラとの関係によって、性能低下をもたらす領域等を示す状態マップを取得することができる。

次に、図３のデータ統合のステップ（Ｓ３４）について、複数センサからの処理結果を統合する場合を例に、図８を用いて説明する。

図８（ａ）は、これまで述べた画像センサから取得した人物位置の情報およびその状態マップである。カメラ８００では、撮像範囲８０１が撮影されている。一方で、図８（ｂ）に示す状況は、レーザレーダ８０２によって同一の対象エリアを計測した場合である。レーザレーダ８０２は主に２次元の計測が可能であるものが多く、１次元センサを水平方向にスキャンする方式によって、計測範囲８０３のような領域を計測する方法が広く普及している。レーザレーダ８０２は、レーザ光を発振して、その応答から距離などを計測する原理である。そのため、レーザ光の光軸に物体がある場合、それより遠方の物体は検出することが出来ない。レーザレーダ８０２で、対象エリアを検出すると、人物位置８０５や８０７が検出され、前述の原理によって遮蔽領域８０４を取得することが出来る。ここで、レーザレーダ８０２の局所座標系は（Ｘｌ，Ｙｌ）として記載する。これらの２つのセンサにて取得した情報を統合する次に、図９を用いて、データ統合(S34)について述べる。図９（ａ）はカメラによる結果、図９（ｂ）はレーザレーダによる結果である。以降センサａ、センサｂと呼ぶ。グリッド線は位置の比較のため記載している。領域９０１の人物はセンサａ、センサｂともに検出できているが、センサａでは、状態マップを確認すると、センサ側の人物の影響によって、移動軌跡が算出できていなく、検出精度も低いと推定される。一方で、センサｂでは位置軌跡共に、センサに近い位置にあるため、問題なく検出できている。
次に領域９０２では、人物が２名近接して歩行している様子である。センサａでは２名の分離と移動軌跡ともに検出できている。ところが、センサｂでは、移動軌跡が得られているものの、人物領域が一つに統合されて出力されている例である。これは、レーザレーダの特性上、近接人物の分離が困難であることが原因で発生することが多い。この場合、センサの結果としては、状態マップによると、カメラ近傍の人物による精度低下がなく、結果も良好であると判定できるため、センサａの結果を用いることとする。 次に領域９０３の場合は、センサａでは、センサの近傍であるため位置・移動軌跡ともに良好に検出できる。ところが、センサｂでは、前方の領域による遮蔽が発生しており検出が不可能であることが分かる（実際には点線丸の位置はセンサｂでは検出されないが、説明のため記載）。この場合、センサｂの領域に、たとえ検出があったとしても、センサａのほうが、検出精度が良好であると判断できるため、センサａの結果を採用する。以上により、図９（ｃ）には、計測結果を統合した結果を示す。四角による位置はセンサａ、丸による位置はセンサｂで計測した結果である。

さらに、その結果を予め用意した地図上に重畳すると図９（ｄ）のような統合データ（図３のＤ３３）として取得することが出来る。この情報は、状態マップや結果などを統合データとして環境情報データ２４３に送信、保存される。

本発明においては、状態マップと検出結果によって、各センサのパラメータや計測部２００における設定値を動的に変更することで、計測性能を安定させることが可能となる。その仕組みについて、図１０を用いて説明する。

図１０において、設定部２１０の動作を中心に、データ保持部２４０と計測部２００の動作を説明する。まず設定部は既に取得した過去の状態マップを環境情報データ２４３より取得する（Ｓ１００）。ここでは、統合データ（Ｄ１００）も合わせて取得する。このデータは現在の対象エリアの状況や各センサによる精度低下の要因や配置関係など、対象エリアの状況を把握することが可能になる。次にこの状況マップから、該当するセンサ特性（Ｄ１０１）をセンサ特性データ２４２から取得する。センサ特性とは例えば、人物とセンサとの位置関係により、その前後でどのような影響があるのか、カメラであれば、設置角度による影響など、各センサ特注の性能劣化（向上も含む）の関係を示すデータである。

次に、この状況マップとセンサ特性の情報から、各センサにおけるパラメータの変更処理のためのセンサパラメータの変換を実行する（Ｓ１０２）。カメラであれば人物が手前にある場合に、後ろの遮蔽される領域の性能が低下するため、感度パラメータを向上させることなどが挙げられる。

また複数のセンサの結果を相互に利用する形態も考えられる。画像センサとレーザセンサでは特性が異なるため、一方で検出されたものが、他方では検出されない場合などもあるため、一方の検出結果をもとに、他方の検出性能を向上させるようにパラメータ変更することもできる。

このように取得したセンサパラメータ（Ｄ１０２）はセンサパラメータ２４１に保存され、計測部２００の処理において設定取得のステップ（Ｓ１０３）で取得され、その設定に従って位置の計測（Ｓ１０４）が実行される。以降の流れは前述のとおりとなり、一連の処理が終了するまで、これらの処理を繰り返し実行する。

以下、本発明の実施例２について説明する。

前述の実施例１は、対象エリアを異なる位置に設置した複数のセンサによる処理とした例を説明したが、同一の視野において、複数のセンサを統合する方法でも良い。さらに、実施例１では人物の位置の計測結果を例に説明したが、対象エリアの各物体の距離情報や形状情報など、計測結果を別の形態としてよい。この場合、例えば、カメラ２台で構成されるステレオセンサと、３次元レーザレーダのようなアクティブ型のセンサを組み合わせることにより、各々のセンサによって取得した状況マップによって、各センサのパラメータを変更することや、結果を統合することで検出結果の精度向上に寄与する構成を実現できる。

本実施例の全体構成については、図２と同様の構成にて実現する。同一の視野を計測するセンサ１０とセンサ１１によって、計測部２００および計測部２０１にて特性の異なるデータを取得する。以降の実施例２の説明は、実施例１と異なる構成についてのみ注目して詳細に説明する。

図１１に屋内シーンで撮影した場合の例について述べる。この場合に図１１（a）は入力画像図１１（ｂ）はステレオカメラによって取得した距離データ、図１１（ｃ）はレーザレーダなどのアクティブセンサによる距離データである。

ステレオセンサでは２台のカメラの視差を計算することで距離を計測する原理であるが、視差計算の際に画像上のテクスチャの無い部分（１１００）やコントラストの低い部分（１１０１）では視差が取得できない場合がある。一方で図１１（ｃ）のアクティブ型のセンサでは、レーザの反射率によっては測定誤差が発生する（１１０２）。

これらの計測結果は、センサ間で歪みや位置のずれを図２の座標変換部２２１にて補正し、図２の状況マップ生成部２２２で取得する情報として扱うことが可能である。

つまり、それぞれの状況マップに応じて、データ統合２２３にてデータ統合することによって、図１１（ｄ）のようにそれぞれの特性に応じた統合データを取得することが可能である。

それぞれのセンサから取得した事象に応じて、センサ特性データ２４２に保存された情報を参照することで、パラメータを変更し、センサパラメータ２４１へ転送する。

図１２に、センサ特性データと変更パラメータのテーブル例を示す。素材や動体、静止物など対象エリアに発生する事象に応じて、各センサでの信頼度やパラメータの変更等について記載されている。このデータに基づき、計測部２００での計測方法を変更することやデータ統合の方法について変更する。これによって適切なセンサのパラメータを設定することができる。通常はセンサ自身で取得したデータ基づき自身のパラメータを変更する手段よりも、特性の異なるセンサの情報とセンサ特性データに基づき変更することで適切にパラメータを変更することが可能となる。

また、複数のセンサは同じ、若しくは異なるもので構成し、計測すべき事象を異なるものとしても良い、例えば第１のセンサでは、人物の位置と移動軌跡を算出し、他方のセンサでは、人物の動作を検出するような構成としてもよい。この場合、図１３に示すように、図１３（a）の第一のセンサ１３００で２人の人物の接近を検出するような（１３０１）状況マップを作成する。、そして、図１３（ｂ）の第二のセンサ１３０２において、その位置情報から２人の行動、例えば会話している、握手をしている、喧嘩をしているなどの、相互作用的な行動（イベント）を検出し、。図１３（ｃ）に示すように各々のセンサで得られた状況マップを、環境情報データ２４３において、レイヤー構造として持つように構成する。こうすることで、地図などの事前に取得可能な静的なデータから抽象度の高い、行動情報などを階層的にもつことで、センサから得られた情報を様々な目的に合わせて選択的に抽出し使用することが可能となる。

これにより、人物の移動軌跡を用いた検証システムなどの応用の場合は、環境情報データ２４３の該当するレイヤーから位置情報を取得して活用する方法や、詳細な行動情報をさらに取得したい場合は、行動データについての情報を取得することが可能となる。これらの情報は例えば、時間とイベントを表すテーブルで取得する場合や、図１３（ｃ）に示すように可視化できる形態として、実施例における出力部２３０にて、モニタや携帯端末などに出力して確認することが出来る。出力された情報は図１に記載の処理結果５０のようにユーザに提示することが可能である。

単一のセンサにおいて、異なる計測手法（もしくは計測のためのパラメータ）を選択することによって、計測すべき事象を複数の観点で取得し状況マップを作成するようにしても良い。例えば、画像センサであれば、人物位置の検出のためにカメラパラメータを例えば高解像に変更し、一方では動作を検出するために高フレームレートに変更するなどの処理を所定の時間内に繰り返して変更することで、それぞれで取得した事象によって状況マップを作成するという構成としても良い。これにより、単一のセンサにおいても、異なる特性の計測を実行することで、本発明の構成を実現することができ、複数センサを利用するよりも低コストなシステムにて高精度な計測を実現することが可能となる。

さらに、各センサ―からの情報から計測した情報を座標変換し状況マップとして階層的に持つ別の方法について説明する。

図１４に示すように距離センサから取得した距離データを頭部（a）、頭頂から肩（ｂ）、全身（ｃ）として階層的に処理する。距離データは物体の世界座標系における形状を表す情報として持つことができ、例えば計測点で構成される点群データやポリンゴンデータなどで持つことができる。これらのデータを、センサパラメータ２４２を用いて、座標変換部２２１によって、上から見た視点へ座標変換すると図１４(a)〜図(c)のようになる。これらの情報を例えば、人物の位置を検出する場合は図14（a）を利用し、握手など相互に作用する行動を検出したい場合は全身図14（c）もしくは特定の部位を示すレイヤーの情報を使うなど、環境情報データに階層的に持つことで、目的に応じたデータの選択が可能となる。

人物の位置を計測する場合に、俯角の浅いセンサであっても人物の頭部は重なりが少なく、また、複数の人物が近接した場合でも、肩などは触れ合ったとしても頭部が接触する確率が少ないため、図１４（a）に示すように重なりが少なくなる傾向があるため、検出精度の向上という点では状況マップの応用例として有効である。

上記に記載の方法は、実施例１に記載の位置の計測に活用することが可能である。さらに、前述における図１３（ｂ）のような特定の行動（イベント）などを取得する１つの手段として活用することが可能である。

さらに、本実施例に記載の本発明の状況マップを、予め対象エリアのレイアウトや過去の人の流れなどからシミュレーションすることによって、最も計測性能が高いと推定されるセンサの設置位置や組合せを提供することが出来る。つまり、環境情報データ２４３に、それらのデータを含めて保持することも出来る。

さらに、以上の説明では屋内の人物の位置を中心として説明したが、カメラやセンサを用いる他の装置およびシステムへの応用が可能である。例えば、車載カメラやロボットなどの移動体に搭載するセンサシステムであれば、画像センサとレーザレーダの組合せなどを用いて、実施例２のような形態を応用することが可能である。また、移動体の画像センサと監視カメラや道路インフラに設置されたカメラなどの組合せを用いて、状況マップを作成し、環境情報データとして共有することによって、物体の検出性能や周辺環境の認識の精度を向上させシステムの安全性や信頼性を向上させることに寄与することが可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

センサ・・・１０、センサ・・・１１、対象エリア・・・２０、処理サーバ・・・３０、出力装置・・・４０、計測部・・・２００、設定部・・・２１０、統合部・・・２２０、出力部・・・２３０、データ保持部・・・２４０、座標変換部・・・２２１、状況マップ生成部・・・２２２、データ統合部・・・２２３、センサ特性データ・・・２４１、センサパラメータ・・・２４２、環境情報データ・・・２４３

Claims (10)

1. 対象エリアにおける対象物を１つまたは複数のセンサを用いて計測し、位置・移動データを取得する計測部と、
   前記センサにおける特性パラメータを示すセンサ特性データ、前記センサの設置パラメータや設定パラメータで構成されるセンサパラメータ、検出結果やカメラ配置、対象エリアの実測データや地図を保持している環境情報データを備えたデータ保持部と、
   前記位置・移動データと前記センサパラメータに基づいて任意の座標系に変換する座標変換部、前記位置・移動データと前記センサ特性データに基づいて状況マップを作成する状況マップ生成部、前記状況マップを統合し前記環境情報データに格納するデータ統合部と、
   前記統合データから構成される環境情報とセンサ特性データを用いて、前記センサのセンサパラメータを変更する設定部を備えることを特徴とするセンサ情報統合装置。
2. 請求項１のセンサ情報統合装置において、
   前記座標変換部は、前記センサパラメータを用いて伸縮や回転を実施することで、前記状況マップを同一の座標系として校正することを特徴とするセンサ情報統合装置。
3. 請求項１のセンサ情報統合装置において、
   前記複数のセンサは異なる位置に設置されることを特徴とするセンサ情報統合装置。
4. 請求項１のセンサ情報統合装置において、
   前記複数のセンサは、異なる特性を持つセンサで構成されることを特徴とするセンサ情報統合装置。
5. 請求項１のセンサ情報統合装置において、
   前記状況マップを取得する手段は、対象物の位置及び移動による影響を表すセンサ特性データを用いて取得されることを特徴とするセンサ情報統合装置。
6. 対象エリアにおける対象物を１つまたは複数のセンサを用いて計測し、位置・移動データを取得し、
   前記センサにおける特性パラメータを示すセンサ特性データ、前記センサの設置パラメータや設定パラメータで構成されるセンサパラメータ、検出結果やカメラ配置、対象エリアの実測データや地図を保持している環境情報データを備えたデータ保持部と、
   前記位置・移動データと前記センサパラメータに基づいて任意の座標系に変換する座標変換部、前記位置・移動データと前記センサ特性データに基づいて状況マップを作成する状況マップ生成部、前記状況マップを統合し前記環境情報データに格納するデータ統合部とを備え、
   前記統合データから構成される環境情報とセンサ特性データを用いて、前記センサのセンサパラメータを変更することを特徴とするセンサ情報統合方法。
7. 請求項６のセンサ情報統合方法において、
   前記座標変換は、前記センサパラメータを用いて伸縮や回転を実施することで、前記状況マップを同一の座標系として校正することを特徴とするセンサ情報統合方法。
8. 請求項６のセンサ情報統合方法において、
   前記複数のセンサは異なる位置に設置されることを特徴とするセンサ情報統合方法。
9. 請求項６のセンサ情報統合方法において、
   前記複数のセンサは、異なる特性を持つセンサで構成されることを特徴とするセンサ情報統合方法。
10. 請求項６のセンサ情報統合方法において、
    前記状況マップを取得に際しては、対象物の位置及び移動による影響を表すセンサ特性データを用いて取得されることを特徴とするセンサ情報統合方法。