JP6866621B2 - 移動物状態量推定装置及びプログラム - Google Patents

Description

本発明は、移動物状態量推定装置及びプログラムに関する。

従来より、複数のカメラ映像を用いて、複数の歩行者が歩いているシーンから隠れ（オクルージョン）ている歩行者の動きを捉えるために、複数カメラの配置・向き情報と複数のカメラ映像から抽出した歩行者の足領域情報を利用して時空間トラッキングをしながら、歩行者を分離・追跡する技術が知られている（非特許文献１）。

また、複数のカメラ映像を用いて、車両領域を表すテンプレート位置を抽出し、テンプレート位置情報に対して、多視点的処理と時系列処理を施し、複数のカメラで検出された車両の対応付けを行うことで、走行車両の運動軌道を高精度に計算することができる走行車両検出装置が知られている（特許文献１）。

S.M. Khan, et. al., "A multiview approach to tracking people in crowded scenes using a planar homography constraint," Proceedings of the 9th European conference on Computer Vision, ECCV06, Vol. 4, pp133-146.

特開2001-357489号公報

上記非特許文献１及び特許文献１の技術は、共にビデオフレームが一定間隔で、複数のカメラ（センサ）間でフレーム同期がとれることを前提としている。

しかしながら、通信遅延やセンサの仕様で複数のセンサ間でフレーム同期（検出結果送信タイミングの同期）がとれない場合は、一定時間のフレームを、結果を統合する装置上で蓄積し、データ補間等の同期処理を行う必要があり、さらにはセンサ数が不定の場合は、同期するセンサが不定ということであるため、同期処理が困難である。

本発明は、上記の事情に鑑みてなされたもので、非同期の複数センサのセンサ数が不定であっても、複数センサの結果を統合して、移動物の状態量を精度良く求めることができる移動物状態量推定装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る移動物状態量推定装置は、複数の移動物それぞれの、状態量及び最後に観測した時刻を記憶する移動物状態量記憶手段と、前記複数の移動物それぞれについて、前記移動物状態量記憶手段に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する移動物状態量予測手段と、数不定の複数センサの何れかから、複数の移動物を検出した検出結果を受け取るセンシング結果獲得手段と、前記センシング結果獲得手段によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応して前記移動物状態量予測手段によって前記複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶手段に格納された、前記複数の移動物それぞれの、状態量及び最後に観測した時刻を更新する移動物状態量整合手段と、を含んで構成されている。

本発明に係るプログラムは、複数の移動物それぞれの、状態量及び最後に観測した時刻を記憶する移動物状態量記憶手段を含むコンピュータを、前記複数の移動物それぞれについて、前記移動物状態量記憶手段に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する移動物状態量予測手段、数不定の複数センサの何れかから、複数の移動物を検出した検出結果を受け取るセンシング結果獲得手段、及び前記センシング結果獲得手段によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応して前記移動物状態量予測手段によって前記複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶手段に格納された、前記複数の移動物それぞれの、状態量及び最後に観測した時刻を更新する移動物状態量整合手段として機能させるためのプログラムである。

本発明によれば、センシング結果獲得手段によって、数不定の複数センサの何れかから、複数の移動物を検出した検出結果を受け取る。移動物状態量予測手段によって、前記複数の移動物それぞれについて、前記移動物状態量記憶手段に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する。

そして、移動物状態量整合手段によって、前記センシング結果獲得手段によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応して前記移動物状態量予測手段によって前記複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶手段に格納された、前記複数の移動物それぞれの、状態量及び最後に観測した時刻を更新する。

このように、数不定の複数センサの何れかから、複数の移動物を検出した検出結果を受け取る毎に、検出結果の時刻に対応して複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、複数の移動物それぞれの、状態量及び最後に観測した時刻を更新することにより、センサ数が不定であっても、複数センサの結果を統合して、移動物の状態量を精度良く求めることができる。

また、本発明のプログラムは、記録媒体に格納して提供することも可能である。

以上説明したように、本発明の移動物状態量推定装置及びプログラムによれば、数不定の複数センサの何れかから、複数の移動物を検出した検出結果を受け取る毎に、検出結果の時刻に対応して複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、複数の移動物それぞれの、状態量及び最後に観測した時刻を更新することにより、非同期の複数センサのセンサ数が不定であっても、複数センサの結果を統合して、移動物の状態量を精度良く求めることができる、という効果が得られる。

本発明の第１の実施の形態に係る歩行者状態量推定システムを示すブロック図である。 本発明の第１の実施の形態に係る歩行者状態量推定装置を示すブロック図である。 本発明の第１の実施の形態に係る歩行者状態量推定装置における歩行者状態量推定処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る歩行者状態量推定装置を示すブロック図である。 非同期の複数センサからの検出結果を用いた存在確率に基づくセンシング結果統合のイメージ図である。 本発明の第２の実施の形態に係る歩行者状態量推定装置における歩行者状態量推定処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る歩行者状態量推定装置を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。

＜本発明の実施の形態の概要＞
本発明の実施の形態は、複数のセンサ間でフレーム同期をしないアプローチをとっている。あるセンサからのセンシング結果を受け取ったタイミングで、歩行者位置の状態量（仮説）と受け取ったセンシング結果を対応付けて、誤差を計算し、仮説の歩行者位置を補正しながら、歩行者を検出・追従する。この処理を各センサからセンシング結果が統合処理装置に届く毎に行う。

しかしながら、本アプローチは、１台のセンサの結果だけを使って逐次上記処理を行うため、センサの検出率が悪い場合（歩行者がいない所に誤って歩行者がいると結果を出す頻度が高い場合）には、いない歩行者の仮説が増えてしまい、歩行者数の推定を間違ってしまう問題がある。

この問題を解決するために、各センサの検出率や最後に観測されてからの経過時間、地図情報などを利用して、誤検出の可能性が高い歩行者の検出結果を棄却する。

［第１の実施の形態］

本発明の第１の実施の形態では、車両に搭載された歩行者の検出器やインフラセンサとしての歩行者の検出器の検出結果を統合して歩行者の状態量を推定する歩行者状態量推定装置に本発明を適用した場合を例に説明する。

＜歩行者状態量推定システムのシステム構成＞
図１に示すように、第１の実施の形態に係る歩行者状態量推定システム１００は、歩行者状態量推定装置１０と、基地局５０と、複数の車両に搭載された複数の検出器６０と、インフラセンサとしての検出器６２とを備え、基地局５０と歩行者状態量推定装置１０とは、インターネットなどのネットワーク７０で接続されており、基地局５０と検出器６０、６２とは、無線通信により接続されている。

検出器６０、６２は、カメラやレーダを用いて歩行者を随時検出し、検出する度に、検出結果を、基地局５０を介して、歩行者状態量推定装置１０へ送信する。

例えば、検出器６０は、自車両の前方を撮像するカメラによって撮像された前方の道路画像から、スライディングウィンドウ毎に、画像特徴量（ＳＩＦＴ，ＦＩＮＤ、ＨＯＧなど）を抽出し、スライディングウィンドウ毎の画像特徴量と、歩行者検出モデル（ＳＶＭ、ＡｄａＢｏｏｓｔ）とを用いて、歩行者を検出し、検出された歩行者位置を表す画像座標を求める。また、検出器６０は、歩行者位置を表す画像座標を、３次元位置に変換する。この際に、検出された歩行者の高さに応じて誤差分散行列を求める。また、検出器６０は、自車両に搭載されたＧＰＳにより計測された自車両の絶対座標と、求められた３次元位置とに基づいて、歩行者の絶対的な３次元位置を求める。

上記の歩行者の３次元位置及び誤差分散行列を、検出された歩行者毎に求め、車両Ｃ_ｉの検出器６０において検出した歩行者の３次元位置のセットＹ_ｉ＝｛ｙ_ｉ，１，…ｙ_ｉ，ｍ｝と、観測誤差分散行列のセットＲ_ｉ＝｛ｒ_ｉ，１，…，ｒ_ｉ，ｍ｝とを、観測毎に、歩行者状態量推定装置１０へ送信する。

検出器６２は、検出器６０と同様に、検出した歩行者の３次元位置のセットと、観測誤差分散行列のセットとを、観測毎に、歩行者状態量推定装置１０へ送信する。

複数の検出器６０、６２は、非同期に、歩行者を検出している。また、複数の検出器６０は、各々異なる車両に搭載されているため、歩行者状態量推定装置１０へ検出結果を送信する検出器６０、６２の数は、不定となる。

歩行者状態量推定装置１０は、例えば、サーバで構成され、歩行者状態量推定装置１０は、ＣＰＵと、ＲＡＭと、後述する歩行者状態量推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。図２に示すように、歩行者状態量推定装置１０は、通信部１２と、センシング結果獲得部１４と、移動物状態量記憶部１６と、移動物状態量予測部１８と、移動物状態量整合部２０と、移動物状態量消去部２２と、移動物状態量更新部２４とを備えている。

センシング結果獲得部１４は、検出器６０、６２の何れかから送信された歩行者の座標のセット及び観測誤差分散行列のセットを、通信部１２により受信する毎に、歩行者の座標のセット及び観測誤差分散行列のセットを取得する。

移動物状態量記憶部１６は、観測された複数の歩行者それぞれの、移動物状態量更新部２４により更新された状態量（歩行者の位置及び速度）、及び最後に観測した時刻を記憶する。

移動物状態量予測部１８は、センシング結果獲得部１４により取得した最新のデータの時刻に合わせて、複数の歩行者それぞれについて、カルマンフィルタの予測ステップにより、移動物状態量記憶部１６に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、当該最新のデータの時刻における歩行者の状態量のセットＸ＝｛ｘ_１，…ｘ_ｎ｝、および、状態量の分散共分散行列Ｖ＝｛ｖ_１，…，ｖ_ｎ｝を求める。例えば、等速予測などにより、次の時刻の歩行者の状態量を予測する。

移動物状態量整合部２０は、センシング結果獲得部１４により最新のデータを受け取る毎に、当該最新のデータの時刻に対応して移動物状態量予測部１８によって複数の歩行者それぞれについて予測された状態量と、当該最新のデータが表す複数の歩行者それぞれの検出結果との対応付けを行う。

具体的には、当該最新のデータの時刻における歩行者の状態量のセットＸ＝｛ｘ_１，…ｘ_ｎ｝と、当該最新のデータにおいて検出した歩行者の３次元位置のセットＹ_ｉ＝｛ｙ_ｉ，１，…ｙ_ｉ，ｍ｝との対応付けを行う。例えば、対応付けられた状態量ｘ_ｋと検出された歩行者の３次元位置ｙ_ｉ，ｊとの組み合わせの確率ｐ（ｙ_ｉ，ｊ｜ｘ_ｋ）の積を最大にする対応付けを、ハンガリアン法などの手法により高速に計算する。

なお、状態量ｘ_ｋと検出された歩行者の３次元位置ｙ_ｉ，ｊとの組み合わせの確率ｐ（ｙ_ｉ，ｊ｜ｘ_ｋ）は、状態量ｘ_ｋを中心とし、対応するカルマンフィルタの分散ｖ_ｋと、３次元位置ｙ_ｉ，ｊに対応する観測誤差分散行列ｒ_ｉ，ｊとの和を、分散とした多次元正規分布における、３次元位置ｙ_ｉ，ｊの確率に基づいて、確率ｐ（ｙ_ｉ，ｊ｜ｘ_ｋ）を求めればよい。

また、対応付けない確率を設定値として与え、この設定値より小さい確率の組み合わせは、対応付けられないようにする。

移動物状態量更新部２４は、移動物状態量整合部２０により最新のデータの検出結果と対応付けられた状態量の各々について、対応する３次元位置ｙ_ｉ，ｊを観測値として、その誤差分散行列ｒ_ｉ，ｊと、予測ステップで得られた歩行者の状態量及び分散共分散行列と用いて、カルマンフィルタのフィルタリングステップにより、状態量を更新すると共に、最後に観測した時刻を更新する。

また、移動物状態量更新部２４は、移動物状態量整合部２０による検出結果との対応付けの結果に基づいて、最新のデータの検出結果のうち、状態量と対応付かなかった歩行者の検出結果から、新たな状態量ｘを生成し、最後に観測した時刻として、現在時刻を、移動物状態量記憶部１６に格納する。なお、新たな状態量ｘは観測された歩行者の３次元位置ｙと同じ座標、誤差分散行列を持つこととする。

移動物状態量消去部２２は、移動物状態量整合部２０によって検出結果と対応付かなった歩行者の状態量のうち、最後に観測した時刻から一定時間以上経過している歩行者の状態量を、移動物状態量記憶部１６から消去する。

歩行者状態量推定装置１０は、上記の一連の処理により更新された状態量のセットＸを、歩行者の検出結果の統合結果として出力する。

＜歩行者状態量推定システム１００の動作＞
次に、第１の実施の形態に係る歩行者状態量推定システム１００の動作について説明する。まず、複数の車両に搭載された複数の検出器６０、及びインフラセンサとしての検出器６２の各々によって、歩行者が逐次検出され、検出される毎に、検出結果が、基地局５０を介して、歩行者状態量推定装置１０に送信されているときに、歩行者状態量推定装置１０において、図３に示す歩行者状態量推定処理ルーチンが実行される。

ステップＳ１００において、複数の検出器６０及び検出器６２の何れかから、歩行者の検出結果として、歩行者の３次元位置のセットＹ_ｉ＝｛ｙ_ｉ，１，…ｙ_ｉ，ｍ｝と、観測誤差分散行列のセットＲ_ｉ＝｛ｒ_ｉ，１，…，ｒ_ｉ，ｍ｝とを受信すると、ステップＳ１０２へ進む。

ステップＳ１０２では、上記ステップＳ１００で受信した検出結果の時刻に合わせて、複数の歩行者それぞれについて、カルマンフィルタの予測ステップにより、移動物状態量記憶部１６に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、上記ステップＳ１００で受信した検出結果の時刻における歩行者の状態量のセットＸ＝｛ｘ_１，…ｘ_ｎ｝、および、その分散共分散行列Ｖ＝｛ｖ_１，…，ｖ_ｎ｝を求める。

ステップＳ１０４では、上記ステップＳ１００で受信した検出結果の時刻に対応して上記ステップＳ１０２で複数の歩行者それぞれについて予測された状態量と、上記ステップＳ１００で受信した検出結果が表す複数の歩行者それぞれの３次元位置との対応付けを行う。

ステップＳ１０６では、上記ステップＳ１０４で検出結果と対応付かなった歩行者の状態量のうち、最後に観測した時刻から一定時間以上経過している歩行者の状態量を、移動物状態量記憶部１６から消去する。

ステップＳ１０８では、上記ステップＳ１０４で検出結果と対応付けられた状態量の各々について、対応する３次元位置ｙ_ｉ，ｊを観測値として、その誤差分散行列ｒ_ｉ，ｊと上記ステップＳ１０２で得られた歩行者の状態量及び分散共分散行列とを用いて、カルマンフィルタのフィルタリングステップにより、状態量を更新すると共に、最後に観測した時刻を更新する。また、上記ステップＳ１００で受信した検出結果のうち、状態量と対応付かなかった歩行者の検出結果に基づき、新たな状態量xを生成し、最後に観測した時刻として、現在時刻を、移動物状態量記憶部１６に格納する。

そして、ステップＳ１１０では、更新された状態量のセットＸを、歩行者の検出結果の統合結果として出力し、上記ステップＳ１００へ戻る。

以上説明したように、第１の実施の形態に係る歩行者状態量推定システムによれば、数不定の複数の検出器の何れかから、複数の歩行者を検出した検出結果を受け取る毎に、検出結果の時刻に対応して複数の歩行者それぞれについて予測された歩行者の状態量と、複数の歩行者それぞれの検出結果との対応付けを行い、複数の歩行者それぞれの、状態量及び最後に観測した時刻を更新することにより、非同期の複数センサのセンサ数が不定であっても、複数センサの結果を統合して、歩行者の状態量を精度良く求めることができる。

また、非同期に不特定の複数センサからセンシング結果が来る場合に、一つのセンサ情報から追加した状態量を、検出からの経過時間に基づいて削除することにより、信頼できない検出結果の影響が状態量として残らないようにすることで、各センサの誤検出にロバストになる。このように、非同期に来る複数センサからのセンシング結果をリアルタイムに統合処理をする場合に、各センサの誤検出にロバストになる。

［第２の実施の形態］
＜歩行者状態量推定システムのシステム構成＞
次に、第２の実施の形態に係る歩行者状態量推定システムについて説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、複数の歩行者それぞれの存在確率を保持し、検出結果と状態量との対応付けに基づいて、複数の歩行者それぞれの存在確率を更新している点と、状態量を予測する際に、歩行者の可動範囲を考慮している点とが第１の実施の形態と異なっている。

図４に示すように、第２の実施の形態に係る歩行者状態量推定装置２１０は、通信部１２と、センシング結果獲得部１４と、移動物状態量記憶部１６と、移動物状態量予測部２１８と、移動物状態量整合部２０と、移動物状態量消去部２２と、移動物状態量更新部２４と、移動物存在確率更新部２２０と、移動物存在確率記憶部２２２と、移動物可動範囲地図２２４とを備えている。

移動物存在確率記憶部２２２は、移動物状態量記憶部１６に記憶されている複数の歩行者それぞれの存在確率を記憶する。

移動物存在確率更新部２２０は、移動物状態量整合部２０による検出結果との対応付けの結果に基づいて、最新のデータの検出結果のうち、状態量と対応付かなかった歩行者の検出結果に対し、当該歩行者の存在確率として、設定値を移動物存在確率記憶部２２２に格納する。設定値は、検出器６０、６２について予め定められた検出精度に応じて定めればよい。

また、移動物存在確率更新部２２０は、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、移動物状態量整合部２０により最新のデータの検出結果と対応付けられた歩行者の存在確率の各々について、検出器６０、６２について予め定められた検出精度に応じて増加させるように更新する（図５参照）。

また、移動物存在確率更新部２２０は、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、移動物状態量整合部２０により最新のデータの検出結果と対応付けられなかった歩行者の存在確率の各々について、最後に観測した時刻からの経過時間に応じた存在確率となるように減衰させて更新する（図５参照）。

移動物状態量消去部２２は、移動物状態量整合部２０によって検出結果と対応付かなった歩行者の状態量のうち、移動物存在確率記憶部２２２に記憶されている存在確率が閾値を下回った歩行者の状態量を消去する（図５参照）。なお、閾値は、最後に観測した時刻から一定時間以上経過している歩行者の存在確率に対応した値とする。

移動物可動範囲地図２２４には、道路・歩道地図が格納されており、歩行者が位置することが可能な範囲が定められている。

移動物状態量予測部２１８は、センシング結果獲得部１４により取得した最新のデータの時刻に合わせて、複数の歩行者それぞれについて、カルマンフィルタの予測ステップにより、移動物状態量記憶部１６に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、当該最新のデータの時刻における歩行者の状態量のセットＸ＝｛ｘ_１，…ｘ_ｎ｝、および、その分散共分散行列Ｖ＝｛ｖ_１，…，ｖ_ｎ｝を求める。このとき、歩行者の状態量に含まれる位置が、移動物可動範囲地図２２４が定める歩行者が位置することが可能な範囲外である場合には、歩行者の状態量に含まれる位置が、移動物可動範囲地図２２４が定める歩行者が位置することが可能な範囲内となるように、当該歩行者の状態量を修正する。

なお、第２の実施の形態に係る歩行者状態量推定システムの他の構成は、第１の実施の形態と同様であるため、説明を省略する。

＜歩行者状態量推定システムの動作＞
次に、第２の実施の形態に係る歩行者状態量推定システムの動作について説明する。まず、複数の車両に搭載された複数の検出器６０、及びインフラセンサとしての検出器６２の各々によって、歩行者が逐次検出され、検出結果が、基地局５０を介して、歩行者状態量推定装置１０に送信されているときに、歩行者状態量推定装置２１０において、図６に示す歩行者状態量推定処理ルーチンが実行される。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１００において、複数の検出器６０及び検出器６２の何れかから、歩行者の検出結果として、歩行者の３次元位置のセットＹ_ｉ＝｛ｙ_ｉ，１，…ｙ_ｉ，ｍ｝と、観測誤差分散行列のセットＲ_ｉ＝｛ｒ_ｉ，１，…，ｒ_ｉ，ｍ｝とを受信すると、ステップＳ２００へ進む。

ステップＳ２００では、上記ステップＳ１００で受信した検出結果の時刻に合わせて、複数の歩行者それぞれについて、カルマンフィルタの予測ステップにより、移動物状態量記憶部１６に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、上記ステップＳ１００で受信した検出結果の時刻における歩行者の状態量のセットＸ＝｛ｘ_１，…ｘ_ｎ｝、および、その分散共分散行列Ｖ＝｛ｖ_１，…，ｖ_ｎ｝を求める。そして、歩行者の状態量に含まれる位置が、移動物可動範囲地図２２４が定める歩行者が位置することが可能な範囲外である場合には、歩行者の状態量に含まれる位置が、移動物可動範囲地図２２４が定める歩行者が位置することが可能な範囲内となるように、当該歩行者の状態量を修正する。

ステップＳ１０４では、上記ステップＳ１００で受信した検出結果の時刻に対応して上記ステップＳ２００で複数の歩行者それぞれについて予測された状態量と、上記ステップＳ１００で受信した検出結果が表す複数の歩行者それぞれの３次元位置との対応付けを行う。

ステップＳ２０２では、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、上記ステップＳ１０４により最新のデータの検出結果と対応付けられた歩行者の存在確率の各々について、検出器６０、６２について予め定められた検出精度に応じて増加させるように更新する。また、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、上記ステップＳ１０４により最新のデータの検出結果と対応付けられなかった歩行者の存在確率の各々について、最後に観測した時刻からの経過時間に応じた存在確率となるように減衰させて更新する。

ステップＳ２０４では、上記ステップＳ１０４で検出結果と対応付かなった歩行者の状態量のうち、移動物存在確率記憶部２２２に記憶されている存在確率が閾値を下回った歩行者の状態量を消去する。

ステップＳ１０８では、上記ステップＳ１０４で検出結果と対応付けられた状態量の各々について、対応する３次元位置ｙ_ｉ，ｊを観測値として、その誤差分散行列ｒ_ｉ，ｊと上記ステップＳ２００で得られた歩行者の状態量及び分散共分散行列とを用いて、カルマンフィルタのフィルタリングステップにより、状態量を更新すると共に、最後に観測した時刻を更新する。また、上記ステップＳ１００で受信した検出結果のうち、状態量と対応付かなかった歩行者の検出結果に基づき、新たな状態量xを生成し、最後に観測した時刻として、現在時刻を、移動物状態量記憶部１６に格納する。また、所定の存在確率を、移動物存在確率記憶部２２２に格納する。

そして、ステップＳ１１０では、更新された状態量のセットＸを、歩行者の検出結果の統合結果として出力し、上記ステップＳ１００へ戻る。

以上説明したように、第２の実施の形態に係る歩行者状態量推定システムによれば、非同期に不特定の複数センサからセンシング結果が来る場合に、一つのセンサ情報から追加した状態量を、センサ性能等から決めた存在確率に基づいて削除することにより、信頼できない検出結果の影響が状態量として残らないようにすることで、各センサの誤検出にロバストになる。

また、移動物可動範囲地図が定める歩行者が位置することが可能な範囲を制約としてもいて、予測された歩行者の状態量を修正することにより、更に精度よく歩行者の状態量を推定することができる。

［第３の実施の形態］
＜歩行者状態量推定システムのシステム構成＞
次に、第３の実施の形態に係る歩行者状態量推定システムについて説明する。なお、第１の実施の形態及び第２の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第３の実施の形態では、歩行者の存在確率を更新する際に、歩行者の可動範囲を考慮している点が第２の実施の形態と異なっている。

図７に示すように、第３の実施の形態に係る歩行者状態量推定装置３１０は、通信部１２と、センシング結果獲得部１４と、移動物状態量記憶部１６と、移動物状態量予測部１８と、移動物状態量整合部２０と、移動物状態量消去部２２と、移動物状態量更新部２４と、移動物存在確率更新部３２０と、移動物存在確率記憶部２２２と、移動物可動範囲地図２２４とを備えている。

移動物存在確率更新部３２０は、移動物状態量整合部２０による状態量と検出結果との対応付けの結果に基づいて、最新のデータの検出結果のうち、状態量と対応付かなかった歩行者の検出結果に対し、上記第２の実施の形態と同様に、当該歩行者の存在確率として、設定値を移動物存在確率記憶部２２２に格納する。

また、移動物存在確率更新部３２０は、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、移動物状態量整合部２０により最新のデータの検出結果と対応付けられた歩行者の存在確率の各々について、上記第２の実施の形態と同様に、検出器６０、６２について予め定められた検出精度に応じて増加させるように更新する。

また、移動物存在確率更新部３２０は、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、移動物状態量整合部２０により最新のデータの検出結果と対応付けられなかった歩行者の存在確率の各々について、上記第２の実施の形態と同様に、最後に観測した時刻からの経過時間に応じた存在確率となるように減衰させて更新する。

また、移動物存在確率更新部３２０は、移動物状態量記憶部１６に記憶されている歩行者の状態量に含まれる位置が、移動物可動範囲地図２２４が定める歩行者が位置することが可能な範囲外である場合には、当該歩行者の存在確率を減少させるように更新する。

なお、第３の実施の形態に係る歩行者状態量推定システムの他の構成及び作用は、第２の実施の形態と同様であるため、説明を省略する。

このように、移動物可動範囲地図が定める歩行者が位置することが可能な範囲を制約として用いて、歩行者の存在確率を更新することにより、いない歩行者の状態量を適切に消去することができる。

なお、上記の実施の形態では、検出対象となる移動物として歩行者を対象とする場合を例に説明したが、これに限定されるものではなく、例えば車両などの他の移動体を検出対象としてもよい。

また、複数の車両に搭載された複数の検出器及びインフラセンサとしての検出器を、非同期の複数センサとする場合を例に説明したが、これに限定されるものではなく、インフラセンサとしての検出器を用いないように構成してもよい。

また、単一の車両に搭載され、かつ、カメラ及びレーダを含む複数の計測器を用いた、複数の検出器を、非同期の複数センサとしてもよい。例えば、異なる計測器を用いた検出器が、後付けで当該車両に追加される場合には、複数センサの数が不定になることが想定される。

なお、本発明のプログラムは、記録媒体に格納して提供することができる。

１０、２１０、３１０ 歩行者状態量推定装置
１２ 通信部
１４ センシング結果獲得部
１６ 移動物状態量記憶部
１８、２１８ 移動物状態量予測部
２０ 移動物状態量整合部
２２ 移動物状態量消去部
２４ 移動物状態量更新部
５０ 基地局
６０、６２ 検出器
７０ ネットワーク
１００ 歩行者状態量推定システム
２２０、３２０ 移動物存在確率更新部
２２２ 移動物存在確率記憶部
２２４ 移動物可動範囲地図

Claims (9)

1. 複数の移動物それぞれの、状態量及び最後に観測した時刻を記憶する移動物状態量記憶手段と、
   前記複数の移動物それぞれについて、前記移動物状態量記憶手段に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する移動物状態量予測手段と、
   センサの数が一定でない複数センサの何れかから、複数の移動物を検出した検出結果を受け取るセンシング結果獲得手段と、
   前記センシング結果獲得手段によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応するまで、前記移動物状態量予測手段によって前記複数の移動物それぞれについて繰り返し予測された次の時刻の前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶手段に格納された、前記複数の移動物それぞれについて、前記繰り返し予測された次の時刻の前記移動物の状態量と、前記移動物の状態量と対応付けられた前記移動物の前記検出結果とに基づいて、前記移動物の状態量を更新すると共に、最後に観測した時刻を、前記検出結果の時刻に更新する移動物状態量整合手段と、
   を含む移動物状態量推定装置。
2. 前記複数センサは、各々異なる移動体に搭載されたセンサを含む請求項１記載の移動物状態量推定装置。
3. 前記移動物状態量整合手段によって前記検出結果と対応付かなった前記移動物の状態量であって、前記最後に観測した時刻から一定時間以上経過している前記移動物の状態量を、前記移動物状態量記憶手段から消去する移動物状態量消去手段を更に含む請求項１又は２記載の移動物状態量推定装置。
4. 前記複数の移動物それぞれの存在確率を記憶する移動物存在確率記憶手段と、
   前記移動物状態量整合手段による前記検出結果との対応付けの結果、又は前記センサについて予め定められた検出精度に応じて、前記移動物の存在確率を、前記移動物存在確率記憶手段に設定し、
   前記移動物存在確率記憶手段に記憶されている前記複数の移動物それぞれの存在確率を、前記移動物状態量整合手段による前記検出結果との対応付けの結果、前記最後に観測した時刻からの経過時間、又は前記センサについて予め定められた検出精度に応じて増減させる移動物存在確率更新手段と、
   を更に含み、
   前記移動物状態量消去手段は、前記移動物存在確率記憶手段に記憶されている前記複数の移動物それぞれの存在確率に基づいて、前記移動物の状態量を、前記移動物状態量記憶手段から消去する請求項３記載の移動物状態量推定装置。
5. 前記移動物状態量予測手段は、移動物の可動範囲が記録されている移動物可動範囲情報を制約として用いて、次の時刻の前記移動物の状態量を予測する請求項１〜請求項４の何れか１項記載の移動物状態量推定装置。
6. 前記移動物存在確率更新手段は、移動物の可動範囲が記録されている移動物可動範囲情報を制約として用いて、前記移動物存在確率記憶手段に記憶されている前記複数の移動物それぞれの存在確率を増減させる請求項４記載の移動物状態量推定装置。
7. 前記複数センサは、複数の車両に搭載された、又はインフラセンサに用いられた、歩行者又は車両を検出する複数の検出器であって、
   前記移動物の状態量は、歩行者又は車両の位置及び速度であって、
   前記移動物可動範囲情報は、道路又は歩道を表す地図である請求項６記載の移動物状態量推定装置。
8. 前記複数センサは、単一の車両に搭載された、カメラ及びレーダを含む複数の計測器を用いた、歩行者又は車両を検出する複数の検出器であって、
   前記移動物の状態量は、歩行者又は車両の位置及び速度であって、
   前記移動物可動範囲情報は、道路又は歩道を表す地図である請求項６記載の移動物状態量推定装置。
9. 複数の移動物それぞれの、状態量及び最後に観測した時刻を記憶する移動物状態量記憶手段を含むコンピュータを、
   前記複数の移動物それぞれについて、前記移動物状態量記憶手段に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する移動物状態量予測手段、
   センサの数が一定でない複数センサの何れかから、複数の移動物を検出した検出結果を受け取るセンシング結果獲得手段、及び
   前記センシング結果獲得手段によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応するまで、前記移動物状態量予測手段によって前記複数の移動物それぞれについて繰り返し予測された次の時刻の前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶手段に格納された、前記複数の移動物それぞれについて、前記繰り返し予測された次の時刻の前記移動物の状態量と、前記移動物の状態量と対応付けられた前記移動物の前記検出結果とに基づいて、前記移動物の状態量を更新すると共に、最後に観測した時刻を、前記検出結果の時刻に更新する移動物状態量整合手段
   として機能させるためのプログラム。

Images