JPWO2018011964A1 - 移動物体検出装置 - Google Patents

Abstract

測距センサ（２００）で測定された測距情報に基づき、移動物体の位置座標を算出する物体位置データ作成部（１２）と、映像取得センサ（３００）で撮影された映像情報に基づき、映像上の領域それぞれの推定移動方向を算出する画素移動方向データ作成部（１４）と、位置座標および推定移動方向に基づき、移動物体の個数および移動方向を推定する位置移動方向相関部（１５）とを備えた。

Description

この発明は、移動物体の個数、位置、および、移動方向を含む移動速度等を推定する移動物体検出装置に関するものである。

従来より、各種のセンサを用い、センサ観測範囲内の歩行者等の移動物体について個数、位置、あるいは、移動方向を推定する技術が知られている。
移動物体の個数、位置、あるいは、移動方向を推定するには、例えば、複数のカメラによって通路を通過する物体を観測し、各カメラが撮影した画像上における移動物体の画像のずれを基に、個数、位置等を推定する方法がある。
しかしながら、このように、複数のカメラによって移動物体の個数、位置等を推定する方法では、低解像度のカメラを利用した場合に推定精度が著しく劣化してしまう。また、例えば、夜間に可視光カメラを用いる場合等、移動物体による光の反射強度が低い場合は、画像から移動物体の形状が正しく得られず、推定精度が著しく劣化する。また、例えば、歩行者が顔の向きを変える等、移動物体の形状が時間的に変化する場合も、推定精度が劣化する。

移動物体の個数、位置、あるいは、移動方向を推定する他の方法として、例えば、複数のレーザセンサによって物体を観測し、各レーザセンサの観測情報を同一座標上に統合することで、移動物体の個数、位置等を推定する方法がある。
このように複数のレーザセンサを用いて移動物体を検出する方法では、移動物体の移動方向を推定するために、時刻フレーム当たりの移動物体の移動範囲に比べ十分に広い範囲がレーザセンサによって観測されることを前提としている。しかし、レーザ光を投光するレーザセンサは、カメラに比べ単位時間当たりの観測可能範囲が狭いため、レーザセンサの台数が少ないほど観測範囲が狭まり、結果として移動方向の推定精度が著しく劣化する。

上述したような問題に関し、特許文献１には、通路上にスリット光を照射するレーザと、スリット光の反射光を観測する撮像装置とを用いて、人物がスリット光の照射位置を通過した際の輝度変化から人物の数、位置、あるいは、進行方向を推定する技術が開示されている。
特許文献１に開示された技術では、１つの撮像装置と、当該撮像装置の近傍に配置された１つのレーザとを用いた場合には、通路における人物の通過数を計数することができる。また、１つの撮像装置と、当該撮像装置の近傍の複数箇所に配置されたレーザとを用いた場合には、人物の進行の向きごとに通過数を計数することができる。

特開２００５−２５５９３号公報

歩行者等の移動物体の流れを観測することが必要となる範囲は、広域にわたることがあるため、移動方向検出装置は低コストであることが望ましい。

特許文献１に開示されているような技術によると、移動物体の移動方向ごとの個数等を推定するためには、レーザを、少なくとも２箇所に配置することが必要となるという課題があった。

この発明は上記のような課題を解決するためになされたもので、１箇所に設置された１台のカメラと１台のレーザセンサとによって、移動物体の個数、位置、移動方向を精度よく推定することができる移動物体検出装置を提供することを目的とする。

この発明に係る移動物体検出装置は、測距センサで測定された測距情報に基づき、移動物体の位置座標を算出する物体位置データ作成部と、映像取得センサで撮影された映像情報に基づき、映像上の領域それぞれの推定移動方向を算出する画素移動方向データ作成部と、位置座標および推定移動方向に基づき、移動物体の個数および移動方向を推定する位置移動方向相関部とを備えたものである。

この発明によれば、１箇所に設置された１台のカメラと１台のレーザセンサとによって、移動物体の個数、位置、および、移動方向を含む移動速度を精度よく推定することができる。

この発明の実施の形態１に係る移動物体検出装置を備えた移動物体検出システムの構成図である。 この実施の形態１における、測距センサと映像取得センサの設置状況、および、測距センサと映像取得センサの観測条件の一例を説明するための図である。 この実施の形態１における、測距センサと映像取得センサの設置状況、および、測距センサと映像取得センサの観測条件の一例を説明するための図であり、図２を、ｚ軸の正方向から見た俯瞰図である。 この発明の実施の形態１に係る移動物体検出装置の構成図である。 図５Ａ，図５Ｂは、この発明の実施の形態１に係る移動物体検出装置のハードウェア構成の一例を示す図である。 この発明の実施の形態１に係る移動物体検出装置の動作を説明するフローチャートである。 図６のステップＳＴ６０３における移動物体の速度推定動作を説明する概念図である。 この発明の実施の形態２に係る移動物体検出装置の構成図である。 この発明の実施の形態２に係る移動物体検出装置の動作を説明するフローチャートである。 ｉ＝１の場合を例として、図９のステップＳＴ９０４における、移動方向仮説設定部による速度仮説の設定の動作を表した概念図である。 図９のステップＳＴ９０４の動作を詳細に説明するフローチャートである。 ｊ＝１およびｊ＝２の場合を例として、図９のステップＳＴ９０９における、移動方向決定部による速度仮説ｖ_０、ｖ_１、ｖ_２の尤度の更新の動作を表した概念図である。 図９のステップＳＴ９０９の詳細な動作について説明するフローチャートである。 この発明の実施の形態３に係る移動物体検出装置の構成図である。 この発明の実施の形態３に係る移動物体検出装置の動作を説明するフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
以下の説明においては、一例として、この発明の実施の形態１に係る移動物体検出装置１００を、１方向に延びた通路を移動する歩行者を検出対象として、適用したものとする。すなわち、ここでは、移動物体として歩行者を検出するものとして、以下説明する。

図１は、この発明の実施の形態１に係る移動物体検出装置１００を備えた移動物体検出システムの構成図である。
図１に示すように、移動物体検出システムにおいて、移動物体検出装置１００は、測距センサ２００および映像取得センサ３００と、ネットワークを介して接続される。
測距センサ２００は、例えば、レーザ測距計、レーダ、超音波センサ、アクティブステレオセンサ等であり、映像取得センサ３００が撮影した画像の１時刻フレーム内を走査し、測距データを取得する。
映像取得センサ３００は、可視光カメラ、赤外線カメラ等であり、歩行者を検出する通路を見下ろすように設置され、通路を撮影する。
移動物体検出装置１００は、測距センサ２００から取得した時刻フレームにおける測距センサ観測範囲の測距情報と、映像取得センサ３００から取得した時刻フレームにおける映像取得センサ観測範囲内の映像とに基づき、通路を移動する歩行者の位置、移動方向を含む移動速度等を推定する。

なお、１つの測距センサ２００と１つの映像取得センサ３００とが１セットになっており、１つの移動物体検出対象領域に対して、当該１セットの測距センサ２００および映像取得センサ３００が設置される。
また、上記１つの測距センサ２００と１つの映像取得センサ３００とからなるセットが複数、１台の移動物体検出装置１００にネットワークを介して接続され、移動物体検出装置１００は、１つの測距センサ２００と１つの映像取得センサ３００とからなる１セットごとに、通路を移動する歩行者の位置、移動速度等を推定する処理を実施することができる。具体的な処理内容については後述する。

図２，図３は、この実施の形態１における、測距センサ２００と映像取得センサ３００の設置状況、および、測距センサ２００と映像取得センサ３００の観測条件の一例を説明するための図である。なお、図３は、図２を、ｚ軸の正方向から見た俯瞰図である。
図２，図３において、ｘ軸方向は通路の延伸方向、ｚ軸方向は地面と垂直な方向、ｙ軸方向は通路の延伸方向と垂直かつ地面と平行な方向とし、ｘ軸、ｙ軸、ｚ軸の正方向は右手系の直交座標系とする。

図２，図３に示すように、映像取得センサ３００および測距センサ２００は通路を見下ろすように設置される。
映像取得センサ３００は、予め設定された視野角で通路の映像を取得するものであり、映像取得センサ３００の設置位置から通路上のｘｙ平面へ射影した範囲を、映像取得センサ３００の観測範囲５３とする。
測距センサ２００は、１時刻フレーム内にｙ軸方向を少なくとも１回走査し、測距データを取得するものであり、測距センサ２００の設置位置からｙ軸に平行なｘｙ平面上の１次元ラインへ射影した範囲を測距センサ２００の観測範囲５４とする。
映像取得センサ３００の観測範囲５３と、測距センサ２００の観測範囲５４は、一部が重複しており、測距センサ２００の観測範囲５４のｘ軸方向の幅は、映像取得センサ３００の観測範囲５３のｘ軸方向の幅に比べて十分に狭い。
なお測距センサ２００の観測範囲である１次元ラインは、観測環境に応じて選択可能としてもよい。例えば、測距センサ２００は複数の１次元ラインを観測し、各１次元ラインの中から障害物等によって遮られる可能性が低い１次元ラインを観測範囲として選択するとしてもよい。

図４は、この発明の実施の形態１に係る移動物体検出装置１００の構成図である。
図４に示すように、移動物体検出装置１００は、測距データ取得部１１と、物体位置データ作成部１２と、映像取得部１３と、画素移動方向データ作成部１４と、位置移動方向相関部１５と、表示部１６と、記録部１７とを備える。
測距データ取得部１１と物体位置データ作成部１２とは、測距センサ処理部１０１を構成し、映像取得部１３と画素移動方向データ作成部１４とは、映像取得センサ処理部１０２を構成し、位置移動方向相関部１５は、融合処理部１０３を構成する。

測距データ取得部１１、測距センサ２００に命令を送り、測距センサ２００から最新時刻フレームにおける測距センサ観測範囲の測距情報を取得する。測距データ取得部１１は、取得した測距情報を、物体位置データ作成部１２に出力する。
物体位置データ作成部１２は、測距データ取得部１１から取得した複数の時刻フレームにおける測距情報に基づき、移動物体の重心位置が測距センサ２００の観測範囲５４を通過した時刻フレームを特定する。また、物体位置データ作成部１２は、測距データ取得部１１から取得した複数の時刻フレームから、移動物体のｘ軸およびｙ軸方向の重心位置を算出して、当該重心位置を表す物体位置データを作成する。
物体位置データ作成部１２は、移動物体の重心が通過した時刻フレーム、すなわち、移動物体の測距センサ２００の観測範囲５４の通過時刻と、物体位置データを、位置移動方向相関部１５に出力する。
なおここでは、移動物体の位置座標を表す物理量の一例として移動物体全体の重心位置を算出する装置としたが、重心位置の代わりに移動物体の一部に関する位置座標としてもよい。例えば、歩行者に対する両肩の位置や、自動車に対する車輪の位置としてもよい。

映像取得部１３は、映像取得センサ３００に命令を送り、映像取得センサ３００から最新時刻フレームにおける映像取得センサ３００の観測範囲５３内の映像を取得する。映像取得部１３は、取得した映像を、画素移動方向データ作成部１４に出力する。
画素移動方向データ作成部１４は、映像取得部１３から取得した複数の時刻フレームにおける映像に基づき、画素ごとのｘ軸およびｙ軸方向の推定速度を算出し、当該推定速度を表す画素速度データを、時刻フレームごとに作成する。画素移動方向データ作成部１４は、画素速度データを、位置移動方向相関部１５に出力する。
なおここでは、映像上の領域ごとに推定速度を算出する装置の一例として、画素ごとに推定速度を算出する装置である画素移動方向データ作成部１４としたが、映像上の推定速度を算出する領域の選び方は、必ずしも１画素ごとである必要はない。例えば、縦１０画素、横１０画素の領域ごとに推定速度を算出することで、処理負荷を軽減させてもよい。
またここでは、画素移動方向データ作成部１４は、物体の移動方向を表す物理量の一例としてｘ軸およびｙ軸方向の速度を算出することとしたが、各移動物体の移動方向のみを推定する目的においては、必ずしも速度を算出する必要はない。例えば、画素移動方向データ作成部１４は、移動方向のみを表す大きさ一定のベクトルや、移動方向を表す方位角を算出することとしてもよい。

位置移動方向相関部１５は、物体位置データ作成部１２から出力された物体位置データと、画素移動方向データ作成部１４から出力された画素速度データを受け取り、物体位置データによって特定される移動物体の移動速度を推定する。
位置移動方向相関部１５は、移動物体について、重心位置が測距センサ２００の観測範囲５４を通過した時刻、ｘ軸およびｙ軸上の重心位置、ｘ軸およびｙ軸方向の推定速度を表すデータを、表示部１６に表示させる。また、位置移動方向相関部１５は、移動物体ごとに、重心位置が測距センサ２００の観測範囲５４を通過した時刻、ｘ軸およびｙ軸上の重心位置、ｘ軸およびｙ軸方向の推定速度を表すデータを、記録部１７に記憶させる。
ここでは、移動物体ごとの、重心位置が測距センサ２００の観測範囲５４を通過した時刻、ｘ軸およびｙ軸上の重心位置、ｘ軸およびｙ軸方向の推定速度を表すデータを合わせて、融合データという。

表示部１６は、例えば、ディスプレイ等の表示装置であり、位置移動方向相関部１５から出力された融合データを表示する。
記録部１７は、位置移動方向相関部１５から出力された融合データを記憶する。
なお、ここでは、図４に示すように、表示部１６と記録部１７とは、移動物体検出装置１００が備えるものとしたが、これに限らず、表示部１６と記録部１７とを、移動物体検出装置１００の外部に備え、移動物体検出装置１００と表示部１６および記録部１７とが、ネットワークを介して接続されるようにしてもよい。

図５Ａ，図５Ｂは、この発明の実施の形態１に係る移動物体検出装置１００のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３の各機能は、処理回路５０１により実現される。すなわち、移動物体検出装置１００は、取得した測距情報と映像情報とに基づき、移動物体の位置、速度等に関する情報を表示あるいは記憶させる制御を行うための処理回路５０１を備える。
処理回路５０１は、図５Ａに示すように専用のハードウェアであっても、図５Ｂに示すようにメモリ５０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０７であってもよい。

処理回路５０１が専用のハードウェアである場合、処理回路５０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路５０１がＣＰＵ５０７の場合、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５０２、メモリ５０６等に記憶されたプログラムを実行するＣＰＵ５０７、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ５０２、メモリ５０６等に記憶されたプログラムは、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ５０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、測距センサ処理部１０１と、映像取得センサ処理部１０２と、融合処理部１０３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、測距センサ処理部１０１については専用のハードウェアとしての処理回路５０１でその機能を実現し、映像取得センサ処理部１０２と、融合処理部１０３については処理回路がメモリ５０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
表示部１６は、例えば、ディスプレイ５０３である。
記録部１７は、例えば、ＨＤＤ５０２を使用する。なお、これは一例にすぎず、記録部１７は、ＤＶＤ、メモリ５０６等によって構成されるものであってもよい。
また、移動物体検出装置１００は、測距センサ２００、映像取得センサ３００等の外部機器との通信を行う入力インタフェース装置５０４、出力インタフェース装置５０５を有する。例えば、測距センサ処理部１０１は、測距センサ２００が取得した測距情報を、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、イーサネット（登録商標。以下記載を省略する）等の入力インタフェース装置５０４を利用して取得する。また、例えば、映像取得センサ処理部１０２は、映像取得センサ３００が撮影した映像を、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ、登録商標）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、登録商標）、ＵＳＢ、イーサネット等の入力インタフェース装置５０４を利用して取得する。また、例えば、融合処理部１０３は移動物体の個数、位置、速度等の情報をＵＳＢ、イーサネット等の出力インタフェース装置５０５を利用してディスプレイ５０３に接続し出力する。

この実施の形態１に係る移動物体検出装置１００の動作について説明する。
図６は、この発明の実施の形態１に係る移動物体検出装置１００の動作を説明するフローチャートである。
図６を用いて、観測開始からｋ（ｋは自然数）番目の時刻フレームにおいて、重心が測距センサ２００の観測範囲５４を通過した移動物体に対して、移動速度を推定する場合を例に、移動物体検出装置１００の動作を説明する。
以下では、観測開始からｋ番目の時刻フレームを、時刻ｋと表記する。また、測距センサ２００および映像取得センサ３００の設置位置および観測範囲は予め設定されていて既知であるとし、測距センサ２００および映像取得センサ３００の観測時刻を計測するための時計は、測距センサ２００および映像取得センサ３００間で同期されているものとする。

測距センサ処理部１０１は、測距センサ２００が取得した複数の時刻フレームの測距情報から、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体を抽出し、時刻ｋの物体位置データを作成する（ステップＳＴ６０１）。具体的には、物体位置データ作成部１２は、測距データ取得部１１が出力した複数の時刻フレームの測距情報に基づき、測距センサ２００の観測範囲５４内を通過した移動物体を抽出し、移動物体の重心位置が測距センサ２００の観測範囲内を通過した時刻フレームを特定するとともに、物体位置データを作成する。複数の移動物体が抽出された場合、時刻フレームの特定、および、物体位置データの作成は、移動物体ごとに行われる。なお、物体位置データ作成部１２は、測距データ取得部１１が出力した時刻フレームの測距情報を測距情報蓄積部（図示省略）に蓄積させるようにし、当該測距情報蓄積部に蓄積された複数の測距情報をもとに、物体位置データを作成すればよい。物体位置データ作成部１２は、作成した物体位置データを、位置移動方向相関部１５に出力する。
各時刻フレームの測距情報から移動物体の重心位置を抽出する方法としては、例えば、特開２０１１−１０８２２３号公報に開示されている方法を用いる。当該文献に開示されている方法は、特定の高さにおける移動物体の個数および位置を抽出する方法であり、例えば、歩行者の位置を抽出する場合には、歩行者の頭部の高さに存在する物体の個数および位置を求めることができる。
なお、上記方法に限らず、物体位置データ作成部１２は、予め作成された時刻ｋの物体位置データを取得してもよい。具体的には、例えば、物体位置データ作成部１２は、ステップＳＴ６０１においてその都度時刻ｋの物体位置データを作成するのではなく、すでに作成済みの物体位置データを記憶しておき、当該記憶している物体位置データを取得するようにしてもよい。

映像取得センサ処理部１０２は、映像取得センサ３００が取得した各時刻フレームの映像から、時刻ｋにおける画素速度データを作成する（ステップＳＴ６０２）。具体的には、画素移動方向データ作成部１４は、映像取得部１３が出力した複数の時刻フレームにおける映像に基づき、画素速度データを作成する。なお、画素移動方向データ作成部１４は、映像取得部１３が出力した時刻フレームの映像を映像情報蓄積部（図示省略）に蓄積させるようにし、当該映像情報蓄積部に蓄積された映像をもとに、画素速度データを作成すればよい。画素移動方向データ作成部１４は、作成した画素速度データを、位置移動方向相関部１５に出力する。
各時刻フレームの映像から画素速度データを作成する方法としては、例えば、Ｂ．Ｌｕｃａｓ，Ｔ．Ｋａｎａｄｅ，“Ａｎ Ｉｔｅｒａｔｉｖｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ，” Ｐｒｏｃｅｅｄｉｎｄｇｓ ＤＡＲＰＡ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ，ｐｐ．１２１−１３０，Ａｐｒｉｌ １９８１．に開示されている方法を用いる。当該文献に開示されている方法は、各画素の輝度強度は空間的に連続であることと、物体の運動が線形であることを前提に、最小二乗法によって時刻フレーム間の輝度強度の残差が最小となる速度ベクトルを推定する。この方法によって、静止物をあらわす画素の速度ベクトルは零に近い値となり、移動物体を表す画素の速度ベクトルは物体の移動速度に近い値となる画素速度データが得られる。
なお、上記方法に限らず、画素移動方向データ作成部１４は、予め作成された時刻ｋの画素速度データを取得してもよい。具体的には、例えば、画素移動方向データ作成部１４は、ステップＳＴ６０２においてその都度時刻ｋの画素速度データを作成するのではなく、すでに作成済みの画素速度データを記憶しておき、当該記憶している画素速度データを取得するようにしてもよい。
なお、画素移動方向データ作成部１４は、観測環境に応じて映像上の一部領域に対してのみ画素速度データを作成するようにしてもよい。例えば、歩行者が通行し得ない区域など、移動物体が存在し得ない領域が、データ取得前または過去の時刻フレームのデータから既知であれば、当該移動物体が存在し得ない領域の画素速度データの作成を省略してもよい。

位置移動方向相関部１５は、ステップＳＴ６０１において物体位置データ作成部１２が出力した時刻ｋの物体位置データと、ステップＳＴ６０２において画素移動方向データ作成部１４が出力した時刻ｋの画素速度データとを用いて、時刻ｋの物体位置データによって特定されている移動物体に対して、移動速度を推定し、当該移動物体に関する時刻ｋの融合データを作成する（ステップＳＴ６０３）。

ここで、図７は、図６のステップＳＴ６０３における移動物体の速度推定動作を説明する概念図である。なお、図７では、時刻ｋにおいて重心が測距センサ２００の観測範囲５４を通過した移動物体が、２つ抽出されたものとしている。
位置移動方向相関部１５は、時刻ｋにおける各移動物体の重心位置６１に対して、当該重心位置６１を中心に物体サイズ６３以内の画素速度６２を抽出する。そして、位置移動方向相関部１５は、物体サイズ６３内の画素速度から、各移動物体の推定速度ｖ_１およびｖ_２を算出する。

ここでは、実空間におけるｘ座標、ｙ座標は、映像取得センサ３００から得られる画像のフレーム上のｘ座標、ｙ座標と一致するものとする。
以下では、物体位置データにおいて時刻ｋの重心位置が（ｘ_ｄ，ｙ_ｄ）とされた、ある移動物体を例に、推定速度ｖ_１＝（ｖ_１，ｘ，ｖ_１，ｙ）の算出方法を説明する。ここで、ｘ_ｄは移動物体の重心位置のｘ軸位置、ｙ_ｄは移動物体の重心位置のｙ軸位置とする。また、ｖ_１，ｘ、ｖ_１，ｙは推定速度のｘ軸方向成分、ｙ軸方向成分とする。なお、測距センサ２００の観測範囲５４はｘ軸方向に狭いため、ｘ_ｄは測距センサ２００の観測範囲の中心のｘ軸位置としてもよい。

また、以下では、時刻ｋの画素速度データをＶ_ｘ（ｘ_ｉ，ｙ_ｉ）およびＶ_ｙ（ｘ_ｉ，ｙ_ｉ）と表す。ここで、ｘ_ｉおよびｙ_ｉはｉ番目の画素のｘ軸中心位置およびｙ軸中心位置をそれぞれ表し、Ｖ_ｘ（ｘ_ｉ，ｙ_ｉ）は画素速度のｘ軸方向成分、Ｖ_ｙ（ｘ_ｉ，ｙ_ｉ）は画素速度のｙ軸方向成分を表すとする。なお、画素の総数はＮ_ｐとする。

重心位置（ｘ_ｄ，ｙ_ｄ）の移動物体の推定速度ｖ_１は、以下の式（１）および式（２）より算出する。

ここで、Ｗ（ｘ_ｉ，ｙ_ｉ；ｘ_ｄ，ｙ_ｄ）は、物体サイズ６３を表す関数であり、任意の（ｘ_ｄ、ｙ_ｄ）に対して以下の式（３）を満たす関数である。

例えば、（ｘ_ｄ、ｙ_ｄ）を中心に円形の物体サイズ６３を定義する場合、以下の式（４）のように定義する。

ここで、物体サイズ６３の半径を表すパラメタをＲとし、以下の式（５）を満たす画素（ｘ_ｉ’、ｙ_ｉ’）の個数をｎ（Ｒ）とする。

なお、想定する移動物体の種類や、映像取得センサ３００における画素速度データの誤差および測距センサ２００の物体位置データの誤差に応じて、物体サイズ６３の大きさを変えたり、形状を楕円や長方形等にしてもよい。本実施の形態のように、歩行者を検出対象としている場合、物体サイズ６３は、上方から見下ろした歩行者の平均的な大きさを表すものとすればよい。
また、上記のように物体サイズ６３内部の画像速度データを一様に加算平均する他に、物体サイズ６３内で重み付け平均するように関数Ｗ（ｘ_ｉ、ｙ_ｉ；ｘ_ｄ、ｙ_ｄ）の値に傾斜を持たせてもよい。
また、物体位置データには静止物体や実在する物体以外の不要なデータも誤って含まれていることを前提に、推定速度を基に不要なデータを棄却してもよい。例えば、推定速度が閾値未満であれば静止物体として移動物体の個数から除いてもよい。すなわち、物体位置データ作成部１２で算出した移動物体の個数を、仮の移動物体個数とし、位置移動方向相関部１５において最終的な移動物体個数の推定をおこなうとしてもよい。

図６のフローに戻る。
位置移動方向相関部１５は、時刻ｋの物体位置データによって特定されているすべての移動物体に対して推定速度を推定したか否かを判定する（ステップＳＴ６０４）。
ステップＳＴ６０４において、時刻ｋの物体位置データによって特定されているすべての移動物体に対して推定速度を推定していないと判定した場合（ステップＳＴ６０４の“ＮＯ”の場合）、ステップＳＴ６０３に戻り、以降の処理を繰り返す。

ステップＳＴ６０４において、時刻ｋの物体位置データによって特定されているすべての移動物体に対して推定速度を推定したと判定した場合（ステップＳＴ６０４の“ＹＥＳ”の場合）、位置移動方向相関部１５は、時刻ｋの物体位置データによって特定されているすべての移動物体について、移動物体ごとに、通過時刻と、重心位置と、ステップＳＴ６０３において推定した推定速度を合わせて、融合データとして表示部１６、および、記録部１７へ出力する（ステップＳＴ６０５）。

表示部１６は、位置移動方向相関部１５から出力された融合データに基づく情報を表示する。表示部１６が表示する情報は、例えば、移動物体の個数、各移動物体の重心位置、および、推定速度である。また、推定速度には移動方向の情報も含まれているので、表示部１６は、例えば、単位時間当たりに測距センサ２００の観測範囲５４を通路のｘ正方向、または、ｘ負方向へ通過した移動物体の個数を表示することもできる。
表示部１６に表示させる情報は、予め設定された条件に基づき決められるようにすればよい。これに限らず、使用者が、入力装置（図示省略）から表示部１６に表示させる情報を、予め設定しておくようにしてもよいし、あるいは、使用者が、表示中に表示させる情報を切り替え可能とすることもできる。

記録部１７は、位置移動方向相関部１５から出力された融合データを記録する。記録部１７が記録する情報は、例えば、移動物体の個数、各移動物体の重心位置、および、推定速度である。また、記録部１７には、例えば、単位時間当たりに測距センサ２００の観測範囲５４を通路のｘ正方向、または、ｘ負方向へ通過した移動物体の個数が記録されるものとしてもよい。
記録部１７に記録させる情報は、予め設定された条件に基づき決められるようにすればよい。これに限らず、使用者が、入力装置（図示省略）から記録部１７に記録させる情報を予め設定しておくようにしてもよいし、あるいは、使用者が、記録させる情報を変更可能とすることもできる。

以上のように、この実施の形態１によれば、１つの検出箇所に配置された１台の映像取得センサ３００と１台の測距センサ２００とによって、移動物体の個数、位置、および、移動方向を含む移動速度を推定することができる。
一般に、受光素子のみを要する映像取得センサに比べ、投光素子と受光素子をともに備える測距センサの方が、構成する部品数が多く、また、経年劣化を補正する頻度が高いため、製造時、運用時の費用が高額になる。この実施の形態１に係る移動物体検出装置１００では、１つの検出箇所に対して、レーザセンサ等の測距センサ２００を１台しか必要としないため、測距センサを複数用いる方法に比べ、少ない費用で同じ機能を実現できる。

また、この実施の形態１によれば、１箇所に設置された１台の測距センサ２００の投光素子によって移動物体の移動方向を含む移動速度を推定できるため、複数箇所にスリット光を投光する方式に比べ、設置条件の制約が少なく、また、設置工事の費用が少なくて済む。

また、この実施の形態１によれば、映像取得センサ３００と１次元方向のみを走査する測距センサ２００によって移動物体の個数、位置、移動方向を推定することができる。一般に、１次元方向を走査する測距センサ２００は、２次元方向を走査する測距センサに比べ、走査に要する機器および処理の分だけ製造時、設置工事時、運用時の費用が少なくて済む。そのため、２次元方向を走査するレーザセンサ等の測距センサを用いる方法に比べ、少ない費用で同じ機能を実現できる。

また、測距センサ２００は、測距センサ２００が照射するレーザ等の照射方向における移動物体の形状も観測することができるため、映像取得センサ３００に比べ移動物体の位置推定誤差が小さく、かつ、近接する複数の移動物体に対する各移動物体の区別が容易である。よって、実施の形態１によれば、可視光カメラ等の映像取得センサ３００のみを用いる方法に比べ、移動物体の個数および位置の推定精度が高い。

また、この実施の形態１によれば、映像取得センサ３００の映像について、画素の輝度および強度を基に画素ごとの推定速度を算出し、移動物体の移動方向を推定するようにした。よって、映像取得センサ３００の解像度が低く移動物体観測時の形状が不明瞭な場合、例えば、移動物体の大きさに対し映像の画素が粗い場合や移動物体の輪郭の一部が欠ける場合において、可視光カメラ等の映像取得センサ３００のみを用いる方法に比べ、移動方向推定精度の劣化が少ない。

また、この実施の形態１によれば、移動物体の個数は測距センサ２００の観測結果を元に推定するようにしたので、映像に移動物体の影が映っている場合や、背景のスクリーンで動画が再生されている場合等に、背景における実体のない輝度強度の変化を移動物体と誤って判定することなく、移動物体の個数を推定することができる。

実施の形態２．
実施の形態１では、映像取得センサ３００によって取得された映像上において移動物体の輝度および強度が連続であることを前提に、測距センサ２００からの測距情報に基づく移動物体の重心位置と、映像取得センサ３００からの映像に基づく画素速度とを、同じ時刻フレーム内で対応付けるようにしていた。
しかし、実際は、例えば光源照度の偏りや、背景色の変化、移動物体の回転および変形、夜間撮影時の増感ノイズ等によって、移動物体の輝度強度が不連続に変化する。このような場合、移動物体の画素速度が一時的に真の移動物体の速度と大きく異なる値となり、ある時刻フレームの画素速度上において移動物体が消失する事態が起こり得る。
そこで、この実施の形態２では、複数の時刻フレームの画素速度から、各移動物体の推定速度の候補を複数通り設定し、各候補の中から尤もらしい推定速度を判定する実施の形態について説明する。

この実施の形態２の移動物体検出システムの構成は、実施の形態１において図１を用いて説明したものと同様であるため、重複した説明を省略する。
また、測距センサ２００と映像取得センサ３００の設置状況、および、測距センサ２００と映像取得センサ３００の観測条件についても、例えば、実施の形態１において、図２，図３を用いて説明したとおりであるので、重複した説明を省略する。

図８は、この発明の実施の形態２に係る移動物体検出装置１００ａの構成図である。
図８において、図４を用いて説明した実施の形態１に係る移動物体検出装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。
この発明の実施の形態２に係る移動物体検出装置１００ａは、実施の形態１に係る移動物体検出装置１００とは、融合処理部１０３が、位置移動方向相関部１５に代えて、移動方向仮説設定部１８と移動方向決定部１９とから構成される点が異なるのみである。
この実施の形態２において、物体位置データ作成部１２は、物体位置データを移動方向仮説設定部１８に出力する。また、画素移動方向データ作成部１４は、画素速度データを、移動方向仮説設定部１８および移動方向決定部１９に出力する。

移動方向仮説設定部１８は、物体位置データ作成部１２から出力された物体位置データと、画素移動方向データ作成部１４から出力された時刻フレームの画素速度データを取得し、測距センサ２００で観測された移動物体の移動速度の候補値を複数通り設定する。ここでは、移動方向仮説設定部１８が設定する、移動物体の移動速度の候補値を、速度仮説という。
移動方向仮説設定部１８は、速度仮説を移動方向決定部１９に出力する。

移動方向決定部１９は、画素移動方向データ作成部１４から出力された時刻フレームの画素速度データと、移動方向仮説設定部１８から出力された移動物体の速度仮説を取得し、速度仮説の中から、移動物体の移動速度を決定する。移動方向決定部１９は、移動物体の重心位置が測距センサの観測範囲５４を通過した時刻、ｘ軸およびｙ軸上の重心位置、ｘ軸およびｙ軸方向の推定速度を表す融合データを、表示部１６および記録部１７に出力する。

移動物体検出装置１００ａのハードウェア構成は、実施の形態１において図５Ａ，図５Ｂを用いて説明したものと同様であるため、重複した説明を省略する。

この実施の形態２に係る移動物体検出装置１００ａの動作について説明する。
図９は、この発明の実施の形態２に係る移動物体検出装置１００ａの動作を説明するフローチャートである。
なお、以下の説明において、ｋはＮ＋１以上の自然数とする。パラメタＮについては後述する。

測距センサ処理部１０１は、測距センサ２００が取得した複数の時刻フレームの測距情報から、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体を抽出し、時刻ｋの物体位置データを作成する（ステップＳＴ９０１）。具体的な動作は、実施の形態１で説明した図６のステップＳＴ６０１と同様である。測距センサ処理部１０１の物体位置データ作成部１２は、作成した物体位置データを移動方向仮説設定部１８に出力する。

移動物体検出装置１００ａの制御部（図示省略）は、変数ｉを初期化する（ステップＳＴ９０２）。ここでは、変数ｉの初期値は０とする。
映像取得センサ処理部１０２は、映像取得センサ３００が取得した複数の時刻フレームの映像から、時刻ｋ−ｉにおける画素速度データを作成する（ステップＳＴ９０３）。具体的な画素速度データの作成方法は、実施の形態１で説明した図６のステップＳＴ６０２と同様である。映像取得センサ処理部１０２の画素移動方向データ作成部１４は、時刻ｋ−ｉにおける画素速度データを移動方向仮説設定部１８および移動方向決定部１９に出力する。

移動方向仮説設定部１８は、ステップＳＴ９０１において物体位置データ作成部１２が出力した時刻ｋの物体位置データと、ステップＳＴ９０３において画素移動方向データ作成部１４が出力した時刻ｋ−ｉの画素速度データとを用いて、時刻ｋの物体位置データに含まれる、移動物体に対して、速度仮説を設定する（ステップＳＴ９０４）。

ここで、図１０は、ｉ＝１の場合を例として、図９のステップＳＴ９０４における、移動方向仮説設定部１８による速度仮説の設定の動作を表した概念図である。
移動方向仮説設定部１８は、時刻ｋの移動物体の重心位置６１に対して、時刻ｋ−１における移動物体の重心位置の推定値、すなわち、時刻ｋ−１の物体位置推定値６４と、時刻ｋ−１の物体位置推定値６４を中心とする物体サイズ６３以内の時刻ｋ−１の画素速度６５を抽出する。そして、移動方向仮説設定部１８は、抽出した時刻ｋ−１の画素速度６５から、移動物体の速度仮説ｖ_１を算出する。

図１１は、図９のステップＳＴ９０４の動作を詳細に説明するフローチャートである。
ここでは、対象とする、ある移動物体の重心位置を（ｘ_ｄ，ｙ_ｄ）とし、速度仮説をｖ_ｕ＝（ｖ_ｕ，ｘ，ｖ_ｕ，ｙ）とする。ｘ_ｄは移動物体の重心位置のｘ軸位置、ｙ_ｄは移動物体の重心位置のｙ軸位置とし、ｖ_ｕ，ｘ，ｖ_ｕ，ｙは、それぞれ、推定速度のｘ軸方向成分、ｙ軸方向成分とする。なお、測距センサ２００の観測範囲５４は、ｘ軸方向に狭いため、ｘｄは測距センサ２００の観測範囲５４の中心のｘ軸位置としてもよい。

また、時刻ｋ−ｉの画素速度データをＶ_ｋ−ｉ，ｘ（ｘ_ｑ，ｙ_ｑ）およびＶ_ｋ−ｉ，ｙ（ｘ_ｑ，ｙ_ｑ）と表す。ここで、ｘ_ｑおよびｙ_ｑは、それぞれ、ｑ番目の画素のｘ軸中心位置、ｙ軸中心位置を表し、Ｖ_ｋ−ｉ，ｘ（ｘ_ｑ，ｙ_ｑ）は画素速度のｘ軸方向成分、Ｖ_ｋ−ｉ，ｙ（ｘ_ｑ，ｙ_ｑ）は、画素速度のｙ軸方向成分を表すものとする。なお、画素の総数はＮ_ｐとする。

まず、移動方向仮説設定部１８は、画素移動方向データ作成部１４から取得した映像、すなわち、映像取得センサ３００によって取得された映像のうち、未選択の画素を１つ選択する（ステップＳＴ１１０１）。以下、当該ステップＳＴ１１０１において移動方向仮説設定部１８が選択した画素を「選択画素」といい、当該選択画素のｘ軸中心位置、ｙ軸中心位置を（ｘ_ｓ，ｙ_ｓ）とする。

移動方向仮説設定部１８は、選択画素の近傍の時刻ｋ−ｉの画素速度データから、選択画素の平均速度ｖ_ｍ＝（ｖ_ｍ，ｘ，ｖ_ｍ，ｙ）を算出する（ステップＳＴ１１０２）。ここで、ｖ_ｍ，ｘ、ｖ_ｍ，ｙは、平均速度のｘ軸方向成分、ｙ軸方向成分とする。
平均速度ｖ_ｍ＝（ｖ_ｍ，ｘ，ｖ_ｍ，ｙ）は、以下の式（６）および式（７）より算出する。

ここで、Ｗ（ｘ_ｑ，ｙ_ｑ；ｘ_ｓ，ｙ_ｓ）は、物体サイズ６３を表す関数であり、任意の（ｘ_ｓ，ｙ_ｓ）に対して以下の式（８）を満たす関数である。

例えば、（ｘ_ｓ，ｙ_ｓ）を中心に円形の物体サイズ６３を定義する場合、以下の式（９）のように定義する。

ここで、物体サイズ６３の半径を表すパラメタをＲとし、以下の式（１０）を満たす画素（ｘ_ｑ’，ｙ_ｑ’）の個数をｎ（Ｒ）とする。

また、想定する移動物体の種類や、映像取得センサ３００における画素速度データの誤差および測距センサ２００の物体位置データの誤差に応じて、物体サイズ６３の大きさを変えたり、形状を楕円や長方形等にしてもよい。本実施の形態のように、歩行者を検出対象としている場合、物体サイズ６３は、上方から見下ろした歩行者の平均的な大きさを表すものとすればよい。
また、上記のように物体サイズ６３内部の画像速度データを一様に加算平均する他に、物体サイズ６３内で重み付け平均するように関数Ｗ（ｘ_ｑ，ｙ_ｑ；ｘ_ｓ，ｙ_ｓ）の値に傾斜を持たせてもよい。

移動方向仮説設定部１８は、ステップＳＴ１１０２で算出した平均速度に基づき、選択画素を平均速度で時刻ｋへ外挿した位置を算出する（ステップＳＴ１１０３）。ここでは、選択画素を平均速度で時刻ｋへ外挿した位置を、外挿位置という。

移動方向仮説設定部１８は、外挿位置（ｘ_ｅ，ｙ_ｅ）を、移動物体は時刻ｋ−ｉから時刻ｋの間に等速直進すると仮定し、以下の式（１１）および式（１２）から算出する。

ここで、Ｔ_{ｋ−ｉ，ｋ}は時刻ｋ−ｉから時刻ｋのフレーム間経過時間を表す。特に、ｉ＝０の場合はＴ_ｋ，ｋ＝０とする。
また、式（１１）および式（１２）では、移動物体の運動モデルとして等速直進運動を仮定したが、移動物体の種類に応じて、例えば等加速度直進運動など別の運動モデルを仮定し外挿位置を算出してもよい。

移動方向仮説設定部１８は、ステップＳＴ１１０３で算出した外挿位置と、移動物体の重心位置の残差を算出する（ステップＳＴ１１０４）。
移動方向仮説設定部１８は、時刻ｋ−ｉの画素速度データから算出した外挿位置（ｘ_ｅ，ｙ_ｅ）と、時刻ｋの物体位置データにおける移動物体の重心位置（ｘ_ｄ，ｙ_ｄ）との残差Δｒを、以下の式（１３）により算出する。

ここで、行列右上のｔは行列の転置を表し、行列右上の「−１」は逆行列を表す。
また、σ_ｘ ^２、σ_ｙ ^２、σ_ｘｙ ^２は、外挿位置と移動物体の重心位置との残差に関する揺らぎの大きさを表すパラメタとし、σ_ｘ ^２はｘ軸成分の分散、σ_ｙ ^２はｙ軸成分の分散、σ_ｘｙ ^２はｘ成分とｙ成分の共分散を表す。例えば、画素速度データのｙ軸方向成分が、ｘ軸方向成分に比べ誤差が大きい場合、σ_ｙ ^２をσ_ｘ ^２よりも大きな値に設定することで、成分ごとの揺らぎの違いを考慮した残差を算出できる。
または、外挿位置と移動物体の重心位置との残差に関して揺らぎの数値化が困難な場合等では、各成分の揺らぎは独立かつ一様と仮定して、より簡単な、以下の式（１４）によって残差Δｒを求めてもよい。

移動方向仮説設定部１８は、ステップＳＴ１１０４で算出した残差Δｒが、ステップＳＴ１１０１〜ステップＳＴ１１０７のループ処理の中で既に算出された他の残差に比べ、最小であるか否かを判定する（ステップＳＴ１１０５）。

ステップＳＴ１１０５において、他の残差に比べ、最小ではないと判断した場合、すなわち、直前のステップＳＴ１１０４で算出した残差が暫定的に最小値ではない場合（ステップＳＴ１１０５の“ＮＯ”の場合）、ステップＳＴ１１０６の処理をスキップして、ステップＳＴ１１０７へ進む。

ステップＳＴ１１０５において、他の残差に比べ、最小であると判定した場合、すなわち、直前のステップＳＴ１１０４で算出した残差が暫定的に最小値である場合（ステップＳＴ１１０５の“ＹＥＳ”の場合）、移動方向仮説設定部１８は、ステップＳＴ１１０２で算出した平均速度ｖ_ｍを、時刻ｋの重心位置が（ｘ_ｄ，ｙ_ｄ）である移動物体の速度仮説ｖ_ｕとして設定する（ステップＳＴ１１０６）。なお、ステップＳＴ１１０１〜ステップＳＴ１１０７のループ処理中で既に別の値が速度仮説として設定されていた場合、移動方向仮説設定部１８は、ステップＳＴ１１０２で算出した平均速度ｖ_ｍを新しい平均速度として置き換える。

移動方向仮説設定部１８は、時刻ｋ−ｉの画素速度データ内のすべての画素が選択されたか否かを判定する（ステップＳＴ１１０７）。

ステップＳＴ１１０７において、すべての画素が選択されていないと判定した場合（ステップＳＴ１１０７の“ＮＯ”の場合）、ステップＳＴ１１０１へ戻り、以降の処理を繰り返す。

ステップＳＴ１１０７において、すべての画素が選択されたと判定した場合（ステップＳＴ１１０７の“ＹＥＳ”の場合）、図１１の処理を終了する。

以上のように、図１１の処理を実行することで、時刻ｋ−ｉの画素速度データをもとに、移動物体の速度仮説を設定する。
なお、以上の図１１の処理では、時刻ｋ−ｉの画素速度データ内のすべての画素に対して平均速度、外挿位置、移動物体の重心位置との残差を算出し、速度仮説を設定したが、例えば、移動物体の想定最大速度から選択する画素を制限することで処理負荷を軽減させてもよい。

また、以上の図１１の処理では、時刻ｋ−ｉの画素速度データをもとに速度仮説を１つのみ設定するが、残差の大きさに応じて時刻ｋ−ｉの画素速度データから速度仮説を複数設定してもよい。

また、以上の図１１の処理では、画素移動方向データ作成部１４がｘ軸及びｙ軸方向の速度を算出する場合について説明したが、画素移動方向データ作成部１４が移動方向のみを算出する場合は、例えばあらかじめ設定された歩行者の典型的な移動速度を表すパラメタに基づき、推定された移動方向をｘ軸及びｙ軸方向の速度に変換し、同様に処理するとしてもよい。
またここでは、画素移動方向データ作成部１４は、物体の移動方向を表す物理量の一例としてｘ軸およびｙ軸方向の速度を算出することとしたが、各移動物体の移動方向のみを推定する目的においては、必ずしも速度を算出する必要はない。例えば、移動方向のみを表す大きさ一定のベクトルや、移動方向を表す方位角を算出することとしてもよい。この場合、移動方向仮説設定部１８が設定する物体の速度仮説は移動方向仮説ともいうこととする。

図９のフローチャートに戻る。
移動物体検出装置１００ａの制御部（図示省略）は、変数ｉがパラメタＮ以上か否かを判定する（ステップＳＴ９０５）。
パラメタＮは、速度仮説を設定する際に参照する過去の時刻フレームの個数を表す。パラメタＮは、例えば、時刻ｋ−Ｎから時刻ｋの間で目標の運動を等速直進とする仮定が妥当となる時刻フレーム数の最大値を設定する。

ステップＳＴ９０５において、変数ｉがパラメタＮ未満と判定した場合（ステップＳＴ９０５の“ＮＯ”の場合）、移動方向仮説設定部１８は、変数ｉに１を加算し（ステップＳＴ９０６）、ステップＳＴ９０３に戻る。

ステップＳＴ９０５において、変数ｉがパラメタＮ以上と判定した場合（ステップＳＴ９０５の“ＹＥＳ”の場合）、移動物体検出装置１００ａの制御部は、変数ｊを初期化する（ステップＳＴ９０７）。変数ｊの初期値は１である。すなわち、制御部は、変数ｊに１を代入する。制御部は、変数ｊを初期化した旨の情報を、映像取得センサ処理部１０２に出力する。

映像取得センサ処理部１０２は、映像取得センサ３００が取得した複数の時刻フレームの映像から、時刻ｋ＋ｊにおける画素速度データを作成する（ステップＳＴ９０８）。具体的な画素速度データの作成方法は、実施の形態１で説明した図６のステップＳＴ６０２と同様である。映像取得センサ処理部１０２の画素移動方向データ作成部１４は、時刻ｋ＋ｊにおける画素速度データを移動方向仮説設定部１８および移動方向決定部１９に出力する。

移動方向決定部１９は、ステップＳＴ９０８で取得された時刻ｋ＋ｊの画素速度データを用いて、ステップＳＴ９０４で移動方向仮説設定部１８が設定した移動物体の複数の速度仮説について、各速度仮説の尤もらしさを表す値を更新する（ステップＳＴ９０９）。ここでは、移動物体の速度仮説の尤もらしさを表す値を速度仮説の尤度という。
なお、各速度仮説の尤度は、ステップＳＴ９０８〜ステップＳＴ９１１の変数ｊに関するループ処理の中で逐次更新する。例えば、ある速度仮説ｖ_ｉに関して、時刻ｋ＋ｊの画素速度データによって更新された尤度Ｌ_{ｉ，ｋ＋ｊ}は、１つ前の変数ｊのループ処理で算出された尤度Ｌ_{ｉ，ｋ＋ｊ−１}をもとに算出される。

図１２は、ｊ＝１およびｊ＝２の場合を例として、図９のステップＳＴ９０９における、移動方向決定部１９による速度仮説ｖ_０、ｖ_１、ｖ_２の尤度の更新の動作を表した概念図である。
移動方向決定部１９は、時刻ｋの移動物体の重心位置６１に対して、各速度仮説をもとに時刻ｋ＋１の物体位置推定値６６ａ〜６６ｃ、時刻ｋ＋２の物体位置推定値６８ａ〜６８ｃを算出する。また、移動方向決定部１９は、各物体位置推定値を中心とする物体サイズ６３内の時刻ｋ＋１および時刻ｋ＋２の画素速度６７ａ〜６７ｃ、６９ａ〜６９ｃを時刻ｋ＋１および時刻ｋ＋２の画素速度データから抽出する。
そして、移動方向決定部１９は、各時刻フレームにおいて、速度仮説と物体サイズ６３内の画素速度との差異から、速度仮説の尤度を算出する。当該尤度は、時刻ｋ以前の画素速度から設定した速度仮説と、時刻ｋ＋１以降の画素速度との整合の度合いを表し、時刻ｋ＋１以降の各時刻フレームを通して、速度仮説と物体サイズ６３内の画素速度との差異が小さいほど高い値となる。
図１２の例では、速度仮説ｖ_１と、物体位置推定値６６ａ周辺の画素速度６７ａと、物体位置推定値６８ａ周辺の画素速度６９ａとの差異が、残りの速度仮説ｖ_０、ｖ_２に比べて小さいため、速度仮説ｖ_１の尤度が速度仮説ｖ_０、ｖ_２の尤度に比べ大きな値となる。

以下、図９のステップＳＴ９０９の動作について詳細に説明する。
図１３は、図９のステップＳＴ９０９の詳細な動作について説明するフローチャートである。
ここでは、対象とする、ある移動物体の重心位置を（ｘ_ｄ，ｙ_ｄ）とし、速度仮説をｖ_ｕ＝（ｖ_ｕ，ｘ，ｖ_ｕ，ｙ）とする。ｘ_ｄは移動物体の重心位置のｘ軸位置、ｙ_ｄは移動物体の重心位置のｙ軸位置とし、ｖ_ｕ，ｘ及びｖ_ｕ，ｙは推定速度のｘ軸方向成分、ｙ軸方向成分とする。なお、測距センサ２００の観測範囲５４はｘ軸方向に狭いため、ｘ_ｄは測距センサ２００の観測範囲５４の中心としてもよい。
また、時刻ｋ＋ｊの画素速度データをＶ_{ｋ＋ｊ，ｘ}（ｘ_ｑ，ｙ_ｑ）およびＶ_{ｋ＋ｊ，ｙ}（ｘ_ｑ，ｙ_ｑ）と表す。ここで、ｘ_ｑおよびｙ_ｑはｑ番目の画素のｘ軸中心位置、ｙ軸中心位置を表し、Ｖ_{ｋ＋ｊ，ｘ}（ｘ_ｑ，ｙ_ｑ）は画素速度のｘ軸方向成分、Ｖ_{ｋ＋ｊ，ｙ}（ｘ_ｑ，ｙ_ｑ）は画素速度のｙ軸方向成分を表すとする。なお画素の総数はＮ_pとする。

移動方向決定部１９は、時刻ｋの移動物体の重心位置（ｘ_ｄ，ｙ_ｄ）および速度仮説ｖ_ｕより、速度仮説ｖ_ｕに関する時刻ｋ＋ｊにおける物体位置推定値（ｘ_{ｅ，ｋ＋ｊ}，ｙ_{ｅ，ｋ＋ｊ}）を算出する（ステップＳＴ１３０１）。
移動方向決定部１９は、物体位置推定値（ｘ_{ｅ，ｋ＋ｊ}，ｙ_{ｅ、ｋ＋ｊ}）を、移動物体が時刻ｋから時刻ｋ＋ｊの間に等速直進すると仮定し、以下の式（１５）および式（１６）から算出する。

ここで、Ｔ_{ｋ，ｋ＋ｊ}は時刻ｋから時刻ｋ＋ｊまでのフレーム間経過時刻を表す。
また、式（１５）および（１６）では、移動物体の運動モデルとして等速直進運動を仮定したが、移動方向決定部１９は、移動物体の種類に応じて、例えば、等加速度直進運動など別の運動モデルを仮定し外挿位置を算出してもよい。

移動方向決定部１９は、ステップＳＴ１３０１で算出した物体位置推定値と、時刻ｋ＋ｊの画素速度データとから、時刻ｋ＋ｊにおける移動物体近傍の平均速度ｖ_{ｍ，ｋ＋ｊ}＝（ｖ_{ｍ，ｋ＋ｊ，ｘ}，ｖ_{ｍ，ｋ＋ｊ，ｙ}）を算出する（ステップＳＴ１３０２）。ｖ_{ｍ，ｋ＋ｊ，ｘ}，ｖ_{ｍ，ｋ＋ｊ，ｙ}は平均速度のｘ軸方向成分、ｙ軸方向成分とする。
移動方向決定部１９は、平均速度ｖ_{ｍ，ｋ＋ｊ}＝（ｖ_{ｍ，ｋ＋ｊ，ｘ}，ｖ_{ｍ，ｋ＋ｊ，ｙ}）を、例えば図１１のステップＳＴ１１０２と同様に、以下の式（１７）および（１８）より算出する。

ここで、Ｗ（ｘ_ｑ，ｙ_ｑ；ｘ_{ｅ、ｋ＋ｊ}，ｙ_{ｅ，ｋ＋ｊ}）は、物体サイズ６３を表す関数であり、任意の（ｘ_{ｅ，ｋ＋ｊ}，ｙ_{ｅ，ｋ＋ｊ}）に対して、以下の式（１９）を満たす関数である。

例えば、（ｘ_{ｅ、ｋ＋ｊ}，ｙ_{ｅ、ｋ＋ｊ}）を中心に円形の物体サイズ６３を定義する場合、以下の式（２０）のように定義する。

ここで、Ｒは物体サイズ６３の半径を表すパラメタとし、ｎ（Ｒ）は、以下の式（２１）を満たす画素（ｘ_ｑ’，ｙ_ｑ’）の個数とする。

また、想定する移動物体の種類や、映像取得センサ３００における画素速度データの誤差及び測距センサ２００の物体位置データの誤差に応じて、物体サイズ６３の大きさを変えたり、形状を楕円や長方形等にしてもよい。本実施の形態のように、歩行者を検出対象としている場合、物体サイズ６３は、上方から見下ろした歩行者の平均的な大きさを表すものとすればよい。
また、上記のように物体サイズ６３内部の画像速度データを一様に加算平均する他に、物体サイズ６３内で重み付け平均するように関数Ｗ（ｘ_ｑ，ｙ_ｑ；ｘ_{ｅ，ｋ＋ｊ}，ｙ_{ｅ，ｋ＋ｊ}）の値に傾斜を持たせてもよい。

移動方向決定部１９は、速度仮説ｖ_ｕ＝（ｖ_ｕ，ｘ，ｖ_ｕ，ｙ）と、ステップＳＴ１３０２で算出した平均速度ｖ_{ｍ，ｋ＋ｊ}＝（ｖ_{ｍ，ｋ＋ｊ，ｘ}，ｖ_{ｍ，ｋ＋ｊ，ｙ}）から、速度仮説の尤度Ｌ_{ｕ，ｋ＋ｊ}を算出する（ステップＳＴ１３０３）。
速度仮説ｖ_ｕの時刻ｋ＋ｊにおける尤度Ｌ_{ｕ，ｋ＋ｊ}は、以下の式（２２）より算出する。

ここで、速度仮説ｖ_ｕ，ｖ_{ｍ、ｋ＋ｊ}は以下の式（２３）（２４）で表される縦ベクトルとする。

S_ｋ＋ｊはｖ_ｕ−ｖ_{ｍ，ｋ＋ｊ}の残差共分散行列を表す２行２列のパラメタである。また、時刻ｋ＋ｊ−１の尤度Ｌ_{ｕ，ｋ＋ｊ−１}に関しては、特にｊ＝１の場合

とする。
なお、以上の尤度Ｌ_{ｕ，ｋ＋ｊ}は、平均速度ｖ_{ｍ，ｋ＋ｊ}が移動物体の真の速度に白色ガウス雑音が加算されたとするモデルに基づく値であり、平均速度の誤差分布が有色非ガウス雑音とするモデルを用いてもよい。

移動方向決定部１９は、すべての速度仮説について時刻ｋ＋ｊにおける仮説尤度が更新されたか否かを判定する（ステップＳＴ１３０４）。
ステップＳＴ１３０４において、すべての速度仮説について時刻ｋ＋１における仮説尤度が更新されていないと判定した場合（ステップＳＴ１３０４の“ＮＯ”の場合）、ステップＳＴ１３０１に戻り、以降の処理を繰り返す。

ステップＳＴ１３０４において、すべての速度仮説について時刻ｋ＋１における仮説尤度が更新されたと判定した場合（ステップＳＴ１３０４の“ＹＥＳ”の場合）、図１３の処理を終了する。

以上の図１３の処理を実行することで、移動方向決定部１９は、時刻ｋ＋ｊの画素速度データを基に、移動物体の各々の速度仮説について尤もらしさを表す値を更新する。

図９のフローチャートに戻る。
制御部は、変数ｊがパラメタＭ以上か否かを判定する（ステップＳＴ９１０）。パラメタＭは、速度仮説の尤度算出に用いる時刻フレームの個数を表す。パラメタＭには、例えば、時刻ｋから時刻ｋ＋Ｍの間で目標の運動を等速直進とする仮定が妥当となる時刻フレーム数の最大値が、予め設定される。

ステップＳＴ９１０において、変数ｊがパラメタＭ未満である場合（ステップＳＴ９１０の“ＮＯ”の場合）、移動方向決定部１９は、変数ｊに１を加算し（ステップＳＴ９１１）、ステップＳＴ９０８へ戻る。

ステップＳＴ９１０において、変数ｊがパラメタＭ以上の場合（ステップＳＴ９１０の“ＹＥＳ”の場合）、移動方向決定部１９は、ステップＳＴ９０９で算出し、更新した各速度仮説の尤度から、各速度仮説の事後確率を算出する（ステップＳＴ９１２）。
具体的には、移動方向決定部１９は、時刻ｋ＋１〜時刻ｋ＋Ｍの画素速度データで更新された各々の速度仮説の尤度Ｌ_{ｕ、ｋ＋Ｍ}（ｕ＝１，２，・・・，Ｎ_Ｈ、Ｎ_Ｈは速度仮説の個数）に対して、以下の式（２６）より事後確率Ｐ（Ｈ_ｕ｜Ｖ_{ｋ：ｋ＋Ｍ}）を算出する。

ここで、Ｐ（Ｈ_ｕ）は速度仮説ｖ_ｕの事前確率を表し、速度仮説ｖ_ｕごとに設定するパラメタである。
Ｐ（Ｈ_ｕ）の設定方法としては、例えば速度仮説ｖ_ｕを設定する際の式（１４）に関する残差Δｒや、ｖ_１の値の大きさ、画素速度データを取得した映像における光源や背景色等によって設定する。または、すべての速度仮説は設定時点では等しく尤もらしいと見なし、Ｐ（Ｈ_ｕ）を定数としてもよい。

移動方向決定部１９は、ステップＳＴ９１２で算出した速度仮説の事後確率Ｐ（Ｈ_１｜Ｖ_{ｋ：ｋ＋Ｍ}）の中から、事後確率が最大の速度仮説ｖ_ｕを移動物体の推定速度として決定する（ステップＳＴ９１３）。

移動方向決定部１９は、時刻ｋの物体位置データによって特定されている１または複数の移動物体のうち、すべての移動物体に対して推定速度が決定されたか否かを決定する（ステップＳＴ９１４）。
ステップＳＴ９１４において、すべての移動物体に対して推定速度が決定されていない場合（ステップＳＴ９１４の“ＮＯ”の場合）、ステップＳＴ９０２に戻る。
ステップＳＴ９１４において、すべての移動物体に対して推定速度が決定された場合（ステップＳＴ９１４の“ＹＥＳ”の場合）、移動方向決定部１９は、ステップＳＴ９１３で決定した移動物体の移動速度と、重心位置を表した融合データを、表示部１６および記録部１７に出力する（ステップＳＴ９１５）。

なお、上記では、物体位置データ作成部１２が移動物体の個数を推定したが、物体位置データには静止物体や実在する物体以外の不要なデータも誤って含まれていることを前提に、移動方向決定部１９において推定速度を基に不要なデータを棄却してもよい。例えば、推定速度が閾値未満であれば静止物体として移動物体の個数から除いてもよい。すなわち、物体位置データ作成部１２で算出した移動物体の個数を、仮の移動物体個数とし、移動方向決定部１９において最終的な移動物体個数の推定をおこなうとしてもよい。

なお、上記では、融合処理部１０３は、時刻ｋ以前の画素速度データから移動物体の速度仮説を設定し、時刻ｋ＋１以降の画素速度データによって移動物体の速度を判定したが、各処理で用いる時刻フレームの選び方はこの限りではない。例えば、融合処理部１０３は、時刻ｋ＋１以降の画素速度データによって速度仮説を設定し、時刻ｋ以前の画素速度データによって速度仮説の中から移動物体の移動速度を決定してもよい。

以上のように、実施の形態２によれば、複数の時刻フレームの画素速度から移動物体の移動速度を推定するようにしたため、映像取得センサ３００から算出された画素速度データ上において、移動物体周辺の画素速度が一時的に真の物体移動速度と大きく異なる値になり得る場合においても、１つの検出箇所に設置された測距センサ１台と映像取得センサ１台によって移動物体の個数、位置、および、移動方向を含む移動速度を推定することができる。
当該効果は、例えば、夜間において移動物体の個数、位置、および、移動方向を含む移動速度を推定する場合に有効である。カメラ等の映像取得センサ３００は夜間や暗所等の光源照度が低い環境ほど、センサ内部の雑音によって、各画素の輝度が揺らぎやすい特性を持つ。このような場合、移動物体の輝度が雑音によって揺らぐために、画素速度データは移動物体の真の速度から外れた値を持ちやすい。しかし、この実施の形態２の構成によれば、複数時刻フレームの画素速度データを基に物体の移動速度の候補値を設定し、各候補値を比較することで、尤もらしい移動速度を推定するため、誤った移動速度が推定される確率を減らすことができる。

また、低照度環境でも雑音による輝度強度の揺らぎが小さい映像取得センサ３００ほど、一般に製造工程が複雑化するため、映像取得センサ３００の費用が高額になる。そのため、この実施の形態２によれば、低照度環境において雑音の影響を受けにくい映像取得センサ３００を用いる方法に比べ、少ない費用で同様の精度を実現できる点で画期的である。

また、上記効果は、例えば、移動物体の種類として歩行者を対象とする場合にも有効である。歩行者は、手足の動きや体の向きの変化により、車両等の無機物に比べ映像上の物体表面の輝度が不規則に変化しやすい。そのため、例えば歩行者が顔の向きを変化させた時点で、画素速度データが物体の移動速度から大きく異なる値になりやすい。しかし、この実施の形態２の構成によれば、一時的に画素速度データが不安定になった時刻の画素速度は、複数時刻フレームの画素速度データと整合が低いとして棄却されるため、歩行者の輝度分布が不規則に変化する場合でも誤った移動速度が推定される確率を減らすことができる。

また歩行者は、身に着けている服飾品等があるため、車両等の無機物に比べ輝度分布が多様となる。そのため、背景と歩行者の混同が起こりにくい環境の選択が原理的に困難であり、結果として背景の輝度が歩行者の輝度と同様になった時刻フレームにおいて、画素速度データが歩行者の移動速度と大きく異なる値となり得る。しかし実施の形態２によれば、複数の速度仮説のうち、背景との混同が起こりやすい時刻フレームの画素速度データから設定された速度仮説は、他の時刻フレームとの整合性が低い仮説として棄却されるため、歩行者と背景が一時的に混同しやすい場合においても誤った移動速度が推定される確率を減らすことができる。

また、上記効果は、例えば、快晴時の屋外環境や背景に光源を含む場合等、映像上での輝度分布に大きな偏りがある場合にも有効である。屋外における日なたと日陰等、映像上での輝度分布に大きな偏りがある場合、画素速度算出時の前提である輝度分布の連続性が成り立たないため、移動物体周辺の画素速度データが移動物体の速度と大きく異なる値をとり得る。しかし、この実施の形態２によれば、輝度分布が大きく偏る領域を移動物体が通過した時刻フレームの画素速度データから推定した速度仮説は、他の時刻フレームの画素速度との整合性が低い仮説として棄却されるため、輝度分布が大きく偏る場合においても誤った移動速度が推定される確率を減らすことができる。

実施の形態３．
実施の形態１，２では、測距センサ２００の測距情報に基づく移動物体の重心位置と、映像取得センサ３００の映像に基づく画素速度から、移動物体の個数、位置、および、移動方向を含む移動速度を推定するようにしていた。
この実施の形態３では、測距センサ２００の測距情報に基づき、さらに、移動物体の地表面からの高さ、および、移動物体の幅に関するデータを、移動物体の属性データとして作成する実施の形態について説明する。

この実施の形態３の移動物体検出システムの構成は、実施の形態１において図１を用いて説明したものと同様であるため、重複した説明を省略する。
また、測距センサ２００と映像取得センサ３００の設置状況、および、測距センサ２００と映像取得センサ３００の観測条件についても、例えば、実施の形態１において、図２，図３を用いて説明したとおりであるので、重複した説明を省略する。

図１４は、この発明の実施の形態３に係る移動物体検出装置１００ｂの構成図である。
図１４において、図４を用いて説明した実施の形態１に係る移動物体検出装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。
この発明の実施の形態３に係る移動物体検出装置１００ｂは、実施の形態１に係る移動物体検出装置１００とは、測距センサ処理部１０１が、物体高さデータ作成部２０と物体幅データ作成部２１をさらに備える点と、融合処理部１０３が、物体属性判定部２２をさらに備える点が異なるのみである。

物体高さデータ作成部２０は、測距データ取得部１１から複数の時刻フレームにおける測距情報を取得し、移動物体の地表面からの高さを推定したデータを作成する。ここでは、移動物体の地表面からの高さを推定したデータを、物体高さデータという。
物体高さデータ作成部２０は、作成した物体高さデータを物体属性判定部２２に出力する。
なお、物体高さデータにおける移動物体は、物体位置データ作成部１２で作成される物体位置データの移動物体と対応付けられており、対応関係は物体高さデータから参照できるものとする。

物体幅データ作成部２１は、測距データ取得部１１から複数の時刻フレームにおける測距情報を取得し、移動物体のｘ軸方向およびｙ軸方向の幅を推定したデータを作成する。ここでは、移動物体のｘ軸方向およびｙ軸方向の幅を推定したデータを、物体幅データという。
物体幅データ作成部２１は、作成した物体幅データを物体属性判定部２２に出力する。
なお、物体幅データにおける移動物体は、物体位置データ作成部１２で作成される物体位置データの移動物体と対応付けられており、対応関係は物体幅データから参照できるものとする。

物体属性判定部２２は、位置移動方向相関部１５から移動物体の位置および移動速度のデータ、物体高さデータ作成部２０から物体高さデータ、物体幅データ作成部２１から物体幅データを取得し、当該取得したデータに基づき、移動物体の属性を判定する。
物体属性判定部２２は、移動物体の位置、移動速度、属性を表したデータを、表示部１６および記録部１７へ出力する。ここでは、物体属性判定部２２が出力する、移動物体の位置、移動速度、属性を表したデータを、属性付き融合データという。

移動物体検出装置１００ｂのハードウェア構成は、実施の形態１において図５Ａ，図５Ｂを用いて説明したものと同様であるため、重複した説明を省略する。

この実施の形態３に係る移動物体検出装置１００ｂの動作について説明する。
図１５は、この発明の実施の形態３に係る移動物体検出装置１００ｂの動作を説明するフローチャートである。
なお、以下の説明では、時刻ｋにおいて重心位置が測距センサ２００の観測範囲５４を通過した移動物体に対して、移動速度および属性を推定するものとする。

測距センサ処理部１０１の測距データ取得部１１および物体位置データ作成部１２は、測距センサ２００が取得した複数の時刻フレームの測距情報から、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体を抽出し、時刻ｋの物体位置データを作成する（ステップＳＴ１５０１）。具体的な動作は、実施の形態１で説明した図６のステップＳＴ６０１と同様である。物体位置データ作成部１２は、作成した物体位置データを、位置移動方向相関部１５に出力する。

測距センサ処理部１０１の物体高さデータ作成部２０は、測距センサ２００が取得した複数の時刻フレームの測距情報を測距データ取得部１１から取得し、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体について、その移動物体の地表面からの高さを算出し、時刻ｋの物体高さデータを作成する（ステップＳＴ１５０２）。
物体高さデータ作成部２０は、各時刻フレームの測距情報から移動物体の高さを算出する方法として、例えば、前述の、特開２０１１−１０８２２３号公報に開示されている方法を用いる。当該方法では、観測範囲５４内の各移動物体の測距情報を高さ方向に分割し、各高さにおいて物体が検出された範囲を算出する方法であり、例えば、歩行者の高さを算出する場合には、歩行者が検出された高さの最大値を歩行者の高さとして算出することができる。
物体高さデータ作成部２０は、作成した物体高さデータを物体属性判定部２２に出力する。

測距センサ処理部１０１の物体幅データ作成部２１は、測距センサ２００が取得した複数の時刻フレームの測距情報を測距データ取得部１１から取得し、時刻ｋに重心位置が測距センサ２００の観測範囲５４を通過した移動物体について、その移動物体のｘ方向およびｙ方向の幅を算出し、時刻ｋの物体幅データを作成する（ステップＳＴ１５０３）。
物体幅データ作成部２１は、各時刻フレームの測距情報から移動物体の幅を算出する方法として、例えば、前述の、特開２０１１−１０８２２３号公報に開示されている方法を用いる。当該方法は、観測範囲５４内の各移動物体の測距情報を距離方向に分割し、各距離方向において移動物体が検出される距離方向の最大値と最小値から歩行者の体の幅を算出することができる。また、距離方向に対して垂直な方向の幅に関しては、移動物体が連続して検出された時間から算出することができる。
物体幅データ作成部２１は、作成した物体幅データを物体属性判定部２２に出力する。

映像取得センサ処理部１０２は、映像取得センサ３００が取得した複数の時刻フレームの映像から、時刻ｋにおける画素速度データを作成する（ステップＳＴ１５０４）。具体的な画素速度データの作成方法は、実施の形態１で説明した図６のステップＳＴ６０２と同様である。映像取得センサ処理部１０２の画素移動方向データ作成部１４は、時刻ｋにおける画素速度データを位置移動方向相関部１５に出力する。

位置移動方向相関部１５は、ステップＳＴ１５０１において物体位置データ作成部１２が出力した時刻ｋの物体位置データと、ステップＳＴ１５０４において画素移動方向データ作成部１４が出力した時刻ｋの画素速度データとを用いて、時刻ｋの物体位置データによって特定されている移動物体に対して、推定速度を推定し、当該移動物体に関する時刻ｋの融合データを作成する（ステップＳＴ１５０５）。具体的な動作は、実施の形態１で説明した図６のステップＳＴ６０３と同様である。
位置移動方向相関部１５は、作成した融合データを物体属性判定部２２に出力する。

物体属性判定部２２は、ステップＳＴ１５０２で物体高さデータ作成部２０が作成した時刻ｋの物体高さデータと、ステップＳＴ１５０３で物体幅データ作成部２１が作成した時刻ｋの物体幅データと、ステップＳＴ１５０５で位置移動方向相関部１５が作成した時刻ｋの融合データに含まれる移動物体の重心位置および推定速度とに基づき、移動物体の属性、すなわち、形状属性を判定する（ステップＳＴ１５０６）。

例えば、移動物体として歩行者を対象とする場合、ある移動物体の高さが成人の平均的な身長以下であり、かつ、移動物体の幅が成人の典型的な体の幅以下であり、移動速度が一般的な歩行速度より速い場合、物体属性判定部２２は、当該移動物体は、形状属性が「子ども」であると判定する。なお、成人の平均的な身長、成人の典型的な体の幅、一般的な歩行速度の情報等の、形状属性の判定に必要な情報は、予め設定され、物体属性判定部２２が参照可能な場所に記憶されているものとする。

また、例えば、移動物体として歩行者を対象とする場合、ある移動物体の高さが成人の平均的な身長以下であり、かつ、移動物体の地面付近の幅が車いすの車輪適度の大きさであり、かつ、移動速度が一般的な歩行速度より遅い場合、物体属性判定部２２は、当該移動体は、形状属性が「車椅子利用者」であると判定する。
なお、上記では、歩行者を対象とした例を挙げたが、これに限らず、車両を対象とした車種の判定、航空機を対象とした機種の判定、船舶を対象とした船種の判定、動物を対象とした種の判定等に用いてもよい。

物体属性判定部２２は、時刻ｋの物体位置データによって特定されている１または複数の移動物体のすべてに対して、推定速度および形状属性が推定されたか否かを判定する（ステップＳＴ１５０７）。
ステップＳＴ１５０７において、時刻ｋの物体位置データによって特定されている１または複数の移動物体のすべてに対して、推定速度および形状属性が推定されていない場合（ステップＳＴ１５０７の“ＮＯ”の場合）、ステップＳＴ１５０５に戻る。

ステップＳＴ１５０７において、時刻ｋの物体位置データによって特定されている１または複数の移動物体のすべてに対して、推定速度および形状属性が推定された場合（ステップＳＴ１５０７の“ＹＥＳ”の場合）、物体属性判定部２２は、ステップＳＴ１５０５〜ステップＳＴ１５０６で推定された時刻ｋにおける各移動物体の位置、推定速度、形状属性と、時刻ｋ以外の時刻フレームにおける融合データから、各移動物体の相対的な位置、速度に基づく移動物体の属性を判定する（ステップＳＴ１５０８）。このステップＳＴ１５０８で判定される属性をグループ属性という。

例えば、移動物体として歩行者を対象とする場合に、時刻ｋに重心位置が測距センサの観測範囲５４を通過した移動物体に対して、時刻ｋから一定数以内の過去または未来の時刻フレームにおいて、同じ位置かつ同じ移動方向の移動物体が一定個数以上観測されていた場合、物体属性判定部２２は、該当の時刻ｋの移動物体はグループ属性が「団体歩行者の一人」であると判定する。

また、例えば、移動物体として歩行者を対象とする場合に、形状属性が「子ども」の移動物体に対して、その移動物体の近傍の位置、同じ移動速度、かつ形状属性が「子ども」以外の移動物体が観測されていた場合、該当する形状属性「子ども」の移動物体のグループ属性を「保護者連れの子ども」とし、該当する形状属性「子ども以外」の移動物体のグループ属性を「子ども連れの保護者」とする。
なお、上記では、歩行者を対象とした例を挙げたが、これに限らず、車両を対象とした渋滞の判定、航空機を対象とした編隊の判定、船舶を対象とした船団の判定、動物を対象とした群れの判定等に用いてもよい。

物体属性判定部２２は、ステップＳＴ１５０５にて推定した移動物体の位置および移動速度と、ステップＳＴ１５０６にて判定した移動物体の形状属性と、ステップＳＴ１５０８にて判定した移動物体のグループ属性とを、属性付き融合データとして表示部１６および記録部１７に出力する。

なお、図１４における位置移動方向相関部１５の代わりに、実施の形態２で説明した移動方向仮説設定部１８と移動方向決定部１９によって移動物体の個数、位置、および、移動速度を推定してもよい。この場合、物体属性判定部２２は、移動方向決定部１９の出力をもとに、移動物体の形状属性およびグループ属性を判定する

このように、実施の形態３によれば、測距センサ２００の測距情報と、映像取得センサ３００の映像情報をもとにした移動物体の位置および移動速度と、測距センサ２００の測距情報から算出した移動物体の高さおよび幅を用いて、移動物体の属性を判定するように構成したため、映像取得センサ３００の解像度が低い場合や、低照度によって移動物体の輪郭が映像取得センサ上で不明瞭な場合においても、移動物体の分析に有用な属性を判定することができる。
このような構成は、例えば、歩行者における子どもの割合や、団体行動する歩行者の割合を推定する場合に有効である。歩行者の年齢構成あるいは混雑の原因となる団体歩行者の有無は、警備システムやイベント運営、市場分析等において、有用な情報であるが、可視光カメラ等の映像取得センサのみによって各歩行者の属性を判定するためには、歩行者の体の部位を映像上の輪郭から抽出する必要があり、低解像度の映像取得センサでは判定の精度が劣化する。例えば、子どもの歩行者を映像から抽出するためには、歩行者の頭部位置等を映像から抽出する必要があり、低解像度の映像からは困難である。

一方、この実施の形態３によれば、測距センサ２００によって取得した移動物体の高さおよび幅、また、測距センサ２００と映像取得センサ３００の観測結果を融合して得られた各移動物体の位置および移動速度を用いて移動物体の属性を判定するため、映像取得センサ３００の解像度が低く移動物体の輪郭が不明確な場合においても、誤った属性を判定する確率を減らすことができる。

また、測距センサ２００は、移動物体に対する奥行き方向の形状も観測できるため、映像取得センサ３００に比べ、移動物体の位置および速度にもとづく属性判定において誤った判定をする確率を減らすことができる。

なお、実施の形態１において、移動物体検出装置１００は、図４で示すような構成としたが、移動物体検出装置１００は、物体位置データ作成部１２と、画素移動方向データ作成部１４と、位置移動方向相関部１５とを備えることにより、上述したような効果が得られるものである。

ところで上記説明は、移動物体として歩行者を検出する場合について述べたが、移動物体として自動車、自転車、車椅子、鉄道車両、航空機、船舶、ヒト以外の動物、ロボット等を検出する場合についてもこの発明を利用できることは明らかである。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る移動物体検出装置は、１箇所に設置された１台のカメラと１台のレーザセンサとによって、移動物体の個数、位置、移動方向を精度よく推定することができるように構成したため、歩行者等の移動物体の個数、位置、および、移動方向を含む移動速度を推定する移動物体検出装置等に適用することができる。

１１ 測距データ取得部、１２ 物体位置データ作成部、１３ 映像取得部、１４ 画素移動方向データ作成部、１５ 位置移動方向相関部、１６ 表示部、１７ 記録部、１８ 移動方向仮説設定部、１９ 移動方向決定部、２０ 物体高さデータ作成部、２１ 物体属性判定部、５３，５４ 観測範囲、６１ 物体重心位置、６２，６５，６７ａ，６７ｂ，６７ｃ，６９ａ，６９ｂ，６９ｃ 画素速度、６３ 物体サイズ、６６ａ，６６ｂ，６６ｃ，６８ａ，６８ｂ，６８ｃ 物体位置推定値、１００，１００ａ，１００ｂ 移動物体検出装置、１０１ 測距センサ処理部、１０２ 映像取得センサ処理部、１０３ 融合処理部、２００ 測距センサ、３００ 映像取得センサ、５０１ 処理回路、５０２ ＨＤＤ、５０３ ディスプレイ、５０４ 入力インタフェース装置、５０５ 出力インタフェース装置、５０６ メモリ、５０７ ＣＰＵ。

Claims (5)

1. 測距センサで測定された測距情報に基づき、移動物体の位置座標を算出する物体位置データ作成部と、
   映像取得センサで撮影された映像情報に基づき、映像上の領域それぞれの推定移動方向を算出する画素移動方向データ作成部と、
   前記位置座標および前記推定移動方向に基づき、前記移動物体の個数および移動方向を推定する位置移動方向相関部
   とを備えた移動物体検出装置。
2. 測距センサで測定された測距情報に基づき、移動物体の位置座標を算出する物体位置データ作成部と、
   映像取得センサで撮影された映像情報に基づき、映像上の領域それぞれの推定移動方向を算出する画素移動方向データ作成部と、
   前記位置座標および前記推定移動方向に基づき、移動物体について、複数の移動方向仮説を設定する移動方向仮説設定部と、
   前記複数の移動方向仮説に基づき、前記移動物体の個数および移動方向を決定する移動方向決定部
   とを備えた移動物体検出装置。
3. 前記移動方向決定部は、
   前記複数の移動方向仮説の尤度をそれぞれ算出し、前記尤度に基づき前記移動物体の移動方向を決定する
   ことを特徴とする請求項２記載の移動物体検出装置。
4. 前記測距情報に基づき、前記移動物体の高さを算出する物体高さデータ作成部と、
   前記測距情報に基づき、前記移動物体の幅を算出する物体幅データ作成部と、
   前記移動物体の高さおよび幅と、前記移動物体が複数存在する場合は前記移動物体間の相対的な位置関係と、前記移動物体間の相対的な移動方向とに基づき、前記移動物体の属性を判定する物体属性判定部とをさらに備えた
   ことを特徴とする請求項１記載の移動物体検出装置。
5. 前記測距情報に基づき、前記移動物体の高さを算出する物体高さデータ作成部と、
   前記測距情報に基づき、前記移動物体の幅を算出する物体幅データ作成部と、
   前記移動物体の高さおよび幅と、前記移動物体が複数存在する場合は前記移動物体間の相対的な位置関係と、前記移動物体間の相対的な移動方向とに基づき、前記移動物体の属性を判定する物体属性判定部とをさらに備えた
   ことを特徴とする請求項２記載の移動物体検出装置。

Images