JP5434861B2 - 移動体検出装置及びプログラム - Google Patents

Description

本発明は、移動体を検出するための装置及びプログラムに関する。

従来、移動体検出装置としては、カメラの撮影画像に映る歩行者を検出する装置であって、撮影画像のサンプルから動きベクトルを抽出し、動きベクトルに対してパラメトリック固有空間法を適用し固有空間上に投影して得られる参照曲線のデータを予め生成する一方、歩行者検出対象の撮影画像から動きベクトルを抽出し、動きベクトルに対してパラメトリック固有空間法を適用して固有空間上に投影される投影点の情報を得て、この投影点と参照曲線との比較により撮影画像に映る歩行者を検出するものが知られている（特許文献１参照）。

また、撮影画像から特徴点の動きベクトルを算出し、各特徴点の動きベクトルから自車両に接近してくる複数の特徴点のまとまりを接近移動物体として検出し、モニタ上で、撮影画像における接近移動物体の画像領域を強調表示する装置（特許文献２参照）や、各特徴点の動きベクトルから移動ベクトルが略等しい複数の特徴点のまとまりを移動体として検出する装置（特許文献３参照）が知られている。

この他、撮影画像から特徴点を抽出する方法としては、Ｈａｒｒｉｓ法やＫＬＴ（Ｋａｎａｄｅ Ｌｕｃａｓ Ｔｏｍａｓｉ Ｔｒａｃｋｅｒ）法により特徴点を抽出する方法が知られている。ＫＬＴ法によれば抽出した特徴点を追跡して特徴点の動きベクトル（オプティカルフロー）を算出することも可能である。

更に、動きベクトルの算出方法としては、勾配法やブロックマッチング法が知られ、これらの技術を利用したものとしては、勾配法に基づき、撮影画像の遠距離に対応する領域の画素の動きベクトルを算出し、ブロックマッチング法に基づき、撮影画像の近距離に対応する領域の画素の動きベクトルを算出するものが知られている（特許文献４参照）。

また、複数の手法を用いて移動体を検出する方法としては、車両が停止していない場合には、ブロックマッチング法により算出した動きベクトルに基づき移動体を検出し、車両が停止している場合には、フレーム間の差分画像に基づき、移動体を検出する方法が知られている（特許文献５参照）。この他、移動体が画面上から消える消失点を検出して、その周囲を解析し移動体を検出するものが知られている（特許文献６参照）。

この他、カメラが搭載されたロボットにおけるカメラの位置及び姿勢を、撮影画像から抽出された特徴点群とモデルから特定される特徴点群とを比較することにより判定する装置であって、撮影画像から抽出された特徴点群とモデルから特定される特徴点群との二乗誤差を算出し、二乗誤差に基づき、撮影画像から抽出された特徴点群とモデルから特定される特徴点群との適合度を判定し、適合する場合にはモデルに対応する位置及び姿勢を、現在のカメラ位置及び姿勢として判定するものが知られている（特許文献７参照）。

また、画素ブロック単位で動き情報を取得して移動体を検出する装置であって、動きベクトルがあまり発生しない離れた位置にある歩行者等の移動体を検出するために、動き補償差分画像の二次元ＤＣＴ係数と動きベクトルとを併用して画像評価する装置が知られている（特許文献８参照）。

特開２００３−２８８６００号公報 特開２００５−１２３９６８号公報 特開２００５−１３２１７０号公報 特開２００７−１７２５４０号公報 特開２００９−１４６１５３号公報 特開２００９−１４３３８５号公報 特開平６−２６２５６８号公報 特開２００９−２７１７５８号公報

ところで、本発明者は、車載カメラの撮影画像から、撮影画像に現れる自動車や自転車等の移動体を迅速に検出できるようにすることを考えている。しかしながら、従来技術では、背景雑音による影響で、その検出能力向上に限界があった。

例えば、移動体検出対象の撮影画像から得られた特徴点群と、モデルやサンプルから得られる特徴点群とを比較して移動体を検出する場合について述べると、背景雑音がなくともモデルやサンプルから得られる特徴点群と移動体検出対象の撮影画像から得られる特徴点群とは正確に一致する類のものではないことから、背景雑音が含まれる場合に、モデルやサンプルから得られる特徴点群と移動体検出対象の撮影画像から得られた特徴点群との類似度を適切に評価するのは容易ではなく、従来技術では、特に撮影画像に現れ始めの移動体の検出を精度よく行うのが難しいといった問題があった。

一方、動きベクトルに基づいて移動体を検出する際には、撮影画像に現れ始めの移動体のような撮影画像内において動きの少ない移動体についての動きベクトルを精度よく抽出することが難しく、移動体が撮影画像に表れてから移動体を検出できるようになるまでに時間を要するといった問題があった。

本発明は、こうした問題に鑑みなされたものであり、カメラによる撮影画像から特徴点を抽出して移動体を検出する装置であって、高い検出能力を有する移動体検出装置、及び、当該移動体検出装置としての機能をコンピュータに実現させるためのプログラムを提供することを目的とする。

上記目的を達成するためになされた本発明の移動体検出装置は、カメラの撮影画像に映る移動体を検出する移動体検出装置であって、撮影画像において移動体が映る領域の位置情報と、この領域に移動体が存在する状態での撮影画像の当該領域における特徴点の空間分布が数値化されてなる空間分布特徴量と、が関連付けられたテンプレートデータを、記憶手段に記憶保持するものである。

この移動体検出装置は、更に、特徴点抽出手段と、領域設定手段と、空間分布特徴量算出手段と、確度判定手段と、移動体検出手段と、を備える。この移動体検出装置において、特徴点抽出手段は、カメラから取得した移動体検出対象の撮影画像から特徴点を抽出する。また、領域設定手段は、テンプレートデータが備える位置情報に基づき、位置情報が示す領域に対応した移動体検出対象の撮影画像内の領域を、評価領域に設定し、空間分布特徴量算出手段は、特徴点抽出手段により抽出された特徴点に基づき、移動体検出対象の撮影画像における領域設定手段により設定された評価領域の特徴点の空間分布を数値化した空間分布特徴量を算出する。

一方、確度判定手段は、移動体検出対象の撮影画像における上記評価領域にテンプレートデータに対応する移動体が存在する確度として、空間分布特徴量算出手段により算出された空間分布特徴量と、テンプレートデータが示す空間分布特徴量との類似度を算出し、移動体検出手段は、確度判定手段により算出された確度に基づき、移動体検出対象の撮影画像におけるテンプレートデータに対応する移動体の存在有無を判定する。これによって、移動体検出対象の撮影画像に映る移動体を検出する。尚、この移動体検出装置は、例えば、車載カメラの撮影画像に基づき移動体を検出する構成にすることができる。

本発明によれば、撮影画像から得られる特徴点とテンプレートデータとの比較により移動体を検出する際に、特徴点の空間分布を数値化した空間分布特徴量を用いる。従って、この発明によれば、背景雑音の影響を抑えて、撮影画像から得られる特徴点とテンプレートデータとの一致度を適切に評価することができ、移動体検出装置による移動体の検出能力を高めることができる。

即ち、テンプレートデータとして移動体の特徴点の各位置座標を表すデータを保持し、このテンプレートデータが示す各特徴点の位置座標と、移動体検出対象の撮影画像から得られた各特徴点の位置座標とを比較して移動体を検出する従来手法では、仮に背景雑音がない場合でも各特徴点の位置座標がテンプレートデータと移動体検出対象の撮影画像との間で正確に一致するわけではないので、背景雑音の影響を排除し辛く、撮影画像から得られる特徴点とテンプレートデータとの一致度を適切に評価することが難しかった。

一方、本発明によれば、特徴点の空間分布を、統計量等を用いて数値化するため、背景雑音の影響を抑えて、特徴点の分布をテンプレートデータとの間で評価して、高精度に移動体を検出することができる。更に言えば、特徴点の空間分布に基づき移動体を検出するため、遠方の移動体のような撮影画像内において動きの少ない移動体についても、高精度に検出することができる。

従って、本発明によれば、移動体検出装置を、撮影画像に現れる移動体を迅速に検出可能な高い検出能力を有した構成とすることができる。尚、このような特徴を生かして、本発明の移動体検出装置は、例えば、テンプレートデータとして、撮影画像内において移動体が出現する領域についての空間分布特徴量を記述したテンプレートデータを記憶手段に記憶保持し、撮影画像内において側方や正面遠方から出現する移動体を検出するように構成することができる。

また、上記空間分布特徴量は、空間分布を数値表現する領域を区画化して得られる各区画に存在する特徴点の数の夫々を要素とするベクトル量とすることができる（請求項２）。例えば、空間分布を数値表現する領域を十字に四分割することによって、右上、右下、左上、左下の区画に分割し、各区画の特徴点数の夫々を要素とする四次元ベクトルを構成することによって、空間分布を表現することが可能である。

また、移動体検出装置には、移動体検出対象の撮影画像から動きのある特徴点を抽出する第二特徴点抽出手段を設けて、空間分布特徴量算出手段は、特徴点抽出手段により抽出された特徴点及び第二特徴点抽出手段により抽出された動きのある特徴点に基づき、評価領域の空間分布特徴量として、移動体検出対象の撮影画像における評価領域での特徴点及び動きのある特徴点の空間分布を数値化した空間分布特徴量を算出する構成にされると一層好ましい。この場合、記憶手段には、空間分布特徴量として、位置情報が示す領域に移動体が存在する状態での撮影画像の当該領域における特徴点の空間分布及び動きのある特徴点の空間分布が数値化されてなる空間分布特徴量を示すテンプレートデータを格納することができる（請求項３）。

このように構成された移動体検出装置によれば、テンプレートデータと撮影画像とを比較して移動体を検出する際に、動きのある特徴点の空間分布の情報を用いるので、移動体を一層高精度に検出することができる。この場合、空間分布特徴量は、空間分布を数値表現する領域を区画化して得られる各区画に存在する特徴点の数及び動きのある特徴点の数の夫々を要素とするベクトル量とすることができる（請求項４）。

また、空間分布特徴量としてベクトル量を用いる場合、確度判定手段は、空間分布特徴量算出手段により算出された空間分布特徴量とテンプレートデータが示す空間分布特徴量との類似度を、二乗距離及びコサイン距離の少なくとも一方を指標にして算出する構成にすることができる（請求項５）。

この他、移動体検出装置は、離散コサイン変換（ＤＣＴ）により得られる二次元ＤＣＴ係数を用いて、撮影画像の評価領域に移動体が存在する確度を算出する構成にされてもよい。即ち、移動体検出装置は、移動体検出対象の撮影画像についてのフレーム差分画像を、予め定められたブロック単位で離散コサイン変換（ＤＣＴ）することで、フレーム差分画像の各ブロックにおける二次元ＤＣＴ係数を算出するＤＣＴ係数算出手段と、ＤＣＴ係数算出手段により算出された評価領域に対応する各ブロックの二次元ＤＣＴ係数に基づき、評価領域に移動体が存在する確度を算出する補助判定手段と、を備えた構成にすることができる。この場合、移動体検出手段は、確度判定手段により算出された確度及び補助判定手段により算出された確度に基づき、テンプレートデータに対応する移動体の存在有無を判定して、撮影画像に映る移動体を検出する構成にすることができる（請求項６）。

撮影画像に動きのある移動体が映っている場合には、例えば、フレーム差分画像に移動体の輪郭が現れるが、この輪郭がシャープに現れていれば、ＤＣＴ係数の交流成分が高い値を採る。従って、空間分布特徴量に加えて、このような二次元ＤＣＴ係数を用いて、移動体を検出すれば、移動体を一層高精度に検出することができる。

具体的に、補助判定手段は、評価領域に対応するブロック群について、ブロック毎に、当該ブロックの二次元ＤＣＴ係数における交流成分の和を交流成分電力として算出し、ブロック毎の交流成分電力に基づき、評価領域に移動体が存在する確度を算出する構成にすることができる（請求項７）。更に言えば、補助判定手段は、評価領域に移動体が存在する確度として、評価領域に対応するブロック群の全体に占める交流成分電力が閾値を超えるブロックの割合を算出する構成にすることができる（請求項８）。

この他、移動体検出装置は、主成分分析（ＰＣＡ）の手法を用いて、撮影画像に移動体が存在する確度を算出する構成にすることができる。移動体が映っている状態での時系列ベクトルのサンプルの主成分ベクトルを予め求めておき、移動体検出対象の撮影画像から得られた時系列ベクトルと、主成分ベクトルとにより主成分得点を算出して、撮影画像に移動体が存在する確度を算出するといった具合である。

例えば、補助判定手段は、評価領域に対応するブロック群について、ブロック毎に、当該ブロックの過去所定期間の二次元ＤＣＴ係数を時系列に配列してなる時系列ベクトルの主成分得点を、時系列ベクトルのサンプルから求められた主成分ベクトルに基づき算出し、算出したブロック毎の主成分得点に基づき、評価領域に移動体が存在する確度を算出する構成にすることができる。この場合には、移動体が映っている状態での時系列ベクトルのサンプルを主成分分析して求めた主成分ベクトルを格納した主成分ベクトル記憶手段を、移動体検出装置に設ける（請求項９）。このように移動体検出装置を構成する場合でも、高精度に移動体を検出することができる。

更に言えば、この場合の補助判定手段は、上記評価領域に移動体が存在する確度として、評価領域に対応するブロック群の全体に占める主成分得点が閾値を超えるブロックの割合を算出する構成にすることができる（請求項１０）。

この他、主成分分析の手法を用いる場合には、時系列ベクトルを二次元ＤＣＴ係数により構成する必要はない。即ち、撮像画像の特徴量に関する時系列ベクトルであれば、どのようなものであってもよい。一般化すると、上記補助判定手段は、「移動体検出対象の撮影画像に基づき、当該撮影画像の評価領域における過去所定期間の所定特徴量を時系列に配列してなる時系列ベクトルの主成分得点を、時系列ベクトルのサンプルから求められた主成分ベクトルに基づき算出し、算出した主成分得点に基づき、評価領域に移動体が存在する確度を算出する」構成にすることができる（請求項１１）。

ところで、上記評価領域として、テンプレートデータが備える位置情報が示す領域に一致する領域のみを設定すると、仮に、その領域においてカメラの視界を遮るような物体がある場合に、テンプレートデータに対応する移動体を検出することができなくなってしまう。

そこで、領域設定手段は、テンプレートデータが備える位置情報に基づき、位置情報が示す領域に一致する移動体検出対象の撮影画像内の領域及びその周囲の領域の夫々を、評価領域に設定する構成にされるとよい。また、移動体検出手段は、単一のテンプレートデータに対して評価領域毎に算出された確度に基づき、これら評価領域の内、移動体が存在する可能性の最も高い領域を最適な評価領域として抽出し、テンプレートデータに対して評価領域毎に算出された確度の内、当該最適な評価領域に対して算出された確度に基づき、テンプレートデータに対応する移動体の存在有無を判定して、移動体検出対象の撮影画像に映る移動体を検出する構成にすることができる（請求項１２）。

このように移動体検出装置を構成すれば、障害物に阻害されて移動体を検出することができなくなるのを抑えることができる。また、このように評価領域をテンプレートデータが有する位置情報が示す領域に一致する領域からずらす場合には、位置情報が示す領域と評価領域とのずれについても評価するために、空間分布特徴量に領域の位置情報を組み込むとよい。

即ち、確度判定手段は、評価領域にテンプレートデータに対応する移動体が存在する確度として、空間分布特徴量算出手段により算出された空間分布特徴量及びこの空間分布特徴量に対応する評価領域の位置パラメータを要素とするベクトル量と、テンプレートデータが示す空間分布特徴量及びテンプレートデータが備える位置情報が示す領域の位置パラメータを要素とするベクトル量との類似度を算出する構成にされるのがよい（請求項１３）。尚、位置パラメータは、評価領域が矩形領域である場合、領域内の所定点の位置座標及び領域の縦幅及び横幅により構成されてもよいし、四つ角夫々の位置座標により構成されてもよい。

この他、移動体検出装置は、障害物にカメラの視界を遮断されて移動体を検出することができなくなるのを抑えるため、次のように構成されてもよい。即ち、領域設定手段は、テンプレートデータが備える位置情報に基づき、位置情報が示す領域に一致する移動体検出対象の撮影画像の領域を、評価領域に設定し、再設定の指示が入力された場合には、移動体検出対象の撮像画像における二次元ＤＣＴ係数に基づき、評価領域の位置を調整して、評価領域を再設定する構成にされ、移動体検出手段は、位置情報が示す領域に一致する評価領域に対して補助判定手段が算出した確度が閾値未満である場合には、再設定の指示を入力し、再設定された評価領域に対して確度判定手段が算出した確度、又は、再設定された評価領域に対して確度判定手段及び補助判定手段の夫々が算出した確度に基づき、テンプレートデータに対応する移動体の存在有無を判定して、移動体検出対象の撮影画像に映る移動体を検出する構成にされてもよい（請求項１４）。

この他、撮影画像内において左右対称の関係にある移動体が映る領域のテンプレートデータとしては、これらの領域に共通するテンプレートデータであって、位置情報及び空間分布特徴量として、左右対称の関係にある移動体が映る領域の一方についての位置情報及び空間分布特徴量を記述したデータを記憶手段に格納するとよい。このようにテンプレートデータを共通化すれば、記憶手段に対するデータ格納量を抑えることができる。尚、上記共通するテンプレートデータに基づいて、左右対称の関係にある移動体が映る領域の内、位置情報及び空間分布特徴量がテンプレートデータに記述されていない領域に対応する評価領域の確度を算出する際には、左右対称の関係に従って、テンプレートデータが示す位置情報及び空間分布特徴量を読み変えて、確度を算出すればよい（請求項１５）。

また、記憶手段には、移動体の種類毎に、位置情報と、当該種類の移動体が位置情報に対応する領域に映る状態での当該領域における空間分布特徴量と、が関連付けられたテンプレートデータを格納することができる（請求項１６）。このようにテンプレートデータを記憶手段に格納し、移動体検出対象の撮影画像に映る移動体を検出する際には、移動体の種類毎に、当該移動体の種類のテンプレートデータに基づき確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定すれば、形状の異なる複数種類の移動体の夫々を高精度に検出することができる。

また、移動体検出装置は、上述したように、自動車等の車両に搭載されて、車載カメラの撮影画像に基づき移動体を検出する構成にすることができ、この場合、記憶手段には、道路環境毎に、当該道路環境において移動体が映る領域夫々のテンプレートデータを格納することができる（請求項１７）。このようにテンプレートデータを記憶手段に格納して、移動体検出対象の撮影画像に映る移動体を検出する際には、移動体検出対象の撮影画像に映る道路環境を特定し、当該特定した道路環境に対応するテンプレートデータ毎に、当該テンプレートデータに対応する確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定することで、テンプレートデータの一群の中から、道路環境に対応したテンプレートデータを選択的に用いて効率的に移動体を検出することができる。

具体的に、記憶手段には、道路環境毎のテンプレートデータとして、交差点の種類毎に、当該種類に対応する交差点がカメラにより撮影されている環境でのカメラの撮影画像において移動体が映る領域夫々についてのテンプレートデータを格納することができる（請求項１８）。このようにテンプレートデータを記憶手段に格納して、移動体検出対象の撮影画像に映る移動体を検出する際には、移動体検出対象の撮影画像に映る交差点の種類を特定して、当該特定した交差点の種類に対応するテンプレートデータ毎に、当該テンプレートデータに対応する確度を算出し、当該テンプレートデータに対応する移動体の存在有無を判定することで、カメラに映る交差点の種類に対応したテンプレートデータを選択的に用いて効率的に移動体を検出することができる。

尚、交差点の種類の特定については、移動体検出装置に、現在位置の情報を取得する現在位置取得手段と、交差点の位置及び交差点の種類の情報が関連付けられた地図データを記憶する地図データ記憶装置（外部サーバ装置や自装置の記録媒体等）から地図データを取得する地図データ取得手段とを設けることで、実現可能である。

また、記憶手段には、移動体の三次元位置及び移動体の三次元姿勢に関する情報を、更に位置情報及び空間分布特徴量に関連付けたテンプレートデータを格納すると、移動体検出の際に、移動体の三次元位置及び姿勢を特定することができて便利である。例えば、検出した移動体の三次元位置（例えば交差点までの距離）や姿勢（例えば、右折中である等の姿勢）をユーザに報知すれば、当該移動体との衝突回避に役立てることができる。

尚、上述した移動体検出装置（請求項１〜請求項１９）が備える記憶手段を除く各手段としての機能は、プログラムによりコンピュータに実現させることができる（請求項２０）。また、当該プログラムは、記録媒体に記録されてユーザに提供されてもよい。

移動体検出装置１の構成を表すブロック図である。 解析ユニット５０が実行する各処理をブロック化して示した概略図である。 撮影画像から抽出される特徴点の分布の一例を示す図である。 記憶装置４０が記憶するテンプレートデータ群の構成（ａ）及びテンプレートデータの詳細構成（ｂ）を表す図である。 解析ユニット５０が実行するフレーム差分画像解析処理を表すフローチャートである。 解析ユニット５０が実行する移動体検出処理を表すフローチャートである。 解析ユニット５０が実行する類似度評価処理を表すフローチャートである。 障害物により視界が遮られているときの移動体の出現例を示した図（ａ）及び移動体検出対象領域Ωの調整方法に関する説明図（ｂ）である。 左右共通のテンプレートデータの読み替えに関する説明図である。 移動体検出処理（変形例）を表すフローチャートである。 移動体検出対象領域Ωの調整方法（変形例）に関する説明図である。 変形例の解析ユニット５０が実行するアクティビティ算出処理（ａ）及び総評値算出処理（ｂ）を表すフローチャートである。 領域の分割方法（変形例）に関する説明図である。

以下に本発明の実施例について、図面と共に説明する。
図１は、本発明が適用された移動体検出装置１の構成を表すブロック図である。本実施例の移動体検出装置１は、自動車等の車両に搭載されて使用されるものであり、カメラ１０と、位置検出器２０と、表示装置３０と、記憶装置４０と、解析ユニット５０と、を備える。カメラ１０は、車両前方を広い範囲で撮影可能な広角カメラで構成され、フレームデータ（静止画像データ）の列により構成される動画データを、撮影画像を表すデータとして出力する。一方、位置検出器２０は、ＧＰＳ衛星からの衛星信号を受信するＧＰＳ受信機、車輪の回転から自車の走行距離を検出する距離センサ及び方位センサ等のセンサ類の複数により構成され、これらセンサ類から得られる信号に基づき、自車の位置及び進行方位を検出する。また、表示装置３０は、車両の運転席近傍に取り付けられ、各種情報を車両運転者に提供するものであり、例えば、液晶ディスプレイで構成される。

また、記憶装置４０は、カメラ１０の撮影画像から移動体を検出するのに必要な各種データを記憶するものである。この記憶装置４０は、国内の道路網における各交差点の位置及び属性情報が記述された道路地図データを有する。属性情報としては、例えば、交差点の種類を表す情報が記述される。この他、記憶装置４０は、移動体が映っている状態での撮影画像の特徴点に関する情報が記述されたテンプレートデータの一群を記憶する（詳細後述）。

また、解析ユニット５０は、各種演算処理を実行してカメラ１０の撮影画像に映る移動体を検出するものである。この解析ユニット５０は、例えば、専用回路にて構成される。この他、解析ユニット５０は、ＣＰＵ５１、ＲＯＭ５３及びＲＡＭ５５等を備え、ソフトウェアにより移動体の検出に必要な処理を実行する構成にされてもよい。即ち、解析ユニット５０は、ＲＯＭ５３が記憶するプログラムに基づく演算処理をＣＰＵ５１が実行することにより、移動体検出に係る機能を実現する構成にすることができる。

続いて、図２を用いて、解析ユニット５０により実行される処理を概略的に説明する。図２は、解析ユニット５０により実行される各処理をブロック化して概略的に示した図である。本実施例の移動体検出装置１において、解析ユニット５０は、カメラ１０から入力されるフレームデータが示す撮影画像の特徴点を抽出する特徴点抽出処理を、カメラ１０からフレームデータが入力される度に実行する（特徴点抽出処理ブロックＢ１）。

特徴点の抽出方法については、様々なものが知られているが、例えば、ＫＬＴ（Ｋａｎａｄｅ Ｌｕｃａｓ Ｔｏｍａｓｉ Ｔｒａｃｋｅｒ）法に採用されたＨａｒｒｉｓオペレータを用いて特徴点を抽出することができる。この手法を用いると、撮影画像におけるエッジやコーナ部分において多くの特徴点が抽出される。図３には、撮影画像における特徴点の例を、白丸で示す。但し、特徴点の抽出に関しては、エッジやコーナ部分に特徴点が表れる手法であれば、ＫＬＴ法に限らず様々な手法を採用することができる。

特徴点抽出後、解析ユニット５０は、今回のフレームデータから抽出された特徴点と前回フレームデータから抽出された特徴点との比較により、これら特徴点についてのオプティカルフローを算出する（オプティカルフロー算出処理ブロックＢ２）。そして、算出したオプティカルフローに基づき、今回入力されたフレームデータから動きのある特徴点を抽出する（動きのある特徴点の抽出処理ブロックＢ３）。具体的には、オプティカルフローに基づき、動き量が閾値以上の特徴点を、動きのある特徴点として抽出すればよい。

その後、解析ユニット５０は、移動体検出処理を実行し、今回抽出された特徴点及び動きのある特徴点の情報と、記憶装置４０が記憶するテンプレートデータが示す移動体が存在する状態での特徴点及び動きのある特徴点の情報とを比較して、フレームデータが示す撮影画像に映る移動体を検出する（移動体検出処理ブロックＢ５）。

図４（ａ）に示すように、記憶装置４０には、交差点の種類毎に、カメラ１０が当該種類の交差点を撮影している場合に用いるべきテンプレートデータ群（以下「第一テンプレートデータ群」と表現する。）が記憶されている。更に、交差点の種類毎の第一テンプレートデータ群は、検出対象の移動体の三次元位置及び三次元姿勢に応じたテンプレートデータの一群を、移動体の種類毎に有する。以下、第一テンプレートデータ群を移動体の種類毎に分類して得られる、移動体の種類毎のテンプレートデータ群を「第二テンプレートデータ群」と表現する。即ち、交差点の種類及び移動体の種類毎に設けられる第二テンプレートデータ群は、該当種類の交差点を移動する該当種類の移動体の三次元位置及び三次元姿勢に応じた複数のテンプレートデータを有する。

そして、上記第二テンプレートデータ群を構成するテンプレートデータの夫々は、図４（ｂ）に示すように、該当する種類の交差点が映るカメラ１０の撮影画像において該当する種類の移動体が映る矩形領域の位置情報と、その位置情報が示す領域に移動体が映っている状態での当該領域における特徴点の空間分布を数値化した空間分布特徴量Ｖｎに関する情報と、その位置情報が示す領域に移動体が映っている状態での当該領域における動きのある特徴点の空間分布を数値化した空間分布特徴量Ｖｍに関する情報と、このテンプレートデータに対応する移動体の三次元位置として移動体が存在する地点から交差点中央までの距離Ｌを表す三次元位置情報と、当該移動体の三次元姿勢を表す三次元姿勢情報と、移動体の色情報と、が記述されたデータとして構成されている。

具体的に、移動体が映る矩形領域の位置情報は、撮影画像における該当領域の縦方向及び横方向の位置座標と、該当領域の縦幅（高さ）及び横幅と、を表す情報からなる。また、空間分布特徴量Ｖｎに関する情報は、位置情報が示す矩形領域を十字に四分割して得られる右上、右下、左上及び左下の各区画における特徴点数が記述された情報として構成されている。同様に、空間分布特徴量Ｖｍに関する情報は、位置情報が示す矩形領域を十字に四分割して得られる右上、右下、左上及び左下の各区画における動きのある特徴点の数が記述された情報として構成されている。

この空間分布特徴量Ｖｎ，Ｖｍに関する情報については、予め移動体検出装置１の設計者が、移動体検出装置１の使用を想定してカメラ１０から撮影画像のサンプルを取得し、上記位置情報が示す領域に、対応する種類の移動体が映っているときの特徴点及び動きのある特徴点の数をカウントして、テンプレートデータに記述する。サンプルを複数取得してテンプレートデータを作成する場合には、特徴点数についての平均やばらつきを評価して、テンプレートデータに記述する空間分布特徴量としてふさわしい値を導き出し、これをテンプレートデータに空間分布特徴量として記述してもよい。

また、テンプレートデータに記述される上記三次元位置情報は、当該テンプレートデータの生成に用いた撮影画像のサンプルに映る移動体が存在する地点から交差点中央までの三次元空間（現実空間）上の距離Ｌを表すものであり、三次元姿勢情報は、当該テンプレートデータの生成に用いた撮影画像のサンプルに映る移動体の三次元姿勢を表すものである。具体的に、三次元姿勢情報は、自車を基準にした移動体の三次元姿勢を表し、「右から接近」「右から右折」「直進」等の情報によって構成される。

尚、第一テンプレートデータ群については、「交差点の種類」毎として、五差路、四差路、三差路等の交差点の形状毎に、記憶装置４０に設けることができるが、原点対称ではない三差路等の交差点では、進入路に応じて、カメラ１０から見える道路環境（交差点形状）が異なる。即ち、原点対称でない形状の交差点については、進入路を基準に交差点の向きまで考慮すると、更に複数の形状に分類できる。従って、記憶装置４０には、交差点への進入路を基準にした交差点の向きまでも考慮した「交差点の種類」毎に、第一テンプレートデータ群を設ける。

また、第二テンプレートデータ群については、「移動体の種類」毎として、例えば、トラックやセダン、バイク、自転車等の形状の異なる車両の種類毎に記憶装置４０に設けることができる。そして「移動体」には「人物」も含ませることができる。即ち、記憶装置４０には、成人、子供等の大きさの異なる人物の種類毎に、第二テンプレートデータ群を設けることができる。

この他、記憶装置４０には、テンプレートデータとして、撮影画像内の移動体が出現する領域についての位置情報及び空間分布特徴量Ｖｍ，Ｖｎを記述したテンプレートデータを格納することができる。即ち、交差点の中心から延びる各道路がカメラ１０の撮影可能領域（撮影画像）から外れる領域周辺を、移動体が映る領域の位置情報として記述したテンプレートデータの一群を、記憶装置４０に記憶させることができる。本実施例では、このようなテンプレートデータ群を記憶装置４０に格納することにより、側方や前方遠く等から出現する移動体（図３及び図８（ａ）参照）を迅速に検出できるように、移動体検出装置１を構成する。

移動体検出処理の説明に戻ると、移動体検出処理では、位置検出器２０から得られる自車の位置及び進行方位並びに道路地図データに基づき、カメラ１０が撮影する交差点の種類を特定する。ここでは、交差点への進入路についても考慮した上述の「交差点の種類」を特定する。そして、特定した「交差点の種類」に対応した第一テンプレート群に属するテンプレートデータの夫々について、このテンプレートデータが示す空間分布特徴量Ｖｎ，Ｖｍと、このテンプレートデータの位置情報が示す領域に対応する今回入力されたフレームデータの撮影画像領域の空間分布特徴量Ｖｎ，Ｖｍと、を比較することにより、テンプレートデータに対応する移動体が存在する確度を評価し、移動体を検出する。

この際には、フレーム差分画像解析処理（フレーム差分画像解析処理Ｂ４）にて得られた前回フレームデータが示す撮影画像と今回入力されたフレームデータが示す撮影画像との差分画像（以下、「フレーム差分画像」と表現する。）の二次元ＤＣＴ係数によっても、テンプレートデータの位置情報が示す領域に対応する今回入力されたフレームデータの撮影画像領域に移動体が存在する確度を評価し、空間分布特徴量Ｖｎ，Ｖｍから得られた上記確度、及び、二次元ＤＣＴ係数から得られた上記確度を総合的に評価し、移動体の存在有無を判定し、移動体を検出する。

続いて、上述したフレーム差分画像解析処理及び移動体検出処理の詳細を、図５及び図６を用いて説明する。図５は、フレームデータが入力される度に、解析ユニット５０が実行するフレーム差分画像解析処理を表すフローチャートである。フレーム差分画像解析処理では、まず、前回入力されたフレームデータ及び今回入力されたフレームデータに基づき、これらのフレーム差分画像を表すフレーム差分画像データを生成する（Ｓ１１０）。その後、ブロック画素番号を表す変数ｋを、ｋ＝１に初期化する（Ｓ１２０）。更に、フレーム差分画像におけるｋ番目のブロック画素を処理対象ブロック画素に選択する（Ｓ１３０）。尚、ここでは、フレーム差分画像全体を縦横８画素単位で分割して得られる８×８画素のブロックを、ブロック画素の単位として、フレーム差分画像全体を構成するＫ個のブロック画素の内、ｋ番目のブロック画素を処理対象ブロック画素に選択する。

そして、フレーム差分画像データにおける処理対象ブロック画素に対応する領域を離散コサイン変換（ＤＣＴ）することにより、８×８個の配列からなる二次元ＤＣＴ係数を算出する（Ｓ１４０）。以下では、二次元ＤＣＴ係数の各要素の値を配列Ｃｄ［ｉ，ｊ］で表現し、二次元ＤＣＴ係数の直流成分を第０行第０列の要素の値Ｃｄ［０，０］で表現する。ｉ，ｊは、０から７までの値を採る。

また、処理対象ブロック画素の二次元ＤＣＴ係数を算出すると、解析ユニット５０は、この処理対象ブロック画素の二次元ＤＣＴ係数に基づき、処理対象ブロック画素である第ｋブロック画素の交流成分電力Ａｐ（ｋ）を、次式に従って算出する（Ｓ１５０）。

即ち、第ｋブロック画素における二次元ＤＣＴ係数の交流成分（絶対値）の和を、交流成分電力Ａｐ（ｋ）として算出する。
更に、交流成分電力Ａｐ（ｋ）を予め定められた閾値Ｔｈ＿Ａｐと比較して二値化することにより、ＡＣインデックスＩＤＸ１（ｋ）を算出する（Ｓ１６０）。即ち、Ａｐ（ｋ）＞Ｔｈ＿Ａｐである場合には、ＩＤＸ１（ｋ）＝１を算出し、Ａｐ（ｋ）≦Ｔｈ＿Ａｐである場合には、ＩＤＸ１（ｋ）＝０を算出する。

その後、解析ユニット５０は、全ブロック画素についてＡＣインデックスＩＤＸ１（ｋ）の算出が完了したか否かを判断し（Ｓ１７０）、完了していなければ（Ｓ１７０でＮｏ）、ｋを１加算して（Ｓ１８０）、次のブロック画素についてのＡＣインデックスＩＤＸ１（ｋ）を算出する（Ｓ１３０〜Ｓ１６０）。そして、全ブロック画素についてＡＣインデックスＩＤＸ１（ｋ）の算出が完了すると（Ｓ１７０でＹｅｓ）、当該フレーム差分画像解析処理を終了する。

一方、解析ユニット５０は、カメラ１０からフレームデータが入力される度に、上述の移動体検出処理として図６に示す処理を実行する。具体的に、この処理では、フレームデータが入力される度に、当該入力されたフレームデータが示す撮影画像（以下、「解析対象フレーム」と表現する。）を解析して移動体を検出する。但し、本実施例の移動体検出装置１は、交差点への進入の際に、その周囲に位置する移動体（特に側方から到来する移動体）を検出することを目的としたものであるため、交差点から離れたエリアに自車が存在する場合、この移動体検出処理は休止される。自車位置と交差点との位置関係は、位置検出器２０から得られる自車の位置及び進行方位並びに道路地図データに基づいて判断される。

さて、移動体検出処理を開始すると、解析ユニット５０は、上述したように、位置検出器２０から得られる自車の位置及び進行方位並びに道路地図データに基づいて、カメラ１０が撮影する交差点の種類を特定する（Ｓ２１０）。その後、処理対象の移動体種類番号を表す変数Ｍを１に初期化し（Ｓ２２０）、処理対象のテンプレート番号を表す変数Ｎを１に初期化する（Ｓ２３０）。

この処理を終えると、解析ユニット５０は、Ｓ２１０で特定した交差点の種類に対応する第一テンプレート群に属し、変数Ｍが示す番号に対応する移動体種類の第二テンプレート群の中から、変数Ｎが示すテンプレート番号に対応したテンプレートデータを読み出し、このテンプレートデータを処理対象のテンプレートデータに設定する（Ｓ２４０）。更に、処理対象テンプレートデータが示す位置情報、空間分布特徴量Ｖｎ，Ｖｍに基づき、特徴点分布ベクトルＶｓを算出する（Ｓ２５０）。

Ｖｓ＝（Ｒ，Ｖｎ，Ｖｍ）
ここで、Ｒは、位置情報が示す領域の縦位置ｐ１、横位置ｐ２、縦幅ｄ１及び横幅ｄ２を要素とするベクトル量である。

Ｒ＝（ｐ１，ｐ２，ｄ１，ｄ１）
更に付言すると、空間分布特徴量Ｖｎは、処理対象テンプレートデータが示す右上区画での特徴点数ｖｎ１、右下区画での特徴点数ｖｎ２、左上区画での特徴点数ｖｎ３、及び、左下区画での特徴点数ｖｎ４を要素とする四次元のベクトル量Ｖｎ＝（ｖｎ１，ｖｎ２，ｖｎ３，ｖｎ４）であり、空間分布特徴量Ｖｍは、処理対象テンプレートデータが示す右上区画での動きのある特徴点数ｖｍ１、右下区画での動きのある特徴点数ｖｍ２、左上区画での動きのある特徴点数ｖｍ３、及び、左下区画での動きのある特徴点数ｖｍ４を要素とする四次元のベクトル量Ｖｍ＝（ｖｍ１，ｖｍ２，ｖｍ３，ｖｍ４）である。従って、特徴点分布ベクトルＶｓは、具体的に次の１２次元ベクトルで表される。

Ｖｓ＝（ｐ１，ｐ２，ｄ１，ｄ２，ｖｎ１，ｖｎ２，ｖｎ３，ｖｎ４，ｖｍ１，ｖｍ２，ｖｍ３，ｖｍ４）
また、Ｓ２５０で特徴点分布ベクトルＶｓを算出すると、解析ユニット５０は、処理対象テンプレートデータの三次元位置情報が示す距離Ｌを、これから検出する移動体の交差点中央までの距離であると推定し（Ｓ２６０）、更に、処理対象テンプレートデータの位置情報が示す領域に一致する解析対象フレーム内の領域を、移動体検出対象領域Ωに設定する（Ｓ２７０）。以下では、処理対象テンプレートデータの位置情報が示す領域に一致する解析対象フレーム内の領域をテンプレート基準領域Ω０とも表現する。

そして、この移動体検出対象領域Ωにおける各区画の特徴点数及び動きのある特徴点数をカウントし、上記特徴点分布ベクトルＶｓと同様のベクトル量であって、移動体検出対象領域Ωについての特徴点分布ベクトルＶｒを算出する（Ｓ２８０）。

Ｖｒ＝（Ｒ^*，Ｖｎ^*，Ｖｍ^*）
ここで、Ｒ^*は、解析対象フレームにおける移動体検出対象領域Ωの縦位置、移動体検出対象領域Ωの横位置、移動体検出対象領域Ωの縦幅、及び、移動体検出対象領域Ωの横幅を要素とするベクトル量である。また、Ｖｎ^*は、解析対象フレームにおける移動体検出対象領域Ωでの特徴点の空間分布特徴量であり、本実施例では移動体検出対象領域Ωの右上区画（図３参照）での特徴点数、右下区画での特徴点数、左上区画での特徴点数、及び、左下区画での特徴点数を要素とする四次元のベクトル量である。また、Ｖｍ^*は、解析対象フレームにおける移動体検出対象領域Ωでの動きのある特徴点の空間分布特徴量であり、本実施例では移動体検出対象領域Ωの右上区画での動きのある特徴点数、右下区画での動きのある特徴点数、左上区画での動きのある特徴点数、及び、左下区画での動きのある特徴点数を要素とする四次元のベクトル量である。

Ｓ２８０にて移動体検出対象領域Ωについての特徴点分布ベクトルＶｒを算出すると、解析ユニット５０は、Ｓ２９０に移行して図７に示す類似度評価処理を実行し、テンプレートデータから算出した特徴点分布ベクトルＶｓと、移動体検出対象領域Ωの特徴点分布ベクトルＶｒとの類似度Ｇを算出する。これによって、移動体検出対象領域Ωにテンプレートデータに対応する移動体が存在する確度を、特徴点及び動きのある特徴点の分布を指標に評価する。

類似度評価処理を開始すると、解析ユニット５０は、まず、テンプレートデータから算出した特徴点分布ベクトルＶｓと、移動体検出対象領域Ωの特徴点分布ベクトルＶｒとの二乗距離Ｅ及びコサイン距離Ｆを算出する（Ｓ２９１，Ｓ２９３）。

そして、二乗距離Ｅ及びコサイン距離Ｆに基づいて、ベクトル間の類似度Ｇを次式に従って算出する（Ｓ２９５）。

尚、二乗距離Ｅ及びコサイン距離Ｆの両者を用いて、ベクトル間の類似度Ｇを算出するのは、次の理由からである。即ち、二乗距離Ｅ単体で、ベクトル間の類似度ＧをＧ＝１／（１＋Ｅ）で評価すると、特徴点数の変動が類似度の変動に大きく表れ、特徴点数は多いがテンプレートデータとわずかな差がある場合の類似度が過剰に低く評価されてしまう一方、コサイン距離Ｆ単体で、ベクトル間の類似度ＧをＧ＝Ｆ評価すると、特徴点数の多さに関する情報が類似度に反映されないため、特徴点数についてテンプレートデータと乖離のある場合でも類似度が高く評価されてしまうケースがあるためである。本実施例では、このような理由から夫々の弱点を補完できるように、上式に従って、ベクトル間の類似度Ｇを算出する。尚、上式にて算出される類似度Ｇは、ＶｒとＶｓが一致するとき、Ｅ＝０となりＦ＝１となるため、Ｇ＝１となる。即ち、類似度Ｇは、最大値１を採り、類似度の評価が高い程大きな値を採る。

また、このようにして類似度Ｇを算出した後には、算出した類似度Ｇを、移動体検出対象領域Ω内の総特徴点数Ｎｐ、推定した移動体から交差点までの距離Ｌ（Ｓ２６０参照）、及び、移動体検出対象領域Ωの面積Ａに基づいて補正する。

詳述すると、移動体検出対象領域Ω内の画質が良い場合には、移動体検出対象領域Ω内の総特徴点数Ｎｐが多くなる傾向にあり、総特徴点数が多ければ、特徴点分布ベクトルの信頼度は高いといえる。そこで、ここでは、移動体検出対象領域Ω内の総特徴点数Ｎｐに基づく類似度Ｇの補正係数α１を、α１＝Ｎｐ／Ｎ０に決定する。尚、Ｎ０は、移動体検出対象領域Ω内の総特徴点数Ｎｐについての基準値であり、設計者によって予め定められる。具体的には、移動体の交差点までの距離Ｌが基準距離Ｌ０（例えば２０ｍ）であるときに得られる移動体検出対象領域Ω内の平均的な総特徴点数に定められる。

更に、移動体検出対象領域Ω内の特徴点数は、移動体が交差点に近づくほど増える傾向があるため、交差点までの距離Ｌに基づく類似度Ｇの補正係数α２を、α２＝Ｌ０／Ｌに決定する。ここでのＬ０は、Ｎ０を定める際に用いた基準距離Ｌ０と同一である。

更に、移動体検出対象領域Ωについては、移動体の大きさなどにも依存する。そこで、移動体検出対象領域Ωの面積Ａに基づく類似度Ｇの補正係数α３を、α３＝Ａ／Ａ０に決定する。ここでのＡ０は、基準距離Ｌ０であるときの移動体検出対象領域Ωの面積についての基準値であり、設計者により予め定められる。

そして、これら補正係数α１，α２，α３の平均を、代表する補正係数αとして用いて類似度Ｇに作用させることにより、次式のように、類似度Ｇを補正する。ここでは、補正後の類似度をＧ^*と表現する。

また、このようにして類似度Ｇを補正した後には、Ｓ３００に移行し、解析対象フレームとそれより一つ前のフレームの差分画像（以下、「解析対象差分画像」と表現する。）から生成された上記ブロック画素毎のＡＣインデックスＩＤＸ１（ｋ）に基づき、解析対象差分画像のブロック画素群の内、移動体検出対象領域Ωに位置するブロック画素群のＡＣインデックスＩＤＸ１（ｋ）の平均（以下「ＤＣＴアクティビティ」と表現する。）を算出する。これによって、二次元ＤＣＴ係数を指標に、移動体検出対象領域Ωに移動体が存在する確度を評価する。

ここで、解析対象差分画像のブロック画素群の内、移動体検出対象領域Ωに位置するブロック画素群が、Ｋ^*個（ｋ^*＝１，…，Ｋ^*）のブロック画素群である環境では、ＤＣＴアクティビティＹ１は、次式で求められる。

尚、ＤＣＴアクティビティは、その計算から移動体検出対象領域Ωに対応するブロック画素群の全体に占める交流成分電力Ａｐが閾値を超えるブロック画素の割合を表すものとも言える。

また、この処理を終えると、解析ユニット５０は、移動体検出対象領域Ωに処理対象テンプレートデータに対応する移動体が存在する確度を、Ｓ２９０で算出した類似度Ｇ^*及びＳ３００で算出したＤＣＴアクティビティＹ１に基づき、総合評価する（Ｓ３１０）。

具体的には、類似度Ｇ^*及びＤＣＴアクティビティＹ１の加重平均を、移動体検出対象領域Ωに移動体が存在する確度についての総評値Ｐとして算出する。

尚、ここでＴは転置を表す。また、重み付け係数ｗ１，ｗ２については、設計者が任意に定めることができる。
また、この処理を終えると、解析ユニット５０は、テンプレート基準領域Ω０周辺の局所探索が完了したか否かを判断する（Ｓ３２０）。ここで、「局所探索」について説明すると、本実施例の移動体検出装置１は、カメラ１０の撮影画像内において出現する移動体を迅速に検出しようとするものであるが、移動体検出対象領域Ωとしてテンプレート基準領域Ω０を設定し、この移動体検出対象領域Ωに移動体が存在する確度を評価する程度では、図８（ａ）に示すように障害物により視界が阻害されて、移動体の出現位置が変化した場合に、十分に対応することができない。尚、図８（ａ）は、テンプレート基準領域Ω０に停止車両が存在することで、側方右側遠方から到来する自動車の撮影画像内での出現位置が変化してしまう例を示した図である。

そこで、本実施例では、図８（ｂ）に示すように、テンプレート基準領域Ω０の周辺領域についても、この領域を移動体検出対象領域Ωに設定し、移動体検出対象領域Ωに移動体が存在する確度を評価する。即ち、ここで言う「局所探索」とは、テンプレート基準領域Ω０の周辺領域についての確度（総評値Ｐ）を算出する動作のことである。そして、「局所探索が完了したか否か」の判断とは、テンプレート基準領域Ω０を基準とした所定範囲の領域（即ち周辺領域）を、予め決められたルールで移動体検出対象領域Ωの縦位置、横位置、縦幅及び横幅を変更しながら、各変更後の移動体検出対象領域Ωについての総評値Ｐ（当該移動体検出対象領域Ωに移動体が存在する確度）を算出したか否かを判断することを言う。

ここで「局所探索」が完了していないと判断すると（Ｓ３２０でＮｏ）、解析ユニット５０は、テンプレート基準領域Ω０を基準に、予め決められたルールで移動体検出対象領域Ωの位置（縦位置及び横位置）並びに幅（縦幅及び横幅）を変更して（Ｓ３３０）、Ｓ２８０に移行し、変更後の移動体検出対象領域Ωの特徴点分布ベクトルＶｒを算出して（Ｓ２８０）、その後、この特徴点分布ベクトルＶｒとテンプレートデータの特徴点分布ベクトルＶｓとの類似度Ｇ^*を算出し（Ｓ２９０）、更に、上記変更後の移動体検出対象領域ΩについてのＤＣＴアクティビティＹ１を算出し（Ｓ３００）、この類似度Ｇ^*及びＤＣＴアクティビティＹ１を用いて、変更後の移動体検出対象領域Ωに移動体が存在する確度についての総評値Ｐを算出する（Ｓ３１０）。

そして、予め定められた範囲で移動体検出対象領域Ωを変更し、これらの移動体検出対象領域Ωについての総評値Ｐを算出すると、「局所探索」が完了したと判断して（Ｓ３２０でＹｅｓ）、Ｓ３４０に移行する。尚、移動体検出対象領域Ωの変更による「局所探索」は、例えば、テンプレート基準領域Ω０から、縦位置を前後に所定量刻みで規定位置まで変更する動作、横位置を左右に所定量刻みで規定位置まで変更する動作、縦幅を拡大する方向に所定量刻みで規定幅まで変更する動作、横幅を拡大する方向に所定量刻みで規定幅まで変更する動作の夫々を、全通り実行し、各移動体検出対象領域Ωについての総評値Ｐを算出することにより実現することができる。

また、Ｓ３４０に移行すると、解析ユニット５０は、テンプレート基準領域Ω０での総評値Ｐ、及び、「局所探索」により得られたテンプレート基準領域Ω０から変更した各移動体検出対象領域Ωでの総評値Ｐに基づき、処理対象テンプレートデータに対応する移動体検出対象領域Ωとして最適な領域を選択し、この領域について算出した総評値Ｐを、処理対象テンプレートデータに対応する移動体が存在する確度についての総評値Ｐであると最終判定する。

具体的には、テンプレート基準領域Ω０での総評値Ｐ、及び、「局所探索」により得られたテンプレート基準領域Ω０から変更した各移動体検出対象領域Ωでの総評値Ｐの内、最も高い総評値Ｐに対応する領域を最適な移動体検出対象領域Ωとして選択し、当該最も高い総評値Ｐを処理対象テンプレートデータに対応する移動体が存在する確度についての総評値Ｐであると最終判定する。

そして、処理対象テンプレートデータについての確度判定結果として、移動体種類番号Ｍ及びテンプレート番号Ｎに関連付けて、最終判定した総評値Ｐと対応する移動体検出対象領域Ωの情報とを記憶する。

その後、解析ユニット５０は、交差点種類がＳ２１０で特定した交差点種類に該当し移動体種類が変数Ｍに対応する移動体種類の第二テンプレートデータ群に属する全てのテンプレートデータについての総評値Ｐを算出・最終判定したか否かを判断し（Ｓ３５０）、算出・最終判定していない場合には、処理対象のテンプレート番号を表す変数Ｎを１加算して（Ｓ３６０）、上記第二テンプレートデータ群の内、今回処理対象としたテンプレートデータの次のテンプレートデータを読み出して、このテンプレートデータを新たな処理対象テンプレートデータに設定し（Ｓ２４０）、Ｓ２５０以降の処理を実行することで、当該テンプレートデータに対応する移動体が存在する確度についての総評値Ｐを算出・最終判定し、この確度判定結果を記憶する。

また、解析ユニット５０は、このような動作を繰り返すことで、上記第二テンプレートデータ群に属する全てのテンプレートデータについての総評値Ｐを算出・最終判定したと判断すると（Ｓ３５０でＹｅｓ）、Ｓ３７０に移行し、これまでの処理により得られた移動体種類番号Ｍの各テンプレートデータの確度判定結果について、これらの確度判定結果の内、総評値Ｐが上位Ｎｍ個の確度判定結果を残して、その他の確度判定結果を破棄する。

その後、解析ユニット５０は、Ｓ２１０で特定した交差点種類の第一テンプレートデータ群に属する第二テンプレートデータ群の全てについての総評値Ｐを算出・最終判定したか否かを判断し（Ｓ３８０）、算出・最終判定していない場合には（Ｓ３８０でＮｏ）、変数Ｍを１加算した値に更新して（Ｓ３９０）、次の移動体種類の第二テンプレートデータ群に属する各テンプレートデータに対応する移動体が存在する確度についての総評値Ｐを算出・最終判定する（Ｓ２３０〜Ｓ３６０）。そして、この移動体種類の各テンプレートデータに対応する移動体が存在する確度についての総評値Ｐを算出・最終判定した後には、Ｓ３７０に移行し、この移動体種類の確度判定結果群について、総評値Ｐが上位Ｎｍ個の確度判定結果を残して、その他の確度判定結果を破棄する。

そして、Ｓ２１０で特定した交差点種類の第一テンプレートデータ群に属する第二テンプレートデータ群の全てについての総評値Ｐを算出・最終判定したと判断すると（Ｓ３８０でＹｅｓ）、Ｓ４００に移行し、移動体検出対象の道路区分を選択する。ここで言う道路区分は、撮像画像に映る道路を区分化して得られる各区分のことを示しており、区分化の方法は、任意に定めることができる。例えば、区分化は、交差点中央からの距離によって行うことができる。更に、車線（移動体の移動方向）によって区分化されてもよい。但し、本実施例では、交差点中央からの距離によって（例えば５ｍ間隔で）区分化すると共に、車線（移動体の移動方向）によって区分化するものとする。

Ｓ４００で移動体検出対象の道路区分を選択すると、解析ユニット５０は、Ｓ４１０に移行し、選択した道路区分に対応する各テンプレートデータの確度判定結果の一群から、総評値Ｐが上位Ｎｒ個の確度判定結果を抽出する。尚、Ｓ２１０〜Ｓ３９０の処理で記憶保持している確度判定結果の内、どの確度判定結果が選択した道路区分に対応するかは、対応するテンプレートデータが有する移動体の三次元位置情報（移動体の交差点までの距離Ｌ）及び三次元姿勢情報に基づいて特定する。

また、Ｓ４１０による上記総評値Ｐが上位Ｎｒ個の確度判定結果の抽出後には、抽出した確度判定結果の中から、更に総評値Ｐが予め定められた閾値以上のものを抽出し、抽出した総評値Ｐが閾値以上の確度判定結果を、移動体が存在することを示す確度判定結果として取り扱う（Ｓ４２０）。即ち、この動作により、解析ユニット５０は、解析対象フレーム内の該当道路区分に映る移動体を検出する。

具体的には、上記確度判定結果の夫々について、当該確度判定結果が示す領域Ωに、確度判定結果が示す種類（移動体種類番号Ｍ）の移動体であって、確度判定結果が示すテンプレート番号Ｎのテンプレートデータが示す色の移動体が、当該テンプレートデータが示す三次元位置に、当該テンプレートデータが示す三次元姿勢で存在すると、判定することにより、上記各確度判定結果に対応する移動体を検出すると共に、その移動体の色、三次元位置、三次元姿勢を特定する。尚、検出された移動体の撮影画像上の検出領域Ω（換言すれば移動体検出対象領域Ω）、並びに、移動体の色、三次元位置及び三次元姿勢に関する情報は、描画処理ブロックＢ６（図２参照）に渡される。

また、Ｓ４２０での処理を終えると、解析ユニット５０は、全道路区分についてＳ４１０，Ｓ４２０の処理を実行したか否かを判断し（Ｓ４３０）、全道路区分について実行してなければ（Ｓ４３０でＮｏ）、Ｓ４００に移行し、新たな道路区分を選択して、Ｓ４１０以降の処理を実行する。この動作により、解析ユニット５０は、道路区分毎に、上位Ｎｒ個の確度判定結果であって総評値Ｐが閾値以上の確度判定結果を抽出し、この抽出した各確度判定結果に対応する移動体が存在すると判定して、この判定（検出）した移動体の撮影画像上の存在領域Ω、並びに、移動体の色、三次元位置及び三次元姿勢に関する情報を、描画処理ブロックＢ６（図２参照）に入力する。そして、全道路区分についてＳ４１０，Ｓ４２０の処理を実行すると、当該移動体検出処理を終了する。

尚、解析ユニット５０は、このような移動体検出処理の実行結果を受けて、並列処理する描画処理にて、カメラ１０から得られた撮影画像を表示装置３０に表示すると共に、検出された移動体毎に、当該移動体の検出領域Ωを包囲するバウンディングボックス（境界線）を表示する。また、バウンディングボックス周辺には、当該移動体の色、三次元位置及び三次元姿勢に関する文字情報を表示する。

以上、本実施例の移動体検出装置１について説明したが、本実施例によれば、解析対象フレームから得られた特徴点の分布をテンプレートデータと比較するために、特徴点の分布を区画毎の特徴点数の情報からなるベクトルにより数値表現する。従って、特徴点毎の位置座標の比較により、解析対象フレームから得られた特徴点の分布とテンプレートデータとを比較する従来手法よりも、背景雑音の影響を受け辛く、本実施例によれば、解析フレーム左右から出現する遠方の移動体を、高精度に検出することができる。即ち、本実施例によれば、カメラ１０の撮影画像内で出現する移動体を迅速に検出することができる。

特に、本実施例によれば、カメラ１０として広角カメラを用いているので、交差点で事故の原因となりやすい側方から到来する移動体を、遠方に位置する時点からすばやく検出することができ、衝突回避に大変役立つ。また、広角カメラは、被写体が歪んだ形で現れるが、カメラから被写体までの距離によりその程度が異なるため、広角カメラから背景の間に移動体が位置している場合と、そうでない場合とで、異なる特徴点の分布が得られ易い。よって、本実施例によれば、広角カメラの特性を生かして高精度に、側方から到来する移動体を検出することができる。

また、本実施例によれば、特徴点の分布だけではなく、二次元ＤＣＴ係数を用いて、移動体が移動体検出対象領域Ωに存在する確度を総合評価するので、特徴点の分布のみで確度を評価する場合よりも、高精度に移動体を検出することができる。

即ち、撮影画像に動きのある移動体が映っている場合には、フレーム差分画像に移動体の輪郭が現れるが、この輪郭がシャープに現れていれば、ＤＣＴ係数の交流成分が高い値を採る。従って、このような二次元ＤＣＴ係数を用いて、移動体を検出すれば、移動体を高精度に検出することができる。

尚、上記実施例に対しては、次のような変形例が考えられる。
［変形例１］
左右から移動体が到来する種類の交差点においては、カメラ１０の撮影画像を通じて交差点での移動体の運動を見たときに、左側から到来する移動体と右側から到来する移動体とが、少々の差はあるものの略左右対称な運動（交差点への進入動作）をする。従って、左右対称に撮影画像に映る移動体のテンプレートデータについては、共通するテンプレートデータを記憶装置４０に格納するようにしてもよい。

即ち、左から出現する移動体が映る領域の位置情報、空間分布特徴量Ｖｎ，Ｖｍを記述したテンプレートデータ、及び、右から出現する移動体が映る領域の位置情報及び空間分布特徴量Ｖｎ，Ｖｍを記述したテンプレートデータの夫々を、記憶装置４０に格納するのではなく、左右共通のテンプレートデータとして、例えば、右から出現する移動体が映る領域の位置情報、空間分布特徴量Ｖｎ，Ｖｍを記述したテンプレートデータのみを記憶装置４０に格納する。テンプレートデータには、他に、移動体の三次元位置情報及び姿勢情報及び色情報を記述することになるが、これらの情報についても右から表れる移動体についての情報を記述する。更に、テンプレートデータには、左右共通のデータであることを示す情報を記述する。

そして、左右共通のテンプレートデータが処理対象テンプレートデータに設定された場合には、Ｓ２５０〜Ｓ３４０の処理を二回実行する。一回目は、処理対象テンプレートデータに記述された内容を、そのまま解釈して、上述した通りにＳ２５０〜Ｓ３４０の処理を実行する。二回目は、処理対象テンプレートデータに記述された内容を、左右対称の関係に従って読み変えて、Ｓ２５０〜Ｓ３４０の処理を実行するといった具合である。

即ち、図９（ａ）上段に示すテンプレートデータが処理対象テンプレートデータである場合であって、撮影画像の横幅がＷである場合には、図９（ａ）下段に示すようにテンプレートデータが示す横位置を「Ｗ−１５．９８」に読み替え、右上区画及び右下区画の特徴点数（及び動きのある特徴点数）を夫々、左上区画及び左下区画の特徴点数（及び動きのある特徴点数）に読み替え、左上区画及び左下区画の特徴点数（及び動きのある特徴点数）を夫々、右上区画及び右下区画の特徴点数（及び動きのある特徴点数）に読み替え、特徴点分布ベクトルＶｓを算出する（Ｓ２５０）。尚、読み替えについて触れなかった要素については、読み替えずに解釈して上記特徴点分布ベクトルＶｓを生成する。また、ここでは、話を簡単にするため、縦位置及び横位置が、領域の中心地点での位置を示しているものとする。図９（ｂ）には、読み替えによる変化する領域位置の概念図を示す。

この他、テンプレートデータが示す横位置を「Ｗ−１５．９８」に読み替えて、テンプレート基準領域Ω０を解釈し、これを移動体検出対象領域Ωに設定して（Ｓ２７０）、特徴点分布ベクトルＶｒを算出する（Ｓ２８０）。

そして、これら特徴点分布ベクトルＶｓ，Ｖｒを用いて類似度Ｇ^*を算出する一方、ＤＣＴアクティビティＹ１を算出し（Ｓ３００）、これらに基づいて総評値Ｐを算出する（Ｓ３１０）。更に、後続の処理を実行して移動体を検出し、検出した移動体についてのバウンディングボックスを描画する。

尚、テンプレートデータが有する移動体姿勢情報については、次のように読み替える。即ち、「右から接近」であれば「左から接近」と読み替え、「右から右折」であれば「左から左折」と読み替える。このような移動体姿勢情報の読み替えについては、予め読替表を用意しておき、この読替表に従って、移動体姿勢情報を読み替えるように、移動体検出装置１を構成すればよい。

以上、変形例１について説明したが、変形例１によれば、記憶装置４０に格納すべき、移動体検出に必要なテンプレートデータ量を抑えることができるといった利点がある。
［変形例２］
続いて、変形例２について説明する。変形例２は、障害物によるカメラ１０の視界の遮りに対応するために移動体検出対象領域Ωを調整する機能を、上述の実施例とは別の形態で実現するものである。具体的に、以下に説明する変形例２では、図６に示す移動体検出処理に代えて、図１０に示す移動体検出処理を実行する。尚、図１０に示す移動体検出処理の各ステップにおいて、図６に示す移動体検出処理と同内容のステップに対しては、図６に示す移動体検出処理の各ステップと同一のステップ番号を割り当て、その詳細な説明を適宜省略する。

図１０に示す移動体検出処理を開始すると、解析ユニット５０は、Ｓ２１０からＳ２７０までの処理を実行する。そして、移動体検出対象領域Ωとしてテンプレート基準領域Ω０を設定した後には（Ｓ２７０の処理後には）、その移動体検出対象領域Ωの特徴点分布ベクトルＶｒを算出し（Ｓ２８０）、処理対象テンプレートデータの特徴点分布ベクトルＶｓと移動体検出対象領域Ωの特徴点分布ベクトルＶｒとの類似度Ｇ^*を算出する（Ｓ２９０）。また、移動体検出対象領域ΩのＤＣＴアクティビティＹ１を算出する（Ｓ３００）。

その後、解析ユニット５０は、ＤＣＴアクティビティＹ１が予め定められた閾値Ｔｈ＿Ｙ１未満であるか否かを判断する（Ｓ５１０）。ここで、ＤＣＴアクティビティＹ１が閾値Ｔｈ＿Ｙ１未満であるか否かを判断するのは、ＤＣＴアクティビティＹ１が低く現在の移動体検出対象領域Ω（＝Ω０）に移動体が存在する可能性が低い場合には、テンプレート基準領域Ω０の領域に、カメラ１０の視界を遮り移動体を見えなくするような障害物がある可能性を考慮して、移動体検出対象領域Ωを、テンプレート基準領域Ω０から変更するためである。

即ち、ＤＣＴアクティビティＹ１が閾値Ｔｈ＿Ｙ１未満であると判断すると（Ｓ５１０でＹｅｓ）、解析ユニット５０は、移動体検出対象領域Ωを、テンプレート基準領域Ω０の周囲領域に変更する（Ｓ５２０）。具体的には、解析対象フレームとそれより一つ前のフレームの差分画像から生成されたブロック画素毎のＡＣインデックスＩＤＸ１（ｋ）に基づき、解析対象フレームに分布するＡＣインデックス「１」のブロック画素に対応する領域を特定し、テンプレート基準領域Ω０を基準とする所定範囲内で、ＡＣインデックス「１」のブロック画素が最大限収まる領域を、図１１に示すように、新たな移動体検出対象領域Ωに設定する。但し、ここでは、移動体検出対象領域Ωとテンプレート基準領域Ω０との縦横比を変更しない、若しくは、限られた範囲でしか縦横比を変更しないものとする。また、新たに設定する移動体検出対象領域Ωとテンプレート基準領域Ω０とのサイズ差についても制限を設ける。

また、他の態様として、解析対象フレームに分布するＡＣインデックス「１」のブロック画素に対応する領域を特定すると共に、隣接するＡＣインデックス「１」のブロック画素間の距離に基づき、かたまりとなっている（集中して位置する）ＡＣインデックス「１」のブロック画素の集合をグループ化し、テンプレート基準領域Ω０を基準に所定範囲内で、ＡＣインデックス「１」のブロック画素が最も多く集まるグループが位置する領域を、新たな移動体検出対象領域Ωに設定する。これによって、ＤＣＴアクティビティＹ１の高い領域を、新たな移動体検出対象領域Ωに設定する。

その後、解析ユニット５０は、解析対象フレーム内の新たに設定した移動体検出対象領域Ω内の各区画の特徴点数をカウントして、当該移動体検出対象領域Ωの特徴点分布ベクトルＶｒを算出し（Ｓ５３０）、この特徴点分布ベクトルＶｒと処理対象テンプレートデータの特徴点分布ベクトルＶｓとの類似度Ｇ^*を算出し（Ｓ５４０）、更に、この移動体検出対象領域ΩのＤＣＴアクティビティＹ１を算出する（Ｓ５５０）。

また、解析ユニット５０は、移動体検出対象領域Ωに処理対象テンプレートデータに対応する移動体が存在する確度を、Ｓ５４０で算出した類似度Ｇ^*及びＳ５５０で算出したＤＣＴアクティビティＹ１に基づき、総合評価する（Ｓ５６０）。具体的には、類似度Ｇ^*及びＤＣＴアクティビティＹ１の加重平均を、移動体検出対象領域Ωに移動体が存在する確度についての総評値Ｐとして算出する。その後、Ｓ３５０以降の処理を、上述した実施例と同様に実行する。

これに対し、移動体検出対象領域Ωがテンプレート基準領域Ω０であるときに、ＤＣＴアクティビティＹ１が閾値Ｔｈ＿Ｙ１以上となった場合には（Ｓ５１０でＮｏ）、Ｓ５２０〜Ｓ５５０の処理を実行せずに、Ｓ５６０に移行し、移動体検出対象領域Ωに処理対象テンプレートデータに対応する移動体が存在する確度の総評値Ｐを、Ｓ２９０で算出した類似度Ｇ^*及びＳ３００で算出したＤＣＴアクティビティＹ１に基づき算出する（Ｓ５６０）。その後、Ｓ３５０以降の処理を、上述した実施例と同様に実行する。

以上のような手法によって、移動体検出対象領域Ωを変更しても、障害物による影響を抑え、移動体検出対象領域Ωを適切に設定することができ、障害物に阻害されて移動体が検出できなくなるのを抑えることができる。尚、本例においては、総評値Ｐを算出せず、類似度Ｇ^*を総評値Ｐの代わりに用いて、移動体を検出するようにしてもよい。
［変形例３］
続いて、変形例３について説明する。変形例３は、更に主成分分析（ＰＣＡ）の手法を用いて撮影画像に移動体が存在する確度を算出するものであり、上記実施例のＳ３００（図６参照）の処理に代えて、図１２（ａ）に示すアクティビティ算出処理を実行し、上記実施例のＳ３１０の処理に代えて、図１２（ｂ）に示す総評値算出処理を実行する点に特徴がある。

本例の解析ユニット５０は、Ｓ３００に代えて、図１２（ａ）に示すアクティビティ算出処理を開始すると、フレーム差分画像解析処理によりブロック画素毎の二次元ＤＣＴ係数が得られた「解析対象フレームとそれより一つ前のフレームの差分画像（現時点の最新フレーム差分画像）」から移動体検出対象領域Ωに対応するブロック画素の一つを処理対象ブロック画素として選択し（Ｓ６１０）、現時点ｔ＝ｔ０のフレーム差分画像から得られた処理対象ブロック画素の二次元ＤＣＴ係数Ｃｄ［ｔ＝ｔ０］、及び、現時点より過去所定期間の各時刻ｔ＝ｔ０−δｔ，ｔ０−２・δｔ，ｔ０−３・δｔ，…のフレーム差分画像から得られた当該処理対象ブロック画素の二次元ＤＣＴ係数Ｃｄ［ｔ＝ｔ０−δｔ］，Ｃｄ［ｔ＝ｔ０−２・δｔ］，Ｃｄ［ｔ＝ｔ０−３・δｔ］，…に基づいて、当該処理対象ブロック画素におけるこれら二次元ＤＣＴ係数Ｃｄ［ｔ＝ｔ０］，Ｃｄ［ｔ＝ｔ０−δｔ］，Ｃｄ［ｔ＝ｔ０−２・δｔ］，Ｃｄ［ｔ＝ｔ０−３・δｔ］，…から構成される時系列ベクトルＸを生成する（Ｓ６２０）。

尚、二次元ＤＣＴ係数は本来８行８列の配列であるが、ここでは、各二次元ＤＣＴ係数を６４次元の列ベクトルに置き換えて、これらの列ベクトルを、時系列に合わせて列方向に配列することにより、ＤＣＴ係数についての時系列ベクトルＸを生成する。例えば、現時点も含みＮ個の時点の二次元ＤＣＴ係数Ｃｄ［ｔ＝ｔ０］，Ｃｄ［ｔ＝ｔ０−δｔ］，Ｃｄ［ｔ＝ｔ０−２・δｔ］，Ｃｄ［ｔ＝ｔ０−３・δｔ］，…，Ｃｄ［ｔ＝ｔ０−（Ｎ−１）・δｔ］の各列ベクトルを配列して時系列ベクトルＸを生成すると、時系列ベクトルＸは、（６４×Ｎ）行１列の列ベクトルとして構成される。

また、この処理を終えると、解析ユニット５０は、時系列ベクトルＸを、記憶装置４０が記憶する第１から第Ｈ（例えばＨ＝３）主成分ベクトルＱ１，…，ＱＨに作用させ、主成分毎の主成分得点Ｚを算出すると共に、その総和Ｚｓを算出する。ここで、第ｈ主成分の主成分得点をＺｈで表現すると、主成分得点Ｚｈ及びその総和Ｚｓは、次式で算出される（Ｓ６３０）。

尚、記憶装置４０が記憶する主成分ベクトルＱ１〜ＱＨは、ブロック画素に移動体が映っている状態で得られる時系列ベクトルＸのサンプルを収集し、これらのサンプルを主成分分析して得られた主成分ベクトルであり、第ｈ主成分ベクトルＱｈは、時系列ベクトルＸのＮｘ（＞＞Ｈ）個のサンプルから得られた共分散行列の固有値・固有ベクトルを算出して得られる固有ベクトルであって、固有値の大きい順に数えてｈ番目の固有ベクトルに対応する。このことについては主成分分析の基本的な事柄なのでこれ以上の説明を省略する。

Ｓ６３０での処理を終えると、解析ユニット５０は、総和Ｚｓを、予め定められた閾値Ｔｈ＿Ｚｓと比較して二値化することにより、ＰＣＡインデックスＩＤＸ２を算出する。即ち、Ｚｓ＞Ｔｈ＿Ｚｓである場合には、ＩＤＸ２＝１を算出し、Ｚｓ≦Ｔｈ＿Ｚｓである場合には、ＩＤＸ２＝０を算出する（Ｓ６４０）。

その後、解析ユニット５０は、移動体検出対象領域Ωに対応する全ブロック画素についてのＰＣＡインデックスＩＤＸ２の算出が完了したか否かを判断し（Ｓ６５０）、完了していない場合には（Ｓ６５０でＮｏ）、Ｓ６１０に移行して、移動体検出対象領域Ωに対応するブロック画素であって、ＰＣＡインデックスＩＤＸ２の算出が未完了のブロック画素を新たな処理対象ブロック画素に選択し（Ｓ６１０）、選択した処理対象ブロック画素に対応するＰＣＡインデックスＩＤＸ２を算出する（Ｓ６２０〜Ｓ６４０）。そして、移動体検出対象領域Ωに対応する全ブロック画素についてのＰＣＡインデックスＩＤＸ２の算出が完了すると、Ｓ６６０に移行する。

Ｓ６６０に移行すると、解析ユニット５０は、移動体検出対象領域Ωに対応する各ブロック画素のＰＣＡインデックスＩＤＸ２の平均（以下「ＰＣＡアクティビティ」と表現する。）を算出する。これによって、二次元ＤＣＴ係数の時系列変化を指標に、移動体検出対象領域Ωに移動体が存在する確度を評価する。

ここで、移動体検出対象領域Ωに位置するブロック群がＫ^*個（ｋ^*＝１，…，Ｋ^*）のブロック画素群である環境では、ＰＣＡアクティビティＹ２は、次式で求められる。

但し、ＩＤＸ２（ｋ^*）は、移動体検出対象領域Ωに位置するブロック群の内、第ｋ^*番目のブロック画素のＰＣＡインデックスＩＤＸ２を表す。尚、ＰＣＡアクティビティは、その計算から移動体検出対象領域Ωに対応するブロック画素群の全体に占める主成分得点の総和Ｚｓが閾値を超えるブロック画素の割合を表すものとも言える。

また、この処理を終えると、解析ユニット５０は、上述の実施例と同様、移動体検出対象領域Ωに位置するブロック画素群のＡＣインデックスＩＮＸ１（ｋ）の平均を算出することにより、ＤＣＴアクティビティＹ１を算出する（Ｓ６７０）。その後、当該アクティビティ算出処理を終了する。このようにして、アクティビティ算出処理では、ＤＣＴアクティビティＹ１だけでなく、ＰＣＡアクティビティＹ２を算出する。

また、アクティビティ算出処理を終えると、解析ユニット５０は、図１２（ｂ）に示す総評値算出処理を実行することにより、移動体検出対象領域Ωに処理対象テンプレートデータに対応する移動体が存在する確度を、類似度Ｇ^*及びＤＣＴアクティビティＹ１及びＰＣＡアクティビティＹ２に基づき、総合評価する（Ｓ７００）。具体的には、類似度Ｇ^*及びＤＣＴアクティビティＹ１及びＰＣＡアクティビティＹ２の加重平均を、移動体検出対象領域Ωに移動体が存在する確度についての総評値Ｐとして算出する。

尚、ここでＴは転置を表す。また、重み付け係数ｗ１，ｗ２，ｗ３については、設計者が任意に定めることができる。
本例ではこのようにして、ＰＣＡアクティビティＹ２を用いて総評値Ｐを算出する。そして、Ｓ３００，Ｓ３１０以外の処理については、上記実施例と同様の処理を実行する。本例によれば、ＰＣＡアクティビティＹ２を用いて総評値Ｐを算出するので、一層高精度に移動体を検出することができて、左右側方から出現する移動体の迅速な検出に役立つ。

尚、変形例３では、二次元ＤＣＴ係数の時系列ベクトルについて主成分分析し、この主成分分析により得られた主成分ベクトルと、移動体検出対象領域Ωの時系列ベクトルとを比較して、ＰＣＡアクティビティＹ２を算出するようにしたが、時系列ベクトルは、必ずしも、上記説明した二次元ＤＣＴ係数の時系列ベクトルとする必要はない。例えば、特徴点分布ベクトルの時系列ベクトルについて主成分分析して、移動体が映っている状態での時系列ベクトルの主成分ベクトルを算出し、移動体検出対象領域Ωの時系列ベクトルと主成分ベクトルとを比較して、上述した原理でＰＣＡアクティビティＹ２を算出するようにしてもよい。要するに、移動体が映ると特徴的な値が得られる画像特徴量についての時系列ベクトルを構成して、これを主成分分析し、ＰＣＡアクティビティＹ２を算出すればよいのである。

この他、本例では、総評値Ｐとして、類似度Ｇ^*及びＤＣＴアクティビティＹ１及びＰＣＡアクティビティＹ２の加重平均を算出するようにしたが、総評値Ｐとしては、ＤＣＴアクティビティＹ１を用いずに、類似度Ｇ^*及びＰＣＡアクティビティＹ２の加重平均を算出するようにしてもよい。
［変形例４］
続いて、変形例４について説明する。変形例４は、図１３に示すように、空間分布特徴量Ｖｎ，Ｖｍを表現する対象の領域を４分割ではなく５分割して、空間分布特徴量Ｖｎ，Ｖｍを５次元のベクトル量で表現するようにしたものである。具体的には、図１３に示すように、空間分布特徴量を表現する対象の領域を、「右上」「右下」「中央」「左上」「左下」の各区画に分割する。そして、各区画の特徴点数（又は動きのある特徴点数）を要素とする５次元ベクトルにより、空間分布特徴量Ｖｎ，Ｖｍを表現するのである。このように空間分布特徴量Ｖｎ，Ｖｍを表現して、特徴点分布ベクトルＶｓ，Ｖｒを構成しても、上記実施例と同様の効果が得られる。
［対応関係］
以上に説明した変形例を含む各実施例と「特許請求の範囲」記載の各発明との対応関係は、次の通りである。テンプレートデータを記憶する記憶装置４０の領域は、本発明の記憶手段の一例に対応し、解析ユニット５０によって実行される特徴点抽出処理（特徴点抽出処理ブロックＢ１）は、本発明の特徴点抽出手段による処理の一例に対応し、解析ユニット５０により実行される動きのある特徴点の抽出処理（動きのある特徴点の抽出処理ブロックＢ３）は、本発明の第二特徴点抽出手段による処理の一例に対応する。

この他、テンプレートデータの位置情報が示す領域に対応する移動体検出対象領域Ωを設定する処理（Ｓ２７０，Ｓ３３０，Ｓ５２０）は、本発明の領域設定手段による処理の一例に対応する。また、特徴点分布ベクトルＶｒを算出する処理（Ｓ２８０，Ｓ５３０）は、本発明の空間分布特徴量算出手段による処理の一例に対応し、類似度評価処理（Ｓ２９０）は、本発明の確度判定手段による処理の一例に対応し、総評値Ｐを算出して総評値Ｐが閾値以上の確度判定結果を移動体が存在することを示す確度判定結果として移動体を検出する処理（Ｓ４２０）は、本発明の移動体検出手段による処理の一例に対応する。

また、各ブロック画素の二次元ＤＣＴ係数を算出する処理（Ｓ１４０）は、本発明のＤＣＴ係数算出手段による処理の一例に対応し、ＤＣＴアクティビティを算出する処理及びＰＣＡアクティビティを算出する処理は、本発明の補助判定手段による処理の一例に対応する。また、主成分ベクトルＱ１〜ＱＨを記憶する記憶装置４０の領域は、本発明の主成分ベクトル記憶手段の一例に対応する。また、変形例２においてＤＣＴアクティビティが閾値未満であるか否かを判断して（Ｓ５１０）、閾値未満である場合にはＳ５２０以降を実行する処理は、本発明による移動体検出手段が再設定の指示を入力する動作の一例に対応する。
［最後に］
以上、本発明の実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採りうることは言うまでもない。例えば、上記実施例では、車載カメラ１０の映像に基づき移動体（特に自動車等）を検出する移動体検出装置１について説明したが、本発明の移動体検出装置は、このような用途に限定されない。

１…移動体検出装置、１０…カメラ、２０…位置検出器、３０…表示装置、４０…記憶装置、５０…解析ユニット、５１…ＣＰＵ、５３…ＲＯＭ、５５…ＲＡＭ、Ｂ１…特徴点抽出処理ブロック、Ｂ２…オプティカルフロー算出処理ブロック、Ｂ３…動きのある特徴点の抽出処理ブロック、Ｂ４…フレーム差分画像解析処理、Ｂ５…移動体検出処理ブロック、Ｂ６…描画処理ブロック

Claims (20)

1. カメラの撮影画像に映る移動体を検出する移動体検出装置であって、
   前記撮影画像において移動体が映る領域の位置情報と、この領域に前記移動体が存在する状態での前記撮影画像の当該領域における特徴点の空間分布が数値化されてなる空間分布特徴量と、が関連付けられたテンプレートデータを記憶保持する記憶手段と、
   前記カメラから取得した移動体検出対象の撮影画像から特徴点を抽出する特徴点抽出手段と、
   前記テンプレートデータが備える前記位置情報に基づき、前記位置情報が示す領域に対応した前記移動体検出対象の撮影画像における領域を、評価領域に設定する領域設定手段と、
   前記特徴点抽出手段により抽出された特徴点に基づき、前記移動体検出対象の撮影画像における前記領域設定手段により設定された前記評価領域の前記特徴点の空間分布を数値化した空間分布特徴量を算出する空間分布特徴量算出手段と、
   前記移動体検出対象の撮影画像における前記評価領域に前記テンプレートデータに対応する移動体が存在する確度として、前記空間分布特徴量算出手段により算出された前記空間分布特徴量と、前記テンプレートデータが示す前記空間分布特徴量との類似度を算出する確度判定手段と、
   前記確度判定手段により算出された前記確度に基づき、前記移動体検出対象の撮影画像における前記テンプレートデータに対応する移動体の存在有無を判定することによって、前記移動体検出対象の撮影画像に映る移動体を検出する移動体検出手段と、
   を備えることを特徴とする移動体検出装置。
2. 前記空間分布特徴量は、前記空間分布を数値表現する領域を区画化して得られる各区画に存在する前記特徴点の数の夫々を要素とするベクトル量であること
   を特徴とする請求項１記載の移動体検出装置。
3. 前記移動体検出対象の撮影画像から動きのある特徴点を抽出する第二特徴点抽出手段
   を備え、
   前記空間分布特徴量算出手段は、前記特徴点抽出手段により抽出された特徴点及び前記第二特徴点抽出手段により抽出された動きのある特徴点に基づき、前記評価領域の空間分布特徴量として、前記移動体検出対象の撮影画像における前記評価領域での前記特徴点及び動きのある特徴点の空間分布を数値化した空間分布特徴量を算出する構成にされ、
   前記記憶手段には、前記空間分布特徴量として、前記位置情報が示す領域に前記移動体が存在する状態での前記撮影画像の当該領域における特徴点の空間分布及び動きのある特徴点の空間分布が数値化されてなる空間分布特徴量を示す前記テンプレートデータが記憶保持されていること
   を特徴とする請求項１記載の移動体検出装置。
4. 前記空間分布特徴量は、前記空間分布を数値表現する領域を区画化して得られる各区画に存在する前記特徴点の数及び前記動きのある特徴点の数の夫々を要素とするベクトル量であること
   を特徴とする請求項３記載の移動体検出装置。
5. 前記確度判定手段は、ベクトル量である前記空間分布特徴量算出手段により算出された前記空間分布特徴量と前記テンプレートデータが示す前記空間分布特徴量との類似度を、二乗距離及びコサイン距離の少なくとも一方を指標にして算出すること
   を特徴とする請求項２又は請求項４記載の移動体検出装置。
6. 前記移動体検出対象の撮影画像についてのフレーム差分画像を、予め定められたブロック単位で離散コサイン変換（ＤＣＴ）することで、前記フレーム差分画像の各ブロックにおける二次元ＤＣＴ係数を算出するＤＣＴ係数算出手段と、
   前記ＤＣＴ係数算出手段により算出された前記評価領域に対応する各ブロックの二次元ＤＣＴ係数に基づき、前記評価領域に移動体が存在する確度を算出する補助判定手段と、
   を備え、
   前記移動体検出手段は、前記確度判定手段により算出された前記確度及び前記補助判定手段により算出された前記確度に基づき、前記テンプレートデータに対応する移動体の存在有無を判定して、前記撮影画像に映る移動体を検出すること
   を特徴とする請求項１〜請求項５のいずれか一項記載の移動体検出装置。
7. 前記補助判定手段は、前記評価領域に対応するブロック群について、ブロック毎に、当該ブロックの前記二次元ＤＣＴ係数における交流成分の和を交流成分電力として算出し、前記ブロック毎の交流成分電力に基づき、前記評価領域に移動体が存在する確度を算出すること
   を特徴とする請求項６記載の移動体検出装置。
8. 前記補助判定手段は、前記評価領域に移動体が存在する確度として、前記評価領域に対応するブロック群の全体に占める前記交流成分電力が閾値を超えるブロックの割合を算出すること
   を特徴とする請求項７記載の移動体検出装置。
9. 前記補助判定手段は、前記評価領域に対応するブロック群について、ブロック毎に、当該ブロックの過去所定期間の前記二次元ＤＣＴ係数を時系列に配列してなる時系列ベクトルの主成分得点を、前記時系列ベクトルのサンプルから求められた主成分ベクトルに基づき算出し、算出した前記ブロック毎の主成分得点に基づき、前記評価領域に移動体が存在する確度を算出する構成にされ、
   当該移動体検出装置は、
   移動体が映っている状態での前記時系列ベクトルのサンプルを主成分分析して求められた前記主成分ベクトルを記憶する主成分ベクトル記憶手段
   を備えること
   を特徴とする請求項６記載の移動体検出装置。
10. 前記補助判定手段は、前記評価領域に移動体が存在する確度として、前記評価領域に対応するブロック群の全体に占める前記主成分得点が閾値を超えるブロックの割合を算出すること
    を特徴とする請求項９記載の移動体検出装置。
11. 前記移動体検出対象の撮影画像に基づき、当該撮影画像の前記評価領域における過去所定期間の所定特徴量を時系列に配列してなる時系列ベクトルの主成分得点を、前記時系列ベクトルのサンプルから求められた主成分ベクトルに基づき算出し、算出した前記主成分得点に基づき、前記評価領域に移動体が存在する確度を算出する補助判定手段と、
    移動体が映っている状態での前記時系列ベクトルのサンプルを主成分分析して求められた前記主成分ベクトルを記憶する主成分ベクトル記憶手段と、
    を備え、
    前記移動体検出手段は、前記確度判定手段により算出された前記確度及び前記補助判定手段により算出された前記確度に基づき、前記テンプレートデータに対応する移動体の存在有無を判定して、前記撮影画像に映る移動体を検出すること
    を特徴とする請求項１〜請求項５のいずれか一項記載の移動体検出装置。
12. 前記領域設定手段は、前記テンプレートデータが備える前記位置情報に基づき、前記位置情報が示す領域に一致する前記移動体検出対象の撮影画像内の領域及びその周囲の領域の夫々を、前記評価領域に設定する構成にされ、
    前記移動体検出手段は、単一の前記テンプレートデータに対して前記評価領域毎に算出された前記確度に基づき、これら評価領域の内、移動体が存在する可能性の最も高い領域を最適な評価領域として抽出し、前記テンプレートデータに対して前記評価領域毎に算出された前記確度の内、当該最適な評価領域に対して算出された確度に基づき、前記テンプレートデータに対応する移動体の存在有無を判定して、前記移動体検出対象の撮影画像に映る移動体を検出すること
    を特徴とする請求項１〜請求項１１のいずれか一項記載の移動体検出装置。
13. 前記確度判定手段は、前記評価領域に前記テンプレートデータに対応する移動体が存在する確度として、前記空間分布特徴量算出手段により算出された前記空間分布特徴量及びこの空間分布特徴量に対応する前記評価領域の位置パラメータを要素とするベクトル量と、前記テンプレートデータが示す前記空間分布特徴量及び前記テンプレートデータが備える前記位置情報が示す領域の位置パラメータを要素とするベクトル量との類似度を算出すること
    を特徴とする請求項１２記載の移動体検出装置。
14. 前記領域設定手段は、前記テンプレートデータが備える前記位置情報に基づき、前記位置情報が示す領域に一致する前記移動体検出対象の撮影画像の領域を、前記評価領域に設定し、再設定の指示が入力された場合には、前記移動体検出対象の撮像画像における前記二次元ＤＣＴ係数に基づき、前記評価領域の位置を調整して、前記評価領域を再設定する構成にされ、
    前記移動体検出手段は、前記位置情報が示す領域に一致する前記評価領域に対して前記補助判定手段が算出した前記確度が閾値未満である場合には、前記再設定の指示を入力し、前記再設定された前記評価領域に対して前記確度判定手段が算出した前記確度、又は、前記再設定された前記評価領域に対して前記確度判定手段及び前記補助判定手段の夫々が算出した前記確度に基づき、前記テンプレートデータに対応する移動体の存在有無を判定して、前記移動体検出対象の撮影画像に映る移動体を検出すること
    を特徴とする請求項６〜請求項１０のいずれか一項記載の移動体検出装置。
15. 前記撮影画像内において左右対称の関係にある前記移動体が映る領域の前記テンプレートデータとして、これらの領域に共通するテンプレートデータであって、前記位置情報及び前記空間分布特徴量として、左右対称の関係にある前記移動体が映る領域の一方についての位置情報及び前記空間分布特徴量が記述されたデータを前記記憶手段に記憶保持し、
    前記共通するテンプレートデータに基づいて、左右対称の関係にある前記移動体が映る領域の内、前記位置情報及び前記空間分布特徴量が前記テンプレートデータに記述されていない領域に対応する前記評価領域の前記確度を算出する際には、前記左右対称の関係に従って、前記テンプレートデータが示す前記位置情報及び前記空間分布特徴量を読み変えて、前記確度を算出すること
    を特徴とする請求項１〜請求項１４のいずれか一項記載の移動体検出装置。
16. 前記記憶手段には、移動体の種類毎に、前記位置情報と、当該種類の移動体が前記位置情報に対応する領域に映る状態での当該領域における前記空間分布特徴量と、が関連付けられた前記テンプレートデータが記憶保持され、
    前記移動体検出対象の撮影画像に映る移動体を検出する際には、前記移動体の種類毎に、当該移動体の種類の前記テンプレートデータに基づき前記確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定すること
    を特徴とする請求項１〜請求項１５のいずれか一項記載の移動体検出装置。
17. 前記記憶手段には、道路環境毎に、当該道路環境において前記移動体が映る領域夫々の前記テンプレートデータが記憶保持され、
    前記移動体検出対象の撮影画像に映る移動体を検出する際には、前記移動体検出対象の撮影画像に映る道路環境を特定し、当該特定した道路環境に対応する前記テンプレートデータ毎に、当該テンプレートデータに対応する前記確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定すること
    を特徴とする請求項１〜請求項１６のいずれか一項記載の移動体検出装置。
18. 前記記憶手段には、前記道路環境毎の前記テンプレートデータとして、交差点の種類毎に、当該種類に対応する交差点が前記カメラにより撮影されている環境での前記カメラの撮影画像において前記移動体が映る領域夫々についての前記テンプレートデータが記憶保持され、
    前記移動体検出対象の撮影画像に映る移動体を検出する際には、前記移動体検出対象の撮影画像に映る交差点の種類を特定して、当該特定した交差点の種類に対応する前記テンプレートデータ毎に、当該テンプレートデータに対応する前記確度を算出して、当該テンプレートデータに対応する移動体の存在有無を判定すること
    を特徴とする請求項１７記載の移動体検出装置。
19. 前記テンプレートデータは、前記移動体の三次元位置及び前記移動体の三次元姿勢に関する情報が、更に前記位置情報及び前記空間分布特徴量に関連付けられたデータであること
    を特徴とする請求項１〜請求項１８のいずれか一項記載の移動体検出装置。
20. カメラの撮影画像を取得可能で、当該カメラの撮影画像において移動体が映る領域の位置情報と、この領域に前記移動体が存在する状態での前記撮影画像の当該領域における特徴点の空間分布が数値化されてなる空間分布特徴量と、が関連付けられたテンプレートデータを記憶保持する装置のコンピュータに、
    前記カメラから取得した移動体検出対象の撮影画像から特徴点を抽出する特徴点抽出手段と、
    前記テンプレートデータが備える前記位置情報に基づき、前記位置情報が示す領域に対応した前記移動体検出対象の撮影画像における領域を、評価領域に設定する領域設定手段と、
    前記特徴点抽出手段により抽出された特徴点に基づき、前記移動体検出対象の撮影画像における前記領域設定手段により設定された前記評価領域の前記特徴点の空間分布を数値化した空間分布特徴量を算出する空間分布特徴量算出手段と、
    前記移動体検出対象の撮影画像における前記評価領域に前記テンプレートデータに対応する移動体が存在する確度として、前記空間分布特徴量算出手段により算出された前記空間分布特徴量と、前記テンプレートデータが示す前記空間分布特徴量との類似度を算出する確度判定手段と、
    前記確度判定手段により算出された前記確度に基づき、前記移動体検出対象の撮影画像における前記テンプレートデータに対応する移動体の存在有無を判定することによって、前記移動体検出対象の撮影画像に映る移動体を検出する移動体検出手段
    としての機能を実現させるためのプログラム。