JP5917303B2 - 移動体検出装置、移動体検出システム、および、移動体検出方法 - Google Patents

Description

本発明の実施形態は、移動体検出装置、移動体検出システム、および、移動体検出方法に関する。

移動体検出装置の１つである車両検出装置は、撮影した画像から抽出する特徴量と事前に収集された車両画像の特徴量との尤度（当該画像の車両らしさを定量化した値）を算出する。車両検出装置は、計算した尤度がある閾値をより大きい場合に撮影した画像に車両が含まれると判断する。

このような車両検出装置は、背景を車両と誤判断することを防止するため、車両と判断するための閾値を高めに設定する必要がある。しかし、閾値を高めに設定すると、車両検出装置は、車両の見え方、あるいは、天候の変化などの環境の変化によって尤度が低下すると車両の検出に失敗しやすいという課題がある。

特開２０１１−１３８３８号公報 特開２０１１−１１８４５０号公報

上記の課題を解決するために、環境変化の影響をうけにくい移動体検出装置、移動体検出システム、および、移動体検出方法を提供する。

実施形態によれば、移動体検出装置は、画像生成部と、設定部と、特徴算出部と、尤度算出部と、尤度分布生成部と、格納部と、検出部とを有する。画像生成部は、撮影画像の解像度を変更したマルチスケールの複数の画像を生成する。設定部は、マルチスケールの各画像に対して複数位置に順次探索窓を設定する。特徴算出部は、設定部が設定した探索窓内の画像の特徴量を計算する。尤度算出部は、特徴算出部が算出した特徴量に基づいて探索窓内の画像の移動体らしさを示す尤度を算出する。尤度分布生成部は、設定部が複数位置に設定した探索窓内の画像から尤度算出部が算出した複数の尤度に基づいて画像生成部が生成した複数の画像ごとに尤度分布を生成する。格納部は、移動体の画像領域近傍の尤度分布モデルを格納する。検出部は、尤度分布生成部が生成した複数の尤度分布から最も尤度のピークが大きい尤度分布を選択し、当該尤度分布の尤度のピーク近傍の尤度分布と、前記尤度分布モデルとを比較して撮影画像内における移動体を検出する。

図１は、本実施形態に係る車両検出装置を備えた道路監視システムの構成例を概略的に示すブロック図である。 図２は、本実施形態に係る車両検出装置の構成例を概略的に示すブロック図である。 図３は、本実施形態に係る車両検出装置の機能例を示すブロック図である。 図４は、本実施形態に係る車両検出装置が生成する車両の属性情報の例を示す表である。 図５は、本実施形態に係る車両検出装置の探索窓の動きを示す図である。 図６は、尤度分布の算出対象となる画像の例である。 図７は、図６に示す画像における尤度分布の例を示す図である。 図８は、各領域で算出される尤度データに基づく尤度分布の構成例を示す図である。 図９は、マルチスケール画像から算出した尤度分布を示す図である。 図１０（ａ）は、時刻ｔｎの画像における尤度分布の例を示す図であり、図１０（ｂ）は、時刻ｔｎ＋１の画像における尤度分布の例を示す図である。 図１１は、本実施形態に係る車両検出装置の動作例を説明するためのフローチャートである。 図１２は、本実施形態に係る識別器における車両画像の高次特徴量分布モデルを構築する際の学習処理のフローチャートである。 図１３は、本実施形態に係る車両検出部における車両領域の尤度分布モデルを構築する際の学習処理のフローチャートである。

以下、本実施形態について図面を参照して説明する。
本実施形態に係る移動体検出装置は、移動体が記録されている可能性のある画像データを取得し、取得した画像データにおいて移動体を検出する装置である。本実施形態においては、検出対象となる移動体が車両であることを想定して説明するが、検出対象となる移動体は、例えば、人などであっても良く、特定の対象に限定されるものではない。

本実施形態では、移動体検出装置として、車両検出装置を例として説明する。
本実施形態に係る車両検出装置は、道路などを撮影した画像データを取得し、当該画像データに映し出されている車両を検出する装置である。
本実施形態に係る車両検出装置は、たとえば、道路監視システムなどで利用される。道路監視システムは、車両検出装置が検知する道路上を走行している車両の状態あるいは検知した車両の状態に基づく道路の状況などを示す情報を当該道路の管理者に通知したり、当該道路を走行する他の車両の運転者などに通知したりする。道路監視システムは、車両の運転者に情報を提供する構成として、掲示板などにより運転者に道路状況などの情報を提供しても良いし、路側に設けた路側装置と車両内の車載器との無線通信（路車間通信）などにより車両内の車載器に道路状況などの情報を提供するようにしても良い。

例えば、道路監視システムは、車両検出装置が検知する車両の数、車両の間隔および車両の走行速度などの情報から道路の渋滞状況を判断するようにしても良い。道路監視システムは、車両検知装置の検知結果から判断した渋滞状況に基づく渋滞情報を道路の管理者へ通知したり、掲示板又は路車間通信などを通じて運転者に通知したりする。これにより、管理者は、道路の渋滞状況を監視することができ、運転者は、当該道路の渋滞情報を知ることができ、渋滞している道路の回避などが容易になる。

また、道路監視システムは、車両検出装置が検知する各車両の走行状態から道路上を蛇行運転している車両あるいは逆走している車両などの挙動不審な車両を検知するようにしても良い。道路監視システムは、道路上に蛇行運転車両又は逆走車両などの挙動不審な車両を検知した場合、当該道路の管理者に挙動不審な車両を通知したり、掲示板又は路車間通信などを通じて他の車両の運転者に通知したりすることができる。これにより、道路監視システムによれば、道路の管理者は挙動不審な車両を監視でき、当該道路を走行する車両の運転者に対して道路上に挙動不審な車両があることを知らせることができ、安全な車両運行を支援することが可能となる。

図１は、本実施形態に係る車両検出装置を備えた道路監視システムの構成例を概略的に示すブロック図である。
道路監視システム１０は、カメラ１１ａ〜１１ｋ、車両検出装置１２ａ〜１２ｊ、情報掲示装置１３ａ、１３ｂ、及び、情報提示装置１４などを備える。

カメラ１１ａ〜１１ｋは、監視対象となる道路（車両を検出する道路）ＲＤの画像を撮影するものである。カメラ１１ａ〜１１ｋは、例えば、動画像の撮影を行うビデオカメラである。カメラ１１ａ〜カメラ１１ｋは、たとえば、１秒間に３０フレーム程度の画像を撮影することにより動画像を撮影し、撮影した画像を１フレーム毎に各カメラ１１に対応する車両検出装置１２へ送信する。カメラ１１ａ〜カメラ１１ｋは、撮影した動画像をアナログデータ又はデジタルデータに変換して各カメラ１１に対応する車両検出装置１２へ送信する。

カメラ１１ａ〜１１ｋは、監視対象となる道路ＲＤを撮影できるように、道路ＲＤの上方又は道路ＲＤ脇などに設置される。カメラ１１ａ〜１１ｋは、道路ＲＤにおける所定の領域を撮影するため、所定の高さ、俯角及び回転角などの撮影条件を満たすよう設置される。

車両検出装置１２ａ〜１２ｊは、それぞれカメラ１１ａ〜１１ｋのうち少なくとも１つのカメラと有線ケーブル又は無線ユニットを通じて接続される。たとえば、図１に示す構成例において、車両検出装置１２ａは、カメラ１１ａ及びカメラ１１ｂと接続され、車両検出装置１２ｂは、カメラ１１ｃと接続されている。車両検出装置１２ａ〜１２ｊは、それぞれが接続しているカメラ１１から道路ＲＤ上を撮影した動画を取得する。
なお、車両検出装置１２ａ〜１２ｊは、道路ＲＤ上を撮影した動画を取得できればよく、他の装置から道ＲＤ路上を撮影した動画を取得するものとしてもよい。

車両検出装置１２ａ〜１２ｊは、情報提示装置１４と有線ケーブル又は無線ユニットを通じて接続されている。車両検出装置１２ａ〜１２ｊは、検出した車両に関する情報や車両の状態（走行状態）に関する情報などを情報提示装置１４へ送信する。
車両検出装置１２（１２ａ〜１２ｊ）の詳細な説明は、後述する。

情報掲示装置１３ａ並びに１３ｂは、情報提示装置１４からの画像データを受信し、受信した画像データを表示する表示装置である。情報掲示装置１３ａ並びに１３ｂは、たとえば、電光掲示板あるいは大型ＬＥＤディスプレイなどである。情報掲示装置１３ａ並びに１３ｂは、道路ＲＤ上の車両の運転者（例えば、図１では、車両Ｃ１及びＣ２の運転者）に道路状況などの情報を提供するためのものである。たとえば、情報掲示装置１３ａ並びに１３ｂは、情報提示装置１４から送信された道路ＲＤの渋滞情報など含む画像データを受信し、当該画像データを表示する。これにより、道路ＲＤ上の車両の運転者は、道路ＲＤの渋滞情報などを知ることができる。

なお、図１に示す構成例では、カメラ１１ａ〜１１ｋ、車両検出装置１２ａ〜１２ｊ、情報掲示装置１３ａ、１３ｂ、及び情報提示装置１４は、それぞれ個別の装置としたが、この態様に限るものではなく、２つ以上の特定の装置を一体として構成してもよいし、全てを一体として構成してもよい。

次に、車両検出装置１２（１２ａ〜１２ｊ）の構成について説明する。
車両検出装置１２ａ〜１２ｊは、同様の構成で実現できる。このため、車両検出装置１２ａ〜１２ｊの構成については、車両検出装置１２ａの構成例として説明するものとする。
車両検出装置１２ａは、カメラ１１などから道路の撮影画像を取得し、取得した撮影画像に車両が存在するか判定する。車両検出装置１２ａは、取得した画像内に対して探索窓を設定し、探索窓内の高次特徴量を算出する。車両検出装置１２ａは、算出した高次特徴量と事前に収集された車両画像の高次特徴量量（辞書データ）とを比較し、当該探索窓における画像の車両画像らしさ（尤度）を計算する。

車両検出装置１２ａは、探索窓を取得した画像内で動かし、探索窓を動かすごとに探索窓内の尤度を計算する。車両検出装置１２ａは、画像内において繰り返し探索窓を動かし、当該画像内の各所に設定した探索窓内の画像と車両画像との尤度を計算することにより、取得した画像のあらゆる場所について車両画像との尤度を計算する。車両検出装置１２ａは、取得した画像のあらゆる場所で計算した尤度に基づいて、取得した画像全体における尤度分布を作成する。また、車両検出装置１２ａは、取得した画像の解像度を段階的に下げた画像（又は解像度を上げた画像）を複数生成（マルチスケール画像を生成）し、各画像に対しても探索窓を用いた尤度分布の作成処理を行う。車両検出装置１２ａは、各画像における尤度分布と事前に構築された尤度分布モデル（辞書データ）とを比較し、取得した画像のどの部分に車両があるかを判定する。

図２は、車両検出装置１２ａの構成例を概略的に示すブロック図である。
車両検出装置１２ａは、制御部２１、通信インターフェイス（Ｉ／Ｆ）部２２、記憶部２３及び外部記憶装置２４などを備える。
制御部２１は、車両検出装置１２ａの各部の動作を統合的に制御する。制御部２１は、ＭＰＵ、ＲＡＭ及びＲＯＭなどを備えるマイクロコンピュータで構成される。制御部２１は、制御部２１内のＲＯＭ及び記憶部２３内のＲＯＭに格納されている制御プログラムを実行することで種々の処理を行う。たとえば、制御部２１は、オペレーティングシステムのプログラムを実行することにより、車両検出装置１２ａの基本的な動作制御を行う。また、制御部２１は、アプリケーションプログラムを実行することにより、車両検出装置１２ａの運用形態に応じた種々の処理を行う。なお、制御部２１は、マイクロコンピュータに限定されず、ハードウェアの動作を制御しアプリケーションプログラムを実行できる装置であればよい。制御部２１は、たとえば、パソコンなどであってもよい。

通信Ｉ／Ｆ部２２は、対応するカメラ１１ａ、カメラ１１ｂ及び情報提示装置１４との間で通信を行うためのインターフェイスである。制御部２１は、通信Ｉ／Ｆ部２２を通じて、カメラ１１ａ及びカメラ１１ｂから動画を取得する。また、制御部２１は、通信Ｉ／Ｆ部２２を通じて、検出した車両の情報を情報提示装置１４へ送信する。通信Ｉ／Ｆ部２２は、有線で情報を送受信するものでもよいし、無線で情報を送受信するものでもよい。また、通信Ｉ／Ｆ部２２は、無線通信及び有線通信の両者に対応するものでもよい。通信Ｉ／Ｆ部２２は、たとえば、ＵＳＢポート、有線ＬＡＮポート及び無線ＬＡＮ端末などであってもよい。

記憶部２３は、制御部２１が制御を行うための制御プログラムなどを不揮発的に格納するＲＯＭ、ワークエリアとして用いられ各種データを揮発的に格納するＲＡＭ、設定データなどを更新可能に不揮発的に記録するフラッシュＲＯＭ及び画像データを格納するＶＲＡＭなどを備える。

外部記憶装置２４は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの大容量記録装置により構成される。

次に、車両検出装置１２ａの機能について説明する。
図２は、車両検出装置１２ａの機能を示す機能ブロック図である。
車両検出装置１２ａは、入力画像取込部３１、マルチスケール画像算出部３２、探索窓設定部３３、高次特徴量算出部３４、識別部３５ａ〜３５ｍ、尤度分布生成器３６ａ〜３６ｍ、車両検出部３７、属性情報付加部３８、車両追跡部３９、車両挙動把握部４０及び車両情報送信部４１などを備える。

入力画像取込部３１は、通信Ｉ／Ｆ部２２を介してカメラ１１ａ及びカメラ１１ｂから画像データを取り込む。入力画像取込部３１は、車両検出装置１２ａの仕様に合わせて、入力された画像データを修正するようにしても良い。たとえば、入力画像取込部３１は、ビットマップ又はＪＰＥＧなどの圧縮形式を変換するようにしても良いし、画素数などを所定の形式になるように修正するようにしても良い。

マルチスケール画像算出部３２は、入力画像取込部３１で取り込んだ画像データを基に、当該画像データの解像度を変更した複数の画像データを生成する。解像度を変更した画像データは、マルチスケール画像とも称するものとする。また、マルチスケール画像として生成された複数の画像は、それぞれマルチスケール画像の種別番号などで識別されるものとする。

たとえば、マルチスケール画像算出部３２は、取り込んだ画像データの解像度を段階的に下げることにより複数の解像度の画像（マルチスケール画像）を生成する。マルチスケール画像算出部３２は、取り込んだ画像データの解像度を下げる方法として、バイリニア方式あるいはバイキュービック方式などが適用可能である。ただし、取り込んだ画像データの解像度を変更する方法は、特定の方法に限定されるものではない。

一例として、カメラ１１ａからの画像データが６４０×４８０画素の画像であるものとする。この場合、マルチスケール画像算出部３２は、解像度を段階的に下げたマルチスケール画像として、５６０×４２０画素の画像、４４０×３３０画素の画像、４００×３００画素の画像、３２０×２４０画素の画像、および、２４０×１８０画素の画像などを生成する。
なお、マルチスケール画像算出部３２で生成される画像の解像度は、特定の解像度に限定されるものではなく、生成されるマルチスケール画像の枚数も特定の枚数に限定されるものではない。また、マルチスケール画像算出部３２は、アスペクト比の異なる画像を生成するようにしても良い。ただし、以下の説明においては、マルチスケール画像算出部３２は、ｎ枚のマルチスケール画像を生成するものとする。

探索窓設定部３３は、マルチスケール画像算出部３２で生成された各画像に対して車両検出用の探索窓を設定する。高次特徴量算出部３４は、探索窓設定部３３が設定した探索窓内の画像における高次特徴量を計算するものである。つまり、探索窓とは、高次特徴量算出部３４が高次特徴量を計算する対象となる領域である。言い換えれば、探索窓は、識別器３５が車両画像らしさとしての尤度を計算する対象となる領域である。

たとえば、探索窓設定部３３は、マルチスケールで生成した画像のうち５６０×４２０ピクセルの画像に対して座標（１０，１０）に、３０×３０の探索窓を設定する。この場合、設定された探索窓の左上の座標は、（１０，１０）であり、右下の座標は（３９，３９）となる。探索窓設定部３３が当該探索窓を設定すると、高次特徴量算出部３４が当該探索窓の高次特徴量を計算し、識別部３５が当該高次特徴量から当該探索窓の画像が車両画像らしい尤度を計算する。
なお、探索窓は、特定の大きさに限定されないが、処理対象となる画像よりは小さい必要がある。また、探索窓は、正方形或いは長方形などの矩形に限定されるものではなく、特定の形に限定されない。

探索窓設定部３３は、設定した探索窓を処理対象となる画像内で動かすことができる。これにより、車両検出装置１２ａは、マルチスケール画像算出部３２で生成した各画像の多数の領域において尤度を得ることができ、各画像全体における尤度分布を得ることができる。
たとえば、探索窓設定部３３は、５６０×４２０ピクセルの画像において座標（１０，１０）に設定した探索窓を座標（１３，１０）に動かす。探索窓設定部３３が探索窓を動かすと、上記の通り、高次特徴量算出部３４が当該探索窓における画像の高次特徴量を計算し、識別部３５が当該探索窓における画像の車両画像らしさを示す尤度を計算する。
探索窓設定部３３は、さらに、探索窓を（１３，１０）から（１６、１０）へ、（１６，１０）から（１９、１０）へと動かす。探索窓設定部３３が探索窓を動かすごとに、高次特徴量算出部３４は、上記と同様に尤度を算出する処理を行う。なお、探索窓の動かし方は、特定の方法に限定されるものではない。

高次特徴量算出部３４は、探索窓設定部３３が設定した探索窓内の画像について、特徴量（高次特徴量）を計算する。高次特徴量算出部３４が計算する高次特徴量は、識別器３５が尤度を計算する際に使用される高次特徴量と比較されるデータである。たとえば、高次特徴量算出部３４は、探索窓内の画像をぼかした後の輝度勾配情報を１２８次元ベクトルとして高次特徴量を計算してもよい。また、高次特徴量算出部３４は、ＨＯＧ特徴量又はエッジ特徴量などを高次特徴量としてもよい。高次特徴量の計算方法は、特定の方法に限定されるものではない。また、高次特徴量の計算方法は、識別器３５ａ〜３５ｍによって変更してもよい。

識別部３５ａ〜３５ｍは、車両を見込む角度（対応するカメラの設置状態）、周囲の明るさ、撮影時間帯、探索窓について計算された高次特徴量などに基づいてパターン分析を行い、当該探索窓の画像の車両画像らしさを示す尤度を計算する。たとえば、識別部３５ａ〜３５ｍは、事前に収集した車両画像の高次特徴量（高次特徴量分布）を保持する辞書データ部Ｄａ〜Ｄｍを備える。辞書データ部Ｄａ〜Ｄｍは、記憶部２３あるいは外部記憶装置２４に設けても良い。高次特徴量分布とは、特徴量の平均値ｍ及び共役分散行列Σであってもよい。識別部３５ａ〜３５ｍは、当該高次特徴量分布と探索窓における画像の高次特徴量とを比較することにより、当該探索窓における画像の尤度を計算する。また、識別部３５ａ〜３５ｍは、車両を見込む角度（対応するカメラの設置状態）、周囲の明るさ、撮影時間帯などから、尤度を補正してもよい。識別部３５ａ〜３５ｍが尤度を計算する方法は、特定の方法に限定されない。

また、識別部３５ａ〜３５ｍは、それぞれ異なる特性を持っている。即ち、識別部３５ａ〜３５ｍは、車両の種類、車両の向き、天候、あるいは、路面状況などにそれぞれ対応した特性を持つ。たとえば、識別部３５ａは、車両の側面を識別するための識別器であってもよいし、識別器３５ｂは、車両の正面を識別するための識別器であってもよい。各識別器３５がどのような特性を持つかは、特定の構成に限定されない。また、識別器３５の個数も限定されない。ただし、本実施形態においては、識別器３５ａは識別器１、識別器３５ｂは識別器２、…、識別器３５ｍは識別器ｍと称し、識別器の総数は、ｍ個あるものとする。

尤度分布生成器３６ａ〜３６ｍは、それぞれに対応する識別器３５から出力された尤度を基に画像全体における尤度分布を作成する。尤度分布生成器３６ａ〜３６ｍは、探索窓の重心の座標に当該探索窓における画像の車両画像らしさを示す尤度を設定することにより画像全体における尤度分布を作成する。

車両検出部３７は、尤度分布生成器３６ａ〜３６ｍで作成された尤度分布から車両領域を抽出する。
車両検出部３７は、マルチスケール画像の枚数に識別器３５の個数を掛けた数だけ尤度分布を取得する。たとえば、マルチスケール画像の枚数がｎ枚で識別器３５の個数がｍ個の場合、車両検出部３７は、ｎ×ｍ個の尤度分布を取得する。

各尤度分布生成器３６ａ〜３６ｍから尤度分布を取得すると、車両検出部３７は、取得した複数の尤度分布を正規化する。正規化の方法は、たとえば尤度のピークが最も高い尤度分布に合わせて全ての尤度分布を正規化する方法が考えられるが、特定の方法に限定されない。
車両検出部３７は、複数の尤度分布から尤度のピークが重なる位置を特定する。ピークが重なる位置を特定すると、車両検出部３７は、複数の尤度分布の中から、当該位置において最もピークが大きい尤度分布を選択する。即ち、車両検出部３７は、マルチスケールの画像のうち探索窓と車両サイズとが最もマッチする画像から算出された尤度分布を選択する。これは、探索窓と車両サイズとが近いほど尤度が大きく算出されるためである。また、車両検出部３７は、撮影状況あるいは車両の写り方に最も良く対応している識別器３５からの尤度分布を選択していることにもなる。

最もピークが大きい尤度分布を選択すると、車両検出部３７は、ピークが出現する位置の周辺領域（近傍領域）を選択する。車両検出部３７は、近傍領域の尤度分布から車両の有無を判定する。以下に、具体的に説明する。

車両検出部３７は、予め作成された車両領域の尤度分布モデルをモデルデータ部Ｍに記憶する。モデルデータ部Ｍは、記憶部２３あるいは外部機器装置２４に設けても良い。尤度分布モデルとは、たとえば車両領域及び車両領域周辺の典型的な尤度分布である。尤度分布モデルは、識別器３５ａ〜３５ｍ、あるいは、マルチスケールの各画像に応じて異なるものとしてもよい。尤度分布モデルの作成方法については、後述する。
車両検出部３７は、尤度分布モデルと近傍領域の尤度分布とを比較して両者の類似度を算出する。類似度の算出方法は、複数点での両者の差分の合計を計算する方法、又は、両者の特徴を数値化し比較する方法などが考えられるが、特定の方法に限定されるものではない。
尤度分布モデルと尤度分布との類似度を算出すると、車両検出部３７は、算出した類似度と所定の閾値とを比較する。類似度が大きいほど当該尤度分布の画像が車両画像らしいことを示すので、車両検出部３７は、類似度が閾値より大きい（あるいは、以上である）場合には当該近傍領域を車両領域と判定する。また、類似度が小さいほど当該尤度分布の画像が車両画像らしくないので、車両検出部３７は、類似度が閾値未満である（あるいは、以下である）場合には当該近傍領域を車両領域でない（取り込んだ画像には車両画像を含まない）と判定する。

なお、車両検出部３７は、車両領域の尤度分布の特徴パラメータ分布を保管するものであってもよい。この場合、車両検出部３７は、近傍領域の特徴パラメータと、車両領域の尤度分布の特徴パラメータ分布とを比較して、近傍領域が車両領域であるか判定してもよい。

車両検出部３７は、特定した車両領域の位置と検出に使用した尤度分布などを情報付加部３８へ送信する。送信する情報は、特定の情報に限定されるものではない。

属性情報付加部３８は、車両検出部３７で検出した車両一台ごとに車両の識別、追跡、或いは挙動把握などに必要な属性情報を付加する。即ち、属性情報付加部３８は、車両検出部３７で特定した車両領域の位置及び検出に使用した尤度分布に付加する他の情報として属性情報を生成する。

図４は、属性情報付加部３８が生成する属性情報の例を示す図である。
識別器の番号は、当該車両の検出処理を行った各識別器を識別するための識別番号である。車両領域の尤度分布は、車両検出部３７が車両検出に使用した尤度分布である。マルチスケール画像の種別番号は、尤度分布を算出したマルチスケールの各画像に対する種別番号である。車両ＩＤは、各車両を識別するために、各車両に個別に設定されるＩＤである。車線番号は、当該車両の検出処理を行った車線を示す車線番号である。検出時刻は、当該車両の検出処理を行った時刻である。車両領域の座標は、車両を検出された領域の座標を示すものであり、図４に示す例では車両が検出された矩形領域（探索窓）の左上と右下との座標である。
なお、属性情報は、運用形態に応じて適宜設定されるものであり、特定の構成に限定されるものではない。

車両追跡部３９は、属性情報付加部３８により付加された車両情報に基づいて車両を追跡する。
車両追跡部３９は、たとえば、時刻Ｔｎに検出した車両領域の尤度分布と、次の時刻Ｔｎ＋1に検出した尤度分布とを比較して類似度を計算する。時間差での類似度の算出方法は、複数点での両者の差分の合計を計算する方法、又は両者の特徴を数値化し比較する方法などが考えられるが、特定の方法に限定されるものではない。

時間差での類似度を算出すると、車両追跡部３９は、算出した類似度と所定の閾値とを比較する。類似度が大きいほど類似性が高いことを示すため、車両追跡部３９は、算出した類似度が閾値より大きい（あるいは、以上である）場合には時刻ｔｎに検出した車両と時刻ｔｎ＋１に検出した車両とが同一車両であると判定する。また、類似度が小さいほど類似性が低いことを示すため、車両追跡部３９は、類似度が閾値未満である（あるいは、以下である）場合には時刻ｔｎに検出した車両と時刻ｔｎ＋１に検出した車両が同一車両でないと判定する。
これにより、車両追跡部３９は、時系列で特定の車両を検出することができ、時系列での特定の車両の位置により当該車両を追跡することができる。

車両挙動把握部４０は、車両追跡部３９の追跡結果に基づいて、車両の挙動を把握する。車両の挙動とは、単に車両の時系列の位置情報ではなく、たとえば、車両の蛇行、逆走、急な車線変更、低速走行、あるいは、走行速度超過などの車両の動きの状態を示す情報である。なお、車両の挙動は、特定の構成に限定されるものではない。

車両情報送信部４１は、情報提示装置１４へ車両情報を出力する。車両情報は、たとえば、車両の属性情報、時系列の位置情報及び車両の挙動情報などである。車両情報送信部４１が情報提示装置１４へ出力する車両情報の内容は、情報提示装置１４の機能あるいは表示能力などによって変更してもよい。また、車両情報送信部４１は、道路の管理者が道路状況を監視する監視サーバ（図示しない）に車両情報を送信するようにしても良い。これにより、監視サーバは、道路の管理者に道路を走行する各車両の状況を報知するようにしても良いし、図示しない路車間通信などにより道路を走行中の車両の状況を他の車両の車載器などに通知するようにしても良い。なお、車両情報は、特定の内容に限定されるものではない。

次に、車両検出装置１２ａの動作について説明する。

まず、入力画像取込部３１は、カメラ１１ａから道路ＲＤ上を撮影した画像（撮影画像データ）を取得する。ここでは、撮影画像データは、６４０×４８０画素の画像データであるものとする。車両検出装置１２ａは、車両検出装置１２ａに接続されているカメラ１１ｂが撮影した画像に対しても同様な処理を行う。ここでは、カメラ１１ａが撮影した画像についての検出処理について説明する。

撮影画像データを取得すると、入力画像取込部３１は、撮影画像データをマルチスケール画像算出部３２へ送信する。
マルチスケール画像算出部３２は、受信した撮影画像データに対して段階的に解像度を下げる処理を施して、撮影画像データのマルチスケール画像を生成する。ここでは、マルチスケール画像算出部３２は、ｎ枚のマルチスケール画像を生成するものとする。また、オリジナルの撮影画像データもマルチスケール画像の１つに含まれるものとする。即ち、マルチスケール画像算出部３２は、マルチスケール画像として、１個のオリジナルの撮影画像データとオリジナルの撮影画像データから解像度を落として生成したｎ−１個のマルチスケール画像と合計ｎ個生成する。

マルチスケール画像をｎ個生成すると、マルチスケール画像算出部３２は、ｎ個のマルチスケール画像のうち１個目の画像を探索窓設定部３３に送信する。ここでは、１個目のマルチスケール画像は、オリジナルの撮影画像データの解像度である６４０×４８０画素の画像データであるものとする。即ち、マルチスケール画像算出部３２は、６４０×４８０画素の画像を探索窓設定部３３へ送信する。なお、マルチスケール画像の番号の付け方は、特定の方法に限定されない。

探索窓設定部３３は、送信されたマルチスケール画像に探索窓ＳＷを設定する。ここでは、探索窓設定部３３は、Ｘ軸方向の大きさＸＷ＝３０ピクセル、Ｙ軸方向の大きさＹＷ＝３０ピクセルの探索窓ＳＷを、当該マルチスケール画像の（０，０）を基点に設定する。即ち、探索窓設定部３３は、探索窓ＳＷの左上の座標が（０，０）、右下の座標が（２９，２９）となるように当該マルチスケール画像上に設定する。

探索窓設定部３３が探索窓ＳＷを当該マルチスケール画像上に設定すると、高次特徴量算出部３４は、当該探索窓ＳＷ内の画像についての高次特徴量を算出する。ここでいう高次特徴量とは、識別器３５ａで高次特徴量分布と比較されるものである。当該探索窓ＳＷ内の画像について高次特徴量を算出すると、高次特徴量算出部３４は、算出した高次特徴量を識別器３５ａへ送信する。

高次特徴量算出部３４から当該探索窓ＳＷ内の画像についての高次特徴量を受信すると、識別器３５ａは、それぞれに格納された高次特徴量分布と受信した高次特徴量を比較することで、当該探索窓内の画像の車両画像らしさを示す尤度を計算する。当該探索窓内の画像に対する尤度を計算すると、識別器３５ａは、尤度分布生成器３６ａへ計算した尤度を送信する。

ここまでの処理が終了すると、探索窓設定部３３は、探索窓ＳＷをＸ軸方向へ動かす。

図５は、探索窓設定部３３が探索窓ＳＷを動かす軌道を示す図である。図５中において、ＳＷは探索窓、ＰＬは探索窓の左上、ＰＲは探索窓の右下を示している。
探索窓設定部３３は、左上の座標が（ｋｘ，０）、右下の座標が（ｋｘ＋２９，２９）の探索窓ＳＷを当該マルチスケール画像上に設定する。ここで、ｋｘは、探索窓設定部３３が探索窓ＳＷをＸ軸方法へ動かす幅である。例えば、本実施形態において、ｋｘは、
３ピクセル≦ｋｘ≦１０ピクセル
を満たす値とする。ただし、ｋｘの値は、特定の値に限定されるものではない。

探索窓設定部３３が探索窓ＳＷを動かすと、上述したように、動かした探索窓ＳＷについて、高次特徴量算出部３４が高次特徴量を計算し、識別器３５ａが尤度を計算する。これにより、尤度分布生成器３６ａは、識別器３５ａから動かした探索窓ＳＷ内の画像に対する尤度を受信する。

ここまでの処理が終了すると、探索窓設定部３３は、さらに探索窓ＳＷをＸ軸方向へｋｘ動かす。つまり、探索窓設定部３３は、探索窓ＳＷを左上の座標が（ｋｘ×２，０）となる位置へ動かす。探索窓設定部３３が探索窓ＳＷを動かすと、高次特徴量算出部３４、識別器３５ａおよび尤度分布生成器３６ａは、動かした探索窓ＳＷ内の画像に対する尤度を算出するために、再度上記と同様の処理を行う。

探索窓設定部３３は、探索窓ＳＷをＸ軸方向へｋｘ分づつ動かし、探索窓設定部３３が探索窓ＳＷを動かすごとに、高次特徴量算出部３４、識別器３５ａおよび尤度分布生成器３６ａは、動かした探索窓ＳＷ内の画像に対する尤度を取得する処理を行う。

探索窓設定部３３は、画像の右端まで探索窓ＳＷを動かすと、探索窓ＳＷの設定位置をＹ軸方向へ動かし、Ｘ座標をリセットする（０に戻す）。即ち、探索窓設定部３３は、探索窓ＳＷを（０，ｋｙ）へ動かす。ここで、ｋｙは、探索窓設定部３３が探索窓ＳＷをＹ軸方法へ動かす幅である。例えば、本実施形態において、ｋｙは、
３ピクセル≦ｋｙ≦１０ピクセル
を満たす値とする。ただし、ｋｙの値は、特定の値に限定されるものではない。

探索窓設定部３３が画像の右端まで探索窓ＳＷを動かすごとに、探索窓ＳＷをＹ軸方向へｋｙ分づつ動かし、探索窓ＳＷのＸ座標をリセットする（０に戻す）。たとえば、Ｙ座標がｋｙの状態で探索窓ＳＷが画像の右端まで動くと、探索窓設定部３３は、探索窓ＳＷを（０，ｋｙ×２）へ動かす。

すなわち、探索窓設定部３３は、探索窓ＳＷを画像の左から右へ動かし、右端まで動かすと、左に戻し下に動かす。探索窓設定部３３は、このような動作を繰り返し行うことにより、探索窓設定は、探索窓ＳＷを画像の左上から右下まで動かし、探索窓ＳＷを画像の左上から右下までの各位置に順次設定する。

探索窓設定部３３が探索窓ＳＷを動かすたびに、識別器３５ａは探索窓ＳＷ内の尤度を計算し、尤度分布生成器３６ａへ尤度を送信する。このため、尤度分布生成器３６ａは、マルチスケールで生成した各画像の複数位置に対して車両らしさを示す尤度を得ることができる。尤度分布生成器３６ａは、当該尤度から当該マルチスケール画像の尤度分布を生成することができる。

尤度分布が生成されると、車両検出装置１２ａは、識別器３５ａから識別器３５ｂへ、尤度分布生成器３６ａから尤度分布生成器３５ｂへ変更して、上述の処理と同様な処理を行う。尤度分布生成器３６ｂが尤度分布を生成すると、車両検出装置１２ａは、識別器３５ｂを識別器３５ｃに変更し、尤度分布生成器３６ｂを尤度分布生成器３６ｃへ変更し、上述の処理と同様な処理を行う。すなわち、車両検出装置１２ａは、識別器および尤度分布生成器を順に切り替えて、最後の識別器３５ｍ及び尤度分布生成器３６ｍが尤度分布を生成するまで、上述の処理と同様な処理を繰り返し行う。

図６は、尤度分布の算出対象となる画像の例である。図６では、尤度分布の算出対象となる画像における注目領域とその周辺領域の状態を示している。図７は、図６に示す画像における尤度分布の例を示す図である。図８は、各領域で算出される尤度データに基づく尤度分布の構成例を示す図である。

図６において、注目領域は、車両（車両画像）領域であり、周辺領域は、車両領域の周辺領域である。また、注目領域および周辺領域は、探索窓設定部が設定する探索窓の領域に相当するものであり、各領域ごとに車両らしさを示す尤度が算出される。図６において、注目領域は、車両（車両画像）領域である。このため、図７に示すように、注目領域では、車両らしさを示す尤度は高い値になり、周辺領域においては、含まれる車両領域が小さくなるほど尤度が減少する。すなわち、尤度は、車両領域と最もマッチする領域でピークとなり車両領域から離れるほど減少する。これらの尤度をプロットしたデータにより、尤度分布生成器３６ａ〜３６ｍは、図８に示すように、尤度分布を算出できる。

尤度分布生成器３６ａ〜３６ｍが１個目のマルチスケール画像における尤度分布を生成すると、車両検出装置１２ａは、２個目のマルチスケール画像における尤度分布を作成する。２個目のマルチスケール画像の尤度分布を生成するプロセスは、１個目のマルチスケール画像の尤度分布を生成するプロセスと同様である。車両検出装置１２ａは、ｎ個のマルチスケール画像についても同様に処理を行い、尤度分布を生成する。

尤度分布生成器３６ａ〜３６ｍがｎ個のマルチスケール画像の尤度分布を生成すると、生成した全ての尤度分布を車両検出部３７へ送信する。
なお、尤度分布生成器３６ａ〜３６ｍは、１個のマルチスケール画像の尤度分布を生成するたびに、尤度分布を車両検出部３７へ送信してもよい。

全てのマルチスケール画像における尤度分布を受信すると、車両検出部３７は、車両判定に用いる尤度分布を選択する処理を行う。図９は、マルチスケールで生成した各画像における尤度分布の違いを説明するための図である。車両領域よりも探索窓が小さい場合（即ち、車両サイズ＞探索窓サイズである場合）、車両領域での尤度が小さくピークがはっきりしない。また、車両領域よりも探索窓が大きい場合（即ち、車両サイズ＜探索窓サイズである場合）、車両領域での尤度が小さくピークがはっきりしない。一方、車両領域と探索窓がほぼ一致する場合（即ち、車両サイズ≒探索窓サイズの場合）、車両領域での尤度が高くピークもはっきりする。このため、車両検出部３７は、ピークの大きい尤度分布を選択することにより、画像に含まれる車両領域に最もマッチするサイズの探索窓で算出した尤度による尤度分布を選択することができる。

尤度分布を選択すると、車両検出部３７は、選択した尤度分布において、ピークの周辺領域（近傍領域）の尤度分布と、モデルデータ部Ｍに記憶している尤度分布モデルとを比較する。ピークの周辺領域の尤度分布と尤度分布モデルとが所定の基準以上に類似していると判断された場合に、車両検出部３７は、ピーク領域に車両領域があると判断する。車両領域を検出すると、車両検出部３７は、検出した車両領域の位置及び車両領域の検出に使用した尤度分布などを属性情報付加部３８へ送信する。

車両領域の位置を取得した属性情報付加部３８は、車両を検出した識別器及び車両領域の尤度分布などに他の情報を付加し、属性情報を生成する。属性情報は、たとえば、図４に示すような情報が設定可能である。属性情報を生成すると、属性情報付加部３８は、車両の属性情報を車両追跡部３９へ送信する。また、属性情報付加部３８は、車両の属性情報を車両情報送信部４１へも送信するようにしてもよい。

属性情報を受信すると、車両追跡部３９は、直前（たとえば、時刻ｔｎ）に取得した車両の属性情報と現在（例えば、時刻ｔｎ＋１）に取得した車両の属性情報から、車両の対応付けを行う。図１０（ａ）は、時刻ｔｎの画像における尤度分布の例を示す図である。図１０（ｂ）は、時刻ｔｎ＋１の画像における尤度分布の例を示す図である。ここでは、図１０（ａ）及び図１０（ｂ）を参照しつつ、時系列の複数の画像における尤度分布に基づいて、車両追跡部３９が車両を対応付ける処理（追跡処理）について説明する。
図１０（ａ）は、時刻ｔｎの画像における車両領域近傍の尤度分布を示している。図１０（ｂ）は、時刻ｔｎ＋１の画像における車両領域近傍の尤度分布を示している。また、図１０（ｂ）では、時刻ｔｎにおける車両領域近傍の尤度分布を点線で示している。

車両追跡部３９は、両時刻における車両領域近傍の尤度分布が所定の基準以上に類似していると判断した場合、両時刻で検出された車両が同一の車両であると判定する。これにより、車両追跡部３９は、時系列で車両の位置情報を取得することができる。時系列で車両の位置情報を取得すると、車両追跡部３９は、時系列での車両の位置情報を車両挙動把握部４０へ送信する。また、車両追跡部３９は、時系列での車両の位置情報を車両情報送信部４１へ送信してもよい。

時系列での車両の位置情報を受信すると、車両挙動把握部４０は、時系列での車両の位置情報から当該車両の挙動を把握する。たとえば、車両挙動把握部４０は、当該車両の蛇行、逆走及び速度超過などの車両の挙動を検出する。車両挙動把握部４０は、当該車両が問題なく走行している場合には、車両の挙動を通常運行としてもよい。車両の挙動を検出すると、車両挙動把握部４０は、車両の挙動情報を車両情報送信部４１へ送信する。

車両の挙動情報を受信すると、車両情報送信部４１は、当該車両の挙動情報を車両情報として情報提示装置１４へ送信する。また、車両情報送信部４１は、車両の挙動情報を道路を管理する管理者や他の車両の運転者に報知するために図示しない監視サーバへ送信するようにしても良い。車両情報送信部４１は、属性情報付加部３８から車両の属性情報を受信し、車両情報に属性情報を加えてもよい。また、車両情報送信部４１は、車両追跡部３９から時系列での車両の位置情報を取得し、車両情報に時系列での車両の位置情報を加えてもよい。車両情報送信部４１は、その他の情報を車両情報に加えてもよく、その他の情報は特定の情報に限定されるものではない。

なお、マルチスケール画像算出部３２は、解像度を上げたマルチスケール画像を生成してもよい。また、マルチスケール画像算出部３２は、取得した画像からマルチスケール画像を生成する処理に代えて、探索窓ＳＷの大きさを大きく又は小さく変更してもよい。また、車両検出装置１２ａは、マルチスケールの画像を生成するとともに、探索窓の大きさも変更するようにしてもよい。すなわち、車両検出装置１２ａは、車両検出の対象となる画像と車両画像を検出するための探索窓との相対的な大きさを変更して複数の尤度分布を検出するようにすれば良い。言い換えれば、車両検出装置１２ａは、撮影画像と探索窓との相対的な大きさが変化するように設定した状態で、複数の尤度分布を検出するものであれば良い。

また、入力画像取込部３１、マルチスケール画像算出部３２、探索窓設定部３３、高次特徴量算出部３４、識別部３５ａ〜３５ｍ、尤度分布生成器３６ａ〜３６ｍ、車両検出部３７、属性情報付加部３８、車両追跡部３９、車両挙動把握部４０及び車両情報送信部４１は、プロセッサがプログラムを実行することにより実現されるものとするが、一部又は全部をハードウェアで実現しても良い。

次に、車両検出処理の流れについて説明する。
図１１は、車両検出装置１２ａによる車両検出処理の流れを説明するためのフローチャートである。
車両検出装置１２ａにおいて、入力画像取込部３１は、カメラ１１ａが道路を撮影した画像（撮影画像データ）を取り込む（ステップ３１）。入力画像取込部３１は、取り込んだ撮影画像データをマルチスケール画像算出部３２へ送信する。
撮影画像データを受信すると、マルチスケール画像算出部３２は、撮影画像データの解像度を段階的に落とした複数の画像（マルチスケール画像）を生成する（ステップ３２）。マルチスケール画像算出部３２が生成するマルチスケールの画像は、オリジナルの撮影画像データを含めてｎ枚であるものとする。

マルチスケール画像が生成されると、制御部２１は、変数ＭＮを初期化（ＭＮ＝１）する（ステップ１３）。ここで、変数ＭＮは、尤度分布を算出するマルチスケールの画像を特定するためのマルチスケール画像番号（１〜ｎ）である。変数ＭＮを初期化すると、制御部２１は、変数ＳＮを初期化（ＳＮ＝１）する（ステップ１４）。ここで、変数ＳＮは、尤度を計算する識別器を特定する識別器番号（１〜ｍ）である。識別器番号１は識別器３５ａ、識別器番号２は識別器３５ｂ、…、識別器番号ｍは識別器３５ｍを示すものとして、ここでは、識別器の総数がｍ個であるものとする。

変数ＳＮを初期化すると、制御部２１は、探索窓ＳＷの設定位置を示す座標を初期化（Ｘ＝０，Ｙ＝０）する（ステップ１５）。
探索窓ＳＷの座標を初期化した後、探索窓設定部３３は、マルチスケール画像算出部３２が生成したマルチスケール画像のうちＭＮ個目の画像を探索対象の画像として、当該画像における座標（Ｘ，Ｙ）を基点にして探索窓ＳＷを設定する。即ち、探索窓設定部３３は、左上の座標ＰＬを（Ｘ，Ｙ）、右下の座標ＰＲを（Ｘ＋ＸＷ−１，Ｙ＋ＹＷ−１）とする探索窓ＳＷを探索対象の画像内に設定する（ステップＳ１６）。ここで、ＸＷは探索窓ＳＷのＸ軸方向大きさであり、ＹＷは探索窓ＳＷのＹ軸方向大きさである。探索対象の画像に探索窓ＳＷを設定すると、探索窓設定部３３は、探索窓ＳＷの座標ＰＬ及び座標ＰＲを高次特徴量算出部３４へ送信する。

探索窓ＳＷの座標ＰＬ及び座標ＰＲを受信すると、高次特徴量算出部３４は、探索窓ＳＷ内の画像における高次特徴量を算出する（ステップ１７）。高次特徴量算出部３４が算出する高次特徴量は、ＳＮ番目の識別器（識別器ＳＮ）が当該探索窓内の画像の車両画像らしさを示す尤度を計算するために使用する特徴量である。高次特徴量算出部３４は、算出した高次特徴量を識別器ＳＮへ送信する。

高次特徴量を受信すると、識別器ＳＮは、受信した高次特徴量から尤度を計算する。識別器ＳＮは、計算した尤度をＳＮ番目の尤度分布生成器（尤度分布生成器ＳＮ）へ送信する（ステップ１８）。ここで、尤度分布生成器ＳＮは、識別器ＳＮに対応する尤度分布生成器を示す。たとえば、ＳＮ＝２である場合、識別器２（識別器３５ｂ）に対応する尤度分布生成器３５ｂを示す。

識別器ＳＮが尤度を尤度分布生成器ＳＮへ送信すると、探索窓設定部３３は、探索窓ＳＷをさらにＸ軸方向へ移動させることができるか判定する（ステップ１９）。即ち、探索窓設定部３３は、探索窓ＳＷを現在の設定位置からさらにＸ軸方向へｋｘ分移動した場合に探索窓ＳＷの右側が探索対象の画像からはみ出さないか判定する。ここで、ＭＷＸは、探索対象の画像の右端座標であるものとする。たとえば、ＭＮ＝１である場合、１個目のマルチスケール画像（オリジナルの解像度（６４０×４８０）の撮影画像）においては、ＭＷＸ＝６３９である。探索窓ＳＷをＸ方向にｋｘ分移動させた後の探索窓ＳＷの右側のＸ座標は「Ｘ＋ｋｘ＋ＸＷ」であるので、
Ｘ＋ｋｘ＋ＸＷ≦ＭＷＸ
を満たせば、探索窓設定部３３は、探索窓ＳＷをＸ軸方向へｋｘ移動させることができると判定する。

探索窓ＳＷをＸ軸方向へｋｘ移動させることができると判定した場合（ステップ１９、ＹＥＳ）、探索窓設定部３３は、探索窓ＳＷのＸ座標を示すＸの値にｋｘを加算（Ｘ＝Ｘ＋ｋｙ）して（ステップ２０）、ステップ１６へ戻る。

探索窓ＳＷをＸ軸方向へｋｘ移動させることができないと判定した場合（ステップ１９、ＮＯ）、探索窓設定部３３は、探索窓ＳＷをＹ軸方向へｋｙ分移動させることができるか判定する（ステップ２１）。即ち、探索窓設定部３３は、探索窓ＳＷを現在の設定位置からさらにＹ軸方向へｋｙ分移動した場合に探索窓ＳＷの下側が探索対象の画像からはみ出さないか判定する。ここで、ＭＷＹは、探索対象の画像の下端座標であるものとする。たとえば、ＭＮ＝１である場合、１個目のマルチスケール画像（オリジナルの解像度（６４０×４８０）の撮影画像）においては、ＭＷＹ＝４７９である。探索窓ＳＷをＹ方向にｋｙ分移動させた後の探索窓ＳＷの下側のＹ座標は「Ｙ＋ｋｙ＋ＹＷ」であるので、
Ｙ＋ｋｙ＋ＹＷ≦ＭＷＹ
を満たせば、探索窓設定部３３は、探索窓ＳＷをＹ軸方向へｋｙ移動させることができると判定する。

探索窓ＳＷをＹ軸方向へｋｙ移動させることができると判定した場合（ステップ２１、ＹＥＳ）、探索窓設定部３３は、探索窓ＳＷのＸ座標を示すＸを初期化（Ｘ＝０）し、探索窓ＳＷのＸ座標を示すＹの値にｋｙを加算（Ｙ＝Ｙ＋ｋｙ）して（ステップ２２）、ステップ１６へ戻る。

探索窓ＳＷをＹ軸方向へｋｙ移動させることができないと判定した場合（ステップ２１、ＮＯ）、探索窓設定部３３は、当該探索対象の画像に対する探索窓ＳＷの設定を終了する。この場合、尤度分布生成器ＳＮは、当該探索対象の画像の各所に設定した探索窓ＳＷによって算出した尤度に基づいて当該探索対象の画像における尤度分布を生成する（ステップ２３）。

尤度分布生成器ＳＮが尤度分布を生成すると、制御部２１は、全ての識別器（識別器３５ａ〜識別器３５ｍ）で尤度分布を生成したか判定する（ステップ２４）。識別器は、ｍ個なので、ＳＮ＝ｍなら、制御部２１は、当該探索対象の画像に対して、全ての識別器での尤度分布の生成を完了したものと判断する（ステップＳ２４、ＹＥＳ）。全ての識別器での尤度分布の生成を終了していないと判定した場合（ステップ２４、ＮＯ）、制御部２１は、変数ＳＮをインクリメント（ＳＮ＝ＳＮ＋１）し（ステップ２５）、ステップ１５へ戻る。この場合（ＳＮがｍとなるまで）、次の識別器及び尤度分布生成器を用いて、上記ステップＳ１５〜Ｓ２５の処理が実行される。

全ての識別器での尤度分布の生成を完了したと判定した場合（ステップ２４、ＹＥＳ）、制御部２１は、全てのマルチスケール画像について尤度分布を生成したか判定する（ステップ２６）。ここでは、マルチスケール画像は、ｎ枚なので、ＭＮ＝ｎなら、制御部２１は、全てのマルチスケール画像で尤度分布を生成したといえる。全てのマルチスケール画像で尤度分布を生成していないと判定した場合（ステップ２６、ＮＯ）、制御部２１は、変数ＭＮをインクリメント（ＭＮ＝ＭＮ＋１）し（ステップ２７）、ステップ１４へ戻る。この場合（ＭＮがｎとなるまで）、上記ステップＳ１４〜Ｓ２７の処理が繰り返し実行される。

全てのマルチスケール画像で尤度分布を生成したと判定した場合（ステップ２６、ＹＥＳ）、尤度分布生成器３６ａ〜３６ｍは、それぞれが生成した尤度分布を車両検出部３７へ送信する。なお、尤度分布生成器３６ａ〜３６ｍは、尤度分布を作成する度に車両検出部３７へ尤度分布を送信してもよい。

尤度分布を受信すると、車両検出部３７は、受信した尤度分布に基づいて車両領域を特定する（ステップ２８）。車両検出部３７は、受信した複数の尤度分布からピーク値の大きい尤度分布を選択し、選択した尤度分布から撮影画像における車両画像らしい領域（車両領域）の座標を特定する。車両検出部３７は、特定した車両領域の座標及び車両領域の検出に使用した尤度分布などを車両検出結果の情報として属性情報付加部３８へ送信する。

特定された車両領域の座標及び車両領域の検出に使用した尤度分布などの車両検出結果を受信すると、属性情報付加部３８は、特定された車両領域の座標及び車両領域の検出に使用した尤度分布などの車両検出結果に付加する属性情報を生成する（ステップ２９）。属性情報付加部３８は、生成した属性情報を付加した車両検出結の情報を車両追跡部３９へ送信する。

属性情報が付加された車両検出結果の情報を受信すると、車両追跡部３９は、当該属性情報と以前に受信した他の属性情報とから特定の車両を追跡し、当該車両の時系列での位置情報（車両の走行状態を示す情報）を生成する（ステップ３０）。車両追跡部３９は、生成した車両の時系列での位置情報を車両挙動把握部４０へ送信する。また、車両追跡部３９は、生成した車両の時系列での位置情報を車両情報送信部４１へ送信するようにしても良い。

車両の時系列での位置情報を受信すると、車両挙動把握部４０は、車両の時系列での位置情報（車両の走行状態を示す情報）に基づいて当該車両の挙動を示す挙動情報を生成する（ステップ３１）。車両挙動把握部４０は、生成した車両の挙動情報を車両情報送信部４１へ送信する。車両挙動把握部４０は、車両の挙動情報とともに、車両検出結果および属性情報なども車両情報送信部４１へ送信する。ただし、車両検出結果および属性情報は、属性情報付加部３８あるいは車両追跡部３９から車両情報送信部４１へ送信するようにしても良い。なお、車両挙動把握部４０は、当該車両の挙動が異常（不審）か否かを判定し、挙動が異常（不審）である場合に当該車両の挙動情報を車両情報送信部４１へ送信するようにしても良い。

車両の挙動情報を受信すると、車両情報送信部４１は、車両の挙動情報、属性情報、車両検出結果、及び時系列での位置情報などに基づいて車両情報を生成する。車両情報送信部４１は、生成した車両情報を情報提示装置１４へ送信する（ステップ３２）。

以上のような態様によれば、車両検出装置は、単純に特定の領域について車両の画像か否かを判定していくのではなく、撮影画像全体（あるいは車両領域らしい周辺画像）における尤度分布から車両の画像を検出することができる。これにより、車両の見え方あるいは天候などの影響によって車両らしさを示す尤度が下がったとしても、車両検出装置は、精度良く車両の画像を検出することができる。

次に、識別器３５（３５ａ〜３５ｍ）の構築方法について説明する。
識別器３５は、サポートベクターマシン、Ｋ近傍識別器、ベイズ分類等の機械学習により大量のデータから識別パラメータを構成する非ルールベールの手法を用いて構築される。識別器３５は、車両検出装置１２ａで構築されてもよいし、他の装置で構成されてもよい。ここでは、車両検出装置１２ａで構築される場合を例に説明する。

図１２は、識別器３５を構築する際の学習処理のフローチャートである。
まず、制御部２１は、ディスプレイなどに車両画像を含む画像を表示させる。当該画像は、想定される撮影条件（車両を撮影する角度あるいは照度条件など）によって撮影された画像である。ディスプレイに当該画像を表示させると、制御部２１は、オペレータに車両領域を教示するよう促す。オペレータは、表示された画像内の車両領域を教示する。これにより、制御部２１は、車両画像を含む撮影画像と当該撮影画像内の車両領域データとの組み合わせ（教示データ）を得ることができる（ステップ３１）。

教示データを取得すると、制御部２１は、当該車両領域内の画像について高次特徴量を算出する（ステップ３２）。高次特徴量は、たとえばＨＯＧ（Histograms Of Gradients）やＣｏＨＯＧ（Co-occurrence Histograms Of Gradients）であるが、特定の構成に限定されない。

制御部２１は、同様に背景についても高次特徴量を算出する。制御部２１は、既存のパターン学習技術を用いて、車両領域における高次特徴量および背景画像における高次特徴量から学習を行う（ステップ３３）。

以上の処理を繰り返すことにより、制御部２１は、識別器３５を構築することができる（ステップ３４）。
なお、パターン学習技術は、特定の方法に限定されるものではない。また、識別器３５は、学習以外の方法で構築されてもよく、識別器３５の構築方法は限定されるものではない。

次に、尤度分布モデルの構築方法について説明する。
尤度分布モデルは、車両検出装置１２ａで構築されてもよいし、他の装置で構築されてもよい。ここでは、車両検出装置１２ａで構築される場合を例に説明する。
図１３は、尤度分布モデルを構築する際の学習処理のフローチャートである。
まず、制御部２１は、ディスプレイなどに車両画像を含む画像を表示させる。ディスプレイなどに当該画像を表示させると、制御部２１は、オペレータに車両領域を教示するよう促す。オペレータは、表示された画像内における車両領域を教示する。これにより、制御部２１は、車両画像を含む画像全体と当該画像内の車両領域データとを組み合わせた情報（教示データ）を得ることができる（ステップ４１）。

教示データを取得すると、制御部２１は、当該車両領域近傍の尤度分布を算出する。（ステップ４２）。尤度分布の算出方法は、前述の通りである。制御部２１は、既存のパターン学習技術を用いて、当該尤度分布から学習を行う（ステップ４３）。
以上の処理を繰り返すことにより、制御部２１は、尤度分布モデルを構築することができる（ステップ４４）。
なお、パターン学習技術は、特定の方法に限定されるものではない。また、尤度分布モデルは、学習以外の方法で構築されてもよく、尤度分布モデルの構築方法は限定されるものではない。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本出願当初の特許請求の範囲の記載を付記する。
［１］
移動体の検出対象となる撮影画像を取得する取得部と、
前記撮影画像内の複数位置に順次探索窓を設定する設定部と、
前記設定部が設定した探索窓内の画像の特徴量を計算する特徴算出部と、
前記特徴算出部が算出した前記特徴量に基づいて前記探索窓内の画像の移動体らしさを示す尤度を算出する尤度算出部と、
前記設定部が複数位置に設定した探索窓内の画像から前記尤度算出部が算出した複数の尤度に基づいて前記撮影画像全体における尤度分布を生成する尤度分布生成部と、
前記尤度分布生成部が生成した前記尤度分布に基づいて前記撮影画像内における移動体を検出する検出部と、
を備える移動体検出装置。
［２］
前記移動体は、車両であり、
前記撮影画像は、車両が走行する道路を撮影した画像である、
前記［１］に記載の移動体検出装置。
［３］
前記撮影画像の解像度を変更したマルチスケールの複数の画像を生成する画像生成部と、を備え、
前記設定部は、前記マルチスケールの各画像に対して複数位置に順次探索窓を設定し、
前記尤度分布生成部は、前記画像生成部が生成した複数の画像ごとに尤度分布を生成し、
前記検出部は、前記尤度分布生成部が生成した前記複数の画像ごとの尤度分布に基づいて前記撮影画像内の移動体領域を検出する、
前記［１］又は［２］の何れかに記載の移動体検出装置。
［４］
さらに、移動体の画像領域近傍の尤度分布モデルを格納する格納部と、を備え、
前記検出部は、前記複数の尤度分布から最も尤度のピークが大きい尤度分布を選択し、当該尤度分布の尤度のピーク近傍の尤度分布と、前記尤度分布モデルとを比較して移動体を検出する、
前記［３］に記載の移動体検出装置。
［５］
前記画像生成部は、撮影画像の解像度を段階的に下げてマルチスケールの複数の画像を生成する、
前記［３］又は［４］の何れかに記載の移動体検出装置。
［６］
前記設定部は、複数の尤度分布を生成するために前記探索窓の大きさを変更する、
前記［１］乃至［５］の何れかに記載の移動体検出装置。
［７］
さらに、前記検出部が検出した移動体領域の尤度分布を時系列に従って格納する尤度分布格納部と、
過去の移動体領域近傍の尤度分布と現在の移動体領域近傍の尤度分布とを比較して同一となる移動体を追跡する移動体追跡部と、を備える、
前記［１］乃至［６］の何れかに記載の移動体検出装置。
［８］
さらに、前記移動体追跡部が追跡する特定の移動体の時間的変化に基づいて当該移動体の挙動を把握する挙動把握部を備える、
前記［７］に記載の移動体検出装置。
［９］
移動体を検出する移動体検出装置と情報を提供する情報提供装置とを有する移動体検出システムであって、
前記移動体検出装置は、
移動体検出の対象となる撮影画像を取得する取得部と、
前記撮影画像内の複数位置に順次探索窓を設定する設定部と、
前記設定部が設定した探索窓内の画像の特徴量を計算する特徴算出部と、
前記特徴算出部が算出した前記特徴量に基づいて前記探索窓内の画像の移動体らしさを示す尤度を算出する尤度算出部と、
前記設定部が複数位置に設定した探索窓内の画像から前記尤度算出部が算出した複数の尤度に基づいて前記撮影画像全体における尤度分布を生成する尤度分布生成部と、
前記尤度分布生成部が生成した前記尤度分布に基づいて前記撮影画像内における移動体を検出する検出部と、
前記検出部による移動体の検出結果に基づく車両情報を前記情報提供装置へ出力する出力部と、を備え、
前記情報提供装置は、
前記移動体検出装置から取得した移動体の検出結果に基づく車両情報を報知する報知手段を備える、
移動体検出システム。
［１０］
移動体の検出対象となる撮影画像を取得し、
前記撮影画像内の複数位置に順次探索窓を設定し、
前記設定された探索窓内の画像の特徴量を計算し、
前記算出した前記特徴量に基づき、前記探索窓内の画像の移動体らしさを示す尤度を算出し、
前記複数位置に設定した探索窓内の画像から算出した複数の尤度に基づいて前記撮影画像全体における尤度分布を生成し、
前記生成した前記尤度分布に基づいて前記撮影画像内における移動体を検出する、
移動体検出方法。

１０…道路監視システム、１１ａ〜１１ｋ…カメラ、１２ａ〜１２ｍ…車両識別装置、１３ａ及び１３ｂ…情報掲示装置、１４…情報提示装置、ＲＤ…道路、Ｃ１及びＣ２…車両、２１…制御部、２２…通信Ｉ／Ｆ、２３…記憶部、２４…外部記憶部、３１…入力画像取込部、３２…マルチスケール画像算出部、３３…探索窓設定部、３４…高次特徴量算出部、３５ａ〜３５ｍ…識別器、３６ａ〜３６ｍ…尤度分布生成器、３７…車両検出部、３８…属性情報付加部、３９…車両追跡部、４０…車両挙動把握部、４１…車両情報送信部。

Claims (8)

1. 撮影画像を取得する取得部と、
   前記撮影画像の解像度を変更したマルチスケールの複数の画像を生成する画像生成部と、
   前記マルチスケールの各画像に対して複数位置に順次探索窓を設定する設定部と、
   前記設定部が設定した探索窓内の画像の特徴量を計算する特徴算出部と、
   前記特徴算出部が算出した前記特徴量に基づいて前記探索窓内の画像の移動体らしさを示す尤度を算出する尤度算出部と、
   前記設定部が複数位置に設定した探索窓内の画像から前記尤度算出部が算出した複数の尤度に基づいて前記画像生成部が生成した複数の画像ごとに尤度分布を生成する尤度分布生成部と、
   移動体の画像領域近傍の尤度分布モデルを格納する格納部と、
   前記尤度分布生成部が生成した前記複数の尤度分布から最も尤度のピークが大きい尤度分布を選択し、当該尤度分布の尤度のピーク近傍の尤度分布と、前記尤度分布モデルとを比較して前記撮影画像内における移動体を検出する検出部と、
   を備える移動体検出装置。
2. 前記移動体は、車両であり、
   前記撮影画像は、車両が走行する道路を撮影した画像である、
   前記請求項１記載の移動体検出装置。
3. 前記画像生成部は、撮影画像の解像度を段階的に下げてマルチスケールの複数の画像を生成する、
   前記請求項１又は２の何れか１項に記載の移動体検出装置。
4. 前記設定部は、複数の尤度分布を生成するために前記探索窓の大きさを変更する、
   前記請求項１乃至３の何れか１項に記載の移動体検出装置。
5. さらに、前記検出部が検出した移動体領域の尤度分布を時系列に従って格納する尤度分布格納部と、
   過去の移動体領域近傍の尤度分布と現在の移動体領域近傍の尤度分布とを比較して同一となる移動体を追跡する移動体追跡部と、を備える、
   前記請求項１乃至４の何れか１項に記載の移動体検出装置。
6. さらに、前記移動体追跡部が追跡する特定の移動体の時間的変化に基づいて当該移動体の挙動を把握する挙動把握部を備える、
   前記請求項５に記載の移動体検出装置。
7. 移動体検出装置と情報提供装置とを有する移動体検出システムであって、
   前記移動体検出装置は、
   撮影画像を取得する取得部と、
   前記撮影画像の解像度を変更したマルチスケールの複数の画像を生成する画像生成部と、
   前記マルチスケールの各画像に対して複数位置に順次探索窓を設定する設定部と、
   前記設定部が設定した探索窓内の画像の特徴量を計算する特徴算出部と、
   前記特徴算出部が算出した前記特徴量に基づいて前記探索窓内の画像の移動体らしさを示す尤度を算出する尤度算出部と、
   前記設定部が複数位置に設定した探索窓内の画像から前記尤度算出部が算出した複数の尤度に基づいて前記画像生成部が生成した複数の画像ごとに尤度分布を生成する尤度分布生成部と、
   移動体の画像領域近傍の尤度分布モデルを格納する格納部と、
   前記尤度分布生成部が生成した前記複数の尤度分布から最も尤度のピークが大きい尤度分布を選択し、当該尤度分布の尤度のピーク近傍の尤度分布と、前記尤度分布モデルとを比較して前記撮影画像内における移動体を検出する検出部と、
   前記検出部による移動体の検出結果に基づく車両情報を前記情報提供装置へ出力する出力部と、を備え、
   前記情報提供装置は、
   前記移動体検出装置から取得した移動体の検出結果に基づく車両情報を報知する報知手段を備える、
   移動体検出システム。
8. 撮影画像を取得し、
   前記撮影画像の解像度を変更したマルチスケールの複数の画像を生成し、
   前記マルチスケールの各画像に対して複数位置に順次探索窓を設定し、
   前記設定された探索窓内の画像の特徴量を計算し、
   前記計算した前記特徴量に基づき、前記探索窓内の画像の移動体らしさを示す尤度を算出し、
   前記複数位置に設定した探索窓内の画像から算出した複数の尤度に基づいて前記生成したマルチスケールの複数の画像ごとに尤度分布を生成し、
   前記生成した前記複数の尤度分布から最も尤度のピークが大きい尤度分布を選択し、当該尤度分布の尤度のピーク近傍の尤度分布と、移動体の画像領域近傍の尤度分布モデルとを比較して前記撮影画像内における移動体を検出する、
   移動体検出方法。

Images