JP4500563B2 - 車両検出方法及び車両検出システム - Google Patents

Description

本発明は、特定の場所を撮像した画像中の移動物体を検出する方法に関する。

従来の移動物体検出方法として、１時点で撮像された画像から被検出物体の特徴を有する領域を抽出する方法がある（第１従来例）。

特許文献１に開示された方法は連続撮像された複数枚の画像を用いて一定の軌道上を移動する物体の数を算出する方法であって、各画像から被検出物体の占める領域を検出し、各領域の位置の経時変化から被検出物体が移動しているのか滞留しているのかを区別するものである（第２従来例）。
特開平１０−６３８６３号公報

第１従来例には、使用される画像にノイズがあると分析結果が誤ったものになるという問題点があった。また、第２従来例には、被検出物体の占める領域の検出が各画像ごとに実行されるので、画像上に他の物体が存在したり、複数の物体が重なって存在したりする場合に被検出物体を正確に識別することができないという問題点があった。

本発明は、上記課題に鑑みてなされたものであり、ロバストで被検出物体を識別する精度が高い移動物体検出方法等を提供することを目的とする。

本発明の車両検出方法は、特定の場所を撮像した画像中の車両を検出する方法であって、撮像装置から受信して自機の格納手段に格納した前記画像のデータに基づいて演算処理し、その結果に基づいて前記車両を検出する車両検出システムの特徴点抽出手段に、前記特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の前記画像のそれぞれから、前記車両の一部を示す特徴点を抽出させる第１のステップと、前記車両検出システムの時間方向連結手段に、前記一定の時間中前記車両が一定の速度で移動することを前提に、前記複数の前記画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択させ、同一の特徴点の群を時間方向連結群として前記格納手段に記憶させる第２のステップと、前記車両検出システムの空間方向連結指標値算出手段に、前記時間方向連結群の前記ペアーの空間方向の連結の強さを示す空間方向連結指標値を算出させる第３のステップと、前記車両検出システムの車両検出手段に、前記空間方向連結指標値に基づいて、同一車両に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する前記車両を検出させる第４のステップとを含み、前記第３のステップが、各画像に差分フィルタ処理を施す第９のステップと、前記時間方向連結群のペアーに属する特徴点の近傍点を結ぶ線分上の画素について差分フィルタ処理後の画素値の平均値及び標準偏差を算出する第１０のステップと、前記平均値の大きさ及び前記標準偏差の小ささを示すエッジ連続度を算出する第１１のステップとを含み、前記第３のステップにおいて前記エッジ連続度に対応する前記空間方向連結指標値が算出されることを特徴とする。また、本発明の車両検出方法の別の側面は、特定の場所を撮像した画像中の車両を検出する方法であって、撮像装置から受信して自機の格納手段に格納した前記画像のデータに基づいて演算処理し、その結果に基づいて前記車両を検出する車両検出システムの特徴点抽出手段に、前記特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の前記画像のそれぞれから、前記車両の一部を示す特徴点を抽出させる第１のステップと、前記車両検出システムの時間方向連結手段に、前記一定の時間中前記車両が一定の速度で移動することを前提に、前記複数の前記画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択させ、同一の特徴点の群を時間方向連結群として前記格納手段に記憶させる第２のステップと、前記車両検出システムの空間方向連結指標値算出手段に、前記時間方向連結群のペアーの空間方向の連結の強さを示す空間方向連結指標値を算出させる第３のステップと、前記車両検出システムの車両検出手段に、前記空間方向連結指標値に基づいて、同一車両に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する前記車両を検出させる第４のステップとを含み、前記第４のステップが、同じグループに属する前記時間方向連結群同士の前記空間方向連結指標値が高く、異なるグループに属する前記時間方向連結群同士の前記空間方向連結指標値が低くなるように、前記時間方向連結群を複数のグループに分ける第１３のステップを含むことを特徴とする。

本発明の車両検出システムは、撮像装置が特定の場所を撮像し、前記撮像装置から受信して自機の格納手段に格納した画像のデータに基づいて演算処理し、その結果に基づいて前記画像中の車両を検出する車両検出システムであって、前記特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の前記画像のそれぞれから、前記車両の一部を示す特徴点を抽出する特徴点抽出手段と、前記一定の時間中前記車両が一定の速度で移動することを前提に、前記複数の前記画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択し、同一の特徴点の群を時間方向連結群として前記格納手段に記憶させる時間方向連結手段と、各画像に差分フィルタ処理を施すステップと、前記時間方向連結群のペアーに属する特徴点の近傍点を結ぶ線分上の画素について差分フィルタ処理後の画素値の平均値及び標準偏差を算出するステップと、前記平均値の大きさ及び前記標準偏差の小ささを示すエッジ連続度を算出するステップとを実行し、前記エッジ連続度に対応し前記時間方向連結群の前記ペアーの空間方向の連結の強さを示す空間方向連結指標値を算出する空間方向連結指標値算出手段と、前記空間方向連結指標値に基づいて、同一車両に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する前記車両を検出する車両検出手段とを備えることを特徴とする。また、本発明の車両検出システムの別の側面は、撮像装置が特定の場所を撮像し、前記撮像装置から受信して自機の格納手段に格納した画像のデータに基づいて演算処理し、その結果に基づいて前記画像中の車両を検出する車両検出システムであって、前記特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の前記画像のそれぞれから、前記車両の一部を示す特徴点を抽出する特徴点抽出手段と、前記一定の時間中前記車両が一定の速度で移動することを前提に、前記複数の前記画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択し、同一の特徴点の群を時間方向連結群として前記格納手段に記憶させる時間方向連結手段と、前記時間方向連結群のペアーの空間方向の連結の強さを示す空間方向連結指標値を算出する空間方向連結指標値算出手段と、前記空間方向連結指標値に基づいて、同一車両に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する前記車両を検出する車両検出手段とを備え、前記車両検出手段が、同じグループに属する前記時間方向連結群同士の前記空間方向連結指標値が高く、異なるグループに属する前記時間方向連結群同士の前記空間方向連結指標値が低くなるように、前記時間方向連結群を複数のグループに分けることを特徴とする。

時間方向連結群を用いて車両の検出を行うので、一部の画像上で複数の被検出物体が重なって存在しても、容易にこれらを分離して認識することができる。また、画像上に被検出物体ではない物体が存在したり、ノイズが発生したりしても、これらに影響されることなく高い精度で被検出体を識別することができる。

本発明の車両検出方法は、前記第２のステップが、前記第１画像におけるある特徴点が前記他の画像のうちの一つの画像における各特徴点に移動したと仮定したときにおける前記ある特徴点の時間当たりの移動量を算出する第５のステップと、前記時間当たりの移動量の均一度が最も高くなる特徴点の組み合わせを得るために、各前記他の画像から特徴点を一つずつ選択する第６のステップとを含み、前記第６のステップが、前記他の画像に、撮像時刻の順に、最後に撮像された画像を最上位とし、最初に撮像された画像を最下位とする順位を付ける第７のステップと、既に得られた前記組み合わせそれぞれに含まれる特徴点への前記時間当たりの移動量と、当該組み合わせに含まれる画像のうち最上位の画像（直近時刻撮像画像）よりも一つ上位の画像（前記直近時刻撮像画像の直後に撮像された検証時刻撮像画像）における特徴点への前記時間当たりの移動量とを比較し、当該組み合わせの中から当該一つ上位の画像（前記検証時刻撮像画像）における特徴点が新たに組み込まれるべきものを選択する第８のステップとを含むことが好適である。このような多段階決定法（動的計画法）を適用することにより演算時間を短縮することができる。

本発明により、ロバストで被検出物体を識別する精度が高い車両検出方法等を提供することができる。

以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。

図１は、本実施形態の交通流計測システムＡの概念図である。交通流計測システムＡは、道路上の特定の場所（計測地）を通過する自動車（車両）の台数、速度などをリアルタイムで計測するシステムである。

撮像装置２が、計測地の２次元画像を真上から一定の時間間隔で連続して撮像する。撮像装置２が撮像した各画像は、車両検出システム３に送信され、撮像時刻と紐付けされて車両検出システム３の格納部３０１に格納される。

車両検出システム３は、撮像装置２が撮像した画像中の車両を検出し、当該画像に含まれる車両の台数の算出、各車両の速度の算出及び各車両の大きさの評価を行う。車両検出システム３は、ある時刻における計測地を通過する車両を検出するに当たって、その時刻の前後に撮像された複数の画像を用いることに特徴がある。実際には一回の車両検出に２０フレーム程度を用いるのが好適であるが、本実施形態では説明を簡略化するために、４フレームを用いる例を説明する。

車両検出システム３は、機能的構成要素として、特徴点抽出手段３０３、時間方向連結手段３０５、空間方向連結指標値算出手段３０７、車両検出手段３０９及び速度算出手段３１１を備える。各機能的構成要素の概要は以下のとおりである。

特徴点抽出手段３０３は、各画像における車両の特徴点を抽出する。図２は、画像中に存在する車両の特徴点の例を示す図である。検出が容易な車両の特徴点としては、エッジの交差点（車体の角部、ウィンドウの角部）などが考えられる。

時間方向連結手段３０５は、一回の車両検出に用いられる４フレームの画像に現れる同一特徴点（同一車両の同一箇所を示す特徴点）を抽出する機能を有する。本実施形態では、一回の車両検出に用いられる４フレームの画像をそれぞれフレームＦ（ｔ＝０）、フレームＦ（ｔ＝−１）、フレームＦ（ｔ＝−２）、フレームＦ（ｔ＝−３）と呼ぶ。ｔ＝０時が当該検出における基準時刻であり、ｔ＝−１時、ｔ＝−２時、ｔ＝−３時は順次基準時刻よりも撮像間隔ずつ前の時刻である。フレームＦ（ｔ＝０）、フレームＦ（ｔ＝−１）、フレームＦ（ｔ＝−２）、フレームＦ（ｔ＝−３）は、それぞれ、ｔ＝０時、ｔ＝−１時、ｔ＝−２時、ｔ＝−３時に撮像された画像である。フレームＦ（ｔ＝０）を最上位のフレーム、フレームＦ（ｔ＝−３）を最下位のフレームとする。

図４は、フレームＦ（ｔ＝０）〜Ｆ（ｔ＝−３）に現れる同一特徴点を抽出する原理の説明図である。図４において、点ｐ_ａ、ｐ_ｂは特徴点を、点ｐ_ｃはノイズにより誤って検出された特徴点を、ｔ軸は時間軸を、（ｘ，ｙ）は画像上の位置座標を表す。ｔ＝−３時からｔ＝０時までの時間は、自動車の速度が一定であるとみなせるだけ十分に短い時間に設定されている。そのため、同一の特徴点であれば、ｔ＝０時からｔ＝−３まで直線上に移動すると仮定することができる。図４には、ｘ軸方向に比較的高速で移動する車両の特徴点ｐ_ａ及びｘ軸方向に比較的低速で移動する車両の特徴点ｐ_ｂが示されている。このように時間軸を含む三次元座標系で直線的に分布する特徴点を抽出することにより、同一特徴点を抽出することができる。本発明では、抽出された同一特徴点の群を時間方向連結群と呼ぶ。

空間方向連結指標値算出手段３０７は、時間方向連結群の空間方向（図４に示す２次元座標（ｘ，ｙ））における連結の強さを示す空間方向連結指標値を算出する。この空間方向連結指標では、各フレームにおける特徴点のペアーが直線エッジで連結されている蓋然性及びこの直線エッジの鮮明度が高いほど高い指標値が与えられる。図３は、図２に示す画像に一次微分Sobelオペレータを施した画像を示す図である。図３における白抜き四角点は、図２に示す特徴点に対応する。図３に示すように、各フレームにおいて同一車両に属する特徴点のペアーの間には車体の縁、ウィンドウの縁などを示す直線エッジが存在する蓋然性が高い。したがって、各フレームにおいて特徴点のペアーが同一車両に属する場合には、これらの特徴点の間の空間方向連結指標値が高くなる。逆に各フレームにおいて特徴点のペアーが異なる車両に属する場合には、これらの特徴点の間に直線エッジがなかったり、直線エッジが途中から消滅したり、直線エッジが道路など車両以外の物体を示す領域に分断されたりすることにより、空間方向連結指標値が低くなる。よって、空間方向連結指標は、時間方向連結群が同一車両に属する蓋然性を示す指標として機能する。

車両検出手段３０９は、時間方向連結群を、同じグループに属する時間方向連結群同士の空間方向連結指標値が高く、異なるグループに属する時間方向連結群同士の空間方向連結指標値が低くなるように複数のグループに分割する。分割終了後のグループ数から画像上の車両台数を知ることができる。また、車両検出手段３０９は、同一グループに属する時間方向連結群の空間方向における拡がりから当該グループに対応する車両の大きさを評価することができる。

速度算出手段３１１は、図４に示す座標系における時間方向連結群の傾き（時間当たりの移動量）から各車両の速度を算出する。

次に、フローチャートを参照して車両検出システム３の動作の手順を詳細に説明する。図７は、車両検出システム３の動作の手順の概略を示すフローチャートである。図８ないし１１は、動作の一部を詳細に説明するフローチャートである。

まず、各フレームＦ（ｔ＝０〜−３）における車両の特徴点を抽出する（Ｓ７０１）。特徴点抽出方法としては、例えば、領域の角部を検出するためにハリス（Harris）オペレータ法を適用することができる。

ハリス（Harris）オペレータ法を適用する例では、下記の式（１）及び（２）を充足する条件の下で、H(x,y)^Tが極大値となる被測定点κが特徴点として抽出される。

ただし、
χ=(x,y)^T：位置座標
R：被測定点κを中心とする所定の範囲の領域
I：画像の明度値
λ₁, λ₂：Gの固有値
λ_th：閾値。

全てのフレームについての特徴点抽出処理が終わった後、時間方向連結群の抽出が行われる（時間方向連結処理、Ｓ７０３）。図８は、時間方向連結処理の詳細な手順を示す第１のフローチャートである。図９は、時間方向連結処理の詳細な手順を示す第２のフローチャートである。図５は、時間方向連結処理を視覚的に説明する図である。これらの図を参照して時間方向連結処理を説明する。なお、実際には通常１フレーム当たり３０個程の特徴点が抽出されるが、以下では説明の簡略化のために１フレーム当たり５個の特徴点があるものとする。

本実施形態の時間方向連結処理では、基準時フレーム（フレームＦ（ｔ＝０））から抽出された５個の特徴点ｐ（ｔ＝０、ｋ＝１〜５）のそれぞれについて、他のフレーム（フレームＦ（ｔ＝−１〜−３））から抽出された特徴点の中から同じ時間方向連結群に含まれるものを検索する。特徴点ｐ（ｔ＝０、ｋ＝１〜５）のそれぞれについて同じ処理が繰り返されるが、以下では特徴点ｐ（ｔ＝０、ｋ＝１）についての処理を説明する。

まず、特徴点ｐ（ｔ＝０、ｋ＝１）がフレームＦ（ｔ＝−３）上の各特徴点へ移動したときの平均移動ベクトルｖ（ｔ＝−３，ｋ＝１〜５）を算出し、算出結果を記録する（Ｓ８０１）。本実施形態で平均移動ベクトルとは、フレーム上の位置座標（図４に示す（ｘ，ｙ）座標）における移動ベクトルを移動前のフレームが撮像されてから移動後のフレームが撮像されるまでの時間で割ったベクトルを指す（図４を参照）。これに代えて、移動ベクトルをフレーム番号の差で割ったベクトルを平均移動ベクトルとしてもよい。

特徴点ｐ（ｔ＝０、ｋ＝１）からフレームＦ（ｔ＝−２）上の各特徴点へ移動したときの平均移動ベクトルｖ（ｔ＝−２，ｋ＝１〜５）を算出し、算出結果を記録する（Ｓ８０３）。

平均移動ベクトルｖ（ｔ＝−２，ｋ＝１）と各平均移動ベクトルｖ（ｔ＝−３，ｋ＝１〜５）との近似性を示す評価値を算出する（Ｓ８０５）。前述のとおりｔ＝−３〜０の時間帯では同一の特徴点は一定の速度で移動するとみなされるので、同一の特徴点であるならば平均移動ベクトルは近似した値になるはずである。したがって、近似性の評価が良好である特徴点の組み合わせを選択することによって同一の特徴点を抽出することができる。本実施形態では、平均移動ベクトルの差分ベクトルの長さの２乗を近似性を示す評価値とする。したがって、平均移動ベクトルが近似しているほど小さい評価値が導かれる。

Ｓ８０５で得られた評価値のうち最も小さい評価値Ｅ（ｔ＝−２，ｋ＝１）及びこれに対応するフレームＦ（ｔ＝−３）上の特徴点を抽出し、これらを記録する（Ｓ８０５）。

Ｓ８０５及び８０７の処理をフレームＦ（ｔ＝−２）上の他の特徴点ｐ（ｔ＝−２，ｋ＝２〜５）について繰り返す（Ｓ８０９）。

特徴点ｐ（ｔ＝０、ｋ＝１）からフレームＦ（ｔ＝−１）上の各特徴点へ移動したときの平均移動ベクトルｖ（ｔ＝−１，ｋ＝１〜５）を算出し、算出結果を記録する（Ｓ８１１）。

平均移動ベクトルｖ（ｔ＝−１，ｋ＝１）と平均移動ベクトルｖ（ｔ＝−２，ｋ＝１）との近似性を示す評価値を算出し（Ｓ８１３）、これを評価値Ｅ（ｔ＝−２，ｋ＝１）に加算して累積評価値を取得する（Ｓ８１５）。

Ｓ８１３及び８１５の処理をフレームＦ（ｔ＝−２）上の他の特徴点ｐ（ｔ＝−２，ｋ＝２〜５）について繰り返す（Ｓ８１７）。

Ｓ８１５及び８１７で取得された累積評価値のうち、最も小さい累積評価値及びこれに対応するフレームＦ（ｔ＝−２、−３）上の特徴点を抽出する（Ｓ８１９）。この処理により、特徴点ｐ（ｔ＝−１，ｋ＝１）を含むと仮定したときに時間方向連結群に組み込まれるべきフレームＦ（ｔ＝−１〜−３）上の特徴点の最適な組み合わせ及び累積評価値が得られる。図５の例では、｛ｐ（ｔ＝−１，ｋ＝１）、ｐ（ｔ＝−２，ｋ＝２）、ｐ（ｔ＝−３，ｋ＝１）｝の組み合わせが得られた。

Ｓ８１３〜８１９の処理をフレームＦ（ｔ＝−１）上の他の特徴点ｐ（ｔ＝−１，ｋ＝２〜５）について繰り返す（Ｓ８２１）。これにより、特徴点ｐ（ｔ＝−１，ｋ＝２〜５）のそれぞれについても最適な組み合わせ及び累積評価値が得られる。図５の例では、｛ｐ（ｔ＝−１，ｋ＝２）、ｐ（ｔ＝−２，ｋ＝３）、ｐ（ｔ＝−３，ｋ＝３）｝、｛ｐ（ｔ＝−１，ｋ＝３）、ｐ（ｔ＝−２，ｋ＝４）、ｐ（ｔ＝−３，ｋ＝４）｝、｛ｐ（ｔ＝−１，ｋ＝４）、ｐ（ｔ＝−２，ｋ＝４）、ｐ（ｔ＝−３，ｋ＝４）｝、｛ｐ（ｔ＝−１，ｋ＝５）、ｐ（ｔ＝−２，ｋ＝５）、ｐ（ｔ＝−３，ｋ＝４）｝の組み合わせが得られた。

一回の車両検出に４枚を超える枚数のフレームが用いられる場合には、上位のフレームの各特徴点と、当該フレームまでに得られた組み合わせとの対応付けを行う処理が、基準時フレームより一つ下位のフレームについて完了するまで繰り返される。

Ｓ８１９及び８２１で取得された累積評価値のうち最も小さい累積評価値及びこれに対応するフレームＦ（ｔ＝−１〜−３）上の特徴点を抽出する（Ｓ８２３）。これにより、上記の組み合わせの中で特徴点ｐ（ｔ＝０，ｋ＝１）を含む時間方向連結群に組み込まれるものとして最適なものが選択された。Ｓ８２３で抽出された特徴点及び特徴点ｐ（ｔ＝０，ｋ＝１）を時間方向連結群として記録する（Ｓ８２５）。図５の例では、｛ｐ（ｔ＝０，ｋ＝１）、ｐ（ｔ＝−１，ｋ＝２）、ｐ（ｔ＝−２，ｋ＝３）、ｐ（ｔ＝−３，ｋ＝３）｝の時間方向連結群が得られた。

Ｓ８０１〜８２５の処理を基準時フレームであるフレームＦ（ｔ＝０）上の他の特徴点ｐ（ｔ＝０，ｋ＝２〜５）について繰り返すことにより、フレームＦ（ｔ＝０）上の各特徴点に対応する時間方向連結群が得られる。

上記の時間方向連結処理の説明は、基準時フレーム上の特徴点に対応する特徴点が必ず他のフレーム上に存在することを前提にした。しかし、撮像時のノイズ、オクルージョンの発生などの原因により一部のフレームで対応特徴点が存在しないことも考えられる。あるフレーム上に対応特徴点が存在しない場合には、当該フレームにおける評価値が著しく高くなる。この場合には、当該フレームを無視して時間方向連結群を形成するのが望ましい。具体的な処理としては、ある特徴点について最良の評価値が閾値より高い場合に、当該評価値ではなくペナルティ定数を累積評価値に加算する。当該フレームを最上位とする組み合わせの特徴点と上位のフレームの特徴点との近似性評価を行う際には、当該フレームより一つ下位のフレームの特徴点の平均移動ベクトルと上位のフレームの特徴点の平均移動ベクトルとを比較する。最終的に当該特徴点を含む組み合わせが時間方向連結群として選択されたときには、時間方向連結群から当該特徴点を排除する。

最終的な累積評価値が余りにも小さかったときには、当該時間方向連結群はノイズにより誤って検出された特徴点、あるいは車両以外の物体から抽出された特徴点が構成するものであると考えられるので、時間方向連結群のデータから削除されるのが好適である。

時間方向連結処理の方法としては、考えられる全ての組み合わせの累積評価値を算出し、最も良好な累積評価値に対応する組み合わせを時間方向連結群とする方法、あるいは考えられる全ての組み合わせそれぞれについて最小２乗近似直線を算出し、当該最小２乗近似直線からの誤差が最も小さくなる組み合わせを時間方向連結群とする方法も考えられる。本実施形態の方法（多段階決定法）は、検証すべき組み合わせの数を減らし、演算時間を短縮する上で他の方法よりも有利である。本実施形態の例で１つの時間方向連結群で考えられる全ての組み合わせの数は５^４-１（特徴点の数＾（フレーム数−１））であるが、本実施形態の方法によれば検証数は１段階につき５×５個であり、５×５×（４−１）＝７５（検証数×（フレーム数−１））通りの組み合わせを検証するのに要する演算時間で時間方向連結処理を完了することができる。

以上の時間方向連結処理（Ｓ７０３）に続いて、空間方向連結指標値の算出を行う（Ｓ７０５）。図１０は、空間方向連結指標値を算出する手順を説明するフローチャートである。図１０を参照して空間方向連結指標値を算出する手順を説明する。

まず、各フレームＦ（ｔ＝０〜−３）に一次微分Sobelオペレータを施し、図３に示すようにエッジを抽出する（Ｓ１００１）。

時間方向連結群のペアーを一つ抽出し（Ｓ１００３）、当該ペアーについて各フレームＦ（ｔ＝０〜−３）における最適連結指標値（エッジ連続度）を算出する（Ｓ１００５）。

連結指標値の算出は次のように行われる。まず、該当するフレームにおける時間方向連結群のペアーに属する各特徴点の近傍点（画素）を抽出する。次に、これらの近傍点を結ぶ直線線分上に存在する画素の微分値（一次微分Sobelオペレータが施された後の画素値）の平均値μ及び標準偏差σを算出する。次の式（３）を用いて、平均値μ及び標準偏差σから連結指標値Ｓを算出する。
Ｓ＝μ−ασ−β・・・（３）
ただし、αは定数であり、βは近傍点の特徴点からのずれ量（距離）に応じて決定されるペナルティ値である。選択された近傍点が特徴点からずれるほどβの値は大きくなる。両特徴点が選択された場合にはβは０となる。なお、連結指標値を導出する式は、標準偏差の２乗、すなわち分散値の項を含んでもよい。

上記のとおり算出された連結指標値Ｓのうち最大値となる最適連結指標値が抽出される。最適連結指標値は、フレームにおいて特徴点のペアーが直線エッジで連結されている蓋然性及びこの直線エッジの鮮明度の高さを示す。

各フレームＦ（ｔ＝０〜−３）における最適連結指標値を合算し、これを当該時間方向連結群のペアーの空間方向連結指標値とする（Ｓ１００７）。時間方向連結処理の説明で言及されているようにあるフレームにおいて特徴点が存在しないと判断された場合には、当該フレームにおける最適連結指標値を０とする、あるいはペナルティを科すなどの処理を行うことが考えられる。

他の全ての時間方向連結群のペアーの組み合わせについて以上の空間方向連結指標値の演算を繰り返す。

以上の空間方向連結指標値の算出処理（Ｓ７０５）に続いて、時間方向連結群のグラフ分割処理を行う（Ｓ７０７）。図１１は、グラフ分割処理の手順を説明するフローチャートである。図６は、グラフ分割処理を視覚的に説明する図である。図６には、４台の車両が撮像された場合に時間方向連結群を４つの小グループに分割する例が示されている。これらの図を参照してグラフ分割処理の手順を説明する。

本実施形態では、Greedy Splitting Algorithmを適用してグラフ分割を実行する。まず、全ての時間方向連結群を任意の二つの小グループ（グループＡ、グループＢ）に分割し（Ｓ１１０１）、その場合の分割指数Ｅを算出する（Ｓ１１０３）。

分割指数Ｅは次のようにして算出される。まず、グループＡ中の任意の一つの時間方向連結群を抽出し、この時間方向連結群とグループＡに属する他の全ての時間方向連結群それぞれとの空間方向連結指標値の総和を算出する。この処理をグループＡに属する他の全ての時間方向連結群について繰り返す。算出された空間方向連結指標値の総和を合算し、組み合わせ数（Ｎ_inner×（Ｎ_inner−１）；Ｎ_inner：グループＡに属する時間方向連結群の数）で割った値Ｅ_innerを得る。

グループＡ中の任意の一つの時間方向連結群を抽出し、この時間方向連結群とグループＢに属する他の全ての時間方向連結群それぞれとの空間方向連結指標値の総和を算出する。この処理をグループＡに属する他の全ての時間方向連結群について繰り返す。算出された空間方向連結指標値の総和を合算し、組み合わせ数（Ｎ_inner×Ｎ_outer；Ｎ_inner：グループＡに属する時間方向連結群の数、Ｎ_outer：グループＢに属する時間方向連結群の数）で割った値Ｅ_outerを得る。

分割指数Ｅは次の式（４）で表される。
Ｅ＝Ｅ_outer／Ｅ_inner・・・（４）
グループＡ内での空間方向の連結力が強く、異なるグループ間の空間方向の連結力が弱いほど、分割指数Ｅが小さくなる。

Tabu Search法により最適な分割の仕方、すなわち分割指数Ｅが最も小さくなる分割の仕方が検出されるまで、分割の仕方を変えてＳ１１０１及び１１０３の処理を繰り返す。

全ての最小分割指数が閾値以上であるか判断する（Ｓ１１０５）。閾値を下回る最小分割指数がない場合には、いずれの最終分割グループも分割しないでグラフ分割処理を終了する。なお、本実施形態の説明で用いる最終分割グループという用語は、多段階の分割が行われるプロセスにおいて現在の段階で存在する全ての分割グループを指す。例えば、図６中の第３段階ではグループ１、グループ２−１及びグループ２−２が最終分割グループである。

一つでも閾値を下回る最小分割指数がある場合には、最小分割指数のうち最も値が小さいものに対応する最適分割を実行し（Ｓ１１０７）、最小分割グループを更新した上で上記のグラフ分割処理を繰り返す。

図６の例では、第１段階で全ての時間方向連結群で構成される一つのグループをグループ１とグループ２とに分割する。第２段階で最小分割指数がより小さくなるグループ２の最適分割を実行し、グループ２をグループ２−１とグループ２−２とに分割する。第３段階で最小分割指数が最も小さくなるグループ２−２の最適分割を実行し、グループ２−２をグループ２−２−１とグループ２−２−２とに分割する。次の段階ではいずれの最小分割指数も閾値を下回らないので、いずれの最終分割グループも分割しないでグラフ分割処理を終了する。このようにして、グループ１、グループ２−１、グループ２−２−１及びグループ２−２−２の４つの最終分割グループが得られる。

グラフ分割を終了させる条件としては、基準時フレームにおける各最終分割グループが占める領域の面積が所定の値以下になったときとすることも考えられる。

車両台数のカウントを行う（Ｓ７０９）。グラフ分割処理終了時の最終分割グループの数が車両台数とみなされる。

各車両（グラフ分割処理終了時の各最終分割グループに対応する車両）の速度を算出する（Ｓ７１１）。具体的な計算方法として次のような方法が考えられる。まず、計算対象車両に対応する最終分割グループにおける平均移動ベクトルｖの平均値を算出する。予め取得された（ｘ，ｙ）位置座標系の寸法（画像上の距離）と計測地上での実寸法との比率に基づいて、平均移動ベクトルｖの平均値を実寸法に変換し、これを計算対象車両の速度とする。

道路面の法線に対して傾いて撮像された場合には、画像上の位置によって寸法比率が異なる。この場合には、撮像装置２の設置高さ及び撮像角度を予め取得しておき、これらに基づき撮像画像を道路面の法線方向に撮像した画像に射影変換する。射影変換された画像に基づいて正確な寸法変換を行うことができる。

各車両の大きさを評価する（Ｓ７１３）。基準時フレームにおいて各車両に属する特徴点で囲まれる領域の面積、当該領域の径などから、各車両の大きさを評価することができる。あるいは、各車両に属する特徴点間の直線エッジを抽出し、これらの直線エッジの最大長さから各車両の大きさを評価することができる。

フレームＦ（ｔ＝ｓ〜ｓ−３）についてＳ７０１〜７１３の処理を繰り返す。このようにｓフレーム間隔でＳ７０１〜７１３の処理を繰り返すことにより、ｓ×撮像時間間隔の時間間隔で計測値における車両検出をリアルタイムに行うことができる。

図１は、本実施形態の交通流計測システムＡの概念図である。 図２は、画像中に存在する車両の特徴点の例を示す図である。 図３は、図２に示す画像に一次微分Sobelオペレータを施した画像を示す図である。 図４は、フレームＦ（ｔ＝０）〜Ｆ（ｔ＝−３）に現れる同一特徴点を抽出する原理の説明図である。 図５は、時間方向連結処理を視覚的に説明する図である。 図６は、グラフ分割処理を視覚的に説明する図である。 図７は、車両検出システム３の動作の手順の概略を示すフローチャートである。 図８は、時間方向連結処理の詳細な手順を示す第１のフローチャートである。 図９は、時間方向連結処理の詳細な手順を示す第２のフローチャートである。 図１０は、空間方向連結指標値を算出する手順を説明するフローチャートである。 図１１は、グラフ分割処理の手順を説明するフローチャートである。

符号の説明

２・・・撮像装置、３・・・車両検出システム、３０１・・・格納部、３０３・・・特徴点抽出手段、３０５・・・時間方向連結手段、３０７・・・空間方向連結指標値算出手段、３０９・・・車両検出手段、３１１・・・速度算出手段、Ａ・・・交通流計測システム、ｐ_ａ・・特徴点、ｐ_ｂ・・・特徴点、ｐ_ｃ・・・ノイズ。

Claims (10)

1. 特定の場所を撮像した画像中の車両を検出する方法であって、
   撮像装置から受信して自機の格納手段に格納した前記画像のデータに基づいて演算処理し、その結果に基づいて前記車両を検出する車両検出システムの特徴点抽出手段に、前記特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の前記画像のそれぞれから、前記車両の一部を示す特徴点を抽出させる第１のステップと、
   前記車両検出システムの時間方向連結手段に、前記一定の時間中前記車両が一定の速度で移動することを前提に、前記複数の前記画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択させ、同一の特徴点の群を時間方向連結群として前記格納手段に記憶させる第２のステップと、
   前記車両検出システムの空間方向連結指標値算出手段に、前記時間方向連結群の前記ペアーの空間方向の連結の強さを示す空間方向連結指標値を算出させる第３のステップと、
   前記車両検出システムの車両検出手段に、前記空間方向連結指標値に基づいて、同一車両に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する前記車両を検出させる第４のステップとを含み、
   
   前記第３のステップが、
   各画像に差分フィルタ処理を施す第９のステップと、
   前記時間方向連結群のペアーに属する特徴点の近傍点を結ぶ線分上の画素について差分フィルタ処理後の画素値の平均値及び標準偏差を算出する第１０のステップと、
   前記平均値の大きさ及び前記標準偏差の小ささを示すエッジ連続度を算出する第１１のステップとを含み、
   前記第３のステップにおいて前記エッジ連続度に対応する前記空間方向連結指標値が算出される ことを特徴とする車両検出方法。
2. 特定の場所を撮像した画像中の車両を検出する方法であって、
   撮像装置から受信して自機の格納手段に格納した前記画像のデータに基づいて演算処理し、その結果に基づいて前記車両を検出する車両検出システムの特徴点抽出手段に、前記特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の前記画像のそれぞれから、前記車両の一部を示す特徴点を抽出させる第１のステップと、
   前記車両検出システムの時間方向連結手段に、前記一定の時間中前記車両が一定の速度で移動することを前提に、前記複数の前記画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択させ、同一の特徴点の群を時間方向連結群として前記格納手段に記憶させる第２のステップと、
   前記車両検出システムの空間方向連結指標値算出手段に、前記時間方向連結群のペアーの空間方向の連結の強さを示す空間方向連結指標値を算出させる第３のステップと、
   前記車両検出システムの車両検出手段に、前記空間方向連結指標値に基づいて、同一車両に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する前記車両を検出させる第４のステップとを含み、
   前記第４のステップが、同じグループに属する前記時間方向連結群同士の前記空間方向連結指標値が高く、異なるグループに属する前記時間方向連結群同士の前記空間方向連結指標値が低くなるように、前記時間方向連結群を複数のグループに分ける第１３のステップを含む
   ことを特徴とする車両検出方法。
3. 前記第２のステップが、
   前記第１画像におけるある特徴点が前記他の画像のうちの一つの画像における各特徴点に移動したと仮定したときにおける前記ある特徴点の時間当たりの移動量を算出する第５のステップと、
   前記時間当たりの移動量の均一度が最も高くなる特徴点の組み合わせを得るために、各前記他の画像から特徴点を一つずつ選択する第６のステップとを含む
   ことを特徴とする請求項１又は２に記載の車両検出方法。
4. 前記第６のステップが、
   前記他の画像に、撮像時刻の順に、最後に撮像された画像を最上位とし、最初に撮像された画像を最下位とする順位を付ける第７のステップと、
   既に得られた前記組み合わせそれぞれに含まれる特徴点への前記時間当たりの移動量と、当該組み合わせに含まれる画像のうち最上位の画像（直近時刻撮像画像）よりも一つ上位の画像（前記直近時刻撮像画像の直後に撮像された検証時刻撮像画像）における特徴点への前記時間当たりの移動量とを比較し、当該組み合わせの中から当該一つ上位の画像（前記検証時刻撮像画像）における特徴点が新たに組み込まれるべきものを選択する第８のステップとを含む
   ことを特徴とする請求項３に記載の車両検出方法。
5. 前記第３のステップが、
   全ての画像について得られた前記エッジ連続度を合算する第１２のステップを含む
   ことを特徴とする請求項１に記載の車両検出方法。
6. 前記第１３のステップが複数回繰り返される
   ことを特徴とする請求項２に記載の車両検出方法。
7. 前記車両検出システムの速度算出手段に、特徴点の異なる画像間における時間当たりの移動量に基づいて、前記車両の速度を算出させる第１４のステップを含む
   ことを特徴とする請求項１又は２に記載の車両検出方法。
8. 前記第１４のステップが、
   前記画像を撮像した撮像装置と前記特定の場所との相対位置に基づいて、前記車両の速度を補正する第１５のステップを含む
   ことを特徴とする請求項７に記載の車両検出方法。
9. 撮像装置が特定の場所を撮像し、前記撮像装置から受信して自機の格納手段に格納した画像のデータに基づいて演算処理し、その結果に基づいて前記画像中の車両を検出する車両検出システムであって、
   前記特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の前記画像のそれぞれから、前記車両の一部を示す特徴点を抽出する特徴点抽出手段と、
   前記一定の時間中前記車両が一定の速度で移動することを前提に、前記複数の前記画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択し、同一の特徴点の群を時間方向連結群として前記格納手段に記憶させる時間方向連結手段と、
   各画像に差分フィルタ処理を施すステップと、前記時間方向連結群のペアーに属する特徴点の近傍点を結ぶ線分上の画素について差分フィルタ処理後の画素値の平均値及び標準偏差を算出するステップと、前記平均値の大きさ及び前記標準偏差の小ささを示すエッジ連続度を算出するステップとを実行し、前記エッジ連続度に対応し前記時間方向連結群の前記ペアーの空間方向の連結の強さを示す空間方向連結指標値を算出する空間方向連結指標値算出手段と、
   前記空間方向連結指標値に基づいて、同一車両に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する前記車両を検出する車両検出手段とを備える
   ことを特徴とする車両検出システム。
10. 撮像装置が特定の場所を撮像し、前記撮像装置から受信して自機の格納手段に格納した画像のデータに基づいて演算処理し、その結果に基づいて前記画像中の車両を検出する車両検出システムであって、
    前記特定の場所を一定の時間中一定の時間間隔で連続して撮像した複数の前記画像のそれぞれから、前記車両の一部を示す特徴点を抽出する特徴点抽出手段と、
    前記一定の時間中前記車両が一定の速度で移動することを前提に、前記複数の前記画像のうちの第１画像における各特徴点に相当するものを他の画像における特徴点の中から選択し、同一の特徴点の群を時間方向連結群として前記格納手段に記憶させる時間方向連結手段と、
    前記時間方向連結群のペアーの空間方向の連結の強さを示す空間方向連結指標値を算出する空間方向連結指標値算出手段と、
    前記空間方向連結指標値に基づいて、同一車両に属する前記時間方向連結群を検出することにより、これらの時間方向連結群に対応する前記車両を検出する車両検出手段とを備え、
    前記車両検出手段が、同じグループに属する前記時間方向連結群同士の前記空間方向連結指標値が高く、異なるグループに属する前記時間方向連結群同士の前記空間方向連結指標値が低くなるように、前記時間方向連結群を複数のグループに分ける
    ことを特徴とする車両検出システム。

Images