JP3605955B2

JP3605955B2 - Vehicle identification device

Info

Publication number: JP3605955B2
Application number: JP21934296A
Authority: JP
Inventors: 雅俊來海
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1996-07-31
Filing date: 1996-07-31
Publication date: 2004-12-22
Anticipated expiration: 2016-07-31
Also published as: JPH1049662A

Description

【０００１】
【産業上の利用分野】
この発明は、道路上などに位置する車輌を判別するための車輌判別装置に関する。
【０００２】
【従来の技術】
近年、道路の上方にカメラを設置して道路上の所定位置を撮像し、得られた画像から車輌を示す特徴を抽出し、その抽出結果の時間的な推移から道路上における車輌の流れを計測する交通流計測装置が開発されている。
【０００３】
前記した車輌の特徴を抽出する代表的な方法としては、入力画像の背景差分をとる方法があげられる。この方法は、あらかじめ背景画像として道路上に対象物が存在しない画像を記憶しておき、カメラからの画像とこの背景画像との差分を車輌の画像部分として抽出するものである（以下この方法を「背景差分法」という）。
【０００４】
上記の背景差分法のほかには、１フレーム前の入力画像を記憶しておき、現フレームの入力画像からこの直前の入力画像を差し引いて道路上の車輌の位置の変化を抽出する方法（以下「フレーム差分法」という）や、入力画像に空間微分を施して車輌の輪郭を示すエッジ成分を抽出する方法（以下「空間差分法」という）などがある。
【０００５】
【発明が解決しようとする課題】
背景差分法は、あらかじめ記憶された背景画像と異なる部分が抽出されることになるので、実際の車輌の画像部分のみならず、車輌の影の画像を誤抽出してしまうという問題が生じる。
この問題を解決するために、差分値が負値をとる特徴は車輌として認識しないように設定することが提案されているが、この方法を用いると、色彩の濃い車輌を検出することができなくなる。
【０００６】
フレーム差分法や空間差分法を用いた場合も、上記と同様、車輌の影が誤抽出されるという問題が生じるため、道路上の車輌の台数や車種を正確に判別することなど、到底不可能である。
【０００７】
この発明は上記問題に着目してなされたもので、観測位置を撮像して得られた２次元画像を、道路面などの車輌の支持面を含む仮想水平面上に透視変換し、この透視変換された画像上の特徴を用いて車輌を正確に判別することを技術課題とする。
【０００８】
【課題を解決するための手段】
車輌の走行路の路面を含む仮想水平面を一平面とする空間座標系を設定し、前記走行路を上方から撮像して得られた画像を、前記空間座標系に対するカメラ座標系の回転角度、カメラの空間座標位置および焦点距離によるパラメータに基づき、前記仮想水平面上に透視変換すると、高さのある対象物の画像部分は、この対象物の実際の位置に対応する点から離れた場所に投影される。この投影点の位置ずれ量は、対象物が高い位置にあるほど、また空間座標点が視点から離れるほど、大きくなるので、車輌など高さデータを有する対象物を透視変換すると、実際の対象物より歪んだ形状の特徴が得られる。一方、影など路面上にある２次元対象物は、その対象物の実際の位置に投影されるため、透視変換後も、実際の対象物を真上から観察した場合と同様の形状，大きさの特徴が得られる。
【０００９】
各請求項にかかる発明は、上記の原理を用いてなされたもので、請求項１にかかる車輌判別装置は、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から２次元画像を入力する画像入力手段と、入力された２次元画像を前記走行路の路面を含む仮想水平面上に透視変換する画像変換手段と、前記画像変換手段により透視変換された画像について特徴抽出を行う特徴抽出手段と、車輌に対応する直方体モデルを記憶するモデル記憶手段と、前記特徴抽出手段により抽出された特徴を、前記仮想水平面上に前記直方体モデルを透視変換して得られる特徴モデルデータと比較し、その比較結果に基づき前記走行路に車輌があるか否かを判別する判別手段とを備える。前記判別手段は、前記特徴抽出手段により抽出された特徴に外接長方形を設定するとともに、この外接長方形の下辺の一端点に直方体モデルの下面前端の一端点を対応させて、その直方体モデルの透視変換像に対する外接長方形の各辺の大きさを前記特徴モデルデータとして求め、前記特徴に設定された外接長方形の各辺の大きさを前記特徴モデルデータと比較することにより、前記特徴が車輌に相当するか否かを判別する。
【００１０】
請求項２の発明では、前記特徴抽出手段は、前記画像変換手段により透視変換された画像と、車輌が存在しない前記走行路を撮像して得られた背景画像の透視変換画像との差分処理により特徴抽出を行うように構成される。
【００１１】
請求項３の発明では、前記特徴抽出手段は、前記画像変換手段により透視変換された画像からエッジ成分を抽出し、抽出された各エッジ成分のうち、所定の距離範囲内にあるエッジ成分を統合した結果を透視変換画像上の特徴とするように構成される。
【００１２】
請求項４の発明では、前記特徴抽出手段は、前記画像変換手段により透視変換された画像と、１段階前の入力画像の透視変換画像との差分処理により画像上の変動部分を求めた後、これら変動部分のうち所定の距離範囲内にある変動部分を統合した結果を透視変換画像上の特徴とするように構成される。
【００１９】
請求項５の発明にかかる車輌判別装置は、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から２次元画像を入力する画像入力手段と、入力された２次元画像を前記走行路の路面を含む仮想水平面上に透視変換する画像変換手段と、前記画像変換手段により透視変換された画像について特徴抽出を行う特徴抽出手段と、車輌に対応する直方体モデルを記憶するモデル記憶手段と、前記特徴抽出手段により抽出された特徴を、前記仮想水平面上に前記直方体モデルを透視変換して得られる特徴モデルデータと比較し、その比較結果に基づき前記特徴が車輌であるか否かを仮判別する仮判別手段と、過去複数回の入力画像から生成された透視変換画像間において、前記走行路の車線に沿って移動する特徴を同一対象物として対応づけるとともに、この対象物についての仮判別結果の推移を追跡する追跡処理手段と、前記追跡処理手段による追跡処理結果に基づき、一貫して「車輌である」と判別されている対象物を、最終的に車輌として判別する最終判別手段とを備える。前記仮判別手段は、前記特徴抽出手段により抽出された特徴に外接長方形を設定するとともに、この外接長方形の下辺の一端点に直方体モデルの下面前端の一端点を対応させて、その直方体モデルの透視変換像に対する外接長方形の各辺の大きさを前記特徴モデルデータとして求め、前記特徴に設定された外接長方形の各辺の大きさを前記特徴モデルデータと比較することにより、前記特徴が車輌に相当するか否かを判別する。
【００２０】
【作用】
請求項１の発明では、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段により前記走行路を撮像して得られた２次元画像を、前記走行路の路面を含む仮想水平面上に透視変換した後、この透視変換画像から抽出した特徴を、仮想水平面上に車輌に対応する直方体モデルを透視変換して得られる特徴モデルデータと比較することによって、観測位置における車輌を判別するようにしたので、観測位置における車輌の高さを反映した特徴を用いて、車輌と影などの２次元対象物とを明確に区別して認識することが可能となる。
【００２１】
請求項２の発明では、入力画像を透視変換して得られる画像と、車輌が存在しない前記走行路を撮像して得られた背景画像の透視変換画像との差分をとることにより、背景になかった画像部分が特徴として抽出される。
【００２２】
請求項３の発明では、入力画像を透視変換して得られる画像上で、所定の距離範囲内にあるエッジ成分を統合した結果が、特徴として抽出される。また請求項４の発明では、透視変換画像上における１段階前の透視変換画像に対する変動部分のうち、所定の距離範囲内にある変動部分を統合した結果が特徴として抽出される。
【００２７】
請求項５の発明では、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段からの画像を入力し、各段階における入力画像について、それぞれ請求項１と同様の方法を用いて、透視変換画像上の特徴が車輌であるか否かが仮判別される。この仮判別結果は同一対象物毎に追跡され、最終的に一貫して「車輌である」と判別されている対象物が車輌として判別される。これにより車輌が撮像位置に近づくにつれ、車輌と影との透視変換結果に差異が認められなくなるという問題が解消される。
【００２８】
【発明の実施の形態】
図１に、この発明にかかる車輌判別装置が組み込まれた交通流計測装置の設置例を示すと共に、この車輌判別処理の原理を図２〜図９および数式（１）〜（４４）を用いて説明する。さらに図１０，１１，１５，１８，１９，２１，２２，２５により、上記各請求項にかかる車輌判別装置の好適な実施例を説明する。
【００２９】
【実施例】
図１は、交通流計測装置の一設置例を示す。
この交通流計測装置は、道路３０の近傍に支柱３１を配備し、この支柱３１の上部位置にカメラ３２を、下部位置に制御ボックス３３を、それぞれ取り付けて構成されるもので、制御ボックス３３の内部には、この発明にかかる車輌判別装置や計測装置が組み込まれている。
【００３０】
この実施例の車輌判別装置は、カメラ３２より入力された２次元画像をフレーム単位で道路３０上の仮想水平面上に透視変換し、この透視変換画像について後記する特徴抽出処理や車輌の判別処理を実行し、さらにこの判別結果を、道路上の車輌の位置データに編集して計測装置へと出力する。計測装置は、各フレーム毎に入力されるデータの時間的な推移により、道路上の車輌の流れを示すデータを作成し、図示しないセンター装置などに伝送する。
【００３１】
前記透視変換処理は、あらかじめ所定の位置（例えば前記支柱の設置位置）を原点とする空間座標系（以下単に「空間座標系」という）を定めておき、この空間座標系に対するカメラ座標系の回転角度などにより決定されるパラメータを用いて、入力画像上の各画素を前記仮想水平面上の座標に変換するものである。
前記パラメータは、計測処理に先立ち、空間座標が既知の点を用いたキャリブレーションによりカメラ座標系の回転角度を算出した後、さらにこの算出結果を後記する（２８）〜（３５）式にあてはめることにより算出される。
【００３２】
つぎに図２を用いて、前記車輌判別装置による透視変換処理および前記パラメータの算出処理の原理を、順を追って説明する。
図２中、Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗの各軸で示される座標系は前記した空間座標系を、Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃの各軸で示される座標系は前記カメラ座標系を、それぞれ示す。またＯはカメラの撮像位置を、Ａは空間中の任意の１点を、それぞれ示す。
【００３３】
いま前記中心点Ｏがカメラ座標系の原点Ｏ_ｃ（０，０，０）に対応しており、空間座標系のＸ_ｗ，Ｙ_ｗ，Ｚ_ｗ各軸に対しカメラ座標系のＸ_ｃ，Ｙ_ｃ，Ｚ_ｃ軸がそれぞれ角度α，β，γだけ回転していると想定すると、点Ｏの空間座標を（ｘ_０，ｙ_０，ｚ_０），点Ａの空間座標を（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）としたときの点Ａのカメラ座標（ｘ_１，ｙ_１，ｚ_１）は、これら回転角度α，β，γにより決定されるパラメータｓ_１，ｓ_２，ｓ_３，ｔ_１，ｔ_２，ｔ_３，ｕ_１，ｕ_２，ｕ_３に基づき、つぎの（１）〜（３）で表される。
なお上記各パラメータは、それぞれ（４）〜（１２）式で表される。また前記ｘ_１，ｙ_１は、点Ａの入力画像上の対応点Ａ´のｘ，ｙ座標に、ｚ_１はカメラの焦点距離Ｆに、それぞれ相当する。
【００３４】
【数１】

【００３５】
【数２】

【００３６】
【数３】

【００３７】
【数４】

【００３８】
【数５】

【００３９】
【数６】

【００４０】
【数７】

【００４１】
【数８】

【００４２】
【数９】

【００４３】
【数１０】

【００４４】
【数１１】

【００４５】
【数１２】

【００４６】
一方、直線ＯＡ，および道路３０を含む仮想水平面は、それぞれつぎの（１３）（１４）式により表される。
【００４７】
【数１３】

【００４８】
【数１４】

【００４９】
いま前記点Ａ´を含む画像を前記仮想水平面上に透視変換するものとすると、点Ａ´は前記直線ＯＡと仮想水平面との交点Ｂ（ｘ_Ｂ，ｙ_Ｂ，０）の位置に投影される。したがって前記（１３）（１４）式より、ｘ_Ｂ，ｙ_Ｂは、つぎの（１５）（１６）式で表される
【００５０】
【数１５】

【００５１】
【数１６】

【００５２】
さらにｘ´＝ｘ_Ａ−ｘ_０／ｚ_Ａ−ｚ_{０，}ｙ´＝ｙ_Ａ−ｙ_０／ｚ_Ａ−ｚ_０，ｚ´＝１／ｚ_Ａ−ｚ_０とおくと、前記（１）〜（３）式および（１５）（１６）式は、それぞれ（１７）〜（２１）式に変形される。
【００５３】
【数１７】

【００５４】
【数１８】

【００５５】
【数１９】

【００５６】
【数２０】

【００５７】
【数２１】

【００５８】
上記（１７）〜（１９）式よりｚ´を消去することにより、ｘ´，ｙ´は、それぞれつぎの（２２）（２３）式により表される。さらにこの（２２）（２３）式を用いて前記（２０）（２１）式を変形することにより、（２４）（２５）式が得られる。
【００５９】
【数２２】

【００６０】
【数２３】

【００６１】
【数２４】

【００６２】
【数２５】

【００６３】
よって、前記ｘ_Ｂ，ｙ_Ｂは、（２８）〜（３５）式により定義されるパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを用いた（２６）（２７）式により算出される。
【００６４】
【数２６】

【００６５】
【数２７】

【００６６】
【数２８】

【００６７】
【数２９】

【００６８】
【数３０】

【００６９】
【数３１】

【００７０】
【数３２】

【００７１】
【数３３】

【００７２】
【数３４】

【００７３】
【数３５】

【００７４】
したがって、前記カメラ３２の中心点Ｏの空間座標（ｘ_０，ｙ_０，ｚ_０），キャリブレーションにより算出されたカメラ座標系の回転角度α，β，γ，およびカメラ３２の焦点距離Ｆを、前記（２８）〜（３５）式に代入して各パラメータａ〜ｈを求めておき、カメラ３２からの入力画像の各画素毎に、そのｘ，ｙ座標を前記（２６）（２７）式にあてはめることにより、各画素の投影点の座標を算出することができる。
【００７５】
前記したように、空間中の点Ａに対応する入力画像上の点Ａ´を仮想水平面上に透視変換すると、この点Ａにおける画像データは、カメラ中心点Ｏと点Ａとを結ぶ直線と仮想水平面との交点に投影される。したがってこの直線ＯＡの傾きが緩慢であるほど、仮想水平面上の投影点は、点Ａを真上方向から透視した際の投影点（すなわち点Ａのｘ，ｙ座標により特定される点）から離れた場所に位置することになる。言い換えれば、点Ａが高い位置にあるほど、もしくは点Ａがカメラから離れた位置にあるほど、その投影点は、本来の点Ａのあるべき位置から離れた場所に位置するので、高さ成分を有する対象物を透視変換したとき、実際の対象物を真上位置より見た場合とは異なる大きさ，形状を有する特徴が得られることになる。
【００７６】
一方、空間座標におけるｚ座標が０となる点の画像データは、実際と同じ位置に投影されるため、影など２次元対象物は、透視変換後も、実際の対象物を真上位置より見た場合と同様の大きさ，形状の特徴を有する。
【００７７】
図３は、カメラ３２からの入力画像の一例であって、道路の車線を示す画像部分３４のほかに、車輌やその影の画像３５，３６などが含まれている。
図４は、前記図３の入力画像を前記水平面上に透視変換した結果を示すもので、透視変換画像中、前記画像３５の変換画像３５´の形状には、その高さ成分を反映した歪みが現れている。これに対し、画像３６の変換画像３６´の形状は、実際の影を真上位置から観察した結果と同様になる。
【００７８】
図５は、観測位置における背景画像を仮想水平面上に透視変換して得られた画像（以下この画像を「背景変換画像」という）を示すもので、車線の画像部分３４の変換画像３４´が現れている。また図６は、前記図４の透視変換画像とこの背景変換画像との差分をとった後、２値化処理した結果を示すもので、前記変換画像３５´，３６´の形状を示す特徴３７Ａ，３７Ｂが抽出されている。
【００７９】
この車輌判別装置では、各特徴３７Ａ，３７Ｂにそれぞれ外接長方形３８Ａ，３８Ｂを設定し、各長方形３８Ａ，３８Ｂ毎に、各辺の長さＡ_ｗｘ，Ａ_ｗｙ，Ｂ_ｗｘ，Ｂ_ｗｙを、それぞれ車輌の代表的な特徴を示すデータ（以下これを「特徴モデルデータ」という）と比較し、その比較結果からその特徴が車輌を意味するものであるか否かを判別するようにしている。
【００８０】
つぎに上記特徴モデルデータの算出原理について説明する。
カメラの中心点Ｏの空間座標を（０，０，ｋ），空間中の任意の１点Ｐの空間座標を（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ），この点Ｐを透視変換して得られる投影点Ｐ´の座標を（ｘ_ｒ，ｙ_ｒ，０）とすると、図７から明らかなように、点Ｐ´のｘ，ｙ座標ｘ_ｒ，ｙ_ｒは、つぎの（３６）（３７）式により算出される。
【００８１】
【数３６】

【００８２】
【数３７】

【００８３】
ここで説明を簡単にするために、車輌のモデルとして、図８に示すような、幅Ｖ_ｘ，奥行きＶ_ｙ，高さＶ_ｚの直方体を想定し、この直方体モデルの各頂点のうち、前面の左端頂点Ｒが座標（ｘ_Ｒ０，ｙ_Ｒ０，０）の位置にあるものとすると、直方体モデル上でこの点Ｒに最も遠い頂点Ｓの座標（ｘ_ＳＷ，ｙ_ＳＷ，ｚ_ＳＷ）は、つぎの（３８）〜（４０）式により求められる。
【００８４】
【数３８】

【００８５】
【数３９】

【００８６】
【数４０】

【００８７】
したがって、前記（３８）〜（４０）式を（３６）（３７）式に当てはめることにより、頂点Ｓを仮想水平面上に透視変換した場合の投影点Ｓ´のｘ，ｙ座標ｘ_ＳＲ，ｙ_ＳＲを算出するための式として、（４１）（４２）式が得られる。
【００８８】
【数４１】

【００８９】
【数４２】

【００９０】
一方、前記道路面上に位置する点Ｒの投影点Ｒ´は、透視変換前と同じ位置に変換されるので、図９に示すように、前記直方体モデルの透視変換画像４０に外接する長方形４１を設定すると、この外接長方形４１の各辺Ｗ_ｘ，Ｗ_ｙはつぎの（４３）（４４）式により算出される。
【００９１】
【数４３】

【００９２】
【数４４】

【００９３】
よって前記図６に示した各特徴３７Ａ，３７Ｂ毎に、その外接長方形３８Ａ，３８Ｂの左端点３９Ａ，３９Ｂが前記直方体モデルの頂点Ｒに対応するものと想定し、この左端点３９Ａ，３９Ｂのｘ，ｙ座標を上記（４１）〜（４４）式の（ｘ_Ｒ０，ｙ_Ｒ０）にあてはめることにより、前記Ｗ_ｘ，Ｗ_ｙを算出し、これを前記特徴モデルデータとして設定する。
【００９４】
したがって、透視変換画像上の各特徴部分毎に、上記の方法を用いて特徴モデルデータＷ_ｘ，Ｗ_ｙを算出するとともに、その特徴部分に外接長方形を設定し、この外接長方形の各辺の長さ（図６に示したＡ_ｗｘ，Ａ_ｗｙ，Ｂ_ｗｘ，Ｂ_ｗｙ）と特徴モデルデータＷ_ｘ，Ｗ_ｙの算出値とを比較する。この比較により有意な差が認められなければ、その特徴は車輌に相当するものであると判定される。
【００９５】
なお外接長方形の各辺を比較する代わりに、前記直方体モデルを透視変換画像上の特徴抽出位置に仮想的に透視変換し、この透視変換結果と実際の特徴とのマッチング処理を行うようにすれば、さらに精度の高い判別結果を得ることが可能となる。
【００９６】
図１０は、上記原理が導入された車輌判別装置の一構成例であって、画像入力部１，透視変換処理部２，パラメータ記憶部３，特徴抽出部４，モデル記憶部６，判定部５，出力部７などから構成される。
【００９７】
前記画像入力部１は、前記カメラ３２からのアナログ量の画像データをディジタル変換するＡ／Ｄ変換回路や変換処理後の画像データを格納する画像メモリなどから構成される。パラメータ記憶部３には、前記（２８）〜（３５）式により算出されたパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈが記憶されている。透視変換処理部２は、これらパラメータと入力画像中の各画素のｘ，ｙ座標とを前記（２６），（２７）式に代入することにより、各画素の透視変換点の座標を算出し、この算出結果に基づき、入力画像の透視変換処理を実行する。
【００９８】
なお、前記パラメータ記憶部３の代わりに、入力画像の各画素についての透視変換先の座標が記憶されたルックアップテーブルを設け、画像入力時に、各画素を、このルックアップテーブル中の対応する設定値に基づく位置に変換するようにすれば、変換処理の高速化を実現できる。
【００９９】
前記特徴抽出部４は、背景差分処理部８，２値化処理部９，背景画像記憶部１０などにより構成される。
背景画像記憶部１０には、前記図５に示したような背景変換画像が記憶されており、背景差分処理部８は、透視変換処理部２により生成された透視変換画像の各画素データとこの背景変換画像の対応する画素データとの差分を求める。２値化処理部９は、この差分処理により生成された差分画像を所定のしきい値により２値化処理するもので、これにより前記図６に示したように、車輌や影の画像を透視変換した結果を示す特徴の抽出が行われる。
【０１００】
前記モデル記憶部６には、前記図８に示した車輌の直方体モデルが記憶されている。判定部５は、前記２値化処理部９により抽出された各特徴について、前記した外接長方形を設定するとともに、各外接長方形毎に、その左端点（図６中の３９Ａ，３９Ｂ）と直方体モデルの前記頂点Ｒとを対応づけて、前記（４１）〜（４４）式を実行し、それぞれの特徴に応じた特徴モデルデータＷ_ｘ，Ｗ_ｙを算出する。さらに判定部５は、各外接長方形毎に、その各辺の長さを算出されたＷ_ｘ，Ｗ_ｙと比較し、その比較結果から特徴が車輌を示すものであるか否かを判定する。
【０１０１】
外接長方形の各辺と特徴モデルデータＷ_ｘ，Ｗ_ｙとの間に有意な差が認められないとき、判定部５は、この特徴を車輌に相当するものと判定する。
出力部７は、この判定結果に基づき、特徴抽出位置から道路上の車輌の位置などを認識し、その認識結果を後段の交通流計測装置へと出力する。
【０１０２】
図１１は、判別処理装置の他の構成例を示す。
この実施例も、基本的に前記図１０と同様の構成をとるが、特徴抽出部４として、エッジ抽出部１１とエッジ統合部１２とを含んでいる。
【０１０３】
エッジ抽出部１１は、前記透視変換画像に微分処理などを行って、水平方向（ｘ軸方向）のエッジ成分を抽出するためのもので、エッジ統合部１２は、抽出された各エッジ成分のうち、車の進行方向（この実施例ではｙ軸方向）において所定の距離範囲内にあるエッジ成分を統合し、その統合結果を特徴として出力する。
【０１０４】
図１２は、前記図４の透視変換画像に対するエッジ画像を、図１３はこのエッジ画像中のエッジ成分を統合した画像を、それぞれ示す。
図示例から明らかなように、透視変換画像上の影に対応する部分では、抽出されるエッジ成分が少なくなるため、統合処理対象とならず、ノイズとして除去される。一方、車輌に対応する画像部分については、統合処理により複数個の特徴（図中、４２ａ，４２ｂ，４２ｃと示す）が抽出される。
【０１０５】
判定部５は、抽出された各特徴４２ａ，４２ｂ，４２ｃが含まれる矩形領域４３を設定するとともに、前記図１０と同様の方法により、この矩形領域４３の左端点４４を前記直方体モデルの点Ｒと対応づけて特徴モデルデータＷx ，Ｗy を算出し、この算出結果を前記矩形領域４３の各辺の長さＣ_ｗｘ，Ｃ_ｗｙと比較する。
【０１０６】
上記の比較処理により、各辺の長さＣ_ｗｘ，Ｃ_ｗｙと前記特徴モデルデータＷ_ｘ，Ｗ_ｙとの間に有意な差が認められなかった場合、判定部５は、図１４に示すように、前記各特徴４２ａ，４２ｂ，４２ｃを包括するような画像領域４５を設定し、この画像領域４５を車輌に対応するものとして判定する。
【０１０７】
なお透視変換画像から抽出する特徴は、エッジ成分に限らず、例えばフレーム差分処理により、車輌の移動部分に対応する特徴を抽出するようにしても良い。図１５は、特徴抽出をフレーム差分処理により行う場合の判定処理装置の構成例を示すもので、特徴抽出部４は、フレーム差分処理部１３，２値化処理部１４，抽出結果統合部１５などから構成される。
【０１０８】
フレーム差分処理部１３は、１段階前の入力画像についての透視変換画像を記憶するメモリを具備しており、透視変換処理部２から入力された最新の透視変換画像の各画素について、前記メモリ内の透視変換画像の対応画素との差分演算を実行する。２値化処理部１４は、各画素毎の差分値を所定のしきい値で２値化処理するもので、その結果、図１６に示すような複数個の特徴４６が抽出され、抽出結果統合部１５へと出力される。
【０１０９】
抽出結果統合部１５は、抽出された各特徴４６について、ｙ軸方向において所定の距離範囲内にある特徴を統合するもので、統合対象とならなかったされた特徴は、ノイズとして除去される。
図１７は、図１６の抽出結果を統合した結果を示すもので、判定部５は、この統合結果について、前記図１０の実施例と同様、矩形領域４７を設定するとともに特徴モデルデータＷ_ｘ，Ｗ_ｙを算出し、その算出結果と矩形領域４７の各辺Ｄ_ｘ，Ｄ_ｙと比較する。この結果、両者の間に有意差が認められなかったとき、判定部５は、前記と同様、各特徴部分を包括する画像領域を、車輌に対応するものとして判定する。
【０１１０】
なお特徴抽出は、１つの方法に限らず、複数種の方法により抽出された特徴部分を統合するようにしても良い。
図１８は、２種類の特徴抽出方法を導入した場合の判定処理装置の構成例であって、特徴抽出部４は、エッジ抽出部１１，フレーム差分処理部１３，２値化処理部１４，処理結果統合部１６により構成される。
【０１１１】
エッジ抽出部１１，フレーム差分処理部１３，２値化処理部１４は、前記図１１，１５と同様の構成のもので、処理結果統合部１６は、各処理により抽出された特徴部分を合成した後、前記各実施例と同様、ｙ軸方向において所定距離範囲内にある特徴を統合し、その統合結果を判定部５に出力する。
【０１１２】
ところで前記した各抽出結果は、昼間など十分な明度のある環境下で撮像が行われた場合に得られるもので、夕暮れ時など背景色と車輌の色とのコントラストが明確でない条件下においては、フロントガラスなど明度の低い部分の画像が抽出されないことがある。この結果、抽出される特徴部分は、複数の特徴部分に分断されたものとなり正確に車輌を判別することは不可能となる。
【０１１３】
図１９は、上記問題を解決するための判定処理装置の構成例であって、特徴抽出部４には、前記図１０の構成に加えて、抽出された特徴から車頭部分の候補となる特徴を抽出するための車頭候補抽出部１７が配備されている。
【０１１４】
いま背景差分処理部８および２値化処理部９により、図２０に示すような複数個の特徴４８ａ，４８ｂが抽出されたとき、車頭候補抽出部１７は、これら各特徴部分の中から、前方部（図２０中、破線で囲んだ部分）が平坦形状であって、かつその幅長さが車輌幅に近似する特徴を、車頭部分の候補として抽出する。この結果は判定部５へと出力され、各車頭候補の位置関係から車輌の判定が行われる。
【０１１５】
すなわち２個以上の車頭候補が車輌の進行方向であるｙ軸方向に並んでいる場合、判定部５は、これら車頭候補の距離（図２０中、Ｈで示す）を算出するとともに、前記直方体モデルが前方の車頭候補に位置する場合の特徴モデルデータＷy を算出し、この算出結果と前記距離Ｈとを比較する。これにより距離がモデルデータＷy よりも小さい場合には、後方の車頭候補が候補から除去され、残された車頭候補の抽出位置に車輌が存在するものと判定される。
【０１１６】
なお車頭候補間の距離ＨがモデルデータＷ_ｙを上回る場合、または抽出された車頭候補に後続の候補が存在しない場合には、これら車頭候補はノイズとして除去される。また抽出された特徴が単独でモデルデータＷ_ｘ，Ｗ_ｙの条件を満たす場合には、この特徴は車輌全体を表すものと判定される。
【０１１７】
図２１は上記と同様の処理をエッジ抽出により行う場合の構成例を、図２２は同様の処理をフレーム差分法により行う場合の構成例を、それぞれ示す。いずれの実施例も、透視変換画像から特徴部分を抽出するための構成以外は、図１９と同様であり、ここでは詳細な説明を省略する。
【０１１８】
なお上記した車輌判別処理の原理は、車輌の画像部分を透視変換した結果に生ずる歪みを利用しているが、この場合、車輌が撮像位置に近づいて車輌に対するカメラの俯角が大きくなると、透視変換画像における車輌部分の歪みが小さくなり、車輌と影との区別が困難になるという問題が生じる。
【０１１９】
図２３（１）は車輌が撮像位置に近づいた時点で得られる入力画像を、図２３（２）はこの入力画像の透視変換画像を、それぞれ示す。
図２３（２）の前記透視変換画像に対し、前記した背景差分法による特徴抽出を行うと、図２４に示す如く、車輌、影それぞれに対応する特徴５０ａ，５０ｂに有意な差が現れなくなり、前記した特徴モデルデータと比較する方法により両者を区別して判別することは、困難となる。
【０１２０】
図２５は、上記問題を解決するための判定処理装置の構成例であって、図１０と同様の構成に、判定結果記憶部１８，追跡処理部１９，最終判定部２０などが付加されている。
【０１２１】
透視変換処理部２から判定部５までの構成により、各段階での画像入力に対し、前記と同様の透視変換処理，特徴抽出処理，判定処理が実行される。判定結果記憶部１８は過去数フレーム毎に、抽出された特徴部分の位置やその判定結果などのデータを記憶、蓄積する。追跡処理部１９は、これら蓄積されたデータから同一対象にかかる特徴部分を対応付けし、各対象物についての判定結果の推移を追跡する。
【０１２２】
図２６は、前記追跡処理部１９による追跡方法を示す。
図中ａ_０，ｂ_０は、ある時点における特徴部分の抽出位置であって、追跡処理部１９は、各特徴部分について、それぞれその特徴抽出位置に対応する車線に沿う方向（すなわちｙ軸方向）における追跡処理を行って、つぎの段階におけるその特徴部分の抽出位置ａ_１，ｂ_１を検出する。
最終判定部２０は、追跡処理部１９による追跡処理結果に基づき、抽出された特徴部分が車輌に対応するものであるか否かについての最終的な判定を実施する。
なおこの最終判定は、各対象物毎にその追跡処理が終了した時点、すなわちその対象物に相当する特徴部分が抽出されなくなった時点で、実施される。
【０１２３】
図２７は、前記追跡処理部１９による追跡結果と最終判定部２０の判定結果とを対応づけて示す。なおここでは説明を簡単にするために、２個の対象物Ａ，Ｂについての特徴が複数段階にわたって抽出されているものと想定し、追跡処理結果として、各特徴部分の抽出位置と判定結果との推移を示してある。
【０１２４】
最終判定部２０は、追跡処理部１９による最終追跡結果を受けて、その特徴部分における過去の判定結果をまとめて最終判定を実行する。これにより対象物Ｂに示すように、最終段階で「車輌」であると判定された場合でも、それ以前の複数段階における判定結果が「影」である場合には、この特徴部分は影を反映したものであると判定される。
【０１２５】
上記の処理によれば、車輌が観測位置を通過した時点で最終的な判定が行われることになり、最終判定により特徴部分が車輌を反映していると決定されたとき、後段の計測装置にその判定結果が出力される。これにより計測装置は、観測地点における車両の通過台数を正確に計測することができ、高精度の交通流計測を実施することが可能となる。
【０１２６】
【発明の効果】
請求項１の発明では、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から入力した２次元画像を前記走行路の路面を含む仮想水平面上に透視変換した後、この透視変換画像から抽出した特徴を前記仮想平面上に車輌に対応する直方体モデルを透視変換して得られる特徴モデルデータと比較し、その比較結果に基づき観測位置における車輌を判別するようにしたので、観測位置における車輌の高さを反映した特徴を用いて車輌を正確に判別することができる。
【０１２７】
請求項２の発明では、入力画像を透視変換して得られる画像と、車輌が存在しない前記走行路を撮像して得られた背景画像の透視変換画像との差分処理により、背景になかった画像部分を特徴として抽出するので、車輌などの移動する対象物を表す特徴を抽出することができる。
【０１２８】
請求項３の発明では、入力画像を透視変換して得られる画像上で、所定の距離範囲内にあるエッジ成分を統合した結果を特徴として抽出し、また請求項４の発明では、透視変換画像上における１段階前の透視変換画像に対する変動部分のうち、所定の距離範囲内にある変動部分を統合した結果を特徴として抽出するので、一台の車輌にかかる特徴を認識して正確な判別処理を行うことが出来る。
【０１３３】
請求項５の発明は、車輌の走行路の上方に前記車輌を前面側から撮像するように設置された撮像手段から画像を入力し、各段階における入力画像から透視変換された画像について、それぞれその画像上の特徴が車輌であるか否かを仮判別し、同一の対象物として対応づけた特徴のうち、一貫して「車輌である」と判別されている対象物を、最終的に車輌として判別するようにしたので、車輌が撮像位置に近づくにつれ、車輌と影との透視変換結果に差異が認められなくなるという問題が解消され、精度の高い車輌判別を行うことができる。
【図面の簡単な説明】
【図１】この発明にかかる車輌判別装置が組み込まれた交通流計測装置の設置例を示す説明図である。
【図２】透視変換処理の原理を示す説明図である。
【図３】カメラからの入力画像を示す説明図である。
【図４】図３の入力画像を透視変換した結果を示す説明図である。
【図５】背景変換画像を示す説明図である。
【図６】図４の透視変換画像と図５の背景変換画像との差分処理により抽出された特徴を示す説明図である。
【図７】任意の点Ｐの空間座標からこの点Ｐの透視変換先の座標を算出する原理を示す説明図である。
【図８】車輌のモデルの一例を示す説明図である。
【図９】図８のモデルを透視変換した結果を示す説明図である。
【図１０】車輌判別装置の構成例を示すブロック図である。
【図１１】車輌判別装置の他の構成例を示すブロック図である。
【図１２】入力画像上のエッジ成分を抽出した結果を示す説明図である。
【図１３】図１２のエッジ成分を統合処理した結果を示す説明図である。
【図１４】車輌に対応するものとして認識された画像領域を示す説明図である。
【図１５】車輌判別装置の他の構成例を示すブロック図である。
【図１６】フレーム差分処理により抽出された特徴を示す説明図である。
【図１７】図１６の各特徴を統合処理した結果を示す説明図である。
【図１８】車輌判別装置の他の構成例を示すブロック図である。
【図１９】車輌判別装置の他の構成例を示すブロック図である。
【図２０】車頭候補として抽出された特徴を示すブロック図である。
【図２１】車輌判別装置の他の構成例を示すブロック図である。
【図２２】車輌判別装置の他の構成例を示すブロック図である。
【図２３】車輌が撮像位置に接近した状態で得られた入力画像、およびその透視変換画像を示す説明図である。
【図２４】図２３（２）の透視変換画像から抽出された特徴を示す説明図である。
【図２５】車輌判別装置の他の構成例を示すブロック図である。
【図２６】図２５の追跡処理部による追跡方法を示す説明図である。
【図２７】追跡処理結果と最終判定結果とを対応づけて示す説明図である。
【符号の説明】
２透視変換処理部
４特徴抽出部
５判定部
８背景差分処理部
１１エッジ抽出部
１２エッジ統合部
１３フレーム差分処理部
１５抽出結果統合部
１６処理結果統合部
１７車頭候補抽出部
１８判定結果記憶部
１９追跡処理部
２０最終判定部[0001]
[Industrial applications]
The present invention is located on a road or the like.Vehicle discriminating device for discriminating vehiclesAbout.
[0002]
[Prior art]
In recent years, a camera has been installed above a road to image a predetermined position on the road, features that indicate the vehicle are extracted from the obtained image, and the flow of the vehicle on the road is measured from the temporal transition of the extraction result. Traffic flow measuring devices have been developed.
[0003]
As a typical method for extracting the features of the vehicle described above, there is a method of obtaining a background difference of an input image. In this method, an image in which an object does not exist on a road is stored in advance as a background image, and a difference between an image from a camera and this background image is extracted as an image portion of a vehicle (hereinafter, this method is referred to as a method). "Background subtraction method").
[0004]
In addition to the above-described background subtraction method, a method of storing an input image of one frame before and extracting a change in the position of a vehicle on a road by subtracting the immediately preceding input image from the input image of the current frame (hereinafter, referred to as a method) There is a method of extracting an edge component indicating the outline of a vehicle by performing spatial differentiation on an input image (hereinafter, referred to as a “spatial difference method”).
[0005]
[Problems to be solved by the invention]
In the background subtraction method, since a portion different from a background image stored in advance is extracted, there is a problem that not only an image portion of an actual vehicle but also a shadow image of a vehicle is erroneously extracted.
In order to solve this problem, it has been proposed to set a feature having a negative difference value so as not to be recognized as a vehicle. However, if this method is used, a vehicle with a dark color cannot be detected. .
[0006]
Even when the frame difference method or the spatial difference method is used, the problem that the shadow of the vehicle is erroneously extracted similarly occurs as described above, and it is impossible to accurately determine the number or type of vehicles on the road. It is.
[0007]
The present invention has been made in view of the above problem, and performs perspective transformation of a two-dimensional image obtained by imaging an observation position on a virtual horizontal plane including a vehicle supporting surface such as a road surface. It is an object of the present invention to accurately determine a vehicle using features on an image.
[0008]
[Means for Solving the Problems]
Road surface of the vehicle ’s travel pathSet a spatial coordinate system with a virtual horizontal plane containingThe running pathThe image obtained by capturing from above, the rotation angle of the camera coordinate system with respect to the space coordinate system, based on the parameters of the camera spatial coordinate position and focal length,SaidWhen a perspective transformation is performed on a virtual horizontal plane, an image portion of a tall object is projected at a position distant from a point corresponding to the actual position of the object. The amount of displacement of the projection point increases as the object is located at a higher position and as the spatial coordinate point is farther from the viewpoint, so that when the object having height data such as a vehicle is perspective-transformed, the actual object A more distorted feature is obtained. Meanwhile, shadows etc.Road surfaceThe upper two-dimensional object is projected onto the actual position of the object, so that even after perspective transformation, the same shape and size characteristics as when the actual object is observed from directly above can be obtained. .
[0009]
The invention according to each claim is made using the above principle, and the vehicle discriminating apparatus according to claim 1 isFrom an imaging means installed above the traveling path of the vehicle so as to image the vehicle from the front sideImage input means for inputting a two-dimensional image;Road surface of the travel pathAn image conversion unit that performs perspective transformation on a virtual horizontal plane including, and a feature extraction unit that performs feature extraction on an image that has been perspective-transformed by the image conversion unit.Model storage means for storing a rectangular parallelepiped model corresponding to the vehicle;The feature extracted by the feature extracting means is placed on the virtual horizontal plane.The cuboid modelIs obtained by perspective transformation ofFeature model dataAnd based on the comparison resultDetermining means for determining whether there is a vehicle on the travel path. The discriminating means sets a circumscribed rectangle to the feature extracted by the feature extracting means, and associates one end of the lower side of the circumscribed rectangle with one end of the front end of the lower surface of the cuboid model, and performs perspective transformation of the cuboid model. The size of each side of the circumscribed rectangle with respect to the image is obtained as the feature model data, and the size of each side of the circumscribed rectangle set for the feature is compared with the feature model data, whereby the feature corresponds to a vehicle. It is determined whether or not.
[0010]
In the invention according to claim 2, the feature extracting unit includes: an image that is perspective-transformed by the image converting unit;Obtained by imaging the running path where there are no vehiclesThe feature extraction is performed by the difference processing between the background image and the perspective transformed image.
[0011]
In the invention according to claim 3, the feature extracting unit extracts an edge component from the image perspective-transformed by the image converting unit, and integrates the edge components within a predetermined distance range among the extracted edge components. The result obtained is configured as a feature on the perspective transformed image.
[0012]
In the invention according to claim 4, the feature extracting unit includes: an image that is perspective-transformed by the image converting unit;Difference processing between the input image one stage before and the perspective transformed imageAfter obtaining the fluctuating portions on the image, the result of integrating the fluctuating portions within a predetermined distance range among these fluctuating portions is configured as a feature on the perspective transformed image.
[0019]
According to a fifth aspect of the present invention, there is provided a vehicle discriminating apparatus, comprising:Image input means for inputting a two-dimensional image;Road surface of the travel pathAn image conversion unit that performs perspective transformation on a virtual horizontal plane including, and a feature extraction unit that performs feature extraction on an image that has been perspective-transformed by the image conversion unit.Model storage means for storing a rectangular parallelepiped model corresponding to the vehicle;The feature extracted by the feature extracting means is placed on the virtual horizontal plane.The cuboid modelIs obtained by perspective transformation ofFeature model dataTentative judgment means for tentatively judging whether or not the feature is a vehicle based on the comparison result, and a perspective transformed image generated from a plurality of past input images,Along the lane of the runwayThe moving feature is associated with the same object, and the tracking processing means for tracking the transition of the provisional determination result for this object, and based on the tracking processing result by the tracking processing means, are consistently referred to as "vehicle". Final discriminating means for finally discriminating the target object as a vehicle.Prepare. The tentative determination means sets a circumscribed rectangle to the feature extracted by the feature extraction means, and associates one end point of the lower side of the circumscribed rectangle with one end point of the front end of the lower surface of the cuboid model, thereby providing a perspective view of the cuboid model. The size of each side of the circumscribed rectangle with respect to the transformed image is obtained as the feature model data, and the size of each side of the circumscribed rectangle set for the feature is compared with the feature model data, whereby the feature corresponds to a vehicle. It is determined whether or not to perform.
[0020]
[Action]
In the invention of claim 1,The traveling path is imaged by imaging means installed above the traveling path of the vehicle so as to image the vehicle from the front side.The two-dimensional image obtained by imaging isRoad surface of the travel pathAfter performing perspective transformation on the virtual horizontal plane including the, the features extracted from this perspective transformed image are displayed on the virtual horizontal plane.A rectangular parallelepiped model corresponding to the vehicleObtained by perspective transformationFeature model dataThe vehicle at the observation position is determined by comparing the vehicle with the two-dimensional object, such as a shadow, using a feature reflecting the height of the vehicle at the observation position. It becomes possible.
[0021]
In the invention according to claim 2, an image obtained by performing a perspective transformation on the input image,Obtained by imaging the running path where there are no vehiclesBy taking the difference between the background image and the perspective transformed image, an image part that is not in the background is extracted as a feature.
[0022]
According to the third aspect of the present invention, a result obtained by integrating edge components within a predetermined distance range on an image obtained by performing a perspective transformation on an input image is extracted as a feature. According to the fourth aspect of the present invention, as a feature, a result obtained by integrating a variable portion within a predetermined distance range among the variable portions with respect to the perspective transformed image one stage before on the perspective transformed image is extracted.
[0027]
Claim 5Invention ofThen,An image is input from an image pickup unit installed above the traveling path of the vehicle so as to image the vehicle from the front side.For each of the input images at each stage, it is temporarily determined whether or not the feature on the perspective transformed image is a vehicle using the same method as in claim 1. This provisional determination result is tracked for each identical object, and an object that is finally consistently determined to be "vehicle" is determined to be a vehicle. This solves the problem that as the vehicle approaches the imaging position, no difference is recognized in the perspective transformation result between the vehicle and the shadow.
[0028]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows an example of installation of a traffic flow measuring device in which a vehicle discriminating device according to the present invention is incorporated, and the principle of this vehicle discriminating process is described with reference to FIGS. 2 to 9 and equations (1) to (44). explain. Further, a preferred embodiment of the vehicle discriminating apparatus according to the above-mentioned claims will be described with reference to FIGS. 10, 11, 15, 18, 19, 21, 22, and 25.
[0029]
【Example】
FIG. 1 shows an example of installation of a traffic flow measuring device.
This traffic flow measuring device is configured by disposing a support 31 near a road 30 and mounting a camera 32 at an upper position of the support 31 and a control box 33 at a lower position thereof. The vehicle discriminating device and the measuring device according to the present invention are incorporated therein.
[0030]
The vehicle discriminating apparatus of this embodiment performs perspective transformation of a two-dimensional image input from the camera 32 on a virtual horizontal plane on the road 30 in frame units, and performs a feature extraction process and a vehicle discrimination process described later on the perspective transformed image. Then, the determination result is edited into position data of the vehicle on the road and output to the measuring device. The measurement device creates data indicating the flow of the vehicle on the road based on the temporal transition of data input for each frame, and transmits the data to a center device or the like (not shown).
[0031]
In the perspective transformation processing, a spatial coordinate system (hereinafter simply referred to as a “spatial coordinate system”) having a predetermined position (for example, the installation position of the column) as an origin is determined in advance, and rotation of the camera coordinate system with respect to this spatial coordinate system is determined. angleSuchBy using the parameters determined by the following, each pixel on the input image on the virtual horizontal planeTo the coordinatesIt is something to convert.
Before the measurement processing, the rotation angle of the camera coordinate system is calculated by calibration using a point whose spatial coordinates are known prior to the measurement processing, and the calculation result is further applied to equations (28) to (35) described later. Is calculated by
[0032]
Next, the principle of the perspective transformation processing and the parameter calculation processing by the vehicle discriminating device will be described in order with reference to FIG.
In FIG. 2, X_w, Y_w, Z_wThe coordinate system indicated by each axis of X is the spatial coordinate system described above, and X_c, Y_c, Z_cThe coordinate system indicated by each axis indicates the camera coordinate system. In addition, O indicates an imaging position of the camera, and A indicates an arbitrary point in space.
[0033]
Now, the center point O is the origin O of the camera coordinate system._c(0,0,0), which corresponds to X in the spatial coordinate system_w, Y_w, Z_wX of camera coordinate system for each axis_c, Y_c, Z_cAssuming that the axes are rotated by angles α, β, γ, respectively, the spatial coordinates of the point O are (x₀, Y₀, Z₀) And the spatial coordinates of point A are (x_A, Y_A, Z_A), The camera coordinates of point A (x₁, Y₁, Z₁) Is the parameter s determined by these rotation angles α, β, γ₁, S₂, S₃, T₁, T₂, T₃, U₁, U₂, U₃Is represented by the following (1) to (3).
Each of the above parameters is represented by the equations (4) to (12). The above x₁, Y₁Represents the x, y coordinates of the corresponding point A ′ on the input image of the point A, z₁Corresponds to the focal length F of the camera.
[0034]
(Equation 1)

[0035]
(Equation 2)

[0036]
(Equation 3)

[0037]
(Equation 4)

[0038]
(Equation 5)

[0039]
(Equation 6)

[0040]
(Equation 7)

[0041]
(Equation 8)

[0042]
(Equation 9)

[0043]
(Equation 10)

[0044]
[Equation 11]

[0045]
(Equation 12)

[0046]
On the other hand, the virtual horizontal plane including the straight line OA and the road 30 is expressed by the following equations (13) and (14), respectively.
[0047]
(Equation 13)

[0048]
[Equation 14]

[0049]
Now, assuming that the image including the point A ′ is to be perspective-transformed on the virtual horizontal plane, the point A ′ is an intersection B (x) between the straight line OA and the virtual horizontal plane._B, Y_B, 0). Therefore, from the above equations (13) and (14), x_B, Y_BIs expressed by the following equations (15) and (16).
[0050]
(Equation 15)

[0051]
(Equation 16)

[0052]
Furthermore, x '= x_A-X₀/ Z_A-Z_0,y '= y_A-Y₀/ Z_A-Z₀, Z ′ = 1 / z_A-Z₀In other words, the expressions (1) to (3) and the expressions (15) and (16) are transformed into the expressions (17) to (21), respectively.
[0053]
[Equation 17]

[0054]
(Equation 18)

[0055]
[Equation 19]

[0056]
(Equation 20)

[0057]
(Equation 21)

[0058]
By eliminating z 'from the above equations (17) to (19), x' and y 'are expressed by the following equations (22) and (23), respectively. Further, by modifying the above equations (20) and (21) using the equations (22) and (23), the equations (24) and (25) are obtained.
[0059]
(Equation 22)

[0060]
(Equation 23)

[0061]
[Equation 24]

[0062]
(Equation 25)

[0063]
Therefore, the x_B, Y_BIs calculated by the equations (26) and (27) using the parameters a, b, c, d, e, f, g, and h defined by the equations (28) to (35).
[0064]
(Equation 26)

[0065]
[Equation 27]

[0066]
[Equation 28]

[0067]
(Equation 29)

[0068]
[Equation 30]

[0069]
[Equation 31]

[0070]
(Equation 32)

[0071]
[Equation 33]

[0072]
(Equation 34)

[0073]
(Equation 35)

[0074]
Therefore, the spatial coordinates (x₀, Y₀, Z₀), The rotation angles α, β, γ of the camera coordinate system calculated by the calibration and the focal length F of the camera 32 are substituted into the equations (28) to (35) to obtain the parameters a to h. The coordinates of the projection point of each pixel can be calculated by applying the x and y coordinates of each pixel of the input image from the camera 32 to the equations (26) and (27).
[0075]
As described above, when the point A ′ on the input image corresponding to the point A in the space is perspective-transformed on the virtual horizontal plane, the image data at the point A becomes a virtual line connecting the camera center point O and the point A. Projected at the intersection with the horizontal plane. Therefore, as the inclination of the straight line OA is slower, the projection point on the virtual horizontal plane is farther from the projection point when the point A is seen through from directly above (that is, the point specified by the x and y coordinates of the point A). It will be located in a place that was. In other words, the higher the point A is, or the farther the point A is from the camera, the farther the projected point is from the position where the original point A should be. When the object having the shape is perspective-transformed, a feature having a size and a shape different from those when the actual object is viewed from a position directly above is obtained.
[0076]
On the other hand, since the image data at the point where the z-coordinate in the spatial coordinates becomes 0 is projected at the same position as the actual one, the two-dimensional object such as a shadow can be seen from the position directly above the actual object even after the perspective transformation. It has the same size and shape characteristics as when it is used.
[0077]
FIG. 3 is an example of an input image from the camera 32, which includes

images

35 and 36 of vehicles and their shadows in addition to an image portion 34 indicating lanes of a road.
FIG. 4 shows the result of perspective transformation of the input image of FIG. 3 on the horizontal plane. In the perspective transformed image, the shape of the transformed image 35 ′ of the image 35 has a distortion reflecting its height component. Is appearing. On the other hand, the shape of the converted image 36 'of the image 36 is the same as the result of observing the actual shadow from a position directly above.
[0078]
FIG. 5 shows an image obtained by perspectively transforming a background image at an observation position on a virtual horizontal plane (hereinafter, this image is referred to as a “background converted image”). Is appearing. FIG. 6 shows a result of binarizing the difference between the perspective transformed image of FIG. 4 and the background transformed image, and shows the shape of the transformed images 35 ′ and 36 ′. , 37B are extracted.
[0079]
In this vehicle discriminating apparatus, circumscribed

rectangles

38A and 38B are set for each of the features 37A and 37B, and the length A of each side is set for each of the rectangles 38A and 38B._wx, A_wy, B_wx, B_wyIs compared with data indicating a representative characteristic of the vehicle (hereinafter referred to as “characteristic model data”), and it is determined whether or not the characteristic indicates the vehicle based on the comparison result. I have.
[0080]
Next, the calculation principle of the above-described feature model data will be described.
The spatial coordinates of the center point O of the camera are (0, 0, k), and the spatial coordinates of an arbitrary point P in the space are (x_w, Y_w, Z_w), The coordinates of the projection point P ′ obtained by perspective transformation of this point P are (x_r, Y_r, 0), as is clear from FIG. 7, the x, y coordinates x of the point P ′_r, Y_rIs calculated by the following equations (36) and (37).
[0081]
[Equation 36]

[0082]
(37)

[0083]
Here, for simplicity of description, a width V as shown in FIG._x, Depth V_y, Height V_zIs assumed, and among the vertices of this cuboid model, the leftmost vertex R on the front surface has coordinates (x_R0, Y_R0, 0), the coordinates of the vertex S farthest from the point R on the rectangular parallelepiped model (x_SW, Y_SW, Z_SW) Is obtained by the following equations (38) to (40).
[0084]
[Equation 38]

[0085]
[Equation 39]

[0086]
(Equation 40)

[0087]
Accordingly, by applying the equations (38) to (40) to the equations (36) and (37), the x, y coordinates x of the projection point S ′ when the vertex S is perspectively transformed on the virtual horizontal plane_SR, Y_SREquations (41) and (42) are obtained as equations for calculating.
[0088]
[Equation 41]

[0089]
(Equation 42)

[0090]
On the other hand, since the projection point R ′ of the point R located on the road surface is transformed to the same position as before the perspective transformation, as shown in FIG.RectangularWhen a rectangle 41 circumscribing the perspective transformed image 40 of the model is set, each side W of the circumscribed rectangle 41 is set._x , W_y Is calculated by the following equations (43) and (44).
[0091]
[Equation 43]

[0092]
[Equation 44]

[0093]
Therefore, for each of the features 37A and 37B shown in FIG. 6, the left end points 39A and 39B of the circumscribed

rectangles

38A and 38B are set as described above.RectangularAssuming that they correspond to the vertex R of the model, the x and y coordinates of the left end points 39A and 39B are calculated as (x) in the above equations (41) to (44)._R0, Y_R0), The above W_x , W_y Is calculated, and this is set as the feature model data.
[0094]
Therefore, for each feature portion on the perspective transformed image, the feature model data W_x, W_y, A circumscribed rectangle is set for the characteristic portion, and the length of each side of the circumscribed rectangle (A shown in FIG. 6)_wx, A_wy, B_wx, B_wy) And feature model data W_x, W_yIs compared with the calculated value. If no significant difference is found by this comparison, the feature is determined to correspond to the vehicle.
[0095]
Instead of comparing each side of the circumscribed rectangle,RectangularIf the model is virtually perspective-transformed to the feature extraction position on the perspective-transformed image and the result of the perspective transformation is matched with the actual feature, it is possible to obtain a more accurate determination result. .
[0096]
FIG. 10 shows an example of a configuration of a vehicle discriminating apparatus to which the above-described principle is introduced, and includes an image input unit 1, a perspective transformation processing unit 2, a parameter storage unit 3, a feature extraction unit 4, a model storage unit 6, and a determination unit 5. , An output unit 7 and the like.
[0097]
The image input unit 1 includes an A / D conversion circuit for digitally converting analog image data from the camera 32, an image memory for storing image data after conversion processing, and the like. The parameter storage unit 3 stores parameters a, b, c, d, e, f, g, and h calculated by the equations (28) to (35). The perspective transformation processing unit 2 calculates the coordinates of the perspective transformation point of each pixel by substituting these parameters and the x and y coordinates of each pixel in the input image into the equations (26) and (27). Based on the calculation result, a perspective transformation process of the input image is executed.
[0098]
In addition, instead of the parameter storage unit 3, a look-up table in which the coordinates of the perspective transformation destination of each pixel of the input image are stored is provided, and at the time of image input, each pixel is set to a corresponding setting in the look-up table. If the position is converted to a position based on the value, the speed of the conversion process can be increased.
[0099]
The feature extraction unit 4 includes a background difference processing unit 8, a binarization processing unit 9, a background image storage unit 10, and the like.
The background conversion image as shown in FIG. 5 is stored in the background image storage unit 10, and the background difference processing unit 8 determines each pixel data of the perspective conversion image generated by the perspective conversion processing unit 2 and this pixel data. The difference between the background conversion image and the corresponding pixel data is obtained. The binarization processing unit 9 binarizes the difference image generated by the difference processing with a predetermined threshold value, and as a result, as shown in FIG. The feature indicating the result of the conversion is extracted.
[0100]
The model storage unit 6 stores the vehicle information shown in FIG.RectangularThe model is stored. The determination unit 5 sets the circumscribed rectangle for each feature extracted by the binarization processing unit 9 and, for each circumscribed rectangle, determines the left end point (39A, 39B in FIG. 6) andRectangularThe above equations (41) to (44) are executed in association with the vertices R of the model, and the feature model data W corresponding to the respective features is obtained._x , W_y Is calculated. Further, for each circumscribed rectangle, the determination unit 5 calculates the length of each side of the circumscribed rectangle._x , W_y Then, it is determined whether or not the feature indicates the vehicle based on the comparison result.
[0101]
Each side of circumscribed rectangle and feature model data W_x, W_yWhen a significant difference is not recognized between the vehicle and the vehicle, the determination unit 5 determines that this feature corresponds to a vehicle.
The output unit 7 recognizes the position of the vehicle on the road or the like from the feature extraction position based on the determination result, and outputs the recognition result to a traffic flow measurement device at a subsequent stage.
[0102]
FIG. 11 shows another configuration example of the discrimination processing device.
This embodiment also has a configuration basically similar to that of FIG. 10, but includes an edge extraction unit 11 and an edge integration unit 12 as the feature extraction unit 4.
[0103]
The edge extraction unit 11 performs a differentiation process or the like on the perspective transformed image to extract an edge component in the horizontal direction (x-axis direction). The edge components within a predetermined distance range in the traveling direction of the vehicle (the y-axis direction in this embodiment) are integrated, and the integrated result is output as a feature.
[0104]
FIG. 12 shows an edge image with respect to the perspective transformed image of FIG. 4, and FIG. 13 shows an image obtained by integrating edge components in the edge image.
As is clear from the illustrated example, the portion corresponding to the shadow on the perspective transformed image is not subject to the integration processing because the extracted edge component is reduced, and is removed as noise. On the other hand, for the image portion corresponding to the vehicle, a plurality of features (shown as 42a, 42b, and 42c in the figure) are extracted by the integration process.
[0105]
The determination unit 5 sets a rectangular area 43 including the extracted features 42a, 42b, and 42c, and determines the left end point 44 of the rectangular area 43 in the same manner as in FIG.RectangularThe feature model data Wx and Wy are calculated in association with the model point R, and the calculation result is expressed by the length C of each side of the rectangular area 43._wx, C_wyCompare with
[0106]
By the above comparison processing, the length C of each side_wx, C_wyAnd the feature model data W_x, W_yIf no significant difference is found between the image area 45 and the image area 45, the determination unit 5 sets an image area 45 including the features 42a, 42b, and 42c as shown in FIG. Is determined as corresponding to the vehicle.
[0107]
The features to be extracted from the perspective transformed image are not limited to the edge components. For example, features corresponding to the moving portion of the vehicle may be extracted by frame difference processing. FIG. 15 shows an example of the configuration of a determination processing device when feature extraction is performed by frame difference processing. The feature extraction unit 4 includes a frame difference processing unit 13, a binarization processing unit 14, an extraction result integration unit 15, and the like. Consists of
[0108]
The frame difference processing unit 13 includes a memory that stores a perspective transformed image of the input image one stage before. For each pixel of the latest perspective transformed image input from the perspective transformation processing unit 2, Of the perspective transformed image with the corresponding pixel. The binarization processing unit 14 binarizes the difference value of each pixel with a predetermined threshold value. As a result, a plurality of features 46 as shown in FIG. It is output to the unit 15.
[0109]
The extraction result integration unit 15 integrates features within a predetermined distance range in the y-axis direction with respect to each extracted feature 46, and features that are not to be integrated are removed as noise.
FIG. 17 shows a result obtained by integrating the extraction results of FIG. 16, and the determination unit 5 sets the rectangular area 47 and sets the feature model data W_x, W_yIs calculated, and the calculation result and each side D of the rectangular area 47 are calculated._x, D_yCompare with As a result, when no significant difference is recognized between the two, the determination unit 5 determines the image region including each characteristic portion as corresponding to the vehicle, as described above.
[0110]
Note that feature extraction is not limited to one method, and feature portions extracted by a plurality of types of methods may be integrated.
FIG. 18 is a configuration example of a determination processing device when two types of feature extraction methods are introduced. The feature extraction unit 4 includes an edge extraction unit 11, a frame difference processing unit 13, a binarization processing unit 14, The result integration unit 16 is configured.
[0111]
The edge extraction unit 11, the frame difference processing unit 13, and the binarization processing unit 14 have the same configuration as those in FIGS. 11 and 15, and the processing result integration unit 16 synthesizes the characteristic parts extracted by each processing. Thereafter, as in the above embodiments, features within a predetermined distance range in the y-axis direction are integrated, and the integrated result is output to the determination unit 5.
[0112]
By the way, the above-described respective extraction results are obtained when imaging is performed in an environment having sufficient brightness such as during the daytime, and under a condition where the contrast between the background color and the vehicle color is not clear such as at sunset, An image of a low brightness portion such as a windshield may not be extracted. As a result, the extracted characteristic part is divided into a plurality of characteristic parts, and it becomes impossible to accurately determine the vehicle.
[0113]
FIG. 19 shows an example of a configuration of a determination processing device for solving the above-described problem. In addition to the configuration shown in FIG. A head candidate extraction unit 17 for extraction is provided.
[0114]
Now, when a plurality of features 48a and 48b as shown in FIG. 20 are extracted by the background difference processing unit 8 and the binarization processing unit 9, the vehicle head candidate extraction unit 17 A feature in which the portion (the portion surrounded by a broken line in FIG. 20) has a flat shape and the width of which is close to the vehicle width is extracted as a candidate for the head portion. This result is output to the determination unit 5, and the vehicle is determined from the positional relationship of each head candidate.
[0115]
That is, when two or more head candidates are arranged in the y-axis direction, which is the traveling direction of the vehicle, the determination unit 5 calculates the distance between these head candidates (indicated by H in FIG. 20), andRectangularThe feature model data Wy when the model is located at the front head candidate is calculated, and the calculated result is compared with the distance H. As a result, when the distance is smaller than the model data Wy, the rear head candidate is removed from the candidates, and it is determined that the vehicle exists at the extraction position of the remaining head candidate.
[0116]
The distance H between the head candidates is model data W._yIs exceeded, or if there is no subsequent candidate in the extracted headway candidates, these headway candidates are removed as noise. In addition, the extracted feature is the model data W alone._x, W_yIf the condition is satisfied, it is determined that this feature represents the entire vehicle.
[0117]
FIG. 21 shows a configuration example when the same processing as described above is performed by edge extraction, and FIG. 22 shows a configuration example when the same processing is performed by the frame difference method. Each embodiment is the same as FIG. 19 except for a configuration for extracting a characteristic portion from a perspective transformed image, and a detailed description thereof is omitted here.
[0118]
Note that the principle of the above-described vehicle discrimination processing utilizes distortion generated in the result of perspective transformation of the image portion of the vehicle. In this case, when the vehicle approaches the imaging position and the depression angle of the camera with respect to the vehicle increases, the perspective transformation is performed. There is a problem that distortion of the vehicle portion in the image becomes small, and it becomes difficult to distinguish the vehicle from the shadow.
[0119]
FIG. 23A shows an input image obtained when the vehicle approaches the imaging position, and FIG. 23B shows a perspective transformed image of the input image.
When the feature extraction by the above-described background subtraction method is performed on the perspective transformed image of FIG. 23 (2), as shown in FIG. 24, no significant difference appears between the

features

50a and 50b corresponding to the vehicle and the shadow, respectively. It is difficult to distinguish between the two by the method of comparing with the above-described feature model data.
[0120]
FIG. 25 shows an example of the configuration of a determination processing device for solving the above-mentioned problem.MemoryA unit 18, a tracking processing unit 19, a final determination unit 20, and the like are added.
[0121]
With the configuration from the perspective transformation processing unit 2 to the determination unit 5, the same perspective transformation processing, feature extraction processing, and determination processing as described above are executed for the image input at each stage. The determination result storage unit 18 stores and accumulates data such as the position of the extracted characteristic portion and the determination result for each of several past frames. The tracking processing unit 19 correlates the characteristic portions related to the same object from the stored data, and tracks the transition of the determination result for each object.
[0122]
FIG. 26 shows a tracking method by the tracking processing unit 19.
A in the figure₀, B₀Is the extraction position of the characteristic part at a certain point in time, and the tracking processing unit 19 performs the tracking processing in the direction along the lane corresponding to the characteristic extraction position (that is, the y-axis direction) for each characteristic part, Extraction position a of the characteristic part in the next stage₁, B₁Is detected.
The final determination unit 20 makes a final determination as to whether or not the extracted characteristic portion corresponds to the vehicle based on the result of the tracking processing by the tracking processing unit 19.
Note that this final determination is performed when the tracking process is completed for each object, that is, when the characteristic portion corresponding to the object is no longer extracted.
[0123]
FIG. 27 shows the tracking result of the tracking processing unit 19 and the determination result of the final determination unit 20 in association with each other. For the sake of simplicity, it is assumed here that the features of the two objects A and B have been extracted in a plurality of stages, and the tracking processing results include the extraction position of each feature portion, the determination result, Is shown.
[0124]
The final determination unit 20 receives the final tracking result of the tracking processing unit 19, and performs the final determination by putting together the past determination results of the characteristic part. As a result, as shown in the object B, even if it is determined that the vehicle is “vehicle” in the final stage, if the determination result in a plurality of previous stages is “shadow”, the characteristic portion reflects the shadow. It is determined that it has been done.
[0125]
According to the above processing, a final determination is made when the vehicle passes the observation position, and when it is determined by the final determination that the characteristic portion reflects the vehicle, the final measurement is performed by the subsequent measurement device. The result of the determination is output. Accordingly, the measuring device can accurately measure the number of vehicles passing at the observation point, and can perform highly accurate traffic flow measurement.
[0126]
【The invention's effect】
In the invention of claim 1,An image is input from an image pickup device installed above the traveling path of the vehicle so as to image the vehicle from the front side.Two-dimensional imageRoad surface of the travel pathAfter performing the perspective transformation on the virtual horizontal plane including, the features extracted from the perspective transformation image are displayed on the virtual plane.A rectangular parallelepiped model corresponding to the vehicleIs obtained by perspective transformation ofFeature model dataAnd the vehicle at the observation position is determined based on the comparison result. Therefore, the vehicle can be accurately determined using a feature reflecting the height of the vehicle at the observation position.
[0127]
In the invention according to claim 2, an image obtained by performing a perspective transformation on the input image,Obtained by imaging the running path where there are no vehiclesSince the image portion that is not in the background is extracted as a feature by the difference processing between the background image and the perspective transformed image, a feature representing a moving object such as a vehicle can be extracted.
[0128]
According to a third aspect of the present invention, a result obtained by integrating edge components within a predetermined distance range is extracted as a feature on an image obtained by performing a perspective transformation on an input image. Since a result obtained by integrating a variable portion within a predetermined distance range among the variable portions with respect to the perspective transformed image one stage before is extracted as a feature, a feature relating to one vehicle is recognized and an accurate determination process is performed. Can be performed.
[0133]
Claim 5The invention ofAn image is inputted from an image pickup means installed above the traveling path of the vehicle so as to image the vehicle from the front side.For each of the perspective-transformed images from the input image at each stage, it is tentatively determined whether or not the feature on the image is a vehicle. The object that is determined to be `` is present '' is finally determined as a vehicle, eliminating the problem that as the vehicle approaches the imaging position, the difference in the perspective transformation result between the vehicle and the shadow disappears. Thus, highly accurate vehicle discrimination can be performed.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing an installation example of a traffic flow measuring device in which a vehicle discriminating device according to the present invention is incorporated.
FIG. 2 is an explanatory diagram showing the principle of perspective transformation processing.
FIG. 3 is an explanatory diagram showing an input image from a camera.
FIG. 4 is an explanatory diagram showing a result of perspective transformation of the input image of FIG. 3;
FIG. 5 is an explanatory diagram showing a background conversion image.
6 is an explanatory diagram showing features extracted by a difference process between the perspective transformed image of FIG. 4 and the background transformed image of FIG. 5;
FIG. 7 is an explanatory diagram showing a principle of calculating coordinates of a perspective transformation destination of an arbitrary point P from spatial coordinates of the point P;
FIG. 8 is an explanatory diagram showing an example of a vehicle model.
FIG. 9 is an explanatory diagram showing a result of perspective transformation of the model of FIG. 8;
FIG. 10 is a block diagram illustrating a configuration example of a vehicle determination device.
FIG. 11 is a block diagram illustrating another configuration example of the vehicle discriminating apparatus.
FIG. 12 is an explanatory diagram showing a result of extracting an edge component on an input image.
FIG. 13 is an explanatory diagram showing a result obtained by integrating the edge components of FIG. 12;
FIG. 14 is an explanatory diagram showing an image area recognized as corresponding to a vehicle.
FIG. 15 is a block diagram illustrating another configuration example of the vehicle determination device.
FIG. 16 is an explanatory diagram showing features extracted by the frame difference processing.
FIG. 17 is an explanatory diagram showing the result of integrating the features of FIG. 16;
FIG. 18 is a block diagram illustrating another configuration example of the vehicle determination device.
FIG. 19 is a block diagram illustrating another configuration example of the vehicle determination device.
FIG. 20 is a block diagram showing features extracted as vehicle head candidates.
FIG. 21 is a block diagram illustrating another configuration example of the vehicle determination device.
FIG. 22 is a block diagram illustrating another configuration example of the vehicle determination device.
FIG. 23 is an explanatory diagram showing an input image obtained in a state where the vehicle approaches the imaging position and a perspective transformed image thereof.
FIG. 24 is an explanatory diagram showing features extracted from the perspective transformed image of FIG. 23 (2).
FIG. 25 is a block diagram illustrating another configuration example of the vehicle determination device.
FIG. 26 is an explanatory diagram showing a tracking method by the tracking processing unit in FIG. 25;
FIG. 27 is an explanatory diagram showing a tracking processing result and a final determination result in association with each other.
[Explanation of symbols]
2 Perspective transformation processing unit
4 Feature extraction unit
5 Judgment unit
8 Background difference processing unit
11 Edge extraction unit
12 Edge Integration Unit
13 Frame difference processing unit
15 Extraction result integration section
16 Processing result integration unit
17 Head candidate extraction section
18 Judgment result storage unit
19 Tracking unit
20 Final judgment section

Claims

Image input means for inputting a two-dimensional image from image pickup means installed above the traveling path of the vehicle so as to image the vehicle from the front side ;
Image conversion means for perspectively converting the input two-dimensional image onto a virtual horizontal plane including the road surface of the travel road ;
A feature extraction unit that performs feature extraction on the image that has been perspectively transformed by the image conversion unit,
Model storage means for storing a rectangular parallelepiped model corresponding to the vehicle ;
The feature extracted by the feature extracting means is compared with feature model data obtained by perspectively transforming the rectangular parallelepiped model on the virtual horizontal plane, and it is determined whether or not there is a vehicle on the traveling path based on the comparison result. and a discriminating means for,
The discriminating means sets a circumscribed rectangle to the feature extracted by the feature extracting means, and associates one end of the lower side of the circumscribed rectangle with one end of the front end of the lower surface of the rectangular parallelepiped model, and performs perspective transformation of the rectangular parallelepiped model. The size of each side of the circumscribed rectangle with respect to the image is obtained as the feature model data, and the size of each side of the circumscribed rectangle set for the feature is compared with the feature model data, whereby the feature corresponds to a vehicle. A vehicle discriminating device for discriminating whether or not the vehicle is a vehicle.

2. The feature extraction unit performs feature extraction by a difference process between a perspectively transformed image of the background image obtained by capturing an image of the traveling road where no vehicle exists and a perspectively transformed image obtained by the image transformation unit. The vehicle discriminating device described in.

The feature extracting unit extracts an edge component from the image that has been perspectively transformed by the image transforming unit, and integrates a result of integrating edge components within a predetermined distance range among the extracted edge components on a perspective transformed image. The vehicle discriminating apparatus according to claim 1, wherein:

The feature extraction means obtains a fluctuating portion on the image by a difference process between the image transformed by the image transformation means and the perspective transformed image of the input image one stage before, and then determines a predetermined portion of the fluctuating portions. The vehicle discriminating apparatus according to claim 1, wherein a result obtained by integrating the fluctuating portions within the distance range is characterized on the perspective transformed image.

Image input means for inputting a two-dimensional image from image pickup means installed above the traveling path of the vehicle so as to image the vehicle from the front side ;
Image conversion means for perspectively converting the input two-dimensional image onto a virtual horizontal plane including the road surface of the travel road ;
A feature extraction unit that performs feature extraction on the image that has been perspectively transformed by the image conversion unit,
Model storage means for storing a rectangular parallelepiped model corresponding to the vehicle;
The feature extracted by the feature extracting means is compared with feature model data obtained by perspectively transforming the rectangular parallelepiped model on the virtual horizontal plane. Based on the comparison result, it is temporarily determined whether the feature is a vehicle. Provisional determination means,
A tracking method for associating features moving along the lane of the travel road as the same object between perspective transformed images generated from a plurality of past input images, and tracking a transition of a provisional determination result for the object. Processing means;
Based on the result of the tracking processing by the tracking processing means, the target object consistently determined to be "vehicle", final determination means for finally determining as a vehicle ,
The tentative determination means sets a circumscribed rectangle to the feature extracted by the feature extraction means, and associates one end point of the lower side of the circumscribed rectangle with one end point of the front end of the lower surface of the rectangular parallelepiped model, to thereby provide a perspective view of the rectangular parallelepiped model. The size of each side of the circumscribed rectangle with respect to the transformed image is obtained as the feature model data, and the size of each side of the circumscribed rectangle set for the feature is compared with the feature model data, whereby the feature corresponds to a vehicle. A vehicle determination device that determines whether or not to perform .