JPH11259658A

JPH11259658A - 物体認識方法およびその方法を用いた物体認識装置，車輌認識方法，車輌認識装置

Info

Publication number: JPH11259658A
Application number: JP10080276A
Authority: JP
Inventors: Yoshihiro Onoda; 吉博小野田; Yoshimasa Asougawa; 佳誠麻生川
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1998-03-11
Filing date: 1998-03-11
Publication date: 1999-09-24

Abstract

(57)【要約】【課題】認識対象の物体を効率よくかつ正確に認識す
る。【解決手段】制御装置２は、各カメラ１ａ，１ｂによ
り道路ＲＤを撮像して得られた画像を取り込んだ後、各
入力画像上の特徴点を抽出して画像間で対応づけし、対
応する特徴点の組毎に、それら特徴点の表す空間内の物
点の３次元座標を算出する。さらに制御装置２は、各３
次元座標を道路ＲＤの長さ方向に沿う仮想垂直平面上に
投影し、この投影像に対し大型車輌の側面形状を示す２
次元モデルによるマッチング処理を実施する。つぎに制
御装置２は、前記投影像に対し一般車輌の側面形状を示
す２次元モデルによるマッチング処理を実施するが、先
のマッチング処理で、大型車輌のモデルに対応する投影
点群が抽出されている場合、これらの投影点は、マッチ
ング処理の対象から除去される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、所定の観測位置を１
または複数個の撮像手段により撮像して得られた画像を
用いて、前記観測位置における物体を認識するための方
法および装置に関連する。

【０００２】

【従来の技術】出願人は、先般、道路や駐車場などにお
ける車輌を観測するために、３次元認識およびパターン
マッチングの手法を用いた認識方法を提案した（特開平
９−３３２３２号）。この認識処理では、まず複数台の
カメラにより観測位置が撮像された後、各画像上で抽出
された車輌の特徴点が画像間で対応づけられて、車輌を
示す物点の３次元座標が計測される。この後、各３次元
座標は、道路や駐車枠に沿う仮想垂直平面上に投影され
て、各車輌の側面形状が抽出される。そしてこの投影像
に複数種の車輌の２次元モデルが順次走査され、観測位
置における各車輌が切り分けて認識される。

【０００３】

【発明が解決しようとする課題】しかしながら上記の認
識方法では、マッチング処理時に走査させるモデルの順
序は特に規定されておらず、しかもいずれのモデルも、
仮想垂直平面上の原点から順に走査されて、各走査位置
で演算処理が行われる。このため同じ投影点が何度もマ
ッチング処理の対象となって、処理に多大な時間がかか
り、効率が悪いという問題がある。

【０００４】この発明は上記問題点に着目してなされた
もので、画像上に現れる特徴点が多い物体のモデルから
順にマッチング処理を行うとともに、あるモデルに対応
する物体が認識されたとき、以後の特徴点の少ない物体
のモデルについて、その認識位置を照合処理の対象から
除くことにより、物体を効率よくかつ正確に認識するこ
とを技術課題とする。

【０００５】

【課題を解決するための手段】請求項１の発明は、所定
の観測領域を撮像手段により撮像して得られた画像を用
いて、前記観測領域における物体を認識する方法に関す
る。この方法は、画像上に現れる特徴点の数が異なる複
数種の物体について、それぞれその物体の画像上の特徴
が反映された２次元モデルを用意しておき、前記撮像手
段により得られた画像上で前記各モデルに対応する特徴
点群を抽出するためのマッチング処理を、画像上に現れ
る特徴点の数が多い物体のモデルから順に実施するとと
もに、あるモデルに対応する特徴点群が抽出されたと
き、これらの各特徴点を以後のマッチング処理の対象か
ら除くことを特徴とする。

【０００６】請求項２の発明では、所定の観測領域を複
数の撮像手段により撮像し、各撮像手段により得られた
画像を用いて前記観測領域における物体を認識する方法
に関する。この方法は、画像上に現れる特徴点の数が異
なる複数種の物体について、それぞれその物体の立体的
な特徴が反映された３次元モデルを用意しておき、各撮
像手段により得られた画像上の特徴点を用いて前記観測
領域における複数個の物点の３次元計測処理を実施した
後、この３次元計測結果に対し前記各モデルに対応する
物点群を抽出するためのマッチング処理を、画像上に現
れる特徴点の数が多い物体のモデルから順に実施すると
ともに、あるモデルに対応する物点群が抽出されたと
き、これらの物点を以後のマッチング処理の対象から除
くことを特徴とする。

【０００７】請求項３の発明は、請求項２と同様、複数
の撮像手段により得られた画像を用いて観測領域におけ
る物体を認識する方法において、画像上に現れる特徴点
の数が異なる複数種の物体について、それぞれその物体
を所定の観測方向から観測した状態を表す２次元モデル
を用意しておき、各撮像手段により得られた画像上の特
徴点を用いて前記観測領域における複数個の物点の３次
元計測処理を実施した後、計測された各物点を、前記観
測方向に対向させて垂直に位置する仮想平面上に投影す
る。そしてこの仮想平面への投影結果に対し各モデルに
対応する特徴点群を抽出するためのマッチング処理を、
画像上に現れる特徴点の数が多い物体のモデルから順に
実施するとともに、あるモデルに対応する投影群が抽出
されたとき、これらの投影点を以後のマッチング処理の
対象から除くようにしている。

【０００８】請求項４の発明は、請求項１の方法を実施
するための物体認識装置であって、画像上に現れる特徴
点の数が異なる複数種の物体について、それぞれその物
体の画像上の特徴が反映された２次元モデルを記憶する
記憶手段と、前記記憶手段より画像上に現れる特徴点の
数が多い物体のモデルから順に読み出して、撮像手段か
ら入力された画像上で各モデルに対応する特徴点群を抽
出するためのマッチング処理を、前記モデルの読出し順
に実施するマッチング手段と、前記マッチング手段によ
る特徴点群の抽出結果を用いて前記観測領域における物
体を認識する認識手段とを具備する。また前記マッチン
グ手段は、所定のモデルに対応する特徴点群が抽出され
たとき、これらの特徴点を、以後のマッチング処理の対
象から除くように構成される。

【０００９】請求項５の発明は、請求項２の方法を実施
するための物体認識装置であって、画像上に現れる特徴
点の数が異なる複数種の物体について、それぞれその物
体の立体的な特徴が反映された３次元モデルを記憶する
記憶手段と、複数の撮像手段より入力された各画像上の
特徴点を用いて観測領域における物点の３次元計測処理
を実施する３次元計測手段と、前記記憶手段より画像上
に現れる特徴点の数が多い物体のモデルから順に読み出
して、前記３次元計測結果に対し各モデルに対応する物
点群を抽出するためのマッチング処理を、前記モデルの
読出し順に実施するマッチング手段と、前記マッチング
手段による物点群の抽出結果を用いて前記観測位置にお
ける物体を認識する認識手段とを具備する。そして前記
マッチング手段は、所定のモデルに対応する物点群が抽
出されたとき、これらの物点を以後のマッチング処理の
対象から除くように構成される。

【００１０】請求項６の発明は、請求項３の方法を実施
するための物体認識装置であって、画像上に現れる特徴
点の数が異なる複数種の物体について、それぞれその物
体を所定の観測方向から観測した状態を表す２次元モデ
ルを記憶する記憶手段と、複数の撮像手段より入力され
た各画像を用いて観測領域における物点の３次元計測処
理を実施する３次元計測手段と、前記３次元計測手段に
より計測された各物点を、前記観測方向に対向させて垂
直に位置する仮想平面上に投影する投影手段と、前記記
憶手段より画像上に現れる特徴点の数が多い物体のモデ
ルから順に読み出して、前記仮想平面上への投影結果に
対し各モデルに対応する投影点群を抽出するためのマッ
チング処理を、前記モデルの読出し順に実施するマッチ
ング手段と、前記マッチング手段による投影点群の抽出
結果を用いて観測領域における物体を認識する認識手段
とを具備する。そして前記マッチング手段は、所定のモ
デルに対応する投影点群が抽出されたとき、これらの投
影点を以後のマッチング処理の対象から除くように構成
される。

【００１１】請求項７の発明は、請求項４〜６のいずれ
かの構成における認識手段を、観測位置における物体の
数を認識するように構成する。

【００１２】請求項８の発明は、所定の観測領域を複数
の撮像手段により撮像し、各撮像手段により得られた画
像を用いて前記観測領域における車輌を認識するための
方法であって、大きさの異なる複数種の車輌について、
それぞれその車輌を所定の観測方向から観測した状態を
表す２次元モデルを用意しておき、各撮像手段により得
られた画像上の特徴点を用いて観測領域内の複数個の物
点の３次元計測処理を実施した後、これらの物点を観測
方向に対向させて垂直に位置する仮想平面上に投影す
る。そしてこの投影結果に対し各モデルに対応する投影
点群を抽出するためのマッチング処理を、より大きな車
輌のモデルから順に実施するとともに、ある車輌に対応
する投影点群が抽出されたとき、これらの投影点を以後
のマッチング処理の対象から除くようにしている。

【００１３】請求項９の発明は、請求項８の方法を実施
するための車輌認識装置であって、大きさの異なる複数
種の車輌について、それぞれその車輌を所定の観測方向
から観測した状態を表す２次元モデルを記憶する記憶手
段と、前記請求項６と同様の３次元計測手段および投影
手段と、前記記憶手段に記憶された各モデルを、より大
きな車輌のモデルから順に読み出して、前記仮想平面上
への投影結果に対し各モデルに対応する投影点群を抽出
するためのマッチング処理を、前記モデルの読出し順に
実施するマッチング手段と、このマッチング処理手段に
よる投影点群の抽出結果を用いて前記観測領域における
車輌を認識する認識手段とを具備する。そしてさらに前
記マッチング手段は、所定のモデルに対応する投影点群
が抽出されたとき、これらの投影点を以後のマッチング
処理の対象から除くように構成される。

【００１４】

【作用】観測領域を撮像して得られた画像上で抽出され
た各特徴点、または各特徴点により表わされる空間内の
物点、もしくはその物点を所定の観測方向に対向させて
垂直に位置する仮想平面上に投影した投影点に対し、大
きな物体や複雑な形状の物体のように、画像上に現れる
特徴点の数の多い物体のモデルから順にマッチング処理
を実施し、モデルに対応する各点を抽出する。この後、
抽出された各点を以後のマッチング処理の対象から除く
ので、画像上に現れる特徴点が少ない物体の認識処理時
には、マッチング処理の対象が大幅に間引かれ、処理が
高速化される。また特徴点の少ない物体の認識処理が先
に行われた場合には、マッチング処理時に他の特徴点の
多い物体の一部分が特徴点の少ない物体として誤認識さ
れる可能性があるが、このように特徴点の多い物体の認
識処理を優先することにより、認識処理を誤る可能性が
低くなり、認識処理精度を向上することができる。

【００１５】

【実施例】図１は、この発明の一実施例にかかる交通流
計測装置の設置例を示す。この交通流計測装置２０は、
道路ＲＤ上の車輌の車種や位置を認識し、さらにその認
識結果の時間的な推移を用いて各車輌の走行速度，通過
車輌台数などの交通流データを計測するためのもので、
道路ＲＤの近傍位置に設置された支柱３に、２台のカメ
ラ１ａ，１ｂと制御装置２とを配備して成る。

【００１６】各カメラ１ａ，１ｂは、等しい焦点距離を
具備し、図示しない支持部材により光軸を道路ＲＤの方
向に向けて平行にし、かつ各撮像面を同一平面上に位置
させた状態で縦並びに支持される。制御装置２は、各カ
メラ１ａ，１ｂからの画像データを逐次取り込んで、３
次元計測処理を実施した後、その計測結果を用いて後記
する投影処理やマッチング処理を実施し、各車輌を切り
分けて認識する。

【００１７】図２は、各カメラ１ａ，１ｂより制御装置
２に同じタイミングで入力された画像の一例を示す。図
２（１）は、上側のカメラ１ａによる画像Ｉ_u、図２
（２）は、下側のカメラ１ｂによる画像Ｉ_Lであって、
各画像間には、カメラ１ａ，１ｂの視差を反映して、上
下方向にずれが生じている。

【００１８】なおこの実施例では、２台のカメラ１ａ，
１ｂにより道路ＲＤを撮像しているが、これに限らず、
３台以上のカメラを用いてもよい。またカメラ１ａ，１
ｂの配置は縦並びに限らず横並びにしても良い。

【００１９】前記制御装置２は、図３に示すように、画
像入力部４ａ，４ｂ，特徴抽出部５，３次元計測部６，
投影処理部７，大型車輌認識部８，一般車輌認識部９，
出力部１０などにより構成される。

【００２０】各画像入力部４ａ，４ｂは、それぞれカメ
ラ１ａ，１ｂに対応するもので、カメラ１ａ，１ｂから
入力されたアナログ量の画像データをディジタル量に変
換して、前記した入力画像Ｉ_U，Ｉ_Lを生成するための
Ａ／Ｄ変換回路，各入力画像Ｉ_U，Ｉ_Lを記憶保持する
ための画像メモリなどを具備する。特徴抽出部５は、各
入力画像Ｉ_U，Ｉ_Lの特徴点を抽出するためのもので、
ここでは各入力画像Ｉ_U，Ｉ_Lについて、あらかじめ記
憶された背景画像による背景差分処理を実施した後、処
理後の各差分画像上にエッジ抽出用フィルタを走査する
ことにより、車輌などの物体の輪郭を示すエッジ構成点
が、特徴点として抽出される。

【００２１】３次元計測部６は、前記特徴抽出部５によ
り抽出された各特徴点について、入力画像Ｉ_U，Ｉ_L間
の相関演算処理により、空間内の同じ物点を表す特徴点
同士を対応づけする。そして対応づけられた各特徴点の
組毎に、これら特徴点の２次元座標およびカメラ１ａ，
１ｂの設置条件にかかるパラメータを用いて、三角測量
の原理に基づき、各特徴点に対応する物点の３次元座標
を算出する。

【００２２】投影処理部７は、道路ＲＤの長さ方向に沿
う仮想垂直平面を設定して、この平面上に前記３次元計
測部６により計測された各３次元座標を投影処理する。
大型車輌認識部８，一般車輌認識部９は、それぞれ前記
投影処理結果を用いて大型車輌，一般車輌を認識するた
めのもので、その認識結果は、出力部１０を介して、後
段の交通流計測部（図示せず）または外部の管理センタ
ー３０（図１３に示す）などに出力される。

【００２３】図４は、上記制御装置２による一連の処理
手順を示すもので、以下、図５〜９を参照しつつ、図４
の流れに沿って、各車輌を認識するための詳細な手順を
説明する。なお図中のＳＴは「ステップ」を意味する。

【００２４】まずステップ１で、各カメラ１ａ，１ｂか
らの画像データがそれぞれの画像入力部４ａ，４ｂに入
力されてディジタル変換され、画像メモリ内に格納され
る。つぎに特徴抽出部５により、各入力画像Ｉ_U，Ｉ_L
の背景差分処理が行われ、さらに画像上の各特徴点が抽
出されると、３次元計測部６により、各入力画像Ｉ_U，
Ｉ_L間の特徴点の対応づけ処理が行われる（ステップ
２，３）。さらに３次元計測部６により、各入力画像Ｉ
_U，Ｉ_L間で対応づけられた特徴点の組毎に、それら特
徴点の表す空間中の物点の３次元座標が算出される（ス
テップ４）。

【００２５】この３次元座標の算出処理の前提となる空
間座標系は、例えば図５に示すように、下側のカメラ１
ｂの焦点Ｃより地面に下ろした垂線の足を原点Ｏとし、
道路ＲＤの幅方向をＸ軸，高さ方向をＹ軸，長さ方向を
Ｚ軸とするものである。なお図中、Ｂは各カメラ１ａ，
１ｂ間の基線長を、Ｆは焦点距離を、Ｈは下側のカメラ
１ｂの設置高さ（点Ｃ，Ｏ間の距離に相当する）を、θ
はカメラ１ａ，１ｂの俯角を、それぞれ示す。

【００２６】各カメラ１ａ，１ｂは光軸を平行かつ各撮
像面Ｇ_U，Ｇ_Lを同一平面上に位置させた状態で縦並び
に配置されているから、空間中の所定の物点Ｐにかかる
各入力画像Ｉ_U，Ｉ_Lの結像位置は、上下方向にのみず
れることになる。よって各入力画像Ｉ_U，Ｉ_L上におけ
る前記物点Ｐの像点Ｐ_U，Ｐ_Lの座標を（ｘ，ｙ_U）
（ｘ，ｙ_L）とおくと、前記物点Ｐの３次元座標（Ｘ，
Ｙ，Ｚ）は、つぎの（１）〜（３）式により算出され
る。

【００２７】

【数１】

【００２８】

【数２】

【００２９】

【数３】

【００３０】このようにして各入力画像Ｉ_U，Ｉ_L間で
対応する特徴点の組毎に３次元座標が算出されると、投
影処理部７は、これら３次元座標を、道路ＲＤの長さ方
向に沿う仮想垂直平面（ＹＺ平面）上に投影処理する
（ステップ５）。図６は、前記図２に示した各入力画像
Ｉ_U，Ｉ_Lに対する３次元計測結果をＹＺ平面に投影し
た例を示すもので、各特徴点の示す物点のＹ，Ｚ座標に
より特定される点をＹＺ平面上にプロットすることによ
り、道路ＲＤ上の各車輌の側面形状を示す投影像が生成
されている。

【００３１】大型車輌認識部８は、トラックやバスなど
の大型車輌について、車輌側面の輪郭形状を示す２次元
モデルを記憶するメモリを具備しており、前記投影処理
が完了すると、メモリよりこの２次元モデルが順次読み
出され、前記投影像に対するマッチング処理が実施され
る（ステップ６）。

【００３２】図７，８は、前記図６に示した投影結果に
対するマッチング処理の一例を示す。図７は、大型車輌
の２次元モデルＭ_AをＹＺ平面上に初期設定した例を示
すもので、モデルＭ_Aは、先頭位置をＹ軸に重ね合わせ
た状態に位置決めされている。この後、モデルＭ_AはＺ
軸に沿って順次走査され、各走査位置毎に、その時点で
モデルＭ_Aの近傍に位置する投影点とモデルＭ_Aとの距
離が算出され、さらに各距離の平均値により、これら投
影点による投影像とモデルＭ_Aとの相違度が求められ
る。

【００３３】各走査位置毎の相違度は所定のしきい値と
比較され、相違度がしきい値を下回り、かつ極小値をと
る時点での走査位置が、前記モデルＭ_Aに相当する大型
車輌の先頭位置として認識される。

【００３４】図８は、前記図７のＺ_Aの位置に前記モデ
ルＭ_Aが設定された状態を、一部の投影像を拡大して示
す。この走査位置において、モデルＭ_Aに対しほぼ重な
った状態で位置する多数の投影点が存在するので、この
走査位置における相違度は、前後の走査位置よりも小さ
くなり、かつ０に近似する値をとるようになる。よって
この走査位置のＺ座標Ｚ_Aが前記モデルに相当する車輌
の先頭位置として認識され、このときのマッチング処理
対象の各投影点は、大型車輌の構成点の投影点として認
識される。

【００３５】大型車輌認識部８の処理が終了すると、つ
ぎに一般車輌認識部９の処理へと移行するが、前記ステ
ップ６で大型車輌として認識された投影点がある場合
は、これらの投影点は、一般車輌用のマッチング処理の
対象からは除去される（ステップ７〜９）。

【００３６】図９は、前記図６に示した投影結果に対
し、一般車輌用のモデルＭ_Bを用いたマッチング処理を
行う例であって、モデルＭ_Bは、前記モデルＭと同様、
先頭位置をＹ軸上に重ねた状態で初期設定される。さら
にこのモデルＭ_Bは、順次Ｚ軸に沿って走査され、各走
査位置で前記と同様に相違度が算出され、各一般車輌を
示す投影点群が認識される。なお図中、点線の領域１５
内の各投影点は、前記大型車輌用のマッチング処理時に
大型車輌の投影点として認識された点であって、モデル
Ｍ_Bとのマッチング処理の対象からは除去されている。

【００３７】このようにして大型車輌，一般車輌それぞ
れのマッチング処理が完了すると、各マッチング処理時
に認識された車輌の先頭位置の座標データや認識された
車種を示すデータが出力部１０より出力され、一連の処
理を終了する（ステップ１０）。

【００３８】大型車輌は、一般の乗用車と比較して、画
像上により多くの特徴点が出現するので、各カメラ１
ａ，１ｂの視野に大型車輌が含まれる場合、ＹＺ平面へ
の投影像中には、この大型車輌を示す多数の投影点が出
現することになる。上記の制御装置２では、投影像に対
し、大型車輌用のモデルＭ_Aによるマッチング処理を先
に実施した後、大型車輌として認識された投影点群を一
般車輌用のマッチング処理の対象から除外するので、一
般車輌用のモデルＭ_Bによるマッチング処理時には、マ
ッチング処理の対象となる特徴点が大幅に間引かれて、
処理を高速化することができる。

【００３９】また３次元座標の投影像に一般車輌のモデ
ルを先に走査すると、大型車輌にかかる投影点群の一部
が一般車輌用のモデルに対応するものとして誤抽出さ
れ、車輌の認識結果を誤る虞があるが、このように大型
車輌用のマッチングを優先的に行えば、マッチング処理
を誤る可能性が低くなり、車輌の認識精度を向上させる
ことができる。

【００４０】なお実際の処理においては、大型車輌，一
般車輌のそれぞれについて、複数種のモデルによるマッ
チング処理を順次行なうのが望ましいが、この場合、形
状が複雑な車輌など、画像上に出現する特徴点がより多
くなる車輌のモデルから順にマッチング処理が実施され
る。そして前記図８に示したように、所定の走査位置に
おいて、しきい値を下回る極小の相違度が得られた場合
には、その時点のマッチング処理対象の各投影点は、走
査されたモデルに相当する車輌の構成点の投影点として
認識され、以後のマッチング処理の対象から除去される
ことになる。

【００４１】図１０〜１２は、前記図４のステップ６に
おける大型車輌のマッチング処理を、さらに効率良く行
うための方法を示す。まず図１０は、一般に、大型車輌
は、フロント部も高くなることに着目したもので、前記
ＹＺ平面をＺ軸に沿ってサーチして、Ｙ座標値が所定の
高さ位置にある投影点Ｑを抽出し、この投影点Ｑにモデ
ルＭ_Aの左上頂点が重なり合うように、モデルＭ_Aを初
期設定する。そして順次モデルＭ_Aを走査しつつ前記相
違度を算出するが、前記投影点Ｑが大型車輌の前面部の
最高位置を示すものであれば、初期設定位置における相
違度が極小値となり、大型車輌を即座に認識することが
できる。

【００４２】なおこの図１０の実施例では、大型車輌の
前面部の投影点Ｑの位置にモデルを初期設定している
が、最も高い位置に投影される荷台部分の投影点Ｓを抽
出し、モデルＭ_Aを、この投影点Ｓより原点Ｏ側へ所定
距離だけ移動した位置に初期設定するようにしてもよ
い。

【００４３】つぎの図１１の例は、画像上の車輌では、
撮像位置に近い側の特徴点が多く現れることに着目した
処理であって、前記ＹＺ平面をＺ軸方向に沿って所定幅
ずつ分割し、各分割領域内に含まれる投影点の数や各投
影点の高さの変動幅を、所定のしきい値と比較する。そ
して投影点の数および高さの変動幅がともにしきい値を
越える領域Ｒが抽出されると、その領域Ｒの位置、もし
くはその位置よりやや原点側に移動した位置に前記モデ
ルＭ_Aを初期設定し、マッチング処理を開始する。

【００４４】なおＺ軸方向における分割幅は、認識対象
となる大型車輌の前面（または後面）の傾斜度合いに基
づき決定されるもので、前面の傾斜角度が異なる複数の
車種を認識する場合には、各車種毎に分割幅を変更し、
またモデルも個々に設定する必要がある。

【００４５】図１２は、前記図１０または図１１の方法
によりモデルＭ_Aを初期設定した後、さらに効率の良い
マッチング処理を実施するようにした例であって、モデ
ルＭ_Aの前方側の輪郭線に対応させる各投影点の中から
所定数の投影点を間引きし（図中、間引きされる各点を
白抜きの点で示す）、残された投影点のみを用いて相違
度を算出する。これにより演算処理にかかる時間はさら
に短縮され、大型車輌を、認識精度を落とさずに効率良
く認識することが可能となる。

【００４６】前記図４に示した一連の認識処理は、各カ
メラ１ａ，１ｂから制御装置２に画像が取り込まれる毎
に行われるもので、さらに制御装置２内では、認識され
た各車輌の位置を時間軸上で対応づけして車輌の通過速
度を計測したり、道路ＲＤ上の所定位置を通過した車輌
の台数を計測するなどの処理が行われる。この計測結果
は、管理センター内のホストコンピュータなどに送信さ
れ、交通情報として編集されて下流位置のドライバーに
提供されたり、信号の制御処理に用いられるなど、種々
の用途に利用される。

【００４７】図１３は、交通情報システムの一例を示す
もので、前記図１，３に示した交通流計測装置２０を複
数地点に設置し、各装置より送信された交通流データを
管理センター３０で取りまとめて編集し、各地点におけ
る交通情報として出力する。この場合、各交通流計測装
置２０とも、上記した処理方法により計測処理が高速
化、高精度化しているので、管理センター３０は、従来
よりも的確な交通流データを、速やかに得ることがで
き、システム全体の処理の速度や精度を、大幅に向上さ
せることができる。

【００４８】なお上記実施例では、車輌を表す物点の３
次元座標を仮想垂直平面上に投影して、２次元モデルに
よるマッチング処理を行っているが、本発明はこれに限
らず、空間座標系において、各物点の３次元計測結果と
車輌の立体モデルとをマッチングさせる３次元認識処理
や、１台のカメラからの画像を取り込んで、この画像上
の特徴点と車輌の２次元モデルとをマッチングさせる２
次元認識処理にも、適用することができる。また認識対
象は車輌に限らず、大きさや形状などの特徴が異なる複
数種の物体を認識する場合であれば、この発明を適用す
ることが可能である。

【００４９】

【発明の効果】この発明は上記の如く、観測領域を撮像
して得られた画像上で抽出された各特徴点、または各特
徴点により表される空間内の物点、もしくはその物点を
所定の観測方向に垂直に位置する仮想平面上に投影した
投影点に対し、画像上に現れる特徴点の多い物体のモデ
ルから順にマッチング処理を実施するとともに、あるモ
デルに対応する点の集合体が抽出されたとき、これらの
点を以後のマッチング処理から除くようにしたので、画
像上に現れる特徴点が少ない物体の認識処理時には、マ
ッチング処理の対象が大幅に間引かれ、認識処理を高速
化することができる。また特徴点の多い物体の認識処理
を優先することにより、認識処理を誤る可能性が低くな
り、認識処理精度を向上することができる。

【００５０】請求項７の発明では、認識処理として観測
領域における物体の数を認識する際に、上記のマッチン
グ処理方法を用いるので、多数の物体が存在する場合に
も、その数を正確に認識することができる。

【００５１】請求項８，９の発明では、複数の撮像手段
により得られた画像により得られた３次元計測処理を仮
想平面上に投影して、各種車輌をこの仮想平面上に投影
した状態を表す２次元モデルによるマッチング処理を実
施する際に、大きな車輌のモデルから順にマッチング処
理を行うようにしたので、一般車輌の認識処理時には、
大型車輌として認識された投影点をマッチング処理の対
象から間引くことができ、認識処理を高速化することが
できる。また画像上に現れる特徴点の数が多い大型車輌
から順に認識処理が行われるので、大型車輌を表す投影
点の一部が一般車輌として誤認識される虞がなくなり、
車輌認識精度を大幅に向上させることができる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる交通流計測装置の
設置例を示す斜視図である。

【図２】各カメラからの入力画像を示す説明図である。

【図３】制御装置の構成を示すブロック図である。

【図４】制御装置の処理手順を示すフローチャートであ
る。

【図５】空間座標系と各カメラとの位置関係を示す説明
図である。

【図６】物点を仮想垂直平面上に投影した結果を示す説
明図である。

【図７】図６の投影結果に対し、大型車輌用のモデルに
よるマッチング処理を実施する状態を示す説明図であ
る。

【図８】大型車輌に相当する投影点が位置する地点での
各投影点とモデルとの関係を示す説明図である。

【図９】図６の投影結果に対し、一般車輌用のモデルに
よるマッチング処理を実施する状態を示す説明図であ
る。

【図１０】大型車輌用のマッチング処理の他の例を示す
説明図である。

【図１１】大型車輌用のマッチング処理の他の例を示す
説明図である。

【図１２】大型車輌用のマッチング処理の他の例を示す
説明図である。

【図１３】図１の交通流計測装置を用いた交通情報シス
テムの一例を示す説明図である。

【符号の説明】

２０交通流計測装置１ａ，１ｂカメラ２制御装置５特徴抽出部６３次元計測部７投影処理部８大型車輌認識部９一般車輌認識部

Claims

【特許請求の範囲】

【請求項１】所定の観測領域を撮像手段により撮像し
て得られた画像を用いて、前記観測領域における物体を
認識する方法において、画像上に現れる特徴点の数が異なる複数種の物体につい
て、それぞれその物体の画像上の特徴が反映された２次
元モデルを用意しておき、前記撮像手段により得られた画像上で前記各モデルに対
応する特徴点群を抽出するためのマッチング処理を、画
像上に現れる特徴点の数が多い物体のモデルから順に実
施するとともに、あるモデルに対応する特徴点群が抽出
されたとき、これらの各特徴点を以後のマッチング処理
の対象から除くことを特徴とする物体認識方法。
【請求項２】所定の観測領域を複数の撮像手段により
撮像し、各撮像手段により得られた画像を用いて前記観
測領域における物体を認識する方法において、画像上に現れる特徴点の数が異なる複数種の物体につい
て、それぞれその物体の立体的な特徴が反映された３次
元モデルを用意しておき、各撮像手段により得られた画像上の特徴点を用いて前記
観測領域における複数個の物点の３次元計測処理を実施
した後、前記３次元計測結果に対し前記各モデルに対応
する物点群を抽出するためのマッチング処理を、画像上
に現れる特徴点の数が多い物体のモデルから順に実施す
るとともに、あるモデルに対応する物点群が抽出された
とき、これらの物点を以後のマッチング処理の対象から
除くことを特徴とする物体認識方法。
【請求項３】所定の観測領域を複数の撮像手段により
撮像し、各撮像手段により得られた画像を用いて前記観
測領域における物体を認識する方法において、画像上に現れる特徴点の数が異なる複数種の物体につい
て、それぞれその物体を所定の観測方向から観測した状
態を表す２次元モデルを用意しておき、各撮像手段により得られた画像上の特徴点を用いて前記
観測領域における複数個の物点の３次元計測処理を実施
した後、計測された各物点を、前記観測方向に対向させ
て垂直に位置する仮想平面上に投影し、前記仮想平面への投影結果に対し前記各モデルに対応す
る投影点群を抽出するためのマッチング処理を、画像上
に現れる特徴点の数が多い物体のモデルから順に実施す
るとともに、あるモデルに対応する投影点群が抽出され
たとき、これらの投影点を以後のマッチング処理の対象
から除くことを特徴とする物体認識方法。
【請求項４】所定の観測領域を撮像手段により撮像し
て得られた画像を入力して、この観測領域における物体
を認識する装置であって、画像上に現れる特徴点の数が異なる複数種の物体につい
て、それぞれその物体の画像上の特徴が反映された２次
元モデルを記憶する記憶手段と、前記記憶手段より画像上に現れる特徴点の数が多い物体
のモデルから順に読み出して、前記撮像手段より入力さ
れた画像上で各モデルに対応する特徴点群を抽出するた
めのマッチング処理を、前記モデルの読出し順に実施す
るマッチング手段と、前記マッチング手段による特徴点群の抽出結果を用いて
前記観測領域における物体を認識する認識手段とを具備
し、前記マッチング手段は、所定のモデルに対応する特徴点
群が抽出されたとき、これらの特徴点を、以後のマッチ
ング処理の対象から除くように構成されて成る物体認識
装置。
【請求項５】所定の観測領域を複数個の撮像手段によ
り撮像して得られた画像を入力して、この観測領域にお
ける物体を認識する装置であって、画像上に現れる特徴点の数が異なる複数種の物体につい
て、それぞれその物体の立体的な特徴が反映された３次
元モデルを記憶する記憶手段と、入力された各画像上の特徴点を用いて前記観測領域にお
ける物点の３次元計測処理を実施する３次元計測手段
と、前記記憶手段より画像上に現れる特徴点の数が多い物体
のモデルから順に読み出して、前記３次元計測結果に対
し各モデルに対応する物点群を抽出するためのマッチン
グ処理を、前記モデルの読出し順に実施するマッチング
手段と、前記マッチング手段による物点群の抽出結果を用いて前
記観測領域における物体を認識する認識手段とを具備
し、前記マッチング手段は、所定のモデルに対応する物点群
が抽出されたとき、これらの物点を以後のマッチング処
理の対象から除くように構成されて成る物体認識装置。
【請求項６】所定の観測領域を複数個の撮像手段によ
り撮像して得られた画像を入力して、この観測領域にお
ける物体を認識する装置であって、画像上に現れる特徴点の数が異なる複数種の物体につい
て、それぞれその物体を所定の観測方向から観測した状
態を表す２次元モデルを記憶する記憶手段と、入力された各画像を用いて前記観測領域における物点の
３次元計測処理を実施する３次元計測手段と、前記３次元計測手段により計測された各物点を、前記観
測方向に対向させて垂直に位置する仮想平面上に投影す
る投影手段と、前記記憶手段より画像上に現れる特徴点の数が多い物体
のモデルから順に読み出して、前記仮想平面上への投影
結果に対し各モデルに対応する投影点群を抽出するため
のマッチング処理を、前記モデルの読出し順に実施する
マッチング手段と、前記マッチング手段による投影点群の抽出結果を用いて
前記観測領域における物体を認識する認識手段とを具備
し、前記マッチング手段は、所定のモデルに対応する投影点
群が抽出されたとき、これらの投影点を以後のマッチン
グ処理の対象から除くように構成されて成る物体認識装
置。
【請求項７】前記認識手段は、観測領域における物体
の数を認識する請求項４〜６のいずれかに記載された物
体認識装置。
【請求項８】所定の観測領域を複数の撮像手段により
撮像し、各撮像手段により得られた画像を用いて前記観
測領域における車輌を認識する方法において、大きさの異なる複数種の車輌について、それぞれその車
輌を所定の観測方向から観測した状態を表す２次元モデ
ルを用意しておき、各撮像手段により得られた画像上の特徴点を用いて前記
観測領域における複数個の物点の３次元計測処理を実施
した後、計測された各物点を、前記観測方向に対向させ
て垂直に位置する仮想平面上に投影し、前記仮想平面への投影結果に対し各モデルに対応する投
影点群を抽出するためのマッチング処理を、より大きな
車輌のモデルから順に実施するとともに、ある車輌に対
応する投影点群が抽出されたとき、これらの投影点を以
後のマッチング処理の対象から除くことを特徴とする車
輌認識方法。
【請求項９】車輌の観測領域を複数個の撮像手段によ
り撮像して得られた画像を入力して、前記観測領域にお
ける車輌を認識する装置であって、大きさの異なる複数種の車輌について、それぞれその車
輌を所定の観測方向から観測した状態を表す２次元モデ
ルを記憶する記憶手段と、前記各撮像手段より入力された各画像を用いて前記観測
領域における物点の３次元計測処理を実施する３次元計
測手段と、前記３次元計測手段により計測された各物点を、前記観
測方向に対向させて垂直に位置する仮想平面上に投影す
る投影手段と、前記記憶手段に記憶された各モデルを、より大きな車輌
のモデルから順に読み出して、前記仮想平面上への投影
結果に対し各モデルに対応する投影点群を抽出するため
のマッチング処理を、前記モデルの読出し順に実施する
マッチング手段と、前記マッチング手段による投影点群の抽出結果を用いて
前記観測領域における車輌を認識する認識手段とを具備
し、前記マッチング手段は、所定のモデルに対応する投影点
群が抽出されたとき、これらの投影点を以後のマッチン
グ処理の対象から除くように構成されて成る車輌認識装
置。