JP3475700B2 - 物体認識方法、物体認識装置、および車輌認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、所定の観測位置を撮
像して得られた画像により、観測位置における対象物を
認識するための方法および装置、ならびに道路上の車輌
を認識するための車輌認識装置に関する。

【０００２】

【従来の技術】近年、道路や駐車場の上方にカメラを設
置して所定位置を撮像し、得られた画像から車輌の特徴
を示す画像部分を抽出して、車輌の移動台数、移動速
度、車種などを認識する装置が開発されている。 上記装置には、車輌の特徴を抽出するために、あらかじ
め観測位置に対象物が存在しない状態下での画像がメモ
リ内に記憶されており、観測時には、前記カメラからの
画像とこの背景画像との差分が車輌に関わる画像として
抽出される（電気学会技術報告 第５１２号 第８０〜
８１頁）。 また背景画像を記憶する代わりに、１段階前に取り込ん
だ画像を記憶しておき、この直前の画像を最新の画像か
ら差し引くことにより車輌の特徴を抽出する方法も提案
されている。

【０００３】

【発明が解決しようとする課題】入力画像と背景画像と
の差分を用いる場合、昼夜、晴天時、雨天時など種々の
環境に応じた背景画像を記憶する必要があるが、必要な
環境を想定したり、環境の変化に応じた背景画像の更新
を行うことには限界があり、車輌の特徴を高精度で抽出
することは望めない。また上記した各方法の場合、車輌
の影や風で揺れる木の影などの路面上で動く影、あるい
は夜間のライトの反射光や濡れた路面に写った車輌な
ど、車輌以外の動きを車輌として誤検出してしまうとい
う問題がある。

【０００４】さらに従来の各方法の場合、大型車輌が存
在したり、渋滞が生じたりすると、画面上の複数台の車
輌が１台に誤検出される虞がある。また大型車輌の影の
画像が隣の車線にまで及んで後方にある小型車輌と重な
ると、この影や小型車輌を大型車輌と誤検出するなど、
道路上の車輌の台数や車種を正確に判別することは到底
不可能である。

【０００５】この発明は上記問題点に着目してなされた
もので、観測位置における対象物に対し３次元計測を行
った後、この３次元計測結果を、対象物に対して異なる
方向に沿う２つの仮想平面上に投影し、各平面に現れた
対象物の２次元形状を用いて統合的な認識処理を行うこ
とにより、観測位置における対象物の位置，個数，種別
などを精度良く認識することを技術課題とする。

【０００６】さらにこの発明は、道路上の車輌が道路の
長さ方向に対して傾きをもって位置している場合でも、
その車輌の特徴や大きさを的確にとらえた側面形状の２
次元パターンを用いた認識処理により、車輌認識精度を
向上することを第２の技術課題とする。

【０００７】

【課題を解決するための手段】請求項１の発明にかかる
物体認識方法は、所定の観測位置における対象物に対し
３次元計測を実行する第１のステップと、対象物に対し
て所定の方向に沿う第１の仮想平面を設定した後、この
第１の仮想平面上に前記３次元計測結果を投影する第２
のステップと、前記第１の仮想平面への投影結果を、そ
の平面に所定の３次元モデルを投影して得られる２次元
パターンと照合する第３のステップと、前記第３のステ
ップにおいて前記投影結果にモデルの２次元パターンに
対応する特徴が抽出されたとき、前記第１の仮想平面の
方向とは異なる方向に沿う第２の仮想平面を設定し、こ
の第２の仮想平面上に前記３次元計測結果を投影する第
４のステップと、前記第２の仮想平面への投影結果を、
前記３次元モデルを第２の仮想平面上に投影して得られ
る２次元パターンと照合する第５のステップと、前記第
３および第５のステップにおける各照合結果を統合して
前記対象物を認識する第６のステップとを実行すること
を特徴とする。

【０００８】請求項２の発明にかかる物体観測装置は、
所定の観測位置の対象物に対し３次元計測を実行する計
測手段と、対象物に対して所定の方向に沿う第１の仮想
平面上に前記計測手段による３次元計測結果を投影する
第１の投影手段と、前記第１の仮想平面への投影結果
を、その平面に所定の３次元モデルを投影して得られる
２次元パターンと照合する第１の照合手段と、前記第１
の照合手段により前記投影結果にモデルの２次元パター
ンに対応する特徴が抽出されたとき、前記第１の仮想平
面の方向とは異なる方向に沿う第２の仮想平面上に前記
３次元計測結果を投影する第２の投影手段と、前記第２
の仮想平面への投影結果を、前記３次元モデルを前記第
２の仮想平面上に投影して得られる２次元パターンと照
合する第２の照合手段と、前記第１、第２の照合手段に
よる各照合結果を統合して前記対象物を認識する認識処
理手段とを備えている。

【０００９】請求項３の発明にかかる物体認識装置で
は、前記第２の照合手段を、前記第１の照合手段により
２次元パターンに対応する特徴が抽出された位置に基づ
き照合処理の初期位置を設定するように構成する。

【００１０】請求項４の発明にかかる車輌認識装置は、
複数種の車輌について、その立体形状を示す３次元モデ
ルを記憶するモデルデータ記憶部と、所定の観測位置に
おける車輌に対し３次元計測を実行する計測手段と、前
記計測手段による計測結果を、道路面に沿う第１の仮想
平面上に投影する第１の投影手段と、前記モデルデータ
記憶部から所定の３次元モデルを読み出して、この３次
元モデルを第１の仮想平面に投影して得られる２次元パ
ターンを基準モデルとして設定するとともに、前記３次
元モデルが道路の長さ方向に対して所定の角度だけ回転
した状態にあるときに前記第１の仮想平面上に投影され
るパターンを複数とおり生成して、これらの投影パター
ンを回転モデルとして設定するモデル設定手段と、第１
の仮想平面への投影結果を、前記基準モデルおよび複数
の回転モデルと順に照合する第１の照合手段と、前記第
１の照合手段による照合結果の中から、前記投影結果と
の類似度が最も高いモデルを特定するモデル特定手段
と、前記モデル特定手段により特定されたモデルにかか
る回転角度の示す方向と高さ方向とにより第２の仮想平
面を設定する次平面決定手段と、前記第２の仮想平面上
に前記３次元計測結果を投影する第２の投影手段と、前
記モデル設定手段が処理対象とした３次元モデルを前記
第２の仮想平面に投影して２次元モデルを生成し、この
投影パターンと第２の投影手段による投影結果とを照合
する第２の照合手段と、前記第１、第２の各照合手段に
よる照合結果を統合して前記車輌を認識する認識処理手
段とを備えている。

【００１１】請求項５の発明にかかる車輌認識装置で
は、前記次平面決定手段を、前記第１の照合手段により
前記基準モデルまたは複数の回転モデルのいずれかに対
応する特徴が抽出されたときに、前記第２の仮想平面の
設定処理を実行するように構成する。

【００１２】請求項６の発明にかかる車輌認識装置で
は、前記次平面決定手段を、前記第１の照合手段により
前記基準モデルまたは複数の回転モデルのいずれかに対
応する特徴が抽出されたときに、前記第２の仮想平面の
設定処理を実行するように構成するとともに、前記第２
の照合手段を、前記第１の照合手段により前記いずれか
のモデルに対応する特徴が抽出された位置に基づき照合
処理の初期位置を設定するように構成する。

【００１３】

【作用】請求項１，２の発明では、対象物の３次元計測
結果を、まず所定の方向に沿う第１の仮想平面上に投影
してモデルの２次元パターンと照合する。この照合処理
により、前記投影結果にモデルの２次元パターンに対応
する特徴が抽出されると、前記第１の仮想平面の方向と
は異なる方向に沿う第２の仮想平面上にも前記３次元計
測結果を投影し、第１の仮想平面における照合処理に用
いたのと同じ３次元モデルを用いて第２の照合処理を実
行する。この後、第１、第２の各照合結果が統合されて
対象物の認識が行われる。

【００１４】上記請求項１，２の発明によれば、前記第
１、第２の仮想平面毎に、対象物に対する３次元計測結
果をその平面に投影する処理と、得られた投影結果を所
定の３次元モデルを前記平面に投影して得られる２次元
パターンと照合する処理とを実行し、各照合結果を統合
した認識処理を行うので、対象物の位置、個数，種類な
どを精度良く認識することができる。 また第１の仮想平面上での投影結果にモデルに合致する
特徴が含まれているときのみ、第２の仮想平面への投影
処理や照合処理を行うので、処理対象となるデータの容
量が削減され、処理効率が向上する。

【００１５】請求項３の発明では、第１の仮想平面に対
する照合処理によりモデルに対応する特徴が抽出された
位置に基づき、第２の仮想平面に対する照合処理の初期
位置を設定するので、処理対象となるデータの容量はさ
らに削減される。

【００１６】請求項４の発明では、道路上の車輌に対す
る３次元計測結果を、まず道路面に沿う第１の仮想平面
に投影し、その投影結果を、所定の３次元モデルから生
成された基準モデルおよび複数の回転モデルと順に照合
する。つぎに、この照合処理により前記投影結果との類
似度が最も高いモデルを特定し、そのモデルにかかる回
転角度の示す方向と高さ方向とにより第２の仮想平面を
設定する。そして、この第２の仮想平面に前記３次元計
測結果を投影し、前記モデルの生成時の処理対象となっ
た３次元モデルを第２の仮想平面に投影して得られる２
次元パターンにより前記投影結果を照合する。さらに、
第１，第２の仮想平面における照合結果を統合して前記
車輌を認識する。

【００１７】上記請求項４の発明によれば、認識対象の
車輌が道路の長さ方向に対して傾いていても、この車輌
の側面形状を認識するのに最適な方向に沿って第２の仮
想平面を設定して、精度の良い照合処理を行うことがで
きる。

【００１８】請求項５の発明は、前記第１の仮想平面に
おける照合処理により、基準モデルまたは複数の回転モ
デルのいずれかに対応する特徴が抽出されたときに、前
記第２の仮想平面の設定処理を行うので、処理対象とな
るデータの容量が削減され、処理効率が向上する。

【００１９】請求項６の発明では、請求項５の発明に加
えて、第１の仮想平面における照合処理によりモデルに
対応する特徴が抽出された位置に基づき、第２の仮想平
面における照合処理の初期位置を設定するようにしたの
で、処理対象となるデータの容量はさらに削減される。

【００２０】

【実施例】図１は、この発明の一実施例にかかる交通流
計測装置の設置例を示す。 この交通流計測装置は、道路１の真横にＦ字形状の支柱
２を配備して、この支柱２に２台のカメラ３ａ，３ｂと
制御処理装置４とを取り付けて構成されるもので、各カ
メラ３ａ，３ｂにより道路１を上方より撮像して得られ
た画像を制御処理装置４に取り込んで、道路１の各車道
毎の通過車輌の台数や車種の判別、特定車輌の通過速度
の計測、違法駐車中の車輌の検出などの処理が行われ
る。

【００２１】前記支柱２は、その横桟部分を道路の上方
に突出させて配備されている。各カメラ３ａ，３ｂは、
焦点距離を同じくするレンズを有しており、支柱２の各
横桟間に固定配備された垂直棒６に縦並びに取り付けら
れている。このとき各カメラ３ａ，３ｂは、各光軸が道
路の方向に向けて平行になり、かつ各撮像面が同一平面
上に位置するように、その取り付け位置が調整される。 なお制御処理装置４は、保守，点検などの必要から支柱
２の基部付近に取り付けられる。

【００２２】なおこの実施例では、２台のカメラにより
道路を撮像しているが、これに限らず、３台以上のカメ
ラを用いてもよい。またカメラの配置は縦並びに限らず
横並びにしても良い。またカメラを取り付ける支柱も上
記のＦ字型支柱２に限らず、既存の電信柱や照明柱など
を改良して用いてもよい。

【００２３】図２は、前記制御処理装置４の電気的構成
を示すもので、各カメラ３ａ，３ｂからの画像データを
入力するための画像入力部７ａ，７ｂ，特徴抽出部８，
３次元計測部９，第１，第２の投影処理部１０，１１，
第１，第２のマッチング処理部１２，１３，統合認識部
１４などを構成として含んでいる。

【００２４】各画像入力部７ａ，７ｂは、それぞれ入力
されたアナログ量の画像データをディジタル量に変換す
るためのＡ／Ｄ変換回路や、変換処理後のディジタル量
の画像データを格納するための画像メモリなどから構成
される。 なお以下の説明では、第１の画像入力部７ａに入力され
たカメラ３ａの画像を「第１画像」と呼び、第２の画像
入力部７ｂに入力されたカメラ３ｂの画像を「第２画
像」と呼ぶことにする。

【００２５】図３（１）（２）は、それぞれ前記第１画
像、第２画像の具体例であって、それぞれ道路上の車
線，車輌，車輌の影などを含む画像データが生成されて
いる。

【００２６】特徴抽出部８は、前記第１、第２の各入力
画像から車輌などの物体の輪郭を示すエッジ構成点を抽
出した後、これらエッジ構成点を画像間で対応づけす
る。３次元計測部９は、この対応づけ結果に三角測量の
原理を適用して、各エッジ構成点に対応する３次元座標
を算出する。

【００２７】第１、第２の各投影処理部１０，１１は、
この算出された３次元座標を、それぞれ観測位置に対し
て異なる方向に沿う仮想平面上に投影する。その投影結
果は、それぞれ第１、第２のマッチング処理部１２，１
３へと出力され、後記する手順により各種車輌のモデル
の２次元パターンとのマッチング処理が実施される。統
合認識部１４は、各マッチング処理部１２，１３による
処理結果を統合し、車輌の位置、車種などを認識する。
この認識結果はさらに後段の認識結果処理部（図示せ
ず）などに出力され、認識結果の時間的な推移により観
測位置を通過した車輌の台数、速度などが認識される。
なお上記構成における各マッチング処理部１２，１３で
の照合処理は、処理時間を短縮できるように、同一車種
毎に並列して行われる。

【００２８】つぎに図４〜９を用いて、前記図２に示し
た各部における詳細な処理を、順を追って説明する。前
記画像入力部７ａ，７ｂにカメラ３ａ，３ｂからの画像
データが入力されると、特徴抽出部８は、これら画像毎
に図４に示すようなラプラシアンフィルタを走査してゼ
ロクロッシング点を抽出した後、このゼロクロッシング
点の座標を算出してこの座標位置の画素を黒画素、他の
画素を白画素とした２値のエッジ画像を生成する。なお
このエッジ抽出には、ソーベルフィルタなど他のエッジ
抽出フィルタを用いてもよい。

【００２９】図５（１）（２）は、前記図３（１）
（２）に示した第１，第２画像について、それぞれ上記
のエッジ抽出処理を施した結果を示すもので、それぞれ
車輌や車輌の影などの輪郭に相当するエッジ成分が抽出
されている。なお以下の説明では、第１画像より生成さ
れたエッジ画像（図５（１）に示す）を「第１エッジ画
像」と呼び、第２画像より生成されたエッジ画像（図５
（２）に示す）を「第２エッジ画像」と呼ぶことにす
る。

【００３０】図６（１）〜（４）は、前記図５の各エッ
ジ画像に表されたエッジ構成点を対応づけする場合の具
体例を示す。まず特徴抽出部８は、前記第１エッジ画像
Ｅ１（図６（１）に示す）から所定のエッジ構成点ｐを
抽出した後、第２エッジ画像Ｅ２（図６（２）に示す）
に着目し、このエッジ画像Ｅ２内で前記エッジ構成点ｐ
のエピポーララインＬ上に位置するエッジ構成点ｑ_１，
ｑ_２，ｑ_３，ｑ_４，ｑ_５を、エッジ構成点ｐの対応候補
点として抽出する。この場合、カメラ３ａ，３ｂは、前
記したように縦並びかつ光軸を平行にして配備されてい
るので、エピポーララインＬはｘ軸に垂直になり、対応
候補点を容易に抽出することができる。

【００３１】つぎに特徴抽出部８は、第１画像Ｇ１（図
６（３）に示す）上に、前記エッジ構成点ｐと同じ座標
（ｘ，ｙ_ｕ）上に位置する点Ｐを中心点とする所定の大
きさのウィンドウＷ_ｕを設定するとともに、第２画像Ｇ
２（図６（４）に示す）上でも、前記対応候補点ｑ_１〜
ｑ_５と同じ座標（ｘ，ｙ_１），（ｘ，ｙ_２），（ｘ，ｙ
_３），（ｘ，ｙ_４），（ｘ，ｙ_５）上にそれぞれ位置す
る点Ｑ_１〜Ｑ_５を抽出し、これら点Ｑ_１〜Ｑ_５を中心と
し、かつ前記ウィンドウＷ_ｕと同じ大きさを有するウィ
ンドウＷ_１〜Ｗ_５を第２画像Ｇ２上に設定する。

【００３２】各ウィンドウが設定されると、特徴抽出部
８は、第２画像上の各ウィンドウＷ_１〜Ｗ_５についてそ
れぞれつぎの（１）式を実行し、各ウィンドウと第１画
像上のウィンドウＷ_ｕとの相違度Ｃを算出する。 なお、次式において、ｇ_Ｕ（ｘ，ｙ）はウィンドウＷ_Ｕ
内の所定の画素の輝度値を、またｇ_Ｌ（ｘ，ｙ）はウィ
ンドウＷ_Ｌ（Ｌ＝１〜５）内の所定の画素の輝度値を、
それぞれ示す。またｉ，ｊはそれぞれ各ウィンドウの大
きさに応じて変動する変数である。

【００３３】

【数１】

【００３４】特徴抽出部８は、各ウィンドウＷ_１〜Ｗ_５
について求められたウィンドウＷ_Ｕとの相違度Ｃを比較
し、相違度が最も小さくなるウィンドウをウィンドウＷ
_Ｕに対応するものとして判別する。そしてそのウィンド
ウの中心点Ｑ_Ｌと同じ座標（ｘ，ｙ_Ｌ）上にある第２エ
ッジ画像上の点ｑ_Ｌを前記第１エッジ画像のエッジ構成
点ｐの対応点として決定する。

【００３５】図７は、前記各ウィンドウＷ_１〜Ｗ_５につ
いてウィンドウＷ_Ｕとの相違度を算出した結果を示す。
この図示例では、第２のウィンドウＷ_２における相違度
が最も小さくなっており、したがって前記エッジ構成点
ｐに対する第２エッジ画像中での対応点はｑ_２であると
みなされる。

【００３６】なお上記の相違度の代わりに、各ウィンド
ウＷ_１〜Ｗ_５ごとにウィンドウＷ_Ｕとの間の正規化相互
相関演算を行い、最も高い相関値が得られたウィンドウ
をウィンドウＷ_Ｕに対応するものと判別するようにして
も良い。

【００３７】上記の対応付け処理が、両エッジ画像内の
すべてのエッジ構成点について行われると、３次元計測
部９は、各エッジ画像Ｅ１，Ｅ２間の対応するエッジ構
成点ｐ，ｑの座標（ｘ，ｙ_Ｕ），（ｘ，ｙ_Ｌ）と各カメ
ラ３ａ，３ｂのパラメータとを用いて、三角測量の原理
をもとに、各エッジ構成点に対応する３次元座標を算出
する。

【００３８】図８は、上記の三角測量の原理を示す。図
中Ｐは、車道上の対象物１５（この場合車輌）上の所定
の特徴点を示すもので、前記第１画像Ｇ１，第２画像Ｇ
２上にはこの特徴点Ｐの物点像Ｐ_Ｕ，Ｐ_Ｌが現れてい
る。なお図中、Ｕはカメラ３ａの焦点を、Ｌはカメラ３
ｂの焦点を、それぞれ示す。

【００３９】上記の対応する物点像Ｐ_Ｕ，Ｐ_Ｌに対応す
る３次元座標は、特徴点Ｐの空間位置に相当する。した
がってこの対象物１５のすべての特徴点について上記の
方法を実行すれば、対象物１５の立体形状を把握するこ
とができる。この原理に基づき、３次元計測処理部９
は、道路近傍の所定位置（例えば支柱２の設置位置）を
原点Ｏとして道路の幅方向をＸ軸，長さ方向をＹ軸，高
さ方向をＺ軸とする３次元座標系を設定して、つぎの
（２）〜（４）式を実行し、各エッジ構成点に対応する
３次元座標（Ｘ，Ｙ，Ｚ）を算出する。

【００４０】

【数２】

【００４１】

【数３】

【００４２】

【数４】

【００４３】ただし上記の各式において、Ｂ，Ｆ，Ｈ，
θは、あらかじめ３次元計測処理部９の内部のメモリに
記憶されたパラメータであって、Ｂは各カメラの基線長
を、Ｆは各カメラのレンズの焦点距離を、Ｈは第２のカ
メラ３ｂの高さデータを、θはカメラの俯角を、それぞ
れ示す。なおこの３次元座標の算出処理は、必ずしも抽
出されたすべてのエッジ構成点について行う必要はな
く、エッジ構成点の抽出結果から選択された所定の代表
点のみの３次元座標を求めてもよい。

【００４４】図９（１）は、前記３次元計測結果の一例
であって、前記した３次元座標系において、算出された
各エッジ構成点の３次元座標を・印によりプロットする
とともに、実際の車輌の立体形状を破線により示してあ
る。

【００４５】図９（２）〜（４）は、それぞれ上記３次
元座標系の原点Ｏを基準とするＹＺ平面，ＸＺ平面，Ｘ
Ｙ平面上に前記各３次元座標点を投影した結果を示すも
ので、いずれの平面にも、それぞれその平面に直交する
方向から見た車輌の２次元形状が現れている。

【００４６】なおこの場合、Ｚ軸は高さ方向に対応する
から、ＹＺ平面，ＸＺ平面における投影により、影など
高さ成分を持たない特徴と車輌の特徴とを分離して、以
下の認識処理を精度良く行うことができる。

【００４７】前記第１、第２の各投影処理部１０，１１
は、算出された各３次元座標点を、それぞれ上記いずれ
かの仮想平面上に投影するためのもので、例えば、第１
投影処理部ではＸＹ平面が、第２投影処理部ではＹＺ平
面が、それぞれ採用されるようにあらかじめ設定されて
いる。これにより観測対象の車輌について、側方，前
方，上方のうちのいずれか２方向から見た２次元形状が
抽出される。

【００４８】第１、第２のマッチング処理部１２，１３
は、それぞれ前記第１、第２の投影処理部１１，１２に
対応するもので、いずれも、複数車種の車輌の特徴を示
す立体モデルについて、対応する投影処理部に設定され
ている仮想平面上にその車種の立体モデルが投影された
ときに表される２次元パターン（以下これを「２次元モ
デル」という）を記憶するメモリを含んでいる。各マッ
チング処理部１２，１３は、記憶された各車種の２次元
モデルを前段の投影処理部で得られた投影結果に順次走
査させ、各走査位置毎に、投影結果と２次元モデルとの
類似度を算出するなどして、投影結果に最も類似する車
種、およびその車種の２次元モデルに最も類似する投影
パターンが得られた位置（以下これを「マッチング位
置」という）を抽出する。

【００４９】統合認識部１４は、各マッチング処理部１
２，１３により得られた抽出結果を統合し、いずれの位
置にいずれの車種の車輌が位置しているかを認識した
後、その認識結果を後段に出力する。

【００５０】図１０は、交通流計測装置の他の構成例を
示す。この交通流計測装置は、レーザー光線を用いて車
輌の３次元形状を示す特徴を抽出するようにしたもの
で、道路の側方に配備された逆Ｌ字型の支柱２´により
カメラ３と制御処理装置４とが支持されるとともに、こ
の支柱２´の手前位置にレーザ光照射装置１６が配備さ
れる。

【００５１】前記レーザ光照射装置１６は、道路１の幅
方向に沿って複数本のレーザースリット光を平行に照射
するためのもので、前記カメラ３には、このレーザース
リット光の波長帯域に適応するフィルタが配備されてい
る。制御装置４は、このカメラ３により抽出されたスリ
ット光の照射または反射のパターンから対象物の特徴を
示す３次元座標を計測した後、この計測結果について第
１の実施例と同様の投影処理およびマッチング処理を実
施し、道路１上の車輌の車種や位置を認識する。

【００５２】図１１は、前記図１０における制御処理装
置４の電気的構成を示すもので、前記カメラ３からの画
像を入力するための画像入力部７のほか、特徴抽出部
８，３次元計測部９，第１，第２の各投影処理部１０，
１１，第１，第２の各マッチング処理部１２，１３，統
合認識部１４などを構成として含んでいる。

【００５３】前記特徴抽出部８は、前記カメラ３からの
入力画像を２値化するなどしてスリット光の特徴パター
ンを抽出する。３次元計測部９は、この抽出された特徴
パターンの各構成点（または所定の代表点）について、
それぞれ対応する３次元座標を算出する。第１、第２の
各投影処理部１０，１１は、算出された各３次元座標点
について、第１の実施例と同様、それぞれ異なる方向に
沿う仮想平面上への投影処理を実施し、以下第１，第２
の各マッチング処理部１２，１３，統合認識部１４によ
り第１の実施例と同様の処理が実施される。

【００５４】各スリット光の照射方向に車輌が存在しな
い場合、スリット光は、道路の幅方向に沿って平行に直
進するので、前記入力画像からは平行なスリット光の照
射パターンが抽出される。これに対し、スリット光の照
射方向に車輌が存在する場合には、スリット光が車輌表
面で反射することにより、入力画像上には車輌の立体形
状を反映するスリット光の屈折パターンが出現する。よ
って、この屈折パターンの各構成点とあらかじめ車輌が
存在しない状態下で得られた各スリット光の照射パター
ンの各構成点とを対応づけて所定の演算を行うことによ
り、前記屈折パターンの各構成点に対応する３次元座標
が算出される。

【００５５】図１２（１）は、前記３次元計測処理結果
の一例であって、入力画像から抽出されたスリット光の
屈折パターン（図中、実線で示す）の各構成点に対応す
る３次元座標点を、それぞれ前記図９（１）と同様の３
次元座標系にプロットすることにより、スリット光の照
射方向に位置する車輌の立体形状が表わされる。図１２
（２）〜（４）は、それぞれ前記図９（２）〜（４）と
同様の仮想平面上に、図１２（１）の各３次元座標点を
投影した結果を示すもので、いずれの仮想平面にも、そ
れぞれその平面に直交する方向から見た車輌の２次元形
状が現れている。

【００５６】なお道路に向かって照射するレーザー光の
パターンはスリット光に限らず、例えばレーザー光によ
り格子状の照射パターンを生成して道路上の所定領域に
向かって照射し、画像上の各格子点に対応する座標を抽
出して３次元計測を行うようにしてもよい。

【００５７】このように画像処理の手法を用いて道路上
の車輌の特徴を示す３次元座標を計測し、さらにこれら
３次元座標点により表される３次元パターンを所定の方
向から見た平面形状をもって車輌の認識処理を実施する
ことにより、車輌の影など平面的なデータを車輌と誤認
識することなく、精度の高い認識処理が実施できる。し
かも上記した各実施例のように、計測された３次元パタ
ーンを複数方向から見た２次元形状を用いて統合的な認
識処理を行うようにすれば、いずれか一方向から見た２
次元形状により認識を行う場合よりも、より精度よく車
種や車輌の位置を認識することができる。

【００５８】図１３〜１５および図２０〜２１は、前記
図１に示した交通流計測装置の制御処理装置４を、さら
に効率良くかつ高精度の認識処理を行えるように改良し
た例を示すもので、以下各構成例をその認識処理手順と
ともに説明する。なおこれらいずれの実施例の構成も、
主要部の構成や機能は前記図２と同様であり、ここでは
図２と同一の符号を付すことにより説明の重複を避ける
ことにする。

【００５９】図１３に示す制御処理装置４では、前記図
２と同様の構成のほか、第１マッチング処理部１２の後
段に判定部１７が設けられている。この実施例では、３
次元計測部９により得られた計測結果に対し、まず第１
投影処理部１０による投影処理が行われた後、第１マッ
チング処理部１２により、前記投影結果と所定の車種の
２次元モデルとのマッチング処理が実施され、その結果
が判定部１７に出力される。

【００６０】前記判定部１７は、第１マッチング処理部
１２の処理結果に基づき、さらに第２の仮想平面上で同
じ車種とのマッチング処理を実行するか否かを判定する
ためのもので、前記第１のマッチング処理により、投影
結果と２次元モデルとの間で得られた類似度が所定のし
きい値を上回る場合には、第２投影処理部１１および第
２マッチング処理部１３に対し、処理を続行する旨を示
す制御信号を出力するとともに、前記第１のマッチング
処理の結果を統合認識部１４へと出力する。

【００６１】前記判定部１７からの制御信号を受けて、
第２投影処理部１１が前記３次元計測部９による計測結
果を第２の仮想平面上に投影すると、第２マッチング処
理部１３は、この投影結果に対し、前記第１のマッチン
グ処理で用いられたのと同一の車種にかかる２次元モデ
ルを用いてマッチング処理を実行し、その処理結果を統
合認識部１４へと出力する。統合認識部１４は、各マッ
チング処理結果を統合し、前記と同様の認識処理を実行
する。

【００６２】一方、前記第１のマッチング処理により、
前記投影結果の２次元モデルに対する類似度がしきい値
以下であるとの結果が得られた場合には、判定部１７
は、後段の各部に対し、この車種にかかる処理を中止す
ることを示す制御信号を出力する。これにより以下の認
識処理は中止され、引き続き第１マッチング処理部１２
により他の車種の２次元モデルを用いたマッチング処理
が開始される。

【００６３】このように、ある車種の２次元モデルにつ
いて、第１のマッチング処理により投影結果とは類似し
ないという判断がなされたとき、この車種に対する第２
のマッチング処理を中止するようにしたので、処理対象
となるデータの容量が削減され、効率の良い認識処理を
行うことができる。

【００６４】図１４は、前記図１３の構成にさらにマッ
チング情報記憶部１８を付加したものである。このマッ
チング情報記憶部１８は、第１マッチング処理部１２に
おいて、前記投影結果と２次元モデルとの間にしきい値
を上回る類似度が得られたとき、この２次元モデルにか
かる車種とそのマッチング位置とを記憶するためのもの
である。第２マッチング処理部１２は、判定部１７から
の制御信号を受けてこの記憶データを読み出した後、第
２の仮想平面上でこのマッチング位置に対応する位置
に、第１のマッチング処理で用いたのと同じ車種にかか
る２次元モデルを初期設定し、マッチング処理を開始す
る。なおこの場合、まず第１マッチング処理部１２によ
り各種２次元モデルとのマッチング処理を行った後、第
２マッチング処理部１３におけるマッチング処理へと移
行するようにしてもよい。

【００６５】このように、第１のマッチング処理により
得られた車輌の特徴の抽出位置を用いて第２のマッチン
グ処理の初期位置を決定することにより、処理対象とな
るデータ容量を前記図１３の構成よりもさらに減少し、
処理速度の向上を実現することができる。

【００６６】図１５に示す制御処理装置４は、さらに認
識精度の向上をはかったもので、基本の構成に加え、次
平面決定部１９，３次元モデルデータ記憶部２０，第
１、第２のモデル投影処理部２１，２２を構成として含
んでいる。

【００６７】前記３次元モデルデータ記憶部２０は、マ
ッチング処理の対象となる各車種について、具体的な立
体形状を示すモデル（以下これを「３次元モデル」とい
う）を記憶するためのもので、第１モデル投影処理部２
１は、この３次元モデルにより第１のマッチング処理に
用いられる２次元モデルを、第２モデル投影処理部２２
は、この３次元モデルデータにより第２のマッチング処
理に用いられる２次元モデルを、それぞれ生成する。

【００６８】一般に、車輌の特徴や大きさを的確にとら
えるためには、車輌の側面形状を用いた認識処理を行う
のが有効である。したがって前記３次元計測結果をＸＹ
平面など車輌の方向を認識しやすい平面上に投影して第
１のマッチング処理を実施し、その結果から車輌の向き
を仮定した後、この仮定された方向に沿って仮想平面を
設定して第２の投影処理、およびマッチング処理を行う
ようにすれば、信頼性の高い認識処理を行うことができ
る。

【００６９】この実施例は、上記原理に基づく認識処理
を実施するように構成されたもので、第１投影処理部１
０の投影対象として道路面に相当するＸＹ平面を設定し
ている。また第１モデル投影処理部２１には、各車種毎
の２次元モデルとして、前記３次元モデルがそのままの
状態でＸＹ平面上に投影された状態を示す２次元パター
ン（以下これを「基準モデル」という）を生成するほか
に、前記３次元モデルが所定の角度だけ回転した状態に
あるときにＸＹ平面上に現れる投影パターン（以下これ
を「回転モデル」という）を、複数とおり生成する機能
を持たせている。第１マッチング処理部１２は、前記Ｘ
Ｙ平面上への投影結果を基準モデルおよび各回転モデル
と順次照合して、投影結果に最も類似するモデルを特定
する。

【００７０】図１６は、ＸＹ平面上におけるモデルの設
定例を示すもので、車輌がＹ軸の方向に沿って位置する
状態を示す２次元パターンを基準モデルＭ_０として、こ
の基準モデルＭ_０がＹ軸に対し、左右方向に所定角度φ
ずつ回転した状態を示すパターンを回転モデルＭ_１，Ｍ
_２として設定している。

【００７１】図１７〜図１９は、それぞれ前記基準モデ
ルＭ_０および回転モデルＭ_１，Ｍ_２を用いたマッチング
処理を、それぞれその結果とともに示す。なお各図中、
２５は、３次元計測結果のＸＹ平面上への投影パターン
を示すもので、各モデルともＸＹ平面上をＸ軸に沿って
走査され、所定の走査間隔毎にモデルと投影パターンと
の類似度が算出されている。図示例では、投影パターン
２５に対し、３つのモデルのうち回転モデルＭ_１を走査
したときの走査位置Ｘ_ＰＫの地点での類似度が最も高く
なっている。したがってこの場合には、回転モデルＭ_１
が投影パターン２５に対応するものとして特定されるこ
とになる。

【００７２】図１５に戻って、この特定された回転モデ
ルにかかる回転角度は次平面決定部１９に、またこの回
転モデルと投影パターンとのマッチング結果は統合認識
部１４に、それぞれ出力される。次平面決定部１９は、
与えられた回転角度に基づき、対象物の特徴を認識する
のに最適な方向に沿う投影平面を決定するためのもの
で、この決定にかかる情報は、第２投影処理部１１およ
び第２モデル投影処理部２１へと出力される。これによ
り第２投影処理部１１は、前記決定情報に基づく仮想平
面を設定して、その平面上に前記３次元計測結果を投影
する。他方、第２モデル投影処理部２１は、前記第１モ
デル投影処理部２１で回転モデルの生成に用いられた３
次元モデルが前記決定された平面上に投影された状態
（この場合は回転しない状態で投影される）を示す２次
元モデルを生成する。この後、第２マッチング処理部１
３により、上記投影結果と２次元モデルとのマッチング
処理が実施され、その結果が統合認識部１４へと出力さ
れる。

【００７３】統合認識部１４は、各車種毎に、上記第
１，第２の各マッチング処理結果を統合してゆき、最終
的に３次元計測結果に最も適合する車種を特定するとと
もに、その特定された車種にかかる各マッチング処理結
果に基づき、車輌が道路上のいずれの位置に、どの方向
を向いて位置しているかを認識する。

【００７４】上記の構成によれば、車輌が左折，右折時
などに道路方向に対して傾きをもって位置しても、車輌
の側面形状を正確に反映した投影結果をもって正確なマ
ッチング処理を行って、車輌の位置や方向を認識するこ
とができるので、決められた方向に沿う仮想平面を設定
した場合よりも、はるかに精度の良い認識処理を実施す
ることができる。

【００７５】図２０は、上記図１５の構成に前記図１
３，１４と同様の判定部１７を付加したもので、これに
より第１マッチング処理部１２において、投影結果との
類似度がしきい値以下であった車種については、以下の
処理がカットされる。

【００７６】図２１は、上記図２０の構成にさらに前記
図１４と同様のマッチング情報記憶部１８が付加された
もので、これにより第２のマッチング処理を行う際に
は、第１マッチング処理部１２におけるマッチング位置
に基づいて設定された位置からマッチング処理が開始さ
れる。

【００７７】このように図１５の構成に、判定部１７や
マッチング情報記憶部１８を付加することにより、処理
対象となるデータ容量が削減されて処理速度が向上し、
高精度の認識処理を効率良く実施することができる。な
お上記図１３〜２１に示した各構成は、前記図１０に示
した交通流計測装置にも適用できることは言うまでもな
い。

【００７８】

【発明の効果】請求項１，２の発明によれば、前記第
１、第２の仮想平面毎に、対象物に対する３次元計測結
果をその平面に投影する処理と、得られた投影結果を所
定の３次元モデルを前記平面に投影して得られる２次元
パターンと照合する処理とを実行し、各照合結果を統合
して対象物を認識するので、対象物を複数方向から見た
２次元形状に基づき、対象物の位置、個数，種類などを
精度良く認識することができる。また第１の仮想平面上
での投影結果にモデルに合致する特徴が含まれていると
きのみ、第２の仮想平面に対する投影処理や照合処理を
行うので、処理対象となるデータの容量が削減され、処
理効率が向上する。

【００７９】請求項３の発明では、第１の仮想平面にお
ける照合処理によりモデルに対応する特徴が抽出された
位置に基づき、第２の仮想平面における照合処理の初期
位置を設定するので、処理対象となるデータの容量をさ
らに削減することができる。

【００８０】請求項４の発明では、道路上の車輌に対す
る３次元計測結果を、まず道路面に沿う第１の仮想平面
に投影し、その投影結果に基づき、前記車輌の側面形状
を認識するのに最適な方向に沿う第２の仮想平面を設定
して、３次元計測結果の投影処理および照合処理を行う
ので、認識対象の車輌が道路方向に対して傾きをもって
位置している場合でも、その車輌の特徴や大きさを的確
にとらえた側面形状の２次元パターンをもって正確な照
合処理を行うことができ、車輌の位置や方向を精度良く
認識することができる。

【００８１】請求項５の発明は、請求項４の発明に加え
て、前記第１の仮想平面における照合処理により、基準
モデルまたは複数の回転モデルのいずれかに対応する特
徴が抽出されたときに、前記第２の仮想平面の設定処理
を行うので、処理対象となるデータの容量を削減して処
理効率を向上させることができる。

【００８２】請求項６の発明では、請求項４の発明に加
えて、第１の仮想平面における照合処理によりモデルに
対応する特徴が抽出された位置に基づき、第２の仮想平
面における照合処理の初期位置を設定するようにしたの
で、処理対象となるデータの容量をさらに削減すること
ができる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる交通流計測装置の
設置例を示す説明図である。

【図２】制御処理装置の電気的構成を示すブロック図で
ある。

【図３】各カメラからの入力画像の例を示す説明図であ
る。

【図４】ラプラシアンフィルタを示す説明図である。

【図５】エッジ画像の抽出例を示す説明図である。

【図６】対応づけ処理の方法を示す説明図である。

【図７】対応づけ処理のための相違度演算の結果を例示
する説明図である。

【図８】三角測量の原理を示す説明図である。

【図９】３次元計測結果とこの計測結果を各平面に投影
した結果とを示す説明図である。

【図１０】交通流計測装置の他の設置例を示す説明図で
ある。

【図１１】図１０の制御処理装置の電気的構成を示すブ
ロック図である。

【図１２】３次元計測結果とこの計測結果を各平面に投
影した結果とを示す説明図である。

【図１３】制御処理装置の他の構成例を示すブロック図
である。

【図１４】制御処理装置の他の構成例を示すブロック図
である。

【図１５】制御処理装置の他の構成例を示すブロック図
である。

【図１６】基準モデルおよび回転モデルの設定例を示す
説明図である。

【図１７】図１６の基準モデルＭ_０を用いたマッチング
処理を示す説明図である。

【図１８】図１６の回転モデルＭ_１を用いたマッチング
処理を示す説明図である。

【図１９】図１６の回転モデルＭ_２を用いたマッチング
処理を示す説明図である。

【図２０】制御処理装置の他の構成例を示すブロック図
である。

【図２１】制御処理装置の他の構成例を示すブロック図
である。

【符号の説明】

３ａ，３ｂ，３ カメラ ４ 制御処理装置 １０ 第１投影処理部 １１ 第２投影処理部 １２ 第１マッチング処理部 １３ 第２マッチング処理部 １４ 統合認識部 １６ レーザ光照射装置 １７ 判定部 １８ マッチング情報記憶部 １９ 次平面決定部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平９−33232（ＪＰ，Ａ) 特開 平９−297849（ＪＰ，Ａ) 大山宏ほか，交通車輛の車種自動判別 法に関する一検討，画像電子学会誌，日 本，画像電子学会，1996年10月25日，第 25巻，第５号，486−494 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 330 G01B 11/00 G08G 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 所定の観測位置における対象物を認識す
   るための方法において、 前記観測位置の対象物に対し３次元計測を実行する第１
   のステップと、 対象物に対して所定の方向に沿う第１の仮想平面を設定
   した後、この第１の仮想平面上に前記３次元計測結果を
   投影する第２のステップと、 前記第１の仮想平面への投影結果を、その平面に所定の
   ３次元モデルを投影して得られる２次元パターンと照合
   する第３のステップと、前記第３のステップにおいて前記投影結果にモデルの２
   次元パターンに対応する特徴が抽出されたとき、前記第
   １の仮想平面の方向とは異なる方向に沿う第２の仮想平
   面を設定し、この第２の仮想平面上に前記３次元計測結
   果を投影する第４のステップと、 前記第２の仮想平面への投影結果を、前記３次元モデル
   を第２の仮想平面上に投影して得られる２次元パターン
   と照合する第５のステップと、 前記第３および第５のステップにおける各照合結果を統
   合して前記対象物を認識する第６のステップとを実行す
   る ことを特徴とする物体認識方法。
2. 【請求項２】 所定の観測位置における対象物を認識す
   るための装置において、 前記観測位置の対象物に対し３次元計測を実行する計測
   手段と、 対象物に対して所定の方向に沿う第１の仮想平面上に前
   記計測手段による３次元計測結果を投影する第１の投影
   手段と、 前記第１の仮想平面への投影結果を、その平面に所定の
   ３次元モデルを投影して得られる２次元パターンと照合
   する第１の照合手段と、 前記第１の照合手段により前記投影結果にモデルの２次
   元パターンに対応する特徴が抽出されたとき、前記第１
   の仮想平面の方向とは異なる方向に沿う第２の仮想平面
   上に前記３次元計測結果を投影する第２の投影手段と、 前記第２の仮想平面への投影結果を、前記３次元モデル
   を前記第２の仮想平面上に投影して得られる２次元パタ
   ーンと照合する第２の照合手段と、 前記第１、第２の照合手段による各照合結果を統合して
   前記対象物を認識する認識処理手段とを備えて成る物体
   認識装置。
3. 【請求項３】 前記第２の照合手段は、前記第１の照合
   手段により２次元パターンに対応する特徴が抽出された
   位置に基づき照合処理の初期位置を設定する請求項２に
   記載された物体認識装置。
4. 【請求項４】 道路上の車輌を認識するための装置にお
   いて、 複数種の車輌について、その立体形状を示す３次元モデ
   ルを記憶するモデルデータ記憶部と、 所定の観測位置における車輌に対し３次元計測を実行す
   る計測手段と、 前記計測手段による計測結果を、道路面に沿う第１の仮
   想平面上に投影する第１の投影手段と、 前記モデルデータ記憶部から所定の３次元モデルを読み
   出して、この３次元モデルを第１の仮想平面に投影して
   得られる２次元パターンを基準モデルとして設定すると
   ともに、前記３次元モデルが道路の長さ方向に対して所
   定の角度だけ回転した状態にあるときに前記第１の仮想
   平面上に投影されるパターンを複数とおり生成して、こ
   れらの投影パターンを回転モデルとして設定するモデル
   設定手段と、 第１の仮想平面への投影結果を、前記基準モデルおよび
   複数の回転モデルと順に照合する第１の照合手段と、 前記第１の照合手段による照合結果の中から、前記投影
   結果との類似度が最も高いモデルを特定するモデル特定
   手段と、 前記モデル特定手段により特定されたモデルにかかる回
   転角度の示す方向と高さ方向とにより第２の仮想平面を
   設定する次平面決定手段と、 前記第２の仮想平面上に前記３次元計測結果を投影する
   第２の投影手段と、 前記モデル設定手段が処理対象とした３次元モデルを前
   記第２の仮想平面に投影して２次元モデルを生成し、こ
   の投影パターンと第２の投影手段による投影結果とを照
   合する第２の照合手段と、 前記第１、第２の各照合手段による照合結果を統合して
   前記車輌を認識する認識処理手段とを備えて成る車輌認
   識装置。
5. 【請求項５】 前記次平面決定手段は、前記第１の照合
   手段により前記基準モデルまたは複数の回転モデルのい
   ずれかに対応する特徴が抽出されたときに、前記第２の
   仮想平面の設定処理を実行する請求項４に記載された車
   輌認識装置。
6. 【請求項６】 前記次平面決定手段は、前記第１の照合
   手段により前記基準モデルまたは複数の回転モデルのい
   ずれかに対応する特徴が抽出されたときに、前記第２の
   仮想平面の設定処理を実行し、前記第２の照合手段は、
   前記第１の照合手段により前記いずれかのモデルに対応
   する特徴が抽出された位置に基づき照合処理の初期位置
   を設定する請求項４に記載された車輌認識装置。