JPH10232936A - 物体認識方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 対象物の位置，個数，種別などを正確に把握
する。 【解決手段】 ２台のカメラにより道路上の所定の観測
位置を撮像し、それぞれの入力画像について、特徴抽出
部８により、画像上のエッジ構成点の抽出とこれらエッ
ジ構成点の画像間での対応づけを行った後、３次元計測
部９により、この対応づけ結果を用いて各エッジ構成点
に対応する３次元座標を算出する。第１、第２の各投影
処理部１０，１１は、算出された各３次元座標点を、そ
れぞれ異なる方向に沿う仮想平面上に投影する。第１，
第２の各マッチング処理部１２，１３は、前段の投影処
理部により得られた投影結果について、各種車輌の２次
元モデルとのマッチング処理を実行し、その結果を統合
認識部１４に出力する。統合処理部１４は、最終的に観
測位置における車輌の位置や車種の認識が行われる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、所定の観測位置を撮
像して得られた画像により、観測位置における対象物を
認識するための装置に関する。

【０００２】

【従来の技術】近年、道路や駐車場の上方にカメラを設
置して所定位置を撮像し、得られた画像から車輌の特徴
を示す画像部分を抽出して、車輌の移動台数、移動速
度、車種などを認識する装置が開発されている。上記装
置には、車輌の特徴を抽出するために、あらかじめ観測
位置に対象物が存在しない状態下での画像がメモリ内に
記憶されており、観測時には、前記カメラからの画像と
この背景画像との差分が車輌に関わる画像として抽出さ
れる（電気学会技術報告 第５１２号 第８０〜８１
頁）。また背景画像を記憶する代わりに、１段階前に取
り込んだ画像を記憶しておき、この直前の画像を最新の
画像から差し引くことにより車輌の特徴を抽出する方法
も提案されている。

【０００３】

【発明が解決しようとする課題】入力画像と背景画像と
の差分を用いる場合、昼夜、晴天時、雨天時など種々の
環境に応じた背景画像を記憶する必要があるが、必要な
環境を想定したり、環境の変化に応じた背景画像の更新
を行うことには限界があり、車輌の特徴を高精度で抽出
することは望めない。また上記した各方法の場合、車輌
の影や風で揺れる木の影などの路面上で動く影、あるい
は夜間のライトの反射光や濡れた路面に写った車輌な
ど、車輌以外の動きを車輌として誤検出してしまうとい
う問題がある。

【０００４】さらに従来の各方法の場合、大型車輌が存
在したり、渋滞が生じたりすると、画面上の複数台の車
輌が１台に誤検出される虞がある。また大型車輌の影の
画像が隣の車線にまで及んで後方にある小型車輌と重な
ると、この影や小型車輌を大型車輌と誤検出するなど、
道路上の車輌の台数や車種を正確に判別することは到底
不可能である。

【０００５】この発明は上記問題点に着目してなされた
もので、観測位置における対象物に対し３次元計測を行
った後、この計測結果を、対象物に対して任意の方向に
沿う仮想平面上に投影することにより、対象物の特徴を
とらえた２次元形状に基づき観測位置における対象物の
位置，個数，種別などを正確に把握することを技術課題
とする。

【０００６】またこの発明は、対象物に対する３次元計
測結果を、この対象物に対して異なる方向に沿う２つ以
上の仮想平面上に投影し、各平面に現れた対象物の２次
元形状を用いて合的な認識処理を行うことにより、対象
物をより精度良く認識することを技術課題とする。

【０００７】さらにこの発明は、前記３次元計測結果を
所定の方向に沿う仮想平面上に投影して得られた２次元
形状に基づき、対象物の特徴を認識するのに最適な方向
を決定し、この決定された方向より見た２次元形状を用
いた認識処理を行うことにより、対象物の認識精度をさ
らに向上させることを技術課題とする。

【０００８】

【課題を解決するための手段】請求項１の発明にかかる
物体認識方法は、所定の観測位置における対象物に対し
３次元計測を実行する第１のステップと、対象物に対し
て任意の方向に沿って仮想平面を設定した後、この仮想
平面上に前記３次元計測結果を投影する第２のステップ
と、前記仮想平面への投影結果を、その平面に所定の３
次元モデルを投影して得られる２次元パターンと照合す
る第３のステップと、前記仮想平面における照合結果を
用いて前記対象物を認識する第４のステップとを一連に
実施することを特徴とする。

【０００９】請求項２の発明にかかる物体認識方法は、
前記請求項１と同様の３次元計測を実行する第１のステ
ップと、対象物に対して異なる方向に沿って２つ以上の
仮想平面を設定した後、各仮想平面上にそれぞれ前記３
次元計測結果を投影する第２のステップと、各仮想平面
への投影結果を、それぞれその平面に所定の３次元モデ
ルを投影して得られる２次元パターンと照合する第３の
ステップと、各仮想平面毎の照合結果を統合して前記対
象物を認識する第４のステップとを一連に実施すること
を特徴とする。

【００１０】請求項３の発明にかかる物体認識装置は、
所定の観測位置の対象物に対し３次元計測を実行する計
測手段と、対象物に対して任意の方向に沿う仮想平面上
に前記計測手段による計測結果を投影する投影手段と、
前記仮想平面への投影結果を、その平面に所定の３次元
モデルを投影して得られる２次元パターンと照合する照
合手段と、前記照合手段による照合結果を統合して前記
対象物を認識する認識処理手段とを備えている。

【００１１】請求項４の発明にかかる物体認識装置は、
請求項３と同様の計測手段と、対象物に対して異なる方
向に沿う２つ以上の仮想平面上に、それぞれ前記計測手
段による計測結果を投影する投影手段と、前記各仮想平
面への投影結果を、それぞれその平面に所定の３次元モ
デルを投影して得られる２次元パターンと照合する照合
手段と、前記照合手段による各平面毎の照合結果を統合
して前記対象物を認識する認識処理手段とを備えてい
る。

【００１２】請求項５の発明にかかる物体認識装置は、
前記と同様の計測手段と、対象物に対して所定の方向に
沿う仮想平面上に前記計測手段による３次元計測結果を
投影する第１の投影手段と、前記仮想平面への投影結果
をその平面に所定の３次元モデルを投影して得られる２
次元パターンと照合する第１の照合手段と、前記第１の
照合手段により前記投影結果にモデルの２次元パターン
に対応する特徴が抽出されたとき、前記仮想平面の方向
とは異なる方向に沿う第２の仮想平面上に前記３次元計
測結果を投影する第２の投影手段と、前記第２の仮想平
面への投影結果を、前記３次元モデルをその平面上に投
影して得られる２次元パターンと照合する第２の照合手
段と、前記第１、第２の照合手段による各照合結果を統
合して前記対象物を認識する認識処理手段とを備えてい
る。

【００１３】請求項６の発明にかかる物体認識装置で
は、上記請求項５の構成に加え、前記第２の照合手段
を、前記第１の照合手段により２次元パターンに対応す
る特徴が抽出された位置に基づき照合処理の初期位置を
設定するように構成する。

【００１４】請求項７の発明にかかる物体認識装置で
は、前記請求項５と同様の計測手段、第１の投影手段、
第１の照合手段を備えるほか、第１の照合手段による照
合結果に基づき、前記対象物の特徴を認識するのに最適
な方向を決定する決定手段と、前記決定手段により決定
された方向に基づき第２の仮想平面を設定して、この平
面上に前記３次元計測結果を投影する第２の投影手段
と、前記第２の仮想平面への投影結果を、前記３次元モ
デルをその平面上に投影して得られる２次元パターンと
照合する第２の照合手段と、前記第１、第２の各照合手
段による各照合結果を統合して前記対象物を認識する認
識処理手段とを具備している。

【００１５】請求項８の発明にかかる物体認識装置で
は、前記請求項７の構成に加え、前記決定手段を、前記
第１の照合手段により前記仮想平面への投影結果にモデ
ルの２次元パターンに対応する特徴が抽出されたときに
前記決定処理を実行するように構成する。

【００１６】請求項９の発明にかかる物体認識装置で
は、前記請求項８の構成に加え、さらに前記第２の照合
手段を、前記第１の照合手段によりモデルの２次元パタ
ーンに対応する特徴が抽出された位置に基づき照合処理
の初期位置を設定するように構成している。

【００１７】

【作用】請求項１，３の発明では、対象物の３次元計測
結果を、対象物に対して任意の方向に沿う仮想平面に投
影することにより、この仮想平面にその平面に直交する
方向から見た対象物の２次元形状が表される。さらに各
平面毎に、前記投影結果を所定の３次元モデルをその平
面に投影して得られる２次元パターンと照合することに
より、対象物の位置、個数、種類などを精度良く認識す
ることができる。

【００１８】請求項２，４の発明では、対象物の３次元
計測結果を、対象物に対して異なる方向に沿う２つ以上
の仮想平面に投影することにより、各仮想平面にその平
面に直交する方向から見た対象物の２次元形状が表され
る。さらに各平面毎に、前記投影結果を所定の３次元モ
デルをその平面に投影して得られる２次元パターンと照
合して、各照合結果を統合することにより、対象物をよ
り精度良く認識することができる。

【００１９】請求項５の発明では、対象物の３次元計測
結果を、まず所定の方向に沿う仮想平面上に投影してモ
デルの２次元パターンと照合する。この照合処理によ
り、前記投影結果にモデルの２次元パターンに対応する
特徴が抽出されると、前記平面とは異なる方向に沿う第
２の仮想平面上にも前記３次元計測結果が投影され、先
の照合処理に用いたのと同じ３次元モデルを用いて第２
の照合処理が行われた後、第１、第２の各照合結果が統
合されて対象物の認識が行われる。このようにある平面
上での投影結果にモデルに合致する特徴が含まれている
ときのみ、他の平面への投影処理や照合処理を行うこと
により、処理対象となるデータの容量が削減され、処理
効率が向上する。

【００２０】請求項６の発明では、第１の照合処理によ
りモデルに対応する特徴が抽出された位置に基づき第２
の照合処理の初期位置を設定するので、処理対象となる
データの容量はさらに削減される。

【００２１】請求項７の発明では、請求項５の発明と同
様、対象物の３次元計測結果を所定の方向に沿う仮想平
面上に投影して３次元モデルの２次元パターンとの照合
を行った後、この照合結果に基づき対象物の特徴を認識
するのに最適な方向を決定する。この後、決定された方
向に基づき第２の仮想平面が設定されて、前記と同様、
対象物の３次元計測結果の投影処理、３次元モデルの２
次元パターンとの照合処理が実施され、最終的に各照合
結果が統合されて対象物の認識処理が行われる。これに
より対象物の特徴を最もよく反映した平面形状を用いた
認識処理が実施されることになり、認識精度は大幅に向
上する。

【００２２】請求項８の発明は、前記第１の照合処理に
より平面への投影結果にモデルの２次元パターンに対応
する特徴が抽出されたときに、前記対象物の特徴を認識
するのに最適な方向を決定するので、処理対象となるデ
ータの容量が削減され、処理効率が向上する。

【００２３】請求項７の発明では、請求項６の発明に加
えて、第１の照合処理によりモデルに対応する特徴が抽
出された位置に基づき、第２の照合処理の初期位置を設
定するようにしたので、処理対象となるデータの容量は
さらに削減される。

【００２４】

【実施例】図１は、この発明の一実施例にかかる交通流
計測装置の設置例を示す。この交通流計測装置は、道路
１の真横にＦ字形状の支柱２を配備して、この支柱２に
２台のカメラ３ａ，３ｂと制御処理装置４とを取り付け
て構成されるもので、各カメラ３ａ，３ｂにより道路１
を上方より撮像して得られた画像を制御処理装置４に取
り込んで、道路１の各車道毎の通過車輌の台数や車種の
判別、特定車輌の通過速度の計測、違法駐車中の車輌の
検出などの処理が行われる。

【００２５】前記支柱２は、その横桟部分を道路上に突
出させて配備されている。各カメラ３ａ，３ｂは、焦点
距離を同じくするレンズを有しており、支柱２の各横桟
間に固定配備された垂直棒６に縦並びに取り付けられて
いる。このとき各カメラ３ａ，３ｂは、各光軸が道路の
方向に向けて平行になり、かつ各撮像面が同一平面上に
位置するように、その取り付け位置が調整される。なお
制御処理装置４は、保守，点検などの必要から支柱２の
基部付近に取り付けられる。

【００２６】なおこの実施例では、２台のカメラにより
道路を撮像しているが、これに限らず、３台以上のカメ
ラを用いてもよい。またカメラの配置は縦並びに限らず
横並びにしても良い。またカメラを取り付ける支柱も上
記のＦ字型支柱２に限らず、既存の電信柱や照明柱など
を改良して用いてもよい。

【００２７】図２は、前記制御処理装置４の電気的構成
を示すもので、各カメラ３ａ，３ｂからの画像データを
入力するための画像入力部７ａ，７ｂ，特徴抽出部８，
３次元計測部９，第１，第２の投影処理部１０，１１，
第１，第２のマッチング処理部１２，１３，統合認識部
１４などを構成として含んでいる。

【００２８】各画像入力部７ａ，７ｂは、それぞれ入力
されたアナログ量の画像データをディジタル量に変換す
るためのＡ／Ｄ変換回路や、変換処理後のディジタル量
の画像データを格納するための画像メモリなどから構成
される。なお以下の説明では、第１の画像入力部７ａに
入力されたカメラ３ａの画像を「第１画像」と呼び、第
２の画像入力部７ｂに入力されたカメラ３ｂの画像を
「第２画像」と呼ぶことにする。

【００２９】図３（１）（２）は、それぞれ前記第１画
像、第２画像の具体例であって、それぞれ道路上の車
線，車輌，車輌の影などを含む画像データが生成されて
いる。

【００３０】特徴抽出部８は、前記第１、第２の各入力
画像から車輌などの物体の輪郭を示すエッジ構成点を抽
出した後、これらエッジ構成点を画像間で対応づけす
る。３次元計測部９は、この対応づけ結果に三角測量の
原理を適用して、各エッジ構成点に対応する３次元座標
を算出する。

【００３１】第１、第２の各投影処理部１０，１１は、
この算出された３次元座標を、それぞれ観測位置に対し
て異なる方向に沿う仮想平面上に投影する。その投影結
果は、それぞれ第１、第２のマッチング処理部１２，１
３へと出力され、後記する手順により各種車輌のモデル
の２次元パターンとのマッチング処理が実施される。統
合認識部１４は、各マッチング処理部１２，１３による
処理結果を統合し、車輌の位置、車種などを認識する。
この認識結果はさらに後段の認識結果処理部（図示せ
ず）などに出力され、認識結果の時間的な推移により観
測位置を通過した車輌の台数、速度などが認識される。
なお上記構成における各マッチング処理部１２，１３で
の照合処理は、処理時間を短縮できるように、同一車種
毎に並列して行われる。

【００３２】つぎに図４〜９を用いて、前記図２に示し
た各部における詳細な処理を、順を追って説明する。前
記画像入力部７ａ，７ｂにカメラ３ａ，３ｂからの画像
データが入力されると、特徴抽出部８は、これら画像毎
に図４に示すようなラプラシアンフィルタを走査してゼ
ロクロッシング点を抽出した後、このゼロクロッシング
点の座標を算出してこの座標位置の画素を黒画素、他の
画素を白画素とした２値のエッジ画像を生成する。なお
このエッジ抽出には、ソーベルフィルタなど他のエッジ
抽出フィルタを用いてもよい。

【００３３】図５（１）（２）は、前記図３（１）
（２）に示した第１，第２画像について、それぞれ上記
のエッジ抽出処理を施した結果を示すもので、それぞれ
車輌や車輌の影などの輪郭に相当するエッジ成分が抽出
されている。なお以下の説明では、第１画像より生成さ
れたエッジ画像（図５（１）に示す）を「第１エッジ画
像」と呼び、第２画像より生成されたエッジ画像（図５
（２）に示す）を「第２エッジ画像」と呼ぶことにす
る。

【００３４】図６（１）〜（４）は、前記図５の各エッ
ジ画像に表されたエッジ構成点を対応づけする場合の具
体例を示す。まず特徴抽出部８は、前記第１エッジ画像
Ｅ１（図６（１）に示す）から所定のエッジ構成点ｐを
抽出した後、第２エッジ画像Ｅ２（図６（２）に示す）
に着目し、このエッジ画像Ｅ２内で前記エッジ構成点ｐ
のエピポーララインＬ上に位置するエッジ構成点ｑ₁ ，
ｑ₂ ，ｑ₃ ，ｑ₄ ，ｑ₅ を、エッジ構成点ｐの対応候補
点として抽出する。この場合、カメラ３ａ，３ｂは、前
記したように縦並びかつ光軸を平行にして配備されてい
るので、エピポーララインＬはｙ軸に垂直になり、対応
候補点を容易に抽出することができる。

【００３５】つぎに特徴抽出部８は、第１画像Ｇ１（図
６（３）に示す）上に、前記エッジ構成点ｐと同じ座標
（ｘ，ｙ_u ）上に位置する点Ｐを中心点とする所定の大
きさのウィンドウＷ_u を設定するとともに、第２画像Ｇ
２（図６（４）に示す）上でも、前記対応候補点ｑ₁ 〜
ｑ₅ と同じ座標（ｘ，ｙ₁ ），（ｘ，ｙ₂ ），（ｘ，ｙ
₃ ），（ｘ，ｙ₄ ）_, （ｘ，ｙ₅ ）上にそれぞれ位置す
る点Ｑ₁ 〜Ｑ₅ を抽出し、これら点Ｑ₁ 〜Ｑ₅ を中心と
し、かつ前記ウィンドウＷ_u と同じ大きさを有するウィ
ンドウＷ₁ 〜Ｗ₅ を第２画像Ｇ２上に設定する。

【００３６】各ウィンドウが設定されると、特徴抽出部
８は、第２画像上の各ウィンドウＷ₁ 〜Ｗ₅ についてそ
れぞれつぎの（１）式を実行し、各ウィンドウと第１画
像上のウィンドウＷ_u との相違度Ｃを算出する。なお、
次式において、ｇ_U （ｘ，ｙ）はウィンドウＷ_U 内の所
定の画素の輝度値を、またｇ_L （ｘ，ｙ）はウィンドウ
Ｗ_L （Ｌ＝１〜５）内の所定の画素の輝度値を、それぞ
れ示す。またｉ，ｊはそれぞれ各ウィンドウの大きさに
応じて変動する変数である。

【００３７】

【数１】

【００３８】特徴抽出部８は、各ウィンドウＷ₁ 〜Ｗ₅
について求められたウィンドウＷ_Uとの相違度Ｃを比較
し、相違度が最も小さくなるウィンドウをウィンドウＷ
_U に対応するものとして判別する。そしてそのウィンド
ウの中心点Ｑ_L と同じ座標（ｘ，ｙ_L ）上にある第２エ
ッジ画像上の点ｑ_L を前記第１エッジ画像のエッジ構成
点ｐの対応点として決定する。

【００３９】図７は、前記各ウィンドウＷ₁ 〜Ｗ₅ につ
いてウィンドウＷ_U との相違度を算出した結果を示す。
この図示例では、第２のウィンドウＷ₂ における相違度
が最も小さくなっており、したがって前記エッジ構成点
ｐに対する第２エッジ画像中での対応点はｑ₂であると
みなされる。

【００４０】なお上記の相違度の代わりに、各ウィンド
ウＷ₁ 〜Ｗ₅ ごとにウィンドウＷ_Uとの間の正規化相互
相関演算を行い、最も高い相関値が得られたウィンドウ
をウィンドウＷ_U に対応するものと判別するようにして
も良い。

【００４１】上記の対応付け処理が、両エッジ画像内の
すべてのエッジ構成点について行われると、３次元計測
部９は、各エッジ画像Ｅ１，Ｅ２間の対応するエッジ構
成点ｐ，ｑの座標（ｘ，ｙ_U ）_, （ｘ，ｙ_L ）と各カメ
ラ３ａ，３ｂのパラメータとを用いて、三角測量の原理
をもとに、各エッジ構成点に対応する３次元座標を算出
する。

【００４２】図８は、上記の三角測量の原理を示す。図
中Ｐは、車道上の対象物１５（この場合車輌）上の所定
の特徴点を示すもので、前記第１画像Ｇ１，第２画像Ｇ
２上にはこの特徴点Ｐの物点像Ｐ_u ，Ｐ_L が現れてい
る。なお図中、Ｕはカメラ３ａの焦点を、Ｌはカメラ３
ｂの焦点を、それぞれ示す。

【００４３】上記の対応する物点像Ｐ_U ，Ｐ_L に対応す
る３次元座標は、特徴点Ｐの空間位置に相当する。した
がってこの対象物１５のすべての特徴点について上記の
方法を実行すれば、対象物１５の立体形状を把握するこ
とができる。この原理に基づき、３次元計測処理部９
は、道路近傍の所定位置（例えば支柱２の設置位置）を
原点Ｏとして道路の幅方向をＸ軸，長さ方向をＹ軸，高
さ方向をＺ軸とする３次元座標系を設定して、つぎの
（２）〜（４）式を実行し、各エッジ構成点に対応する
３次元座標（Ｘ，Ｙ，Ｚ）を算出する。

【００４４】

【数２】

【００４５】

【数３】

【００４６】

【数４】

【００４７】ただし上記の各式において、Ｂ，Ｆ，Ｈ，
θは、あらかじめ３次元計測処理部９の内部のメモリに
記憶されたパラメータであって、Ｂは各カメラの基線長
を、Ｆは各カメラのレンズの焦点距離を、Ｈは第２のカ
メラ３ｂの高さデータを、θはカメラの俯角を、それぞ
れ示す。なおこの３次元座標の算出処理は、必ずしも抽
出されたすべてのエッジ構成点について行う必要はな
く、エッジ構成点の抽出結果から選択された所定の代表
点のみの３次元座標を求めてもよい。

【００４８】図９（１）は、前記３次元計測結果の一例
であって、前記した３次元座標系において、算出された
各エッジ構成点の３次元座標を・印によりプロットする
とともに、実際の車輌の立体形状を破線により示してあ
る。

【００４９】図９（２）〜（４）は、それぞれ上記３次
元座標系の原点Ｏを基準とするＹＺ平面，ＸＺ平面，Ｘ
Ｙ平面上に前記各３次元座標点を投影した結果を示すも
ので、いずれの平面にも、それぞれその平面に直交する
方向から見た車輌の２次元形状が現れている。

【００５０】なおこの場合、Ｚ軸は高さ方向に対応する
から、ＹＺ平面，ＸＺ平面における投影により、影など
高さ成分を持たない特徴と車輌の特徴とを分離して、以
下の認識処理を精度良く行うことができる。

【００５１】前記第１、第２の各投影処理部１０，１１
は、算出された各３次元座標点を、それぞれ上記いずれ
かの仮想平面上に投影するためのもので、例えば、第１
投影処理部ではＸＹ平面が、第２投影処理部ではＹＺ平
面が、それぞれ採用されるようにあらかじめ設定されて
いる。これにより観測対象の車輌について、側方，前
方，上方のうちのいずれか２方向から見た２次元形状が
抽出される。

【００５２】第１、第２のマッチング処理部１２，１３
は、それぞれ前記第１、第２の投影処理部１１，１２に
対応するもので、いずれも、複数車種の車輌の特徴を示
す立体モデルについて、対応する投影処理部に設定され
ている仮想平面上にその車種の立体モデルが投影された
ときに表される２次元パターン（以下これを「２次元モ
デル」という）を記憶するメモリを含んでいる。各マッ
チング処理部１２，１３は、記憶された各車種の２次元
モデルを前段の投影処理部で得られた投影結果に順次走
査させ、各走査位置毎に、投影結果と２次元モデルとの
類似度を算出するなどして、投影結果に最も類似する車
種、およびその車種の２次元モデルに最も類似する投影
パターンが得られた位置（以下これを「マッチング位
置」という）を抽出する。

【００５３】統合認識部１４は、各マッチング処理部１
２，１３により得られた抽出結果を統合し、いずれの位
置にいずれの車種の車輌が位置しているかを認識した
後、その認識結果を後段に出力する。

【００５４】図１０は、交通流計測装置の他の構成例を
示す。この交通流計測装置は、レーザー光線を用いて車
輌の３次元形状を示す特徴を抽出するようにしたもの
で、道路の側方に配備された逆Ｌ字型の支柱２´により
カメラ３と制御処理装置４とが支持されるとともに、こ
の支柱２´の手前位置にレーザ光照射装置１６が配備さ
れる。

【００５５】前記レーザ光照射装置１６は、道路１の幅
方向に沿って複数本のレーザースリット光を平行に照射
するためのもので、前記カメラ３には、このレーザース
リット光の波長帯域に適応するフィルタが配備されてい
る。制御装置４は、このカメカメラ３により抽出された
スリット光の照射または反射のパターンから対象物の特
徴を示す３次元座標を計測した後、この計測結果につい
て第１の実施例と同様の投影処理およびマッチング処理
を実施し、道路１上の車輌の車種や位置を認識する。

【００５６】図１１は、前記図１０における制御処理装
置４の電気的構成を示すもので、前記カメラ３からの画
像を入力するための画像入力部７のほか、特徴抽出部
８，３次元計測部９，第１，第２の各投影処理部１０，
１１，第１，第２の各マッチング処理部１２，１３，統
合認識部１４などを構成として含んでいる。

【００５７】前記特徴抽出部８は、前記カメラ３からの
入力画像を２値化するなどしてスリット光の特徴パター
ンを抽出する。３次元計測部９は、この抽出された特徴
パターンの各構成点（または所定の代表点）について、
それぞれ対応する３次元座標を算出する。第１、第２の
各投影処理部１０，１１は、算出された各３次元座標点
について、第１の実施例と同様、それぞれ異なる方向に
沿う仮想平面上への投影処理を実施し、以下第１，第２
の各マッチング処理部１２，１３，統合認識部１４によ
り第１の実施例と同様の処理が実施される。

【００５８】各スリット光の照射方向に車輌が存在しな
い場合、スリット光は、道路の幅方向に沿って平行に直
進するので、前記入力画像からは平行なスリット光の照
射パターンが抽出される。これに対し、スリット光の照
射方向に車輌が存在する場合には、スリット光が車輌表
面で反射することにより、入力画像上には車輌の立体形
状を反映するスリット光の屈折パターンが出現する。よ
って、この屈折パターンの各構成点とあらかじめ車輌が
存在しない状態下で得られた各スリット光の照射パター
ンの各構成点とを対応づけて所定の演算を行うことによ
り、前記屈折パターンの各構成点に対応する３次元座標
が算出される。

【００５９】図１２（１）は、前記３次元計測処理結果
の一例であって、入力画像から抽出されたスリット光の
屈折パターン（図中、実線で示す）の各構成点に対応す
る３次元座標点を、それぞれ前記図９（１）と同様の３
次元座標系にプロットすることにより、スリット光の照
射方向に位置する車輌の立体形状が表わされる。図１２
（２）〜（４）は、それぞれ前記図９（２）〜（４）と
同様の仮想平面上に、図１２（１）の各３次元座標点を
投影した結果を示すもので、いずれの仮想平面にも、そ
れぞれその平面に直交する方向から見た車輌の２次元形
状が現れている。

【００６０】なお道路に向かって照射するレーザー光の
パターンはスリット光に限らず、例えばレーザー光によ
り格子状の照射パターンを生成して道路上の所定領域に
向かって照射し、画像上の各格子点に対応する座標を抽
出して３次元計測を行うようにしてもよい。

【００６１】このように画像処理の手法を用いて道路上
の車輌の特徴を示す３次元座標を計測し、さらにこれら
３次元座標点により表される３次元パターンを所定の方
向から見た平面形状をもって車輌の認識処理を実施する
ことにより、車輌の影など平面的なデータを車輌と誤認
識することなく、精度の高い認識処理が実施できる。し
かも上記した各実施例のように、計測された３次元パタ
ーンを複数方向から見た２次元形状を用いて統合的な認
識処理を行うようにすれば、いずれか一方向から見た２
次元形状により認識を行う場合よりも、より精度よく車
種や車輌の位置を認識することができる。

【００６２】図１３〜１５および図２１〜２１は、前記
図１に示した交通流計測装置の制御処理装置４を、さら
に効率良くかつ高精度の認識処理を行えるように改良し
た例を示すもので、以下各構成例をその認識処理手順と
ともに説明する。なおこれらいずれの実施例の構成も、
主要部の構成や機能は前記図２と同様であり、ここでは
図２と同一の符号を付すことにより説明の重複を避ける
ことにする。

【００６３】図１３に示す制御処理装置４では、前記図
２と同様の構成のほか、第１マッチング処理部１２の後
段に判定部１７が設けられている。この実施例では、３
次元計測部９により得られた計測結果に対し、まず第１
投影処理部１０による投影処理が行われた後、第１マッ
チング処理部１２により、前記投影結果と所定の車種の
２次元モデルとのマッチング処理が実施され、その結果
が判定部１７に出力される。

【００６４】前記判定部１７は、第１マッチング処理部
１２の処理結果に基づき、さらに第２の仮想平面上で同
じ車種とのマッチング処理を実行するか否かを判定する
ためのもので、前記第１のマッチング処理により、投影
結果と２次元モデルとの間で得られた類似度が所定のし
きい値を上回る場合には、第２投影処理部１１および第
２マッチング処理部１３に対し、処理を続行する旨を示
す制御信号を出力するとともに、前記第１のマッチング
処理の結果を統合認識部１４へと出力する。

【００６５】前記判定部１７からの制御信号を受けて、
第２投影処理部１１が前記３次元計測部９による計測結
果を第２の仮想平面上に投影すると、第２マッチング処
理部１３は、この投影結果に対し、前記第１のマッチン
グ処理で用いられたのと同一の車種にかかる２次元モデ
ルを用いてマッチング処理を実行し、その処理結果を統
合認識部１４へと出力する。統合認識部１４は、各マッ
チング処理結果を統合し、前記と同様の認識処理を実行
する。

【００６６】一方、前記第１のマッチング処理により、
前記投影結果の２次元モデルに対する類似度がしきい値
以下であるとの結果が得られた場合には、判定部１７
は、後段の各部に対し、この車種にかかる処理を中止す
ることを示す制御信号を出力する。これにより以下の認
識処理は中止され、引き続き第１マッチング処理部１２
により他の車種の２次元モデルを用いたマッチング処理
が開始される。

【００６７】このように、ある車種の２次元モデルにつ
いて、第１のマッチング処理により投影結果とは類似し
ないという判断がなされたとき、この車種に対する第２
のマッチング処理を中止するようにしたので、処理対象
となるデータの容量が削減され、効率の良い認識処理を
行うことができる。

【００６８】図１４は、前記図１３の構成にさらにマッ
チング情報記憶部１８を付加したものである。このマッ
チング情報記憶部１８は、第１マッチング処理部１２に
おいて、前記投影結果と２次元モデルとの間にしきい値
を上回る類似度が得られたとき、この２次元モデルにか
かる車種とそのマッチング位置とを記憶するためのもの
である。第２マッチング処理部１２は、判定部１７から
の制御信号を受けてこの記憶データを読み出した後、第
２の仮想平面上でこのマッチング位置に対応する位置
に、第１のマッチング処理で用いたのと同じ車種にかか
る２次元モデルを初期設定し、マッチング処理を開始す
る。なおこの場合、まず第１マッチング処理部１２によ
り各種２次元モデルとのマッチング処理を行った後、第
２マッチング処理部１３におけるマッチング処理へと移
行するようにしてもよい。

【００６９】このように、第１のマッチング処理により
得られた車輌の特徴の抽出位置を用いて第２のマッチン
グ処理の初期位置を決定することにより、処理対象とな
るデータ容量を前記図１３の構成よりもさらに減少し、
処理速度の向上を実現することができる。

【００７０】図１５に示す制御処理装置４は、さらに認
識精度の向上をはかったもので、基本の構成に加え、次
平面決定部１９，３次元モデルデータ記憶部２０，第
１、第２のモデル投影処理部２１，２２を構成として含
んでいる。

【００７１】前記３次元モデルデータ記憶部２０は、マ
ッチング処理の対象となる各車種について、具体的な立
体形状を示すモデル（以下これを「３次元モデル」とい
う）を記憶するためのもので、第１モデル投影処理部２
１は、この３次元モデルにより第１のマッチング処理に
用いられる２次元モデルを、第２モデル投影処理部２２
は、この３次元モデルデータにより第２のマッチング処
理に用いられる２次元モデルを、それぞれ生成する。

【００７２】一般に、車輌の特徴や大きさを的確にとら
えるためには、車輌の側面形状を用いた認識処理を行う
のが有効である。したがって前記３次元計測結果をＸＹ
平面など車輌の方向を認識しやすい平面上に投影して第
１のマッチング処理を実施し、その結果から車輌の向き
を仮定した後、この仮定された方向に沿って仮想平面を
設定して第２の投影処理、およびマッチング処理を行う
ようにすれば、信頼性の高い認識処理を行うことができ
る。

【００７３】この実施例は、上記原理に基づく認識処理
を実施するように構成されたもので、第１投影処理部１
０の投影対象として道路面に相当するＸＹ平面を設定し
ている。また第１モデル投影処理部２１には、各車種毎
の２次元モデルとして、前記３次元モデルがそのままの
状態でＸＹ平面上に投影された状態を示す２次元パター
ン（以下これを「基準モデル」という）を生成するほか
に、前記３次元モデルが所定の角度だけ回転した状態に
あるときにＸＹ平面上に現れる投影パターン（以下これ
を「回転モデル」という）を、複数とおり生成する機能
を持たせている。第１マッチング処理部１２は、前記Ｘ
Ｙ平面上への投影結果を基準モデルおよび各回転モデル
と順次照合して、投影結果に最も類似するモデルを特定
する。

【００７４】図１６は、ＸＹ平面上におけるモデルの設
定例を示すもので、車輌がＹ軸の方向に沿って位置する
状態を示す２次元パターンを基準モデルＭ₀ として、こ
の基準モデルＭ₀ がＹ軸に対し、左右方向に所定角度ψ
ずつ回転した状態を示すパターンを回転モデルＭ₁ ，Ｍ
₂ として設定している。

【００７５】図１７〜図１９は、それぞれ前記基準モデ
ルＭ₀ および回転モデルＭ₁ ，Ｍ₂を用いたマッチング
処理を、それぞれその結果とともに示す。なお各図中、
２５は、３次元計測結果のＸＹ平面上への投影パターン
を示すもので、各モデルともＸＹ平面上をＸ軸に沿って
走査され、所定の走査間隔毎にモデルと投影パターンと
の類似度が算出されている。図示例では、投影パターン
２５に対し、３つのモデルのうち回転モデルＭ₁ を走査
したときの走査位置Ｘ_PKの地点での類似度が最も高くな
っている。したがってこの場合には、回転モデルＭ₁ が
投影パターン２５に対応するものとして特定されること
になる。

【００７６】図１５に戻って、この特定された回転モデ
ルにかかる回転角度は次平面決定部１９に、またこの回
転モデルと投影パターンとのマッチング結果は統合認識
部１４に、それぞれ出力される。次平面決定部１９は、
与えられた回転角度に基づき、対象物の特徴を認識する
のに最適な方向に沿う投影平面を決定するためのもの
で、この決定にかかる情報は、第２投影処理部１１およ
び第２モデル投影処理部２１へと出力される。これによ
り第２投影処理部１１は、前記決定情報に基づく仮想平
面を設定して、その平面上に前記３次元計測結果を投影
する。他方、第２モデル投影処理部２１は、前記第１モ
デル投影処理部２１で回転モデルの生成に用いられた３
次元モデルが前記決定された平面上に投影された状態
（この場合は回転しない状態で投影される）を示す２次
元モデルを生成する。この後、第２マッチング処理部１
３により、上記投影結果と２次元モデルとのマッチング
処理が実施され、その結果が統合認識部１４へと出力さ
れる。

【００７７】統合認識部１４は、各車種毎に、上記第
１，第２の各マッチング処理結果を統合してゆき、最終
的に３次元計測結果に最も適合する車種を特定するとと
もに、その特定された車種にかかる各マッチング処理結
果に基づき、車輌が道路上のいずれの位置に、どの方向
を向いて位置しているかを認識する。

【００７８】上記の構成によれば、車輌が左折，右折時
などに道路方向に対して傾きをもって位置しても、車輌
の側面形状を正確に反映した投影結果をもって正確なマ
ッチング処理を行って、車輌の位置や方向を認識するこ
とができるので、決められた方向に沿う仮想平面を設定
した場合よりも、はるかに精度の良い認識処理を実施す
ることができる。

【００７９】図２０は、上記図１５の構成に前記図１
３，１４と同様の判定部１７を付加したもので、これに
より第１マッチング処理部１２において、投影結果との
類似度がしきい値以下であった車種については、以下の
処理がカットされる。

【００８０】図２１は、上記図２０の構成にさらに前記
図１４と同様のマッチング情報記憶部１８が付加された
もので、これにより第２のマッチング処理を行う際に
は、第１マッチング処理部１２におけるマッチング位置
に基づいて設定された位置からマッチング処理が開始さ
れる。

【００８１】このように図１５の構成に、判定部１７や
マッチング情報記憶部１８を付加することにより、処理
対象となるデータ容量が削減されて処理速度が向上し、
高精度の認識処理を効率良く実施することができる。な
お上記図１３〜２１に示した各構成は、前記図１０に示
した交通流計測装置にも適用できることは言うまでもな
い。

【００８２】

【発明の効果】請求項１，３の発明では、対象物の３次
元計測結果を、対象物に対して任意の方向に沿う仮想平
面上に投影し、この投影結果を所定の３次元モデルをそ
の平面に投影して得られる２次元パターンと照合して対
象物を認識するようにしたので、所定の方向から見た対
象物の２次元形状を用いて対象物の位置、個数、種類な
どを精度良く認識することができる。

【００８３】請求項２，４の発明では、対象物の３次元
計測結果を、対象物に対して異なる方向に沿う２つ以上
の仮想平面に投影して、各平面毎に、その投影結果を所
定の３次元モデルをその平面に投影して得られる２次元
パターンと照合した後、各照合結果を統合するようにし
たので、対象物を複数方向から見た２次元形状に基づ
き、その位置、個数、種類などをより精度良く認識する
ことができる。

【００８４】請求項５の発明では、対象物の３次元計測
結果を、まず所定の方向に沿う仮想平面上に投影してモ
デルの２次元パターンと照合し、この照合処理により投
影パターンが類似すると判別された３次元モデルについ
てのみ第２の照合処理を行うようにしたから、処理対象
となるデータの容量を削減して処理効率を向上させるこ
とができる。

【００８５】請求項６の発明では、第１の照合処理によ
りモデルに対応する特徴が抽出された位置に基づき第２
の照合処理の初期位置を設定するので、処理対象となる
データの容量がさらに削減される。

【００８６】請求項７の発明では、対象物の３次元計測
結果を所定の方向に沿う仮想平面上に投影して３次元モ
デルの２次元パターンとの照合を行った後、この照合結
果に基づき対象物の特徴を認識するのに最適な方向に第
２の仮想平面を設定して第２の投影、照合処理を実施す
るので、対象物の特徴を最もよく反映した平面形状を用
いた認識処理により、認識精度を大幅に向上させること
ができる。

【００８７】請求項８の発明は、請求項７の発明にくわ
えて、前記第１の照合処理により平面への投影結果にモ
デルの２次元パターンに対応する特徴が抽出されたとき
に、前記対象物の特徴を認識するのに最適な方向を決定
するので、処理対象となるデータの容量を削減して処理
効率を向上させることができる。

【００８８】請求項９の発明では、請求項８の発明に加
えて、さらに第１の照合処理によりモデルに対応する特
徴が抽出された位置に基づき、第２の照合処理の初期位
置を設定するようにしたので、処理対象となるデータの
容量をさらに削減することができる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる交通流計測装置の
設置例を示す説明図である。

【図２】制御処理装置の電気的構成を示すブロック図で
ある。

【図３】各カメラからの入力画像の例を示す説明図であ
る。

【図４】ラプラシアンフィルタを示す説明図である。

【図５】エッジ画像の抽出例を示す説明図である。

【図６】対応づけ処理の方法を示す説明図である。

【図７】対応づけ処理のための相違度演算の結果を例示
する説明図である。

【図８】三角測量の原理を示す説明図である。

【図９】３次元計測結果とこの計測結果を各平面に投影
した結果とを示す説明図である。

【図１０】交通流計測装置の他の設置例を示す説明図で
ある。

【図１１】図１０の制御処理装置の電気的構成を示すブ
ロック図である。

【図１２】３次元計測結果とこの計測結果を各平面に投
影した結果とを示す説明図である。

【図１３】制御処理装置の他の構成例を示すブロック図
である。

【図１４】制御処理装置の他の構成例を示すブロック図
である。

【図１５】制御処理装置の他の構成例を示すブロック図
である。

【図１６】基準モデルおよび回転モデルの設定例を示す
説明図である。

【図１７】図１６の基準モデルＭ₀ を用いたマッチング
処理を示す説明図である。

【図１８】図１６の回転モデルＭ₁ を用いたマッチング
処理を示す説明図である。

【図１９】図１６の回転モデルＭ₂ を用いたマッチング
処理を示す説明図である。

【図２０】制御処理装置の他の構成例を示すブロック図
である。

【図２１】制御処理装置の他の構成例を示すブロック図
である。

【符号の説明】

３ａ，３ｂ，３ カメラ ４ 制御処理装置 １０ 第１投影処理部 １１ 第２投影処理部 １２ 第１マッチング処理部 １３ 第２マッチング処理部 １４ 統合認識部 １６ レーザ光照射装置 １７ 判定部 １８ マッチング情報記憶部 １９ 次平面決定部

Claims (9)

【特許請求の範囲】
1. 【請求項１】 所定の観測位置における対象物を認識す
   るための方法において、 前記観測位置の対象物に対し３次元計測を実行する第１
   のステップと、 対象物に対して任意の方向に沿って仮想平面を設定した
   後、この仮想平面上に前記３次元計測結果を投影する第
   ２のステップと、 前記仮想平面への投影結果を、その平面に所定の３次元
   モデルを投影して得られる２次元パターンと照合する第
   ３のステップと、 前記仮想平面における照合結果を用いて前記対象物を認
   識する第４のステップとを一連に実施することを特徴と
   する物体認識方法。
2. 【請求項２】 所定の観測位置における対象物を認識す
   るための方法において、 前記観測位置の対象物に対し３次元計測を実行する第１
   のステップと、 対象物に対して異なる方向に沿って２つ以上の仮想平面
   を設定した後、各仮想平面上にそれぞれ前記３次元計測
   結果を投影する第２のステップと、 各仮想平面への投影結果を、それぞれその平面に所定の
   ３次元モデルを投影して得られる２次元パターンと照合
   する第３のステップと、 各仮想平面毎の照合結果を統合して前記対象物を認識す
   る第４のステップとを一連に実施することを特徴とする
   物体認識方法。
3. 【請求項３】 所定の観測位置における対象物を認識す
   るための装置において、 前記観測位置の対象物に対し３次元計測を実行する計測
   手段と、 対象物に対して任意の方向に沿う仮想平面上に前記計測
   手段による計測結果を投影する投影手段と、 前記仮想平面への投影結果を、その平面に所定の３次元
   モデルを投影して得られる２次元パターンと照合する照
   合手段と、 前記照合手段による照合結果を統合して前記対象物を認
   識する認識処理手段とを備えて成る物体認識装置。
4. 【請求項４】 所定の観測位置における対象物を認識す
   るための装置において、 前記観測位置の対象物に対し３次元計測を実行する計測
   手段と、 対象物に対して異なる方向に沿う２つ以上の仮想平面上
   に、それぞれ前記計測手段による計測結果を投影する投
   影手段と、 前記各仮想平面への投影結果を、それぞれその平面に所
   定の３次元モデルを投影して得られる２次元パターンと
   照合する照合手段と、 前記照合手段による各仮想平面毎の照合結果を統合して
   前記対象物を認識する認識処理手段とを備えて成る物体
   認識装置。
5. 【請求項５】 所定の観測位置における対象物を認識す
   るための装置において、 前記観測位置の対象物に対し３次元計測を実行する計測
   手段と、 対象物に対して所定の方向に沿う仮想平面上に前記計測
   手段による３次元計測結果を投影する第１の投影手段
   と、 前記仮想平面への投影結果をその平面に所定の３次元モ
   デルを投影して得られる２次元パターンと照合する第１
   の照合手段と、 前記第１の照合手段により前記投影結果にモデルの２次
   元パターンに対応する特徴が抽出されたとき、前記仮想
   平面の方向とは異なる方向に沿う第２の仮想平面上に前
   記３次元計測結果を投影する第２の投影手段と、 前記第２の仮想平面への投影結果を、前記３次元モデル
   をその平面上に投影して得られる２次元パターンと照合
   する第２の照合手段と、 前記第１、第２の照合手段による各照合結果を統合して
   前記対象物を認識する認識処理手段とを備えて成る物体
   認識装置。
6. 【請求項６】 前記第２の照合手段は、前記第１の照合
   手段により２次元パターンに対応する特徴が抽出された
   位置に基づき照合処理の初期位置を設定する請求項５に
   記載された物体認識装置。
7. 【請求項７】 対象物を認識するための装置において、 所定の観測位置における対象物に対し３次元計測を実行
   する計測手段と、前記計測手段による計測結果を、対象
   物に対し所定の方向に沿う仮想平面上に投影する第１の
   投影手段と、 前記仮想平面への投影結果を、その平面に所定の３次元
   モデルを投影して得られる２次元パターンと照合する第
   １の照合手段と、 前記第１の照合手段による照合結果に基づき、前記対象
   物の特徴を認識するのに最適な方向を決定する決定手段
   と、 前記決定手段により決定された方向に基づき第２の仮想
   平面を設定して、この平面上に前記３次元計測結果を投
   影する第２の投影手段と、 前記第２の仮想平面への投影結果を、前記３次元モデル
   をその平面上に投影して得られる２次元パターンと照合
   する第２の照合手段と、 前記第１、第２の各照合手段による各照合結果を統合し
   て前記対象物を認識する認識処理手段とを備えて成る物
   体認識装置。
8. 【請求項８】 前記決定手段は、前記第１の照合手段に
   より前記仮想平面への投影結果にモデルの２次元パター
   ンに対応する特徴が抽出されたときに前記決定処理を実
   行する請求項７に記載された物体認識装置。
9. 【請求項９】 前記決定手段は、前記第１の照合手段に
   より前記仮想平面への投影結果にモデルの２次元パター
   ンに対応する特徴が抽出されたときに前記決定処理を実
   行し、前記第２の照合手段は、前記第１の照合手段によ
   りモデルの２次元パターンに対応する特徴が抽出された
   位置に基づき照合処理の初期位置を設定する請求項７に
   記載された物体認識装置。