JP3465531B2

JP3465531B2 - 物体認識方法およびその装置

Info

Publication number: JP3465531B2
Application number: JP13762997A
Authority: JP
Inventors: 吉博小野田
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1997-05-12
Filing date: 1997-05-12
Publication date: 2003-11-10
Anticipated expiration: 2017-05-12
Also published as: JPH10312463A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、所定の観測位置を撮
像して得られた画像により、この観測位置における対象
物を認識するための方法および装置に関する。

【０００２】

【従来の技術】近年、道路や駐車場の上方にカメラを設
置して所定位置を撮像し、得られた画像から車輌の特徴
を示す画像部分を抽出して、車輌の移動台数、移動速
度、車種などを認識する装置が開発されている。

【０００３】上記装置には、車輌の特徴を抽出するため
に、あらかじめ観測位置に対象物が存在しない状態下で
の画像がメモリ内に記憶されており、観測時には、前記
カメラからの画像とこの背景画像との差分が車輌に関わ
る画像として抽出される（電気学会技術報告第５１２
号第８０〜８１頁）。

【０００４】また背景画像を記憶する代わりに、１段階
前に取り込んだ画像を記憶しておき、この直前の画像を
最新の画像から差し引くことにより車輌の特徴を抽出す
る方法も提案されている。

【０００５】入力画像と背景画像との差分を用いる場
合、昼夜、晴天時、雨天時など種々の環境に応じた背景
画像を記憶する必要があるが、必要な環境を想定した
り、環境の変化に応じた背景画像の更新を行うことには
限界があり、車輌の特徴を高精度で抽出することは望め
ない。また上記した各方法の場合、車輌の影や風で揺れ
る木の影などの路面上で動く影、あるいは夜間のライト
の反射光や濡れた路面に写った車輌など、車輌以外の動
きを車輌として誤検出してしまうという問題がある。

【０００６】さらに従来の各方法の場合、大型車輌が存
在したり、渋滞が生じたりすると、画面上の複数台の車
輌が１台の車輌として誤検出される虞がある。また大型
車輌の影の画像が隣の車線にまで及んで後方にある小型
車輌と重なると、この影や小型車輌が大型車輌として誤
検出されるなど、道路上の車輌の台数や車種を正確に判
別することは到底不可能である。

【０００７】上記の問題を解決するために、出願人は、
先般、３次元認識およびパターンマッチングの手法によ
り道路上の車輌の車種や移動状態を認識する方法を提案
した（特開平９−３３２３２号）。この認識処理は、複
数台のカメラにより道路上の観測位置を撮像し、各カメ
ラからの画像上で抽出された車輌の特徴点を画像間で対
応づけて３次元計測を実施した後、この３次元計測結果
を道路に沿う仮想平面上に投影し、さらにその投影部分
に対し複数種の２次元モデルを順次走査してマッチング
処理を実施するというもので、仮想平面上に投影された
車輌の側面形状に基づき、周囲環境や影などの影響を受
けることなく、道路上の各車輌を高精度で認識すること
が可能となる。

【０００８】

【発明が解決しようとする課題】ところで車輌のような
移動体は、常に道路の長さ方向に沿って進んでいるとは
限らず、車線変更や右折，左折などにより、道路に対し
て所定角度の傾きをもって位置していることも考えられ
る。しかしながら上記の認識処理では、３次元計測結果
は、常に所定の方向に沿う仮想平面上に投影されるの
で、道路に対して傾きをもって位置する車輌の画像が含
まれていると、その車輌にかかる特徴部分の投影像は車
輌の側面形状を正確に反映しなくなり、誤認識が生じる
という問題がある。

【０００９】この発明は上記問題点に着目してなされた
もので、観測位置において対象物がいずれの方向を向い
ているかを認識した後、画像上の対象物の特徴点をこの
特定結果に応じた仮想平面上に投影して認識処理を実施
することにより、認識精度を大幅に向上することを技術
課題とする。

【００１０】

【課題を解決するための手段】請求項１，２の発明は、
所定の観測位置を複数の撮像手段により撮像して得られ
た画像を用いて、この観測位置における対象物を認識す
る方法に関するもので、請求項１の方法では、前記各撮
像手段により得られた画像上でそれぞれ対象物を示す複
数個の特徴点を抽出する第１のステップと、前記特徴点
の抽出結果に基づき、前記画像上における対象物の向き
を計測するとともに、各特徴点を画像間で対応づけて対
応する特徴点の組毎に３次元座標を算出する第２のステ
ップと、前記画像上の対象物の向きおよび各３次元座標
の算出結果により前記観測位置における対象物の向きを
特定した後、この特定結果に基づき前記観測位置の所定
の方向に仮想平面を設定する第３のステップと、前記各
特徴点の組毎に算出された３次元座標を前記仮想平面上
に投影し、得られた投影像を用いて前記対象物を認識す
る第４のステップとが一連に実施される。

【００１１】請求項２の方法では、請求項１と同様の第
１のステップとが実施された後、前記抽出された各特徴
点を画像間で対応づけて、対応する特徴点の組毎に３次
元座標を算出する第２のステップと、前記算出された各
３次元座標を、対象物を支持する平面上に投影して得ら
れる投影像により前記観測位置における対象物の向きを
特定した後、この特定結果に基づき前記観測位置の所定
の方向に仮想平面を設定する第３のステップと、前記各
特徴点の組毎に算出された３次元座標を前記仮想平面上
に投影し、得られた投影像を用いて前記対象物を認識す
る第４のステップとが一連に実施される。

【００１２】請求項３の発明は、請求項１の発明を実施
するための物体認識装置であって、複数の撮像手段から
の画像を取り込んで、それぞれその画像上の対象物を示
す複数個の特徴点を抽出する特徴抽出手段と、前記各特
徴点の抽出結果に基づき、画像上における対象物の向き
を計測する計測手段と、前記各特徴点を画像間で対応づ
けて対応する特徴点の組毎に３次元座標を算出する３次
元座標算出手段と、前記計測手段の計測結果および３次
元座標算出手段による算出結果に基づき前記観測位置に
おける対象物の向きを特定する向き特定手段と、前記向
き特定手段の特定結果に基づき前記観測位置の所定の方
向に仮想平面を設定して、この平面上に前記３次元計測
結果を投影する投影手段と、前記投影手段により得られ
た仮想平面上の投影像を用いて前記対象物を認識する認
識手段とを具備している。

【００１３】請求項４の発明は、請求項２の方法を実施
するための物体認識装置であって、請求項３と同様の特
徴抽出手段、３次元座標算出手段と、前記３次元座標算
出手段による算出結果を対象物の支持面上に投影した
後、その投影結果を用いて前記観測位置における対象物
の向きを特定する向き特定手段と、前記向き特定手段の
特定結果に基づき前記観測位置の所定の方向に仮想平面
を設定して、この平面上に前記３次元座標の算出結果を
投影する投影手段と、前記投影手段により得られた仮想
平面上の投影像を用いて前記対象物を認識する認識手段
とを具備している。

【００１４】

【作用】各撮像手段からの観測位置の画像が取り込まれ
ると、各画像上で、対象物を示す複数個の特徴点が抽出
される。この後、請求項１および３の発明では、これら
特徴点の抽出結果に基づき、画像上における対象物の向
きが計測されると共に、各特徴点が画像間で対応づけら
れて対応する特徴点の組毎に３次元座標が算出され、さ
らにこれらの結果に基づき観測位置における対象物の向
きが特定される。

【００１５】また請求項２および４の発明では、画像間
で対応づけられた特徴点の組毎に３次元座標を算出し
て、その算出結果を対象物の支持面上に投影した後、そ
の投影結果を用いて観測位置における対象物の向きが特
定される。

【００１６】このようにして特定された対象物の向きに
基づき、観測位置に仮想平面を設定し、その平面上に各
３次元座標を投影するので、対象物がいずれの向きを向
いていても、その特徴的な２次元形状を精度良く捉えた
投影像を得ることができ、高精度の認識処理を行うこと
が可能となる。

【００１７】

【実施例】図１は、この発明の一実施例にかかる交通流
計測装置の設置例を示す。この交通流計測装置は、道路
１の近傍にＦ字形状の支柱２を配備して、この支柱２に
２台のカメラ３ａ，３ｂと制御処理装置４とを取り付け
て構成されるもので、各カメラ３ａ，３ｂにより道路を
上方より撮像して得られた画像を制御処理装置４に取り
込んで、道路１の各車道毎の通過車輌の台数や車種の判
別、特定車輌の通過速度の計測、違法駐車中の車輌の検
出などを実施する。

【００１８】前記支柱２は、その横桟を道路上に突出さ
れて配備されている。各カメラ３ａ，３ｂは、焦点距離
を同じくするレンズを有しており、支柱２の各横桟間に
固定配備された垂直棒６により縦並びに取り付けられて
いる。なお各カメラ３ａ，３ｂは、各光軸が道路の方向
に向けて平行になり、かつ各撮像面が同一平面上に位置
するように、その取り付け位置が調整される。一方、制
御処理装置４は、保守，点検などの必要から支柱２の基
部付近に取り付けられる。

【００１９】なおこの実施例では、２台のカメラにより
道路を撮像しているが、これに限らず、３台以上のカメ
ラを用いてもよい。またカメラの配置は縦並びに限らず
横並びにしても良い。またカメラを取り付ける支柱も上
記のＦ字型支柱２に限らず、既存の電信柱や照明柱など
を改良して用いてもよい。

【００２０】図２は、前記制御処理装置４の電気的構成
を示すもので、各カメラ３ａ，３ｂからの画像データを
入力するための画像入力部５ａ，５ｂ，特徴抽出部６，
車輌方向計測部７，３次元計測部８，投影処理部９，マ
ッチング処理部１０，モデルメモリ１１，マッチング結
果記憶部１２，追跡処理部１３などを構成として含んで
いる。

【００２１】各画像入力部５ａ，５ｂは、それぞれ各カ
メラ３ａ，３ｂからのアナログ量の画像データをディジ
タル量に変換するためのＡ／Ｄ変換回路や、変換処理後
のディジタル量の画像データを格納するための画像メモ
リなどから構成される。特徴抽出部６は、各入力画像に
対し、それぞれあらかじめ登録された背景画像による差
分処理を行った後、その差分画像上に所定のエッジ抽出
用フィルタを走査して、車輌などの物体の輪郭を示すエ
ッジ構成点を抽出する。この抽出結果は、各エッジ構成
点を黒画素とする２値のエッジ画像により表され、車輌
方向計測部７や３次元計測部８に与えられる。

【００２２】車輌方向計測部７は、前記各エッジ画像を
用いて後記する方向計測処理を実施し、画像上の各車輌
がいずれの方向を向いているかを抽出する。３次元計測
部８は、抽出された各エッジ構成点をエッジ画像間で対
応づけした後、その対応づけ結果と三角測量の原理とを
用いて各エッジ構成点に対応する３次元座標を算出す
る。

【００２３】前記３次元座標の算出処理が完了すると、
投影処理部９は、この算出結果と前記車輌方向計測部７
による計測結果とを用いて、実際の道路上の車輌の向き
に沿い、かつ道路面に垂直になるような仮想垂直平面を
設定し、前記算出された３次元座標をこの平面上に投影
する。

【００２４】前記モデルメモリ１１には、複数種の車輌
について、それぞれその立体形状を示す３次元モデルが
記憶されている。マッチング処理部１０は、これら３次
元モデルを用いて前記仮想垂直平面における各車種毎の
投影モデルを生成した後、これらモデルと前記３次元座
標の投影パターンとのマッチング処理を実施し、前記投
影パターンが何を示しているのかを判断する。

【００２５】マッチング結果記憶部１２には、前記マッ
チング処理部１０による認識結果として、仮想垂直平面
上の投影パターンに対応すると判断された車種や、仮想
垂直平面上でこの車種の投影モデルに最も類似すると判
断された位置（以下これを「マッチング位置」という）
などが記憶される。これらの記憶データは、つぎの段階
でのマッチング処理時にマッチング処理部１０に与えら
れ、最初に設定されるモデルやそのモデルの走査開始位
置の決定に用いられる。

【００２６】追跡処理部１３は、画像入力毎に得られる
マッチング処理結果を順次入力し、その認識結果の時間
的な推移に基づき観測位置を通過した車輌の台数，速度
などを認識し、外部へと出力する。

【００２７】図３は、上記制御処理装置４による認識処
理の一連の手順を示すもので、以下同図の流れに沿っ
て、図４〜１２を参照しつつ、上記各構成による処理の
詳細を説明する。

【００２８】まずステップ１で、各カメラ３ａ，３ｂか
らの画像が各画像入力部５ａ，５ｂに取り込まれると、
特徴抽出部６は、これら入力画像に対し、前記した背景
差分処理とエッジ抽出処理とを実施し、前記したエッジ
画像を生成する（ステップ２）。

【００２９】図４（１）（２）は、それぞれ各カメラ３
ａ，３ｂからの入力画像の具体例を示すもので、いずれ
の画像にも、撮像位置近傍で走行車線を変更中の車輌の
画像Ｃ_a1，Ｃ_b1と、この車輌の後方を走行中の車輌の画
像Ｃ_a2，Ｃ_b2とが現れている。

【００３０】図５（１）（２）は、前記図４（１）
（２）に示した各入力画像の背景差分処理画像より生成
されたエッジ画像を示すもので、各エッジ画像上にはそ
れぞれ前記車輌の画像Ｃ_a1，Ｃ_a2，Ｃ_b1，Ｃ_b2の輪郭を
示す特徴点が現れている。

【００３１】車輌方向計測部７は、これらエッジ画像の
うちのいずれか一方（ここではカメラ３ａに対応する第
１のエッジ画像とする）について、その画像上に現れた
各車輌がいずれの方向を向いているかを計測するもの
で、まずエッジ画像上の各特徴点にクラスタリング処理
を施して、各特徴点を車輌毎にグループ分けした後、各
グループ毎にその構成要素となる特徴点を包括するよう
な画像領域を設定する（ステップ３）。

【００３２】図６は、前記図５（１）に示したエッジ画
像上の各特徴点について、上記のクラスタリング処理を
行った結果を示すもので、各特徴点は、前記車輌の画像
Ｃ_a1，Ｃ_a2に対応する２つのグループに分類され、各グ
ループ毎にそのグループ内の各特徴点が含まれるような
画像領域Ｒ_a，Ｒ_bが設定されている。

【００３３】このクラスタリング処理が終了すると、車
輌方向計測部７は、各画像領域毎に、所定大きさのマス
クウィンドウを走査して、複数個の特徴点が連続して成
る輪郭線成分を抽出する。さらに車輌方向計測部７は、
抽出された各輪郭線成分の長さや方向を一般的な車輌の
輪郭形状と照合するなどして、車輌の画像がいずれの方
向を向いているかを示すベクトルを設定する（ステップ
４）。

【００３４】図７は、前記図６の画像領域Ｒ_aにおける
ベクトルの設定結果を示すもので、車輌の幅方向に相当
する各輪郭線成分にかかる位置に、車輌の長さ方向に沿
ったベクトルｎが設定されている。なお図中Ａ_n，Ｂ_n
は、車輌の前端および後端にあたる輪郭線成分とベクト
ルｎとの交点であって、後記する道路上への仮想垂直平
面の設定処理時に用いられる。

【００３５】このようにして各入力画像上の車輌の向き
を示すベクトルが設定されると、つぎに３次元計測部８
により、前記エッジ画像間で各特徴点を対応づける処理
が行われる（ステップ５）。

【００３６】図８（１）〜（４）は、前記図５（１）
（２）の各エッジ画像上のエッジ構成点を対応づける場
合の具体例を示す。なお以下の説明では、前記カメラ３
ａ，３ｂからの各入力画像から背景部分を差分処理した
画像（図８（３）（４）のＧ１，Ｇ２）をそれぞれ「第
１画像Ｇ１」「第２画像Ｇ２」と呼び、これら画像から
生成されたエッジ画像（図８（１）（２）のＥ１，Ｅ
２）をそれぞれ「第１エッジ画像Ｅ１」「第２エッジ画
像Ｅ２」と呼ぶものとする。

【００３７】まず３次元計測部８は、第１エッジ画像Ｅ
１から所定のエッジ構成点ｐを抽出した後、第２エッジ
画像Ｅ２に着目し、このエッジ画像Ｅ２内で前記エッジ
構成点ｐのエピポーララインＬ上に位置するエッジ構成
点（図中ｑ₁，ｑ₂，ｑ₃，ｑ₄，ｑ₅）を、エッジ構
成点ｐの対応候補点として抽出する。なおこの場合、カ
メラ３ａ，３ｂは、前記したように縦並びに配備されて
いるので、エピポーララインＬはｙ軸に垂直になり、対
応候補点を容易に抽出することができる。

【００３８】つぎに３次元計測部８は、第１画像Ｇ１上
に前記エッジ構成点ｐと同じ座標（ｘ，ｙ_u）上に位置
する点Ｐを中心点とする所定の大きさのウィンドウＷ_u
を設定するとともに、第２画像Ｇ２上でも、前記対応候
補点ｑ₁〜ｑ₅と同じ座標（ｘ，ｙ₁），（ｘ，
ｙ₂），（ｘ，ｙ₃），（ｘ，ｙ₄）_,（ｘ，ｙ₅）上
にそれぞれ位置する点Ｑ₁〜Ｑ₅を抽出し、これら点Ｑ
₁〜Ｑ₅を中心とし、かつ前記ウィンドウＷ_uと同じ大
きさを有するウィンドウＷ₁〜Ｗ₅を画像Ｇ２上に設定
する。

【００３９】各ウィンドウが設定されると、３次元計測
部８は、第２画像上の各ウィンドウＷ₁〜Ｗ₅について
それぞれつぎの（１）式を実行し、各ウィンドウと第１
画像上のウィンドウＷ_uとの相違度ＤＦを算出する。な
お、次式において、ｇ_U（ｘ，ｙ）はウィンドウＷ_U内
の所定の画素の輝度値を、またｇ_L（ｘ，ｙ）はウィン
ドウＷ_L（Ｌ＝１〜５）内の所定の画素の輝度値を、そ
れぞれ示す。またｉ，ｊはそれぞれ各ウィンドウの大き
さに応じて変動する変数である。

【００４０】

【数１】

【００４１】３次元計測部８は、各ウィンドウＷ₁〜Ｗ
₅について求められたウィンドウＷ_Uとの相違度ＤＦを
比較し、相違度が最も小さくなるウィンドウをウィンド
ウＷ_Uに対応するものとして判別する。そしてそのウィ
ンドウの中心点Ｑ_Lと同じ座標（ｘ，ｙ_L）上にある第
２エッジ画像上の点ｑ_Lを前記第１エッジ画像のエッジ
構成点ｐの対応点として決定する。

【００４２】上記の対応付け処理が、両エッジ画像内の
すべてのエッジ構成点について行われると、３次元計測
部８は、各エッジ画像Ｅ１，Ｅ２間の対応するエッジ構
成点ｐ，ｑの座標（ｘ，ｙ_U）_,（ｘ，ｙ_L）とあらか
じめ内部のメモリに記憶された各カメラ３ａ，３ｂのパ
ラメータとを用いて、三角測量の原理をもとに、各エッ
ジ構成点に対応する３次元座標を算出する（ステップ
６）。

【００４３】図９は、上記の三角測量の原理を示す。図
中Ｃは、車道上の対象物１５（この場合車輌）上の所定
の構成点を示すもので、各カメラ３ａ，３ｂの撮像面Ｉ
_U，Ｉ_L上にはこの点Ｃの物点像ｐ，ｑが現れている。
なお図中、Ｕはカメラ３ａの焦点を、Ｌはカメラ３ｂの
焦点を、それぞれ示す。

【００４４】上記の対応する物点像ｐ，ｑに対応する３
次元座標は、物点Ｃの空間位置に相当する。したがって
この対象物１５のすべての特徴点について上記の方法を
実行すれば、対象物１５の立体形状を把握することがで
きる。この原理に基づき、３次元計測部８は、前記対応
づけられた特徴点の組毎につぎの（２）〜（４）式を実
行し、各特徴点に対応する物点の３次元座標を算出す
る。

【００４５】

【数２】

【００４６】

【数３】

【００４７】

【数４】

【００４８】なおこの算出処理の前提となる空間座標系
は、図１０に示すように、前記支柱２の設置位置を原点
Ｏとして道路の幅方向をＸ軸，高さ方向をＹ軸，長さ方
向をＺ軸として設定されたもので、上記（２）〜（４）
式において、Ｂは各カメラの基線長を、Ｆは各カメラの
レンズの焦点距離を、Ｈは第２のカメラ３ｂの高さデー
タを、θはカメラの俯角を、それぞれ示す。

【００４９】すべての特徴点に対応する３次元座標が算
出されると、投影処理部９は、前記道路上に、前記クラ
スタリング処理により得られたグループ毎に、前記車輌
方向計測部７により設定されたベクトルに沿う仮想垂直
平面を設定し、その平面上にグループ内の各特徴点に対
応する３次元座標を投影する（ステップ７，８）。

【００５０】図１１は、前記図７に示したベクトルｎに
対応する仮想垂直平面を設定する場合の具体例を示す。
図示例は、前記した空間座標系をＸＺ平面の上方より見
た状態であって、Ａ，Ｂは、それぞれ前記図７の交点Ａ
_n，Ｂ_nに対応する物点をＸＺ平面上に投影して得られ
る投影点を示す。

【００５１】ここで点Ａ，Ｂの３次元座標をそれぞれ
（Ｘ_A，０，Ｚ_A），（Ｘ_B，０，Ｚ_B）とおくと、点
Ａ，Ｂを通る直線Ｍはつぎの（５）式により表される。
なお、Ｘ_A，Ｚ_A，Ｘ_B，Ｚ_Bの各座標は、前記交点Ａ
_n，Ｂ_nおよび第２エッジ画像上でこれら交点に対応す
る特徴点の各座標を前記（２）（４）式に代入すること
により算出される。

【００５２】

【数５】

【００５３】前記仮想垂直平面は、この（５）式により
特定される直線Ｍの方向とＹ軸に平行な方向とを２軸と
するもので、この直線Ｍの方向をＨ軸，Ｈ軸とＺ軸との
交点を原点Ｏ´，原点Ｏ´を通りＹ軸に平行な方向をＶ
軸とおくと、空間内の任意の物点Ｃ（Ｘ，Ｙ，Ｚ）をこ
のＨＶ平面上に投影した場合の投影点Ｃ´のＨ座標は、
原点Ｏ´からＣ´までの距離ｍにより表される。

【００５４】ここで原点Ｏ´を通り、Ｘ軸に平行な直線
をｌとおき、この直線ｌに点Ｃ，Ｃ´から下ろした垂線
の足をそれぞれＤ，Ｅとおくと、投影点Ｃ´のＨ座標
（距離ｍ）はつぎの（６）式により表される。ただし前
記角度ψは、Ｈ軸のＺ軸に対する角度であって、前記点
Ａ，Ｂの座標を用いた（７）式により求められる。また
ａ，ｂは、それぞれ（８）（９）式により算出されるも
のである。

【００５５】

【数６】

【００５６】

【数７】

【００５７】

【数８】

【００５８】

【数９】

【００５９】なお前記したように、Ｖ軸はＹ軸に平行に
なるように設定されているるので、投影点Ｃ´のＶ座標
は、点ＣのＹ座標と同値となる。

【００６０】図１２は、前記ＨＶ平面への投影結果の一
例を示す。図中の各×印は、各特徴点の投影点を示すも
ので、これら特徴点の投影像により、道路上の車輌を、
その車輌の向きに直交する方向から見た２次元形状が表
される。

【００６１】このようにして、各車輌毎に仮想垂直平面
の設定と投影処理とが行われると、マッチング処理部１
０は、各仮想垂直平面毎に、モデルメモリ１１より所定
の車種の３次元モデルを読み出して仮想垂直平面におけ
る投影モデルを生成する。ついでマッチング処理部１０
は、この投影モデルにより前記投影パターンを走査しつ
つ、各走査位置毎に投影モデルと投影パターンとの類似
度を算出する。

【００６２】以下各車種の３次元モデルが順次読み出さ
れて同様の処理が実施されることにより、各仮想垂直平
面毎に、その平面上の投影パターンに最も類似すると判
断された投影モデル、およびそのマッチング位置が、道
路上の各車輌の車種およびその位置として判別される
（ステップ１０）。

【００６３】この判別結果は、マッチング結果記憶部１
２に出力され、つぎに取り込まれた画像の処理時まで保
持される。この段階でマッチング処理部１０は、設定さ
れた各仮想垂直平面に対し、それぞれ前段階に設定され
た最も近い仮想垂直平面におけるマッチング結果にかか
る３次元モデルを用いて投影モデルを生成した後、これ
を前段階のマッチング位置に対応する位置に初期設定し
て投影パターンとのマッチング処理を実施する。この結
果、前記投影モデルと投影パターンとの間に所定のしき
い値を越える類似度が得られると、その他のモデルによ
るマッチング処理はスキップされる。

【００６４】前記マッチング処理部１０により判別され
た各車輌の車種とその位置とは、追跡処理部１３に与え
られ、各車輌毎の位置データの変化を示す軌跡データが
作成される。さらに追跡処理部１３は、この軌跡データ
を用いて、観測地点を通過した車輌の数やその速度など
を計測し、その計測結果を図示しない伝送装置を介して
外部に出力する（ステップ１１）。

【００６５】このように取り込まれた画像に対する特徴
抽出結果から各車輌の向きを特定し、その特定された方
向に沿う仮想垂直平面上に各特徴点に対応する３次元座
標を投影するので、車輌がいずれの方向を向いていて
も、その側面形状を精度良く反映した投影データをもっ
て、その車種や位置を正確に認識することができる。ま
た各車輌の投影データに対するマッチング処理時に、前
段階で行われたマッチング処理結果を利用するようにし
ているので、各仮想垂直平面に対するマッチング処理時
間を大幅に削減して効率の良い処理を行うことができ
る。

【００６６】なお上記構成において、車輌方向計測部７
と３次元計測部８との処理を、並列して行うようにすれ
ば、処理を高速化することができる。また前記ステップ
４で各グループ毎に設定された方向ベクトルの角度差が
所定の誤差範囲内であるときには、各グループに共通の
仮想垂直平面を設定するように構成してもよい。

【００６７】図１３は、前記制御処理装置４の他の構成
を示すもので、前記図２と同様の画像入力部５ａ，５
ｂ，特徴抽出部６，３次元計測部８，マッチング処理部
１０，モデルメモリ１１，マッチング結果記憶部１２，
追跡処理部１３のほか、第１，第２の２個の投影処理部
１６，１８，車輌方向計測部１７などを構成として含ん
でいる。

【００６８】前記３次元計測部８は、各カメラ３ａ，３
ｂより生成されたエッジ画像上の特徴点に対し、前記第
１の実施例と同様の３次元計測処理を実施して、車輌を
示す特徴点の３次元座標を算出する。

【００６９】第１の投影処理部１６は、前記３次元座標
の算出結果を空間座標系のＸＺ平面上、すなわち道路面
上に投影するためのもので、車輌方向計測部１７は、こ
の投影結果を用いて道路上の各車輌がいずれの方向を向
いているかを計測する。第２の投影処理部１８は、前記
車輌方向計測部１７により計測された各車輌の向きに沿
う仮想垂直平面を設定した後、この平面上に前記３次元
座標の算出結果を投影する。

【００７０】図１４は、上記制御処理装置４による処理
手順を示す。まずステップ１で、各カメラ３ａ，３ｂか
らの画像が入力されると、特徴抽出部６は、各入力画像
に対し、前記と同様の背景差分処理およびエッジ抽出処
理を行って、車輌の輪郭を表すエッジ画像を生成する
（ステップ２）。３次元計測部８は、これらエッジ画像
上の特徴点に対し、前記と同様の対応づけ処理と３次元
座標算出処理とを行って、各特徴点に対応する物点の３
次元座標を算出する（ステップ３，４）。

【００７１】各特徴点に対する３次元座標の算出処理が
終了すると、第１投影処理部１６は、算出された各３次
元座標を、前記空間座標系のＸＺ平面上に投影する（ス
テップ５）。車輌方向計測部１７は、これら投影点にク
ラスタリング処理を行って各投影点を車輌毎にグループ
分けし、さらに各グループ毎の輪郭線成分の長さや方向
を用いて車輌の向きを計測する（ステップ６，７）。

【００７２】図１５は、ＸＺ平面上において、グループ
分けされた投影結果に対するベクトルの設定例を示す。
図中、Ｒ₁，Ｒ₂は、各グループ毎の特徴点群を包括す
る領域を示す。車輌方向計測部１７は、前記第１の実施
例と同様、各領域Ｒ₁，Ｒ₂内の輪郭線成分の長さや方
向をそれぞれ車輌を上方から見た輪郭形状と比較するこ
とにより、各車輌が道路上でいずれの方向を向いている
かを示すベクトルｎ１，ｎ２を設定した後、車輌の前端
および後端にあたる輪郭線成分とベクトルとの交点
ａ₁，ｂ₁，ａ₂，ｂ₂を抽出する。

【００７３】図１４に戻って、第２投影処理部１８は、
つぎのステップ８で、前記抽出された各交点の３次元座
標を用いて前記ベクトルに沿う仮想垂直平面を設定した
後、続くステップ９で、この平面上に前記３次元計測部
８により算出された各３次元座標を投影する。この後、
ステップ１１，１２で、前記図３と同様の車輌判別処
理、追跡処理が実施され、１サイクル分の処理が終了す
る。

【００７４】なお上記実施例は、道路上を走行する車輌
を認識対象とするため、車輌の向きに沿う仮想垂直平面
を設定して車輌の側面形状を抽出するようにしている
が、駐車場における車輌を認識するような場合には、車
輌の向きに直交するような仮想垂直平面を設定して、車
輌の正面または背面の形状を抽出するようにしても良
い。

【００７５】

【発明の効果】この発明は上記の如く、観測位置を撮像
して得られた画像上で対象物を示す特徴点の３次元座標
を算出するとともに、観測位置における対象物の向きに
応じた仮想平面を設定して、その平面上に前記３次元座
標を投影して対象物の認識処理を行うようにしたから、
対象物がいずれの方向を向いていても、その特徴的な２
次元形状を精度良く捉えた投影像をもって、高精度の認
識処理を行うことができる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる交通流計測装置の
設置例を示す説明図である。

【図２】制御処理装置の電気的構成を示すブロック図で
ある。

【図３】図２の制御処理装置による認識処理手順を示す
フローチャートである。

【図４】各カメラからの入力画像の一例を示す説明図で
ある。

【図５】図４の各入力画像より生成されたエッジ画像を
示す説明図である。

【図６】クラスタリング処理の結果を示す説明図であ
る。

【図７】車輌の方向を示すベクトルの設定結果を示す説
明図である。

【図８】各特徴点の対応づけ処理の原理を示す説明図で
ある。

【図９】３次元座標の算出処理の原理を示す説明図であ
る。

【図１０】３次元座標の算出処理の原理を示す説明図で
ある。

【図１１】仮想垂直平面の設定にかかる原理を示す説明
図である。

【図１２】仮想垂直平面への３次元座標の投影結果を示
す説明図である。

【図１３】制御処理装置の第２の構成例を示すブロック
図である。

【図１４】図１３の制御処理装置による認識処理手順を
示すフローチャートである。

【図１５】ＸＺ平面上で車輌の方向を示すベクトルを設
定した結果を示す説明図である。

【符号の説明】

３ａ，３ｂカメラ６特徴抽出部７，１７車輌方向計測部８３次元計測部９投影処理部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G01B 11/24 G08G 1/015 H04N 7/18

Claims

(57)【特許請求の範囲】

【請求項１】所定の観測位置を複数の撮像手段により
撮像して得られた画像を用いて、この観測位置における
対象物を認識する方法において、前記各撮像手段により得られた画像上でそれぞれ対象物
を示す複数個の特徴点を抽出する第１のステップと、前記特徴点の抽出結果に基づき、前記画像上における対
象物の向きを計測するとともに、各特徴点を画像間で対
応づけて対応する特徴点の組毎に３次元座標を算出する
第２のステップと、前記画像上の対象物の向きおよび各３次元座標の算出結
果により前記観測位置における対象物の向きを特定した
後、この特定結果に基づき前記観測位置の所定の方向に
仮想平面を設定する第３のステップと、前記各特徴点の組毎に算出された３次元座標を前記仮想
平面上に投影し、得られた投影像を用いて前記対象物を
認識する第４のステップとを一連に実施することを特徴
とする物体認識方法。
【請求項２】所定の観測位置を複数の撮像手段により
撮像して得られた画像を用いて、この観測位置における
対象物を認識する方法において、前記各撮像手段により得られた画像上でそれぞれ対象物
を示す複数個の特徴点を抽出する第１のステップと、前記抽出された各特徴点を画像間で対応づけて、対応す
る特徴点の組毎に３次元座標を算出する第２のステップ
と、前記算出された各３次元座標を、対象物を支持する平面
上に投影して得られる投影像により前記観測位置におけ
る対象物の向きを特定した後、この特定結果に基づき前
記観測位置の所定の方向に仮想平面を設定する第３のス
テップと、前記各特徴点の組毎に算出された３次元座標を前記仮想
平面上に投影し、得られた投影像を用いて前記対象物を
認識する第４のステップとを一連に実施することを特徴
とする物体認識方法。
【請求項３】所定の観測位置を複数の撮像手段により
撮像して得られた画像を用いて、この観測位置における
対象物を認識する装置であって、前記各撮像手段からの画像を取り込んで、それぞれその
画像上の対象物を示す複数個の特徴点を抽出する特徴抽
出手段と、前記各特徴点の抽出結果に基づき、画像上における対象
物の向きを計測する計測手段と、前記各特徴点を画像間で対応づけて対応する特徴点の組
毎に３次元座標を算出する３次元座標算出手段と、前記計測手段の計測結果および３次元算出手段による算
出結果に基づき前記観測位置における対象物の向きを特
定する向き特定手段と、前記向き特定手段の特定結果に基づき前記観測位置の所
定の方向に仮想平面を設定して、この平面上に前記各３
次元座標の算出結果を投影する投影手段と、前記投影手段により得られた仮想平面上の投影像を用い
て前記対象物を認識する認識手段とを備えて成る物体認
識装置。
【請求項４】所定の観測位置を複数の撮像手段により
撮像して得られた画像を用いて、この観測位置における
対象物を認識する装置であって、前記各撮像手段からの画像を取り込んで、それぞれ画像
上の対象物を示す複数個の特徴点を抽出する特徴抽出手
段と、前記各特徴点を画像間で対応づけて対応する特徴点の組
毎に３次元座標を算出する３次元座標算出手段と、前記３次元座標算出手段による算出結果を対象物の支持
面上に投影した後、その投影結果を用いて前記観測位置
における対象物の向きを特定する向き特定手段と、前記向き特定手段の特定結果に基づき前記観測位置の所
定の方向に仮想平面を設定して、この平面上に前記各３
次元座標の算出結果を投影する投影手段と、前記投影手段により得られた仮想平面上の投影像を用い
て前記対象物を認識する認識手段とを備えて成る物体認
識装置。