JP3516118B2 - 物体認識方法および物体認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像処理の手法を用
いて対象物を認識する技術に関連し、特にこの発明は、
画像上で撮像位置の近傍に位置する対象物と遠方に位置
する対象物とを、ともに精度良く認識するための物体認
識方法および装置に関する。

【０００２】

【従来の技術】近年、各種の対象物を認識するために、
テレビカメラをその対象物が位置する方向に向けて撮像
し、得られた画像を入力して認識処理を行う装置が利用
されている。

【０００３】この種の代表的な装置では、まず入力画像
に所定の処理を施して対象物の特徴を示す画素（以下こ
れを「特徴点」という）を抽出した後、抽出された各特
徴点の示すパターンを所定のモデルデータと照合するな
どして、前記対象物の種類，位置，向きなどを認識する
ようにしている。

【０００４】この特徴点を抽出する方法として、従来、
入力画像を所定大きさの小領域に分割し、それぞれその
領域内に対象物の特徴が含まれていれば、領域内の所定
の点（例えば中心点）を特徴点として設定する方法が提
案されている。この方法によれば、対象物の特徴が含ま
れる小領域毎に１つの特徴点が設定されることになるの
で、処理対象となるデータを削減して効率の良い認識処
理を実施することができる。

【０００５】

【発明が解決しようとする課題】しかしながら上記の方
法では、各小領域は画像上で均一な大きさに設定されて
いるため、特に道路上の車輌など、撮像位置の近傍から
遠方までの広い範囲を観測対象とする場合、遠方に位置
する対象物の特徴を精度良く抽出できないという問題が
ある。

【０００６】図２２は、道路の近傍位置に設置されたカ
メラからの画像を入力して、前記領域分割処理を行った
例を示すもので、入力画像上には、車輌の画像５０，５
１が現れている。この入力画像に対し、図中の点線で示
すような分割処理を行った場合、撮像位置の近傍にある
車輌の画像５０上には複数個の小領域が設定され（図
中、対応する領域の外枠を太実線で示す）、これら小領
域毎に抽出される複数個の特徴点を用いて認識処理を実
施することができる。これに対し、撮像位置より遠方に
ある車輌の画像５１は１つの小領域内に含まれるため、
単に１個の特徴点が抽出されるのみとなり、車輌として
認識することは困難となる。

【０００７】この発明は、上記問題点に着目してなされ
たもので、撮像位置より遠方に位置する対象物について
も、その特徴を精度良く抽出して、認識処理精度を向上
することを技術課題とする。

【０００８】

【課題を解決するための手段】請求項１の発明は、特定
方向に向けて撮像手段を設置し、この撮像手段により得
られた画像を用いて前記特定方向に位置する対象物を認
識する方法であって、前記画像上の画素毎に、前記撮像
手段の撮像中心とその画素とを結ぶ直線を設定する処理
と、この直線が前記対象物の支持面を含む仮想平面に交
わる点に前記画素を投影する処理とを実行することによ
り、透視変換画像を生成する第１のステップと、前記透
視変換画像から対象物の特徴点を抽出する第２のステッ
プと、前記特徴点の抽出結果を示す画像を均一な大きさ
を有する複数個の小領域に分割した後、所定数以上の特
徴点が含まれる小領域を認識処理の対象として設定する
第３のステップと、前記認識対象の小領域のうち所定の
距離範囲内にある小領域を１グループとして統合する第
４のステップと、前記統合されたグループ毎に、あらか
じめ登録された対象物の３次元モデルをそのグループの
位置に投影した場合の投影像の特徴と前記グループの特
徴とを照合して、各グループが対象物を示すかどうかを
判別する第５のステップとを、実行するようにしてい
る。

【０００９】請求項２の発明では、特定方向に向けて設
置された撮像手段からの画像を入力し、この入力画像を
用いて前記特定方向に位置する対象物を認識する装置
に、前記入力画像上の画素毎に、前記撮像手段の撮像中
心とその画素とを結ぶ直線を設定する処理と、この直線
が前記対象物の支持面を含む仮想平面に交わる点に前記
画素を投影する処理とを実行することにより、前記入力
画像から透視変換画像を生成する透視変換手段；前記透
視変換手段により生成された透視変換画像から対象物の
特徴点を抽出する特徴点抽出手段；前記特徴点の抽出結
果を示す画像を均一な大きさを有する複数個の小領域に
分割する領域分割手段；所定数以上の特徴点が含まれる
小領域を認識処理の対象として設定した後、これらの小
領域につき、所定の距離範囲内にある小領域を１グルー
プとして統合する統合手段；対象物の３次元モデルを記
憶する記憶手段；前記統合手段により統合されたグルー
プ毎に、前記３次元モデルをそのグループの位置に投影
するモデル投影手段；前記モデル投影手段により投影さ
れたモデルの特徴と前記グループの特徴とを照合して、
各グループが対象物を示すか否かを判別する判別手段；
の各手段を具備させている。

【００１０】請求項３の発明では、特定方向に向けて設
置された複数個の撮像手段からの画像を入力し、各入力
画像を用いた３次元計測処理により前記特定方向に位置
する対象物を認識する装置に、前記各入力画像に対し、
それぞれその画像上の画素毎に、前記撮像手段の撮像中
心とその画素とを結ぶ直線を設定する処理と、この直線
が前記対象物の支持面を含む仮想平面に交わる点に前記
画素の画素データを投影する処理とを実行することによ
り、各入力画像から透視変換画像を生成する透視変換手
段；前記透視変換手段により生成された各透視変換画像
からそれぞれ対象物に応じた所定長さのエッジ成分を抽
出するエッジ抽出手段；前記抽出されたエッジ成分に含
まれる各特徴点を透視変換画像間で対応づける対応づけ
手段；前記対応づけられた特徴点の組毎に、それぞれ変
換前の入力画像上における対応点の座標を求め、得られ
た座標を用いて３次元計測処理を実行する３次元計測手
段；前記３次元計測手段による計測結果に基づき、対象
物の３次元的形状を認識する認識処理手段；の各手段を
具備させている。

【００１１】

【００１２】

【００１３】

【００１４】

【作用】撮像手段により特定方向を撮像して得られた画
像上の各画素について、撮像手段の撮像中心とその画素
とを結ぶ直線を設定する処理と、この直線が前記対象物
の支持面を含む仮想平面に交わる点に前記画素を投影す
る処理とを実行すると、画像上で高さのある物点を示す
画素は、実際の物点を前記支持面上に垂直に投影して得
られる位置よりも離れた位置に投影される。一方、画像
上の対象物の支持面上の物点を示す画素は、前記２段階
の処理により、この物点の実際の位置と同じ位置に投影
される。したがって所定の高さを有する対象物の画像を
透視変換すると、その支持面に接する部分は実際の座標
位置に、高さを有する部分は実際の座標位置より離れた
位置に、それぞれ投影される。その結果、透視変換画像
上に現れる対象物の画像は、実際の対象物をその支持面
の真上から見た２次元形状よりも歪んだ形状をとること
になる。また、上記の透視変換処理によれば、撮像位置
より遠方にある物点ほど、その物点は、撮像位置に対
し、実際よりも遠方に投影されるので、透視変換画像上
に現れる対象物の画像の大きさは、その対象物が撮像位
置より離れるにつれて大きくなる。したがって、原画像
上に現れた対象物であれば、透視変換画像上に、その対
象物を認識するのに十分な大きさの投影像を生成するこ
とができる。

【００１５】各請求項にかかる発明は、上記の原理を適
用してなされたものである。請求項１，２の発明では、
前記透視変換画像を均一な大きさを有する複数の小領域
に分割し、所定数以上の特徴点が含まれる小領域を認識
処理の対象として設定する。さらに、これらの認識処理
対象の小領域の中から所定距離範囲内にあるものを１グ
ループとして統合するので、撮像位置より遠方にある対
象物についても、複数の小領域から成るグループを得る
ことができる。よって、グループ毎に、あらかじめ登録
された３次元モデルをそのグループの位置に投影した場
合の投影像の特徴とグループの特徴とを照合することに
より、各対象物を個別に認識することができる。

【００１６】

【００１７】

【００１８】

【００１９】請求項３の発明では、複数の撮像手段によ
り特定方向を撮像して得られた画像について、それぞれ
上記の透視変換画像を生成した後、各透視変換画像から
対象物に応じた所定長さのエッジ成分を抽出するので、
遠方の対象物についても、前記所定長さのエッジ成分を
抽出することができる。さらに、抽出されたエッジ成分
に含まれる各特徴点を透視変換画像間で対応づけた後、
対応づけられた特徴点の組毎に、変換前の入力画像上に
おける座標を用いて３次元計測処理を実行するので、各
対象物につき、それぞれ複数の特徴点の３次元座標を得
ることができる。

【００２０】

【実施例】図１は、この発明の一実施例にかかる交通流
計測装置の設置例を示す。この交通流計測装置は、道路
４の近傍に支柱３を配備し、この支柱３の上部位置にカ
メラ１を、下部位置に制御ボックス２を、それぞれ取り
付けて構成される。

【００２１】前記制御ボックス２の内部には、カメラ１
を道路４の長さ方向に向けて撮像して得られた画像を処
理する制御処理装置５（図５に示す）やその処理結果を
管理センターなどの外部へ伝送するための伝送装置（図
示せず）などが収容されている。

【００２２】前記制御処理装置５は、カメラ１より入力
された２次元画像をフレーム単位で道路面上の仮想水平
面上に透視変換し、この透視変換画像について後記する
特徴抽出処理や車輌の判別処理を実行する。さらに制御
処理装置５は、この判別結果を道路上の車輌の位置デー
タに編集するとともに、この編集結果の時間的な推移に
基づいて道路上の各車輌の動きを認識し、各車輌の軌跡
や移動速度，道路の渋滞度合いなどを示す交通流データ
を生成する。

【００２３】ここで、この制御処理装置５の具体的な構
成を示す前に、この制御処理装置５に導入された透視変
換処理の原理および変換処理の詳細な方法を説明する。
この透視変換処理は、あらかじめ定められた空間座標系
に対するカメラ座標系の回転角度により決定されるパラ
メータを用いて、入力画像上の各画素について、それぞ
れカメラの撮像中心とこの画素とを結ぶ直線を設定し、
この直線と前記仮想水平面上との交点の位置にその画素
データを投影するものである。前記パラメータは、計測
処理に先立ち、空間座標が既知の点を用いたキャリブレ
ーションによりカメラ座標系の回転角度を算出した後、
さらにこの算出結果を後記する（２８）〜（３５）式に
あてはめることにより算出される。

【００２４】図２は、カメラ１のカメラ座標系（図中、
ｘ，ｙ，ｚの各軸で示される座標系）と、前記した空間
座標系（図中、Ｘ，Ｙ，Ｚの各軸で示される座標系）と
の関係を示す。なおＯ_c はカメラの撮像中心点であっ
て、ここではカメラ座標系の原点に対応するものとす
る。またＯは空間座標系の原点を、Ｍは空間中の任意の
物点を、それぞれ示す。

【００２５】いま空間座標系のＸ，Ｙ，Ｚ各軸に対しカ
メラ座標系のｘ，ｙ，ｚ軸がそれぞれ角度α，β，γだ
け回転していると想定すると、点Ｏ_c の空間座標を（Ｘ
_co，Ｙ_co，Ｚ_c0），点Ｍの空間座標を（Ｘ_M ，Ｙ_M ，Ｚ
_M ）としたときの点Ｍのカメラ座標（ｘ_M ，ｙ_M ，
ｚ_M ）は、これら回転角度α，β，γにより決定される
パラメータｓ₁ ，ｓ₂ ，ｓ₃ ，ｔ₁ ，ｔ₂ ，ｔ₃ ，
ｕ₁ ，ｕ₂ ，ｕ₃ に基づき、つぎの（１）〜（３）で表
される。なお上記各パラメータは、それぞれ（４）〜
（１２）式で表される。また前記ｘ_M ，ｙ_M は、点Ｍの
入力画像上の対応点Ｍ´のｘ，ｙ座標に、ｚ_M はカメラ
の焦点距離Ｆに、それぞれ相当する。

【００２６】

【数１】

【００２７】

【数２】

【００２８】

【数３】

【００２９】

【数４】

【００３０】

【数５】

【００３１】

【数６】

【００３２】

【数７】

【００３３】

【数８】

【００３４】

【数９】

【００３５】

【数１０】

【００３６】

【数１１】

【００３７】

【数１２】

【００３８】一方、直線Ｏ_c Ｍ，および道路４を含む仮
想水平面は、それぞれつぎの（１３）（１４）式により
表される。

【００３９】

【数１３】

【００４０】

【数１４】

【００４１】いま前記点Ｍ´を含む画像を前記仮想水平
面上に透視変換するものとすると、点Ｍ´は前記直線Ｏ
_c Ｍと仮想水平面との交点ｍ（Ｘ_m ，Ｙ_m ，０）の位置
に投影される。したがって前記（１３）（１４）式よ
り、Ｘ_m ，Ｙ_m は、つぎの（１５）（１６）式で表され
る。

【００４２】

【数１５】

【００４３】

【数１６】

【００４４】さらにＸ´＝Ｘ_M −Ｘ_c0／Ｚ_M −Ｚ_c0, Ｙ
´＝Ｙ_M −Ｙ_c0／Ｚ_M −Ｚ_c0，Ｚ´＝１／Ｚ_M −Ｚ_c0と
おくと、前記（１）〜（３）式および（１５）（１６）
式は、それぞれ（１７）〜（２１）式に変形される。

【００４５】

【数１７】

【００４６】

【数１８】

【００４７】

【数１９】

【００４８】

【数２０】

【００４９】

【数２１】

【００５０】上記（１７）〜（１９）式よりＺ´を消去
することにより、Ｘ´，Ｙ´は、それぞれつぎの（２
２）（２３）式により表される。さらにこの（２２）
（２３）式を用いて前記（２０）（２１）式を変形する
ことにより、（２４）（２５）式が得られる。

【００５１】

【数２２】

【００５２】

【数２３】

【００５３】

【数２４】

【００５４】

【数２５】

【００５５】よって、前記Ｘ_m ，Ｙ_m は、画像上の点Ｍ
´の座標（ｘ_M ，ｙ_M ）と（２８）〜（３５）式により
定義されるパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ
とを用いた（２６）（２７）式により算出される。

【００５６】

【数２６】

【００５７】

【数２７】

【００５８】

【数２８】

【００５９】

【数２９】

【００６０】

【数３０】

【００６１】

【数３１】

【００６２】

【数３２】

【００６３】

【数３３】

【００６４】

【数３４】

【００６５】

【数３５】

【００６６】したがって、カメラの撮像中心点Ｏ_c の空
間座標（Ｘ_c0，Ｙ_c0，Ｚ_c0），キャリブレーションによ
り算出されたカメラ座標系の回転角度α，β，γ，およ
びカメラ３２の焦点距離Ｆを、前記（２８）〜（３５）
式に代入して各パラメータａ〜ｈを求めておき、カメラ
３２からの入力画像の各画素毎に、そのｘ，ｙ座標を前
記（２６）（２７）式にあてはめることにより、各画素
の投影点の座標を算出することができる。

【００６７】このように、空間中の物点Ｍに対応する入
力画像上の点Ｍ´を仮想水平面上に透視変換すると、こ
の点Ｍ´における画像データは、カメラ中心点Ｏ_c と点
Ｍとを結ぶ直線Ｏ_c Ｍと仮想水平面との交点ｍに投影さ
れる。したがってこの直線Ｏ_c Ｍの傾きが緩慢であるほ
ど、仮想水平面上の投影点は、点Ｍを真上方向から透視
した際の投影点（すなわち点ＭのＸ，Ｙ座標により特定
される点）から離れた場所に位置することになる。言い
換えれば、点Ｍが高い位置にあるほど、また点Ｍが撮像
中心点Ｏ_c より離れた位置にあるほど、その投影点は、
本来の点Ｍのあるべき位置から離れた場所に位置するの
で、高さ成分を有する対象物を透視変換したとき、実際
の対象物を真上位置より見た場合とは異なる大きさ，形
状を有する特徴が得られることになる。

【００６８】一方、空間座標におけるＺ座標が０となる
点の画像データは、実際と同じ位置に投影されるため、
影など道路面上の２次元対象物は、透視変換後も、実際
の対象物を真上位置より見た場合と同様の大きさ，形状
の特徴を有する。

【００６９】図３（１）は、カメラからの入力画像の一
例であって、車輌の画像３０，その影の画像３１，道路
の車線間の境界線を示す画像３２などが含まれている。
図３（２）は、上記入力画像を前記水平面上に透視変換
した結果を示すもので、透視変換画像中、前記車輌の画
像３０の投影像３０´の形状には、車輌の高さ成分を反
映した歪みが現れている。これに対し、影の画像１４や
車線間の境界線の画像３２の投影像３１´，３２´の形
状は、実際の車線や影を真上位置から観察した結果と同
様になる。

【００７０】したがって認識対象の車輌を示す所定の３
次元モデルを設定しておき、前記透視変換画像上で抽出
された特徴を、前記３次元モデルがこの特徴抽出位置に
あるときに仮想水平面上に現れる２次元パターンと比較
することにより、この特徴が車輌を示すものであるか否
かを判別することが可能となる。

【００７１】一般にカメラの撮像面上に現れる車輌の像
は、この車輌がカメラの撮像位置より遠方にあるほど小
さくなるので、カメラからの画像上で車輌を示す特徴の
抽出処理を行った場合、遠方の車輌については認識する
のに十分な特徴が得られなくなる虞がある。しかしなが
ら画像の透視変換処理を行うと、前記したように、撮像
位置より遠方にある物点ほど、その物点の実際の位置よ
り離れた場所に投影されるので、透視変換画像上の車輌
の投影像の大きさは、図４に示すように、撮像位置より
遠方にある車輌ほど大きくなる。したがって原画像上に
現れた車輌であれば、その車輌がいずれの位置にあって
も、透視変換画像上に認識するのに十分な大きさの投影
像を生成することができる。

【００７２】図５は前記制御処理装置５の電気的構成を
示すもので、カメラ１からの画像データを入力するため
の画像入力部６，画像メモリ７，パラメータ記憶部８，
画像変換部９，特徴抽出部１０，領域設定部１１，物体
判別部１２などを構成として含んでいる。

【００７３】画像入力部６は、前記カメラ１から出力さ
れたアナログ量の画像データをディジタル量に変換する
ためのＡ／Ｄ変換回路などを具備する。画像メモリ７に
は、画像入力部による変換処理後のディジタル量の濃淡
画像データのほか、この入力画像を上記原理に基づき透
視変換して得られる透視変換画像データや後記するエッ
ジ画像データなどが、それぞれ、個別に格納される。

【００７４】パラメータ記憶部８には、前記（２８）〜
（３５）式により算出されたパラメータａ，ｂ，ｃ，
ｄ，ｅ，ｆ，ｇ，ｈなどが記憶されている。画像変換部
９は、これらパラメータと入力画像中の各画素のｘ，ｙ
座標とを前記（２６）（２７）式に代入することによ
り、各画素の透視変換点の座標を算出した後、この算出
結果に基づき入力画像の透視変換画像を生成して、画像
メモリ７へと格納する。

【００７５】なお前記パラメータ記憶部８の代わりに、
入力画像の各画素についての透視変換先の座標が記憶さ
れたルックアップテーブルを設け、画像入力時に、各画
素を、このルックアップテーブル中の対応する設定値に
基づく位置に変換するようにすれば、変換処理の高速化
を実現できる。

【００７６】特徴抽出部１０は、前記透視変換画像にラ
プラシアンフィルタなどのエッジ抽出用フィルタを走査
して、車輌などの物体の輪郭を示すエッジ成分を抽出す
る。この抽出結果は、例えばエッジ構成点を黒画素とす
る２値画像として表され、前記画像メモリ７内に記憶さ
れる（以下この画像を「エッジ変換画像」という）。

【００７７】領域設定部１１は、このエッジ変換画像
を、均一な大きさを有する複数個の小領域に分割処理し
た後、これら小領域の中から所定のエッジ成分を有する
領域を抽出する。物体判別部１２は、この抽出結果を用
いて道路上の車輌の位置などを判別した後、その判別結
果を前記した交通流データの生成部（図示せず）などに
出力する。

【００７８】図６は、前記制御処理装置５による一連の
手順を示すもので、以下、図７〜１１を参照しつつ図６
の流れに沿って、上記各部による詳細な処理を説明す
る。まずステップ１で、前記画像入力部６にカメラから
の画像データが入力された後、つぎのステップ２で、前
記画像変換部９によりこの入力画像に対する透視変換画
像が生成されると、特徴抽出部１０により、この透視変
換画像上の水平方向のエッジ成分が抽出されて、前記し
たエッジ変換画像が生成される（ステップ３）。

【００７９】図７は、入力画像の一例を示すもので、こ
こでは説明を簡単にするために、車輌の画像Ｃ₁ ，Ｃ₂
に対応する影の画像を省略して示してある。図８は、前
記図７の入力画像に対する透視変換画像を示すもので、
前記図２に示した３次元座標系のＸ，Ｙ軸により特定さ
れる平面上に前記車輌の投影像Ｋ₁ ，Ｋ₂ が示されてい
る。さらに図９は、この透視変換画像から生成されたエ
ッジ変換画像を示すもので、前記各車輌の投影像Ｋ₁ ，
Ｋ₂ の水平エッジ成分が黒画素として抽出されている。

【００８０】上記ステップ１〜３の処理が終了すると、
つぎのステップ４で、領域設定部１１は、図１０に示す
ように、前記エッジ変換画像を一辺がｄの複数の小領域
により均等に分割した後、各小領域内に含まれるエッジ
構成点の数をチェックし、さらにステップ５で所定のし
きい値以上のエッジ構成点が含まれる小領域のみを認識
処理の対象として設定する。

【００８１】物体判別部１２は、これら処理対象とされ
た小領域に対し、各領域間の距離を計測するなどして、
所定の距離範囲内にある小領域を１グループとして統合
する。またこの物体判別部１２は、車輌の標準形状を示
す３次元モデルを記憶するメモリを備えており、最終的
に生成されたグループの特徴と前記３次元モデルがその
グループの位置に投影された場合の特徴とを照合して、
各グループがそれぞれ車輌を示すものであるか否かを判
別する（ステップ６）。図１１は、前記図１０の分割処
理結果のうち処理対象として設定された小領域のについ
ての統合結果を示すもので、前記車輌の投影像Ｋ₁ ，Ｋ
₂ の位置において、それぞれ複数個の小領域が統合され
て２個のグループＧ₁ ，Ｇ₂ が生成されている。

【００８２】物体判別部１２は、生成された各グループ
について、それぞれそのグループの最下端部の幅長さ
（図中ｆ₁ ，ｆ₂ で示す）と、縦方向の長さ（図中ＬＴ
₁ ，ＬＴ₂ で示す）とを抽出する。さらに物体判別部１
２は、前記車輌の標準形状を示す３次元モデルを、各グ
ループの抽出位置（前記最下端部のＹ座標Ｙ₁ ，Ｙ₂ ）
において投影処理を行ったときに得られる投影像の大き
さを求め、前記幅長さｆ₁ ，ｆ₂ および縦方向の長さＬ
Ｔ₁ ，ＬＴ₂ をそれぞれこのモデルの投影像の大きさと
照合する。この結果、グループ内の特徴抽出結果と３次
元モデルの投影像の大きさとの間に有意な差がなけれ
ば、物体判別部１２は、これらグループＧ₁，Ｇ₂ が車
輌を示す特徴であると認識し、その抽出位置を示すＹ座
標Ｙ₁ ，Ｙ₂などを車輌抽出位置として特定する。

【００８３】なお上記実施例では、透視変換画像からエ
ッジ成分を抽出した後、このエッジ画像上で車輌を示す
特徴を抽出するようにしているが、これに限らず、例え
ば透視変換画像から背景部分の画像データや１段階前に
生成された透視変換画像を差分処理した画像を、所定の
しきい値で２値化した後、前記ステップ４以下の処理を
実施するようにしても良い。

【００８４】図１２は、交通流計測装置の他の実施例を
示す。この実施例の交通流計測装置は、道路４の近傍に
配備された支柱３３上に２台のカメラ１ａ，１ｂと制御
ボックス３４とを取り付けて構成される。

【００８５】前記支柱３３には、２つの横桟を道路方向
に向かって突出させたＦ字型のものが用いられており、
カメラ１ａ，１ｂは、支柱の各横桟間に縦並びに取り付
けられている。

【００８６】図１３は、各カメラ１ａ，１ｂの座標系と
３次元座標系（ここでは前記図２に示したのと同様の座
標系とする）との関係を示す。この実施例の各カメラ１
ａ，１ｂは、ともに焦点距離をＦとするレンズを有する
とともに、各光軸が道路の長さ方向に向けて角度θをも
って平行となり、かつ各撮像面が同一平面上に位置する
ように、その取り付け位置が調整される。なお図１３に
おいて、Ｉ_L ，Ｉ_u は、それぞれ各カメラ１ａ，１ｂに
より得られる画像を示す。またＨは、３次元座標系の原
点Ｏから下方のカメラ１ａの撮像中心点までの距離を、
Ｂは各カメラ１ａ，１ｂ間の基線長を、それぞれ示す。

【００８７】なおこの実施例では、２台のカメラにより
道路を撮像しているが、これに限らず、３台以上のカメ
ラを用いてもよい。またカメラの配置は縦並びに限らず
横並びにしても良い。またカメラを取り付ける支柱も上
記のＦ字型支柱２に限らず、既存の電信柱や照明柱など
を改良して用いてもよい。

【００８８】前記制御ボックス２内には、図１４に示す
ような制御処理装置１５や図示しない伝送装置が収容さ
れている。この制御処理装置１５は、各カメラ１ａ，１
ｂからの画像よりそれぞれ前記第１の実施例と同様の仮
想平面上に透視変換した後、各透視変換画像を用いた３
次元計測処理を行って車輌の認識処理を行うもので、各
カメラ１ａ，１ｂにそれぞれ対応する画像入力部１６
ａ，１６ｂ，画像メモリ１７，パラメータ記憶部１８，
画像変換部１９，特徴抽出部２０，対応付け処理部２
１，３次元計測部２２，物体判別部２３などを構成とし
て含んでいる。

【００８９】画像変換部１９は、各カメラ１ａ，１ｂか
らの入力画像に対し、それぞれ前記と同様の透視変換処
理を実施する。特徴抽出部２０は、生成された各透視変
換画像について、それぞれ画像上の物体の輪郭を示すエ
ッジ変換画像を生成する。これら入力画像，透視変換画
像，エッジ変換画像は、入力または生成の都度、画像メ
モリ１７内に個別に格納され、対応付け処理部２１によ
る対応付け処理時などに、必要に応じて読み出される。
なおこの実施例では、各カメラ１ａ，１ｂ毎に前記（２
８）〜（３５）式に示したパラメータがあらかじめ求め
られてパラメータ記憶部１８に記憶される。このほかパ
ラメータ記憶部１８には、３次元計測部２２の計測処理
のための各種パラメータが記憶される。

【００９０】物体判別部２３には、道路の各車線の位置
を特定するためのデータや、複数の車種について、その
車種にかかる車輌を側方から見たイメージを示す２次元
モデルが登録されており、前記３次元計測結果をこれら
登録データと照合することにより、各車線毎の車輌の位
置や車種の判別が行われる。

【００９１】図１５は、前記制御処理装置による一連の
手順を示すもので、以下、図１６〜１９を参照しつつ、
図１５の流れに沿って、上記各部の詳細な処理を説明す
る。まずステップ１で、各カメラ１ａ，１ｂからの画像
が各画像入力部１６ａ，１６ｂに取り込まれると、つぎ
のステップ２で画像変換部１９による透視変換処理が実
施される。

【００９２】図１６（１）は、下方に配置されるカメラ
１ａからの入力画像Ｉ_L （以下「第１入力画像Ｉ_L 」と
いう）の一例を、図１６（２）は上方に配置されるカメ
ラ１ｂにより前記図１６（１）の画像と同じタイミング
で入力された画像Ｉ_u （以下「第２入力画像Ｉ_u 」とい
う）を、それぞれ示す。また図１７（１）は、前記第１
入力画像Ｉ_L を透視変換して得られた変換画像Ｈ_l （以
下「第１透視変換画像Ｈ_l 」という）を、図１７（２）
は、前記第２入力画像Ｉ_u を透視変換して得られた変換
画像Ｈ_u （以下「第２透視変換画像Ｈ_u 」という）を、
それぞれ示す。

【００９３】各入力画像に対する透視変換処理が終了す
ると、特徴抽出部２０は、各透視変換画像から水平方向
のエッジ成分を抽出した後、これら抽出結果の中から車
輌の幅長さに応じた長さを有するエッジ成分のみを選択
する（ステップ３，４）。図１８（１）（２）は、それ
ぞれ前記第１、第２の透視変換画像に対するエッジ抽出
結果を示す。また図１９（１）（２）は、それぞれ前記
図１８（１）（２）のエッジ抽出結果から車輌の幅に応
じたエッジ成分のみを抽出した結果であって、いずれ
も、前記透視変換画像上の車輌の投影像に対応する位置
において、車輌の水平方向の輪郭線を示すエッジ成分が
抽出されている。以下この実施例においては、この図１
９（１）（２）に示す所定長さのエッジ成分のみに限定
されたエッジ画像Ｅ_L ，Ｅ_u を、それぞれ「第１エッジ
変換画像Ｅ_L 」「第２エッジ変換画像Ｅ_u 」と呼ぶこと
にする。

【００９４】こうして各カメラ１ａ，１ｂに対応するエ
ッジ変換画像が生成されると、つぎのステップ５で、対
応付け処理部２１により各エッジ変換画像上の特徴点を
画像間で対応づける処理が行われる（ステップ５）。

【００９５】ここで図２０（１）〜（４）を用いて、前
記対応付け処理の具体例を説明する。いま第１エッジ変
換画像Ｅ_L 上の所定の特徴点ｐ（図２０（１）に示す）
に対応する第２エッジ変換画像Ｅ_u 上の特徴点ｑを抽出
するものとすると、対応付け処理部は、第２エッジ変換
画像Ｅ_u 上に前記特徴点ｐのエピポーララインＬを設定
し、このエピポーラライン上（もしくはその近傍）に位
置する特徴点（図中ｑ₁ 〜ｑ₆ の６点）を、点ｐの対応
候補点として抽出する。なおここではカメラ１ａ，１ｂ
が縦並びにかつ光軸が平行になるように配備されている
ので、原入力画像上のエピポーララインはｙ軸に平行と
なる。透視変換画像上のエピポーララインＬは、この入
力画像上のエピポーララインの投影像と見なされるの
で、同じくＹ軸に平行となり、対応候補点を容易に抽出
することができる。

【００９６】つぎに対応付け処理部２１は、第１透視変
換画像Ｈ_L （図２０（３）に示す）上に、前記特徴点ｐ
と同じ座標に位置する点Ｐを中心点とする所定大きさの
ウィンドウＷ_L を設定するとともに、第２透視変換画像
Ｈ_u （図２０（４）に示す）上で前記各対応候補点ｑ₁
〜ｑ₆ と同じ座標に位置する点Ｑ₁ 〜Ｑ₆ を中心とし
て、それぞれ前記ウィンドウＷ_L と同じ大きさのウィン
ドウＷ₁ 〜Ｗ₆ を設定する。さらに対応付け処理部２１
は、これらウィンドウＷ₁ 〜Ｗ₆ についてそれぞれつぎ
の（３６）式を実行し、各ウィンドウ内の画像データと
前記ウィンドウＷ_u 内の画像データとの相違度ＤＦを算
出する。

【００９７】

【数３６】

【００９８】なお上式において、ｇ_L （Ｘ，Ｙ）はウィ
ンドウＷ_L 内の所定の画素の輝度値を、またｇ_u （Ｘ，
Ｙ）はウィンドウＷ_u （Ｕ＝１〜６）内の所定の画素の
輝度値を、それぞれ示す。またｉ，ｊは各ウィンドウの
サイズに応じて変動する整数である。

【００９９】さらに対応付け処理部２１は、各ウィンド
ウＷ₁ 〜Ｗ₆ 毎に求められた相違度ＤＦを比較し、相違
度が最も小さくなるウィンドウをウィンドウＷ_L に対応
するものとして判別する。そしてそのウィンドウの中心
点Ｑ_U と同じ座標（Ｘ_u ，Ｙ_u ）上にある第２エッジ変
換画像上の点ｑ_u （図示例ではｑ₄ ）を前記第１エッジ
変換画像の特徴点ｐの対応点として決定する。

【０１００】上記の対応付け処理が完了すると、ステッ
プ６で各特徴点に対応する空間中の物点の３次元座標が
計測される。まず３次元計測部２２は、対応付けられた
特徴点ｐ，ｑについて、それぞれその座標（Ｘ_L ，
Ｙ_L ），（Ｘ_u ，Ｙ_u ）と前記透視変換処理に用いられ
たパラメータとを用いて、原入力画像上でこれら特徴点
ｐ，ｑに対応する点の座標（ｘ_L，ｙ_L ），（ｘ_u ，ｙ
_u ）を算出する（以下この座標を（特徴点ｐ，ｑの）
「原座標」という）。

【０１０１】前記図２において、透視変換画像上の点ｍ
の座標（Ｘ_m ，Ｙ_m ）が判明している場合、この点ｍの
原座標（ｘ_m ，ｙ_m ）は、前記（２６）（２７）式を変
形したつぎの（３７）（３８）式により求められる。

【０１０２】

【数３７】

【０１０３】

【数３８】

【０１０４】ただし上式において、Ａ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆ，Ｇ，Ｈ，Ｉは、前記した（２８）〜（３５）で
求めたパラメータａ〜ｈによるつぎの（３９）〜（４
７）式により算出される。

【０１０５】

【数３９】

【０１０６】

【数４０】

【０１０７】

【数４１】

【０１０８】

【数４２】

【０１０９】

【数４３】

【０１１０】

【数４４】

【０１１１】

【数４５】

【０１１２】

【数４６】

【０１１３】

【数４７】

【０１１４】実施例に戻って、ここでは２台のカメラ１
ａ，１ｂが設置されているので、それぞれのカメラ毎に
得られたパラメータを上記（３７）（３８）式にセット
した後、前記特徴点ｐ，ｑの座標を該当するパラメータ
が設定された式に代入することにより、入力画像Ｉ_L 上
における特徴点ｐの原座標（ｘ_L ，ｙ_L ）と入力画像Ｉ
_u 上における特徴点ｑの原座標（ｘ_u ，ｙ_u ）とを算出
することができる。

【０１１５】さらに３次元計測部２２は、算出された特
徴点ｐ，ｑの原座標（ｘ_L ，ｙ_L ）（ｘ_u ，ｙ_u ）とカ
メラ１ａ，１ｂのパラメータとを３角測量の原理に基づ
く（４８）〜（５０）式に代入し、前記特徴点に対応す
る空間中の物点の３次元座標（Ｘ，Ｙ，Ｚ）を算出す
る。なお各式中、Ｆ，θ，Ｂ，Ｈは、前記図１３に示し
たパラメータである。またＣＣＤ_W ，ＣＣＤ_H は、それ
ぞれ各カメラ１ａ，１ｂのＣＣＤ素子の横方向，縦方向
のサイズを、ＷＴは入力画像上のｘ軸方向の画素数を、
ＨＴは入力画像のｙ軸方向の画素数を、それぞれ示す。

【０１１６】

【数４８】

【０１１７】

【数４９】

【０１１８】

【数５０】

【０１１９】なお上記の方法では、エッジ変換画像間で
特徴点の対応付け処理を行ってから対応付けられた各特
徴点を原入力画像上の点に変換し、３次元計測処理を行
うようにしているが、前記（３７）（３８）式により各
エッジ変換画像上で抽出された特徴点の原座標を求めた
後、各入力画像上で対応付け処理を行うようにしてもよ
い。

【０１２０】このようにして、各エッジ変換画像上の各
特徴点について、上記した対応付け処理と３次元計測処
理とが行われた結果、各特徴点に対応する空間中の物点
の３次元座標が算出されると、以下、物体判別部２３に
よる車輌判別処理が実施される（ステップ７）。

【０１２１】物体判別部２３は、各物点の３次元座標の
算出結果を前記車線位置の登録データと照合して各車線
上に位置する物点を認識した後、各車線毎に、その長さ
方向に沿って仮想垂直平面を設定し、この平面上に前記
車線上の物点として認識された点の３次元座標を投影す
る。

【０１２２】図２１は、前記入力画像上に現れていた１
車線に対する仮想垂直平面上の投影結果を示す。なお仮
想垂直平面の座標系は、前記した３次元座標系に基づ
き、車線の長さ方向をＹ軸，高さ方向をＺ軸として設定
されている。また図中の×印は、前記特徴点の投影点を
示すもので、これら特徴点により車線上の対象物を車輌
の側方から見た２次元形状が表される。

【０１２３】この投影処理が終了すると、物体判別部２
３は、前記登録された各車種の２次元モデルをこの仮想
垂直平面上に順次設定して走査し、各走査位置毎に、投
影結果と２次元モデルとの類似度を算出するマッチング
処理を実行する。この結果、投影結果に最も類似する２
次元モデルが抽出されると、物体判別部２３は、その２
次元モデルに最も類似する投影パターンが得られた位置
を、その２次元モデルに該当する車輌の位置として認識
する。

【０１２４】なお車輌を認識する方法は、上記の方法に
限らず、例えば３次元計測処理部２２による計測結果の
中からＺ座標が所定のしきい値以上となる物点を抽出
し、これら抽出された各物点間の距離を計測して所定距
離内にある物点同士をグループ化してゆき、最終的に得
られた各グループを車輌として認識するなど、種々の方
法を適用できる。

【０１２５】

【発明の効果】請求項１，２の発明では、特定方向に向
けて設置された撮像手段により得られた画像上の各画素
について、それぞれ撮像手段の撮像中心とその画素とを
結ぶ直線を設定する処理と、この直線が前記対象物の支
持面を含む仮想平面に交わる点に前記画素を投影する処
理とを実行することにより、遠方にある対象物について
も、認識するのに十分な投影像を生成することができ
る。さらに、上記２段階の処理により得られた透視変換
画像を均一な大きさを有する複数個の小領域に分割し、
所定数以上の特徴点が含まれる小領域を認識対象として
設定した後に所定の距離範囲にある小領域を１グループ
として統合するので、遠方の対象物についても、複数の
小領域から成るグループを得ることができる。よって、
統合されたグループ毎に、そのグループの位置に３次元
モデルを投影した場合の投影像の特徴とグループの特徴
とを照合することにより、各対象物を個別かつ精度良く
認識することができる。

【０１２６】

【０１２７】

【０１２８】請求項３の発明では、複数の撮像手段によ
り特定方向を撮像して得られた画像について、それぞれ
上記の透視変換画像を生成した後、各透視変換画像から
対象物に応じた所定長さのエッジ成分を抽出するので、
遠方の対象物についても、前記所定長さのエッジ成分を
抽出することができる。さらに、抽出されたエッジ成分
に含まれる各特徴点を透視変換画像間で対応づけた後、
対応づけられた特徴点の組毎に、変換前の入力画像上に
おける座標を用いて３次元計測処理を実行するので、各
対象物につき、それぞれ複数の特徴点の３次元座標を得
て、それぞれの３次元形状を精度良く認識することがで
きる。

【図面の簡単な説明】

【図１】この発明の１実施例にかかる交通流計測装置の
設置例を示す説明図である。

【図２】透視変換処理にかかるカメラ座標系と空間座標
系との関係を示す説明図である。

【図３】入力画像およびその透視変換画像を示す説明図
である。

【図４】車輌の位置による投影像の大きさの違いを示す
説明図である。

【図５】図１の交通流計測装置に用いられる制御処理装
置の電気的構成を示すブロック図である。

【図６】図５の制御処理装置の処理手順を示すフローチ
ャートである。

【図７】入力画像の一例を示す説明図である。

【図８】図７の入力画像に対する透視変換結果を示す説
明図である。

【図９】図８の透視変換画像に対するエッジ抽出結果を
示す説明図である。

【図１０】エッジ変換画像の分割処理を示す説明図であ
る。

【図１１】図１０の分割処理結果から認識処理対象の小
領域を設定した例を示す説明図である。

【図１２】この発明の第２の実施例にかかる交通流計測
装置の設置例を示す説明図である。

【図１３】図１２の各カメラの座標系と空間座標系との
関係を示す説明図である。

【図１４】図１２の交通流計測装置に用いられる制御処
理装置の電気的構成を示すブロック図である。

【図１５】図１４の制御処理装置の処理手順を示すフロ
ーチャートである。

【図１６】各カメラからの入力画像の一例を示す説明図
である。

【図１７】図１６の入力画像に対する透視変換処理結果
を示す説明図である。

【図１８】図１７の透視変換画像に対するエッジ抽出結
果を示す説明図である。

【図１９】所定長さのエッジ成分のみを抽出したエッジ
変換画像を示す説明図である。

【図２０】対応づけ処理の具体例を示す説明図である。

【図２１】３次元座標の計測結果を投影処理した例を示
す説明図である。

【図２２】従来の特徴抽出処理を示す説明図である。

【符号の説明】

１，１ａ，１ｂ カメラ ５，１５ 制御処理装置 ９，１９ 画像変換部 １１ 領域設定部 ２１ 対応付け処理部 ２２ ３次元計測部 １２，２３ 物体判別部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−96451（ＪＰ，Ａ) 特開 平６−243258（ＪＰ，Ａ) 特開 平７−334681（ＪＰ，Ａ) 特開 平５−265547（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 7/60 G01B 11/00 - 11/30

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 特定方向に向けて撮像手段を設置し、こ
   の撮像手段により得られた画像を用いて前記特定方向に
   位置する対象物を認識する方法であって、前記画像上の画素毎に、前記撮像手段の撮像中心とその
   画素とを結ぶ直線を設定する処理と、この直線が前記対
   象物の支持面を含む仮想平面に交わる点に前記画素を投
   影する処理とを実行することにより、透視変換画像を生
   成する第１のステップと、 前記透視変換画像から対象物の特徴点を抽出する第２の
   ステップと、 前記特徴点の抽出結果を示す画像を均一な大きさを有す
   る複数個の小領域に分割した後、所定数以上の特徴点が
   含まれる小領域を認識処理の対象として設定する第３の
   ステップと、 前記認識対象の小領域のうち所定の距離範囲内にある小
   領域を１グループとして統合する第４のステップと、 前記統合されたグループ毎に、あらかじめ登録された対
   象物の３次元モデルをそのグループの位置に投影した場
   合の投影像の特徴と前記グループの特徴とを照合して、
   各グループが対象物を示すかどうかを判別する第５のス
   テップとを、実行することを特徴とする物体認識方法。
2. 【請求項２】 特定方向に向けて設置された撮像手段か
   らの画像を入力し、この入力画像を用いて前記特定方向
   に位置する対象物を認識する装置において、 前記入力画像上の画素毎に、前記撮像手段の撮像中心と
   その画素とを結ぶ直線を設定する処理と、この直線が前
   記対象物の支持面を含む仮想平面に交わる点に前記画素
   を投影する処理とを実行することにより、前記入力画像
   から透視変換画像を生成する透視変換手段と、 前記透視変換手段により生成された透視変換画像から対
   象物の特徴点を抽出する特徴点抽出手段と、 前記特徴点の抽出結果を示す画像を均一な大きさを有す
   る複数個の小領域に分割する領域分割手段と、 所定数以上の特徴点が含まれる小領域を認識処理の対象
   として設定した後、これらの小領域につき、所定の距離
   範囲内にある小領域を１グループとして統合する統合手
   段と、 対象物の３次元モデルを記憶する記憶手段と、 前記統合手段により統合されたグループ毎に、前記３次
   元モデルをそのグループの位置に投影するモデル投影手
   段と、 前記モデル投影手段により投影されたモデルの特徴と前
   記グループの特徴とを照合して、各グループが対象物を
   示すか否かを判別する判別手段とを備えて成る物体認識
   装置。
3. 【請求項３】 特定方向に向けて設置された複数個の撮
   像手段からの画像を入力し、各入力画像を用いた３次元
   計測処理により前記特定方向に位置する対象物を認識す
   る装置において、 前記各入力画像に対し、それぞれその画像上の画素毎
   に、前記撮像手段の撮像中心とその画素とを結ぶ直線を
   設定する処理と、この直線が前記対象物の支持面を含む
   仮想平面に交わる点に前記画素の画素データを投影する
   処理とを実行することにより、各入力画像から透視変換
   画像を生成する透視変換手段と、 前記透視変換手段により生成された各透視変換画像から
   それぞれ対象物に応じた所定長さのエッジ成分を抽出す
   るエッジ抽出手段と、 前記抽出されたエッジ成分に含まれる各特徴点を透視変
   換画像間で対応づける対応づけ手段と、 前記対応づけられた特徴点の組毎に、それぞれ変換前の
   入力画像上における対応点の座標を求め、得られた座標
   を用いて３次元計測処理を実行する３次元計測手段と、 前記３次元計測手段による計測結果に基づき、対象物の
   ３次元的形状を認識する認識処理手段とを備えて成る物
   体認識装置。