JPH10269365A

JPH10269365A - 特徴抽出方法およびその方法を用いた物体認識装置

Info

Publication number: JPH10269365A
Application number: JP9090354A
Authority: JP
Inventors: Katsumi Ohashi; 勝己大橋; Masaru Go; 越呉
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1997-03-24
Filing date: 1997-03-24
Publication date: 1998-10-09
Anticipated expiration: 2017-03-24
Also published as: JP3516118B2

Abstract

(57)【要約】【課題】対象物の位置にかかわらず、精度の良い特徴
抽出処理を実施する。【解決手段】画像入力部６は、撮像方向を道路に向け
て配備されたカメラからの画像を取り込んで処理し、そ
の入力画像を画像メモリ７に格納する。画像変換部９
は、この入力画像の各画素の画像データが道路面上に設
定された仮想水平面上に投影された透視変換画像を生成
する。特徴抽出部９がこの透視変換画像からエッジ抽出
処理を行うと、領域設定部は、生成されたエッジ変換画
像を均一な大きさの複数個の小領域に分割し、さらに所
定数のエッジ構成点が含まれる小領域を抽出してグルー
プ分けする。物体判別部１２は、各グループの大きさを
所定のモデルと照合して、そのグループが車輌に該当す
るか否かを判別する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像処理の手法を用
いて対象物を認識する技術に関連し、特にこの発明は、
画像上で撮像位置の近傍に位置する対象物と遠方に位置
する対象物とを、ともに精度良く認識するための特徴抽
出方法、およびこの方法を用いた物体認識装置に関す
る。

【０００２】

【従来の技術】近年、各種の対象物を認識するために、
テレビカメラをその対象物が位置する方向に向けて撮像
し、得られた画像を入力して認識処理を行う装置が利用
されている。

【０００３】この種の代表的な装置では、まず入力画像
に所定の処理を施して対象物の特徴を示す画素（以下こ
れを「特徴点」という）を抽出した後、抽出された各特
徴点の示すパターンを所定のモデルデータと照合するな
どして、前記対象物の種類，位置，向きなどを認識する
ようにしている。

【０００４】この特徴点を抽出する方法として、従来、
入力画像を所定大きさの小領域に分割し、それぞれその
領域内に対象物の特徴が含まれていれば、領域内の所定
の点（例えば中心点）を特徴点として設定する方法が提
案されている。この方法によれば、対象物の特徴が含ま
れる小領域毎に１つの特徴点が設定されることになるの
で、処理対象となるデータを削減して効率の良い認識処
理を実施することができる。

【０００５】

【発明が解決しようとする課題】しかしながら上記の方
法では、各小領域は画像上で均一な大きさに設定されて
いるため、特に道路上の車輌など、撮像位置の近傍から
遠方までの広い範囲を観測対象とする場合、遠方に位置
する対象物の特徴を精度良く抽出できないという問題が
ある。

【０００６】図２２は、道路の近傍位置に設置されたカ
メラからの画像を入力して、前記領域分割処理を行った
例を示すもので、入力画像上には、車輌の画像５０，５
１が現れている。この入力画像に対し、図中の点線で示
すような分割処理を行った場合、撮像位置の近傍にある
車輌の画像５０上には複数個の小領域が設定され（図
中、対応する領域の外枠を太実線で示す）、これら小領
域毎に抽出される複数個の特徴点を用いて認識処理を実
施することができる。これに対し、撮像位置より遠方に
ある車輌の画像５１は１つの小領域内に含まれるため、
単に１個の特徴点が抽出されるのみとなり、車輌として
認識することは困難となる。

【０００７】この発明は、上記問題点に着目してなされ
たもので、撮像位置より遠方に位置する対象物について
も、その特徴を精度良く抽出して、認識処理精度を向上
することを技術課題とする。

【０００８】

【課題を解決するための手段】請求項１の発明は、特定
方向に向けて撮像手段を設置し、この撮像手段により得
られた画像を用いて前記特定方向に位置する対象物の特
徴を抽出する方法であって、前記画像上の各画素を、前
記対象物の支持面を含む仮想平面上に透視変換する第１
のステップと、前記透視変換画像に対する特徴抽出処理
を行って前記対象物の特徴を抽出する第２のステップと
を一連に実施するようにしている。

【０００９】請求項２の発明では、前記第２のステップ
において、前記透視変換画像上の所定の画像領域を均一
な大きさを有する複数個の小領域に分割した後、これら
の小領域毎にその領域内に含まれる対象物の特徴を抽出
する。

【００１０】請求項３の発明は、特定方向に向けて設置
された撮像手段からの画像を入力し、前記特定方向に位
置する対象物を認識する装置に、前記入力画像を、前記
対象物の支持面を含む仮想平面上に透視変換する透視変
換手段と、前記透視変換手段により生成された透視変換
画像上で対象物の特徴を抽出する特徴抽出手段と、前記
特徴抽出手段による特徴抽出結果を用いて対象物の認識
処理を行う認識処理手段とを具備させたものである。

【００１１】請求項４の発明では、前記特徴抽出手段
を、前記透視変換手段により生成された変換画像上の所
定の画像領域を均一な大きさを有する複数個の小領域に
分割した後、これらの小領域毎にその領域内に含まれる
対象物の特徴を抽出するように構成する。

【００１２】請求項５の発明では、前記特徴抽出手段
を、前記各小領域毎に、その領域内に対象物の特徴が含
まれるか否かを判別した後、対象物の特徴が含まれると
判別された小領域を領域間の距離に基づきグループ分け
するように構成する。

【００１３】請求項６の発明では、特定方向に向けて設
置された複数個の撮像手段からの画像を入力して、前記
特定方向に位置する対象物を認識する装置に、前記各入
力画像を、それぞれ前記対象物の支持面を含む仮想平面
上に透視変換する透視変換手段と、前記透視変換手段に
より生成された各変換画像上で、それぞれ対象物の特徴
を抽出する特徴抽出手段と、前記特徴抽出手段による各
変換画像上の特徴抽出結果を用いた３次元計測処理を実
施する３次元計測手段と、前記３次元計測手段による計
測結果に基づき、対象物の３次元的形状を認識する認識
処理手段とを具備させている。

【００１４】

【作用】撮像手段により特定方向を撮像して得られた画
像を、この特定方向における対象物の支持面を含む仮想
水平面上に透視変換すると、画像上で高さのある物点を
示す画素は、実際の物点を前記支持面上に垂直に投影し
て得られる位置よりも離れた位置に投影される。一方、
画像上の対象物の支持面上の物点を表す画素は、透視変
換後も、この物点の実際の位置と同じ位置に投影され
る。したがって所定の高さを有する対象物の画像を透視
変換すると、その支持面に接する部分は実際の座標位置
に、高さを有する部分は実際の座標位置より離れた位置
に、それぞれ投影される。その結果、透視変換画像上に
現れる対象物の画像は、実際の対象物を支持面の真上か
ら見た２次元形状よりも歪んだ形状をとることになる。

【００１５】各請求項にかかる発明は、画像上に現れる
対象物であれば、その対象物が撮像位置から実際のどの
くらい離れているかにかかわらず、上記の原理を適用で
きることに着目してなされたもので、請求項１の発明で
は、前記透視変換画像上で対象物の特徴を抽出すること
により、撮像位置より遠方にある対象物についても、認
識するのに十分な大きさの特徴が抽出される。

【００１６】請求項３の発明では、上記請求項１の方法
により抽出された特徴を用いて対象物の認識処理が行わ
れる。

【００１７】請求項２，４の発明では、前記透視変換画
像上の所定の画像領域を均一な小領域に分割して、これ
らの小領域毎にその領域内に含まれる特徴を抽出するの
で、各小領域毎の抽出結果を用いて対象物の特徴を正確
に抽出することができる。

【００１８】請求項５の発明では、対象物の特徴が含ま
れる小領域を、各領域間の距離に基づきグループ化する
ことにより、対象物を個別に認識することが可能とな
る。

【００１９】請求項６の発明では、複数個の撮像手段に
より特定方向を撮像して得られた画像について、それぞ
れ上記の透視変換処理と特徴抽出処理とを実施した後、
各透視変換画像毎の特徴抽出結果を用いた３次元計測処
理を行うことにより、遠方の対象物についてもその３次
元形状を抽出することが可能となる。

【００２０】

【実施例】図１は、この発明の一実施例にかかる交通流
計測装置の設置例を示す。この交通流計測装置は、道路
４の近傍に支柱３を配備し、この支柱３の上部位置にカ
メラ１を、下部位置に制御ボックス２を、それぞれ取り
付けて構成される。

【００２１】前記制御ボックス２の内部には、カメラ１
を道路４の長さ方向に向けて撮像して得られた画像を処
理する制御処理装置５（図５に示す）やその処理結果を
管理センターなどの外部へ伝送するための伝送装置（図
示せず）などが収容されている。

【００２２】前記制御処理装置５は、カメラ１より入力
された２次元画像をフレーム単位で道路面上の仮想水平
面上に透視変換し、この透視変換画像について後記する
特徴抽出処理や車輌の判別処理を実行する。さらに制御
処理装置５は、この判別結果を道路上の車輌の位置デー
タに編集するとともに、この編集結果の時間的な推移に
基づいて道路上の各車輌の動きを認識し、各車輌の軌跡
や移動速度，道路の渋滞度合いなどを示す交通流データ
を生成する。

【００２３】ここで、この制御処理装置５の具体的な構
成を示す前に、この制御処理装置５に導入された透視変
換処理の原理および変換処理の詳細な方法を説明する。
この透視変換処理は、あらかじめ定められた空間座標系
に対するカメラ座標系の回転角度により決定されるパラ
メータを用いて、入力画像上の各画素について、それぞ
れカメラの撮像中心とこの画素とを結ぶ直線を設定し、
この直線と前記仮想水平面上との交点の位置にその画素
データを投影するものである。前記パラメータは、計測
処理に先立ち、空間座標が既知の点を用いたキャリブレ
ーションによりカメラ座標系の回転角度を算出した後、
さらにこの算出結果を後記する（２８）〜（３５）式に
あてはめることにより算出される。

【００２４】図２は、カメラ１のカメラ座標系（図中、
ｘ，ｙ，ｚの各軸で示される座標系）と、前記した空間
座標系（図中、Ｘ，Ｙ，Ｚの各軸で示される座標系）と
の関係を示す。なおＯ_cはカメラの撮像中心点であっ
て、ここではカメラ座標系の原点に対応するものとす
る。またＯは空間座標系の原点を、Ｍは空間中の任意の
物点を、それぞれ示す。

【００２５】いま空間座標系のＸ，Ｙ，Ｚ各軸に対しカ
メラ座標系のｘ，ｙ，ｚ軸がそれぞれ角度α，β，γだ
け回転していると想定すると、点Ｏ_cの空間座標を（Ｘ
_co，Ｙ_co，Ｚ_c0），点Ｍの空間座標を（Ｘ_M，Ｙ_M，Ｚ
_M）としたときの点Ｍのカメラ座標（ｘ_M，ｙ_M，
ｚ_M）は、これら回転角度α，β，γにより決定される
パラメータｓ₁，ｓ₂，ｓ₃，ｔ₁，ｔ₂，ｔ₃，
ｕ₁，ｕ₂，ｕ₃に基づき、つぎの（１）〜（３）で表
される。なお上記各パラメータは、それぞれ（４）〜
（１２）式で表される。また前記ｘ_M，ｙ_Mは、点Ｍの
入力画像上の対応点Ｍ´のｘ，ｙ座標に、ｚ_Mはカメラ
の焦点距離Ｆに、それぞれ相当する。

【００２６】

【数１】

【００２７】

【数２】

【００２８】

【数３】

【００２９】

【数４】

【００３０】

【数５】

【００３１】

【数６】

【００３２】

【数７】

【００３３】

【数８】

【００３４】

【数９】

【００３５】

【数１０】

【００３６】

【数１１】

【００３７】

【数１２】

【００３８】一方、直線Ｏ_cＭ，および道路４を含む仮
想水平面は、それぞれつぎの（１３）（１４）式により
表される。

【００３９】

【数１３】

【００４０】

【数１４】

【００４１】いま前記点Ｍ´を含む画像を前記仮想水平
面上に透視変換するものとすると、点Ｍ´は前記直線Ｏ
_cＭと仮想水平面との交点ｍ（Ｘ_m，Ｙ_m，０）の位置
に投影される。したがって前記（１３）（１４）式よ
り、Ｘ_m，Ｙ_mは、つぎの（１５）（１６）式で表され
る。

【００４２】

【数１５】

【００４３】

【数１６】

【００４４】さらにＸ´＝Ｘ_M−Ｘ_c0／Ｚ_M−Ｚ_c0,Ｙ
´＝Ｙ_M−Ｙ_c0／Ｚ_M−Ｚ_c0，Ｚ´＝１／Ｚ_M−Ｚ_c0と
おくと、前記（１）〜（３）式および（１５）（１６）
式は、それぞれ（１７）〜（２１）式に変形される。

【００４５】

【数１７】

【００４６】

【数１８】

【００４７】

【数１９】

【００４８】

【数２０】

【００４９】

【数２１】

【００５０】上記（１７）〜（１９）式よりＺ´を消去
することにより、Ｘ´，Ｙ´は、それぞれつぎの（２
２）（２３）式により表される。さらにこの（２２）
（２３）式を用いて前記（２０）（２１）式を変形する
ことにより、（２４）（２５）式が得られる。

【００５１】

【数２２】

【００５２】

【数２３】

【００５３】

【数２４】

【００５４】

【数２５】

【００５５】よって、前記Ｘ_m，Ｙ_mは、画像上の点Ｍ
´の座標（ｘ_M，ｙ_M）と（２８）〜（３５）式により
定義されるパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ
とを用いた（２６）（２７）式により算出される。

【００５６】

【数２６】

【００５７】

【数２７】

【００５８】

【数２８】

【００５９】

【数２９】

【００６０】

【数３０】

【００６１】

【数３１】

【００６２】

【数３２】

【００６３】

【数３３】

【００６４】

【数３４】

【００６５】

【数３５】

【００６６】したがって、カメラの撮像中心点Ｏ_cの空
間座標（Ｘ_c0，Ｙ_c0，Ｚ_c0），キャリブレーションによ
り算出されたカメラ座標系の回転角度α，β，γ，およ
びカメラ３２の焦点距離Ｆを、前記（２８）〜（３５）
式に代入して各パラメータａ〜ｈを求めておき、カメラ
３２からの入力画像の各画素毎に、そのｘ，ｙ座標を前
記（２６）（２７）式にあてはめることにより、各画素
の投影点の座標を算出することができる。

【００６７】このように、空間中の物点Ｍに対応する入
力画像上の点Ｍ´を仮想水平面上に透視変換すると、こ
の点Ｍ´における画像データは、カメラ中心点Ｏ_cと点
Ｍとを結ぶ直線Ｏ_cＭと仮想水平面との交点ｍに投影さ
れる。したがってこの直線Ｏ_cＭの傾きが緩慢であるほ
ど、仮想水平面上の投影点は、点Ｍを真上方向から透視
した際の投影点（すなわち点ＭのＸ，Ｙ座標により特定
される点）から離れた場所に位置することになる。言い
換えれば、点Ｍが高い位置にあるほど、また点Ｍが撮像
中心点Ｏ_cより離れた位置にあるほど、その投影点は、
本来の点Ｍのあるべき位置から離れた場所に位置するの
で、高さ成分を有する対象物を透視変換したとき、実際
の対象物を真上位置より見た場合とは異なる大きさ，形
状を有する特徴が得られることになる。

【００６８】一方、空間座標におけるＺ座標が０となる
点の画像データは、実際と同じ位置に投影されるため、
影など道路面上の２次元対象物は、透視変換後も、実際
の対象物を真上位置より見た場合と同様の大きさ，形状
の特徴を有する。

【００６９】図３（１）は、カメラからの入力画像の一
例であって、車輌の画像３０，その影の画像３１，道路
の車線間の境界線を示す画像３２などが含まれている。
図３（２）は、上記入力画像を前記水平面上に透視変換
した結果を示すもので、透視変換画像中、前記車輌の画
像３０の投影像３０´の形状には、車輌の高さ成分を反
映した歪みが現れている。これに対し、影の画像１４や
車線間の境界線の画像３２の投影像３１´，３２´の形
状は、実際の車線や影を真上位置から観察した結果と同
様になる。

【００７０】したがって認識対象の車輌を示す所定の３
次元モデルを設定しておき、前記透視変換画像上で抽出
された特徴を、前記３次元モデルがこの特徴抽出位置に
あるときに仮想水平面上に現れる２次元パターンと比較
することにより、この特徴が車輌を示すものであるか否
かを判別することが可能となる。

【００７１】一般にカメラの撮像面上に現れる車輌の像
は、この車輌がカメラの撮像位置より遠方にあるほど小
さくなるので、カメラからの画像上で車輌を示す特徴の
抽出処理を行った場合、遠方の車輌については認識する
のに十分な特徴が得られなくなる虞がある。しかしなが
ら画像の透視変換処理を行うと、前記したように、撮像
位置より遠方にある物点ほど、その物点の実際の位置よ
り離れた場所に投影されるので、透視変換画像上の車輌
の投影像の大きさは、図４に示すように、撮像位置より
遠方にある車輌ほど大きくなる。したがって原画像上に
現れた車輌であれば、その車輌がいずれの位置にあって
も、透視変換画像上に認識するのに十分な大きさの投影
像を生成することができる。

【００７２】図５は前記制御処理装置５の電気的構成を
示すもので、カメラ１からの画像データを入力するため
の画像入力部６，画像メモリ７，パラメータ記憶部８，
画像変換部９，特徴抽出部１０，領域設定部１１，物体
判別部１２などを構成として含んでいる。

【００７３】画像入力部６は、前記カメラ１から出力さ
れたアナログ量の画像データをディジタル量に変換する
ためのＡ／Ｄ変換回路などを具備する。画像メモリ７に
は、画像入力部による変換処理後のディジタル量の濃淡
画像データのほか、この入力画像を上記原理に基づき透
視変換して得られる透視変換画像データや後記するエッ
ジ画像データなどが、それぞれ、個別に格納される。

【００７４】パラメータ記憶部８には、前記（２８）〜
（３５）式により算出されたパラメータａ，ｂ，ｃ，
ｄ，ｅ，ｆ，ｇ，ｈなどが記憶されている。画像変換部
９は、これらパラメータと入力画像中の各画素のｘ，ｙ
座標とを前記（２６）（２７）式に代入することによ
り、各画素の透視変換点の座標を算出した後、この算出
結果に基づき入力画像の透視変換画像を生成して、画像
メモリ７へと格納する。

【００７５】なお前記パラメータ記憶部８の代わりに、
入力画像の各画素についての透視変換先の座標が記憶さ
れたルックアップテーブルを設け、画像入力時に、各画
素を、このルックアップテーブル中の対応する設定値に
基づく位置に変換するようにすれば、変換処理の高速化
を実現できる。

【００７６】特徴抽出部１０は、前記透視変換画像にラ
プラシアンフィルタなどのエッジ抽出用フィルタを走査
して、車輌などの物体の輪郭を示すエッジ成分を抽出す
る。この抽出結果は、例えばエッジ構成点を黒画素とす
る２値画像として表され、前記画像メモリ７内に記憶さ
れる（以下この画像を「エッジ変換画像」という）。

【００７７】領域設定部１１は、このエッジ変換画像
を、均一な大きさを有する複数個の小領域に分割処理し
た後、これら小領域の中から所定のエッジ成分を有する
領域を抽出する。物体判別部１２は、この抽出結果を用
いて道路上の車輌の位置などを判別した後、その判別結
果を前記した交通流データの生成部（図示せず）などに
出力する。

【００７８】図６は、前記制御処理装置５による一連の
手順を示すもので、以下、図７〜１１を参照しつつ図６
の流れに沿って、上記各部による詳細な処理を説明す
る。まずステップ１で、前記画像入力部６にカメラから
の画像データが入力された後、つぎのステップ２で、前
記画像変換部９によりこの入力画像に対する透視変換画
像が生成されると、特徴抽出部１０により、この透視変
換画像上の水平方向のエッジ成分が抽出されて、前記し
たエッジ変換画像が生成される（ステップ３）。

【００７９】図７は、入力画像の一例を示すもので、こ
こでは説明を簡単にするために、車輌の画像Ｃ₁，Ｃ₂
に対応する影の画像を省略して示してある。図８は、前
記図７の入力画像に対する透視変換画像を示すもので、
前記図２に示した３次元座標系のＸ，Ｙ軸により特定さ
れる平面上に前記車輌の投影像Ｋ₁，Ｋ₂が示されてい
る。さらに図９は、この透視変換画像から生成されたエ
ッジ変換画像を示すもので、前記各車輌の投影像Ｋ₁，
Ｋ₂の水平エッジ成分が黒画素として抽出されている。

【００８０】上記ステップ１〜３の処理が終了すると、
つぎのステップ４で、領域設定部１１は、図１０に示す
ように、前記エッジ変換画像を一辺がｄの複数の小領域
により均等に分割した後、各小領域内に含まれるエッジ
構成点の数をチェックし、さらにステップ５で所定のし
きい値以上のエッジ構成点が含まれる小領域のみを認識
処理の対象として設定する。

【００８１】物体判別部１２は、これら処理対象とされ
た小領域に対し、各領域間の距離を計測するなどして、
所定の距離範囲内にある小領域を１グループとして統合
する。またこの物体判別部１２は、車輌の標準形状を示
す３次元モデルを記憶するメモリを備えており、最終的
に生成されたグループの特徴と前記３次元モデルがその
グループの位置に投影された場合の特徴とを照合して、
各グループがそれぞれ車輌を示すものであるか否かを判
別する（ステップ６）。図１１は、前記図１０の分割処
理結果のうち処理対象として設定された小領域のについ
ての統合結果を示すもので、前記車輌の投影像Ｋ₁，Ｋ
₂の位置において、それぞれ複数個の小領域が統合され
て２個のグループＧ₁，Ｇ₂が生成されている。

【００８２】物体判別部１２は、生成された各グループ
について、それぞれそのグループの最下端部の幅長さ
（図中ｆ₁，ｆ₂で示す）と、縦方向の長さ（図中ＬＴ
₁，ＬＴ₂で示す）とを抽出する。さらに物体判別部１
２は、前記車輌の標準形状を示す３次元モデルを、各グ
ループの抽出位置（前記最下端部のＹ座標Ｙ₁，Ｙ₂）
において投影処理を行ったときに得られる投影像の大き
さを求め、前記幅長さｆ₁，ｆ₂および縦方向の長さＬ
Ｔ₁，ＬＴ₂をそれぞれこのモデルの投影像の大きさと
照合する。この結果、グループ内の特徴抽出結果と３次
元モデルの投影像の大きさとの間に有意な差がなけれ
ば、物体判別部１２は、これらグループＧ₁，Ｇ₂が車
輌を示す特徴であると認識し、その抽出位置を示すＹ座
標Ｙ₁，Ｙ₂などを車輌抽出位置として特定する。

【００８３】なお上記実施例では、透視変換画像からエ
ッジ成分を抽出した後、このエッジ画像上で車輌を示す
特徴を抽出するようにしているが、これに限らず、例え
ば透視変換画像から背景部分の画像データや１段階前に
生成された透視変換画像を差分処理した画像を、所定の
しきい値で２値化した後、前記ステップ４以下の処理を
実施するようにしても良い。

【００８４】図１２は、交通流計測装置の他の実施例を
示す。この実施例の交通流計測装置は、道路４の近傍に
配備された支柱３３上に２台のカメラ１ａ，１ｂと制御
ボックス３４とを取り付けて構成される。

【００８５】前記支柱３３には、２つの横桟を道路方向
に向かって突出させたＦ字型のものが用いられており、
カメラ１ａ，１ｂは、支柱の各横桟間に縦並びに取り付
けられている。

【００８６】図１３は、各カメラ１ａ，１ｂの座標系と
３次元座標系（ここでは前記図２に示したのと同様の座
標系とする）との関係を示す。この実施例の各カメラ１
ａ，１ｂは、ともに焦点距離をＦとするレンズを有する
とともに、各光軸が道路の長さ方向に向けて角度θをも
って平行となり、かつ各撮像面が同一平面上に位置する
ように、その取り付け位置が調整される。なお図１３に
おいて、Ｉ_L，Ｉ_uは、それぞれ各カメラ１ａ，１ｂに
より得られる画像を示す。またＨは、３次元座標系の原
点Ｏから下方のカメラ１ａの撮像中心点までの距離を、
Ｂは各カメラ１ａ，１ｂ間の基線長を、それぞれ示す。

【００８７】なおこの実施例では、２台のカメラにより
道路を撮像しているが、これに限らず、３台以上のカメ
ラを用いてもよい。またカメラの配置は縦並びに限らず
横並びにしても良い。またカメラを取り付ける支柱も上
記のＦ字型支柱２に限らず、既存の電信柱や照明柱など
を改良して用いてもよい。

【００８８】前記制御ボックス２内には、図１４に示す
ような制御処理装置１５や図示しない伝送装置が収容さ
れている。この制御処理装置１５は、各カメラ１ａ，１
ｂからの画像よりそれぞれ前記第１の実施例と同様の仮
想平面上に透視変換した後、各透視変換画像を用いた３
次元計測処理を行って車輌の認識処理を行うもので、各
カメラ１ａ，１ｂにそれぞれ対応する画像入力部１６
ａ，１６ｂ，画像メモリ１７，パラメータ記憶部１８，
画像変換部１９，特徴抽出部２０，対応付け処理部２
１，３次元計測部２２，物体判別部２３などを構成とし
て含んでいる。

【００８９】画像変換部１９は、各カメラ１ａ，１ｂか
らの入力画像に対し、それぞれ前記と同様の透視変換処
理を実施する。特徴抽出部２０は、生成された各透視変
換画像について、それぞれ画像上の物体の輪郭を示すエ
ッジ変換画像を生成する。これら入力画像，透視変換画
像，エッジ変換画像は、入力または生成の都度、画像メ
モリ１７内に個別に格納され、対応付け処理部２１によ
る対応付け処理時などに、必要に応じて読み出される。
なおこの実施例では、各カメラ１ａ，１ｂ毎に前記（２
８）〜（３５）式に示したパラメータがあらかじめ求め
られてパラメータ記憶部１８に記憶される。このほかパ
ラメータ記憶部１８には、３次元計測部２２の計測処理
のための各種パラメータが記憶される。

【００９０】物体判別部２３には、道路の各車線の位置
を特定するためのデータや、複数の車種について、その
車種にかかる車輌を側方から見たイメージを示す２次元
モデルが登録されており、前記３次元計測結果をこれら
登録データと照合することにより、各車線毎の車輌の位
置や車種の判別が行われる。

【００９１】図１５は、前記制御処理装置による一連の
手順を示すもので、以下、図１６〜１９を参照しつつ、
図１５の流れに沿って、上記各部の詳細な処理を説明す
る。まずステップ１で、各カメラ１ａ，１ｂからの画像
が各画像入力部１６ａ，１６ｂに取り込まれると、つぎ
のステップ２で画像変換部１９による透視変換処理が実
施される。

【００９２】図１６（１）は、下方に配置されるカメラ
１ａからの入力画像Ｉ_L（以下「第１入力画像Ｉ_L」と
いう）の一例を、図１６（２）は上方に配置されるカメ
ラ１ｂにより前記図１６（１）の画像と同じタイミング
で入力された画像Ｉ_u（以下「第２入力画像Ｉ_u」とい
う）を、それぞれ示す。また図１７（１）は、前記第１
入力画像Ｉ_Lを透視変換して得られた変換画像Ｈ_l（以
下「第１透視変換画像Ｈ_l」という）を、図１７（２）
は、前記第２入力画像Ｉ_uを透視変換して得られた変換
画像Ｈ_u（以下「第２透視変換画像Ｈ_u」という）を、
それぞれ示す。

【００９３】各入力画像に対する透視変換処理が終了す
ると、特徴抽出部２０は、各透視変換画像から水平方向
のエッジ成分を抽出した後、これら抽出結果の中から車
輌の幅長さに応じた長さを有するエッジ成分のみを選択
する（ステップ３，４）。図１８（１）（２）は、それ
ぞれ前記第１、第２の透視変換画像に対するエッジ抽出
結果を示す。また図１９（１）（２）は、それぞれ前記
図１８（１）（２）のエッジ抽出結果から車輌の幅に応
じたエッジ成分のみを抽出した結果であって、いずれ
も、前記透視変換画像上の車輌の投影像に対応する位置
において、車輌の水平方向の輪郭線を示すエッジ成分が
抽出されている。以下この実施例においては、この図１
９（１）（２）に示す所定長さのエッジ成分のみに限定
されたエッジ画像Ｅ_L，Ｅ_uを、それぞれ「第１エッジ
変換画像Ｅ_L」「第２エッジ変換画像Ｅ_u」と呼ぶこと
にする。

【００９４】こうして各カメラ１ａ，１ｂに対応するエ
ッジ変換画像が生成されると、つぎのステップ５で、対
応付け処理部２１により各エッジ変換画像上の特徴点を
画像間で対応づける処理が行われる（ステップ５）。

【００９５】ここで図２０（１）〜（４）を用いて、前
記対応付け処理の具体例を説明する。いま第１エッジ変
換画像Ｅ_L上の所定の特徴点ｐ（図２０（１）に示す）
に対応する第２エッジ変換画像Ｅ_u上の特徴点ｑを抽出
するものとすると、対応付け処理部は、第２エッジ変換
画像Ｅ_u上に前記特徴点ｐのエピポーララインＬを設定
し、このエピポーラライン上（もしくはその近傍）に位
置する特徴点（図中ｑ₁〜ｑ₆の６点）を、点ｐの対応
候補点として抽出する。なおここではカメラ１ａ，１ｂ
が縦並びにかつ光軸が平行になるように配備されている
ので、原入力画像上のエピポーララインはｙ軸に平行と
なる。透視変換画像上のエピポーララインＬは、この入
力画像上のエピポーララインの投影像と見なされるの
で、同じくＹ軸に平行となり、対応候補点を容易に抽出
することができる。

【００９６】つぎに対応付け処理部２１は、第１透視変
換画像Ｈ_L（図２０（３）に示す）上に、前記特徴点ｐ
と同じ座標に位置する点Ｐを中心点とする所定大きさの
ウィンドウＷ_Lを設定するとともに、第２透視変換画像
Ｈ_u（図２０（４）に示す）上で前記各対応候補点ｑ₁
〜ｑ₆と同じ座標に位置する点Ｑ₁〜Ｑ₆を中心とし
て、それぞれ前記ウィンドウＷ_Lと同じ大きさのウィン
ドウＷ₁〜Ｗ₆を設定する。さらに対応付け処理部２１
は、これらウィンドウＷ₁〜Ｗ₆についてそれぞれつぎ
の（３６）式を実行し、各ウィンドウ内の画像データと
前記ウィンドウＷ_u内の画像データとの相違度ＤＦを算
出する。

【００９７】

【数３６】

【００９８】なお上式において、ｇ_L（Ｘ，Ｙ）はウィ
ンドウＷ_L内の所定の画素の輝度値を、またｇ_u（Ｘ，
Ｙ）はウィンドウＷ_u（Ｕ＝１〜６）内の所定の画素の
輝度値を、それぞれ示す。またｉ，ｊは各ウィンドウの
サイズに応じて変動する整数である。

【００９９】さらに対応付け処理部２１は、各ウィンド
ウＷ₁〜Ｗ₆毎に求められた相違度ＤＦを比較し、相違
度が最も小さくなるウィンドウをウィンドウＷ_Lに対応
するものとして判別する。そしてそのウィンドウの中心
点Ｑ_Uと同じ座標（Ｘ_u，Ｙ_u）上にある第２エッジ変
換画像上の点ｑ_u（図示例ではｑ₄）を前記第１エッジ
変換画像の特徴点ｐの対応点として決定する。

【０１００】上記の対応付け処理が完了すると、ステッ
プ６で各特徴点に対応する空間中の物点の３次元座標が
計測される。まず３次元計測部２２は、対応付けられた
特徴点ｐ，ｑについて、それぞれその座標（Ｘ_L，
Ｙ_L），（Ｘ_u，Ｙ_u）と前記透視変換処理に用いられ
たパラメータとを用いて、原入力画像上でこれら特徴点
ｐ，ｑに対応する点の座標（ｘ_L，ｙ_L），（ｘ_u，ｙ
_u）を算出する（以下この座標を（特徴点ｐ，ｑの）
「原座標」という）。

【０１０１】前記図２において、透視変換画像上の点ｍ
の座標（Ｘ_m，Ｙ_m）が判明している場合、この点ｍの
原座標（ｘ_m，ｙ_m）は、前記（２６）（２７）式を変
形したつぎの（３７）（３８）式により求められる。

【０１０２】

【数３７】

【０１０３】

【数３８】

【０１０４】ただし上式において、Ａ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆ，Ｇ，Ｈ，Ｉは、前記した（２８）〜（３５）で
求めたパラメータａ〜ｈによるつぎの（３９）〜（４
７）式により算出される。

【０１０５】

【数３９】

【０１０６】

【数４０】

【０１０７】

【数４１】

【０１０８】

【数４２】

【０１０９】

【数４３】

【０１１０】

【数４４】

【０１１１】

【数４５】

【０１１２】

【数４６】

【０１１３】

【数４７】

【０１１４】実施例に戻って、ここでは２台のカメラ１
ａ，１ｂが設置されているので、それぞれのカメラ毎に
得られたパラメータを上記（３７）（３８）式にセット
した後、前記特徴点ｐ，ｑの座標を該当するパラメータ
が設定された式に代入することにより、入力画像Ｉ_L上
における特徴点ｐの原座標（ｘ_L，ｙ_L）と入力画像Ｉ
_u上における特徴点ｑの原座標（ｘ_u，ｙ_u）とを算出
することができる。

【０１１５】さらに３次元計測部２２は、算出された特
徴点ｐ，ｑの原座標（ｘ_L，ｙ_L）（ｘ_u，ｙ_u）とカ
メラ１ａ，１ｂのパラメータとを３角測量の原理に基づ
く（４８）〜（５０）式に代入し、前記特徴点に対応す
る空間中の物点の３次元座標（Ｘ，Ｙ，Ｚ）を算出す
る。なお各式中、Ｆ，θ，Ｂ，Ｈは、前記図１３に示し
たパラメータである。またＣＣＤ_W，ＣＣＤ_Hは、それ
ぞれ各カメラ１ａ，１ｂのＣＣＤ素子の横方向，縦方向
のサイズを、ＷＴは入力画像上のｘ軸方向の画素数を、
ＨＴは入力画像のｙ軸方向の画素数を、それぞれ示す。

【０１１６】

【数４８】

【０１１７】

【数４９】

【０１１８】

【数５０】

【０１１９】なお上記の方法では、エッジ変換画像間で
特徴点の対応付け処理を行ってから対応付けられた各特
徴点を原入力画像上の点に変換し、３次元計測処理を行
うようにしているが、前記（３７）（３８）式により各
エッジ変換画像上で抽出された特徴点の原座標を求めた
後、各入力画像上で対応付け処理を行うようにしてもよ
い。

【０１２０】このようにして、各エッジ変換画像上の各
特徴点について、上記した対応付け処理と３次元計測処
理とが行われた結果、各特徴点に対応する空間中の物点
の３次元座標が算出されると、以下、物体判別部２３に
よる車輌判別処理が実施される（ステップ７）。

【０１２１】物体判別部２３は、各物点の３次元座標の
算出結果を前記車線位置の登録データと照合して各車線
上に位置する物点を認識した後、各車線毎に、その長さ
方向に沿って仮想垂直平面を設定し、この平面上に前記
車線上の物点として認識された点の３次元座標を投影す
る。

【０１２２】図２１は、前記入力画像上に現れていた１
車線に対する仮想垂直平面上の投影結果を示す。なお仮
想垂直平面の座標系は、前記した３次元座標系に基づ
き、車線の長さ方向をＹ軸，高さ方向をＺ軸として設定
されている。また図中の×印は、前記特徴点の投影点を
示すもので、これら特徴点により車線上の対象物を車輌
の側方から見た２次元形状が表される。

【０１２３】この投影処理が終了すると、物体判別部２
３は、前記登録された各車種の２次元モデルをこの仮想
垂直平面上に順次設定して走査し、各走査位置毎に、投
影結果と２次元モデルとの類似度を算出するマッチング
処理を実行する。この結果、投影結果に最も類似する２
次元モデルが抽出されると、物体判別部２３は、その２
次元モデルに最も類似する投影パターンが得られた位置
を、その２次元モデルに該当する車輌の位置として認識
する。

【０１２４】なお車輌を認識する方法は、上記の方法に
限らず、例えば３次元計測処理部２２による計測結果の
中からＺ座標が所定のしきい値以上となる物点を抽出
し、これら抽出された各物点間の距離を計測して所定距
離内にある物点同士をグループ化してゆき、最終的に得
られた各グループを車輌として認識するなど、種々の方
法を適用できる。

【０１２５】

【発明の効果】請求項１の発明では、特定方向に向けて
設置された撮像手段により得られた画像上の各画素を、
前記対象物の支持面を含む仮想平面上に透視変換した
後、この透視変換画像に対する特徴抽出処理を行って前
記対象物の特徴を抽出するので、撮像位置より遠方にあ
る対象物についても、認識するのに十分な大きさの特徴
を抽出することが可能となり、認識精度を大幅に向上す
ることができる。

【０１２６】請求項３の発明では、上記請求項１の方法
により抽出された特徴を用いて対象物の認識処理を実施
することにより、撮像位置より遠方にある対象物につい
ても、その特徴を精度良く抽出して認識処理を行うこと
が可能となる。

【０１２７】請求項２，４の発明では、前記透視変換画
像上の所定の画像領域を均一な小領域に分割して、これ
らの小領域毎にその領域内に含まれる特徴を抽出するの
で、各小領域毎の抽出結果を用いて対象物の特徴を正確
に抽出することができる。さらに請求項５の発明では、
対象物の特徴が含まれる小領域を、各領域間の距離に基
づきグループ化するので、各グループの特徴により対象
物を個別に認識することができる。

【０１２８】請求項６の発明では、複数個の撮像手段に
より特定方向を撮像して得られた画像について、それぞ
れ上記の透視変換処理と特徴抽出処理とを実施した後、
各透視変換画像毎の特徴抽出結果を用いた３次元計測処
理を行って対象物を認識するので、撮像位置より遠方の
対象物についても３次元形状の抽出が可能となり、認識
処理精度を大幅に向上することができる。

【図面の簡単な説明】

【図１】この発明の１実施例にかかる交通流計測装置の
設置例を示す説明図である。

【図２】透視変換処理にかかるカメラ座標系と空間座標
系との関係を示す説明図である。

【図３】入力画像およびその透視変換画像を示す説明図
である。

【図４】車輌の位置による投影像の大きさの違いを示す
説明図である。

【図５】図１の交通流計測装置に用いられる制御処理装
置の電気的構成を示すブロック図である。

【図６】図５の制御処理装置の処理手順を示すフローチ
ャートである。

【図７】入力画像の一例を示す説明図である。

【図８】図７の入力画像に対する透視変換結果を示す説
明図である。

【図９】図８の透視変換画像に対するエッジ抽出結果を
示す説明図である。

【図１０】エッジ変換画像の分割処理を示す説明図であ
る。

【図１１】図１０の分割処理結果から認識処理対象の小
領域を設定した例を示す説明図である。

【図１２】この発明の第２の実施例にかかる交通流計測
装置の設置例を示す説明図である。

【図１３】図１２の各カメラの座標系と空間座標系との
関係を示す説明図である。

【図１４】図１２の交通流計測装置に用いられる制御処
理装置の電気的構成を示すブロック図である。

【図１５】図１４の制御処理装置の処理手順を示すフロ
ーチャートである。

【図１６】各カメラからの入力画像の一例を示す説明図
である。

【図１７】図１６の入力画像に対する透視変換処理結果
を示す説明図である。

【図１８】図１７の透視変換画像に対するエッジ抽出結
果を示す説明図である。

【図１９】所定長さのエッジ成分のみを抽出したエッジ
変換画像を示す説明図である。

【図２０】対応づけ処理の具体例を示す説明図である。

【図２１】３次元座標の計測結果を投影処理した例を示
す説明図である。

【図２２】従来の特徴抽出処理を示す説明図である。

【符号の説明】

１，１ａ，１ｂカメラ５，１５制御処理装置９，１９画像変換部１１領域設定部２１対応付け処理部２２３次元計測部１２，２３物体判別部

Claims

【特許請求の範囲】

【請求項１】特定方向に向けて撮像手段を設置し、こ
の撮像手段により得られた画像を用いて前記特定方向に
位置する対象物の特徴を抽出する方法であって、前記画像上の各画素を、前記対象物の支持面を含む仮想
平面上に透視変換する第１のステップと、前記透視変換画像に対する特徴抽出処理を行って前記対
象物の特徴を抽出する第２のステップとから成る特徴抽
出方法。
【請求項２】前記第２のステップにおいて、前記透視
変換画像上の所定の画像領域を均一な大きさを有する複
数個の小領域に分割した後、これらの小領域毎にその領
域内に含まれる対象物の特徴を抽出する請求項１に記載
された特徴抽出方法。
【請求項３】特定方向に向けて設置された撮像手段か
らの画像を入力し、前記特定方向に位置する対象物を認
識する装置において、前記入力画像を、前記対象物の支持面を含む仮想平面上
に透視変換する透視変換手段と、前記透視変換手段により生成された透視変換画像上で対
象物の特徴を抽出する特徴抽出手段と、前記特徴抽出手段による特徴抽出結果を用いて対象物の
認識処理を行う認識処理手段とを備えて成る物体認識装
置。
【請求項４】前記特徴抽出手段は、前記透視変換手段
により生成された変換画像上の所定の画像領域を均一な
大きさを有する複数個の小領域に分割した後、これらの
小領域毎にその領域内に含まれる対象物の特徴を抽出す
る請求項３に記載された物体認識装置。
【請求項５】前記特徴抽出手段は、前記各小領域毎
に、その領域内に対象物の特徴が含まれるか否かを判別
した後、対象物の特徴が含まれると判別された小領域を
領域間の距離に基づきグループ分けする請求項３または
４に記載された物体認識装置。
【請求項６】特定方向に向けて設置された複数個の撮
像手段からの画像を入力して、前記特定方向に位置する
対象物を認識する装置において、前記各入力画像を、それぞれ前記対象物の支持面を含む
仮想平面上に透視変換する透視変換手段と、前記透視変換手段により生成された各変換画像上で、そ
れぞれ対象物の特徴を抽出する特徴抽出手段と、前記特徴抽出手段による各変換画像上の特徴抽出結果を
用いた３次元計測処理を実施する３次元計測手段と、前記３次元計測手段による計測結果に基づき、対象物の
３次元的形状を認識する認識処理手段とを備えて成る物
体認識装置。