JPH10283478A

JPH10283478A - 特徴抽出方法およびその方法を用いた物体認識装置

Info

Publication number: JPH10283478A
Application number: JP9098195A
Authority: JP
Inventors: Katsumi Ohashi; 勝己大橋; Etsu Go; 越呉
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1997-03-31
Filing date: 1997-03-31
Publication date: 1998-10-23

Abstract

(57)【要約】【課題】対象物の位置にかかわらず、同じ条件で特徴
抽出処理を実施する。【解決手段】画像入力部７ａ，７ｂは、それぞれ撮像
方向を道路に向けて配備されたカメラからの画像を取り
込んで処理し、その入力画像を画像メモリ８に格納す
る。特徴抽出部９は、これら入力画像に対しエッジ抽出
処理を行った後、各エッジ画像を複数の小領域に分割す
る。これら小領域は、道路面を均一な大きさに分割して
得られる仮想小領域を画像上に投影したイメージに近似
するもので、さらに特徴抽出部９は、所定のエッジ成分
を含む小領域について、そのエッジ成分の代表点を対象
物を示す特徴点として抽出する。対応づけ処理部１０，
３次元計測部１１によりこれら特徴点の示す物点の３次
元座標が算出されると、車輌判別部１３は、その結果を
用いて各車線毎の車輌を認識する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像処理の手法を用
いて対象物を認識する技術に関連し、特にこの発明は、
画像上で撮像位置の近傍に位置する対象物と遠方に位置
する対象物とを、ともに精度良く認識するための特徴抽
出方法、およびこの方法を用いた物体認識装置に関す
る。

【０００２】

【従来の技術】近年、各種の対象物を認識するために、
テレビカメラをその対象物が位置する方向に向けて撮像
し、得られた画像を入力して認識処理を行う装置が利用
されている。

【０００３】この種の代表的な装置では、まず入力画像
に所定の処理を施して対象物の特徴を示す画素（以下こ
れを「特徴点」という）を抽出した後、抽出された各特
徴点の示すパターンを所定のモデルデータと照合するな
どして、前記対象物の種類，位置，向きなどを認識する
ようにしている。

【０００４】この特徴点を抽出する方法として、従来、
入力画像を所定大きさの小領域に分割し、それぞれその
領域内に対象物の特徴が含まれていれば、領域内の所定
の点（例えば中心点）を特徴点として設定する方法が提
案されている。この方法によれば、対象物の特徴が含ま
れる小領域毎に１つの特徴点が設定されることになるの
で、処理対象となるデータを削減して効率の良い認識処
理を実施することができる。

【０００５】

【発明が解決しようとする課題】しかしながら上記の方
法では、各小領域は画像上で均一な大きさに設定されて
いるため、特に道路上の車輌など、撮像位置の近傍から
遠方までの広い範囲を観測対象とする場合、遠方に位置
する対象物の特徴を精度良く抽出できないという問題が
ある。

【０００６】図１７は、道路の近傍位置に設置されたカ
メラからの画像を入力して、前記領域分割処理を行った
例を示すもので、入力画像上には、車輌の画像Ｃ₁，Ｃ
₂が現れている。この入力画像に対し、図中の点線で示
すような分割処理を行った場合、撮像位置の近傍にある
車輌の画像Ｃ₁上には複数個の小領域が設定され（図
中、対応する領域の外枠を太実線で示す）、これら小領
域毎に抽出される複数個の特徴点を用いて認識処理を実
施することができる。これに対し、撮像位置より遠方に
ある車輌の画像Ｃ₂は１つの小領域内に含まれるため、
単に１個の特徴点が抽出されるのみとなり、車輌として
認識することは困難となる。

【０００７】この発明は、上記問題点に着目してなされ
たもので、撮像手段により得られた画像上で対象物の特
徴を抽出する際に、対象物が撮像位置の近傍にあって
も、遠方にあっても、同じ条件で特徴抽出処理を行い、
遠方に位置する対象物も精度良く認識することを技術課
題とする。

【０００８】

【課題を解決するための手段】請求項１〜４の発明は、
所定の位置に撮像手段を設置し、この撮像手段により得
られた画像上でその撮像方向に位置する対象物の特徴を
抽出する方法にかかるもので、請求項１の発明では、前
記対象物の支持面を均一な大きさの仮想小領域に分割し
た後、これら仮想小領域を前記画像上に投影した結果に
基づき、画像上の所定の画像領域を複数個の小領域に分
割する第１のステップと、各小領域毎にその領域内に含
まれる対象物の特徴を抽出する第２のステップとが実行
される。

【０００９】請求項２の発明では、前記第１のステップ
において、前記小領域の大きさに所定の最小値を設定
し、前記画像領域内でこの最小の大きさの小領域が設定
される位置より前記撮像位置に対して遠のく方向におい
ては、この最小の大きさによる分割処理を実施する。

【００１０】請求項３の発明では、撮像手段により得ら
れた画像上に、特徴抽出用のウィンドウを、対象物の支
持面に均一な大きさで投影されるようにその大きさを変
化させながら走査し、各走査位置でウィンドウ内に含ま
れる対象物の特徴を抽出する。

【００１１】請求項４の発明では、前記ウィンドウの大
きさに所定の最小値を設定し、前記画像上でこの最小の
大きさのウィンドウが設定される位置より前記撮像位置
に対して遠のく方向においては、この最小の大きさのウ
ィンドウを設定する。

【００１２】請求項５の発明は、所定の位置に設置され
た撮像手段からの画像を入力して、この撮像手段の撮像
方向に位置する対象物を認識する装置に前記請求項１の
方法を導入したもので、対象物の支持面を均一な大きさ
の仮想小領域に分割した後、これら仮想小領域を前記入
力画像上に投影した結果に基づき、入力画像上の所定の
画像領域を複数個の小領域に分割する領域分割手段と、
前記分割された各小領域毎にその領域内に含まれる対象
物の特徴を抽出する特徴抽出手段と、前記特徴抽出手段
により抽出された各特徴を用いて対象物の認識処理を行
う認識処理手段とを備えている。

【００１３】請求項６の発明では、前記領域分割手段の
処理に請求項２の方法を導入して、前記小領域の大きさ
について所定の最小値を設定するとともに、前記画像領
域内でこの最小の大きさが設定される位置より前記撮像
位置に対して遠のく方向においては、この最小の大きさ
により前記分割処理を実行するように構成している。

【００１４】請求項７の発明では、前記特徴抽出手段
を、前記領域分割手段により分割された各小領域毎に、
その領域内に対象物の特徴が含まれるか否かを判別した
後、対象物の特徴が含まれると判別された小領域毎に、
その領域内の所定位置に前記特徴を示す代表点を設定す
るように構成する。

【００１５】請求項８の発明の物体認識装置は、請求項
３の特徴抽出方法を導入したもので、撮像手段からの入
力画像上に、特徴抽出用のウィンドウを、対象物の支持
面に均一な大きさで投影されるようにその大きさを変化
させながら走査するウィンドウ走査手段と、各走査位置
でウィンドウ内に含まれる対象物の特徴を抽出する抽出
手段と、前記抽出手段による抽出結果を用いて対象物の
認識処理を行う認識処理手段とを備えている。

【００１６】請求項９の発明にかかる物体認識装置は、
前記入力画像上に、特徴抽出用のラインウィンドウを、
前記対象物の支持面上にこの対象物の大きさに応じた均
一な長さで投影されるように、その長さを変化させなが
ら走査するウィンドウ走査手段と、前記ラインウィンド
ウの各走査位置においてウィンドウ内に含まれる対象物
の特徴を抽出する特徴抽出手段と、前記特徴抽出手段に
よる抽出結果を統合して所定の特徴点を抽出する特徴統
合手段と、前記特徴統合手段による特徴点の抽出結果を
用いて対象物の認識処理を行う認識処理手段とを備えて
いる。

【００１７】請求項１０の発明におけるウィンドウ走査
手段は、前記ラインウィンドウの長さに所定の最小値を
設定するとともに、前記画像上でこの最小の長さのウィ
ンドウが設定される位置より前記撮像位置に対して遠の
く方向においては、この最小の大きさのウィンドウを設
定して走査する。

【００１８】

【作用】請求項１の発明では、対象物の支持面を均一な
大きさの仮想小領域に分割した後、これら仮想小領域を
撮像手段により得られた画像上に投影した結果に基づ
き、画像上の所定の画像領域を複数個の小領域に分割
し、各小領域毎に対象物の特徴を抽出する。これにより
対象物が撮像位置からどのくらい離れているかにかかわ
らず、画像上の対象物にその大きさに応じた小領域を設
定し、その特徴を精度良く抽出することができる。

【００１９】請求項３の発明では、撮像手段により得ら
れた画像上に、特徴抽出用のウィンドウを、対象物の支
持面に均一な大きさで投影されるようにその大きさを変
化させながら走査する。これにより画像上の各対象物に
は、その大きさに応じたウィンドウが設定され、的確な
特徴抽出処理が実施される。

【００２０】請求項２および４の発明では、前記各小領
域またはウィンドウの大きさに所定の最小値を設定する
とともに、画像上でこの最小の大きさの小領域またはウ
ィンドウが設定される位置より撮像位置に対して遠のく
方向においては、これら小領域やウィンドウを前記最小
の大きさで保持するので、撮像位置より遠方の位置にお
ける特徴抽出精度が極端に低下する虞がない。

【００２１】請求項５の発明では、上記請求項１の方法
により抽出された特徴を用いて対象対象物の認識処理を
実施することにより、画像上に現れた対象物にその大き
さに応じた小領域を設定し、その特徴を精度良く抽出し
て認識することができる。また請求項６の発明では、小
領域への分割処理において、前記請求項２と同様の方法
が実施される。

【００２２】請求項７の発明では、分割された各小領域
のうち、対象物の特徴が含まれる小領域毎に、その領域
内の所定位置に前記特徴の代表点が設定されるので、対
象物の認識処理に用いられるデータ容量が最適化され
る。

【００２３】請求項８の発明では、上記請求項３の方法
を用いた特徴抽出処理により、画像上の対象物にその大
きさに応じたウィンドウを設定して、その特徴を精度良
く抽出した後、的確な認識処理を行うことができる。

【００２４】請求項９の発明では、画像上に、特徴抽出
用のラインウィンドウを設定し、このウィンドウが対象
物の大きさに応じた均一な長さで対象物の支持面に投影
されるように、その長さを変化させつつ走査することに
より、画像上の対象物の特徴は、その対象物の大きさに
応じた複数のラインウィンドウにより抽出される。さら
に各走査位置毎の特徴抽出結果を統合することにより、
対象物の特徴を精度良く表す特徴点が抽出されて、対象
物を認識することが可能となる。

【００２５】請求項１０の発明では、前記ラインウィン
ドウの長さに所定の最小値を設定するとともに、画像上
でこの最小の長さのウィンドウが設定される位置より前
記撮像位置に対して遠のく方向においては、この最小の
長さのウィンドウを設定するので、特徴抽出処理が困難
になるほどにまで短いウィンドウが設定される虞がな
い。

【００２６】

【実施例】図１は、この発明の一実施例にかかる交通流
計測装置の設置例を示す。この交通流計測装置は、道路
１の近傍にＦ字形状の支柱２を配備して、この支柱２に
２台のカメラ３ａ，３ｂと制御処理装置４とを取り付け
て構成されるもので、各カメラ３ａ，３ｂにより道路を
上方より撮像して得られた画像を制御処理装置４に取り
込んで、道路１の各車道毎の通過車輌の台数や車種の判
別、特定車輌の通過速度の計測、違法駐車中の種亜量の
検出などを実施する。

【００２７】前記支柱２は、その横桟を道路上に突出さ
れて配備されている。各カメラ３ａ，３ｂは、焦点距離
を同じくするレンズを有しており、支柱２の各横桟間に
固定配備された垂直棒６により縦並びに取り付けられて
いる。なお各カメラ３ａ，３ｂは、各光軸が道路の方向
に向けて平行になり、かつ各撮像面が同一平面上に位置
するように、その取り付け位置が調整される。一方、制
御処理装置４は、保守，点検などの必要から支柱２の基
部付近に取り付けられる。

【００２８】なおこの実施例では、２台のカメラにより
道路を撮像しているが、これに限らず、３台以上のカメ
ラを用いてもよい。またカメラの配置は縦並びに限らず
横並びにしても良い。またカメラを取り付ける支柱も上
記のＦ字型支柱２に限らず、既存の電信柱や照明柱など
を改良して用いてもよい。

【００２９】図２は、前記制御処理装置４の電気的構成
を示すもので、各カメラ３ａ，３ｂからの画像データを
入力するための画像入力部７ａ，７ｂ，画像メモリ８，
特徴抽出部９，対応づけ処理部１０，３次元計測部１
１，パラメータ記憶部１２，車輌判別部１３，モデルデ
ータ記憶部１４などを構成として含んでいる。

【００３０】各画像入力部７ａ，７ｂは、それぞれカメ
ラ３ａ，３ｂから入力されたアナログ量の画像データを
ディジタル量に変換するためのＡ／Ｄ変換回路などを具
備する。画像メモリ８には、これら画像入力部７ａ，７
ｂによる変換処理後のディジタル量の濃淡画像データや
後記するエッジ画像データなどが、それぞれ個別に格納
される。なお以下の説明では、第１の画像入力部７ａに
入力されたカメラ３ａの画像を「第１入力画像」と呼
び、第２の画像入力部７ｂに入力されたカメラ３ｂの画
像を「第２入力画像」と呼ぶことにする。

【００３１】図３（１）（２）は、それぞれ前記第１入
力画像、第２入力画像の具体例であって、それぞれ道路
上の車線，車輌，車輌の影などを含む画像データが生成
されている。

【００３２】特徴抽出部９は、前記第１、第２の各入力
画像を用いて、それぞれ車輌などの物体の輪郭に該当す
るエッジ成分が表されたエッジ画像を生成する。さらに
特徴抽出部９は、各エッジ画像を後記する複数個の小領
域に分割して、各小領域毎にエッジ成分の有無を検索
し、所定のエッジ成分が含まれる小領域については、そ
の成分の代表点を対象物を示す特徴点として抽出する。

【００３３】上記処理により各入力画像毎に特徴点が抽
出されると、対応づけ処理部１０は、これら特徴点を画
像間で対応づけする。３次元計測部１１は、この対応づ
け結果に三角測量の原理を適用して、各特徴点に対応す
る３次元座標を算出する。なおパラメータ記憶部１２に
は、この３次元座標の算出や前記したエッジ画像の分割
処理にかかる各種のパラメータが記憶される。

【００３４】前記モデルデータ記憶部１４には、前記道
路の各車線の位置を示す３次元データ（以下これを「車
線データ」という）や、複数車種の車輌をそれぞれ側面
から見た形状を示す２次元パターン（以下これを「２次
元モデル」という）が記憶されている。車輌判別部１３
は、これらの記憶データと前記各特徴点の３次元座標と
を用いて、後記する仮想垂直平面への投影処理やマッチ
ング処理を実行し、道路上の各車輌の位置や車種などを
認識する。この認識結果はさらに後段の認識結果処理部
（図示せず）などに出力され、認識結果の時間的な推移
により観測位置を通過した車輌の台数、速度などが認識
される。

【００３５】図４は、上記制御処理装置による一連の処
理手順を示すもので、以下、図５〜１２を参照しつつ、
図４の流れに沿って、対象物の特徴抽出処理，対応づけ
処理，３次元計測処理，車輌判別処理の詳細を説明す
る。なお図４中、各ステップは「ＳＴ」により表され
る。

【００３６】＜特徴抽出処理＞まずステップ１で、前記
画像入力部７ａ，７ｂにカメラ３ａ，３ｂからの画像デ
ータが入力されると、特徴抽出部９によりステップ２〜
４の処理が実行されて、各入力画像上の車輌などの物体
を表す特徴点が抽出される。まずステップ２で、特徴抽
出部９は、各入力画像毎に図５に示すようなラプラシア
ンフィルタを走査してゼロクロッシング点を抽出した
後、このゼロクロッシング点の座標を算出してこの座標
位置の画素を黒画素、他の画素を白画素とした２値のエ
ッジ画像を生成する。なおこのエッジ抽出には、ソーベ
ルフィルタなど他のエッジ抽出フィルタを用いてもよ
い。

【００３７】図６（１）（２）は、前記図３（１）
（２）に示した第１，第２の入力画像について、それぞ
れ上記のエッジ抽出処理を施した結果を示すもので、そ
れぞれ車輌や車輌の影などの輪郭に相当するエッジ成分
が抽出されている。なお以下の説明では、第１入力画像
より生成されたエッジ画像（図６（１）に示す）を「第
１エッジ画像」と呼び、第２入力画像より生成されたエ
ッジ画像（図６（２）に示す）を「第２エッジ画像」と
呼ぶことにする。

【００３８】つぎのステップ３の処理は、道路上の車輌
が撮像位置から遠ざかるにつれてその画像が画像上の上
方位置に小さく現れることに着目して行われるもので、
特徴抽出部９は、実際の道路面を均等な大きさの小領域
に分割するという仮定に基づき、各エッジ画像を、それ
ぞれこれら仮想小領域をその画像上に投影した場合のイ
メージに近似する複数個の小領域により分割する。

【００３９】ここで道路近傍の所定位置（例えば支柱２
の設置位置）を原点Ｏとして道路の幅方向をＸ軸，長さ
方向をＺ軸，高さ方向をＹ軸とする３次元座標系を設定
するとともに、図７に示すように、カメラ３ａ（３ｂ）
の撮像中心点Ｏ_cがこの３次元座標系のＹ軸上にあり、
この３次元空間内でカメラの撮像面１５に現わされる領
域のＺ座標がＺ₀〜Ｚ_maxの範囲をとるものとする。こ
のとき図８に示すように、この撮像対象領域のＸＺ平面
の各軸方向を間隔Ｄ_s毎に均等に分割すると、Ｘ軸方向
を分割した直線は、各直線の間隔が画像の上方から下方
に沿ってしだいに広くなるような放射状の直線として投
影される。またＺ軸方向を分割した直線は、画像のｘ軸
方向に平行し、かつ画像の上方から下方にいくにつれて
しだいに長くなるような直線として投影される。

【００４０】図９（１）は、前記第１エッジ画像に対
し、前記ＸＺ平面の分割結果を投影したイメージを示す
もので、上記した原理により、道路に対応する画像領域
Ｇは、画像の上方に位置するものほどその大きさが小さ
くなるような台形状の小領域により分割される。

【００４１】実際のエッジ画像上で、上記原理に基づく
画像分割処理を実施する場合、あらかじめ各エッジ画像
毎に前記ＸＺ平面を分割する各直線を画像上に投影する
ための変換式を設定して、これら変換式により画像上の
各投影直線の交点を求めた後、各小領域の位置データと
して、少なくともこれら交点のｘ，ｙ座標と各変換式と
をメモリ内に記憶する必要がある。しかしながらこの方
法では、メモリ容量が増大し、また各小領域に含まれる
画素を認識するための処理が複雑化するため、この実施
例では、画像上に前記の投影処理により得られる小領域
の大きさに近似する矩形状の小領域を設定して、処理の
負担を軽減するようにしている。

【００４２】いま前記ＸＺ平面上でＺ軸を分割する直線
のうち、ｉ番目とｉ＋１番目の直線の間に形成される各
小領域を撮像面１５上へ投影したと想定すると、この撮
像面上の各小領域の下辺の長さＭＳ_iは、つぎの（１）
式により算出される。

【００４３】

【数１】

【００４４】ただし（１）式において、Ｚ_cは、前記撮
像面１５の中心点Ｃ（図７に示す）のＸＺ平面上への投
影点のＺ座標であって、（２）式により表される。また
Ｚ_iは、前記ｉ番目の直線のＺ座標位置であって、
（３）式により表される。またこれら（１）〜（３）式
において、Ｆはカメラの焦点距離、Ｈは原点Ｏから撮像
中心点Ｏ_cまでの距離、θはカメラの俯角、ＣＣＤ_Hは
カメラのＣＣＤ素子の縦サイズ、ＰＩＸ_Hは入力画像の
ｙ軸方向の画素数である。

【００４５】

【数２】

【００４６】

【数３】

【００４７】前記ＸＺ平面のＺ₀からＺ_maxに向かう各
列についてそれぞれ（１）式を実行して長さＭＳ_iを算
出した後、その長さＭＳ_iを一辺とする正方形状の小領
域を撮像面の下方から上方に向けて順次設定すると、撮
像面全体は、前記投影処理のイメージに近似する複数個
の小領域により分割される。この場合、各小領域の位置
データとしては、各小領域毎にいずれか頂点の位置と一
辺の長さＭＳ_iとを記憶しておけば良いのでメモリ容量
が削減される。また各小領域が矩形状になっているの
で、領域内に含まれる画素の認識にかかる処理を簡単に
行うことができる。

【００４８】図９（２）は、前記第１エッジ画像を、上
記原理に基づく正方形状の小領域を設定した状態を示す
もので、各エッジ画像上に現れる車輌の特徴に対し、そ
の車輌の実際の位置に応じた大きさの小領域が対応する
ようになる。言い換えれば、エッジ画像上の各車輌の特
徴に、ほぼ同じ数の小領域が対応するのである。なお図
示例のように画像上の各車輌のエッジ成分に対し、それ
ぞれ１０数個の小領域を対応させるには、前記道路上の
仮想小領域のサイズＤ_sを、通常の車輌の車幅の１／３
〜１／５程度に設定する必要がある。

【００４９】ただし上記（１）式の結果どおりに領域設
定を行うと、画像上の最上方位置、すなわち撮像位置よ
り最も遠方の位置Ｚ_max付近に対応する画像領域では、
小領域のサイズが非常に小さくなり、隣接する多数の小
領域の特徴点が一体化されて特徴抽出の精度が悪くなる
と考えられる。そこでこの実施例では、画像上で小領域
のサイズが所定のしきい値に達した地点（図中、ｙ_Aの
位置）より上方の位置では、小領域のサイズを前記しき
い値に統一して均等な分割処理を行うようにしている。

【００５０】このようにしてステップ３の分割処理が終
了すると、つぎのステップ４で、特徴抽出部９は、各小
領域毎に、エッジ抽出用のウィンドウを走査するなどし
て、この領域内にエッジ構成点を示す黒画素が含まれて
いるか否かを判別する。さらに特徴抽出部９は、所定数
のエッジ構成点の連続部分が含まれていると判別された
小領域に対し、その連続部分の重心点などの代表点を抽
出し、これを前記特徴点として設定する。

【００５１】図１０は、前記第１エッジ画像における特
徴点の抽出結果を示すもので、前記エッジ構成点の連続
部分が含まれる小領域において、それぞれ１点ずつ特徴
点が抽出されている。

【００５２】＜特徴点の対応づけ処理＞こうして各エッ
ジ画像毎に対象物を示す特徴点が抽出されると、つぎの
ステップ５で、対応づけ処理部１０により、これら特徴
点の画像間での対応づけ処理が行われる。

【００５３】いま第１エッジ画像上の所定の特徴点ｐに
対応する第２エッジ画像上の特徴点ｑを抽出するものと
すると、対応づけ処理部１０は、第２エッジ画像上に前
記特徴点ｐのエピポーララインを設定し、このエピポー
ラライン上（もしくはその近傍）に位置する特徴点を、
点ｐの対応候補点として抽出する。なおここではカメラ
３ａ，３ｂが縦並びにかつ光軸が平行になるように配備
されているので、エピポーララインはｙ軸に垂直にな
り、対応候補点を容易に抽出することができる。

【００５４】図１１（１）（２）は、点ｐの対応点を検
索するための具体例を示す。対応づけ処理部１０は、第
１入力画像Ｇ１（図１１（１）に示す）上に、前記特徴
点ｐと同じ座標に位置する点Ｐを中心点とする所定の大
きさのウィンドウＷ_uを設定するとともに、第２入力画
像Ｇ２（図１１（２））上に前記点ｐの各対応候補点
（図ではＱ₁〜Ｑ₅の５点により示す）を中心とするウ
ィンドウＷ₁〜Ｗ₅を設定する。なお図中の破線で示す
直線は、前記したエピポーララインである。

【００５５】つぎに対応づけ処理部１０は、第２入力画
像Ｇ２上の各ウィンドウＷ₁〜Ｗ₅についてそれぞれつ
ぎの（４）式を実行し、各ウィンドウと第１画像Ｇ１上
のウィンドウＷ_uとの相違度ＤＦを算出する。なお、次
式において、ｇ_U（ｘ，ｙ）はウィンドウＷ_U内の所定
の画素の輝度値を、またｇ_L（ｘ，ｙ）はウィンドウＷ
_L（Ｌ＝１〜５）内の所定の画素の輝度値を、Ｓ_wは前
記したウィンドウサイズに相当する画素数を、それぞれ
示す。

【００５６】

【数４】

【００５７】さらに対応づけ処理部１０は、各ウィンド
ウＷ₁〜Ｗ₅毎に求められた相違度ＤＦを比較し、相違
度が最も小さくなるウィンドウをウィンドウＷ_Uに対応
するものとして判別する。そしてそのウィンドウの中心
点Ｑ_Lと同じ座標（ｘ_L，ｙ_L）上にある第２エッジ画
像上の点ｑ_Lを前記第１エッジ画像のエッジ構成点ｐの
対応点として決定する。

【００５８】なおこれらウィンドウのサイズも、前記分
割処理における小領域のサイズと同様、前記特徴点ｐの
座標値に基づき可変設定される。この場合、第１入力画
像上の点Ｐに対するウィンドウＷ_uのサイズＳ_wを決定
するには、まずこのウィンドウを前記３次元座標系のＸ
Ｚ平面上に投影したときの投影像の一辺が所定の長さＤ
_sになると想定し、このＤ_sを用いて前記（１）〜
（３）式を実行する。この結果、第１入力画像を前記図
９（２）と同様の状態に分割するための各小領域の大き
さが求められると、対応づけ処理部１０は、前記点Ｐが
含まれる小領域の大きさに基づき、点Ｐに設定するウィ
ンドウＷ_uのサイズを決定する。

【００５９】ただしここで設定されるウィンドウは、特
徴点ｐへの対応点を検索するための相違度演算を実行す
るためのものであるので、演算精度を確保するために、
前記エッジ画像の分割処理時と同様、画像上のある地点
から上方については、ウィンドウサイズを一定に設定す
るのが望ましい。なおあらかじめ各ｙ座標毎にウィンド
ウサイズを求めて登録しておけば、処理時間にかかる問
題は解消できる。

【００６０】＜３次元計測処理＞上記の対応付け処理が
終了すると、３次元計測部１１は、対応づけられたエッ
ジ構成点ｐ，ｑの座標（ｘ_u，ｙ_U）_,（ｘ_L，ｙ_L）
と各カメラ３ａ，３ｂのパラメータとを用いて、三角測
量の原理に基づき、つぎの（５）〜（７）式を実行し
て、各特徴点に対応する３次元座標（Ｘ，Ｙ，Ｚ）を算
出する（ステップ６）。なおここで用いられる３次元座
標系は、前記小領域への分割処理や対応づけ処理時に設
定したのと同様のものであり、Ｆ，Ｈ，θは、前記
（１）〜（３）で用いたのと同様のパラメータを示す。
またＢは各カメラ間の基線長である。

【００６１】

【数５】

【００６２】

【数６】

【００６３】

【数７】

【００６４】＜車輌判別処理＞設定されたすべての特徴
点について３次元計測処理が終了すると、ステップ７が
「ＹＥＳ」となり、以下、車輌判別部１３による車輌の
判別処理へと移行する。

【００６５】まず車輌判別部１３は、前記モデルデータ
記憶部１４より各車線の車線データを読み出して、前記
各特徴点の算出された３次元座標がいずれの車線に対応
するかを判別した後、各車線毎に、その車線の長さ方向
に沿って垂直になるような仮想平面を設定する。さらに
車輌判別部１３は、各垂直仮想平面上に、その車線に対
応すると判別された３次元座標を投影する（ステップ
８）。

【００６６】図１２（１）〜（４）は、前記各入力画像
上に現れていた４本の車線に対する仮想垂直平面上への
投影結果を示すもので、各仮想平面の座標系は、いずれ
も前記した３次元座標系に基づき、車線の長さ方向をＺ
軸，高さ方向をＹ軸として設定されている。また各図中
の×印は、前記特徴点の投影点を示すもので、これら特
徴点により車線上の対象物を車線の側方から見た２次元
形状を示す特徴が表されている。なお車輌の影など、道
路面上の対象物を示す特徴点は、その３次元座標のＹ座
標値が「０」となるので、上記の投影処理によりＺ軸上
に投影されることになる。したがってこれら２次元物体
を示す特徴点と車輌を表す特徴点とは明確に区別され
る。

【００６７】各仮想垂直平面への投影処理が終了する
と、車輌判別部１３は、つぎのステップ９で、各仮想垂
直平面上に、前記した各車輌の２次元モデルを順次設定
して走査し、各走査位置毎に、投影結果と２次元モデル
との類似度を算出するマッチング処理を実行する（ステ
ップ９）。この結果、各投影結果に最も類似する２次元
モデルが抽出されると、車輌判別部１３は、その２次元
モデルに最も類似する投影パターンが得られた位置（以
下これを「マッチング位置」という）を、その２次元モ
デルに該当する車種の車輌の位置として認識し、その認
識結果を後段に出力する（ステップ１０）。

【００６８】このように、各入力画像上に現れた車輌を
認識する際に、各入力画像を道路面上に均等な大きさに
投影されるような複数個の小領域に分割して、各小領域
毎に特徴点を抽出することにより、各車輌について、そ
の位置にかかわらず、認識処理を行うのに十分な数の特
徴点を抽出できるので、撮像位置より遠方の車輌も精度
良く認識することができる。なお上記実施例では、各入
力画像からエッジ画像を生成して特徴点を抽出するよう
にしているが、これに限らず、入力画像から所定の背景
画像や１フレーム前の入力画像を差し引いて得られる差
分画像や、入力画像の２値化処理画像などを用いるよう
にしてもよい。

【００６９】ところで車輌の特徴を抽出する方法として
は、上記の画像を複数個の小領域に分割する方法のほ
か、画像上に特徴抽出用のウィンドウを設定して走査す
る方法も存在する。そこでつぎの図１３〜１６では、前
記特徴抽出部９がウィンドウ走査による特徴抽出を行う
際の具体的な処理について説明する。なおこの実施例に
おいても、制御処理装置４の構成は前記図２に示したも
のと同様であり、特徴抽出部９以外の各部は、前記第１
の実施例と同様の処理を実施するものとする。

【００７０】図１３は、特徴抽出部９による一連の手順
を示す。まず特徴抽出部９は、最初のステップＡで、各
カメラ３ａ，３ｂからの入力画像を２値化処理して、車
輌などの特徴が例えば黒画素で表される２値画像を生成
する。ついで特徴抽出部９は、各２値画像に対し、各ｙ
座標位置毎に、その位置に応じて長さが異なるラインウ
ィンドウを設定し、このウィンドウをそのｙ座標により
特定される水平ライン上の所定の領域内で走査して車輌
の特徴を抽出する（ステップＢ，Ｃ）。

【００７１】つぎに図１４を用いて、前記ラインウィン
ドウおよびその走査領域の設定にかかる原理を説明す
る。なお図１４中、直線ｍ_l，ｍ_rは、画像上の道路の
境界線を示す。また直線Ｌ_l，Ｌ_rは、この道路上を所
定の大きさの車輌（大型車に設定するのが望ましい）が
走行するとき、道路境界線よりはみ出すルーフの位置の
推移を想定したものである。

【００７２】ここで一般的な車輌の横幅をＷ_CAR，前記
道路の一車線の幅をＷ_RD，車線の数をＮ，画像上の座標
ｙ_iにおける車線の左右の境界位置のｘ座標をｘ_li，ｘ
_riとおくと、この座標ｙ_iの位置に車輌が存在した場合
に現れる特徴の幅ｗ_iは、つぎの（８）式により算出さ
れる。なお、前記ｘ_li，ｘ_riは、前記直線ｍ_l，ｍ_rを
表す式ｙ＝ａ_lｘ＋ｂ_l，ｙ＝ａ_rｘ＋ｂ_rに前記座標
ｙ_iを代入することにより求められる。

【００７３】

【数８】

【００７４】特徴抽出部９は、各ｙ座標位置毎に前記
（８）式を実行して、算出されたｗ_iをこの座標位置に
おけるラインウィンドウの長さとして設定するととも
に、ｙ＝ｙ_iの位置における直線Ｌ_lから直線Ｌ_rまで
の領域ＳＣＡＮ_i（図中点Ｂ_lから点Ｂ_rまでの範囲）
を、このラインウィンドウの走査領域として設定する。

【００７５】さらに特徴抽出部９は、この走査領域ＳＣ
ＡＮ_i内で前記ラインウィンドウをｘ軸方向に沿って走
査しつつ、各走査位置でウィンドウ内に含まれる特徴数
（黒画素の数）ｇｍ_iを求める。このときこのｇｍ_iが
つぎの（９）式を満たせば、特徴抽出部９は、その時点
でのラインウィンドウの左端点の座標（ｘ_i，ｙ_i）お
よびウィンドウの長さｗ_iを、それぞれ特徴抽出位置，
特徴幅として特定し、内部のメモリに格納する。ただし
（９）式中、ｔｈは１より小さい所定の数値に設定され
る。

【００７６】

【数９】

【００７７】このようにして道路の画像部分全体に対す
る特徴抽出処理が終了すると、ステップＤが「ＹＥＳ」
となってステップＥへと移行し、特徴抽出部９は、前記
メモリに格納された各特徴抽出結果を統合して、車輌全
体の特徴を抽出する。

【００７８】つぎに具体的な統合処理について説明す
る。特徴抽出部９は、所定の座標ｙ_iにおいて抽出され
た特徴を他の座標ｙ_jにおける特徴とを比較し、両者の
間につぎの（１０）（１１）式の関係が成立するとき、
これら特徴抽出結果は同じ車輌にかかるものと認識して
両者を統合する。なお各式において、ｔｈ_x，ｔｈ_yに
は、所定の誤差範囲を算出するための数値が設定され
る。

【００７９】

【数１０】

【００８０】

【数１１】

【００８１】この処理により、最終的に複数の特徴がグ
ループ化されると、特徴抽出部９は、そのグループによ
り示される統合的な特徴を認識した後、グループ内の所
定の１点をそのグループの代表点として定める（ステッ
プＦ）。

【００８２】図１５（１）は、ある対象物の画像２０を
示す。図１５（２）は、この画像２０に対し、上記した
ラインウィンドウの走査による最初の特徴抽出結果を示
すもので、この走査位置におけるラインウィンドウの左
端点の座標（ｘ₀，ｙ₀）が特徴抽出位置として、また
設定されたウィンドウの長さｗ₀が特徴幅として、それ
ぞれ特定されている。

【００８３】図１５（３）は、前記図１５（２）の特徴
が以下に抽出された複数の特徴と統合された状態を示
す。また図１５（４）は、このグループを統合する特徴
の設定例を示すもので、各特徴抽出位置のｘ座標の平均
値ｘ_av，特徴抽出位置のｙ座標の最小値ｙ_min（図示例
の場合ｙ₀に相当する）および最大値ｙ_max，ｙ＝ｙ_mi
_nの位置における特徴幅ｗ_minの各パラメータにより、
グループの位置および大きさを示す矩形領域Ｒが設定さ
れる。

【００８４】図１６は、上記グループについての代表点
の設定例を示すもので、ここでは矩形領域Ｒの上辺の中
心点Ｔが代表点として抽出されている。

【００８５】なおこの実施例では、前記したように、各
ｙ座標位置において、その位置で画像上に現れる車輌の
幅ｗ_iに応じたラインウィンドウを設定した後、このウ
ィンドウを前記走査領域ＳＣＡＮ_i内で走査しつつ特徴
抽出処理を実行しているので、１台の車輌の画像に対
し、複数の水平ライン上でそれぞれ複数の特徴が抽出さ
れることになる。したがってこれら特徴を統合すること
により複数のグループが生成された後、これらグループ
の代表点がその車輌を示す特徴点として抽出されるの
で、前記第１の実施例と同様、画像上の各車輌を、複数
個の特徴点をもって精度良く認識することが可能とな
る。

【００８６】このようにして各２値画像上で車輌を示す
特徴点が抽出されると、対応づけ処理部１０は、前記第
１の実施例と同様、各特徴点に所定大きさのウィンドウ
を設定して画像間での対応づけ処理を実施する。この
後、この対応づけ結果を用いて各特徴点の３次元座標が
算出された後、その算出結果が仮想垂直平面上に投影さ
れて車輌の認識処理が行われる。

【００８７】なお上記の各実施例では、対象物を認識す
るために、２台のカメラ３ａ，３ｂにより得られた画像
からそれぞれ抽出された特徴を用いて３次元計測処理を
行っているが、これに限らず、単独のカメラにより道路
上を撮像して２次元計測処理を行う場合にも、上記の特
徴抽出処理を導入すれば、対象物の認識精度を大幅に向
上することができる。

【００８８】

【発明の効果】請求項１の発明では、対象物の支持面を
均一な大きさの仮想小領域に分割した後、これら仮想小
領域を撮像手段により得られた画像上に投影した結果に
基づき、画像上の所定の画像領域を複数個の小領域に分
割し、各小領域毎に対象物の特徴を抽出するようにした
ので、実際の空間における対象物が撮像位置からどのく
らい離れているかにかかわらず、画像上の対象物にその
大きさに応じた小領域を設定して、その特徴を精度良く
抽出することができる。

【００８９】請求項３の発明では、撮像手段により得ら
れた画像上に特徴抽出用のウィンドウを走査する際に、
このウィンドウが対象物の支持面に均一な大きさで投影
されるようにその大きさを変化させながら走査するの
で、画像上に現れた対象物が実際の空間のいずれの位置
にあっても、その対象物の画像上の大きさに応じたウィ
ンドウを設定して、その特徴を精度良く抽出できる。

【００９０】請求項２および４の発明では、前記各小領
域またはウィンドウの大きさに所定の最小値を設定する
とともに、画像上でこの最小の大きさの小領域またはウ
ィンドウが設定される位置より撮像位置に対して遠のく
方向においては、これら小領域やウィンドウを前記最小
の大きさで保持するので、特徴抽出精度が極端に低下す
るほど小さな小領域やウィンドウが設定される虞がなく
なる。

【００９１】請求項５の発明では、上記請求項１の方法
により抽出された特徴を用いて対象対象物の認識処理を
実施することにより、画像上に現れた対象物が実際の空
間のいずれの位置にあっても、その大きさに応じた小領
域を設定して精度の良い認識処理を行うことができる。
また請求項６の発明では、小領域への分割処理に、前記
請求項２の方法を導入することにより、特徴抽出精度の
極端な低下を回避することが可能となる。

【００９２】請求項７の発明では、分割された各小領域
のうち、対象物の特徴が含まれる小領域毎に、その領域
内の所定位置に前記特徴の代表点が設定されるので、対
象物の認識処理に用いられるデータ容量が最適化され、
効率の良い認識処理を行うことができる。

【００９３】請求項８の発明では、上記請求項３の方法
により抽出された特徴を用いて対象物の認識処理を実施
することにより、画像上に現れた対象物が実際の空間の
いずれの位置にあっても、その対象物の画像上の大きさ
に応じたウィンドウを設定して、対象物の特徴を精度良
く抽出し、高精度の認識処理を行うことができる。

【００９４】請求項９の発明では、画像上にラインウィ
ンドウを設定し、このウィンドウが対象物の大きさに応
じた均一な長さで対象物の支持面に投影されるように、
その長さを変化させつつ走査するので、画像上の対象物
の特徴をその対象物の大きさに応じた複数のラインウィ
ンドウにより抽出することができる。さらに各走査位置
毎の特徴抽出結果を統合して所定の特徴点を抽出するの
で、対象物が実際の空間のいずれの位置にあっても、そ
の特徴を精度良く表す特徴点をもって、信頼性の高い認
識結果を得ることができる。

【００９５】請求項１０の発明では、前記ラインウィン
ドウの長さに所定の最小値を設定するとともに、画像上
でこの最小の長さのウィンドウが設定される位置より前
記撮像位置に対して遠のく方向においては、この最小の
長さのウィンドウを設定するので、特徴抽出処理が困難
になるほどにまで短いウィンドウが設定される虞がなく
なる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる交通流計測装置の
設置例を示す説明図である。

【図２】制御処理装置の電気的構成を示すブロック図で
ある。

【図３】各カメラからの入力画像を示す説明図である。

【図４】車輌判別にかかる一連の制御手順を示すフロー
チャートである。

【図５】エッジ抽出処理に用いるラプラシアンフィルタ
を示す説明図である。

【図６】エッジ画像の生成例を示す説明図である。

【図７】画像分割処理の原理を説明するための図であ
る。

【図８】画像分割処理の原理を説明するための図であ
る。

【図９】画像分割処理の原理を説明するための図であ
る。

【図１０】特徴点の抽出結果を示す説明図である。

【図１１】特徴点の対応づけ処理の方法を示す説明図で
ある。

【図１２】仮想垂直平面への３次元座標の投影結果を例
示する図である。

【図１３】第２の特徴抽出処理にかかる手順を示すフロ
ーチャートである。

【図１４】ラインセンサおよびその走査領域の設定にか
かる原理を説明するための図である。

【図１５】特徴統合処理の具体例を示す説明図である。

【図１６】代表点の特定例を示す説明図である。

【図１７】従来の特徴抽出方法を示す説明図である。

【符号の説明】

３ａ，３ｂカメラ４制御処理装置９特徴抽出部１３車輌判別部

Claims

【特許請求の範囲】

【請求項１】所定の位置に撮像手段を設置し、この撮
像手段により得られた画像上でその撮像方向に位置する
対象物の特徴を抽出する方法であって、前記対象物の支持面を均一な大きさの仮想小領域に分割
した後、これら仮想小領域を前記画像上に投影した結果
に基づき、画像上の所定の画像領域を複数個の小領域に
分割する第１のステップと、各小領域毎にその領域内に含まれる対象物の特徴を抽出
する第２のステップとから成る特徴抽出方法。
【請求項２】前記第１のステップにおいて、前記小領
域の大きさには所定の最小値が設定されており、前記画
像領域内でこの最小の大きさの小領域が設定される位置
より前記撮像位置に対して遠のく方向においては、この
最小の大きさによる分割処理が実施される請求項１に記
載された特徴抽出方法。
【請求項３】所定の位置に撮像手段を設置し、この撮
像手段により得られた画像上でその撮像方向に位置する
対象物の特徴を抽出する方法であって、前記画像上に、特徴抽出用のウィンドウを、対象物の支
持面に均一な大きさで投影されるようにその大きさを変
化させながら走査し、各走査位置でウィンドウ内に含ま
れる対象物の特徴を抽出する特徴抽出方法。
【請求項４】前記ウィンドウの大きさには所定の最小
値が設定されており、前記画像上でこの最小の大きさの
ウィンドウが設定される位置より前記撮像位置に対して
遠のく方向においては、この最小の大きさのウィンドウ
が設定される請求項３に記載された特徴抽出方法。
【請求項５】所定の位置に設置された撮像手段からの
画像を入力して、この撮像手段の撮像方向に位置する対
象物を認識する装置において、前記対象物の支持面を均一な大きさの仮想小領域に分割
した後、これら仮想小領域を前記入力画像上に投影した
結果に基づき、入力画像上の所定の画像領域を複数個の
小領域に分割する領域分割手段と、前記分割された各小領域毎にその領域内に含まれる対象
物の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された各特徴を用いて対象
物の認識処理を行う認識処理手段とを備えて成る物体認
識装置。
【請求項６】前記領域分割手段は、前記小領域の大き
さについて所定の最小値を設定するとともに、前記画像
領域内でこの最小の大きさが設定される位置より前記撮
像位置に対して遠のく方向においては、この最小の大き
さにより前記分割処理を実行する請求項５に記載された
物体認識装置。
【請求項７】前記特徴抽出手段は、前記領域分割手段
により分割された各小領域毎に、その領域内に対象物の
特徴が含まれるか否かを判別した後、対象物の特徴が含
まれると判別された小領域毎に、その領域内の所定位置
に前記特徴を示す代表点を設定する請求項５または６の
いずれかに記載された物体認識装置。
【請求項８】所定の位置に設置された撮像手段からの
画像を入力して、この撮像手段の撮像方向に位置する対
象物を認識する装置において、前記入力画像上に、特徴抽出用のウィンドウを、対象物
の支持面に均一な大きさで投影されるようにその大きさ
を変化させながら走査するウィンドウ走査手段と、各走査位置でウィンドウ内に含まれる対象物の特徴を抽
出する抽出手段と、前記抽出手段による抽出結果を用いて対象物の認識処理
を行う認識処理手段とを備えて成る物体認識装置。
【請求項９】所定の位置に設置された撮像手段からの
画像を入力して、この撮像手段の撮像方向に位置する対
象物を認識する装置において、前記入力画像上に、特徴抽出用のラインウィンドウを、
前記対象物の支持面上にこの対象物の大きさに応じた均
一な長さで投影されるように、その長さを変化させなが
ら走査するウィンドウ走査手段と、前記ラインウィンドウの各走査位置においてウィンドウ
内に含まれる対象物の特徴を抽出する特徴抽出手段と、前記特徴抽出手段による抽出結果を統合して所定の特徴
点を抽出する特徴統合手段と、前記特徴統合手段による特徴点の抽出結果を用いて対象
物の認識処理を行う認識処理手段とを備えて成る物体認
識装置。
【請求項１０】前記ウィンドウ走査手段は、前記ライ
ンウィンドウの長さに所定の最小値を設定するととも
に、前記画像上でこの最小の長さのウィンドウが設定さ
れる位置より前記撮像位置に対して遠のく方向において
は、この最小の大きさのウィンドウを設定して走査する
請求項９に記載された物体認識装置。